CN101907923A - 信息提取方法、装置及系统 - Google Patents

Abstract

本发明实施例公开了一种信息提取方法、装置及系统，涉及文档数据处理技术，用以改善用户查阅文档时的用户体验。一种信息提取方法，包括：通过摄像装置获取至少连续两帧图像，所述至少连续两帧图像中的每帧图像包含：当前阅读文档的图像和用户对所述当前阅读文档的图像中选定的感兴趣区域对应的图像进行的手势动作图像；对所述手势动作图像进行解析得到手势指令；根据解析出的手势指令对所述选定的感兴趣区域对应的图像进行显示。本发明实施例中的方案适用于文档等非电子文件的查阅过程中。

Description

信息提取方法、装置及系统

技术领域

本发明涉及文档数据处理技术，尤其涉及一种信息提取的方法、装置及系统。

背景技术

用户在查阅文档的时候，并非文档中所有的内容对该用户来说都是有用信息；一般情况下，某一用户只对其浏览过的文档中的部分内容感兴趣，因此也就需要从大量的文档中提取出其感兴趣的部分数据和信息，并对提取出的内容进行处理进而重新编辑成一篇新的文档。

从纸质文档中提取感兴趣的部分内容并对其进行整理的过程一般有如下两种实现方式：

其一，用户在阅读纸质文档时，首先将感兴趣的内容用笔圈点出来，然后手动将圈中的内容录入到电脑中，以完成有用信息的提取并将新提取出的内容整理成一篇文档。

其二，利用扫描仪等设备对包含有感兴趣内容的多篇纸质文档进行扫描，并保存到电脑中；然后，再利用OCR(Optical Character Recognition，光学字符识别)识别等工具对扫描进电脑的多篇文档中的信息进行识别，使其成为可编辑的内容；最后，从识别出的内容中筛选出所需要的部分信息，并编辑出一篇新的文档。

然而，在实现上述信息提取的过程中，发明人发现现有技术中至少存在如下问题：

上述两种进行文档信息提取的实现方式都需要用户在完成了大量文档的阅读之后，才能进行有用信息的提取；而一般用户在查阅文档获取有用信息的过程中，都是习惯于按照文档的顺序一篇一篇地进行阅读、分析、信息提取等操作。也就是说，上述两种文档信息提取的方法更接近于计算机模式，而非人类思维模式，因此很难为用户提供较好的用户体验。

发明内容

本发明的实施例提供一种信息提取方法、装置及系统，能够改善用户查阅文档时的用户体验。

为达到上述目的，本发明的实施例采用如下技术方案：

一种信息提取方法，包括：

通过摄像装置获取至少连续两帧图像，所述至少连续两帧图像中的每帧图像包含：当前阅读文档的图像和用户对所述当前阅读文档的图像中选定的感兴趣区域对应的图像进行的手势动作图像；

对所述手势动作图像进行解析得到手势指令；

根据解析出的手势指令对所述选定的感兴趣区域对应的图像进行显示。

一种信息提取装置，包括：

获取单元，用于通过摄像装置获取至少连续两帧图像，所述至少连续两帧图像中的每帧图像包含：当前阅读文档的图像和用户对所述当前阅读文档的图像中选定的感兴趣区域对应的图像进行的手势动作图像；

解析单元，用于所述手势动作图像进行解析得到手势指令；

显示单元，用于根据解析出的手势指令对所述选定的感兴趣区域对应的图像进行显示。

一种信息提取系统，包括：信息提取装置、摄像装置和显示装置；其中，

所述信息提取装置，用于通过所述摄像装置获取至少连续两帧图像，所述至少连续两帧图像中的每帧图像包含：当前阅读文档的图像和用户对所述当前阅读文档的图像中选定的感兴趣区域对应的图像进行的手势动作图像；并对所述手势动作图像进行解析得到手势指令；根据解析出的手势指令并利用所述显示装置对所述选定的感兴趣区域对应的图像进行显示。

本发明实施例提供的信息提取方法、装置及系统，能够在用户查阅文档的同时，利用摄像装置来获取当前阅读的文档的多帧图像以及用户在阅读时进行的手势动作图像，并将所述手势动作图像转换成对应的手势指令，并根据所述手势指令来完成对所述文档中感兴趣区域的提取；在本发明的实施例中，对用户有用的信息提取的过程是在用户进行阅读的同时完成的，无需等到用户将所有文档都通览过一遍之后再进行有用信息提取，因此本发明实施例中提供的方案更贴近于人类的阅读习惯。与现有技术相比，本发明实施例提供的信息提取方法、装置及系统，能够改善用户查阅文档时的用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的信息提取方法的流程框图；

图2为本发明实施例一中的信息提取方法的流程框图；

图3为本发明实施例一中对图像帧进行标定的实现过程流程图；

图4为本发明实施例一中对手势动作图像进行解析的实现过程流程图；

图5为本发明实施例一中在显示区域进行的手势动作的实例图；

图6为本发明实施例一中通过手势动作实现图像保存和显示的流程图；

图7为本发明实施例一中的显示区域的示意图；

图8为本发明实施例一中在非显示区域进行的手势动作的实例图；

图9为本发明实施例一中调用工具栏中的工具的实现过程流程图；

图10为本发明实施例提供的信息提取装置的结构示意图；

图11为本发明实施例二中的信息提取装置的结构示意图；

图12为本发明实施例提供的信息提取系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了达到改善用户查阅文档时的用户体验的目的，本发明实施例中提供了一种信息提取的方法；如图1所示，该信息提取方法，主要包括：

101、通过摄像装置获取至少连续两帧图像，所述至少连续两帧图像中的每帧图像包含：当前阅读文档的图像和用户对所述当前阅读文档的图像中选定的感兴趣区域对应的图像进行的手势动作图像。

102、对获取到的至少连续两帧图像中的所述手势动作图像进行解析得到手势指令。

所述手势指令可以是对所述图像中的某一区域进行选定、拖动或者缩放等；用户所执行的不同手势动作对应着不同的手势指令，并通过所述手势指令来对所述图像中的某一区域进行相应操作。

103、根据解析出的手势指令对所述选定的感兴趣区域对应的图像进行显示。

其中，对所述选定的感兴趣区域对应的图像(在以下实施例中，简称为：已选定图像)进行显示可以是但不限于是通过投影装置来进行显示；

一般情况下，对已选定图像进行显示可具体为：首先，将所述已选定图像保存到缓存中，进而调用缓存中的需要显示的图像，即所述已选定图像进行显示。

通过上述信息提取方法，能够在用户查阅文档的同时，利用摄像装置来获取当前阅读的文档的多帧图像以及用户在阅读时进行的手势动作图像，并将所述手势动作图像转换成对应的手势指令，并根据所述手势指令来完成对所述文档中感兴趣区域的提取；由于对有用信息的提取过程是在用户进行阅读的同时完成的，无需等到用户将所有文档都通览过一遍之后再进行有用信息提取，因此本发明实施例中提供的方案更贴近于人类的阅读习惯。

下面将通过具体的实例来对本发明实施例提供的信息提取方法进行详细描述。

实施例一：

在本实施例中，以通过摄像装置，例如相机、摄像机等来获取用户当前所阅读的文档内容，并以投影装置作为显示所提取内容的显示装置为例。

如图2所示，本实施例中的信息提取方法，具体包括以下步骤：

201、在用户查阅文档时，通过摄像装置每间隔一定的时间(例如，1s、2s等)对用户所查阅的文档进行拍照，获取连续N帧图像，其中N为不小于2的常量；在这N帧图像中包含当前阅读的文档的图像以及当前用户针对所述文档进行的手势动作图像。

为了使用户所执行的手势动作图像更易被所述摄像装置捕捉到，可以在用户手指的指端设置特定的影像标记；其中一种简单易行的方式就是，在用户指端戴上设有特定影像标记的指套。所述特定的影像标记可以是颜色标记，可选用一些较为醒目的颜色，比如红色、橙色等颜色；也可以是亮度标记，例如反光晶格、反光条或者其他可提高亮度的结构。

在以下的实施例中，均以所述影像标记是颜色标记为例来介绍本发明中的技术方案。

那么，在步骤201中，获取某一帧图像中的当前用户针对所述文档进行的手势动作图像，也就是获取位于所述用户指端的颜色标记在所述文档中的指示位置。

202、对获取到的N帧图像进行标定。

所谓标定，就是新获取到的图像与已保存过的图像之间没有重复的情况下，记录所述新获取到图像的图像特征，并为所述新获取到的图像设置图像编号的过程。对其中一帧图像进行标定的具体实现过程，可以结合图3所示：

S21、从获取到的图像中提取用户指端处的颜色标记，记录颜色标记相对当前图像帧的图像坐标值。

S22、根据所记录的颜色标记的图像坐标值，判断手指指端的位置是否位于所述当前图像帧的中心区域；所述中心区域是在摄像区域、也就是获取到的图像帧中由已设定好的坐标值所界定的一个特定区域。

如果手指指端的位置位于所述当前图像帧的中心区域，则继续步骤S23；否则，丢弃当前帧的图像。

S23、判断当前帧中手指指端相对于前面N-1帧图像中手指指端的位置变化是否超出预定范围；例如，位置变化不超过5mm则认为没有超出预定范围。

由于手指可能会出现一些晃动，因此在前后的相邻帧中，手指指端的位置可能会存在细微变化，这种细微的变化是可以忽略不计的。

如果手指指端的位置变化未超出预定范围，则认为手指未发生任何动作，删除前述N帧图像并重新通过摄像装置对图像进行采集；如果手指指端的位置变化超出预定范围，则进行步骤S24。

S24、判断当前帧的图像中是否存在已标定和记录的图像区域。

如果有，则执行步骤S25；否则，执行步骤S26。

S25、删除当前帧的图像中已经存在的标定和记录过的图像区域。

S26、从当前帧的图像的正中区域中提取手指指端的颜色标记处的连通区域。这里的连通区域可以是所述手指指端的颜色标记周围的白色连通区域；不过需要注意的是，白色连通区域只是本实施例中的一种示例，实际操作过程并不限于此。

S27、将所述连通区域与文档模板库中的文档模板图像进行匹配处理，并判断所述连通区域与文档模板库中的文档模板图像的匹配度是否低于阈值。

如果高于所述阈值，说明当前帧与已保存的文档模板库中的一帧文档模板图像是一样的，则需要重新采集图像；如果低于所述阈值，则说明当前帧从未被保存过，继续执行步骤S28。

S28、提取并标定所述连通区域的边缘位置信息，将其作为新的文档模板图像保存到所述文档模板库中，并为其设置图像标号。

标定过程完成。

当需要对一个新的图像帧进行操作时，可以先根据文档图像模板匹配和特征信息匹配等方法判断当前图像帧是否为已经标定过的图像帧；如果是已标定过的图像帧，则可以直接将所述已标定的图像帧从已保存的图像帧中提取出来并对其进行相应操作。这样，对于同样的图像帧不会出现重复性保存，节省存储资源，而且可以支持对同一帧图像进行多次处理；此外，由于不同的图像帧均对应有不同的图像标号，因此还可以通过图像标号对多帧图像进行区分及调用，也就可以支持多帧图像进行处理而不发生操作错误，提高处理速度。

203、对获取到的N帧图像中已进行了标定的图像中的手势动作图像进行解析得到手势指令。

具体地，结合图4所示，步骤203中对手势动作图像进行解析的过程，可以通过如下步骤来实现：

S31、根据设定的指端处的颜色标记的颜色标称值，通过图像颜色匹配方法在当前帧的图像中搜索与所述设定的颜色标称值相匹配的区域，即指端区域A。

S32、通过图像颜色匹配方法在当前帧的图像中搜索与人体肤色标称值相匹配的区域，即手部区域B。

S33、根据连通区域中部分区域的面积大小去除背景干扰。

这里的连通区域主要指接近人体肤色的区域；在当前图像帧中，所述接近人体肤色的连通区域的实际分布不一定是完全凝聚在一起的，也可能是分散的；而这些分散的接近人体肤色的区域中，手部区域B的面积最大同时还是当前图像帧中需要进行识别的对象，因此需要将手部区域B以外的其他接近人体肤色的连通区域去掉。

S34、判断手部区域B与指端区域A的相对距离D是否小于预设的极小常数Dmin；该极小常数Dmin可根据当前帧的实际大小进行调整，比方Dmin可以是10个像素。

如果是，则继续步骤S35；如果否，说明手部区域B与指端区域A之间存在较大距离，即手部区域和指端区域之间存在较大距离，这是不符合实际情况的，因此返回步骤S31，重新确定指端区域A和手部区域B。

S35、记录指端区域A的中心点在当前图像中的相对位置，以后之后的τ时间内所述指端区域A的中心点在M帧图像中的相对位置，从这M+1帧图像中提取并记录所述指端区域A的中心点的位置变化，即记录用户指端的颜色标记的位置变化。其中，M不小于2。

S36、根据所述中心点的位置变化推断出所述中心点在τ时间内的运动轨迹。

具体地，可以是根据所述M+1帧图像中的指端区域A的中心点相对于摄像区域的坐标值拟合出一条运动曲线作为所述中心点的运动轨迹。

S37、将记录的所述中心点的运动轨迹与预存的手势指令模板进行比对，以匹配度最高的手势指令模板所对应的手势指令作为所述运动轨迹对应的手势指令。

204、在解析出所述手势指令是显示指令时，对所述已选定图像进行保存并显示；所述已选定图像为用户从所述当前阅读文档的图像中选定的感兴趣区域对应的图像。

由于本实施例中，是以投影装置作为显示装置，而摄像装置对应的摄像区域一般都是大于所述投影装置对应的投影区域的；因此，在显示装置已打开的情况下，在所述摄像装置获取到的图像帧中会同时包含显示区域和非显示区域。

在步骤204中，所述“显示指令”为由非显示区域内发生的手势动作图像或者所述显示装置尚未打开时发生的手势动作图像进行解析得到的手势指令，且所述“显示指令”包含两部分内容：选定和拖拽。

首先，用户在阅读文档时，发现了感兴趣的内容，则可以通过图5(a)或者图5(b)中的手势动作来选定感兴趣区域。其中，图5(a)中的“选定”手势用于选定小范围的感兴趣区域；如果对一篇文档中感兴趣的内容较多，则可以同时选取该文档中的几行，此时可以通过图5(b)中的“选定”手势来完成。

在完成了选定之后，就可以对已选定的区域进行“拖拽”动作，如图5(c)所示，手指点选在选定区域内表明选中该选定区域，此时手指指端即颜色标记点移动表明拖拽动作发生，从而将所述已选定的感兴趣区域拖拽到显示区域以完成所述已选定的感兴趣区域的保存和显示。

对所述已选定的感兴趣区域的图像进行保存，其可以是保存在本地，也可以是保存在远端的服务器或者控制器中。

不过，需要注意的是，“拖拽”动作发生时，显示设备可能还尚未打开，因此在对被“拖拽”的对象进行显示之前，还应该先判断所述显示装置是否处于开启状态。如果所述显示装置已经开启，则对所述已选定的感兴趣区域进行显示；如果所述显示装置尚未开启，则先开启所述显示装置然后对所述已选定的感兴趣区域进行显示。

具体到本实施例中，可以结合图6所示的流程来进一步了解上述过程：

S41、在进行了“拖拽”动作且手指指端停留在某处的时间超过一常量T(例如2s)时，判断投影装置是否打开。

如果是，则进行步骤S42、S43后结束流程；如果否，则进行步骤S44。

S42、判定手指停留区域是否在显示区域内。

如果是，则进行步骤S43；如果否，则删除当前选定的图像。

S43、保存当前选定的图像并对其进行显示。

S44、判定手指停留区域是否在投影装置的投影显示区域内。

如果是，则进行步骤S46；如果否，则进行步骤S45。

S45、调整投影装置的投影方向使手指停留区域可以落入所述投影装置的投影显示区域内。

S46、开启所述投影装置，同时发送显示装置开启通知给控制设备，其中携带有所述选定区域的图像；并接收所述控制设备提供的显示区域信息，所述显示区域信息包括：所述显示区域的边界信息、工具栏信息、及所显示的内容。

在投影装置未开启时，当前摄像区域中的显示区域和非显示区域是没有划分出来的，此时需要先对显示区域进行划分和标定；因此，所述控制设备在接收到所述显示装置开启通知后，会反馈显示区域信息，在该显示区域信息中包含的显示区域边界信息即是用于界定显示区域的。具体地，如图7所示，显示区域边界信息中记录有：投影颜色标记区的颜色标称值，即显示区域的四个顶点的特定标定颜色和显示区域的底色；其中，顶点的标定颜色优选为深色，且不同于指端的颜色标记的颜色，显示区域的底色优选为浅色，且不同于指端的颜色标记的颜色，这样就可以方便地区分显示区域和非显示区域。此外，在所述显示区域信息中还包括工具栏信息；所述工具栏中可以包含OCR识别菜单，例如文字识别、转换文档、校对等，和图像处理菜单，例如剪切、缩放、复制、保存等。

S47、根据所述控制设备提供的显示区域信息，并通过图像颜色匹配方法和图像模板匹配方法从摄像装置获取到的图像帧中提取所述显示区域的位置信息。

其中，图像颜色匹配方法和图像模板匹配方法均是现有技术中比较成熟的方法，此处不再赘述。

S48、记录连续N帧图像中的显示区域的位置信息，从而对当前帧中的显示区域的位置进行调整，使相邻两帧图像中的显示区域位置不致相差太远。

保存所述已选定图像并对将其显示在所述调整后的显示区域中。

205、获取用户在显示区域的手势动作图像，并对所述手势动作图像进行解析得到对应的手势指令；根据解析出的手势指令调整所述显示区域中的已显示图像的尺寸和位置。

对于显示区域内的图像，为了便于用户观看，一般会对其大小、位置等进行调整；其具体实现可以参看图8中所示的手势动作。其中，

(a)将食指在兴趣点处左右移动两次，代表“双击”，用以实现鼠标的双击效果；

(b)将食指停留在兴趣点处停留一段时间，用于实现鼠标的单击、点选的效果；

(c)完成点选后，食指从当前位置移动到另一位置，实现移动所点选目标的效果；

(d)完成点选后，食指和拇指合并或者张开，可实现点选目标的缩小和放大。

图8中所示的情况，仅是手势动作中的几个例子。当然还可以根据需要进行调整或者添加。

206、获取用户在工具栏区域的手势动作图像，并对所述手势动作图像进行解析得到对应的手势指令；根据解析出的手势指令调用所述工具栏中的工具，对所述显示区域中的已显示图像所记录的内容进行识别和整理。

当用户在工具栏菜单进行操作时，首先判定用户的手势动作是否为相应区域的合法动作，其手势识别流程如前所述。若合法，则再根据已记录的工具栏标定区域信息和摄像装置拍摄的图像中显示区域工具栏指令进行比对，根据手势移动相对位置与工具栏具体工具的相对位置判定手势相对具体工具的有效性，其中相对位置指相对整个投影区域的位置；工具栏菜单项主要分为OCR识别菜单，例如文字识别、转换文档、校对等，和图像处理菜单，例如剪切、缩放、复制、保存等。具体的工具栏操作流程，如图9所示：

S61、记录工具栏中每个工具相对于整个投影区域的位置。

S62、通过摄像装置获取工具栏区域的手势动作图像和手势相对于显示区域的位置信息，以及显示区域的图像。

S63、将获取到的手势位置和显示区域的图像进行标准化，包括缩放、平移、旋转等操作中的一种或几种从而使获取到的图像符合内部模板规定的大小。

S64、将标准化的手势位置与工具栏中每个工具的相对位置进行匹配，当所述标准化的手势位置与某一工具的相对位置的匹配误差|δ|＜ζ(常量)时，则认为所述手势动作就是用于调用该工具，并执行相对应的指令信息。

上述各步骤的执行主体可以是一个信息提取装置，该信息提取装置可以与所述摄像装置、显示装置设在同一设备中；此外，该信息提取装置还需要和一控制设备进行通信，从所述控制设备处获取到显示区域的一些信息。而实际上，所述信息提取装置和所述控制设备均是虚拟的功能结构，其可以是分设在不同的实体结构上，也可以是集成在同一实体结构上。

具体到本实施例中，为了让用户携带方便，可以在硬件上分设一上位机和一下位机。所述上位机中集成有所述信息提取装置、摄像装置和显示装置，所述下位机中设有所述控制设备，且所述上位机和下位机之间可进行无线通信，例如蓝牙、WiFi(Wireless Fidelity，无线相容性认证)等。在所述下位机上还设有大容量的存储模块，这样通过摄像设备获取到的图像也可以保存到所述下位机中，同时所述图像的显示也可以由下位机来控制。

由于在硬件上分为上位机和下位机，因此可以将上位机定位成可进行输入、输出、缓存等简单操作的简易处理装置，同时将其在外形上设置成可挂于胸前的微型设备，这样用户在阅读文档时可以随时采集图像；下位机则相对较大，可以夹在腰部，其主要部件为笔记本的硬件模块架构。

本实施例中提供的信息提取方法，能够在用户查阅文档的同时，利用摄像装置来获取当前阅读的文档的多帧图像以及用户在阅读时进行的手势动作图像，并将所述手势动作图像转换成对应的手势指令，并根据所述手势指令来完成对所述文档中感兴趣区域的提取；由于对有用信息的提取过程是在用户进行阅读的同时完成的，无需等到用户将所有文档都通览过一遍之后再进行有用信息提取，因此本发明实施例中提供的方案更贴近于人类的阅读习惯。

对应于上述信息提取的方法，本发明实施例中还提供了一种信息提取装置；如图10所示，该装置主要包括：

获取单元11，用于通过摄像装置获取至少连续两帧图像，所述至少连续两帧图像中的每帧图像包含：当前阅读文档的图像和用户对所述当前阅读文档的图像中选定的感兴趣区域对应的图像进行的手势动作图像；

解析单元12，用于所述手势动作图像进行解析得到手势指令；

显示单元13，用于根据解析出的手势指令对所述选定的感兴趣区域对应的图像进行显示。

利用上述信息提取装置，可以在用户查阅文档的同时，利用摄像装置来获取当前阅读的文档的多帧图像以及用户在阅读时进行的手势动作图像，并将所述手势动作图像转换成对应的手势指令，并根据所述手势指令来完成对所述文档中感兴趣区域的提取；由于对有用信息的提取过程是在用户进行阅读的同时完成的，无需等到用户将所有文档都通览过一遍之后再进行有用信息提取，因此本发明实施例中提供的方案更贴近于人类的阅读习惯。

下面将通过具体的实例来对本发明实施例提供的信息提取装置进行详细描述。

实施例二：

如图11所示，本实施例中的信息提取装置包括：

获取单元111，用于通过摄像装置获取至少连续两帧图像，所述至少连续两帧图像中包含当前阅读的文档的图像和用户针对所述文档进行的手势动作图像；

解析单元112，用于对获取到的至少连续两帧图像中的手势动作图像进行解析得到手势指令；

显示单元113，用于在解析出所述手势指令是显示指令时，对所述选定的感兴趣区域对应的图像进行显示。

在以下实施例描述中，可以将所述选定的感兴趣区域对应的图像简称为：已选定图像。

其中，所述解析单元112又进一步包括：

记录模块，用于记录所述至少连续两帧图像中的用户指端的影像标记的位置变化；

推断模块，用于根据所述位置变化推断所述用户指端的影像标记的运动轨迹；

确定模块，用于将所述运动轨迹与预存的手势指令模板进行比对，确定所述运动轨迹对应的手势指令。

为了使摄像装置能够更准确的获取到用户的手势动作图像，因此在本实施例中，所述用户的指端设置有特定的影像标记，则所述获取单元111获取到的所述用户针对所述文档进行的手势动作图像实际上应该是：位于所述用户的指端的影像标记在所述文档上的指示位置。其中，所述影像标记可以是颜色标记，也可以是亮度标记。

在本实施例中，所述信息提取装置，还可以包括判断单元114，该判断单元114用于在利用显示装置对已选定图像进行显示之前，判断显示装置是否处于开启状态；如果所述显示装置已开启，则所述显示单元113具体用于根据解析出的手势指令对所述已选定图像进行显示；如果所述显示装置未开启，则所述显示单元113具体用于开启所述显示装置并根据解析出的手势指令对所述已选定图像进行显示。

如果所述显示装置为投影装置，例如投影仪；则，由于摄像装置对应的摄像区域大于所述投影装置对应的投影区域，因此所述摄像装置获取到的至少连续两帧图像中包含有由所述投影装置投影后形成的显示区域和非显示区域。

进一步地，所述显示单元113还用于在开启所述投影装置的同时，发送投影装置开启通知给控制设备；则，

所述信息提取装置还包括接收单元115，该接收单元115用于接收所述控制设备提供的显示区域信息，所述显示区域信息包括：所述显示区域的边界信息、工具栏信息、及所显示的内容。

本实施例中的信息提取装置，还可以包括：调整单元116和/或调用单元117；其中，

调整单元116，用于根据解析出的手势指令调整所述显示区域中的已显示图像的位置和/或尺寸；

调用单元117，用于根据解析出的手势指令调用所述工具栏中的工具，对所述显示区域中的已显示图像所记录的内容进行识别和整理。

此外，所述信息提取装置还包括有：标定单元118，用于对获取到的至少两帧图像进行标定；则，

所述解析单元112，还用于对所述标定单元118进行标定后的图像中的手势动作图像进行解析得到手势指令。

本实施例中的信息提取装置还可以包括保存单元119，该保存单元119用于对所述已选定图像进行保存。

在本实施例中，所述信息提取装置可以与所述摄像装置、显示装置设在同一设备中；此外，该信息提取装置还需要和一控制设备进行通信，从所述控制设备处获取到显示区域的一些信息。而实际上，所述信息提取装置和所述控制设备均是虚拟的功能结构，其可以是分设在不同的实体结构上，也可以是集成在同一实体结构上。

利用本实施例中的信息提取装置完成信息提取的过程，参见实施例一中的描述，此处不再赘述。

本实施例中提供的信息提取装置，可以在用户查阅文档的同时，利用摄像装置来获取当前阅读的文档的多帧图像以及用户在阅读时进行的手势动作图像，并将所述手势动作图像转换成对应的手势指令，并根据所述手势指令来完成对所述文档中感兴趣区域的提取；由于对有用信息的提取过程是在用户进行阅读的同时完成的，无需等到用户将所有文档都通览过一遍之后再进行有用信息提取，因此本发明实施例中提供的方案更贴近于人类的阅读习惯。

本发明实施例还提供了一种包含上述信息提取装置的信息提取系统；如图12，所述系统包括：信息提取装置121、摄像装置122和显示装置123；其中，

所述信息提取装置121，用于通过所述摄像装置122获取至少连续两帧图像，所述至少连续两帧图像中的每帧图像包含：当前阅读文档的图像和用户对所述当前阅读文档的图像中选定的感兴趣区域对应的图像进行的手势动作图像；并对所述手势动作图像进行解析得到手势指令；根据解析出的手势指令并利用所述显示装置123对所述选定的感兴趣区域对应的图像进行显示。

如果所述显示装置123为投影装置，那么所述信息提取系统中还包括：

控制设备124，用于接收所述信息提取装置121发送的投影装置开启通知，并向所述信息提取装置发送显示区域信息，所述显示区域信息包括：所述显示区域的边界信息、工具栏信息、及所显示的内容。

利用本实施例中的信息提取系统完成信息提取的过程，参见实施例一中的描述，此处不再赘述。

此外，在本实施例提供的信息提取系统中，所述信息提取装置121、摄像装置122和投影装置123可以是集成在同一设备中，也可以是分别设置在不同的设备中。

进一步地，如果上述信息提取装置121、摄像装置122、投影装置123以及控制设备124是分开设置的，那么在本实施例的信息提取系统中，

所述信息提取装置121和控制设备124之间通过无线连接进行通信；和/或，

所述信息提取装置121和摄像装置122之间通过无线连接进行通信；和/或，

所述信息提取装置121和投影装置123之间通过无线连接进行通信；其中，所述无线连接可以是但不限于WiFi、蓝牙等。

在本发明提供的实施例中，所述摄像装置122为可佩戴在用户身上的便携式摄像装置。在本实施例中并不对其具体佩戴方式进行限定，其可以是佩戴在用户的衣服上、帽子上，甚至可以是设置在用于佩戴的眼镜上。

本实施例中提供的信息提取系统，可以在用户查阅文档的同时，利用摄像装置来获取当前阅读的文档的多帧图像以及用户在阅读时进行的手势动作图像，并将所述手势动作图像转换成对应的手势指令，并根据所述手势指令来完成对所述文档中感兴趣区域的提取；由于对有用信息的提取过程是在用户进行阅读的同时完成的，无需等到用户将所有文档都通览过一遍之后再进行有用信息提取，因此本发明实施例中提供的方案更贴近于人类的阅读习惯。

本发明实施例中的方案适用于文档等非电子文件的查阅过程中。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种信息提取方法，其特征在于，包括：

通过摄像装置获取至少连续两帧图像，所述至少连续两帧图像中的每帧图像包含：当前阅读文档的图像和用户对所述当前阅读文档的图像中选定的感兴趣区域对应的图像进行的手势动作图像；

对所述手势动作图像进行解析得到手势指令；

根据解析出的手势指令对所述选定的感兴趣区域对应的图像进行显示。

2.根据权利要求1所述的信息提取方法，其特征在于，在对所述手势动作图像进行解析得到手势指令之前，还包括：对获取到的至少连续两帧图像进行标定；则，

所述对所述手势动作图像进行解析得到手势指令，具体为：对已进行了标定的图像中的手势动作图像进行解析得到手势指令。

3.根据权利要求1所述的信息提取方法，其特征在于，所述获取用户针对所述文档进行的手势动作图像，包括：

获取位于所述用户指端的影像标记在所述文档上的指示位置。

4.根据权利要求2所述的信息提取方法，其特征在于，所述影像标记包括：颜色标记和/或亮度标记。

5.根据权利要求3或4所述的信息提取方法，其特征在于，所述对所述手势动作图像进行解析得到手势指令，包括：

记录所述至少连续两帧图像中的用户指端的影像标记的位置变化；

根据所述位置变化推断所述用户指端的影像标记的运动轨迹；

将所述运动轨迹与预存的手势指令模板进行比对，确定所述运动轨迹对应的手势指令。

6.根据权利要求1至4任一所述的信息提取方法，其特征在于，还包括：

对所述选定的感兴趣区域对应的图像进行保存。

7.根据权利要求5所述的信息提取方法，其特征在于，在所述根据解析出的手势指令对选定的感兴趣区域的图像进行显示之前，还包括：判断显示装置是否处于开启状态；则，

所述根据解析出的手势指令对选定的感兴趣区域对应的图像进行显示，具体包括：如果所述显示装置已开启，则根据解析出的手势指令对所述选定的感兴趣区域对应的图像进行显示；如果所述显示装置未开启，则开启所述显示装置并根据解析出的手势指令对所述选定的感兴趣区域对应的图像进行显示。

8.根据权利要求7所述的信息提取方法，其特征在于，所述显示装置为投影装置；则，

所述摄像装置获取到的至少连续两帧图像中包含由所述投影装置投影后形成的显示区域和非显示区域。

9.根据权利要求8所述的信息提取方法，其特征在于，所述根据解析出的手势指令对选定的感兴趣区域的图像进行显示，还包括：

在开启所述投影装置的同时，发送投影装置开启的通知给控制设备；

接收所述控制设备提供的显示区域信息，所述显示区域信息包括：所述显示区域的边界信息、工具栏信息、及所显示的内容。

10.根据权利要求9所述的信息提取方法，其特征在于，所述信息提取方法还包括：

根据解析出的手势指令调整所述显示区域中的已显示图像的位置和/或尺寸。

11.根据权利要求9所述的信息提取方法，其特征在于，所述信息提取方法还包括：

根据解析出的手势指令调用所述工具栏中的工具，对所述显示区域中的已显示图像所记录的内容进行识别和整理。

12.一种信息提取装置，其特征在于，包括：

获取单元，用于通过摄像装置获取至少连续两帧图像，所述至少连续两帧图像中的每帧图像包含：当前阅读文档的图像和用户对所述当前阅读文档的图像中选定的感兴趣区域对应的图像进行的手势动作图像；

解析单元，用于对所述手势动作图像进行解析得到手势指令；

显示单元，用于根据解析出的手势指令对所述选定的感兴趣区域对应的图像进行显示。

13.一种信息提取系统，其特征在于，包括：信息提取装置、摄像装置和显示装置；其中，

所述信息提取装置，用于通过所述摄像装置获取至少连续两帧图像，所述至少连续两帧图像中的每帧图像包含：当前阅读文档的图像和用户对所述当前阅读文档的图像中选定的感兴趣区域对应的图像进行的手势动作图像；并对所述手势动作图像进行解析得到手势指令；根据解析出的手势指令并利用所述显示装置对所述选定的感兴趣区域对应的图像进行显示。

Images