CN102169540A - 基于拍摄仪的点读定位方法和装置 - Google Patents

Abstract

本发明提供一种基于拍摄仪的点读定位方法和装置，属于图像处理领域。方法包括:对当前文本页进行拍摄，将拍摄的当前图像与模板图像进行差分以检测当前图像中指示物是否出现，如果没有检测到指示物，则将模板图像更新为当前图像；否则停止对模板图像进行更新；对当前文本页进行拍摄，根据模板图像后相邻图像之间的差异进行定位检测，确定存在指示物的定位图像；根据定位图像和模板图像的差分图像确定当前文本页中指示物的定位位置。本发明根据对拍摄仪拍摄得到的图像与模板图像进行差分对指示物进行定位，从而确定指示物的位置，用户通过手指等指示物直接可以在拍摄仪上进行点读，不必使用外围设备进行操作，给用户使用提供了极大的方便。

Description

基于拍摄仪的点读定位方法和装置

 

技术领域

本发明属于图像处理领域，涉及一种点读定位方法，具体涉及一种基于拍摄仪的点读定位方法和装置。

背景技术

拍摄仪是一种新型的图像获取装置，其通过摄像头获取文档等资料的图像，对图像进行图像处理、版面分析等处理后，将文字区域发送给OCR引擎进行文字识别。由于拍摄仪结合了复印、扫描、投影、拍照、录影、传真、邮件传递等用途，在行业中得到了大量的使用。

在教育和办公领域中，如果使用者需要在拍摄仪上进行点读操作，目前常用的方法为将拍摄仪拍摄得到的图像进行识别后，通过特定的点读软件用鼠标、手写笔等设备选择目标文字，并将调用TTS引擎才可以对目标文字进行点读，这样用户必须使用鼠标、手写笔等外围设备在装有识别软件和点读软件的计算机上进行点读操作，在给用户使用造成了不便的同时也增加了设备成本，教学也显得呆板。

发明内容

本发明提出一种基于拍摄仪的点读定位方法和装置，通过帧间差分技术对进入拍摄仪拍摄范围的指示物进行检测，并进一步确定指示物的位置，方便了用户使用的同时节省了硬件成本。

本发明公开了一种基于拍摄仪的点读定位方法，包括如下步骤：

步骤一，根据第一时间间隔对当前文本页进行拍摄，将拍摄的当前图像与模板图像进行差分以检测当前图像中指示物是否出现，如果没有检测到指示物，则将模板图像更新为当前图像；如果检测到指示物，则停止对模板图像进行更新，转到步骤二；

步骤二，根据第二时间间隔对当前文本页进行拍摄，根据模板图像后相邻图像之间的差异进行定位检测，从而确定存在指示物的定位图像；

步骤三，对定位图像和模板图像进行差分，根据得到的差分图像确定当前文本页中指示物的定位位置。

所述方法还包括，将定位图像后的当前图像与模板图像进行差分，直到得到的差分图像中检测不到指示物后按第一时间间隔重新对当前文本页进行拍摄，转到步骤一。

所述步骤一中将当前图像与模板图像进行差分时，对得到的差分图像进行二值分割，所得的二值图像中差分绝对值大于等于分割阈值的像素点为变化像素点，如果差分图像中的变化像素点数大于第一既定阈值，则检测到指示物。

所述模板图像为当前文本页静止状态下的代表图像，表示当前文本页对应的像素分布情况。

所述步骤二中根据模板图像后相邻图像之间的差异进行定位检测时，如果连续一定数目的相邻图像对应的各差分图像的变化像素点数均小于第二既定阈值，则取一定数目的图像中的最后一帧为定位图像。

所述第二时间间隔小于等于第一时间间隔。

所述分割阈值通过将差分图像进行二值化计算得出。

所述第一既定阈值用于检测指示物的出现，根据参考图像的分辨率及常用指示物的大小设定。

所述第二既定阈值用于检测相邻两帧图像有无变化，根据参考图像的分辨率设定。

所述方法还包括：对定位图像与模板图像进行差分，根据得到的差分图像滤除虚假的定位触发。

所述根据得到的差分图像滤除虚假的定位触发时，将定位图像与模板图像的差分图像进行二值化分割后，计算所得的二值化图像中由变化像素点构成的连通域，如果其中小连通域的数目超过一定阈值，则将模板图像更新为定位图像，转到步骤一。

所述步骤三中确定当前文本页中指示物的定位位置时，在定位图像中搜索与变化像素点最多的连通域相交的边界，将连通域中距所述边界最大的像素点作为指示物的定位位置。

本发明还公开了一种基于拍摄仪的点读定位装置，包括如下模块，

目标检测模块，根据第一时间间隔对当前文本页进行拍摄，将拍摄的当前图像与模板图像进行差分以检测当前图像中指示物是否出现，如果没有检测到指示物，则将模板图像更新为当前图像；如果检测到指示物，则停止对模板图像进行更新，转到定位检测模块；

定位检测模块，根据第二时间间隔对当前文本页进行拍摄，根据模板图像后相邻图像之间的差异进行定位检测，从而确定存在指示物的定位图像；

位置检测模块，对定位图像和模板图像进行差分，根据得到的差分图像确定当前文本页中指示物的定位位置。

所述装置还包括，差分检测模块，将定位图像后的当前图像与模板图像进行差分，直到得到的差分图像中检测不到指示物后按第一时间间隔重新对当前文本页进行拍摄，转到目标检测模块。

所述装置还包括：第二差分检测模块，对定位图像与模板图像进行差分，根据得到的差分图像滤除虚假的定位触发。

本发明基于拍摄仪的点读定位方法和装置，与现有技术相比，其优点在于：根据对拍摄仪拍摄得到的图像与模板图像进行差分对指示物进行定位，从而确定指示物的位置，用户通过手指等指示物直接可以在被拍摄文本页上进行点读，不必使用外围设备进行操作，给用户使用提供了极大的方便，同时降低了设备成本，直接在拍摄仪上进行点读也显得生动活泼。

附图说明

图1为本发明基于拍摄仪的点读定位方法的流程图；

图2为本发明基于拍摄仪的点读定位方法中拍摄仪的工作示意图；

图3a至图3c为本发明基于拍摄仪的点读定位方法中检测指示物出现示意图；

图4a至图4f为本发明基于拍摄仪的点读定位方法中选取定位图像示意图；

图5为本发明基于拍摄仪的点读定位方法中得到的定位图像示意图；

图6为本发明基于拍摄仪的点读定位方法的定位图像中指示物的定位位置示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明基于拍摄仪的点读定位方法，如图1所述，包括如下步骤：

步骤一，检测指示物的出现。按第一时间间隔对当前文本页进行拍摄，将当前图像与模板图像进行差分以检测指示物是否出现，如果没有检测到指示物，则将模板图像更新为当前图像；如果检测到指示物，则停止对模板图像进行更新，转到步骤二。

如图2所示，采用拍摄仪对文本进行拍摄，将文本翻至待拍摄的文本页并放置于镜头的正下方，拍摄仪可以与计算机连接，通过配套的应用软件进行触发，也可以手动操作，使拍摄仪上方的镜头对待拍摄的文本页进行拍摄。本实施例中，通过计算机对拍摄仪进行操作，以第一时间间隔对当前文本页进行拍摄。

模板图像为当前文本页静止状态下的代表图像，表示当前文本页对应的像素分布情况，将按第一时间间隔对当前文本页进行拍摄的初始图像作为模板图像，并对当前图像与模板图像进行差分以检测指示物是否出现，如果没有检测到指示物，则将模板图像进行更新，更新为当前图像；如果检测到指示物，则停止对模板图像进行更新。这样选取模板图像就避免了由于拍摄仪振动和当前文本页抖动产生的图像偏差，保证了模板图像的质量。

将当前图像与模板图像进行差分时，将得到的差分图像进行二值分割，在所得的二值图像中，差分绝对值小于分割阈值的像素点为无变化像素点，差分绝对值大于等于分割阈值的像素点为变化像素点，统计差分图像中的变化像素点数，如果差分图像中的变化像素点数大于第一既定阈值，则表明当前图像与模板图像相比具有很大差异，即在当前图像中检测到了指示物；如果差分图像中的变化像素点数小于第一既定阈值，则表明当前图像与模板图像相比差异较小，即在当前图像中没有检测到指示物。如果当前图像中检测到了指示物，则停止对模板图像进行更新，开始确定模板图像后的定位图像；如果当前图像中没有检测到指示物，则进一步精确模板图像，将模板图像更新为当前图像。所述分割阈值通过将差分图像进行二值化算法，如OTSU二值化算法计算得出。

由于拍摄得到的图像中指示物对模板图像的遮挡，使拍摄仪拍摄到含有指示物的图像，从而使拍摄得到的含有指示物的图像和模板图像在进行图像差分时，得到的差分图像中含有的变化像素点的点数大于第一既定阈值。拍摄仪按第一时间间隔不断对当前文本页进行拍摄且指示物连续运动，在当前图像与模板图像进行图像差分得到的差分图像中含有大于第一既定阈值的变化像素点数时，当前图像后则会有一组连续图像帧均含有指示物。所述第一既定阈值用于度量指示物出现时像素点的数量，根据参考图像的分辨率及常用指示物的大小设定。

本实施例中，如图3a、图3b、图3c所示，为拍摄仪按第一时间间隔对当前文本页进行拍摄所得的相邻三帧图像，将第一既定阈值设为400。当前图像为图3b时，图3a为模板图像，将图3b与图3a进行图像差分，并对差分图像进行二值分割，其中的变化像素点数为0，小于第一既定阈值400，则将模板图像更新为图3 b。当前图像为图3c时，图3b为模板图像，将图3c与图3b进行图像差分，并对差分图像进行二值分割，其中的变化像素点数为511，大于第一既定阈值400，则表示图3c中检测到有指示物出现，此时停止对模板图像的更新。

步骤二，检测指示物到达定位位置。以第二时间间隔对当前文本页进行拍摄，根据模板图像后相邻图像之间的差异进行定位检测，从而确定定位图像。

确定模板图像后的图像帧中出现指示物后，以第二时间间隔对当前文本页进行拍摄，根据模板图像后相邻图像之间的差异进行定位检测。由于指示物连续运动，且模板图像之后的各图像都存在指示物，则需在这些图像中检测到指示物运动完毕后处于静止状态时对应的定位图像，并在步骤三中根据定位图像确定当前文本页中指示物的定位位置。

由于指示物由运动状态变为静止状态并在静止状态做一定时间的停留，则此时的静止状态对应的位置即为定位位置。进行定位检测时，检测指示物是否到达定位位置，并将指示物到达定位位置时对应的当前图像作为定位图像。对模板图像后的相邻图像进行差分，如果对应的差分图像中的变化像素点数超过第二既定阈值，则说明指示物处于运动过程中，如果差分图像中的变化像素点数小于第二既定阈值，则说明指示物已停止运动。本实施例中，如果连续三对相邻图像帧间的差分图像中的变化像素点数都小于第二既定阈值，则说明指示物已趋向于停止运动。所述第二既定阈值用于检测相邻两帧图像有无变化，根据参考图像的分辨率设定。如果对应的各差分图像的差分值均小于第二既定阈值，则说明指示物已趋向于停止运动，则可以确定指示物已经停止运动并处于定位位置，取此时的最后一帧当前图像为定位图像。

本实施例中，如图4a、图4b、图4c、图4d、图4e和图4f所示，为拍摄仪按第二时间间隔对当前文本页进行拍摄得到的四帧图像，其中图4a、图4b为前后相邻的两帧图像，图4c、图4d、图4e和图4f为前后相邻的四帧图像，图4b、图4c不相邻。将第二既定阈值设为50。将图4b与图4a进行图像差分，并对差分图像进行二值分割，其中的变化像素点数为420，大于第二既定阈值50，表示在图4b中，指示物仍处于运动状态。将图4b与图4a进行图像差分，并对差分图像进行二值分割，其中的变化像素点数为420，大于第二既定阈值50，表示在图4b中，指示物仍处于运动状态。将图4d与图4c进行图像差分，并对差分图像进行二值分割，其中的变化像素点数为27，小于第二既定阈值50，表示在图4d中，指示物已经处于静止状态。图4e和图4d及图4f和图4e之间的差分图像中的变化像素点数均小于第二既定阈值50，则表明指示物完全处于静止状态，取图4f为定位图像。

步骤二后还包括：滤除虚假的定位操作。对定位图像与模板图像进行差分，根据得到的差分图像滤除虚假的定位触发。

由于定位图像可能存在虚假的定位触发，典型的虚假的定位触发如书籍翻页、书籍页被刮碰等，这些虚假的定位触发造成了当前图像的拍摄错误，导致定位位置无从计算，故只有将模板图像更新为定位图像，重新进行定位检测，从而过滤掉这些虚假的定位触发。

所述根据得到的差分图像滤除虚假的定位触发时，计算定位图像图4f与模板图像图3b的差分图像，将差分图像进行二值分割后，计算二值图像中由变化像素点构成的连通域，如果其中小连通域的数目超过一定数目，则认为是虚假定位触发，此时将模板图像更新为定位图像，返回步骤一，进行下一次定位检测；否则为真实的定位触发，进入下一步。本实施例中，小连通域指变化像素点数小于32的连通域，一定数目设为50，本实施例中小连通域个数为0时，触发为真实的定位触发。

步骤三，计算定位位置。将定位图像和模板图像进行差分，根据得到的差分图像确定当前文本页中指示物的定位位置。

确定当前文本页中指示物的定位位置时，在定位图像中搜索与变化像素点最多的连通域相交的边界，将连通域中距所述边界最远的像素点作为指示物的定位位置。用户使用指示物点读当前文本页时，指示物顶端所对应的坐标就是指示物的定位位置，变化像素点最多的连通域对应指示物，连通域中距与连通域相交的定位图像的边界最远的像素点对应指示物的顶端，即将连通域中距所述边界最远的像素点的坐标作为指示物的定位位置。

本实施例中，如图6所示，根据模板图像对定位图像进行检测，检测到与变化像素点最多的连通域相交的边界为定位图像的右边界，连通域中与右边界距离最远的坐标点为指示物的定位位置。

取到定位位置的坐标后，定位过程结束，计算机根据定位位置调用TTS引擎或语音包读取OCR识别引擎识别完毕的文字，从而完成点读操作。

在一次点读完毕后，指示物移开拍摄仪的拍摄范围，将定位图像后的当前图像与模板图像进行差分，统计得到的差分图像中的变化像素点数，直到差分图像的变化像素点数小于既定阈值，表明当前图像与模板图像所得的差分图像中检测不到指示物后，则转到步骤一，按第一时间间隔重新对当前文本页进行拍摄，开始下一轮的点读定位。

本发明基于拍摄仪的点读定位装置，包括如下模块：

目标检测模块，按第一时间间隔对当前文本页进行拍摄，将当前图像与模板图像进行差分以检测指示物是否出现，如果没有检测到指示物，则将模板图像更新为当前图像；如果检测到指示物，则停止对模板图像进行更新，转到定位检测模块；

定位检测模块，以第二时间间隔对当前文本页进行拍摄，根据模板图像后相邻图像之间的差异进行定位检测，从而确定定位图像；

位置检测模块，根据定位图像和模板图像进行差分，根据得到的差分图像确定当前文本页中指示物的定位位置。

本发明基于拍摄仪的点读定位方法和装置，根据对拍摄仪拍摄得到的图像与模板图像进行差分对指示物进行定位，从而确定指示物的位置，用户通过手指等指示物直接可以在被拍摄文本页上进行点读，不必使用外围设备进行操作，给用户使用提供了极大的方便，同时降低了设备成本，直接在拍摄仪上进行点读也显得生动活泼。

Claims (15)

1.一种基于拍摄仪的点读定位方法，其特征在于，包括如下步骤：

步骤一，根据第一时间间隔对当前文本页进行拍摄，将拍摄的当前图像与模板图像进行差分以检测当前图像中指示物是否出现，如果没有检测到指示物，则将模板图像更新为当前图像；如果检测到指示物，则停止对模板图像进行更新，转到步骤二；

步骤二，根据第二时间间隔对当前文本页进行拍摄，根据模板图像后相邻图像之间的差异进行定位检测，从而确定存在指示物的定位图像；

步骤三，对定位图像和模板图像进行差分，根据得到的差分图像确定当前文本页中指示物的定位位置。

2. 根据权利要求1所述的方法，其特征在于：还包括，将定位图像后的当前图像与模板图像进行差分，直到得到的差分图像中检测不到指示物后按第一时间间隔重新对当前文本页进行拍摄，转到步骤一。

3.根据权利要求1所述的方法，其特征在于：所述步骤一中将当前图像与模板图像进行差分时，对得到的差分图像进行二值分割，所得的二值图像中差分绝对值大于等于分割阈值的像素点为变化像素点，如果差分图像中的变化像素点数大于第一既定阈值，则检测到指示物。

4.根据权利要求3所述的方法，其特征在于：所述模板图像为当前文本页静止状态下的代表图像，表示当前文本页对应的像素分布情况。

5.根据权利要求3或4所述的方法，其特征在于：所述步骤二中根据模板图像后相邻图像之间的差异进行定位检测时，如果连续一定数目的相邻图像对应的各差分图像的变化像素点数均小于第二既定阈值，则取一定数目的图像中的最后一帧为定位图像。

6.根据权利要求1所述的方法，其特征在于：所述第二时间间隔小于等于第一时间间隔。

7.根据权利要求3所述的方法，其特征在于：所述分割阈值通过将差分图像进行二值化计算得出。

8.根据权利要求3所述的方法，其特征在于：所述第一既定阈值用于检测指示物的出现，根据参考图像的分辨率及常用指示物的大小设定。

9.根据权利要求5所述的方法，其特征在于：所述第二既定阈值用于检测相邻两帧图像有无变化，根据参考图像的分辨率设定。

10.根据权利要求3所述的方法，其特征在于：所述方法还包括：对定位图像与模板图像进行差分，根据得到的差分图像滤除虚假的定位触发。

11.根据权利要求10所述的方法，其特征在于：所述根据得到的差分图像滤除虚假的定位触发时，将定位图像与模板图像的差分图像进行二值化分割后，计算所得的二值化图像中由变化像素点构成的连通域，如果其中小连通域的数目超过一定阈值，则将模板图像更新为定位图像，转到步骤一。

12.根据权利要求3所述的方法，其特征在于：所述步骤三中确定当前文本页中指示物的定位位置时，在定位图像中搜索与变化像素点最多的连通域相交的边界，将连通域中距所述边界最大的像素点作为指示物的定位位置。

13.一种基于拍摄仪的点读定位装置，其特征在于：包括如下模块，

目标检测模块，根据第一时间间隔对当前文本页进行拍摄，将拍摄的当前图像与模板图像进行差分以检测当前图像中指示物是否出现，如果没有检测到指示物，则将模板图像更新为当前图像；如果检测到指示物，则停止对模板图像进行更新，转到定位检测模块；

定位检测模块，根据第二时间间隔对当前文本页进行拍摄，根据模板图像后相邻图像之间的差异进行定位检测，从而确定存在指示物的定位图像；

位置检测模块，对定位图像和模板图像进行差分，根据得到的差分图像确定当前文本页中指示物的定位位置。

14. 根据权利要求13所述的装置，其特征在于：还包括，差分检测模块，将定位图像后的当前图像与模板图像进行差分，直到得到的差分图像中检测不到指示物后按第一时间间隔重新对当前文本页进行拍摄，转到目标检测模块。

15.根据权利要求13所述的装置，其特征在于：所述装置还包括：第二差分检测模块，对定位图像与模板图像进行差分，根据得到的差分图像滤除虚假的定位触发。

Images