CN115909342A - 基于触点运动轨迹的图像标记识别系统及方法 - Google Patents

Abstract

本发明涉及基于触点运动轨迹的图像标记识别系统及方法，属于图像数据处理技术领域，通过图像数据采集单元将所有能看见的内容统一视为可标记图像（即实时图像数据），使得不同文件格式、不同app平台等都能通过本方式来标记，降低了使用、维护成本。并且，通过目标触发检测单元、空间距离检测单元二者的配合，作为用户是否在做笔记的触发门槛（即触发门槛需存在目标触发物，且目标触发物与目标文档之间的距离小于预设距离阈值），避免图像标记识别系统误触发。最后，通过轨迹识别单元、目标笔记输出单元之间的配合即可输出用户所需的笔记（目标文本）。

Description

基于触点运动轨迹的图像标记识别系统及方法

技术领域

本发明属于图像数据处理技术领域，具体涉及一种基于触点运动轨迹的图像标记识别系统及方法。

背景技术

随着科技的进步和社会的发展，数字办公、移动办公成为新趋势，在阅读、会议等场景，需要对所见内容进行标记和记录，当前的标记方案对于纸质文档的标记面临着标记后容易遗忘、纸质文档的保存及标记内容的查询检索需要的人工成本、时间成本高昂的缺点，且随着时间的推移，使用成本只会越来越重；而电子文档又存在着因文件格式不支持标记或app的不支持标记，以及在各app、或平台上标记的内容相互独立，无法统一查询管理的情况。

因此，现阶段需设计基于触点运动轨迹的图像标记识别系统及方法，来解决以上问题。

发明内容

本发明目的在于提供基于触点运动轨迹的图像标记识别系统及方法，用于解决上述现有技术中存在的技术问题，通过摄像头将所有能看见的内容统一视为可标记图像，使得不同文件格式、不同app平台都能通过本方式来标记，降低了使用、维护成本。

为实现上述目的，本发明的技术方案是：

基于触点运动轨迹的图像标记识别系统，包括图像数据采集单元、文本检测识别单元、目标触发检测单元、空间距离检测单元、轨迹识别单元、目标笔记输出单元、主控制单元；所述主控制单元分别与所述图像数据采集单元、文本检测识别单元、目标触发检测单元、空间距离检测单元、轨迹识别单元、目标笔记输出单元连接；

所述图像数据采集单元用于通过摄像头获取目标文档的实时图像数据；

所述文本检测识别单元用于获取所述实时图像数据中每个字符的文本以及所述文本在所述实时图像数据中的位置信息，并根据所述位置信息将所述文本有序拼接为文本行；

所述目标触发检测单元用于检测所述实时图像数据中是否存在目标触发物；

所述空间距离检测单元用于检测判断所述目标触发物与所述目标文档之间的距离是否满足预设距离阈值；

所述轨迹识别单元用于检测记录所述目标触发物在所述目标文档上的移动轨迹；

所述目标笔记输出单元用于将与所述移动轨迹对应的所述文本行作为目标笔记输出；所述目标笔记输出单元输出的目标笔记包括但不限于：文字、图像、视频。

进一步的，所述图像标记识别系统动作时，

所述主控制单元控制所述图像数据采集单元、文本检测识别单元、目标触发检测单元开启，控制所述空间距离检测单元、轨迹识别单元、目标笔记输出单元关闭；

当所述目标触发检测单元检测到所述实时图像数据中存在目标触发物时，所述主控制单元控制所述空间距离检测单元开启；

当所述空间距离检测单元判断出所述目标触发物与所述目标文档之间的距离小于预设距离阈值时，所述主控制单元控制所述轨迹识别单元开启；

当所述空间距离检测单元判断出所述目标触发物与所述目标文档之间的距离大于预设距离阈值时，所述主控制单元控制所述轨迹识别单元关闭、且控制所述目标笔记输出单元开启。

进一步的，所述图像数据采集单元包括摄像头、摄像距离检测装置、摄像方向检测装置、移件装置、控制器；

所述控制器分别与所述摄像头、摄像距离检测装置、摄像方向检测装置连接；

所述摄像距离检测装置用于检测所述摄像头与所述目标文档之间的实时距离，并判断所述实时距离是否支持所述摄像头的标准摄像动作；

所述摄像方向检测装置用于检测所述摄像头的摄像方向是否正对所述目标文档；

所述移件装置用于移动所述摄像头的位置。

进一步的，所述主控制单元控制所述图像数据采集单元开启时，

所述控制器控制所述摄像距离检测装置、摄像方向检测装置开启，控制所述摄像头、移件装置关闭；

若所述摄像距离检测装置判断出所述实时距离不支持所述摄像头的标准摄像动作、或所述摄像方向检测装置检测到所述摄像头的摄像方向未正对所述目标文档，则所述控制器控制所述移件装置开启；

当所述摄像距离检测装置判断出所述实时距离支持所述摄像头的标准摄像动作、且所述摄像方向检测装置检测到所述摄像头的摄像方向正对所述目标文档时，所述控制器控制所述摄像头开启。

进一步的，当所述目标触发检测单元检测到所述实时图像数据中存在目标触发物时；

所述文本检测识别单元判断所述目标触发物是否遮挡住所述实时图像数据中的字符，若判断所述目标触发物遮挡住所述实时图像数据中的字符，则所述控制器控制所述移件装置开启；

所述摄像头获取目标文档被所述目标触发物遮挡住的字符的图像数据，所述文本检测识别单元获取所述图像数据中每个字符的文本，并将所述文本补入至所述文本行内。

进一步的，所述空间距离检测单元在判断所述目标触发物与所述目标文档之间的距离是否满足预设距离阈值时；

通过测距仪测量所述目标触发物的端部与所述目标文档之间的垂直距离，记为第一垂直距离；

通过所述实时图像数据分析计算所述目标触发物的端部与所述目标文档之间的垂直距离，记为第二垂直距离；

当所述第一垂直距离与所述第二垂直距离一致时，所述空间距离检测单元以所述第一垂直距离或所述第二垂直距离为准。

进一步的，所述空间距离检测单元在获取第二垂直距离时，

通过所述实时图像数据分析其中是否可识别到所述目标触发物的端部，若不能识别到所述目标触发物的端部，则舍弃当前第二垂直距离，且所述控制器控制所述移件装置开启。

进一步的，还包括无线通信单元，所述无线通信单元与所述主控制单元连接。

基于触点运动轨迹的图像标记识别方法，采用如上述的基于触点运动轨迹的图像标记识别系统进行图像标记识别。

与现有技术相比，本发明所具有的有益效果为：

本方案其中一个有益效果在于，通过图像数据采集单元将所有能看见的内容统一视为可标记图像（即实时图像数据），使得不同文件格式、不同app平台等都能通过本方式来标记，降低了使用、维护成本。并且，通过目标触发检测单元、空间距离检测单元二者的配合，作为用户是否在做笔记的触发门槛（即触发门槛需存在目标触发物，且目标触发物与目标文档之间的距离小于预设距离阈值），避免图像标记识别系统误触发。最后，通过轨迹识别单元、目标笔记输出单元之间的配合即可输出用户所需的笔记（目标文本、目标图像、或目标视频等）。

附图说明

图1为本方案实施方式的系统结构示意图。

图2为本方案实施方式的系统运行工作原理示意图。

图3为本方案实施方式的图像数据采集单元结构示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，提出基于触点运动轨迹的图像标记识别系统，包括图像数据采集单元、文本检测识别单元、目标触发检测单元、空间距离检测单元、轨迹识别单元、目标笔记输出单元、主控制单元；所述主控制单元分别与所述图像数据采集单元、文本检测识别单元、目标触发检测单元、空间距离检测单元、轨迹识别单元、目标笔记输出单元连接；

所述图像数据采集单元用于通过摄像头获取目标文档（目标文档可为纸件文档、手机或电脑中的电子文档、或应用软件APP界面等）的实时图像数据；

所述文本检测识别单元用于获取所述实时图像数据中每个字符的文本以及所述文本在所述实时图像数据中的位置信息，并根据所述位置信息将所述文本有序拼接为文本行；

所述目标触发检测单元用于检测所述实时图像数据中是否存在目标触发物（目标触发物可为笔尖、手指、或其他可指向性物体）；

所述空间距离检测单元用于检测判断所述目标触发物与所述目标文档之间的距离（此处的距离是指目标触发物靠近目标文档的一端端部与目标文档之间的垂直距离）是否满足预设距离阈值；

所述轨迹识别单元用于检测记录所述目标触发物在所述目标文档上的移动轨迹；

所述目标笔记输出单元用于将与所述移动轨迹对应的所述文本行作为目标笔记输出；所述目标笔记输出单元输出的目标笔记包括但不限于：文字、图像、视频。

上述方案中，通过图像数据采集单元将所有能看见的内容统一视为可标记图像（即实时图像数据），使得不同文件格式、不同app平台等都能通过本方式来标记，降低了使用、维护成本。并且，通过目标触发检测单元、空间距离检测单元二者的配合，作为用户是否在做笔记的触发门槛（即触发门槛需存在目标触发物，且目标触发物与目标文档之间的距离小于预设距离阈值），避免图像标记识别系统误触发。最后，通过轨迹识别单元、目标笔记输出单元之间的配合即可输出用户所需的笔记。

进一步的，如图2所示，所述图像标记识别系统动作时，

所述主控制单元控制所述图像数据采集单元、文本检测识别单元、目标触发检测单元开启，控制所述空间距离检测单元、轨迹识别单元、目标笔记输出单元关闭；

当所述目标触发检测单元检测到所述实时图像数据中存在目标触发物时，所述主控制单元控制所述空间距离检测单元开启；

当所述空间距离检测单元判断出所述目标触发物与所述目标文档之间的距离小于预设距离阈值时，所述主控制单元控制所述轨迹识别单元开启；

当所述空间距离检测单元判断出所述目标触发物与所述目标文档之间的距离大于预设距离阈值时，所述主控制单元控制所述轨迹识别单元关闭、且控制所述目标笔记输出单元开启。

上述方案中，通过图像数据采集单元、文本检测识别单元、目标触发检测单元、空间距离检测单元、轨迹识别单元、目标笔记输出单元之间的有序配合启动，可避免多余单元长时间无效动作；由目标触发检测单元的检测结果作为空间距离检测单元的触发开启条件，由空间距离检测单元的检测结果作为轨迹识别单元、目标笔记输出单元的触发开启条件，实现一环扣一环的联动机制，保障图像标记识别过程中可靠性的同时还降低整个系统的功耗。

进一步的，如图3所示，所述图像数据采集单元包括摄像头、摄像距离检测装置、摄像方向检测装置、移件装置、控制器；

所述控制器分别与所述摄像头、摄像距离检测装置、摄像方向检测装置、主控制单元连接；

所述摄像距离检测装置用于检测所述摄像头与所述目标文档之间的实时距离，并判断所述实时距离是否支持所述摄像头的标准摄像动作；

所述摄像方向检测装置用于检测所述摄像头的摄像方向是否正对所述目标文档；

所述移件装置用于移动所述摄像头的位置。

进一步的，所述主控制单元控制所述图像数据采集单元开启时，

所述控制器控制所述摄像距离检测装置、摄像方向检测装置开启，控制所述摄像头、移件装置关闭；

若所述摄像距离检测装置判断出所述实时距离不支持所述摄像头的标准摄像动作、或所述摄像方向检测装置检测到所述摄像头的摄像方向未正对所述目标文档，则所述控制器控制所述移件装置开启；

当所述摄像距离检测装置判断出所述实时距离支持所述摄像头的标准摄像动作、且所述摄像方向检测装置检测到所述摄像头的摄像方向正对所述目标文档时，所述控制器控制所述摄像头开启。

上述方案中，值得注意的是，当图像数据采集单元仅为摄像头时，我们发现采集到的图像数据存在目标文档图像倾斜、模糊不清晰、图像中未完全包含目标文档等情况。为了避免摄像头的摄像距离、摄像方向对实时图像数据的采集造成干扰，将图像数据采集单元设计为摄像头、摄像距离检测装置、摄像方向检测装置、移件装置等装置的配合，可确保摄像头工作在最佳状态，从而保障采集到的图像数据为有效图像数据。

进一步的，当所述目标触发检测单元检测到所述实时图像数据中存在目标触发物时；

所述文本检测识别单元判断所述目标触发物是否遮挡住所述实时图像数据中的字符，若判断所述目标触发物遮挡住所述实时图像数据中的字符，则所述控制器控制所述移件装置开启；

所述摄像头获取目标文档被所述目标触发物遮挡住的字符的图像数据，所述文本检测识别单元获取所述图像数据中每个字符的文本，并将所述文本补入至所述文本行内。

上述方案中，在具体操作时，存在图像数据中目标触发物（如手指）遮挡住部分字符的情况，导致部分字符在后续的笔记中缺失。因此，当判断出图像数据中目标触发物遮挡住部分字符时，通过移件装置对摄像头的位置进行调节，使得摄像头采集图像数据时，可将先前被目标触发物遮挡的部分字符采集到，确保有效数据完整。

进一步的，所述空间距离检测单元在判断所述目标触发物与所述目标文档之间的距离是否满足预设距离阈值时；

通过测距仪测量所述目标触发物的端部与所述目标文档之间的垂直距离，记为第一垂直距离；

通过所述实时图像数据分析计算所述目标触发物的端部与所述目标文档之间的垂直距离，记为第二垂直距离；

当所述第一垂直距离与所述第二垂直距离一致时，所述空间距离检测单元以所述第一垂直距离或所述第二垂直距离为准。

上述方案中，空间距离检测单元作为整个系统的核心触发环节之一，需保障其检测结果的高精准度，因此，设计了第一垂直距离和第二垂直距离的双重检测判断，从不同的两种检测方式进行空间距离检测，使得其检测结果具备高可靠性。

进一步的，所述空间距离检测单元在获取第二垂直距离时，

通过所述实时图像数据分析其中是否可识别到所述目标触发物的端部，若不能识别到所述目标触发物的端部，则舍弃当前第二垂直距离，且所述控制器控制所述移件装置开启。

上述方案中，在具体操作时，我们发现第二垂直距离在检测过程中存在异常情况，即，实时图像数据中无法识别到目标触发物的端部，此时测出的第二垂直距离是异常数据；因此，为了避免这种情况，当实时图像数据中无法识别到目标触发物的端部时，通过移件装置来调节摄像头的位置，直至实时图像数据中可识别到目标触发物的端部。

进一步的，还包括无线通信单元，所述无线通信单元与所述主控制单元连接，主控制单元可通过无线通信单元实现远程数据交互。

基于触点运动轨迹的图像标记识别方法，采用如上述的基于触点运动轨迹的图像标记识别系统进行图像标记识别。具体案例如下，包括以下步骤：

通过摄像头获取目标文档每一帧的图像并发送到文本检测识别单元；

通过文本检测识别单元获取每个字符的文本及其在图像的位置信息，并将单个文字拼接为文本行；

目标触发检测单元检测获取的图像中是否存在目标触发物（笔尖或手指等），当检测到存在时，通过双目测距算法，获取并记录其三维坐标（X,Y,Z）当目标触发物与目标文档的空间Z距离小于预定阈值时，向轨迹检测单元发送一个开始信号，随后将位置坐标实时传递给轨迹检测单元，直到目标触发物与目标文档的空间距离Z大于预定阈值时，向轨迹检测单元发送一个结束信号,停止发送二维位置坐标（X,Y）；

因原始的轨迹存在一定的噪声，因此使用RTS算法将运动轨迹平滑处理；

在原始的图像上根据经由RTS算法平滑处理后的坐标位置将目标文本提取并输出。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (10)

1.基于触点运动轨迹的图像标记识别系统，其特征在于，包括图像数据采集单元、文本检测识别单元、目标触发检测单元、空间距离检测单元、轨迹识别单元、目标笔记输出单元、主控制单元；所述主控制单元分别与所述图像数据采集单元、文本检测识别单元、目标触发检测单元、空间距离检测单元、轨迹识别单元、目标笔记输出单元连接；

所述图像数据采集单元用于通过摄像头获取目标文档的实时图像数据；

所述文本检测识别单元用于获取所述实时图像数据中每个字符的文本以及所述文本在所述实时图像数据中的位置信息，并根据所述位置信息将所述文本有序拼接为文本行；

所述目标触发检测单元用于检测所述实时图像数据中是否存在目标触发物；

所述空间距离检测单元用于检测判断所述目标触发物与所述目标文档之间的距离是否满足预设距离阈值；

所述轨迹识别单元用于检测记录所述目标触发物在所述目标文档上的移动轨迹；

所述目标笔记输出单元用于将与所述移动轨迹对应的所述文本行作为目标笔记输出。

2.根据权利要求1所述的基于触点运动轨迹的图像标记识别系统，其特征在于，所述图像标记识别系统动作时，

所述主控制单元控制所述图像数据采集单元、文本检测识别单元、目标触发检测单元开启，控制所述空间距离检测单元、轨迹识别单元、目标笔记输出单元关闭；

当所述目标触发检测单元检测到所述实时图像数据中存在目标触发物时，所述主控制单元控制所述空间距离检测单元开启；

当所述空间距离检测单元判断出所述目标触发物与所述目标文档之间的距离小于预设距离阈值时，所述主控制单元控制所述轨迹识别单元开启；

当所述空间距离检测单元判断出所述目标触发物与所述目标文档之间的距离大于预设距离阈值时，所述主控制单元控制所述轨迹识别单元关闭、且控制所述目标笔记输出单元开启。

3.根据权利要求2所述的基于触点运动轨迹的图像标记识别系统，其特征在于，所述图像数据采集单元包括摄像头、摄像距离检测装置、摄像方向检测装置、移件装置、控制器；

所述控制器分别与所述摄像头、摄像距离检测装置、摄像方向检测装置连接；

所述摄像距离检测装置用于检测所述摄像头与所述目标文档之间的实时距离，并判断所述实时距离是否支持所述摄像头的标准摄像动作；

所述摄像方向检测装置用于检测所述摄像头的摄像方向是否正对所述目标文档；

所述移件装置用于移动所述摄像头的位置。

4.根据权利要求3所述的基于触点运动轨迹的图像标记识别系统，其特征在于，所述主控制单元控制所述图像数据采集单元开启时，

所述控制器控制所述摄像距离检测装置、摄像方向检测装置开启，控制所述摄像头、移件装置关闭；

若所述摄像距离检测装置判断出所述实时距离不支持所述摄像头的标准摄像动作、或所述摄像方向检测装置检测到所述摄像头的摄像方向未正对所述目标文档，则所述控制器控制所述移件装置开启；

当所述摄像距离检测装置判断出所述实时距离支持所述摄像头的标准摄像动作、且所述摄像方向检测装置检测到所述摄像头的摄像方向正对所述目标文档时，所述控制器控制所述摄像头开启。

5.根据权利要求4所述的基于触点运动轨迹的图像标记识别系统，其特征在于，当所述目标触发检测单元检测到所述实时图像数据中存在目标触发物时；

所述文本检测识别单元判断所述目标触发物是否遮挡住所述实时图像数据中的字符，若判断所述目标触发物遮挡住所述实时图像数据中的字符，则所述控制器控制所述移件装置开启；

所述摄像头获取目标文档被所述目标触发物遮挡住的字符的图像数据，所述文本检测识别单元获取所述图像数据中每个字符的文本，并将所述文本补入至所述文本行内。

6.根据权利要求4所述的基于触点运动轨迹的图像标记识别系统，其特征在于，所述空间距离检测单元在判断所述目标触发物与所述目标文档之间的距离是否满足预设距离阈值时；

通过测距仪测量所述目标触发物的端部与所述目标文档之间的垂直距离，记为第一垂直距离；

通过所述实时图像数据分析计算所述目标触发物的端部与所述目标文档之间的垂直距离，记为第二垂直距离；

当所述第一垂直距离与所述第二垂直距离一致时，所述空间距离检测单元以所述第一垂直距离或所述第二垂直距离为准。

7.根据权利要求6所述的基于触点运动轨迹的图像标记识别系统，其特征在于，所述空间距离检测单元在获取第二垂直距离时，

通过所述实时图像数据分析其中是否可识别到所述目标触发物的端部，若不能识别到所述目标触发物的端部，则舍弃当前第二垂直距离，且所述控制器控制所述移件装置开启。

8.根据权利要求1所述的基于触点运动轨迹的图像标记识别系统，其特征在于，还包括无线通信单元，所述无线通信单元与所述主控制单元连接。

9.根据权利要求1所述的基于触点运动轨迹的图像标记识别系统，其特征在于，所述目标笔记输出单元输出的目标笔记包括但不限于：文字、图像、视频。

10.基于触点运动轨迹的图像标记识别方法，其特征在于，采用如权利要求1-9任一项所述的基于触点运动轨迹的图像标记识别系统进行图像标记识别。

Images