CN110263792B

CN110263792B - 图像识读及数据处理方法、智能笔、系统及存储介质

Info

Publication number: CN110263792B
Application number: CN201910503718.5A
Authority: CN
Inventors: 董勇军; 秦伟
Original assignee: Guangdong Genius Technology Co Ltd
Current assignee: Guangdong Genius Technology Co Ltd
Priority date: 2019-06-12
Filing date: 2019-06-12
Publication date: 2021-10-22
Anticipated expiration: 2039-06-12
Also published as: CN110263792A

Abstract

本发明适用计算机技术领域，提供了一种图像识读及数据处理方法、智能笔、系统及存储介质，基于智能笔进行图像处理，先获得包含目标内容的图像，再从所述图像中识别得到与所述目标内容对应的若干字符，将所述字符构成待输出文本文件，将所述文件及针对所述目标内容的识读请求输出至服务器，接收从所述服务器返回的、对所述目标内容的识读结果。这样，智能笔无需传输包含目标内容的图像，而将图像中与目标内容对应的字符识别出来构成文本文件以输出，从而能相对地减少智能笔通信数据量，降低整体能耗，提升智能笔的续航能力。

Description

图像识读及数据处理方法、智能笔、系统及存储介质

技术领域

本发明属于计算机技术领域，尤其涉及一种图像识读及数据处理方法、智能笔、系统及存储介质。

背景技术

目前，当用户在工作、学习过程中，需要对纸质书籍或电子书等信息载体上的内容进行智能识读时，通常是利用智能笔设备的摄像头对字词句等目标内容进行拍摄，再将拍摄所得图片整体发送到云端，云端对图片中字词句进行识别、搜索，然后向用户的手机、平板电脑或智能笔返回识别搜索结果。这样，由于智能笔通常是独立的物理设备，本身对节能要求较高，如果频繁地进行图片发送，则会造成智能笔需要通信的数据量较大，从而造成整体能耗较高，影响智能笔的续航能力。

发明内容

本发明的目的在于提供一种图像识读及数据处理方法、智能笔、系统及存储介质，旨在解决现有技术所存在的、因智能笔通信数据量较大而导致整体能耗较高的问题。

一方面，本发明提供了一种基于智能笔的图像识读方法，包括：

获得包含目标内容的图像；

从所述图像中识别得到与所述目标内容对应的若干字符；

将所述字符构成待输出文本文件；

将所述文件及针对所述目标内容的识读请求输出至服务器；

接收从所述服务器返回的、对所述目标内容的识读结果。

进一步的，将所述字符构成待输出文件，具体包括：

获得用于表征所述字符之间相对位置关系的位置信息；

根据所述位置信息，确定所述字符在所述图像中的文本排版顺序；

由所述字符及所述文本排版顺序生成所述文件。

进一步的，根据所述位置信息，确定所述字符在所述图像中的文本排版顺序，具体包括：

根据所述位置信息，将相对临近的若干所述字符划分到一个集合中，所述集合在所述图像上对应于一个区域；

确定所述集合中各所述字符在所述区域内的第一顺序，当存在至少两个所述区域时，确定所述区域之间的第二顺序；

以所述第一顺序，或者所述第一顺序及所述第二顺序，确定所述文本排版顺序。

进一步的，以所述第一顺序，或者所述第一顺序及所述第二顺序，确定所述文本排版顺序，具体包括：

按照所述第一顺序，或者所述第一顺序及所述第二顺序，确定所述图像中各所述字符的初始排版顺序；

从所述文件中按照预设读取顺序读取部分所述字符，获得按所述读取顺序排列的待验证文本，所述预设读取顺序与所述初始排版顺序匹配；

将所述待验证文本与预设标准文本进行比对，以验证所述初始排版顺序，

当所述初始排版顺序验证通过时，以所述初始排版顺序作为所述文本排版顺序，

当所述初始排版顺序验证未通过时，重新以所述第一顺序，或者所述第一顺序及所述第二顺序，确定所述文本排版顺序。

进一步的，所述预设读取顺序与所述初始排版顺序匹配，具体包括如下情形中的至少一种：

当以所述第一顺序，确定所述文本排版顺序时，所述预设读取顺序与所述第一顺序一致或相反，

当以所述第一顺序及所述第二顺序，确定所述文本排版顺序时，所述预设读取顺序由所述第一顺序、所述第一顺序的逆序、所述第二顺序和/或所述第二顺序的逆序确定。

进一步的，由所述字符及所述文本排版顺序生成所述文件，具体为：

当所述文件为文本格式文件时，按照所述文本排版顺序依次输入并保存得到所述文件。

另一方面，本发明还提供了一种数据处理方法，包括：

智能笔获得包含目标内容的图像，从所述图像中识别得到与所述目标内容对应的若干字符，并将所述字符构成待输出文本文件；

服务器根据从所述智能笔接收的所述文件以及针对所述目标内容的识读请求进行对应处理。

另一方面，本发明还提供了一种智能笔，包括存储器及处理器，所述处理器执行所述存储器中存储的计算机程序时实现如上述方法中的步骤。

另一方面，本发明还提供了一种数据处理系统，包括：如上述智能笔，以及，用于根据从所述智能笔接收的所述文件以及针对所述目标内容的识读请求进行对应处理的服务器。

另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法中的步骤。

本发明基于智能笔进行图像处理，先获得包含目标内容的图像，再从所述图像中识别得到与所述目标内容对应的若干字符，将所述字符构成待输出文本文件，将所述文件及针对所述目标内容的识读请求输出至服务器，接收从所述服务器返回的、对所述目标内容的识读结果。这样，智能笔无需传输包含目标内容的图像，而将图像中与目标内容对应的字符识别出来构成文本文件以输出，从而能相对地减少智能笔通信数据量，降低整体能耗，提升智能笔的续航能力。

附图说明

图1是本发明实施例一提供的基于智能笔的图像识读方法的实现流程图；

图2是本发明实施例二中步骤S103的细化流程图；

图3是本发明实施例三中步骤S202的细化流程图；

图4是本发明实施例三中区域划分及第一顺序示意图；

图5是本发明实施例三中第二顺序示意图；

图6是本发明实施例四中步骤S303的细化流程图；

图7是本发明实施例五提供的数据处理方法的实现流程图；

图8是本发明实施例六提供的智能笔的结构示意图；

图9是本发明实施例七提供的数据处理系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明实施例一提供的基于智能笔的图像识读方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤S101中，获得包含目标内容的图像；

本实施例中，智能笔通过其所设置的摄像头，可拍摄获得包含目标内容的图像。

目标内容通常承载于纸质书籍、电子书或各种可能的信息载体上。

目标内容可以是用户需要进行搜索的字词句等，例如：英文单词、日文句、中文成语等。

目标内容可被预先标记或不被标记。

预先标记动作指的是以颜色、画线等实体标记形式或电子标记形式实施的标记动作。所采用的标记可以包含颜色、形状、符号等属性。

在步骤S102中，从所述图像中识别得到与所述目标内容对应的若干字符；

本实施例中，当在预先标记情况下，在进行后续字符识别时，智能笔可依据标记的属性，进行相应的识别处理。例如：当目标内容被以红色进行标记时，智能笔可识别出红色标记区域以及该标记区域中的字符，该区域可根据字符占据的字符区域，自适应进行区域大小的调整以包含完整的字符。当采用形状、符号等属性的标记时，可类似推导。

当目标内容不被预先标记时，在进行后续字符识别时，智能笔可对拍摄焦点位置处的预设区域内的目标内容进行识别，也可以对拍摄时智能笔投影于信息载体上的光标所对应区域内的目标内容进行识别，还可以对拍摄时在智能笔或关联电子设备显示屏上所显示标记框内的目标内容进行识别等。当然，在其他应用示例中，还可以对拍摄视野内所有字符进行识别，所识别到的所有字符也可被认为是与目标内容对应的。

在步骤S103中，将所述字符构成待输出文本文件。

本实施例中，可将识别得到的字符依照一定顺序构成待输出文件，该顺序一般是字符在图像中的排版顺序，从而能表征或基本表征目标内容所反映的真实语义。

文件的格式可以是txt文本格式或word文本格式等。字符可依照顺序依次输入并保存到文件中。文件还可以是其他可保存字符的文件格式，由于通常会存在多字符的情况，在保存字符时，还可以同时保存指示该字符在所有字符中位置的指示符号。

在步骤S104中，将所述文件及针对所述目标内容的识读请求输出至服务器。

本实施例中，可将上述文件以及相应的识读请求输出至服务器，服务器所在云端即可对文件中的字符进行读取并直接进行相应的搜索操作，得到相应的识读结果。

在步骤S105中，接收从所述服务器返回的、对所述目标内容的识读结果。

本实施例中，当接收到相应识读结果后，即可通过语音、视频等方式展示相应的识读结果。识读结果可在智能笔和/或配套设备(例如：平板电脑、智能手机等)上进行展示。

实施本实施例的基于智能笔进行图像处理，先获得包含目标内容的图像，再从所述图像中识别得到与所述目标内容对应的若干字符，将所述字符构成待输出文本文件，将所述文件及针对所述目标内容的识读请求输出至服务器，接收从所述服务器返回的、对所述目标内容的识读结果。这样，智能笔无需传输包含目标内容的图像，而将图像中与目标内容对应的字符识别出来构成文本文件以输出，从而能相对地减少智能笔通信数据量，降低整体能耗，提升智能笔的续航能力。

实施例二：

本实施例在实施例一基础上，进一步提供了如下内容：

如图2所示，本实施例的步骤S103具体包括：

在步骤S201中，获得用于表征所述字符之间相对位置关系的位置信息；

本实施例中，可预先建立一参考坐标系，该参考坐标系可为基于拍摄图像所建立的平面坐标系，也可以是沿用三维世界坐标系。基于参考坐标系，可得到字符在参考坐标系中的映射坐标，坐标即可用于表征字符之间的相对位置关系。

为了处理方便、直观，上述参考坐标系(尤其是平面坐标系)可参考检测所得正立的字符来建立。通常情况下，图像中的字符一般是保持统一姿势的，而在拍摄时，由于拍摄角度问题，图像中的字符在呈现时可能是正立姿势或偏斜甚至倒立姿势，因此，可以先对字符姿势进行检测，并且基于正立字符的方向来建立参考坐标系，从而可方便进行文本排版顺序的确定。

在步骤S202中，根据所述位置信息，确定所述字符在所述图像中的文本排版顺序；

本实施例中，利用字符坐标，即可将字符之间的相对位置关系数字化，从而可进一步依据字符坐标来确定字符在图像中的文本顺序。

当识别到多个字符时，需要进一步确定字符在图像中的文本排版顺序，从而确认目标内容的语义。利用字符坐标，即可计算得到字符间临近程度、字符出现方向等位置信息，从而进一步确定文本排版顺序。当然，坐标本身也可以用于表征字符间相对位置关系。例如：当位置信息指示字符A与字符B、字符B与字符C临近程度满足较小的阈值要求，且字符A、B、C基本上顺次出现在同一直线d方向上时，以字符A、B、C在直线d方向上的顺序(或字符C、B、A在直线d方向上的顺序)作为其文本排版顺序；而如果还从图像中识别出字符D，而字符D与字符A、B、C临近程度都不满足较小的阈值要求，则可将字符D置于上述字符A、B、C所形成文本排版顺序的结尾或开头或其他位置。

在步骤S203中，由所述字符及所述文本排版顺序生成所述文件。

实施例三：

本实施例在实施例二基础上，进一步提供了如下内容：

如图3所示，本实施例的步骤S202具体包括：

在步骤S301中，根据所述位置信息，将相对临近的若干所述字符划分到一个集合中，所述集合在所述图像上对应于一个区域；

本实施例中，当识别得到多个字符时，由于字符在图像中的排版通常遵循一定的逻辑，例如：会存在分行、分段等情况，那么，可根据字符间临近程度等位置信息，将同一行内的字符划分到一个集合中(该行内的字符与其他行内的字符之间距离相对较大)，如图4中虚线框所示。

在步骤S302中，确定所述集合中各所述字符在所述区域内的第一顺序，当存在至少两个所述区域时，确定所述区域之间的第二顺序；

本实施例中，可利用字符出现方向等位置信息，确定集合中各字符在本区域内的第一顺序，第一顺序可如图4中实线或虚线箭头所示。

当存在至少两个集合对应的区域时，例如：存在至少两行字符时，可确定字符集合之间的第二顺序，第二顺序可如图5中实现或虚线箭头所示。

在步骤S303中，以所述第一顺序，或者所述第一顺序及所述第二顺序，确定所述文本排版顺序。

本实施例中，当只存在一个字符集合，此时即以第一顺序作为文本排版顺序。如果存在至少两个字符集合，则需要将第一顺序及第二顺序共同确定的第三顺序(例如：包含第二顺序所指示的行间顺序以及第一顺序所指示的行内顺序)，作为文本排版顺序。

实施例四：

本实施例在实施例三基础上，进一步提供了如下内容：

如图6所示，本实施例的步骤S303具体包括：

在步骤S601中，按照所述第一顺序，或者所述第一顺序及所述第二顺序，确定所述图像中各所述字符的初始排版顺序；

在步骤S602中，从所述文件中按照预设读取顺序读取部分所述字符，获得按所述读取顺序排列的待验证文本，所述预设读取顺序与所述初始排版顺序匹配；

在步骤S603中，将所述待验证文本与预设标准文本进行比对，以验证所述初始排版顺序，当所述初始排版顺序验证通过时，执行步骤S604，否则重新以所述第一顺序，或者所述第一顺序及所述第二顺序，确定所述文本排版顺序；

在步骤S604中，以所述初始排版顺序作为所述文本排版顺序。

本实施例中，主要提供了一种验证文本排版顺序的方法，首先，可类似实施例三的内容，确定图像中各字符的一初始排版顺序，然后利用与初始排版顺序一致或反向的预设读取顺序，读取出部分字符作为待验证文本参与后续验证。

预设标准文本是字符按照一定标准语义排序而成的文本，例如：预设标准文本是“日新月异”，如果按照初始排版顺序所得待验证文本为“异月新日”，则验证不被通过，需要重新确定文本排版顺序。若验证通过，则以初始排版顺序作为文本排版顺序。

在一具体应用中，所述预设读取顺序与所述初始排版顺序匹配，具体可包括如下情形中的至少一种：

本实施例中，可按照第一顺序、第二顺序、第一顺序的逆序和/或第二顺序的逆序中的一个或多个组合所得顺序，确定预设读取顺序或初始排版顺序。预设读取顺序可以与初始排版顺序一致或不一致。

实施例五：

图7示出了本发明实施例五提供的数据处理方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤S701中，智能笔获得包含目标内容的图像，从所述图像中识别得到与所述目标内容对应的若干字符，并将所述字符构成待输出文本文件；

在步骤S702中，服务器根据从所述智能笔接收的所述文件以及针对所述目标内容的识读请求进行对应处理。

本实施例中，智能笔可通过上述实施例的方法获得文件并输出至服务器，同时，智能笔还可以将针对目标内容的识读请求输出至服务器，识读请求可以是针对目标内容的搜索请求、存储请求等。

服务器接收到该文件及识读请求后，则可进行对应的搜索、存储等处理。然后向智能笔或其他用户设备返回处理结果。

服务器接收到该文件后，还可以对文件进行进一步验证。由于服务器处于网络侧，其处理能力、硬件资源较智能笔侧更为强大、丰富，因此，服务器可利用其云计算能力，对文件进行语义验证及修正，进一步确保处理的精准性。

实施例六：

图8示出了本发明实施例六提供的智能笔的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

本发明实施例的智能笔包括处理器801及存储器802，处理器801执行存储器802中存储的计算机程序803时实现上述各个方法实施例中的步骤，例如图1所示的步骤S101至S103。

当然，为实现智能笔的相关功能，智能笔中还可以包括：摄像头、网络模组等。

本发明实施例的智能笔中处理器801执行计算机程序803时实现各方法时实现的步骤，可参考前述方法实施例的描述，在此不再赘述。

实施例七：

图9示出了本发明实施例七提供的数据处理系统的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

本发明实施例的数据处理系统包括如上述的智能笔901及服务器902，其中，服务器902用于根据从所述智能笔901接收的所述文件以及针对所述目标内容的识读请求进行对应处理。服务器902可以是单个服务器或服务器组网等。

实施例八：

在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤，例如，图1所示的步骤S101至S103。

本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于智能笔的图像识读方法，其特征在于，包括：

获得包含目标内容的图像；

从所述图像中识别得到与所述目标内容对应的若干字符；

将所述字符构成待输出文本文件；

将所述文件及针对所述目标内容的识读请求输出至服务器；

接收从所述服务器返回的、对所述目标内容的识读结果；

将所述字符构成待输出文件，具体包括：

获得用于表征所述字符之间相对位置关系的位置信息，具体地，对字符姿势进行检测，基于正立字符的方向建立参考坐标系，基于所述参考坐标系得到每个字符在参考坐标系中的映射坐标，所述映射坐标用于表征所述位置信息；

当所述初始排版顺序验证未通过时，重新以所述第一顺序，或者所述第一顺序及所述第二顺序，确定所述文本排版顺序；

由所述字符及所述文本排版顺序生成所述文件。

2.如权利要求1所述的图像识读方法，其特征在于，所述预设读取顺序与所述初始排版顺序匹配，具体包括如下情形中的至少一种：

3.如权利要求1所述的图像识读方法，其特征在于，由所述字符及所述文本排版顺序生成所述文件，具体为：

4.一种数据处理方法，其特征在于，包括：

服务器根据从所述智能笔接收的所述文件以及针对所述目标内容的识读请求进行对应处理；

将所述字符构成待输出文件，具体包括：

由所述字符及所述文本排版顺序生成所述文件。

5.一种智能笔，包括存储器及处理器，其特征在于，所述处理器执行所述存储器中存储的计算机程序时实现如权利要求1至4任一项所述方法中的步骤。

6.一种数据处理系统，其特征在于，包括：如权利要求5所述智能笔，以及，用于根据从所述智能笔接收的所述文件以及针对所述目标内容的识读请求进行对应处理的服务器。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法中的步骤。