CN110634342A - 一种勾勒框的识别方法、系统、存储介质及电子设备 - Google Patents

一种勾勒框的识别方法、系统、存储介质及电子设备 Download PDF

Info

Publication number
CN110634342A
CN110634342A CN201910886508.9A CN201910886508A CN110634342A CN 110634342 A CN110634342 A CN 110634342A CN 201910886508 A CN201910886508 A CN 201910886508A CN 110634342 A CN110634342 A CN 110634342A
Authority
CN
China
Prior art keywords
delineation
local
information
text information
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910886508.9A
Other languages
English (en)
Inventor
崔颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201910886508.9A priority Critical patent/CN110634342A/zh
Publication of CN110634342A publication Critical patent/CN110634342A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种勾勒框的识别方法、系统、存储介质及电子设备，其方法包括：根据用户操作信息确定操作区域以及所述操作区域周围预设范围的局部区域；放大所述局部区域，提取所述局部区域的文本信息以及所述文本信息对应的位置信息，所述位置信息包括页码信息和行列信息；根据所述文本信息和位置信息确定对应的局部勾勒框；结合所述局部勾勒框，根据所述操作区域确定对应的目标勾勒框。本发明放大识别操作区域周围局部区域的文本信息，通过文本信息对应的局部勾勒框确定操作区域对应的目标勾勒框，避免密集勾勒情况下，识别不准的问题，进一步提升搜索准确率，为用户带来更好的体验。

Description

一种勾勒框的识别方法、系统、存储介质及电子设备
技术领域
本发明涉及计算机技术领域，尤指一种勾勒框的识别方法、系统、存储介质及电子设备。
背景技术
电教产品中的一点一问，是通过图搜技术获取用户手指坐标信息，然后与标准的勾勒框坐标信息进行比对，从而确定用户的实际意图。目前标准勾勒框坐标信息，是把教材的每一页用扫描仪逐页扫描之后，获得书本的扫描图，然后对扫描图进行人工勾勒，根据实际需要，逐个框选扫描图上的内容(一般是文字或图片)，每个框选区对应一个编号，每个编号上挂放对应的语音文件，达到点击图片任意位置即可播放相应语音的效果。但是当勾勒框比较密集时，例如字体较小且相互之间间隔较小，通过拍照识别手指位置，定位勾勒的方法，会存在识别不准的问题。
发明内容
本发明的目的是提供一种勾勒框的识别方法、系统、存储介质及电子设备，实现放大识别操作区域周围局部区域的文本信息，通过文本信息对应的局部勾勒框确定操作区域对应的目标勾勒框，避免密集勾勒情况下，识别不准的问题，进一步提升搜索准确率，为用户带来更好的体验。
本发明提供的技术方案如下：
本发明提供一种勾勒框的识别方法，包括：
根据用户操作信息确定操作区域以及所述操作区域周围预设范围的局部区域；
放大所述局部区域，提取所述局部区域的文本信息以及所述文本信息对应的位置信息，所述位置信息包括页码信息和行列信息；
根据所述文本信息和位置信息确定对应的局部勾勒框；
结合所述局部勾勒框，根据所述操作区域确定对应的目标勾勒框。
进一步的，根据用户操作信息确定操作区域以及所述操作区域周围预设范围的局部区域之前还包括：
获取书本教材的扫描图；
识别所述扫描图中的文本信息和位置信息；
将所述文本信息划分为多个局部文本信息；
根据各个局部文本信息生成对应的勾勒框，所述勾勒框关联相应的局部文本信息的位置信息。
进一步的，结合所述局部勾勒框，根据所述操作区域确定对应的目标勾勒框具体包括：
根据所述局部勾勒框分析所述操作区域对应的匹配勾勒框；
若所述匹配勾勒框只有一个，则所述匹配勾勒框为目标勾勒框；
若所述匹配勾勒框有多个，则获取各个匹配勾勒框对应的局部文本信息；
识别所述局部文本信息中符合文本逻辑关系的目标局部文本信息；
根据所述目标局部文本信息确定目标勾勒框。
进一步的，结合所述局部勾勒框，根据所述操作区域确定对应的目标勾勒框之后包括：
根据所述目标勾勒框获取目标资料；
显示和/或播放所述目标资料。
本发明还提供一种勾勒框的识别系统，包括：
区域获取模块，根据用户操作信息确定操作区域以及所述操作区域周围预设范围的局部区域；
信息提取模块，放大所述区域获取模块获取的所述局部区域，提取所述局部区域的文本信息以及所述文本信息对应的位置信息，所述位置信息包括页码信息和行列信息；
分析模块，根据所述信息提取模块提取的所述文本信息和位置信息确定对应的局部勾勒框；
处理模块，结合所述分析模块确定所述局部勾勒框，根据所述区域获取模块获取的所述操作区域确定对应的目标勾勒框。
进一步的，还包括：
扫描图获取模块，获取书本教材的扫描图；
信息识别模块，识别所述扫描图获取模块获取的所述扫描图中的文本信息和位置信息；
信息划分模块，将所述信息识别模块识别出的所述文本信息划分为多个局部文本信息；
勾勒框生成模块，根据所述信息划分模块划分的各个局部文本信息生成对应的勾勒框，所述勾勒框关联相应的局部文本信息的位置信息。
进一步的，所述处理模块具体包括：
匹配单元，根据所述局部勾勒框分析所述操作区域对应的匹配勾勒框；
分析单元，若所述匹配单元得到的所述匹配勾勒框只有一个，则所述匹配勾勒框为目标勾勒框；
获取单元，若所述匹配单元得到的所述匹配勾勒框有多个，则获取各个匹配勾勒框对应的局部文本信息；
识别单元，识别所述获取单元获取的所述局部文本信息中符合文本逻辑关系的目标局部文本信息；
所述分析单元，根据所述识别单元识别的所述目标局部文本信息确定目标勾勒框。
进一步的，还包括：
资料获取模块，根据所述处理模块得到的所述目标勾勒框获取目标资料；
执行模块，显示和/或播放所述资料获取模块获取额的所述目标资料。
本发明还提供一种存储介质，该存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现上述的方法。
本发明还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现上述的方法。
通过本发明提供的一种勾勒框的识别方法、系统、存储介质及电子设备，能够带来以下至少一种有益效果：
1、本发明中，当勾勒密集或者操作区域的文本信息被遮挡时，获取用户的操作区域周围的局部区域，然后放大提取其中的文本信息，通过文本信息对应的局部勾勒框确定操作区域对应的目标勾勒框，避免密集勾勒情况下，识别不准的问题，进一步提升搜索准确率，为用户带来更好的体验。
2、本发明中，将书本教材中的文本信息进行划分，得到若干个局部文本信息，然后各个局部文本信息生成相应的勾勒框关联学习资料，便于用户点击调用。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对一种勾勒框的识别方法、系统、存储介质及电子设备的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明一种勾勒框的识别方法的一个实施例的流程图；
图2是本发明一种勾勒框的识别方法的另一个实施例的流程图；
图3是本发明一种勾勒框的识别方法的另一个实施例的流程图；
图4是本发明一种勾勒框的识别方法的另一个实施例的流程图；
图5是本发明一种勾勒框的识别系统的一个实施例的结构示意图；
图6是本发明一种勾勒框的识别系统的另一个实施例的结构示意图。
附图标号说明：
100勾勒框的识别系统
110区域获取模块 120信息提取模块
130分析模块
140处理模块 141匹配单元 142分析单元 143获取单元 144识别单元
150扫描图获取模块
160信息识别模块 170信息划分模块
180勾勒框生成模块 190资料获取模块
195执行模块
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘出了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
具体实现中，本申请实施例中描述的终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机、家教机或平板计算机之类的其他便携式设备。还应当理解的是，在某些实施例中，所述终端设备并非便携式通信设备，而是具有触摸敏感表面(例如：触摸屏显示器和/或触摸板)的台式计算机。
在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端设备。然而，应当理解的是，终端设备可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其他物理用户接口设备。
终端设备支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、网络创建应用程序、文字处理应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄像机应用程序、Web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
可以在终端设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
本发明的一个实施例，如图1所示，一种勾勒框的识别方法，包括：
S100根据用户操作信息确定操作区域以及所述操作区域周围预设范围的局部区域。
具体的，当检测到用户使用终端学习时，终端的摄像装置自动开启，并对点击物进行监测，当用户使用点击物进行操作时获取用户操作信息。其中，由于是通过摄像装置获取相关的图片信息，因此对于点击物并没有特殊要求，用户可以直接使用手指点击，也可以使用笔等物品进行点击。另外，用户操作可能是点击，也可能是滑动、框选等。
根据用户操作信息确定相应的操作区域，也就是用户点击、滑动或者框选的区域，以及操作区域周围预设范围的局部区域，其中预设范围可以根据局部区域的内容种类进行不同的定义，例如文字类的预设范围可以适当小于图片类的预设范围。另外，还可以将预设范围定义为预设数量的文本信息，例如，当操作区域周围是文字时，可以设定3个文字的区域为局部区域，当操作区域周围是图片时，可以设定1个图片的区域为局部区域。
S200放大所述局部区域，提取所述局部区域的文本信息以及所述文本信息对应的位置信息，所述位置信息包括页码信息和行列信息。
具体的，放大局部区域，提取局部区域中的文本信息，文本信息可能是文字、公式以及图片等各种类型的信息，同时提取文本信息对应的位置信息，位置信息包括页码信息和行列信息，也就是文本信息在书本中所在的位置。书本中可能出现重复相同的内容，因此，需要对提取的文本信息进行详细的定位，便于快速确定相应的位置。
另外，由于用户点击物的遮挡，可能存在局部区域靠近操作区域的文本信息残缺，例如不完整的汉字等，那么在提取之后再进行筛选，将文本新中残缺不全的部分筛除。
S300根据所述文本信息和位置信息确定对应的局部勾勒框。
具体的，识别局部区域中提取的文本信息，结合其位置信息确定对应的局部勾勒框，也就是确定用户操作区域周围的内容所对应的局部勾勒框。当文本信息较多时，相应的局部勾勒框的数量较多，可以将所有的局部勾勒框进行合并。
S400结合所述局部勾勒框，根据所述操作区域确定对应的目标勾勒框。
具体的，首先结合上述确定的所有的局部勾勒框，可以初步确定操作区域对应的可能的勾勒框，然后在根据操作区域的位置进一步确定其对应的目标勾勒框。
本实施例中，当勾勒密集或者操作区域的文本信息被遮挡时，获取用户的操作区域周围的局部区域，然后放大提取其中的文本信息，通过文本信息对应的局部勾勒框确定操作区域对应的目标勾勒框，避免密集勾勒情况下，识别不准的问题，进一步提升搜索准确率，为用户带来更好的体验。
本发明的另一个实施例，是上述的实施例的优化实施例，如图2所示，包括：
S010获取书本教材的扫描图。
具体的，获取书本教材的扫描图。其中，当书本教材等资料为纸质档资料时，通过扫描装置等终端把资料的每一页用扫描仪逐页扫描之后，获得书本的扫描图。另外，如果书本教材等资料存在电子档资料，也可以直接获取电子档作为扫描图。
S020识别所述扫描图中的文本信息和位置信息。
具体的，识别扫描图中的文本信息和位置信息，首先识别文本信息的种类，例如文字、公式或图片等，同时识别每个文本信息对应的位置信息，位置信息包括页码信息和行列信息，也就是文本信息在书本中所在的位置。其次，当文本信息为文字时，进一步识别文本信息的语义，解析文本信息中各个文字的含义，分析相互的逻辑关系。
S030将所述文本信息划分为多个局部文本信息。
具体的，基于上述对文本信息的识别结果，将文本信息划分为多个局部文本信息，首先按照最小单元进行划分，最小单元为用户能够理解语义的最少的信息，例如汉字的最小单元为一个字，英文的最小单元为一个单词，以此类推。类似地，还包括公式，同样需要将属于同一个公式的信息全都识别出来，将其作为一个整体再进行后续的操作。
其次，当文本信息为文字时，根据其语义进行解析判断相邻的字是否可以组成词、短语等，如果可以则进行合并作为局部文本信息，其余的无法进行合并的字另外作为局部文本信息。
S040根据各个局部文本信息生成对应的勾勒框，所述勾勒框关联相应的局部文本信息的位置信息。
具体的，根据各个局部文本信息生成对应的勾勒框，各个勾勒框关联相应的局部文本信息的位置信息，便于后续基于文本信息以及位置信息确定相应的勾勒框。
另外，基于文本信息获取相关的学习资料，例如语音视频等文件，然后将勾勒框与相应的学习资料进行关联，当用户点击某个勾勒框时能够展示预设的学习资料。
S100根据用户操作信息确定操作区域以及所述操作区域周围预设范围的局部区域。
S200放大所述局部区域，提取所述局部区域的文本信息以及所述文本信息对应的位置信息，所述位置信息包括页码信息和行列信息。
S300根据所述文本信息和位置信息确定对应的局部勾勒框。
S400结合所述局部勾勒框，根据所述操作区域确定对应的目标勾勒框。
本实施例中，将书本教材中的文本信息进行划分，得到若干个局部文本信息，然后各个局部文本信息生成相应的勾勒框关联学习资料，便于用户点击调用。
本发明的另一个实施例，是上述的实施例的优化实施例，如图3所示，包括：
S010获取书本教材的扫描图。
S020识别所述扫描图中的文本信息和位置信息。
S030将所述文本信息划分为多个局部文本信息。
S040根据各个局部文本信息生成对应的勾勒框，所述勾勒框关联相应的局部文本信息的位置信息。
S100根据用户操作信息确定操作区域以及所述操作区域周围预设范围的局部区域。
S200放大所述局部区域，提取所述局部区域的文本信息以及所述文本信息对应的位置信息，所述位置信息包括页码信息和行列信息。
S300根据所述文本信息和位置信息确定对应的局部勾勒框。
S400结合所述局部勾勒框，根据所述操作区域确定对应的目标勾勒框具体包括：
S410根据所述局部勾勒框分析所述操作区域对应的匹配勾勒框。
具体的，根据局部勾勒框分析操作区域对应的匹配勾勒框，局部勾勒框为操作区域周围的区域对应的勾勒框，因此，所有的局部勾勒框综合起来中间会有一片空白区域，空白区域对应的勾勒框即为匹配勾勒框。
S420若所述匹配勾勒框只有一个，则所述匹配勾勒框为目标勾勒框。
具体的，如果上述的空白区域对应的匹配勾勒框只有一个，则该匹配勾勒框即为目标勾勒框。
S430若所述匹配勾勒框有多个，则获取各个匹配勾勒框对应的局部文本信息。
具体的，如果上述的空白区域对应的匹配勾勒框有多个，其中有可能是用户的操作区域的边缘的文本信息对应的勾勒框，其可能是用户想要点击的区域，也可能是不是用户想要点击的区域，需要进一步分析识别，因此，获取各个匹配勾勒框对应的局部文本信息。
S440识别所述局部文本信息中符合文本逻辑关系的目标局部文本信息。
S450根据所述目标局部文本信息确定目标勾勒框。
具体的，识别局部文本信息中符合文本逻辑关系的目标局部文本信息，也就是局部文本信息之间是否能够组成词语、短语等固定搭配，如果是则确定为目标局部文本信息。最终综合所有的目标局部文本信息确定目标勾勒框。
本实施例中，根据局部勾勒框确定操作区域对应的匹配勾勒框，然后通过识别匹配勾勒框中的局部文本信息的逻辑关系确定目标勾勒框，通过操作区域周围区域未被遮挡的文字信息分析操作区域对应的目标勾勒框，避免直接根据操作区域。
本发明的另一个实施例，是上述的实施例的优化实施例，如图4所示，包括：
S100根据用户操作信息确定操作区域以及所述操作区域周围预设范围的局部区域。
S200放大所述局部区域，提取所述局部区域的文本信息以及所述文本信息对应的位置信息，所述位置信息包括页码信息和行列信息。
S300根据所述文本信息和位置信息确定对应的局部勾勒框。
S400结合所述局部勾勒框，根据所述操作区域确定对应的目标勾勒框。
S500根据所述目标勾勒框获取目标资料。
S600显示和/或播放所述目标资料。
具体的，确定目标勾勒框之后，根据目标勾勒框确定相应的目标资料，目标资料为预先关联的学习资料，为目标勾勒框对应的文本信息的相关资料，例如，如果是故事书，关联的可以是相应故事的语音文件。如果是习题，则关联的可以是解析资料或者讲解视频。因此目标资料可以是语音视频，也可能是文档资料。最后通过相应的装置例如语音设备、显示器等播放或显示相应的目标资料。
本实施例中，根据书本资料的目标用户群体的特点将所有的勾勒框关联上相应的目标资料，便于在分析识别出目标勾勒框直接执行相应的操作，提高用户体验。
本发明的一个实施例，如图5所示，一种勾勒框的识别系统100，包括：
区域获取模块110，根据用户操作信息确定操作区域以及所述操作区域周围预设范围的局部区域。
具体的，当检测到用户使用终端学习时，终端的摄像装置自动开启，并对点击物进行监测，当用户使用点击物进行操作时获取用户操作信息。其中，由于是通过摄像装置获取相关的图片信息，因此对于点击物并没有特殊要求，用户可以直接使用手指点击，也可以使用笔等物品进行点击。另外，用户操作可能是点击，也可能是滑动、框选等。
根据用户操作信息确定相应的操作区域，也就是用户点击、滑动或者框选的区域，以及操作区域周围预设范围的局部区域，其中预设范围可以根据局部区域的内容种类进行不同的定义，例如文字类的预设范围可以适当小于图片类的预设范围。另外，还可以将预设范围定义为预设数量的文本信息，例如，当操作区域周围是文字时，可以设定3个文字的区域为局部区域，当操作区域周围是图片时，可以设定1个图片的区域为局部区域。
信息提取模块120，放大所述区域获取模块110获取的所述局部区域，提取所述局部区域的文本信息以及所述文本信息对应的位置信息，所述位置信息包括页码信息和行列信息。
具体的，放大局部区域，提取局部区域中的文本信息，文本信息可能是文字、公式以及图片等各种类型的信息，同时提取文本信息对应的位置信息，位置信息包括页码信息和行列信息，也就是文本信息在书本中所在的位置。书本中可能出现重复相同的内容，因此，需要对提取的文本信息进行详细的定位，便于快速确定相应的位置。
另外，由于用户点击物的遮挡，可能存在局部区域靠近操作区域的文本信息残缺，例如不完整的汉字等，那么在提取之后再进行筛选，将文本新中残缺不全的部分筛除。
分析模块130，根据所述信息提取模块120提取的所述文本信息和位置信息确定对应的局部勾勒框。
具体的，识别局部区域中提取的文本信息，结合其位置信息确定对应的局部勾勒框，也就是确定用户操作区域周围的内容所对应的局部勾勒框。当文本信息较多时，相应的局部勾勒框的数量较多，可以将所有的局部勾勒框进行合并。
处理模块140，结合所述分析模块130确定所述局部勾勒框，根据所述区域获取模块110获取的所述操作区域确定对应的目标勾勒框。
具体的，首先结合上述确定的所有的局部勾勒框，可以初步确定操作区域对应的可能的勾勒框，然后在根据操作区域的位置进一步确定其对应的目标勾勒框。
本实施例中，当勾勒密集或者操作区域的文本信息被遮挡时，获取用户的操作区域周围的局部区域，然后放大提取其中的文本信息，通过文本信息对应的局部勾勒框确定操作区域对应的目标勾勒框，避免密集勾勒情况下，识别不准的问题，进一步提升搜索准确率，为用户带来更好的体验。
本发明的另一个实施例，是上述的实施例的优化实施例，如图6所示，包括：
扫描图获取模块150，获取书本教材的扫描图。
具体的，获取书本教材的扫描图。其中，当书本教材等资料为纸质档资料时，通过扫描装置等终端把资料的每一页用扫描仪逐页扫描之后，获得书本的扫描图。另外，如果书本教材等资料存在电子档资料，也可以直接获取电子档作为扫描图。
信息识别模块160，识别所述扫描图获取模块150获取的所述扫描图中的文本信息和位置信息。
具体的，识别扫描图中的文本信息和位置信息，首先识别文本信息的种类，例如文字、公式或图片等，同时识别每个文本信息对应的位置信息，位置信息包括页码信息和行列信息，也就是文本信息在书本中所在的位置。其次，当文本信息为文字时，进一步识别文本信息的语义，解析文本信息中各个文字的含义，分析相互的逻辑关系。
信息划分模块170，将所述信息识别模块160识别出的所述文本信息划分为多个局部文本信息。
具体的，基于上述对文本信息的识别结果，将文本信息划分为多个局部文本信息，首先按照最小单元进行划分，最小单元为用户能够理解语义的最少的信息，例如汉字的最小单元为一个字，英文的最小单元为一个单词，以此类推。类似地，还包括公式，同样需要将属于同一个公式的信息全都识别出来，将其作为一个整体再进行后续的操作。
其次，当文本信息为文字时，根据其语义进行解析判断相邻的字是否可以组成词、短语等，如果可以则进行合并作为局部文本信息，其余的无法进行合并的字另外作为局部文本信息。
勾勒框生成模块180，根据所述信息划分模块170划分的各个局部文本信息生成对应的勾勒框，所述勾勒框关联相应的局部文本信息的位置信息。
具体的，根据各个局部文本信息生成对应的勾勒框，各个勾勒框关联相应的局部文本信息的位置信息，便于后续基于文本信息以及位置信息确定相应的勾勒框。
另外，基于文本信息获取相关的学习资料，例如语音视频等文件，然后将勾勒框与相应的学习资料进行关联，当用户点击某个勾勒框时能够展示预设的学习资料。
本实施例中，将书本教材中的文本信息进行划分，得到若干个局部文本信息，然后各个局部文本信息生成相应的勾勒框关联学习资料，便于用户点击调用。
区域获取模块110，根据用户操作信息确定操作区域以及所述操作区域周围预设范围的局部区域。
信息提取模块120，放大所述区域获取模块110获取的所述局部区域，提取所述局部区域的文本信息以及所述文本信息对应的位置信息，所述位置信息包括页码信息和行列信息。
分析模块130，根据所述信息提取模块120提取的所述文本信息和位置信息确定对应的局部勾勒框。
处理模块140，结合所述分析模块130确定所述局部勾勒框，根据所述区域获取模块110获取的所述操作区域确定对应的目标勾勒框。
所述处理模块140具体包括：
匹配单元141，根据所述局部勾勒框分析所述操作区域对应的匹配勾勒框。
具体的，根据局部勾勒框分析操作区域对应的匹配勾勒框，局部勾勒框为操作区域周围的区域对应的勾勒框，因此，所有的局部勾勒框综合起来中间会有一片空白区域，空白区域对应的勾勒框即为匹配勾勒框。
分析单元142，若所述匹配单元141得到的所述匹配勾勒框只有一个，则所述匹配勾勒框为目标勾勒框。
具体的，如果上述的空白区域对应的匹配勾勒框只有一个，则该匹配勾勒框即为目标勾勒框。
获取单元143，若所述匹配单元141得到的所述匹配勾勒框有多个，则获取各个匹配勾勒框对应的局部文本信息。
具体的，如果上述的空白区域对应的匹配勾勒框有多个，其中有可能是用户的操作区域的边缘的文本信息对应的勾勒框，其可能是用户想要点击的区域，也可能是不是用户想要点击的区域，需要进一步分析识别，因此，获取各个匹配勾勒框对应的局部文本信息。
识别单元144，识别所述获取单元143获取的所述局部文本信息中符合文本逻辑关系的目标局部文本信息。
所述分析单元142，根据所述识别单元144识别的所述目标局部文本信息确定目标勾勒框。
具体的，识别局部文本信息中符合文本逻辑关系的目标局部文本信息，也就是局部文本信息之间是否能够组成词语、短语等固定搭配，如果是则确定为目标局部文本信息。最终综合所有的目标局部文本信息确定目标勾勒框。
本实施例中，根据局部勾勒框确定操作区域对应的匹配勾勒框，然后通过识别匹配勾勒框中的局部文本信息的逻辑关系确定目标勾勒框，通过操作区域周围区域未被遮挡的文字信息分析操作区域对应的目标勾勒框，避免直接根据操作区域。
资料获取模块190，根据所述处理模块140得到的所述目标勾勒框获取目标资料。
执行模块195，显示和/或播放所述资料获取模块190获取额的所述目标资料。
具体的，确定目标勾勒框之后，根据目标勾勒框确定相应的目标资料，目标资料为预先关联的学习资料，为目标勾勒框对应的文本信息的相关资料，例如，如果是故事书，关联的可以是相应故事的语音文件。如果是习题，则关联的可以是解析资料或者讲解视频。因此目标资料可以是语音视频，也可能是文档资料。最后通过相应的装置例如语音设备、显示器等播放或显示相应的目标资料。
本实施例中，根据书本资料的目标用户群体的特点将所有的勾勒框关联上相应的目标资料，便于在分析识别出目标勾勒框直接执行相应的操作，提高用户体验。
本发明的一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一实施例中的所有方法步骤或部分方法步骤。
本发明实现上述第一实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本发明的一个实施例还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一实施例中的所有方法步骤或部分方法步骤。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可以用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种勾勒框的识别方法，其特征在于，包括：
根据用户操作信息确定操作区域以及所述操作区域周围预设范围的局部区域；
放大所述局部区域，提取所述局部区域的文本信息以及所述文本信息对应的位置信息，所述位置信息包括页码信息和行列信息；
根据所述文本信息和位置信息确定对应的局部勾勒框；
结合所述局部勾勒框，根据所述操作区域确定对应的目标勾勒框。
2.根据权利要求1所述的勾勒框的识别方法，其特征在于，根据用户操作信息确定操作区域以及所述操作区域周围预设范围的局部区域之前还包括：
获取书本教材的扫描图；
识别所述扫描图中的文本信息和位置信息；
将所述文本信息划分为多个局部文本信息；
根据各个局部文本信息生成对应的勾勒框，所述勾勒框关联相应的局部文本信息的位置信息。
3.根据权利要求2所述的勾勒框的识别方法，其特征在于，结合所述局部勾勒框，根据所述操作区域确定对应的目标勾勒框具体包括：
根据所述局部勾勒框分析所述操作区域对应的匹配勾勒框；
若所述匹配勾勒框只有一个，则所述匹配勾勒框为目标勾勒框；
若所述匹配勾勒框有多个，则获取各个匹配勾勒框对应的局部文本信息；
识别所述局部文本信息中符合文本逻辑关系的目标局部文本信息；
根据所述目标局部文本信息确定目标勾勒框。
4.根据权利要求1所述的勾勒框的识别方法，其特征在于，结合所述局部勾勒框，根据所述操作区域确定对应的目标勾勒框之后包括：
根据所述目标勾勒框获取目标资料；
显示和/或播放所述目标资料。
5.一种勾勒框的识别系统，其特征在于，包括：
区域获取模块，根据用户操作信息确定操作区域以及所述操作区域周围预设范围的局部区域；
信息提取模块，放大所述区域获取模块获取的所述局部区域，提取所述局部区域的文本信息以及所述文本信息对应的位置信息，所述位置信息包括页码信息和行列信息；
分析模块，根据所述信息提取模块提取的所述文本信息和位置信息确定对应的局部勾勒框；
处理模块，结合所述分析模块确定所述局部勾勒框，根据所述区域获取模块获取的所述操作区域确定对应的目标勾勒框。
6.根据权利要求5所述的勾勒框的识别系统，其特征在于，还包括：
扫描图获取模块，获取书本教材的扫描图；
信息识别模块，识别所述扫描图获取模块获取的所述扫描图中的文本信息和位置信息；
信息划分模块，将所述信息识别模块识别出的所述文本信息划分为多个局部文本信息；
勾勒框生成模块，根据所述信息划分模块划分的各个局部文本信息生成对应的勾勒框，所述勾勒框关联相应的局部文本信息的位置信息。
7.根据权利要求6所述的勾勒框的识别系统，其特征在于，所述处理模块具体包括：
匹配单元，根据所述局部勾勒框分析所述操作区域对应的匹配勾勒框；
分析单元，若所述匹配单元得到的所述匹配勾勒框只有一个，则所述匹配勾勒框为目标勾勒框；
获取单元，若所述匹配单元得到的所述匹配勾勒框有多个，则获取各个匹配勾勒框对应的局部文本信息；
识别单元，识别所述获取单元获取的所述局部文本信息中符合文本逻辑关系的目标局部文本信息；
所述分析单元，根据所述识别单元识别的所述目标局部文本信息确定目标勾勒框。
8.根据权利要求5所述的勾勒框的识别系统，其特征在于，还包括：
资料获取模块，根据所述处理模块得到的所述目标勾勒框获取目标资料；
执行模块，显示和/或播放所述资料获取模块获取额的所述目标资料。
9.一种存储介质，该存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至4任一项所述的方法。
10.一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的方法。
CN201910886508.9A 2019-09-19 2019-09-19 一种勾勒框的识别方法、系统、存储介质及电子设备 Pending CN110634342A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910886508.9A CN110634342A (zh) 2019-09-19 2019-09-19 一种勾勒框的识别方法、系统、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910886508.9A CN110634342A (zh) 2019-09-19 2019-09-19 一种勾勒框的识别方法、系统、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN110634342A true CN110634342A (zh) 2019-12-31

Family

ID=68971790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910886508.9A Pending CN110634342A (zh) 2019-09-19 2019-09-19 一种勾勒框的识别方法、系统、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110634342A (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030125929A1 (en) * 2001-12-10 2003-07-03 Thomas Bergstraesser Services for context-sensitive flagging of information in natural language text and central management of metadata relating that information over a computer network
CN201804455U (zh) * 2010-09-17 2011-04-20 深圳市奥尼电子工业有限公司 一种可实现无线传输功能的点读装置
CN102436440A (zh) * 2010-07-26 2012-05-02 卡西欧计算机株式会社 信息显示装置以及计算机可读存储介质
CN103777877A (zh) * 2012-10-22 2014-05-07 中兴通讯股份有限公司 一种触摸屏触摸操作的处理方法及装置
CN104281847A (zh) * 2013-07-12 2015-01-14 步步高教育电子有限公司 一种点读方法、装置及设备
US20150134318A1 (en) * 2013-11-08 2015-05-14 Google Inc. Presenting translations of text depicted in images
CN105096666A (zh) * 2014-05-22 2015-11-25 南京大五教育科技有限公司 整句翻译逐词对应的英语学习方法及系统
CN106557237A (zh) * 2016-10-12 2017-04-05 深圳市金立通信设备有限公司 一种选择复制文本信息的方法及终端
CN106648367A (zh) * 2016-12-23 2017-05-10 广东小天才科技有限公司 一种点读方法和点读装置
CN106710326A (zh) * 2015-07-31 2017-05-24 曾晓敏 一种基于语文的点读课本系统
CN107450811A (zh) * 2016-05-31 2017-12-08 宇龙计算机通信科技(深圳)有限公司 触摸区域放大显示方法及系统
CN107731020A (zh) * 2017-11-07 2018-02-23 广东欧珀移动通信有限公司 多媒体播放方法、装置、存储介质及电子设备
CN107748744A (zh) * 2017-10-31 2018-03-02 广东小天才科技有限公司 一种勾勒框知识库的建立方法及装置
CN107885430A (zh) * 2017-11-07 2018-04-06 广东欧珀移动通信有限公司 一种音频播放方法、装置、存储介质及电子设备
US20190095522A1 (en) * 2017-09-27 2019-03-28 Oracle International Corporation Search indexing using discourse trees

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030125929A1 (en) * 2001-12-10 2003-07-03 Thomas Bergstraesser Services for context-sensitive flagging of information in natural language text and central management of metadata relating that information over a computer network
CN102436440A (zh) * 2010-07-26 2012-05-02 卡西欧计算机株式会社 信息显示装置以及计算机可读存储介质
CN201804455U (zh) * 2010-09-17 2011-04-20 深圳市奥尼电子工业有限公司 一种可实现无线传输功能的点读装置
CN103777877A (zh) * 2012-10-22 2014-05-07 中兴通讯股份有限公司 一种触摸屏触摸操作的处理方法及装置
CN104281847A (zh) * 2013-07-12 2015-01-14 步步高教育电子有限公司 一种点读方法、装置及设备
US20150134318A1 (en) * 2013-11-08 2015-05-14 Google Inc. Presenting translations of text depicted in images
CN105096666A (zh) * 2014-05-22 2015-11-25 南京大五教育科技有限公司 整句翻译逐词对应的英语学习方法及系统
CN106710326A (zh) * 2015-07-31 2017-05-24 曾晓敏 一种基于语文的点读课本系统
CN107450811A (zh) * 2016-05-31 2017-12-08 宇龙计算机通信科技(深圳)有限公司 触摸区域放大显示方法及系统
CN106557237A (zh) * 2016-10-12 2017-04-05 深圳市金立通信设备有限公司 一种选择复制文本信息的方法及终端
CN106648367A (zh) * 2016-12-23 2017-05-10 广东小天才科技有限公司 一种点读方法和点读装置
US20190095522A1 (en) * 2017-09-27 2019-03-28 Oracle International Corporation Search indexing using discourse trees
CN107748744A (zh) * 2017-10-31 2018-03-02 广东小天才科技有限公司 一种勾勒框知识库的建立方法及装置
CN107731020A (zh) * 2017-11-07 2018-02-23 广东欧珀移动通信有限公司 多媒体播放方法、装置、存储介质及电子设备
CN107885430A (zh) * 2017-11-07 2018-04-06 广东欧珀移动通信有限公司 一种音频播放方法、装置、存储介质及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
N. HAAS 等: "Personalized news through content augmentation and profiling", 《PROCEEDINGS. INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
柳青 等: "基于视频图像的点读机书本识别算法", 《制造业自动化》 *

Similar Documents

Publication Publication Date Title
CN108319592B (zh) 一种翻译的方法、装置及智能终端
CN109344241B (zh) 信息的推荐方法、装置、终端及存储介质
JP6970145B2 (ja) 音声出力方法および装置
CN109005283B (zh) 显示通知消息的方法、装置、终端及存储介质
US8819545B2 (en) Digital comic editor, method and non-transitory computer-readable medium
CN108108342B (zh) 结构化文本的生成方法、检索方法及装置
CN107357483B (zh) 数据分享方法及装置、计算机设备和计算机可读存储介质
WO2022111249A1 (zh) 一种信息展示的方法、装置以及计算机存储介质
US20170139575A1 (en) Data entering method and terminal
CN107977155B (zh) 一种手写识别方法、装置、设备和存储介质
WO2022089170A1 (zh) 字幕区域识别方法、装置、设备及存储介质
CN108182432A (zh) 信息处理方法和装置
CN109359582B (zh) 信息搜索方法、信息搜索装置及移动终端
US10558745B2 (en) Information processing apparatus and non-transitory computer readable medium
US9031831B1 (en) Method and system for looking up words on a display screen by OCR comprising a set of base forms of recognized inflected words
CN111027533A (zh) 一种点读坐标的变换方法、系统、终端设备及存储介质
CN109492249B (zh) 设计图的快速生成方法、装置及终端设备
CN106776634A (zh) 一种用于网络访问的方法、装置及终端设备
CN110634342A (zh) 一种勾勒框的识别方法、系统、存储介质及电子设备
US20230222722A1 (en) Video preview method and apparatus, and non-transitory computer-readable storage medium
CN106933443B (zh) 一种电子书数据处理的方法、装置及电子书阅读器
CN111062377B (zh) 一种题号检测方法、系统、存储介质及电子设备
CN115270737A (zh) 一种目标对象的格式修改方法及装置
CN110619773A (zh) 一种勾勒框的生成方法、系统、存储介质及电子设备
CN113778595A (zh) 文档生成方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191231