CN111079497B - 基于点读场景的点读内容识别方法及装置 - Google Patents

基于点读场景的点读内容识别方法及装置 Download PDF

Info

Publication number
CN111079497B
CN111079497B CN201910494276.2A CN201910494276A CN111079497B CN 111079497 B CN111079497 B CN 111079497B CN 201910494276 A CN201910494276 A CN 201910494276A CN 111079497 B CN111079497 B CN 111079497B
Authority
CN
China
Prior art keywords
click
reading
read
point
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910494276.2A
Other languages
English (en)
Other versions
CN111079497A (zh
Inventor
彭婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201910494276.2A priority Critical patent/CN111079497B/zh
Publication of CN111079497A publication Critical patent/CN111079497A/zh
Application granted granted Critical
Publication of CN111079497B publication Critical patent/CN111079497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/062Combinations of audio and printed presentations, e.g. magnetically striped cards, talking books, magnetic tapes with printed texts thereon

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于点读场景的点读内容识别方法及装置,该方法包括:识别用户在点读书籍的当前页面中的点读位置以及点读位置在预先创建的坐标系中的点读坐标,根据该点读坐标判断该点读位置是否位于某一勾勒中,若否,则查找在该点读坐标的正上方且距离该点读坐标最近的目标勾勒;计算该点读坐标与该目标勾勒之间的距离值,并根据该距离值与目标勾勒的勾勒长度之间的关系识别该点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。可见,实施本发明能够根据点读坐标与其正上方且位置最近的上勾勒之间的距离值智能化的识别用户想要的点读内容,提高了勾勒定位准确率,进而提高了点读内容的识别准确率,有利于提高用户的点读体验。

Description

基于点读场景的点读内容识别方法及装置
技术领域
本发明涉及智能点读设备技术领域,具体涉及一种基于点读场景的点读内容识别方法及装置。
背景技术
点读机作为一种能够根据点读位置确定点读内容并输出与点读内容相匹配的语音信息的便携家教设备,其能够帮助家长更好的辅导学生(尤其是中小学生)学习功课、纠正学生发音以及便于学生随时随地的自学。其中,点读机识别点读内容的常见方式为:通过图搜判定操作者点读的页码,并根据点读笔笔尖或手指指尖的坐标确定对应的勾勒,进而实现勾勒对应区域中点读内容的显示和播报。
实践发现,在实际的点读场景中,以手指点读为例,操作者(即“用户”)的手指使用方式各式各样,同一手指也对应多种手指摆放方式。由于不同的手指摆放方式实际代表着操作者不同的点读意图,若只定位手指指尖的坐标识别点读内容,当定位出的手指指尖的坐标在两个相邻的勾勒之间时,点读机则无法识别操作者实际想要的点读内容,降低了点读内容的识别准确率。
发明内容
本发明实施例公开了一种基于点读场景的点读内容识别方法及装置,能够提高点读内容的识别准确率。
本发明实施例第一方面公开了一种基于点读场景的点读内容识别方法,所述方法包括:
识别用户在点读书籍的当前页面中的点读位置以及所述点读位置在预先创建的坐标系中的点读坐标,所述当前页面为用户当前在所述点读书籍上所点读的某一页面;
根据所述点读坐标判断所述点读位置是否位于某一勾勒中,当判断出所述点读位置未位于所述某一勾勒中时,查找在所述点读坐标正上方且距离所述点读坐标最近的目标勾勒;
计算所述点读坐标与所述目标勾勒之间的距离值,并根据所述距离值与所述目标勾勒的勾勒长度之间的关系识别所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。
作为一种可选的实施方式,在本发明实施例第一方面中,所述计算所述点读坐标与所述目标勾勒之间的距离值,包括:
计算所述点读坐标距离所述目标勾勒的左右两条边距延长线的长度的和值,作为所述点读坐标与所述目标勾勒之间的距离值;
以及,所述根据所述距离值与所述目标勾勒的勾勒长度之间的关系确定所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容,包括:
判断所述距离值是否小于等于所述目标勾勒的勾勒长度与预设数值的乘积,所述预设数值大于零且小于1;
当所述距离值不小于等于所述勾勒长度与所述预设数值的乘积时,将所述目标勾勒对应的点读内容确定为识别出的所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
当所述距离值小于等于所述勾勒长度与所述预设数值的乘积时,识别所述点读位置对应的点读工具与预先确定出的水平线之间的夹角,所述水平线与所述当前页面中的文字内容平行;
判断所述夹角是否位于预先确定的多个角度范围中的某一角度范围,当判断出所述夹角位于所述多个角度范围中的某一角度范围时,根据所述某一角度范围识别所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
当判断出所述夹角未位于所述多个角度范围中的任一角度范围时,输出重新点读提示消息,所述重新点读提示消息用于提示用户重新点读所需的点读内容。
作为一种可选的实施方式,在本发明实施例第一方面中,所述根据所述某一角度范围识别所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容,包括:
当所述某一角度范围为第一角度范围时,将在所述点读坐标右上方、距离所述点读坐标最近的勾勒对应的点读内容确定为识别出的所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容;
当所述某一角度范围为第二角度范围时,将所述目标勾勒对应的点读内容确定为识别出的所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容;
当所述某一角度范围为第三角度范围时,将在所述点读坐标左上方、距离所述点读坐标最近的勾勒对应的点读内容确定为识别出的所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容;
其中,所述第一角度范围、所述第二角度范围以及所述第三角度范围互不重叠。
本发明实施例第二方面公开了一种基于点读场景的点读内容识别装置,所述装置包括:
第一识别模块,用于识别用户在点读书籍的当前页面中的点读位置以及所述点读位置在预先创建的坐标系中的点读坐标,所述当前页面为用户当前在所述点读书籍上所点读的某一页面;
判断模块,用于根据所述点读坐标判断所述点读位置是否位于某一勾勒中;
查找模块,用于当所述判断模块判断出所述点读位置未位于所述某一勾勒中时,查找在所述点读坐标正上方且距离所述点读坐标最近的目标勾勒;
计算模块,用于计算所述点读坐标与所述目标勾勒之间的距离值;
第二识别模块,用于根据所述距离值与所述目标勾勒的勾勒长度之间的关系识别所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。
作为一种可选的实施方式,在本发明实施例第二方面中,所述计算模块计算所述点读坐标与所述目标勾勒之间的距离值的具体方式为:
计算所述点读坐标距离所述目标勾勒的左右两条边距延长线的长度的和值,作为所述点读坐标与所述目标勾勒之间的距离值;
以及,所述第二识别模块包括:
判断子模块,用于判断所述距离值是否小于等于所述目标勾勒的勾勒长度与预设数值的乘积,所述预设数值大于零且小于1;
确定子模块,用于当所述判断子模块判断出所述距离值不小于等于所述勾勒长度与所述预设数值的乘积时,将所述目标勾勒对应的点读内容确定为识别出的所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。
作为一种可选的实施方式,在本发明实施例第二方面中,所述第一识别模块,还用于当所述距离值小于等于所述勾勒长度与所述预设数值的乘积时,识别所述点读位置对应的点读工具与预先确定出的水平线之间的夹角,所述水平线与所述当前页面中的文字内容平行;
所述判断模块,还用于判断所述夹角是否位于预先确定的多个角度范围中的某一角度范围;
所述装置还包括:
第三识别模块,用于当所述判断模块判断出所述夹角位于所述多个角度范围中的某一角度范围时,根据所述某一角度范围识别所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。
作为一种可选的实施方式,在本发明实施例第二方面中,所述装置还包括:
输出模块,用于当所述判断模块判断出所述夹角未位于所述多个角度范围中的任一角度范围时,输出重新点读提示消息,所述重新点读提示消息用于提示用户重新点读所需的点读内容。
作为一种可选的实施方式,在本发明实施例第二方面中,所述第三识别模块根据所述某一角度范围识别所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容的具体方式为:
当所述某一角度范围为第一角度范围时,将在所述点读坐标右上方、距离所述点读坐标最近的勾勒对应的点读内容确定为识别出的所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容;
当所述某一角度范围为第二角度范围时,将所述目标勾勒对应的点读内容确定为识别出的所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容;
当所述某一角度范围为第三角度范围时,将在所述点读坐标左上方、距离所述点读坐标最近的勾勒对应的点读内容确定为识别出的所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容;
其中,所述第一角度范围、所述第二角度范围以及所述第三角度范围互不重叠。
本发明实施例第三方面公开了另一种基于点读场景的点读内容识别装置,所述装置包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面公开的任意一种基于点读场景的点读内容识别方法中的全部或部分步骤。
本发明实施例第四方面公开了一种计算机可读存储介质,其特征在于,其存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的任意一种基于点读场景的点读内容识别方法中的全部或部分步骤。
本发明实施例第五方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种基于点读场景的点读内容识别方法的部分或全部步骤。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,识别用户在点读书籍的当前页面中的点读位置以及该点读位置在预先创建的坐标系中的点读坐标,该当前页面为用户当前在该点读书籍上所点读的某一页面;根据该点读坐标判断该点读位置是否位于某一勾勒中,当判断出该点读位置未位于某一勾勒中时,查找在该点读坐标的正上方、距离该点读坐标最近的目标勾勒;计算该点读坐标与该目标勾勒之间的距离值,并根据该距离值与目标勾勒的勾勒长度之间的关系识别该点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。可见,实施本发明实施例能够在用户的点读坐标位于两个勾勒之间时,根据点读坐标与点读坐标正上方且位置最近的上勾勒之间的距离值智能化的识别用户想要的点读内容,提高了勾勒定位准确率,进而提高了点读内容的识别准确率,有利于提高用户的点读体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于点读场景的点读内容识别方法的流程示意图;
图2是本发明实施例公开的另一种基于点读场景的点读内容识别方法的流程示意图;
图3是本发明实施例公开的一种基于点读场景的点读内容识别装置的结构示意图;
图4是本发明实施例公开的另一种基于点读场景的点读内容识别装置的结构示意图;
图5是本发明实施例公开的又一种基于点读场景的点读内容识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种基于点读场景的点读内容识别方法及装置,能够在用户的点读坐标位于两个勾勒之间时,根据点读坐标与点读坐标正上方且位置最近的上勾勒之间的距离值智能化的识别用户想要的点读内容,提高了勾勒定位准确率,进而提高了点读内容的识别准确率,有利于提高用户的点读体验。以下分别进行详细说明。
实施例一
请参阅图1,图1是本发明实施例公开的一种基于点读场景的点读内容识别方法的流程示意图。其中,图1所描述的方法可以应用于点读设备中,本发明实施例不做限定。如图1所示,该基于点读场景的点读内容识别方法可以包括以下操作:
101、点读设备识别用户在点读书籍的当前页面中的点读位置以及该点读位置在预先创建的坐标系中的点读坐标。
本发明实施例中,该当前页面为用户当前在点读书籍上所点读的某一页面。其中,点读设备识别用户当前在点读书籍上所点读或所指的页面,可以包括:
点读设备识别用户在点读书籍的某一页面上所指的图片,并通过图搜(在线图库匹配)的方式确定用户在点读书籍的某一页面上所指的图片对应的页码,作为该某一页面的页码;或者,
点读设备识别用户在点读书籍的某一页面的初始点读位置,并根据该初步点读位置确定该某一页面的页码,其中,不同的点读书籍的不同页面对应不同的初始点读位置,且不同的点读书籍的不同页面对应的初始点读位置设置有页面识别标识,该页面识别标识用于在用户想要点读该页面的内容时引导用户首先将点读工具(手指或点读笔)按压在页面识别标识所标识的初始点读位置处,这样能够直接根据用户在页面中的初始点读位置识别页面的页码,无需再进行图搜操作,提高了识别出用户当前在点读书籍上所点读的页面的识别效率以及识别准确率。
本发明实施例中,预先创建的坐标系可以以点读书籍中页面的中心位置为原点、以平行于文字内容的直线为X轴并以垂直于文字内容的直线为Y轴建立的坐标系,其中,X轴的正方向为文字内容的排版方向,Y轴的正方向为朝向页面顶部的方向,本发明实施例不做限定。
本发明实施例中,点读设备识别用户在点读书籍的当前页面中的点读位置以及该点读位置在预先创建的坐标系中的点读坐标,可以包括:
点读设备检测用于放置点读书籍的平面在不同位置处所受到的压力值,并从不同位置中选择所受到的压力值最大的某一位置;
点读设备将该某一位置确定为用户在点读书籍的当前页面中的点读位置,并将该某一位置的坐标确定为点读位置的点读坐标。
可见,本发明实施例能够通过点读平面所受到的压力值智能化确定用户在当前页面上的点读位置和点读位置的坐标,提高了点读位置的识别效率以及识别准确率。
102、点读设备根据上述点读坐标判断上述点读位置是否位于某一勾勒中,当判断出上述点读位置未位于某一勾勒中时,查找在上述点读坐标正上方且距离上述点读坐标最近的目标勾勒。
本发明实施例中,上述当前页面包括多个勾勒,不同的勾勒对应不同的勾勒区域(即坐标范围),不同的勾勒区域对应不同的点读内容。当上述点读位置位于某一勾勒时,点读设备可以直接将上述点读位置所位于的某一勾勒对应的点读内容确定上述点读坐标对应的目标点读内容,其中,上述点读位置位于某一勾勒具体为上述点读位置只位于其中一个勾勒中;当上述点读位置未位于某一勾勒时,点读设备从上述当前页面包括的多个勾勒中查找在上述点读坐标正上方且距离上述点读坐标最近的目标勾勒,需要说明的是,该目标勾勒也可以称为上勾勒。其中,点读设备查找在上述点读坐标正上方且距离上述点读坐标最近的目标勾勒可以包括:
计算上述点读坐标距离位于上述点读坐标上方的所有勾勒中每个勾勒的中心点的距离值,并从上述点读坐标上方的所有勾勒中确定最小距离值对应的勾勒,作为目标勾勒。其中,位于上述点读坐标上方的所有勾勒可以包括中心点的Y轴坐标大于上述点读坐标中Y轴坐标的所有勾勒,也可以包括在分界线上方的勾勒区域大于等于在分界线下方的勾勒区域的所有勾勒,且分界线为穿过上述点读坐标且平行于X轴的直线,本发明实施例不做限定。
在一个可选的实施例中,在判断出上述点读位置未位于某一勾勒中之后,该方法还可以包括以下操作:
点读设备判断上述点读位置是否位于至少两个勾勒之间;
当判断出位于至少两个勾勒之间时,点读设备执行上述的查找在上述点读坐标正上方且距离上述点读坐标最近的目标勾勒;
当判断出未位于至少两个勾勒之间时,点读设备确定上述点读位置位于至少两个勾勒的重叠部分,并计算上述点读位置距离该至少两个勾勒中每个勾勒的中心点的距离值,并从该至少两个勾勒中筛选最小距离值对应的勾勒,以及将筛选出的该勾勒对应的点读内容确定为识别出的上述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容;或者,
当判断出未位于至少两个勾勒之间时,点读设备确定上述点读位置位于至少两个勾勒的重叠部分,并根据点读坐标以及点读工具勾画点读工具在预先创建的上述坐标系中的投影向量,其中,该投影向量的终点位置为点读位置;
点读设备确定该投影向量在Y轴上的分向量的方向,当该分向量的方向为Y轴正方向时,从该至少两个勾勒中筛选中心点位于目标直线上方且中心点距离点读坐标的距离值最短的勾勒,并将筛选出的该勾勒对应的点读内容确定为识别出的上述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容;当该分向量的方向为Y轴负方向时,从该至少两个勾勒中筛选中心点位于目标直线下方且中心点距离点读坐标的距离值最短的勾勒,并将筛选出的该勾勒对应的点读内容确定为识别出的上述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。其中,该目标直线为经过点读坐标且与X轴平行的直线。
可见,该可选的实施例能够在点读位置位于至少两个勾勒的重叠部分时快速、准确的识别出点读内容,有利于提高用户的点读效率,进而有利于提高用户的点读体验。
103、点读设备计算上述点读坐标与上述目标勾勒之间的距离值,并根据该距离值与上述目标勾勒的勾勒长度之间的关系识别上述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。
本发明实施例中,上述点读坐标与上述目标勾勒之间的距离值可以具体为上述点读坐标到上述目标勾勒的左边距延伸线的第一垂直距离值以及上述点读坐标到上述目标勾勒的右边距延伸线的第二垂直距离值之和。且当上述点读坐标与上述目标勾勒之间的距离值不小于等于上述目标勾勒的勾勒长度与预设数值的乘积时,点读设备将目标勾勒对应的点读内容确定为识别出的点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容;当上述点读坐标与上述目标勾勒之间的距离值小于等于上述目标勾勒的勾勒长度与预设数值的乘积时,点读设备可以根据点读工具与X轴的夹角所处的角度范围确定与上述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。
可见,实施图1所描述的基于点读场景的点读内容识别方法能够在用户的点读坐标位于两个勾勒之间时,根据点读坐标与点读坐标正上方且位置最近的上勾勒之间的距离值智能化的识别用户想要的点读内容,提高了勾勒定位准确率,进而提高了点读内容的识别准确率,有利于提高用户的点读体验。
实施例二
请参阅图2,图2是本发明实施例公开的另一种基于点读场景的点读内容识别方法的流程示意图。其中,图2所描述的方法可以应用于点读设备中,本发明实施例不做限定。如图2所示,该基于点读场景的点读内容识别方法可以包括以下操作:
201、点读设备识别用户在点读书籍的当前页面中的点读位置以及该点读位置在预先创建的坐标系中的点读坐标。
本发明实施例中,该当前页面为用户当前在点读书籍上所点读的某一页面。
202、点读设备根据上述点读坐标判断上述点读位置是否位于某一勾勒中,当步骤202的判断结果为是时,触发执行步骤203,当步骤202的判断结果为否时,触发执行步骤204。
203、点读设备将上述点读位置所位于的某一勾勒对应的点读内容确定为识别出的上述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。
204、点读设备查找在上述点读坐标正上方且距离上述点读坐标最近的目标勾勒。
本发明实施例中,针对步骤201-步骤204的详细描述请参照实施例一中针对步骤101-步骤102的相关描述,本发明实施例不再赘述。
205、点读设备计算上述点读坐标距离上述目标勾勒的左右两条边距延长线的长度的和值,作为上述点读坐标与上述目标勾勒之间的距离值。
本发明实施例中,上述点读坐标距离上述目标勾勒的左右两条边距延长线的长度具体为上述点读坐标距离上述目标勾勒的左右两条边距延长线的长度的垂直距离。
206、点读设备判断上述距离值是否小于等于上述勾勒长度与预设数值的乘积,该预设数值大于零且小于1,当步骤206的判断结果为否时,触发执行步骤207,当步骤206的判断结果为是时,触发执行步骤208。
207、点读设备将上述目标勾勒对应的点读内容确定为识别出的上述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。
208、点读设备识别上述点读位置对应的点读工具与预先确定出的水平线之间的夹角,该水平线与当前页面中的文字内容平行。
本发明实施例中,该点读工具可以为用户的手指,也可以为与点读设备对应的点读笔,本发明实施例不做限定。其中,上述点读位置对应的点读工具与预先确定出的水平线之间的夹角具体为点读工具在点读平面的投影与水平线向右方向(当前页面中文字内容的排版方向)的夹角,也可以为点读工具在点读平面的投影与水平线向左方向的夹角,还可以为点读工具在点读平面的投影向量与水平线向左/向右方向的夹角;或者,点读设备也可以识别用户的手型的方式确定用户手指或点读笔与水平线的夹角。
209、点读设备判断上述角是否位于预先确定的多个角度范围中的某一角度范围,当步骤209的判断结果为是时,触发执行步骤210,当步骤209的判断结果为否时,触发执行步骤211。
210、点读设备根据上述某一角度范围识别上述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。
作为一种可选的实施方式,点读设备根据上述某一角度范围识别上述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容可以包括:
当上述某一角度范围为第一角度范围时,点读设备将在上述点读坐标右上方、距离上述点读坐标最近的勾勒对应的点读内容确定为识别出的上述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容;
当上述某一角度范围为第二角度范围时,点读设备将上述目标勾勒对应的点读内容确定为识别出的上述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容;
当上述某一角度范围为第三角度范围时,点读设备将在上述点读坐标左上方、距离上述点读坐标最近的勾勒对应的点读内容确定为识别出的点读坐标对应的目标点读内容。
其中,上述第一角度范围、上述第二角度范围以及上述第三角度范围互不重叠。
211、点读设备输出重新点读提示消息,该重新点读提示消息用于提示用户重新点读所需的点读内容。
本发明实施例中,当步骤209的判断结果为否时,点读设备确定夹角为0°或180°,并触发执行步骤211。当执行完毕步骤211之后,可以重新触发执行步骤201。
在一个可选的实施例中,当步骤209的判断结果为否时,在触发执行步骤211之前,该方法还可以包括以下操作:
点读设备判断输出重新点读提示消息的次数是否超过预设次数阈值,当判断出未超过预设次数阈值时,触发执行步骤211;
当判断出超过预设次数阈值时,点读设备输出点读操作提示,其中,点读操作提示的输出方式可以为语音输出方式,也可以为视频输出方式,且该点读操作提示用于向用户演示点读内容的确定方式,这样能够在无法确认用户想要的点读内容的情况下向用户演示点读内容的确定方式,以便于用户能够更加精确的放置点读位置,有利于点读设备更加快速、准确的识别用户想要的点读内容,进而有利于提高用户的点读效率以及用户的点读体验。
举例来说,在纸上点读场景下,点读设备的具体操作如下:
步骤1::识别到手指所指图片并通过在线的图库匹配获取手指所指的页面;
步骤2:识别用户手指指尖处坐标记为(x0,y0);
步骤3:判断坐标(x0,y0)是否在某个勾勒中,如果是,则给出该勾勒对应的点读内容的显示和/或播报;否则,则进入步骤4;
步骤4:查找坐标(x0,y0)正上方最近的勾勒,其勾勒长度为I0;
步骤5:判断坐标(x0,y0)距离其正上方勾勒的左右边距延伸线的长度是否小于等于I0/20,如果否,则给出正上方勾勒的点读内容的显示和播报;如果是,则进入步骤6;
步骤6:以识别到的书本页面中平行于文字内容的位置为水平线,根据识别到的用户手型,判断用户手指与水平线向右方向的夹角d0;
步骤7:判断d0的角度大小,
①当75°≤d≤105°时,判定用户的意图为想要读指尖(x0,y0)正上方最近的内容,找到指尖正上方的最近勾勒对应的点读内容;
②当0°<d<75°时,判定用户的意图为想要读指尖(x0,y0)右上方的内容,找到指尖右上方最近的勾勒对应的点读内容;
③当105°<d<180°时,判定用户的意图为想要读指尖(x0,y0)左上方的内容,找到指尖左上方最近的勾勒对应的点读内容;
④当d=0°或d=180°时,无法判定用户的意图,提示用户重新点想要读的内容;
步骤8:根据找到的勾勒对应的点读内容,进行点读内容的显示与播报。
可见,实施图2所描述的基于点读场景的点读内容识别方法能够在用户的点读坐标位于两个勾勒之间时,根据点读坐标与点读坐标正上方且位置最近的上勾勒之间的距离值并引入点读工具(用户手指或点读笔)的朝向定位智能化的识别用户想要的点读内容,提高了勾勒定位准确率,进而提高了点读内容的识别准确率,有利于提高用户的点读体验。
实施例三
请参阅图3,图3是本发明实施例公开的一种基于点读场景的点读内容识别装置的结构示意图。其中,图3所描述的装置可以应用于点读设备中,本发明实施例不做限定。如图3所示,该基于点读场景的点读内容识别装置可以包括:
第一识别模块301,用于识别用户在点读书籍的当前页面中的点读位置以及点读位置在预先创建的坐标系中的点读坐标,当前页面为用户当前在点读书籍上所点读的某一页面。
判断模块302,用于根据第一识别模块301识别出的点读坐标判断点读位置是否位于某一勾勒中。
查找模块303,用于当判断模块302判断出点读位置未位于某一勾勒中时,查找在点读坐标正上方且距离点读坐标最近的目标勾勒。
计算模块304,用于计算点读坐标与目标勾勒之间的距离值。
第二识别模块305,用于根据计算模块304计算出的距离值与目标勾勒的勾勒长度之间的关系识别点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。
可见,实施图3所描述的装置能够在用户的点读坐标位于两个勾勒之间时,根据点读坐标与点读坐标正上方且位置最近的上勾勒之间的距离值智能化的识别用户想要的点读内容,提高了勾勒定位准确率,进而提高了点读内容的识别准确率,有利于提高用户的点读体验。
在一个可选的实施例中,计算模块304计算点读坐标与目标勾勒之间的距离值的具体方式为:
计算点读坐标距离目标勾勒的左右两条边距延长线的长度的和值,作为点读坐标与目标勾勒之间的距离值。
在该可选的实施例中,如图4所示,第二识别模块305可以包括:
判断子模块3051,用于判断上述距离值是否小于等于目标勾勒的勾勒长度与预设数值的乘积,预设数值大于零且小于1。
确定子模块3052,用于当判断子模块3051判断出距离值不小于等于勾勒长度与预设数值的乘积时,将目标勾勒对应的点读内容确定为识别出的点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。
在该可选的实施例中,进一步可选的,第一识别模块301,还可以用于当上述距离值小于等于勾勒长度与预设数值的乘积时,识别点读位置对应的点读工具与预先确定出的水平线之间的夹角,该水平线与当前页面中的文字内容平行。
判断模块302,还可以用于判断上述夹角是否位于预先确定的多个角度范围中的某一角度范围。
其中,如图4所示,该装置还包括:
第三识别模块306,用于当判断模块302判断出夹角位于多个角度范围中的某一角度范围时,根据某一角度范围识别点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。
又进一步可选的,如图4所示,该装置还可以包括:
输出模块307,用于当判断模块302判断出上述夹角未位于多个角度范围中的任一角度范围时,输出重新点读提示消息,该重新点读提示消息用于提示用户重新点读所需的点读内容。
作为一种可选的实施方式,第三识别模块306根据某一角度范围识别点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容的具体方式可以为:
当上述某一角度范围为第一角度范围时,将在点读坐标右上方、距离点读坐标最近的勾勒对应的点读内容确定为识别出的点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容;
当上述某一角度范围为第二角度范围时,将目标勾勒对应的点读内容确定为识别出的点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容;
当某一角度范围为第三角度范围时,将在点读坐标左上方、距离点读坐标最近的勾勒对应的点读内容确定为识别出的点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容,
其中,第一角度范围、第二角度范围以及第三角度范围互不重叠。
可见,实施图4所描述的基于点读场景的点读内容识别装置能够在用户的点读坐标位于两个勾勒之间时,根据点读坐标与点读坐标正上方且位置最近的上勾勒之间的距离值并引入点读工具(用户手指或点读笔)的朝向定位智能化的识别用户想要的点读内容,提高了勾勒定位准确率,进而提高了点读内容的识别准确率,有利于提高用户的点读体验。
实施例四
请参阅图5,图5是本发明实施例公开的又一种基于点读场景的点读内容识别装置的结构示意图。如图5所示,该基于点读场景的点读内容识别装置可以包括:
存储有可执行程序代码的存储器501;
与存储器501耦合的处理器502;
处理器502调用存储器501中存储的可执行程序代码,执行图1或图2所描述的基于点读场景的点读内容识别方法中的步骤。
实施例五
本发明实施例公开了一种计算机可读存储介质,其存储用于电子数据交换的计算机程序,其中,该计算机程序使得计算机执行图1或图2所描述的基于点读场景的点读内容识别方法中的步骤。
实施例六
本发明实施例公开了一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行图1或图2所描述的基于点读场景的点读内容识别方法中的步骤。
在本发明的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在本发明所提供的实施例中,应理解,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其他信息确定B。
另外,在本发明各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种基于点读场景的点读内容识别方法及装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于点读场景的点读内容识别方法,其特征在于,所述方法包括:
识别用户在点读书籍的当前页面中的点读位置以及所述点读位置在预先创建的坐标系中的点读坐标,所述当前页面为用户当前在所述点读书籍上所点读的某一页面;
根据所述点读坐标判断所述点读位置是否位于某一勾勒区域中,当判断出所述点读位置未位于所述某一勾勒区域中时,查找在所述点读坐标正上方且距离所述点读坐标最近的目标勾勒区域;
计算所述点读坐标距离所述目标勾勒区域的左右两条边距延长线的长度的和值,作为所述点读坐标与所述目标勾勒区域之间的距离值;
判断所述距离值是否小于等于所述目标勾勒区域的勾勒长度与预设数值的乘积,所述预设数值大于零且小于1;所述勾勒长度为所述目标勾勒区域的区域长度;
当所述距离值不小于等于所述勾勒长度与所述预设数值的乘积时,将所述目标勾勒区域对应的点读内容确定为识别出的所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。
2.根据权利要求1所述的基于点读场景的点读内容识别方法,其特征在于,所述方法还包括:
当所述距离值小于等于所述勾勒长度与所述预设数值的乘积时,识别所述点读位置对应的点读工具与预先确定出的水平线之间的夹角,所述水平线与所述当前页面中的文字内容平行;
判断所述夹角是否位于预先确定的多个角度范围中的某一角度范围,当判断出所述夹角位于所述多个角度范围中的某一角度范围时,根据所述某一角度范围识别所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。
3.根据权利要求2所述的基于点读场景的点读内容识别方法,其特征在于,所述方法还包括:
当判断出所述夹角未位于所述多个角度范围中的任一角度范围时,输出重新点读提示消息,所述重新点读提示消息用于提示用户重新点读所需的点读内容。
4.根据权利要求2或3所述的基于点读场景的点读内容识别方法,其特征在于,所述根据所述某一角度范围识别所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容,包括:
当所述某一角度范围为第一角度范围时,将在所述点读坐标右上方、距离所述点读坐标最近的勾勒区域对应的点读内容确定为识别出的所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容;
当所述某一角度范围为第二角度范围时,将所述目标勾勒区域对应的点读内容确定为识别出的所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容;
当所述某一角度范围为第三角度范围时,将在所述点读坐标左上方、距离所述点读坐标最近的勾勒区域对应的点读内容确定为识别出的所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容;
其中,所述第一角度范围、所述第二角度范围以及所述第三角度范围互不重叠。
5.一种基于点读场景的点读内容识别装置,其特征在于,所述装置包括:
第一识别模块,用于识别用户在点读书籍的当前页面中的点读位置以及所述点读位置在预先创建的坐标系中的点读坐标,所述当前页面为用户当前在所述点读书籍上所点读的某一页面;
判断模块,用于根据所述点读坐标判断所述点读位置是否位于某一勾勒区域中;
查找模块,用于当所述判断模块判断出所述点读位置未位于所述某一勾勒区域中时,查找在所述点读坐标正上方且距离所述点读坐标最近的目标勾勒区域;
计算模块,用于计算所述点读坐标距离所述目标勾勒区域的左右两条边距延长线的长度的和值,作为所述点读坐标与所述目标勾勒区域之间的距离值;
第二识别模块,用于判断所述距离值是否小于等于所述目标勾勒区域的勾勒长度与预设数值的乘积,所述预设数值大于零且小于1;所述勾勒长度为所述目标勾勒区域的区域长度;当所述距离值不小于等于所述勾勒长度与所述预设数值的乘积时,将所述目标勾勒区域对应的点读内容确定为识别出的所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。
6.根据权利要求5所述的基于点读场景的点读内容识别装置,其特征在于,所述第一识别模块,还用于当所述距离值小于等于所述勾勒长度与所述预设数值的乘积时,识别所述点读位置对应的点读工具与预先确定出的水平线之间的夹角,所述水平线与所述当前页面中的文字内容平行;
所述判断模块,还用于判断所述夹角是否位于预先确定的多个角度范围中的某一角度范围;
所述装置还包括:
第三识别模块,用于当所述判断模块判断出所述夹角位于所述多个角度范围中的某一角度范围时,根据所述某一角度范围识别所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容。
7.根据权利要求6所述的基于点读场景的点读内容识别装置,其特征在于,所述装置还包括:
输出模块,用于当所述判断模块判断出所述夹角未位于所述多个角度范围中的任一角度范围时,输出重新点读提示消息,所述重新点读提示消息用于提示用户重新点读所需的点读内容。
8.根据权利要求6或7所述的基于点读场景的点读内容识别装置,其特征在于,所述第三识别模块根据所述某一角度范围识别所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容的具体方式为:
当所述某一角度范围为第一角度范围时,将在所述点读坐标右上方、距离所述点读坐标最近的勾勒区域对应的点读内容确定为识别出的所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容;
当所述某一角度范围为第二角度范围时,将所述目标勾勒区域对应的点读内容确定为识别出的所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容;
当所述某一角度范围为第三角度范围时,将在所述点读坐标左上方、距离所述点读坐标最近的勾勒区域对应的点读内容确定为识别出的所述点读坐标对应的目标点读内容,作为需要播报和/或显示的点读内容;
其中,所述第一角度范围、所述第二角度范围以及所述第三角度范围互不重叠。
CN201910494276.2A 2019-06-09 2019-06-09 基于点读场景的点读内容识别方法及装置 Active CN111079497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910494276.2A CN111079497B (zh) 2019-06-09 2019-06-09 基于点读场景的点读内容识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910494276.2A CN111079497B (zh) 2019-06-09 2019-06-09 基于点读场景的点读内容识别方法及装置

Publications (2)

Publication Number Publication Date
CN111079497A CN111079497A (zh) 2020-04-28
CN111079497B true CN111079497B (zh) 2024-02-23

Family

ID=70310061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910494276.2A Active CN111079497B (zh) 2019-06-09 2019-06-09 基于点读场景的点读内容识别方法及装置

Country Status (1)

Country Link
CN (1) CN111079497B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648756B (zh) * 2022-05-24 2022-09-23 之江实验室 一种基于指向向量的书本文字识别指读方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201194112Y (zh) * 2008-05-12 2009-02-11 刘建生 摄像式多功能点读机
CN101587534A (zh) * 2009-05-05 2009-11-25 深圳市迪索音乐科技有限公司 出版物的粘贴式直接点读发声系统和方法
CN201438338U (zh) * 2009-04-17 2010-04-14 东莞市汇智电子科技有限公司 一种采用编码感应技术的点读机
CN102799350A (zh) * 2012-06-13 2012-11-28 优视科技有限公司 焦点元素的确定方法及装置
CN107748744A (zh) * 2017-10-31 2018-03-02 广东小天才科技有限公司 一种勾勒框知识库的建立方法及装置
CN109255346A (zh) * 2018-08-31 2019-01-22 深圳闳宸科技有限公司 点读方法、装置及电子设备
CN109783613A (zh) * 2019-01-23 2019-05-21 广东小天才科技有限公司 一种搜题方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040080541A1 (en) * 1998-03-20 2004-04-29 Hisashi Saiga Data displaying device
WO2010016065A1 (en) * 2008-08-08 2010-02-11 Moonsun Io Ltd. Method and device of stroke based user input
JP5649509B2 (ja) * 2011-05-10 2015-01-07 株式会社日立ソリューションズ 情報入力装置及び情報入力システム及び情報入力方法
FR2977692B1 (fr) * 2011-07-07 2015-09-18 Aquafadas Sas Enrichissement de document electronique

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201194112Y (zh) * 2008-05-12 2009-02-11 刘建生 摄像式多功能点读机
CN201438338U (zh) * 2009-04-17 2010-04-14 东莞市汇智电子科技有限公司 一种采用编码感应技术的点读机
CN101587534A (zh) * 2009-05-05 2009-11-25 深圳市迪索音乐科技有限公司 出版物的粘贴式直接点读发声系统和方法
CN102799350A (zh) * 2012-06-13 2012-11-28 优视科技有限公司 焦点元素的确定方法及装置
CN107748744A (zh) * 2017-10-31 2018-03-02 广东小天才科技有限公司 一种勾勒框知识库的建立方法及装置
CN109255346A (zh) * 2018-08-31 2019-01-22 深圳闳宸科技有限公司 点读方法、装置及电子设备
CN109783613A (zh) * 2019-01-23 2019-05-21 广东小天才科技有限公司 一种搜题方法及系统

Also Published As

Publication number Publication date
CN111079497A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN109670504B (zh) 一种手写答案识别批改方法及装置
KR101417286B1 (ko) 텍스트 사용자 입력을 오버랩하기 위한 문자 인식
US9069462B2 (en) Recognizing handwriting input using rotatable support lines
CN109712043B (zh) 一种答案批改方法及装置
EP3522075A1 (en) Character recognition for overlapping textual user input
CN105810188B (zh) 一种信息处理方法和电子设备
CN110263792B (zh) 图像识读及数据处理方法、智能笔、系统及存储介质
US20210089801A1 (en) System and method for selecting graphical objects
CN103903491A (zh) 一种实现书写检查的方法及装置
CN111077996B (zh) 一种基于点读的信息推荐方法及学习设备
CN111090343B (zh) 在点读场景下识别点读内容的方法及装置
CN111079497B (zh) 基于点读场景的点读内容识别方法及装置
CN103309612A (zh) 移动设备图形界面文本框的信息处理方法、装置和设备
US11429259B2 (en) System and method for selecting and editing handwriting input elements
JP4212270B2 (ja) 文字入力装置、文字入力方法および文字を入力するためのプログラム
CN111142656B (zh) 一种内容定位方法、电子设备及存储介质
CN113220125A (zh) 手指交互方法、装置、电子设备及计算机存储介质
US11749128B2 (en) Answer correction method and device
JP2018067298A (ja) 手書き内容編集装置および手書き内容編集方法
KR20150024107A (ko) 입력된 객체의 정렬 방법 및 그 전자 장치
TW201423563A (zh) 手寫輸入識別系統及方法
JPH0997311A (ja) 手書きパターン認識装置
CN111652204B (zh) 目标文本区域选择的方法、装置、电子设备和存储介质
JPH06111073A (ja) 手書き情報認識装置
CN104677376A (zh) 导航系统手势指令输入方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant