CN111079491B - 一种书写内容识别方法、电子设备及存储介质 - Google Patents
一种书写内容识别方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111079491B CN111079491B CN201910457529.9A CN201910457529A CN111079491B CN 111079491 B CN111079491 B CN 111079491B CN 201910457529 A CN201910457529 A CN 201910457529A CN 111079491 B CN111079491 B CN 111079491B
- Authority
- CN
- China
- Prior art keywords
- font
- writing
- image
- user
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000007689 inspection Methods 0.000 claims abstract description 47
- 239000000725 suspension Substances 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 15
- 230000003993 interaction Effects 0.000 description 15
- 210000003128 head Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 208000003464 asthenopia Diseases 0.000 description 8
- 239000000203 mixture Substances 0.000 description 7
- 239000000470 constituent Substances 0.000 description 6
- 210000000744 eyelid Anatomy 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明实施例涉及教育技术领域,公开了一种书写内容识别方法、电子设备及存储介质。该方法包括:在接收到报读中止指令并且接收到用户输入的听写检查指令时,利用电子设备的摄像模组拍摄反光装置中的镜像作为用户的书写图像,然后查找与书写图像中的书写字体特征相匹配的目标字体库,以及根据目标字体库对书写图像进行字符识别,获得书写内容进行听写检查。实施本发明实施例,能够提高书写内容的识别准确率,从而改善书写内容的检查效果。
Description
技术领域
本发明涉及教育技术领域,具体涉及一种书写内容识别方法、电子设备及存储介质。
背景技术
目前,学生用户在课后经常使用家教机、点读机或学习平板等电子设备进行课文的听写练习,而电子设备会在用户完成听写练习后,通过装设于自身的摄像头采集用户的书写页面图像,识别书写页面图像中用户根据听写内容所书写的书写内容,并检查书写内容是否有误。但在实践中发现,由于用户书写习惯的不同,往往不同用户书写的书写内容所呈现出来的字体、字形和字迹均不同,而现有电子设备一般都是默认以印刷字体为标准进行图像识别的,无法区分各种人为书写的字体,导致书写内容的识别准确率过低,从而影响书写内容的检查效果。
发明内容
针对上述缺陷,本发明实施例公开了一种书写内容识别方法、电子设备及存储介质,能够提高书写内容的识别准确率,从而改善书写内容的检查效果。
本发明实施例第一方面公开一种书写内容识别方法,包括:
在接收到报读中止指令时,检测是否接收到用户输入的听写检查指令;
若接收到,利用电子设备的摄像模组拍摄反光装置中的镜像作为用户的书写图像;其中,所述反光装置装设在所述电子设备上,并且所述反光装置的镜面与所述拍摄模组的镜头面成预设的角度;
查找与所述书写图像的书写字体特征相匹配的目标字体库;
根据所述目标字体库对所述书写图像进行字符识别,以获得书写内容;
对所述书写内容进行听写检查。
作为一种可选的实施方式,在本发明实施例第一方面中,所述对所述书写内容进行听写检查之后,所述方法还包括:
判断所述书写内容是否包含用户的手写签名信息;
若包含,对所述手写签名信息进行认证;
在认证成功后,输出所述书写内容的听写检查结果。
作为一种可选的实施方式,在本发明实施例第一方面中,所述查找与所述书写图像中的书写字体特征相匹配的目标字体库之前,所述方法还包括:
对所述书写图像进行单字体切割,获得多个单字图像;
统计所述多个单字图像中字迹潦草的图像数量、所述多个单字图像中笔画粘连的图像数量以及所述多个单字图像中笔画模糊的图像数量;
根据每一个字体特征对应的图像数量,从多个所述字体特征中确定出图像数量最多的目标字体特征作为所述书写图像的书写字体特征,所述字体特征包括字迹潦草、笔画粘连或笔画模糊;
所述查找与所述书写图像中的书写字体特征相匹配的目标字体库,包括:
从多个预设字体库中查找与所述书写字体特征相匹配的目标字体库;其中,所述目标字体库存储有与所述书写字体特征相匹配的多个单字图像样本以及每一个所述单字图像样本对应的标准字体。
作为一种可选的实施方式,在本发明实施例第一方面中,所述目标字体库还存储有每一个所述单字图像样本的字体信息,所述字体信息包括字体结构、各个字体组成笔画的笔画形态以及所述各个字体组成笔画的偏正角度中的一种或多种组合;
其中,所述字体结构包括独体结构、左右结构、上下结构、全包围结构或半包围结构;所述偏正角度包括第一连线与直角坐标系中横轴的第一夹角、第二连线与所述横轴的第二夹角以及所述第一连线与所述第二连线的第三夹角;所述第一连线为所述字体组成笔画的起点指向拐点的连线,所述第二连线为所述拐点指向所述字体组成笔画的终点的连线,所述拐点为所述字体组成笔画在指定笔顺方向上的第一个转折点。
作为一种可选的实施方式,在本发明实施例第一方面中,所述根据所述目标字体库对所述书写图像进行字符识别,以获得书写内容,包括:
获取每一个所述单字图像的字体信息;
根据所述目标字体库存储的多个所述单字图像样本的字体信息,从多个所述单字图像样本中确定出与所述单字图像的字体信息的匹配度最高的目标单字图像样本;
以所述目标单字图像样本的标准字体作为所述单字图像的字符识别结果,以获得所述书写图像的书写内容。
本发明实施例第二方面公开一种电子设备,包括:
接收单元,用于在接收到报读中止指令时,检测是否接收到用户输入的听写检查指令;
拍摄单元,用于在所述接收单元接收到用户输入的听写检查指令时,利用所述电子设备的摄像模组拍摄反光装置中的镜像作为用户的书写图像;
其中,所述反光装置装设在所述电子设备上,并且所述反光装置的镜面与所述拍摄模组的镜头面成预设的角度;
查找单元,用于查找与所述书写图像的书写字体特征相匹配的目标字体库;
识别单元,用于根据所述目标字体库对所述书写图像进行字符识别,以获得书写内容;
检测单元,用于对所述书写内容进行听写检查。
作为一种可选的实施方式,在本发明实施例第二方面中,还包括:
判断单元,用于在所述检测单元对所述书写内容进行听写检查之后,判断所述书写内容是否包含用户的手写签名信息;
认证单元,用于在所述判断单元判断出所述书写内容包含用户的手写签名信息时,对所述手写签名信息进行认证;
输出单元,用于在所述认证单元认证成功后,输出所述书写内容的听写检查结果。
作为一种可选的实施方式,在本发明实施例第二方面中,还包括:
切割单元,用于在所述查找单元查找与所述书写图像中的书写字体特征相匹配的目标字体库之前,对所述书写图像进行单字体切割,获得多个单字图像;
统计单元,用于统计所述多个单字图像中字迹潦草的图像数量、所述多个单字图像中笔画粘连的图像数量以及所述多个单字图像中笔画模糊的图像数量;
确定单元,用于根据每一个字体特征对应的图像数量,从多个所述字体特征中确定出图像数量最多的目标字体特征作为所述书写图像的书写字体特征,所述字体特征包括字迹潦草、笔画粘连或笔画模糊;
所述查找单元,具体用于从多个预设字体库中查找与所述书写字体特征相匹配的目标字体库;其中,所述目标字体库存储有与所述书写字体特征相匹配的多个单字图像样本以及每一个所述单字图像样本对应的标准字体。
作为一种可选的实施方式,在本发明实施例第二方面中,所述目标字体库还存储有每一个所述单字图像样本的字体信息,所述字体信息包括字体结构、各个字体组成笔画的笔画形态以及所述各个字体组成笔画的偏正角度中的一种或多种组合;
其中,所述字体结构包括独体结构、左右结构、上下结构、全包围结构或半包围结构;所述偏正角度包括第一连线与直角坐标系中横轴的第一夹角、第二连线与所述横轴的第二夹角以及所述第一连线与所述第二连线的第三夹角;所述第一连线为所述字体组成笔画的起点指向拐点的连线,所述第二连线为所述拐点指向所述字体组成笔画的终点的连线,所述拐点为所述字体组成笔画在指定笔顺方向上的第一个转折点。
作为一种可选的实施方式,在本发明实施例第二方面中,所述识别单元包括:
获取子单元,用于获取每一个所述单字图像的字体信息;
确定子单元,用于根据所述目标字体库存储的多个所述单字图像样本的字体信息,从多个所述单字图像样本中确定出与所述单字图像的字体信息的匹配度最高的目标单字图像样本;
识别子单元,用于以所述目标单字图像样本的标准字体作为所述单字图像的字符识别结果,以获得所述书写图像的书写内容。
本发明实施例第三方面公开一种电子设备,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面公开的一种书写内容识别方法。
本发明实施例第四方面公开一种计算机可读存储介质,其存储计算机程序,所述计算机程序使得计算机执行本发明实施例第一方面公开的一种书写内容识别方法。所述计算机可读存储介质包括ROM/RAM、磁盘或光盘等。
本发明实施例第五方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
本发明实施例第六方面公开一种应用发布平台,所述应用发布平台用于发布计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,通过在接收到报读中止指令并且接收到用户输入的听写检查指令时,利用电子设备的摄像模组拍摄反光装置中的镜像作为用户的书写图像,然后查找与书写图像中的书写字体特征相匹配的目标字体库,以及根据目标字体库对书写图像进行字符识别,获得书写内容进行听写检查,能够提高书写内容的识别准确率,从而改善书写内容的检查效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种书写内容识别方法的流程示意图;
图2是本发明实施例公开的另一种书写内容识别方法的流程示意图;
图3是本发明实施例公开的又一种书写内容识别方法的流程示意图;
图4是本发明实施例公开的一种电子设备的结构示意图;
图5是本发明实施例公开的另一种电子设备的结构示意图;
图6是本发明实施例公开的又一种电子设备的结构示意图;
图7是本发明实施例公开的一种电子设备拍摄获得用户的书写图像的拍摄过程示例图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”等是用于区别不同的对象,而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明实施例中,术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例,并非用于限定所指示的装置、元件或组成部分必须具有特定方位,或以特定方位进行构造和操作。并且,上述部分术语除了可以用于表示方位或位置关系以外,还可能用于表示其他含义,例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言,可以根据具体情况理解这些术语在本发明中的具体含义。
此外,术语“安装”、“设置”、“装设”、“连接”、“相连”应做广义理解。例如,可以是固定连接,可拆卸连接,或整体式构造;可以是机械连接,或电连接;可以是直接相连,或者是通过中间媒介间接相连,又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明实施例公开了一种书写内容识别方法、电子设备及存储介质,能够提高书写内容的识别准确率,从而改善书写内容的检查效果。其中,本发明实施例所示的方法适用于家教机、学习机、点读机、学习平板或学习电脑等电子设备。其中,各类电子设备的操作系统包括但不限于Android操作系统、IOS操作系统、Symbian(塞班)操作系统、Black Berry(黑莓)操作系统、Windows Phone8操作系统等等,本发明实施例不做限定。本实施例以电子设备为执行主体进行描述,应理解,不应对本发明构成任何限定。以下结合附图进行详细描述。
实施例一
请参阅图1,图1是本发明实施例公开的一种书写内容识别方法的流程示意图。其中,如图1所示,该书写内容识别方法可以包括以下步骤:
101、电子设备在接收到报读中止指令时,检测是否接收到用户输入的听写检查指令。若接收到,执行步骤102;反之,结束本流程。
本发明实施例中,报读中止指令用于启动听写暂停程序,具体可以是预先设置的任意一种用户交互指令,听写检查指令用于启动听写检查功能程序,也可以是预先设置的任意一种用户交互指令。其中,用户交互指令可以通过电子设备自身提供的应用程序接口(Application Program Interface,API)来获取,或者通过接收诸如智能终端等第三方设备发送的指令来获取。用户交互指令包括但不限于用户在语音交互、遥控器交互、手势交互、图像交互、声纹交互、体感交互等任意一种交互模式下所输入的指令。具体采用何种交互模式进行输入的,本发明不作具体限定。
可选地,若电子设备接收到报读中止指令,电子设备可以输出用于询问用户是否进行听写检查的询问信息,以及在接收到用户输入的用于指示进行听写检查的反馈信息时,执行听写检查功能。其中,电子设备执行听写检查功能具体包括:获取用户的书写图像;查找匹配的目标字体库;根据目标字体库进行字符识别;对识别出的书写内容进行听写检查等步骤。
通过该实施方式,能够及时了解用户的听写检查需求,从而及时为用户进行听写检查,使电子设备更加智能化。
另外可选地,若电子设备接收到报读终止指令,则不需要检测是否接收到用户输入的听写检查指令,而是直接执行听写检查功能。其中,报读终止指令用于指示电子设备退出听写模式,在该场景下,说明本次听写已完成,因此电子设备直接执行听写检查功能。
进一步可选地,电子设备在接收到报读中止指令时,还可以拍摄获得用户的多个头部图像和/或用户的多个坐姿图像;若多个头部图像用于表征用户眼睛疲劳和/或多个坐姿图像用于表征用户学习状态不佳,电子设备执行听写检查功能。
更进一步可选地,电子设备拍摄获得用户的多个头部图像之后,还根据头部图像提取多个眼睛区域子图;根据提取的多个眼睛区域子图,获取眼睛特征参数,其中,眼睛特征参数至少包括用户在预设时间段内的眨眼频率以及用户上眼皮与下眼皮之间的平均眼皮间距;以及,判断眼睛特征参数是否用于指示用户眼睛疲劳;若眼睛特征参数用于指示用户眼睛疲劳,判定多个头部图像用于表征用户眼睛疲劳。
以及,电子设备在拍摄获得用户的多个坐姿图像之后,还根据坐姿图像获取坐姿特征信息,其中,坐姿特征信息至少包括用户在预设时间段内的坐姿变换频率以及用户胸口与书写页面所在水平面的平均角度信息和平均距离信息;判断坐姿特征信息是否用于指示用户学习状态不佳;若坐姿特征信息用于指示用户学习状态不佳,判定多个坐姿图像用于表征用户学习状态不佳。
实施该实施方式,通过在听写过程中启动暂停程序时,获取用户的眼睛头部图像和坐姿图像,并以此为据判断用户是否眼睛疲劳和/或学习状态不佳,若是,执行听写检查功能,既能及时为用户进行听写检查,又能让用户进行中途休息,以提高听写学习效率。
102、电子设备利用电子设备的摄像模组拍摄反光装置中的镜像作为用户的书写图像。
本发明实施例中,用于拍摄图像的拍摄模组可设置于电子设备配有显示屏的一面,并且该面装设有反光装置,反光装置的镜面与拍摄模组的镜头面成预设的角度。请一并参阅图7,图7是本发明实施例公开的一种电子设备拍摄获得用户的书写图像的拍摄过程示例图。如图7所示,电子设备控制拍摄模组拍摄反光装置中的镜像作为用户的书写图像的方式可以为:图中电子设备10可以设置有拍摄模组20,拍摄模组20用于拍摄以获得用户的书写图像;在拍摄模组20正前方还可以设置有反光装置30(例如,反光镜、棱镜或凸透镜等),反光装置30用于改变拍摄模组的光路,进而使得拍摄模组20拍摄到载体40获得用户的书写图像。通过使用电子设备10的拍摄模组20拍摄得到的载体40在反光装置30中的成像,而不用手动改变电子设备10的放置方式,能够简化拍摄过程,提高拍摄效率。其中,载体40具体可以为放置在桌面上的书本、练习册、绘本、试卷等,本发明实施例不做具体限定。
需要说明的是,用户的书写图像可以包括一个或多个图像,当用户针对本次听写而书写的且需要进行听写检查的书写内容均在同一个书写页面时,用户的书写图像包括一个图像;而当用户针对本次听写而书写的且需要进行听写检查的书写内容在多个书写页面时,用户的书写图像包括多个图像。
103、电子设备查找与书写图像的书写字体特征相匹配的目标字体库。
作为一种可选的实施方式,电子设备可以根据采集到的多个用户以往的书写习惯数据,生成多个预设字体库,每一个预设字体库对应有一个用户。因此,在获得用户的书写图像之后,电子设备可以根据安装于电子设备的听写应用程序上的当前登录账号,识别当前登录账号对应的目标用户,以及获取目标用户对应的至少一个预设字体库;那么步骤103具体可以包括:电子设备从目标用户对应的至少一个预设字体库中查找与书写图像的书写字体特征相匹配的目标字体库。
实施该实施方式,能够针对用户在不同时期或不同状态下的书写习惯,生成与用户对应的至少一个预设字体库,以及在后续获得用户任一时期或任一状态下的书写图像后,根据该用户对应的至少一个预设字体库匹配出目标字体库进行字符识别,能够个性化地迎合用户的书写习惯,提高用户手写字体的识别准确率,从而改善书写内容的检查效果。
104、电子设备根据目标字体库对书写图像进行字符识别,以获得书写内容。本发明实施例中,书写内容包括但不限于语文、英文、俄语或西班牙语等等书写文字信息。
可选地,步骤104具体可以包括:电子设备根据目标字体库对书写图像进行字符识别,并计算每一个字符识别结果的识别准确概率;
将识别准确概率小于指定阈值的字符识别结果标记为待确认识别结果;
以及,将每一个字符识别结果与其对应的书写图像中的字符子图像相邻地显示在电子屏幕的显示画面上;
将光标逐次显示在每一个被标记为待确认识别结果的字符识别结果上,输出用于询问用户该字符识别结果是否识别准确的询问信息;
在接收到用户输入的用于指示识别准确的反馈信息时,将该待确认字符识别结果标记为已确认识别结果,以获得书写内容。
实施该实施方式,能够帮助用户快速察看字符识别结果,并基于交互对识别准确率小于指定阈值的字符识别结果进行反馈,以提高书写内容的识别准确率,从而改善书写内容的检查效果。
105、电子设备对书写内容进行听写检查。
可见,实施图1所描述的方法,通过在接收到报读中止指令并且接收到用户输入的听写检查指令时,利用电子设备的摄像模组拍摄反光装置中的镜像作为用户的书写图像,然后查找与书写图像中的书写字体特征相匹配的目标字体库,以及根据目标字体库对书写图像进行字符识别,获得书写内容进行听写检查,能够提高书写内容的识别准确率,从而改善书写内容的检查效果。
实施例二
请参阅图2,图2是本发明实施例公开的另一种书写内容识别方法的流程示意图。如图2所示,该书写内容识别方法可以包括以下步骤:
201~202。其中,针对步骤201~202的描述,请参照实施例一中针对步骤101~102的详细描述,本发明在此不再赘述。
203、电子设备对书写图像进行单字体切割,获得多个单字图像。
本发明实施例中,电子设备对书写图像进行单字体切割的方式具体可以是基于投影的图像文字切割方法、基于深度卷积神经网络的切割方法,甚至是用户通过移动光标对单字符进行框取就能完成切割的手动切割程序工具,具体采取何种方式进行单字切割的,本发明同样不作限定。
204、电子设备统计多个单字图像中字迹潦草的图像数量、多个单字图像中笔画粘连的图像数量以及多个单字图像中笔画模糊的图像数量。
可以理解的是,如果多个单字图像中存在既字迹潦草又笔画粘连,或者是既字迹潦草又笔画模糊,或者是既笔画粘连又笔画模糊,或者是既字迹潦草又笔画粘连还笔画模糊的单字图像,那么所统计出来的多个单字图像中字迹潦草、笔画粘连以及笔画模糊的图像数量总和大于多个单字图像的总数量。
举例来说,假设总共有5个单字图像,那么5个中存在1个既笔画粘连又笔画模糊的单字图像,2个既字迹潦草又笔画模糊的单字图像,以及2个笔画粘连的单字图像,那么统计出来的这5个单字图像中字迹潦草、笔画粘连以及笔画模糊的图像数量分别是2、3和3,其总和是8,可见,8大于5。
205、电子设备根据每一个字体特征对应的图像数量,从多个字体特征中确定出图像数量最多的目标字体特征作为书写图像的书写字体特征。
其中,字体特征包括字迹潦草、笔画粘连或笔画模糊。笔画模糊可以是由于用户书写的力度不均匀导致的,也可以是成像因素导致的,甚至可以是另外一些原因导致的,本发明不作具体限定。
可以理解的是,字迹潦草用于表征该单字图像的笔画不工整,可以由用户书写时笔画无对齐或书写不认真而导致的,笔画粘连用于表征该单字图像的笔画连接在一起,比如左偏旁和右偏旁的笔画端点连接到一起,又比如形旁和声旁的笔画连接到一起。
需要说明的是,书写字体特征可以是一个或多个目标字体特征,目标字体库可以是一个或多个预设字体库。又举例来说,基于步骤204下面的例子描述,5个单字图像中笔画粘连的图像数量以及笔画模糊的图像数量都是3,且3是每一种字体特征对应的图像数量当中图像数量最多的,因此目标字体特征有2个,将这两个目标字体特征均作为书写图像的书写字体特征,以及,根据这两个目标字体特征分别对应的预设字体库,对书写图像进行字符识别。
206、电子设备从多个预设字体库中查找与书写字体特征相匹配的目标字体库。其中,目标字体库存储有与书写字体特征相匹配的多个单字图像样本以及每一个单字图像样本对应的标准字体。
其中,单字图像样本的采集途径可以来源于不同用户或同一个用户的以往书写字料。让本领域技术人员容易联想到的是,根据同一个用户的以往书写字料,还可以获取该用户的其它一些字体特征,即说,字体特征除了可以是字迹潦草、笔画粘连或笔画模糊,还可以是个性化的一些字体特征,比如,钢笔硬书法字体、方正字体、毛笔字体、圆形字体、行书字体、端正字体,甚至是形状较为短圆的娃娃字体等。因此,通过该用户的其它一些个性化的字体特征,可以衍生出该用户对应的多个预设字体库。
207~208。其中,针对步骤207~208的描述,请参照实施例一中针对步骤104~105的详细描述,本发明在此不再赘述。
可选地,电子设备执行步骤208中的对书写内容进行听写检查之后,可以判断书写内容是否包含用户的手写签名信息。若包含,电子设备对手写签名信息进行认证;以及在认证成功后,输出书写内容的听写检查结果。通过对用户的手写签名信息进行认证,能够保护用户的操作合法性,加强用户的听写检查结果的保密性。
作为一种可选的实施方式,电子设备输出书写内容的听写检查结果的方式具体可以是:电子设备获取当前的周围环境信息,其中周围环境信息包括但不限于温度信息、湿度信息以及噪声信息;电子设备获取与周围环境信息相匹配的输出模式,并以该输出模式输出书写内容的听写检查结果,输出模式具体可以是视频输出、语音输出、文字输出、列表输出、图像输出或歌唱输出等模式。
可以理解的是,通过各种常见的信息融合算法或智能决策模型等方式,能够实现根据周围环境信息获得相匹配的输出模式,在此不作详细描述。具体采用何种方式来根据周围环境信息获得相匹配的输出模式,本发明也不作限定。
举例来说,若周围环境信息用于描述噪声较多时,用户受环境干扰的因素较多,那么可以采用较为吵闹但能加深用户印象的输出模式,比如视频或歌唱等。又举例来说,如若周围环境信息用于描述周围环境温度适宜、湿度适宜且噪声较少时,可以认为用户处于安静且舒适的环境,有可能是在图书馆或自习室,此时用户受环境干扰的因素较少,可以不采用较为吵闹但能加深用户印象的输出模式,避免对用户当前的学习环境造成冲突或干扰。
通过该实施方式,能够自适应根据用户的周围环境而以适合的输出模式对听写内容的检查结果进行输出,使电子设备更加人性化、智能化。
与实施图1所描述的方法相比较,实施图2所描述的方法,还能够统计书写图像进行单字体切割后的多个单字图像中字体特征分别为字迹潦草、笔画粘连以及笔画模糊的图像数量,确定图像数量最多的字体特征作为书写图像的整体的书写字体特征,克服了现有技术中无法准确识别字迹潦草、笔画粘连或笔画模糊的书写内容的难题,进一步提高书写内容的识别准确率,改善书写内容的检查效果。除此之外,实施图2所描述的方法,还能够通过对用户的手写签名信息进行认证,保护用户的操作合法性,加强用户的听写检查结果的保密性。
实施例三
请参阅图3,图3是本发明实施例公开的另一种书写内容识别方法的流程示意图。如图3所示,该书写内容识别方法可以包括以下步骤:
301~306。其中,针对步骤301~306的描述,请参照实施例二中针对步骤201~206的详细描述,本发明在此不再赘述。
在图3所描述的书写内容识别方法中,目标字体库还存储有每一个单字图像样本的字体信息,字体信息包括字体结构、各个字体组成笔画的笔画形态以及各个字体组成笔画的偏正角度中的一种或多种组合。
作为一种可选的实施方式,字体结构的获取方式可以是根据深度学习方式进行识别的。其中,字体结构具体可以包括独体结构(如“千”)、左右结构(如“信”)、上下结构(如“息”)、全包围结构(如“国”)或半包围结构(如“周”)。其中,半包围结构具体还可以是庄字结构(如“厅”)、司字结构(如“句”)、边字结构(如“建”)、同字结构(如“问”)、区字结构(如“医”)、凶字结构(如“函”)或太字结构(如“尽”)等。
通过记录字体结构,可以区分拥有同样的字体组成笔画的笔画形态的单字图像样本,比如“加”和“另”,进一步提高书写内容的识别准确率,改善书写内容的检查效果。
作为一种可选的实施方式,各个字体组成笔画的笔画形态的获取方式具体可以是:对单字图像样本进行笔画分解,获得各个字体组成笔画的笔画形态,如:点、撇、捺、竖勾,即“丶”、“丿”、“亅”等。
作为另一种可选的实施方式,各个字体组成笔画的偏正角度的获取方式具体可以是:判断字体组成笔画是否有拐点;若有拐点,获取字体组成笔画的起点、终点和拐点的坐标信息;根据起点、终点和拐点的坐标信息,计算起点指向拐点的第一连线与直角坐标系中横轴的第一夹角,拐点为字体组成笔画在指定笔顺方向上的第一个转折点;计算拐点指向字体组成笔画的终点的第二连线与横轴的第二夹角;以及,计算第一连线与第二连线的第三夹角;将第一夹角、第二夹角和第三夹角的组合作为字体组成笔画的偏正角度;若无拐点,获取字体组成笔画的起点和终点的坐标信息;根据起点和终点的坐标信息,计算起点指向终点的连线与直角坐标系中横轴的第四夹角;将第四夹角作为字体组成笔画的偏正角度。
可以理解的是,偏正角度用于区分同一字体组成笔画的不同写法,如横“一”,可以是与直角坐标系中横轴平行的写法,也可以是斜向上的写法。在平行写法中,横“一”的偏正角度(即第四夹角)大小为0,而在斜向上的写法中,横“一”的偏正角度(即第四夹角)大小为0~90°中任意一个,一般情况下优选0~45°,通过偏正角度,能够记录用户针对同一字体组成笔画的不同写法习惯,从而使得匹配出来的目标单字图像样本更加贴合用户的书写习惯,提高用户体验。
其中,对于存在两个转折点或以上的字体组成笔画,可以取字体组成笔画在指定笔顺方向上的第一个转折点作为拐点。或者,将其分解成包含至多一个转折点的字体组成笔画,比如“了”,可以将“了”分解为“乛”和“亅”两个形态的字体组成笔画,可见“乛”或“亅”均属于只包含一个转折点的字体组成笔画。以此类推,对于任何一个文字或笔画,均可以分解为若干个包含至多一个转折点的字体组成笔画,在这种场景下,即字体组成笔画仅仅包含一个转折点时,第一个转折点(也是唯一转折点)作为拐点。
307、电子设备获取每一个单字图像的字体信息。
可以理解的是,与单字图像样本的字体信息类似地,单字图像的字体信息也是包括字体结构、各个字体组成笔画的笔画形态以及各个字体组成笔画的偏正角度中的一种或多种组合。而且,单字图像的字体信息具体如何获取的,可以参考本发明实施例中关于单字图像样本的字体信息的获取方式的详细描述,在此不再赘述。
308、电子设备根据目标字体库存储的多个单字图像样本的字体信息,从多个单字图像样本中确定出与单字图像的字体信息的匹配度最高的目标单字图像样本。
本发明实施例中,根据单字图像样本的字体信息与单字图像的字体信息,可以计算获得两者之间的匹配度,即是相似度。若单字图像样本的字体信息与单字图像的字体信息之间完全相同,那么匹配度可以达到100%,因此认为匹配度最高的目标单字图像样本即为单字图像。
309、电子设备以目标单字图像样本的标准字体作为单字图像的字符识别结果,以获得书写图像的书写内容。
其中,标准字体为印刷体的标准文字信息。
310、电子设备对书写内容进行听写检查。
与实施图2所描述的方法相比较,实施图3所描述的方法,还能够通过获取书写图像进行单字体切割后获得的每一个单字图像的字体信息,将字体信息与目标字体库存储的多个单字图像样本的字体信息进行匹配,以匹配度最高的目标单字图像样本的标准字体作为单字图像的字符识别结果以获得书写用户的书写内容,以及通过记录字体结构可以区分拥有同样的字体组成笔画的笔画形态的单字图像样本,进一步提高书写内容的识别准确率,改善书写内容的检查效果。
除此之外,实施图3所描述的方法,还能够通过偏正角度能够记录用户针对同一字体组成笔画的不同写法习惯,从而使得匹配出来的目标单字图像样本更加贴合用户的书写习惯,提高用户体验。
实施例四
请一并参阅图4和图7,图7是本发明实施例公开的一种电子设备拍摄获得用户的书写图像的拍摄过程示例图,图4是本发明实施例公开的一种电子设备的结构示意图,如图4所示,该电子设备可以包括:
接收单元401,用于在接收到报读中止指令时,检测是否接收到用户输入的听写检查指令。
拍摄单元402,用于在接收单元401接收到用户输入的听写检查指令时,利用电子设备的摄像模组拍摄反光装置中的镜像作为用户的书写图像。
本发明实施例中,用于拍摄图像的拍摄模组可设置于电子设备配有显示屏的一面,并且该面装设有反光装置,反光装置的镜面与拍摄模组的镜头面成预设的角度。如图7所示,电子设备控制拍摄模组拍摄反光装置中的镜像作为用户的书写图像的方式具体请参考实施一中的详细描述,本发明实施例在此不作赘述。
查找单元403,用于查找与书写图像的书写字体特征相匹配的目标字体库。
识别单元404,用于根据目标字体库对书写图像进行字符识别,以获得书写内容。
检测单元405,用于对书写内容进行听写检查。
作为一种可选的实施方式,图4所示的电子设备还可以包括未图示的询问单元,用于在接收单元401接收到报读中止指令时,输出用于询问用户是否进行听写检查的询问信息;以及在接收单元401接收到用户输入的用于指示进行听写检查的反馈信息时,触发拍摄单元402执行利用电子设备的摄像模组拍摄反光装置中的镜像作为用户的书写图像的操作。
通过该实施方式,能够及时了解用户的听写检查需求,从而及时为用户进行听写检查,使电子设备更加智能化。
进一步可选地,图4所示的电子设备中,拍摄单元402用于在接收单元401接收到用户输入的听写检查指令时,利用电子设备的摄像模组拍摄反光装置中的镜像作为用户的书写图像的方式具体可以是:
拍摄单元402,用于在接收单元401接收到报读中止指令时,拍摄获得用户的多个头部图像和/或用户的多个坐姿图像;若多个头部图像用于表征用户眼睛疲劳和/或多个坐姿图像用于表征用户学习状态不佳,执行利用电子设备的摄像模组拍摄反光装置中的镜像作为用户的书写图像的操作。
更进一步可选地,图4所示的电子设备还可以包括未图示的提取单元,用于在拍摄单元402拍摄获得用户的多个头部图像之后,根据头部图像提取多个眼睛区域子图;根据提取的多个眼睛区域子图,获取眼睛特征参数;其中,眼睛特征参数至少包括用户在预设时间段内的眨眼频率以及用户上眼皮与下眼皮之间的平均眼皮间距;以及,判断眼睛特征参数是否用于指示用户眼睛疲劳;若眼睛特征参数用于指示用户眼睛疲劳,判定多个头部图像用于表征用户眼睛疲劳。
上述的提取单元,还用于在拍摄单元402拍摄获得用户的多个坐姿图像之后,根据坐姿图像获取坐姿特征信息;其中,坐姿特征信息至少包括用户在预设时间段内的坐姿变换频率以及用户胸口与书写页面所在水平面的平均角度信息和平均距离信息;以及,判断坐姿特征信息是否用于指示用户学习状态不佳;若坐姿特征信息用于指示用户学习状态不佳,判定多个坐姿图像用于表征用户学习状态不佳。
实施上述的实施方式,通过在听写过程中启动暂停程序时,获取用户的头部图像和/或坐姿图像,并以此为据判断用户是否眼睛疲劳和/或学习状态不佳,若是,执行听写检查功能,既能及时为用户进行听写检查,又能让用户进行中途休息,以提高听写学习效率。
另外可选地,拍摄单元402,还用于在接收单元401接收到报读终止指令时,利用电子设备的摄像模组拍摄反光装置中的镜像作为用户的书写图像。其中,报读终止指令用于指示电子设备退出听写模式。
作为一种可选的实施方式,图4所示的电子设备还可以包括以下未图示的单元:
生成单元,用于根据采集到的多个用户以往的书写习惯数据,生成多个预设字体库,每一个预设字体库对应有一个用户;
获取单元,用于在拍摄单元402利用电子设备的摄像模组拍摄反光装置中的镜像作为用户的书写图像获得用户的书写图像之后,根据安装于电子设备的听写应用程序上的当前登录账号,识别当前登录账号对应的目标用户;以及,获取目标用户对应的至少一个预设字体库;
相应地,查找单元403,具体用于从目标用户对应的至少一个预设字体库中查找与书写图像的书写字体特征相匹配的目标字体库。
实施该实施方式,能够针对用户在不同时期或不同状态下的书写习惯,生成与用户对应的至少一个预设字体库,以及在后续获得用户任一时期或任一状态下的书写图像后,根据该用户对应的至少一个预设字体库匹配出目标字体库进行字符识别,能够个性化地迎合用户的书写习惯,提高用户手写字体的识别准确率,从而改善书写内容的检查效果。
作为另一种可选的实施方式,图4所示的电子设备中,上述的识别单元404可以包括以下未图示的子单元:
计算子单元,用于根据目标字体库对书写图像进行字符识别,并计算每一个字符识别结果的识别准确概率;
标记子单元,用于将识别准确概率小于指定阈值的字符识别结果标记为待确认识别结果;
显示子单元,用于将每一个字符识别结果与其对应的书写图像中的字符子图像相邻地显示在电子屏幕的显示画面上;
交互子单元,用于将光标逐次显示在每一个被标记为待确认识别结果的字符识别结果上,输出用于询问用户该字符识别结果是否识别准确的询问信息;
上述的标记子单元,还用于在接收到用户输入的用于指示识别准确的反馈信息时,将该待确认字符识别结果标记为已确认识别结果以获得书写内容。
实施该实施方式,能够帮助用户快速察看字符识别结果,并基于交互对识别准确率小于指定阈值的字符识别结果进行反馈,以提高书写内容的识别准确率,从而改善书写内容的检查效果。
可见实施图4所示的电子设备,通过在接收到报读中止指令并且接收到用户输入的听写检查指令时,利用电子设备的摄像模组拍摄反光装置中的镜像作为用户的书写图像,然后查找与书写图像中的书写字体特征相匹配的目标字体库,以及根据目标字体库对书写图像进行字符识别,获得书写内容进行听写检查,能够提高书写内容的识别准确率,从而改善书写内容的检查效果。
实施例五
请参阅图5,图5是本发明实施例公开的另一种电子设备的结构示意图。其中,图5所示的电子设备是由图4所示的电子设备进行优化得到的,与图4相比较,图5所示的电子设备还可以包括:
判断单元406,用于在检测单元405对书写内容进行听写检查之后,判断书写内容是否包含用户的手写签名信息。
认证单元407,用于在判断单元406判断出书写内容包含用户的手写签名信息时,对手写签名信息进行认证。
输出单元408,用于在认证单元407认证成功后,输出书写内容的听写检查结果。通过对用户的手写签名信息进行认证,能够保护用户的操作合法性,加强用户的听写检查结果的保密性。
作为一种可选的实施方式,图5所示的电子设备还可以包括:
切割单元409,用于在查找单元403查找与书写图像中的书写字体特征相匹配的目标字体库之前,对书写图像进行单字体切割,获得多个单字图像。
统计单元410,用于统计多个单字图像中字迹潦草的图像数量、多个单字图像中笔画粘连的图像数量以及多个单字图像中笔画模糊的图像数量。
确定单元411,用于根据每一个字体特征对应的图像数量,从多个字体特征中确定出图像数量最多的目标字体特征作为书写图像的书写字体特征。其中,字体特征包括字迹潦草、笔画粘连或笔画模糊。
相应地,查找单元403,具体用于从多个预设字体库中查找与书写字体特征相匹配的目标字体库。其中,目标字体库存储有与书写字体特征相匹配的多个单字图像样本以及每一个单字图像样本对应的标准字体。
进一步可选地,图5所示的电子设备中,目标字体库还可以存储有每一个单字图像样本的字体信息,字体信息包括字体结构、各个字体组成笔画的笔画形态以及各个字体组成笔画的偏正角度中的一种或多种组合;其中,字体结构包括独体结构、左右结构、上下结构、全包围结构或半包围结构;偏正角度包括第一连线与直角坐标系中横轴的第一夹角、第二连线与横轴的第二夹角以及第一连线与第二连线的第三夹角;第一连线为字体组成笔画的起点指向拐点的连线,第二连线为拐点指向字体组成笔画的终点的连线,拐点为字体组成笔画在指定笔顺方向上的第一个转折点。
更进一步可选地,图5所示的电子设备中,识别单元404可以包括:
获取子单元4041,用于获取每一个单字图像的字体信息。
确定子单元4042,用于根据目标字体库存储的多个单字图像样本的字体信息,从多个单字图像样本中确定出与单字图像的字体信息的匹配度最高的目标单字图像样本。
识别子单元4043,用于以目标单字图像样本的标准字体作为单字图像的字符识别结果,以获得书写图像的书写内容。
作为一种可选的实施方式,输出单元408可以包括以下未图示的子单元:
环境监测子单元,用于在认证成功后,获取当前的周围环境信息;其中周围环境信息包括但不限于温度信息、湿度信息以及噪声信息;
匹配子单元,用于获取与周围环境信息相匹配的输出模式;
输出子单元,用于以该输出模式输出书写内容的听写检查结果;其中,输出模式具体可以是视频输出、语音输出、文字输出、列表输出、图像输出或歌唱输出等模式。
通过该实施方式,能够自适应根据用户的周围环境而以适合的输出模式对听写内容的检查结果进行输出,使电子设备更加人性化、智能化。
与实施图4所示的电子设备相比较,实施图5所示的电子设备,还能够通过偏正角度,记录用户针对同一字体组成笔画的不同写法习惯,从而使得匹配出来的目标单字图像样本更加贴合用户的书写习惯,提高用户体验。
除此之外,实施图5所示的电子设备,还能够克服现有技术中无法准确识别字迹潦草、笔画粘连或笔画模糊的书写内容的难题,进一步提高书写内容的识别准确率,改善书写内容的检查效果。
此外,实施图5所示的电子设备,还能够通过对用户的手写签名信息进行认证,保护用户的操作合法性,加强用户的听写检查结果的保密性。
实施例六
请参阅图6,图6是本发明实施例公开的又一种电子设备的结构示意图。如图6所示,该电子设备可以包括:
存储有可执行程序代码的存储器601;
与存储器601耦合的处理器602;
其中,处理器602调用存储器601中存储的可执行程序代码,执行图1~图3任意一种书写内容识别方法。
本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行图1~图3任意一种书写内容识别方法。
本发明实施例还公开一种计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
本发明实施例还公开一种应用发布平台,其中,应用发布平台用于发布计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在本发明的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
在本发明所提供的实施例中,应理解,“与A对应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其他信息确定B。
本领域普通技术人员可以理解上述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种书写内容识别方法、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种书写内容识别方法,其特征在于,包括:
在接收到报读中止指令时,检测是否接收到用户输入的听写检查指令;
若接收到所述听写检查指令,利用电子设备的拍摄模组拍摄反光装置中的镜像作为用户的书写图像;其中,所述反光装置装设在所述电子设备上,并且所述反光装置的镜面与所述拍摄模组的镜头面成预设的角度;
对所述书写图像进行单字体切割,获得多个单字图像;
统计所述多个单字图像中字迹潦草的图像数量、所述多个单字图像中笔画粘连的图像数量以及所述多个单字图像中笔画模糊的图像数量;
根据每一个字体特征对应的图像数量,从多个所述字体特征中确定出图像数量最多的目标字体特征作为所述书写图像的书写字体特征,所述字体特征包括字迹潦草、笔画粘连或笔画模糊;
查找与所述书写图像的书写字体特征相匹配的目标字体库;
根据所述目标字体库对所述书写图像进行字符识别,以获得书写内容;
对所述书写内容进行听写检查;
其中,所述查找与所述书写图像中的书写字体特征相匹配的目标字体库,包括:
从多个预设字体库中查找与所述书写字体特征相匹配的目标字体库;其中,所述目标字体库存储有与所述书写字体特征相匹配的多个单字图像样本以及每一个所述单字图像样本对应的标准字体;
其中,所述目标字体库还存储有每一个所述单字图像样本的字体信息,所述字体信息包括字体结构、各个字体组成笔画的笔画形态以及所述各个字体组成笔画的偏正角度中的一种或多种组合;
其中,所述字体结构包括独体结构、左右结构、上下结构、全包围结构或半包围结构;所述偏正角度包括第一连线与直角坐标系中横轴的第一夹角、第二连线与所述横轴的第二夹角以及所述第一连线与所述第二连线的第三夹角;所述第一连线为所述字体组成笔画的起点指向拐点的连线,所述第二连线为所述拐点指向所述字体组成笔画的终点的连线,所述拐点为所述字体组成笔画在指定笔顺方向上的第一个转折点;
其中,所述根据所述目标字体库对所述书写图像进行字符识别,以获得书写内容,包括:
获取每一个所述单字图像的字体信息;
根据所述目标字体库存储的多个所述单字图像样本的字体信息,从多个所述单字图像样本中确定出与所述单字图像的字体信息的匹配度最高的目标单字图像样本;
以所述目标单字图像样本的标准字体作为所述单字图像的字符识别结果,以获得所述书写图像的书写内容。
2.根据权利要求1所述的方法,其特征在于,所述对所述书写内容进行听写检查之后,所述方法还包括:
判断所述书写内容是否包含用户的手写签名信息;
若包含,对所述手写签名信息进行认证;
在认证成功后,输出所述书写内容的听写检查结果。
3.一种电子设备,其特征在于,包括:
接收单元,用于在接收到报读中止指令时,检测是否接收到用户输入的听写检查指令;
拍摄单元,用于在所述接收单元接收到用户输入的听写检查指令时,利用所述电子设备的拍摄模组拍摄反光装置中的镜像作为用户的书写图像;
其中,所述反光装置装设在所述电子设备上,并且所述反光装置的镜面与所述拍摄模组的镜头面成预设的角度;
查找单元,用于查找与所述书写图像的书写字体特征相匹配的目标字体库;
识别单元,用于根据所述目标字体库对所述书写图像进行字符识别,以获得书写内容;
检测单元,用于对所述书写内容进行听写检查;
切割单元,用于在所述查找单元查找与所述书写图像中的书写字体特征相匹配的目标字体库之前,对所述书写图像进行单字体切割,获得多个单字图像;
统计单元,用于统计所述多个单字图像中字迹潦草的图像数量、所述多个单字图像中笔画粘连的图像数量以及所述多个单字图像中笔画模糊的图像数量;
确定单元,用于根据每一个字体特征对应的图像数量,从多个所述字体特征中确定出图像数量最多的目标字体特征作为所述书写图像的书写字体特征,所述字体特征包括字迹潦草、笔画粘连或笔画模糊;
所述查找单元,具体用于从多个预设字体库中查找与所述书写字体特征相匹配的目标字体库;其中,所述目标字体库存储有与所述书写字体特征相匹配的多个单字图像样本以及每一个所述单字图像样本对应的标准字体;
其中,所述目标字体库还存储有每一个所述单字图像样本的字体信息,所述字体信息包括字体结构、各个字体组成笔画的笔画形态以及所述各个字体组成笔画的偏正角度中的一种或多种组合;
其中,所述字体结构包括独体结构、左右结构、上下结构、全包围结构或半包围结构;所述偏正角度包括第一连线与直角坐标系中横轴的第一夹角、第二连线与所述横轴的第二夹角以及所述第一连线与所述第二连线的第三夹角;所述第一连线为所述字体组成笔画的起点指向拐点的连线,所述第二连线为所述拐点指向所述字体组成笔画的终点的连线,所述拐点为所述字体组成笔画在指定笔顺方向上的第一个转折点;
其中,所述识别单元包括:
获取子单元,用于获取每一个所述单字图像的字体信息;
确定子单元,用于根据所述目标字体库存储的多个所述单字图像样本的字体信息,从多个所述单字图像样本中确定出与所述单字图像的字体信息的匹配度最高的目标单字图像样本;
识别子单元,用于以所述目标单字图像样本的标准字体作为所述单字图像的字符识别结果,以获得所述书写图像的书写内容。
4.根据权利要求3所述的电子设备,其特征在于,还包括:
判断单元,用于在所述检测单元对所述书写内容进行听写检查之后,判断所述书写内容是否包含用户的手写签名信息;
认证单元,用于在所述判断单元判断出所述书写内容包含用户的手写签名信息时,对所述手写签名信息进行认证;
输出单元,用于在所述认证单元认证成功后,输出所述书写内容的听写检查结果。
5.一种电子设备,其特征在于,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,用于执行权利要求1至2任一项所述的一种书写内容识别方法。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机程序,其中,所述计算机程序使得计算机执行权利要求1至2任一项所述的一种书写内容识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910457529.9A CN111079491B (zh) | 2019-05-29 | 2019-05-29 | 一种书写内容识别方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910457529.9A CN111079491B (zh) | 2019-05-29 | 2019-05-29 | 一种书写内容识别方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111079491A CN111079491A (zh) | 2020-04-28 |
CN111079491B true CN111079491B (zh) | 2023-11-24 |
Family
ID=70310348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910457529.9A Active CN111079491B (zh) | 2019-05-29 | 2019-05-29 | 一种书写内容识别方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111079491B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005234399A (ja) * | 2004-02-20 | 2005-09-02 | Konica Minolta Business Technologies Inc | 画像処理装置、画像処理方法および画像処理プログラム |
CN101276414A (zh) * | 2008-04-07 | 2008-10-01 | 宇龙计算机通信科技(深圳)有限公司 | 手写字体识别方法及装置 |
CN104007836A (zh) * | 2014-05-07 | 2014-08-27 | 惠州Tcl移动通信有限公司 | 一种手写字输入的处理方法及终端设备 |
JP2016505907A (ja) * | 2013-10-25 | 2016-02-25 | 株式会社ワコム | 手書きデータ出力方法及びコンピュータシステム |
CN105488476A (zh) * | 2015-11-30 | 2016-04-13 | 广东小天才科技有限公司 | 一种汉字听写的方法、系统 |
CN106803082A (zh) * | 2017-01-23 | 2017-06-06 | 重庆邮电大学 | 一种基于条件式生成对抗网络的在线笔迹识别方法 |
CN108667622A (zh) * | 2018-05-21 | 2018-10-16 | 平安科技(深圳)有限公司 | 电子签名认证方法、系统、计算机设备和存储介质 |
CN109634552A (zh) * | 2018-12-17 | 2019-04-16 | 广东小天才科技有限公司 | 一种应用于听写的报读控制方法及终端设备 |
-
2019
- 2019-05-29 CN CN201910457529.9A patent/CN111079491B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005234399A (ja) * | 2004-02-20 | 2005-09-02 | Konica Minolta Business Technologies Inc | 画像処理装置、画像処理方法および画像処理プログラム |
CN101276414A (zh) * | 2008-04-07 | 2008-10-01 | 宇龙计算机通信科技(深圳)有限公司 | 手写字体识别方法及装置 |
JP2016505907A (ja) * | 2013-10-25 | 2016-02-25 | 株式会社ワコム | 手書きデータ出力方法及びコンピュータシステム |
CN104007836A (zh) * | 2014-05-07 | 2014-08-27 | 惠州Tcl移动通信有限公司 | 一种手写字输入的处理方法及终端设备 |
CN105488476A (zh) * | 2015-11-30 | 2016-04-13 | 广东小天才科技有限公司 | 一种汉字听写的方法、系统 |
CN106803082A (zh) * | 2017-01-23 | 2017-06-06 | 重庆邮电大学 | 一种基于条件式生成对抗网络的在线笔迹识别方法 |
CN108667622A (zh) * | 2018-05-21 | 2018-10-16 | 平安科技(深圳)有限公司 | 电子签名认证方法、系统、计算机设备和存储介质 |
CN109634552A (zh) * | 2018-12-17 | 2019-04-16 | 广东小天才科技有限公司 | 一种应用于听写的报读控制方法及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111079491A (zh) | 2020-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109165552B (zh) | 一种基于人体关键点的姿态识别方法、系统及存储器 | |
CN109635772B (zh) | 一种听写内容的批改方法及电子设备 | |
CN110858394B (zh) | 一种图像质量评估方法、装置、电子设备及计算机可读存储介质 | |
US8538087B2 (en) | Aiding device for reading a printed text | |
CN107154890B (zh) | 社交网络中添加联系人的方法、装置及系统 | |
CN107609489B (zh) | 书法书写路径评价装置、方法及电子设备 | |
CN106648418B (zh) | 手写笔迹校正方法和装置 | |
CN111191067A (zh) | 绘本识别方法、终端设备及计算机可读存储介质 | |
CN106529255B (zh) | 基于笔迹指纹的用户身份识别方法和装置 | |
CN112329663B (zh) | 一种基于人脸图像序列的微表情时刻检测方法及装置 | |
EP3647993A1 (en) | Interactive user verification | |
CN113011412B (zh) | 基于笔顺及ocr文字识别方法、装置、设备及存储介质 | |
CN111077996B (zh) | 一种基于点读的信息推荐方法及学习设备 | |
CN110941992B (zh) | 微笑表情检测方法、装置、计算机设备及存储介质 | |
CN109410984B (zh) | 一种朗读评分的方法及电子设备 | |
CN111753715B (zh) | 点读场景下试题拍摄的方法、装置、电子设备和存储介质 | |
CN107977394A (zh) | 绘本识别方法及电子设备 | |
CN111339801A (zh) | 一种人员注意力检测方法、装置、设备及系统 | |
CN111753168A (zh) | 一种搜题的方法、装置、电子设备及存储介质 | |
CN111081103B (zh) | 一种听写答案获取方法、家教设备及存储介质 | |
CN111639630B (zh) | 一种作业批改方法及装置 | |
CN111079491B (zh) | 一种书写内容识别方法、电子设备及存储介质 | |
KR102482841B1 (ko) | 인공지능 미러링 놀이 가방 | |
CN109547678B (zh) | 一种处理方法、装置、设备及可读存储介质 | |
CN111079504A (zh) | 一种文字识别方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |