CN115346223A - 书写信息的评测方法和装置、电子设备和存储介质 - Google Patents

书写信息的评测方法和装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115346223A
CN115346223A CN202110518774.3A CN202110518774A CN115346223A CN 115346223 A CN115346223 A CN 115346223A CN 202110518774 A CN202110518774 A CN 202110518774A CN 115346223 A CN115346223 A CN 115346223A
Authority
CN
China
Prior art keywords
target
stroke
vector
font
tested
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110518774.3A
Other languages
English (en)
Inventor
王为家
余浩
鲁文斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Hongen Perfect Future Education Technology Co ltd
Original Assignee
Tianjin Hongen Perfect Future Education Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Hongen Perfect Future Education Technology Co ltd filed Critical Tianjin Hongen Perfect Future Education Technology Co ltd
Priority to CN202110518774.3A priority Critical patent/CN115346223A/zh
Publication of CN115346223A publication Critical patent/CN115346223A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Character Discrimination (AREA)

Abstract

本申请提供了一种书写信息的评测方法和装置、电子设备和存储介质,其中,该方法包括:实时获取待测字体的待测字体数据,其中,待测字体为目标对象所书写的与参考字体对应的字体,待测字体数据包含待测字体中的待测笔画的待测笔画数据;对待测笔画数据进行特征提取,得到待测笔画的目标笔画向量,其中,待测笔画包含的至少一个目标笔段,目标笔画向量包含至少一个目标笔段的角度值的时序序列;在确定出候选笔画集合中存在与待测笔画匹配的目标候选笔画的情况下,根据目标笔画向量,确定将待测笔画转变成目标候选笔画所需的目标代价值;根据目标代价值,确定待测笔画的评测结果,其中,待测笔画的评测结果用于指示待测笔画是否书写规范。

Description

书写信息的评测方法和装置、电子设备和存储介质
技术领域
本申请涉及数据处理领域,尤其涉及一种书写信息的评测方法和装置、电子设备和存储介质。
背景技术
传统的汉字书写教学的方法存在教学资源不足、时间地点受限等诸多限制。而随着科技的进步,出现了智能笔书写系统。该系统的特点是利用电磁感应或红外感应,将书写者在纸上的书写轨迹储存并展现在多媒体设备上。利用这一特点结合人工智能可以有效地解决这些问题,为书写者提供实时有效的指导。
在智能笔书写系统中,书写者的书写轨迹以点阵的形式存储到智能笔的存储设备,并无线传输到机器端用于人工智能评测。智能笔传输的信息可以如图1所示,系统的输入为书写者每个笔画的所有点的坐标集合。如图1所示,每个字由若干笔画s组成笔画集S,S=[s1,s2,…,sn];每个笔画由若干点p组成点集P,P=[p1,p2,…,pn]。点p的成员分别为:x(横坐标),y(纵坐标),f(传感器压力),t(时间)。
目前的智能笔书写评测方式中,评测的维度包括三个部分,分别为:笔画数量,笔画对错和间架结构,其中,
笔画数量,通过统计智能笔传输的s次数与标准字的总笔画对比得到;
笔画对错,通过计算每个手写笔画的点集中每个点到标准笔画的最短距离和作为损失函数,当损失函数小于一定阈值时则认为笔画书写正确;
间架结构,通过计算笔画的长度和质心位置得到。
对于上述评测方式,在评测笔画对错时,仅仅用一维的距离方法过于粗糙,很容易造成误判。由此可见,相关技术中的书写信息的评测方式,存在由于评测维度单一导致的笔画对错易被误判的问题。
发明内容
本申请提供了一种书写信息的评测方法和装置、电子设备和存储介质,以至少解决相关技术中的书写信息的评测方式存在由于评测维度单一导致的笔画对错易被误判的问题。
根据本申请实施例的一个方面,提供了一种书写信息的评测方法,包括:实时获取待测字体的待测字体数据,其中,所述待测字体为目标对象所书写的与参考字体对应的字体,所述待测字体数据包含所述待测字体中的待测笔画的待测笔画数据;对所述待测笔画数据进行特征提取,得到所述待测笔画的目标笔画向量,其中,所述待测笔画包含的至少一个目标笔段,所述目标笔画向量包含所述至少一个目标笔段的角度值的时序序列;在确定出候选笔画集合中存在与所述待测笔画匹配的目标候选笔画的情况下,根据所述目标笔画向量,确定将所述待测笔画转变成所述目标候选笔画所需的目标代价值;根据所述目标代价值,确定所述待测笔画的评测结果,其中,所述待测笔画的评测结果用于指示所述待测笔画是否书写规范。
根据本申请实施例的另一个方面,还提供了一种书写信息的评测装置,包括:第一获取单元,用于实时获取待测字体的待测字体数据,其中,所述待测字体为目标对象所书写的与参考字体对应的字体,所述待测字体数据包含所述待测字体中的待测笔画的待测笔画数据;提取单元,用于对所述待测笔画数据进行特征提取,得到所述待测笔画的目标笔画向量,其中,所述待测笔画包含的至少一个目标笔段,所述目标笔画向量包含所述至少一个目标笔段的角度值的时序序列;第一确定单元,用于在确定出候选笔画集合中存在与所述待测笔画匹配的目标候选笔画的情况下,根据所述目标笔画向量,确定将所述待测笔画转变成所述目标候选笔画所需的目标代价值;第二确定单元,用于根据所述目标代价值,确定所述待测笔画的评测结果,其中,所述待测笔画的评测结果用于指示所述待测笔画是否书写规范。
根据本申请实施例的又一个方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;其中,存储器,用于存储计算机程序;处理器,用于通过运行所述存储器上所存储的所述计算机程序来执行上述任一实施例中的方法步骤。
根据本申请实施例的又一个方面,还提供了一种计算机可读的存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一实施例中的方法步骤。
在本申请实施例中,采用基于待测笔画的时序信息判断笔画对错的方式,通过实时获取待测字体的待测字体数据,其中,待测字体为目标对象所书写的与参考字体对应的字体,待测字体数据包含待测字体中的待测笔画的待测笔画数据;对待测笔画数据进行特征提取,得到待测笔画的目标笔画向量,其中,待测笔画包含的至少一个目标笔段,目标笔画向量包含至少一个目标笔段的角度值的时序序列;在确定出候选笔画集合中存在与待测笔画匹配的目标候选笔画的情况下,根据目标笔画向量,确定将待测笔画转变成目标候选笔画所需的目标代价值;根据目标代价值,确定待测笔画的评测结果,其中,待测笔画的评测结果用于指示待测笔画是否书写规范,由于基于待测笔画的各个笔段的角度信息确定将待测笔画转变成匹配的标准笔画的代价值,而不仅仅用一维的距离对笔画对错进行判断,从而可以实现减少笔画对错被误判的可能的目的,达到了提高笔画对错评测的合理性的技术效果,进而解决了相关技术中的书写信息的评测方式存在由于评测维度单一导致的笔画对错易被误判的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的一种可选的智能笔传输信息的示意图;
图2是根据本申请实施例的一种可选的书写信息的评测方法的硬件环境的示意图;
图3是根据本申请实施例的一种可选的书写信息的评测方法的流程示意图;
图4是根据本申请实施例的一种可选的书写错误形式的示意图;
图5是根据本申请实施例的一种可选的笔画纠错的示意图;
图6是根据本申请实施例的一种可选的笔画特征提取的流程示意图;
图7是根据本申请实施例的一种可选的序列-分类器的网络结构的示意图;
图8是根据本申请实施例的另一种可选的序列-分类器的网络结构的示意图;
图9是根据本申请实施例的一种可选的笔画的缩放、增删和偏转的示意图;
图10是根据本申请实施例的一种可选的同一笔画不同程度的角度偏差的示意图;
图11是根据本申请实施例的一种可选的笔画对错的评测方法的流程示意图;
图12是根据本申请实施例的一种可选的CNN字体分类网络的示意图;
图13是根据本申请实施例的另一种可选的书写信息的评测方法的流程示意图;
图14是根据本申请实施例的一种可选的书写信息的评测装置的结构框图;
图15是根据本申请实施例的一种可选的电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面,提供了一种书写信息的评测方法。可选地,在本实施例中,上述书写信息的评测方法可以应用于如图2所示的由终端202和服务器204所构成的硬件环境中。如图2所示,服务器204通过网络与终端202进行连接,可用于为终端或终端上安装的客户端提供服务(如游戏服务、应用服务等),可在服务器上或独立于服务器设置数据库,用于为服务器204提供数据存储服务。
上述网络可以包括但不限于以下至少之一:有线网络,无线网络。上述有线网络可以包括但不限于以下至少之一:广域网,城域网,局域网,上述无线网络可以包括但不限于以下至少之一:WIFI(Wireless Fidelity,无线保真),蓝牙。终端202可以并不限定于为PC、手机、平板电脑等。
本申请实施例的书写信息的评测方法可以由服务器204来执行,也可以由终端202来执行,还可以是由服务器204和终端202共同执行。其中,终端202执行本申请实施例的书写信息的评测方法也可以是由安装在其上的客户端来执行。
以由评测设备(例如,服务器204)来执行本实施例中的书写信息的评测方法为例,图3是根据本申请实施例的一种可选的书写信息的评测方法的流程示意图,如图3所示,该方法的流程可以包括以下步骤:
步骤S302,实时获取待测字体的待测字体数据,其中,待测字体为目标对象所书写的与参考字体对应的字体,待测字体数据包含待测字体中的待测笔画的待测笔画数据。
本实施例中的书写信息的评测方法可以应用于使用用户输入的书写信息进行评测的场景,上述场景可以是用户按照提示的参考字体(例如,语音提示,文字提示)使用智能笔(或者,其他用于输入书写信息的工具)在终端设备上输入与该参考字体匹配的待测字体的场景,例如,上述书写信息的评测方法可以应用到智能笔书写系统中。本实施例中以应用到智能笔书写系统为例进行说明,对于其他类似场景,本实施例中的书写信息的评测方法同样适用。
在智能笔书写系统中,书写者的书写轨迹以点阵的形式存储到智能笔的存储设备,并无线传输到服务端(机器端,例如,评测设备),以在服务端进行人工智能评测。
例如,目标对象(对应于书写者)可以使用使用智能笔等输入工具在终端设备上书写与参考字体对应的待测字体。终端设备可以实时获取到目标对象输入的上述待测字体的待测字体数据,并将待测字体数据发送给评测设备,而评测设备可以接收到上述待测字体数据。通过实时获取目标对象输入的待测字体数据,可以对待测字体或者待测字体中的待测笔画进行实时评测,不需要书写者把整个待测字体都写完即可进行评测,提高评测结果反馈的及时性。
待测字体数据可以是以点阵的形式表征的目标对象的书写轨迹,可以包含待测字体中的每个待测笔画的待测笔画数据。一个待测笔画的待测笔画数据可以包含该待测笔画的所有点的集合,集合中的每个点均是该待测笔画上的点。每个点可以通过多种信息进行表征,可以包括但不限于以下至少之一:位置信息(例如,位置坐标x和y),传感器压力(例如,f),时间信息(例如,t)。
步骤S304,对待测笔画数据进行特征提取,得到待测笔画的目标笔画向量,其中,待测笔画包含的至少一个目标笔段,目标笔画向量包含至少一个目标笔段的角度值的时序序列。
对于待测字体中的每个待测笔画,评测设备可以对待测笔画的笔画对错进行评测。相关技术中,仅仅用一维的距离评测笔画的对错。上述方式过于粗糙,很容易造成误判。
例如,如图4所示,当书写者把“横”写成歪扭的曲线时,按照上述评测方式,曲线上每个点都没有偏离标准的“横”太多,会认为这一笔写的是对的。
可选地,在本实施例中,评测设备可以对待测笔画的待测笔画数据进行特征提取,从而得到待测笔画的目标笔画向量。待测笔画包含的至少一个目标笔段,至少一个目标笔段可以是被多个采样点所划分出来的。在进行笔画特征提取时,不仅用空间位置信息来描述笔画,还考虑了时间这一维度,即,在提取笔画特征时充分考虑每个采样点的时间与空间信息。对应地,得到的目标笔画向量包含了上述至少一个目标笔段的角度值的时序序列。
例如,一个笔画的信息可以用多维向量(与离散采样的点数相关)来描述,每一维向量代表当前采样时间下采样笔段的角度,即,每一维向量的码值(即,角度)为0-360°的角度。如,对笔画“□”作N=4的离散采样时,按照书写顺序将这个笔画4等分,依次是[横,横,竖,竖],即,[0,0,270,270]。
步骤S306,在确定出候选笔画集合中存在与待测笔画匹配的目标候选笔画的情况下,根据目标笔画向量,确定将待测笔画转变成目标候选笔画所需的目标代价值。
按照规范标准,将笔画分为多个类(例如,32个类),而每个笔画类可以通过候选笔画集合中的一个或多个候选笔画进行表示。上述参考笔画可以是这些笔画类中的一个,对应地,可以将待测笔画与候选笔画集合中的各个候选笔画进行匹配,确定是否存在与待测笔画匹配的候选笔画。
如果存在与待测笔画匹配的候选笔画,即,目标候选笔画,评测设备可以根据目标笔画向量,确定将待测笔画转变成目标候选笔画所需的目标代价值。由于同时考虑了采样点的时间与空间信息,根据待测笔画中的各个目标笔段对应的角度值以及各个目标笔段的时序进行代价计算,计算的代价值更能体现待测笔画与目标候选笔画的差异,提高笔画对错评测的准确性。
步骤S308,根据目标代价值,确定待测笔画的评测结果,其中,待测笔画的评测结果用于指示待测笔画是否书写规范。
由于候选笔画集合中存在与待测笔画匹配的候选笔画,可以确定该待测笔画的书写是正确的。根据目标代价值,评测设备可以确定待测笔画的评测结果,待测笔画的评测结果用于表示该待测笔画书写的正确程度,即,待测笔画是否书写规范。
待测字体中包含的待测笔画的数量可以为一个或多个,评测设备可以分别评测每个待测笔画的笔画对错,并输出整个待测字体的笔画对错的评测结果,该评测结果可以用于表示书写正确且规范的待测笔画、书写正确但不规范的待测笔画、和/或书写错误的待测笔画。
通过上述步骤S302至步骤S308,实时获取待测字体的待测字体数据,其中,待测字体为目标对象所书写的与参考字体对应的字体,待测字体数据包含待测字体中的待测笔画的待测笔画数据;对待测笔画数据进行特征提取,得到待测笔画的目标笔画向量,其中,待测笔画包含的至少一个目标笔段,目标笔画向量包含至少一个目标笔段的角度值的时序序列;在确定出候选笔画集合中存在与待测笔画匹配的目标候选笔画的情况下,根据目标笔画向量,确定将待测笔画转变成目标候选笔画所需的目标代价值;根据目标代价值,确定待测笔画的评测结果,其中,待测笔画的评测结果用于指示待测笔画是否书写规范,解决了相关技术中的书写信息的评测方式存在由于评测维度单一导致的笔画对错易被误判的问题,提高了笔画对错评测的合理性。
作为一种可选的实施例,针对儿童书写者,可以通过设置的纠错数据库为其提供笔画纠错功能。在获取到待测笔画的待测笔画数据之后,评测设备可以使用待测笔画数据与纠错数据库中存储的错误笔画的笔画数据进行匹配,确定纠错数据库中是否存在与该待测笔画匹配的错误笔画;在存在与该待测笔画对应的目标错误笔画的情况下,确定候选笔画集合中与该目标错误笔画对应的候选笔画。上述纠错数据库中可以存储有儿童书写者常见的错误笔画(例如,纠错笔画数据库中的每个错误笔画对应的错误概率超过预设概率阈值,其中,错误概率表示儿童书写者将候选笔画错误书写为该错误笔画的概率)。
可选地,可以通过以下方式确定候选笔画集合中与该目标错误笔画对应的候选笔画:确定与该目标错误笔画对应的目标笔画索引,每个错误笔画对应的笔画索引用于指示与该错误笔画对应的候选笔画;将候选笔画集合中该目标笔画索引所指示的候选笔画,确定为与该目标错误笔画对应的候选笔画。
在确定候选笔画集合中与该目标错误笔画对应的候选笔画之后,评测设备还可以向终端设备输出与该目标错误笔画对应的候选笔画的笔画数据,以在该终端设备上显示出与该目标错误笔画对应的候选笔画。
儿童的书写习惯与成人不同,儿童书写通常是根据笔画进行图像模仿,即,通过图像模仿来书写笔画。在本实施例中,通过纠错数据库建立图像模仿和笔画的关系,从而能够更加适应于儿童在书写时采用图像模仿的书写习惯,增加了测评的准确性。
例如,对于标准字体“清”的部首“氵”,儿童在进行图像模仿时,容易写成如图5所示的形式。通过将儿童书写的笔画与纠删数据库中的错误笔画进行匹配,得到与错误笔画对应的目标笔画索引;然后,可以从候选笔画集合中查找到该目标笔画索引所指示的候选笔画,即,“氵”。
通过本实施例,针对儿童书写者,通过对儿童书写者书写时产生的待测笔画数据进行有针对性的笔画纠错,可以使最终得到的测评结果更能真实的反应儿童书写者的书写情况,提高了测评结果的准确性。
作为一种可选的实施例,对待测笔画数据进行特征提取,得到待测笔画的目标笔画向量包括:
S11,对待测笔画的初始点集进行预处理,得到目标点集,其中,待测笔画数据包括初始点集,目标点集为去除初始点集中待测笔画的平滑部分上的冗余点之后所得到的点集;
S12,对目标点集进行时序等距采样,得到目标采样结果,其中,目标采样结果包含多个采样点,待测笔画被多个采样点划分成至少一个目标笔段;
S13,根据目标采样结果对待测笔画进行编码,得到待测笔画的目标笔画向量。
待测笔画数据包括待测笔画的初始点集,该初始点集可以是采集到的该待测笔画的点阵,用于表示该待测笔画的书写轨迹。如图6所示,在进行特征提取时,可以首先对该初始点集进行预处理,例如,可以删除待测笔画平滑部分的冗余点,只保留转折部分的拐点,得到目标点集。
目标点集中的每个点的信息可以包括位置信息和时间信息,还可以包括:时间信息。评测设备可以对目标点集进行时序等距采样,如图6所示,可以按照目标点集中的所有点的时序关系,每隔一定距离采样一次,得到目标采样结果。目标采样结果中包含了采样得到的多个采样点,而多个采样点把待测笔画划分成多个笔段。
根据目标采样结果,评测设备可以对待测笔画进行编码,如图6所示。最终,笔画的信息可以用多维向量(向量的维度可以是离散采样的点数)来描述,每一维向量的码值为0-360°的角度,代表当前采样时间下采样笔段的角度。
通过本实施例,通过对描述待测笔画的初始点集进行预处理,删除待测笔画平滑部分的冗余点,对预处理得到的目标点集进行时序等距采样,并对采样结果进行编码,可以提高特征提取的准确性和便捷性。
作为一种可选的实施例,在对待测笔画数据进行特征提取,得到待测笔画的目标笔画向量之后,上述方法还包括:
S21,将目标笔画向量输入到目标时序分类器,得到目标时序分类器输出的目标分类结果,其中,目标时序分类器是使用候选笔画集合中的各个候选笔画的笔画向量对初始时序分类器进行训练得到的,目标时序分类器用于输出候选笔画集合中与输入的笔画向量匹配的候选笔画,各个候选笔画的笔画向量为各个候选笔画包含的至少一个笔段的角度值的时序序列。
在本实施例中,笔画特征的数据形式为时序序列,可以采用如图7所示的“序列-分类器”RNN(Convolutional Neural Networks,卷积神经网络)作为训练网络。在图7中,x1-x4对应于输入层,是RNN的输入,h1-h4对应于隐藏层,是RNN的隐状态,Y对应于输出层,是RNN的输出,而U、W和V是权值b,为偏置。训练得到的目标时序分类器为笔画分类网络,该目标时序分类器可以用于输出候选笔画集合中与输入的笔画向量匹配的候选笔画。
进行笔画分类网络训练的训练设备可以是上述评测设备,也可以其他设备。训练设备可以首先获取带有标注的笔画样本。笔画样本的标注信息用于表示该笔画样本为上述候选笔画集合中的那个候选笔画。例如,针对儿童,可以采集儿童书写笔迹中规范的样本进行笔画提取和标注,按照教育规范标准将笔画分为32类。
训练设备可以将标注笔画通过与前述类似的方式进行特征提取,得到提取的笔画特征,例如,候选笔画集合中的各个候选笔画的笔画向量,也就是,各个候选笔画包含的至少一个笔段的角度值的时序序列。训练设备还可以将提取的笔画特征送入到RNN训练,得到笔画分类模型(例如,model_1),即,目标时序分类器。
在进行模型训练时,每次输入的可以是单一候选笔画的笔画向量,也可以是候选笔画组合(例如,连笔)的向量。对应地,目标时序分类器输出的可以是单一的候选笔画,也可以是候选笔画的组合。
对于目标笔画向量,评测设备可以将目标笔画向量输入到上述目标时序分类器,得到目标时序分类器输出的目标分类结果,该目标分类结果用于指示候选笔画集合中与该待测笔画最匹配的候选笔画。
通过本实施例,通过使用序列分类器确定待测笔画的笔画类型,可以提高笔画类型识别的准确性。
作为一种可选的实施例,将目标笔画向量输入到目标时序分类器,得到目标时序分类器输出的目标分类结果包括:
S31,将目标笔画向量输入到目标时序分类器的编码器,得到编码器输出的目标上下文向量;
S32,将目标上下文向量输入到目标时序分类器的解码器,得到解码器输出的目标分类结果,其中,解码器用于采用注意力机制解码出候选笔画集合中与目标上下文向量匹配的候选笔画或候选笔画的组合。
在笔画书写(例如,儿童进行笔画书写)时,会出现连笔的情况,例如,“了”字本来是由“横撇”和“竖钩”两笔组成,但书写时会写成一笔。为了能检测出连笔,可以额外引入attention(即,注意力)机制训练一种可适用于连笔分割的encoder-decoder(编码-解码)笔画分类模型(目标时序分类器一种)。
在训练上述模型时,可以在单一笔画的基础上混合连笔笔画(例如,儿童书写时常见的连笔笔画),得到适用于分割连笔的笔画分类模型model_2,model_2可以对一组输入数据输出多个可能的笔画组合。对应地,候选笔画集合包含了单一笔画和笔画组合(即,连笔)。
目标时序分类器可以包括encoder结构(即,编码器)和decoder结构(即,解码器)解码器,其中,encoder结构先将输入数据编码成一个上下文向量c,例如,将输入的目标笔画向量编码成目标上下文向量。得到上下文向量的方式可以有多种,例如,把encoder的最后一个隐状态赋值给上下文向量,也可以选择对最后的隐状态做一个变换得到上下文向量,也可以选择对所有的隐状态做变换得到上下文向量,本实施例中对此不做限定。
例如,如图8所示,可以选择对所有的隐状态做变换得到上下文向量,通过对不同的隐状态赋予不同的系数值,可以保证每个时间输入不同的c是不同的。
编码器输出的目标上下文向量可以作为目标时序分类器的解码器的输入,由解码器采用注意力机制解码出候选笔画集合与目标上下文向量匹配的候选笔画,即,目标分类结果。例如,attention机制可以通过在decoder结构的每个时间输入不同的c来保证当前输入为当前输出所最需要的上下文信息。
通过本实施例,通过引入attention机制训练出可适用于连笔分割的笔画分类模型(encoder-decoder模型),可以提高笔画分类模型识别笔画的能力。
需要说明的是,可以根据场景需求选择model_1(即,使用单一笔画训练得到的模型)或model_2(即,使用单一笔画加上笔画组合训练得到的模型)作为笔画分类的工具,本实施例中对此不作限定。
作为一种可选的实施例,根据目标笔画向量,确定将待测笔画转变成目标候选笔画所需的目标代价值包括:
S41,根据目标笔画向量和候选笔画向量,确定将待测笔画通过目标操作转变成目标候选笔画所需的目标代价值,其中,候选笔画向量为目标候选笔画包含的至少一个笔段的角度值的时序序列,目标操作包括以下至少之一:缩放操作,增删操作,偏转操作,不同类型的目标操作对应于不同的代价值。
在进行代价计算时,待测笔画与标准笔画(例如,目标候选笔画)均为采样后的编码,即,目标笔画向量和候选笔画向量。在本实施例中,将损失函数的代价定义为待测笔画经过目标操作变成标准笔画的代价大小,目标操作可以为缩放、增删、偏转(如图9所示)中的至少一个,不同类型的目标操作对应于不同的代价值。这里,损失函数特指两个待比较笔画的差异程度,用于衡量书写是否美观。
根据书写习惯(例如,儿童的书写习惯),缩放的代价比较小,增删的代价比较大,可以定义增删一位编码的代价为第一系数(例如,0.8),缩放一位编码的代价为第二系数(例如,0.1),这里,第一系数大于第二系数。而偏转一位编码的代价可以根据偏转角度差计算得到,例如,偏转角度差越大,偏转一位编码的代价越大。
根据目标笔画向量和候选笔画向量,评测设备可以确定将待测笔画转变成目标候选笔画所需的目标操作,并基于执行目标操作所需的代价值,确定出目标代价值。
通过本实施例,基于缩放、增删以及偏转确定出待测笔画转变成标准笔画所需的代价值,可以提高代价值确定的便捷性和合理性。
作为一种可选的实施例,目标笔画向量为M位的向量,候选笔画向量为N位的向量,其中,M、N均为正整数。对应地,在本实施例中,根据目标笔画向量和候选笔画向量,确定将待测笔画通过目标操作转变成目标候选笔画所需的目标代价值包括:
S51,根据目标笔画向量,确定待测笔画的目标局部向量,其中,目标局部向量为M位的向量,目标局部向量的目标位置上的角度值为目标局部范围内的所有位置上的角度值的平均值,目标局部范围为目标笔画向量中包含目标位置的局部范围;
S52,执行以下迭代操作,得到目标代价值:将第一代价值、第二代价值和第三代价值中的最小值,确定为目标笔画向量的前i位向量和候选笔画向量的前j位向量之间的代价值,其中,目标笔画向量的前0位向量和候选笔画向量的前0位向量之间的代价值为0,目标笔画向量的前i位向量和候选笔画向量的前0位向量之间的代价值为i与目标系数的乘积,目标笔画向量的前0位向量和候选笔画向量的前j位向量之间的代价值为j与目标系数的乘积,i为大于或者等于0、且小于或者等于M的正整数,j为大于或者等于0、且小于或者等于N的正整数,目标代价值为目标笔画向量的前M位向量和候选笔画向量的前N位向量之间的代价值。
可选地,目标笔画向量可以是与候选笔画向量相同维度的向量,即M=N。
评测设备可以首先进行局部特征提取,提取出目标笔画向量中的每个位置上的局部特征,得到待测笔画的目标局部向量。局部特征提取是指:在目标局部向量(即,局部特征的M个编码)中,每个位置的编码反映的是该位置附近一定范围Q内(例如,取Q=M/5)所有相似笔段的整体特征,使得编码序列尽可能平滑,保留笔画的关键信息并剔除部分噪点。
例如,在进行局部特征提取时,对于目标笔画向量中的目标位置(其可以是目标笔画向量中的任一个位置),评测设备可以首先确定该目标位置附近的一定范围(即,目标局部范围)内的所有位置上的角度值,并将该范围内的所有位置上的角度值的平均值,确定为目标局部向量中该目标位置上的角度值,从而得到目标局部向量。
需要说明的是,目标局部范围所包含的位置的数量可以是固定的(例如,基于M确定的值),也可以是动态变化的(例如,基于该位置附近的位置上的角度值确定),本实施示例中对此不作限定。对于候选笔画的候选笔画向量,可以采用与前述类似的方式对其进行局部特征提取,得到候选局部特征,已经进行过说明的,在此不做赘述。
设code_c(即,目标笔画向量)和code_n(即,参考笔画向量)分别代表待测笔画与标准笔画的编码,R_c(即,目标局部向量)和R_n(即,候选局部向量)分别代表待测笔画与标准笔画的局部特征,D(i,j)代表待测笔画的前i位编码与标准笔画的前j位编码的代价大小。为了确定目标代价值,评测设备可以首先进行初始化D(i,j),其中,D(0,0)为0,D(i,0)为α*i,D(0,j)为α*j,α为目标系数(可以是前述第一系数),例如,0.8;然后,基于以下迭代方程进行迭代,得到待测笔画与标准笔画的最终损失函数,即,D(M,N):D(i,j)=min(D(i,j-1)+L(R_n[j]),D(i-1,j)+L(R_c[i]),D(i-1,j-1)+L(|code_c[i])-code_n[j]|)。
其中,D(i,j-1)+L(R_n[j])为第一代价值,D(i-1,j)+L(R_c[i])为第二代价值,D(i-1,j-1)+L(|code_c[i])-code_n[j]|)为第三代价值。这里,L(θ)为主观偏差,θ为角度偏差,L(θ)与θ之间非负相关。
通过本实施例,基于局部特征以及角度偏差映射进行损失函数的计算,可以提高损失函数计算的合理性。
作为一种可选的实施例,根据目标笔画向量,确定待测笔画的目标局部向量包括:
S61,确定与当前位置对应的前向角度值和与当前位置对应的后向角度值,其中,当前位置为目标笔画向量中的任一个位置,当当前位置为目标笔画向量中的第一个位置时,前向角度值为预设角度值,当当前位置不为第一个位置时,前向角度值为当前位置的上一个位置的角度值,当当前位置为目标笔画向量中的最后一个位置时,后向角度值为预设角度值,当当前位置不为最后一个位置时,前向角度值为当前位置的下一个位置的角度值,预设角度值大于或者等于目标笔画向量中的最大角度值;
S62,将前向角度值和后向角度值中较小的角度值添加到目标角度值集合中,其中,目标角度值集合包含当前位置的角度值;
S63,循环执行以下步骤,直到目标角度值集合中包含的角度值的数量等于目标数量:在前向角度值小于后向角度值的情况下,获取更新后的前向角度值,其中,当与前向角度值对应的前向位置为第一个位置时,更新后的前向角度值为目标角度值,当前向位置不为第一个位置时,更新后的前向角度值为前向位置的上一个位置的角度值;在前向角度值大于或者等于后向角度值的情况下,获取更新后的后向角度值,其中,当与后向角度值对应的后向位置为最后一个位置时,更新后的后向角度值为目标角度值,当后向位置不为最后一个位置时,更新后的后向角度值为后向位置的下一个位置的角度值;将更新后的前向角度值和更新后的后向角度值中较小的角度值添加到目标角度值集合中;
S64,将目标角度值集合中包含的所有角度值的平均值,确定为目标局部向量中的当前位置上的角度值。
目标笔画向量包含至少一个目标笔段的角度值的时序序列,原始序列用数组code表示,位置i处(即,当前位置)的码值为code[i](即,当前位置的角度值),其中,i=0,1,2,…,M-1。对于i位置,设置code[i]的前向码值(即,前向角度值)为code_front,后向码值(即,后向角度值)为code_back。初始时,设定code_front=code_back=code[i]。用一个空的集合Ri(即,目标角度值集合)储存结果,将code[i]作为一次结果保存到集合Ri中(Ri中为位置i的码值),此时,目标角度值集合包含当前位置的角度值。
在进行局部特征提取时,提取i位置的局部特征的方式可以包括以下步骤:
步骤1,将code_front、code_back分别向前、向后各扩散一次。
将code_front向前扩散一次,扩散后的code_front为:code_front=code[i-1]。将code_back向后扩散一次,扩散后的code_back为:code_back=code[i+1]。
当扩散至i=0或i=M-1的数组边界时,对应地将code_front或code_back的码值配置为预设角度值,该预设角度值大于或者等于数组中的最大角度值,例如,预设角度值可以为+∞。
步骤2,比较code_front与code_back的大小,将较小的码值作为一次结果保存到集合Ri中;如果code_front<code_back,code_front向前扩散一次;反之,则code_back向后扩散一次。
步骤3,重复步骤2,直至集合Ri中的元素数量达到Q(即,目标数量),计算Ri的均值Rmi,Rmi即为位置i处的局部特征。
可选地,也可以直接将目标笔画向量中以位置i为起始位置、以位置(Q+i-1)为结束位置的局部范围确定目标局部范围。如果位置(Q+i-1)超出边界,可以由位置i向前扩散进行补齐。相比于此方式,通过本实施例,通过基于前向码值和后向码值的大小来确定某一位置对应的局部范围,可以提高局部特征提取的合理性。
作为一种可选的实施例,在执行以下迭代操作,得到目标代价值的过程中,上述方法还包括:
S71,确定与目标角度值对应的目标映射值,其中,目标角度值为第一角度值、第二角度值和第三角度值中的任一个,在目标角度值小于第一角度值阈值时,目标映射值为目标角度值与第一系数的乘积,在目标角度值大于或者等于第一角度值阈值、且小于第二角度值阈值时,目标映射值为目标角度值与第二角度值阈值的差值与第二系数的乘积加上目标值,在目标角度值大于或者等于第二角度值阈值时,目标映射值为目标值,第一系数小于第二系数。
将角度偏差转换为对应的映射值(可以用于表征主观偏差)是为了表征角度偏差对于笔画判错的影响。角度偏差和对应的映射值之间的关系可以有多种。例如,线性关系或者其他正相关关系。
在书写中,对某一笔画书写的偏差角度的容忍度是有限的,如图10所示,小角度的偏差(例如,轨迹1)主观认为是正确的,过大角度的偏差(例如,轨迹2)主观认为是书写错误的。基于此,可以将主观偏差与角度偏差的映射关系配置为非线性关系,以体现小角度不敏感、大角度敏感、且角度超过一定范围恒定判错的关系。
可以将角度偏差按照书写主观偏差划分为以下三个区间:近似相等区间,(0°,第一角度值阈值),例如,(0°,25°);敏感区间,[第一角度值阈值,第二角度值阈值),例如,[25°,90°);恒定判错区间,[第二角度值阈值,+∞),例如,[90°,+∞),并建立如下角度偏差θ与主观偏差L(θ)的映射关系:
在θ小于第一角度值阈值时,L(θ)为θ与第一系数的乘积,例如,L(θ)=0.1θ/25,0≤θ<25;
在θ大于或者等于第一角度值阈值、且小于第二角度值阈值时,L(θ)为θ与第二角度值阈值的差值与第二系数的乘积加上目标值,例如,L(θ)=0.9/25(θ-90)+1.0,25≤θ<90;
在θ大于或者等于第二角度值阈值时,L(θ)为目标值,例如,L(θ)=1.0,θ≥90。
对于上述第一角度值、第二角度值和第三角度值中的任一个,即,目标角度值,可以将其作为θ,通过求解L(θ)得到对应的目标映射值。
通过本实施例,通过配置角度偏差和主观偏差之间具有小角度不敏感、大角度敏感、且角度超过一定范围恒定判错的关系,可以符合基于视觉信息进行笔画判错规律,提高笔画片错的合理性。
作为一种可选的实施例,根据目标代价值,确定待测笔画的评测结果包括:
S81,在目标代价值小于或者等于目标代价阈值的情况下,确定待测笔画的评测结果为第三评测结果,其中,第三评测结果用于指示待测笔画书写规范;
S82,在目标代价值大于目标代价阈值的情况下,确定待测笔画的评测结果为第四评测结果,其中,第四评测结果用于指示待测笔画书写不规范。
根据目标代价值,评测设备可以确定待测笔画的评测结果,即,待测笔画的笔画对错的评测结果。评测设备可以获取预先配置的代价值阈值,即,目标代价阈值,不同笔画的代价值阈值可以是相同的,也可以是不同的,例如,为简单的笔画配置较小的代价值阈值,为复杂的笔画配置较大的代价值阈值。
评测设备可以比较目标代价值和目标代价值阈值,如果目标代价值小于或者等于目标代价阈值,可以确定待测笔画书写规范,生成第三评测结果,该第三评测结果用于指示待测笔画书写规范;如果目标代价值大于目标代价阈值,可以确定待测笔画书写不规范,生成第四评测结果,该第四评测结果用于指示待测笔画书写不规范。
通过本实施例,基于配置的代价值阈值对待测笔画的笔画对错进行评测,可以提供笔画对错评测的便捷性。
作为一种可选的实施例,在对待测笔画数据进行特征提取,得到待测笔画的目标笔画向量之后,上述方法还包括:
S91,在根据目标笔画向量确定出候选笔画集合中不存在与待测笔画匹配的候选笔画的情况下,确定待测笔画的评测结果为第五评测结果,其中,第五评测结果用于指示待测笔画书写错误。
如果根据目标笔画向量确定出候选笔画集合中不存在与待测笔画匹配的候选笔画,那么,可以确定该待测笔画的书写是错误的。评测设备可以确定待测笔画的评测结果为第五评测结果,该第五评测结果用于指示待测笔画书写错误。此外,对于书写错误的笔画,还可以输出书写错误的评测细节。
待测字体可以包含多个待测笔画,如果对其中的一个待测笔画的笔画对错的评测结果为该待测笔画书写错误。此时,可以继续执行其他待测笔画的笔画对错的评测,也可以不再进行其他待测笔画的笔画对错的评测,还可以不再对该待测字体进行其他评测维度的评测,本实施例中对此不作限定。
通过本实施例,在候选笔画集合中不存在与待测笔画匹配的候选笔画时,输出待测笔画书写错误的评测结果,可以提高笔画对错评测的合理性。
下面结合可选示例对与笔画对错的评测过程进行解释说明。在本示例中,针对儿童的书写习惯,提出了新的笔画判错算法,可以大大提高笔画对错评测的准确率。如图11所示,本示例中的笔画对错的评测方法包括以下步骤:
步骤S1102,开始;
步骤S1104,待测笔画数据输入;
评测设备可以接收输入的待测笔画的待测笔画数据,该待测笔画数据可以是通过智能笔获取到的。
步骤S1106,对待测笔画数据进行预处理以及特征提取,得到待测笔画的笔画特征;
步骤S1108,将待测笔画的笔画特征输入到笔画分类网络,将分类结果与标准笔画对比,如果不相同,执行步骤S1110,如果相同,执行步骤S1112;
步骤S1110,确定笔画书写错误;
步骤S1112,计算该待测笔画的损失函数,得到与该待测笔画对应的代价值;
步骤S1114,将得到的代价值与代价值阈值进行比较,如果小于阈值,执行步骤S1116,否则,执行步骤S1118;
步骤S1116,确定笔画书写正确;
步骤S1118,确定笔画书写不规范;
步骤S1120,结束。
通过本示例,在判断笔画对错时采用了时序采样编码提取特征,并结合机器学习进行分类,引入了更贴合书写习惯的损失函数,可以提高笔画判断的准确率。
作为一种可选的实施例,在实时获取待测字体的待测字体数据之后,上述方法还包括:
S101,通过多个评测维度分别对待测字体进行评测,得到待测字体的目标评测结果,其中,多个评测维度包括:笔画数量,笔画位置,笔画长短,待测字体的评测结果包括待测笔画的评测结果和目标评测结果。
相关技术中,对待测字体进行评测采用的评测角度包括:笔画数量,笔画对错和间架结构。上述评测方式评测维度单一,很难全面的反映书写者在书写过程中出现的问题。尤其是书写者为儿童时,其出现的错误方式可能有很多种,仅仅三个维度无法给予书写者正确的评测指导。
可选地,在本实施例中,除了笔画对错以外,还可以采用多个评测维度对待测字体进行评测。多个评测维度可以包括但不限于:笔画对错,笔画数量,笔画位置,笔画长短。笔画对错的评测方式可以是前述实施例中所提供的笔画对错的评测方式,也可以是其他评测方式,例如,通过计算每个手写笔画的点集中每个点到标准笔画的最短距离和作为损失函数,当损失函数小于一定阈值时则认为笔画书写正确。
评测设备可以分别对待测字体的笔画对错、笔画数量、笔画位置和笔画长短等各个评测维度进行评测,得到每个评测维度的评测结果,从而得到该待测字体的总评测结果,其中,对于笔画对错的评测结果可以是上述待测笔画的评测结果,对于其他维度的评测结果为目标评测结果。
通过本实施例,采用多个评测维度对待测字体进行评测,可以提高待测字体评测的准确性和合理性。
作为一种可选的实施例,多个评测维度还包括字形相似度。在进行字形相似度评测时,输入的笔触数据为(x,y)的点的集合,在进行预处理阶段对每个点单独计算与它的上一点、下一点这三点张成的角度Ψ,将Ψ作为一维新的特征,这样每个点都可以用三维空间的矢量(x,y,Ψ)描述。对应地,待测笔画数据可以包含待测笔画连续的多个输入点中的各个输入点的位置信息(例如,x,y)和张角信息(例如,Ψ)。
可选地,在本实施例中,通过多个评测维度分别对待测字体进行评测,得到待测字体的目标评测结果包括:
S111,将各个输入点与参考字体中的各个参考点之间的最小距离的和,确定为待测字体与参考字体之间的目标字形相似度,其中,目标评测结果包括目标字形相似度。
某一点到特定点云的距离可以定义为该点与特定点云中所有点的最小距离(例如,最小欧氏距离)。引申到点云1到点云2的距离可以定义为:点云1中所有点到点云2的距离之和。这个点云距离可以作为衡量两个字形相似度的标准。该维度可以在书写不规范的情况下量化书写的完成程度。
评测设备可以分别计算待测字体的各个输入点与参考字体中的各个参考点之间的最小距离,最小距离可以是最小欧式距离。在计算最小距离时,可以基于各个输入点的位置信息与各个参考点的位置信息进行计算(此时,待测笔画数据可以仅包含各个输入点的位置信息,而不包含各个输入点的张角信息),还可以基于各个输入点的位置信息和张角信息与各个参考点的位置信息和张角信息进行计算,本实施例中对此不作限定。
评测设备可将各个输入点与参考字体中的各个参考点之间的最小距离之和,确定为待测字体与参考字体之间的字形相似度,即,目标字形相似度。目标评测结果可以包括目标字形相似度。可选地,评测设备可以进一步比较目标字形相似度和目标相似度阈值,得到字形相似度的评测结果,字形相似度的评测结果用于指示待测笔画的书写的完成程度。
如果目标字形相似度大于或者等于目标相似度阈值,得到的字形相似度的评测结果用于指示待测字体书写的完成程度为第一完成程度,否则,得到的字形相似度的评测结果用于指示待测字体书写的完成程度为第二完成程度,其中,第一完成程度高于第二完成程度。
通过本实施例,基于待测字体中的各个输入点与参考字体(即,标准字体)中的各个参考点之间的距离确定待测字体与参考字体的字形相似度,可以提高字形相似度计算的便捷性。
作为一种可选的实施例,多个评测维度还包括笔画的交接关系(相交逻辑)。对应地,待测笔画数据包含待测笔画连续的多个输入点的位置信息,待测字体包含多个待测笔画。通过交接关系这一评测维度,可以更精细地判断一些无法辨认的书写细节错误,如“田”字和“由”字。
可选地,在本实施例中,通过多个评测维度分别对待测字体进行评测,得到待测字体的目标评测结果包括:
S121,根据多个输入点中时序上相邻的输入点的位置信息,确定多个待测笔画中的目标相交笔画;
S122,根据目标相交笔画和参考字体中的参考相交笔画,确定待测字体的第一评测结果,其中,第一评测结果用于指示多个待测笔画的交接关系是否书写规范,目标评测结果包括第一评测结果。
对于任意两个待测笔画,可以根据每个待测笔画的多个输入点中时序上相邻的输入点的位置信息,确定这两个待测笔画的交接关系。例如,对于一个待测笔画,可以将输入的每个笔画的点的集合,转换成所有点两两之间组成线段的集合,然后,通过计算叉积的方式判断线段之间是否相交,进而判断两个笔画是否相交。
根据目标相交笔画和参考字体中的参考相交笔画,评测设备可以确定待测字体的相交逻辑的评测结果,即,第一评测结果,该第一评测结果用于指示多个待测笔画的交接关系是否书写规范。例如,如果目标相交笔画与参考相交笔画的交接关系一致,可以确定待测字体中的多个待测笔画的交接关系书写规范,否则,可以确定待测字体中的多个待测笔画的交接关系书写不规范。
通过本实施例,通过待测笔画的相交逻辑这一维度对待测字体进行评测,可以更精细地判断一些书写细节错误,提高待测字体评测的合理性。
作为一种可选的实施例,多个评测维度还包括字形长宽比。对应地,通过多个评测维度分别对待测字体进行评测,得到待测字体的目标评测结果包括:
S131,根据待测字体的字形边界,确定出待测字体的目标长宽比;
S132,根据目标长宽比和参考字体的参考长宽比,确定待测字体的第二评测结果,其中,第二评测结果用于指示待测字体的长宽比是否书写规范,目标评测结果包括第二评测结果。
评测设备可以统计输入的待测字体的字形边界,计算边界的长宽比,并基于目标长宽比和参考字体的长宽比(即,参考长宽比),确定待测字体的长宽比的评测结果,即,第二评测结果,该第二评测结果用于指示待测字体的长宽比是否书写规范。可选地,如果与标准字形(即,参考字体的字形)的长宽比差距过大,可以生成用于提示待测字体书写不美观的提示信息。
例如,评测设备可以计算目标长宽比和参考长宽比的差值与参考长宽比的比值,得到目标比值。如果目标比值小于或者等于目标比例阈值,确定待测字体的长宽比书写规范,否则,确定待测字体的长宽比书写不规范,从而得到第二评测结果。
通过本实施例,通过待测笔画的字形长宽比这一维度对待测字体进行评测,可以更精细地对一些结构(例如,左右结构、上下结构等)的字体进行评测,提高待测字体评测的合理性。
作为一种可选的实施例,多个评测维度还包括行笔方向,待测笔画数据包含待测笔画连续的多个输入点的时序信息(时间是判断行笔方向的一个依据)。行笔方向这一评测维度可以纠正儿童对于一些笔画的错误书写习惯。对应地,通过多个评测维度分别对待测字体进行评测,得到待测字体的目标评测结果包括:
S141,根据多个输入点的时序信息,确定待测笔画的目标行笔方向;
S142,根据目标行笔方向和目标候选笔画的行笔方向,确定待测字体的第六评测结果,其中,第六评测结果用于指示待测笔画的行笔方向是否书写规范,目标评测结果包括第六评测结果。
利用待测笔画中的多个输入点的时序信息,评测设备可以确定待测笔画的目标行笔方向。例如,可以利用智能笔传输数据的时序信息判断行笔方向,得到待测笔画的行笔方向。
评测设备可以进一步核对目标行笔方向和目标候选笔画的行笔方向,确定两个行笔方向是否一致(一致可以是完全一致或者基本一致),从而得到确定待测笔画的行笔方向的评测结果,即,待测字体的第六评测结果,该第六评测结果用于指示待测笔画的行笔方向是否书写规范。
如果目标行笔方向与目标候选笔画的行笔方向一致,例如,两个行笔方向的差值小于或者等于目标差值,则两个行笔方向是一致的,否则,两个行笔方向是不一致的。
通过本实施例,通过待测笔画的行笔方向这一维度对待测字体进行评测,可以更精细地对一些待测字体的书写方式进行评测,提高待测字体评测的合理性。
作为一种可选的实施例,待测字体包含多个待测笔画,多个评测维度还包括笔画顺序。对应地,通过多个评测维度分别对待测字体进行评测,得到待测字体的目标评测结果包括:
S151,确定多个待测笔画中与参考字体中的第一笔画最相似的第二笔画,其中,第一笔画为参考字体中的任一个笔画;
S152,根据第二笔画在待测字体的书写过程中的书写顺序和第一笔画在参考字体中对应的笔画顺序,确定待测字体的第七评测结果,其中,第七评测结果用于指示多个待测笔画中书写正确、且笔顺错误的笔画,目标评测结果包括第七评测结果。
基于笔画顺序这一评测维度,可以发现书写者在书写时书写正确但笔顺错误的问题,并予以纠正。在判断笔画顺序时,不再逐个对比,而是打乱顺序用匹配的方式优先搜索最相似笔画进行对错评判,并将该最小值对应的笔画序列作为最终结果序列。可选地,笔画顺序的评测过程可以包括以下步骤:
步骤1,定义笔画差异函数S(i,j)。
S(i,j)代表待测字体(总计M笔)的第i笔与标准字体(即,参考字体,总计N笔)的第j笔之间的差异度。当两个笔画的分类结果相同时,差异度可以为笔画间损失函数、笔画长度比例、笔画位置比例三者的加权和。当分类结果不同时,差异度为+∞。初始化j=1,并用一个空集合C储存匹配结果。
步骤2,遍历待测字体中所有笔画,计算S(i,j)(1≤i≤M),将S(i,j)的最小者与阈值对比,若小于阈值,则认为对应待测字体的第i笔与标准字体的第j笔相匹配,将有序对(i,j)作为结果存入集合C;若大于阈值,则说明针对该标准字体的第j笔存在书写错误或漏写。
步骤3,若j<N,令j=j+1,重复执行步骤2,直到j=N。
最终的集合C即代表了笔画顺序信息的结果。基于集合C中的各个有序对(i,j),可以对待测字体的笔画顺序、笔画错误或遗漏等进行判定:
如果集合C中每一个j都找到对应的i值,则标准字体中没有笔画书写错误或漏写;
如果集合C中存在没找到对应的i值的j值,则标准字体中该笔画书写错误或漏写;
如果集合C中不存在乱序的i值,则待测字体中的待测笔画的笔画顺序,即,第二笔画在待测字体的书写过程中的书写顺序与第一笔画在参考字体中对应的笔画顺序一致;
如果集合C中存在乱序的i值,则待测字体中该笔画的笔画顺序错误,即,第二笔画在待测字体的书写过程中的书写顺序与第一笔画在参考字体中对应的笔画顺序不一致,确定第二笔画为多个待测笔画中书写正确、且笔顺错误的笔画。
通过本实施例,基于标准笔画中的标准笔画的笔画顺序查找依次查找匹配的待测笔画,进而确定待测笔画的笔画顺序是否正确,可以提高笔画顺序评测的准确性和合理性。
作为一种可选的实施例,在通过多个评测维度分别对待测字体进行评测之前,上述方法还包括:
S161,对图像形式的待测字体进行光学字符识别,得到目标识别结果,其中,目标识别结果用于指示待测字体与参考字体是否一致。
为了辅助分辨笔画相同但结构有微小差异的字体(如“人”字和“八”字),并纠正书写者在书写词语或句子时的别字问题,可以引入OCR(Optical Character Recognition,光学字符识别)模块来辅助评测,对于初学写字的儿童等有更精确的指导意义。
在对待测字体进行评测之前(也可以在对待测字体进行评测之后),可以使用OCR模块来辅助评测,例如,可以将待测字体以图像形式输入到OCR模块中,由OCR模块对待测字体进行光学字符识别,得到目标识别结果,该目标识别结果用于指示待测字体与参考字体是否一致。
如果待测字体与参考字体是否一致,则不处理;如果不一致,则可以向书写者发出提示信息,以提醒书写者注意笔画的间架结构需要调整。
例如,“人”和“八”在笔画组成上都是一撇一捺,当标准字是“人”时,书写待测字体“八”时是没有任何笔画错误的,这种情况下,需要OCR提示字形整体的间架结构。
通过本实施例,通过OCR模块来对待测字体进行辅助评测,可以提高待测字体评测的准确性。
作为一种可选的实施例,对图像形式的待测字体进行光学字符识别,得到目标识别结果包括:
S171,将待测字体以图像形式输入到目标分类模型,得到目标分类模型输出的目标分类结果,其中,目标分类模型用于对输入图像进行光学字符识别,输出目标字体集合中与输入图像匹配的字体;
S172,根据目标分类结果所指示的字体和参考字体,确定出目标识别结果。
对待测字体进行光学字符识别可以是使用目标分类模型实现的,该目标分类模型可以用于对输入图像进行光学字符识别,输出目标字体集合中与输入图像匹配的字体。可选地,目标分类模型可以为CNN字体分类网络。该CNN字体分类网络可以以resnet-18(如图12所示)为基础训练,训练所使用的数据集可以是CASIA-HWDB(脱机手写样本数据库)。为了适于儿童使用,还可以使用幼儿小学常用字的书写数据进行强化训练。
在进行OCR辅助评测时,可以以图像形式将待测字体送入CNN字体分类网络进行推理,判断分类结果(即,目标分类结果所指示的字体)是否与标准字体一致,从而得到目标识别结果。
通过本实施例,通过使用分类模型进行OCR辅助评测,可以提高待测字体评测的准确性。
下面结合可选示例对本申请实施例中的书写信息的评测方法进行解释说明。在本示例中,针对儿童的书写习惯,重新设计了字体的评测维度,分为以下八个维度:整体字形相似度,笔画数量,笔画对错,笔画位置,笔画长短,相交逻辑,字形长宽比,行笔方向,笔画顺序。
本示例中的书写信息的评测方法是一种基于智能笔手写字体的评测方式,如图13所示,本可选示例中的书写信息的评测方法的流程可以包括以下步骤:
步骤S1302,开始。
步骤S1304,待测字体数据输入;
步骤S1306,笔画数据切割;
步骤S1308,计算笔画数量是否与标准字体一致,如果否,执行步骤S1310,如果是,执行步骤S1312;
步骤S1310,输出具体错误的评测细节;
步骤S1312,计算笔画匹配结果C;
步骤S1314,统计C中标准字体是否存在未匹配笔画,如果是,执行步骤S1310,否则,执行步骤S1316;
步骤S1316,统计C中笔画顺序是否正确,如果是,执行步骤S1318,否则,执行步骤S1310;
步骤S1318,统计所有笔画的行笔方向是否正确,如果是,执行步骤S1320,否则,执行步骤S1310;
步骤S1320,计算并判断笔画位置、长短、交接关系、长宽比是否规范,如果是,执行步骤S1322,否则,执行步骤S1310;
步骤S1322,确定待测字体书写规范;
步骤S1324,结束。
此外,可以在待测字体书写不规范的情况下,通过计算字形相似度量化书写的完成程度;在对待测字体进行评测之前或者之后,可以使用OCR辅助模块辅助对待测字体进行评测。
最终评测时,本发明根据严重程度将书写错误划分为四个等级:分别为:
a)书写规范;
b)笔画笔顺均正确,但是部分笔画的长短、位置、交接逻辑、长宽比等细节没有做好;
c)整体字形正确,但书写笔顺出现错误或行笔方向出现错误;
d)字形书写出现错误,包括:笔画书写错误或不规范、笔画数量错误。
通过本示例,针对儿童的书写习惯将评测维度扩展到八个,引入了OCR辅助模块,可以更有效地代替人工进行评测纠错,提高字体书写评测的准确性,从而帮助儿童学习书写。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM(Read-Only Memory,只读存储器)/RAM(Random Access Memory,随机存取存储器)、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的另一个方面,还提供了一种用于实施上述书写信息的评测方法的书写信息的评测装置。图14是根据本申请实施例的一种可选的书写信息的评测装置的结构框图,如图14所示,该装置可以包括:
第一获取单元1402,用于实时获取待测字体的待测字体数据,其中,待测字体为目标对象所书写的与参考字体对应的字体,待测字体数据包含待测字体中的待测笔画的待测笔画数据;
提取单元1404,与第一获取单元1402相连,用于对待测笔画数据进行特征提取,得到待测笔画的目标笔画向量,其中,待测笔画包含的至少一个目标笔段,目标笔画向量包含至少一个目标笔段的角度值的时序序列;
第一确定单元1406,与提取单元1404相连,用于在确定出候选笔画集合中存在与待测笔画匹配的目标候选笔画的情况下,根据目标笔画向量,确定将待测笔画转变成目标候选笔画所需的目标代价值;
第二确定单元1408,与第一确定单元1406相连,用于根据目标代价值,确定待测笔画的评测结果,其中,待测笔画的评测结果用于指示待测笔画是否书写规范。
需要说明的是,该实施例中的第一获取单元1402可以用于执行上述步骤S302,该实施例中的提取单元1404可以用于执行上述步骤S304,该实施例中的第一确定单元1406可以用于执行上述步骤S306,该实施例中的第二确定单元1408可以用于执行上述步骤S308。
通过上述模块,实时获取待测字体的待测字体数据,其中,待测字体为目标对象所书写的与参考字体对应的字体,待测字体数据包含待测字体中的待测笔画的待测笔画数据;对待测笔画数据进行特征提取,得到待测笔画的目标笔画向量,其中,待测笔画包含的至少一个目标笔段,目标笔画向量包含至少一个目标笔段的角度值的时序序列;在确定出候选笔画集合中存在与待测笔画匹配的目标候选笔画的情况下,根据目标笔画向量,确定将待测笔画转变成目标候选笔画所需的目标代价值;根据目标代价值,确定待测笔画的评测结果,其中,待测笔画的评测结果用于指示待测笔画是否书写规范,解决了相关技术中的书写信息的评测方式存在由于评测维度单一导致的笔画对错易被误判的问题,提高了笔画对错评测的的合理性。
作为一种可选的实施例,提取单元1404包括:
预处理模块,用于对待测笔画的初始点集进行预处理,得到目标点集,其中,待测笔画数据包括初始点集,目标点集为去除初始点集中待测笔画的平滑部分上的冗余点之后所得到的点集;
采样模块,用于对目标点集进行时序等距采样,得到目标采样结果,其中,目标采样结果包含多个采样点,待测笔画被多个采样点划分成至少一个目标笔段;
编码模块,用于根据目标采样结果对待测笔画进行编码,得到待测笔画的目标笔画向量。
作为一种可选的实施例,上述装置还包括:
输入单元,用于在对待测笔画数据进行特征提取,得到待测笔画的目标笔画向量之后,将目标笔画向量输入到目标时序分类器,得到目标时序分类器输出的目标分类结果,其中,目标时序分类器是使用候选笔画集合中的各个候选笔画的笔画向量对初始时序分类器进行训练得到的,目标时序分类器用于输出候选笔画集合中与输入的笔画向量匹配的候选笔画,各个候选笔画的笔画向量为各个候选笔画包含的至少一个笔段的角度值的时序序列。
作为一种可选的实施例,输入单元包括:
第一输入模块,用于将目标笔画向量输入到目标时序分类器的编码器,得到编码器输出的目标上下文向量;
第二输入模块,用于将目标上下文向量输入到目标时序分类器的解码器,得到解码器输出的目标分类结果,其中,解码器用于采用注意力机制解码出候选笔画集合中与目标上下文向量匹配的候选笔画或候选笔画的组合。
作为一种可选的实施例,第一确定单元1406包括:
第一确定模块,用于根据目标笔画向量和候选笔画向量,确定将待测笔画通过目标操作转变成目标候选笔画所需的目标代价值,其中,候选笔画向量为目标候选笔画包含的至少一个笔段的角度值的时序序列,目标操作包括以下至少之一:缩放操作,增删操作,偏转操作,不同类型的目标操作对应于不同的代价值。
作为一种可选的实施例,目标笔画向量为M位的向量,候选笔画向量为N位的向量,其中,M、N均为正整数;第一确定模块包括:
确定子模块,用于根据目标笔画向量,确定待测笔画的目标局部向量,其中,目标局部向量为M位的向量,目标局部向量的目标位置上的角度值为目标局部范围内的所有位置上的角度值的平均值,目标局部范围为目标笔画向量中包含目标位置的局部范围;
执行子模块,用于执行以下迭代操作,得到目标代价值:将第一代价值、第二代价值和第三代价值中的最小值,确定为目标笔画向量的前i位向量和候选笔画向量的前j位向量之间的代价值,其中,目标笔画向量的前0位向量和候选笔画向量的前0位向量之间的代价值为0,目标笔画向量的前i位向量和候选笔画向量的前0位向量之间的代价值为i与目标系数的乘积,目标笔画向量的前0位向量和候选笔画向量的前j位向量之间的代价值为j与目标系数的乘积,i为大于或者等于0、且小于或者等于M的正整数,j为大于或者等于0、且小于或者等于N的正整数,目标代价值为目标笔画向量的前M位向量和候选笔画向量的前N位向量之间的代价值;
其中,第一代价值为目标笔画向量的前i位向量和候选笔画向量的前(j-1)位向量的代价值和与第一角度值对应的映射值的和,第二代价值为目标笔画向量的前(i-1)位向量和候选笔画向量的前j位向量的代价值和与第二角度值对应的映射值的和,第三代价值为目标笔画向量的前(i-1)位向量和候选笔画向量的前(j-1)位向量的代价值和与第三角度值对应的映射值的和,第一角度值为候选局部向量的第j位上的角度值,第二角度值为目标局部向量的第i位上的角度值,第三角度值为目标笔画向量的第i位上的角度值与候选笔画向量的第j位上的角度值之差的绝对值,候选局部向量的候选位置上的角度值为候选局部范围内的所有位置上的角度值的平均值,候选局部范围为候选笔画向量中包含候选位置的局部范围,与一个角度值对应的映射值与一个角度值的大小非负相关。
作为一种可选的实施例,确定子模块包括:
第一确定子单元,用于确定与当前位置对应的前向角度值和与当前位置对应的后向角度值,其中,当前位置为目标笔画向量中的任一个位置,当当前位置为目标笔画向量中的第一个位置时,前向角度值为预设角度值,当当前位置不为第一个位置时,前向角度值为当前位置的上一个位置的角度值,当当前位置为目标笔画向量中的最后一个位置时,后向角度值为预设角度值,当当前位置不为最后一个位置时,前向角度值为当前位置的下一个位置的角度值,预设角度值大于或者等于目标笔画向量中的最大角度值;
添加子单元,用于将前向角度值和后向角度值中较小的角度值添加到目标角度值集合中,其中,目标角度值集合包含当前位置的角度值;
执行子单元,用于将目标角度值集合中包含的所有角度值的平均值,确定为目标局部向量中的当前位置上的角度值;
第二确定子单元,用于将目标角度值集合中包含的所有角度值的平均值,确定为目标局部向量中的当前位置上的角度值。
作为一种可选的实施例,上述装置还包括:
第三确定单元,用于在执行以下迭代操作,得到目标代价值的过程中,确定与目标角度值对应的目标映射值,其中,目标角度值为第一角度值、第二角度值和第三角度值中的任一个,在目标角度值小于第一角度值阈值时,目标映射值为目标角度值与第一系数的乘积,在目标角度值大于或者等于第一角度值阈值、且小于第二角度值阈值时,目标映射值为目标角度值与第二角度值阈值的差值与第二系数的乘积加上目标值,在目标角度值大于或者等于第二角度值阈值时,目标映射值为目标值,第一系数小于第二系数。
作为一种可选的实施例,第二确定单元1408包括:
第二确定模块,用于在目标代价值小于或者等于目标代价阈值的情况下,确定待测笔画的评测结果为第三评测结果,其中,第三评测结果用于指示待测笔画书写规范;
第三确定模块,用于在目标代价值大于目标代价阈值的情况下,确定待测笔画的评测结果为第四评测结果,其中,第四评测结果用于指示待测笔画书写不规范。
作为一种可选的实施例,上述装置还包括:
第四确定单元,用于在对待测笔画数据进行特征提取,得到待测笔画的目标笔画向量之后,在根据目标笔画向量确定出候选笔画集合中不存在与待测笔画匹配的候选笔画的情况下,确定待测笔画的评测结果为第五评测结果,其中,第五评测结果用于指示待测笔画书写错误。
作为一种可选的实施例,上述装置还包括:
评测单元,用于在实时获取待测字体的待测字体数据之后,通过多个评测维度分别对待测字体进行评测,得到待测字体的目标评测结果,其中,多个评测维度包括:笔画数量,笔画位置,笔画长短,待测字体的评测结果包括待测笔画的评测结果和目标评测结果。
作为一种可选的实施例,多个评测维度还包括字形相似度,待测笔画数据包含待测笔画连续的多个输入点中的各个输入点的位置信息和张角信息,张角信息用于表示各个输入点的上一个输入点、各个输入点以及各个输入点的下一个输入点所张成的角度;评测单元包括:
第四确定模块,用于将各个输入点与参考字体中的各个参考点之间的最小距离的和,确定为待测字体与参考字体之间的目标字形相似度,其中,目标评测结果包括目标字形相似度。
作为一种可选的实施例,多个评测维度还包括笔画的交接关系,待测笔画数据包含待测笔画连续的多个输入点的位置信息,待测字体包含多个待测笔画;评测单元包括:
第五确定模块,用于根据多个输入点中时序上相邻的输入点的位置信息,确定多个待测笔画中的目标相交笔画;
第六确定模块,用于根据目标相交笔画和参考字体中的参考相交笔画,确定待测字体的第一评测结果,其中,第一评测结果用于指示多个待测笔画的交接关系是否书写规范,目标评测结果包括第一评测结果。
作为一种可选的实施例,多个评测维度还包括字形长宽比;评测单元包括:
第七确定模块,用于根据待测字体的字形边界,确定出待测字体的目标长宽比;
第八确定模块,用于根据目标长宽比和参考字体的参考长宽比,确定待测字体的第二评测结果,其中,第二评测结果用于指示待测字体的长宽比是否书写规范,目标评测结果包括第二评测结果。
作为一种可选的实施例,多个评测维度还包括行笔方向,待测笔画数据包含待测笔画连续的多个输入点的时序信息;评测单元包括:
第九确定模块,用于根据多个输入点的时序信息,确定待测笔画的目标行笔方向;
第十确定模块,用于根据目标行笔方向和目标候选笔画的行笔方向,确定待测字体的第六评测结果,其中,第六评测结果用于指示待测笔画的行笔方向是否书写规范,目标评测结果包括第六评测结果。
作为一种可选的实施例,多个评测维度还包括笔画顺序,待测字体包含多个待测笔画;评测单元包括:
第十一确定模块,用于确定多个待测笔画中与参考字体中的第一笔画最相似的第二笔画,其中,第一笔画为参考字体中的任一个笔画;
第十二确定模块,用于根据第二笔画在待测字体的书写过程中的书写顺序和第一笔画在参考字体中对应的笔画顺序,确定待测字体的第七评测结果,其中,第七评测结果用于指示多个待测笔画中书写正确、且笔顺错误的笔画,目标评测结果包括第七评测结果。
作为一种可选的实施例,上述装置还包括:
识别单元,用于在通过多个评测维度分别对待测字体进行评测之前,对图像形式的待测字体进行光学字符识别,得到目标识别结果,其中,目标识别结果用于指示待测字体与参考字体是否一致。
作为一种可选的实施例,识别单元包括:
第三输入模块,用于将待测字体以图像形式输入到目标分类模型,得到目标分类模型输出的目标分类结果,其中,目标分类模型用于对输入图像进行光学字符识别,输出目标字体集合中与输入图像匹配的字体;
第十二确定模块,用于根据目标分类结果所指示的字体和参考字体,确定出目标识别结果。
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现,其中,硬件环境包括网络环境。
根据本申请实施例的又一个方面,还提供了一种用于实施上述书写信息的评测方法的电子设备,该电子设备可以是服务器、终端、或者其组合。
图15是根据本申请实施例的一种可选的电子设备的结构框图,如图15所示,包括处理器1502、通信接口1504、存储器1506和通信总线1508,其中,处理器1502、通信接口1504和存储器1506通过通信总线1508完成相互间的通信,其中,
存储器1506,用于存储计算机程序;
处理器1502,用于执行存储器1506上所存放的计算机程序时,实现如下步骤:
实时获取待测字体的待测字体数据,其中,待测字体为目标对象所书写的与参考字体对应的字体,待测字体数据包含待测字体中的待测笔画的待测笔画数据;
对待测笔画数据进行特征提取,得到待测笔画的目标笔画向量,其中,待测笔画包含的至少一个目标笔段,目标笔画向量包含至少一个目标笔段的角度值的时序序列;
在确定出候选笔画集合中存在与待测笔画匹配的目标候选笔画的情况下,根据目标笔画向量,确定将待测笔画转变成目标候选笔画所需的目标代价值;
根据目标代价值,确定待测笔画的评测结果,其中,待测笔画的评测结果用于指示待测笔画是否书写规范。
可选地,在本实施例中,上述的通信总线可以是PCI(Peripheral ComponentInterconnect,外设部件互连标准)总线、或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图15中仅用一条粗线表示,并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM,也可以包括非易失性存储器(non-volatile memory),例如,至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。
作为一种示例,上述存储器1506中可以但不限于包括上述书写信息的评测装置中的第一获取单元1402、提取单元1404、第一确定单元1406以及第二确定单元1408。此外,还可以包括但不限于上述书写信息的评测装置中的其他模块单元,本示例中不再赘述。
上述处理器可以是通用处理器,可以包含但不限于:CPU(Central ProcessingUnit,中央处理器)、NP(Network Processor,网络处理器)等;还可以是DSP(DigitalSignal Processing,数字信号处理器)、ASIC(Application Specific IntegratedCircuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
本领域普通技术人员可以理解,图15所示的结构仅为示意,实施上述书写信息的评测方法的设备可以是终端设备,该终端设备可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图15其并不对上述电子设备的结构造成限定。例如,电子设备还可包括比图15中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图15所示的不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、ROM、RAM、磁盘或光盘等。
根据本申请实施例的又一个方面,还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于执行本申请实施例中上述任一项书写信息的评测方法的程序代码。
可选地,在本实施例中,上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:
实时获取待测字体的待测字体数据,其中,待测字体为目标对象所书写的与参考字体对应的字体,待测字体数据包含待测字体中的待测笔画的待测笔画数据;
对待测笔画数据进行特征提取,得到待测笔画的目标笔画向量,其中,待测笔画包含的至少一个目标笔段,目标笔画向量包含至少一个目标笔段的角度值的时序序列;
在确定出候选笔画集合中存在与待测笔画匹配的目标候选笔画的情况下,根据目标笔画向量,确定将待测笔画转变成目标候选笔画所需的目标代价值;
根据目标代价值,确定待测笔画的评测结果,其中,待测笔画的评测结果用于指示待测笔画是否书写规范。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例中对此不再赘述。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以至少两个单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (15)

1.一种书写信息的评测方法,其特征在于,包括:
实时获取待测字体的待测字体数据,其中,所述待测字体为目标对象所书写的与参考字体对应的字体,所述待测字体数据包含所述待测字体中的待测笔画的待测笔画数据;
对所述待测笔画数据进行特征提取,得到所述待测笔画的目标笔画向量,其中,所述待测笔画包含的至少一个目标笔段,所述目标笔画向量包含所述至少一个目标笔段的角度值的时序序列;
在确定出候选笔画集合中存在与所述待测笔画匹配的目标候选笔画的情况下,根据所述目标笔画向量,确定将所述待测笔画转变成所述目标候选笔画所需的目标代价值;
根据所述目标代价值,确定所述待测笔画的评测结果,其中,所述待测笔画的评测结果用于指示所述待测笔画是否书写规范。
2.根据权利要求1所述的方法,其特征在于,在所述对所述待测笔画数据进行特征提取,得到所述待测笔画的目标笔画向量之后,所述方法还包括:
将所述目标笔画向量输入到目标时序分类器,得到所述目标时序分类器输出的目标分类结果,其中,所述目标时序分类器是使用所述候选笔画集合中的各个候选笔画的笔画向量对初始时序分类器进行训练得到的,所述目标时序分类器用于输出所述候选笔画集合中与输入的笔画向量匹配的候选笔画,所述各个候选笔画的笔画向量为所述各个候选笔画包含的至少一个笔段的角度值的时序序列。
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标笔画向量,确定将所述待测笔画转变成所述目标候选笔画所需的目标代价值包括:
根据所述目标笔画向量和候选笔画向量,确定将所述待测笔画通过目标操作转变成所述目标候选笔画所需的所述目标代价值,其中,所述候选笔画向量为所述目标候选笔画包含的至少一个笔段的角度值的时序序列,所述目标操作包括以下至少之一:缩放操作,增删操作,偏转操作,不同类型的所述目标操作对应于不同的代价值。
4.根据权利要求3所述的方法,其特征在于,所述目标笔画向量为M位的向量,所述候选笔画向量为N位的向量,其中,M、N均为正整数;
所述根据所述目标笔画向量和候选笔画向量,确定将所述待测笔画通过目标操作转变成所述目标候选笔画所需的所述目标代价值包括:
根据所述目标笔画向量,确定所述待测笔画的目标局部向量,其中,所述目标局部向量为M位的向量,所述目标局部向量的目标位置上的角度值为目标局部范围内的所有位置上的角度值的平均值,所述目标局部范围为所述目标笔画向量中包含所述目标位置的局部范围;
执行以下迭代操作,得到所述目标代价值:将第一代价值、第二代价值和第三代价值中的最小值,确定为所述目标笔画向量的前i位向量和所述候选笔画向量的前j位向量之间的代价值,其中,所述目标笔画向量的前0位向量和所述候选笔画向量的前0位向量之间的代价值为0,所述目标笔画向量的前i位向量和所述候选笔画向量的前0位向量之间的代价值为i与目标系数的乘积,所述目标笔画向量的前0位向量和所述候选笔画向量的前j位向量之间的代价值为j与所述目标系数的乘积,i为大于或者等于0、且小于或者等于M的正整数,j为大于或者等于0、且小于或者等于N的正整数,所述目标代价值为所述目标笔画向量的前M位向量和所述候选笔画向量的前N位向量之间的代价值;
其中,所述第一代价值为所述目标笔画向量的前i位向量和所述候选笔画向量的前(j-1)位向量的代价值和与第一角度值对应的映射值的和,所述第二代价值为所述目标笔画向量的前(i-1)位向量和所述候选笔画向量的前j位向量的代价值和与第二角度值对应的映射值的和,所述第三代价值为所述目标笔画向量的前(i-1)位向量和所述候选笔画向量的前(j-1)位向量的代价值和与第三角度值对应的映射值的和,所述第一角度值为候选局部向量的第j位上的角度值,所述第二角度值为所述目标局部向量的第i位上的角度值,所述第三角度值为所述目标笔画向量的第i位上的角度值与所述候选笔画向量的第j位上的角度值之差的绝对值,所述候选局部向量的候选位置上的角度值为候选局部范围内的所有位置上的角度值的平均值,所述候选局部范围为所述候选笔画向量中包含所述候选位置的局部范围,与一个角度值对应的映射值与所述一个角度值的大小非负相关。
5.根据权利要求4所述的方法,其特征在于,所述根据所述目标笔画向量,确定所述待测笔画的目标局部向量包括:
确定与当前位置对应的前向角度值和与所述当前位置对应的后向角度值,其中,所述当前位置为所述目标笔画向量中的任一个位置,当所述当前位置为所述目标笔画向量中的第一个位置时,所述前向角度值为预设角度值,当所述当前位置不为所述第一个位置时,所述前向角度值为所述当前位置的上一个位置的角度值,当所述当前位置为所述目标笔画向量中的最后一个位置时,所述后向角度值为所述预设角度值,当所述当前位置不为所述最后一个位置时,所述前向角度值为所述当前位置的下一个位置的角度值,所述预设角度值大于或者等于所述目标笔画向量中的最大角度值;
将所述前向角度值和所述后向角度值中较小的角度值添加到目标角度值集合中,其中,所述目标角度值集合包含所述当前位置的角度值;
循环执行以下步骤,直到所述目标角度值集合中包含的角度值的数量等于目标数量:在所述前向角度值小于所述后向角度值的情况下,获取更新后的所述前向角度值,其中,当与所述前向角度值对应的前向位置为所述第一个位置时,更新后的所述前向角度值为所述预设角度值,当所述前向位置不为所述第一个位置时,更新后的所述前向角度值为所述前向位置的上一个位置的角度值;在所述前向角度值大于或者等于所述后向角度值的情况下,获取更新后的所述后向角度值,其中,当与所述后向角度值对应的后向位置为所述最后一个位置时,更新后的所述后向角度值为所述预设角度值,当所述后向位置不为所述最后一个位置时,更新后的所述后向角度值为所述后向位置的下一个位置的角度值;将更新后的所述前向角度值和更新后的所述后向角度值中较小的角度值添加到所述目标角度值集合中;
将所述目标角度值集合中包含的所有角度值的平均值,确定为所述目标局部向量中的所述当前位置上的角度值。
6.根据权利要求4所述的方法,其特征在于,在所述执行以下迭代操作,得到所述目标代价值的过程中,所述方法还包括:
确定与目标角度值对应的目标映射值,其中,所述目标角度值为所述第一角度值、所述第二角度值和所述第三角度值中的任一个,在所述目标角度值小于第一角度值阈值时,所述目标映射值为所述目标角度值与第一系数的乘积,在所述目标角度值大于或者等于所述第一角度值阈值、且小于第二角度值阈值时,所述目标映射值为所述目标角度值与所述第二角度值阈值的差值与第二系数的乘积加上目标值,在所述目标角度值大于或者等于所述第二角度值阈值时,所述目标映射值为所述目标值,所述第一系数小于所述第二系数。
7.根据权利要求1至6中任一项所述的方法,其特征在于,在所述实时获取待测字体的待测字体数据之后,所述方法还包括:
通过多个评测维度分别对所述待测字体进行评测,得到所述待测字体的目标评测结果,其中,所述多个评测维度包括:笔画数量,笔画位置,笔画长短,所述待测字体的评测结果包括所述待测笔画的评测结果和所述目标评测结果。
8.根据权利要求7所述的方法,其特征在于,所述多个评测维度还包括字形相似度,所述待测笔画数据包含所述待测笔画连续的多个输入点中的各个输入点的位置信息和张角信息,所述张角信息用于表示所述各个输入点的上一个输入点、所述各个输入点以及所述各个输入点的下一个输入点所张成的角度;
所述通过多个评测维度分别对所述待测字体进行评测,得到所述待测字体的目标评测结果包括:
将所述各个输入点与所述参考字体中的各个参考点之间的最小距离的和,确定为所述待测字体与所述参考字体之间的目标字形相似度,其中,所述目标评测结果包括所述目标字形相似度。
9.根据权利要求7所述的方法,其特征在于,所述多个评测维度还包括笔画的交接关系,所述待测笔画数据包含所述待测笔画连续的多个输入点的位置信息,所述待测字体包含多个所述待测笔画;
所述通过多个评测维度分别对所述待测字体进行评测,得到所述待测字体的目标评测结果包括:
根据所述多个输入点中时序上相邻的输入点的位置信息,确定多个所述待测笔画中的目标相交笔画;
根据所述目标相交笔画和所述参考字体中的参考相交笔画,确定所述待测字体的第一评测结果,其中,所述第一评测结果用于指示多个所述待测笔画的交接关系是否书写规范,所述目标评测结果包括所述第一评测结果。
10.根据权利要求7所述的方法,其特征在于,所述多个评测维度还包括字形长宽比;
所述通过多个评测维度分别对所述待测字体进行评测,得到所述待测字体的目标评测结果包括:
根据所述待测字体的字形边界,确定出所述待测字体的目标长宽比;
根据所述目标长宽比和所述参考字体的参考长宽比,确定所述待测字体的第二评测结果,其中,所述第二评测结果用于指示所述待测字体的长宽比是否书写规范,所述目标评测结果包括所述第二评测结果。
11.根据权利要求7所述的方法,其特征在于,在通过多个评测维度分别对所述待测字体进行评测之前,所述方法还包括:
对图像形式的所述待测字体进行光学字符识别,得到目标识别结果,其中,所述目标识别结果用于指示所述待测字体与所述参考字体是否一致。
12.根据权利要求11所述的方法,其特征在于,所述对图像形式的所述待测字体进行光学字符识别,得到目标识别结果包括:
将所述待测字体以图像形式输入到目标分类模型,得到所述目标分类模型输出的目标分类结果,其中,所述目标分类模型用于对输入图像进行光学字符识别,输出目标字体集合中与所述输入图像匹配的字体;
根据所述目标分类结果所指示的字体和所述参考字体,确定出所述目标识别结果。
13.一种书写信息的评测装置,其特征在于,包括:
第一获取单元,用于实时获取待测字体的待测字体数据,其中,所述待测字体为目标对象所书写的与参考字体对应的字体,所述待测字体数据包含所述待测字体中的待测笔画的待测笔画数据;
提取单元,用于对所述待测笔画数据进行特征提取,得到所述待测笔画的目标笔画向量,其中,所述待测笔画包含的至少一个目标笔段,所述目标笔画向量包含所述至少一个目标笔段的角度值的时序序列;
第一确定单元,用于在确定出候选笔画集合中存在与所述待测笔画匹配的目标候选笔画的情况下,根据所述目标笔画向量,确定将所述待测笔画转变成所述目标候选笔画所需的目标代价值;
第二确定单元,用于根据所述目标代价值和目标代价阈值,确定所述待测笔画的评测结果,其中,所述待测笔画的评测结果用于指示所述待测笔画是否书写规范。
14.一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信,其特征在于,
所述存储器,用于存储计算机程序;
所述处理器,用于通过运行所述存储器上所存储的所述计算机程序来执行权利要求1至12中任一项所述的方法步骤。
15.一种计算机可读的存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至12中任一项中所述的方法步骤。
CN202110518774.3A 2021-05-12 2021-05-12 书写信息的评测方法和装置、电子设备和存储介质 Pending CN115346223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110518774.3A CN115346223A (zh) 2021-05-12 2021-05-12 书写信息的评测方法和装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110518774.3A CN115346223A (zh) 2021-05-12 2021-05-12 书写信息的评测方法和装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115346223A true CN115346223A (zh) 2022-11-15

Family

ID=83977548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110518774.3A Pending CN115346223A (zh) 2021-05-12 2021-05-12 书写信息的评测方法和装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115346223A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206131A (zh) * 2023-03-16 2023-06-02 北京百度网讯科技有限公司 图像处理方法、深度学习模型的训练方法及装置
CN117496537A (zh) * 2023-11-08 2024-02-02 广东新裕信息科技有限公司 一种基于改进的形状特征匹配的书法书写质量评价方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206131A (zh) * 2023-03-16 2023-06-02 北京百度网讯科技有限公司 图像处理方法、深度学习模型的训练方法及装置
CN116206131B (zh) * 2023-03-16 2023-09-19 北京百度网讯科技有限公司 图像处理方法、深度学习模型的训练方法及装置
CN117496537A (zh) * 2023-11-08 2024-02-02 广东新裕信息科技有限公司 一种基于改进的形状特征匹配的书法书写质量评价方法
CN117496537B (zh) * 2023-11-08 2024-04-23 广东新裕信息科技有限公司 一种基于改进的形状特征匹配的书法书写质量评价方法

Similar Documents

Publication Publication Date Title
CN110046350B (zh) 文法错误识别方法、装置、计算机设备及存储介质
CN111275038A (zh) 图像文本识别方法、装置、计算机设备及计算机存储介质
CN109284355B (zh) 一种批改试卷中口算题的方法及装置
CN113111154B (zh) 相似度评估方法、答案搜索方法、装置、设备及介质
CN115346223A (zh) 书写信息的评测方法和装置、电子设备和存储介质
CN113449801B (zh) 一种基于多级图像上下文编解码的图像人物行为描述生成方法
CN110866499B (zh) 手写文本识别方法、系统、设备及介质
CN113094478B (zh) 表情回复方法、装置、设备及存储介质
CN113887229A (zh) 地址信息的识别方法、装置、计算机设备及存储介质
CN112215236B (zh) 文本识别方法、装置、电子设备及存储介质
CN112257437A (zh) 语音识别纠错方法、装置、电子设备和存储介质
CN110795935A (zh) 文字词向量模型的训练方法、装置、终端及存储介质
CN113177435A (zh) 试卷分析方法、装置、存储介质及电子设备
CN110414622B (zh) 基于半监督学习的分类器训练方法及装置
CN111079433B (zh) 一种事件抽取方法、装置及电子设备
CN112182167A (zh) 一种文本匹配方法、装置、终端设备和存储介质
CN115620312A (zh) 跨模态字符笔迹验证方法、系统、设备及存储介质
CN114529910A (zh) 手写文字识别方法、装置、存储介质及电子设备
CN115906861B (zh) 基于交互方面信息融合的语句情感分析方法以及装置
CN111598550A (zh) 邮件签名信息提取方法、装置、电子设备及介质
CN116863489A (zh) 文字评价方法、装置及电子设备
CN115346225A (zh) 书写测评方法、装置及设备
Bouças et al. Converting web pages mockups to HTML using machine learning
CN115600596A (zh) 命名实体识别方法、装置、电子设备及存储介质
CN114492453A (zh) 文本纠错方法及装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination