CN115346225A - 书写测评方法、装置及设备 - Google Patents

书写测评方法、装置及设备 Download PDF

Info

Publication number
CN115346225A
CN115346225A CN202110518003.4A CN202110518003A CN115346225A CN 115346225 A CN115346225 A CN 115346225A CN 202110518003 A CN202110518003 A CN 202110518003A CN 115346225 A CN115346225 A CN 115346225A
Authority
CN
China
Prior art keywords
stroke
font
standard
tested
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110518003.4A
Other languages
English (en)
Inventor
王为家
余浩
鲁文斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Hongen Perfect Future Education Technology Co ltd
Original Assignee
Tianjin Hongen Perfect Future Education Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Hongen Perfect Future Education Technology Co ltd filed Critical Tianjin Hongen Perfect Future Education Technology Co ltd
Priority to CN202110518003.4A priority Critical patent/CN115346225A/zh
Publication of CN115346225A publication Critical patent/CN115346225A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请公开了一种书写测评方法、装置及设备,涉及人工智能技术领域。其中方法包括:实时获取待测字体的笔画数据;针对预先设置的笔画顺序测评维度,根据待测字体的笔画数据与标准字体的笔画数据,确定待测字体的各个待测笔画与标准字体的各个标准笔画之间的差异度;根据差异度,确定待测字体的各个待测笔画中,与标准字体的各个标准笔画一一匹配的待测笔画,并将每个标准笔画的第一笔画顺序索引和与每个标准笔画匹配的待测笔画的第二笔画顺序索引组成一个索引对;根据索引对生成所述待测字体在笔画顺序测评维度上的书写测评结果。本申请能够针对儿童书写过程出现的书写正确但笔画顺序出现错误的情况进行有效测评。

Description

书写测评方法、装置及设备
技术领域
本申请涉及人工智能技术领域,尤其是涉及到一种书写测评方法、装置及设备。
背景技术
传统的汉字书写教学方法存在教学资源不足、时间地点受限等诸多限制。随着科技的进步,出现了智能笔书写系统,该智能笔书写系统的特点是利用电磁感应或红外感应,将用户在纸上的书写轨迹储存并展现在多媒体设备上。利用这一特点结合人工智能可以有效地解决传统汉字书写教学受诸多限制的问题,为学生提供实时有效的指导。
在现有的智能笔书写系统中,学生的书写轨迹以点阵的形式存储到智能笔的存储设备,并无线传输到机器端用于人工智能评测。具体可以将书写者每个笔画所有点的坐标集合输入至智能笔书写系统,并利用笔画中点的坐标、传感器压力、时间等信息对书写结果进行测评。通常情况下,智能书写结果的测评主要包括三个测评维度,分别为笔画数量、笔画对错和间架结构,其中,笔画数量通过统计智能笔传输的笔画次数与标准字的总笔画次数比对得到,笔画对错通过计算每个手写字笔画的点集中每个点到标准笔画的最短距离和作为损失函数,当损失函数小于一定阈值认为笔画书写正确,间架结构通过计算笔画的长度和质心位置得到。
然而,上述书写结果的测评过程存在以下不足之处,提及的测评维度很难全面反映书写者在书写过程中出现的问题,尤其针对儿童书写过程出现书写正确但是笔画顺序错误的情况,无法给予书写者正确的测评指导。
发明内容
有鉴于此,本申请提供了一种书写测评方法、装置及设备,主要目的在于解决现有技术中的书写测评方式不够全面,无法识别出书写过程中书写正确但是笔画顺序错误的情况的问题。
根据本申请的第一个方面,提供了一种书写测评方法,包括:
实时获取待测字体的笔画数据,所述笔画数据为按照行笔动作将笔触的采样点划分到各个待测笔画所形成的数据;
针对预先设置的笔画顺序测评维度,根据所述待测字体的笔画数据与标准字体的笔画数据,确定所述待测字体的各个待测笔画与所述标准字体的各个标准笔画之间的差异度;
根据所述差异度,确定所述待测字体的各个待测笔画中,与所述标准字体的各个标准笔画一一匹配的待测笔画,并将每个标准笔画的第一笔画顺序索引和与所述每个标准笔画匹配的待测笔画的第二笔画顺序索引组成一个索引对;
根据所述索引对生成所述待测字体在所述笔画顺序测评维度上的书写测评结果,其中,所述待测字体在所述笔画顺序测评维度上的书写测评结果用于表示所述待测字体中是否存在笔画顺序书写错误的笔画。
在另一个实施例中,所述针对预先设置的笔画顺序测评维度,根据所述待测字体的笔画数据与标准字体的笔画数据,确定所述待测字体的各个待测笔画与所述标准字体的各个标准笔画之间的差异度,以及所述根据所述差异度,确定所述待测字体的各个待测笔画中,与所述标准字体的各个标准笔画一一匹配的待测笔画,具体包括:
对于所述标准字体中的每个标准笔画,遍历所述待测字体中的所有待测笔画,确定所述所有待测笔画中的每个待测笔画与所述每个标准笔画之间的差异度;
在所述所有待测笔画与所述每个标准笔画之间的差异度的最小值小于第一预设阈值时,将所述最小值对应的待测笔画确定为与所述每个标准笔画一一匹配的待测笔画。
在另一个实施例中,所述确定所述所有待测笔画中的每个待测笔画与所述每个标准笔画之间的差异度,包括:
当所述每个待测笔画和所述每个标准笔画对应的笔画分类结果相同时,根据所述每个待测笔画和所述每个标准笔画之间的各个笔画描述特征值计算出所述每个待测笔画和所述每个标准笔画之间的差异度;
当所述每个待测笔画和所述每个标准笔画对应的笔画分类结果不同时,将预设差异度作为所述每个待测笔画和所述每个标准笔画之间的差异度,其中,所述预设差异度大于固定阈值。
在另一个实施例中,所述各个笔画描述特征值至少包括以下之一:笔画之间的损失函数值,笔画之间的笔画长度比例特征值,笔画之间的笔画位置比例特征值,所述根据所述每个待测笔画和所述每个标准笔画之间的各个笔画描述特征值计算出所述每个待测笔画和所述每个标准笔画之间的差异度,具体包括:
针对所述笔画顺序测评维度在所述各个笔画描述特征上的测评需求,确定每个所述笔画描述特征值映射的权重比例;
按照每个所述笔画描述特征值映射的权重比例,对所述每个待测笔画和所述每个标准笔画之间的各个笔画描述特征值进行加权求和计算,得到所述每个待测笔画和所述每个标准笔画之间的差异度。
在另一个实施例中,在所述实时获取待测字体的笔画数据之后,所述方法还包括:
根据预先设置的多个测评维度以及所述多个测评维度对应的测评顺序,按照所述测评顺序对所述待测字体进行所述多个测评维度的测评,其中,所述多个测评维度包括所述笔画顺序测评维度;
其中,在所述根据预先设置的多个测评维度以及所述多个测评维度对应的测评顺序,按照所述测评顺序对所述待测字体进行所述多个测评维度的测评之后,所述方法还包括:
获取所述待测字体在多个测评维度上分别对应的书写测评结果,判断所述待测字体在多个测评维度上分别对应的书写测评结果是否符合对应的测评条件;
若所述待测字体在多个测评维度上的书写测评结果均符合测评条件,则输出待测字体符合书写规范的提示信息,否则,根据不符合测评条件的测评维度上的书写测评结果生成对应的提示信息。
在另一个实施例中,所述多个测评维度包括笔画对错测评维度,所述方法还包括:
将所述待测字体的笔画数据处理得到笔画特征数据;
将所述笔画特征数据输入至预先构建的笔画分类模型中进行识别,得到笔画分类结果,所述笔画分类结果用于表征预设笔画库中与所述待测字体中的待测笔画对应的标准笔画;
根据所述笔画分类结果,生成待测字体在笔画对错测评维度上的书写测评结果。
在另一个实施例中,所述根据所述笔画分类结果,生成所述待测字体在所述笔画对错测评维度上的书写测评结果,具体包括:根据所述笔画分类结果,计算通过执行以下操作中的至少之一:缩放、增删、偏转,将所述待测字体中待测笔画转变为所述笔画分类结果表示的标准笔画对应的代价,得到所述待测字体中待测笔画与所述笔画分类结果表示的标准笔画之间的损失函数值;根据所述待测字体中待测笔画与所述笔画分类结果表示的标准笔画的损失函数值,生成所述待测字体在所述笔画对错测评维度上的书写测评结果。
在另一个实施例中,所述将所述待测字体的笔画数据处理得到笔画特征数据,具体包括:
确定所述待测字体的笔画数据中采样点的空间信息和时间信息;
利用所述采样点的空间信息和时间信息对所述待测字体的笔画数据进行特征提取,得到笔画特征数据。
在另一个实施例中,在所述实时获取待测字体的笔画数据之后,所述方法还包括:
将所述待测字体以图片的形式输入至预先构建的字体分类模型中进行识别,得到字体分类结果,所述字体分类结果用于表征待测字体所属的字体分类;
若所述待测字体所属的字体分类与所述标准字体所属的字体分类不一致,则输出待测字体的字形架构书写错误的提示信息。
根据本申请的第二个方面,提供了一种书写测评装置,包括:
获取单元,用于实时获取待测字体的笔画数据,所述笔画数据为按照行笔动作将笔触的采样点划分到各个待测笔画所形成的数据;
第一确定单元,用于针对预先设置的笔画顺序测评维度,根据所述待测字体的笔画数据与标准字体的笔画数据,确定所述待测字体的各个待测笔画与所述标准字体的各个标准笔画之间的差异度;
第二确定单元,用于根据所述差异度,确定所述待测字体的各个待测笔画中,与所述标准字体的各个标准笔画一一匹配的待测笔画,并将每个标准笔画的第一笔画顺序索引和与所述每个标准笔画匹配的待测笔画的第二笔画顺序索引组成一个索引对;
第一生成单元,用于根据所述索引对生成所述待测字体在所述笔画顺序测评维度上的书写测评结果,其中,所述待测字体在所述笔画顺序测评维度上的书写测评结果用于表示所述待测字体中是否存在笔画顺序书写错误的笔画。
在另一个实施例中,所述第一确定单元包括:
第一确定模块,用于对于所述标准字体中的每个标准笔画,遍历所述待测字体中的所有待测笔画,确定所述所有待测笔画中的每个待测笔画与所述每个标准笔画之间的差异度;
第二确定模块,用于在所述所有待测笔画与所述每个标准笔画之间的差异度的最小值小于第一预设阈值时,将所述最小值对应的待测笔画确定为与所述每个标准笔画一一匹配的待测笔画。
在另一个实施例中,所述第一确定模块包括:
计算子模块,用于当所述每个待测笔画和所述每个标准笔画对应的笔画分类结果相同时,根据所述每个待测笔画和所述每个标准笔画之间的各个笔画描述特征值计算出所述每个待测笔画和所述每个标准笔画之间的差异度;
选取子模块,用于当所述每个待测笔画和所述每个标准笔画对应的笔画分类结果不同时,将预设差异度作为所述每个待测笔画和所述每个标准笔画之间的差异度,其中,所述预设差异度大于固定阈值。
在另一个实施例中,所述各个笔画描述特征值至少包括以下之一:笔画之间的损失函数值,笔画之间的笔画长度比例特征值,笔画之间的笔画位置比例特征值,所述计算子模块,具体用于针对所述笔画顺序测评维度在所述各个笔画描述特征上的测评需求,确定每个所述笔画描述特征值映射的权重比例;
所述计算子模块,具体还用于按照每个所述笔画描述特征值映射的权重比例,对所述每个待测笔画和所述每个标准笔画之间的各个笔画描述特征值进行加权求和计算,得到所述每个待测笔画和所述每个标准笔画之间的差异度。
在另一个实施例中,所述装置还包括:
测评单元,用于在所述实时获取待测字体的笔画数据之后,根据预先设置的多个测评维度以及所述多个测评维度对应的测评顺序,按照所述测评顺序对所述待测字体进行所述多个测评维度的测评,其中,所述多个测评维度包括所述笔画顺序测评维度;
判断单元,用于在所述根据预先设置的多个测评维度以及所述多个测评维度对应的测评顺序,按照所述测评顺序对所述待测字体进行所述多个测评维度的测评之后,获取所述待测字体在多个测评维度上分别对应的书写测评结果,判断所述待测字体在多个测评维度上分别对应的书写测评结果是否符合对应的测评条件;
第一输出单元,用于若所述待测字体在多个测评维度上的书写测评结果均符合测评条件,则输出待测字体符合书写规范的提示信息,否则,根据不符合测评条件的测评维度上的书写测评结果生成对应的提示信息。
在另一个实施例中,所述多个测评维度包括笔画对错测评维度,所述装置还包括:
处理单元,用于将所述待测字体的笔画数据处理得到笔画特征数据;
第一识别单元,用于将所述笔画特征数据输入至预先构建的笔画分类模型中进行识别,得到笔画分类结果,所述笔画分类结果用于表征预设笔画库中与所述待测字体中的待测笔画对应的标准笔画;
第二生成单元,用于根据所述笔画分类结果,生成待测字体在笔画对错测评维度上的书写测评结果。
在另一个实施例中,所述第二生成单元包括:
计算模块,用于根据所述笔画分类结果,计算通过执行以下操作中的至少之一:缩放、增删、偏转,将所述待测字体中待测笔画转变为所述笔画分类结果表示的标准笔画对应的代价,得到所述待测字体中待测笔画与所述笔画分类结果表示的标准笔画之间的损失函数值;根据所述待测字体中待测笔画与所述笔画分类结果表示的标准笔画的损失函数值,生成所述待测字体在所述笔画对错测评维度上的书写测评结果。
在另一个实施例中,所述处理单元包括:
确定模块,用于确定所述待测字体的笔画数据中采样点的空间信息和时间信息;
提取模块,用于利用所述采样点的空间信息和时间信息对所述待测字体的笔画数据进行特征提取,得到笔画特征数据。
在另一个实施例中,所述装置还包括:
第二识别单元,用于在所述实时获取待测字体的笔画数据之后,将所述待测字体以图片的形式输入至预先构建的字体分类模型中进行识别,得到字体分类结果,所述字体分类结果用于表征待测字体所属的字体分类;
第二输出单元,用于若所述待测字体所属的字体分类与所述标准字体所属的字体分类不一致,则输出待测字体的字形架构书写错误的提示信息。
根据本申请的第三个方面,提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。
根据本申请的第四个方面,提供了一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。
借由上述技术方案,本申请提供的一种书写测评方法、装置及设备,与目前现有方式中仅通过三个测评维度进行书写测评方式相比,本申请通过实时获取待测字体的笔画数据,该笔画数据为按照行笔动作将笔触的采样点划分到各个待测笔画所形成的数据,然后针对预先设置的笔画顺序测评维度,根据待测字体的笔画数据与标准字体的笔画数据,确定待测字体的各个待测笔画与标准字体的各个标准笔画之间的差异度,并根据差异度,确定所测字体的各个待测笔画中,与标准字体的各个标准笔画一一匹配的待测笔画,并将每个标准笔画的第一笔画顺序索引和与每个标准笔画匹配的待测笔画的第二笔画顺序索引组成一个索引对,根据索引对生成待测字体在所述笔画顺序测评维度上的书写测评结果,该待测字体在笔画顺序测评维度上的书写测评结果用于表示待测字体中是否存在笔画顺序书写错误的笔画,能够针对书写者,尤其是儿童书写过程出现的书写正确但笔画顺序出现错误的情况进行有效测评,从而提供更全面的书写测评方式,给予书写者正确的测评指导。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了本申请实施例提供的一种书写测评方法的流程示意图;
图2示出了本申请实施例提供的另一种书写测评方法的流程示意图;
图3示出了本申请实施例提供的书写实例;
图4示出了本申请实施例提供的循环神经网络模型的结构示意图;
图5示出了本申请实施例提供的编码器-解码器的结构示意图;
图6示出了本申请实施例提供的针对角度偏差映射过程提供的示例图;
图7示出了本申请实施例提供的针对代价计算过程提供的示例图;
图8示出了本申请实施例提供的整个书写测评方法的流程框图;
图9示出了本申请实施例提供的一种书写测评装置的结构示意图;
图10示出了本申请实施例提供的另一种书写测评装置的结构示意图;
图11示出了本发明实施例提供的一种计算机设备的装置结构示意图。
具体实施方式
现在将参照若干示例性实施例来论述本发明的内容。应当理解,论述了这些实施例仅是为了使得本领域普通技术人员能够更好地理解且因此实现本发明的内容,而不是暗示对本发明的范围的任何限制。
如本文中所使用的,术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实施例”和“一种实施例”要被解读为“至少一个实施例”。术语“另一个实施例”要被解读为“至少一个其他实施例”。
通常情况下,智能书写结果的测评主要包括三个测评维度,分别为笔画数量、笔画对错和间架结构,其中,笔画数量通过统计智能笔传输的笔画次数与标准字的总笔画次数比对得到,笔画对错通过计算每个手写字笔画的点集中每个点到标准笔画的最短距离和作为损失函数,当损失函数小于一定阈值认为笔画书写正确,间架结构通过计算笔画的长度和质心位置得到。然而,上述书写结果的测评过程存在以下不足之处,提及的测评维度很难全面反映书写者在书写过程中出现的问题,尤其针对儿童书写过程出现错误的方式可能有多种,仅从三种测评维度无法给予书写者正确的测评指导。
为了解决该问题,本实施例提供了一种书写测评方法,如图1所示,该方法应用于书写测评系统的服务端,包括如下步骤:
101、实时获取待测字体的笔画数据。
其中,待测字体的笔画数据为按照行笔动作将笔触的采样点划分到各个待测笔画所形成的数据,这里笔画数据中包括多个笔画,每个笔画上有多个采样点,采样点可以表示为坐标点(x,y),每个笔画即为坐标点(x,y)形成点的集合。
具体可以使用手写笔按照固定频率采集待测字体的笔画数据,这里手写笔可以为设置有压力传感器的智能点阵笔、智能书写笔等,当书写者行笔时,手写笔可以利用压力传感器捕获笔尖的运动轨迹,形成笔画数据。
对于本实施例的执行主体可以为书写测评装置或设备,可以配置在书写测评装置或设备的服务端,当书写者书书写过程中,手写笔中会实时获取待测字体每个笔画的所有点的坐标集合,并将待测字体每个笔画的所有点的坐标集合形成待测字体的笔画数据,输入至服务端,进而服务端针对待测字体的笔画数据进行书写测评。
102、针对预先设置的笔画顺序测评维度,根据所述待测字体的笔画数据与标准字体的笔画数据,确定所述待测字体的各个待测笔画与所述标准字体的各个标准笔画之间的差异度。
其中,标准字体可以为针对待测字体预先设置的参考字体,书写者通常按照标准字体进行书写,并利用标准字体来对待测字体进行书写测评,这里待测字体的笔画数据与待测字体的待测笔画对应,同样标准字体的笔画数据和标准字体的标准笔画对应。
在本发明实施例中,待测字体的各个待测笔画与标准字体的各个标准笔画之间的差异度能够反映待测字体中待测笔画与标准字体中标准笔画的匹配程度,这里差异度越小,说明该待测笔画与标准笔画相对应的概率越高,即为书写正确的笔画,反之,说明该待测笔画并非对应该标准笔画,即为书写错误或者漏写笔画。具体,例如,可以针对笔画顺序将待测字体的待测笔画与标准字体的标准笔画进行打乱后形成笔画序列对,这里待测字体的笔画顺序以及标准字体的笔画顺序都是已知的,例如,待测字体的笔画顺序为i1-i4(四个笔画顺序索引i1,i2,i3,i4分别对应待测字体中的一个待测笔画),标准字体的笔画顺序为j1-j4(四个笔画顺序索引j1,j2,j3,j4分别对应标准字体中的一个标准笔画),针对笔画顺序打乱后形成笔画序列对可以是随机从待测字体与标准字体中任意两两匹配形成的,可以为(i1,j1)、(i2,j2)、(i3,j4)等等,进一步使用匹配优先搜索最相似笔画的方式进行笔画顺序的判断,该过程针对每个笔画序列对计算待测字体的各个待测笔画与所述标准字体的各个标准笔画之间的差异度。
103、根据所述差异度,确定所述待测字体的各个待测笔画中,与所述标准字体的各个标准笔画一一匹配的待测笔画,并将每个标准笔画的第一笔画顺序索引和与所述每个标准笔画匹配的待测笔画的第二笔画顺序索引组成一个索引对。
可以理解的是,步骤102中针对每个笔画序列对都会计算两个笔画之间的差异度,对于差异度越小说明待测笔画与该标准笔画越相似,否则说明待测笔画并非是该标准笔画,这里与标准字体的各个标准笔画一一匹配的待测笔画即为最终保留差异度最小、且该最小差异度小于第一预设阈值的笔画序列对,并将每个标准笔画的第一笔画顺序索引和与每个标准笔画匹配的待测笔画的第二笔画顺序索引组成一个索引对,例如,保留的笔画序列对为(i1,j2),从而得到索引对(i1,j2),即针对标准字体的第一笔画顺序索引为i1,待测笔画的第二笔画顺序索引为j2,说明标准字体的第一笔顺与待测字体的第二笔顺相匹配。
在本发明实施例中,笔画顺序测评维度通常不影响待测字体的书写结果,也就是说,书写者虽然书写正确但也可以出现笔画顺序错误的问题,这里针对笔画顺序测评维度进行测评,可以及时发现书写者书写正确但笔画顺序错误的问题,并有效对书写者给予正确笔画顺序的指导,保证了书写测评的全面性。
104、根据所述索引对生成所述待测字体在所述笔画顺序测评维度上的书写测评结果。
在本发明实施例中,索引对即为保留下待测字体与标准字体之间差异度最小的笔画序列对,由于标准字体中有多个标准笔画,在针对每个标准笔画确定待测字体中与该标准笔画匹配的待测笔画后,可以得到多个索引对。将待测字体和标准字体之间的多个索引对放到匹配集合C中。进一步可以根据匹配集合C中各个索引对中标准笔画的第一笔画顺序索引形成标准字体的笔画顺序信息,并按照各个第一笔画顺序索引所在的索引对中的待测笔画的第二笔画顺序索引形成待测字体与标准字体相对照的笔画顺序信息,进而生成待测字体在笔画顺序测评维度上的书写测评结果,例如,待测字体和标准字体之间的多个索引对为(i2,j1)、(i1,j2)、(i3,j3)、(i4,j4)、(i5,j5),得到对应于标准字体的笔画顺序:j1、j2、j3、j4、j5,待测字体与标准字体相对照的笔画顺序为i2、i1、i3、i4、i5,即待测字体中,与标准字体中的第一个笔画j1匹配的是待测字体中的第二个待测笔画(即笔画顺序索引i2表示的待测笔画),与标准字体中的第二个笔画j2匹配的是第一个待测笔画i1,与标准字体中的第三个笔画j3匹配的是第三个待测笔画i3……。由于多个索引对中存在第一笔画顺序索引不同于第二笔画顺序索引的索引对,例如对于索引对(i1,j2),可以确定出待测字体中的第一个待测笔画i1笔画书写正确但是笔画顺序书写错误,即第一个待测笔画i1应该作为第二个笔画进行书写。
本申请实施例提供的书写测评方法,与目前现有方式中仅通过三个测评维度进行书写测评方式相比,本申请通过实时获取待测字体的笔画数据,该笔画数据为按照行笔动作将笔触的采样点划分到各个待测笔画所形成的数据,然后针对预先设置的笔画顺序测评维度,根据待测字体的笔画数据与标准字体的笔画数据,确定待测字体的各个待测笔画与标准字体的各个标准笔画之间的差异度,并根据差异度,确定所测字体的各个待测笔画中,与标准字体的各个标准笔画一一匹配的待测笔画,并将每个标准笔画的第一笔画顺序索引和与每个标准笔画匹配的待测笔画的第二笔画顺序索引组成一个索引对,根据索引对生成待测字体在所述笔画顺序测评维度上的书写测评结果,该待测字体在笔画顺序测评维度上的书写测评结果用于表示待测字体中是否存在笔画顺序书写错误的笔画,能够针对书写者,尤其是儿童书写过程出现的书写正确但笔画顺序出现错误的情况进行有效测评,从而提供更全面的书写测评方式,给予书写者正确的测评指导。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例的具体实施过程,本实施例提供了另一种书写测评方法,如图2所示,该方法包括:
201、实时获取待测字体的笔画数据。
可以理解的是,这里待测字体的笔画数据为书写者在书写过程中实时传输至服务端的数据,该笔画数据包含每个笔画形成的采样点的集合,并且每个采样点至少携带有时间信息以及位置信息,利用采样点的时间信息以及位置信息可以确定书写者的笔画顺序、行笔方向等特征,便于后续对待测字体进行书写测评。
202、根据预先设置的多个测评维度以及所述多个测评维度对应的测评顺序,按照所述测评顺序对所述待测字体进行所述多个测评维度的测评。
这里测评维度可以为针对待测字体在书写过程中容易出现错误的方向,可以包括但不局限于整体字形相似度测评维度,笔画数量测评维度、笔画对错测评维度、笔画位置测评维度、笔画顺序测评维度等,并且每个测评维度都有其相应的书写测评过程。
可以理解的是,书写测评过程中,由于各个测评维度之间具有关联性,各个测评维度具有测评的先后顺序,有些测评维度需要在前测评维度符合测评条件后再开启测评过程,例如,笔画数量测评维度需要符合测评条件后再对笔画对错测评维度进行测评。
在本发明实例中,主要针对整体整体字形相似度测评维度,笔画数量测评维度、相交逻辑测评维度、字形长宽比测评维度、行笔方向测评维度在书写测评过程的具体实现过程进行简单描述。
针对整体字形相似度测评维度,具体测评过程可以在输入待测字体的笔画数据后,针对笔画数据中的采样点,预处理阶段对每个采样点单独计算其与上一采样点、下一采样点这三个采样点形成的角度θ,将θ作为一维新的特征,这样每个点都可以用三维空间的矢量(x,y,θ)来描述,某一采样点到特定云的距离可以定义为该采样点与特定云中所有点的最小欧式距离,这里引申至点云1到点云2的距离可以定义为点云1中所有点到点云2的距离之和,该点云距离即为衡量两个字形相似度的标准,即通过上述方式计算待测字体和标准字体两个点云之间的点云距离,点云距离越小,说明两个字体越相似,完成度越高。该维度可以在书写不规范的情况下量化书写的完成度。
针对相交逻辑测评维度,具体测评过程可以在输入待测字体的笔画数据后,针对笔画数据中的采样点,所有采样点两两之间组成线段的集合,通过计算叉积的方法判断线段之间是否相交,进而判断两个笔画是否相交。其中,判断出待测字体中任意两个待测笔画的相交结果后,将该相交结果与标准字体中对应标准笔画的相交结果进行对比,从而确定出待测字体中待测笔画的相交情况和标准字体中标准笔画的相交情况是否一致,该测评维度可以更精细地判断现有技术中无法辨认的一些书写细节错误,如“田”字和“由”字。
针对字形长宽比测评维度,具体测评过程可以统计输入待测字体的边界并计算边界的长宽比例,如果与标准字体的长宽比差距过大,则提示书写不美观。该测评维度可以让儿童对于一些左右结构,上下结构的字体有更好的书写布局习惯。
针对行笔方向测评维度,具体测评过程可以利用待测字体的笔画数据中所记录采样点的时序信息判断行笔方向,并与标准字体的行笔方向核对。该测评维度可以纠正儿童对于一些笔画的错误书写习惯。
203、对于所述标准字体中的每个标准笔画,遍历所述待测字体中的所有待测笔画,确定所述所有待测笔画中的每个待测笔画与所述每个标准笔画之间的差异度。
其中,差异度可以用笔画差异函数来表示,笔画差异函数用于描述待测字体中待测笔画与标准字体中标准笔画之间的差异,这里笔画差异函数可以为表示为S(i,j),具体代表待测字体(例如总计M笔)的第i笔与标准字体(例如总计N笔。可选地,M=N)的第j笔之间的差异度,i和j分别是待测字体与标准字体的笔画索引(即笔画顺序索引),例如,S(2,3)代表待测字体的第二笔与标准字体的第三笔之间的差异度。
具体在确定所有待测笔画中的每个待测笔画与每个标准笔画之间的差异度的过程中,当每个待测笔画和所述每个标准笔画对应的笔画分类结果相同时,根据每个待测笔画和每个标准笔画之间的各个笔画描述特征值计算出每个待测笔画和每个标准笔画之间的差异度;当每个待测笔画和所述每个标准笔画对应的笔画分类结果不同时,将预设差异度作为每个待测笔画和每个标准笔画之间的差异度,其中,预设差异度大于固定阈值,这里预设差异度可以为极限值,即+∞。
这里笔画描述特征相当于笔画顺序测评过程中需要考虑的测评因素,可以为笔画间损失函数、笔画长度比例、笔画位置比例等,该笔画间损失函数即为差异度比较依据,笔画长度比例即为两个笔画长度差值(或差值的绝对值)除以标准笔画长度,位置比例即为两个笔画质心的位置距离,上述笔画描述特征具体可根据实际需求全部选取或者部分选取。各个笔画描述特征值至少包括以下之一:笔画之间的损失函数值,笔画之间的笔画长度比例特征值,笔画之间的笔画位置比例特征值,具体在根据每个待测笔画和每个标准笔画之间的各个笔画描述特征值计算出每个待测笔画和每个标准笔画之间的差异度过程中,可以针对笔画顺序测评维度在各个笔画描述特征上的测评需求,确定每个笔画描述特征值映射的权重比例,然后每个笔画描述特征值映射的权重比例,对每个待测笔画和每个标准笔画之间的各个笔画描述特征值进行加权求和计算,得到每个待测笔画和每个标准笔画之间的各个笔画描述特征值计算出每个待测笔画和每个标准笔画之间的差异度。
204、在所述所有待测笔画与所述标准笔画之间的差异度的最小值小于第一预设阈值时,将所述最小值对应的待测笔画确定为与所述每个标准笔画一一匹配的待测笔画。
在所有待测笔画与标准笔画之间的差异度的最小值小于第一预设阈值时,判定待测笔画与标准笔画所形成两个笔画相匹配,否则,判定待测笔画与标准笔画所形成两个笔画不匹配;并保留一一匹配的待测笔画与标准笔画。
205、将每个标准笔画的第一笔画顺序索引和与所述每个标准笔画匹配的待测笔画的第二笔画顺序索引组成一个索引对。
具体在实际应用场景中,可以初始化j=1,并使用一个空集合C储存匹配结果,通过遍历待测字体中所有笔画,计算S(i,j)(1≤i≤M),将S(i,j)的最小者与第一预设阈值对比,若小于第一预设阈值,则认为对应待测字体的第i笔与标准字体的第j笔相匹配,将笔画序列对(i,j)作为匹配结果存入集合C;若大于阈值,则说明针对该标准字体的第j笔存在书写错误或漏写,无需将笔画序列对(i,j)作为匹配结果存入集合C,若j<N,令j=j+1,重复执行上述过程。
206、根据所述索引对生成所述待测字体在所述笔画顺序测评维度上的书写测评结果。
在本发明实施例中,保留下来的索引对可以为按照待测字体的笔画顺序与标准字体相对照的笔画顺序信息,例如,针对待测字体中所包含的笔画i与标准字体所包含的笔画j,保留下来的笔画顺序信息可以包括:(i2,j1)、(i1,j2)、(i3,j3)、(i4,j4),该笔画顺序信息即为笔画顺序维度上的书写测评结果,此时测评结果说明待测字体中的前两个笔画的笔画顺序与标准字体的前两个笔画顺序相反(即待测字体中的前两个笔画的笔画顺序书写错误),而后两个笔画的笔画顺序相同。
207、获取所述待测字体在多个测评维度上分别对应的书写测评结果,判断所述待测字体在多个测评维度上分别对应的书写测评结果是否符合对应的测评条件。
208、若所述待测字体在多个测评维度上的书写测评结果均符合测评条件,则输出待测字体符合书写规范的提示信息,否则,根据不符合测评条件的测评维度上的书写测评结果生成对应的提示信息。
进一步地,测评维度还可以包括笔画对错测评维度,待测字体的笔画数据可以实时获取,并形成待测笔画传输至书写测评系统,此时书写测评系统可以针对实时传输的待测笔画进行笔画对错的测评,具体在针对笔画对错测评维度进行书写测评过程中,可以将待测字体的笔画数据处理得到笔画特征数据,并针对预先设置的笔画对错测评维度将笔画特征数据输入至预先构建的笔画分类模型中进行识别,得到笔画分类结果,该笔画分类结果用于表征预设笔画库中与待测字体中的待测笔画对应的标准笔画。可选地,还可以使用预先构建的引入了注意力(attention)机制的笔画分类模型,将笔画特征数据输入值该模型中,得到笔画分类结果,当输出的笔画分类结果表征预设笔画库中与待测字体中的待测笔画对应的标准笔画组合时,表示待测笔画为连笔,可以根据该笔画分类结果输出提示信息以提示待测笔画写成了连笔,进而根据笔画分类结果,生成待测字体在笔画对错测评维度上的书写测评结果。在本发明实施例中,可以选择使用上面第一种笔画分类模型,或者第二种笔画分类模型。
其中,预设笔画库中收集了针对儿童书写所设置的标准笔画,该标准笔画可以为单个笔画,还可以为偏旁部首形成的笔画组合。具体在实际应用场景中,为了提高对儿童书写者书书写的待测字体的书写测评效率和测评结果的准确性,还可以在实时获取儿童书写者书写的待测字体的笔画数据之后,将待测字体的各个待测笔画与纠错笔画库中的纠错笔画进行比对,具体可以通过相似度比对或者笔画匹配的方式进行比对,该纠错笔画库中收集了针对儿童书写的纠错笔画,并且每个纠错笔画在预设笔画库中存在与其相映射的标准笔画,这里纠错笔画即儿童书写者经常书写错误的笔画(例如纠错笔画库中的每个纠错笔画对应的错误概率超过预设概率阈值,其中,错误概率表示儿童书写者将标准笔画错误书写为该纠错笔画的概率)。例如,参照图3所示的书写实例,儿童书写者经常将标准笔画三点水偏旁中某一个点的书写方向错误,即书写了一个纠错笔画,而纠错笔画库中错误的三点水偏旁与在预设笔画库中正确的三点水偏旁(即标准笔画)存在有映射关系,如果在纠错笔画库中找到与待测字体中待测笔画相匹配的纠错笔画,则说明待测字体中存在错误笔画,进一步根据该纠错笔画即可到预设笔画库中找到与待测字体中待测笔画对应的标准笔画。这里通过纠错笔画库预先对待测字体中笔画进行匹配的过程可以在书写测评之前提前识别出待测字体中的错误笔画,并利用纠错笔画库与预设笔画库之间的映射关系确定出该错误笔画对应的标准笔画,能够提前对待测笔画进行笔画纠错,从一定程度上提高了笔画测评的效率。由于儿童的书写习惯与成人不同,儿童书写时通常可根据笔画进行图像模仿,也就是通过图像模仿来书写笔画,本发明的上述实施例,针对儿童书写者,通过纠错数据库建立图像模仿和笔画的关系,并且对儿童书写者书写时产生的待测字体的笔画数据进行有针对性的笔画纠错,从而更加适应儿童在书写时采用图像模仿的书写习惯的情况,进而可以使最终得到的书写测评结果更能真实的反应儿童书写者的书写情况,提高了测评结果的准确性。
具体在将待测字体的笔画数据处理得到笔画特征数据过程中,可以确定待测字体的笔画数据中采样点的空间信息和时间信息;利用采样点的空间信息和时间信息对待测字体的笔画数据进行特征提取,得到笔画特征数据。具体地,将笔画数据形成的点集进行预处理(例如删除点集中平滑部分的冗余点,只保留转折部分的拐点),进而对预处理后的采样点进行时序等距采样并进行编码,从而得到笔画特征数据,该笔画特征数据可以使用M(M为离散采样点的点数)维向量来表示(即采样编码为M维向量),具体形式为时序序列,每一维向量的码值为0-360°的角度,在后续计算损失函数值的过程中需要使用笔画特征数据(即根据两个笔画(待测笔画和标准笔画)的笔画特征数据计算出两个笔画之间的损失函数值)。具体在根据笔画分类结果,生成待测字体在笔画对错测评维度上的书写测评结果过程中,可以根据笔画分类结果,计算待测字体中待测笔画与标准笔画中标准笔画经过缩放、增删、偏转变成标准笔画对应的代价,得到待测字体中待测笔画与标准字体中标准笔画的损失函数值;并根据待测字体中待测笔画与标准字体中标准笔画的损失函数值,生成待测笔画在笔画对错测评维度上的书写测评结果。
在实际应用场景中,针对笔画对错维度的测评过程中笔画分类模型的训练,可以将笔画特征数据形成时序序列输入至循环神经网络模型,具体循环神经网络模型的结构如图4所示,通过采集儿童书写笔记中规范的样本进行笔画特征提取和标注,按照教育规范标准将笔画形成多个分类,将标注笔画经过特征提取后的笔画特征数据输入至循环神经网络进行训练,得到笔画分类模型,该笔画分类模型可以从预设笔画库中确定与待测字体中的待测笔画对应的标准笔画。
进一步地,考虑到儿童书写时出现的连笔情况,例如,“了”字本来由“横撇”和“竖钩”两笔组成,但书写时写成了一笔。为了能够准确检测出连笔的字体,可以通过训练笔画分类模型过程中引入注意力机制,进而训练出可适用于连笔分割的笔画分类模型(即引入了注意力机制的笔画分类模型),具体在训练过程中使用编码器-解码器(encoder-decoder)结构,该编码器-解码器结构如图5所示,编码器先将输入数据编码成一个上下文向量c,注意力机制通过在解码器的每个时间输入不同的上下文向量c来保证当前输入为当前输出所需要的上下文信息,即解码结构采用注意力机制解码出预设笔画库与上下文向量c匹配的标准笔画。
在实际应用场景中,针对笔画对错维度的测评过程中损失函数值的计算,主要包括局部特征提取、角度偏差映射和代价计算三个部分。对于待测笔画的M个编码(如上文提及笔画特征数据中的角度编码值),局部特征提取是指提取出的M个编码(即M个局部特征)中,每个位置的编码反映的是该位置附近一定范围R内(这里可以取R=M/5)所有相似笔段的整体特征,使得编码序列尽可能平滑,保留笔画的关键信息并剔除部分噪点。角度偏差映射是针对在书写中,对某一笔画偏差角度的容忍度,小角度的偏差被认为是正确定,过大角度的偏差通常被认为是书写错误,在该步骤中,根据两个笔画之间的角度偏差计算出对应的角度偏差映射值(或称为主观偏差)。代价计算是根据待测笔画与标准笔画进行采样后的编码以及待测笔画与标准笔画各自的局部特征,计算出将待测笔画经过缩放、增删、偏转变成标准笔画的代价大小,即待测笔画与标准笔画之间的损失函数值。
针对局部特征提取过程,假定原始序列用数组code(即待测笔画的M个编码对应的数组)表示,位置i处的码值为code[i](i=0,1,2,…,M-1),i位置局部特征提取的方法如下:步骤一,设置code[i]的前向码值code_front与后向编码code_back,初始时code_front=code_back=code[i],用一个空的集合Ri储存结果,将code[i]作为一次结果保存到集合Ri中;步骤二,前向编码、后向编码分别向前、向后各扩散一次,扩散:code_front=code[i-1],code_back=code[i+1],当扩散至i=0或i=M-1的数组边界时,对应地让code_front或code_back的码值取+∞;步骤三,比较code_front与code_back的大小,若code_front<code_back,扩散code_front一次,反之则扩散code_back一次,扩散后将之前较小的码值作为一次结果保存到集合Ri中;步骤四,重复步骤三,直至集合Ri中的元素数量达到R,计算Ri的均值Rmi,Rmi即为位置i处的局部特征。
针对角度偏差映射过程,书写测评结果对某一笔画书写偏差角度的容忍度是有限的,具体如图6所示,小角度的偏差(如轨迹1),主观上认为是书写正确的,过大角度的偏差(如轨迹2),主观上认为是书写错误的。主观偏差跟角度偏差的关系并不是线性关系,而是一个小角度不敏感,大角度敏感,且角度超过一定范围恒定判错的关系。基于这个特点,将角度偏差按照书写主观偏差划分为三个区间:近似相等区间(0°-25°)、敏感区间(25°-90°),恒定判错区间(>90°)。建立了如下角度偏差θ(即待测笔画与标准笔画之间的角度偏差)与主观偏差L(θ)的映射关系:
Figure BDA0003062914410000191
针对代价计算过程,待测笔画与标准笔画均为采样后编码,编码数量分别为M、N,将损失函数值定义为待测笔画经过缩放、增删、偏转变成标准笔画的代价大小,具体如图7中的三种示例,分别存在笔画缩短、笔画增加、笔画偏移的情况,根据儿童的书写习惯,缩放的代价比较小,增删的代价比较大,定义增删一位编码的代价为0.8,缩放一位编码的代价为0.1,偏转一位编码的代价根据偏转角度差的公式计算得到。设code_c,code_n分别代表待测笔画与标准笔画的编码,R_c,R_n分别代表待测笔画与标准笔画的局部特征,D(i,j)代表待测笔画的前i位编码与标准笔画的前j位编码的代价大小,具体迭代过程如下所示。
初始化:
Figure BDA0003062914410000192
迭代方程:
Figure BDA0003062914410000201
其中,D(M,N)即为待测笔画与标准笔画的损失函数值。
其中,当待测笔画和标准笔画对应的笔画分类结果不同时,得到的书写测评结果为该待测笔画书写错误;当待测笔画和标准笔画之间的损失函数值小于或等于预设损失函数值阈值时,得到的书写测评结果为该待测笔画书写正确;当待测笔画和标准笔画之间的损失函数值大于预设损失函数值阈值时,得到的书写测评结果为该待测笔画书写不规范。
在本发明实施例中,在针对笔画顺序测评维度对待测字体进行测评时,在计算待测笔画和标准笔画之间的损失函数值时,可以根据针对上述迭代过程计算。
进一步地,为了提高书写测评的准确性,还可以在针对待测字体进行多个维度测评之后,利用OCR辅助模块作为辅助测评流程,对待测字体进行整体间架结构的测评,具体可以将待测字体以图片的形式输入至预先构建的字体分类模型中进行识别,得到字体分类结果,该分类结果用于表征所属的字体分类,若待测字体所属的字体分类与标准字体所属的字体分类一致,则说明待测字体与标准字体间架结构相同,无需调整,若待测字体所属的字体分类与标准字体所属的字体分类不一致,则说明待测字体的间架结构需要调整,并输出待测字体所对应字形架构错误的提示信息。例如,“人”字和“八”字在笔画组成上都是一撇一捺,当标准字体为“人”时,书写者输入待测字体为“八”的情况是不会提示书写错误的,此时需要OCR辅助模块来对待测字体针对间架结构的错误进行提示。
在本发明实例中,该OCR模块可以辅助分辨笔画相同但结构有微小差异的字体(例如,“人”字和“八”字),并纠正书写者在书写词语、句子时的错别字问题,这里字体分类模型可以利用rsent-18为基础结构的网络模型进行训练得到,具体训练过程可以采用已经公开的数据集,并收集幼儿小学常用的1300字的书写数据进行强化训练。
具体在实际应用场景中,整个书写测评过程可以如图8所示,首先将待测字体输入至书写测评系统,由书写测评系统实时获取待测字体的笔画数据,并将笔画数据切割(即按照行笔动作将笔触的采样点划分到各个待测笔画)后,计算待测字体的笔画数量与标准字体的笔画数量是否一致,若不一致,则输出具体错误的测评细节,若一致,则计算笔画匹配结果(即将待测字体中的待测笔画与标准字体中的标准笔画进行匹配),进一步统计笔画匹配结果中标准字体是否存在未匹配的笔画,若存在,则输出具体错误的测评细节,若不存在,则统计笔画匹配结果中笔画顺序是否正确,若错误,则输出具体错误的测评细节,若正确,则统计所有待测笔画的行笔方向是否正确,若错误,则输出具体错误的测评细节,若正确,则计算待测笔画位置、长短、交接关系、长宽比,并针对笔画位置、长短、交接关系、长宽比测评维度对待测笔画进行测评,以判断书写是否规范,若不规范,则输出具体错误的测评细节,若规范,则判定书写规范,并结束书写测评流程。这里在最终测评时,可根据严重程度将书写错误划分为四个等级,分别包括a)书写规范;b)笔画顺序均正确,但是部分笔画的长短、位置、交接逻辑、长宽比等细节没有做好;c)整体字形正确,但书写顺序出现错误或行笔方向出现错误;d)字形书写出现错误,包括:笔画书写错误或不规范、笔画数量错误。
进一步的,作为图1和图2方法的具体实现,本申请实施例提供了一种书写测评装置,如图9所示,该装置包括:获取单元31、第一确定单元32、第二确定单元33、第一生成单元34。
获取单元31,可以用于实时获取待测字体的笔画数据,所述笔画数据为按照行笔动作将笔触的采样点划分到各个待测笔画所形成的数据;
第一确定单元32,可以用于针对预先设置的笔画顺序测评维度,根据所述待测字体的笔画数据与标准字体的笔画数据,确定所述待测字体的各个待测笔画与所述标准字体的各个标准笔画之间的差异度;
第二确定单元33,可以用于根据所述差异度,确定所述待测字体的各个待测笔画中,与所述标准字体的各个标准笔画一一匹配的待测笔画,并将每个标准笔画的第一笔画顺序索引和与所述每个标准笔画匹配的待测笔画的第二笔画顺序索引组成一个索引对;
第一生成单元34,可以用于根据所述索引对生成所述待测字体在所述笔画顺序测评维度上的书写测评结果,其中,所述待测字体在所述笔画顺序测评维度上的书写测评结果用于表示所述待测字体中是否存在笔画顺序书写错误的笔画。
本发明实施例提供的书写测评装置,与目前现有方式中仅通过三个测评维度进行书写测评方式相比,本申请通过实时获取待测字体的笔画数据,该笔画数据为按照行笔动作将笔触的采样点划分到各个待测笔画所形成的数据,然后针对预先设置的笔画顺序测评维度,根据待测字体的笔画数据与标准字体的笔画数据,确定待测字体的各个待测笔画与标准字体的各个标准笔画之间的差异度,并根据差异度,确定所测字体的各个待测笔画中,与标准字体的各个标准笔画一一匹配的待测笔画,并将每个标准笔画的第一笔画顺序索引和与每个标准笔画匹配的待测笔画的第二笔画顺序索引组成一个索引对,根据索引对生成待测字体在所述笔画顺序测评维度上的书写测评结果,该待测字体在笔画顺序测评维度上的书写测评结果用于表示待测字体中是否存在笔画顺序书写错误的笔画,能够针对儿童书写过程出现的书写正确但笔画顺序出现错误的情况进行有效测评,从而提供更全面的书写测评方式,给予书写者正确的测评指导。
在具体的应用场景中,如图10所示,所述第一确定单元32包括:
第一确定模块321,可以用于对于所述标准字体中的每个标准笔画,遍历所述待测字体中的所有待测笔画,确定所述所有待测笔画中的每个待测笔画与所述每个标准笔画之间的差异度;
第二确定模块322,可以用于在所述所有待测笔画与所述每个标准笔画之间的差异度的最小值小于第一预设阈值时,将所述最小值对应的待测笔画确定为与所述每个标准笔画一一匹配的待测笔画。
在具体的应用场景中,如图10所示,所述第一确定模块321包括:
计算子模块3211,可以用于当所述每个待测笔画和所述每个标准笔画对应的笔画分类结果相同时,根据所述每个待测笔画和所述每个标准笔画之间的各个笔画描述特征值计算出所述每个待测笔画和所述每个标准笔画之间的差异度;
选取子模块3212,可以用于当所述每个待测笔画和所述每个标准笔画对应的笔画分类结果不同时,将预设差异度作为所述每个待测笔画和所述每个标准笔画之间的差异度,其中,所述预设差异度大于固定阈值。
在具体的应用场景中,所述各个笔画描述特征值至少包括以下之一:笔画之间的损失函数值,笔画之间的笔画长度比例特征值,笔画之间的笔画位置比例特征值,所述计算子模块,具体用于针对所述笔画顺序测评维度在所述各个笔画描述特征上的测评需求,确定每个所述笔画描述特征值映射的权重比例;
所述计算子模块,具体还用于按照每个所述笔画描述特征值映射的权重比例,对所述每个待测笔画和所述每个标准笔画之间的各个笔画描述特征值进行加权求和计算,得到所述每个待测笔画和所述每个标准笔画之间的差异度。
在具体的应用场景中,如图10所示,所述装置还包括:
测评单元35,可以用于在所述实时获取待测字体的笔画数据之后,根据预先设置的多个测评维度以及所述多个测评维度对应的测评顺序,按照所述测评顺序对所述待测字体进行所述多个测评维度的测评,其中,所述多个测评维度包括所述笔画顺序测评维度;
判断单元36,可以用于在所述根据预先设置的多个测评维度以及所述多个测评维度对应的测评顺序,按照所述测评顺序对所述待测字体进行所述多个测评维度的测评之后,获取所述待测字体在多个测评维度上分别对应的书写测评结果,判断所述待测字体在多个测评维度上分别对应的书写测评结果是否符合对应的测评条件;
第一输出单元37,可以用于若所述待测字体在多个测评维度上的书写测评结果均符合测评条件,则输出待测字体符合书写规范的提示信息,否则,根据不符合测评条件的测评维度上的书写测评结果生成对应的提示信息。
在具体的应用场景中,所述多个测评维度包括笔画对错测评维度,所述装置还包括:
处理单元,用于将所述待测字体的笔画数据处理得到笔画特征数据;
第一识别单元,用于将所述笔画特征数据输入至预先构建的笔画分类模型中进行识别,得到笔画分类结果,所述笔画分类结果用于表征预设笔画库中与所述待测字体中的待测笔画对应的标准笔画;
第二生成单元,用于根据所述笔画分类结果,生成待测字体在笔画对错测评维度上的书写测评结果。
在具体的应用场景中,所述第二生成单元包括:
计算模块,用于根据所述笔画分类结果,计算通过执行以下操作中的至少之一:缩放、增删、偏转,将所述待测字体中待测笔画转变为所述笔画分类结果表示的标准笔画对应的代价,得到所述待测字体中待测笔画与所述笔画分类结果表示的标准笔画之间的损失函数值;
根据所述待测字体中待测笔画与所述笔画分类结果表示的标准笔画的损失函数值,生成所述待测字体在所述笔画对错测评维度上的书写测评结果。
在具体的应用场景中,所述处理单元包括:
确定模块,用于确定所述待测字体的笔画数据中采样点的空间信息和时间信息;
提取模块,用于利用所述采样点的空间信息和时间信息对所述待测字体的笔画数据进行特征提取,得到笔画特征数据。
在另一个实施例中,所述装置还包括:
第二识别单元,用于在所述实时获取待测字体的笔画数据之后,将所述待测字体以图片的形式输入至预先构建的字体分类模型中进行识别,得到字体分类结果,所述字体分类结果用于表征待测字体所属的字体分类;
第二输出单元,用于若所述待测字体所属的字体分类与所述标准字体所属的字体分类不一致,则输出待测字体的字形架构书写错误的提示信息。
需要说明的是,本实施例提供的一种书写测评装置所涉及各功能单元的其它相应描述,可以参考图1-图2中的对应描述,在此不再赘述。
基于上述如图1-图2所示方法,相应的,本申请实施例还提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述如图1-图2所示的书写测评方法。
基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景所述的方法。
基于上述如图1-图2所示的方法,以及图9-图10所示的虚拟装置实施例,为了实现上述目的,本申请实施例还提供了一种书写测评的实体设备,具体可以为计算机,智能手机,平板电脑,智能手表,服务器,或者网络设备等,该实体设备包括存储介质和处理器;存储介质,用于存储计算机程序;处理器,用于执行计算机程序以实现上述如图1-图2所示的书写测评方法。
可选的,该实体设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。
在示例性实施例中,参见图11,上述实体设备包括通信总线、处理器、存储器和通信接口,还可以包括、输入输出接口和显示设备,其中,各个功能单元之间可以通过总线完成相互间的通信。该存储器存储有计算机程序,处理器,用于执行存储器上所存放的程序,执行上述实施例中的画作挂载方法。
本领域技术人员可以理解,本实施例提供的一种书写测评的实体设备结构并不构成对该实体设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述店铺搜索信息处理的实体设备硬件和软件资源的程序,支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信,以及与信息处理实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。通过应用本申请的技术方案,与目前现有方式相比,本申请待测字体在笔画顺序测评维度上的书写测评结果用于表示待测字体中是否存在笔画顺序书写错误的笔画,能够针对儿童书写过程出现的书写正确但笔画顺序出现错误的情况进行有效测评,从而提供更全面的书写测评方式,给予书写者正确的测评指导。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (12)

1.一种书写测评方法,其特征在于,包括:
实时获取待测字体的笔画数据,所述笔画数据为按照行笔动作将笔触的采样点划分到各个待测笔画所形成的数据;
针对预先设置的笔画顺序测评维度,根据所述待测字体的笔画数据与标准字体的笔画数据,确定所述待测字体的各个待测笔画与所述标准字体的各个标准笔画之间的差异度;
根据所述差异度,确定所述待测字体的各个待测笔画中,与所述标准字体的各个标准笔画一一匹配的待测笔画,并将每个标准笔画的第一笔画顺序索引和与所述每个标准笔画匹配的待测笔画的第二笔画顺序索引组成一个索引对;
根据所述索引对生成所述待测字体在所述笔画顺序测评维度上的书写测评结果,其中,所述待测字体在所述笔画顺序测评维度上的书写测评结果用于表示所述待测字体中是否存在笔画顺序书写错误的笔画。
2.根据权利要求1所述的方法,其特征在于,所述针对预先设置的笔画顺序测评维度,根据所述待测字体的笔画数据与标准字体的笔画数据,确定所述待测字体的各个待测笔画与所述标准字体的各个标准笔画之间的差异度,以及所述根据所述差异度,确定所述待测字体的各个待测笔画中,与所述标准字体的各个标准笔画一一匹配的待测笔画,具体包括:
对于所述标准字体中的每个标准笔画,遍历所述待测字体中的所有待测笔画,确定所述所有待测笔画中的每个待测笔画与所述每个标准笔画之间的差异度;
在所述所有待测笔画与所述每个标准笔画之间的差异度的最小值小于第一预设阈值时,将所述最小值对应的待测笔画确定为与所述每个标准笔画一一匹配的待测笔画。
3.根据权利要求2所述的方法,其特征在于,所述确定所述所有待测笔画中的每个待测笔画与所述每个标准笔画之间的差异度,包括:
当所述每个待测笔画和所述每个标准笔画对应的笔画分类结果相同时,根据所述每个待测笔画和所述每个标准笔画之间的各个笔画描述特征值计算出所述每个待测笔画和所述每个标准笔画之间的差异度;
当所述每个待测笔画和所述每个标准笔画对应的笔画分类结果不同时,将预设差异度作为所述每个待测笔画和所述每个标准笔画之间的差异度,其中,所述预设差异度大于固定阈值。
4.根据权利要求3所述的方法,其特征在于,所述各个笔画描述特征值至少包括以下之一:笔画之间的损失函数值,笔画之间的笔画长度比例特征值,笔画之间的笔画位置比例特征值,所述根据所述每个待测笔画和所述每个标准笔画之间的各个笔画描述特征值计算出所述每个待测笔画和所述每个标准笔画之间的差异度,具体包括:
针对所述笔画顺序测评维度在所述各个笔画描述特征上的测评需求,确定每个所述笔画描述特征值映射的权重比例;
按照每个所述笔画描述特征值映射的权重比例,对所述每个待测笔画和所述每个标准笔画之间的各个笔画描述特征值进行加权求和计算,得到所述每个待测笔画和所述每个标准笔画之间的差异度。
5.根据权利要求1-4中任一项所述的方法,其特征在于,在所述实时获取待测字体的笔画数据之后,所述方法还包括:
根据预先设置的多个测评维度以及所述多个测评维度对应的测评顺序,按照所述测评顺序对所述待测字体进行所述多个测评维度的测评,其中,所述多个测评维度包括所述笔画顺序测评维度;
其中,在所述根据预先设置的多个测评维度以及所述多个测评维度对应的测评顺序,按照所述测评顺序对所述待测字体进行所述多个测评维度的测评之后,所述方法还包括:
获取所述待测字体在多个测评维度上分别对应的书写测评结果,判断所述待测字体在所述多个测评维度上分别对应的书写测评结果是否符合对应的测评条件;
若所述待测字体在所述多个测评维度上的书写测评结果均符合测评条件,则输出所述待测字体符合书写规范的提示信息,否则,根据不符合测评条件的测评维度上的书写测评结果生成对应的提示信息。
6.根据权利要求5所述的方法,其特征在于,所述多个测评维度包括笔画对错测评维度,所述方法还包括:
将所述待测字体的笔画数据处理得到笔画特征数据;
将所述笔画特征数据输入至预先构建的笔画分类模型中进行识别,得到笔画分类结果,所述笔画分类结果用于表征预设笔画库中与所述待测字体中的待测笔画对应的标准笔画;
根据所述笔画分类结果,生成所述待测字体在所述笔画对错测评维度上的书写测评结果。
7.根据权利要求6所述的方法,其特征在于,所述根据所述笔画分类结果,生成所述待测字体在所述笔画对错测评维度上的书写测评结果,具体包括:
根据所述笔画分类结果,计算通过执行以下操作中的至少之一:缩放、增删、偏转,将所述待测字体中待测笔画转变为所述笔画分类结果表示的标准笔画对应的代价,得到所述待测字体中待测笔画与所述笔画分类结果表示的标准笔画之间的损失函数值;
根据所述待测字体中待测笔画与所述笔画分类结果表示的标准笔画的损失函数值,生成所述待测字体在所述笔画对错测评维度上的书写测评结果。
8.根据权利要求6所述的方法,其特征在于,所述将所述待测字体的笔画数据处理得到笔画特征数据,具体包括:
确定所述待测字体的笔画数据中采样点的空间信息和时间信息;
利用所述采样点的空间信息和时间信息对所述待测字体的笔画数据进行特征提取,得到笔画特征数据。
9.根据权利要求1-4中任一项所述的方法,其特征在于,在所述实时获取待测字体的笔画数据之后,所述方法还包括:
将所述待测字体以图片的形式输入至预先构建的字体分类模型中进行识别,得到字体分类结果,所述字体分类结果用于表征待测字体所属的字体分类;
若所述待测字体所属的字体分类与所述标准字体所属的字体分类不一致,则输出待测字体的字形架构书写错误的提示信息。
10.一种书写测评装置,其特征在于,包括:
获取单元,用于实时获取待测字体的笔画数据,所述笔画数据为按照行笔动作将笔触的采样点划分到各个待测笔画所形成的数据;
第一确定单元,用于针对预先设置的笔画顺序测评维度,根据所述待测字体的笔画数据与标准字体的笔画数据,确定所述待测字体的各个待测笔画与所述标准字体的各个标准笔画之间的差异度;
第二确定单元,用于根据所述差异度,确定所述待测字体的各个待测笔画中,与所述标准字体的各个标准笔画一一匹配的待测笔画,并将每个标准笔画的第一笔画顺序索引和与所述每个标准笔画匹配的待测笔画的第二笔画顺序索引组成一个索引对;
第一生成单元,用于根据所述索引对生成所述待测字体在所述笔画顺序测评维度上的书写测评结果,其中,所述待测字体在所述笔画顺序测评维度上的书写测评结果用于表示所述待测字体中是否存在笔画顺序书写错误的笔画。
11.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述书写测评方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述书写测评方法的步骤。
CN202110518003.4A 2021-05-12 2021-05-12 书写测评方法、装置及设备 Pending CN115346225A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110518003.4A CN115346225A (zh) 2021-05-12 2021-05-12 书写测评方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110518003.4A CN115346225A (zh) 2021-05-12 2021-05-12 书写测评方法、装置及设备

Publications (1)

Publication Number Publication Date
CN115346225A true CN115346225A (zh) 2022-11-15

Family

ID=83977927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110518003.4A Pending CN115346225A (zh) 2021-05-12 2021-05-12 书写测评方法、装置及设备

Country Status (1)

Country Link
CN (1) CN115346225A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343242A (zh) * 2023-05-30 2023-06-27 山东一品文化传媒有限公司 基于图像数据的试题实时批阅方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343242A (zh) * 2023-05-30 2023-06-27 山东一品文化传媒有限公司 基于图像数据的试题实时批阅方法及系统
CN116343242B (zh) * 2023-05-30 2023-08-11 山东一品文化传媒有限公司 基于图像数据的试题实时批阅方法及系统

Similar Documents

Publication Publication Date Title
CN110147457B (zh) 图文匹配方法、装置、存储介质及设备
Ko et al. Sign language recognition with recurrent neural network using human keypoint detection
US20210397266A1 (en) Systems and methods for language driven gesture understanding
RU2661750C1 (ru) Распознавание символов с использованием искусственного интеллекта
CN111275038A (zh) 图像文本识别方法、装置、计算机设备及计算机存储介质
Harouni et al. Online Persian/Arabic script classification without contextual information
CN109285111B (zh) 一种字体转换的方法、装置、设备及计算机可读存储介质
CN111667066B (zh) 网络模型的训练、文字识别方法、装置和电子设备
US4773098A (en) Method of optical character recognition
CN111507330B (zh) 习题识别方法、装置、电子设备及存储介质
CN113111154B (zh) 相似度评估方法、答案搜索方法、装置、设备及介质
CN113254654B (zh) 模型训练、文本识别方法、装置、设备和介质
Bhattacharya et al. A sigma-lognormal model-based approach to generating large synthetic online handwriting sample databases
CN113449801B (zh) 一种基于多级图像上下文编解码的图像人物行为描述生成方法
CN112215236B (zh) 文本识别方法、装置、电子设备及存储介质
Zhao et al. Deep imitator: Handwriting calligraphy imitation via deep attention networks
CN115937873A (zh) 一种基于可辨识单字字符的在线笔迹验证系统及方法
EP0131681A2 (en) Method of optical character recognition
CN115620312A (zh) 跨模态字符笔迹验证方法、系统、设备及存储介质
CN110414622B (zh) 基于半监督学习的分类器训练方法及装置
CN115346223A (zh) 书写信息的评测方法和装置、电子设备和存储介质
CN114639096A (zh) 文本识别方法、装置、电子设备和存储介质
CN115346225A (zh) 书写测评方法、装置及设备
CN110020638A (zh) 人脸表情识别方法、装置、设备和介质
CN111126160B (zh) 基于五笔输入法构建的智能汉字结构评价方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination