CN113807295B - 手写识别方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明提供一种手写识别方法、装置、电子设备和存储介质，所述方法包括：基于预设手写模式和手写轨迹序列，确定用于规整所述手写轨迹序列中各手写字符高度的目标字高；将各手写字符的高度规整至目标字高，得到规整轨迹序列；基于规整轨迹序列进行手写识别。本发明提供的手写识别方法、装置、电子设备和存储介质，能够使得各种手写模式下的各手写字符均能调整至统一的目标字高，避免各手写字符高度不一影响手写识别精度的问题。

Description

手写识别方法、装置、电子设备和存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种手写识别方法、装置、电子设备和存储介质。

背景技术

作为一种简单方便而又高效的输入方式，手写识别改变了传统的基于复杂编码或拼音输入的键盘模式，为自然人性的人机交互提供了便利条件。

目前手写识别多通过对手写轨迹序列的特征进行文本识别，得到识别结果。然而，该方法应用于自由写模式下时，由于各手写字符是在手写区域内任意书写，且各手写字符的大小不一，导致识别结果精度较低。

发明内容

本发明提供一种手写识别方法、装置、电子设备和存储介质，用以解决现有技术中在自由写模式下手写识别精度较低的缺陷。

本发明提供一种手写识别方法，包括：

基于预设手写模式和手写轨迹序列，确定目标字高，所述目标字高用于规整所述手写轨迹序列中各手写字符高度；

将所述各手写字符的高度规整至所述目标字高，得到规整轨迹序列；

基于所述规整轨迹序列进行手写识别。

根据本发明提供的一种手写识别方法，所述基于预设手写模式和手写轨迹序列，确定用于规整各手写字符高度的目标字高，包括：

在所述预设手写模式为自由写模式时，基于各手写字符的字高以及各手写字符对应笔画的高度，确定所述目标字高。

根据本发明提供的一种手写识别方法，所述基于各手写字符的字高以及各手写字符对应笔画的高度，确定所述目标字高，包括：

基于各手写字符对应笔画的高度，确定各手写字符的平均笔画高度；

基于各手写字符的实际字高，以及各手写字符的平均笔画高度，确定各手写字符的字高笔画比例；

基于各手写字符的平均笔画高度，以及各手写字符的字高笔画比例，确定所述目标字高。

根据本发明提供的一种手写识别方法，所述基于预设手写模式和手写轨迹序列，确定用于规整各手写字符高度的目标字高，包括：

在所述预设手写模式为行写模式时，对所述手写轨迹序列中各笔画进行行检测，并基于各笔画的行检测结果确定所述目标字高。

根据本发明提供的一种手写识别方法，所述对所述手写轨迹序列中各笔画进行行检测，包括：

基于当前笔画的笔画信息，以及所述当前笔画的上一笔画的行信息，确定所述当前笔画与所述上一笔画所属行的空间关联信息；

基于所述空间关联信息，对所述当前笔画进行行检测。

根据本发明提供的一种手写识别方法，所述基于当前笔画的笔画信息，以及所述当前笔画的上一笔画的行信息，确定所述当前笔画与所述上一笔画所属行的空间关联信息，包括：

基于所述笔画信息中的笔画位置，以及所述行信息中的行位置，确定所述空间关联信息中的相对位置信息；

和/或，基于所述笔画信息中的笔画位置，以及所述行信息中的行位置对所述当前笔画和所述上一笔画所属行进行合并，得到合并行的直线拟合信息，基于所述合并行的直线拟合信息和所述行信息中的直线拟合信息，确定所述空间关联信息中的行合并信息。

根据本发明提供的一种手写识别方法，所述基于所述合并行的直线拟合信息和所述行信息中的直线拟合信息，确定所述空间关联信息中的行合并信息，包括：

基于所述合并行的直线拟合信息，确定所述合并行的回归误差以及所述合并行的直线拟合倾斜度；

基于所述行信息中的直线拟合信息，确定所述上一笔画所属行的回归误差以及所述上一笔画所属行的直线拟合倾斜度；

基于所述合并行的高度、所述上一笔画所属行的高度、所述合并行的回归误差、所述合并行的直线拟合倾斜度、所述上一笔画所属行的回归误差以及所述上一笔画所属行的直线拟合倾斜度，确定所述行合并信息。

根据本发明提供的一种手写识别方法，所述基于所述空间关联信息，对所述当前笔画进行行检测，包括：

基于所述空间关联信息，确定所述当前笔画的笔画特征；

将所述当前笔画的笔画特征输入至行检测模型，得到所述行检测模型输出的所述当前笔画的行检测结果；

其中，所述行检测模型是基于样本手写轨迹点以及所述样本手写轨迹点中各笔画的所属行结果进行训练得到的；所述行检测模型用于基于所述当前笔画的笔画特征，以及所述上一笔画的笔画特征进行行检测，得到所述当前笔画的行检测结果。

本发明还提供一种手写识别装置，包括：

确定单元，用于基于预设手写模式和手写轨迹序列，确定目标字高，所述目标字高用于规整所述手写轨迹序列中各手写字符高度；

规整单元，用于将所述各手写字符的高度规整至所述目标字高，得到规整轨迹序列；

识别单元，用于基于所述规整轨迹序列进行手写识别。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述手写识别方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述手写识别方法的步骤。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述手写识别方法的步骤。

本发明提供的手写识别方法、装置、电子设备和存储介质，基于预设手写模式和手写轨迹序列，确定用于规整各手写字符高度的目标字高，从而可以使得各种手写模式下的各手写字符均能调整至统一的目标字高，避免各手写字符高度不一影响手写识别精度的问题。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的手写识别方法的流程示意图；

图2是本发明提供的解码流程示意图；

图3是本发明提供的手写识别方法中步骤110的实施方式的流程示意图之一；

图4是本发明提供的手写识别方法中步骤110的实施方式的流程示意图之二；

图5是本发明提供的手写识别方法中步骤111b中确定行合并信息的实施方式的流程示意图；

图6是本发明提供的手写识别方法中步骤112b的实施方式的流程示意图；

图7是本发明提供的行检测模型的结构示意图；

图8是本发明提供的行检测模型的时间线展开图；

图9是本发明提供的手写识别装置的结构示意图；

图10是本发明提供的电子设备的结构示意图；

图11是本发明提供的行写示意图；

图12是本发明提供的竖写示意图；

图13是本发明提供的倾斜写示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前手写识别多通过对手写轨迹序列特征进行文本识别，得到识别结果，如将手写轨迹序列特征输入至训练完成的文本识别模型中，得到识别结果。

对于上述方法，在自由写模式下，如竖行书写或倾斜书写，由于各手写字符的高度差异较大，从而会影响识别结果的精度，如采用文本识别模型进行识别时，由于各手写字符的高度差异较大，会影响模型的学习效果。

对此，本发明提供一种手写识别方法。图1是本发明提供的手写识别方法的流程示意图，如图1所示，该方法既可以应用在行写模式下，也可以应用在自由写模式下，还可以应用在其他类型的手写模型下，该方法应用在各种手写模式下时，可以保证手写识别精度，该方法具体包括如下步骤：

步骤110、基于预设手写模式和手写轨迹序列，确定目标字高，目标字高用于规整各手写字符高度。

此处，预设手写模式即用户预先设定的书写模式，具体可以是行写模式，也可以是自由写模式。其中，行写模式下既可以采用单行书写，也可以采用多行书写，自由写模式下可以采用竖行书写、倾斜书写等。手写轨迹序列是对应预设手写模式下用户写入笔画的轨迹信息，手写轨迹序列可以包含用户写入笔画中各个轨迹点的位置坐标、各个轨迹点的输入时序、各笔画的高度和宽度等。

考虑到不同的预设手写模式下，各手写字符书写风格不同，因此需要在确定目标字高时，考虑预设手写模式的影响。例如，对于行写模式，各手写字符的书写风格为各手写字符在对应的所在行进行书写，从而各手写字符的高度基本一致，进而可以基于各手写字符的平均高度或所在行的高度确定目标字高；对于自由写模式，各手写字符的书写风格为在手写区域内任意书写，且各手写字符大小不一，从而导致各手写字符的高度差异较大，此时无法确定各手写字符的所在行，进而需要考虑各手写字符中各笔画的高度来确定目标字高。

当预设手写模式为行写模式时，由于各手写字符是在对应行区域内书写的，各行手写字符的高度差异较小。在此情况下，可以以各行行高作为目标字高，也可以以各行手写字符的平均高度作为目标字高，将各行手写字符规整至目标字高，从而使得规整后各行手写字符等高，进而提高手写识别精度。

当预设手写模式为自由写模式时，由于各手写字符是在手写区域内自由书写的，从而导致各手写字符高度差异较大。在此情况下，若以任一行的行高作为目标字高对各手写字符进行规整，则可能会导致规整后的各手写字符变形，进而影响最终的手写识别精度。此时，可以基于各手写字符的平均字高，和/或各手写字符的平均笔画字高，确定目标字高。

需要说明的是，由于自由写模式下各手写字符的位置不同，为了避免书写位置对提取手写轨迹序列特征的影响，本发明实施例对于手写轨迹序列中每一手写字符的每一轨迹点point_i的坐标值，可以减去该手写字符对应的第一个轨迹点point₀的坐标值，从而保证每个字符都可以从书写区域的页面顶点开始书写。

步骤120、将各手写字符的高度规整至目标字高，得到规整轨迹序列。

具体地，在确定目标字高后，可以将各手写字符的高度规整至目标字高，并将各手写字符的宽度进行等比缩放，避免各手写字符发生形变，进而得到字符等高的规整轨迹序列。

例如，假设目标字高为h_m，手写字符的高度为h，宽度为a，则可以将手写字符的高度调整至h_m，宽度调整至a×(h_m/h)。

步骤130、基于规整轨迹序列进行手写识别。

具体地，在得到规整轨迹序列后，即可基于规整轨迹序列所表征的各个轨迹点的特征，进行手写文本行识别，从而得到相应的识别结果，此处的识别结果即规整轨迹序列对应的字符。

进一步地，在进行手写识别时，可以对规整轨迹序列进行特征提取，得到规整轨迹序列特征，并将规整轨迹序列特征输入至预先训练好的手写识别模型，由手写识别模型基于规整轨迹序列特征进行手写识别，并输出相应的识别结果。此处的手写识别模型可以是基于样本手写轨迹序列以及对应的样本识别结果训练得到的，手写识别模型可以是基于编码器-解码器encoder-decoder架构构建的。

本发明实施例提供的手写识别方法，基于预设手写模式和手写轨迹序列，确定用于规整各手写字符高度的目标字高，从而可以使得各种手写模式下的各手写字符均能调整至统一的目标字高，避免各手写字符高度不一影响手写识别精度的问题。

基于上述实施例，步骤110基于预设手写模式和手写轨迹序列，确定用于规整各手写字符高度的目标字高，包括：

在预设手写模式为自由写模式时，基于各手写字符的字高以及各手写字符对应笔画的高度，确定目标字高。

具体地，在预设手写模式为自由写模式时，由于各手写字符是在手写区域内自由书写的，从而导致各手写字符高度差异较大。在此情况下，若以任一行的行高作为目标字高对各手写字符进行规整，则可能会导致规整后的各手写字符变形，进而影响最终的手写识别精度。

各手写字符对应的笔画高度可以影响单个手写字符的识别精度，若各手写字符规整至目标字高后对应的笔画高度变形过大，则可能会影响对该手写字符的识别结果。然而，若仅根据各手写字符对应的笔画高度确定目标字高，则确定的目标字高可能仅能保证该手写字符不发生变形，但由于其它手写字符与该手写字符的字高不同，若以该目标字高进行规整则可能会导致其它手写字符发生变形。因此，本发明实施例结合各手写字符的字高以及各手写字符对应笔画的高度确定目标字高，从而既可以使得各手写字符规整至相同的高度，也可以保证基于目标高度进行规整后的各手写字符不产生形变，进而保证手写识别的精度。

基于上述任一实施例，图3是本发明提供的手写识别方法中步骤110的实施方式的流程示意图，如图3所示，基于各手写字符的字高以及各手写字符对应笔画的高度，确定目标字高，包括：

步骤111a、基于各手写字符对应笔画的高度，确定各手写字符的平均笔画高度；

步骤112a、基于各手写字符的实际字高，以及各手写字符的平均笔画高度，确定各手写字符的字高笔画比例；

步骤113a、基于各手写字符的平均笔画高度，以及各手写字符的字高笔画比例，确定目标字高。

具体地，各手写字符的平均笔画高度指各手写字符中所有笔画的平均高度，其具体可以通过如下方法获取：确定各手写字符中各笔画的高度，然后对各手写字符中所有笔画的高度求取平均值，得到各手写字符中所有笔画的平均高度，即为各手写字符的平均笔画高度。

在得到各手写字符的平均笔画高度后，可以结合各手写字符的实际字高，可以得到各手写字符的字高笔画比例。此处，各手写字符的字高笔画比例＝各手写字符的实际字高/各手写字符的平均笔画高度，各手写字符的字高笔画比例可以表征按照当前各手写字符中各笔画的高度，确定的各手写字符需要缩放的比例，即单个手写字符需要缩放的比例。

然而，自由写模式中包括多个大小不一的手写字符，若以任意一个手写字符的缩放比例对所有手写字符进行缩放，则可能会导致其它手写字符发生变形。因此，在得到各手写字符的字高笔画比例后，可以计算获取所有手写字符的字高笔画比例的平均值，即平均字高笔画比例，该平均字高笔画比例可以用于表示所有手写字符的缩放比例。

在此基础上，基于平均字高笔画比例和各手写字符的平均笔画高度，可以确定各手写字符的目标字高，使得各手写字符规整至目标字高后不发生形变，如各手写字符的目标字高＝各手写字符的平均笔画高度×平均字高笔画比例。

基于上述方法获取的目标字高，不仅可以使得各手写字符规整至相同的高度，也可以保证基于目标高度进行规整后的各手写字符不产生形变，进而保证手写识别的精度。

基于上述任一实施例，基于预设手写模式和手写轨迹序列，确定用于规整各手写字符高度的目标字高，包括：

在预设手写模式为行写模式时，对手写轨迹序列中各笔画进行行检测，并基于各笔画的行检测结果确定目标字高。

具体地，行写模式可以是单行书写模式或者多行书写模式。在预设手写模式为行写模式时，由于各手写字符是在对应行区域内书写的，从而各行手写字符的高度差异较小。在此情况下，可以先对手写轨迹序列中各笔画进行行检测，确定各笔画是否与上一笔画同属一行。

若所有笔画的检测结果为所有笔画均在同一行，则可以确定当前为单行书写模式，进而可以以该行行高作为目标字高，也可以以所有手写字符的平均高度作为目标字高，将各手写字符规整至目标字高。可选地，为了保证各字符不发生形变，可以将各手写字符的宽度按照高度的缩放比例进行规整，进而能够进一步提高手写识别精度。

若各笔画的检测结果为有多个笔画属于不同行，则可以确定当前为多行书写模式，此时可以将手写轨迹序列看作是由多个单行数据轨迹构成的，然后按照上述单行书写模式的目标字高确定方法，分别获取各行字符的目标字高，从而使得多行书写模式中的各单行数据对应的手写字符能够在不发生形变的情况下，规整至目标字高，保证手写识别的精度。

图4是本发明提供的手写识别方法中步骤110的实施方式的流程示意图之二，如图4所示，对手写轨迹序列中各笔画进行行检测，包括：

步骤111b、基于当前笔画的笔画信息，以及当前笔画的上一笔画的行信息，确定当前笔画与上一笔画所属行的空间关联信息。

此处，当前笔画的笔画信息是用户写入笔画的轨迹信息，包含用户写入当前笔画的位置坐标、当前笔画的高度、当前笔画的宽度、当前笔画的输入时间等。上一笔画的行信息是上一笔画所属行的信息，包含行的位置坐标、行的高度、行的宽度等。

根据当前笔画的笔画信息，以及当前笔画的上一笔画的行信息，可以得到当前笔画与上一笔画所属行的空间关联信息。空间关联信息是当前笔画与上一笔画所属行的空间位置关系，包含当前笔画与上一笔画所属行的距离，当前笔画与上一笔画所属行之间的公共区域面积、上一笔画所属行的直线拟合信息、当前笔画与上一笔画所属行合并后的直线拟合信息等。

例如，根据当前笔画的位置坐标、高度和宽度，可以确定当前笔画所在的第一区域；根据行的位置坐标、高度和宽度，可以确定上一笔画所属行所在的第二区域，第一区域与第二区域重叠的面积即为当前笔画与上一笔画所属行之间的公共区域面积。

步骤112b、基于空间关联信息，对当前笔画进行行检测。

具体地，空间关联信息可以表征当前笔画与上一笔画所属行之间的空间位置关系，基于该空间位置关系可以判断当前笔画是否与上一笔画同属一行，即当前笔画是否位于上一笔画所属行，进而得到当前笔画的行检测结果。

例如，若当前笔画与上一笔画所属行的距离越短，则表明当前笔画与上一笔画同属一行的概率越大。若当前笔画与上一笔画所属行的公共区域面积越大，则表明当前笔画与上一笔画同属一行的概率越大。

需要说明的是，相较于传统方法中基于当前笔画与上一笔画之间的相对位置对当前笔画进行行检测，本发明实施例采用当前笔画与上一笔画所属行之间的空间关联信息进行行检测，即本发明实施例是以上一笔画所属行为参照对当前笔画进行行检测，而不是以上一笔画为参照对当前笔画进行行检测，从而能够避免同属一行的当前笔画与上一笔画的间隔较大时导致的误检测，提高了行检测精度。

本发明实施例提供的手写识别方法，基于当前笔画与上一笔画所属行之间的空间关联信息进行行检测，也就是是以上一笔画所属行为参照对当前笔画进行行检测，从而能够避免传统方法中以上一笔画为参照对当前笔画进行行检测时，在同属一行的当前笔画与上一笔画的间隔较大的情况下导致错误行检测的问题，进而提高了手写识别的精度。

基于上述实施例，步骤111b包括：

基于笔画信息中的笔画位置，以及行信息中的行位置，确定空间关联信息中的相对位置信息；

和/或，基于笔画信息中的笔画位置，以及行信息中的行位置对当前笔画和上一笔画所属行进行合并，得到合并行的直线拟合信息，基于合并行的直线拟合信息和行信息中的直线拟合信息，确定空间关联信息中的行合并信息。

具体地，空间关联信息中可以包含相对位置信息，相对位置信息用于表征当前笔画与上一笔画所属行的相对位置关系。相对位置信息可以根据笔画位置以及行位置确定，其中笔画位置包含当前笔画的位置坐标，行位置包含上一笔画所属行的位置坐标。例如，基于笔画位置和行位置确定的相对位置信息可以包括：当前笔画与上一笔画所属行之间的最短距离、当前笔画的上边界到上一笔画所属行中轴的距离、当前笔画的下边界到上一笔画所属行中轴的距离、当前笔画与上一笔画所属行的上边界之间的距离、当前笔画与上一笔画所属行的下边界之间的距离等。

空间关联信息中可以包含行合并信息，行合并信息用于表征当前笔画与上一笔画所属行合并前后的直线拟合信息。行合并信息可以根据合并行的直线拟合信息和行信息中的直线拟合信息确定，其中合并行的直线拟合信息可以包括合并行的回归误差以及拟合直线的倾斜度、合并行的高度、宽度等，行信息中的直线拟合信息可以包括上一笔画所属行的回归误差以及拟合直线的倾斜度、上一笔画所属行的高度、宽度等。例如，基于合并行的直线拟合信息和行信息中的直线拟合信息确定的行合并信息可以包括：合并行的回归误差与上一笔画所属行的回归误差的差值、合并行的倾斜度与上一笔画所属行的倾斜度的差值、合并行高度与上一笔画所属行高度的差值等。

空间关联信息中还可以同时包含相对位置信息和行合并信息，从而后续在基于空间关联关系对当前笔画进行行检测时，融合有当前笔画与上一笔画所属行的相对位置关系，以及当前笔画与上一笔画所属行合并前后的直线拟合信息，从而能够进一步提高当前笔画的行检测精度。

基于上述任一实施例，图5是本发明提供的手写识别方法中步骤111b中确定行合并信息的实施方式的流程示意图，如图5所示，步骤111b中，基于合并行的直线拟合信息和行信息中的直线拟合信息，确定所述空间关联信息中的行合并信息包括如下步骤：

步骤111b-1、基于合并行的直线拟合信息，确定合并行的回归误差以及合并行的直线拟合倾斜度。

步骤111b-2、基于行信息中的直线拟合信息，确定上一笔画所属行的回归误差以及上一笔画所属行的直线拟合倾斜度；

步骤111b-3、基于合并行的高度、上一笔画所属行的高度、合并行的回归误差、合并行的直线拟合倾斜度、上一笔画所属行的回归误差以及上一笔画所属行的直线拟合倾斜度，确定行合并信息。

具体地，基于合并行的直线拟合信息，可以计算得到合并行的回归误差，其中合并行的回归误差可以为均方根误差、平均绝对误差和平均绝对百分比误差中的任一种。在计算合并行的直线拟合倾斜度时，可以基于合并行的直线拟合信息，采用最小二乘法得到合并行的直线拟合倾斜度。

同理，基于行信息中的直线拟合信息，可以计算得到上一笔画所属行的回归误差，以及可以采用最小二乘法计算得到上一笔画所属行的直线拟合倾斜度。其中，上一笔画所属行的回归误差可以为均方根误差、平均绝对误差和平均绝对百分比误差中的任一种。

基于合并行的高度以及上一笔画所属行的高度，可以得到合并行高度与上一笔画所属行高度的差值；基于合并行的回归误差以及上一笔画所属行的回归误差，可以得到合并行的回归误差与上一笔画所属行的回归误差的差值；基于合并行的直线拟合倾斜度以及上一笔画所属行的直线拟合倾斜度，可以得到合并行的倾斜度与上一笔画所属行的倾斜度的差值。上述合并行高度与上一笔画所属行高度的差值、合并行的回归误差与上一笔画所属行的回归误差的差值以及合并行的倾斜度与上一笔画所属行的倾斜度的差值可以构成用于表征当前笔画与上一笔画所属行合并前后的直线拟合信息的行合并信息。

基于上述任一实施例，图6是本发明提供的手写识别方法中步骤112b的实施方式的流程示意图，如图6所示，步骤112b包括：

步骤112b-1、基于空间关联信息，确定当前笔画的笔画特征。

步骤112b-2、将当前笔画的笔画特征输入至行检测模型，得到行检测模型输出的当前笔画的行检测结果；

其中，行检测模型是基于样本手写轨迹点以及样本手写轨迹点中各笔画的所属行结果进行训练得到的；行检测模型用于基于当前笔画的笔画特征，以及上一笔画的笔画特征进行行检测，得到当前笔画的行检测结果。

具体地，由于空间关联信息用于表征当前笔画与上一笔画所属行之间的空间位置关系，因此基于空间关联关系提取得到的当前笔画的笔画特征中包含有当前笔画与上一笔画所属行之间的空间位置信息。

在得到当前笔画的笔画特征后，将其输入至行检测模型，由行检测模型基于当前笔画的笔画特征，以及上一笔画的笔画特征进行行检测，判断当前笔画与上一笔画是否同属一行，进而得到当前笔画的行检测结果。

需要说明的是，由于手写轨迹点是按按笔画的书写顺序依次排列的，因此当前笔画的笔画特征中包含有当前笔画的时间信息。为了更好地提取笔画特征中包含的时间信息，本发明实施例可以基于循环神经网络构建行检测模型，使得行检测模型能够更好的处理序列的信息，进而准确得到行检测结果。

图7是本发明提供的行检测模型的结构示意图，图8是本发明提供的行检测模型的时间线展开图，如图7和图8所示，行检测模型包括输入层、隐藏层以及输出层，输入层在t时刻接收到输入x_t之后，隐藏层的值是s_t，输出层的输出值是o_t，而s_t的值不仅取决于x_t，还取决于上一时刻(t-1时刻)的隐藏层值s_t-1。其中，行检测模型的输入层大小可以为22，隐藏层大小可以为64，层数可以设为2层。

基于上述任一实施例，本发明提供一种当前笔画的笔画特征提取方法，该方法包括：

在进行手写输入时，形成手写轨迹点，对手写轨迹点进行笔画划分，如以预设符号对手写轨迹点中的抬笔位置进行标记，从而可以基于预设符号对手写轨迹点中的各笔画进行分割。

在对笔画分割后，由于当前笔画的笔画特征是以上一笔画所属行作为基准进行确定，而第一个笔画不存在上一笔画，即第一笔画的信息可以代表第一笔画所属行的信息，也就是第一笔画的笔画特征对应的就是第一笔画本身的特征信息。因此，本发明实施例从第二个笔画开始对每个笔画进行特征提取，具体为：

(1)遍历所有笔画，对于当前笔画stroke_i，将其上一笔画所属行记为line_m。

(2)分析当前笔画stroke_i和行line_m之间的空间位置关系，基于该空间位置关系提取得到当前笔画的笔画特征，如当前笔画的笔画特征可以包括：行line_m的高度、宽度、笔画数量，当前笔画stroke_i的高度、高度与宽度的比，当前笔画stroke_i与行line_m之间的最短距离，当前笔画stroke_i的上边界到行line_m中轴的距离，当前笔画stroke_i的下边界到行line_m中轴的距离，当前笔画stroke_i与行line_m的上边界距离、下边界距离，行line_m上边界到下边界距离，行line_m的下边界到下一行上边界距离，当前笔画stroke_i与行line_m之间公共区域的面积，行line_m的回归误差及拟合直线的倾斜度，行line_m与当前笔画stroke_i合并后的回归误差及拟合直线的倾斜度，合并前后的回归误差的差值及倾斜度的差值，合并后行line_m的高度和宽度，合并前后行line_m高度的差值。

(3)遍历新增笔画，对于每个笔画，重复步骤(2)，得到所有的笔画特征后，将其合并为一个矩阵。矩阵的行数为特征维度，矩阵的列数为笔画数量减1。

基于上述任一实施例，基于规整轨迹序列进行手写识别，包括：

对规整轨迹序列进行重采样，得到轨迹点间距均等的重采样轨迹点序列；

对重采样轨迹点序列进行贝塞尔曲线拟合，并基于拟合后的重采样轨迹点序列进行特征提取，得到手写轨迹序列特征；

基于手写轨迹序列特征进行手写识别。

具体地，手写轨迹序列即直接进行轨迹点采集得到的，由于用户在手写输入时笔画书写的速度可能发生变化，直接采集所得的手写轨迹序列中各个轨迹点之间的距离可能是不均等的，而距离不均等的手写轨迹序列可能会导致后续时间层面的特征提取不均匀，影响手写识别的准确性。因此，本发明实施例可以在基于规整轨迹序列进行手写识别之前，还可以对规整轨迹序列进行重采样，以获取轨迹点间距均等的重采样轨迹点序列。

进一步地，由于手写轨迹序列是由一系列的笔画组成，而每个笔画又由一系列带有时间戳的点组成，由于轨迹点采集设备的分辨率千差万别，存在严重的不一致性，因此，可以首先对重采样轨迹点序列中的各轨迹点的坐标进行归一化处理，然后为了准确的捕捉汉字形状，将归一化后的重采样轨迹点序列进行贝塞尔曲线拟合，如将重采样轨迹点序列转换为一系列的三次贝塞尔曲线，并基于拟合后的重采样轨迹点序列进行特征提取，得到手写轨迹序列特征。

需要说明的是，基于贝塞尔曲线拟合后的重采样轨迹点序列提取得到的手写轨迹序列特征，不仅能包含更广范围的上下文特征，而且能有效减少特征序列的帧数，提升识别速度。

可选地，对规整轨迹序列进行重采样的方法如下：

预先设定重采样后连续轨迹点之间的距离为S，并初始化一个空的集合resampled，以及一个参数D用于记录重采样笔画的进度，D的初始值为0。

将规整轨迹序列中的首个轨迹点point₀直接置入resampled中，随后，针对规整轨迹序列中的每个轨迹点，将该轨迹点point_i与前个轨迹点point_i-1之间的距离d累加到D，并比较累加后的D与预先设定的S的大小，如果D<S，则将i+1，并将更新后的轨迹点point_i与前个轨迹点point_i-1之间的距离d累加到D，重新判断D与S的大小；如果D≥S，则创建一个新的轨迹点q，q的位置与上一个重采样点之间的距离为S，且q在point_i-1与point_i之间，距离point_i-1为S－(D-d)。完成q的创建后，将q置入resampled中，并将q插入原始轨迹点序列的point_i之前，并返回更新D值，重新判断D与S的大小。

最终，将resampled作为重采样后的规整轨迹序列。

基于上述任一实施例，基于规整轨迹序列进行手写识别，包括：

对手写轨迹序列特征进行时空编码，得到轨迹点时空特征序列；

对轨迹点时空特征序列进行解码，得到识别结果。

具体地，针对手写轨迹序列特征的时空编码，可以通过时间层面上的卷积网络，例如双向长短时记忆网络实现。在对手写轨迹序列特征进行时空编码的过程中，提取了各个轨迹点的空间特征，以及各个轨迹点在时序上的特征，从而使得由此得到的轨迹点时空特征序列中各个轨迹点对应的特征能够实现时间层面和空间层面上的特征融合。

在得到轨迹点时空特征序列后，即可结合轨迹点时空特征序列中包含的时间层面和空间层面上的融合特征进行解码，从而得到手写识别的结果。

针对于当前解码时刻，可以基于当前解码时刻的解码状态和轨迹点上下文特征，以及上一解码时刻解码输出的字符进行解码，进而得到当前时刻解码输出的字符，将当前解码时刻输出的字符拼接在上一解码时刻的解码结果之后，即可得到当前解码时刻的解码结果。例如，可以采用如下公式表示当前解码时刻解码输出的字符y_t：

p(y_t|y₀,...,y_t-1,h)＝g(y_t-1,s_t,c_t)

式中，p(y_t|y₀,...,y_t-1,h)即基于当前解码时刻t之前的各解码时刻输出的字符y₀,...,y_t-1以及轨迹点时空特征序列h得到的当前解码时刻解码输出的字符y_t的概率。g为非线性函数，y_t-1为上一解码时刻t-1解码输出的字符，s_t和c_t分别为当前解码时刻的解码状态和轨迹点上下文编码。

当前解码时刻的解码状态s_t可以基于如下公式得到：

s_t＝f(s_t-1,y_t-1,c_t)

式中，f为预设函数，s_t-1为上一解码时刻的解码状态，c_t即当前解码时刻的轨迹点上下文特征。

进一步地，在获取当前解码时刻的轨迹点上下文特征的过程中，可以通过注意力机制，分析在当前解码时刻，轨迹点时空特征序列中各时空特征的重要性，具体可以在轨迹点时空特征序列以及上一解码时刻的解码状态的基础上，确定轨迹点时空特征序列中各时空特征的注意力权重。可选地，可以通过如下公式将各时空特征分别与上一解码时刻的解码状态进行注意力交互，从而得到各个时空特征的注意力权重：

式中，α_tn即当前解码时刻t轨迹点时空特征序列中第n个时空特征的注意力权重，N/16为轨迹点时空特征序列中的时空特征总数，e_tn即当前解码时刻t轨迹点时空特征序列中第n个时空特征的注意力得分，可以表示为如下形式：

其中，a为预设函数，s_t-1为上一解码时刻的解码状态，h_n为时空特征序列中第n个时空特征，W_a和U_a为权重矩阵。

基于上述任一实施例，图2是本发明提供的解码流程示意图，如图2所示，针对当前解码时刻，可以基于上一解码时刻的解码状态和轨迹点时空特征序列中的各时空特征进行注意力交互，进而得到当前解码时刻下各时空特征的注意力权重α_t1、α_t2、…、α_tN/16。分别对各时空特征进行加权求和，从而得到当前解码时刻的轨迹点上下文特征c_t。基于上一解码时刻的解码状态s_t-1、上一解码时刻解码输出的字符y_t-1以及当前解码时刻的轨迹点上下文特征c_t，确定当前解码时刻的解码状态s_t。在此基础上，结合上一解码时刻解码输出的字符y_t-1、当前解码时刻的解码状态s_t以及当前解码时刻的轨迹点上下文特征c_t，确定当前解码时刻解码输出的字符y_t。

基于上述任一实施例，本发明提供一种手写识别方法，该方法包括：

在行写模式下，基于当前笔画的笔画信息，以及当前笔画的上一笔画的行信息，提取当前笔画的笔画特征。将当前笔画的笔画特征输入至行检测模型中，得到当前笔画的行检测结果；其中，行检测模型是基于循环神经网络构建得到的，即行检测模型用于基于当前笔画的笔画特征，以及上一笔画的笔画特征，确定当前笔画的行检测结果。

在基于所有笔画的行检测结果确定当前为单行书写模式时，则可以根据行高或手写字符高度设置目标字高，并将各手写字符的高度规整至目标字高，同时将各手写字符的宽度按照高度的缩放比例等比缩放，得到规整轨迹序列。在基于所有笔画的行检测结果确定当前为多行书写模式时，则可以分别按照上述单行书写模式对应的目标字高确定方法分别确定各行手写字符对应的目标字高，并将各手写字符的高度规整至目标字高，同时将各手写字符的宽度按照高度的缩放比例等比缩放，得到规整轨迹序列。

在自由写模式下，基于各手写字符的实际字高，得到各手写字符的字高笔画比例＝各手写字符的实际字高/各手写字符的平均笔画高度。在得到各手写字符的字高笔画比例后，计算获取所有手写字符的字高笔画比例的平均值，即平均字高笔画比例，进而各字符的目标字高＝各手写字符的平均笔画高度×平均字高笔画比例。然后，将各手写字符的高度规整至目标字高，同时将各手写字符的宽度按照高度的缩放比例等比缩放，得到规整轨迹序列。

在得到规整轨迹序列后，对规整轨迹序列进行重采样，得到轨迹点间距均等的重采样轨迹点序列；对重采样轨迹点序列进行贝塞尔曲线拟合，并基于拟合后的重采样轨迹点序列进行特征提取，得到手写轨迹序列特征，并基于手写轨迹序列特征进行手写识别。

在基于手写轨迹序列特征进行手写识别时，对手写轨迹序列特征进行时空编码，得到轨迹点时空特征序列，并结合轨迹点时空特征序列中包含的时间层面和空间层面上的融合特征进行解码，得到识别结果。

采用本发明实施例提供的手写识别方法，在行写模式下，可以得到如图11所示的手写识别结果；在竖写模式下，可以得到如图12所示的手写识别结果；在倾斜写模式下，可以得到如图13所示的手写识别结果。

下面对本发明提供的手写识别装置进行描述，下文描述的手写识别方法与上文描述的手写识别方法可相互对应参照。

基于上述任一实施例，本发明还提供一种手写识别装置，图9是本发明提供的手写识别装置的结构示意图，如图9所示，该装置包括：

确定单元910，用于基于预设手写模式和手写轨迹序列，确定目标字高，所述目标字高用于规整所述手写轨迹序列中各手写字符高度；

规整单元920，用于将所述各手写字符的高度规整至所述目标字高，得到规整轨迹序列；

识别单元930，用于基于所述规整轨迹序列进行手写识别。

基于上述任一实施例，所述确定单元910，用于：

在所述预设手写模式为自由写模式时，基于各手写字符的字高以及各手写字符对应笔画的高度，确定所述目标字高。

基于上述任一实施例，所述确定单元910，包括：

笔画确定单元，用于基于各手写字符对应笔画的高度，确定各手写字符的平均笔画高度；

比例确定单元，用于基于各手写字符的实际字高，以及各手写字符的平均笔画高度，确定各手写字符的字高笔画比例；

字高确定单元，用于基于各手写字符的平均笔画高度，以及各手写字符的字高笔画比例，确定所述目标字高。

基于上述任一实施例，所述确定单元910，用于：

在所述预设手写模式为行写模式时，对所述手写轨迹序列中各笔画进行行检测，并基于各笔画的行检测结果确定所述目标字高。

基于上述任一实施例，所述确定单元910，包括：

关联信息确定单元，用于基于当前笔画的笔画信息，以及所述当前笔画的上一笔画的行信息，确定所述当前笔画与所述上一笔画所属行的空间关联信息；

行检测单元，用于基于所述空间关联信息，对所述当前笔画进行行检测。

基于上述任一实施例，所述关联信息确定单元，用于：

基于所述笔画信息中的笔画位置，以及所述行信息中的行位置，确定所述空间关联信息中的相对位置信息；

和/或，基于所述笔画信息中的笔画位置，以及所述行信息中的行位置对所述当前笔画和所述上一笔画所属行进行合并，得到合并行的直线拟合信息，基于所述合并行的直线拟合信息和所述行信息中的直线拟合信息，确定所述空间关联信息中的行合并信息。

基于上述任一实施例，所述关联信息确定单元，包括：

合并行拟合信息确定单元，用于基于所述合并行的直线拟合信息，确定所述合并行的回归误差以及所述合并行的直线拟合倾斜度；

行拟合信息确定单元，用于基于所述行信息中的直线拟合信息，确定所述上一笔画所属行的回归误差以及所述上一笔画所属行的直线拟合倾斜度；

合并信息确定单元，用于基于所述合并行的高度、所述上一笔画所属行的高度、所述合并行的回归误差、所述合并行的直线拟合倾斜度、所述上一笔画所属行的回归误差以及所述上一笔画所属行的直线拟合倾斜度，确定所述行合并信息。

基于上述任一实施例，所述行检测单元，包括：

特征确定单元，用于基于所述空间关联信息，确定所述当前笔画的笔画特征；

检测子单元，用于将所述当前笔画的笔画特征输入至行检测模型，得到所述行检测模型输出的所述当前笔画的行检测结果；

其中，所述行检测模型是基于样本手写轨迹点以及所述样本手写轨迹点中各笔画的所属行结果进行训练得到的；所述行检测模型用于基于所述当前笔画的笔画特征，以及所述上一笔画的笔画特征进行行检测，得到所述当前笔画的行检测结果。

图10是本发明提供的电子设备的结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1010、存储器(memory)1020、通信接口(CommunicationsInterface)1030和通信总线1040，其中，处理器1010，存储器1020，通信接口1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1020中的逻辑指令，以执行手写识别方法，该方法包括：基于预设手写模式和手写轨迹序列，确定目标字高，所述目标字高用于规整所述手写轨迹序列中各手写字符高度；将所述各手写字符的高度规整至所述目标字高，得到规整轨迹序列；基于所述规整轨迹序列进行手写识别。

此外，上述的存储器1020中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的手写识别方法，该方法包括：基于预设手写模式和手写轨迹序列，确定目标字高，所述目标字高用于规整所述手写轨迹序列中各手写字符高度；将所述各手写字符的高度规整至所述目标字高，得到规整轨迹序列；基于所述规整轨迹序列进行手写识别。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的手写识别方法，该方法包括：基于预设手写模式和手写轨迹序列，确定目标字高，所述目标字高用于规整所述手写轨迹序列中各手写字符高度；将所述各手写字符的高度规整至所述目标字高，得到规整轨迹序列；基于所述规整轨迹序列进行手写识别。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种手写识别方法，其特征在于，包括：

基于预设手写模式和手写轨迹序列，确定目标字高，所述目标字高用于规整所述手写轨迹序列中各手写字符高度；

将所述各手写字符的高度规整至所述目标字高，得到规整轨迹序列；

基于所述规整轨迹序列进行手写识别；

所述基于预设手写模式和手写轨迹序列，确定用于规整各手写字符高度的目标字高，包括：

在所述预设手写模式为行写模式时，对所述手写轨迹序列中各笔画进行行检测，并基于各笔画的行检测结果确定所述目标字高；

所述对所述手写轨迹序列中各笔画进行行检测，包括：

基于当前笔画的笔画信息，以及所述当前笔画的上一笔画的行信息，确定所述当前笔画与所述上一笔画所属行的空间关联信息；

基于所述空间关联信息，对所述当前笔画进行行检测；

所述基于当前笔画的笔画信息，以及所述当前笔画的上一笔画的行信息，确定所述当前笔画与所述上一笔画所属行的空间关联信息，包括：

基于所述笔画信息中的笔画位置，以及所述行信息中的行位置，确定所述空间关联信息中的相对位置信息；

基于所述笔画信息中的笔画位置，以及所述行信息中的行位置对所述当前笔画和所述上一笔画所属行进行合并，得到合并行的直线拟合信息，基于所述合并行的直线拟合信息和所述行信息中的直线拟合信息，确定所述空间关联信息中的行合并信息；

所述基于所述合并行的直线拟合信息和所述行信息中的直线拟合信息，确定所述空间关联信息中的行合并信息，包括：

基于所述合并行的直线拟合信息，确定所述合并行的回归误差以及所述合并行的直线拟合倾斜度；

基于所述行信息中的直线拟合信息，确定所述上一笔画所属行的回归误差以及所述上一笔画所属行的直线拟合倾斜度；

基于所述合并行的高度、所述上一笔画所属行的高度、所述合并行的回归误差、所述合并行的直线拟合倾斜度、所述上一笔画所属行的回归误差以及所述上一笔画所属行的直线拟合倾斜度，确定所述行合并信息。

2.根据权利要求1所述的手写识别方法，其特征在于，所述基于预设手写模式和手写轨迹序列，确定用于规整各手写字符高度的目标字高，包括：

在所述预设手写模式为自由写模式时，基于各手写字符的字高以及各手写字符对应笔画的高度，确定所述目标字高。

3.根据权利要求2所述的手写识别方法，其特征在于，所述基于各手写字符的字高以及各手写字符对应笔画的高度，确定所述目标字高，包括：

基于各手写字符对应笔画的高度，确定各手写字符的平均笔画高度；

基于各手写字符的实际字高，以及各手写字符的平均笔画高度，确定各手写字符的字高笔画比例；

基于各手写字符的平均笔画高度，以及各手写字符的字高笔画比例，确定所述目标字高。

4.根据权利要求1所述的手写识别方法，其特征在于，所述基于所述空间关联信息，对所述当前笔画进行行检测，包括：

基于所述空间关联信息，确定所述当前笔画的笔画特征；

将所述当前笔画的笔画特征输入至行检测模型，得到所述行检测模型输出的所述当前笔画的行检测结果；

其中，所述行检测模型是基于样本手写轨迹点以及所述样本手写轨迹点中各笔画的所属行结果进行训练得到的；所述行检测模型用于基于所述当前笔画的笔画特征，以及所述上一笔画的笔画特征进行行检测，得到所述当前笔画的行检测结果。

5.一种手写识别装置，其特征在于，包括：

确定单元，用于基于预设手写模式和手写轨迹序列，确定目标字高，所述目标字高用于规整所述手写轨迹序列中各手写字符高度；

规整单元，用于将所述各手写字符的高度规整至所述目标字高，得到规整轨迹序列；

识别单元，用于基于所述规整轨迹序列进行手写识别；

所述基于预设手写模式和手写轨迹序列，确定用于规整各手写字符高度的目标字高，包括：

在所述预设手写模式为行写模式时，对所述手写轨迹序列中各笔画进行行检测，并基于各笔画的行检测结果确定所述目标字高；

所述对所述手写轨迹序列中各笔画进行行检测，包括：

基于当前笔画的笔画信息，以及所述当前笔画的上一笔画的行信息，确定所述当前笔画与所述上一笔画所属行的空间关联信息；

基于所述空间关联信息，对所述当前笔画进行行检测；

所述基于当前笔画的笔画信息，以及所述当前笔画的上一笔画的行信息，确定所述当前笔画与所述上一笔画所属行的空间关联信息，包括：

基于所述笔画信息中的笔画位置，以及所述行信息中的行位置，确定所述空间关联信息中的相对位置信息；

基于所述笔画信息中的笔画位置，以及所述行信息中的行位置对所述当前笔画和所述上一笔画所属行进行合并，得到合并行的直线拟合信息，基于所述合并行的直线拟合信息和所述行信息中的直线拟合信息，确定所述空间关联信息中的行合并信息；

所述基于所述合并行的直线拟合信息和所述行信息中的直线拟合信息，确定所述空间关联信息中的行合并信息，包括：

基于所述合并行的直线拟合信息，确定所述合并行的回归误差以及所述合并行的直线拟合倾斜度；

基于所述行信息中的直线拟合信息，确定所述上一笔画所属行的回归误差以及所述上一笔画所属行的直线拟合倾斜度；

基于所述合并行的高度、所述上一笔画所属行的高度、所述合并行的回归误差、所述合并行的直线拟合倾斜度、所述上一笔画所属行的回归误差以及所述上一笔画所属行的直线拟合倾斜度，确定所述行合并信息。

6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述手写识别方法的步骤。

7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述手写识别方法的步骤。