CN113128470B - 笔划识别方法、装置、可读介质及电子设备 - Google Patents

Abstract

本公开涉及一种笔划识别方法、装置、可读介质及电子设备，包括：获取包括手写字的原始图像；提取原始图像中各个手写字对应的图像信息；将各个手写字对应的图像信息输入笔划处理模型中，以分别识别各个手写字的笔顺。这样，通过预先训练好的笔划处理模型不仅能够从离线拍摄的任意手写字图像中确定手写字的笔划，而且还能确定出各笔划的书写顺序，无需用户在能够获取到用户书写信息等具有特定功能的书写设备上进行练字，也无需分别通过汉字的书写规则对手写字中拆解到的各个笔划进行组合才能获得原始图像中的各个手写字的笔顺，这样能够使得确定图像中的手写字的笔顺的过程更加快捷且结果更加精准。

Description

笔划识别方法、装置、可读介质及电子设备

技术领域

本公开涉及图像处理领域，具体地，涉及一种笔划识别方法、装置、可读介质及电子设备。

背景技术

现有的离线田字格拍照图片提取笔划信息主要有两种方法。一种是基于传统图像方法，这类方法往往将笔划提取分为两个步骤，对独立笔划的提取及笔划交叉点的处理。这种方法不能根据图片中的笔划粗细信息进行提取，而且由于规则较多，笔划提取速度较慢，笔划提取精度不佳。一种是基于深度学习图像算法，通常分为两个主要的思路，第一种通过结合传统聚类算法将像素聚类成不同笔划，但是无法识别交叉点；另一种利用语义分割的思路，将交叉点单独作为一个类别进行分割，这种方法在训练过程需要大量对交叉点进行非常精确的标注的训练数据，很耗费时间和人力，并不是很实用。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种笔划识别方法，所述方法包括：

获取包括手写字的原始图像；

提取所述原始图像中各个手写字对应的图像信息，所述图像信息包括所述原始图像中属于所述手写字笔划的前景图像区域和背景图像区域；

将各个手写字对应的图像信息输入笔划处理模型中，以分别识别各个手写字的笔顺。

第二方面，本公开提供一种笔划识别装置，其特征在于，所述装置包括：

获取模块，用于获取包括手写字的原始图像；

提取模块，用于提取所述原始图像中各个手写字对应的图像信息，所述图像信息包括所述原始图像中属于所述手写字笔划的前景图像区域和背景图像区域；

识别模块，用于将各个手写字对应的图像信息输入笔划处理模型中，以分别识别各个手写字中每一笔划的笔顺。

第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现以上所述方法的步骤。

第四方面，本公开提供一种电子设备，包括：

存储装置，其上存储有计算机程序；

处理装置，用于执行所述存储装置中的所述计算机程序，以实现以上所述方法的步骤。

通过上述技术方案，通过预先训练好的笔划处理模型不仅能够从离线拍摄的任意手写字图像中直接确定出各个手写字的每一个笔划信息，而且还能确定出各笔划的书写顺序，也即笔顺，无需用户在能够获取到用户书写信息等具有特定功能的书写设备上进行练字，才能实现对用户书写的手写字笔划顺序的确定，也无需分别根据该书写字中所包括的所有笔划一一通过合并拆分之后，再结合汉字的书写规则进而才能获得原始图像中的各个手写字的笔顺，这样能够使得确定图像中的手写字的笔顺的过程更加快捷且结果更加精准。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：

图1是根据本公开一示例性实施例示出的一种笔划识别方法的流程图。

图2是根据本公开又一示例性实施例示出的一种笔划识别方法的流程图。

图3是根据本公开又一示例性实施例示出的一种笔划识别方法的流程图。

图4是根据本公开又一示例性实施例示出的一种笔划识别方法的流程图。

图5a是根据本公开又一示例性实施例示出的一种笔划识别方法中原始图像的示意图。

图5b是根据本公开又一示例性实施例示出的一种笔划识别方法中含有手写字的练字格对应的局部图像经过透视变换校正后的示意图。

图5c是根据本公开又一示例性实施例示出的一种笔划识别方法中含有手写字的练字格对应的局部图像经过二值化后的示意图。

图6是根据本公开又一示例性实施例示出的一种笔划识别方法的流程图。

图7是根据本公开一示例性实施例示出的一种笔划识别装置的结构框图。

图8是根据本公开又一示例性实施例示出的一种笔划识别装置的结构框图。

图9是根据本公开又一示例性实施例示出的一种笔划识别装置的结构框图。

图10示出了适于用来实现本公开实施例的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

图1是根据本公开一示例性实施例示出的一种笔划识别方法的流程图。如图1所示，所述方法包括步骤101至步骤103。

在步骤101中，获取包括手写字的原始图像。该原始图像可以是用户用任意设备拍摄得到的任意格式的图像。例如，在手写练字的场景中，大多需要用户在格纸上进行书写之后，拍摄书写内容并上传，以进行练字点评。此时，练字用户对在格纸上的书写内容进行拍摄所得到的图像即可为该原始图像。

在步骤102中，提取所述原始图像中各个手写字对应的图像信息。各个手写字对应的图像信息包括该原始图像中属于各个手写字笔划的前景图像区域和背景图像区域，原始图像中不属于各个手写字笔划的即为背景图像信息。其中，该手写字对应的图像信息可以是直接在整个原始图像信息中提取得到，也可以先将各个手写字所在的局部图像从原始图像中进行分割，然后分别对各个手写字对应的局部图像进行提取得到该手写字对应的图像信息。各个手写字所在的局部图像可以是例如该手写字的最小外接矩形框所对应的图像，而在该原始图像是对格纸上的手写字拍摄得到时，该局部图像也可以是该手写字所在的练字格所对应的图像。该格纸可以为田字格、米字格、方格等任意格式的格纸。

在步骤103中，将各个手写字对应的图像信息输入笔划处理模型中，以分别识别各个手写字的笔顺。在确定得到该原始图像中的各个手写字所对应的图像信息之后，则可以分别对每个手写字对应的图像信息进行笔顺的识别。该笔顺也即构成该手写字的多个笔划的书写顺序，比如，“大”字的笔顺即为第一划为“横一”，第二划为“撇丿”，第三划为“捺

”，其中不仅包括识别到的每一个笔划的位置，而且还包括每一个笔划在所有笔划中的书写顺序。

该笔划处理模型可以是例如预先训练好的深度学习神经网络，该模型的训练方法可以是通过带笔划标注的手写字训练样本训练得到，所述笔划标注根据标准字笔顺确定，所述手写字训练样本可以通过点阵笔在手写板上的书写输入获取得到，这样能够快速且便捷的获取得到大量的带标注的手写字训练样本，无需花费大量的人工成本来对训练样本继续进行标注。或者，在其他的应用场景下，该模型的训练方法也可以通过其他的训练方法来训练得到，例如无监督学习、自监督学习等等，本申请中不对该模型的训练方法进行限制，只要能够实现根据该手写字对应的图像信息来识别手写字的各个笔顺即可。

通过上述技术方案，通过预先训练好的笔划处理模型不仅能够从离线拍摄的任意手写字图像中直接确定出各个手写字的每一个笔划信息，而且还能确定出各笔划的书写顺序，也即笔顺，无需用户在能够获取到用户书写信息等具有特定功能的书写设备上进行练字，才能实现对用户书写的手写字笔划顺序的确定，也无需分别根据该书写字中所包括的所有笔划一一通过合并拆分之后，再结合汉字的书写规则进而才能获得原始图像中的各个手写字的笔顺，这样能够使得确定图像中的手写字的笔顺的过程更加快捷且结果更加精准。

图2是根据本公开又一示例性实施例示出的一种笔划识别方法的流程图。在所述原始图像中的所述手写字书写在格纸中的情况下，所述方法还包括步骤101和步骤102。

在步骤101中，确定所述原始图像中含有所述手写字的各练字格的位置信息。

在步骤102中，根据所述含有所述手写字的各练字格的位置信息对应的局部图像确定各个手写字对应的图像信息。

在该原始图像中的手写字是书写在格纸中时，可以先检测该原始图像中各包括手写字的练字格的位置信息，通过该练字格的位置信息便可以确定该手写字对应的图像信息。

确定该原始图像中含手写字的各练字格的位置信息的方式可以为多种，例如可以通过直线检测如霍夫变换、轮廓检测或角点检测，结合矩形的几何特征进行噪声过滤，得到最终的练字格检测结果。或者也可以通过练字格检测模型来对该练字格的位置信息进行检测得到。具体的，可以通过如图3所示的步骤301和步骤302来进行。

图3是根据本公开又一示例性实施例示出的一种笔划识别方法的流程图。如图3所示，所述方法还包括步骤301和步骤302。

在步骤301中，通过预先训练的练字格检测模型获取所述原始图像中每一个练字格的类型、中心点位置、四个角点相对于所述中心点位置的偏移量，其中，所述练字格的类型中至少包括含有所述手写字的练字格。

具体的，可以先通过所述练字格检测模型获取各检测练字格的位置信息和所述检测练字格所属的练字格类型，所述检测练字格为由所述练字格检测模型所检测得到的一个或多个练字格。然后根据所述位置信息对重叠程度超过预设条件的检测练字格进行删除，并将保留下来的检测练字格确定为所述原始图像中的练字格。

由于用户拍摄的原因，练字格检测模型在对拍摄得到的原始图像进行检测时，所检测得到的所有检测练字格中可能包括完整且含字的练字格、完整且不含字的练字格、不完整且含字的练字格，不完整且不含字的练字格等多种类型，而实际需要进行笔划提取的练字格可能只有完整且含字的练字格和不完整且含字的练字格，或者仅包括完整且含字的练字格，因此，在根据练字格检测模型进行检测时，除了需要检测各检测练字格的位置信息，还可以检测该检测练字格的类型，从而便于后续对需要进行笔顺识别的检测检测练字格进行选择。其中，在一种可能的实施方式中，该练字格检测模型也可以仅对完整且含字的练字格、不完整且不含字的练字格、完整且不含字的练字格三种类型的练字格进行检测。

在经过该练字格检测模型之后，得到了多个检测练字格，为了保证检测结果的精确度，可以对该多个检测练字格进一步进行筛选，例如上述根据重叠程度进行筛选，从而就能删除由于检测精度问题而检测得到的多余的检测练字格。具体的，根据该重叠程度是否满足预设条件进行筛选的方法可以是非极大值抑制处理方法，具体操作中，可以先将所有的检测练字格都按照中心点的置信度降序排列在候选列表中，然后选取置信度最高的检测练字格从候选列表中添加至输出列表中，并将其从候选列表中删除，接着计算输出列表中检测练字格与候选列表中的所有检测练字格之间的交并比，并将交并比大于上述第二预设阈值的候选列表中的所有检测练字格从候选列表中删除，最后返回上述“选取置信度最高的检测练字格从候选列表中添加至输出列表中”的步骤，重复对候选列表中的检测练字格进行删除，直到候选列表中没有检测练字格为止。最后将输出列表中的所有检测练字格都作为保留下来的检测练字格，并将其确定为原始图像中的练字格即可。

其中，该练字格检测模型可以通过多任务输出，分别输出包括检测练字格中心点坐标信息以及检测练字格中心点类型信息的多通道特征图，以及包括检测练字格四个角点相当于中心点的偏移量信息的多通道特征图，进而确定得到各个检测练字格的位置信息和类型信息。其中，对于中心点坐标信息和类型信息的训练过程中可以采用控制正负样本比例的方式来提高学习效率。例如，可以在训练过程中将网络输出的特征图中的所有非零值的像素点都为正样本(也即可以被确定为中心点)，以避免真实中心点数量过少，导致正样本与负样本数量严重失衡而影响模型的训练效果和精度的问题。进一步的，还可以对负样本数量进行控制，例如可以在训练过程中将网络输出的特征图中的所有零值的像素点中选择N倍于正样本的数量作为负样本，从而避免负样本过多而导致的正样本与负样本数量严重失衡而影响模型的训练效果和精度的问题。其中，N为不小于1的正数，可以按照实际训练情况进行设置，例如可以设置为3。进一步的，为了保证模型的学习效率，在选择该负样本时还可以按照loss值由高到低按序选择N倍于正样本的数量作为负样本，这样就能够进一步提高模型的学习效率。

在步骤302中，根据所述含有所述手写字的练字格的所述中心点位置和所述四个角点相对于所述中心点位置的偏移量，确定含有所述手写字的练字格的所述位置信息。

在通过上述练字格检测模型确定得到各个检测练字格的中心点位置和与其对应的四个角点相当于该中心点位置的偏移量、以及该检测练字格所属的练字格类型之后，便可以从中选取属于含字类型的练字格以进行位置信息的确定。

图4是根据本公开又一示例性实施例示出的一种笔划识别方法的流程图。如图4所示，所述方法还包括步骤401至步骤403。

在步骤401中，将所述含有所述手写字的各练字格的位置信息对应的局部图像进行图像倾斜校正。

由于拍照者在拍照时不能保证完全正对练字格的正方向拍摄该原始图像，存在左右旋转以及俯视拍照方向的旋转，导致拍照图像产生了一个透视变换。因此，可以结合每个练字格本身是正方向的先验知识，对于每个练字格分别进行透视变换校正，以使所有检测得到的含有手写字的练字格都能够调整至正方向。如图5a和图5b所示，原始图像中含有手写字的练字格如图5a中所示，方向并不正，即使在原始图像中检测到的各个含有手写字的练字格的位置信息，将其直接从原始图像中剪裁出来之后的局部图像仍然是处于不正的状态，而在经过透视变换校正之后，如图5b所示，则可以将该原始图像中的所有含有手写字的练字格都校正至正方向。其中，图5b中对从原始图像中确定得到的每个含有手写字的练字格都进行了编号。

在步骤402中，确定所述含有所述手写字的各练字格的位置信息对应的局部图像是否属于复杂背景图像，如果是，则转至步骤403，如果否，则转至步骤404。

含有所述手写字的各练字格的位置信息对应的局部图像属于该复杂背景图像的情况可以是例如在该练字格为米字格、田字格等的情况，含有所述手写字的各练字格的位置信息对应的局部图像中除了手写字的各个笔划之外，还有其他的背景图案，此时可以被确定为是复杂背景图像。而在该练字格为例如方格的情况下，含有所述手写字的各练字格的位置信息对应的局部图像中除了手写字的各个笔划之外不会包含其他的背景图案，因此此时的局部图像可以被确定为不属于该复杂背景图像。另外，属于该复杂背景图像的情况还可以是练字格纸非纯白格纸的情况，也即该含有所述手写字的各练字格的位置信息对应的局部图像的底色为除白色之外的其他颜色，此情况下的局部图像也可以被确定为属于复杂背景图像。

用于确定该含有所述手写字的各练字格的位置信息对应的局部图像是否属于复杂背景图像的方式可以是用户在上传拍摄图案时对手写字的练字背景进行选择进而确定得到的，也可以是对用户上传的原始图像进行图像识别所得到的。例如，用户在上传拍摄图案时选择了练字背景为米字格格纸，则可以确定该含有所述手写字的各练字格的位置信息对应的局部图像是否属于复杂背景图像；或者，在获取到该手写字的原始图像之后，可以对该原始图像进行图像分类识别，确定该原始图像中所包括的练字背景为何种类型，例如可以为格纸中的米字格格纸类，则进而就可以确定该含有所述手写字的各练字格的位置信息对应的局部图像是否属于复杂背景图像。在用户无需手动选择或输入练字背景的情况下，对原始图像中的练字背景分类的识别可以在步骤402之前的任意步骤进行，只要能够实现确定所述含有所述手写字的各练字格的位置信息对应的局部图像是否属于复杂背景图像即可。

在步骤403中，也即在所述含有所述手写字的各练字格的位置信息对应的局部图像属于所述复杂背景图像的情况下，通过语义分割模型对所述经过所述图像倾斜校正之后的各局部图像进行二值化。

在步骤404中，也即在所述含有所述手写字的各练字格的位置信息对应的局部图像不属于所述复杂背景图像的情况下，通过阈值分割法对所述经过所述图像倾斜校正之后的各局部图像进行二值化。

该语义分割模型可以是卷积神经网络。其中，由于各局部图像中属于手写字笔划的像素点在大多数情况中都会大量少于背景像素点，因此在训练该语义分割模型时所采用的损失函数可以为不受正负样本不平衡问题影响的损失函数，例如Focal Loss或者DiceLoss等，从而解决在训练该语义分割模型时，由于正负样本不平衡而导致的训练效果不佳的问题。

该阈值分割法可以是例如OSTU(大津阈值)阈值法，通过预先设置相关的分割规则即可在所述含有所述手写字的各练字格的位置信息对应的局部图像不属于所述复杂背景图像的情况下简单地提取出属于手写字笔划的前景像素点。然后将不属于前景像素点的其他像素点确定为背景像素点，以得到包括前述前景图像区域和前述背景图像区域的各个手写字对应的图像信息。

经过二值化之后的含有手写字的练字格对应的局部图像的效果可以如图5c所示。

在步骤405中，分别将经过所述二值化的各局部图像确定为各练字格中的手写字对应的图像信息。

在一种可能的实施方式中，上述笔划处理模型包括特征提取网络和解码网络。其中，特征提取网络用于从各练字格中的手写字对应的图像信息中提取特征，可以采用轻量级网络来实现以缩短处理时间，例如可以为ResNet18+。解码网络中可以将提取到的图像特征解码(decode)成N个通道以分别对每一个笔划进行预测，N的取值可以根据常见字的最大笔划来确定，N可以取值为例如20。例如，在待处理的手写字为“大”字的情况下，所述解码网络输出的N个通道中，第一个通道输出的特征图表征的是该手写字对应的图像信息中每一个像素点属于第一划“横一”的概率，第二个通道输出的特征图表征的是该手写字对应的图像信息中每一个像素点属于第二划“撇丿”的概率，以此类推，由于“大”字一共只有三划，因此该解码网络的其他通道中输出的特征图中每个像素点对应的概率值则可以都表示为不属于当前笔划，例如零。

另外，部分手写字的部分笔划之间可能具有交叉点的问题，例如“大”字的三个笔划都可能相交于一部分像素点中，为了解决上述问题，该笔划处理模型的激活函数可以采用sigmoid，将每个通道输出特征图中的值均归一化到[0,1]之间，用以单独表示像素点属于该通道对应的笔划的概率值，例如第一划对应的通道输出的特征图中的值P表示的是各个像素点属于该第一划的概率，而(1-P)则表示各个像素点不属于该第一划的概率。然后将各通道输出特征图中像素点对应概率值最高的通道所对应的笔划确定为该像素点所属的笔划。由于每一个通道输出的特征图中的值都是在不考虑像素点属于其他通道的概率的情况下得到的，因此能够更加准确地体现出该像素点与各笔划之间的所属关系，避免了将某一像素点既识别为一个笔划中的像素点，又识别为另一个笔划中的像素点的问题，从而就能够准确地确定各笔划所对应的像素点之间的划分。同时，在设置sigmoid作为笔划处理模型地激活函数地情况下，还可以通过设置阈值T(T可以为例如0.5)的方式提取属于手写字笔划的像素点，也即，各通道输出地特征图中，若某一像素点所对应地最高的值低于该阈值T，则表示该像素点不属于手写字的各个笔划中，可以将该像素点确定为背景像素点，从而，这样能够进一步对该手写字对应的图像信息中的前景图像区域和背景图像区域进行确认，保证笔划识别的准确性。

图6是根据本公开又一示例性实施例示出的一种笔划识别方法的流程图。如图6所示，所述方法还包括步骤601。

在步骤601中，根据含有所述手写字的各练字格的位置信息对应的局部图像进行所述图像倾斜校正时产生的校正数据，以及含有所述手写字的各练字格的位置信息，将各个手写字中各笔顺其对应的图像信息中的像素点位置映射回所述原始图像中。也即，在将含有手写字的练字格所处的局部图像从原始图像中剪裁出来，并进行一系列的处理从而得到各个手写字的笔顺之后，可以再将该笔顺信息映射回原始图像中，以在原始图像中显示各个手写字的笔顺信息。其中笔顺信息在原始图像中进行显示的方法可以是将不同的笔顺以各不相同的颜色进行显示。例如，手写字“大”的第一划“横一”所对应的像素点颜色统一为蓝色，第二划“撇丿”所对应的像素点颜色统一为橙色，第三划“捺

”所对应的像素点颜色统一为红色。这样就可以非常直观地在原始图像中显示出各个手写字的笔顺信息。

图7是根据本公开一示例性实施例示出的一种笔划识别装置的结构框图。如图7所示，所述装置包括：获取模块10，用于获取包括手写字的原始图像；提取模块20，用于提取所述原始图像中各个手写字对应的图像信息，所述图像信息包括所述原始图像中属于所述手写字笔划的前景图像区域和背景图像区域；识别模块30，用于将各个手写字对应的图像信息输入笔划处理模型中，以分别识别各个手写字中每一笔划的笔顺。

通过上述技术方案，通过预先训练好的笔划处理模型不仅能够从离线拍摄的任意手写字图像中直接确定出各个手写字的每一个笔划信息，而且还能确定出各笔划的书写顺序，也即笔顺，无需用户在能够获取到用户书写信息等具有特定功能的书写设备上进行练字，才能实现对用户书写的手写字笔划顺序的确定，也无需分别根据该书写字中所包括的所有笔划一一通过合并拆分之后，再结合汉字的书写规则进而才能获得原始图像中的各个手写字的笔顺，这样能够使得确定图像中的手写字的笔顺的过程更加快捷且结果更加精准。

图8是根据本公开又一示例性实施例示出的一种笔划识别装置的结构框图。如图8所示，所述提取模块20包括：第一确定子模块201，用于确定所述原始图像中含有所述手写字的各练字格的位置信息；第二确定子模块202，用于根据所述含有所述手写字的各练字格的位置信息对应的局部图像确定各个手写字对应的图像信息。

在一种可能的实施方式中，所述第一确定子模块201还用于：通过预先训练的练字格检测模型获取所述原始图像中每一个练字格的类型、中心点位置、四个角点相对于所述中心点位置的偏移量，其中，所述练字格的类型中至少包括含有所述手写字的练字格；根据所述含有所述手写字的练字格的所述中心点位置和所述四个角点相对于所述中心点位置的偏移量，确定含有所述手写字的练字格的所述位置信息。

图9是根据本公开又一示例性实施例示出的一种笔划识别装置的结构框图。如图9所示，所述第二确定子模块202包括：校正子模块2021，用于将所述含有所述手写字的各练字格的位置信息对应的局部图像进行图像倾斜校正；第三确定子模块2022，用于确定所述含有所述手写字的各练字格的位置信息对应的局部图像是否属于复杂背景图像；第一二值化子模块2023，用于在所述含有所述手写字的各练字格的位置信息对应的局部图像属于所述复杂背景图像的情况下，通过语义分割模型对所述经过所述图像倾斜校正之后的各局部图像进行二值化；第二二值化子模块2024，用于在所述含有所述手写字的各练字格的位置信息对应的局部图像不属于所述复杂背景图像的情况下，通过阈值分割法对所述经过所述图像倾斜校正之后的各局部图像进行二值化；第四确定子模块2025，用于分别将经过所述二值化的各局部图像确定为各练字格中的手写字对应的图像信息。

在一种可能的实施方式中，所述识别模块30还用于通过所述笔划处理模型分别确定各个手写字中各笔顺在其对应的图像信息中的像素点位置；其中，所述笔划处理模型为通过带笔划标注的手写字训练样本训练得到，所述笔划标注根据标准字笔顺确定，所述手写字训练样本通过点阵笔在手写板上的书写输入获取得到。

在一种可能的实施方式中，如图9所示，所述装置还包括：映射模块30，用于根据含有所述手写字的各练字格的位置信息对应的局部图像进行所述图像倾斜校正时产生的校正数据，以及含有所述手写字的各练字格的位置信息，将各个手写字中各笔顺其对应的图像信息中的像素点位置映射回所述原始图像中。

在一种可能的实施方式中，如图9所示，所述装置还包括：显示模块40，用于将所述各个手写字的笔顺在所述原始图像中通过预设显示方式进行显示，所述预设显示方式包括将不同的笔顺以各不相同的颜色进行显示。

下面参考图10，其示出了适于用来实现本公开实施例的电子设备1000的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图10示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，电子设备1000可以包括处理装置(例如中央处理器、图形处理器等)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储装置1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有电子设备1000操作所需的各种程序和数据。处理装置1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

通常，以下装置可以连接至I/O接口1005：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1006；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1007；包括例如磁带、硬盘等的存储装置1008；以及通信装置1009。通信装置1009可以允许电子设备1000与其他设备进行无线或有线通信以交换数据。虽然图10示出了具有各种装置的电子设备1000，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1009从网络上被下载和安装，或者从存储装置1008被安装，或者从ROM 1002被安装。在该计算机程序被处理装置1001执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取包括手写字的原始图像；提取所述原始图像中各个手写字对应的图像信息，所述图像信息包括所述原始图像中属于所述手写字笔划的前景图像区域和背景图像区域；将各个手写字对应的图像信息输入笔划处理模型中，以分别识别各个手写字的笔顺。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“获取包括手写字的原始图像的模块”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

根据本公开的一个或多个实施例，示例1提供了一种笔划识别方法，所述方法包括：

获取包括手写字的原始图像；

提取所述原始图像中各个手写字对应的图像信息，所述图像信息包括所述原始图像中属于所述手写字笔划的前景图像区域和背景图像区域；

将各个手写字对应的图像信息输入笔划处理模型中，以分别识别各个手写字的笔顺。

根据本公开的一个或多个实施例，示例2提供了示例1的方法，在所述原始图像中的所述手写字书写在格纸中的情况下，所述提取所述原始图像中各个手写字对应的图像信息包括：

确定所述原始图像中含有所述手写字的各练字格的位置信息；

根据所述含有所述手写字的各练字格的位置信息对应的局部图像确定各个手写字对应的图像信息。

根据本公开的一个或多个实施例，示例3提供了示例2的方法，所述确定所述原始图像中含有所述手写字的各练字格的位置信息包括：

通过预先训练的练字格检测模型获取所述原始图像中每一个练字格的类型、中心点位置、四个角点相对于所述中心点位置的偏移量，其中，所述练字格的类型中至少包括含有所述手写字的练字格；

根据所述含有所述手写字的练字格的所述中心点位置和所述四个角点相对于所述中心点位置的偏移量，确定含有所述手写字的练字格的所述位置信息。

根据本公开的一个或多个实施例，示例4提供了示例2的方法，所述根据所述含有所述手写字的各练字格的位置信息对应的局部图像确定各个手写字对应的图像信息包括：

将所述含有所述手写字的各练字格的位置信息对应的局部图像进行图像倾斜校正；

确定所述含有所述手写字的各练字格的位置信息对应的局部图像是否属于复杂背景图像；

在所述含有所述手写字的各练字格的位置信息对应的局部图像属于所述复杂背景图像的情况下，通过语义分割模型对所述经过所述图像倾斜校正之后的各局部图像进行二值化；

在所述含有所述手写字的各练字格的位置信息对应的局部图像不属于所述复杂背景图像的情况下，通过阈值分割法对所述经过所述图像倾斜校正之后的各局部图像进行二值化；

分别将经过所述二值化的各局部图像确定为各练字格中的手写字对应的图像信息。

根据本公开的一个或多个实施例，示例5提供了示例4的方法，所述将各个手写字对应的图像信息输入笔划处理模型中，以分别识别各个手写字的笔顺包括：

通过所述笔划处理模型分别确定各个手写字中各笔顺在其对应的图像信息中的像素点位置；

其中，所述笔划处理模型为通过带笔划标注的手写字训练样本训练得到，所述笔划标注根据标准字笔顺确定，所述手写字训练样本通过点阵笔在手写板上的书写输入获取得到。

根据本公开的一个或多个实施例，示例6提供了示例5的方法，所述方法还包括：

根据含有所述手写字的各练字格的位置信息对应的局部图像进行所述图像倾斜校正时产生的校正数据，以及含有所述手写字的各练字格的位置信息，将各个手写字中各笔顺其对应的图像信息中的像素点位置映射回所述原始图像中。

根据本公开的一个或多个实施例，示例7提供了示例1-6中任一示例的方法，所述方法还包括：

将所述各个手写字的笔顺在所述原始图像中通过预设显示方式进行显示，所述预设显示方式包括将不同的笔顺以各不相同的颜色进行显示。

根据本公开的一个或多个实施例，示例8提供了一种笔划识别装置，所述装置包括：

获取模块，用于获取包括手写字的原始图像；

提取模块，用于提取所述原始图像中各个手写字对应的图像信息，所述图像信息包括所述原始图像中属于所述手写字笔划的前景图像区域和背景图像区域；

识别模块，用于将各个手写字对应的图像信息输入笔划处理模型中，以分别识别各个手写字中每一笔划的笔顺。

根据本公开的一个或多个实施例，示例9提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现示例1-7中任一项所述方法的步骤。

根据本公开的一个或多个实施例，示例10提供了一种电子设备，包括：

存储装置，其上存储有计算机程序；

处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例1-7中任一项所述方法的步骤。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (8)

1.一种笔划识别方法，其特征在于，所述方法包括：

获取包括手写字的原始图像；

提取所述原始图像中各个手写字对应的图像信息，所述图像信息包括所述原始图像中属于所述手写字笔划的前景图像区域和背景图像区域；

将各个手写字对应的图像信息输入笔划处理模型中，以分别识别各个手写字的笔顺；

所述将各个手写字对应的图像信息输入笔划处理模型中，以分别识别各个手写字的笔顺包括：

通过所述笔划处理模型分别确定各个手写字中各笔顺在其对应的图像信息中的像素点位置；

其中，所述笔划处理模型为通过带笔划标注的手写字训练样本训练得到，所述笔划标注根据标准字笔顺确定，所述手写字训练样本通过点阵笔在手写板上的书写输入获取得到；

所述方法还包括：

根据含有所述手写字的各练字格的位置信息对应的局部图像进行图像倾斜校正时产生的校正数据，以及含有所述手写字的各练字格的位置信息，将各个手写字中各笔顺在其对应的图像信息中的像素点位置映射回所述原始图像中。

2.根据权利要求1所述的方法，其特征在于，在所述原始图像中的所述手写字书写在格纸中的情况下，所述提取所述原始图像中各个手写字对应的图像信息包括：

确定所述原始图像中含有所述手写字的各练字格的位置信息；

根据所述含有所述手写字的各练字格的位置信息对应的局部图像确定各个手写字对应的图像信息。

3.根据权利要求2所述的方法，其特征在于，所述确定所述原始图像中含有所述手写字的各练字格的位置信息包括：

通过预先训练的练字格检测模型获取所述原始图像中每一个练字格的类型、中心点位置、四个角点相对于所述中心点位置的偏移量，其中，所述练字格的类型中至少包括含有所述手写字的练字格；

根据所述含有所述手写字的练字格的所述中心点位置和所述四个角点相对于所述中心点位置的偏移量，确定含有所述手写字的练字格的所述位置信息。

4.根据权利要求2所述的方法，其特征在于，所述根据所述含有所述手写字的各练字格的位置信息对应的局部图像确定各个手写字对应的图像信息包括：

将所述含有所述手写字的各练字格的位置信息对应的局部图像进行图像倾斜校正；

确定所述含有所述手写字的各练字格的位置信息对应的局部图像是否属于复杂背景图像；

在所述含有所述手写字的各练字格的位置信息对应的局部图像属于所述复杂背景图像的情况下，通过语义分割模型对经过所述图像倾斜校正之后的各局部图像进行二值化；

在所述含有所述手写字的各练字格的位置信息对应的局部图像不属于所述复杂背景图像的情况下，通过阈值分割法对经过所述图像倾斜校正之后的各局部图像进行二值化；

分别将经过所述二值化的各局部图像确定为各练字格中的手写字对应的图像信息。

5.根据权利要求1-4中任一权利要求所述的方法，其特征在于，所述方法还包括：

将所述各个手写字的笔顺在所述原始图像中通过预设显示方式进行显示，所述预设显示方式包括将不同的笔顺以各不相同的颜色进行显示。

6.一种笔划识别装置，其特征在于，所述装置包括：

获取模块，用于获取包括手写字的原始图像；

提取模块，用于提取所述原始图像中各个手写字对应的图像信息，所述图像信息包括所述原始图像中属于所述手写字笔划的前景图像区域和背景图像区域；

识别模块，用于将各个手写字对应的图像信息输入笔划处理模型中，以分别识别各个手写字中每一笔划的笔顺；

所述识别模块还用于通过所述笔划处理模型分别确定各个手写字中各笔顺在其对应的图像信息中的像素点位置；

其中，所述笔划处理模型为通过带笔划标注的手写字训练样本训练得到，所述笔划标注根据标准字笔顺确定，所述手写字训练样本通过点阵笔在手写板上的书写输入获取得到；

所述装置还包括：映射模块，用于根据含有所述手写字的各练字格的位置信息对应的局部图像进行图像倾斜校正时产生的校正数据，以及含有所述手写字的各练字格的位置信息，将各个手写字中各笔顺在其对应的图像信息中的像素点位置映射回所述原始图像中。

7.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-5中任一项所述方法的步骤。

8.一种电子设备，其特征在于，包括：

存储装置，其上存储有计算机程序；

处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-5中任一项所述方法的步骤。

Images