CN111931710B - 一种联机手写文字识别方法、装置、电子设备及存储介质 - Google Patents
一种联机手写文字识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111931710B CN111931710B CN202010977988.2A CN202010977988A CN111931710B CN 111931710 B CN111931710 B CN 111931710B CN 202010977988 A CN202010977988 A CN 202010977988A CN 111931710 B CN111931710 B CN 111931710B
- Authority
- CN
- China
- Prior art keywords
- stroke
- handwriting
- track
- single character
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/30—Writer recognition; Reading and verifying signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Character Discrimination (AREA)
Abstract
本申请公开了一种联机手写文字识别方法,所述联机手写文字识别方法包括:获取手写轨迹并确定所述手写轨迹中每一手写笔画的笔画坐标序列;根据所述手写笔画的笔画坐标序列对所述手写轨迹进行单字切分,得到单字手写轨迹;根据所述单字手写轨迹中每一手写笔画的特征点确定所述单字手写轨迹的特征向量;将所述单字手写轨迹的特征向量输入至机器学习分类模型,得到所述手写轨迹对应的文本内容。本申请能够提高手写文字识别效率,降低手写文字识别的资源占用量。本申请还公开了一种联机手写文字识别装置、一种电子设备及一种存储介质,具有以上有益效果。
Description
技术领域
本申请涉及计算机文字识别技术领域,特别涉及一种联机手写文字识别方法、装置、一种电子设备及一种存储介质。
背景技术
随着电子设备的普及,对于手写文字识别广泛应用于各种设备中,手写文字识别的过程包括:用户通过手指或触控笔在电子设备的屏幕上手写,电子设备通过内部的识别系统把手写文字转换为电子设备可识别的标准字体显示在屏幕上。
相关技术中,通过将所有的接触点为包括笔画数目、笔画走向、笔顺和书写速度的笔画串,根据笔画串实现手写文字识别。但是由于手写笔迹包括所有的轨迹点坐标,通过上述相关技术中的手写文字识别的效率较低,识别过程中资源占用量较大。
因此,如何提高手写文字识别效率,降低手写文字识别的资源占用量是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种联机手写文字识别方法、装置、一种电子设备及一种存储介质,能够提高手写文字识别效率,降低手写文字识别的资源占用量。
为解决上述技术问题,本申请提供一种联机手写文字识别方法,该联机手写文字识别方法包括:
获取手写轨迹并确定所述手写轨迹中每一手写笔画的笔画坐标序列;
根据所述手写笔画的笔画坐标序列对所述手写轨迹进行单字切分,得到单字手写轨迹;
根据所述单字手写轨迹中每一手写笔画的特征点确定所述单字手写轨迹的特征向量;其中,所述特征点包括笔画起点、笔画终点和笔画拐点;
将所述单字手写轨迹的特征向量输入至机器学习分类模型,得到所述手写轨迹对应的文本内容;
其中,根据所述手写笔画的笔画坐标序列对所述手写轨迹进行单字切分,得到单字手写轨迹,包括:
根据所述手写笔画的笔画坐标序列确定笔画位置关系和笔画重合度信息;
根据所述笔画位置关系和所述笔画重合度信息将所述手写轨迹划分为多个单字预分割轨迹;
根据相邻的所述单字预分割轨迹之间的距离和宽高比例对所述单字预分割轨迹进行联合,得到所述单字手写轨迹。
可选的,根据所述单字手写轨迹中每一手写笔画的特征点确定所述单字手写轨迹的特征向量,包括:
连接所述单字手写轨迹中任意两个特征点得到特征线;
根据所述特征线的几何特征和所述单字手写轨迹的笔画顺序确定所述单字手写轨迹的特征向量。
可选的,所述特征线的几何特征包括:特征线长度、特征线倾斜角、特征线起点与所述单字手写轨迹中心点的距离、特征线终点与所述单字手写轨迹中心点的距离、特征线起点与所述单字手写轨迹中心点连线的倾斜角、特征线终点与所述单字手写轨迹中心点连线的倾斜角、特征线在水平方向的投影长度,以及特征线在竖直方向的投影长度。
可选的,在根据所述单字手写轨迹中每一手写笔画的特征点确定所述单字手写轨迹的特征向量之前,还包括:
对所述单字手写轨迹中的笔画坐标序列执行尺寸归一化操作;
相应的,根据所述单字手写轨迹中每一手写笔画的特征点确定所述单字手写轨迹的特征向量,包括:
确定所述单字手写轨迹中每一手写笔画的特征点在尺寸归一化后的特征点坐标;
根据所述特征点坐标确定所述单字手写轨迹的特征向量。
可选的,对所述单字手写轨迹中的笔画坐标序列执行尺寸归一化操作包括:
确定所述单字手写轨迹对应的矩形框;其中,所述矩形框的高等于所述单字手写轨迹在竖直方向上的长度,所述矩形框的宽等于所述单字手写轨迹在水平方向上的长度;
利用横坐标归一化公式和纵坐标归一化公式对所述单字手写轨迹中的笔画坐标序列执行尺寸归一化操作;
其中,所述横坐标归一化公式为x’=x/w,所述纵坐标归一化公式为y’=y/h,x’为执行归一化操作后笔画坐标序列的横坐标,y’为执行归一化操作后笔画坐标序列的纵坐标,x为执行归一化操作前笔画坐标序列的横坐标,y为执行归一化操作前笔画坐标序列的纵坐标,w为所述矩形框的宽,h为所述矩形框的高。
可选的,在根据所述单字手写轨迹中每一手写笔画的特征点确定所述单字手写轨迹的特征向量之前,还包括:
连接所述笔画起点和所述笔画终点得到端点连线;
判断所述端点连线对应的轨迹中是否存在与端点连线距离大于预设值的轨迹点;其中,所述端点连线对应的轨迹为所述端点连线的第一端点和第二端点之间的手写笔画的轨迹;
若存在与所述端点连线距离大于预设值的轨迹点,则将所述端点连线对应的轨迹中与所述端点连线距离最远的轨迹点作为手写笔画的笔画拐点;判断当前笔画拐点是否为已确定的笔画拐点;若为已确定的笔画拐点,则判定拐点查询操作执行完毕;若不为已确定的笔画拐点,则连接当前笔画拐点和笔画端点得到新的端点连线,进入判断端点连线对应的轨迹中是否存在与端点连线距离大于预设值的轨迹点的步骤;其中,当前笔画拐点为最近一次确定的笔画拐点,所述笔画端点包括笔画起点、笔画终点、以及除了当前笔画拐点之外的其他笔画拐点;
若不存在与端点连线距离大于预设值的轨迹点,则判定拐点查询操作执行完毕。
可选的,根据所述笔画位置关系和所述笔画重合度信息将所述手写轨迹划分为多个单字预分割轨迹,包括:
判断第i+1条手写轨迹与笔画集合中的每一笔画子集的位置关系和/或笔画重合度信息是否符合预分割原则;其中,i的初始值为1,当i的值为1时,第1条手写轨迹为所述笔画集合的笔画子集中的手写轨迹;
若是,则确定所述笔画集合中与所述第i+1条手写轨迹符合预分割原则的目标笔画子集,并将所述第i+1条手写轨迹添加至所述目标笔画子集;
若否,则将所述第i+1条手写轨迹作为所述笔画集合中新的笔画子集;
判断所述笔画集合中是否包括所有所述手写轨迹;
若所述笔画集合中包括所有所述手写轨迹,则判定预分割操作执行完毕,并将所述笔画集合中的每一笔画子集包括的所有手写轨迹作为所述单字预分割轨迹;
若所述笔画集合中不包括所有所述手写轨迹,则对i的值加1,并进入判断第i+1条手写轨迹与笔画集合中的每一笔画子集的位置关系和笔画重合度信息是否符合预分割原则的操作。
可选的,所述判断第i+1条手写轨迹与笔画集合中的每一笔画子集的位置关系和/或笔画重合度信息是否符合预分割原则包括:
若第i+1条手写轨迹的最右轨迹点在备选笔画子集的最右轨迹点的左侧,则判定第i+1条手写轨迹与所述备选笔画子集符合所述预分割原则;其中,所述备选笔画子集为所述笔画集合中的任一笔画子集;
若第i+1条手写轨迹的最左轨迹点在备选笔画子集的最左轨迹点的左侧,则判定第i+1条手写轨迹与所述备选笔画子集符合所述预分割原则;
若第i+1条手写轨迹的最左轨迹点在备选笔画子集的最右轨迹点的左侧、且第i+1条手写轨迹在水平方向的投影与所述备选笔画子集在水平方向的投影的重合度大于预设重合度,则判定第i+1条手写轨迹与所述备选笔画子集符合所述预分割原则。
可选的,所述根据相邻的所述单字预分割轨迹之间的距离和宽高比例对所述单字预分割轨迹进行联合,得到所述单字手写轨迹,包括:
根据所述笔画坐标序列确定所述单字预分割轨迹的书写顺序;
判断第j+1个单字预分割轨迹与笔迹联合结果集中的第k个笔迹联合子集的距离和宽高比例是否符合轨迹联合原则;其中,j的初始值为1,k的初始值为1,第1个笔迹联合子集包括第1个单字预分割轨迹;
若是,则将第j+1个单字预分割轨迹添加至第k个笔迹联合子集;
若否,则将第j+1个单字预分割轨迹作为所述笔迹联合结果集中的第k+1个笔迹联合子集;
判断所述笔迹联合结果集中是否包括所有所述笔画坐标序列;
若所述笔迹联合结果集中包括所有所述笔画坐标序列,则判定笔迹联合操作执行完毕,并将所述笔迹联合结果集中的每一笔迹联合子集包括的所有单字预分割轨迹作为所述单字手写轨迹;
若所述笔迹联合结果集中不包括所有所述笔画坐标序列,则对j的值加1,对k的值加1,并进入判断第j+1个单字预分割轨迹与笔迹联合结果集中的第k个笔迹联合子集的距离和宽高比例是否符合轨迹联合原则的操作。
可选的,所述判断第j+1个单字预分割轨迹与笔迹联合结果集中的第k个笔迹联合子集的距离和宽高比例是否符合轨迹联合原则,包括:
若笔迹距离与笔迹高度的比值小于第一预设比值,且第j+1个单字预分割轨迹与第k个笔迹联合子集联合后的宽高比小于第一预设宽高比,则判定第j+1个单字预分割轨迹与第k个笔迹联合子集的距离和宽高比例符合所述轨迹联合原则;其中,所述笔迹距离为第j+1个单字预分割轨迹与第k个笔迹联合子集的距离,所述笔迹高度为所述第j+1个单字预分割轨迹的高度或所述第k个笔迹联合子集的高度;
若所述笔迹距离与所述笔迹高度的比值小于第二预设比值、第j+1个单字预分割轨迹与第k个笔迹联合子集联合后的宽高比小于第二预设宽高比、且目标宽高比小于第三预设宽高比,则判定第j+1个单字预分割轨迹与第k个笔迹联合子集的距离和宽高比例符合所述轨迹联合原则;其中,所述目标宽高比包括第j+1个单字预分割轨迹的宽度与联合高度的比值,或第k个笔迹联合子集的宽度与所述联合高度的比值,所述联合高度为第j+1个单字预分割轨迹与第k个笔迹联合子集联合后的高度。
可选的,所述将所述单字手写轨迹的特征向量输入至机器学习分类模型,得到所述手写轨迹对应的文本内容,包括:
将所有所述单字手写轨迹的特征向量作为机器学习分类模型的输入向量,以便所述单字手写轨迹的特征向量分别与机器学习分类模型的权重参数向量和偏移参数进行分类计算,得到每一单字手写轨迹与每一样本字符的相似度;
将相似度最高的样本字符作为所述单字手写轨迹对应的识别结果,将所有所述识别结果顺序排列得到所述手写轨迹对应的文本内容。
本申请还提供了一种联机手写文字识别装置,该联机手写文字识别装置包括:
序列确定模块,用于获取手写轨迹并确定所述手写轨迹中每一手写笔画的笔画坐标序列;
文字切分模块,用于根据所述手写笔画的笔画坐标序列对所述手写轨迹进行单字切分,得到单字手写轨迹;
特征提取模块,用于根据所述单字手写轨迹中每一手写笔画的特征点确定所述单字手写轨迹的特征向量;其中,所述特征点包括笔画起点、笔画终点和笔画拐点;
文字识别模块,用于将所述单字手写轨迹的特征向量输入至机器学习分类模型,得到所述手写轨迹对应的文本内容;
其中,所述文字切分模块包括:
笔画关系确定单元,用于根据所述手写笔画的笔画坐标序列确定笔画位置关系和笔画重合度信息;
预分割单元,用于根据所述笔画位置关系和所述笔画重合度信息将所述手写轨迹划分为多个单字预分割轨迹;
联合单元,用于根据相邻的所述单字预分割轨迹之间的距离和宽高比例对所述单字预分割轨迹进行联合,得到所述单字手写轨迹。
本申请还提供了一种存储介质,其上存储有计算机程序,所述计算机程序执行时实现上述联机手写文字识别方法执行的步骤。
本申请还提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时实现上述联机手写文字识别方法执行的步骤。
本申请提供了一种联机手写文字识别方法,包括获取手写轨迹并确定所述手写轨迹中每一手写笔画的笔画坐标序列;根据所述手写笔画的笔画坐标序列对所述手写轨迹进行单字切分,得到单字手写轨迹;根据所述单字手写轨迹中每一手写笔画的特征点确定所述单字手写轨迹的特征向量;其中,所述特征点包括笔画起点、笔画终点和笔画拐点;将所述单字手写轨迹的特征向量输入至机器学习分类模型,得到所述手写轨迹对应的文本内容。
本申请在确定手写轨迹中每一手写笔画的笔画坐标序列后,将手写轨迹进行单字切分得到单字手写轨迹。本申请将每一手写笔画中笔画起点、笔画终点和笔画拐点作为单字手写轨迹的特征点,进而得到每一单字手写轨迹的特征向量,通过笔画起点、笔画终点和笔画拐点确定的特征向量较为精简,可以有效去除冗余轨迹点的计算过程,提高手写文字识别效率,降低手写文字识别的资源占用量。本申请同时还提供了一种联机手写文字识别装置、一种电子设备和一种存储介质,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种联机手写文字识别方法的流程图;
图2为本申请实施例所提供的一种对手写轨迹进行单字切分的结果进行尺寸归一化操作前后的效果示意图;
图3为本申请实施例提供的一种通过迭代运算的方式确定笔画拐点的方法的流程图;
图4为本申请实施例所提供的一种通过迭代运算的方式确定笔画拐点的实例示意图;
图5为本申请实施例所提供的一种手写轨迹分割方法的流程图;
图6为本申请实施例所提供的一种单字预分割轨迹联合处理后的效果图;
图7为本申请实施例所提供的一种联机手写文字识别装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面请参见图1,图1为本申请实施例所提供的一种联机手写文字识别方法的流程图。
具体步骤可以包括:
S101:获取手写轨迹并确定手写轨迹中每一手写笔画的笔画坐标序列。
其中,本实施例可以应用于具有触摸信号接收装置(如触摸屏或手写板)的电子设备中,例如,超声设备的电子触摸屏,用户可以在触摸信号接收装置上用手或触控笔向电子设备输入手写轨迹,以便电子设备通过对手写轨迹进行手写文字识别得到机器能够识别的文本内容。
本步骤中提到的手写轨迹可以为单字的手写轨迹,也可以为多字的手写轨迹,本实施例可以将触摸信号接收装置采集每一轨迹点的坐标,并依次将所有轨迹点的坐标按照接收顺序保存在一维数组中,得到手写轨迹。可以理解的是,手写轨迹中可以包括任意数量个手写笔画,本实施例中的一个手写笔画指从落笔到抬笔的过程中所有轨迹点(即触摸点)的集合。手写笔画的笔画坐标序列包括该手写笔画对应的所有轨迹点的坐标,以及所有轨迹点的生成顺序。
作为一种可行的实施方式,本实施例可以根据轨迹点的位置和触摸时刻确定手写轨迹中的每一手写笔画。例如可以判断触摸时刻相邻的轨迹点的距离是否大于标准距离;若是,则判定这相邻的两个轨迹点不属于同一手写笔画;若否,则判定这相邻的两个轨迹点属于同一手写笔画。
S102:根据手写笔画的笔画坐标序列对手写轨迹进行单字切分,得到单字手写轨迹。
其中,在得到每一手写笔画的坐标序列的基础上,本步骤可以根据各个手写笔画的笔画位置关系和笔画重合度判断任意两个手写笔画是否属于同一单字手写轨迹,若全部的手写轨迹为多个字对应的轨迹则可以得到多个单字手写轨迹。上述笔画位置关系用于描述手写笔画之间的距离,笔画重合度用于描述手写笔画在某一方向上的投影的重合程度。
可以理解的是,单个文字(如汉字、韩文或日文)可以存在多个笔画,若两个手写笔画的笔画位置关系和笔画重合度符合预设条件,则可以判定这两个手写笔画属于同一文字;但是笔画位置关系和笔画重合度不符合预设条件的两个手写笔画也可能属于同一文字。
S103:根据单字手写轨迹中每一手写笔画的特征点确定单字手写轨迹的特征向量。
其中,本实施例可以确定每一单字手写轨迹中每一手写笔画的笔画坐标序列,并在此基础上确定每一手写笔画的特征点,即得到每一单字手写轨迹的特征点,进而根据单字手写轨迹的特征点确定单字手写轨迹的特征向量。
可以理解的是,单字手写轨迹包含了所有轨迹点的坐标信息,其中大部分轨迹点坐标都是冗余的。如果直接把轨迹坐标作为后续分类算法的输入数据,不仅会极大地增加计算量,还可能会产生很多干扰信息。所以本实施例可以通过提取关键点来表征当前文字。本实施例并不是将所有手写笔画的轨迹点作为特征点,而是选择手写笔画中的笔画起点、笔画终点和笔画拐点作为特征点。笔画起点为手写笔画的第一个轨迹点,笔画终点为手写笔画的最后一个轨迹点,笔画拐点为手写笔画在书写过程中书写方向发生改变的点。一个手写笔画可以包括一个笔画起点、一个笔画终点和任意数量个笔画拐点。例如,笔画横“一”包括1个笔画起点,1个笔画终点,0个笔画拐点;笔画钩“亅”包括1个笔画起点,1个笔画终点,1个笔画拐点;笔画横折弯钩“乙”包括1个笔画起点,1个笔画终点,3个笔画拐点。
作为一种可行的实施方式,本实施例可以通过以下方式确定每一单字手写轨迹的特征向量:连接单字手写轨迹中任意两个特征点得到特征线,根据特征线的几何特征和单字手写轨迹的笔画顺序确定单字手写轨迹的特征向量。上述特征线的几何特征包括:(a)特征线长度、(b)特征线倾斜角、(c)特征线起点与单字手写轨迹中心点的距离、(d)特征线终点与单字手写轨迹中心点的距离、(e)特征线起点与单字手写轨迹中心点连线的倾斜角、(f)特征线终点与单字手写轨迹中心点连线的倾斜角、(g)特征线在水平方向的投影长度,以及(h)特征线在竖直方向的投影长度。
上述几何特征中,(a)和(b)用于表征特征线的长度、角度,(c)~(h)用于表征特征线所处的位置(与字符中心点的位置关系)及特征线方向。通过长度、角度、位置、方向等几何特征可以很好地描述特征线。如上,每个特征线可以提取以上8个几何特征,若一个文字有m个特征线,那么就可以提取出m*8个几何特征。将这些几何特征结合笔画顺序,保存在多维数组中可以得到单字手写轨迹的特征向量。通过上述方式确定的特征向量可以保存字符笔画特征,又兼顾笔画顺序与数量,从而完整的将手写轨迹信息的特征展现出来。本实施例提取的特征向量可以良好的表征手写字特征,且减少了不必要的计算,在保证识别准确度的基础上,也提高了识别运算效率。
S104:将单字手写轨迹的特征向量输入至机器学习分类模型,得到手写轨迹对应的文本内容。
其中,在得到单字手写轨迹的特征向量基础上,本实施例可以将单字手写轨迹的特征向量作为机器学习分类模型的输入向量,得到每一单字手写轨迹对应的文字。通过将所有单字手写轨迹对应的文字按照单字手写轨迹的书写位置或书写顺序进行排列,可以得到手写轨迹对应的文本内容。
作为一种可行的实施方式,本实施例可以采用SVM(Support Vector Machine,支持向量机)训练机器学习分类模型。可以将单字手写轨迹的特征向量作为输入向量,依次与机器学习分类模型的权重参数向量、偏移参数相结合进行计算,输出测试字符与对应样本字符的相似度。最后,对所有的相似度由大到小进行排序,输出对应的相似度排名前20个字符作为文本内容,即完成了整个手写识别。进一步的,本实施例可以将所有所述单字手写轨迹的特征向量作为机器学习分类模型的输入向量,以便所述单字手写轨迹的特征向量分别与机器学习分类模型的权重参数向量和偏移参数进行分类计算,得到每一单字手写轨迹与每一样本字符的相似度;将相似度最高的样本字符作为所述单字手写轨迹对应的识别结果,将所有所述识别结果顺序排列得到所述手写轨迹对应的文本内容。上述手写字识别算法计算量较小、效率高、占用硬件资源少。
本实施例在确定手写轨迹中每一手写笔画的笔画坐标序列后,将手写轨迹进行单字切分得到单字手写轨迹。本实施例将每一手写笔画中笔画起点、笔画终点和笔画拐点作为单字手写轨迹的特征点,进而得到每一单字手写轨迹的特征向量,通过笔画起点、笔画终点和笔画拐点确定的特征向量较为精简,可以有效去除冗余轨迹点的计算过程,提高手写文字识别效率,降低手写文字识别的资源占用量。
作为对于图1对应实施例的进一步补充,请参见图2,图2为本申请实施例所提供的一种对手写轨迹进行单字切分的结果进行尺寸归一化操作前后的效果示意图,如图2中尺寸归一化之前的轨迹所示,由于对手写轨迹进行单字切分得到的单字手写轨迹的轨迹坐标范围都不一致,每个汉字所在的矩形框尺寸大小不一,这样会导致后续识别计算过程中偏差加大。因此,在根据所述单字手写轨迹中每一手写笔画的特征点确定所述单字手写轨迹的特征向量之前,还可以对单字手写轨迹中的笔画坐标序列执行尺寸归一化操作。通过尺寸归一化操作能够使每个单字手写轨迹放到统一尺寸的方框内,以利于后续分类识别。
相应的,在对单字手写轨迹中的笔画坐标序列执行尺寸归一化操作的基础上,S103中可以先确定所述单字手写轨迹中每一手写笔画的特征点在尺寸归一化后的特征点坐标,然后根据所述特征点坐标确定所述单字手写轨迹的特征向量。利用尺寸归一化后的特征点坐标确定特征向量能够提高手写文字识别的准确率。
作为一种可行的实施方式,对所述单字手写轨迹中的笔画坐标序列执行尺寸归一化操作的过程包括:确定所述单字手写轨迹对应的矩形框;利用横坐标归一化公式和纵坐标归一化公式对所述单字手写轨迹中的笔画坐标序列执行尺寸归一化操作。
本实施例可以根据单字手写轨迹整体的几何尺寸确定对应的矩形框,具体的,上述矩形框的高等于所述单字手写轨迹在竖直方向上的长度,上述矩形框的宽等于所述单字手写轨迹在水平方向上的长度。上述矩形框为边长与水平方向或竖直方向平行且能够将单字手写轨迹包括在内的方框。单字手写轨迹在竖直方向上的长度可以根据单字手写轨迹的轨迹点中最大竖直坐标和最小竖直坐标确定,单字手写轨迹在水平方向上的长度可以根据单字手写轨迹的轨迹点中最大水平坐标和最小水平坐标确定。
上述提到的横坐标归一化公式为x’=x/w,所述纵坐标归一化公式为y’=y/h,x’为执行归一化操作后笔画坐标序列的横坐标,y’为执行归一化操作后笔画坐标序列的纵坐标,x为执行归一化操作前笔画坐标序列的横坐标,y为执行归一化操作前笔画坐标序列的纵坐标,w为所述矩形框的宽,h为所述矩形框的高。x、y、x’和y’可以为浮点型数值。依次对每个轨迹点的坐标运用上述横坐标归一化公式和纵坐标归一化公式进行计算,得到的归一化坐标集就会被统一缩放到(1*1)范围内,这样就可以防止尺寸不一致导致的后续计算误差加大的问题,提高了手写文字识别的准确率。
作为对于图1对应实施例中S103的补充介绍,以下提供一种通过迭代运算的方式确定所有笔画拐点的方案,请参见图3,图3为本申请实施例提供的一种通过迭代运算的方式确定笔画拐点的方法的流程图,该流程图描述了迭代运算确定笔画拐点的具体过程,可以包括以下步骤:
S201:连接笔画起点和笔画终点得到端点连线。
S202:判断端点连线对应的轨迹中是否存在与端点连线距离大于预设值的轨迹点;若是,则进入S203;若否,则进入S206。
其中,其中,所述端点连线对应的轨迹为所述端点连线的第一端点和第二端点之间的手写笔画的轨迹。
S203:将所述端点连线对应的轨迹中与所述端点连线距离最远的轨迹点作为手写笔画的笔画拐点。
S204:判断当前笔画拐点是否为已确定的笔画拐点;若是,则进入S206;若否,则进入S205。
其中,当前笔画拐点为最近一次确定的笔画拐点,即最近一次执行S203时确定的笔画拐点。当最近一次执行S203时得到的笔画拐点均为之前已确定的笔画拐点时,说明手写笔画中的拐点已查询完毕,可以退出拐点查询流程。具体的,当最近一次执行S203时得到的笔画拐点数量为1时,可以判断当前笔画拐点是否为已确定的笔画拐点;当最近一次执行S203时得到的笔画拐点数量大于1时,可以判断当前笔画拐点是否均为已确定笔画拐点。
S205:连接当前笔画拐点和笔画端点得到新的端点连线,进入S202。
其中,笔画端点包括笔画起点、笔画终点、以及除了当前笔画拐点之外的其他笔画拐点。
S206:判定拐点查询操作执行完毕。
下面通过“与”字中的竖横折钩说明S201~S204过程中的拐点迭代查询流程,请参见图4,图4为本申请实施例所提供的一种通过迭代运算的方式确定笔画拐点的实例示意图。图4中的笔画竖横折钩的手写笔画的轨迹为A→B→C→D→E,连接笔画起点A和笔画终点E得到端点连线AE,此时端点连线AE对应的轨迹为A→B→C→D→E,轨迹A→B→C→D→E中的轨迹点C为与端点连线距离最远的轨迹点,因此将C作为第一次迭代得到的笔画拐点。本实施例进一步将当前笔画拐点C分别与笔画起点A和笔画终点E连接得到新的端点连线AC和CE。端点连线AC对应的轨迹为A→B→C,轨迹A→B→C中的轨迹点B为与端点连线AC距离最远的轨迹点,因此将B作为第二次迭代得到的笔画拐点。端点连线CE对应的轨迹为C→D→E,轨迹C→D→E中的轨迹点D为与端点连线CE距离最远的轨迹点,因此将D作为第二次迭代得到的笔画拐点。
本实施例可以继续连接当前笔画拐点B和笔画端点(A、C、E)得到新的端点连线AB、BC、BE,还可以连接当前笔画拐点D和笔画端点(A、C、E)得到新的端点连线AD、CD、DE,此时在与端点连线距离大于预设值的轨迹点中与端点连线距离最远的轨迹点(B、C、D)均已被查询到,可以判定拐点查询操作执行完毕。
上述实施例通过不断更新端点连线的方式迭代确定当前笔画拐点,可以确定手写笔画中的任意数量个笔画拐点,提高了单字手写笔迹的特征向量的丰富度,提高了手写文字识别效率。
请参见图5,图5为本申请实施例所提供的一种手写轨迹分割方法的流程图,本实施例是对图1对应实施例中S102的进一步介绍,可以将本实施例与图1对应的实施例相结合得到进一步的实施方式,本实施例可以包括以下步骤:
S301:根据手写笔画的笔画坐标序列确定笔画位置关系和笔画重合度信息。
其中,本步骤中的笔画位置关系可以为两个手写笔画之间各个极限位置(如最右轨迹点、最左轨迹点、最上轨迹点或最下轨迹点)的轨迹点的位置关系,笔画重合度信息可以为两个手写笔画在某一方向(水平方向或竖直方向)上的投影的重合程度。
S302:根据笔画位置关系和笔画重合度信息将手写轨迹划分为多个单字预分割轨迹。
具体的,本实施例根据随机选取的任意数量个手写笔画将所述手写轨迹划分为多个单字预分割轨迹,本实施例还可以根据手写笔画的书写顺序依次判断书写顺序相邻的两个手写笔画是否属于同一单字预分割轨迹,得到多个单字预分割轨迹。本实施例中将手写轨迹划分为多个单字预分割轨迹可以包括以下步骤A1~步骤A5的过程:
步骤A1:判断第i+1条手写轨迹与笔画集合中的每一笔画子集的位置关系和/或笔画重合度信息是否符合预分割原则;若是,则进入步骤A2;若否,则进入步骤A3。
其中,i的初始值为1,当i的值为1时,第1条手写轨迹为所述笔画集合的笔画子集中的手写轨迹。本实施例可以根据用户的书写习惯设置相应的预分割原则,当用户的书写习惯为从左向右书写时,预分割原则可以至少包括以下内容:
预分割原则1:若第i+1条手写轨迹的最右轨迹点在备选笔画子集的最右轨迹点的左侧,则判定第i+1条手写轨迹与所述备选笔画子集属于同一单字预分割轨迹;其中,所述备选笔画子集为所述笔画集合中的任一笔画子集;
预分割原则2:若第i+1条手写轨迹的最左轨迹点在备选笔画子集的最左轨迹点的左侧,则判定第i+1条手写轨迹与所述备选笔画子集属于同一单字预分割轨迹;
预分割原则3:若第i+1条手写轨迹的最左轨迹点在备选笔画子集的最右轨迹点的左侧、且第i+1条手写轨迹在水平方向的投影与所述备选笔画子集在水平方向的投影的重合度大于预设重合度,则判定第i+1条手写轨迹与所述备选笔画子集属于同一单字预分割轨迹。
举例说明上述预分割原则的应用,例如“心”第二笔和第三笔的笔画位置关系和笔画重合度符合预分割原则2,虽然第二笔和第四笔的笔画位置关系和笔画重合度不符合预分割原则1~3,但是由于第四笔和前三笔整体的笔画位置关系和笔画重合度符合预分割原则3,此时同样可以认为第四笔和前三笔属于同一文字。由此可见,在本实施例中若某一手写笔画与已判定为属于某一单字手写轨迹的任一手写笔画轨迹的笔画位置关系和笔画重合度符合上述任一项预分割原则,则判定该手写笔画属于该单字手写轨迹。
步骤A2:确定所述笔画集合中与所述第i+1条手写轨迹符合预分割原则的目标笔画子集,并将所述第i+1条手写轨迹添加至所述目标笔画子集。
步骤A3:将所述第i+1条手写轨迹作为所述笔画集合中新的笔画子集。
步骤A4:判断所述笔画集合中是否包括所有所述手写轨迹;若是,则进入步骤A5;若否,则对i的值加1,并进入步骤A1。
步骤A5:判定预分割操作执行完毕,并将所述笔画集合中的每一笔画子集包括的所有手写轨迹作为所述单字预分割轨迹。
S303:根据相邻的单字预分割轨迹之间的距离和宽高比例对单字预分割轨迹进行联合,得到所述单字手写轨迹。
具体的,本实施例根据随机选取的任意数量个单字预分割轨迹进行联合得到为多个单字手写轨迹,本实施例还可以根据单字预分割轨迹的位置依次判断位置相邻的两个单字预分割轨迹是否属于同一单字手写轨迹,得到多个单字手写轨迹。本实施例中将单字预分割轨迹进行联合得到单字手写轨迹可以包括以下步骤B1~步骤B6的过程:
步骤B1:根据所述笔画坐标序列确定所述单字预分割轨迹的书写顺序。
步骤B2:判断第j+1个单字预分割轨迹与笔迹联合结果集中的第k个笔迹联合子集的距离和宽高比例是否符合轨迹联合原则;若是,则进入步骤B3;若否,则进入步骤B4。
其中,j的初始值为1,k的初始值为1,第1个笔迹联合子集包括第1个单字预分割轨迹。本实施例可以通过以下方式判断是否符合轨迹联合原则:
判断方式1:若笔迹距离与笔迹高度的比值小于第一预设比值,且第j+1个单字预分割轨迹与第k个笔迹联合子集联合后的宽高比小于第一预设宽高比,则判定第j+1个单字预分割轨迹与第k个笔迹联合子集的距离和宽高比例符合所述轨迹联合原则;其中,所述笔迹距离为第j+1个单字预分割轨迹与第k个笔迹联合子集的距离,所述笔迹高度为所述第j+1个单字预分割轨迹的高度或所述第k个笔迹联合子集的高度。
判断方式2:若所述笔迹距离与所述笔迹高度的比值小于第二预设比值、第j+1个单字预分割轨迹与第k个笔迹联合子集联合后的宽高比小于第二预设宽高比、且目标宽高比小于第三预设宽高比,则判定第j+1个单字预分割轨迹与第k个笔迹联合子集的距离和宽高比例符合所述轨迹联合原则;其中,所述目标宽高比包括第j+1个单字预分割轨迹的宽度与联合高度的比值,或第k个笔迹联合子集的宽度与所述联合高度的比值,所述联合高度为第j+1个单字预分割轨迹与第k个笔迹联合子集联合后的高度;其中,所述笔迹距离为第j+1个单字预分割轨迹与第k个笔迹联合子集的距离,所述笔迹高度为所述第j+1个单字预分割轨迹的高度或所述第k个笔迹联合子集的高度。
步骤B3:将第j+1个单字预分割轨迹添加至第k个笔迹联合子集。
步骤B4:将第j+1个单字预分割轨迹作为所述笔迹联合结果集中的第k+1个笔迹联合子集。
步骤B5:判断所述笔迹联合结果集中是否包括所有所述笔画坐标序列;若是,则进入步骤B6;若否,则对j的值加1,对k的值加1,并进入步骤B2。
步骤B6:若所述笔迹联合结果集中包括所有所述笔画坐标序列,则判定笔迹联合操作执行完毕,并将所述笔迹联合结果集中的每一笔迹联合子集包括的所有单字预分割轨迹作为所述单字手写轨迹。
下面通过实际应用中的例子说明上述关于笔画预分割和笔迹联合的实施方法:
本实施例可以从手写板上采集手写轨迹,依次将手写轨迹中每个手写笔画的坐标序列保存在一维数组中。每次采集的手写轨迹包含若干笔画,所以手写轨迹可以保存在一个二维数组中,如下示例所示;{ {(93 198), (913 205)}, {(495 203), (470 847),(405 784)} }。
在得到手写轨迹之后,可以对手写轨迹执行文字分割操作,文字分割可以包括笔画预分割操作和笔迹联合操作。以下实施例提出的文字分割方法可以提高手写输入的识别效率。
笔画预分割的过程如下:在手写板上书写汉字时,默认汉字是按照从左到右的顺序排列的。所以本实施例可以通过计算不同笔画在水平方向的位置关系与重合度,来判断两者是否属于同一个字。笔画预分割可以筛选出具有完整的独立结构汉字、完整的上下结构汉字、以及左右排列的偏旁部首。本实施例可以根据采集到的笔画书写顺序,从第一个手写笔画开始进行判断。若当前笔画为s,前面的某个笔画分割结果为C,s与C的关系符合预分割三原则中任意一条即可认定两者是一体的,具体预分割三原则内容如下:
原则1:若当前手写笔画s中最靠右的轨迹点,在笔画集合C最右轨迹点的左侧,则s与C是一体的;
原则2:若当前手写笔画s中最靠左的轨迹点,在笔画集合C最左轨迹点的左侧,则s与C是一体的;
原则3:若当前手写笔画s中最靠左的轨迹点,在笔画集合C最右轨迹点的左侧,且s与C在水平方向的重合率大于R(R = 水平重合长度 / min{s的水平长度,C的水平长度} *100%),则s与C是一体的。上述R可根据实际实验效果确定,例如R可以取值30%。
以手写字“架”为例说明上述预分割三原则的应用方式:
第1笔画为“横折勾”(设为s1),第2笔画为“撇”(设为s2),则s1与s2的关系符合“原则1”,则s1与s2是一体的,将两者组合成C1~2 = {s1, s2},C1~2将作为一个整体,直接与后面的笔画进行三原则判断。
s3为“口”的第一笔画“竖”,s3与C1~2不符合三原则,所以将C1~2与s3添加到分割结果集U中,得到U={C1~2, s3}。
s4(“横折”)与U的子对象C1~2不符合三原则,与子对象s3也不符合三原则,所以将s4添加到分割结果集U中,得到U={C1~2, s3, s4}。
s5(“横”)与U的子对象C1~2、s3都不符合三原则,但与子对象s4的关系符合“原则1”,则s5与s4是一体的,将两者组合成C4~5 = {s4, s5},并用C4~5替换分割结果集U中的s4,得到U={C1~2, s3, C4~5}。
s6(“横”)与U的子对象C1~2符合“原则3”,则C1~2与s6是一体的,而根据书写规则,处于C4~5与s6之间的笔画也是一体的,所以C1~2、s3、C4~5、s6是一体的,将其组合成C1~6,并替换分割结果集中的对应的子对象,得到U={ C1~6};
后续笔画,以此类推进行处理,最终可以将整个汉字“架”分割出来。
在基于预分割三原则将手写笔画预分割为多个单字预分割轨迹的过程中,与当前手写笔画进行比较的对象不是前面的单一笔画,而是前面已判断为一体的笔画组合。
在上述的笔画预分割结果中,可能包括完整的独立结构汉字、完整的上下结构汉字,也可能是左右排列的偏旁部首。所以本实施例可以对于偏旁部首就需要进一步处理,也就是将预分割得到单字预分割轨迹进行联合得到单字手写轨迹。
笔迹联合操作的过程可以包括:通过计算相邻预分割结果之间的距离,以及单字预分割轨迹的长宽比,来判断哪些是偏旁部首,并对这些相邻的偏旁部首进行合适的组合,使其成为有效的汉字。
假定当前分割块A,与相邻的前一分割块B之间的水平距离为distance,A的高度与宽度分别是H1、W1, B的高度与宽度分别是H2、W2。假定A与B联合后组成的新字符C,新字符C的高度与宽度为H、W。本实施例可以通过以下三个原则进行单字预分割轨迹进行联合:
原则1:若满足distance < H1 / 10或者distance < H2 / 10,且W < H *2,则由A与B组成的新联合体C是符合原则的;
原则2:若满足distance < H1 / 5或者distance < H2 / 5,且W < H *1.5,则由A与B组成的新联合体C是符合原则的;
原则3:若满足distance < H1 / 2 或者distance < H2 / 2,同时满足W1 < H /10或者W2 < H/ 10,且满足W< H*1.5,则由A与B组成的新联合体C是符合原则的。上文中提到的参数为较优实施例,并不为唯一限定。
以图6为例,A为“车”,B为“俞”,A、B两个预分割框之间的距离distance < H1 / 5,且满足W < H *1.5,所以可以进行组合;若将A设为“写”,B为“车”,或者A设为“俞”,B为“入”,都不符合三原则之一。通过上述三原则,可以较好的实现预分割结果中偏旁部首的联合,从而得到正确的文字行切分结果。请参见图6,图6为本申请实施例所提供的一种单字预分割轨迹联合处理后的效果图,图6中的虚线框为笔画预分割的结果(即单字预分割轨迹),实线框为单字预分割轨迹联合后的结果(即单字手写轨迹)。
上述实施例先从手写板采集手写轨迹,然后对手写轨迹进行文字分割,将一行文字轨迹分割成多个合适的单字。分割完成后可以对每个单字的尺寸进行归一化,从而保证每个文字大小一致。针对归一化后的每个文字轨迹坐标,进行特征提取从而生成一个可以表征该文字的特征向量。在此基础上,上述实施例还可以根据该特征向量对相应的字符进行SVM分类,并输出分类结果中最相似的结果作为手写轨迹对应的文本内容。
请参见图7,图7为本申请实施例所提供的一种联机手写文字识别装置的结构示意图;
该装置可以包括:
序列确定模块100,用于获取手写轨迹并确定所述手写轨迹中每一手写笔画的笔画坐标序列;
文字切分模块200,用于根据所述手写笔画的笔画坐标序列对所述手写轨迹进行单字切分,得到单字手写轨迹;
特征提取模块300,用于根据所述单字手写轨迹中每一手写笔画的特征点确定所述单字手写轨迹的特征向量;其中,所述特征点包括笔画起点、笔画终点和笔画拐点;
文字识别模块400,用于将所述单字手写轨迹的特征向量输入至机器学习分类模型,得到所述手写轨迹对应的文本内容。
本实施例在确定手写轨迹中每一手写笔画的笔画坐标序列后,将手写轨迹进行单字切分得到单字手写轨迹。本实施例将每一手写笔画中笔画起点、笔画终点和笔画拐点作为单字手写轨迹的特征点,进而得到每一单字手写轨迹的特征向量,通过笔画起点、笔画终点和笔画拐点确定的特征向量较为精简,可以有效去除冗余轨迹点的计算过程,提高手写文字识别效率,降低手写文字识别的资源占用量。
进一步的,特征提取模块300包括:
特征线确定单元,用于连接所述单字手写轨迹中任意两个特征点得到特征线;
特征向量确定单元,用于根据所述特征线的几何特征和所述单字手写轨迹的笔画顺序确定所述单字手写轨迹的特征向量。
进一步的,所述特征线的几何特征包括:特征线长度、特征线倾斜角、特征线起点与所述单字手写轨迹中心点的距离、特征线终点与所述单字手写轨迹中心点的距离、特征线起点与所述单字手写轨迹中心点连线的倾斜角、特征线终点与所述单字手写轨迹中心点连线的倾斜角、特征线在水平方向的投影长度,以及特征线在竖直方向的投影长度。
进一步的,还包括:
归一化模块,用于在根据所述单字手写轨迹中每一手写笔画的特征点确定所述单字手写轨迹的特征向量之前,对所述单字手写轨迹中的笔画坐标序列执行尺寸归一化操作;
相应的,特征提取模块300用于确定所述单字手写轨迹中每一手写笔画的特征点在尺寸归一化后的特征点坐标;还用于根据所述特征点坐标确定所述单字手写轨迹的特征向量。
进一步的,归一化模块包括:
矩形框确定单元,用于确定所述单字手写轨迹对应的矩形框;其中,所述矩形框的高等于所述单字手写轨迹在竖直方向上的长度,所述矩形框的宽等于所述单字手写轨迹在水平方向上的长度;
坐标换算单元,用于利用横坐标归一化公式和纵坐标归一化公式对所述单字手写轨迹中的笔画坐标序列执行尺寸归一化操作;
其中,所述横坐标归一化公式为x’=x/w,所述纵坐标归一化公式为y’=y/h,x’为执行归一化操作后笔画坐标序列的横坐标,y’为执行归一化操作后笔画坐标序列的纵坐标,x为执行归一化操作前笔画坐标序列的横坐标,y为执行归一化操作前笔画坐标序列的纵坐标,w为所述矩形框的宽,h为所述矩形框的高。
进一步的,还包括:
端点连线单元,用于连接所述笔画起点和所述笔画终点得到端点连线;
轨迹点位置判断单元,用于判断所述端点连线对应的轨迹中是否存在与端点连线距离大于预设值的轨迹点;其中,所述端点连线对应的轨迹为所述端点连线的第一端点和第二端点之间的手写笔画的轨迹;
拐点迭代确定单元,用于若存在与所述端点连线距离大于预设值的轨迹点,则将端点连线对应的轨迹中与端点连线距离最远的轨迹点作为手写笔画的笔画拐点;判断当前笔画拐点是否为已确定的笔画拐点;若为已确定的笔画拐点,则判定拐点查询操作执行完毕;若不为已确定的笔画拐点,则连接当前笔画拐点和笔画端点得到新的端点连线,并启动所述轨迹点位置判断单元对应的工作流程;其中,当前笔画拐点为最近一次确定的笔画拐点,所述笔画端点包括笔画起点、笔画终点、以及除了当前笔画拐点之外的其他笔画拐点;
结果判定单元,用于若不存在与端点连线距离大于预设值的轨迹点,则判定拐点查询操作执行完毕。
进一步的,文字切分模块200包括:
笔画关系确定单元,用于根据所述手写笔画的笔画坐标序列确定笔画位置关系和笔画重合度信息;
预分割单元,用于根据所述笔画位置关系和所述笔画重合度信息将所述手写轨迹划分为多个单字预分割轨迹;
联合单元,用于根据相邻的所述单字预分割轨迹之间的距离和宽高比例对所述单字预分割轨迹进行联合,得到所述单字手写轨迹。
进一步的,预分割单元包括:
预分割判断子单元,用于判断第i+1条手写轨迹与笔画集合中的每一笔画子集的位置关系和/或笔画重合度信息是否符合预分割原则;其中,i的初始值为1,当i的值为1时,第1条手写轨迹为所述笔画集合的笔画子集中的手写轨迹;若是,则确定所述笔画集合中与所述第i+1条手写轨迹符合预分割原则的目标笔画子集,并将所述第i+1条手写轨迹添加至所述目标笔画子集;若否,则将所述第i+1条手写轨迹作为所述笔画集合中新的笔画子集;
轨迹数量判断单元,用于判断所述笔画集合中是否包括所有所述手写轨迹;若所述笔画集合中包括所有所述手写轨迹,则判定预分割操作执行完毕,并将所述笔画集合中的每一笔画子集包括的所有手写轨迹作为所述单字预分割轨迹;若所述笔画集合中不包括所有所述手写轨迹,则对i的值加1,并启动预分割判断子单元对应的工作流程。
进一步的,预分割判断子单元判断第i+1条手写轨迹与笔画集合中的每一笔画子集的位置关系和/或笔画重合度信息是否符合预分割原则的过程包括:若第i+1条手写轨迹的最右轨迹点在备选笔画子集的最右轨迹点的左侧,则判定第i+1条手写轨迹与所述备选笔画子集符合所述预分割原则;其中,所述备选笔画子集为所述笔画集合中的任一笔画子集;若第i+1条手写轨迹的最左轨迹点在备选笔画子集的最左轨迹点的左侧,则判定第i+1条手写轨迹与所述备选笔画子集符合所述预分割原则;若第i+1条手写轨迹的最左轨迹点在备选笔画子集的最右轨迹点的左侧、且第i+1条手写轨迹在水平方向的投影与所述备选笔画子集在水平方向的投影的重合度大于预设重合度,则判定第i+1条手写轨迹与所述备选笔画子集符合所述预分割原则。
进一步的,联合单元包括:
顺序确定子单元,用于根据所述笔画坐标序列确定所述单字预分割轨迹的书写顺序;
联合判断子单元,用于判断第j+1个单字预分割轨迹与笔迹联合结果集中的第k个笔迹联合子集的距离和宽高比例是否符合轨迹联合原则;其中,j的初始值为1,k的初始值为1,第1个笔迹联合子集包括第1个单字预分割轨迹;若是,则将第j+1个单字预分割轨迹添加至第k个笔迹联合子集;若否,则将第j+1个单字预分割轨迹作为所述笔迹联合结果集中的第k+1个笔迹联合子集;
联合数量判断单元,用于判断所述笔迹联合结果集中是否包括所有所述笔画坐标序列;若所述笔迹联合结果集中包括所有所述笔画坐标序列,则判定笔迹联合操作执行完毕,并将所述笔迹联合结果集中的每一笔迹联合子集包括的所有单字预分割轨迹作为所述单字手写轨迹;若所述笔迹联合结果集中不包括所有所述笔画坐标序列,则对j的值加1,对k的值加1,并启动联合判断子单元对应的工作流程。
进一步的,所述联合判断子单元判断第j+1个单字预分割轨迹与笔迹联合结果集中的第k个笔迹联合子集的距离和宽高比例是否符合轨迹联合原则的过程包括:若笔迹距离与笔迹高度的比值小于第一预设比值,且第j+1个单字预分割轨迹与第k个笔迹联合子集联合后的宽高比小于第一预设宽高比,则判定第j+1个单字预分割轨迹与第k个笔迹联合子集的距离和宽高比例符合所述轨迹联合原则;其中,所述笔迹距离为第j+1个单字预分割轨迹与第k个笔迹联合子集的距离,所述笔迹高度为所述第j+1个单字预分割轨迹的高度或所述第k个笔迹联合子集的高度;若所述笔迹距离与所述笔迹高度的比值小于第二预设比值、第j+1个单字预分割轨迹与第k个笔迹联合子集联合后的宽高比小于第二预设宽高比、且目标宽高比小于第三预设宽高比,则判定第j+1个单字预分割轨迹与第k个笔迹联合子集的距离和宽高比例符合所述轨迹联合原则;其中,所述目标宽高比包括第j+1个单字预分割轨迹的宽度与联合高度的比值,或第k个笔迹联合子集的宽度与所述联合高度的比值,所述联合高度为第j+1个单字预分割轨迹与第k个笔迹联合子集联合后的高度。
进一步的,文字识别模块400包括:
相似度确定单元,用于将所有所述单字手写轨迹的特征向量作为机器学习分类模型的输入向量,以便所述单字手写轨迹的特征向量分别与机器学习分类模型的权重参数向量和偏移参数进行分类计算,得到每一单字手写轨迹与每一样本字符的相似度;
结果确定单元,用于将相似度最高的样本字符作为所述单字手写轨迹对应的识别结果,将所有所述识别结果顺序排列得到所述手写轨迹对应的文本内容。
由于装置部分的实施例与方法部分的实施例相互对应,因此装置部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
本申请还提供了一种存储介质,其上存有计算机程序,该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory ,ROM)、随机存取存储器(Random Access Memory ,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种电子设备,可以包括存储器和处理器,所述存储器中存有计算机程序,所述处理器调用所述存储器中的计算机程序时,可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口,电源等组件。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (13)
1.一种联机手写文字识别方法,其特征在于,包括:
获取手写轨迹并确定所述手写轨迹中每一手写笔画的笔画坐标序列;
根据所述手写笔画的笔画坐标序列对所述手写轨迹进行单字切分,得到单字手写轨迹;
根据所述单字手写轨迹中每一手写笔画的特征点确定所述单字手写轨迹的特征向量;其中,所述特征点包括笔画起点、笔画终点和笔画拐点;
将所述单字手写轨迹的特征向量输入至机器学习分类模型,得到所述手写轨迹对应的文本内容;
其中,根据所述手写笔画的笔画坐标序列对所述手写轨迹进行单字切分,得到单字手写轨迹,包括:
根据所述手写笔画的笔画坐标序列确定笔画位置关系和笔画重合度信息;
根据所述笔画位置关系和所述笔画重合度信息将所述手写轨迹划分为多个单字预分割轨迹;
根据相邻的所述单字预分割轨迹之间的距离和宽高比例对所述单字预分割轨迹进行联合,得到所述单字手写轨迹;
其中,根据所述单字手写轨迹中每一手写笔画的特征点确定所述单字手写轨迹的特征向量,包括:
连接所述单字手写轨迹中任意两个特征点得到特征线;
根据所述特征线的几何特征和所述单字手写轨迹的笔画顺序确定所述单字手写轨迹的特征向量。
2.根据权利要求1所述联机手写文字识别方法,其特征在于,所述特征线的几何特征包括:特征线长度、特征线倾斜角、特征线起点与所述单字手写轨迹中心点的距离、特征线终点与所述单字手写轨迹中心点的距离、特征线起点与所述单字手写轨迹中心点连线的倾斜角、特征线终点与所述单字手写轨迹中心点连线的倾斜角、特征线在水平方向的投影长度,以及特征线在竖直方向的投影长度。
3.根据权利要求1所述联机手写文字识别方法,其特征在于,在根据所述单字手写轨迹中每一手写笔画的特征点确定所述单字手写轨迹的特征向量之前,还包括:
对所述单字手写轨迹中的笔画坐标序列执行尺寸归一化操作;
相应的,根据所述单字手写轨迹中每一手写笔画的特征点确定所述单字手写轨迹的特征向量,包括:
确定所述单字手写轨迹中每一手写笔画的特征点在尺寸归一化后的特征点坐标;
根据所述特征点坐标确定所述单字手写轨迹的特征向量。
4.根据权利要求3所述联机手写文字识别方法,其特征在于,对所述单字手写轨迹中的笔画坐标序列执行尺寸归一化操作包括:
确定所述单字手写轨迹对应的矩形框;其中,所述矩形框的高等于所述单字手写轨迹在竖直方向上的长度,所述矩形框的宽等于所述单字手写轨迹在水平方向上的长度;
利用横坐标归一化公式和纵坐标归一化公式对所述单字手写轨迹中的笔画坐标序列执行尺寸归一化操作;
其中,所述横坐标归一化公式为x’=x/w,所述纵坐标归一化公式为y’=y/h,x’为执行归一化操作后笔画坐标序列的横坐标,y’为执行归一化操作后笔画坐标序列的纵坐标,x为执行归一化操作前笔画坐标序列的横坐标,y为执行归一化操作前笔画坐标序列的纵坐标,w为所述矩形框的宽,h为所述矩形框的高。
5.根据权利要求1所述联机手写文字识别方法,其特征在于,在根据所述单字手写轨迹中每一手写笔画的特征点确定所述单字手写轨迹的特征向量之前,还包括:
连接所述笔画起点和所述笔画终点得到端点连线;
判断所述端点连线对应的轨迹中是否存在与端点连线距离大于预设值的轨迹点;其中,所述端点连线对应的轨迹为所述端点连线的第一端点和第二端点之间的手写笔画的轨迹;
若存在与所述端点连线距离大于预设值的轨迹点,则将所述端点连线对应的轨迹中与所述端点连线距离最远的轨迹点作为手写笔画的笔画拐点;判断当前笔画拐点是否为已确定的笔画拐点;若为已确定的笔画拐点,则判定拐点查询操作执行完毕;若不为已确定的笔画拐点,则连接当前笔画拐点和笔画端点得到新的端点连线,进入判断端点连线对应的轨迹中是否存在与端点连线距离大于预设值的轨迹点的步骤;其中,当前笔画拐点为最近一次确定的笔画拐点,所述笔画端点包括笔画起点、笔画终点、以及除了当前笔画拐点之外的其他笔画拐点;
若不存在与端点连线距离大于预设值的轨迹点,则判定拐点查询操作执行完毕。
6.根据权利要求1所述联机手写文字识别方法,其特征在于,根据所述笔画位置关系和所述笔画重合度信息将所述手写轨迹划分为多个单字预分割轨迹,包括:
判断第i+1条手写轨迹与笔画集合中的每一笔画子集的位置关系和/或笔画重合度信息是否符合预分割原则;其中,i的初始值为1,当i的值为1时,第1条手写轨迹为所述笔画集合的笔画子集中的手写轨迹;
若是,则确定所述笔画集合中与所述第i+1条手写轨迹符合预分割原则的目标笔画子集,并将所述第i+1条手写轨迹添加至所述目标笔画子集;
若否,则将所述第i+1条手写轨迹作为所述笔画集合中新的笔画子集;
判断所述笔画集合中是否包括所有所述手写轨迹;
若所述笔画集合中包括所有所述手写轨迹,则判定预分割操作执行完毕,并将所述笔画集合中的每一笔画子集包括的所有手写轨迹作为所述单字预分割轨迹;
若所述笔画集合中不包括所有所述手写轨迹,则对i的值加1,并进入判断第i+1条手写轨迹与笔画集合中的每一笔画子集的位置关系和/或笔画重合度信息是否符合预分割原则的操作。
7.根据权利要求6所述联机手写文字识别方法,其特征在于,所述判断第i+1条手写轨迹与笔画集合中的每一笔画子集的位置关系和/或笔画重合度信息是否符合预分割原则包括:
若第i+1条手写轨迹的最右轨迹点在备选笔画子集的最右轨迹点的左侧,则判定第i+1条手写轨迹与所述备选笔画子集符合所述预分割原则;其中,所述备选笔画子集为所述笔画集合中的任一笔画子集;
若第i+1条手写轨迹的最左轨迹点在备选笔画子集的最左轨迹点的左侧,则判定第i+1条手写轨迹与所述备选笔画子集符合所述预分割原则;
若第i+1条手写轨迹的最左轨迹点在备选笔画子集的最右轨迹点的左侧、且第i+1条手写轨迹在水平方向的投影与所述备选笔画子集在水平方向的投影的重合度大于预设重合度,则判定第i+1条手写轨迹与所述备选笔画子集符合所述预分割原则。
8.根据权利要求1所述联机手写文字识别方法,其特征在于,所述根据相邻的所述单字预分割轨迹之间的距离和宽高比例对所述单字预分割轨迹进行联合,得到所述单字手写轨迹,包括:
根据所述笔画坐标序列确定所述单字预分割轨迹的书写顺序;
判断第j+1个单字预分割轨迹与笔迹联合结果集中的第k个笔迹联合子集的距离和宽高比例是否符合轨迹联合原则;其中,j的初始值为1,k的初始值为1,第1个笔迹联合子集包括第1个单字预分割轨迹;
若是,则将第j+1个单字预分割轨迹添加至第k个笔迹联合子集;
若否,则将第j+1个单字预分割轨迹作为所述笔迹联合结果集中的第k+1个笔迹联合子集;
判断所述笔迹联合结果集中是否包括所有所述笔画坐标序列;
若所述笔迹联合结果集中包括所有所述笔画坐标序列,则判定笔迹联合操作执行完毕,并将所述笔迹联合结果集中的每一笔迹联合子集包括的所有单字预分割轨迹作为所述单字手写轨迹;
若所述笔迹联合结果集中不包括所有所述笔画坐标序列,则对j的值加1,对k的值加1,并进入判断第j+1个单字预分割轨迹与笔迹联合结果集中的第k个笔迹联合子集的距离和宽高比例是否符合轨迹联合原则的操作。
9.根据权利要求8所述联机手写文字识别方法,其特征在于,所述判断第j+1个单字预分割轨迹与笔迹联合结果集中的第k个笔迹联合子集的距离和宽高比例是否符合轨迹联合原则,包括:
若笔迹距离与笔迹高度的比值小于第一预设比值,且第j+1个单字预分割轨迹与第k个笔迹联合子集联合后的宽高比小于第一预设宽高比,则判定第j+1个单字预分割轨迹与第k个笔迹联合子集的距离和宽高比例符合所述轨迹联合原则;其中,所述笔迹距离为第j+1个单字预分割轨迹与第k个笔迹联合子集的距离,所述笔迹高度为所述第j+1个单字预分割轨迹的高度或所述第k个笔迹联合子集的高度;
若所述笔迹距离与所述笔迹高度的比值小于第二预设比值、第j+1个单字预分割轨迹与第k个笔迹联合子集联合后的宽高比小于第二预设宽高比、且目标宽高比小于第三预设宽高比,则判定第j+1个单字预分割轨迹与第k个笔迹联合子集的距离和宽高比例符合所述轨迹联合原则;其中,所述目标宽高比包括第j+1个单字预分割轨迹的宽度与联合高度的比值,或第k个笔迹联合子集的宽度与所述联合高度的比值,所述联合高度为第j+1个单字预分割轨迹与第k个笔迹联合子集联合后的高度。
10.根据权利要求1所述联机手写文字识别方法,其特征在于,所述将所述单字手写轨迹的特征向量输入至机器学习分类模型,得到所述手写轨迹对应的文本内容,包括:
将所有所述单字手写轨迹的特征向量作为机器学习分类模型的输入向量,以便所述单字手写轨迹的特征向量分别与机器学习分类模型的权重参数向量和偏移参数进行分类计算,得到每一单字手写轨迹与每一样本字符的相似度;
将相似度最高的样本字符作为所述单字手写轨迹对应的识别结果,将所有所述识别结果顺序排列得到所述手写轨迹对应的文本内容。
11.一种联机手写文字识别装置,其特征在于,包括:
序列确定模块,用于获取手写轨迹并确定所述手写轨迹中每一手写笔画的笔画坐标序列;
文字切分模块,用于根据所述手写笔画的笔画坐标序列对所述手写轨迹进行单字切分,得到单字手写轨迹;
特征提取模块,用于根据所述单字手写轨迹中每一手写笔画的特征点确定所述单字手写轨迹的特征向量;其中,所述特征点包括笔画起点、笔画终点和笔画拐点;
文字识别模块,用于将所述单字手写轨迹的特征向量输入至机器学习分类模型,得到所述手写轨迹对应的文本内容;
其中,所述文字切分模块包括:
笔画关系确定单元,用于根据所述手写笔画的笔画坐标序列确定笔画位置关系和笔画重合度信息;
预分割单元,用于根据所述笔画位置关系和所述笔画重合度信息将所述手写轨迹划分为多个单字预分割轨迹;
联合单元,用于根据相邻的所述单字预分割轨迹之间的距离和宽高比例对所述单字预分割轨迹进行联合,得到所述单字手写轨迹;
其中,特征提取模块包括:
特征线确定单元,用于连接所述单字手写轨迹中任意两个特征点得到特征线;
特征向量确定单元,用于根据所述特征线的几何特征和所述单字手写轨迹的笔画顺序确定所述单字手写轨迹的特征向量。
12.一种电子设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时实现如权利要求1至10任一项所述联机手写文字识别方法的步骤。
13.一种存储介质,其特征在于,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如上权利要求1至10任一项所述联机手写文字识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010977988.2A CN111931710B (zh) | 2020-09-17 | 2020-09-17 | 一种联机手写文字识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010977988.2A CN111931710B (zh) | 2020-09-17 | 2020-09-17 | 一种联机手写文字识别方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111931710A CN111931710A (zh) | 2020-11-13 |
CN111931710B true CN111931710B (zh) | 2021-03-30 |
Family
ID=73335220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010977988.2A Active CN111931710B (zh) | 2020-09-17 | 2020-09-17 | 一种联机手写文字识别方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111931710B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112633243B (zh) * | 2020-12-31 | 2023-01-03 | 安徽鸿程光电有限公司 | 信息识别方法、装置、设备及计算机存储介质 |
CN115413335A (zh) * | 2021-02-01 | 2022-11-29 | 京东方科技集团股份有限公司 | 手写体识别方法及装置、手写体识别系统和交互平板 |
KR20220135914A (ko) * | 2021-03-31 | 2022-10-07 | 삼성전자주식회사 | 학습 기반의 필기 입력을 처리하는 전자 장치, 그 동작 방법 및 저장매체 |
CN113468972B (zh) * | 2021-06-07 | 2024-02-27 | 中金金融认证中心有限公司 | 用于复杂场景手写识别的手写轨迹切分方法及计算机产品 |
CN113642542B (zh) * | 2021-10-14 | 2022-02-08 | 中国科学院自动化研究所 | 基于位置约束的手写汉字同名笔画提取方法 |
CN114399772B (zh) * | 2021-12-20 | 2024-02-27 | 北京百度网讯科技有限公司 | 样本生成、模型训练和轨迹识别方法、装置、设备和介质 |
CN115331213A (zh) * | 2022-10-17 | 2022-11-11 | 基合半导体(宁波)有限公司 | 字符识别方法、芯片、电子设备及存储介质 |
CN117519515B (zh) * | 2024-01-05 | 2024-05-28 | 深圳市方成教学设备有限公司 | 一种用于记忆黑板的文字识别方法、装置和记忆黑板 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7454717B2 (en) * | 2004-10-20 | 2008-11-18 | Microsoft Corporation | Delimiters for selection-action pen gesture phrases |
CN1983248A (zh) * | 2005-12-06 | 2007-06-20 | 宗刚 | 一种计算机中外文字编码及输入法 |
CN100382098C (zh) * | 2006-09-08 | 2008-04-16 | 华南理工大学 | 手写汉字首末笔段的联机提取方法 |
US8385652B2 (en) * | 2010-03-31 | 2013-02-26 | Microsoft Corporation | Segmentation of textual lines in an image that include western characters and hieroglyphic characters |
CN102063620A (zh) * | 2010-12-31 | 2011-05-18 | 北京捷通华声语音技术有限公司 | 一种手写识别方法、系统及手写识别终端 |
CN102073884A (zh) * | 2010-12-31 | 2011-05-25 | 北京捷通华声语音技术有限公司 | 一种手写识别方法、系统及手写识别终端 |
CN102156577B (zh) * | 2011-03-28 | 2013-05-29 | 安徽科大讯飞信息科技股份有限公司 | 实现连续手写识别输入的方法及系统 |
CN105095924A (zh) * | 2014-04-25 | 2015-11-25 | 夏普株式会社 | 手写识别方法和设备 |
CN106446896B (zh) * | 2015-08-04 | 2020-02-18 | 阿里巴巴集团控股有限公司 | 一种字符分割方法、装置及电子设备 |
CN108021914B (zh) * | 2017-12-27 | 2020-07-28 | 清华大学 | 基于卷积神经网络的印刷品字符区域提取方法 |
-
2020
- 2020-09-17 CN CN202010977988.2A patent/CN111931710B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111931710A (zh) | 2020-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111931710B (zh) | 一种联机手写文字识别方法、装置、电子设备及存储介质 | |
JP4745758B2 (ja) | テキストおよびグラフィクスの空間認識およびグループ化 | |
US5687254A (en) | Searching and Matching unrecognized handwriting | |
KR102326395B1 (ko) | 다수의 객체 입력을 인식하기 위한 시스템 및 그 방법 및 제품 | |
Awal et al. | First experiments on a new online handwritten flowchart database | |
AU737039B2 (en) | Methods and apparatuses for handwriting recognition | |
US20100329562A1 (en) | Statistical Online Character Recognition | |
CN100535928C (zh) | 检测墨水输入中的手绘对象的系统和方法 | |
KR20100135281A (ko) | 손으로 그려진 표를 인식하기 위한 방법 및 툴 | |
JP5717691B2 (ja) | 手書き文字検索装置、方法及びプログラム | |
JPH05189617A (ja) | 手書き文字認識に於けるアークのセグメント化の方法と装置 | |
JP7388645B2 (ja) | グラフィックオブジェクトを選択するための方法及び対応するデバイス | |
CN108701215B (zh) | 用于识别多对象结构的系统和方法 | |
Shilman et al. | Recognition and grouping of handwritten text in diagrams and equations | |
JP2007213433A (ja) | 文字検索装置 | |
KR20220038477A (ko) | 텍스트 라인 추출 | |
US20150139547A1 (en) | Feature calculation device and method and computer program product | |
Chiang et al. | Recognizing arbitrarily connected and superimposed handwritten numerals in intangible writing interfaces | |
JP3216800B2 (ja) | 手書き文字認識方法 | |
Tang et al. | Online chemical symbol recognition for handwritten chemical expression recognition | |
CN115311674A (zh) | 手写处理方法、装置、电子设备和可读存储介质 | |
JP5344338B2 (ja) | プログラム、情報記憶媒体及び文字列認識装置 | |
AbdElNafea et al. | Efficient preprocessing algorithm for online handwritten Arabic strokes | |
JP6030172B2 (ja) | 手書き文字検索装置、方法及びプログラム | |
JP6437205B2 (ja) | 手書き音楽記号認識装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |