CN113408387A - 用于复杂书写场景的手写文本数据生成方法及计算机产品 - Google Patents
用于复杂书写场景的手写文本数据生成方法及计算机产品 Download PDFInfo
- Publication number
- CN113408387A CN113408387A CN202110649883.9A CN202110649883A CN113408387A CN 113408387 A CN113408387 A CN 113408387A CN 202110649883 A CN202110649883 A CN 202110649883A CN 113408387 A CN113408387 A CN 113408387A
- Authority
- CN
- China
- Prior art keywords
- sample
- writing
- handwritten text
- word
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000011218 segmentation Effects 0.000 claims abstract description 13
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 13
- 230000009191 jumping Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 30
- 230000015572 biosynthetic process Effects 0.000 description 12
- 239000002131 composite material Substances 0.000 description 12
- 238000003786 synthesis reaction Methods 0.000 description 12
- 238000005070 sampling Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Character Discrimination (AREA)
Abstract
本发明公开了一种用于复杂书写场景的手写文本数据生成方法及计算机产品,方法包括:获取单字样本;根据设定的书写场景,确定所对应的场景参数和增强参数;基于场景参数和增强参数,调整单字样本与当前手写样本之间的关系,将单字样本合成到当前手写样本中,以生成新的手写文本样本,并且记录对应的单字切分位置。本发明能够根据设定的书写场景生成对应的手写文本,从而实现了手写文本的定制化生成,而且非常适于通过单字样本来生成手写文本样本。
Description
技术领域
本发明涉及手写识别技术领域,特别是涉及一种用于复杂书写场景的手写文本数据生成方法。
背景技术
手写输入是人与设备的一种重要的交互方式。相应的,为了辨识手写输入,手写识别技术也在各种类型的电子设备上被广泛地应用起来。
现有技术中,手写识别技术主要是基于机器学习和深度学习的方法来构建识别模型,而构建识别模型的关键在于:将大量采样的数据集作为输入对识别模型进行训练,因此,为了提高识别模型的精度,需要足够多的数据。对于真实的、复杂的书写场景的手写识别,更加依赖足够逼近或模拟各类真实、复杂书写场景的测试数据。上述书写场景是指用户采用电子设备进行手写录入的方式,包括但不限于,单/多行,单/多列,跳跃书写,重叠书写,任意角度斜向书写等。
收集单字手写采样数据较容易实现,例如联机形式手写数据(通过某种电子设备获取到的用户手写输入以书写轨迹方式保存)中单字样本较多;然而,获取各类复杂场景下手写文本数据且同时记录单字类型(单字类型:书写单字的内容)和单字切分标签(单字切分标签:连续书写文本轨迹中属于完整单字的笔画段标记)则非常困难。比如对于某个书写者来说,容易收集到该书写者的若干个单字样本,但是由于书写者的工作性质、获取信息的成本等问题,该书写者的大量手写文本是很难收集的。
综上,现有技术中,缺少用于模型训练的大量手写文本样本。
发明内容
基于此,有必要针对上述存在的问题,提供一种用于复杂书写场景的手写文本数据生成方法,同时,本发明还提供了基于上述方法的计算机设备和计算机可读存储介质。
根据本发明的一个方面,本发明实施例提供了一种用于数据增强的手写文本数据生成方法,包括如下步骤:获取单字样本;根据设定的书写场景,确定所对应的场景参数和增强参数;基于场景参数和增强参数,调整单字样本与当前手写文本样本之间的关系,将单字样本合成到当前手写文本样本中,以生成新的手写文本样本,并且记录对应的单字切分标签。
在一个实施例中,根据语料内容从单字样本库中选取对应的单字形成单字样本集合,从单字样本集合中采集单字样本,并且对单字样本进行标准化;所述标准化包括归一化、估算单字样本的中心和计算单字样本的大小。
在一个实施例中,其中,还以当前手写文本样本的位置为参考;所述当前手写文本样本的位置包括:当前手写文本样本的中心位置,或者当前手写文本样本中末字的中心位置,所述末字为按照书写时间排序的最后一个字符。
在一个实施例中,所述书写场景包括若干种典型书写场景以及两种以上典型书写场景的结合,所述典型书写场景包括:“行/列书写”、“任意方向书写”、“重叠/多字叠写”、“跳跃书写”和“大小非均匀书写”。
在一个实施例中,对于两种以上典型书写场景的结合,将典型书写场景对应的合成方式进行嵌套以确定单字样本与当前手写文本样本之间的关系。
在一个实施例中,所述单字样本与当前手写文本样本之间的关系包括位置关系、重叠关系和/或大小关系。
在一个实施例中,所述场景参数与书写场景的属性相关联。
在一个实施例中,所述增强参数与单字样本的属性相关联。
根据本发明的另一个方面,本发明实施例提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
根据本发明的又一个方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,处理器执行所述计算机程序时实现上述方法的步骤。
本发明提出的手写文本生成方法,一方面,能够根据设定的书写场景生成对应的手写文本样本,从而实现了手写文本的定制化生成,另一方面,本发明在不断采集、增强、合成的循环过程中,生成逐渐丰富的手写文本样本,以简洁的形式实现了手写文本样本的生成,非常适于通过单字样本来生成手写文本样本。
附图说明
通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,并且相同或对应的标号表示相同或对应的部分,其中:
图1是根据本发明实施例的用于复杂书写场景的手写文本数据生成方法的流程示意图;
图2是根据本发明实施例的获取单字样本的流程示意图;
图3是根据本发明实施例的对单字样本进行标准化处理的流程示意图;
图4是根据本发明实施例的参考位置示意图;
图5-1是“单/多行书写”场景的技术构思示意图,图5-2是“单/多行书写”场景的合成示意图;
图6-1是“单/多列书写”场景的技术构思示意图,图6-2是“单/多列书写”场景的合成示意图;
图7-1是“任意方向书写”场景的技术构思示意图,图7-2是“任意方向书写”场景的合成示意图;
图8-1是“重叠/多字叠写”场景的技术构思示意图,图8-2是“重叠/多字叠写”场景的合成示意图;
图9-1是“跳跃书写”场景的技术构思示意图,图9-2是“跳跃书写”场景的合成示意图;
图10-1是“大小非均匀书写”场景的技术构思示意图,图10-2是“大小非均匀书写”场景的合成示意图;
图11是本发明的技术构思总结图;以及
图12是根据本发明实施例的计算机设备结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细地说明。应当理解,此处描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
现有技术中,存在通过数据增强的方式来扩展单字样本的技术方案,但是,仅仅通过单字样本的数据增强,并不能高效地生成手写文本样本。因此,本发明的手写文本数据生成的基本构思是:采样单字样本—进行数据增强并且合成手写文本样本—再采样单字样本—再进行数据增强并且合成手写文本样本,如此循环,最终形成所需要的手写文本样本。下面结合附图进行详细说明。
方法实施例
图1示出了根据本发明一个实施例的用于复杂书写场景的手写文本数据生成方法的流程示意图。如图1所示,在一个实施例中,手写文本数据生成包括如下步骤:
S1,获取单字样本;
S2,根据书写场景,确定所对应的场景参数和增强参数;
S3,基于场景参数和增强参数,调整单字样本与当前手写文本样本之间的关系,将单字样本合成到当前手写文本样本中,以生成新的手写文本样本,并且记录对应的单字切分标签。
本实施例中,每次执行步骤S1则进行一次采样,获得一个单字样本;然后在步骤S3中将该单字样本添加到当前手写文本样本中,形成新的手写文本样本;然后,继续进行采样,新的手写文本样本便成为当前手写文本样本,将采样得到的单字样本添加到其中;不断循环执行上述步骤,即可逐渐形成一个内容不断丰富的手写文本样本,即手写文本样本数据。
本发明实施例的手写文本生成方式,是一个采样、增强、合成不断循环的过程,随着循环的进行,能够生成内容丰富的手写文本样本。该方式为现有技术提供了一种全新的技术路线。另外,本发明实施例中,通过设置对应的场景参数和增强参数,即可适应于不同的书写场景,因此本发明实施例的方法能够产生定制化的手写文本样本。为了便于叙述,下文中,手写文本样本也简称为手写样本。
在步骤S2中,根据特定的书写场景,确定对应的场景参数和增强参数;其中,场景参数可以是与特定书写场景相关联的参数,而增强参数可以是与单字样本相关联的参数。而且,在一个特定场景下,场景参数是固定的,而增强参数则是可以调整变化的。场景参数和增强参数共同用于反映对应的书写场景,表征当前手写样本与单字样本之间的关系,例如位置、角度等关系。
步骤S3中的单字切分位置是指连续书写文本轨迹中属于完整单字的笔画段标记,即标识出哪些笔画构成一个单字。记录单字切分位置的目的是为了在后续的手写识别方法的训练过程中能够使用。
图2、图3展示了采集单字样本并且进行标准化处理的过程。图2示出了根据本发明实施例的获取单字样本的流程示意图。图3示出了根据本发明实施例的对单字样本进行标准化处理的流程示意图。
如图2所示,首先,在步骤S101处,判断是否需要定制书写的内容,如果需要定制书写的内容,则需要执行步骤S102,从语料库中选取相应的内容(例如定制书写的内容为“新闻报道”,则选取“新闻报道”相关内容)。若不需要定制书写的内容,则执行步骤S103,随机选取语料即可。然后,在步骤S104处,根据定制或随机语料内容,从单字样本库中选取语料内容对应的各个单字,形成一个单字样本集合,该单字样本集合包括中文、英文字符,常用标点符号和数字等字符。本实施例中,为了使最终得到的手写文本数据更加符合真实的场景,形成的单字样本集合是针对某个给定书写者的,也就是说单字样本库均来自于同一个给定书写者。当然,若不考虑书写者相同的限制,也可以采用不同书写者的单字样本库。另外,同一给定书写者的某个字符可能有多个样本,例如“王”字,同一书写者有多个“王”字的书写样本,则可以随机选取一个加入单字样本集合,也可以将它们均加入单字样本集合中。
接着,在步骤S105处,从单字样本集合中进行采样,最后在步骤S106处获取单字样本。其中,步骤S105中,采样的顺序可以是按照单字样本排列的先后顺序,也可以是按照规定的顺序,甚至可以是随机的顺序。
如图3所示,在一个实施例中,对单字样本进行标准化处理步骤包括步骤S107、步骤S108和步骤S109。
首先,在步骤S107处,将步骤S106得到的单字样本进行归一化,以便后续过程中对多个单字样本统一操作。例如,可以按式(1)进行变换,其中L为预先确定的范围值,经过该步骤,将原本大小不一的单字样本转换到固定的范围L内。
xi=(xi-xmin)/L
yi=(yi-ymin)/L (1)
接着,在步骤S108处,估计归一化后的单字样本的中心,用于后续步骤。单字样本中心的估算,与书写时的笔速、电子设备的采样率有关,根据笔画点间距离反向加权得到,单字样本中心计算见式(2a、2b、2c、2d)。式(2a)反映了书写时的笔速,式(2b)反映了笔画点间距离。
在其他实施例方式中,也可以采用现有技术中的其他方法计算单字样本的中心,在此不再赘述。
最后,在步骤S109处,获取标归一化后的单字样本的大小。在一个实施例中,单字样本的大小由其宽高值来表示,包括:字宽=|xmax-xmin|,字高=|ymax-ymin|。xmax,xmin|为x坐标的最大值和最小值,ymax,ymin为y坐标的最大值和最小值。步骤S108和步骤S109的作用在于,在将单字添加到当前手写样本中的某个设定位置时,用于定位单字样本,使单字样本的中心位置与设定位置的坐标重合。
下面的步骤S2和步骤S3中,均是针对标准化后的单字样本进行处理,为了简便起见,下文简称为单字样本。为了便于叙述,下面将结合步骤S2和S3进行说明。
在步骤S2、S3中,为了将单字样本添加到当前手写样本中,需要确定一个参考位置。图4示出了根据本发明实施例的参考位置示意图。如图4所示,在一个实施场景中,当前手写样本包括多个字符,如首字(第一个字符)、第二个字符……末字(最后一个字符),则参考位置可以是当前手写样本中末字的中心位置41,也可以是当前手写样本的中心位置42。需要说明的是,不论是末字的中心位置41,还是者当前手写样本的中心位置42,它们均在手写文本样本的生成过程中不断进行更新。
在步骤S2、S3中,将单字样本添加到当前手写样本中时,还需要规划单字样本与当前手写样本之间的关系,这种关系包括位置关系、重叠关系和/或大小关系,而且这种关系由场景参数和增强参数来确定,反映了特定的书写场景。下面结合附图5-图10进行详细地说明。
图5-图10示出了5种典型书写场景,其中“行/列书写”又分为单/多行书写”、“单/多列书写”两种,通过图5-1、图5-2和图6-1、图6-2分别进行展示;“任意方向书写”通过图7-1和图7-2进行展示;“重叠/多字叠写”通过图8-1和图8-2进行展示;“跳跃书写”通过图9-1和图9-2进行展示;“大小非均匀书写”通过图10-1和图10-2进行展示。下面分别介绍上述的5种典型书写场景。需要说明的是,以下5种典型书写场景中所采样的具体参数、公式并不构成对这些典型书写场景的限制,在其他实施例中,本领域技术人员可以基于以上公开的技术构思,采用其他形式的参数和公式。再者,本发明实施例虽然介绍了5种典型书写场景,但本领域技术人员可能可以扩展出更多的典型书写场景,因此本发明公开的典型书写场景的数量也是示例性的,而非限制性的。
一,图5-1和图5-2所示为“单/多行书写”场景的技术构思示意图和合成示意图。如图5-1所示,“单/多行书写”场景中,以当前手写样本中的末字属性P1——中心坐标(x,y)为参考位置,情景参数P2包括字间距dchar,行间距drow,行起始点位置locstart,增强参数P3包括随机字间距rchar,随机行间距rrow。末字属性P1、情景参数P2和增强参数P3共同构成了单/多行书写增强组件,以确定单字样本的合成参数,即坐标位置(x’,y’)。其中,字间距dchar表示由书写场景所定义的整体字间距,而具体地字间距还应当结合随机字间距rchar。其中,行间距drow表示由书写场景所定义的整体行间距,而具体的行间距还应当结合随机行间距rrow。上述末字,是指按照书写时间排序的最后一个字符,在按照一定顺序书写的情况下,例如图5-2中,末字是当前手写样本中最靠右下方的字符;在无序书写的情况下(例如“跳跃书写”),末字可能处于任意位置。
具体地,如图5-2所示,其中(a)表示单行书写,(b)表示多行书写(换行书写)。单行书写所表现的是在同一行上继续书写的情况,合成后的单字样本的坐标x’=x+dchar+rchar,y’=y+rchar,也就是说,x’是在x的基础上偏移了一定的距离(字间距与随机字间距之和),y’是在y的基础上偏移了一定的距离(随机字间距)。
多行书写所表现的是换行书写的情况,合成后的单字样本的坐标x’=locstart+rchar,y’=y+drow+rrow;也就是说,x’是在行起始位置的基础上偏移了一定的距离(行起始点位置与随机字间距之和),y’是在y的基础上偏移了一定的距离(行间距与随机行间距之和)。
综上可以看出,“单/多行书写”场景对应着情景参数P2和增强参数P3;以末字属性P1(x,y)为参考位置,根据对应的情景参数P2和增强参数P3来调整单字样本,将其放在(x’,y’)位置,从而将单字样本合成到当前手写样本中,形成一个新的手写文本样本。
单/多列书写的情况与上述实施例类似,如图6-1和图6-2所示为“单/多列书写”场景的技术构思示意图和合成示意图。如图6-1所示,“单/多列书写”场景中,以当前手写样本中的末字属性P1——中心坐标(x,y)为参考位置,情景参数P2包括字间距dchar,列间距dcol,列起始点位置locstart(此处用于表示列起始点位置,与图5-1表示意义有差别),增强参数P3包括随机字间距rchar,随机列间距rcol。末字属性P1、情景参数P2和增强参数P3共同构成了单/多列书写增强组件,以确定将单字样本合成到当前手写样本中的合成参数,即其位置坐标(x’,y’)。其中,字间距dchar表示由书写场景所定义的整体字间距,而具体的字间距还应当结合随机字间距rchar。其中,列间距dcol表示由书写场景所定义的整体列间距,而具体的列间距还应当结合随机列间距rcol。
具体地,如图6-2所示,其中(a)表示单列书写,(b)表示多列书写(换列书写)。单列书写所表现的是在同一列上继续书写的情况,即沿同一列向下书写的情况,增强后的单字样本的坐标x’=x+dchar+rchar,y’=y+dchar+rchar,也就是说,x’是在x的基础上偏移了一定的距离(随机字间距),y’是在y的基础上偏移了一定的距离(字间距与随机字间距之和)。
多列书写所表现的是换列书写的情况,即重起一列书写的情况,增强后的单字样本的坐标x’=x+dcol+rcol,y’=locstart+rchar;也就是说,x’是在x的基础上偏移了一定的距离(列间距与随机列间距之和);y’是在y的基础上偏移了一定的距离(列起始点位置与随机字间距之和)。
综上可以看出,“单/多列书写”场景对应着情景参数P2和增强参数P3;以末字属性P1(x,y)为参考位置,根据对应的情景参数P2和增强参数P3来调整单字样本,将其放在(x’,y’)位置,从而将单字样本合成到当前手写样本中,形成一个新的手写文本样本。
综上所述,“行/列书写”的场景中,将末字属性P1、情景参数P2和增强参数P3统称为行/列书写增强组件Z1,则合成方式可以表示为F1=f Z1(x,y)。
二,图7-1和图7-2所示为“任意方向书写”场景的技术构思示意图和合成示意图。如图7-1中,“任意方向书写”场景中,以当前手写样本中的末字属性P1——中心坐标(x,y)为参考位置,情景参数P2包括字间距dchar,书写方向角θ,增强参数P3包括随机字间距rchar,随机位置扰动(Δx,Δy),随机角度扰动δ。书写方向角θ代表了书写的整体倾斜程度,由当前手写样本中首字、末字连线与x方向的角度决定;随机角度扰动δ表示在整体倾斜程度下、单字样本的随机倾斜程度,决定了单字样本中心、末字中心连线与书写方向角之间的差异。末字属性P1、情景参数P2和增强参数P3共同构成了任意方向书写增强组件Z2,以确定单字样本的合成参数,即坐标位置(x’,y’)。
具体地,如图7-2所示,任意方向书写所表现的是书写方向倾斜的情况,用于模拟实际生活中某些书写者的书写习惯,即沿同一行书写时,整行逐渐倾斜的情况。合成后的单字样本的坐标x’=x+dchar·cos(θ+δ)+rchar+Δx,y’=y+dchar·sin(θ+δ)+rchar+Δy。上述公式确定了x’是在x的基础上的偏移程度,y’是在y的基础上的偏移程度,本领域技术人员可以结合图7-2理解其意义。
综上所述,在“任意方向书写”场景中,可以将末字属性P1、情景参数P2和增强参数P3统称为任意方向书写增强组件Z2,那么合成方式可以表示为F2=f Z2(x,y)。
三,图8-1和图8-2所示为“重叠/多字叠写”场景的技术构思示意图和合成示意图。如图8-1中,“重叠/多字叠写”场景中,以当前手写样本中的末字属性P1——中心坐标(x,y)为参考位置,情景参数P2包括参考中心点(x,y),重叠区域范围参数l;增强参数P3包括随机位置扰动(Δx,Δy)。末字属性P1、情景参数P2和增强参数P3共同构成了重叠/多字叠写增强组件Z3,以确定单字样本的合成参数,包括坐标位置(x’,y’)。
具体地,如图8-2所示,重叠/多字叠写所表现的是书写时单字完全重叠或部分重叠的情况,用于模拟实际生活中某些书写者的书写习惯。合成后的单字样本的坐标x’=x+Δx,y’=y+Δy;而且,在生成随机位置扰动(Δx,Δy)时还应受到的约束,该公式保证随机位置扰动不会超出情景参数P2的限制。
综上所述,在“重叠/多字叠写”场景中,可以将末字属性P1、情景参数P2和增强参数P3统称为重叠/多字叠写增强组件Z3,那么合成方式可以表示为F3=f Z3(x,y)。
四,图9-1和图9-2所示为“跳跃书写”场景的技术构思示意图和合成示意图。如图9-1中,“跳跃书写”场景中,以当前手写样本中的末字属性P1——中心坐标(x,y)为参考位置,情景参数P2包括书写边界(xmax,ymax),最小非重叠范围l(与上述“重叠/多字叠写”场景中的重叠区域范围参数采用了同样的参数);增强参数P3包括随机位置扰动(Δx,Δy)。末字属性P1、情景参数P2和增强参数P3共同构成了重叠/多字叠写增强组件Z4,以确定单字样本的合成参数,包括坐标位置(x’,y’)。
具体地,如图9-2所示,跳跃书写所表现的是书写时每个单字出现的位置较为随机,缺乏规律性的情况,用于模拟实际生活中某些书写者的书写习惯。合成后的单字样本的坐标x’=x+Δx,y’=y+Δy;而且,在生成随机位置扰动(Δx,Δy)时还应受到l<Δx<xmax,l<Δy<ymax的约束,该公式保证随机位置扰动不会超出情景参数P2的限制,使新加入的单字样本的跳跃程度在可控范围内。
综上所述,“跳跃书写”场景中,将末字属性P1、情景参数P2和增强参数P3统称为跳跃书写增强组件Z4,则合成方式可以表示为F4=fZ4(x,y)。
五,图10-1和图10-2所示为“大小非均匀书写”场景的技术构思示意图和合成示意图。如图10-1中,“大小非均匀书写”场景中,末字属性P1包括末字中心坐标(x,y),以末字中心坐标(x,y)为参考位置,情景参数P2包括单字宽高均值s,书写边界(xmax,ymax),最小非重叠范围l;增强参数P3包括随机位置扰动(Δx,Δy)和单字大小比例系数σ。末字属性P1、情景参数P2和增强参数P3共同构成了大小非均匀书写增强组件Z5,以确定单字样本的合成参数,包括坐标位置(x’,y’)和单字大小。
具体地,如图10-2所示,大小非均匀书写所表现的是书写时每个单字大小不一,缺乏规律性的情况,用于模拟实际生活中某些书写者的书写习惯。合成后的单字样本的坐标x’=x+Δx,y’=y+Δy,而且l<Δx<xmax-s’,l<Δy<ymax-s’,s’=σ·s。这一系统公式保证单字的位置、大小不会超出情景参数P2的限制。其中,单字宽高均值可以通过计算当前手写样本中的各个单字的宽高值,然后求平均得到。例如,当前手写样本中有三个单字,字宽分别为a1,a2,a3,字宽分别为b1,b2,b3,那么单字宽高均值s包括:字宽均值为(a1+a2+a3)/3,字高均值为(b1+b2+b3)/3。
综上所述,“大小非均匀书写”场景中,将末字属性P1、情景参数P2和增强参数P3统称为大小非均匀书写增强组件Z5,则合成方式可以表示为F5=fZ5(x,y)。
通过以上5种典型书写场景的说明可知,对于某个场景来说,情景参数P2是固定的,而增强参数P3则是可以调整变化的。在一个实施方式中,对于一个需要合成的单字样本,若书写情景确定,则情景参数P2是固定的,而增强参数P3则可以在一个范围内选取具体值。例如,对于随机字间距,可以设定一个基准值,然后每次取值均在该基准值周围一定范围内取值。在一个实施场景中,可以使增强参数P3的取值呈现正态分布或者均匀分布。
进一步地,上述5种典型书写场景中,增强参数P3用于对单字进行变换,包括对单字的平移变换和缩放变换,在其他实施例中,增强参数P3也可以包括旋转、切变变换参数,也就是说,可以使单字围绕中心旋转一定角度(旋转)或字体倾斜一定的角度(切变)。
再进一步地,由于实际书写的情况比上述5种典型书写场景更为复杂,也就是说,可能存在既“跳跃”又“大小非均匀”等典型书写场景相结合的情景。对于这种情况,依照本发明实施例的方法,依然可以生成相应的手写文本样本。具体实现方式可以基于上述5种典型书写场景来进行嵌套,例如既“跳跃”又“大小非均匀”的情景,其合成方式可以表示为F=fz5(fz4(x,y)),即将典型书写场景对应的合成方式进行嵌套。换言之,通过将5种典型方式对应的合成方式进行嵌套,可以生成模拟任意指定场景的手写文本样本。这种简单的嵌套方式为定制化丰富多样的书写场景提供了一种既简便高效又灵活的技术手段;即只需要构建出若干种典型书写场景,即可通过嵌套形成更多、更丰富的组合书写场景,为手写文本样本的生成提供了一种强大的技术工具。
又进一步地,在其他实施方式中,还可以将不同书写场景对应的手写文本样本简单地组合在一起,例如将多行书写的文本、任意方向书写的文本放置在同一附图中,以实现不同书写场景的组合。
在步骤S3种,还包括记录单字切分位置的过程。单字切分位置表示哪些笔画构成一个单字,这些信息在进行单字采样时生成(该部分内容属于现有技术,在此不再赘述),在一个实施例中,这些信息最终在步骤S3种以单字切分标签的形式记录下来。在一个实施例中,单字切分标签可以采用连续的01字符串表示,字符串长度与笔画数量相同,0表示未作切分,而1表示该笔画为当前字的最末笔。例如:手写文本中包含两个字,共10个笔画,第一个字4笔,第二个字6笔,则单字切分标签记录为“0001000001”。
以上实施例中,单字切分位置通过单字切分标签(0和1的字符串)进行“显性”的表示和记录。在另一个实施例中,单字切分位置可以不采用“显性”的方式进行记录,而采样“隐式”的方式进行记录,例如:通过给不同的单字分配不同的存储单元来记录单字切分位置。
以上对本发明的方法实施例进行了详细地阐述和说明。图11概括了上述各个实施例。如图11所示,总结来说,在通过书写场景对应的增强组件计算出书写场景对应的合成参数之后,利用合成参数对标准化单字样本进行变换(平移,旋转和缩放变换等),并且将变换后的样本续接在当前手写样本之后,同时记录单字切分位置,即完成一次合成过程;不断重复该合成过程,即可生成理想的手写文本样本。
计算机设备实施例
在一个实施例中,本发明提供了一种计算机设备,其内部结构可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力,可以选择CPU、单片机、DSP或者FPGA等各种品种。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。当计算机程序被执行时,可以完成上述方法实施例中所描述的步骤S1-步骤S3,下面的计算机可读存储介质实施例中会对计算机程序进行进一步说明。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种多传感数据融合方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图12中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
计算机可读存储介质实施例
在一个实施例中,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例中所描述的步骤S1-步骤S3。
本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种用于数据增强的手写文本数据生成方法,其特征在于,包括如下步骤:
获取单字样本;
根据设定的书写场景,确定所对应的场景参数和增强参数;
基于场景参数和增强参数,调整单字样本与当前手写文本样本之间的关系,将单字样本合成到当前手写文本样本中,以生成新的手写文本样本,并且记录对应的单字切分位置。
2.根据权利要求1所述的方法,其特征在于,所述获取单字样本包括:
根据语料内容从单字样本库中选取对应的单字形成单字样本集合,从单字样本集合中采集单字样本,并且对单字样本进行标准化;所述标准化包括归一化、估算单字样本的中心和计算单字样本的大小。
3.根据权利要求1所述的方法,其特征在于,其中,还以当前手写文本样本的位置为参考;所述当前手写文本样本的位置包括:当前手写文本样本的中心位置,或者当前手写文本样本中末字的中心位置,所述末字为按照按书写时间排序的最后一个字符。
4.根据权利要求1所述的方法,其特征在于,所述书写场景包括若干种典型书写场景以及两种以上典型书写场景的结合,所述典型书写场景包括:“行/列书写”、“任意方向书写”、“重叠/多字叠写”、“跳跃书写”和“大小非均匀书写”。
5.根据权利要求4所述的方法,其特征在于,对于两种以上典型书写场景的结合,将对应的典型书写场景的合成方式进行嵌套以确定单字样本与当前手写文本样本之间的关系。
6.根据权利要求1所述的方法,其特征在于,所述单字样本与当前手写文本样本之间的关系包括位置关系、重叠关系和/或大小关系。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述场景参数与书写场景的属性相关联。
8.根据权利要求1-6任一项所述的方法,其特征在于,所述增强参数与单字样本的属性相关联。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110649883.9A CN113408387A (zh) | 2021-06-10 | 2021-06-10 | 用于复杂书写场景的手写文本数据生成方法及计算机产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110649883.9A CN113408387A (zh) | 2021-06-10 | 2021-06-10 | 用于复杂书写场景的手写文本数据生成方法及计算机产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113408387A true CN113408387A (zh) | 2021-09-17 |
Family
ID=77683523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110649883.9A Pending CN113408387A (zh) | 2021-06-10 | 2021-06-10 | 用于复杂书写场景的手写文本数据生成方法及计算机产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113408387A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117633276A (zh) * | 2024-01-25 | 2024-03-01 | 江苏欧帝电子科技有限公司 | 一种书写轨迹录播方法、系统及终端 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150269453A1 (en) * | 2014-03-18 | 2015-09-24 | Xerox Corporation | Methods and systems for efficient handwritten character segmentation |
KR101667910B1 (ko) * | 2015-11-09 | 2016-10-20 | 주식회사 셀바스에이아이 | 디지털 인공 필기 데이터를 생성하는 방법, 장치 및 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램 |
CN109492657A (zh) * | 2018-09-18 | 2019-03-19 | 平安科技(深圳)有限公司 | 手写样本数字化方法、装置、计算机设备及存储介质 |
CN109493400A (zh) * | 2018-09-18 | 2019-03-19 | 平安科技(深圳)有限公司 | 手写样本生成方法、装置、计算机设备及存储介质 |
CN111242840A (zh) * | 2020-01-15 | 2020-06-05 | 上海眼控科技股份有限公司 | 手写体字符生成方法、装置、计算机设备和存储介质 |
CN111563563A (zh) * | 2020-07-16 | 2020-08-21 | 南京华苏科技有限公司 | 一种手写体识别的联合数据的增强方法 |
CN111738167A (zh) * | 2020-06-24 | 2020-10-02 | 华南理工大学 | 一种无约束手写文本图像的识别方法 |
CN112633420A (zh) * | 2021-03-09 | 2021-04-09 | 北京易真学思教育科技有限公司 | 图像相似度确定及模型训练方法、装置、设备和介质 |
-
2021
- 2021-06-10 CN CN202110649883.9A patent/CN113408387A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150269453A1 (en) * | 2014-03-18 | 2015-09-24 | Xerox Corporation | Methods and systems for efficient handwritten character segmentation |
KR101667910B1 (ko) * | 2015-11-09 | 2016-10-20 | 주식회사 셀바스에이아이 | 디지털 인공 필기 데이터를 생성하는 방법, 장치 및 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램 |
CN109492657A (zh) * | 2018-09-18 | 2019-03-19 | 平安科技(深圳)有限公司 | 手写样本数字化方法、装置、计算机设备及存储介质 |
CN109493400A (zh) * | 2018-09-18 | 2019-03-19 | 平安科技(深圳)有限公司 | 手写样本生成方法、装置、计算机设备及存储介质 |
CN111242840A (zh) * | 2020-01-15 | 2020-06-05 | 上海眼控科技股份有限公司 | 手写体字符生成方法、装置、计算机设备和存储介质 |
CN111738167A (zh) * | 2020-06-24 | 2020-10-02 | 华南理工大学 | 一种无约束手写文本图像的识别方法 |
CN111563563A (zh) * | 2020-07-16 | 2020-08-21 | 南京华苏科技有限公司 | 一种手写体识别的联合数据的增强方法 |
CN112633420A (zh) * | 2021-03-09 | 2021-04-09 | 北京易真学思教育科技有限公司 | 图像相似度确定及模型训练方法、装置、设备和介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117633276A (zh) * | 2024-01-25 | 2024-03-01 | 江苏欧帝电子科技有限公司 | 一种书写轨迹录播方法、系统及终端 |
CN117633276B (zh) * | 2024-01-25 | 2024-06-07 | 江苏欧帝电子科技有限公司 | 一种书写轨迹录播方法、系统及终端 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111723807B (zh) | 使用端到端深度学习识别机打字符和手写字符 | |
US7158675B2 (en) | Interfacing with ink | |
RU2357284C2 (ru) | Способ обработки цифровых рукописных примечаний для распознавания, привязки и переформатирования цифровых рукописных примечаний и система для его осуществления | |
US5687254A (en) | Searching and Matching unrecognized handwriting | |
US8023745B2 (en) | Systems, methods, and computer-readable media for fast neighborhood determinations in dynamic environments | |
US20050100218A1 (en) | Recognition of electronic ink with late strokes | |
CN111898411B (zh) | 文本图像标注系统、方法、计算机设备和存储介质 | |
CN114365075B (zh) | 用于选择图形对象的方法和对应装置 | |
US20060242608A1 (en) | Redistribution of space between text segments | |
US7284200B2 (en) | Organization of handwritten notes using handwritten titles | |
JP4817297B2 (ja) | 文字検索装置 | |
CN113408387A (zh) | 用于复杂书写场景的手写文本数据生成方法及计算机产品 | |
US20050099408A1 (en) | Data input panel character conversion | |
CN109190615A (zh) | 形近字识别判定方法、装置、计算机设备和存储介质 | |
US11069027B1 (en) | Glyph transformations as editable text | |
CN110555123B (zh) | 界面元素曲线运动的处理方法、装置和计算机设备 | |
CN111753830A (zh) | 一种作业图像校正方法和计算设备 | |
CN114565915B (zh) | 样本文本图像获取方法、文本识别模型训练方法和装置 | |
US20200097525A1 (en) | Live Text Glyph Modifications | |
JP4136282B2 (ja) | 画像処理装置及び画像処理方法並びに記憶媒体 | |
CN113468972B (zh) | 用于复杂场景手写识别的手写轨迹切分方法及计算机产品 | |
CN113919287B (zh) | 结合rpa及ai的实体关系标注方法、装置及电子设备 | |
CN112287742B (zh) | 文件中的流程图解析方法及装置、计算设备、存储介质 | |
CN112183019B (zh) | 电子书手写笔记的显示方法、计算设备及计算机存储介质 | |
CN113378526A (zh) | Pdf段落处理方法、装置、存储介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |