CN113743302A - 一种书写笔迹生成方法、装置、设备及存储介质 - Google Patents
一种书写笔迹生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113743302A CN113743302A CN202111033457.9A CN202111033457A CN113743302A CN 113743302 A CN113743302 A CN 113743302A CN 202111033457 A CN202111033457 A CN 202111033457A CN 113743302 A CN113743302 A CN 113743302A
- Authority
- CN
- China
- Prior art keywords
- data
- stroke track
- track data
- stroke
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000012549 training Methods 0.000 claims description 190
- 238000000605 extraction Methods 0.000 claims description 60
- 238000005457 optimization Methods 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 32
- 238000005070 sampling Methods 0.000 claims description 23
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000001159 Fisher's combined probability test Methods 0.000 description 1
- 241001422033 Thestylus Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Landscapes
- Character Discrimination (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种书写笔迹生成方法、装置、设备及存储介质,其中,方法包括:基于目标用户的书写轨迹获取笔画轨迹数据,作为第一笔画轨迹数据;从目标用户期望风格的笔画轨迹数据集中,确定与第一笔画轨迹数据匹配的笔画轨迹数据作为第二笔画轨迹数据;参考第二笔画轨迹数据,对第一笔画轨迹数据进行优化,以得到第一笔画轨迹数据的优化后数据;基于第一笔画轨迹数据的优化后数据,生成目标用户的书写笔迹。经由本申请提供的书写笔迹生成方法可生成用户期望风格的书写笔迹,用户体验较好。
Description
技术领域
本申请涉及数据输入技术领域,尤其涉及一种书写笔迹生成方法、装置、设备及存储介质。
背景技术
随着科学技术的发展,电子设备的屏幕尺寸越来越大,而随着电子设备的普及,使得大屏幕的电子设备越来越多的应用于人们的生活、学习和工作中。电子设备的屏幕尺寸越来越大,人们对大屏幕的输入需求也在与日俱增。在某些场景中,用户希望电子设备能够生成具有原笔迹特点且贴近用户期望风格的书写笔迹,然而,现有的书写笔迹生成方法并不能达到该效果。
发明内容
有鉴于此,本申请提供了一种书写笔迹生成方法、装置、设备及存储介质,用以生成具有原笔迹特点且贴近用户期望风格的书写笔迹,其技术方案如下:
一种书写笔迹生成方法,包括:
基于目标用户的书写轨迹获取笔画轨迹数据,作为第一笔画轨迹数据;
从所述目标用户期望风格的笔画轨迹数据集中,确定与所述第一笔画轨迹数据匹配的笔画轨迹数据作为第二笔画轨迹数据;
参考所述第二笔画轨迹数据,对所述第一笔画轨迹数据进行优化,以得到所述第一笔画轨迹数据的优化后数据;
基于所述第一笔画轨迹数据的优化后数据,生成所述目标用户的书写笔迹。
可选的,所述基于目标用户的书写轨迹获取笔画轨迹数据,包括:
对所述目标用户的书写轨迹进行采样,并在采样的过程中进行落笔状态和抬笔状态检测,以得到采样点数据以及检测到的落笔状态和抬笔状态;
根据所述采样点数据以及检测到的抬笔状态和落笔状态,获得笔画轨迹数据。
可选的,在获得所述第一笔画轨迹数据后,对所述第一笔画轨迹数据进行处理,以得到所述第一笔画轨迹数据的优化后数据,包括:
利用预先建立的笔画轨迹优化模型,对所述第一笔画轨迹数据进行处理,以得到所述第一笔画轨迹数据的优化后数据;
其中,所述笔画轨迹优化模型采用训练笔画轨迹数据训练得到,在训练过程中,以所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的内容相似性和风格相似性为依据,对所述笔画轨迹优化模型进行参数更新。
可选的,所述参考所述第二笔画轨迹数据,对所述第一笔画轨迹数据进行优化,以得到所述第一笔画轨迹数据的优化后数据,包括:
参考所述第二笔画轨迹数据,将所述第一笔画轨迹数据中的异常轨迹点数据去除,得到去除异常轨迹点数据后的笔画轨迹数据;
参考所述第二笔画轨迹数据,从设定维度对所述去除异常轨迹点数据后的笔画轨迹数据进行拟合和/或插值处理,得到所述第一笔画轨迹数据的优化后数据,其中,所述设定维度包括斜率、和/或点间隔、和/或时间偏移。
可选的,所述基于所述优化后笔画轨迹数据,生成所述目标用户的书写笔迹,包括:
根据所述第一笔画轨迹数据的优化后数据中每个轨迹点的速度,确定所述第一笔画轨迹数据的优化后数据中每个轨迹点对应的图形参数,其中,所述图形参数为能够表征指定图形尺寸的参数;
根据所述第一笔画轨迹数据的优化后数据中每个轨迹点的坐标数据以及每个轨迹点对应的图形参数,绘制每个轨迹点对应的指定图形,其中,一个轨迹点对应的指定图形的中心为该轨迹点;
根据绘制的指定图形,生成所述目标用户的书写笔迹。
可选的,
所述根据绘制的指定图形,生成所述目标用户的书写笔迹,包括:
确定绘制的指定图形中相邻指定图形的公切线;
通过确定出的公切线将绘制的指定图形连接;
基于连接两个指定图形的公切线与指定图形的切点构成四边形区域;
对所述四边形区域进行填充,以得到目标用户的书写笔迹。
可选的,建立所述笔画轨迹优化模型的过程包括:
利用笔画轨迹优化模型,从指定风格的笔画轨迹数据集中确定与所述训练笔画轨迹数据匹配的笔画轨迹数据,并参考与所述训练笔画轨迹数据匹配的笔画轨迹数据对所述训练笔画轨迹数据进行优化,以得到所述训练笔画轨迹数据的优化后数据;
确定所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的内容相似度,作为内容维度的损失,并确定所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的风格相似度,作为风格维度的损失;
根据所述内容维度的损失和所述风格维度的损失,对笔画轨迹优化模型进行参数更新。
可选的,所述确定所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的内容相似度,包括:
根据所述训练笔画轨迹数据所包含的轨迹点的坐标数据,以及所述训练笔画轨迹数据的优化后数据的轨迹点的坐标数据,确定所述训练笔画轨迹数据与训练笔画轨迹数据的优化后数据的内容相似度。
可选的,所述训练笔画轨迹数据包含多个轨迹点的数据,每个轨迹点的数据包含多个维度的数据;
所述确定所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的风格相似度,包括:
利用特征提取网络针对所述训练笔画轨迹数据所包含的轨迹点的多维数据提取风格表示特征,作为第一风格表示特征,并利用所述特征提取网络针对所述训练笔画轨迹数据的优化后数据所包含的轨迹点的多维数据提取风格表示特征,作为第二风格表示特征;
利用所述第一风格表示特征和所述第二风格表示特征,确定所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的风格相似度。
可选的,所述特征提取网络包括多个级联的特征提取层,利用所述特征提取网络针对一笔画轨迹数据提取的风格表示特征包括每个特征提取层输出的风格表示特征;
所述利用所述第一风格表示特征和所述第二风格表示特征,确定所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的风格相似度,包括:
计算所述第一风格表示特征和所述第二风格表示特征中由同一特征提取层输出的两个风格表示特征的相似度,以得到所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据在各特征提取层上分别对应的风格相似度;
将所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据在各特征提取层上分别对应的风格相似度融合,融合后的风格相似度作为所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的风格相似度。
一种书写笔迹生成装置,包括:笔画轨迹数据获取模块、笔画轨迹数据匹配模块、笔画轨迹数据优化模块和书写笔迹生成模块;
所述笔画轨迹数据获取模块,用于基于目标用户的书写轨迹获取笔画轨迹数据,作为第一笔画轨迹数据;
所述笔画轨迹数据匹配模块,用于从所述目标用户期望风格的笔画轨迹数据集中,确定与所述第一笔画轨迹数据匹配的笔画轨迹数据作为第二笔画轨迹数据;
所述笔画轨迹数据优化模块,用于参考所述第二笔画轨迹数据,对所述第一笔画轨迹数据进行优化,以得到所述第一笔画轨迹数据的优化后数据;
所述书写笔迹生成模块,用于基于所述第一笔画轨迹数据的优化后数据,生成所述目标用户的书写笔迹。
可选的,所述笔画轨迹数据匹配模块和所述笔画轨迹数据优化模块由笔画轨迹优化模型实现;
其中,所述笔画轨迹优化模型采用训练笔画轨迹数据训练得到,在训练过程中,以所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的内容相似性和风格相似性为依据,对所述笔画轨迹优化模型进行参数更新。
一种书写笔迹生成设备,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现上述任一项所述的书写笔迹生成方法的各个步骤。
一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现上述任一项所述的书写笔迹生成方法的各个步骤。
经由上述方案可知,本申请提供的书写笔迹生成方法、装置、设备及存储介质,首先基于目标用户的书写轨迹获取笔画轨迹数据作为第一笔画轨迹数据,然后从目标用户期望风格的笔画轨迹数据集中确定与第一笔画轨迹数据匹配的笔画轨迹数据作为第二笔画轨迹数据,接着参考第二笔画轨迹数据对第一笔画轨迹数据进行优化,以得到第一笔画轨迹数据的优化后数据,最后基于第一笔画轨迹数据的优化后数据,生成目标用户的书写笔迹。由于本申请参考目标用户期望风格的笔画轨迹数据对目标用户的笔画轨迹数据进行优化,因此,优化后的笔画轨迹数据为贴近用户期望风格的笔画轨迹数据,由于本申请仅是对目标用户的笔画轨迹数据进行优化,而不是将其替换为目标用户期望风格的笔画轨迹数据,因此,优化后的笔画轨迹数据仍然保留有原始笔迹的特点,可见,经由本申请提供的书写笔迹生成方法能够生成具有原笔迹特点且贴近用户期望风格的书写笔迹,用户体验较好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的书写笔迹生成方法的流程示意图;
图2为本申请实施例提供的针对笔画轨迹数据所包含轨迹点绘制的椭圆的示意图;
图3为本申请实施例提供的倾角45°的椭圆画刷的绘制效果示意图;
图4为本申请实施例提供的建立笔画轨迹优化模型的流程示意图;
图5为本申请实施例提供的特征提取网络的一示例的示意图;
图6为本申请实施例提供的书写笔迹生成装置的结构示意图;
图7为本申请实施例提供的书写笔迹生成设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
申请人在实现本申请的过程中发现,现有的笔迹生成方案主要通过硬件采集触控点的速度及压力,然后基于软件实现数值的可视化呈现,即采用计算插值的方法,然后通过叠加或者连接的方式实现笔锋生成,现有的笔迹生成方案至多是在“模拟”用户在硬件设备的采样和输入,无法生成贴近用户期望风格的书写笔迹。
为了能够生成具有原笔迹特点且贴近用户期望风格的书写笔迹,申请人进行了研究,通过不断研究,最终提出了一种能够达到该效果的书写笔迹生成方法,该方法可应用于具有数据处理能力的电子设备,该电子设备可以为具有屏幕的终端,比如智能手机、PAD、学习机、电子白板等,用户可通过触控笔、手指等操作对象在终端的屏幕上进行书写输入,终端可基于用户的书写输入生成具有原笔迹特点且贴近用户期望风格的书写笔迹并展示,该电子设备还可以为服务器,服务器可通过网络与具有屏幕的终端连接,服务器通过与终端连接的网络获得用户通过触控笔、手指等操作对象在终端屏幕上的书写输入数据,进而可根据获得的书写输入数据生成具有原笔迹特点且贴近用户期望风格的书写笔迹,从而通过与终端连接的网络,将生成的书写笔迹提供给终端进行展示。接下来通过下述实施例对本申请提供的书写笔迹生成方法进行介绍。
第一实施例
请参阅图1,示出了本申请实施例提供的书写笔迹生成方法的流程示意图,该方法可以包括:
步骤S101:基于目标用户的书写轨迹获取笔画轨迹数据,作为第一笔画轨迹数据。
具体的,基于目标用户的书写轨迹获取笔画轨迹数据的过程包括:
步骤S1011:对目标用户的书写轨迹进行采样,并在采样的过程中进行落笔状态和抬笔状态的检测,以得到采样点数据以及检测到的落笔状态和抬笔状态。
其中,采样点数据可以包括采样点的坐标、时间偏移,可选的,还可以包括采样点的压感、速度、方向等。
步骤S1012:根据采样点数据以及检测到的落笔状态和抬笔状态,获得笔画轨迹数据。
可以理解的是,从落笔到抬笔的过程是书写一个笔画的过程,有鉴于此,可在采样的过程中检测落笔状态和抬笔状态,以根据检测的落笔状态和抬笔状态确定每个笔画的轨迹点数据,即上述的笔画轨迹数据。
步骤S102:从目标用户期望风格的笔画轨迹数据集中,确定与第一笔画轨迹数据匹配的笔画轨迹数据作为第二笔画轨迹数据。
在本实施例中,可预先构建各种风格的笔画轨迹数据集,比如,楷体的笔画轨迹数据集(包括楷体的多个笔画轨迹数据)、宋体的笔画轨迹数据集(包括宋体的多个笔画轨迹数据)等,目标用户在书写前,可录用期望的风格,比如楷体,在获得目标用户期望的风格后,可从目标用户期望风格的笔画轨迹数据集中确定与第一笔画轨迹数据匹配的笔画轨迹数据。
从目标用户期望风格的笔画轨迹数据集中,确定与第一笔画轨迹数据匹配的笔画轨迹数据的过程可以包括:确定第一笔画轨迹数据与目标用户期望风格的笔画轨迹数据集中每个笔画轨迹数据的相似度,以得到目标用户期望风格的笔画轨迹数据集中各笔画轨迹数据分别对应的相似度,将计算得到的相似度中的最大相似度对应的笔画轨迹数据确定为与第一笔画轨迹数据匹配的笔画轨迹数据。
步骤S103:参考第二笔画轨迹数据,对第一笔画轨迹数据进行优化,以得到第一笔画轨迹数据的优化后数据。
参考第二笔画轨迹数据,对第一笔画轨迹数据进行优化,以得到第一笔画轨迹数据的优化后数据的过程可以包括:
步骤S1031、参考第二笔画轨迹数据,将第一笔画轨迹数据中的异常轨迹点数据去除,得到去除异常轨迹点数据后的笔画轨迹数据。
可选的,针对笔画轨迹数据集中的每个笔画轨迹数据,可根据该笔画轨迹数据为该笔画轨迹数据设定一对应的数据范围,可选的,数据范围可以包括角度范围和/或坐标范围。
在此基础上,参考第二笔画轨迹数据,将第一笔画轨迹数据中的异常轨迹点数据去除的过程可以包括:将第一笔画轨迹数据中,超出第二笔画轨迹数据对应的数据范围的轨迹点数据确定为异常轨迹点数据,将确定出的异常轨迹点去除。需要说明的是,在数据范围包括角度范围和坐标范围时,若一个轨迹点数据未处于这两个范围中的至少一个,则确定该轨迹点数据为异常轨迹数据。
示例性的,第二笔画轨迹数据表征的是“竖”这个笔画,第一笔画轨迹数据表征的是“竖勾”这个笔画,由于第一笔画轨迹数据中“勾”的轨迹点数据超出了第二笔画轨迹数据对应的坐标范围,因此将其确定为异常轨迹点数据。
步骤S1032、参考第二笔画轨迹数据,从预设维度对去除异常轨迹点数据后的笔画轨迹数据进行拟合和/或插值处理,得到第一笔画轨迹数据的优化后数据。
其中,预设维度包括斜率、和/或点间隔、和/或时间偏移等。优选的,预设维度包括斜率、点间隔和时间偏移。
对去除异常轨迹点数据后的笔画轨迹数据进行插值是为了使其包含的轨迹点的数量与第二画轨迹数据包含的轨迹点的数量相同,对去除异常轨迹点数据后的笔画轨迹数据进行拟合是为了使轨迹能够更加平滑且尽可能贴近第二笔画轨迹数据。
步骤S104:基于第一笔画轨迹数据的优化后数据,生成目标用户的书写笔迹。
具体的,基于第一笔画轨迹数据的优化后数据,生成目标用户的书写笔迹的过程包括:
步骤S1041、基于第一笔画轨迹数据的优化后数据中每个轨迹点的速度,确定第一笔画轨迹数据的优化后数据中每个轨迹点对应的图形参数。
其中,一轨迹点对应的图形参数根据该轨迹点的速度确定,图形参数为可以表征指定图形尺寸的参数,可选的,指定图形可以但不限定为椭圆、圆形等。
具体的,针对第一笔画轨迹数据的优化后数据中的每个轨迹点:可根据该轨迹点的坐标数据以及前一轨迹点的坐标数据,计算该轨迹点与前一轨迹点之间的距离;根据该轨迹点与前一轨迹点之间的距离和该轨迹点的时间偏移(即该轨迹点与前一轨迹点的时间间隔)确定该轨迹点的速度,进而可根据该轨迹点的速度确定该轨迹点对应的图形参数。
步骤S1042、根据第一笔画轨迹数据的优化后数据中每个轨迹点的坐标数据以及每个轨迹点对应的图形参数,绘制每个轨迹点对应的指定图形。
其中,一个轨迹点对应的指定图形的中心为该轨迹点,假设指定图形为椭圆,则一个轨迹点对应的椭圆的中心的位置与该轨迹点的位置重合。图2示出了针对第一笔画轨迹数据的优化后数据所包含轨迹点绘制的椭圆的示意图
步骤S1043、根据绘制的指定图形,生成目标用户的书写笔迹。
具体的,根据绘制的指定图形,生成目标用户的书写笔迹的过程可以包括:确定绘制的指定图形中相邻指定图形的公切线;通过确定出的公切线将绘制的指定图形连接;基于连接两个相邻指定图形的公切线与指定图形的切点构成四边形区域;利用指定图形的画刷对四边形区域进行填充,以得到目标用户的书写笔迹。需要说明的是,利用指定图形的画刷对四边形区域进行填充时,指定图形的画刷在各个轨迹点处对应的尺寸由上述各轨迹点对应的图形参数决定,由于图形参数根据对应轨迹点的速度确定,因此,书写的轨迹宽度随书写速度变化,从而能够实现笔锋效果。
示例性的,指定图形为椭圆,则首先确定绘制的椭圆中相邻椭圆的公切线,然后通过确定出的公切线将绘制的椭圆连接,接着基于连接两个相邻椭圆的公切线与椭圆的切点构成四边形区域,最后利用椭圆画刷对四边形区域进行填充,以得到目标用户的书写笔迹。优选的,椭圆画刷优选为倾角45°的画刷,采用倾角45°的椭圆画刷能够很好的展现起笔效果,更加接近实际书写体验,如图3所示。
可选的,可按下述方式确定绘制的椭圆单位图中相邻椭圆单位图的公切线:
将相邻椭圆单位图的半长轴、半短轴、中心坐标、长轴倾角(逆时针为正)代入椭圆一般方程Ax2+Bxy+Cy2+Dx+Ey+F=0,同时结合公切线方程y=kx+b可得到如下方程组:
结合重根判别式Δ=b2-4ac=0进行求解,得到两个判别式,再次联立可以得到关于k的一元四次方程:
M4k4+M3k3+M2k2+M1k+M0=0 (2)
使用费拉里法求得k的解,带入判别式可以得到b的解,从而可以得到公切线。
需要说明的是,两椭圆的位置存在6种情况,即重合、包含、内切、相交、外切、相离,由于前3种情况无需连接,后3种才需要连接,因此,只需要针对位置关系为相交、外切、相离的两个椭圆计算外切交点。另外,求解过程中可能会出现切线斜率无穷大的情况,此时令切线方程为x=t,使用同样的方法求解,可得到交点坐标。
本申请实施例提供的书写笔迹生成方法,首先基于目标用户的书写轨迹获取笔画轨迹数据作为第一笔画轨迹数据,然后从目标用户期望风格的笔画轨迹数据集中确定与第一笔画轨迹数据匹配的笔画轨迹数据作为第二笔画轨迹数据,接着参考第二笔画轨迹数据对第一笔画轨迹数据进行优化,以得到第一笔画轨迹数据的优化后数据,最后基于第一笔画轨迹数据的优化后数据,生成目标用户的书写笔迹。由于本申请实施例参考目标用户期望风格的笔画轨迹数据对目标用户的笔画轨迹数据进行优化,因此,优化后的笔画轨迹数据为贴近用户期望风格的笔画轨迹数据,由于本申请实施例仅是对目标用户的笔画轨迹数据进行优化,而不是将其替换为目标用户期望风格的笔画轨迹数据,因此,优化后的笔画轨迹数据仍然保留有原始笔迹的特点,可见,经由本申请提供实施例的书写笔迹生成方法能够生成具有原笔迹特点且贴近用户期望风格的书写笔迹,用户体验较好。
第二实施例
在一种可能的实现方式中,上述实施例中的“步骤S102:从目标用户期望风格的笔画轨迹数据集中,确定与第一笔画轨迹数据匹配的笔画轨迹数据作为第二笔画轨迹数据”以及“步骤S103:参考第二笔画轨迹数据,对第一笔画轨迹数据进行优化,以得到第一笔画轨迹数据的优化后数据”可利用预先建立的笔画轨迹优化模型实现,即,利用预先建立的笔画轨迹优化模型,从目标用户期望风格的笔画轨迹数据集中,确定与第一笔画轨迹数据匹配的笔画轨迹数据作为第二笔画轨迹数据,并利用笔画轨迹优化模型,参考第二笔画轨迹数据对第一笔画轨迹数据进行优化,以得到第一笔画轨迹数据的优化后数据。
其中,笔画轨迹优化模型采用训练笔画轨迹数据训练得到,在训练过程中,以训练笔画轨迹数据与训练笔画轨迹数据的优化后数据的内容相似性和风格相似性为依据,对笔画轨迹优化模型进行参数更新。
本实施例接下来重点对建立笔画轨迹优化模型的过程进行介绍。
请参阅图4,示出了建立笔画轨迹优化模型的流程示意图,可以包括:
步骤S401:从训练笔画轨迹数据集中获取训练笔画轨迹数据。
其中,训练笔画轨迹数据集中包括多个训练笔画轨迹数据,每个训练笔画轨迹数据为一个训练样本。可选的,训练笔画轨迹数据集中可包括白噪声数据,在训练笔画轨迹数据集中设置白噪声数据的目的有两个,其一,增加训练样本的数量,其二,提升笔画轨迹优化模型的训练效果,提升笔画轨迹优化模型的性能。
步骤S402:利用笔画轨迹优化模型,从指定风格的笔画轨迹数据集中确定与训练笔画轨迹数据匹配的笔画轨迹数据。
具体的,利用笔画轨迹优化模型计算训练笔画轨迹数据与指定风格的笔画轨迹数据集中每个训练笔画轨迹数据的相似度,以得到指定风格的笔画轨迹数据集中每个训练笔画轨迹数据对应的相似度,将得到的相似度中的最大相似度对应的笔画轨迹数据确定为与训练笔画轨迹数据匹配的笔画轨迹数据。
步骤S403:利用笔画轨迹优化模型,参考与训练笔画轨迹数据匹配的笔画轨迹数据对训练笔画轨迹数据进行优化,以得到训练笔画轨迹数据的优化后数据。
参考与训练笔画轨迹数据匹配的笔画轨迹数据对训练笔画轨迹数据进行优化的过程与上述“参考第二笔画轨迹数据,对第一笔画轨迹数据进行优化”的过程类似,本实施例在此不做赘述。
步骤S404a:确定训练笔画轨迹数据与训练笔画轨迹数据的优化后数据的内容相似度,作为内容维度的损失。
需要说明的是,此处的“内容维度”和后续的“风格维度”是笔画轨迹数据的两个不同维度,其中,“内容维度”关注的是笔画轨迹数据所表征的笔画的内容,比如“一撇”、“一捺”、“一横”、“一竖”等,而“风格维度”关注的是笔画轨迹数据所表征的笔画的风格,比如,“楷体”、“宋体”、“黑体”等。
具体的,根据训练笔画轨迹数据所包含的轨迹点的坐标数据,以及训练笔画轨迹数据的优化后数据的轨迹点的坐标,确定训练笔画轨迹数据与训练笔画轨迹数据的优化后数据的内容相似度。
进一步的,根据训练笔画轨迹数据所包含的轨迹点的坐标数据,以及训练笔画轨迹数据的优化后数据所包含的轨迹点的坐标数据,确定训练笔画轨迹数据与训练笔画轨迹数据的优化后数据的内容相似度的实现方式有多种:
在一种可能的实现方式中,可根据训练笔画轨迹数据所包含的轨迹点的坐标数据以及训练笔画轨迹数据的优化后数据所包含的轨迹点的坐标数据,计算训练笔画轨迹数据与训练笔画轨迹数据的优化后数据中对应轨迹点之间的距离,根据计算得到的距离确定训练笔画轨迹数据与训练笔画轨迹数据的优化后数据的内容相似度。比如,针对训练笔画轨迹数据中的每个轨迹点,根据该轨迹点的坐标数据和训练笔画轨迹数据的优化后数据中对应轨迹点的坐标数据,计算该轨迹点与训练笔画轨迹数据的优化后数据中对应轨迹点的距离,如此可获得多个距离,将多个距离求和,用求和得到的距离表征训练笔画轨迹数据与训练笔画轨迹数据的优化后数据的内容相似度。
在另一种可能的实现方式中,可利用特征提取网络对训练笔画轨迹数据所包含的轨迹点的坐标数据提取内容表示特征(即表征训练笔画轨迹数据的内容的特征),作为第一内容表示特征,同样的,利用特征提取网络对训练笔画轨迹数据的优化后数据所包含的轨迹点的坐标数据提取内容表示特征,作为第二内容表示特征,计算第一内容表示特征与第二内容表示特征的相似度,作为训练笔画轨迹数据与训练笔画轨迹数据的优化后数据的内容相似度。需要说明的是,在利用特征提取网络针对一笔画轨迹数据所包含的轨迹点的坐标数据提取内容表示特征时,需要将各轨迹点的坐标数据处理成特征提取网络可处理的形式。
可选的,可计算第一内容表示特征与第二内容表示特征的平方差,作为训练笔画轨迹数据与训练笔画轨迹数据的优化后数据的内容相似度,若将第一内容表示特征表示为P,将第二内容表示特征表示为F,则训练笔画轨迹数据与训练笔画轨迹数据的优化后数据的内容相似度,即内容维度的损失Losscontent可表示为:
需要说明的是,在利用特征提取网络针对一笔画轨迹数据所包含的轨迹点的坐标数据提取内容表示特征时,可采用包含多个级联的特征提取层的特征提取网络,考虑到较低层的特征描述了具体视觉特征(比如纹理、颜色等),而较高层的特征才是较为抽象的内容描述,因此,在利用特征提取网络提取内容表示特征时,将较高层输出的特征作为上述用于计算内容相似度的内容表示特征。
步骤S404b:确定训练笔画轨迹数据与训练笔画轨迹数据的优化后数据的风格相似度,作为风格维度的损失。
需要说明的是,训练笔画轨迹数据包含多个轨迹点的数据,而每个轨迹点的数据包含多个维度的数据,比如,包含坐标数据、时间偏移、可选的,还可以包括压感、速度、方向等,训练笔画轨迹数据的优化后数据同样如此。
在本实施例中,确定训练笔画轨迹数据与训练笔画轨迹数据的优化后数据的风格相似度的过程可以包括:
步骤S404b-1a、利用特征提取网络针对训练笔画轨迹数据所包含的轨迹点的多维数据提取风格表示特征,作为第一风格表示特征(即表示训练笔画轨迹数据的风格的特征)。
具体的,将训练笔画轨迹数据所包含的轨迹点的多维数据处理成特征提取网络可处理的数据形式后输入特征提取网络,以得到第一风格表示特征。
在本实施例中,用于提取风格表示特征的特征提取网络可包含多个级联的特征提取层,上述的第一风格表示特征包括每个特征提取层输出的风格表示特征,比如特征提取网络包括L个特征提取层,则可获得L个风格表示特征A1、A2、…AL。
步骤S404b-1b、利用特征提取网络针对训练笔画轨迹数据的优化后数据所包含的轨迹点的多维数据提取风格表示特征,作为第二风格表示特征(即表示训练笔画轨迹数据的优化后数据的风格的特征)。
具体的,将训练笔画轨迹数据的优化后数据所包含的轨迹点的多维数据处理成特征提取网络可处理的数据形式后输入特征提取网络,以得到第二风格表示特征。
同样的,若特征提取网络包括L个特征提取层,则将训练笔画轨迹数据的优化后数据所包含的轨迹点的多维数据处理成特征提取网络可处理的数据形式后输入特征提取网络,可获得L个风格表示特征G1、G2、…GL,L个风格表示特征G1、G2、…GL作为第二风格表示特征。
步骤S404b-2、利用第一风格表示特征和第二风格表示特征,确定训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的风格相似度。
具体的,利用第一风格表示特征和第二风格表示特征,确定训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的风格相似度的过程包括:
步骤S404b-21、计算第一风格表示特征和第二风格表示特征中由同一特征提取层输出的两个风格表示特征的相似度,以得到训练笔画轨迹数据与训练笔画轨迹数据的优化后数据在各特征提取层上分别对应的风格相似度。
具体的,可基于下式计算训练笔画轨迹数据与训练笔画轨迹数据的优化后数据在第l个特征提取层上对应的风格相似度El:
其中,N表示卷积核的通道数,M表示卷积核的高与宽的乘积。
需要说的是,本实施例并不限定风格相似度El的计算方式仅为上述方式,还可采用其他的计算方式计算风格相似度El,比如,可采用类似上述内容相似度的计算方式计算两个风格表示特征的相似度,即:
步骤S404b-22、将训练笔画轨迹数据与训练笔画轨迹数据的优化后数据在各特征提取层上分别对应的风格相似度融合,融合后的风格相似度作为训练笔画轨迹数据与训练笔画轨迹数据的优化后数据的风格相似度。
具体的,可将训练笔画轨迹数据与训练笔画轨迹数据的优化后数据在各特征提取层上分别对应的风格相似度加权求和,加权求和后的风格相似度作为训练笔画轨迹数据与训练笔画轨迹数据的优化后数据的风格相似度,即风格维度的损失Lossstyle,Lossstyle可表示为:
其中,ωl表示El对应的权重。
示例性的,用于提取风格表示特征的特征提取网络为如图5示出的VGG19,VGG19包括5个特征提取层,将训练笔画轨迹数据所包含的轨迹点的多维数据处理成特征提取网络可处理的数据形式后输入VGG19,可获得5个风格表示特征A1~A5,将训练笔画轨迹数据的优化后数据所包含的轨迹点的多维数据处理成特征提取网络可处理的数据形式后输入VGG19,可获得5个风格表示特征G1~G5,通过上式(4)对A1、G1计算,得到E1,通过上述(4)对A2、G2计算,得到E2,…,通过上式(4)对A5、G5计算,得到E5,将E1~E5加权求和即可得到风格维度的损失Lossstyle。
步骤S405:根据内容维度的损失和风格维度的损失,对笔画轨迹优化模型进行参数更新。
具体的,对内容维度的损失Losscontent和风格维度的损失Lossstyle进行融合,以得到融合后损失LOSS,根据融合后损失LOSS对笔画轨迹优化模型进行参数更新。
对内容维度的损失Losscontent和风格维度的损失Lossstyle进行融合,以得到融合后损失LOSS的实现方式有多种,本实施例提供如下两种可选的实现方式:
在一种可能的实现方式中,可将内容维度的损失Losscontent与风格维度的损失Lossstyle直接求和,即:
LOSS=Losscontent+Lossstyle (7)
在另一种可能的实现方式中,可将内容维度的损失Losscontent与风格维度的损失Lossstyle加权求和,即:
LOSS=αLosscontent+βLossstyle (8)
其中,α为内容维度的损失Losscontent对应的权重,β为风格维度的损失Lossstyle对应的权重,α和β的取值可根据具体情况设定。
按上述步骤S401~步骤S405的过程进行多次迭代训练,直至满足训练结束条件,训练结束后得到的模型即为建立的笔画轨迹优化模型。
经由上述过程建立的笔画轨迹优化模型可将输入的笔画轨迹数据优化为具有原轨迹的特点且贴近用户期望风格的笔画轨迹数据。
第三实施例
本申请实施例还提供了一种书写笔迹生成装置,下面对本申请实施例提供的书写笔迹生成装置进行描述,下文描述的书写笔迹生成装置与上文描述的书写笔迹生成方法可相互对应参照。
请参阅图6,示出了本申请实施例提供的书写笔迹生成装置的结构示意图,可以包括:笔画轨迹数据获取模块601、笔画轨迹数据匹配模块602、笔画轨迹数据优化模块603和书写笔迹生成模块604。
笔画轨迹数据获取模块601,用于基于目标用户的书写轨迹获取笔画轨迹数据,作为第一笔画轨迹数据;
笔画轨迹数据匹配模块602,用于从所述目标用户期望风格的笔画轨迹数据集中,确定与所述第一笔画轨迹数据匹配的笔画轨迹数据作为第二笔画轨迹数据;
笔画轨迹数据优化模块603,用于参考所述第二笔画轨迹数据,对所述第一笔画轨迹数据进行优化,以得到所述第一笔画轨迹数据的优化后数据;
书写笔迹生成模块604,用于基于所述第一笔画轨迹数据的优化后数据,生成所述目标用户的书写笔迹。
可选的,笔画轨迹数据匹配模块602、笔画轨迹数据优化模块603可由笔画轨迹优化模型实现。
其中,所述笔画轨迹优化模型采用训练笔画轨迹数据训练得到,在训练过程中,以所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的内容相似性和风格相似性为依据,对所述笔画轨迹优化模型进行参数更新。
可选的,笔画轨迹数据获取模块601包括:采样及状态检测子模块和笔画轨迹数据获取子模块。
采样及状态检测子模块,用于对所述目标用户的书写轨迹进行采样,并在采样的过程中进行落笔状态和抬笔状态检测,以得到采样点数据以及检测到的落笔状态和抬笔状态。
笔画轨迹数据获取子模块,用于根据所述采样点数据以及检测到的抬笔状态和落笔状态,获得笔画轨迹数据。
可选的,笔画轨迹数据优化模块603,具体用于参考所述第二笔画轨迹数据,将所述第一笔画轨迹数据中的异常轨迹点数据去除,得到去除异常轨迹点数据后的笔画轨迹数据,参考所述第二笔画轨迹数据,从设定维度对所述去除异常轨迹点数据后的笔画轨迹数据进行拟合和/或插值处理,得到所述第一笔画轨迹数据的优化后数据,其中,所述设定维度包括斜率、和/或点间隔、和/或时间偏移。
可选的,书写笔迹生成模块604包括:图形参数确定子模块、图形绘制子模块和书写笔迹生成子模块。
图形参数确定子模块,用于根据所述第一笔画轨迹数据的优化后数据中每个轨迹点的速度,确定所述第一笔画轨迹数据的优化后数据中每个轨迹点对应的图形参数,其中,所述图形参数为能够表征指定图形尺寸的参数。
图形绘制子模块,用于根据所述第一笔画轨迹数据的优化后数据中每个轨迹点的坐标数据以及每个轨迹点对应的图形参数,绘制每个轨迹点对应的指定图形,其中,一个轨迹点对应的指定图形的中心为该轨迹点。
书写笔迹生成子模块,用于根据绘制的指定图形,生成所述目标用户的书写笔迹。
可选的,书写笔迹生成子模块在根据绘制的指定图形,生成所述目标用户的书写笔迹时,具体用于:
确定绘制的指定图形中相邻指定图形的公切线;通过确定出的公切线将绘制的指定图形连接;基于连接两个指定图形的公切线与指定图形的切点构成四边形区域;对所述四边形区域进行填充,以得到目标用户的书写笔迹。
可选的,本申请实施例提供的书写笔迹生成装置还可以包括:模型构建模块。模型构建模块包括:优化数据获取模块、第一损失确定模块、第二损失确定模块和模型参数更新模块。
优化数据获取模块,用于利用笔画轨迹优化模型,从指定风格的笔画轨迹数据集中确定与所述训练笔画轨迹数据匹配的笔画轨迹数据,并参考与所述训练笔画轨迹数据匹配的笔画轨迹数据对所述训练笔画轨迹数据进行优化,以得到所述训练笔画轨迹数据的优化后数据。
第一损失确定模块,用于确定所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的内容相似度,作为内容维度的损失。
第二损失确定模块,用于确定所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的风格相似度,作为风格维度的损失。
模型参数更新模块,用于根据所述内容维度的损失和所述风格维度的损失,对笔画轨迹优化模型进行参数更新。
可选的,第一损失确定模块,具体用于根据所述训练笔画轨迹数据所包含的轨迹点的坐标数据,以及所述训练笔画轨迹数据的优化后数据的轨迹点的坐标数据,确定所述训练笔画轨迹数据与训练笔画轨迹数据的优化后数据的内容相似度,作为内容维度的损失。
可选的,第二损失确定模块包括:第一风格表示特征获取子模块、第二风格表示特征获取子模块和风格相似度确定子模块。
第一风格表示特征获取子模块,用于利用特征提取网络针对所述训练笔画轨迹数据所包含的轨迹点的多维数据提取风格表示特征,作为第一风格表示特征。
第二风格表示特征获取子模块,用于利用所述特征提取网络针对所述训练笔画轨迹数据的优化后数据所包含的轨迹点的多维数据提取风格表示特征,作为第二风格表示特征。
风格相似度确定子模块,用于利用所述第一风格表示特征和所述第二风格表示特征,确定所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的风格相似度。
可选的,所述特征提取网络包括多个级联的特征提取层,利用所述特征提取网络针对一笔画轨迹数据提取的风格表示特征包括每个特征提取层输出的风格表示特征;
风格相似度确定子模块在利用所述第一风格表示特征和所述第二风格表示特征,确定所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的风格相似度时,具体用于:计算所述第一风格表示特征和所述第二风格表示特征中由同一特征提取层输出的两个风格表示特征的相似度,以得到所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据在各特征提取层上分别对应的风格相似度;将所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据在各特征提取层上分别对应的风格相似度融合,融合后的风格相似度作为所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的风格相似度。
本申请实施例提供的书写笔迹生成装置,首先基于目标用户的书写轨迹获取笔画轨迹数据作为第一笔画轨迹数据,然后从目标用户期望风格的笔画轨迹数据集中确定与第一笔画轨迹数据匹配的笔画轨迹数据作为第二笔画轨迹数据,接着参考第二笔画轨迹数据对第一笔画轨迹数据进行优化,以得到第一笔画轨迹数据的优化后数据,最后基于第一笔画轨迹数据的优化后数据,生成目标用户的书写笔迹。由于本申请实施例提供的书写笔迹生成装置参考目标用户期望风格的笔画轨迹数据对目标用户的笔画轨迹数据进行优化,因此,优化后的笔画轨迹数据为贴近用户期望风格的笔画轨迹数据,由于本申请实施例书写笔迹生成装置仅是对目标用户的笔画轨迹数据进行优化,而不是将其替换为目标用户期望风格的笔画轨迹数据,因此,优化后的笔画轨迹数据仍然保留有原始笔迹的特点,可见,通过本申请提供实施例的书写笔迹生成装置能够生成具有原笔迹特点且贴近用户期望风格的书写笔迹,用户体验较好。
第四实施例
本申请实施例还提供了一种书写笔迹生成设备,请参阅图7,示出了该书写笔迹生成设备的结构示意图,该书写笔迹生成设备可以包括:至少一个处理器701,至少一个通信接口702,至少一个存储器703和至少一个通信总线704;
在本申请实施例中,处理器701、通信接口702、存储器703、通信总线704的数量为至少一个,且处理器701、通信接口702、存储器703通过通信总线704完成相互间的通信;
处理器701可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路等;
存储器703可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory)等,例如至少一个磁盘存储器;
其中,存储器存储有程序,处理器可调用存储器存储的程序,所述程序用于:
基于目标用户的书写轨迹获取笔画轨迹数据,作为第一笔画轨迹数据;
从所述目标用户期望风格的笔画轨迹数据集中,确定与所述第一笔画轨迹数据匹配的笔画轨迹数据作为第二笔画轨迹数据;
参考所述第二笔画轨迹数据,对所述第一笔画轨迹数据进行优化,以得到所述第一笔画轨迹数据的优化后数据;
基于所述第一笔画轨迹数据的优化后数据,生成所述目标用户的书写笔迹。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
第五实施例
本申请实施例还提供一种可读存储介质,该可读存储介质可存储有适于处理器执行的程序,所述程序用于:
基于目标用户的书写轨迹获取笔画轨迹数据,作为第一笔画轨迹数据;
从所述目标用户期望风格的笔画轨迹数据集中,确定与所述第一笔画轨迹数据匹配的笔画轨迹数据作为第二笔画轨迹数据;
参考所述第二笔画轨迹数据,对所述第一笔画轨迹数据进行优化,以得到所述第一笔画轨迹数据的优化后数据;
基于所述第一笔画轨迹数据的优化后数据,生成所述目标用户的书写笔迹。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (14)
1.一种书写笔迹生成方法,其特征在于,包括:
基于目标用户的书写轨迹获取笔画轨迹数据,作为第一笔画轨迹数据;
从所述目标用户期望风格的笔画轨迹数据集中,确定与所述第一笔画轨迹数据匹配的笔画轨迹数据作为第二笔画轨迹数据;
参考所述第二笔画轨迹数据,对所述第一笔画轨迹数据进行优化,以得到所述第一笔画轨迹数据的优化后数据;
基于所述第一笔画轨迹数据的优化后数据,生成所述目标用户的书写笔迹。
2.根据权利要求1所述的书写笔迹生成方法,其特征在于,所述基于目标用户的书写轨迹获取笔画轨迹数据,包括:
对所述目标用户的书写轨迹进行采样,并在采样的过程中进行落笔状态和抬笔状态检测,以得到采样点数据以及检测到的落笔状态和抬笔状态;
根据所述采样点数据以及检测到的抬笔状态和落笔状态,获得笔画轨迹数据。
3.根据权利要求1所述的书写笔迹生成方法,其特征在于,在获得所述第一笔画轨迹数据后,对所述第一笔画轨迹数据进行处理,以得到所述第一笔画轨迹数据的优化后数据,包括:
利用预先建立的笔画轨迹优化模型,对所述第一笔画轨迹数据进行处理,以得到所述第一笔画轨迹数据的优化后数据;
其中,所述笔画轨迹优化模型采用训练笔画轨迹数据训练得到,在训练过程中,以所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的内容相似性和风格相似性为依据,对所述笔画轨迹优化模型进行参数更新。
4.根据权利要求1所述的书写笔迹生成方法,其特征在于,所述参考所述第二笔画轨迹数据,对所述第一笔画轨迹数据进行优化,以得到所述第一笔画轨迹数据的优化后数据,包括:
参考所述第二笔画轨迹数据,将所述第一笔画轨迹数据中的异常轨迹点数据去除,得到去除异常轨迹点数据后的笔画轨迹数据;
参考所述第二笔画轨迹数据,从设定维度对所述去除异常轨迹点数据后的笔画轨迹数据进行拟合和/或插值处理,得到所述第一笔画轨迹数据的优化后数据,其中,所述设定维度包括斜率、和/或点间隔、和/或时间偏移。
5.根据权利要求1所述的书写笔迹生成方法,其特征在于,所述基于所述优化后笔画轨迹数据,生成所述目标用户的书写笔迹,包括:
根据所述第一笔画轨迹数据的优化后数据中每个轨迹点的速度,确定所述第一笔画轨迹数据的优化后数据中每个轨迹点对应的图形参数,其中,所述图形参数为能够表征指定图形尺寸的参数;
根据所述第一笔画轨迹数据的优化后数据中每个轨迹点的坐标数据以及每个轨迹点对应的图形参数,绘制每个轨迹点对应的指定图形,其中,一个轨迹点对应的指定图形的中心为该轨迹点;
根据绘制的指定图形,生成所述目标用户的书写笔迹。
6.根据权利要求5所述的书写笔迹生成方法,其特征在于,所述根据绘制的指定图形,生成所述目标用户的书写笔迹,包括:
确定绘制的指定图形中相邻指定图形的公切线;
通过确定出的公切线将绘制的指定图形连接;
基于连接两个指定图形的公切线与指定图形的切点构成四边形区域;
对所述四边形区域进行填充,以得到目标用户的书写笔迹。
7.根据权利要求3所述的书写笔迹生成方法,其特征在于,建立所述笔画轨迹优化模型的过程包括:
利用笔画轨迹优化模型,从指定风格的笔画轨迹数据集中确定与所述训练笔画轨迹数据匹配的笔画轨迹数据,并参考与所述训练笔画轨迹数据匹配的笔画轨迹数据对所述训练笔画轨迹数据进行优化,以得到所述训练笔画轨迹数据的优化后数据;
确定所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的内容相似度,作为内容维度的损失,并确定所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的风格相似度,作为风格维度的损失;
根据所述内容维度的损失和所述风格维度的损失,对笔画轨迹优化模型进行参数更新。
8.根据权利要求7所述的书写笔迹生成方法,其特征在于,所述确定所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的内容相似度,包括:
根据所述训练笔画轨迹数据所包含的轨迹点的坐标数据,以及所述训练笔画轨迹数据的优化后数据的轨迹点的坐标数据,确定所述训练笔画轨迹数据与训练笔画轨迹数据的优化后数据的内容相似度。
9.根据权利要求7所述的书写笔迹生成方法,其特征在于,所述训练笔画轨迹数据包含多个轨迹点的数据,每个轨迹点的数据包含多个维度的数据;
所述确定所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的风格相似度,包括:
利用特征提取网络针对所述训练笔画轨迹数据所包含的轨迹点的多维数据提取风格表示特征,作为第一风格表示特征,并利用所述特征提取网络针对所述训练笔画轨迹数据的优化后数据所包含的轨迹点的多维数据提取风格表示特征,作为第二风格表示特征;
利用所述第一风格表示特征和所述第二风格表示特征,确定所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的风格相似度。
10.根据根据权利要求9所述的书写笔迹生成方法,其特征在于,所述特征提取网络包括多个级联的特征提取层,利用所述特征提取网络针对一笔画轨迹数据提取的风格表示特征包括每个特征提取层输出的风格表示特征;
所述利用所述第一风格表示特征和所述第二风格表示特征,确定所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的风格相似度,包括:
计算所述第一风格表示特征和所述第二风格表示特征中由同一特征提取层输出的两个风格表示特征的相似度,以得到所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据在各特征提取层上分别对应的风格相似度;
将所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据在各特征提取层上分别对应的风格相似度融合,融合后的风格相似度作为所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的风格相似度。
11.一种书写笔迹生成装置,其特征在于,包括:笔画轨迹数据获取模块、笔画轨迹数据匹配模块、笔画轨迹数据优化模块和书写笔迹生成模块;
所述笔画轨迹数据获取模块,用于基于目标用户的书写轨迹获取笔画轨迹数据,作为第一笔画轨迹数据;
所述笔画轨迹数据匹配模块,用于从所述目标用户期望风格的笔画轨迹数据集中,确定与所述第一笔画轨迹数据匹配的笔画轨迹数据作为第二笔画轨迹数据;
所述笔画轨迹数据优化模块,用于参考所述第二笔画轨迹数据,对所述第一笔画轨迹数据进行优化,以得到所述第一笔画轨迹数据的优化后数据;
所述书写笔迹生成模块,用于基于所述第一笔画轨迹数据的优化后数据,生成所述目标用户的书写笔迹。
12.根据权利要求11所述的书写笔迹生成装置,其特征在于,所述笔画轨迹数据匹配模块和所述笔画轨迹数据优化模块由笔画轨迹优化模型实现;
其中,所述笔画轨迹优化模型采用训练笔画轨迹数据训练得到,在训练过程中,以所述训练笔画轨迹数据与所述训练笔画轨迹数据的优化后数据的内容相似性和风格相似性为依据,对所述笔画轨迹优化模型进行参数更新。
13.一种书写笔迹生成设备,其特征在于,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现如权利要求1~10中任一项所述的书写笔迹生成方法的各个步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1~10中任一项所述的书写笔迹生成方法的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111033457.9A CN113743302B (zh) | 2021-09-03 | 2021-09-03 | 一种书写笔迹生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111033457.9A CN113743302B (zh) | 2021-09-03 | 2021-09-03 | 一种书写笔迹生成方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113743302A true CN113743302A (zh) | 2021-12-03 |
CN113743302B CN113743302B (zh) | 2024-04-30 |
Family
ID=78735603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111033457.9A Active CN113743302B (zh) | 2021-09-03 | 2021-09-03 | 一种书写笔迹生成方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113743302B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114415931A (zh) * | 2022-01-13 | 2022-04-29 | 湖南新云网科技有限公司 | 电子白板显示方法、装置、电子白板及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609735A (zh) * | 2012-02-06 | 2012-07-25 | 安徽科大讯飞信息科技股份有限公司 | 一种字符书写规范度评测的方法和装置 |
CN102637078A (zh) * | 2012-02-27 | 2012-08-15 | 厦门大学 | 一种结构优化的汉字字形生成方法 |
CN105046730A (zh) * | 2015-07-09 | 2015-11-11 | 北京盛世宣合信息科技有限公司 | 应用于毛笔的书写笔迹呈现方法和装置 |
CN105787522A (zh) * | 2016-03-31 | 2016-07-20 | 科大讯飞股份有限公司 | 基于手写笔迹的书写态度评价方法及系统 |
CN107481185A (zh) * | 2017-08-24 | 2017-12-15 | 深圳市唯特视科技有限公司 | 一种基于视频图像优化的风格转换方法 |
CN110531875A (zh) * | 2019-08-21 | 2019-12-03 | 深圳市威屏科技有限公司 | 书写笔锋的生成方法、终端设备及存储介质 |
CN111381754A (zh) * | 2020-04-30 | 2020-07-07 | 京东方科技集团股份有限公司 | 笔迹处理方法、设备及介质 |
CN111475667A (zh) * | 2020-04-08 | 2020-07-31 | 西北农林科技大学 | 一种基于手写汉字的机械臂楷体风格书法撰写方法 |
CN111815743A (zh) * | 2020-07-14 | 2020-10-23 | 深圳市昇利扬科技有限公司 | 一种数字墨水手写笔迹美化的方法 |
US20210232235A1 (en) * | 2015-07-17 | 2021-07-29 | Sai Deepika Regani | Method, apparatus, and system for wireless writing tracking |
-
2021
- 2021-09-03 CN CN202111033457.9A patent/CN113743302B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609735A (zh) * | 2012-02-06 | 2012-07-25 | 安徽科大讯飞信息科技股份有限公司 | 一种字符书写规范度评测的方法和装置 |
CN102637078A (zh) * | 2012-02-27 | 2012-08-15 | 厦门大学 | 一种结构优化的汉字字形生成方法 |
CN105046730A (zh) * | 2015-07-09 | 2015-11-11 | 北京盛世宣合信息科技有限公司 | 应用于毛笔的书写笔迹呈现方法和装置 |
US20210232235A1 (en) * | 2015-07-17 | 2021-07-29 | Sai Deepika Regani | Method, apparatus, and system for wireless writing tracking |
CN105787522A (zh) * | 2016-03-31 | 2016-07-20 | 科大讯飞股份有限公司 | 基于手写笔迹的书写态度评价方法及系统 |
CN107481185A (zh) * | 2017-08-24 | 2017-12-15 | 深圳市唯特视科技有限公司 | 一种基于视频图像优化的风格转换方法 |
CN110531875A (zh) * | 2019-08-21 | 2019-12-03 | 深圳市威屏科技有限公司 | 书写笔锋的生成方法、终端设备及存储介质 |
CN111475667A (zh) * | 2020-04-08 | 2020-07-31 | 西北农林科技大学 | 一种基于手写汉字的机械臂楷体风格书法撰写方法 |
CN111381754A (zh) * | 2020-04-30 | 2020-07-07 | 京东方科技集团股份有限公司 | 笔迹处理方法、设备及介质 |
CN111815743A (zh) * | 2020-07-14 | 2020-10-23 | 深圳市昇利扬科技有限公司 | 一种数字墨水手写笔迹美化的方法 |
Non-Patent Citations (4)
Title |
---|
LEI KANG,ET AL: "GANwriting: Content-Conditioned Generation of Styled Handwritten Word Images", 《COMPUTER VISION - ECCV 2020》, pages 273 * |
宋春晓 等: "基于汉字笔画与结构的特征字库构造及优化", 《计算机工程和科学》, vol. 41, no. 5, pages 933 - 941 * |
温金梅: "面向金融的手写签名认证技术研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2020, no. 7, pages 136 - 280 * |
王玉卓 等: "基于毛笔建模的机器人书法系统", 《智能系统学报》, vol. 16, no. 4, pages 707 - 716 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114415931A (zh) * | 2022-01-13 | 2022-04-29 | 湖南新云网科技有限公司 | 电子白板显示方法、装置、电子白板及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113743302B (zh) | 2024-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9020266B2 (en) | Methods and devices for processing handwriting input | |
CN110009027B (zh) | 图像的比对方法、装置、存储介质及电子装置 | |
CN111931710B (zh) | 一种联机手写文字识别方法、装置、电子设备及存储介质 | |
US8391613B2 (en) | Statistical online character recognition | |
CN110531875A (zh) | 书写笔锋的生成方法、终端设备及存储介质 | |
CN102576256A (zh) | 用于在显示表面上绘制和擦除书法墨水对象的方法和装置 | |
CN110119733B (zh) | 书页识别方法及装置、终端设备、计算机可读存储介质 | |
CN109746916B (zh) | 一种机器人书写书法的方法及系统 | |
CN111523455A (zh) | 汉字书写的评价方法 | |
CN112711362B (zh) | 手绘流程图标准化生成方法及其装置 | |
CN112905102A (zh) | 书写笔锋的实现方法、装置、电子设备及可读存储介质 | |
CN103455262A (zh) | 一种基于移动计算平台的笔式交互方法及系统 | |
CN113743302A (zh) | 一种书写笔迹生成方法、装置、设备及存储介质 | |
CN110796250A (zh) | 应用于卷积神经网络的卷积处理方法、系统及相关组件 | |
CN113342208B (zh) | 基于多点触控设备的铁路选线方法、终端及存储介质 | |
CN114415918A (zh) | 一种电子设备及模拟笔触的方法、装置和计算机可读介质 | |
WO2022222096A1 (zh) | 手绘图形识别方法、装置和系统,以及计算机可读存储介质 | |
CN111027533B (zh) | 一种点读坐标的变换方法、系统、终端设备及存储介质 | |
WO2023078280A1 (zh) | 虚拟道具的处理方法、装置、设备和存储介质 | |
WO2020124442A1 (zh) | 推送方法及相关产品 | |
CN115564923A (zh) | 三维模型的处理方法、装置、电子设备及存储介质 | |
CN104777944B (zh) | 一种基于笔影检测模拟手绘板的方法 | |
CN115393876A (zh) | 一种基于神经网络的在线签名鉴定方法 | |
CN111078028B (zh) | 输入方法、相关设备及可读存储介质 | |
CN112348069A (zh) | 数据增强方法、装置、计算机可读存储介质及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |