CN115880701A - 字体生成方法、装置、电子设备和系统 - Google Patents

Abstract

本发明提供一种字体生成方法、装置、电子设备和系统，涉及文字处理技术领域，该方法包括：获取待生成文字的标准笔画序列，并提取标准笔画序列的第一文字内容特征；获取手写字图像中的第一单字图像，并将第一单字图像输入风格特征提取模型，得到风格特征提取模型输出的第一书写风格特征；提取第一单字图像的第二文字内容特征，并从第一书写风格特征中去除第二文字内容特征，得到去除内容信息的第二书写风格特征；将第一文字内容特征和第二书写风格特征输入解码器，得到解码器输出的待生成文字对应的第一目标风格文字，解码器用于对文字内容特征和书写风格特征进行融合。本发明提供的技术方案能够生成个性化字体，提高字体的个性化程度。

Description

字体生成方法、装置、电子设备和系统

技术领域

本发明涉及文字处理技术领域，尤其涉及一种字体生成方法、装置、电子设备和系统。

背景技术

随着计算机技术的发展，各类电子设备逐渐向更加智能化的方向发展，为人们的生活提供了方便。电子设备在进行人机交互的过程中，可以通过文字进行信息传输。

相关技术中，可以通过键盘输入或手写输入的方式输入文字信息，但无论采用哪种方式，文字的字体都是规范的输入法字体，比如宋体、楷体、隶书等，无法使用用户自己的手写字体或者用户心仪的字体。而随着电子设备技术的发展，人们对个性化、差异化的需求越来越高，越来越多的人希望在电子设备中使用个性化字体来进行沟通和交流，因此，如何产生个性化的字体是目前亟待解决的技术问题。

发明内容

本发明提供一种字体生成方法、装置、电子设备和系统，用以解决现有技术中字体的个性化程度不高的问题，实现个性化字体的生成。

本发明提供一种字体生成方法，包括：

获取待生成文字的标准笔画序列，并提取所述标准笔画序列的第一文字内容特征；

获取手写字图像中的第一单字图像，并将所述第一单字图像输入风格特征提取模型，得到所述风格特征提取模型输出的第一书写风格特征；所述风格特征提取模型用于表征文字的书写风格特征；

提取所述第一单字图像的第二文字内容特征，并从所述第一书写风格特征中去除所述第二文字内容特征，得到去除内容信息的第二书写风格特征；

将所述第一文字内容特征和所述第二书写风格特征输入解码器，得到所述解码器输出的所述待生成文字对应的第一目标风格文字，所述解码器用于对文字内容特征和书写风格特征进行融合。

根据本发明提供的一种字体生成方法，所述风格特征提取模型是基于以下步骤训练得到的：

从手写字样本图像中获取第一单字样本图像；

从所述第一单字样本图像中确定锚点图像、正样本和负样本，得到对比学习样本集；其中，所述锚点图像和所述正样本属于同一书写人的单字样本图像，且与所述负样本的书写人不同；

基于所述对比学习样本集对第一初始神经网络模型进行对比学习训练，得到所述风格特征提取模型。

根据本发明提供的一种字体生成方法，所述解码器是基于以下步骤训练得到的：

获取第二单字样本图像，并将所述第二单字样本图像输入所述风格特征提取模型，得到所述风格特征提取模型输出的样本书写风格特征；

获取所述第二单字样本图像中单字的标准笔画序列，得到标准笔画序列样本，并提取所述标准笔画序列样本的样本文字内容特征；

基于所述样本书写风格特征和所述样本文字内容特征对初始解码器进行训练，得到所述解码器。

根据本发明提供的一种字体生成方法，所述基于所述样本书写风格特征和所述样本文字内容特征对初始解码器进行训练，得到所述解码器，包括：

基于所述样本书写风格特征和所述样本文字内容特征对初始解码器和所述风格特征提取模型进行联合训练，得到所述解码器；

其中，所述风格特征提取模型在联合训练过程中被更新。

根据本发明提供的一种字体生成方法，所述提取所述第一单字图像的第二文字内容特征，包括：

将所述第一单字图像输入内容识别模型，得到所述内容识别模型输出的第二文字内容特征；

其中，所述内容识别模型是基于第三单字样本图像和所述第三单字样本图像对应的标签数据对第二初始神经网络模型进行训练得到的。

根据本发明提供的一种字体生成方法，还包括：

获取借鉴字图像中的第二单字图像，并将所述第二单字图像输入所述风格特征提取模型的孪生模型，得到所述孪生模型输出的第三书写风格特征；

将所述第三书写风格特征与所述第二书写风格特征进行加权平均，得到第四书写风格特征；

将所述第一文字内容特征和所述第四书写风格特征输入所述解码器，得到所述解码器输出的所述待生成文字对应的第二目标风格文字，所述第二目标风格文字以所述手写字图像和所述借鉴字图像的融合书写风格表示。

本发明还提供一种字体生成装置，包括：

第一获取模块，用于获取待生成文字的标准笔画序列；

第一特征提取模块，用于提取所述标准笔画序列的第一文字内容特征；

第二获取模块，用于获取手写字图像中的第一单字图像；

第二特征提取模块，用于将所述第一单字图像输入风格特征提取模型，得到所述风格特征提取模型输出的第一书写风格特征；所述风格特征提取模型用于表征文字的书写风格特征；

第三特征提取模块，用于提取所述第一单字图像的第二文字内容特征，并从所述第一书写风格特征中去除所述第二文字内容特征，得到去除内容信息的第二书写风格特征；

解码模块，用于将所述第一文字内容特征和所述第二书写风格特征输入解码器，得到所述解码器输出的所述待生成文字对应的第一目标风格文字，所述解码器用于对文字内容特征和书写风格特征进行融合。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述字体生成方法。

根据本发明提供的一种字体生成装置，还包括与所述处理器通信连接的摄像头和/或触控屏；

所述摄像头用于采集手写字图像；

所述触控屏用于接收手写输入，响应于所述手写输入，生成手写字图像。

本发明还提供一种字体生成系统，包括如上所述的电子设备和与所述电子设备通信连接的图像采集设备和/或手写屏；

所述图像采集设备用于在所述电子设备的控制下采集手写字图像；

所述手写屏用于接收手写输入，响应于所述手写输入，生成手写字图像，并将所述手写字图像发送给所述电子设备。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述字体生成方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述字体生成方法。

本发明提供的字体生成方法、装置、电子设备和系统，先获取待生成文字的标准笔画序列，并提取标准笔画序列的第一文字内容特征；获取手写字图像中的第一单字图像，并将第一单字图像输入用于表征文字书写风格特征的风格特征提取模型，得到风格特征提取模型输出的第一书写风格特征；接着提取第一单字图像的第二文字内容特征，并从第一书写风格特征中去除第二文字内容特征，得到去除内容信息的第二书写风格特征；然后将第一文字内容特征和第二书写风格特征输入用于对文字内容特征和书写风格特征进行融合的解码器，得到解码器输出的待生成文字对应的第一目标风格文字。这样，生成的第一目标风格文字将包含手写字图像的书写风格，能够以手写字图像的书写风格表示，从而实现了个性化字体的生成。而且，在字体生成过程中，从手写字图像的书写风格特征中去除了文字内容特征，避免了文字内容特征的干扰，提高了手写字图像书写风格特征的精确度，使得生成的第一目标风格文字更能体现出手写字的书写风格，进一步提高了个性化程度。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的字体生成方法的流程示意图之一；

图2是本发明实施例中风格特征提取模型的训练方法的流程示意图；

图3是本发明实施例中风格特征提取模型的训练原理示意图；

图4是本发明实施例中解码器的训练方法的流程示意图之一；

图5是本发明实施例中解码器的训练原理示意图；

图6是本发明实施例中解码器的训练方法的流程示意图之二；

图7是本发明实施例提供的字体生成方法的流程示意图之二；

图8是本发明实施例中融合个人书写风格和其他书写风格的个性化字体生成的原理示意图；

图9是本发明实施例提供的字体生成装置的结构示意图；

图10是本发明实施例提供的电子设备的结构示意图；

图11是本发明实施例提供的字体生成系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明中为描述的对象所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。

下面结合图1-图8对本发明的字体生成方法进行描述。该字体生成方法可以应用于终端设备或服务器等电子设备。其中，终端设备可以包括手机、电脑、车载设备、平板电脑、可穿戴设备、智能家居设备等；服务器可以包括独立服务器、集群服务器或云服务器等。该字体生成方法也可以应用于设置在终端设备或服务器等电子设备中的字体生成装置中，该字体生成装置可以通过软件、硬件或两者的结合来实现。下面以该字体生成方法应用于电子设备为例进行说明。

图1示例性示出了本发明实施例提供的字体生成方法的流程示意图之一，参照图1所示，该字体生成方法可以包括如下的步骤110～步骤140。

步骤110：获取待生成文字的标准笔画序列，并提取标准笔画序列的第一文字内容特征。

标准笔画序列是将标准文字进行数字化后形成的坐标点集合。比如，可以将标准文字中每个笔画分离作为标准笔画，按正确的顺序排序，并对每个标准笔画进行数字化处理，形成具有方向顺序的坐标点集合，得到标准笔画序列。

待生成文字是需要生成个性化字体的文字。电子设备可以从文字库中直接读取该待生成文字的标准笔画序列，将该标准笔画序列输入内容提取器，得到该内容提取器输出的第一文字内容特征，该内容提取器用于提取标准笔画序列的文字内容特征。比如，该内容提取器可以是长短期记忆网络(Long Short-Term Memory，LSMT)编码器，LSMT编码器可以将输入的标准笔画序列编码为文字内容特征向量。

步骤120：获取手写字图像中的第一单字图像，并将第一单字图像输入风格特征提取模型，得到风格特征提取模型输出的第一书写风格特征。

电子设备可以从本地或外部存储设备中存储的图像中获取手写字图像；或者，电子设备可以通过自身的摄像头或与其通信连接的摄像设备拍摄用户在纸张或其他书写载体上手写的文字，得到手写字图像；或者，电子设备也可以接收用户在其触控屏或与其通信连接的手写屏上的手写输入，生成手写字图像。

电子设备获取到手写字图像之后，可以对该手写字图像进行单字检测，得到第一单字图像，然后将该将第一单字图像输入风格特征提取模型；风格特征提取模型对该第一单字图像中的文字进行书写风格特征提取，输出第一书写风格特征；电子设备获取到该第一书写风格特征。

其中，风格特征提取模型用于提取文字的书写风格特征，可以通过对单字样本图像进行对比学习训练得到。对图像进行单字检测可以采用目标检测算法进行。

步骤130：提取第一单字图像的第二文字内容特征，并从第一书写风格特征中去除第二文字内容特征，得到去除内容信息的第二书写风格特征。

电子设备获取到手写字图像中的第一单字图像之后，可以通过内容识别模型提取该第一单字图像的文字内容特征，得到第二文字内容特征。其中，内容识别模型用于识别单字图像中文字的内容特征。第二文字内容特征表征了第一单字图像的内容信息，即代表了第一单字图像表述了什么文字信息。

示例性的，提取第一单字图像的第二文字内容特征可以包括：将第一单字图像输入内容识别模型，得到内容识别模型输出的第二文字内容特征；其中，内容识别模型是基于第三单字样本图像和第三单字样本图像对应的标签数据对第二初始神经网络模型进行训练得到的。

其中，第二初始神经网络模型可以包括卷积神经网络(Convolutional NeuralNetwork，CNN)、循环神经网络(Recurrent Neural Networks，RNN)、BP神经网络或深度神经网络(Deep Neural Networks，DNN)等，但不限于此。

获得第一单字图像的第二文字内容特征之后，可以对第一书写风格特征进行内容解耦，从第一书写风格特征中去除第二文字内容特征，得到去除内容信息的第二书写风格特征。

由于内容识别模型的目标是识别单字的内容，所以该内容识别模型提取的特征是与图像内容极大相关而与书写风格无关的特征，这样，将步骤120提取到的第一书写风格特征减去第二文字内容特征，即可得到去除内容信息的书写风格特征，即第二书写风格特征。该第二书写风格特征因为去除了内容信息的干扰，因而能够更精确地表达手写字图像的书写风格信息，提高了书写风格特征提取的精确度和准确性。

步骤140：将第一文字内容特征和第二书写风格特征输入解码器，得到解码器输出的待生成文字对应的第一目标风格文字。

其中，解码器用于对文字内容特征和书写风格特征进行融合，通过融合为文字内容特征赋予书写风格特征，使文字内容特征对应的文字以书写风格特征所表征的书写风格展示。这样，待生成文字对应的第一目标风格文字会以手写字图像的书写风格表示，提升了字体的个性化风格。通过生成个性化字体，能够使得信息传播更加生动、直观。相比于规范的标准字体，个性化字体能将文本渲染为特有的书写风格，更加灵活地表达书写者的风格和感情；而且，个性化字体的视觉效果也使得书写者能够在各种社交网络媒体中受到更多的关注。

示例性的，解码器可以包括LSTM解码器或其他经训练得到的序列到序列模型解码器。

本发明实施例提供的字体生成方法，先获取待生成文字的标准笔画序列，并提取标准笔画序列的第一文字内容特征；获取手写字图像中的第一单字图像，并将第一单字图像输入用于表征文字书写风格特征的风格特征提取模型，得到风格特征提取模型输出的第一书写风格特征；接着提取第一单字图像的第二文字内容特征，并从第一书写风格特征中去除第二文字内容特征，得到去除内容信息的第二书写风格特征；然后将第一文字内容特征和第二书写风格特征输入用于对文字内容特征和书写风格特征进行融合的解码器，得到解码器输出的待生成文字对应的第一目标风格文字。这样，生成的第一目标风格文字将包含手写字图像的书写风格，能够以手写字图像的书写风格表示，从而实现了个性化字体的生成。而且，在字体生成过程中，从手写字图像的书写风格特征中去除了文字内容特征，避免了文字内容特征的干扰，提高了手写字图像书写风格特征的精确度，使得生成的第一目标风格文字更能体现出手写字的书写风格，进一步提高了字体的个性化程度。

通过本发明实施例提供的字体生成方法，用户只需要写下少量的手写字，比如一两句话，电子设备便可基于少量的个人手写字图像生成含有该用户个人书写风格的任何文字内容。

基于图1对应实施例的字体生成方法，图2示例性示出了风格特征提取模型的训练方法的流程示意图，参照图2所示，风格特征提取模型的训练方法可以包括如下步骤210～步骤230。

步骤210：从手写字样本图像中获取第一单字样本图像。

手写字样本图像选自不同书写人书写的文字图像，可以采用图像采集设备，如摄像头等，拍摄不同人书写的文字图像，得到手写字样本图像，然后可以通过单字检测，从这些手写字样本图像中检测出单字图像，得到第一单字样本图像，该第一单字样本图像中包括了不同人书写的各种风格的文字。

步骤220：从第一单字样本图像中确定锚点图像、正样本和负样本，得到对比学习样本集。

其中，锚点图像和正样本属于同一书写人的单字样本图像，且与负样本的书写人不同。

例如，图3示例性示出了风格特征提取模型的训练原理示意图，结合图3所示，手写字样本图像A和手写字样本图像B来自两个不同的书写人，对手写字样本图像A和手写字样本图像B进行单字检测，可以得到第一单字样本图像。接着从第一单字样本图像中先随机选出一个单字图像作为锚点图像，比如选择的锚点图像是来自手写字样本图像B的单字图像3。然后从第一单字样本图像中随机选取一个同样来自于手写字样本图像B的单字图像作为正样本，选取一个来自于手写字样本图像A的单字图像作为负样本，比如选取的正样本为单字图像2，负样本为单字图像1。单字图像1、单字图像2和单字图像3组成一个三元组。如此可以从第一单字样本图像中确定出多个三元组，形成对比学习样本集。

步骤230：基于对比学习样本集对第一初始神经网络模型进行对比学习训练，得到风格特征提取模型。

第一初始神经网络模型可以包括CNN、RNN或DNN等神经网络模型，但不限于此。

结合图3，得到对比学习样本集之后，将该对比学习样本集输入第一初始神经网络模型进行特征提取，对于每一三元组，使用三元组损失函数进行对比学习训练，使锚点图像和正样本的特征表达之间的距离尽可能小，而锚点图像和负样本的特征表达之间的距离尽可能大，通过训练得到风格特征提取模型。训练过程可以基于大量的样本进行，能够提高风格特征提取模型对书写风格特征的表达能力。

在得到风格特征提取模型之后，可以基于该风格特征提取模型训练解码器。图4示例性示出了本发明实施例中解码器的训练方法的流程示意图之一，参照图4所示，解码器可以通过如下的步骤410～步骤430训练得到。

步骤410：获取第二单字样本图像，并将第二单字样本图像输入风格特征提取模型，得到风格特征提取模型输出的样本书写风格特征。

在解码器训练阶段，第二单字样本图像可以取自不同书写人书写的手写字图像，可以对不同书写人书写的手写字图像进行单字检测，得到第二单字样本图像。电子设备获取第二单字样本图像，并将该第二单字样本图像输入风格特征提取模型，通过风格特征提取模型提取第二单字样本图像的书写风格特征，得到风格特征提取模型输出的样本书写风格特征。该风格特征提取模型可以是利用图2对应实施例的方法训练得到的风格特征提取模型。

步骤420：获取第二单字样本图像中单字的标准笔画序列，得到标准笔画序列样本，并提取标准笔画序列样本的样本文字内容特征。

在解码器训练阶段，第二单字样本图像可以是少量的单字图像。例如，图5示例性示出了解码器的训练原理示意图，结合图5所示，以单字样本图像中的单字图像4为例，假设单字图像4中的单字是“个”，可以获取“个”的标准笔画序列，将该标准笔画序列输入内容提取器，得到该内容提取器输出的“个”字对应的文字内容特征。其中的内容提取器可以是上述步骤110中所描述的内容提取器。

可以理解的是，对于每个单字样本图像中的单字，均可按照如“个”字同样的方法进行处理。

步骤430：基于样本书写风格特征和样本文字内容特征对初始解码器进行训练，得到解码器。

初始解码器比如可以包括初始LSMT网络模型或其他的序列到序列模型，相应的，对初始解码器进行训练后得到的解码器可以包括LSMT解码器或其他的序列到序列模型解码器。其中，LSMT解码器可以将输入的特征向量解码为序列数据输出。

例如，结合图5，可以将单字图像4输入风格特征提取模型，得到风格特征提取模型输出的单字“个”的书写风格特征。“个”的标准笔画序列经内容提取器进行内容提取后得到“个”字对应的文字内容特征。然后将该书写风格特征作为样本书写风格特征、将该文字内容特征作为样本文字内容特征，输入初始解码器，对初始解码器进行训练，通过初始解码器预测单字图像4中“个”字对应的笔画序列，即预测个性化字体“个”。如此，通过对多个不同人书写的少量字进行同样的笔画序列预测训练，可以得到训练好的解码器。

图4对应实施例的方法可以基于训练好的风格特征提取模型对解码器进行训练，在另一种可选的施例方式中，也可以将根据图2对应实施例的方法训练得到的风格特征提取模型作为风格特征提取的预训练模型，在解码器训练阶段，调用该预训练模型，按照如图4对应实施例的方法对初始解码器和该预训练模型进行联合训练。

基于此，基于样本书写风格特征和样本文字内容特征对初始解码器进行训练，得到解码器，可以包括：基于样本书写风格特征和样本文字内容特征对初始解码器和风格特征提取模型进行联合训练，得到解码器；其中，风格特征提取模型在联合训练过程中被更新。

这样，风格特征提取模型可以在联合训练过程中得到进一步的调整，提高字体的个性化程度。而且，将图2对应实施例的方法训练得到的风格特征提取模型作为风格特征提取的预训练模型，可以应用到任何需要进行风格特征提取的场景，在这些场景中可以直接调用该预训练模型，或者借助该预训练模型进行针对当前场景的适应性再训练即可快速得到当前场景所需的模型，提高了模型训练的效率，移植性和适应性较强。

可以理解的是，在图1对应实施例的字体生成方法中，所使用的风格特征提取模型可以是根据图2对应实施例的方法训练得到的风格特征提取模型，也可以是解码器训练阶段通过联合训练后得到的风格特征提取模型。

基于图4对应实施例的方法，在一种示例实施例中，可以对第二单字样本图像的书写风格特征去除内容信息后再用于解码器的训练。图6示例性示出了本发明实施例中解码器的训练方法的流程示意图之二，参照图6所示，解码器可以通过如下的步骤610～步骤640训练得到。

步骤610：获取第二单字样本图像，并将第二单字样本图像输入风格特征提取模型，得到风格特征提取模型输出的第一样本书写风格特征。

步骤620：提取第二单字图像的第一样本文字内容特征，并从第一样本书写风格特征中去除第一样本文字内容特征，得到去除内容信息的第二样本书写风格特征。

步骤630：获取第二单字样本图像中单字的标准笔画序列，得到标准笔画序列样本，并提取标准笔画序列样本的第二样本文字内容特征。

步骤640：基于第二样本书写风格特征和第二样本文字内容特征对初始解码器进行训练，得到解码器。

这样，在解码器的训练阶段，通过从第二单字样本图像的书写风格特征中去除文字内容特征，可以避免第二单字样本图像中单字的内容信息对书写风格的影响，提高了书写风格特征提取的精确度和准确性，进而提高了所训练出的解码器的解码效果，进一步提高了所生成字体的个性化程度。

基于上述各实施例的方法，在本发明的一种示例实施例中，还可以将个人风格与其他风格(如好看字风格)进行融合，形成融合个人风格和其他风格的个性化字体，形成更加丰富的个性化字体库。

基于此，图7示例性示出了本发明实施例提供的字体生成方法的流程示意图之二，参照图7所示，该字体生成方法可以包括如下的步骤710～步骤730。

步骤710：获取借鉴字图像中的第二单字图像，并将第二单字图像输入风格特征提取模型的孪生模型，得到孪生模型输出的第三书写风格特征。

借鉴字图像是除个人手写字图像以外的其他风格的文字图像，可以是其他人书写的好看风格的文字图像，这些图像的书写风格可以被借鉴融合到个人书写风格中。示例性的，电子设备可以通过摄像头对他人书写的好看风格文本内容进行拍照，得到借鉴字图像；或者，可以从互联网下载或从存储设备中读取可借鉴的好看风格文本图像，得到借鉴字图像。

获取到借鉴字图像，电子设备可以对该借鉴字图像进行单字检测，得到借鉴字图像中的第二单字图像，然后将该第二单字图像输入风格特征提取模型的孪生模型，得到孪生模型输出的第三书写风格特征，该第三书写风格特征可以表征借鉴字图像的书写风格。

其中，孪生模型是与风格特征提取模型相同的模型，具有相同的模型结构和参数，可以实现与风格特征提取模型相同的功能，也即，孪生模型是一个风格特征提取模型。

步骤720：将第三书写风格特征与第二书写风格特征进行加权平均，得到第四书写风格特征。

第二书写风格特征可以根据上述步骤130得到，即就是，提取手写字图像中第一单字图像的第二文字内容特征，并从第一单字图像的第一书写风格特征中去除该第二文字内容特征，得到去除内容信息的第二书写风格特征。

提取到借鉴字图像中第二单字图像的第三书写风格特征之后，将该第三书写风格特征与第二书写风格特征进行加权平均，得到第四书写风格特征。此时，第四书写风格特征中同时包含了个人手写字图像的书写风格和借鉴字图像的书写风格。

步骤730：将第一文字内容特征和第四书写风格特征输入解码器，得到解码器输出的待生成文字对应的第二目标风格文字。

第一文字内容特征是从待生成文字的标准笔画序列中提取出的文字内容特征，可以根据上述步骤110得到。

电子设备得到第一文字内容特征和第四书写风格特征之后，将该第一文字内容特征和第四书写风格特征输入解码器进行特征的融合，得到解码器输出的待生成文字对应的第二目标风格文字。此时，得到的第二目标风格文字会以手写字图像和借鉴字图像的融合书写风格进行表示。

基于图7对应实施例的字体生成方法，在一种示例实施例中，还可以提取借鉴字图像中第二单字图像的文字内容特征，得到第三文字内容特征；从第三书写风格特征中去除该第三文字内容特征，得到去除内容信息的第五书写风格特征；将第五书写风格特征与第二书写风格特征进行加权平均，得到第四书写风格特征；然后将第一文字内容特征和第四书写风格特征输入解码器，得到解码器输出的待生成文字对应的第二目标风格文字。

这样，通过从第三书写风格特征中去除文字内容特征，可以避免第二单字图像中单字的内容信息对书写风格的影响，提高了书写风格特征提取的精确度和准确性，进而提高了待生成文字对应的第二目标风格文字的个性化程度。

基于图7对应实施例的字体生成方法，以解码器是LSTM解码器为例，图8示例性示出了融合个人书写风格和其他书写风格的个性化字体生成的原理示意图。参照图8所示，将个人手写字图像和借鉴字图像分别进行单字检测，各自得到的单字图像分别输入风格特征提取模型进行书写风格特征的提取，同时，各自得到的单字图像分别进行文字内容特征的提取，然后分别进行内容解耦，也就是，从个人手写字图像中第一单字图像的书写风格特征中减去第一单字图像的文字内容特征，从借鉴字图像中第二单字图像的书写风格特征中减去第二单字图像的文字内容特征，分别得到去除内容信息的书写风格特征，此时可以得到个人书写风格特征和借鉴字书写风格特征。然后将这两路书写风格特征进行加权平均，将加权平均后得到的书写风格特征输入LSTM解码器。对于需要生成的个性化字，即待生成文字，可以通过内容提取器提取文字内容特征，并将该文字内容特征输入LSTM解码器，LSTM解码器此时可以对接收到的文字内容特征和书写风格特征按照自回归的方式进行融合，解码输出待生成文字对应的个性化文字笔画序列，形成个性化字体。

这样，生成的个性化字体既含有个人书写风格，又含有借鉴字的书写风格，提升了字体的个性化程度，能够产生更加丰富的个性化字体库。

下面对本发明提供的字体生成装置进行描述，下文描述的字体生成装置与上文描述的字体生成方法可相互对应参照。

图9示例性示出了本发明实施例提供的字体生成装置的结构示意图，参照图9所示，字体生成装置900可以包括：第一获取模块910，用于获取待生成文字的标准笔画序列；第一特征提取模块920，用于提取标准笔画序列的第一文字内容特征；第二获取模块930，用于获取手写字图像中的第一单字图像；第二特征提取模块940，用于将第一单字图像输入风格特征提取模型，得到风格特征提取模型输出的第一书写风格特征，其中，风格特征提取模型用于表征文字的书写风格特征；第三特征提取模块950，用于提取第一单字图像的第二文字内容特征，并从第一书写风格特征中去除第二文字内容特征，得到去除内容信息的第二书写风格特征；解码模块960，用于将第一文字内容特征和第二书写风格特征输入解码器，得到解码器输出的待生成文字对应的第一目标风格文字。

在一种示例实施例中，字体生成装置900还可以包括：第一训练模块，用于训练风格特征提取模型。具体的，第一训练模块可以包括：获取单元，用于从手写字样本图像中获取第一单字样本图像；确定单元，用于从第一单字样本图像中确定锚点图像、正样本和负样本，得到对比学习样本集，其中，锚点图像和正样本属于同一书写人的单字样本图像，且与负样本的书写人不同；第一训练单元，用于基于对比学习样本集对第一初始神经网络模型进行对比学习训练，得到风格特征提取模型。

在一种示例实施例中，字体生成装置900还可以包括：第二训练模块，用于训练解码器。具体的，第二训练模块可以包括：第一特征提取单元，用于获取第二单字样本图像，并将第二单字样本图像输入风格特征提取模型，得到风格特征提取模型输出的样本书写风格特征；第二特征提取单元，用于获取第二单字样本图像中单字的标准笔画序列，得到标准笔画序列样本，并提取标准笔画序列样本的样本文字内容特征；第二训练单元，用于基于样本书写风格特征和样本文字内容特征对初始解码器进行训练，得到解码器。

在一种示例实施例中，第二训练单元可以具体用于基于样本书写风格特征和样本文字内容特征对初始解码器和风格特征提取模型进行联合训练，得到解码器；其中，风格特征提取模型在联合训练过程中被更新。

在一种示例实施例中，第三特征提取模块950可以具体用于将第一单字图像输入内容识别模型，得到内容识别模型输出的第二文字内容特征；其中，内容识别模型是基于第三单字样本图像和第三单字样本图像对应的标签数据对第二初始神经网络模型进行训练得到的。

在一种示例实施例中，字体生成装置900还可以包括：第三获取模块，用于获取借鉴字图像中的第二单字图像；第四特征提取模块，用于将第二单字图像输入风格特征提取模型的孪生模型，得到孪生模型输出的第三书写风格特征；计算模块，用于将第三书写风格特征与第二书写风格特征进行加权平均，得到第四书写风格特征。解码模块960还可以用于将第一文字内容特征和第四书写风格特征输入解码器，得到解码器输出的待生成文字对应的第二目标风格文字，其中，第二目标风格文字以手写字图像和借鉴字图像的融合书写风格表示。

图10示例了一种电子设备的结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1010、通信接口(Communication Interface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010、通信接口1020和存储器1030可以通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行上述各方法实施例提供的字体生成方法，该方法比如可以包括：获取待生成文字的标准笔画序列，并提取标准笔画序列的第一文字内容特征；获取手写字图像中的第一单字图像，并将第一单字图像输入风格特征提取模型，得到风格特征提取模型输出的第一书写风格特征；风格特征提取模型用于表征文字的书写风格特征；提取第一单字图像的第二文字内容特征，并从第一书写风格特征中去除第二文字内容特征，得到去除内容信息的第二书写风格特征；将第一文字内容特征和第二书写风格特征输入解码器，得到解码器输出的待生成文字对应的第一目标风格文字，解码器用于对文字内容特征和书写风格特征进行融合。

在一种示例实施例中，该电子设备还可以包括与处理器1010通信连接的摄像头和/或触控屏。其中，摄像头可以用于采集手写字图像；触控屏可以用于接收手写输入，响应于手写输入，生成手写字图像。

此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种字体生成系统，图11示例性示出了本发明实施例提供的字体生成系统的结构示意图，参照图11所示，该字体生成系统可以包括电子设备1110和与电子设备1110通信连接的图像采集设备1120和/或手写屏1130。

其中，电子设备1110可以是如图10对应实施例所述的电子设备；图像采集设备1120可以用于在电子设备1110的控制下采集手写字图像；手写屏1130可以用于接收手写输入，响应于手写输入，生成手写字图像，并将手写字图像发送给电子设备1110。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法实施例所提供的字体生成方法，该方法比如可以包括：获取待生成文字的标准笔画序列，并提取标准笔画序列的第一文字内容特征；获取手写字图像中的第一单字图像，并将第一单字图像输入风格特征提取模型，得到风格特征提取模型输出的第一书写风格特征；风格特征提取模型用于表征文字的书写风格特征；提取第一单字图像的第二文字内容特征，并从第一书写风格特征中去除第二文字内容特征，得到去除内容信息的第二书写风格特征；将第一文字内容特征和第二书写风格特征输入解码器，得到解码器输出的待生成文字对应的第一目标风格文字，解码器用于对文字内容特征和书写风格特征进行融合。

又一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法实施例所提供的字体生成方法，该方法比如可以包括：获取待生成文字的标准笔画序列，并提取标准笔画序列的第一文字内容特征；获取手写字图像中的第一单字图像，并将第一单字图像输入风格特征提取模型，得到风格特征提取模型输出的第一书写风格特征；风格特征提取模型用于表征文字的书写风格特征；提取第一单字图像的第二文字内容特征，并从第一书写风格特征中去除第二文字内容特征，得到去除内容信息的第二书写风格特征；将第一文字内容特征和第二书写风格特征输入解码器，得到解码器输出的待生成文字对应的第一目标风格文字，解码器用于对文字内容特征和书写风格特征进行融合。

示例性的，计算机可读存储介质可以包括非暂态计算机可读存储介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种字体生成方法，其特征在于，包括：

获取待生成文字的标准笔画序列，并提取所述标准笔画序列的第一文字内容特征；

获取手写字图像中的第一单字图像，并将所述第一单字图像输入风格特征提取模型，得到所述风格特征提取模型输出的第一书写风格特征；所述风格特征提取模型用于表征文字的书写风格特征；

提取所述第一单字图像的第二文字内容特征，并从所述第一书写风格特征中去除所述第二文字内容特征，得到去除内容信息的第二书写风格特征；

将所述第一文字内容特征和所述第二书写风格特征输入解码器，得到所述解码器输出的所述待生成文字对应的第一目标风格文字，所述解码器用于对文字内容特征和书写风格特征进行融合。

2.根据权利要求1所述的字体生成方法，其特征在于，所述风格特征提取模型是基于以下步骤训练得到的：

从手写字样本图像中获取第一单字样本图像；

从所述第一单字样本图像中确定锚点图像、正样本和负样本，得到对比学习样本集；其中，所述锚点图像和所述正样本属于同一书写人的单字样本图像，且与所述负样本的书写人不同；

基于所述对比学习样本集对第一初始神经网络模型进行对比学习训练，得到所述风格特征提取模型。

3.根据权利要求1所述的字体生成方法，其特征在于，所述解码器是基于以下步骤训练得到的：

获取第二单字样本图像，并将所述第二单字样本图像输入所述风格特征提取模型，得到所述风格特征提取模型输出的样本书写风格特征；

获取所述第二单字样本图像中单字的标准笔画序列，得到标准笔画序列样本，并提取所述标准笔画序列样本的样本文字内容特征；

基于所述样本书写风格特征和所述样本文字内容特征对初始解码器进行训练，得到所述解码器。

4.根据权利要求3所述的字体生成方法，其特征在于，所述基于所述样本书写风格特征和所述样本文字内容特征对初始解码器进行训练，得到所述解码器，包括：

基于所述样本书写风格特征和所述样本文字内容特征对初始解码器和所述风格特征提取模型进行联合训练，得到所述解码器；

其中，所述风格特征提取模型在联合训练过程中被更新。

5.根据权利要求1所述的字体生成方法，其特征在于，所述提取所述第一单字图像的第二文字内容特征，包括：

将所述第一单字图像输入内容识别模型，得到所述内容识别模型输出的第二文字内容特征；

其中，所述内容识别模型是基于第三单字样本图像和所述第三单字样本图像对应的标签数据对第二初始神经网络模型进行训练得到的。

6.根据权利要求1至5任一项所述的字体生成方法，其特征在于，还包括：

获取借鉴字图像中的第二单字图像，并将所述第二单字图像输入所述风格特征提取模型的孪生模型，得到所述孪生模型输出的第三书写风格特征；

将所述第三书写风格特征与所述第二书写风格特征进行加权平均，得到第四书写风格特征；

将所述第一文字内容特征和所述第四书写风格特征输入所述解码器，得到所述解码器输出的所述待生成文字对应的第二目标风格文字，所述第二目标风格文字以所述手写字图像和所述借鉴字图像的融合书写风格表示。

7.一种字体生成装置，其特征在于，包括：

第一获取模块，用于获取待生成文字的标准笔画序列；

第一特征提取模块，用于提取所述标准笔画序列的第一文字内容特征；

第二获取模块，用于获取手写字图像中的第一单字图像；

第二特征提取模块，用于将所述第一单字图像输入风格特征提取模型，得到所述风格特征提取模型输出的第一书写风格特征；所述风格特征提取模型用于表征文字的书写风格特征；

第三特征提取模块，用于提取所述第一单字图像的第二文字内容特征，并从所述第一书写风格特征中去除所述第二文字内容特征，得到去除内容信息的第二书写风格特征；

解码模块，用于将所述第一文字内容特征和所述第二书写风格特征输入解码器，得到所述解码器输出的所述待生成文字对应的第一目标风格文字，所述解码器用于对文字内容特征和书写风格特征进行融合。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述字体生成方法。

9.根据权利要求8所述的电子设备，其特征在于，还包括与所述处理器通信连接的摄像头和/或触控屏；

所述摄像头用于采集手写字图像；

所述触控屏用于接收手写输入，响应于所述手写输入，生成手写字图像。

10.一种字体生成系统，其特征在于，包括如权利要求8所述的电子设备和与所述电子设备通信连接的图像采集设备和/或手写屏；

所述图像采集设备用于在所述电子设备的控制下采集手写字图像；

所述手写屏用于接收手写输入，响应于所述手写输入，生成手写字图像，并将所述手写字图像发送给所述电子设备。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述字体生成方法。

12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述字体生成方法。

Images