CN113052143A - 手写数字生成方法和装置 - Google Patents

手写数字生成方法和装置 Download PDF

Info

Publication number
CN113052143A
CN113052143A CN202110454467.3A CN202110454467A CN113052143A CN 113052143 A CN113052143 A CN 113052143A CN 202110454467 A CN202110454467 A CN 202110454467A CN 113052143 A CN113052143 A CN 113052143A
Authority
CN
China
Prior art keywords
digital image
image
handwritten
feature extraction
extraction network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110454467.3A
Other languages
English (en)
Inventor
程林鹏
郑邦东
熊博颖
柴忠芃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN202110454467.3A priority Critical patent/CN113052143A/zh
Publication of CN113052143A publication Critical patent/CN113052143A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种手写数字方法和装置，涉及人工智能技术领域。该方法的一具体实施方式包括：获取目标用户的真实手写数字图像；将所述真实手写数字图像和预先获得的印刷体数字图像输入预先建立的风格迁移模型，得到目标用户的模拟手写数字图像。该实施方式能够设计风格迁移模型以实现用户手写数字的自动生成，从而满足手写数字识别模型的训练需要。

Description

手写数字生成方法和装置
技术领域
本发明涉及人工智能技术领域，尤其涉及一种手写数字生成方法和装置。
背景技术
目前，银行票据中多存在手写数字，实际场景中需要训练机器学习模型以根据手写数字的风格识别出对应用户，这就需要不同用户的大量手写数字作为模型训练数据，具体应用中很难收集到。在训练数据不足的情况下如何训练出效果较好的上述机器学习模型，现有技术中，一般通过以下两种方式解决：
其一，对已有的用户真实手写数字进行图像处理(包括翻转、旋转、裁剪、变形、缩放、加入噪声、模糊、色变换、擦除、填充)以增加一定量的手写数字，但是这些增加的数字与原数字本质没有差别，对于模型训练的意义不大。
其二，使用生成对抗网络GAN进行自动生成，但是GAN在训练时容易受到模式坍塌的影响导致模型只能学习到少数几种样本的规律，因此对上述机器学习模型训练的意义也很有限。
发明内容
有鉴于此，本发明实施例提供一种手写数字生成方法和装置，能够设计风格迁移模型以实现用户手写数字的自动生成，从而满足手写数字识别模型的训练需要。
为实现上述目的，根据本发明的一个方面，提供了一种手写数字生成方法。
本发明实施例的手写数字生成方法包括：获取目标用户的真实手写数字图像；将所述真实手写数字图像和预先获得的印刷体数字图像输入预先建立的风格迁移模型，得到目标用户的模拟手写数字图像；其中，所述模拟手写数字图像的内容与所述印刷体数字图像一致；所述风格迁移模型包括：依次连接的第一特征提取网络、图像生成网络和第二特征提取网络；第一特征提取网络用于提取所述真实手写数字图像和所述印刷体数字图像的特征图数据并输入所述图像生成网络；所述图像生成网络用于依据所述特征图数据以及第二特征提取网络的输出结果迭代生成测试图像；第二特征提取网络用于提取所述测试图像的特征图数据并输出到所述图像生成网络。
可选地，当所述图像生成网络达到训练终止条件时，所述图像生成网络当前输出的测试图像形成所述模拟手写数字图像。
可选地，第一特征提取网络和第二特征提取网络都为预先训练完成的卷积神经网络，第一特征提取网络和第二特征提取网络都包括多个卷积层和多个池化层。
可选地，第一特征提取网络和第二特征提取网络具有相同的模型参数。
可选地，用于训练所述图像生成网络的第一损失函数为内容损失函数和风格损失函数的加权和；其中，所述内容损失函数由所述印刷体数字图像的特征图数据和所述测试图像的特征图数据确定，所述风格损失函数由所述真实手写数字图像的特征图数据和所述测试图像的特征图数据确定。
可选地，所述图像生成网络包括：权重更新层和像素值映射层；其中，所述权重更新层具有对应于所述测试图像中每一像素位置的权重值，所述权重值基于第一损失函数进行迭代；所述像素值映射层用于将所述权重更新层当前的权重值映射为所述测试图像相应像素位置的像素值以形成所述测试图像。
可选地，训练开始时的所述测试图像为所述印刷体数字图像；以及，所述权重更新层的权重值基于梯度下降法进行迭代。
可选地，所述方法进一步包括：从所述模拟手写数字图像中切分出多个数字图像，将每一数字图像与目标用户关联从而形成训练集；根据所述训练集训练预先建立的、基于有监督学习算法的手写数字识别模型；使用训练完成的所述手写数字识别模型对待识别手写数字对应的用户进行检测。
为实现上述目的，根据本发明的另一方面，提供了一种手写数字生成装置。
本发明实施例的手写数字生成装置可以包括：真实数字获取单元，用于获取目标用户的真实手写数字图像；模拟单元，用于将所述真实手写数字图像和预先获得的印刷体数字图像输入预先建立的风格迁移模型，得到目标用户的模拟手写数字图像；其中，所述模拟手写数字图像的内容与所述印刷体数字图像一致；所述风格迁移模型包括：依次连接的第一特征提取网络、图像生成网络和第二特征提取网络；第一特征提取网络用于提取所述真实手写数字图像和所述印刷体数字图像的特征图数据并输入所述图像生成网络；所述图像生成网络用于依据所述特征图数据以及第二特征提取网络的输出结果迭代生成测试图像；第二特征提取网络用于提取所述测试图像的特征图数据并输出到所述图像生成网络。
可选地，当所述图像生成网络达到训练终止条件时，所述图像生成网络当前输出的测试图像形成所述模拟手写数字图像；以及，第一特征提取网络和第二特征提取网络都为预先训练完成的卷积神经网络，第一特征提取网络和第二特征提取网络都包括多个卷积层和多个池化层，第一特征提取网络和第二特征提取网络具有相同的模型参数。
可选地，用于训练所述图像生成网络的第一损失函数为内容损失函数和风格损失函数的加权和；其中，所述内容损失函数由所述印刷体数字图像的特征图数据和所述测试图像的特征图数据确定，所述风格损失函数由所述真实手写数字图像的特征图数据和所述测试图像的特征图数据确定。
可选地，所述图像生成网络包括：权重更新层和像素值映射层；其中，所述权重更新层具有对应于所述测试图像中每一像素位置的权重值，所述权重值基于第一损失函数和梯度下降法进行迭代；所述像素值映射层用于将所述权重更新层当前的权重值映射为所述测试图像相应像素位置的像素值以形成所述测试图像；以及，训练开始时的所述测试图像为所述印刷体数字图像。
可选地，所述装置可进一步包括：手写数字检测单元，用于：从所述模拟手写数字图像中切分出多个数字图像，将每一数字图像与目标用户关联从而形成训练集；根据所述训练集训练预先建立的、基于有监督学习算法的手写数字识别模型；使用训练完成的所述手写数字识别模型对待识别手写数字对应的用户进行检测。
为实现上述目的，根据本发明的又一方面，提供了一种电子设备。
本发明的一种电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明所提供的手写数字生成方法。
为实现上述目的，根据本发明的再一方面，提供了一种计算机可读存储介质。
本发明的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明所提供的手写数字生成方法。
根据本发明的技术方案，上述发明中的实施例具有如下优点或有益效果：
获取目标用户的真实手写数字图像；将所述真实手写数字图像和预先获得的印刷体数字图像输入预先建立的风格迁移模型，得到目标用户的模拟手写数字图像；其中，所述模拟手写数字图像的内容与所述印刷体数字图像一致；所述风格迁移模型包括：依次连接的第一特征提取网络、图像生成网络和第二特征提取网络；第一特征提取网络用于提取所述真实手写数字图像和所述印刷体数字图像的特征图数据并输入所述图像生成网络；所述图像生成网络用于依据所述特征图数据以及第二特征提取网络的输出结果迭代生成测试图像；第二特征提取网络用于提取所述测试图像的特征图数据并输出到所述图像生成网络。通过以上风格迁移模型的建立和训练，本发明能够自动高效地生成具有用户真实手写风格的模拟手写数字，以上模拟手写数字具有全面的用户手写风格同时不是真实手写数据的简单变形(如旋转、裁剪、变形、缩放等)，由此克服了现有技术中具有的前述模式坍塌等缺陷，将以上模拟手写数字作为训练数据有助于得到识别准确性较高的手写数字识别模型。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明实施例中手写数字生成方法的主要步骤示意图；
图2是本发明实施例中风格迁移模型的结构示意图；
图3是本发明实施例中真实手写数字图像、印刷体数字图像和模拟手写数字图像的实例示意图；
图4是本发明实施例中手写数字生成装置的组成部分示意图；
图5是根据本发明实施例可以应用于其中的示例性系统架构图；
图6是用来实现本发明实施例中手写数字生成方法的电子设备结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要指出的是，在不冲突的情况下，本发明的实施例以及实施例中的技术特征可以相互结合。
图1是根据本发明实施例中手写数字生成方法的主要步骤示意图。
如图1所示，本发明实施例的手写数字生成方法可具体按照如下步骤执行：
步骤S101：获取目标用户的真实手写数字图像。
在本发明实施例中，可以获取到含有目标用户真实手写数字的图像，真实手写数字相对于后续将要说明的模拟手写数字而言，前者是用户真实手写的数字，后者是由计算机程序自动生成的、模拟前者书写风格的数字，可以理解，上述风格与图像的高级纹理特征(高级纹理特征可以由卷积层数量大于阈值的卷积神经网络CNN提取)相关，一般地，不同用户具有不同的书写风格。
步骤S102：将所述真实手写数字图像和预先获得的印刷体数字图像输入预先建立的风格迁移模型，得到目标用户的模拟手写数字图像。
可以理解，印刷体数字图像含有印刷体数字，以上印刷体数字可以是楷体、宋体等各种字体，也可以是各种字号。在得到真实手写数字图像和印刷体数字图像之后，可以根据需要执行降噪、数字部分切分、边缘检测等预处理过程。以上模拟手写数字图像中的数字内容与印刷体数字图像相同，同时具有真实手写数字图像中体现的目标用户手写风格。
图2是本发明实施例中风格迁移模型的结构示意图，如图2所示，本发明实施例的风格迁移模型可以包括依次连接的第一特征提取网络、图像生成网络和第二特征提取网络。
具体的，第一特征提取网络和第二特征提取网络都可以是预先训练完成的卷积神经网络CNN，二者结构可以相同，可以都包括多个卷积层和多个池化层，例如，二者的结构为：输入层连接两个224*224*64(这三个数字为卷积核尺寸参数)的卷积层和最大池化层、再连接两个112*112*128的卷积层和最大池化层、再连接三个56*56*256的卷积层和最大池化层、再连接三个28*28*512的卷积层和最大池化层、最后连接三个14*14*512的卷积层和最大池化层。较佳地，第一特征提取网络和第二特征提取网络具有相同的模型参数，这样有助于损失函数的构建进而确保图像生成网络的训练效果。第一特征提取网络和第二特征提取网络可以采用卷积神经网络的现有训练方法进行训练，此处不再赘述。可以理解，第一特征提取网络和第二特征提取网络可以使用卷积神经网络之外的适用机器学习模型，本发明并不对此进行限制。
作为一个可选方案，图像生成网络可以包括：权重更新层和像素值映射层。具体地，权重更新层具有对应于测试图像中每一像素位置的权重值。以上测试图像指的是图像生成网络输出的图像，在一些实施例中，测试图像可以与印刷体数字图像具有相同尺寸(即像素分布和像素数量相同)，以上权重值基于图像生成网络的损失函数(即后续将要说明的第一损失函数)进行迭代。需要说明的是，由于测试图像的像素位置具有高度H、宽度W、通道C三个维度，因此以上权重值为对应于上述三个维度的数值。
像素值映射层用于将权重更新层当前的权重值映射为测试图像相应像素位置的像素值从而形成测试图像，示例性地，可以将权重更新层的当前的权重值乘以固定数值得到测试图像相应像素位置的像素值。具体应用中，测试图像的初始图像(即训练开始时的测试图像)可以是随机噪声图像，更优地，为了加快图像生成网络的训练速度，可以直接将印刷体数字图像作为测试图像的初始图像(相当于在印刷体数字图像的基础上迭代更新像素值形成测试图像)，这样，训练开始时，可以根据印刷体数字图像在每一像素位置的像素值以及预设的映射规则确定权重更新层各权重值的初始值。
在以上风格迁移模型中，第一特征提取网络用于提取真实手写数字图像和印刷体数字图像的特征图数据(即feature map)并输入图像生成网络，图像生成网络用于依据真实手写数字图像和印刷体数字图像的特征图数据以及第二特征提取网络的输出结果迭代生成测试图像，第二特征提取网络用于提取测试图像的特征图数据并输出到图像生成网络。可以理解，上述迭代生成指的是图像生成网络在每次训练过程中根据损失函数的计算结果不断调整权重更新层的各权重值从而更新测试图像的过程，较佳地，可以基于机器学习领域已知的梯度下降法执行上述迭代，即，权重更新层的权重值基于梯度下降法进行迭代。当图像生成网络达到训练终止条件时(例如第一损失函数达到最小值)，图像生成网络当前输出的测试图像形成上述模拟手写数字图像。
实际应用中，用于训练图像生成网络的第一损失函数为内容损失函数和风格损失函数的加权和，其中，内容损失函数用于量化测试图像与印刷体数字图像在内容方面之间的差异，风格损失函数用于量化测试图像与真实手写数字图像在手写风格方面的差异，第一损失函数因而能够同时考虑到对图像内容和图像风格的要求。根据以上第一损失函数训练图像生成网络，能够使图像生成网络输出的测试图像在内容上逐渐接近印刷体数字图像并最终与印刷体数字图像一致、在手写风格上逐渐接近真实手写数字图像并最终与真实手写数字图像保持一致。可以理解，内容损失函数由印刷体数字图像的特征图数据和测试图像的特征图数据确定，风格损失函数由真实手写数字图像的特征图数据和测试图像的特征图数据确定。
在一个实施例中，可以通过以下多个公式确定第一损失函数。
Figure BDA0003039999070000081
其中，Lc为内容损失函数，i、j、k分别为(印刷体数字图像或测试图像的)特征图数据在高度H、宽度W、通道C三个维度的序号，Fijk为印刷体数字图像的特征图数据在位置(i、j、k)的值，Pijk为测试图像的特征图数据在位置(i、j、k)的值。
Figure BDA0003039999070000082
其中，Gmn为特征图数据的相关性矩阵，m、n为特征图数据在通道C的序号，s为特征图数据在高度H和宽度W构成的空间中的序号，Tms为特征图数据对应在(m、s)的值，Tns为特征图数据对应在(n、s)的值。
Figure BDA0003039999070000083
其中，Ls为风格损失函数，
Figure BDA0003039999070000084
为真实手写数字图像的特征图数据的相关性矩阵，
Figure BDA0003039999070000085
为测试图像的特征图数据的相关性矩阵，M、N为与特征图数据相关的参数。
L＝∝*Lc+β*Ls
其中，L为第一损失函数，∝、β与预设权重。
训练图像生成网络时，基于第一损失函数并使用梯度下降法即可迭代更新图像生成网络中权重更新层的权重值，进而迭代生成测试图像，当第一损失函数达到最小值或者满足预设条件时，对应的测试图像即为模拟手写数字图像。实际应用中，可以在印刷体数字图像中包含大量数字，则可以通过以上风格迁移模型一次生成大量的目标用户模拟手写数字，从而解决训练手写数字识别模型时数据量不足的问题。
图3是本发明实施例中真实手写数字图像、印刷体数字图像和模拟手写数字图像的实例示意图，图3中的三幅图片从上到下依次为真实手写数字图像、印刷体数字图像和经风格迁移网络输出的模拟手写数字图像。
进一步地，在通过以上方法得到模拟手写数字图像之后，可以从模拟手写数字图像中切分出每一数字的图像，并将每一数字图像与目标用户关联从而形成训练集(即，将目标用户的标识作为每一数字图像的标签)。此后，可以根据以上训练集训练预先建立的、基于有监督学习算法(如CNN)的手写数字识别模型，训练完成之后，可以使用手写数字识别模型对待识别手写数字对应的用户进行检测。手写数字识别模型可以采用现有的有监督机器学习模型的训练方法进行训练，具体训练步骤和相关参数设置此处不再赘述。
在本发明实施例的技术方案中，获取目标用户的真实手写数字图像；将所述真实手写数字图像和预先获得的印刷体数字图像输入预先建立的风格迁移模型，得到目标用户的模拟手写数字图像；其中，所述模拟手写数字图像的内容与所述印刷体数字图像一致；所述风格迁移模型包括：依次连接的第一特征提取网络、图像生成网络和第二特征提取网络；第一特征提取网络用于提取所述真实手写数字图像和所述印刷体数字图像的特征图数据并输入所述图像生成网络；所述图像生成网络用于依据所述特征图数据以及第二特征提取网络的输出结果迭代生成测试图像；第二特征提取网络用于提取所述测试图像的特征图数据并输出到所述图像生成网络。通过以上风格迁移模型的建立和训练，本发明能够自动高效地生成具有用户真实手写风格的模拟手写数字，以上模拟手写数字具有全面的用户手写风格同时不是真实手写数据的简单变形(如旋转、裁剪、变形、缩放等)，由此克服了现有技术中具有的前述模式坍塌等缺陷，将以上模拟手写数字作为训练数据有助于得到识别准确性较高的手写数字识别模型。
需要说明的是，对于前述的各方法实施例，为了便于描述，将其表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，某些步骤事实上可以采用其它顺序进行或者同时进行。此外，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是实现本发明所必须的。
为便于更好的实施本发明实施例的上述方案，下面还提供用于实施上述方案的相关装置。
请参阅图4所示，本发明实施例提供的手写数字生成装置400可以包括：真实数字获取单元401和模拟单元402。
其中，真实数字获取单元401可用于获取目标用户的真实手写数字图像；模拟单元402可用于将所述真实手写数字图像和预先获得的印刷体数字图像输入预先建立的风格迁移模型，得到目标用户的模拟手写数字图像；其中，所述模拟手写数字图像的内容与所述印刷体数字图像一致；所述风格迁移模型包括：依次连接的第一特征提取网络、图像生成网络和第二特征提取网络；第一特征提取网络用于提取所述真实手写数字图像和所述印刷体数字图像的特征图数据并输入所述图像生成网络；所述图像生成网络用于依据所述特征图数据以及第二特征提取网络的输出结果迭代生成测试图像；第二特征提取网络用于提取所述测试图像的特征图数据并输出到所述图像生成网络。
在本发明实施例中，当所述图像生成网络达到训练终止条件时，所述图像生成网络当前输出的测试图像形成所述模拟手写数字图像；以及，第一特征提取网络和第二特征提取网络都为预先训练完成的卷积神经网络，第一特征提取网络和第二特征提取网络都包括多个卷积层和多个池化层，第一特征提取网络和第二特征提取网络具有相同的模型参数。
作为一个可选方案，用于训练所述图像生成网络的第一损失函数为内容损失函数和风格损失函数的加权和；其中，所述内容损失函数由所述印刷体数字图像的特征图数据和所述测试图像的特征图数据确定，所述风格损失函数由所述真实手写数字图像的特征图数据和所述测试图像的特征图数据确定。
较佳地，所述图像生成网络包括：权重更新层和像素值映射层；其中，所述权重更新层具有对应于所述测试图像中每一像素位置的权重值，所述权重值基于第一损失函数和梯度下降法进行迭代；所述像素值映射层用于将所述权重更新层当前的权重值映射为所述测试图像相应像素位置的像素值以形成所述测试图像；以及，训练开始时的所述测试图像为所述印刷体数字图像。
具体应用中，所述装置400可进一步包括：手写数字检测单元，用于：从所述模拟手写数字图像中切分出多个数字图像，将每一数字图像与目标用户关联从而形成训练集；根据所述训练集训练预先建立的、基于有监督学习算法的手写数字识别模型；使用训练完成的所述手写数字识别模型对待识别手写数字对应的用户进行检测。
根据本发明实施例的技术方案，获取目标用户的真实手写数字图像；将所述真实手写数字图像和预先获得的印刷体数字图像输入预先建立的风格迁移模型，得到目标用户的模拟手写数字图像；其中，所述模拟手写数字图像的内容与所述印刷体数字图像一致；所述风格迁移模型包括：依次连接的第一特征提取网络、图像生成网络和第二特征提取网络；第一特征提取网络用于提取所述真实手写数字图像和所述印刷体数字图像的特征图数据并输入所述图像生成网络；所述图像生成网络用于依据所述特征图数据以及第二特征提取网络的输出结果迭代生成测试图像；第二特征提取网络用于提取所述测试图像的特征图数据并输出到所述图像生成网络。通过以上风格迁移模型的建立和训练，本发明能够自动高效地生成具有用户真实手写风格的模拟手写数字，以上模拟手写数字具有全面的用户手写风格同时不是真实手写数据的简单变形(如旋转、裁剪、变形、缩放等)，由此克服了现有技术中具有的前述模式坍塌等缺陷，将以上模拟手写数字作为训练数据有助于得到识别准确性较高的手写数字识别模型。
图5示出了可以应用本发明实施例的手写数字生成方法或手写数字生成装置的示例性系统架构500。
如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505(此架构仅仅是示例，具体架构中包含的组件可以根据申请具体情况调整)。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等。
用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种客户端应用，例如手写数字生成应用等(仅为示例)。
终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所操作的手写数字生成应用提供支持的后台服务器(仅为示例)。后台服务器可以对接收到的生成数字请求进行处理，并将处理结果(例如生成的手写数字--仅为示例)反馈给终端设备501、502、503。
需要说明的是，本发明实施例所提供的手写数字生成方法一般由服务器505执行，相应地，手写数字生成装置一般设置于服务器505中。
应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
本发明还提供了一种电子设备。本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明所提供的手写数字生成方法。
下面参考图6，其示出了适于用来实现本发明实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有计算机系统600操作所需的各种程序和数据。CPU601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本发明公开的实施例，上文的主要步骤图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行主要步骤图所示的方法的程序代码。在上述实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元601执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。在本发明中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括真实数字获取单元和模拟单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，真实数字获取单元还可以被描述为“向模拟单元提供目标用户的真实手写数字图像的单元”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中的。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该设备执行时，使得该设备执行的步骤包括：获取目标用户的真实手写数字图像；将所述真实手写数字图像和预先获得的印刷体数字图像输入预先建立的风格迁移模型，得到目标用户的模拟手写数字图像；其中，所述模拟手写数字图像的内容与所述印刷体数字图像一致；所述风格迁移模型包括：依次连接的第一特征提取网络、图像生成网络和第二特征提取网络；第一特征提取网络用于提取所述真实手写数字图像和所述印刷体数字图像的特征图数据并输入所述图像生成网络；所述图像生成网络用于依据所述特征图数据以及第二特征提取网络的输出结果迭代生成测试图像；第二特征提取网络用于提取所述测试图像的特征图数据并输出到所述图像生成网络。
在本发明实施例的技术方案中，获取目标用户的真实手写数字图像；将所述真实手写数字图像和预先获得的印刷体数字图像输入预先建立的风格迁移模型，得到目标用户的模拟手写数字图像；其中，所述模拟手写数字图像的内容与所述印刷体数字图像一致；所述风格迁移模型包括：依次连接的第一特征提取网络、图像生成网络和第二特征提取网络；第一特征提取网络用于提取所述真实手写数字图像和所述印刷体数字图像的特征图数据并输入所述图像生成网络；所述图像生成网络用于依据所述特征图数据以及第二特征提取网络的输出结果迭代生成测试图像；第二特征提取网络用于提取所述测试图像的特征图数据并输出到所述图像生成网络。通过以上风格迁移模型的建立和训练，本发明能够自动高效地生成具有用户真实手写风格的模拟手写数字，以上模拟手写数字具有全面的用户手写风格同时不是真实手写数据的简单变形(如旋转、裁剪、变形、缩放等)，由此克服了现有技术中具有的前述模式坍塌等缺陷，将以上模拟手写数字作为训练数据有助于得到识别准确性较高的手写数字识别模型。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (15)

1.一种手写数字生成方法，其特征在于，包括：
获取目标用户的真实手写数字图像；
将所述真实手写数字图像和预先获得的印刷体数字图像输入预先建立的风格迁移模型，得到目标用户的模拟手写数字图像；其中，
所述模拟手写数字图像的内容与所述印刷体数字图像一致；
所述风格迁移模型包括：依次连接的第一特征提取网络、图像生成网络和第二特征提取网络；第一特征提取网络用于提取所述真实手写数字图像和所述印刷体数字图像的特征图数据并输入所述图像生成网络；所述图像生成网络用于依据所述特征图数据以及第二特征提取网络的输出结果迭代生成测试图像；第二特征提取网络用于提取所述测试图像的特征图数据并输出到所述图像生成网络。
2.根据权利要求1所述的方法，其特征在于，当所述图像生成网络达到训练终止条件时，所述图像生成网络当前输出的测试图像形成所述模拟手写数字图像。
3.根据权利要求2所述的方法，其特征在于，第一特征提取网络和第二特征提取网络都为预先训练完成的卷积神经网络，第一特征提取网络和第二特征提取网络都包括多个卷积层和多个池化层。
4.根据权利要求3所述的方法，其特征在于，第一特征提取网络和第二特征提取网络具有相同的模型参数。
5.根据权利要求2所述的方法，其特征在于，用于训练所述图像生成网络的第一损失函数为内容损失函数和风格损失函数的加权和；其中，所述内容损失函数由所述印刷体数字图像的特征图数据和所述测试图像的特征图数据确定，所述风格损失函数由所述真实手写数字图像的特征图数据和所述测试图像的特征图数据确定。
6.根据权利要求5所述的方法，其特征在于，所述图像生成网络包括：权重更新层和像素值映射层；其中，
所述权重更新层具有对应于所述测试图像中每一像素位置的权重值，所述权重值基于第一损失函数进行迭代；所述像素值映射层用于将所述权重更新层当前的权重值映射为所述测试图像相应像素位置的像素值以形成所述测试图像。
7.据权利要求6所述的方法，其特征在于，训练开始时的所述测试图像为所述印刷体数字图像；以及，所述权重更新层的权重值基于梯度下降法进行迭代。
8.据权利要求1所述的方法，其特征在于，所述方法进一步包括：
从所述模拟手写数字图像中切分出多个数字图像，将每一数字图像与目标用户关联从而形成训练集；
根据所述训练集训练预先建立的、基于有监督学习算法的手写数字识别模型；
使用训练完成的所述手写数字识别模型对待识别手写数字对应的用户进行检测。
9.一种手写数字生成装置，其特征在于，包括：
真实数字获取单元，用于获取目标用户的真实手写数字图像；
模拟单元，用于将所述真实手写数字图像和预先获得的印刷体数字图像输入预先建立的风格迁移模型，得到目标用户的模拟手写数字图像；其中，
所述模拟手写数字图像的内容与所述印刷体数字图像一致；
所述风格迁移模型包括：依次连接的第一特征提取网络、图像生成网络和第二特征提取网络；第一特征提取网络用于提取所述真实手写数字图像和所述印刷体数字图像的特征图数据并输入所述图像生成网络；所述图像生成网络用于依据所述特征图数据以及第二特征提取网络的输出结果迭代生成测试图像；第二特征提取网络用于提取所述测试图像的特征图数据并输出到所述图像生成网络。
10.根据权利要求9所述的装置，其特征在于，当所述图像生成网络达到训练终止条件时，所述图像生成网络当前输出的测试图像形成所述模拟手写数字图像；以及，
第一特征提取网络和第二特征提取网络都为预先训练完成的卷积神经网络，第一特征提取网络和第二特征提取网络都包括多个卷积层和多个池化层，第一特征提取网络和第二特征提取网络具有相同的模型参数。
11.根据权利要求10所述的装置，其特征在于，用于训练所述图像生成网络的第一损失函数为内容损失函数和风格损失函数的加权和；其中，所述内容损失函数由所述印刷体数字图像的特征图数据和所述测试图像的特征图数据确定，所述风格损失函数由所述真实手写数字图像的特征图数据和所述测试图像的特征图数据确定。
12.根据权利要求11所述的装置，其特征在于，所述图像生成网络包括：权重更新层和像素值映射层；其中，
所述权重更新层具有对应于所述测试图像中每一像素位置的权重值，所述权重值基于第一损失函数和梯度下降法进行迭代；所述像素值映射层用于将所述权重更新层当前的权重值映射为所述测试图像相应像素位置的像素值以形成所述测试图像；以及，
训练开始时的所述测试图像为所述印刷体数字图像。
13.据权利要求9所述的装置，其特征在于，所述装置进一步包括：
手写数字检测单元，用于：从所述模拟手写数字图像中切分出多个数字图像，将每一数字图像与目标用户关联从而形成训练集；根据所述训练集训练预先建立的、基于有监督学习算法的手写数字识别模型；使用训练完成的所述手写数字识别模型对待识别手写数字对应的用户进行检测。
14.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN202110454467.3A 2021-04-26 2021-04-26 手写数字生成方法和装置 Pending CN113052143A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110454467.3A CN113052143A (zh) 2021-04-26 2021-04-26 手写数字生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110454467.3A CN113052143A (zh) 2021-04-26 2021-04-26 手写数字生成方法和装置

Publications (1)

Publication Number Publication Date
CN113052143A true CN113052143A (zh) 2021-06-29

Family

ID=76520649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110454467.3A Pending CN113052143A (zh) 2021-04-26 2021-04-26 手写数字生成方法和装置

Country Status (1)

Country Link
CN (1) CN113052143A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516136A (zh) * 2021-07-09 2021-10-19 中国工商银行股份有限公司 一种手写图像生成方法、模型训练方法、装置及设备
CN114973279A (zh) * 2022-06-17 2022-08-30 北京百度网讯科技有限公司 手写文本图像生成模型的训练方法、装置和存储介质
CN117236284A (zh) * 2023-11-13 2023-12-15 江西师范大学 基于风格信息与内容信息适配的字体生成方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165376A (zh) * 2018-06-28 2019-01-08 西交利物浦大学 基于少量样本的风格字符生成方法
CN110866501A (zh) * 2019-11-19 2020-03-06 中国建设银行股份有限公司 一种训练数据生成方法、数据识别方法和计算机存储介质
US20200394512A1 (en) * 2019-06-13 2020-12-17 Microsoft Technology Licensing, Llc Robustness against manipulations in machine learning
CN112381910A (zh) * 2020-12-28 2021-02-19 北京亿信华辰软件有限责任公司武汉分公司 一种打印体字符手写风格化方法
JP2021026191A (ja) * 2019-08-08 2021-02-22 ブラザー工業株式会社 学習済みの機械学習モデル、画像データ生成装置、および、方法
CN112597925A (zh) * 2020-12-28 2021-04-02 作业帮教育科技（北京）有限公司 手写字迹的识别/提取、擦除方法及擦除系统、电子设备
CN112633420A (zh) * 2021-03-09 2021-04-09 北京易真学思教育科技有限公司 图像相似度确定及模型训练方法、装置、设备和介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165376A (zh) * 2018-06-28 2019-01-08 西交利物浦大学 基于少量样本的风格字符生成方法
US20200394512A1 (en) * 2019-06-13 2020-12-17 Microsoft Technology Licensing, Llc Robustness against manipulations in machine learning
JP2021026191A (ja) * 2019-08-08 2021-02-22 ブラザー工業株式会社 学習済みの機械学習モデル、画像データ生成装置、および、方法
CN110866501A (zh) * 2019-11-19 2020-03-06 中国建设银行股份有限公司 一种训练数据生成方法、数据识别方法和计算机存储介质
CN112381910A (zh) * 2020-12-28 2021-02-19 北京亿信华辰软件有限责任公司武汉分公司 一种打印体字符手写风格化方法
CN112597925A (zh) * 2020-12-28 2021-04-02 作业帮教育科技（北京）有限公司 手写字迹的识别/提取、擦除方法及擦除系统、电子设备
CN112633420A (zh) * 2021-03-09 2021-04-09 北京易真学思教育科技有限公司 图像相似度确定及模型训练方法、装置、设备和介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516136A (zh) * 2021-07-09 2021-10-19 中国工商银行股份有限公司 一种手写图像生成方法、模型训练方法、装置及设备
CN114973279A (zh) * 2022-06-17 2022-08-30 北京百度网讯科技有限公司 手写文本图像生成模型的训练方法、装置和存储介质
CN114973279B (zh) * 2022-06-17 2023-02-17 北京百度网讯科技有限公司 手写文本图像生成模型的训练方法、装置和存储介质
CN117236284A (zh) * 2023-11-13 2023-12-15 江西师范大学 基于风格信息与内容信息适配的字体生成方法及装置

Similar Documents

Publication Publication Date Title
CN111898696B (zh) 伪标签及标签预测模型的生成方法、装置、介质及设备
CN112580623B (zh) 图像生成方法、模型训练方法、相关装置及电子设备
CN113052143A (zh) 手写数字生成方法和装置
CN111027563A (zh) 一种文本检测方法、装置及识别系统
CN110874618B (zh) 基于小样本的ocr模板学习方法、装置、电子设备及介质
CN112308866B (zh) 图像处理方法、装置、电子设备及存储介质
US20210200971A1 (en) Image processing method and apparatus
CN111311480B (zh) 图像融合方法和装置
CN110852980A (zh) 交互式图像填充方法及系统、服务器、设备及介质
CN110827301B (zh) 用于处理图像的方法和装置
CN109241930B (zh) 用于处理眉部图像的方法和装置
CN111292333B (zh) 用于分割图像的方法和装置
CN113837965B (zh) 图像清晰度识别方法、装置、电子设备及存储介质
CN115222845A (zh) 样式字体图片生成方法、装置、电子设备和介质
CN112839185B (zh) 用于处理图像的方法、装置、设备和介质
CN113657411A (zh) 神经网络模型的训练方法、图像特征提取方法及相关装置
CN116361502B (zh) 一种图像检索方法、装置、计算机设备及存储介质
CN108921792A (zh) 用于处理图片的方法和装置
CN110263779A (zh) 文本区域检测方法及装置、文本检测方法、计算机可读介质
CN116935368A (zh) 深度学习模型训练方法、文本行检测方法、装置及设备
CN114241411B (zh) 基于目标检测的计数模型处理方法、装置及计算机设备
CN113780294B (zh) 文本字符分割的方法和装置
CN114936395A (zh) 一种户型图识别方法、装置、计算机设备及存储介质
CN111325210B (zh) 用于输出信息的方法和装置
CN114862720A (zh) 画布还原方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination