CN111079374A - 字体生成方法、装置和存储介质 - Google Patents

字体生成方法、装置和存储介质 Download PDF

Info

Publication number
CN111079374A
CN111079374A CN201911239852.5A CN201911239852A CN111079374A CN 111079374 A CN111079374 A CN 111079374A CN 201911239852 A CN201911239852 A CN 201911239852A CN 111079374 A CN111079374 A CN 111079374A
Authority
CN
China
Prior art keywords
font
user
image
preset
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911239852.5A
Other languages
English (en)
Other versions
CN111079374B (zh
Inventor
邝沛江
占飞
于群
熊健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911239852.5A priority Critical patent/CN111079374B/zh
Publication of CN111079374A publication Critical patent/CN111079374A/zh
Application granted granted Critical
Publication of CN111079374B publication Critical patent/CN111079374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请实施例公开了一种字体生成方法、装置和存储介质；本申请实施例在采集用户字体图像后，可以对该用户字体图像中的用户书写字体进行特征提取，得到字体类别特征，当该用户字体图像满足预设条件时，获取标准文字集对应的文字特征集，根据该字体类别特征和该文字特征集生成用户字体库，该文字特征集是对标准文字集对应的标准文字图像集进行特征提取得到，当该用户字体图像不满足预设条件时，在预设字体库中查找与该用户字体图像的相似度满足预设阈值的相似字体图像，根据该相似字体图像中的字体特征生成用户字体库；该方案可以有效地提高字体生成的灵活性。

Description

字体生成方法、装置和存储介质
技术领域
本申请涉及通信技术领域，具体涉及一种字体生成方法、装置和存储介质。
背景技术
随着互联网的飞速发展，个性化字体使得信息传播更加生动、直观。人们追求美观、个性化的意愿越来越强烈。相比于规范的印刷字体，越多越多的人希望在进行沟通交流时可以使用个性化字体，尤其是手写字体。个性化字体能够更加灵活地表达书写者的风格和感情。但是目前生成一种中文字体的方式并不多，需要通过专门的字体设计工具，对中文常用字进行逐一设计才能合成一种具有特色的中文字体。因此，生成个性化字体的灵活性较差，是一件费时费力的工作。
发明内容
本发明实施例提供一种字体生成方法、装置和存储介质，可以提高字体生成的灵活性。
本申请实施例提供一种字体生成方法，包括：
采集用户字体图像，所述用户字体图像为用户书写字体的图像；
对所述用户字体图像中的用户书写字体进行特征提取，得到字体类别特征；
当所述用户字体图像满足预设条件时，获取标准文字集对应的文字特征集，根据所述字体类别特征和所述文字特征集生成用户字体库，所述文字特征集是对标准文字集对应的标准文字图像集进行特征提取得到；
当所述用户字体图像不满足预设条件时，在预设字体库中查找与所述用户字体图像的相似度满足预设阈值的相似字体图像，根据所述相似字体图像中的字体特征生成用户字体库。
相应的，本申请实施例还提供一种字体生成装置，包括：
采集单元，用于采集用户字体图像，所述用户字体图像为用户书写字体的图像；
提取单元，用于对所述用户字体图像中的用户书写字体进行特征提取，得到字体类别特征；
第一生成单元，用于当所述用户字体图像满足预设条件时，获取标准文字集对应的文字特征集，根据所述字体类别特征和所述文字特征集生成用户字体库，所述文字特征集是对标准文字集对应的标准文字图像集进行特征提取得到；
第二生成单元，用于当所述用户字体图像不满足预设条件时，在预设字体库中查找与所述用户字体图像的相似度满足预设阈值的相似字体图像，根据所述相似字体图像中的字体特征生成用户字体库。
可选的，在一些实施例中，所述文字特征集包括多个文字特征，所述第一生成单元可以包括向量化子单元和生成子单元，如下：
所述向量化子单元，用于利用深度生成对抗网络将获取到的多个文字特征进行向量化，得到多个文字嵌入向量，将提取到的字体类别特征进行向量化，得到字体类别嵌入向量；
所述生成子单元，用于利用所述字体类别嵌入向量和所述多个文字嵌入向量生成多个文字字体图像，将所述多个文字字体图像进行融合，生成用户字体库。
可选的，在一些实施例中，所述向量化子单元，具体可以用于将所述用户字体图像的字体类别进行初始向量化，得到初始字体类别嵌入向量，利用深度生成对抗网络的解码器将所述初始字体类别嵌入向量和所述文字嵌入向量生成初始字体图像，计算所述初始字体图像和所述用户字体图像的相似度，根据所述相似度调整所述初始字体类别嵌入向量，直到所述初始字体图像和所述用户字体图像的相似度满足预设阈值，得到字体类别嵌入向量。
可选的，在一些实施例中，所述字体生成装置还可以包括第一获取单元和第一训练单元，如下：
所述第一获取单元，用于获取用户字体图像样本和标准文字图像样本；
所述第一训练单元，用于利用所述用户字体图像样本和标准文字图像样本对预设生成对抗网络进行训练，得到深度生成对抗网络。
可选的，在一些实施例中，所述预设生成对抗网络包括预设编码器、预设解码器和预设判别器，所述第一训练单元可以包括编码子单元、解码子单元和判别子单元，如下：
所述编码子单元，用于利用预设编码器对所述标准文字图像样本中的文字提取特征向量，得到文字向量样本；
所述解码子单元，用于利用预设解码器将初始字体类别向量样本和所述文字向量样本生成重构字体图像样本；
所述判别子单元，用于利用预设判别器对所述重构字体图像样本和用户字体图像样本进行判别，以及对用户字体图像样本进行分类，根据判别结果和分类结果对所述预设生成对抗网络进行调整，直到所述预设生成对抗网络收敛，得到深度生成对抗网络。
可选的，在一些实施例中，所述解码子单元，具体用于利用预设解码器对初始字体类别向量样本和所述文字向量样本进行多层卷积上采样重构图像，得到重构字体图像样本。
可选的，在一些实施例中，所述判别子单元可以包括判别模块和分类模块，如下：
所述判别模块，用于利用预设判别器对所述重构字体图像样本和用户字体图像样本进行判别，根据判别结果对所述预设生成对抗网络进行调整，直到所述预设生成对抗网络收敛；以及
所述分类模块，用于对用户字体图像样本进行分类，根据分类结果生成字体类别向量样本，计算所述初始字体类别向量样本和所述字体类别向量样本的相似度，根据所述相似度对所述预设生成对抗网络进行调整，直到所述预设生成对抗网络收敛，得到深度生成对抗网络。
可选的，在一些实施例中，所述判别模块，具体用于根据所述用户字体图像样本和所述重构字体图像样本之间的距离计算范数损失函数；根据所述用户字体图像样本和所述重构字体图像样本中的文字之间的距离计算恒定损失函数；根据所述重构字体图像样本以及其类别信息，和用户字体图像样本以及其类别信息计算对抗损失函数；根据所述用户字体图像样本的真实值和重构字体图像样本的预测值计算所述预设生成对抗网络的损失函数；利用所述范数损失函数、所述恒定损失函数、所述对抗损失函数和所述预设生成对抗网络的损失函数对所述预设生成对抗网络进行调整。
可选的，在一些实施例中，所述判别模块，具体用于将所述重构字体图像样本和用户字体图像样本作为预设判别器的输入图像样本；利用预设判别器对所述输入图像样本提取图像特征，得到输入图像特征；将所述输入图像特征映射成一维向量，根据所述一维向量判断所述输入图像样本的真实性；将所述输入图像特征和所述输入图像样本的类别特征进行内积，得到目标类别向量；根据所述输入图像样本的真实性和所述输入图像样本类别相似度计算预设判别器的对抗损失函数。
可选的，在一些实施例中，所述第二生成单元，用于利用深度相似网络对预设字体库中的多张字体图像进行特征提取，得到多个字体特征，将所述多个字体特征进行特征向量化，得到多个字体向量，计算所述多个字体向量与所述字体类别嵌入向量的相似度，查找相似度满足预设阈值的字体向量，将满足预设阈值的字体向量确定为相似字体向量，根据所述相似字体向量生成用户字体库。
可选的，在一些实施例中，所述字体生成装置还可以包括第二获取单元和第二训练单元，如下：
所述第二获取单元，用于获取用户字体图像样本，所述用户字体图像样本包含字体类别的真实值；
所述第二训练单元，用于利用所述用户字体图像样本对预设相似网络进行训练，得到深度相似网络。
可选的，在一些实施例中，所述第二训练单元可以包括分类单元和调整单元，如下：
所述分类单元，用于对所述用户字体图像样本中的字体进行特征提取，得到字体特征样本，采用预设相似网络对所述字体特征样本进行分类，得到所述用户字体图像样本中字体类别的预测值；
所述调整单元，用于根据所述用户字体图像样本的真实值和预测值对所述预设相似网络进行调整，直到所述预设相似网络收敛，得到深度相似网络。
可选的，在一些实施例中，所述调整单元，具体用于根据所述用户字体图像样本的真实值和预测值计算预设相似网络的损失函数；根据所述用户字体图像样本和预设字体库中的字体类别计算中心损失函数；基于所述预设相似网络的损失函数和所述中心损失函数对所述预设相似网络进行调整，直到所述预设相似网络收敛，得到深度相似网络。
此外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的任一种字体生成方法中的步骤。
本申请实施例在采集用户字体图像后，该用户字体图像为用户书写字体的图像，可以对该用户字体图像中的用户书写字体进行特征提取，得到字体类别特征，当该用户字体图像满足预设条件时，获取标准文字集对应的文字特征集，根据该字体类别特征和该文字特征集生成用户字体库，该文字特征集是对标准文字集对应的标准文字图像集进行特征提取得到，当该用户字体图像不满足预设条件时，在预设字体库中查找与该用户字体图像的相似度满足预设阈值的相似字体图像，根据该相似字体图像中的字体特征生成用户字体库；该方案可以有效地提高字体生成的灵活性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的字体生成方法的场景示意图；
图1b是本申请实施例提供的字体生成方法的流程图；
图1c是本申请实施例提供的自注意力模块的结构示意图；
图1d是本申请实施例提供的判别与投影机制的模型结构示意图；
图2a是本申请实施例提供的深度生成对抗网络的训练过程示意图；
图2b是本申请实施例提供的深度相似网络的训练过程示意图；
图2c是本申请实施例提供的字体生成方法的另一流程图；
图2d是本申请实施例提供的字体生成方法的又一流程图；
图3是本申请实施例提供的字体生成装置的结构示意图；
图4是本申请实施例提供的网络设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种字体生成方法、装置和存储介质。其中，该字体生成可以集成在网络设备中，该网络设备可以是服务器，也可以是终端等设备。
例如，参见图1a，首先，该集成了字体生成装置的网络设备在获取到用户发送的用户字体图像后，该用户字体图像为用户书写字体的图像，可以对该用户字体图像中的用户书写字体进行特征提取，得到字体类别特征，当该用户字体图像满足预设条件时，获取标准文字集对应的文字特征集，根据该字体类别特征和该文字特征集生成用户字体库，该文字特征集是对标准文字集对应的标准文字图像集进行特征提取得到，当该用户字体图像不满足预设条件时，在预设字体库中查找与该用户字体图像的相似度满足预设阈值的相似字体图像，根据该相似字体图像中的字体特征生成用户字体库。
由于该方案可以针对不同用户书写字体的不同情况采用不同的生成方式，当用户书写的字体满足预设条件时，可以通过用户的字体类别嵌入向量和文字嵌入向量直接生成用户的个性化字体库；当用户书写的字体不满足预设条件时，可以在预设字体库中寻找与用户字体最相似的字体，结合用户书写过的字体和最相似的字体，合成用户的个性化字体库，能够满足一定程度的个性化字体的需求，有效地提高字体生成的灵活性。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从字体生成装置的角度进行描述，该字体生成装置具体可以集成在网络设备中，该网络设备可以是服务器，也可以是终端等设备；其中，该终端可以包括手机、平板电脑、笔记本电脑、以及个人计算(PC，Personal Computer)等设备。
一种字体生成方法，包括：采集用户字体图像，该用户字体图像为用户书写字体的图像，再对该用户字体图像中的用户书写字体进行特征提取，得到字体类别特征，当该用户字体图像满足预设条件时，获取标准文字集对应的文字特征集，根据该字体类别特征和该文字特征集生成用户字体库，该文字特征集是对标准文字集对应的标准文字图像集进行特征提取得到，当该用户字体图像不满足预设条件时，在预设字体库中查找与该用户字体图像的相似度满足预设阈值的相似字体图像，根据该相似字体图像中的字体特征生成用户字体库。
如图1b所示，该字体生成方法的具体流程可以如下：
101、采集用户字体图像。
其中，该用户字体图像为用户书写字体的图像。例如，该用户字体图像具体可以由各图像采集设备，比如摄像头、摄像机、相机、扫描仪、视频采集卡或者其他带有拍照功能的设备(比如，手机、平板电脑等)等等来对用户书写的字体进行图像采集，进而提供给该字体生成装置，即，字体生成装置具体可以接收图像采集设备发送的用户字体图像。
102、对该用户字体图像中的用户书写字体进行特征提取，得到字体类别特征。
例如，具体可以对该用户字体图像中的用户书写字体进行字体特征提取，得到用户字体特征，将该用户字体特征进行向量化，得到字体类别嵌入向量。比如，可以利用深度生成对抗网络学习用户的字体，根据用户书写字体的字体类别将用户的字体转换为字体类别嵌入向量，等等。
103、当该用户字体图像满足预设条件时，获取标准文字集对应的文字特征集，根据该字体类别特征和该文字特征集生成用户字体库。
其中，预设条件的设定方式可以有很多种，比如，可以根据实际应用的需求灵活设置，也可以预先设置好存储在网络设备中。此外，预设条件可以内置于网络设备中，或者，也可以保存在存储器中并发送给网络设备，等等。其中，在实际应用中，预设条件可以为用户字体图像中用户书写的文字是否超过预设阈值且图像是否清晰。预设阈值的设定方式也可以有很多种，比如，可以根据实际应用的需求灵活设置，也可以预先设置好存储在网络设备中。此外，预设阈值可以内置于网络设备中，或者，也可以保存在存储器中并发送给网络设备，等等。
其中，该文字特征集是对标准文字集对应的标准文字图像集进行特征提取得到，例如，可以先获取标准文字图像集，该标准文字图像集包括多张标准文字图像，每张标准文字图像包括一个标准文字，对该多张标准文字图像中的文字进行文字特征提取，得到每个文字的文字特征，标准文字图像集中的多个文字的文字特征可以组合成文字特征集。
例如，文字特征集可以包括多个文字特征，具体可以利用深度生成对抗网络将获取到的多个文字特征进行向量化，得到多个文字嵌入向量，将提取到的字体类别特征进行向量化，得到字体类别嵌入向量，利用该字体类别嵌入向量和该多个文字嵌入向量生成多个文字字体图像，将该多个文字字体图像进行融合，生成用户字体库。
其中，将字体类别特征进行向量化的方式可以有很多种，比如，可以将所述用户字体图像的字体类别进行初始向量化，得到初始字体类别嵌入向量，利用深度生成对抗网络的解码器将所述初始字体类别嵌入向量和所述文字嵌入向量生成初始字体图像，计算所述初始字体图像和所述用户字体图像的相似度，根据所述相似度调整所述初始字体类别嵌入向量，直到所述初始字体图像和所述用户字体图像的相似度满足预设阈值，得到字体类别嵌入向量。
其中，深度生成对抗网络可以包括编码器和解码器，编码器可以由基本的卷积神经网络构成，解码器可以由残差块和自注意力(Self Attention)模块构成，采用共享嵌入的条件批量归一化(batch normalization)机制。比如，具体可以利用深度生成对抗网络的编码器对该多张标准文字图像中的文字进行文字特征提取，得到每个文字的文字特征，将该每个文字的文字特征进行向量化，得到每个文字的文字嵌入向量，以供解码器使用。解码器可以以字体类别嵌入向量和编码器不同尺度文字嵌入向量为输入，重构文字字体图像，比如，可以利用深度生成对抗网络的解码器将该字体类别嵌入向量和该每个文字的文字嵌入向量生成多个文字字体图像，将该多个文字字体图像进行融合，生成用户字体库。
可选的，该深度生成对抗网络可以由多张用户字体图像样本和标准文字图像样本训练而成。具体可以由其他设备进行训练后，提供给该字体生成装置，或者，也可以由该字体生成装置自行进行训练；即在步骤“利用深度生成对抗网络将提取到的字体类别特征进行向量化，得到字体类别嵌入向量”之前，该字体生成方法还可以包括：
(1)获取用户字体图像样本和标准文字图像样本。
比如，具体可以采集多张用户字体图像样本和标准文字图像样本作为原始数据集，比如从数据库或网络等获取该原始数据集，然后对该原始数据集里的图像进行预处理，以得到满足预设生成对抗网络的输入标准的图像。
其中，预处理可以包括将采集到的图像样本大小归一化到同一尺寸，当然，还可以进一步对这些图像进行其他的预处理操作，等等。
(2)利用该用户字体图像样本和标准文字图像样本对预设生成对抗网络进行训练，得到深度生成对抗网络。
其中，该预设生成对抗网络包括预设编码器、预设解码器和预设判别器，例如，具体可以如下：
A、利用预设编码器对该标准文字图像样本中的文字提取特征向量，得到文字向量样本。
例如，具体可以由基本的卷积神经网络对该标准文字图像样本中的文字提取特征向量。其中，基本的卷积神经网络可以包括输入层、隐含层和输出层。其中，卷积神经网络的输入层可以处理多维数据，由于使用梯度下降算法进行学习，卷积神经网络的输入特征需要进行标准化处理。具体地，在将学习数据输入卷积神经网络前，需在通道或时间/频率维对输入数据进行归一化。卷积神经网络中输出层的上游通常是全连接层，因此其结构和工作原理与传统前馈神经网络中的输出层相同。卷积神经网络的隐含层可以包含卷积层、池化层和全连接层3类常见构筑。比如，LeNet-5为例，3类常见构筑在隐含层中的顺序通常为：输入-卷积层-池化层-全连接层-输出。
卷积层的功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量(bias vector)，类似于一个前馈神经网络的神经元(neuron)。卷积层参数包括卷积核大小、步长和填充，三者共同决定了卷积层输出特征图的尺寸，是卷积神经网络的超参数。卷积层中包含激励函数以协助表达复杂特征，激励函数操作通常在卷积核之后。
在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤。池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。池化层选取池化区域与卷积核扫描特征图步骤相同，由池化大小、步长和填充控制。
卷积神经网络中的全连接层等价于传统前馈神经网络中的隐含层。全连接层位于卷积神经网络隐含层的最后部分，并只向其它全连接层传递信号。特征图在全连接层中会失去空间拓扑结构，被展开为向量并通过激励函数。
B、利用预设解码器将初始字体类别向量样本和该文字向量样本生成重构字体图像样本。
例如，具体可以利用预设解码器对初始字体类别向量样本和所述文字向量样本进行多层卷积上采样重构图像，得到重构字体图像样本。其中，为了防止梯度弥散和网络过拟合以及减少计算资源的消耗，预设编码器可以由残差网络和Self Attention模块构成，采用共享嵌入的条件batch normalization机制。
残差网络是由一系列残差块组成的。残差块分成两部分，直接映射部分和残差部分。残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率，其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
self attention是注意力机制中的一种，计算自注意力的第一步就是从编码器的输入向量中生成三个向量，也就是创造一个查询向量、一个键向量和一个值向量。这三个向量是通过词嵌入与三个权重矩阵后相乘创建的。键向量和查询向量通过点乘的方式获得相应的注意力权重，最后把得到的权重和值向量做点乘得到最终的输出，如图1c所示。自注意机制输出的可以通过放缩点积注意力(scaled dot-Product attention)进行计算，如下：
Figure BDA0002305899010000111
其中，qi为查询向量，KT为键向量，V为值向量，d为键向量的维数。其中，softmax是一个可以把连续的数输出成一个在0到1之间的数。它的输出，表征了不同类别间的相对概率。比如，可以通过键向量与查询向量进行点积(即矩阵相乘(MatMul))，得到自注意向量集，即第一权重，将自注意力向量集中的值再次进行降维(即缩放(Scale))，降维的方式可以为除以键向量的平方根来实现。其中，掩码为可选的(Mask(opt.))，然后，通过函数(SoftMax)传递结果，对自注意向量集中的自注意向量与对应的值向量相乘(即矩阵相乘(MatMul))，将相乘后的结果进行加权求和，得到自注意力输出。
Batch Normalization也叫批标准化，目的是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。因为深层神经网络在做非线性变换前的激活输入值(x＝WU+B，U是输入)，随着网络深度加深或者在训练过程中，其分布逐渐发生偏移或者变动，之所以训练收敛慢，一般是整体分布逐渐往非线性函数的取值区间的上下限两端靠近(对于Sigmoid函数来说，意味着激活输入值WU+B是大的负值或正值)，所以这导致反向传播时低层神经网络的梯度消失，这是训练深层神经网络收敛越来越慢的本质原因，而BN就是通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为1的标准正态分布，其实就是把越来越偏的分布强制拉回比较标准的分布，这样使得激活输入值落在非线性函数对输入比较敏感的区域，这样输入的小变化就会导致损失函数较大的变化，也就是让梯度变大，避免梯度消失问题产生，而且梯度变大意味着学习收敛速度快，能大大加快训练速度。
C、利用预设判别器对该重构字体图像样本和用户字体图像样本进行判别，以及对用户字体图像样本进行分类，根据判别结果和分类结果对该预设生成对抗网络进行调整，直到该预设生成对抗网络收敛，得到深度生成对抗网络。
其中，预设判别器由残差块和Self Attention模块构成，采用判别与投影(discriminator with projection)机制。例如，具体可以以解码器的输出，即重构字体图像样本，和真实用户书写的用户字体图像样本为输入，衡量重构字体图像样本和用户字体图像样本分布之间的距离，同时完成用户字体图像样本的分类任务，得到字体类别嵌入向量。比如，具体可以根据用户字体图像样本、标准文字图像样本、重构字体图像样本和预设判别器的预测值对该预设生成对抗网络进行调整，直到该预设生成对抗网络收敛，得到深度生成对抗网络。
比如，可以利用预设判别器对该重构字体图像样本和用户字体图像样本进行判别，根据判别结果对该预设生成对抗网络进行调整，直到该预设生成对抗网络收敛；以及对用户字体图像样本进行分类，根据分类结果生成字体类别向量样本，计算所述初始字体类别向量样本和所述字体类别向量样本的相似度，根据所述相似度对所述预设生成对抗网络进行调整，直到该预设生成对抗网络收敛，得到深度生成对抗网络。
其中，利用预设判别器对该重构字体图像样本和用户字体图像样本进行判别，根据判别结果对该预设生成对抗网络进行调整的方法可以有很多种，例如，可以通过预设的损失函数来计算预测值和真实值之间的误差，比如，通过计算预设生成对抗网络的损失函数，整个深度生成对抗网络优化损失函数：
Figure BDA0002305899010000121
其中，x表示标准文字图像样本，y表示用户字体图像样本，fE表示编码器的作用，fD表示解码器的作用，gD表示判别器的作用，通过使用梯度下降法，不断优化编码器和解码器，使得L(fE,fD,gD)有局部最优解。
为了稳定预设生成对抗网络的训练，还可以通过计算范数损失函数(L1Loss)、恒定损失函数(Constant Loss)、对抗损失函数(Adversarial Loss)，等等。即“利用预设判别器对该重构字体图像样本和用户字体图像样本进行判别，根据判别结果对该预设生成对抗网络进行调整”可以包括：
根据该用户字体图像样本和该重构字体图像样本之间的距离计算范数损失函数；根据该用户字体图像样本和该重构字体图像样本中的文字之间的距离计算恒定损失函数；根据该重构字体图像样本以及其类别信息，和用户字体图像样本以及其类别信息计算对抗损失函数；根据该用户字体图像样本的真实值和重构字体图像样本的预测值计算该预设生成对抗网络的损失函数；利用该范数损失函数、该恒定损失函数、该对抗损失函数和该预设生成对抗网络的损失函数对该预设生成对抗网络进行调整。
其中，根据该重构字体图像样本以及其类别信息，和用户字体图像样本以及其类别信息计算对抗损失函数，具体可以将该重构字体图像样本和用户字体图像样本作为预设判别器的输入图像样本；利用预设判别器对该输入图像样本提取图像特征，得到输入图像特征；将该输入图像特征映射成一维向量，根据该一维向量判断该输入图像样本的真实性；将该输入图像特征和该输入图像样本的类别特征进行内积，得到目标类别向量；根据该输入图像样本的真实性和该输入图像样本类别相似度计算预设判别器的对抗损失函数。比如，如图1d所示，x表示输入图像样本，y表示输入图像样本的类别信息，输入图像样本首先经过网络φ提取特征，然后把特征分成两路：一路与经过编码的类别信息y做点乘，另一路再通过网络ψ映射成一维向量。最后两路相加，作为神经网络最终的输出，即对抗损失函数。
104、当该用户字体图像不满足预设条件时，在预设字体库中查找与该用户字体图像的相似度满足预设阈值的相似字体图像，根据该相似字体图像中的字体特征生成用户字体库。
例如，具体可以利用深度相似网络对预设字体库中的多张字体图像进行特征提取，得到多个字体特征，将该多个字体特征进行特征向量化，得到多个字体向量，计算该多个字体向量与该字体类别嵌入向量的相似度，查找相似度满足预设阈值的字体向量，将满足预设阈值的字体向量确定为相似字体向量，根据该相似字体向量生成用户字体库。
可选的，该深度相似网络可以由多张用户字体图像样本训练而成。具体可以由其他设备进行训练后，提供给该字体生成装置，或者，也可以由该字体生成装置自行进行训练；即在步骤“利用深度相似网络对预设字体库中的多张字体图像进行特征提取”之前，该字体生成方法还可以包括：
(1)获取用户字体图像样本，该用户字体图像样本包含字体类别的真实值；
比如，具体可以采集多张用户字体图像样本作为原始数据集，比如从数据库或网络等获取该原始数据集，然后对该原始数据集里的图像进行预处理，以得到满足预设生成对抗网络的输入标准的图像。
其中，预处理可以包括将采集到的用户字体图像样本大小归一化到同一尺寸，当然，还可以进一步对这些图像进行其他的预处理操作，等等。
(2)利用该用户字体图像样本对预设相似网络进行训练，得到深度相似网络。
例如，具体可以对该用户字体图像样本中的字体进行特征提取，得到字体特征样本，采用预设相似网络对该字体特征样本进行分类，得到该用户字体图像样本中字体类别的预测值，根据该用户字体图像样本的真实值和预测值对该预设相似网络进行调整，直到该预设相似网络收敛，得到深度相似网络。
根据该用户字体图像样本的真实值和预测值对该预设相似网络进行调整的方式可以有很多种，例如，可以通过计算用户字体图像样本的真实值和预测值之间的误差，比如，具体可以根据获取到的用户字体图像样本的真实类别确定用户字体图像样本的真实值，然后，计算用户字体图像样本的真实值和预测值之间的误差，再将所有误差进行反向传播更新网络的梯度，以达到收敛的目的，最终得到深度相似网络。
其中，计算预测值和真实值之间的误差的方式可以有多种，例如，可以通过预设的损失函数来计算预测值和真实值之间的误差，比如，具体可以根据该用户字体图像样本的真实值和预测值计算预设相似网络的损失函数，根据该用户字体图像样本和预设字体库中的字体类别计算中心损失函数，基于该预设相似网络的损失函数和该中心损失函数对该预设相似网络进行调整，直到该预设相似网络收敛，得到深度相似网络。
比如，以x表示输入的用户字体图像样本，以f表示相似网络的作用，以y表示用户字体图像样本中字体的真实类别，则预设相似网络的损失函数:
argminfL(x,y)＝argminf-y·f(x)
通过使用梯度下降法，不断优化残差网络，使得f有局部优解。
由于该深度相似网络实际使用场景中，测试样本分布和训练样本必然存在的较大差异，模型训练阶段引入中心损失函数(Center loss)，拉大类间距离，使得测试阶段能够有效区分测试样本，使得不管是训练数据集还是测试数据集，都能看出比较清晰的类别界限。Center loss的表达式如下：
Figure BDA0002305899010000151
其中，xi表示样本隐空间向量，
Figure BDA0002305899010000152
表示类别隐空间向量，残差网络将样本映射到隐空间分类的同时，进一步约束同类样本的隐空间距离尽可能小。
由上可知，本实施例在采集用户字体图像后，该用户字体图像为用户书写字体的图像，可以对该用户字体图像中的用户书写字体进行特征提取，得到字体类别特征，当该用户字体图像满足预设条件时，获取标准文字集对应的文字特征集，根据该字体类别特征和该文字特征集生成用户字体库，该文字特征集是对标准文字集对应的标准文字图像集进行特征提取得到，当该用户字体图像不满足预设条件时，在预设字体库中查找与该用户字体图像的相似度满足预设阈值的相似字体图像，根据该相似字体图像中的字体特征生成用户字体库；由于该方案可以针对不同用户书写字体的不同情况采用不同的生成方式，当用户书写的字体满足预设条件时，可以通过用户的字体类别嵌入向量和文字嵌入向量直接生成用户的个性化字体库；当用户书写的字体不满足预设条件时，可以在预设字体库中寻找与用户字体最相似的字体，结合用户书写过的字体和最相似的字体，合成用户的个性化字体库，能够满足一定程度的个性化字体的需求，有效地提高字体生成的灵活性。
根据上一个实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，将以该字体生成装置具体集成在网络设备为例进行说明。
(一)首先，需要对预设生成对抗网络进行训练，如图2a所示，具体可以如下：
(1)获取用户字体图像样本和标准文字图像样本。
比如，具体可以采集多张用户字体图像样本和标准文字图像样本作为原始数据集，比如从数据库或网络等获取该原始数据集，然后对该原始数据集里的图像进行预处理，以得到满足预设生成对抗网络的输入标准的图像。
其中，预处理可以包括将采集到的图像样本大小归一化到同一尺寸，比如128*128大小，当然，还可以进一步对这些图像进行其他的预处理操作，比如去噪，等等。例如，每个用户字体图像样本可以包括一共字体，500个字，可以获取100个用户字体图像样本，即100种字体。标准文字图像样本可以包括6000个标准字。
(2)利用该用户字体图像样本和标准文字图像样本对预设生成对抗网络进行训练，得到深度生成对抗网络。
其中，该预设生成对抗网络包括预设编码器、预设解码器和预设判别器，例如，具体可以如下：
A、利用预设编码器对该标准文字图像样本中的文字提取特征向量，得到文字向量样本。
例如，具体可以由基本的卷积神经网络对该标准文字图像样本中的文字进行特征提取，然后对提取的特征进行向量化，得到文字特征样本。
B、利用预设解码器将初始字体类别向量样本和该文字向量样本生成重构字体图像样本。
例如，具体可以利用预设解码器对初始字体类别向量样本和所述文字向量样本进行多层卷积上采样重构图像，得到重构字体图像样本。其中，为了防止梯度弥散和网络过拟合以及减少计算资源的消耗，预设编码器可以由残差网络和Self Attention模块构成，采用共享嵌入的条件batch normalization机制。比如，得到的重构字体图像样本
C、利用预设判别器对该重构字体图像样本和用户字体图像样本进行判别，以及对用户字体图像样本进行分类，根据判别结果和分类结果对该预设生成对抗网络进行调整，直到该预设生成对抗网络收敛，得到深度生成对抗网络。
其中，预设判别器由残差块和Self Attention模块构成，采用discriminatorwith projection机制。针对文字图片具有较强的结构性问题，引入Self Attention模块，在文字以图像为表达形式的生成过程中，更加地强调像素之间的整体关系。
例如，具体可以以解码器的输出，即重构字体图像样本，和真实用户书写的用户字体图像样本为输入，衡量重构字体图像样本和用户字体图像样本分布之间的距离，同时完成用户字体图像样本的分类任务，得到字体类别嵌入向量。比如，具体可以根据用户字体图像样本、标准文字图像样本、重构字体图像样本和预设判别器的预测值对该预设生成对抗网络进行调整，直到该预设生成对抗网络收敛，得到深度生成对抗网络。
比如，可以利用预设判别器对该重构字体图像样本和用户字体图像样本进行判别，根据判别结果对该预设生成对抗网络进行调整，直到该预设生成对抗网络收敛；以及对用户字体图像样本进行分类，根据分类结果生成字体类别向量样本，计算所述初始字体类别向量样本和所述字体类别向量样本的相似度，根据所述相似度对所述预设生成对抗网络进行调整，直到该预设生成对抗网络收敛，得到深度生成对抗网络。
其中，利用预设判别器对该重构字体图像样本和用户字体图像样本进行判别，根据判别结果对该预设生成对抗网络进行调整的方法可以有很多种，例如，可以通过预设的损失函数来计算预测值和真实值之间的误差，比如，通过计算预设生成对抗网络的损失函数，整个深度生成对抗网络优化损失函数：
Figure BDA0002305899010000171
其中，x表示标准文字图像样本，y表示用户字体图像样本，fE表示编码器的作用，fD表示解码器的作用，gD表示判别器的作用，通过使用梯度下降法，不断优化编码器和解码器，使得L(fE,fD,gD)有局部最优解。
为了稳定预设生成对抗网络的训练，还可以通过计算L1 Loss、Constant Loss、Adversarial Loss，等等。即“利用预设判别器对该重构字体图像样本和用户字体图像样本进行判别，根据判别结果对该预设生成对抗网络进行调整”可以包括：
根据该用户字体图像样本和该重构字体图像样本之间的距离计算范数损失函数；根据该用户字体图像样本和该重构字体图像样本中的文字之间的距离计算恒定损失函数；根据该重构字体图像样本以及其类别信息，和用户字体图像样本以及其类别信息计算对抗损失函数；根据该用户字体图像样本的真实值和重构字体图像样本的预测值计算该预设生成对抗网络的损失函数；利用该范数损失函数、该恒定损失函数、该对抗损失函数和该预设生成对抗网络的损失函数对该预设生成对抗网络进行调整。
比如，计算恒定损失函数可以根据用户字体图像样本和对应生成的重构字体图像样本通过编码器得到的深度文字嵌入向量间的L2距离，例如，具体可以利用编码器对用户字体图像样本提取特征向量，得到用户字体文字嵌入向量，利用编码器对重构字体图像样本提取特征向量，得到重构字体文字嵌入向量，根据该用户字体文字嵌入向量和重构字体文字嵌入向量的L2距离计算恒定损失函数，以此来稳定预设生成对抗网络的训练。
为了平衡图像中表示文字的黑色像素点和表示背景的白色像素点对于网络训练的影响，有效改善了生成图形中容易缺笔的现象，计算范数损失函数可以为计算不对称L1范数损失函数。
比如，模型输出为128*128单通道的灰度图像，取值范围为[-1,1]，其中-1表示黑色，1表示白色，记output为模型输出，target为拟合目标，output和target均为NHWC格式数据。
原始的L1损失函数为：
L1_loss＝reduce_mean(abs(output-target),axis＝[0,1,2,3],keepdims＝False)
reduce_mean表示均值计算函数，其中参数axis＝[0,1,2,3]表示计算维度，参数keepdims表示计算均值后是否保留维度；
而不对称的L1损失函数为：
weight＝reduce_mean(target,axis＝[1,2,3],keepdims＝True)
L1_loss＝reduce_mean((1+weight)*relu(input-target)+(1-weight)*(target-input),axis＝[0,1,2,3],keepdims＝False)
采用不对称的L1损失函数计算方式可以平衡图像中表示文字的黑色像素点和表示背景的白色像素点对于网络训练的影响，有效改善了生成图形中容易缺笔的现象。
其中，根据该重构字体图像样本以及其类别信息，和用户字体图像样本以及其类别信息计算对抗损失函数，具体可以将该重构字体图像样本和用户字体图像样本作为预设判别器的输入图像样本；利用预设判别器对该输入图像样本提取图像特征，得到输入图像特征；将该输入图像特征映射成一维向量，根据该一维向量判断该输入图像样本的真实性；将该输入图像特征和该输入图像样本的类别特征进行内积，得到目标类别向量；根据该输入图像样本的真实性和该输入图像样本类别相似度计算预设判别器的对抗损失函数。比如，x表示输入图像样本，y表示输入图像样本的类别信息，输入图像样本首先经过网络φ提取特征，然后把特征分成两路：一路与经过编码的类别信息y做点乘，另一路再通过网络ψ映射成一维向量。最后两路相加，作为神经网络最终的输出，即对抗损失函数。
为了保证尽可能多的字体联合训练的效果，模型引入discriminator withprojection机制和共享嵌入的条件batch normalization机制。生成网络中，输入不同的类别嵌入向量，会得到不同的字体，但是不同字体间的相似程度是不一致的，越相似的字体理应有相似的类别嵌入向量，因此，共享嵌入的条件batch normalization机制所需的生成器类别嵌入向量和discriminator with projection机制中的判别器类别嵌入向量在训练过程中都会根据损失函数不断调整，相似的字体会具有相似的生成器类别嵌入向量和判别器类别嵌入向量。
(二)其次，需要对预设相似网络进行训练，如图2b所示，具体可以如下：
(1)获取用户字体图像样本，该用户字体图像样本包含字体类别的真实值；
比如，具体可以采集多张用户字体图像样本作为原始数据集，比如从数据库或网络等获取该原始数据集，然后对该原始数据集里的图像进行预处理，以得到满足预设生成对抗网络的输入标准的图像。
其中，预处理可以包括将采集到的用户字体图像样本大小归一化到同一尺寸，当然，还可以进一步对这些图像进行其他的预处理操作，等等。
(2)利用该用户字体图像样本对预设相似网络进行训练，得到深度相似网络。
其中，预设相似网络可以包括一个残差模块(ResNets)，比如，残差模块滤波器通道个数取值为64～512；该预设相似网络最后经由一个全池化层(global pooling)层和全连接(softmax)层，输出属于用户字体图像样本中字体类别的预测概率。例如，具体可以对该用户字体图像样本中的字体进行特征提取，得到字体特征样本，采用预设相似网络对该字体特征样本进行分类，得到该用户字体图像样本中字体类别的预测值，根据该用户字体图像样本的真实值和预测值对该预设相似网络进行调整，直到该预设相似网络收敛，得到深度相似网络。
根据该用户字体图像样本的真实值和预测值对该预设相似网络进行调整的方式可以有很多种，例如，可以通过计算用户字体图像样本的真实值和预测值之间的误差，比如，具体可以根据获取到的用户字体图像样本的真实类别确定用户字体图像样本的真实值，然后，计算用户字体图像样本的真实值和预测值之间的误差，再将所有误差进行反向传播更新网络的梯度，以达到收敛的目的，最终得到深度相似网络。
其中，计算预测值和真实值之间的误差的方式可以有多种，例如，可以通过预设的损失函数来计算预测值和真实值之间的误差，比如，具体可以根据该用户字体图像样本的真实值和预测值计算预设相似网络的损失函数，根据该用户字体图像样本和预设字体库中的字体类别计算中心损失函数，基于该预设相似网络的损失函数和该中心损失函数对该预设相似网络进行调整，直到预设相似网络收敛，得到深度相似网络。
比如，以x表示输入的用户字体图像样本，以f表示相似网络的作用，以y表示用户字体图像样本中字体的真实类别，则预设相似网络的损失函数:
argminfL(x,y)＝argminf-y·f(x)
通过使用梯度下降法，不断优化残差网络，使得f有局部优解。
由于该深度相似网络实际使用场景中，测试样本分布和训练样本必然存在的较大差异，模型训练阶段引入中心损失函数(Center loss)，拉大类间距离，使得测试阶段能够有效区分测试样本，使得不管是训练数据集还是测试数据集，都能看出比较清晰的类别界限。Center loss的表达式如下：
Figure BDA0002305899010000211
其中，xi表示样本隐空间向量，
Figure BDA0002305899010000212
表示类别隐空间向量，残差网络将样本映射到隐空间分类的同时，进一步约束同类样本的隐空间距离尽可能小。
(三)通过训练好的深度生成对抗网络和深度相似网络，便可以生成用户字体库，得到用户个性化字体，具体可以参见图2c和图2d。
如图2c所示，一种字体生成方法，具体流程可以如下：
201、网络设备采集用户字体图像。
其中，该用户字体图像为用户书写字体的图像。例如，网络设备可以接收用户输入的用户字体图像或者接收其他设备发送的用户字体图像，其中，用户字体图像可以通过扫描用户的手写字体等进行图像采集得到。
可选的，若网络设备采集到的原始图像未能符合字体生成装置的输入标准，则还可以对接收到的原始图像进行预处理，得到用户字体图像，以得到满足网络设备的输入标准的图像，比如，可以将图像预处理为128*128大小，或者还可以进一步对用户字体图像进行其他的预处理操作，比如去噪，等等。比如，用户字体图像中的字体为“言”字。
202、网络设备对该用户字体图像中的用户书写字体进行特征提取，得到字体类别特征。
例如，网络设备具体可以对该用户字体图像中的用户书写字体进行字体特征提取，得到用户字体特征，将该用户字体特征进行向量化，得到字体类别嵌入向量。
203、当该用户字体图像满足预设条件时，网络设备获取标准文字集对应的文字特征集。
其中，预设条件可以为用户字体图像中用户书写的文字是否超过预设阈值且图像是否清晰。预设阈值的设定方式也可以有很多种，比如，可以根据实际应用的需求灵活设置，也可以预先设置好存储在网络设备中。比如，预设阈值可以为100字。比如，当该用户字体图像中用户书写的文字超过100个且图像中的文字笔画清晰，就可以利用深度生成对抗网络生成用户个性化字体。然后获取标准文字图像集，比如获取到的标准文字图像中的文字为宋体的“语”字。
其中，该文字特征集是对标准文字集对应的标准文字图像集进行特征提取得到。例如，网络设备可以先获取标准文字图像集，该标准文字图像集包括多张标准文字图像，每张标准文字图像包括一个标准文字，网络设备具体可以利用深度生成对抗网络对该多张标准文字图像中的文字进行文字特征提取，得到每个文字的文字特征，标准文字图像集中多个文字的文字特征组合成文字特征集。
204、网络设备根据该字体类别特征和该文字特征集生成用户字体库。
例如，该文字特征集包括多个文字特征，网络设备具体可以利用深度生成对抗网络将获取到的多个文字特征进行向量化，得到多个文字嵌入向量，将提取到的字体类别特征进行向量化，得到字体类别嵌入向量，利用该字体类别嵌入向量和该多个文字嵌入向量生成多个文字字体图像，将该多个文字字体图像进行融合，生成用户字体库。比如，将字体类别特征进行向量化可以将所述用户字体图像的字体类别进行初始向量化，得到初始字体类别嵌入向量，利用深度生成对抗网络的解码器将所述初始字体类别嵌入向量和所述文字嵌入向量生成初始字体图像，计算所述初始字体图像和所述用户字体图像的相似度，根据所述相似度调整所述初始字体类别嵌入向量，直到所述初始字体图像和所述用户字体图像的相似度满足预设阈值，得到字体类别嵌入向量。比如，生成的文字字体图像中的文字为“语”字，将该多个文字字体图像进行融合，生成用户字迹的用户字体库，也就是用户的个性化字体。
205、当该用户字体图像不满足预设条件时，网络设备在预设字体库中查找与该用户字体图像的相似度满足预设阈值的相似字体图像。
例如，网络设备具体可以利用深度相似网络对预设字体库中的多张字体图像进行特征提取，得到多个字体特征，将该多个字体特征进行特征向量化，得到多个字体向量，计算该多个字体向量与该字体类别嵌入向量的相似度；查找相似度满足预设阈值的字体向量，将满足预设阈值的字体向量确定为相似字体向量。比如，当该用户字体图像中用户书写的文字超过500个和/或图像中的文字笔画或者字迹不清晰时，则可以在预设的字体库中查找与用户字体相似的字体。
206、网络设备根据该相似字体图像中的字体特征生成用户字体库。
例如，网络设备具体可以根据该相似字体向量和字体类别嵌入向量生成用户字体库。比如，网络设备可以在预设字体库中寻找与用户字体最相似的字体，然后结合用户手写字体和相似字体，合成用户个性化字体，即用户字体库。
此外，深度生成对抗网络和深度相似网络内部采用了多个的残差卷积层，条件批归一化层，感知机层等。但是，本申请不具体限定深度神经网络的模型类型和拓扑结构，可以替换为各种其它有效的新型的模型结构，例如，RNN和其它网络结构相结合的模型，更加强调图像像素之间生成的先后顺序等依赖关系，这一点和文字的笔画结构性是一致的。也可以根据实际应用对模型内存占用的限制要求，对深度相似网络和深度生成对抗网络的拓扑结构加以简化。
由上可知，本实施例在采集用户字体图像后，该用户字体图像为用户书写字体的图像，可以对该用户字体图像中的用户书写字体进行特征提取，得到字体类别特征，当该用户字体图像满足预设条件时，获取标准文字集对应的文字特征集，根据该字体类别特征和该文字特征集生成用户字体库，该文字特征集是对标准文字集对应的标准文字图像集进行特征提取得到，当该用户字体图像不满足预设条件时，在预设字体库中查找与该用户字体图像的相似度满足预设阈值的相似字体图像，根据该相似字体图像中的字体特征生成用户字体库；由于该方案可以针对不同用户书写字体的不同情况采用不同的生成方式，克服了单纯使用深度生成对抗网络生成字体时的效果不可控的问题，采用深度相似网络与深度生成对抗网络结合的方式解决不同情况下的个性化字体生成问题。对于不同的用户能够生成个性化字体，当用户书写的字体较少或者不清晰时，可以在预设字体库中寻找与用户字体最相似的字体，结合用户书写过的字体和最相似的字体，合成用户的个性化字体库，能够满足一定程度的个性化字体的需求，当用户书写的字体越来越多且清晰时，可以通过用户的字体类别嵌入向量和文字嵌入向量直接生成用户的个性化字体库，生成的字体与用户的字迹也会越来越相似，有效地提高字体生成的灵活性。
为了更好地实施以上方法，相应的，本申请实施例还提供一种字体生成装置，该字体生成装置具体可以集成在网络设备中，该网络设备可以是服务器，也可以是终端等设备。
例如，如图3所示，该字体生成装置可以包括采集单元301、提取单元302、第一生成单元303和第二生成单元304，如下：
(1)采集单元301；
采集单元301，用于采集用户字体图像，该用户字体图像为用户书写字体的图像。
其中，该用户字体图像为用户书写字体的图像。例如，该用户字体图像具体可以由各图像采集设备，比如摄像头、摄像机、相机、扫描仪、视频采集卡或者其他带有拍照功能的设备(比如，手机、平板电脑等)等等来对用户书写的字体进行图像采集，进而提供给该采集单元301，即，采集单元301具体可以接收图像采集设备发送的用户字体图像。
可选的，若采集单元301采集到的原始图像未能符合字体生成装置的输入标准，则采集单元301，还可以用于对接收到的原始图像进行预处理，得到用户字体图像。
(2)提取单元302；
提取单元302，用于对该用户字体图像中的用户书写字体进行特征提取，得到字体类别特征。
例如，该提取单元302具体可以对该用户字体图像中的用户书写字体进行字体特征提取，得到用户字体特征，将该用户字体特征进行向量化，得到字体类别嵌入向量。
(3)第一生成单元303；
第一生成单元303，用于当该用户字体图像满足预设条件时，获取标准文字集对应的文字特征集，根据该字体类别特征和该文字特征集生成用户字体库。该文字特征集是对标准文字集对应的标准文字图像集进行特征提取得到。
可选的，在一些实施例中，该文字特征集包括多个文字特征，该第一生成单元可以包括向量化子单元和生成子单元，如下：
向量化子单元，用于利用深度生成对抗网络将获取到的多个文字特征进行向量化，得到多个文字嵌入向量，将提取到的字体类别特征进行向量化，得到字体类别嵌入向量；
生成子单元，用于利用该字体类别嵌入向量和该多个文字嵌入向量生成多个文字字体图像，将该多个文字字体图像进行融合，生成用户字体库。
可选的，在一些实施例中，所述向量化子单元，具体可以用于将所述用户字体图像的字体类别进行初始向量化，得到初始字体类别嵌入向量，利用深度生成对抗网络的解码器将所述初始字体类别嵌入向量和所述文字嵌入向量生成初始字体图像，计算所述初始字体图像和所述用户字体图像的相似度，根据所述相似度调整所述初始字体类别嵌入向量，直到所述初始字体图像和所述用户字体图像的相似度满足预设阈值，得到字体类别嵌入向量。
可选的，在一些实施例中，该字体生成装置还可以包括第一获取单元和第一训练单元，如下：
第一获取单元，用于获取用户字体图像样本和标准文字图像样本；
第一训练单元，用于利用该用户字体图像样本和标准文字图像样本对预设生成对抗网络进行训练，得到深度生成对抗网络。
可选的，在一些实施例中，该预设生成对抗网络包括预设编码器、预设解码器和预设判别器，该第一训练单元可以包括编码子单元、解码子单元和判别子单元，如下：
编码子单元，用于利用预设编码器对该标准文字图像样本中的文字提取特征向量，得到文字向量样本；
解码子单元，用于利用预设解码器将初始字体类别向量样本和该文字向量样本生成重构字体图像样本；
判别子单元，用于利用预设判别器对该重构字体图像样本和用户字体图像样本进行判别，以及对用户字体图像样本进行分类，根据判别结果和分类结果对该预设生成对抗网络进行调整，直到该预设生成对抗网络收敛，得到深度生成对抗网络。
可选的，在一些实施例中，该解码子单元，具体用于利用预设解码器对初始字体类别向量样本和所述文字向量样本进行多层卷积上采样重构图像，得到重构字体图像样本。
可选的，在一些实施例中，该判别子单元可以包括判别模块和分类模块，如下：
判别模块，用于利用预设判别器对该重构字体图像样本和用户字体图像样本进行判别，根据判别结果对该预设生成对抗网络进行调整，直到该预设生成对抗网络收敛；以及
分类模块，用于对用户字体图像样本进行分类，根据分类结果生成字体类别向量样本，计算所述初始字体类别向量样本和所述字体类别向量样本的相似度，根据所述相似度对所述预设生成对抗网络进行调整，直到该预设生成对抗网络收敛，得到深度生成对抗网络。
可选的，在一些实施例中，该判别模块，具体用于根据该用户字体图像样本和该重构字体图像样本之间的距离计算范数损失函数；根据该用户字体图像样本和该重构字体图像样本中的文字之间的距离计算恒定损失函数；根据该重构字体图像样本以及其类别信息，和用户字体图像样本以及其类别信息计算对抗损失函数；根据该用户字体图像样本的真实值和重构字体图像样本的预测值计算该预设生成对抗网络的损失函数；利用该范数损失函数、该恒定损失函数、该对抗损失函数和该预设生成对抗网络的损失函数对该预设生成对抗网络进行调整。
可选的，在一些实施例中，该判别模块，具体用于将该重构字体图像样本和用户字体图像样本作为预设判别器的输入图像样本；利用预设判别器对该输入图像样本提取图像特征，得到输入图像特征；将该输入图像特征映射成一维向量，根据该一维向量判断该输入图像样本的真实性；将该输入图像特征和该输入图像样本的类别特征进行内积，得到目标类别向量；根据该输入图像样本的真实性和该输入图像样本类别相似度计算预设判别器的对抗损失函数。
(4)第二生成单元304；
第二生成单元304，用于当该用户字体图像不满足预设条件时，在预设字体库中查找与该用户字体图像的相似度满足预设阈值的相似字体图像，根据该相似字体图像中的字体特征生成用户字体库。
可选的，在一些实施例中，该第二生成单元，用于利用深度相似网络对预设字体库中的多张字体图像进行特征提取，得到多个字体特征，将该多个字体特征进行特征向量化，得到多个字体向量，计算该多个字体向量与该字体类别嵌入向量的相似度，查找相似度满足预设阈值的字体向量，将满足预设阈值的字体向量确定为相似字体向量，根据该相似字体向量生成用户字体库。
可选的，在一些实施例中，该字体生成装置还可以包括第二获取单元和第二训练单元，如下：
第二获取单元，用于获取用户字体图像样本，该用户字体图像样本包含字体类别的真实值；
第二训练单元，用于利用该用户字体图像样本对预设相似网络进行训练，得到深度相似网络。
可选的，在一些实施例中，该第二训练单元可以包括分类单元和调整单元，如下：
分类单元，用于对该用户字体图像样本中的字体进行特征提取，得到字体特征样本，采用预设相似网络对该字体特征样本进行分类，得到该用户字体图像样本中字体类别的预测值；
调整单元，用于根据该用户字体图像样本的真实值和预测值对该预设相似网络进行调整，直到预设相似网络收敛，得到深度相似网络。
可选的，在一些实施例中，该调整单元，具体用于根据该用户字体图像样本的真实值和预测值计算预设相似网络的损失函数；根据该用户字体图像样本和预设字体库中的字体类别计算中心损失函数；基于该预设相似网络的损失函数和该中心损失函数对该预设相似网络进行调整，直到预设相似网络收敛，得到深度相似网络。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例在采集单元301采集用户字体图像后，该用户字体图像为用户书写字体的图像，可以由提取单元302对该用户字体图像中的用户书写字体进行特征提取，得到字体类别特征，当该用户字体图像满足预设条件时，由第一生成单元303获取标准文字集对应的文字特征集，根据该字体类别特征和该文字特征集生成用户字体库，该文字特征集是对标准文字集对应的标准文字图像集进行特征提取得到，当该用户字体图像不满足预设条件时，由第二生成单元304在预设字体库中查找与该用户字体图像的相似度满足预设阈值的相似字体图像，根据该相似字体图像中的字体特征生成用户字体库；由于该方案可以针对不同用户书写字体的不同情况采用不同的生成方式，当用户书写的字体满足预设条件时，可以通过用户的字体类别嵌入向量和文字嵌入向量直接生成用户的个性化字体库；当用户书写的字体不满足预设条件时，可以在预设字体库中寻找与用户字体最相似的字体，结合用户书写过的字体和最相似的字体，合成用户的个性化字体库，能够满足一定程度的个性化字体的需求，有效地提高字体生成的灵活性。
此外，本申请实施例还提供一种网络设备，如图4所示，其示出了本申请实施例所涉及的网络设备的结构示意图，具体来讲：
该网络设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的网络设备结构并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该网络设备的控制中心，利用各种接口和线路连接整个网络设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行网络设备的各种功能和处理数据，从而对网络设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
网络设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该网络设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，网络设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，网络设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
采集用户字体图像，该用户字体图像为用户书写字体的图像，再对该用户字体图像中的用户书写字体进行特征提取，得到字体类别特征，当该用户字体图像满足预设条件时，获取标准文字集对应的文字特征集，根据该字体类别特征和该文字特征集生成用户字体库，该文字特征集是对标准文字集对应的标准文字图像集进行特征提取得到，当该用户字体图像不满足预设条件时，在预设字体库中查找与该用户字体图像的相似度满足预设阈值的相似字体图像，根据该相似字体图像中的字体特征生成用户字体库。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本实施例在采集用户字体图像后，该用户字体图像为用户书写字体的图像，可以对该用户字体图像中的用户书写字体进行特征提取，得到字体类别特征，当该用户字体图像满足预设条件时，获取标准文字集对应的文字特征集，根据该字体类别特征和该文字特征集生成用户字体库，该文字特征集是对标准文字集对应的标准文字图像集进行特征提取得到，当该用户字体图像不满足预设条件时，在预设字体库中查找与该用户字体图像的相似度满足预设阈值的相似字体图像，根据该相似字体图像中的字体特征生成用户字体库；由于该方案可以针对不同用户书写字体的不同情况采用不同的生成方式，当用户书写的字体满足预设条件时，可以通过用户的字体类别嵌入向量和文字嵌入向量直接生成用户的个性化字体库；当用户书写的字体不满足预设条件时，可以在预设字体库中寻找与用户字体最相似的字体，结合用户书写过的字体和最相似的字体，合成用户的个性化字体库，能够满足一定程度的个性化字体的需求，有效地提高字体生成的灵活性。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例还提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种字体生成方法中的步骤。例如，该指令可以执行如下步骤：
采集用户字体图像，该用户字体图像为用户书写字体的图像，再对该用户字体图像中的用户书写字体进行特征提取，得到字体类别特征，当该用户字体图像满足预设条件时，获取标准文字集对应的文字特征集，根据该字体类别特征和该文字特征集生成用户字体库，该文字特征集是对标准文字集对应的标准文字图像集进行特征提取得到，当该用户字体图像不满足预设条件时，在预设字体库中查找与该用户字体图像的相似度满足预设阈值的相似字体图像，根据该相似字体图像中的字体特征生成用户字体库。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种字体生成方法中的步骤，因此，可以实现本申请实施例所提供的任一种字体生成方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种字体生成方法、装置和存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种字体生成方法，其特征在于，包括：
采集用户字体图像，所述用户字体图像为用户书写字体的图像；
对所述用户字体图像中的用户书写字体进行特征提取，得到字体类别特征；
当所述用户字体图像满足预设条件时，获取标准文字集对应的文字特征集，根据所述字体类别特征和所述文字特征集生成用户字体库，所述文字特征集是对标准文字集对应的标准文字图像集进行特征提取得到；
当所述用户字体图像不满足预设条件时，在预设字体库中查找与所述用户字体图像的相似度满足预设阈值的相似字体图像，根据所述相似字体图像中的字体特征生成用户字体库。
2.根据权利要求1所述的方法，其特征在于，所述文字特征集包括多个文字特征，所述根据所述字体类别特征和所述文字特征集生成用户字体库，包括：
利用深度生成对抗网络将获取到的多个文字特征进行向量化，得到多个文字嵌入向量；
将提取到的字体类别特征进行向量化，得到字体类别嵌入向量；
利用所述字体类别嵌入向量和所述多个文字嵌入向量生成多个文字字体图像；
将所述多个文字字体图像进行融合，生成用户字体库。
3.根据权利要求2所述的方法，其特征在于，所述将提取到的字体类别特征进行向量化，得到字体类别嵌入向量，包括：
将所述用户字体图像的字体类别进行初始向量化，得到初始字体类别嵌入向量；
利用深度生成对抗网络的解码器将所述初始字体类别嵌入向量和所述文字嵌入向量生成初始字体图像；
计算所述初始字体图像和所述用户字体图像的相似度，根据所述相似度调整所述初始字体类别嵌入向量，直到所述初始字体图像和所述用户字体图像的相似度满足预设阈值，得到字体类别嵌入向量。
4.根据权利要求2所述的方法，其特征在于，所述利用深度生成对抗网络将提取到的字体类别特征进行向量化，得到字体类别嵌入向量之前，还包括：
获取用户字体图像样本和标准文字图像样本；
利用所述用户字体图像样本和标准文字图像样本对预设生成对抗网络进行训练，得到深度生成对抗网络。
5.根据权利要求4所述的方法，其特征在于，所述预设生成对抗网络包括预设编码器、预设解码器和预设判别器，所述利用所述用户字体图像样本和标准文字图像样本对预设生成对抗网络进行训练，得到深度生成对抗网络，包括：
利用预设编码器对所述标准文字图像样本中的文字提取特征向量，得到文字向量样本；
利用预设解码器将初始字体类别向量样本和所述文字向量样本生成重构字体图像样本；
利用预设判别器对所述重构字体图像样本和用户字体图像样本进行判别，以及对用户字体图像样本进行分类，根据判别结果和分类结果对所述预设生成对抗网络进行调整，直到所述预设生成对抗网络收敛，得到深度生成对抗网络。
6.根据权利要求5所述的方法，其特征在于，所述利用预设解码器将初始字体类别向量样本和所述文字向量样本生成重构字体图像样本，包括：
利用预设解码器对初始字体类别向量样本和所述文字向量样本进行多层卷积上采样重构图像，得到重构字体图像样本。
7.根据权利要求5所述的方法，其特征在于，所述利用预设判别器对所述重构字体图像样本和用户字体图像样本进行判别，以及对用户字体图像样本进行分类，根据判别结果和分类结果对所述预设生成对抗网络进行调整，直到所述预设生成对抗网络收敛，得到深度生成对抗网络，包括：
利用预设判别器对所述重构字体图像样本和用户字体图像样本进行判别，根据判别结果对所述预设生成对抗网络进行调整，直到所述预设生成对抗网络收敛；以及
对用户字体图像样本进行分类，根据分类结果生成字体类别向量样本，计算所述初始字体类别向量样本和所述字体类别向量样本的相似度，根据所述相似度对所述预设生成对抗网络进行调整，直到所述预设生成对抗网络收敛，得到深度生成对抗网络。
8.根据权利要求7所述的方法，其特征在于，所述利用预设判别器对所述重构字体图像样本和用户字体图像样本进行判别，根据判别结果对所述预设生成对抗网络进行调整，包括：
根据所述用户字体图像样本和所述重构字体图像样本之间的距离计算范数损失函数；
根据所述用户字体图像样本和所述重构字体图像样本中的文字之间的距离计算恒定损失函数；
根据所述重构字体图像样本以及其类别信息，和用户字体图像样本以及其类别信息计算对抗损失函数；
根据所述用户字体图像样本的真实值和重构字体图像样本的预测值计算所述预设生成对抗网络的损失函数；
利用所述范数损失函数、所述恒定损失函数、所述对抗损失函数和所述预设生成对抗网络的损失函数对所述预设生成对抗网络进行调整。
9.根据权利要求8所述的方法，其特征在于，所述根据所述重构字体图像样本以及其类别信息，和用户字体图像样本以及其类别信息计算对抗损失函数，包括：
将所述重构字体图像样本和用户字体图像样本作为预设判别器的输入图像样本；
利用预设判别器对所述输入图像样本提取图像特征，得到输入图像特征；
将所述输入图像特征映射成一维向量，根据所述一维向量判断所述输入图像样本的真实性；
将所述输入图像特征和所述输入图像样本的类别特征进行内积，得到目标类别向量；
根据所述输入图像样本的真实性和所述输入图像样本类别相似度计算预设判别器的对抗损失函数。
10.根据权利要求1至9任一项所述的方法，其特征在于，所述在预设字体库中查找与所述用户字体图像的相似度满足预设阈值的相似字体图像，包括：
利用深度相似网络对预设字体库中的多张字体图像进行特征提取，得到多个字体特征；
将所述多个字体特征进行特征向量化，得到多个字体向量；
计算所述多个字体向量与所述字体类别嵌入向量的相似度；
查找相似度满足预设阈值的字体向量，将满足预设阈值的字体向量确定为相似字体向量；
所述根据所述相似字体图像中的字体特征生成用户字体库，包括：根据所述相似字体向量生成用户字体库。
11.根据权利要求10所述的方法，其特征在于，所述利用深度相似网络对预设字体库中的多张字体图像进行特征提取之前，还包括：
获取用户字体图像样本，所述用户字体图像样本包含字体类别的真实值；
利用所述用户字体图像样本对预设相似网络进行训练，得到深度相似网络。
12.根据权利要求11所述的方法，其特征在于，所述利用所述用户字体图像样本对预设相似网络进行训练，得到深度相似网络，包括：
对所述用户字体图像样本中的字体进行特征提取，得到字体特征样本；
采用预设相似网络对所述字体特征样本进行分类，得到所述用户字体图像样本中字体类别的预测值；
根据所述用户字体图像样本的真实值和预测值对所述预设相似网络进行调整，直到所述预设相似网络收敛，得到深度相似网络。
13.根据权利要求12所述的方法，其特征在于，所述根据所述用户字体图像样本的真实值和预测值对所述预设相似网络进行调整，直到所述预设相似网络收敛，得到深度相似网络，包括：
根据所述用户字体图像样本的真实值和预测值计算预设相似网络的损失函数；
根据所述用户字体图像样本和预设字体库中的字体类别计算中心损失函数；
基于所述预设相似网络的损失函数和所述中心损失函数对所述预设相似网络进行调整，直到所述预设相似网络收敛，得到深度相似网络。
14.一种字体生成装置，其特征在于，包括：
采集单元，用于采集用户字体图像，所述用户字体图像为用户书写字体的图像；
提取单元，用于对所述用户字体图像中的用户书写字体进行特征提取，得到字体类别特征；
第一生成单元，用于当所述用户字体图像满足预设条件时，获取标准文字集对应的文字特征集，根据所述字体类别特征和所述文字特征集生成用户字体库，所述文字特征集是对标准文字集对应的标准文字图像集进行特征提取得到；
第二生成单元，用于当所述用户字体图像不满足预设条件时，在预设字体库中查找与所述用户字体图像的相似度满足预设阈值的相似字体图像，根据所述相似字体图像中的字体特征生成用户字体库。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至13中任一项所述的字体生成方法中的步骤。
CN201911239852.5A 2019-12-06 2019-12-06 字体生成方法、装置和存储介质 Active CN111079374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911239852.5A CN111079374B (zh) 2019-12-06 2019-12-06 字体生成方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911239852.5A CN111079374B (zh) 2019-12-06 2019-12-06 字体生成方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN111079374A true CN111079374A (zh) 2020-04-28
CN111079374B CN111079374B (zh) 2023-06-16

Family

ID=70313158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911239852.5A Active CN111079374B (zh) 2019-12-06 2019-12-06 字体生成方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN111079374B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967459A (zh) * 2020-10-21 2020-11-20 北京易真学思教育科技有限公司 模型训练方法、图像识别方法、装置、设备及存储介质
CN112633290A (zh) * 2021-03-04 2021-04-09 北京世纪好未来教育科技有限公司 文本识别方法、电子设备及计算机可读介质
CN113095421A (zh) * 2021-04-20 2021-07-09 北京百度网讯科技有限公司 生成字体数据库的方法、神经网络模型的训练方法和装置
CN115310405A (zh) * 2022-07-21 2022-11-08 北京汉仪创新科技股份有限公司 基于对抗生成网络的字体替换方法、系统、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108170649A (zh) * 2018-01-26 2018-06-15 广东工业大学 一种基于dcgan深度网络的汉字字库生成方法及装置
US20180373979A1 (en) * 2017-06-22 2018-12-27 Adobe Systems Incorporated Image captioning utilizing semantic text modeling and adversarial learning
CN110211203A (zh) * 2019-06-10 2019-09-06 大连民族大学 基于条件生成对抗网络的汉字字体的方法
CN110533737A (zh) * 2019-08-19 2019-12-03 大连民族大学 基于结构引导汉字字体生成的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180373979A1 (en) * 2017-06-22 2018-12-27 Adobe Systems Incorporated Image captioning utilizing semantic text modeling and adversarial learning
CN108170649A (zh) * 2018-01-26 2018-06-15 广东工业大学 一种基于dcgan深度网络的汉字字库生成方法及装置
CN110211203A (zh) * 2019-06-10 2019-09-06 大连民族大学 基于条件生成对抗网络的汉字字体的方法
CN110533737A (zh) * 2019-08-19 2019-12-03 大连民族大学 基于结构引导汉字字体生成的方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967459A (zh) * 2020-10-21 2020-11-20 北京易真学思教育科技有限公司 模型训练方法、图像识别方法、装置、设备及存储介质
CN112633290A (zh) * 2021-03-04 2021-04-09 北京世纪好未来教育科技有限公司 文本识别方法、电子设备及计算机可读介质
CN113095421A (zh) * 2021-04-20 2021-07-09 北京百度网讯科技有限公司 生成字体数据库的方法、神经网络模型的训练方法和装置
US20220180650A1 (en) * 2021-04-20 2022-06-09 Beijing Baidu Netcom Science Technology Co., Ltd. Method of generating font database, and method of training neural network model
EP4040404A3 (en) * 2021-04-20 2022-10-05 Beijing Baidu Netcom Science Technology Co., Ltd. Method and apparatus of generating font database, and method and apparatus of training neural network model
US11816908B2 (en) * 2021-04-20 2023-11-14 Beijing Baidu Netcom Science Technology Co., Ltd. Method of generating font database, and method of training neural network model
CN113095421B (zh) * 2021-04-20 2024-03-05 北京百度网讯科技有限公司 生成字体数据库的方法、神经网络模型的训练方法和装置
CN115310405A (zh) * 2022-07-21 2022-11-08 北京汉仪创新科技股份有限公司 基于对抗生成网络的字体替换方法、系统、设备和介质

Also Published As

Publication number Publication date
CN111079374B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
Wang et al. M3: Multimodal memory modelling for video captioning
CN109409222B (zh) 一种基于移动端的多视角人脸表情识别方法
CN109635150B (zh) 文本生成方法、装置以及存储介质
JP7193252B2 (ja) 画像の領域のキャプション付加
US11899927B2 (en) Simulated handwriting image generator
CN111079374B (zh) 字体生成方法、装置和存储介质
CN112131978B (zh) 一种视频分类方法、装置、电子设备和存储介质
CN113297975A (zh) 表格结构识别的方法、装置、存储介质及电子设备
Chu et al. Image retrieval based on a multi-integration features model
CN109977958A (zh) 一种离线手写体数学公式识别重构方法
CN110929080A (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
CN110929640B (zh) 一种基于目标检测的宽幅遥感描述生成方法
CN112734881A (zh) 基于显著性场景图分析的文本合成图像方法及系统
CN113111968A (zh) 图像识别模型训练方法、装置、电子设备和可读存储介质
CN113407663A (zh) 基于人工智能的图文内容质量识别方法和装置
CN114065848A (zh) 一种基于预训练情感嵌入的中文方面级别情感分类方法
CN113378919B (zh) 融合视觉常识和增强多层全局特征的图像描述生成方法
CN105678349B (zh) 一种视觉词汇的上下文描述子生成方法
CN111445545B (zh) 一种文本转贴图方法、装置、存储介质及电子设备
WO2023173552A1 (zh) 目标检测模型的建立方法、应用方法、设备、装置及介质
CN107169450A (zh) 一种高分辨率遥感图像的场景分类方法及系统
CN113095072A (zh) 文本处理方法及装置
CN111428468A (zh) 单语句通顺度预测方法、装置、设备及存储介质
Vijayaraju Image retrieval using image captioning
US11599856B1 (en) Apparatuses and methods for parsing and comparing video resume duplications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022581

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant