CN113792855B - 一种模型训练及字库建立方法、装置、设备和存储介质 - Google Patents

一种模型训练及字库建立方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN113792855B
CN113792855B CN202111057881.7A CN202111057881A CN113792855B CN 113792855 B CN113792855 B CN 113792855B CN 202111057881 A CN202111057881 A CN 202111057881A CN 113792855 B CN113792855 B CN 113792855B
Authority
CN
China
Prior art keywords
word
loss
target domain
network
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111057881.7A
Other languages
English (en)
Other versions
CN113792855A (zh
Inventor
刘家铭
唐礼承
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111057881.7A priority Critical patent/CN113792855B/zh
Publication of CN113792855A publication Critical patent/CN113792855A/zh
Priority to JP2022007181A priority patent/JP2023039888A/ja
Priority to US17/583,259 priority patent/US20220148239A1/en
Priority to EP22159079.7A priority patent/EP4044127A3/en
Priority to KR1020220025908A priority patent/KR20220034070A/ko
Application granted granted Critical
Publication of CN113792855B publication Critical patent/CN113792855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/109—Font handling; Temporal or kinetic typography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Document Processing Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种模型训练及字库建立方法、装置、设备和存储介质，涉及人工智能技术领域，具体涉及计算机视觉和深度学习技术领域，可应用于OCR光学字符识别等场景。具体的进行模型训练的实现方案为：将源域样本字和源域样本字的目标域关联字输入到字体生成模型的字体生成网络，得到目标域生成字；将目标域样本字和目标域关联字中的至少一项，以及目标域生成字输入到字体生成模型的损失分析网络，得到第一损失，并根据第一损失调整字体生成模型的参数；将源域样本字和随机向量输入到字体生成网络，得到随机域生成字；将随机域生成字和随机域样本字输入到损失分析网络，得到第二损失，并根据第二损失再次调整字体生成模型的参数。提高模型的准确性。

Description

一种模型训练及字库建立方法、装置、设备和存储介质
技术领域
本公开涉及人工智能技术领域，具体涉及计算机视觉和深度学习技术领域，可应用于OCR光学字符识别等场景。
背景技术
随着互联网的发展，以及人们个性化需求的增加，自定义风格字体的生成逐渐兴起。
字体生成的过程实质是图像风格迁移的过程，即将一张图像在保持内容不变的情况下，转换成另一种风格，例如，将标准楷体风格的“你”字转换成用户手写体风格的“你”。
发明内容
本公开提供了一种模型训练及字库建立方法、装置、设备和存储介质。
根据本公开的一方面，提供了一种字体生成模型的训练方法，包括：
将源域样本字和源域样本字的目标域关联字输入到字体生成模型的字体生成网络，得到目标域生成字；
将目标域样本字和目标域关联字中的至少一项，以及目标域生成字输入到字体生成模型的损失分析网络，得到第一损失，并根据第一损失调整字体生成模型的参数；
将源域样本字和随机向量输入到字体生成网络，得到随机域生成字；
将随机域生成字和随机域样本字输入到损失分析网络，得到第二损失，并根据第二损失再次调整字体生成模型的参数。
根据本公开的另一方面，提供了一种字库建立方法，包括：
将源域输入字输入到字体生成模型，得到目标域新字；以及
基于目标域新字建立字库；
其中，字体生成模型是根据本公开任一实施例的字体生成模型的训练方法训练得到。
根据本公开的另一方面，提供了一种电子设备，该电子设备包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开任一实施例的字体生成模型的训练和/或字库建立方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开任一实施例的字体生成模型的训练和/或字库建立方法。
根据本公开的技术，为少样本训练字体生成模型提供了一种新思路，提高了模型训练的准确性和泛化性。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开的一个实施例的可以应用字体生成模型的训练方法和/或字库建立方法的示例性系统架构示意图；
图2A是根据本公开实施例提供的一种字体生成模型的训练方法的流程图；
图2B是根据本公开实施例提供的一种字体生成模型的结构示意图；
图3是根据本公开实施例提供的另一种字体生成模型的结构示意图；
图4是根据本公开实施例提供的另一种字体生成模型的训练方法的流程图；
图5是根据本公开实施例提供的另一种字体生成模型的训练方法的流程图；
图6是根据本公开实施例提供的一种字库建立方法的流程图；
图7是根据本公开实施例提供的一种字体生成模型的训练装置的结构示意图；
图8是根据本公开实施例提供的一种字库建立装置的结构示意图；
图9是用来实现本公开实施例的字体生成模型的训练方法和/或字库建立方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
字体生成是图像风格迁移领域中的一项新兴任务，图像风格迁移是将一张图像在保持内容不变的情况下转换成另外一种风格，是深度学习应用的热门研究方向。
目前可以采用GAN(Generative Adversarial Networks，生成式对抗网络)模型来实现字体生成。但是在基于GAN模型的字体生成方案中，利用偏小数据量训练的网络，只能学习出一些相对较弱的特征，类似倾斜、大小、部分笔画的特征，无法学习出最具有用户风格的特征。也可以使用较大数据量训练的网络，虽然在风格上较强，但在训练集之外的汉字易产生错字。这些主流的研究成果，都很难达到字体级别的效果。
本公开的实施例提出了一种字体生成模型的训练方法以及使用该字体生成模型来建立字库的方法。在训练字体生成模型执行源域和目标域的字体风格迁移任务的过程中，引入源域和随机风格的字体迁移训练，即增加了随机训练分支，来提高字体生成模型执行字体风格迁移的能力，在目标域样本数据较少，或源域字体不符合字体分布的风格字时，仍可生成美观又正确的字体，提高了模型的准确性和泛化性。
图1是根据本公开的一个实施例的可以应用字体生成模型的训练方法和/或字库建立方法的示例性系统架构示意图。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括多个终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线和/或无线通信链路等等。
用户可以使用终端设备101通过网络102与服务器103进行交互，以接收或发送消息等。终端设备101可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机等等。
本公开实施例所提供的字体生成模型的训练方法和/或字库建立方法中的至少之一一般可以由服务器103执行。相应地，本公开实施例所提供的字体生成模型的训练装置和/或字库建立的装置一般可以设置于服务器103中。本公开实施例所提供的字体生成模型的训练方法和/或字库建立方法也可以由不同于服务器103且能够与终端设备101和/或服务器103通信的服务器或服务器集群执行。相应地，本公开实施例所提供的字体生成模型的训练装置和/或字库建立的装置也可以设置于不同于服务器103且能够与终端设备101和/或服务器103通信的服务器或服务器集群中。
图2A是根据本公开实施例提供的一种字体生成模型的训练方法的流程图；图2B是根据本公开实施例提供的一种字体生成模型的结构示意图。本公开实施例适用于训练执行字体风格迁移任务的字体生成模型的情况，尤其适用于基于少样本数据训练执行字体风格迁移任务的字体生成模型的情况。该方法可以由字体生成模型的训练装置来执行，该装置可以采用软件和/或硬件的方式实现。如图2A-2B所示，本实施例提供的字体生成模型的训练方法可以包括：
S201，将源域样本字和源域样本字的目标域关联字输入到字体生成模型的字体生成网络，得到目标域生成字。
其中，源域样本字可以是具有源域字体风格的图像，源域字体风格可以是楷体、宋体或黑体等常规字体。目标域关联字可以是具有目标域字体风格，且可以覆盖源域样本字的偏旁部首的图像。目标域字体风格可以是用户手写字体风格或者其他艺术字字体风格。需要说明的是，本实例中目标域关联字的个数可以是一个或多个，优选为多个。目标域生成字可以是字体生成模型生成的具有源域样本字的内容，和目标域关联字的字体风格的图像，例如，若源域样本字为“你”，其对应的偏旁部首包括“亻”和“尔”，则目标域关联字可以是具有目标域字体风格，且包含“亻”和“尔”的所有字的图像，如“称”和“佳”。目标域生成字可以是具有目标域字体风格的“你”。
如图2B所示，本申请实施例的字体生成模型2是将源域样本字从源域风格字体迁移到目标域风格字体的神经网络模型。该字体生成模型2可以包括字体生成网络20和损失分析网络21。其中，字体生成网络20用于执行字体风格迁移的任务，即字体生成模型的主干网络；损失分析网络21用于在模型训练阶段，计算训练过程中模型的损失函数，以便模型基于该损失函数进行参数的调整。
具体的，本实施例在执行一次迭代训练任务时，可以是先基于源域样本字，获取一批覆盖该源域样本字偏旁部首的目标域关联字，然后将源域样本字和目标域关联字输入到字体生成模型2的字体生成网络20，字体生成网络20就会基于输入的源域样本字和目标域关联字，将源域样本字的字体风格从源域字体风格迁移到目标域字体风格，得到目标域生成字。如图2B所示，将宋体风格字体“你”(即源域样本字)和手写风格字体“称”和“佳”(即目标域关联字)输入到字体生成模型2的字体生成网络20中，得到手写风格字体“你”(即目标域生成字)。
S202，将目标域样本字和目标域关联字中的至少一项，以及目标域生成字输入到字体生成模型的损失分析网络，得到第一损失，并根据第一损失调整字体生成模型的参数。
其中，目标域样本字可以是真实存在的具有源域样本字的内容，和目标域关联字的字体风格的图像。其是目标域生成字对应的标准字。例如，若样本字为“你”，目标域为用户手写风格字体，则该目标域样本字可以是用户真实手写的“你”字。目标域生成字，是字体生成模型预测出来的用户手写的“你”字。第一损失为S201步骤基于目标域关联字和源域样本字对模型训练时计算的损失函数。
本实施例的字体生成模型中的损失分析网络可以包括解析至少一种类型损失函数的至少一个子网络，也就是说，基于该损失分析网络确定的第一损失中可包含至少一种类型的损失函数值。例如，字体生成模型的损失分析网络，可以分析目标域样本字和目标域生成字的字符内容的一致性，生成字符分类损失；分析目标域样本字和目标域生成字的字体风格的一致性，生成风格分类损失；分析目标域关联字和目标域生成字的偏旁部首(即组件)的一致性，生成组件分类损失；分析目标域生成字是否为错字的错字损失等。本实施例在通过损失分析网络计算出第一损失后，基于该第一损失来调整字体生成模型的字体生成网络和损失分析网络的参数值。此时完成了一次迭代训练任务的第一阶段的训练，即目标分支训练。
S203，将源域样本字和随机向量输入到字体生成网络，得到随机域生成字。
其中，随机向量可以是根据正态分布随机采样一个随机向量。该随机向量对应一个随机域的风格字体。随机向量的维度可以是预先设置的。随机域生成字可以是具有源域样本字的内容，和随机向量对应的随机域的字体风格的图像。
本实施例针对一次迭代训练任务，完成S201-S202的第一阶段训练后，还需要基于源域样本字体和随机采样的随机向量，对模型进行第二阶段的训练，即随机分支训练。具体的，将源域样本字和随机向量输入到字体生成模型2的字体生成网络20，字体生成网络20就会基于输入的源域样本字和随机向量，将源域样本字的字体风格从源域字体风格迁移到随机向量对应的随机域字体风格，得到随机域生成字。
S204，将随机域生成字和随机域样本字输入到损失分析网络，得到第二损失，并根据第二损失再次调整字体生成模型的参数。
其中，随机样本字可以是真实存在的具有源域样本字的内容和随机域字体风格的图像。其是随机域生成字对应的标准字。第二损失为S203步骤基于随机向量和源域样本字对模型训练时计算的损失函数。第一损失和第二损失可以相同，也可以不同。
由于S203步骤训练时，字体风格是随机的，所以损失分析网络无法确定风格迁移的是否正确，因此，损失分析网络在执行本步骤生成第二损失时，可从字符内容进行考虑，如可以是解析随机域生成字的字符内容与随机域样本字是否一致，生成字符分类损失；还可以分析随机域生成字是否为错字的错字损失等。本实施例在通过损失分析网络计算出第二损失后，基于该第二损失来调整字体生成模型的字体生成网络和损失分析网络的参数值。此时完成了一次迭代训练任务的第二阶段的训练，即随机分支训练。
需要说明的是，本申请实施例的方案，需要基于多组源域样本字，对模型进行多次迭代训练，具体的，针对每组源域样本字，对字体生成模型进行一次迭代训练时，都分为目标分支(即S201-S202)和随机分支(即S203-S204)进行两阶段训练。进行多次迭代训练，直至达到预设的训练停止条件，则停止调整字体生成模型的参数，得到经训练的字体生成模型。训练停止条件可以包括：训练次数达到预设次数，或者上述第一损失和/或第二损失收敛等。
还需要说明的是，输入到字体生成模型的字(如源域样本字、目标域关联字、目标域样本字和随机域样本字)可以是以图像的形式输入的，且输入到字体生成模型的字所对应的图像可以来自于公开数据集，或者是经过了相关授权后获取。
本申请实施例的方案，在对字体生成模型进行一次迭代训练时，包括基于源域样本字和目标域关联字对模型进行目标分支训练阶段，以及基于源域样本字和随机向量对模型进行随机分支训练阶段。通过引入随机分支训练阶段，来提高字体生成模型执行字体风格迁移的能力，在目标域样本数据较少，或源域字体不符合字体分布的风格字时，仍可生成美观又正确的字体，提高了模型的准确性和泛化性。为少样本训练字体生成模型提供了一种新思路。
图3是根据本公开实施例提供的另一种字体生成模型的结构示意图。如图3所示，本申请实施例的字体生成模型3的字体生成网络30包括：内容编码器网络301、随机风格编码器网络302、目标风格编码器网络303和解码器网络304。其中，内容编码器网络301用于编码源域样本字的内容特征；随机风格编码器网络302用于编码随机向量的风格特征；目标风格编码器网络303用于编码目标域关联字的风格特征。可选的，上述各编码器网络可以包括由多个首尾连接的全连接层构成的多层感知网络。各编码器网络的多层感知网络的网络层设计可以相同可以不同。解码器网络304用于基于各编码器编码的特征，解码得到风格迁移后的生成字。本实施例的上述各编码器网络均与解码器网络304连接。
本实施例的字体生成模型的风格解码器，不但包括待迁移的目标风格的目标风格编码器，还包括随机风格的随机风格编码，这样设置的好处是，能够支持模型训练阶段，引入随机风格字体对模型训练的影响，来提字体生成模型执行字体风格迁移的能力，进而提高模型的准确性和泛化性。
本申请实施例的字体生成模型3的损失分析网络31包括：组件分类器网络311、字符判别器网络312、风格判别器网络313和字符分类器网络314中的至少一个。其中，组件分类器网络311用于计算组件分类损失；字符判别器网络312用于计算字符分类损失；风格判别器网络313用于计算风格分类损失；字符分类器网络314用于计算错字损失。因此，本实施例的第一损失包括：组件分类损失、第一字符分类损失、风格分类损失和第一错字损失中的至少一个；第二损失包括：第二字符分类损失和/或第二错字损失。具体如何计算上述各损失的过程将在后续实施例进行详细介绍。
本实施例的损失分析网络中可以包括多种计算不同类型损失的网络结构，这样设置的好处是，通过多种不同类型的损失来对模型进行训练，极大的提高模型训练结果的精准性。
接下来，基于图3所示的字体生成模型，具体介绍该字体生成模型的训练方法。
图4是根据本公开实施例提供的另一种字体生成模型的训练方法的流程图。本公开实施例在上述实施例的基础上，进一步对如何得到目标域生成字和随机域生成字的过程进行详细解释说明，如图3-图4所示，本实施例提供的字体生成模型的训练方法可以包括：
S401，将源域样本字输入到内容编码器网络，得到样本字内容特征。
其中，样本字内容特征可以是表征源域样本字的字体内容(如字符类别和组件类别)的特征。
示例性的，如图3所示，将源域样本字(如宋体风格字体“你”)输入到字体生成模型3的字体生成网络30的内容编码器网络301，该内容编码器网络301就会对输入的源域样本字的字体内容进行编码，得到样本字内容特征。
S402，将源域样本字的目标域关联字输入到目标风格编码器网络，得到目标域风格特征。
其中，目标域风格特征可以是表征目标域的字体风格的特征。
示例性的，如图3所示，将源域样本字的目标域关联字(如手写风格字体“称”和“佳”)输入到字体生成模型3的字体生成网络30的目标风格编码器网络303，该目标风格编码器网络303就会对输入的目标域关联字的字体风格进行编码，得到样本字内容特征。
可选的，若输入的目标域关联字为多个时，目标风格编码器303可以先为每个目标域关联字，生成一个子风格特征，然后再对各子风格特性进行处理(如均值处理)，从而得到能够表征目标域的整体风格特征(即目标域风格特征)。
S403，将目标域风格特征和样本字内容特征输入到解码器网络，得到目标域生成字。
示例性的，如图3所示，将内容编码器网络301编码的样本字内容特征，以及目标风格编码器303编码的目标风格特征都输入到解码器网络304，解码器网络304就会对目标域风格特征和样本字内容特征进行解码，进而基于解码结果，融合得到具有源域样本字的内容，和目标域关联字的字体风格的目标域生成字(如手写风格的“你”)。
S404，将目标域样本字和目标域关联字中的至少一项，以及目标域生成字输入到字体生成模型的损失分析网络，得到第一损失，并根据第一损失调整字体生成模型的参数。
S405，将源域样本字输入到内容编码器网络，得到样本字内容特征。
需要说明的是，本步骤的具体执行过程与S401相同。在执行第二阶段训练时，也可以不执行本步骤，即在执行S407时，获取S401得到的样本内容特征即可。
S406，将随机向量输入到随机风格编码器网络，得到随机域风格特征。
其中，目标域风格特征可以是表征随机向量对应的随机域的字体风格的特征。
示例性的，如图3所示，随机采样一个符合正太分布的随机向量，并将其输入到字体生成模型3的字体生成网络30的随机风格编码器网络302，该随机风格编码器网络302可通过其内部的多层感知网络，得到随机向量对应的随机字体风格的随机域风格特征。
S407，将随机域风格特征和样本字内容特征输入到解码器网络，得到随机域生成字。
示例性的，如图3所示，将内容编码器网络301编码的样本字内容特征，以及随机风格编码器302编码的随机风格特征都输入到解码器网络304，解码器网络304就会对随机域风格特征和样本字内容特征进行解码，进而基于解码结果，融合得到具有源域样本字的内容，和随机域的字体风格的随机域生成字(图3中未示出随机域生成字)。
S408，将随机域生成字和随机域样本字输入到损失分析网络，得到第二损失，并根据第二损失再次调整字体生成模型的参数。
本申请实施例的方案，在对字体生成模型进行一次迭代训练时，不但要基于源域样本字和目标域关联字对模型进行训练，还将随机向量输入到随机风格编码网络，基于随机风格编码网络输出的随机风格特征再次计算损失函数来对模型进行随机分支训练。同时引入目标风格字和随机风格字体对模型训练的影响，来提字体生成模型执行字体风格迁移的能力，进而提高模型的准确性和泛化性。
图5是根据本公开实施例提供的一种字体生成模型的训练方法的流程图。本公开实施例在上述实施例的基础上，进一步对如何计算第一损失和第二损失，以及如何基于第一损失和第二损失调整字体生成模型的参数进行详细解释说明，如图3和图5所示，本实施例提供的字体生成模型的训练方法可以包括：
S501，将源域样本字和源域样本字的目标域关联字输入到字体生成模型的字体生成网络，得到目标域生成字。
S502，将目标域样本字和目标域关联字中的至少一项，以及目标域生成字输入到字体生成模型的损失分析网络，得到组件分类损失、第一字符分类损失、风格分类损失和第一错字损失中的至少一个，并根据组件分类损失、第一字符分类损失、风格分类损失和第一错字损失中的至少一个调整字体生成模型的参数。
接下来，依次对S502中各类型损失的计算方法，以及基于该损失如何对模型进行训练的过程进行介绍。
(一)、确定组件分类损失的过程可以包括：将目标域关联字和目标域生成字输入到组件分类器网络，得到目标域生成字的组件向量和目标域关联字的组件向量；根据目标域生成字的组件向量和目标域关联字的组件向量之间的差异，确定组件分类损失。
其中，组件向量可以是一个N维的向量，N为组件表中包含的所有组件，即所有偏旁部首的数量值。组件向量中的每个元素代表组件表中的一个组件，若输入的字中包含该组件，则该元素为第一数值(如1)，否则为第二数值(如0)。因此，组件分类器网络可通过生成的组件向量来预测输入的字中是否包含预设的偏旁部首(即组件)。
具体的，本实施例可以将目标域关联字和目标域生成字输入到组件分类器网络311，组件分类器网络311就会针对输入的目标域关联字和目标域生成字，各生成一个N维的组件向量，如组件向量1和组件向量2，进而基于N维组件向量1和N维组件向量2之间的差异，来计算组件分类损失值。例如，通过计算两组件向量的交叉熵作为分类损失值。在计算出该组件分类损失值后，可以以该组件分类损失值为约束来调整字体生成模型3的参数，以使得所有风格的字经过该组件分类器网络311后都可以正确进行组件分类。本实施例在字体生成模型的训练过程中，引入组件分类损失，能够保证所有风格的字经过该组件分类器网络后都可以正确进行组件分类，进而保证目标域生成字保留了目标域关联字的组件(即多个目标关联字共有的组件)。
(二)、确定第一字符分类损失的过程可以包括：
子步骤A、将目标域样本字和目标域生成字输入到字符判别器网络，得到第一字符分类损失的第一字符损失值，并基于第一字符损失值，调整字符判别器网络的参数。
具体的，如图3所示，本子步骤可以是将目标域样本字和目标域生成字输入到字符判别器网络312，得到目标域生成字的字符分类头位置和目标域样本字的字符分类头位置；并根据目标域生成字的字符分类头位置和目标域样本字的字符分类头位置，确定第一字符分类损失的第一字符损失值。
在本实施例中，训练样本可以包含M个(如6700个)字的图像。M个字可以构成一个M维的向量，即字符分类头向量，向量中的每个元素对应一个字，该元素在字符分类头向量中的位置即为字符分类头位置。本实施例的字符判别器网络312会为目标域样本字确定其对应的字符分类头位置X，为目标域生成字确定其对应的字符分类头位置X*。并基于下述公式(1)来计算第一字符分类损失的第一字符损失值。在确定出第一字符损失值后，基于该第一字符损失值对字符判别器网络312的参数进行一次参数调整。
Figure BDA0003255388260000121
其中，
Figure BDA0003255388260000122
为第一字符分类损失的第一字符损失值；X为目标域样本字的字符分类头位置；X*为目标域生成字的字符分类头位置。
子步骤B、将目标域生成字输入到调整后的字符判别器网络，得到第一字符分类损失的第二字符损失值，并基于第二字符损失值，调整字体生成网络的参数。
具体的，如图3所示，本子步骤可以是将目标域生成字输入到调整后的字符判别器网络312，更新目标域生成字的字符分类头位置；并根据更新后的字符分类头位置，确定第一字符分类损失的第二字符损失值。
在本实施例中，通过子步骤A对字符判别器网络312的参数进行一次更新后，更新后的字符判别器网络312会重新执行确定目标域生成字的字符分类头位置的操作，即更新字符分类头位置X*。并基于下述公式(2)来计算第一字符分类损失的第二字符损失值。在确定出第二字符损失值后，基于该第二字符损失值对字体生成网络30的参数进行一次参数调整。
Figure BDA0003255388260000131
其中，
Figure BDA0003255388260000132
为第一字符分类损失的第二字符损失值；X*为目标域生成字的字符分类头位置。需要说明的是，此时的X*为调整后的字符判别器网络312更新后的字符分类头位置。
子步骤C、将目标域样本字和基于调整后的字体生成网络更新的目标域生成字输入到调整后的字符判别器网络，更新第一字符损失值，并基于更新后的第一字符损失值，再次调整字符判别器网络的参数。
具体的，如图3所示，本步骤可以是将源域样本字和目标域关联字再次输入到子步骤B调整后的字体生成网络30，来更新目标域生成字，然后将更新后的目标域生成字和目标域样本字再次输入到子步骤A调整后字符判别器网络312中，更新目标域生成字的字符分类头位置X*和目标域样本字的字符分类头位置X，进而基于公式(1)更新第一字符损失值，进而基于更新后的第一字符损失值来再次返回调整字符判别器网络312的参数。
本实施例在字体生成模型的训练过程中，引入字符分类损失，并对字符判别器网络312和字体生成网络30交替迭代训练，极大的提高了字体生成网络30和字符判别器网络312的参数的准确性。
(三)、确定风格分类损失的过程可以包括：
子步骤D、将目标域样本字和目标域生成字输入到风格判别器网络，得到风格分类损失的第一风格损失值，并基于第一风格损失值，调整风格判别器网络的参数。
具体的，如图3所示，本子步骤可以是将目标域样本字和目标域生成字输入到风格判别器网络，得到目标域生成字的风格分类头位置和目标域样本字的风格分类头位置；并根据目标域生成字的风格分类头位置和目标域样本字的风格分类头位置，确定风格分类损失的第一风格损失值。
在本实施例中，训练样本可以包含S种(如80种)风格字体。S种风格可以构成一个S维的向量，即风格分类头向量，向量中的每个元素对应一种风格，该元素在风格分类头向量中的位置即为风格分类头位置。本实施例的风格判别器网络313会为目标域样本字确定其对应的风格分类头位置Y，为目标域生成字确定其对应的风格分类头位置Y*。并基于下述公式(3)来计算风格分类损失的第一风格损失值。在确定出第一风格损失值后，基于该第一风格损失值对风格判别器网络313的参数进行一次参数调整。
Figure BDA0003255388260000141
其中，
Figure BDA0003255388260000142
为风格分类损失的第一风格损失值；Y为目标域样本字的风格分类头位置；Y*为目标域生成字的风格分类头位置。
子步骤E、将目标域生成字输入到调整后的风格判别器网络，得到风格分类损失的第二风格损失值，并基于第二风格损失值，调整字体生成网络的参数。
具体的，如图3所示，本子步骤可以是将目标域生成字输入到调整后的风格判别器网络313，更新目标域生成字的风格分类头位置；并根据更新后的风格分类头位置，确定风格分类损失的第二风格损失值。
在本实施例中，通过子步骤D对风格判别器网络313的参数进行一次更新后，更新后的风格判别器网络313会重新执行确定目标域生成字的风格分类头位置的操作，即更新风格分类头位置Y*。并基于下述公式(4)来计算风格分类损失的第二风格损失值。在确定出第二风格损失值后，基于该第二风格损失值对字体生成网络30的参数进行一次参数调整。
Figure BDA0003255388260000143
其中，
Figure BDA0003255388260000144
为风格分类损失的第二风格损失值；Y*为目标域生成字的风格分类头位置。需要说明的是，此时的Y*为调整后的风格判别器网络313更新后的风格分类头位置。
子步骤F、将目标域样本字和基于调整后的字体生成网络更新的目标域生成字输入到调整后的风格判别器网络，更新第一风格损失值，并基于更新后的第一风格损失值，再次调整风格判别器网络的参数。
具体的，如图3所示，本步骤可以是将源域样本字和目标域关联字再次输入到子步骤E调整后的字体生成网络30，来更新目标域生成字，然后将更新后的目标域生成字和目标域样本字再次输入到子步骤D调整后风格判别器网络313中，更新目标域生成字的风格分类头位置Y*和目标域样本字的风格分类头位置Y，进而基于公式(3)更新第一风格损失值，进而基于更新后的第一风格损失值来再次返回调整风格判别器网络313的参数。
本实施例在字体生成模型的训练过程中，引入风格分类损失，并对风格判别器网络313和字体生成网络30交替迭代训练，极大的提高了字体生成网络30和风格判别器网络313的参数的准确性。
(四)、确定第一错字损失的过程可以包括：将目标域样本字和目标域生成字输入到字符分类器网络，得到目标域样本字的字符分类头向量和目标域生成字的字符分类头向量；并根据目标域样本字的字符分类头向量和目标域生成字的字符分类头向量之间的差异，确定第一错字损失。
具体的，如图3所示，将目标域样本字和目标域生成字输入到字符分类器网络314，字符分类器网络314会为目标域样本字确定其对应的字符分类头向量
Figure BDA0003255388260000151
为目标域生成字确定其对应的字符分类头向量
Figure BDA0003255388260000152
其中，向量/>
Figure BDA0003255388260000153
和/>
Figure BDA0003255388260000154
中每个元素可以表示训练样本中的一个字符，则m表示训练样本中的字符个数，例如，训练样本具有6761个字，则m可以等于6760。然后基于分类头向量/>
Figure BDA0003255388260000155
和字符分类头向量/>
Figure BDA0003255388260000156
之间的差异，计算第一错字损失。例如，可以根据基于分类头向量/>
Figure BDA0003255388260000157
和字符分类头向量/>
Figure BDA0003255388260000158
之间的交叉熵，按照如下公式(5)，计算第一错字损失。在确定出第一错字损失后，基于该第一错字损失对字体生成网络30的参数进行一次参数调整。
Figure BDA0003255388260000159
其中，
Figure BDA00032553882600001510
表示第一错字损失，xi表示目标域样本字的字符分类头向量中下标为i的元素，yi表示目标域生成字的字符分类头向量中下标为i的元素，i为大于等于0并且小于等于m的整数，m表示字符类分头向量中的元素个数。本实施例在字体生成模型的训练过程中，引入错字损失，来约束字体生成网络30输出的目标域生成字的错字率，从而减少字体生成模型生成错字的概率。
需要说明的是，本实施例可以生成上述四种损失中的至少一种，来调整字体生成模型的参数，以完成对字体生成模型的第一阶段的训练。
S503，将源域样本字和随机向量输入到字体生成网络，得到随机域生成字。
S504，将随机域生成字和随机域样本字输入到损失分析网络，得到第二字符分类损失和/或第二错字损失，并根据第二字符分类损失和/或第二错字损失再次调整字体生成模型的参数。
接下来，对S504中第二字符分类损失和第二错字损失的计算方法，以及基于该损失如何对模型进行训练的过程进行介绍。
(一)、确定第二字符分类损失的过程可以包括：
子步骤G、将随机域生成字和随机域样本字输入到字符判别器网络，得到第二字符分类损失的第三字符损失值，并基于第三字符损失值，调整字符判别器网络的参数。
具体的，如图3所示，本子步骤可以是将随机域样本字和随机域生成字输入到字符判别器网络312，得到随机域生成字的字符分类头位置和随机域样本字的字符分类头位置；并根据随机域生成字的字符分类头位置和随机域样本字的字符分类头位置，确定第二字符分类损失的第三字符损失值。基于该第三字符损失值对字符判别器网络312的参数进行一次参数调整。
需要说明的是，该第三字符损失值计算过程与计算第一字符分类损失的第一字符损失值类似，可参考公式(1)计算，只需将公式(1)中目标域样本字的字符分类头位置改为随机域样本字的字符分类头位置；将目标域生成字的字符分类头位置改为随机域生成字的字符分类头位置。
子步骤H、将随机域生成字输入到调整后的字符判别器网络，得到第二字符分类损失的第四字符损失值，并基于第四字符损失值，调整字体生成网络的参数。
具体的，如图3所示，本子步骤可以是将随机域生成字输入到调整后的字符判别器网络312，更新随机域生成字的字符分类头位置；并根据更新后的字符分类头位置，确定第二字符分类损失的第四字符损失值。在确定出第四字符损失值后，基于该第四字符损失值对字体生成网络30的参数进行一次参数调整。
需要说明的是，该第四字符损失值计算过程与计算第一字符分类损失的第二字符损失值类似，可参考公式(2)计算，只需将公式(2)中目标域生成字的字符分类头位置改为随机域生成字的字符分类头位置。
子步骤I、将随机域样本字和基于调整后的字体生成网络更新后的随机域生成字输入到调整后的字符判别器网络，更新第三字符损失值，并基于更新后的第三字符损失值，再次调整字符判别器网络的参数。
需要说明的是，子步骤I的过程与上述子步骤C的过程类似，再此不进行赘述。
本实施例在字体生成模型的训练过程中，引入字符分类损失，并对字符判别器网络312和字体生成网络30交替迭代训练，极大的提高了字体生成网络30和字符判别器网络312的参数的准确性。
(二)、确定第二错字损失的过程可以包括：将随机域生成字和随机域样本字输入到字符分类器网络，得到随机域生成字的字符分类头向量和随机域样本字的字符分类头向量；根据随机域生成字的字符分类头向量和随机域样本字的字符分类头向量之间的差异，确定第二错字损失。
需要说明的是，确定第二错字损失的过程与上述确定第一错字损失的过程类似，再此不进行赘述。本实施例在字体生成模型的训练过程中，引入错字损失，来约束字体生成网络30输出的目标域生成字的错字率，从而减少字体生成模型生成错字的概率。
还需要说明的是，为便于区分，本实施例使用带*的参数表示该参数与模型生成的图像相关，不带*的参数表示该参数与真实的图像相关。
还需要说明的是，本实施例可以生成上述两种损失种的至少一种，来调整字体生成模型的参数，以完成对字体生成模型的第二阶段的训练。
本申请实施例的方案，在对字体生成模型进行训练的过程中，引入了多种类型损失，由多种类型损失共同约束模型训练，极大的提高了模型训练的准确性。
图6是根据本公开实施例提供的一种字库建立方法的流程图。本公开实施例适用于基于上述实施例训练的字体生成模型来构建字库的情况。该方法可以由字库建立装置来执行，该装置可以采用软件和/或硬件的方式实现。如图6所示，本实施例提供的字库建立方法可以包括：
S601，将源域输入字输入到字体生成模型，得到目标域新字。
其中，字体生成模型可以是基于上述实施例训练的字体生成模型。
例如，源域输入字为宋体字图像，新字为手写字图像，将宋体字图像输入到字体生成模型，可以得到手写字图像。
S602，基于目标域新字建立字库。
本实施例可以将字体生成模型生成的新字进行存储，建立得到具有手写字体风格的字库，该字库可应用于输入法，用户使用基于该字库的输入法可以直接获取具有手写字体风格的字，能够满足了用户多样化的需求，提高了用户体验。
图7是根据本公开实施例提供的一种字体生成模型的训练装置的结构示意图。本公开实施例适用于训练执行字体风格迁移任务的字体生成模型的情况，尤其适用于基于少样本数据训练执行字体风格迁移任务的字体生成模型的情况。该装置可以采用软件和/或硬件来实现，该装置可以实现本公开任意实施例的字体生成模型的训练方法。如图7所示，该字体生成模型的训练装置包括：
生成字确定模块701，用于将源域样本字和源域样本字的目标域关联字输入到字体生成模型的字体生成网络，得到目标域生成字；
模型训练模块702，用于将目标域样本字和目标域关联字中的至少一项，以及目标域生成字输入到字体生成模型的损失分析网络，得到第一损失，并根据第一损失调整字体生成模型的参数；
生成字确定模块701，还用于将源域样本字和随机向量输入到字体生成网络，得到随机域生成字；
模型训练模块702，还用于将随机域生成字和随机域样本字输入到损失分析网络，得到第二损失，并根据第二损失再次调整字体生成模型的参数。
本申请实施例的方案，在对字体生成模型进行一次迭代训练时，包括基于源域样本字和目标域关联字对模型进行目标分支训练阶段，以及基于源域样本字和随机向量对模型进行随机分支训练阶段。通过引入随机分支训练阶段，来提高字体生成模型执行字体风格迁移的能力，在目标域样本数据较少，或源域字体不符合字体分布的风格字时，仍可生成美观又正确的字体，提高了模型的准确性和泛化性。为少样本训练字体生成模型提供了一种新思路。
进一步的，上述字体生成网络包括：内容编码器网络、随机风格编码器网络、目标风格编码器网络和解码器网络。
进一步的，上述生成字确定模块701具体用于：
将源域样本字输入到内容编码器网络，得到样本字内容特征；
将随机向量输入到随机风格编码器网络，得到随机域风格特征；
将随机域风格特征和样本字内容特征输入到解码器网络，得到随机域生成字。
进一步的，上述生成字确定模块701还具体用于：
将源域样本字输入到内容编码器网络，得到样本字内容特征；
将源域样本字的目标域关联字输入到目标风格编码器网络，得到目标域风格特征；
将目标域风格特征和样本字内容特征输入到解码器网络，得到目标域生成字。
进一步的，上述损失分析网络包括：组件分类器网络、字符判别器网络、风格判别器网络和字符分类器网络中的至少一个；第一损失包括：组件分类损失、第一字符分类损失、风格分类损失和第一错字损失中的至少一个；第二损失包括：第二字符分类损失和/或第二错字损失。
进一步的，上述模型训练模块702包括：
第一字符损失计算单元，用于将目标域样本字和目标域生成字输入到字符判别器网络，得到第一字符分类损失的第一字符损失值；
字符判别器调整单元，用于基于第一字符损失值，调整字符判别器网络的参数；
第二字符损失计算单元，用于将目标域生成字输入到调整后的字符判别器网络，得到第一字符分类损失的第二字符损失值；
字体生成网络调整单元，用于基于第二字符损失值，调整字体生成网络的参数；
第一字符损失计算单元，还用于将目标域样本字和基于调整后的字体生成网络更新的目标域生成字输入到调整后的字符判别器网络，更新第一字符损失值；
字符判别器调整单元，还用于基于更新后的第一字符损失值，再次调整字符判别器网络的参数。
进一步的，上述第一字符损失计算单元具体用于：
将目标域样本字和目标域生成字输入到字符判别器网络，得到目标域生成字的字符分类头位置和目标域样本字的字符分类头位置；
根据目标域生成字的字符分类头位置和目标域样本字的字符分类头位置，确定第一字符分类损失的第一字符损失值。
进一步的，上述第二字符损失计算单元具体用于：
将目标域生成字输入到调整后的字符判别器网络，更新目标域生成字的字符分类头位置；
根据更新后的字符分类头位置，确定第一字符分类损失的第二字符损失值。
进一步的，上述模型训练模块702还包括：
第一风格损失计算单元，用于将目标域样本字和目标域生成字输入到风格判别器网络，得到风格分类损失的第一风格损失值；
风格判别器调整单元，用于基于第一风格损失值，调整风格判别器网络的参数；
第二风格损失计算单元，用于将目标域生成字输入到调整后的风格判别器网络，得到风格分类损失的第二风格损失值；
字体生成网络调整单元，用于基于第二风格损失值，调整字体生成网络的参数；
第一风格损失计算单元，还用于将目标域样本字和基于调整后的字体生成网络更新后目标域生成字输入到调整后的风格判别器网络，更新第一风格损失值；
风格判别器调整单元，还用于基于更新后的第一风格损失值，再次调整风格判别器网络的参数。
进一步的，上述第一风格损失计算单元具体用于：
将目标域样本字和目标域生成字输入到风格判别器网络，得到目标域生成字的风格分类头位置和目标域样本字的风格分类头位置；
根据目标域生成字的风格分类头位置和目标域样本字的风格分类头位置，确定风格分类损失的第一风格损失值。
进一步的，上述第二风格损失计算单元具体用于：
将目标域生成字输入到调整后的风格判别器网络，更新目标域生成字的风格分类头位置；
根据更新后的风格分类头位置，确定风格分类损失的第二风格损失值。
进一步的，上述模型训练模块702，还包括：
第三字符损失计算单元，用于将随机域生成字和随机域样本字输入到字符判别器网络，得到第二字符分类损失的第三字符损失值；
字符判别器调整单元，用于基于第三字符损失值，调整字符判别器网络的参数；
第四字符损失计算单元，用于将随机域生成字输入到调整后的字符判别器网络，得到第二字符分类损失的第四字符损失值；
字体生成网络调整单元，用于基于第四字符损失值，调整字体生成网络的参数
第三字符损失计算单元，还用于将随机域样本字和基于调整后的字体生成网络更新后的随机域生成字输入到调整后的字符判别器网络，更新第三字符损失值；
字符判别器调整单元，还用于基于更新后的第三字符损失值，再次调整字符判别器网络的参数。
进一步的，上述模型训练模块702还包括：
组件分类损失计算单元，用于将目标域关联字和目标域生成字输入到组件分类器网络，得到目标域生成字的组件向量和目标域关联字的组件向量；根据目标域生成字的组件向量和目标域关联字的组件向量之间的差异，确定组件分类损失。
进一步的，上述模型训练模块702还包括：
第一错字损失计算单元，用于将目标域样本字和目标域生成字输入到字符分类器网络，得到目标域样本字的字符分类头向量和目标域生成字的字符分类头向量；根据目标域样本字的字符分类头向量和目标域生成字的字符分类头向量之间的差异，确定第一错字损失。
进一步的，上述模型训练模块702还包括：
第二错字损失计算单元，用于将随机域生成字和随机域样本字输入到字符分类器网络，得到随机域生成字的字符分类头向量和随机域样本字的字符分类头向量；根据随机域生成字的字符分类头向量和随机域样本字的字符分类头向量之间的差异，确定第二错字损失。
图8是根据本公开实施例提供的一种字库建立装置的结构示意图。本公开实施例适用于基于上述实施例训练的字体生成模型来构建字库的情况。该装置可以采用软件和/或硬件来实现，该装置可以实现本公开任意实施例的字库建立方法。如图8所示，该字库建立装置包括：
新字生成模块801，用于将源域输入字输入到字体生成模型，得到目标域新字；以及
字库建立模块802，用于基于目标域新字建立字库；
其中，字体生成模型是根据本公开任一实施例的字体生成模型的训练方法来训练得到的。
本实施例可以将字体生成模型生成的新字进行存储，建立得到具有手写字体风格的字库，该字库可应用于输入法，用户使用基于该字库的输入法可以直接获取具有手写字体风格的字，能够满足了用户多样化的需求，提高了用户体验。
上述产品可执行本公开任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
应注意，本公开的技术方案中，所涉及的字体图像的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如字体生成模型的训练方法和/或字库建立方法。例如，在一些实施例中，字体生成模型的训练方法和/或字库建立方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的字体生成模型的训练方法和/或字库建立方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行字体生成模型的训练方法和/或字库建立方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种字体生成模型的训练方法，包括：
将源域样本字输入到字体生成模型的字体生成网络的内容编码器网络，得到样本字内容特征；其中，所述字体生成网络包括：内容编码器网络、随机风格编码器网络、目标风格编码器网络和解码器网络；
将所述源域样本字的目标域关联字输入到所述目标风格编码器网络，得到目标域风格特征；
将所述目标域风格特征和所述样本字内容特征输入到所述解码器网络，得到目标域生成字；
将目标域样本字和所述目标域关联字中的至少一项，以及所述目标域生成字输入到所述字体生成模型的损失分析网络，得到第一损失，并根据所述第一损失调整所述字体生成模型的参数；
将所述源域样本字输入到所述内容编码器网络，得到样本字内容特征；
将随机向量输入到所述随机风格编码器网络，得到随机域风格特征；
将所述随机域风格特征和所述样本字内容特征输入到所述解码器网络，得到随机域生成字；
将所述随机域生成字和随机域样本字输入到所述损失分析网络，得到第二损失，并根据所述第二损失再次调整所述字体生成模型的参数；
其中，所述损失分析网络用于在模型训练阶段，计算训练过程中模型的损失函数。
2.根据权利要求1所述的方法，其中，所述损失分析网络包括：组件分类器网络、字符判别器网络、风格判别器网络和字符分类器网络中的至少一个；所述第一损失包括：组件分类损失、第一字符分类损失、风格分类损失和第一错字损失中的至少一个；所述第二损失包括：第二字符分类损失和/或第二错字损失。
3.根据权利要求2所述的方法，其中，所述将目标域样本字和所述目标域关联字中的至少一项，以及所述目标域生成字输入到所述字体生成模型的损失分析网络，得到第一损失，并根据所述第一损失调整所述字体生成模型的参数，包括：
将目标域样本字和所述目标域生成字输入到所述字符判别器网络，得到第一字符分类损失的第一字符损失值，并基于所述第一字符损失值，调整所述字符判别器网络的参数；
将所述目标域生成字输入到调整后的字符判别器网络，得到第一字符分类损失的第二字符损失值，并基于所述第二字符损失值，调整所述字体生成网络的参数；
将目标域样本字和基于调整后的字体生成网络更新的目标域生成字输入到调整后的字符判别器网络，更新所述第一字符损失值，并基于更新后的第一字符损失值，再次调整字符判别器网络的参数。
4.根据权利要求3所述的方法，其中，所述将目标域样本字和所述目标域生成字输入到所述字符判别器网络，得到第一字符分类损失的第一字符损失值，包括：
将目标域样本字和所述目标域生成字输入到所述字符判别器网络，得到目标域生成字的字符分类头位置和目标域样本字的字符分类头位置；
根据目标域生成字的字符分类头位置和目标域样本字的字符分类头位置，确定第一字符分类损失的第一字符损失值。
5.根据权利要求3所述的方法，其中，所述将所述目标域生成字输入到调整后的字符判别器网络，得到第一字符分类损失的第二字符损失值，包括：
将所述目标域生成字输入到调整后的字符判别器网络，更新目标域生成字的字符分类头位置；
根据更新后的字符分类头位置，确定第一字符分类损失的第二字符损失值。
6.根据权利要求2所述的方法，其中，所述将目标域样本字和所述目标域关联字中的至少一项，以及所述目标域生成字输入到所述字体生成模型的损失分析网络，得到第一损失，并根据所述第一损失调整所述字体生成模型的参数，包括：
将目标域样本字和所述目标域生成字输入到所述风格判别器网络，得到风格分类损失的第一风格损失值，并基于所述第一风格损失值，调整所述风格判别器网络的参数；
将所述目标域生成字输入到调整后的风格判别器网络，得到风格分类损失的第二风格损失值，并基于所述第二风格损失值，调整所述字体生成网络的参数；
将目标域样本字和基于调整后的字体生成网络更新的目标域生成字输入到调整后的风格判别器网络，更新所述第一风格损失值，并基于更新后的第一风格损失值，再次调整风格判别器网络的参数。
7.根据权利要求6所述的方法，其中，所述将目标域样本字和所述目标域生成字输入到所述风格判别器网络，得到风格分类损失的第一风格损失值，包括：
将目标域样本字和所述目标域生成字输入到所述风格判别器网络，得到目标域生成字的风格分类头位置和目标域样本字的风格分类头位置；
根据目标域生成字的风格分类头位置和目标域样本字的风格分类头位置，确定风格分类损失的第一风格损失值。
8.根据权利要求6所述的方法，其中，所述将所述目标域生成字输入到调整后的风格判别器网络，得到风格分类损失的第二风格损失值，包括：
将所述目标域生成字输入到调整后的风格判别器网络，更新目标域生成字的风格分类头位置；
根据更新后的风格分类头位置，确定风格分类损失的第二风格损失值。
9.根据权利要求2所述的方法，其中，所述将所述随机域生成字和随机域样本字输入到所述损失分析网络，得到第二损失，并根据所述第二损失再次调整所述字体生成模型的参数，包括：
将所述随机域生成字和随机域样本字输入到所述字符判别器网络，得到第二字符分类损失的第三字符损失值，并基于所述第三字符损失值，调整所述字符判别器网络的参数；
将所述随机域生成字输入到调整后的字符判别器网络，得到第二字符分类损失的第四字符损失值，并基于所述第四字符损失值，调整所述字体生成网络的参数；
将随机域样本字和基于调整后的字体生成网络更新后的随机域生成字输入到调整后的字符判别器网络，更新所述第三字符损失值，并基于更新后的第三字符损失值，再次调整字符判别器网络的参数。
10.根据权利要求2所述的方法，其中，所述将目标域样本字和所述目标域关联字中的至少一项，以及所述目标域生成字输入到所述字体生成模型的损失分析网络，得到第一损失，包括：
将所述目标域关联字和所述目标域生成字输入到所述组件分类器网络，得到所述目标域生成字的组件向量和所述目标域关联字的组件向量；
根据所述目标域生成字的组件向量和所述目标域关联字的组件向量之间的差异，确定组件分类损失。
11.根据权利要求2所述的方法，其中，所述将目标域样本字和所述目标域关联字中的至少一项，以及所述目标域生成字输入到所述字体生成模型的损失分析网络，得到第一损失，包括：
将目标域样本字和所述目标域生成字输入到所述字符分类器网络，得到目标域样本字的字符分类头向量和所述目标域生成字的字符分类头向量；
根据所述目标域样本字的字符分类头向量和所述目标域生成字的字符分类头向量之间的差异，确定第一错字损失。
12.根据权利要求2所述的方法，其中，所述将所述随机域生成字和随机域样本字输入到所述损失分析网络，得到第二损失，包括：
将所述随机域生成字和随机域样本字输入到所述字符分类器网络，得到随机域生成字的字符分类头向量和所述随机域样本字的字符分类头向量；
根据所述随机域生成字的字符分类头向量和所述随机域样本字的字符分类头向量之间的差异，确定第二错字损失。
13. 一种字库建立方法，包括：
将源域输入字输入到字体生成模型，得到目标域新字；以及
基于所述目标域新字建立字库；
其中，所述字体生成模型是根据如权利要求1至12中任一项所述的方法来训练得到的。
14.一种字体生成模型的训练装置，包括：
生成字确定模块，具体用于：
将源域样本字输入到字体生成模型的字体生成网络的内容编码器网络，得到样本字内容特征；其中，所述字体生成网络包括：内容编码器网络、随机风格编码器网络、目标风格编码器网络和解码器网络；
将所述源域样本字的目标域关联字输入到所述目标风格编码器网络，得到目标域风格特征；
将所述目标域风格特征和所述样本字内容特征输入到所述解码器网络，得到目标域生成字；
模型训练模块，用于将目标域样本字和所述目标域关联字中的至少一项，以及所述目标域生成字输入到所述字体生成模型的损失分析网络，得到第一损失，并根据所述第一损失调整所述字体生成模型的参数；
所述生成字确定模块，还具体用于：
将所述源域样本字输入到所述内容编码器网络，得到样本字内容特征；
将随机向量输入到所述随机风格编码器网络，得到随机域风格特征；
将所述随机域风格特征和所述样本字内容特征输入到所述解码器网络，得到随机域生成字；
所述模型训练模块，还用于将所述随机域生成字和随机域样本字输入到所述损失分析网络，得到第二损失，并根据所述第二损失再次调整所述字体生成模型的参数；
其中，所述损失分析网络用于在模型训练阶段，计算训练过程中模型的损失函数。
15. 一种字库建立装置，包括：
新字生成模块，用于将源域输入字输入到字体生成模型，得到目标域新字；以及
字库建立模块，用于基于所述目标域新字建立字库；
其中，所述字体生成模型是根据如权利要求1至12中任一项所述的方法来训练得到的。
16. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的字体生成模型的训练方法，和/或执行根据权利要求13所述的字库建立方法。
17.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-12中任一项所述的字体生成模型的训练方法，和/或执行根据权利要求13所述的字库建立方法。
CN202111057881.7A 2021-09-09 2021-09-09 一种模型训练及字库建立方法、装置、设备和存储介质 Active CN113792855B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202111057881.7A CN113792855B (zh) 2021-09-09 2021-09-09 一种模型训练及字库建立方法、装置、设备和存储介质
JP2022007181A JP2023039888A (ja) 2021-09-09 2022-01-20 モデルトレーニング及び字庫作成の方法、装置、機器、及び記憶媒体
US17/583,259 US20220148239A1 (en) 2021-09-09 2022-01-25 Model training method and apparatus, font library establishment method and apparatus, device and storage medium
EP22159079.7A EP4044127A3 (en) 2021-09-09 2022-02-28 Model training method and apparatus, font library establishment method and apparatus, device and storage medium
KR1020220025908A KR20220034070A (ko) 2021-09-09 2022-02-28 모델 훈련 및 폰트 라이브러리 구축 방법, 장치, 설비 및 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111057881.7A CN113792855B (zh) 2021-09-09 2021-09-09 一种模型训练及字库建立方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN113792855A CN113792855A (zh) 2021-12-14
CN113792855B true CN113792855B (zh) 2023-06-23

Family

ID=78879829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111057881.7A Active CN113792855B (zh) 2021-09-09 2021-09-09 一种模型训练及字库建立方法、装置、设备和存储介质

Country Status (5)

Country Link
US (1) US20220148239A1 (zh)
EP (1) EP4044127A3 (zh)
JP (1) JP2023039888A (zh)
KR (1) KR20220034070A (zh)
CN (1) CN113792855B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114386370A (zh) * 2022-01-14 2022-04-22 北京有竹居网络技术有限公司 一种字体生成方法、装置及设备
CN114970447A (zh) * 2022-05-26 2022-08-30 华侨大学 一种汉字字体转换方法、装置、设备和存储介质
CN114973279B (zh) * 2022-06-17 2023-02-17 北京百度网讯科技有限公司 手写文本图像生成模型的训练方法、装置和存储介质
CN115147850B (zh) * 2022-06-30 2023-05-05 北京百度网讯科技有限公司 文字生成模型的训练方法、文字生成方法及其装置
CN115620307B (zh) * 2022-12-02 2023-04-18 杭州实在智能科技有限公司 用于扩充ocr训练集的随机字体样式生成方法及系统
CN115983140B (zh) * 2023-03-16 2023-06-09 河北工业大学 一种基于大数据深度学习的电磁场数值预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364860A (zh) * 2020-11-05 2021-02-12 北京字跳网络技术有限公司 字符识别模型的训练方法、装置和电子设备
CN113140018A (zh) * 2021-04-30 2021-07-20 北京百度网讯科技有限公司 训练对抗网络模型的方法、建立字库的方法、装置和设备
CN113140017A (zh) * 2021-04-30 2021-07-20 北京百度网讯科技有限公司 训练对抗网络模型的方法、建立字库的方法、装置和设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10515295B2 (en) * 2017-10-27 2019-12-24 Adobe Inc. Font recognition using triplet loss neural network training
JP7482783B2 (ja) * 2018-09-20 2024-05-14 富士フイルム株式会社 フォント作成装置、フォント作成方法及びフォント作成プログラム
US11216658B2 (en) * 2018-11-14 2022-01-04 Adobe Inc. Utilizing glyph-based machine learning models to generate matching fonts
CN112329803B (zh) * 2019-08-05 2022-08-26 北京大学 一种基于标准字形生成的自然场景文字识别方法
JP2021026191A (ja) * 2019-08-08 2021-02-22 ブラザー工業株式会社 学習済みの機械学習モデル、画像データ生成装置、および、方法
CN113011337B (zh) * 2021-03-19 2022-08-30 山东大学 一种基于深度元学习的汉字字库生成方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364860A (zh) * 2020-11-05 2021-02-12 北京字跳网络技术有限公司 字符识别模型的训练方法、装置和电子设备
CN113140018A (zh) * 2021-04-30 2021-07-20 北京百度网讯科技有限公司 训练对抗网络模型的方法、建立字库的方法、装置和设备
CN113140017A (zh) * 2021-04-30 2021-07-20 北京百度网讯科技有限公司 训练对抗网络模型的方法、建立字库的方法、装置和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于条件生成对抗网络的蒙古文字体风格迁移模型;李进;高静;陈俊杰;王永军;;中文信息学报(第04期);第58-62页 *

Also Published As

Publication number Publication date
EP4044127A2 (en) 2022-08-17
JP2023039888A (ja) 2023-03-22
US20220148239A1 (en) 2022-05-12
KR20220034070A (ko) 2022-03-17
CN113792855A (zh) 2021-12-14
EP4044127A3 (en) 2022-09-07

Similar Documents

Publication Publication Date Title
CN113792854B (zh) 一种模型训练及字库建立方法、装置、设备及存储介质
CN113792855B (zh) 一种模型训练及字库建立方法、装置、设备和存储介质
CN113239705B (zh) 语义表示模型的预训练方法、装置、电子设备和存储介质
JP7346788B2 (ja) 音声認識モデルのトレーニング方法、装置、機器、および記憶媒体
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
CN113590858B (zh) 目标对象的生成方法、装置、电子设备以及存储介质
CN114942984B (zh) 视觉场景文本融合模型的预训练和图文检索方法及装置
CN112466288A (zh) 语音识别方法、装置、电子设备及存储介质
CN113792850B (zh) 字体生成模型训练方法、字库建立方法、装置及设备
CN116152833B (zh) 基于图像的表格还原模型的训练方法及表格还原方法
CN112989935A (zh) 一种视频生成方法、装置、设备以及存储介质
JP2023547010A (ja) 知識の蒸留に基づくモデルトレーニング方法、装置、電子機器
CN113053367A (zh) 语音识别方法、语音识别的模型训练方法以及装置
CN113177449A (zh) 人脸识别的方法、装置、计算机设备及存储介质
EP3855341A1 (en) Language generation method and apparatus, electronic device and storage medium
CN113963358B (zh) 文本识别模型训练方法、文本识别方法、装置及电子设备
CN113468857B (zh) 风格转换模型的训练方法、装置、电子设备以及存储介质
CN114358198A (zh) 实例分割方法、装置及电子设备
CN113361621A (zh) 用于训练模型的方法和装置
CN113408632A (zh) 提高图像分类准确性的方法、装置、电子设备及存储介质
CN113239215A (zh) 多媒体资源的分类方法、装置、电子设备及存储介质
CN113361712B (zh) 特征确定模型的训练方法、语义分析方法、装置及电子设备
CN113553863B (zh) 文本生成方法、装置、电子设备和存储介质
CN114973279B (zh) 手写文本图像生成模型的训练方法、装置和存储介质
CN115630630B (zh) 语言模型处理方法、业务处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant