CN118036555A - 基于骨架式转移和结构对比学习的少样本字体生成方法 - Google Patents

Abstract

本发明属于计算机视觉领域，公开了基于骨架式转移和结构对比学习的少样本字体生成方法，包括下列步骤：步骤一、建立生成模型，所述生成模型包括生成器和鉴别器；步骤二、对生成模型进行训练，通过将整体损失最小化来优化少样本字体生成模型；步骤三、完成训练后利用训练好的字体生成模型进行字体生成；所述生成模型为少样本字体生成模型，还包括结构对比学习模块，所述结构对比学习模块将字体结构划分为若干类别，并基于所有的训练图像通过聚类方法计算对应各个类别的聚类中心，将聚类中心存储在字典中。本发明同时增强内容和风格表示的全局信息和局部信息，从而借助这两个模块有效地解决笔画错位和样式失真等问题。

Description

基于骨架式转移和结构对比学习的少样本字体生成方法

技术领域

本发明属于计算机视觉技术领域，具体涉及基于骨架式转移和结构对比学习的少样本字体生成方法。

背景技术

采用常规的字体生成模型则需要较多字体样本对模型进行训练，而字体样本设计传统上是通过手工制作，但手动创建过程属于劳动密集型工作且耗时较长，因此深入研究少样本的自动化字体生成技术有很大的重要性。少样本字体生成旨在用最少的样本创建新的字体样式，由于汉字的笔画和结构组成，对汉字来说尤其具有挑战性。现有的少样本字体生成模型分为两大类：面向组件的模型和面向内容的模型。

面向组件的模型的重点在于捕捉和表示局部或细粒度的样式特征。在一些现有技术中，模型利用汉字的组件并通过学习组件级别的样式来进行字体生成。在一些现有技术中，模型则通过一种基于注意力的组件感知模块CG-GAN来监督字体生成。这些面向组件的模型在学习局部级别的样式方面表现出色，但使用的组件信息通常难以表示字符的整体结构信息，导致生成结果不尽如人意，例如存在笔画错位和样式扭曲。

与面向组件的模型不同，面向内容的模型集中于捕捉和表示字体的整体或全局样式特征，无需进行标记。在有的现有技术中，技术人员引入了一个特征变形跳过连接来预测增强内容表示的位移映射对。在另一些现有技术中，技术人员则引入了一个称为LSG-FCST的层相似性引导模型，用于捕捉内容和样式特征之间的差异。还有些现有技术则设计了一个内容融合模块，允许提取代表性的内容特征。尽管这些模型在捕捉总体风格方面有效，但它们在表示局部样式细节方面表现不佳，导致局部样式模糊。

因此如何兼顾字符的整体结构信息和局部细节成为现有技术需要解决的技术问题。

发明内容

本发明的目的是提供基于骨架式转移和结构对比学习的少样本字体生成方法，用于解决现有技术中在少样本情况下生成字体难以兼顾字符的整体结构信息和局部细节的技术问题。

所述的基于骨架式转移和结构对比学习的少样本字体生成方法，包括下列步骤。

步骤一、建立生成模型，所述生成模型包括生成器和鉴别器。

步骤二、对生成模型进行训练，通过将整体损失最小化来优化少样本字体生成模型。

步骤三、完成训练后利用训练好的字体生成模型进行字体生成。

所述生成模型为少样本字体生成模型，还包括结构对比学习模块，生成器用于根据内容图像和风格图像生成对应字符具有目标字体风格的生成图像；鉴别器用于在训练时鉴别生成图像的真实性；所述结构对比学习模块将字体结构划分为若干类别，并基于所有的训练图像通过聚类方法计算对应各个类别的聚类中心，将聚类中心存储在字典中。

步骤二中，使用综合对抗损失、L₁损失和结构对比损失形成的整体损失来评估生成图像的质量，结构对比损失用于监督生成图像的结构并同时保持生成图像风格的一致性，在训练中根据每次迭代所得的生成图像对字典进行优化更新，同时更新参数让整体损失最小化。

优选的，所述步骤二具体包括下列步骤。

S2.1、采集多种字体的汉字字符图像形成训练图像的训练集。

S2.2、进行结构对比学习模块的初始化。

S2.3、通过生成器生成目标字体风格的生成图像。

S2.4、通过综合对抗损失、L₁损失和结构对比损失形成的整体损失来评估生成图像的质量并进行相应参数优化。

优选的，所述步骤S2.1中，训练图像包括内容图像、目标图像和风格图像，内容图像为用于识别出字符内容的字符图像，目标图像为具有目标字体风格并对应内容图像的图像，风格图像为具有目标字体风格的字符样本，训练图像还包括其他用于产生存储字典的多种字体的字符图像。

优选的，所述步骤S2.2中，在训练开始时，先根据每种风格的结构标签将字体结构划分为若干不同的类别，基于这种结构划分的结构编码器用于对所有训练图像进行编码，训练图像经结构编码后能得到相应的结构特征，结构特征表示为U={u₁₁，u₁₂，...，u_mp}，其中U为对应的结构特征的集合，u_ij为对应训练图像x_ij的结构特征；其中i=1，2，...，m，i为字体编号，m为结构特征的集合中字体的数量；j=1，2，...，p，j为对应字体的每个结构特征的编号，与对应的字符编号相同，p为相应字体的结构特征数量；编码过程表示为u_ij=E_f(x_ij)，E_f(・)表示通过结构编码器E_f编码；接着使用所述结构标签计算每个类别的平均值以建立聚类中心，计算聚类中心的公式如下：

，

其中H_k表示第k个聚类，|・|表示每个聚类中实例的数量，H_k包含了所有属于第k个聚类的结构特征u_ij，而S_k表示第k个聚类中心；建立聚类中心后将这些聚类中心形成的记忆字典存储在存储字典中。

优选的，少样本字体生成模型还包括骨架提取模块，生成器进一步包括内容编码器、风格编码器、骨架编码器、骨架-风格转移模块和混合器，所述步骤S2.3中，内容图像经过骨架提取模块提取骨架特征后形成骨架图像，骨架图像、内容图像和风格图像均输入到生成器中，内容编码器处理内容图像得到内容特征，风格编码器处理风格图像得到风格特征，骨架编码器处理骨架图像；风格图像和骨架图像分别输入到风格编码器和骨架编码器后，在风格编码器和骨架编码器的第四层分别生成了第一特征和第二特征，二者通过骨架-风格转移模块融合形成骨架-风格嵌入特征，将内容特征、风格特征和骨架-风格嵌入特征输入到混合器中进行合并融合从而得到生成图像。

优选的，所述步骤S2.3中，第一特征和第二特征通过骨架-风格转移模块融合的计算方法如下：f_s=m(x_s＋x_sk)・x_s＋(1－m(x_s＋x_sk))・x_sk，其中，m(・)表示通过多尺度通道注意力模块处理以得到的注意力特征，f_s为融合形成骨架-风格嵌入特征，x_s表示第一特征，x_sk表示第二特征，将第一特征和第二特征相加得到特征和，特征和输入多尺度通道注意力模块，经过全局平均池化得到新特征，新特征与特征和均依次经过卷积、GeLU激活、再次卷积处理；将二者处理结果相加后通过Sigmoid函数处理再与开始时输入的特征和相乘从而得到注意力特征；m(x_s＋x_sk)即表示该注意力特征，同时也是介于0到1之间的融合权重，对应第一特征；对应第二特征的融合权重为1－m(x_s＋x_sk)。

优选的，所述步骤S2.4中，结构对比损失的损失函数如下：

，

其中，L_sc表示结构对比损失,·表示点积运算，q表示生成图像的查询实例，S_k表示存储字典中与查询实例对应的聚类中心，包括正样本S⁺和负样本S^-，N表示S_k中的样本总数，参数τ是一个温度缩放因子。

计算结构对比损失时需要将生成图像经所述结构编码器编码得到生成图像的查询实例q，每个训练迭代期间，通过查询实例q寻找与之相似结构特征向量的正样本S⁺，而那些不相似的则视为负样本S⁻，引导查询实例q朝着正样本S⁺的方向进行学习，存储字典根据每次迭代的查询实例q不断更新和调整，存储字典更新的计算公式如下：

，

其中Q_k表示第k个类别的生成图像编码得到的查询实例的集合，t是动量更新因子。

优选的，所述步骤S2.4中，对抗损失包括内容对抗损失和风格对抗损失，内容对抗损失的损失函数如下：L_advc=L_contG＋L_contD，其中，L_contG表示内容生成损失，L_contD表示内容鉴别损失，L_advc表示内容对抗损失；风格对抗损失的损失函数如下：L_advs=L_styleG＋L_styleD，其中，L_styleG表示风格生成损失，L_styleD表示风格鉴别损失，L_advs表示风格对抗损失；少样本字体生成模型的整体损失的损失函数如下：L_STS-Font=λ_adv(L_advc＋L_advs)＋λ_L1L₁＋λ_lscL_sc，其中，λ_adv、λ_L1和λ_lsc是三个可调节的超参数，分别为对应综合对抗损失、L₁损失和结构对比损失的三个权重，L_STS-Font是少样本字体生成模型的整体损失。

优选的，L₁损失的损失函数如下：，其中，/>表示在给定数据集中生成图像/>和目标图像y的分布下计算期望值。

本发明具有以下优点：本发明的生成模型中设置了结构对比学习模块，采用结构记忆字典引入了一种新颖的结构对比学习方法。在训练过程之前，其中的存储字典使用训练数据进行初始化，从聚类对比方面创建更准确的结构表示；并在训练过程中更新结构表示，以限制判别器并优化生成器，训练中利用结构对比损监督生成图像的结构，保持生成图像风格的一致性，并基于结构特征强调生成字符的局部细节。

本方案采用的生成器不仅具有内容编码器和风格编码器，还通过提取骨架图像并利用骨架编码器提取特征，从而能利用骨架-风格转移模块改善内容和风格的转化。用骨架-风格转移模块能通过骨架自适应地提取风格特征，再通过整合的特征保持全面的内容和风格信息，将骨架-风格嵌入特征和风格特征、内容特征混合生成图像，能有效增强生成图像的内容和风格表示。

本方案整合了结构对比学习模块和骨架-风格转移模块，因此能同时增强内容和风格表示的全局信息和局部信息，从而借助这两个模块有效地解决笔画错位和样式失真等问题。通过实验对比可知相比现有技术，该方案生成的图像具有更精确的内容和更逼真的风格。同时该方案在跨语言字体生成方面的良好泛化性能。

附图说明

图1为本发明基于骨架式转移和结构对比学习的少样本字体生成方法的模型流程图。

图2为本发明中骨架-风格转移模块的流程示意图。

图3为本发明实施例中字体结构的七个类别的示意图，虚线部分表示对应类别包含的字体结构。

具体实施方式

下面对照附图，通过对实施例的描述，对本发明具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和伸入的理解。

如图1-图3所示，本发明提供了基于骨架式转移和结构对比学习的少样本字体生成方法，包括下列步骤。

步骤一、建立少样本字体生成模型，所述少样本字体生成模型包括生成器、鉴别器和结构对比学习模块。

生成器（G）用于根据内容图像和风格图像生成对应字符具有目标字体风格的生成图像；鉴别器用于在训练时鉴别生成图像的真实性；所述结构对比学习（structualcontrastive learning,SCL）模块将字体结构划分为若干类别，并基于所有的训练图像通过聚类方法计算对应各个类别的聚类中心，将聚类中心存储在字典中，并在训练中根据每次迭代所得的生成图像对字典进行优化更新。此外该模型还可以设置骨架提取模块以从字符的内容图像中提取骨架图像。

其中生成器进一步包括内容编码器（E_c）、风格编码器（E_s）、骨架编码器（E_sk）、骨架-风格转移（skeleton-style transfer, SST）模块和混合器（M）。内容编码器用于从字符的内容图像（即未转化字体风格的现有字体的图像）提取字符的内容特征，风格编码器E_s用于从风格图像提取相应的风格特征。骨架编码器用于对骨架图像进行处理。骨架-风格转移模块用于将风格编码器和骨架编码器中产生的特征融合形成骨架-风格嵌入特征（f_s），从而通过字符的骨架自适应地提取相应风格特征，混合器用于将内容特征（X_c）、风格特征（X_s）和骨架-风格嵌入特征融合形成生成图像。

鉴别器基于目标图像（即具有目标图像风格并与内容图像对应的图像）评估生成图像的真实性，包括风格鉴别器和内容鉴别器。风格鉴别器用于评估所述生成图像的风格特征的真实性，内容鉴别器用于评估生成图像的风格特征的真实性。

所述结构对比学习模块包括结构编码器和存储字典，所述结构编码器用于对所有训练图像基于结构进行编码，将字体结构划分为若干类别并对应设置每种风格的结构标签，在初始化时基于编码后图像聚类创建聚类级别的记忆字典进行存储形成所述存储字典，所述存储字典在训练时根据每次迭代所得的生成图像进行更新调整。

步骤二、对所述少样本字体生成模型进行训练，使用综合对抗损失、L₁损失和结构对比损失形成的整体损失来评估生成图像的质量，通过将整体损失最小化来优化少样本字体生成模型。

在训练过程中具体包括下列步骤。

S2.1、采集多种字体的汉字字符图像形成训练图像的训练集。

训练图像包括内容图像、目标图像、风格图像和其他用于产生存储字典的字符图像。内容图像为现有字体能供生成器识别出字符内容，目标图像为具有目标字体风格并对应内容图像的图像，风格图像为具有目标字体风格的字符样本，训练图像还包括其他多种字体的字符图像。

S2.2、进行结构对比学习模块的初始化。

结构对比学习旨在将相似的结构化字体拉近，同时将不同的结构化字体推远，对于具体的字符图像，相似的结构化字体即正样本，不同的结构化字体即负样本。考虑到汉字字体风格的多样性，本方法基于聚类对比技术创建了一个聚类级别的记忆字典，并基于这种字体结构相关的记忆字典引入了一种新颖的结构对比学习方法。该方法旨在监督汉字生成的质量，降低计算成本，并保持数据的一致性。

该步骤在训练开始时，由于训练图像中基于结构类别的字符数量不平衡，先根据每种风格的结构标签将字体结构划分为若干不同的类别，例如本实施例设置为七个类别，七个类别的具体划分如附图3所示。基于这种结构划分的结构编码器（E）用于对所有训练图像进行编码，训练集表示为X={x₁₁，x₁₂，...，x_MP}，其中X为训练集，x_ij为训练集的元素即训练图像，x_ij为训练集的元素即训练图像，其中i=1，2，...，M，i为字体编号，M为训练集中字体的数量；j=1，2，...，P，其中j为对应字体的字符编号，P为训练集中相应字体的字符数量。训练图像经结构编码后能得到相应的结构特征，结构特征表示为U={u₁₁，u₁₂，...，u_mp}，其中U为对应的结构特征的集合，u_ij为对应训练图像x_ij的结构特征，其中i=1，2，...，m，i为字体编号，m为结构特征的集合中字体的数量；j=1，2，...，p，j为对应字体的每个结构特征的编号，与对应的字符编号相同，p为相应字体的结构特征数量。上述编码过程表示为u_ij=E_f(x_ij)，E_f(・)表示通过结构编码器E_f编码。

接着使用所述结构标签计算每个类别的平均值以建立聚类中心，计算聚类中心的公式如下：

，

其中H_k表示第k个聚类，|・|表示每个聚类中实例的数量，H_k包含了所有属于第k个聚类的结构特征u_ij，而S_k表示第k个聚类中心，建立聚类中心后将这些聚类中心形成的记忆字典存储在存储字典中。

S2.3、通过生成器生成目标字体风格的生成图像。

内容图像经过骨架提取模块提取骨架特征后形成骨架图像，骨架图像、内容图像和风格图像均输入到生成器中由对应的编码器处理，具体为：内容编码器处理内容图像得到内容特征，风格编码器处理风格图像得到风格特征，骨架编码器处理骨架图像。

骨架-风格转移模块旨在通过骨架自适应地提取风格特征，通过整合来自骨架编码器和风格编码器的两种特征保持全面的内容和风格信息。字符的风格图像（I_s）和骨架图像（I_sk）分别输入到风格编码器和骨架编码器后，在风格编码器和骨架编码器的第四层分别生成了第一特征（x_s）和第二特征（x_sk），二者通过骨架-风格转移模块融合，相应的计算方法如下：f_s=m(x_s＋x_sk)・x_s＋(1－m(x_s＋x_sk))・x_sk，其中，m(・)表示通过多尺度通道注意力模块（MS-CAM）处理以得到的注意力特征，f_s为融合形成骨架-风格嵌入特征。

该步骤中，将第一特征（x_s）和第二特征（x_sk）相加得到特征和（x_ss）。特征和（x_ss）输入多尺度通道注意力模块，经过全局平均池化得到新特征，新特征与特征和均依次经过卷积（实现批标准化）、GeLU激活、再次卷积，将二者处理结果相加后通过Sigmoid函数处理再与开始时输入的特征和相乘从而得到注意力特征。简而言之，即通过多尺度通道注意力模块中卷积、GeLU激活等一系列操作来学习特征和的全局和局部信息，最终通过通过Sigmoid函数传递得到注意力特征。m(x_s＋x_sk)即表示该注意力特征，同时也是介于0到1之间的融合权重，对应第一特征；对应第二特征的融合权重为1－m(x_s＋x_sk)。

得到骨架-风格嵌入特征后，将内容特征、风格特征和骨架-风格嵌入特征输入到混合器中进行合并融合从而得到生成图像。

S2.4、通过综合对抗损失、L₁损失和结构对比损失形成的整体损失来评估生成图像的质量并进行相应参数优化。

本方法的模型遵循生成对抗网络的框架，在模型训练过程中，该步骤能使用对抗损失来评估生成图像的质量，对抗损失包括内容对抗损失（L_advc）和风格对抗损失（L_advs）。

内容对抗损失：内容对抗损失（L_advc）是内容生成损失（L_contG）和内容鉴别损失（L_contD）的组合。内容鉴别器（D_content）将内容图像纳入其中以评估生成图像，确定生成图像的内容是否与目标图像的内容相匹配，此过程中生成图像与内容图像沿通道维度连接并输入内容鉴别器中。内容对抗损失的损失函数如下：L_advc=L_contG＋L_contD，其中，L_contG表示内容生成损失，L_contD表示内容鉴别损失，L_advc表示内容对抗损失。

风格对抗损失：风格对抗损失（L_advs）是风格生成损失（L_styleG）和风格鉴别损失（L_styleD）的组合。风格鉴别器（D_style）将风格图像纳入其中以评估生成图像，确定生成图像的字体风格是否与目标图像的字体风格相匹配，此过程中生成图像与风格图像沿通道维度连接并输入风格鉴别器中。风格对抗损失的损失函数如下：L_advs=L_styleG＋L_styleD，其中，L_styleG表示风格生成损失，L_styleD表示风格鉴别损失，L_advs表示风格对抗损失。

内容生成损失L_contG和内容鉴别损失L_contD的损失函数如下：

，

风格生成损失L_styleG和风格鉴别损失L_styleD的损失函数如下：

，

其中表示在给定数据集中生成图像/>和内容图像I_c的分布下计算期望值，/>表示在给定数据集中目标图像y和内容图像I_c的分布下计算期望值，D_content(・)表示以内容鉴别器评估所得结果，D_style(・)表示以风格鉴别器评估所得结果。

L₁损失：该步骤利用L₁损失来量化生成图像和目标图像y之间的像素误差，相应损失函数如下：

，

其中，表示在给定数据集中生成图像/>和目标图像y的分布下计算期望值。

结构对比损失：结构对比损失旨在用于监督生成图像的结构，同时保持其风格的一致性。结构对比损失的损失函数如下：

，

其中，L_sc表示结构对比损失,·表示点积运算，q表示生成图像的查询实例，S_k表示存储字典中与查询实例对应的聚类中心，包括正样本S⁺和负样本S^-，N表示S_k中的样本总数，参数τ是一个温度缩放因子，本实施例中被设置为0.05。

计算结构对比损失时需要将生成图像经所述结构编码器编码得到生成图像的查询实例q，即生成图像的结构特征。每个训练迭代期间，通过查询实例q寻找与之相似结构特征向量的正样本S⁺，而那些不相似的则视为负样本S⁻。通过这种方法引导查询实例q朝着正样本S⁺的方向进行学习，从而在训练过程中最大化图像中字体风格和内容的融合。最后，存储字典根据每次迭代的查询实例q不断更新和调整，这个过程使存储字典能够为每种字体风格创建更准确的结构表示。存储字典更新的计算公式如下：

，

其中Q_k表示第k个类别的生成图像编码得到的查询实例的集合，t是动量更新因子，q表示对应生成图像编码得到查询实例，S_k表示存储字典中与查询实例对应的聚类中心。

综上所述，少样本字体生成模型的整体损失的损失函数如下：L_STS-Font=λ_adv(L_advc＋L_advs)＋λ_L1L₁＋λ_lscL_sc，其中，λ_adv、λ_L1和λ_lsc是三个可调节的超参数，分别为对应综合对抗损失、L₁损失和结构对比损失的三个权重，L_STS-Font是少样本字体生成模型的整体损失。该步骤中通过训练一边更新存储字典，一边优化所述少样本字体生成模型，让该模型的整体损失L_STS-Font最小化。

步骤三、完成训练后利用训练好的少样本字体生成模型进行字体生成。

向训练好的本字体生成模型中输入对应字符转化前的内容图像和风格图像，风格图像与转化后目标图像的字体风格一致，内容图像通过骨架提取模块处理后得到相应骨架图像，骨架图像、风格图像和内容图像输入训练后的生成器产生相应的生成图像，该生成图像即相应字体风格的生成字体。通过该方法只需要少量目标字体风格的样本即可实现相应字体风格的字体生成。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的发明构思和技术方案进行的各种非实质性的改进，或未经改进将本发明构思和技术方案直接应用于其它场合的，均在本发明保护范围之内。

Claims (9)

1.基于骨架式转移和结构对比学习的少样本字体生成方法，包括下列步骤：

步骤一、建立生成模型，所述生成模型包括生成器和鉴别器；

步骤二、对生成模型进行训练，通过将整体损失最小化来优化少样本字体生成模型；

步骤三、完成训练后利用训练好的字体生成模型进行字体生成；

其特征在于：

所述生成模型为少样本字体生成模型，还包括结构对比学习模块，生成器用于根据内容图像和风格图像生成对应字符具有目标字体风格的生成图像；鉴别器用于在训练时鉴别生成图像的真实性；所述结构对比学习模块将字体结构划分为若干类别，并基于所有的训练图像通过聚类方法计算对应各个类别的聚类中心，将聚类中心存储在字典中；

步骤二中，使用综合对抗损失、L₁损失和结构对比损失形成的整体损失来评估生成图像的质量，结构对比损失用于监督生成图像的结构并同时保持生成图像风格的一致性，在训练中根据每次迭代所得的生成图像对字典进行优化更新，同时更新参数让整体损失最小化。

2.根据权利要求1所述的基于骨架式转移和结构对比学习的少样本字体生成方法，其特征在于：所述步骤二具体包括下列步骤：

S2.1、采集多种字体的汉字字符图像形成训练图像的训练集；

S2.2、进行结构对比学习模块的初始化；

S2.3、通过生成器生成目标字体风格的生成图像；

S2.4、通过综合对抗损失、L₁损失和结构对比损失形成的整体损失来评估生成图像的质量并进行相应参数优化。

3.根据权利要求2所述的基于骨架式转移和结构对比学习的少样本字体生成方法，其特征在于：所述步骤S2.1中，训练图像包括内容图像、目标图像和风格图像，内容图像为用于识别出字符内容的字符图像，目标图像为具有目标字体风格并对应内容图像的图像，风格图像为具有目标字体风格的字符样本，训练图像还包括其他用于产生存储字典的多种字体的字符图像。

4.根据权利要求3所述的基于骨架式转移和结构对比学习的少样本字体生成方法，其特征在于：所述步骤S2.2中，在训练开始时，先根据每种风格的结构标签将字体结构划分为若干不同的类别，基于这种结构划分的结构编码器用于对所有训练图像进行编码，训练图像经结构编码后能得到相应的结构特征，结构特征表示为U={u₁₁，u₁₂，...，u_mp}，其中U为对应的结构特征的集合，u_ij为对应训练图像x_ij的结构特征；其中i=1，2，...，m，i为字体编号，m为结构特征的集合中字体的数量；j=1，2，...，p，j为对应字体的每个结构特征的编号，与对应的字符编号相同，p为相应字体的结构特征数量；编码过程表示为u_ij=E_f(x_ij)，E_f(・)表示通过结构编码器E_f编码；接着使用所述结构标签计算每个类别的平均值以建立聚类中心，计算聚类中心的公式如下：

，

其中H_k表示第k个聚类，|・|表示每个聚类中实例的数量，H_k包含了所有属于第k个聚类的结构特征u_ij，而S_k表示第k个聚类中心；建立聚类中心后将这些聚类中心形成的记忆字典存储在存储字典中。

5.根据权利要求4所述的基于骨架式转移和结构对比学习的少样本字体生成方法，其特征在于：少样本字体生成模型还包括骨架提取模块，生成器进一步包括内容编码器、风格编码器、骨架编码器、骨架-风格转移模块和混合器，所述步骤S2.3中，内容图像经过骨架提取模块提取骨架特征后形成骨架图像，骨架图像、内容图像和风格图像均输入到生成器中，内容编码器处理内容图像得到内容特征，风格编码器处理风格图像得到风格特征，骨架编码器处理骨架图像；风格图像和骨架图像分别输入到风格编码器和骨架编码器后，在风格编码器和骨架编码器的第四层分别生成了第一特征和第二特征，二者通过骨架-风格转移模块融合形成骨架-风格嵌入特征，将内容特征、风格特征和骨架-风格嵌入特征输入到混合器中进行合并融合从而得到生成图像。

6.根据权利要求5所述的基于骨架式转移和结构对比学习的少样本字体生成方法，其特征在于：所述步骤S2.3中，第一特征和第二特征通过骨架-风格转移模块融合的计算方法如下：f_s=m(x_s＋x_sk)・x_s＋(1－m(x_s＋x_sk))・x_sk，其中，m(・)表示通过多尺度通道注意力模块处理以得到的注意力特征，f_s为融合形成骨架-风格嵌入特征，x_s表示第一特征，x_sk表示第二特征，将第一特征和第二特征相加得到特征和，特征和输入多尺度通道注意力模块，经过全局平均池化得到新特征，新特征与特征和均依次经过卷积、GeLU激活、再次卷积处理；将二者处理结果相加后通过Sigmoid函数处理再与开始时输入的特征和相乘从而得到注意力特征；m(x_s＋x_sk)即表示该注意力特征，同时也是介于0到1之间的融合权重，对应第一特征；对应第二特征的融合权重为1－m(x_s＋x_sk)。

7.根据权利要求6所述的基于骨架式转移和结构对比学习的少样本字体生成方法，其特征在于：所述步骤S2.4中，结构对比损失的损失函数如下：

，

其中，L_sc表示结构对比损失,·表示点积运算，q表示生成图像的查询实例，S_k表示存储字典中与查询实例对应的聚类中心，包括正样本S⁺和负样本S^-，N表示S_k中的样本总数，参数τ是一个温度缩放因子；

计算结构对比损失时需要将生成图像经所述结构编码器编码得到生成图像的查询实例q，每个训练迭代期间，通过查询实例q寻找与之相似结构特征向量的正样本S⁺，而那些不相似的则视为负样本S⁻，引导查询实例q朝着正样本S⁺的方向进行学习，存储字典根据每次迭代的查询实例q不断更新和调整，存储字典更新的计算公式如下：

，

其中Q_k表示第k个类别的生成图像编码得到的查询实例的集合，t是动量更新因子。

8.根据权利要求7所述的基于骨架式转移和结构对比学习的少样本字体生成方法，其特征在于：所述步骤S2.4中，对抗损失包括内容对抗损失和风格对抗损失，内容对抗损失的损失函数如下：L_advc=L_contG＋L_contD，其中，L_contG表示内容生成损失，L_contD表示内容鉴别损失，L_advc表示内容对抗损失；风格对抗损失的损失函数如下：L_advs=L_styleG＋L_styleD，其中，L_styleG表示风格生成损失，L_styleD表示风格鉴别损失，L_advs表示风格对抗损失；少样本字体生成模型的整体损失的损失函数如下：L_STS-Font=λ_adv(L_advc＋L_advs)＋λ_L1L₁＋λ_lscL_sc，其中，λ_adv、λ_L1和λ_lsc是三个可调节的超参数，分别为对应综合对抗损失、L₁损失和结构对比损失的三个权重，L_STS-Font是少样本字体生成模型的整体损失。

9.根据权利要求6所述的基于骨架式转移和结构对比学习的少样本字体生成方法，其特征在于：L₁损失的损失函数如下：，其中，/>表示在给定数据集中生成图像/>和目标图像y的分布下计算期望值。