CN117036850A - LoRA模型的训练方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种LoRA模型的训练方法、装置、设备及存储介质，属于人工智能技术领域。所述方法包括：基于垂域需求获取第一训练集，第一训练集中的第一训练图像对应同一目标主题，且垂域需求所表征的目标垂域属于目标主题；利用第一训练集对基础图像生成模型进行训练，得到图像生成底模；基于垂域需求获取第二训练集，第二训练集的样本量小于第一训练集的样本量，且第二训练集中的第二训练图像为属于目标垂域的图像；利用第二训练集对图像生成底模进行训练，得到目标LoRA模型。采用本申请实施例提供的方案能够减少训练样本数量，提高LoRA模型的模型质量。

Description

LoRA模型的训练方法、装置、设备及存储介质

技术领域

本申请实施例涉及人工智能技术领域，特别涉及一种LoRA模型的训练方法、装置、设备及存储介质。

背景技术

近年来，AIGC(AI-Generated Content，生成式人工智能)技术迅速发展，已经在各个应用场景下发挥作用。技术人员可以利用人工智能生成式模型进行文字创作、图像创作、视频创作、音频剪辑、游戏开发、代码生成等工作。

LoRA(Low-Rank Adaptation，低等级适应)是一种可以对大型模型加速微调的技术，通过大幅减少可训练参数的数量来提高微调效率。在冻结原始预训练权重的基础上，获取到的LoRA模型不仅占用存储空间小，还可以实现模型定制，完成各种特定任务。

发明内容

本申请实施例提供了一种LoRA模型的训练方法、装置、设备及存储介质。所述技术方案如下：

一方面，本申请实施例提供了一种LoRA模型的训练方法，所述方法包括：

基于垂域需求获取第一训练集，所述第一训练集中的第一训练图像对应同一目标主题，且所述垂域需求所表征的目标垂域属于所述目标主题；

利用所述第一训练集对基础图像生成模型进行训练，得到图像生成底模，所述基础图像生成模型用于生成符合描述文本的图像，所述图像生成底模在所述基础图像生成模型的基础上微调得到；

基于所述垂域需求获取第二训练集，所述第二训练集的样本量小于所述第一训练集的样本量，且所述第二训练集中的第二训练图像为属于所述目标垂域的图像；

利用所述第二训练集对所述图像生成底模进行训练，得到目标LoRA模型，所述目标LoRA模型用于生成符合描述文本且属于所述目标垂域的图像，所述目标LoRA模型的参数量小于所述基础图像生成模型的参数量。

另一方面，本申请实施例提供了一种LoRA模型的训练装置，所述装置包括：

第一训练集获取模块，用于基于垂域需求获取第一训练集，所述第一训练集中的第一训练图像对应同一目标主题，且所述垂域需求所表征的目标垂域属于所述目标主题；

第二训练集获取模块，用于基于所述垂域需求获取第二训练集，所述第二训练集的样本量小于所述第一训练集的样本量，且所述第二训练集中的第二训练图像为属于所述目标垂域的图像；

第一训练模块，用于利用所述第一训练集对基础图像生成模型进行训练，得到图像生成底模，所述基础图像生成模型用于生成符合描述文本的图像，所述图像生成底模在所述基础图像生成模型的基础上微调得到；

第二训练模块，用于利用所述第二训练集对所述图像生成底模进行训练，得到目标LoRA模型，所述目标LoRA模型用于生成符合描述文本且属于所述目标垂域的图像，所述目标LoRA模型的参数量小于所述基础图像生成模型的参数量。

另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器、存储器，所述存储器中存储至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行以实现如上述方面所述的LoRA模型的训练方法。

另一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质存储有至少一条程序代码，所述至少一条程序代码用于被处理器执行以实现如上述方面所述的LoRA模型的训练方法。

另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备实现如上述方面提供的LoRA模型的训练方法。

本申请实施例中，在训练目标垂域的LoRA模型时，首先确定包含目标垂域的目标主题，利用属于目标主题的第一训练图像对基础图像生成模型进行微调，得到目标主题对应的图像生成底模，由于图像生成底模已经学习到目标主题的图像特征，因此后续只需要利用少量属于目标垂域的第二训练图像，即可完成目标主题到目标垂域的图像特征迁移，从而在图像生成底模的基础上训练得到高质量的LoRA模型，相较于直接基于基础图像生成模型训练LoRA模型，采用本申请实施例提供的方案能够减少对垂域图像的需求，并提高LoRA模型的模型质量。

附图说明

图1示出了本申请一个示例性实施例提供的LoRA模型的训练方法的流程图；

图2示出了本申请另一个示例性实施例提供的LoRA模型的训练方法的流程图；

图3是本申请一个示例性实施例示出的候选LoRA模型的质量评分过程的实施示意图；

图4是本申请一个示例性实施例示出的第一客观评分的获取过程的实施示意图；

图5是本申请一个示例性实施例示出的目标LoRA模型的确定过程的流程图；

图6是本申请一个示例性实施例示出的第一训练集生成过程的流程图；

图7是本申请一个示例性实施例示出的第二训练集生成过程的流程图；

图8示出了本申请一个示例性实施例提供的LoRA模型的训练装置的结构框图；

图9示出了本申请一个示例性实施例提供的计算机设备的结构方框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

请参考图1，其示出了本申请一个示例性实施例提供的LoRA模型的训练方法的流程图，该方法可以由具有模型训练功能的计算机设备执行，比如个人计算机、工作站、服务器等等。该方法可以包括如下步骤：

步骤101，基于垂域需求获取第一训练集，第一训练集中的第一训练图像对应同一目标主题，且垂域需求所表征的目标垂域属于目标主题。

垂域即为垂直领域，指某一大领域下垂直细分出的小领域。垂域需求用于指示所要训练的LoRA模型所适用的目标垂域。比如，垂域需求指示训练用于生成“哥特风动画人物”的LoRA模型。

不同于相关技术中直接获取属于目标垂域的大量训练图像，并利用大量训练图像直接进行LoRA模型训练，本申请实施例中，计算机设备首先基于目标垂域，确定出目标垂域所属的目标主题，并基于属于目标主题的第一训练图像构建第一训练集。

比如，当目标垂域为“哥特风动画人物”时，计算机设备确定目标主题为“动画人物”，并构建包含大量“动画人物”图像的第一训练集。

在一些实施例中，第一训练集中的第一训练图像均设置有对应的描述文本，该描述文本用于描述第一训练图像所包含的图像内容、图像风格等图像信息。

在一种可能的实施方式中，第一训练图像的描述文本可以采用人工标注的方式生成，也可以借助模型自动生成。比如，计算机设备可以将第一训练图像输入大语言模型(Large Language Model，LLM)，得到大语言模型输出的描述文本，其中，该大语言模型可以是生成式预训练Transformer模型(Generative Pre-Trained Transformer，GPT)，本申请实施例对此不作限定。

需要说明的是，由于目标主题的范围大于目标垂域的范围，因此相较于直接获取大量属于目标垂域的图像，计算机设备获取大量属于目标主题的图像的难度和成本更低。

步骤102，利用第一训练集对基础图像生成模型进行训练，得到图像生成底模，基础图像生成模型用于生成符合描述文本的图像，图像生成底模在基础图像生成模型的基础上微调得到。

在本申请实例中，基础图像生成模型用于生成符合描述文本的图像。基础图像生成模型是一种开源的预训练模型，其输入是描述文本，输出是符合描述文本的图像。基础图像生成模型可以是stable diffusion v2.0模型，或者stable diffusion系列的其他模型，本申请实施例并不对基础图像生成模型的具体类型进行限定。

在一种可能的实施方式中，计算机设备将第一训练图像对应的描述文本输入基础图像生成模型，得到基础图像生成模型输出的生成图像。计算机设备以第一训练图像为生成图像的监督，确定模型的图像生成损失，并基于图像生成损失对基础图像生成模型的模型参数进行反向传播更新(即微调过程)。计算机设备迭代执行上述图像生成和参数更新过程，当达到迭代结束条件时，即得到图像生成底模。

相较于基础图像生成模型，图像生成底模能够学习到更多目标主题下图像的图像特征，具备目标主题下的数据迁移能力，即能够根据输入文本输出符合目标主题的图像。

步骤103，基于垂域需求获取第二训练集，第二训练集的样本量小于第一训练集的样本量，且第二训练集中的第二训练图像为属于目标垂域的图像。

在一种可能的实施方式中，计算机设备根据属于目标垂域的第二训练图像构建第二训练集。该第二训练集即用于在图像生成底模的基础上训练目标垂域的LoRA模型。

由于图像生成底模已经具备目标主题下的数据迁移能力，因此计算机设备根据少量的第二训练图像即可构建得到第二训练集，即第二训练集的样本量远小于第一训练集的样本量。比如第一训练集的样本量为1-5万条，第二训练集的样本量则为5-15条。

可选的，在后续训练LoRA模型时，由于样本质量比样本量更重要，因此第二训练图像的选取标准高于第一训练图像的选取标准。比如，计算机设备可以通过网络爬取的方式获取第一训练图像，而在获取第二训练图像时，计算机设备则通过调整三维模型的角度以获取不同角度下的三维模型图像。本申请实施例并不对训练图像的选取方式进行限定。

与第一训练集类似的，第二训练集中的第二训练图像均设置有对应的描述文本，且该描述文本可以采用人工标注的方式生成，也可以借助模型自动生成。

需要说明的是，上述步骤103可以与步骤101同步执行，本申请实施例并不对执行时序进行限定。

步骤104，利用第二训练集对图像生成底模进行训练，得到目标LoRA模型，目标LoRA模型用于生成符合描述文本且属于目标垂域的图像，目标LoRA模型的参数量小于基础图像生成模型的参数量。

在一种可能的实施方式中，计算机设备将第二训练图像对应的描述文本输入图像生成底模，得到图像生成底模输出的生成图像。计算机设备以第二训练图像为生成图像的监督，确定模型的图像生成损失，并基于图像生成损失对图像生成底模的模型参数进行反向传播更新，最终训练得到目标垂域的目标LoRA模型。

综上所述，本申请实施例中，在训练目标垂域的LoRA模型时，首先确定包含目标垂域的目标主题，利用属于目标主题的第一训练图像对基础图像生成模型进行微调，得到目标主题对应的图像生成底模，由于图像生成底模已经学习到目标主题的图像特征，因此后续只需要利用少量属于目标垂域的第二训练图像，即可完成目标主题到目标垂域的图像特征迁移，从而在图像生成底模的基础上训练得到高质量的LoRA模型，相较于直接基于基础图像生成模型训练LoRA模型，采用本申请实施例提供的方案能够减少对垂域图像的需求，并提高LoRA模型的模型质量。

在一种可能的实施方式中，计算机设备可以根据设置单组超参数训练得到目标LoRA模型。由于超参数的设置会影响训练得到的模型质量，且在图像生成底模基础上训练LoRA模型所用到的样本比较少，因此为了进一步提高LoRA模型的质量，在另一种可能的实施方式中，计算机设备可以根据设置的多组超参数训练得到多个候选LoRA模型，然后从中选取出一个质量最好的目标LoRA模型。

请参考图2，其示出了本申请另一个示例性实施例提供的LoRA模型的训练方法的流程图，该方法可以包括如下步骤：

步骤201，基于垂域需求获取第一训练集，第一训练集中的第一训练图像对应同一目标主题，且垂域需求所表征的目标垂域属于目标主题。

步骤202，利用第一训练集对基础图像生成模型进行训练，得到图像生成底模，基础图像生成模型用于生成符合描述文本的图像，图像生成底模在基础图像生成模型的基础上微调得到。

步骤203，基于垂域需求获取第二训练集，第二训练集的样本量小于第一训练集的样本量，且第二训练集中的第二训练图像为属于目标垂域的图像。

上述步骤201至203的实施方式可以参考步骤101至103，本实施例在此不作赘述。

步骤204，利用第二训练集对图像生成底模进行训练，得到m个候选LoRA模型，不同候选LoRA模型基于不同超参数训练得到，m为大于或等于2的整数。

超参数是一种用于机器学习模型训练调优的参数，在训练之前进行人为配置，包括学习率、迭代次数、批量大小等。本步骤中，基于不同超参数训练得到不同候选LoRA模型的目的是为了后续筛选出质量最优的目标LoRA模型。

示意性的，如图3所示，计算机设备基于五组超参数在图像生成底模的基础上训练得到5个候选LoRA模型。

步骤205，基于候选LoRA模型的图像生成质量，从候选LoRA模型中确定目标LoRA模型。

可选的，计算机设备可以利用候选LoRA模型进行图像生成，并对各张生成图像进行评分，从而基于各张生成图像的图像得分确定各个候选LoRA模型的模型得分，进而基于模型得分选取质量最佳的目标LoRA模型。

在一种可能的实施方式中，如图5所示，本步骤可以包括如下子步骤。

步骤205A，对于各个LoRA模型，将n段原始描述文本输入候选LoRA模型，得到候选LoRA模型输出的n张生成图像，n为大于或等于2的整数。

在一种可能的实施方式中，输入候选LoRA模型的n段原始描述文本是自然语言描述。

在另一种可能的实施方式中，输入所述候选LoRA模型的n段原始描述文本是prompt描述文本。与自然语言描述不同，prompt描述文本将自然语言描述转换至描述模板。

示意性的，如图3所示，计算机设备将3段原始描述文本分别输入各个候选LoRA模型，各个候选LoRA模型均输出3张生成图像。

步骤205B，确定各张生成图像的质量评分。

为了提高质量评分的准确性和全面性，在一种可能的实施方式中，计算机设备可以从主观和客观两个维度进行打分。

在一些实施例中，对于各张生成图像，计算机设备获取生成图像的主观评分以及客观评分，其中，主观评分通过人工打分得到，客观评分由评分模型对生成图像进行打分得到。进一步的，计算机设备对主观评分和客观评分加权，得到生成图像的质量评分。

其中，主观评分和客观评分各自对应的权重可以为自定义权重，且主观评分对应的权重越大，最终筛选得到的目标LoRA模型生成的图像越符合主观偏好，客观评分对应的权重越大，最终筛选得到的目标LoRA模型生成的图像越符合客观偏好。

在一种可能的实施方式中，计算机设备对生成图像进行客观评分可以采用如下两种方式中的至少一种：

1、计算机设备将生成图像输入大语言模型，得到大语言模型输出的生成描述文本；将原始描述文本、生成描述文本以及目标垂域输入相关性评分模型，得到相关性评分模型输出的第一客观评分。

在本申请实施例中，生成描述文本是用来描述生成图像的文本。且为了保证描述内容的客观性，本实施例中，计算机设备借助大语言模型得到生成图像的生成描述文本。

由于生成图像的质量越高，生成图像中包含的内容与原始描述文本的相关性越高，且生成图像所属垂域与目标垂域的相关性也越高，因此在一种可能的实施方式中，计算机设备可以借助相关性评分模型评估生成描述文本与原始描述文本之间的相关性评分，以及生成描述文本与目标垂域的相关性评分，得到生成图像的第一客观评分。

可选的，相关性评分模型通过识别文本的语义相关性，对生成描述文本与原始描述文本、生成描述文本与目标垂域之间的相关性进行评分，并通过直接相加或加权的方式计算得到第一客观评分。

示意性的，如图4所示，计算机设备将生成图像401输入大语言模型402，得到生成描述文本403；将生成描述文本403、原始描述文本404和目标垂域405输入相关性评估模型406得到第一客观评分407。

2、计算机设备将生成图像输入真实性评分模型，得到真实性评分模型输出的第二客观评分。

本实施例中，真实性评分模型是一种用于判别输入图像是真实图像，还是LoRA模型生成图像的模型。比如，GAN(Generative Adversarial Networks，生成对抗网络)模型中的判别器可以对输入图像进行判别，输出一个反映图像真实程度的数值，该数值可以作为真实性评分模型输出的第二客观评分。

在一些实施例中，当同时采用相关性评分模型和真实性评分模型对模型进行客观打分时，计算机设备可以对第一客观评分和第二客观评分进行加权计算，得到生成图像的总客观评分。

当然，除了通过上述方式进行客观打分外，在其他可能的实施方式中，当原始描述文本对应有原始图像的情况下，计算机设备可以通过评分模型对原始图像和生成图像进行客观打分，本实施例对此不作限定。

步骤205C，基于各张生成图像的质量评分，确定各个候选LoRA模型的模型评分。

在一种可能的实施方式中，计算机设备将生成图像的质量评分的平均值，确定为候选LoRA模型的模型评分。

在另一种可能的实施方式中，计算机设备对生成图像的质量评分进行加权平均计算，得到候选LoRA模型的模型评分，其中，生成图像对应质量评分的权重与原始描述文本的复杂度呈正相关关系，即原始描述文本越复杂(基于该原始描述文本生成图像的难度也越高)，基于该原始描述文本生成的生成图像的质量评分的权重也越高。

示意性的，如图3所示，计算机设备对各张生成图像进行打分，得到各张生成图像的质量评分，并基于该质量评分得到各个候选LoRA模型的模型评分。

步骤205D，将具有最高模型评分的候选LoRA模型确定为目标LoRA模型。

本申请实施例中，在训练目标垂域的LoRA模型时，首先基于不同超参数对图像生成底模进行训练得到多个不同候选LoRA模型，为了得到最优的目标LoRA模型，对各个候选LoRA模型基于原始描述文本生成的多张生成图像进行质量评分。在质量评分的过程中，将同一候选LoRA模型生成的多张生成图像纳入一个评分组，根据评分组内生成图像的质量评分计算出相应候选LoRA模型的模型评分，其中，模型评分最高的LoRA模型确定为质量最好的目标LoRA模型。相比于根据设置单组超参数训练得到目标LoRA模型的方法，根据设置的多组超参数训练得到多个候选LoRA模型的方法，从多个候选LoRA模型选取出了一个质量最好的目标LoRA模型，进一步提高了LoRA模型的质量。

计算机设备从主观和客观两个维度对候选LoRA模型的生成图像进行打分，得到主观评分和客观评分，并加权计算得到候选LoRA模型的生成图像的质量评分。其中，主观评分通过人工打分得到，客观评分由相关性评分模型和真实性评分模型对候选LoRA模型的生成图像进行打分得到。从主观和客观两个维度的评分方式提高了质量评分的准确性和全面性。

关于第一训练集的获取，第一训练集中的第一训练图像对应同一目标主题，目标主题是根据目标垂域确定的，目标主题的覆盖范围具有不确定性。比如，目标垂域为“欧美风动画人物”时，目标主题既可以是“动画人物”，又可以是“人物”。与目标主题为“人物”相比，目标主题为“动画人物”时，目标主题“动画人物”与目标垂域“欧美风动画人物”相似度高，所以，利用第一训练集对基础图像生成模型进行训练得到的图像生成底模质量提高。同时，由于从“人物”到“动画人物”主题范围缩小，可获取的第一训练图像数量减少，可能出现第一训练集样本量不足的情况。

为了提高图像生成底模的质量，在一种可能的实施方式中，计算机设备首先确定多个不同主题范围的候选主题，将候选主题根据主题范围升序排列，按序获取属于不同候选主题的训练图像，当获取到的训练图像的数量满足图像生成底模训练要求时，则将该候选主题确定为目标主题，并利用获取到的满足图像生成底模训练要求的训练图像对基础图像生成模型进行训练，得到图像生成底模。

请参考图6，其示出了本申请一个示例性实施例示出的第一训练集生成过程的流程图，该过程可以包括如下步骤：

步骤601，基于垂域需求所表征的目标垂域，确定目标垂域对应的至少两个层级的候选主题。

在一种可能的实施方式中，计算机设备基于目标垂域，确定出至少两个大于目标垂域且包含目标垂域的候选主题，并基于各个候选主题之间的主题范围，对候选主题进行层级排序，得到目标垂域对应的至少两个层级的候选主题。

在一个示意性的例子中，计算机设备基于目标垂域“哥特风格动画人物”，确定三个候选主题，分别为“人物”、“动画人物”、“外国动画人物”。

步骤602，获取属于第i候选主题的第一训练图像，i为正整数。

在一些实施例中，计算机设备按照主题范围由小到大的顺序，按序获取属于候选主题的第一训练图像。比如，当候选主题包含“人物”、“动画人物”和“外国动画人物”时，计算机设备按照“外国动画人物”、“动画人物”、“人物”的顺序获取第一训练图像。

在图像生成底模训练过程中，当第一训练集的样本量达到一定数值时，模型的性能才能趋于稳定或达到训练的最佳状态，因此，获取到属于第i候选主题的第一训练图像后，计算机设备需要确定第一训练图像的数量是否满足数量条件。

在一种可能的实施方式中，针对不同范围的候选主题，计算机设备训练该候选主题对应的图像生成底模所需样本的数量不同。因此，计算机设备基于候选主题确定第一数量阈值，并判断获取到第一训练图像的数量是否大于该第一数量阈值。

当第一训练图像的数量大于该第一数量阈值时，计算机设备执行步骤603，当第一训练图像的数量小于该第一数量阈值时，计算机设备执行步骤604。

在一些实施例中，第一数量阈值与i呈正相关关系。比如，候选主题“外国动画人物”对应的第一数量阈值为3万，候选主题“动画人物”对应的第一数量阈值为5万，候选主题“人物”对应的第一数量阈值为10万。

步骤603，在第一训练图像的数量大于第一数量阈值的情况下，将第一训练图像输入大语言模型，得到大语言模型输出的描述文本。

在第一训练图像的数量大于第一数量阈值的情况下，表明训练样本的数量足够，因此计算机设备进一步通过大语言模型生成第一训练图像对应的描述文本。

步骤604，在第一训练图像的数量小于第一数量阈值的情况下，获取属于第i+1候选主题的第一训练图像，其中，第i+1候选主题的范围大于第i候选主题的范围。

在第一训练图像的数量小于第一数量阈值的情况下，表明训练样本的数量缺乏，因此计算机设备需要获取属于更大范围候选主题的第一训练图像。

比如，当获取到属于“外国动画人物”这一候选主题的训练图像的数量为1万时，由于该数量小于第一数量阈值3万，因此计算机设备获取属于“动画人物”这一候选主题的训练图像。

步骤605，基于第一训练图像和描述文本生成第一训练集。

可选的，计算机设备将描述文本和第一训练图像配对得到训练样本组，从而构建得到包含多个训练样本组的第一训练集。

为了获得高质量的图像生成底模，本申请实施例中，在基于目标垂域确定目标主题时，首先基于目标垂域确定多个不同范围的候选主题，然后根据候选主题的范围大小为各个候选主题排序，再按照顺序选择候选主题，并基于候选主题获取第一训练图像，当获取的第一训练图像数量达到一定值时，当前候选主题即为目标主题。由于，计算机设备训练不同范围的候选主题对应的图像生成底模所需样本的数量不同，因此，计算机设备基于不同候选主题确定的第一数量阈值也不同，当基于候选主题获取的第一训练图像数量达到相应的第一数量阈值时，该候选主题为目标主题，反之，第一训练图像数量达不到相应的第一数量阈值时，计算机设备按序选择下一个范围更大的候选主题，并按照其对应的第一数量阈值获取第一训练图像。该实施方式，有利于在保证获取充足第一训练图像的同时，确定出范围最小，即与目标垂域相似度最高的目标主题，进一步提高基于底模训练得到LoRA模型的质量。

请参考图7，其示出了本申请一个示例性实施例示出的第二训练集生成过程的流程图，该过程可以包括如下步骤：

步骤701，获取属于目标垂域的第二训练图像。

在第二训练图像的数量大于等于第二数量阈值的情况下，计算机设备执行步骤703。在第二训练图像的数量小于第二数量阈值的情况下，计算机设备执行步骤702。

步骤702，在第二训练图像的数量小于第二数量阈值的情况下，基于第二训练图像进行数据增强处理。

数据增强处理用于增加第二训练图像的数量。在一些可能的实施方式中，数据增强处理可以进行的操作包括对图像进行缩放、翻转、镜像处理等，本申请实施例对此不作限定。

在一些可能的实施方式中，目标主题与目标垂域差异越大，知识迁移所需的样本量也应该越多，相比于不同的目标垂域采用固定数量的第二训练图像，基于垂域主题差异确定第二训练图像数量的方式，具有灵活性，能够根据不同的目标垂域得到合适的第二训练集。

在一种可能的实施方式中，本步骤可以包括如下子步骤。

1、确定目标垂域与目标主题之间的垂域主题差异；

2、基于垂域主题差异确定第二数量阈值，第二数量阈值与垂域主题差异呈正相关关系。

垂域主题差异用于体现目标垂域与目标主题之间的差异。当目标垂域与目标之间差异越大时，知识迁移所需的样本量也越多，因此衡量第二训练图像数量需求的第二数量阈值也越大。

在一种可能的实施方式中，垂域主题差异指目标垂域所属候选主题的层级与目标主题的层级之间的差距。比如，目标垂域属于第i+2候选主题，目标主题是第i候选主题，则目标垂域与目标主题之间的垂域主题差异为2个层级。当目标垂域与目标主题之间相差的层数越大时，第二数量阈值也越大。

另一种可能的实施方式中，垂域主题差异是目标主题和目标垂域之间的语义相似度。目标主题与目标垂域的语义越接近，则垂域主题差异越小，并且第二数量阈值也越小。

步骤703，将第二训练图像输入大语言模型，得到大语言模型输出的描述文本。

其中，第二训练图像可能是经过增强处理的第二训练图像，也可能是未经过处理的第二训练图像。

步骤704，基于第二训练图像和描述文本生成第二训练集。

本申请实施例中，计算机设备生成第二训练集，首先需要获取第二训练图像。由于计算机设备从已经学到目标主题特征的图像生成底模，将相关知识迁移到需要学习目标垂域特征的LoRA模型中时，需要考虑目标主题特征与目标垂域特征之间的差异，二者之间差异越大，迁移学习所需要的数据量也越大。因此，在获取第二训练图像的过程中，需要先确定目标垂域与目标主题之间的差异，从而根据该差异确定所需第二训练图像的数量下限(即第二数量阈值)。

又因为，与第一训练集相比，第二训练集对第二训练图像的质量要求高，所以，当第二训练图像数量无法达到第二数量阈值时，在不降低第二训练图像质量的前提下，通过数据增强处理使第二训练图像数量达到第二数量阈值。

计算机设备将满足第二数量阈值的高质量第二训练图像，输入大语言模型并得到相应的描述文本，将第二训练图像与相应的描述文本配对得到高质量的第二训练集。该实施方式，有利于提高第二训练图像的质量，提高第二训练集的质量，从而提高利用第二训练集训练得到的LoRA模型的质量。

请参考图8，其示出了本申请一个示例性实施例提供的LoRA模型的训练装置的结构框图。该装置包括：

第一训练集获取模块801，用于基于垂域需求获取第一训练集，所述第一训练集中的第一训练图像对应同一目标主题，且所述垂域需求所表征的目标垂域属于所述目标主题；

第二训练集获取模块802，用于基于所述垂域需求获取第二训练集，所述第二训练集的样本量小于所述第一训练集的样本量，且所述第二训练集中的第二训练图像为属于所述目标垂域的图像；

第一训练模块803，用于利用所述第一训练集对基础图像生成模型进行训练，得到图像生成底模，所述基础图像生成模型用于生成符合描述文本的图像，所述图像生成底模在所述基础图像生成模型的基础上微调得到；

第二训练模块804，用于利用所述第二训练集对所述图像生成底模进行训练，得到目标LoRA模型，所述目标LoRA模型用于生成符合描述文本且属于所述目标垂域的图像，所述目标LoRA模型的参数量小于所述基础图像生成模型的参数量。

可选的，所述第二训练模块804，包括：

训练单元，用于利用所述第二训练集对所述图像生成底模进行训练，得到m个候选LoRA模型，不同候选LoRA模型基于不同超参数训练得到，m为大于或等于2的整数；

确定单元，用于基于所述候选LoRA模型的图像生成质量，从所述候选LoRA模型中确定所述目标LoRA模型。

可选的，所述确定单元，用于：

对于各个LoRA模型，将n段原始描述文本输入所述候选LoRA模型，得到所述候选LoRA模型输出的n张生成图像，n为大于或等于2的整数；

确定各张生成图像的质量评分；

基于各张生成图像的所述质量评分，确定各个候选LoRA模型的模型评分；

将具有最高模型评分的候选LoRA模型确定为所述目标LoRA模型。

可选的，所述确定单元，用于：

对于各张生成图像，获取所述生成图像的主观评分以及客观评分，所述主观评分通过人工打分得到，所述客观评分由评分模型对所述生成图像进行打分得到；

对所述主观评分和所述客观评分加权，得到所述生成图像的所述质量评分。

可选的，所述确定单元，用于：

将所述生成图像输入大语言模型，得到所述大语言模型输出的生成描述文本，所述生成描述文本为描述所述生成图像的文本；将所述原始描述文本、所述生成描述文本以及所述目标垂域输入相关性评分模型，得到所述相关性评分模型输出的第一客观评分，所述相关性评分模型用于评估所述生成描述文本与所述原始描述文本之间的相关性，以及所述生成描述文本与所述目标垂域的相关性；

将所述生成图像输入真实性评分模型，得到所述真实性评分模型输出的第二客观评分，所述真实性评分模型用于判别输入图像为真实图像或模型生成图像。

可选的，所述第一训练集获取模块801，包括：

主题确定单元，用于基于所述垂域需求所表征的所述目标垂域，确定所述目标垂域对应的至少两个层级的候选主题；

第一图像获取单元，用于获取属于所述第i候选主题的所述第一训练图像，i为正整数；

第一描述文本获取单元，用于在所述第一训练图像的数量大于第一数量阈值的情况下，将所述第一训练图像输入大语言模型，得到所述大语言模型输出的描述文本，所述第一数量阈值与i呈现正相关关系；

所述第一图像获取单元，还用于在所述第一训练图像的数量小于第一数量阈值的情况下，获取属于第i+1候选主题的所述第一训练图像，其中，所述第i+1候选主题的范围大于所述第i候选主题的范围；

第一训练集生成单元，用于基于所述第一训练图像和所述描述文本生成所述第一训练集。

可选的，所述第二训练集获取模块802，包括：

第二图像获取单元，用于获取属于所述目标垂域的所述第二训练图像；

数据增强单元，用于在所述第二训练图像的数量小于第二数量阈值的情况下，基于所述第二训练图像进行数据增强处理，所述数据增强处理用于增加所述第二训练图像的数量；

第二描述文本获取单元，用于将所述第二训练图像输入大语言模型，得到所述大语言模型输出的描述文本；

第二训练集生成单元，用于基于所述第二训练图像和所述描述文本生成所述第二训练集。

可选的，所述装置，还包括：

差异确定模块，用于确定所述目标垂域与所述目标主题之间的垂域主题差异；

阈值确定模块，用于基于所述垂域主题差异确定所述第二数量阈值，所述第二数量阈值与所述垂域主题差异呈正相关关系。

请参考图9，其示出了本申请一个示例性实施例提供的计算机设备的结构方框图。该计算机设备可以包括一个或多个如下部件：存储器901和处理器902。

可选的，处理器902利用各种接口和线路连接整个计算机设备内的各个部分，通过运行或执行存储在存储器901内的指令、程序、代码集或指令集，以及调用存储在存储器901内的数据，执行计算机设备的各种功能和处理数据。

存储器901可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器901可用于存储指令、程序、代码、代码集或指令集。

本申请实施例还提供了一种计算机可读存储介质，该存储介质存储有至少一条指令，至少一条指令用于被处理器902执行以实现如上述实施例所述的LoRA模型的训练方法。

本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器902从计算机可读存储介质读取该计算机指令，处理器902执行该计算机指令，使得该计算机设备执行上述实施例提供的LoRA模型的训练方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (19)

1.一种LoRA模型的训练方法，其特征在于，所述方法包括：

基于垂域需求获取第一训练集，所述第一训练集中的第一训练图像对应同一目标主题，且所述垂域需求所表征的目标垂域属于所述目标主题；

利用所述第一训练集对基础图像生成模型进行训练，得到图像生成底模，所述基础图像生成模型用于生成符合描述文本的图像，所述图像生成底模在所述基础图像生成模型的基础上微调得到；

基于所述垂域需求获取第二训练集，所述第二训练集的样本量小于所述第一训练集的样本量，且所述第二训练集中的第二训练图像为属于所述目标垂域的图像；

利用所述第二训练集对所述图像生成底模进行训练，得到目标LoRA模型，所述目标LoRA模型用于生成符合描述文本且属于所述目标垂域的图像，所述目标LoRA模型的参数量小于所述基础图像生成模型的参数量。

2.根据权利要求1所述的方法，其特征在于，所述利用所述第二训练集对所述图像生成底模进行训练，得到目标LoRA模型，包括：

利用所述第二训练集对所述图像生成底模进行训练，得到m个候选LoRA模型，不同候选LoRA模型基于不同超参数训练得到，m为大于或等于2的整数；

基于所述候选LoRA模型的图像生成质量，从所述候选LoRA模型中确定所述目标LoRA模型。

3.根据权利要求2所述的方法，其特征在于，所述基于所述候选LoRA模型的图像生成质量，从所述候选LoRA模型中确定所述目标LoRA模型，包括：

对于各个LoRA模型，将n段原始描述文本输入所述候选LoRA模型，得到所述候选LoRA模型输出的n张生成图像，n为大于或等于2的整数；

确定各张生成图像的质量评分；

基于各张生成图像的所述质量评分，确定各个候选LoRA模型的模型评分；

将具有最高模型评分的候选LoRA模型确定为所述目标LoRA模型。

4.根据权利要求3所述的方法，其特征在于，所述确定各张生成图像的质量评分，包括：

对于各张生成图像，获取所述生成图像的主观评分以及客观评分，所述主观评分通过人工打分得到，所述客观评分由评分模型对所述生成图像进行打分得到；

对所述主观评分和所述客观评分加权，得到所述生成图像的所述质量评分。

5.根据权利要求4所述的方法，其特征在于，所述获取所述生成图像的客观评分，包括：

将所述生成图像输入大语言模型，得到所述大语言模型输出的生成描述文本，所述生成描述文本为描述所述生成图像的文本；将所述原始描述文本、所述生成描述文本以及所述目标垂域输入相关性评分模型，得到所述相关性评分模型输出的第一客观评分，所述相关性评分模型用于评估所述生成描述文本与所述原始描述文本之间的相关性，以及所述生成描述文本与所述目标垂域的相关性；

将所述生成图像输入真实性评分模型，得到所述真实性评分模型输出的第二客观评分，所述真实性评分模型用于判别输入图像为真实图像或模型生成图像。

6.根据权利要求1所述的方法，其特征在于，所述基于垂域需求获取第一训练集，包括：

基于所述垂域需求所表征的所述目标垂域，确定所述目标垂域对应的至少两个层级的候选主题；

获取属于所述第i候选主题的所述第一训练图像，i为正整数；

在所述第一训练图像的数量大于第一数量阈值的情况下，将所述第一训练图像输入大语言模型，得到所述大语言模型输出的描述文本，所述第一数量阈值与i呈正相关关系；

在所述第一训练图像的数量小于第一数量阈值的情况下，获取属于第i+1候选主题的所述第一训练图像，其中，所述第i+1候选主题的范围大于所述第i候选主题的范围；

基于所述第一训练图像和所述描述文本生成所述第一训练集。

7.根据权利要求1所述的方法，其特征在于，所述基于所述垂域需求获取第二训练集，包括：

获取属于所述目标垂域的所述第二训练图像；

在所述第二训练图像的数量小于第二数量阈值的情况下，基于所述第二训练图像进行数据增强处理，所述数据增强处理用于增加所述第二训练图像的数量；

将所述第二训练图像输入大语言模型，得到所述大语言模型输出的描述文本；

基于所述第二训练图像和所述描述文本生成所述第二训练集。

8.根据权利要求7所述的方法，其特征在于，所述在所述第二训练图像的数量小于第二数量阈值的情况下，基于所述第二训练图像进行数据增强处理之前，所述方法包括：

确定所述目标垂域与所述目标主题之间的垂域主题差异；

基于所述垂域主题差异确定所述第二数量阈值，所述第二数量阈值与所述垂域主题差异呈正相关关系。

9.一种LoRA模型的训练装置，其特征在于，所述装置包括：

第一训练集获取模块，用于基于垂域需求获取第一训练集，所述第一训练集中的第一训练图像对应同一目标主题，且所述垂域需求所表征的目标垂域属于所述目标主题；

第二训练集获取模块，用于基于所述垂域需求获取第二训练集，所述第二训练集的样本量小于所述第一训练集的样本量，且所述第二训练集中的第二训练图像为属于所述目标垂域的图像；

第一训练模块，用于利用所述第一训练集对基础图像生成模型进行训练，得到图像生成底模，所述基础图像生成模型用于生成符合描述文本的图像，所述图像生成底模在所述基础图像生成模型的基础上微调得到；

第二训练模块，用于利用所述第二训练集对所述图像生成底模进行训练，得到目标LoRA模型，所述目标LoRA模型用于生成符合描述文本且属于所述目标垂域的图像，所述目标LoRA模型的参数量小于所述基础图像生成模型的参数量。

10.根据权利要求9所述的装置，其特征在于，所述第二训练模块，包括：

训练单元，用于利用所述第二训练集对所述图像生成底模进行训练，得到m个候选LoRA模型，不同候选LoRA模型基于不同超参数训练得到，m为大于或等于2的整数；

确定单元，用于基于所述候选LoRA模型的图像生成质量，从所述候选LoRA模型中确定所述目标LoRA模型。

11.根据权利要求10所述的装置，其特征在于，所述确定单元，用于：

对于各个LoRA模型，将n段原始描述文本输入所述候选LoRA模型，得到所述候选LoRA模型输出的n张生成图像，n为大于或等于2的整数；

确定各张生成图像的质量评分；

基于各张生成图像的所述质量评分，确定各个候选LoRA模型的模型评分；

将具有最高模型评分的候选LoRA模型确定为所述目标LoRA模型。

12.根据权利要求11所述的装置，其特征在于，所述确定单元，用于：

对于各张生成图像，获取所述生成图像的主观评分以及客观评分，所述主观评分通过人工打分得到，所述客观评分由评分模型对所述生成图像进行打分得到；

对所述主观评分和所述客观评分加权，得到所述生成图像的所述质量评分。

13.根据权利要求12所述的装置，其特征在于，所述确定单元，用于：

将所述生成图像输入大语言模型，得到所述大语言模型输出的生成描述文本，所述生成描述文本为描述所述生成图像的文本；将所述原始描述文本、所述生成描述文本以及所述目标垂域输入相关性评分模型，得到所述相关性评分模型输出的第一客观评分，所述相关性评分模型用于评估所述生成描述文本与所述原始描述文本之间的相关性，以及所述生成描述文本与所述目标垂域的相关性；

将所述生成图像输入真实性评分模型，得到所述真实性评分模型输出的第二客观评分，所述真实性评分模型用于判别输入图像为真实图像或模型生成图像。

14.根据权利要求9所述的装置，其特征在于，所述第一训练集获取模块，包括：

主题确定单元，用于基于所述垂域需求所表征的所述目标垂域，确定所述目标垂域对应的至少两个层级的候选主题；

第一图像获取单元，用于获取属于所述第i候选主题的所述第一训练图像，i为正整数；

第一描述文本获取单元，用于在所述第一训练图像的数量大于第一数量阈值的情况下，将所述第一训练图像输入大语言模型，得到所述大语言模型输出的描述文本，所述第一数量阈值与i呈现正相关关系；

所述第一图像获取单元，还用于在所述第一训练图像的数量小于第一数量阈值的情况下，获取属于第i+1候选主题的所述第一训练图像，其中，所述第i+1候选主题的范围大于所述第i候选主题的范围；

第一训练集生成单元，用于基于所述第一训练图像和所述描述文本生成所述第一训练集。

15.根据权利要求9所述的装置，其特征在于，所述第二训练集获取模块，包括：

第二图像获取单元，用于获取属于所述目标垂域的所述第二训练图像；

数据增强单元，用于在所述第二训练图像的数量小于第二数量阈值的情况下，基于所述第二训练图像进行数据增强处理，所述数据增强处理用于增加所述第二训练图像的数量；

第二描述文本获取单元，用于将所述第二训练图像输入大语言模型，得到所述大语言模型输出的描述文本；

第二训练集生成单元，用于基于所述第二训练图像和所述描述文本生成所述第二训练集。

16.根据权利要求15所述的装置，其特征在于，所述装置还包括：

差异确定模块，用于确定所述目标垂域与所述目标主题之间的垂域主题差异；

阈值确定模块，用于基于所述垂域主题差异确定所述第二数量阈值，所述第二数量阈值与所述垂域主题差异呈正相关关系。

17.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器，所述存储器中存储至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行以实现如权利要求1至8任一所述的LoRA模型的训练方法。

18.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条程序代码，所述至少一条程序代码用于被处理器执行以实现如权利要求1至8任一所述的LoRA模型的训练方法。

19.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中；计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备实现如权利要求1至8任一所述的LoRA模型的训练方法。