CN117746174A - 一种模型训练方法、装置、计算机设备和存储介质 - Google Patents

一种模型训练方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN117746174A
CN117746174A CN202211111992.6A CN202211111992A CN117746174A CN 117746174 A CN117746174 A CN 117746174A CN 202211111992 A CN202211111992 A CN 202211111992A CN 117746174 A CN117746174 A CN 117746174A
Authority
CN
China
Prior art keywords
image
information
discrimination
noise
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211111992.6A
Other languages
English (en)
Inventor
李玺
李盛名
郑光聪
姚太平
丁守鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Tencent Technology Shanghai Co Ltd
Original Assignee
Zhejiang University ZJU
Tencent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Tencent Technology Shanghai Co Ltd filed Critical Zhejiang University ZJU
Priority to CN202211111992.6A priority Critical patent/CN117746174A/zh
Publication of CN117746174A publication Critical patent/CN117746174A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种模型训练方法、装置、计算机设备和存储介质；本申请实施例可以获取训练样本图像，对训练样本图像进行噪声添加处理，得到噪声添加后样本图像；利用图像生成模型对噪声添加后样本图像进行去噪转移处理，得到去噪转移样本图像；利用预设判别模型对噪声添加后样本图像进行判别处理，得到噪声添加后样本图像对应的样本判别分布信息；基于样本判别分布信息和预设标签信息，计算预设判别模型对应的判别损失信息；基于判别损失信息对预设判别模型进行调整，得到性能符合要求的判别模型。通过本申请，可以有效地克服梯度消失的问题，提高模型生成图像的质量。

Description

一种模型训练方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，具体涉及一种模型训练方法、装置、计算机设备和存储介质。
背景技术
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。梯度消失在人工智能模型应用中影响模型性能的一个常见问题。梯度消失会使得模型对图像进行处理时，损失很多纹理细节，从而影响图像最后生成质量。
发明内容
本申请实施例提出了一种模型训练方法、装置、计算机设备和存储介质，可以有效地克服梯度消失的问题，提高模型生成图像的质量。
本申请实施例提供了一种模型训练方法，包括：
获取训练样本图像，对所述训练样本图像进行噪声添加处理，得到噪声添加后样本图像；
利用图像生成模型对所述噪声添加后样本图像进行去噪转移处理，得到去噪转移样本图像；
利用预设判别模型对所述噪声添加后样本图像进行判别处理，得到所述噪声添加后样本图像对应的样本判别分布信息；
基于所述样本判别分布信息和预设标签信息，计算所述预设判别模型对应的判别损失信息；
基于所述判别损失信息对所述预设判别模型进行调整，得到性能符合要求的判别模型。
相应的，本申请实施例还提供了一种模型训练装置，包括：
第一噪声添加单元，用于获取训练样本图像，对所述训练样本图像进行噪声添加处理，得到噪声添加后样本图像；
第一采样单元，用于利用图像生成模型对所述噪声添加后样本图像进行去噪转移处理，得到去噪转移样本图像；
第一判别单元，用于利用预设判别模型对所述噪声添加后样本图像进行判别处理，得到所述噪声添加后样本图像对应的样本判别分布信息；
损失计算单元，用于基于所述样本判别分布信息和预设标签信息，计算所述预设判别模型对应的判别损失信息；
模型调整单元，用于基于所述判别损失信息对所述预设判别模型进行调整，得到性能符合要求的判别模型。
在一实施例中，所述第一采样单元，可以包括：
噪声估计子单元，用于对所述噪声添加后样本图像进行噪声估计，得到所述噪声添加后样本图像对应的噪声样本图像
特征提取子单元，用于对所述噪声样本图像进行特征提取，得到所述噪声样本图像对应的特征信息；
下采样子单元，用于对所述特征信息进行下采样处理，得到所述特征信息对应的下采样信息；
上采样子单元，用于对所述下采样信息进行上采样处理，得到所述下采样信息对应的上采样信息；
注意力融合子单元，用于将所述下采样信息和所述上采样信息进行注意力融合，得到所述去噪转移样本图像。
在一实施例中，所述损失计算单元，可以包括：
损失计算子单元，用于基于所述样本判别分布信息和所述预设标签信息，计算标签损失信息；
熵损失运算子单元，用于对所述样本判别分布信息进行熵损失运算，得到分布熵损失信息；
融合子单元，用于将所述标签损失信息和所述分布熵损失信息进行融合处理，得到所述判别损失信息。
在一实施例中，所述损失计算子单元，可以包括：
对数运算模块，用于对所述样本判别分布信息进行对数运算，得到运算后样本判别分布信息；
相乘模块，用于将所述运算后样本判别分布信息和所述预设标签信息进行相乘，得到所述标签损失信息。
在一实施例中，所述第一噪声添加单元，可以包括：
参数获取子单元，用于获取噪声参数；
因子生成子单元，用于根据所述噪声参数，生成符合预设分布的噪声添加因子；
添加子单元，用于将所述噪声添加因子添加至所述训练样本图像，得到所述噪声添加后样本图像。
本申请实施例还提供了一种图像生成方法，包括：
获取原始图像，对所述原始图像进行噪声添加处理，得到噪声添加后图像；
利用判别模型对所述噪声添加后图像进行判别处理，得到所述噪声添加后图像对应的判别分布信息；
对所述噪声添加后图像对应的判别分布信息进行度量映射，得到针对所述图像生成模型的梯度度量信息；
基于所述梯度度量信息和所述判别分布信息，生成针对所述图像生成模型的梯度指导参数；
基于所述梯度指导参数，利用图像生成模型基于所述噪声添加后图像进行去噪转移处理，得到目标图像。
相应的，本申请实施例还提供了一种图像生成装置，包括：
第二噪声添加单元，用于获取原始图像，对所述原始图像进行噪声添加处理，得到噪声添加后图像；
第二判别单元，用于利用判别模型对所述噪声添加后图像进行判别处理，得到所述噪声添加后图像对应的判别分布信息；
度量映射单元，用于对所述噪声添加后图像对应的判别分布信息进行度量映射，得到针对所述图像生成模型的梯度度量信息；
参数生成单元，用于基于所述梯度度量信息和所述判别分布信息，生成针对所述图像生成模型的梯度指导参数；
第二采样单元，用于基于所述梯度指导参数，利用图像生成模型基于所述噪声添加后图像进行去噪转移处理，得到目标图像。
在一实施例中，所述第二判别单元，可以包括：
卷积运算子单元，用于利用所述判别模型对所述噪声添加后图像进行卷积运算，得到卷积运算后信息；
非线性转换子单元，用于利用所述判别模型对所述卷积运算后信息进行非线性转换，得到转换后信息；
池化子单元，用于利用所述判别模型对所述转换后信息进行池化处理，得到所述判别分布信息。
在一实施例中，所述参数生成单元，可以包括：
纹理图像获取子单元，用于获取判别模型针对所述噪声添加后图像进行判别处理得到的纹理图像；
放缩因子生成子单元，用于根据所述纹理图像和所述判别分布信息，生成针对所述梯度度量信息的放缩因子；
算术运算子单元，用于将所述放缩因子和所述梯度度量信息进行算术运算，得到所述梯度指导参数。
在一实施例中，所述放缩因子生成子单元，可以包括：
分布运算模块，用于对所述纹理图像进行分布运算，得到所述纹理图像对应的纹理分布信息；
比较运算模块，用于将所述纹理分布信息和所述判别分布信息进行比较运算，得到所述纹理分布信息和所述判别分布信息之间的比较信息；
调整处理模块，用于利用预设平衡参数对所述比较信息进行调整处理，得到所述梯度度量信息的放缩因子。
在一实施例中，所述算术运算子单元，可以包括：
对数运算模块，用于对所述梯度度量信息进行对数运算，得到第一运算后梯度度量信息；
梯度运算模块，用于对所述第一运算后梯度度量信息进行梯度运算，得到第二运算后梯度度量信息；
相乘模块用于，将所述第二运算后梯度度量信息和所述放缩因子进行相乘，得到所述梯度指导参数。
在一实施例中，所述第二采样单元，可以包括：
第二特征提取子单元，用于利用所述图像生成模型对所述噪声添加后图像进行特征提取，得到所述噪声添加后样本图像对应的特征信息；
融合子单元，用于将所述梯度指导参数和所述特征信息进行融合处理，得到融合后特征信息；
图像生成子单元，用于基于所述融合后特征信息，生成所述目标图像。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述一方面的各种可选方式中提供的方法。
相应的，本申请实施例还提供一种存储介质，所述存储介质存储有指令，所述指令被处理器执行时实现本申请实施例任一提供的模型训练方法或图像生成方法。
本申请实施例可以获取训练样本图像，对训练样本图像进行噪声添加处理，得到噪声添加后样本图像；利用图像生成模型对噪声添加后样本图像进行去噪转移处理，得到去噪转移样本图像；利用预设判别模型对噪声添加后样本图像进行判别处理，得到噪声添加后样本图像对应的样本判别分布信息；基于样本判别分布信息和预设标签信息，计算预设判别模型对应的判别损失信息；基于判别损失信息对预设判别模型进行调整，得到性能符合要求的判别模型。通过本申请，可以有效地克服梯度消失的问题，提高模型生成图像的质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的模型训练方法的场景示意图；
图2是本申请实施例提供的模型训练方法的流程示意图；
图3是本申请实施例提供的图像生成方法的又一流程示意图；
图4是本申请实施例提供的图像生成方法的又一场景示意图；
图5是本申请实施例提供的模型训练方法的又一流程示意图；
图6是本申请实施例提供的图像生成方法的又一流程示意图；
图7是本申请实施例提供的模型训练装置的结构示意图；
图8是本申请实施例提供的图像生成装置的结构示意图；
图9是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，然而，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提出了一种模型训练方法，该模型训练方法可以由模型训练装置执行，该模型训练装置可以集成在计算机设备中。其中，该计算机设备可以包括终端以及服务器等中的至少一个。即，本申请实施例提出的模型训练方法即可以由终端执行，还可以由服务器执行，还可以由能够进行互相通信的终端和服务器共同执行。
其中，终端可以包括但不限于智能手机、平板电脑、笔记本电脑、个人电脑(Personal Computer，PC)、智能家电、可穿戴电子设备、VR/AR设备、车载终端、智能语音交互设备等等。
服务器可以为多个异构系统之间的互通服务器或者后台服务器，还可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器等等。
需要说明的是，本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
在一实施例中，如图1所述，模型训练装置可以集成在终端或服务器等计算机设备上，以实施本申请实施例提出的模型训练方法。具体地，服务器11可以获取训练样本图像，对训练样本图像进行噪声添加处理，得到噪声添加后样本图像；利用图像生成模型对噪声添加后样本图像进行去噪转移处理，得到去噪转移样本图像；利用预设判别模型对噪声添加后样本图像进行判别处理，得到噪声添加后样本图像对应的样本判别分布信息；基于样本判别分布信息和预设标签信息，计算预设判别模型对应的判别损失信息；基于判别损失信息对预设判别模型进行调整，得到性能符合要求的判别模型。然后，可以将判别模型和图像生成模型部署到终端10中，使得终端10可以通过判别模型和图像生成模型进行图像处理。
以下分别进行详细说明，需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本申请实施例将从模型训练装置的角度进行描述，该模型训练装置可以集成在计算机设备中，该计算机设备可以是服务器，也可以是终端等设备。
如图2所述，提供了一种模型训练方法，具体流程包括：
101、获取训练样本图像，对训练样本图像进行噪声添加处理，得到噪声添加后样本图像。
在一实施例中，梯度消失在模型应用中影响模型性能的一个常见问题。梯度消失会使得模型对图像进行处理时，损失很多纹理细节，从而影响图像最后生成质量。为了解决该问题，本申请实施提出的方法，可以借助判别模型，实现图像生成模型在图像生成的过程中克服梯度消失的问题，提高生成的图像的质量。
其中，图像生成模型可以是一个人工智能模型。通过图像生成模型，可以对质量较差的图像进行优化。例如，通过图像生成模型可以提高图像的分辨率，恢复受损的图像，或为噪声较多的图像去除噪声，等等。
其中，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。其中，强化学习是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。深度强化学习是将深度学习和强化学习相结合，将深度学习的技术来求解强化学习的问题。
例如，图像生成模型可以是卷积神经网络(Convolutional Neural Networks，CNN)、反卷积神经网络(De-Convolutional Networks，DN)、深度神经网络(Deep NeuralNetworks，DNN)、深度卷积逆向图网络(Deep Convolutional Inverse GraphicsNetworks，DCIGN)、基于区域的卷积网络(Region-based Convolutional Networks，RCNN)、基于注意力机制的序列推荐模型(Self-Attentive Sequential Recommendation，SASRec)、基于区域的快速卷积网络(Faster Region-based Convolutional Networks，Faster RCNN)、语义分割网络(U-Net)、基于Wasserstein距离的神经网络模型或双向编解码(Bidirectional Encoder Representations from Transformers，BERT)模型等中的至少一种，也可以是上述模型的结合体。
在一实施例中，该图像生成模型可以是扩散模型。其中，扩散模型受到了非平衡热力学的启发，它们定义一个扩散步骤的马尔可夫链，逐渐向数据添加随机噪声，然后学习逆扩散过程，从噪声中构建所需的数据样本。
在一实施例中，图像生成模型中可以包括噪声估计网络和采样网络。
其中，噪声估计网络可以用于对噪声添加后图像进行噪声估计，得到噪声添加后图像对应的噪声图像，而噪声添加后图像是通过对原生图像添加噪声后得到的图像。而采样网络的处理过程则可以是噪声估计网络处理过程的逆过程。例如，采样网络可以对噪声图像进行采样，以得到质量比原始图像更好的目标图像。又例如，采样网络可以对噪声图像进行采样，使得采样得到的目标图像符合一定的条件。
在一实施例中，该噪声估计网络和采样网络也可以是基于人工智能模型的模型结构构建的网络。例如，该采样网络可以是U-Net网络或Attention U-Net网络，等等。其中，Attention U-Net网络可以指将注意力机制应用于U-Net分割网络中。
在一实施例中，图像生成模型可以是一个训练好的，模型性能达到要求的模型。
在一实施例中，梯度消失在模型应用中影响模型性能的一个常见问题。梯度消失会使得模型对图像进行处理时，损失很多纹理细节，从而影响图像最后生成质量。例如，当图像生成模型是扩散模型时，若扩散模型出现条件梯度消失的原因时，会严重地影响到扩散模型生成图像的质量。
为了缓解图像生成模型中梯度消失的问题，在本申请实施例借助判别模型作为图像生成模型条件梯度消失程度的度量，通过判别器的度量构建一个样本自适应的梯度指导参数，从而恢复图像生成模型生成的图像的纹理细节。
其中，判别模型也可以是一个人工智能模型。例如，该判别模型可以是CNN或DNN，等等。
在一实施例中，可以对预设判别模型进行训练，得到判别模型。在本申请实施例中，为了实现判别模型可以对图像生成模型的梯度消失问题进行有效地判别，可以利用图像生成模型对预设判别模型进行训练，得到判别模型。
在一实施例中，训练样本图像可以指对预设判别器进行训练时所用到的训练数据。可以从多种途经获取训练样本图像。例如，可以从网络上公开的图像数据库中获取训练样本图像。又例如，可以通过人工采集训练样本图像，等等。其中，本申请实施例对训练样本图像的内容并没有限制。例如，该训练样本图像可以是人脸图像，可以是各种物品、风景的图像，等等。
在一实施例中，一般的图像生成方法是直接基于图像生成图像，或者文字生成图像。而直接基于图像生成图像实现的难度会较大，而且生成的图像质量也会较低。在本申请实施例中，通过实现将图像恢复成噪声，然后再在噪声中生成图像的方式生成图像，提高图像生成的质量。
在一实施例中，有多种方式可以对训练样本图像进行噪声添加处理，得到噪声添加后样本图像。
例如，可以生成高斯白噪声，添加到训练样本图像中。又例如，可以随机生成各种噪声，添加到训练样本图像中。
在一实施例中，开发人员可以预先设置好噪声参数，使得模型训练装置可以根据噪声参数生成噪声添加因子，并将噪声添加因子添加至训练样本图像中。具体的，步骤“对训练样本图像进行噪声添加处理，得到噪声添加后样本图像”，可以包括：
获取噪声参数；
根据噪声参数，生成符合预设分布的噪声添加因子；
将噪声添加因子添加至训练样本图像，得到噪声添加后样本图像。
其中，噪声参数可以用于调整噪声添加因子的大小。
在一实施例中，可以获取噪声参数，然后，根据噪声参数生成符合预设分布的噪声添加因子。例如，可以根据噪声参数，生成符合高斯分布的噪声添加因子。然后，可以将噪声添加因子添加至训练样本图像，得到噪声添加后图像。
在一实施例中，假设图像生成模型是扩散模型。则，对训练样本进行噪声添加处理，得到噪声后添加样本图像可以表示如下：
其中，当t＝1时，xt-1＝x0。其中，x0可以指训练样本图像。可以对训练样本图像进行多次噪声添加处理，得到噪声添加后样本图像。其中，xt-1可以指噪声添加处理过程中形成添加了噪声的样本图像。xt可以指噪声添加后样本图像。βt可以是一个事先定义好的噪声尺度。I可以指单位矩阵。
通过状态转移分布，可以得到任意时间步的噪声分布为：
其中，αt＝1-βt。该公式可以保证随着时间步t的增加，图像生成模型的扩散过程最终的稳态分布为标准高斯先验。
102、利用图像生成模型对噪声添加后样本图像进行去噪转移处理，得到去噪转移样本图像。
在一实施例中，可以利用图像生成模型对噪声添加后样本图像进行去噪转移处理，得到去噪转移样本图像。
例如，可以利用图像生成模型的采样网络对噪声添加后样本图像进行去噪转移处理，得到去噪转移样本图像。
其中，对噪声添加后样本图像进行去噪转移处理可以指基于噪声添加后样本图像，生成去噪转移样本图像。其中，去噪转移样本图像的内容可以和训练样本图像的内容相同，但是，去噪转移样本图像的图像质量比训练样本图像的图像质量要好。
在一实施例中，步骤“利用图像生成模型对所述噪声添加后样本图像进行去噪转移处理，得到去噪转移样本图像”，可以包括：
对噪声添加后样本图像进行噪声估计，得到噪声添加后样本图像对应的噪声样本图像；
对噪声样本图像进行特征提取，得到噪声样本图像对应的特征信息；
对特征信息进行下采样处理，得到特征信息对应的下采样信息；
对下采样信息进行上采样处理，得到下采样信息对应的上采样信息；
将下采样信息和上采样信息进行注意力融合，得到去噪转移样本图像。
在一实施例中，图像生成模型中可以包括噪声估计网络，该噪声估计网络可以用于将噪声添加后图像中添加的噪声给估计出来，得到噪声样本图像。例如，如图4所示，可以利用该噪声估计网络对噪声添加后样本图像进行噪声估计，得到噪声添加后样本图像对应的噪声样本图像。其中，该噪声估计网络可以是人工智能网络。例如，该噪声估计网络是CNN网络或DNN网络，等等。
在一实施例中，可以利用采样网络对噪声样本图像进行特征提取，得到噪声样本图像对应的特征信息。
例如，采样网络中可以包括卷积核，可以利用采样网络中的卷积核对添加后样本图像进行特征提取，得到噪声添加后样本图像对应的特征信息。
在一实施例中，可以利用采样网络对特征信息进行下采样处理，得到特征信息对应的下采样信息。其中，本申请实施例可以支持各种方法对特征信息进行下采样处理，得到特征信息对应的下采样信息。例如，可以对特征信息进行最大池化处理或平均池化处理，得到下采样信息。其中，若采用最大池化对特征信息进行处理，还可以更好地保留图像的纹理特征。又例如，可以利用卷积核对特征信息进行下采样处理，得到下采样信息。
其中，在本申请实施例中，可以对特征信息进行多次下采样处理，得到多个下采样信息。例如，可以对特征信息进行下采样处理，得到第一下采样信息。然后，可以对第一下采样信息继续进行下采样处理，得到第二下采样信息。然后，可以对第二下采样信息继续进行下采样处理，得到第三下采样信息。
在一实施例中，可以利用采样网络对下采样信息进行上采样处理，得到下采样信息对应的上采样信息。其中，本申请实施可以支持各种方法对下采样信息进行上采样处理，得到下采样信息对应的上采样信息。例如，可以对上采样信息进行插值运算，得到上采样信息。例如，可以对上采样信息继续双线性插值、三角线性插值，等等。又例如，可以对上采样信息进行转置卷积或反卷积，通过对下采样信息间隔填充0，然后再进行卷积计算，得到上采样信息。
其中，在本申请实施例中，可以对下采样信息进行多次上采样处理，得到多个上采样信息。例如，可以对下采样信息进行上采样处理，得到第一上采样信息。然后，可以对第一上采样信息继续进行上采样处理，得到第二上采样信息。然后，可以对第二上采样信息继续进行上采样处理，得到第三上采样信息。
其中，对下采样信息进行上采样处理的次数应当与对特征信息进行下采样处理的次数相同。例如，对特征信息进行了4次下采样处理，相应地，会对下采样信息进行4次上采样处理。
在一实施例中，可以采样网络将下采样信息和上采样信息进行注意力融合，得到去噪转移样本图像。
例如，可以利用基于注意力机制的注意力信息和下采样信息进行相乘，使得下采样信息中不相关区域的值变小，而相关区域的值变大。然后，将相乘后下采样信息和上采样信息进行拼接，得到去噪转移样本图像。
在一实施例中，可以对特征信息进行下采样处理，得到第一下采样信息。然后，可以对第一下采样信息继续进行下采样处理，得到第二下采样信息。然后，可以对第二下采样信息继续进行下采样处理，得到第三下采样信息。然后，可以对第三下采样信息进行上采样处理，得到第一上采样信息。然后，可以基于注意力机制的注意力信息和第三下采样信息进行相乘，得到相乘后的第三下采样信息。然后，可以将相乘后第三下采样信息和第一上采样信息进行拼接，得到拼接后的第一上采样信息。然后，可以对拼接后的第一上采样信息进行上采样处理，得到第二上采样信息。可以将注意力信息和第二下采样信息进行相乘，得到相乘后的第二下采样信息。然后，将相乘后的第二下采样信息和第二上采样信息进行拼接，得到拼接后的第二上采样信息。以此类推，得到去噪转移样本图像。
在一实施例中，假设图像生成模型是扩散模型。则采样过程可以是噪声添加过程的逆过程。具体的，可以通过去噪转移分布建模生成：
Pθ(xt-1|xt)＝N(xt-1；μθ(xt),σt 2I)
其中其中，∈θ可以是对噪声估计网络的参数化，该参数化形式本质上是为了方便计算pθ(xt-1|xt)和q(xt-1|xt,x0)两个分布的KL散度，我们用这样的KL散度作为训练损失函数来更新模型参数θ。其中，σt可以是常数。
103、利用预设判别模型对噪声添加后样本图像进行判别处理，得到噪声添加后样本图像对应的样本判别分布信息。
在一实施例中，利用预设判别模型对噪声添加后样本图像进行判别处理，从而判断图像生成模型是否存在梯度消失的问题。其中，样本判别分布信息可以用于说明添加后样本图像的分布，因此，可以通过样本判别分布信息说明图像生成模型是否存在梯度消失的问题。
例如，当样本判别分布信息异常时，说明图像生成模型存在梯度消失问题。而当样本判别分布信息不异常时，说明图像生成模型不存在梯度消失问题。
在一实施例中，可以利用预设判别模型对噪声添加后图像进行卷积运算、非线性转换和池化处理，得到样本判别分布信息。
例如，可以利用预设判别模型中的Conv 3*3*3对噪声添加后样本图像进行卷积运算，得到卷积运算后样本信息。然后，可以利用非线性函数和卷积运算后样本信息进行非线性转换，得到转换后样本信息。其中，非线性函数可以包括Sigmoid函数、Tanh函数、Relu函数，等等。然后，可以利用预设判别模型对转换后样本信息进行平均池化处理或最大池化处理，得到样本判别分布信息。
104、基于样本判别分布信息和预设标签信息，计算预设判别模型对应的判别损失信息。
在一实施例中，为了让图像生成模型的模型参数的生成过程可以受到条件控制，比如类别标签这样的条件信息，即给定一个类型标签，最终生成给定类型的图像。例如，该标签类型可以是文字信息，图像生成模型可以基于标签类型将原始图像转换为符合该条件信息的目标图像。譬如，该标签类型可以是动漫风，然后，图像生成模型可以将原始图像转换为动漫风的目标图像。又例如，该标签类型可以是关键词“机械+工业”，然后，图像生成模型可以将原始图像转换为符合关键词“机械+工业”的目标图像。
在一实施例中，通过拆解条件概率公式，可以得到判别模型指导的条件生成公理表达：
其中，可以是判别模型的输出分布。其中，y可以是判别模型的输出。Z是一个归一化因子，和xt无关。可以看到似然分布的输入是xt，因此需要让判别模型适配图像生成模型中各个程度的噪声。
为了令判别模型可以适配图像生成模型中各个程度的噪声，可以基于样本判别分布信息和预设标签信息，计算标签损失信息。
此外，针对判别模型指导图像生成模型的采样过程中的梯度消失问题，本申请实施例还提出了一种熵约束的训练损失。
具体的，步骤“基于样本判别分布信息和预设标签信息，计算预设判别模型对应的判别损失信息”，可以包括：
基于样本判别分布信息和预设标签信息，计算标签损失信息；
对样本判别分布信息进行熵损失运算，得到分布熵损失信息；
将标签损失信息和分布熵损失信息进行融合处理，得到判别损失信息。
其中，标签损失信息可以用于衡量样本判别分布信息和预设标签信息之间的差异程度。一般情况下，若样本判别分布信息和预设标签信息之间的差异程度越小，训练效果会越好。反之，若样本判别分布信息和预设标签信息之间的差异程度越大，训练效果会越差。
在一实施例中，步骤“基于样本判别分布信息和预设标签信息，计算标签损失信息”可以包括：
对样本判别分布信息进行对数运算，得到运算后样本判别分布信息；
将运算后样本判别分布信息和所述预设标签信息进行相乘，得到标签损失信息。
例如，假设样本判别分布信息为则标签损失信息可以表示如下：
其中，可以表示预设判别模型的输出。y′可以表示预设标签信息。
可以表示标签损失信息。
在一实施例中，本发明额外引入了一种熵约束的训练损失，让其预测分布不仅要和one-hot分布做交叉熵，同时也要和均匀分布做交叉熵，最终损失函数简化为对预测分布的熵做约束：
其中，C是常数项，H()可以表示分布熵。可以表示分布熵损失信息。
由于均匀分布相较于one-hot分布是一种更稠密的分布形式，因此它作为约束能有效的缓解因one-hot监督分布的稀疏性带来的梯度指导消失的问题。然后，可以将标签损失信息和分布熵损失信息进行融合处理，得到判别损失信息。例如，可以将标签损失信息和分布熵损失信息进行相加，得到判别损失信息。譬如，判别损失信息可以表示如下：
Ltot＝LCE+β*LECT
其中，Ltot可以表示判别损失信息。β可以是融合参数，该融合参数可以是一个常数。
105、基于判别损失信息对预设判别模型进行调整，得到性能符合要求的判别模型。
在一实施例中，可以基于判别损失信息对预设判别模型进行调整，得到性能符合要求的判别模型。例如，可以基于判别损失信息对预设判别模型的模型参数进行调整。当判别损失信息收敛时，则可以得到性能符合要求的判别模型。
本申请实施例中，可以获取训练样本图像，利用图像生成模型中的噪声估计网络对训练样本图像进行噪声添加处理，得到噪声添加后样本图像；利用图像生成模型的采样网络对噪声添加后样本图像进行去噪转移处理，得到去噪转移样本图像；利用预设判别模型对噪声添加后样本图像进行判别处理，得到噪声添加后样本图像对应的样本判别分布信息；基于样本判别分布信息和预设标签信息，计算预设判别模型对应的判别损失信息；基于判别损失信息对所述预设判别模型进行调整，得到性能符合要求的判别模型。通过本申请实施例，可以使得判别模型和图像生成模型能够适配，令判别模型可以对图像生成模型的梯度消失问题进行准确地判断。此外，在对预设判别模型进行训练时，通过对样本判别分布信息进行熵损失运算，可以有效地缓解图像生成模型的噪声对判别模型的影响，从而提高判别模型进行判别的准确性。
在一实施例中，本申请实施例还提出了一种图像生成方法，该图像生成方法可以由图像生成装置执行，该图像生成装置可以集成在计算机设备中。其中，该计算机设备可以包括终端以及服务器等中的至少一个。即，本申请实施例提出的图像生成方法即可以由终端执行，还可以由服务器执行，还可以由能够进行互相通信的终端和服务器共同执行。
其中，终端可以包括但不限于智能手机、平板电脑、笔记本电脑、个人电脑(Personal Computer，PC)、智能家电、可穿戴电子设备、VR/AR设备、车载终端、智能语音交互设备等等。
服务器可以为多个异构系统之间的互通服务器或者后台服务器，还可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器等等。
需要说明的是，本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
在一实施例中，如图1所述，图像生成装置可以集成在终端或服务器等计算机设备上，以实施本申请实施例提出的图像生成方法。具体地，终端10可以获取原始图像，对所述原始图像进行噪声添加处理，得到噪声添加后图像；利用利用通过服务器11部署的判别模型对噪声添加后图像进行判别处理，得到噪声添加后图像对应的判别分布信息；对噪声添加后图像对应的判别分布信息进行度量映射，得到针对图像生成模型的梯度度量信息；基于梯度度量信息和判别分布信息，生成针对图像生成模型的梯度指导参数；基于梯度指导参数，利用图像生成模型基于噪声添加后图像进行去噪转移处理，得到目标图像。
以下分别进行详细说明，需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本申请实施例将从模型训练装置的角度进行描述，该模型训练装置可以集成在计算机设备中，该计算机设备可以是服务器，也可以是终端等设备。
如图3所述，提供了一种模型训练方法，具体流程包括：
201、获取原始图像，对原始图像进行噪声添加处理，得到噪声添加后图像。
其中，原始图像可以指未经过图像生成模型处理的图像。
在一实施例中，可以利用图像生成模型对原始图像进行噪声添加处理，得到噪声添加后图像。其中，步骤“利用图像生成模型对原始图像进行噪声添加处理，得到噪声添加后图像”可以参考步骤101，此处不再重复论述。
202、利用判别模型对噪声添加后图像进行判别处理，得到噪声添加后图像对应的判别分布信息。
在一实施例中，为了可以利用判别模型辅助图像生成模型进行图像生成，避免梯度消失的问题，可以利用判别模型对噪声添加后图像进行判别处理，得到噪声添加后图像对应的判别分布信息。
具体的，步骤“利用判别模型对噪声添加后图像进行判别处理，得到噪声添加后图像对应的判别分布信息”，可以包括：
利用判别模型对噪声添加后图像进行卷积运算，得到卷积运算后信息；
利用判别模型对卷积运算后信息进行非线性转换，得到转换后信息；
利用判别模型对转换后信息进行池化处理，得到判别分布信息。
在一实施例中，可以利用判别模型对噪声添加后图像进行卷积运算，得到卷积运算后信息。例如，可以利用判别模型中的Conv 3*3*3对噪声添加后图像进行卷积运算，得到卷积运算后信息。
在一实施例中，可以利用判别模型对卷积运算后信息进行非线性转换，得到转换后信息。例如，可以将非线性函数和卷积运算后信息进行运算，得到转换后信息。例如，非线性函数可以包括Sigmoid函数、Tanh函数、Relu函数，等等。
在一实施例中，可以利用判别模型对转换后信息进行池化处理，得到判别分布信息。例如，可以利用判别模型对转换后信息进行平均池化处理，得到判别分布信息。又例如，可以利用判别模型对转换后信息进行最大池化处理，得到判别分布信息。
203、对噪声添加后图像对应的判别分布信息进行度量映射，得到针对图像生成模型的梯度度量信息。
在一实施例中，可以对噪声添加后图像对应的判别分布信息进行度量映射，得到针对图像生成模型的梯度度量信息。
其中，梯度度量信息可以用于对图像生成模型梯度消失的问题进行衡量。通过梯度度量信息，可以说明图像生成模型中梯度消失问题的严重程度。
在一实施例中，可以基于判别模型指导的条件生成公理表达生成针对图像生成模型的梯度度量信息。其中，判别模型指导的条件生成公理表达如下：
而通过该判别模型的条件生成公式表达可以看出，判别模型的条件生成公式表达和图像生成模型是存在关联的，因此，可以基于判别模型指导的条件生成公理表达生成针对图像生成模型的梯度度量信息。
在一实施例中，在给定条件分布的情况下，具体转移的概率密度可以表示为：
log p(xt-1|xt,y)≈log p(z)+log Z,
其中由公式和图4可知，条件信息指导的具体形式是判别模型反传的梯度，而s也是一个控制梯度大小的放缩因子。
上述公式指出，判别模型提供的梯度指导会由于判别和生成模式上的差异而过早消失，因而导致最终生成采样的样本缺失了很多纹理细节。比如，判别模型往往能够通过轮廓信息就能够判断图片物体的类别，判别概率往往很快收敛到1，关于纹理细节部分的反传的梯度十分微弱。并且，该梯度消失的程度根据每个样本而异，因为图像生成模型随机采样的特性。
因此，引入了一种判别模型判别分布的熵作为梯度消失的一种度量，即梯度度量信息。通过梯度度量信息，可以对图像生成模型梯度消失的问题进行衡量。
在一实施例中，对添加后图像对应的判别分布信息进行度量映射可以包括对添加后图像对应的判别分布信息进行对数运算，得到运算后判别分布信息。然后，可以计算判别分布信息的期望，得到梯度度量信息。
例如，梯度度量信息可以表示如下：
/>
其中，可以表示梯度度量信息。
204、基于梯度度量信息和判别分布信息，生成针对图像生成模型的梯度指导参数。
在一实施例中，可以基于梯度度量信息和判别分布信息，生成针对图像生成模型的梯度指导参数。
其中，梯度指导参数可以用于指导图像生成模型中梯度的收敛情况，从而避免图像生成模型出现梯度消失的问题。
具体的，步骤“基于梯度度量信息和判别分布信息，生成针对图像生成模型的梯度指导参数”，可以包括：
获取判别模型针噪声添加后图像进行判别处理得到的纹理图像；
根据纹理图像和判别分布信息，生成针对梯度度量信息的放缩因子；
将放缩因子和梯度度量信息进行算术运算，得到梯度指导参数。
在一实施例中，判别模型在对噪声添加后图像进行判别处理时，除了可以得到噪声添加后图像对应的判别分布信息以外，还可以得到纹理图像。其中，纹理图像是判别模型对噪声添加后图像进行处理后得到的图像。
例如，判别模型可以对噪声添加后图像进行卷积运算、非线性转换和池化处理后得到纹理图像。其中，判别模型在对噪声添加后图像进行卷积运算、非线性转换和池化处理的过程中，其实也是在获取噪声添加后图像中的纹理细节，因此，纹理图像可以反应出噪声添加后图像的纹理细节。
在一实施例中，可以根据纹理图像和判别分布信息，生成针对梯度度量信息的放缩因子。具体的，步骤“根据纹理图像和判别分布信息，生成针对梯度度量信息的放缩因子”，可以包括：
对纹理图像进行分布运算，得到纹理图像对应的纹理分布信息；
将纹理分布信息和判别分布信息进行比较运算，得到纹理分布信息和判别分布信息之间的比较信息；
利用预设平衡参数对比较信息进行调整处理，得到针对梯度度量信息的放缩因子。
在一实施例中，可以对纹理图像进行分布运算，得到纹理图像对应的纹理分布信息。其中，可以根据预设分布对纹理图像进行分布运算，得到纹理图像对应的纹理分布信息。例如，可以基于均匀分布对纹理图像进行分布运算，得到纹理图像对应的均匀分布信息。然后，对纹理图像对应的均匀分布信息进行对数运算，得到对数运算后均匀分布信息。然后，对对数运算后均匀分布信息进行期望运算，得到纹理分布信息。
在一实施例中，可以将纹理分布信息和判别分布信息进行比较运算，得到纹理分布信息和判别分布信息之间的比较信息。例如，可以将纹理分布信息和判别分布信息进行相除，得到比较信息。又例如，可以将纹理分布信息和判别分布信息进行相减，得到比较信息。
在一实施例中，可以利用预设平衡参数对比较进行调整处理，得到梯度度量信息的放缩因子。其中，当纹理分布信息和判别分布信息差异过大，或者纹理分布信息计算异常或判别分布信息计算异常时，可能会导致比较信息异常。例如，比较信息可能会超出正常阈值的范围，存在过大或者过小的情况。而预设平衡参数是用于平衡比较信息，避免平衡比较信息超出正常阈值的情况。例如，可以将预设平衡参数和比较信息进行相乘，得到针对梯度度量信息的放缩因子。
在一实施例中，可以按照下列公式计算放缩因子：
其中，H(Uniform(y))可以指纹理分布信息，Uniform(y)可以指对纹理图像求均匀分布。γ可以指预设平衡参数。可以指放缩因子。
在一实施例中，在得到放缩因子之后，可以将放缩因子和梯度度量信息进行算术运算，得到梯度指导信息。具体的，步骤“将放缩因子和梯度度量信息进行算术运算，得到梯度指导参数”，可以包括：
对梯度度量信息进行对数运算，得到第一运算后梯度度量信息；
对第一运算后梯度度量信息进行梯度运算，得到第二运算后梯度度量信息；
将第二运算后梯度度量信息和放缩因子进行相乘，得到梯度指导参数。
在一实施例中，可以按照下列公式计算梯度指导参数：
其中，g’可以表示梯度指导参数。
在本申请实施例中，通过引入平均分布的熵，作为熵的上界来约束提出的放缩因子的数值范围，使得其在采样刚开始阶段近似为1，同时也是梯度没有消失的阶段，因而保证了放缩控制的合理性。
205、基于梯度指导参数，利用图像生成模型基于噪声添加后图像进行去噪转移处理，得到目标图像。
在一实施例中，在得到梯度指导参数之后，可以利用图像生成模型基于噪声添加后图像进行去噪转移处理，得到目标图像。
具体的，步骤“基于梯度指导参数，利用图像生成模型基于噪声添加后图像进行去噪转移处理，得到目标图像”，可以包括：
利用图像生成模型对噪声添加后图像进行噪声估计，得到噪声图像；
利用图像生成模型对噪声图像进行特征提取，得到噪声图像对应的特征信息；
将梯度指导参数和特征信息进行融合处理，得到融合后特征信息；
基于融合后特征信息，生成目标图像。
在一实施例中，可以利用图像生成模型对噪声添加后图像进行噪声估计，得到噪声图像。对噪声图像进行特征提取，得到噪声图像对应的特征信息。例如可以利用图像生成模型的采样网络对噪声图像进行特征提取，得到噪声图像对应的特征信息。例如，可以利用采样网络中的卷积核对噪声图像进行卷积运算，得到噪声图像对应的特征信息。
在一实施例中，当图像生成模型存在梯度消失问题时，图像生成模型进行特征提取得到的特征信息会损失掉很多的纹理细节，使得生成的图像不符合要求。而梯度指导参数是基于纹理图像生成的，所以梯度指导参数可以用于指导图像生成模型在图像生成的过程中注重纹理细节的采样。因此，可以将梯度指导参数和特征信息进行融合处理，得到融合后特征信息。例如，可以将梯度指导参数和特征信息进行相乘，得到融合后特征信息。又例如，可以将梯度指导参数和特征信息进行相加，得到融合后特征信息。
在一实施例中，可以基于融合后特征信息，生成目标图像。例如，可以利用采样网络对融合后特征信息进行上采样处理，得到上采样融合特征信息。然后，利用采样网络对融合后特征信息进行下采样处理，得到下采样融合特征信息。然后，将上采样融合特征信息和下采样融合特征信息进行注意力融合，得到目标图像。其中，上述步骤会不断地迭代，判别模型对图像生成模型的影响也会在迭代中不断地深化，直至图像生成模型生成目标图像。例如，判别模型通过对图像生成模型的梯度进行干预，使得图像生成模型在采样过程中可以克服梯度消失的问题，使得可以准确地对图像进行特征提取，而不会出现损失纹理细节的情况。
最终判别模型指导图像生成模型的条件采样过程，首先由初始化的标准高斯噪声分布开始，通过去噪转移分布，和判别模型针对当前样本反传的梯度，来构建下一个状态，其中判别模型提供的梯度的大小会根据建模的放缩因子来样本自适应的动态调整，通过总共T次去噪迭代后，最终采样出的样本，即可以符合类别信息的约束，也不损失精细的纹理细节。
本申请实施例中，可以获取原始图像，对原始图像进行噪声添加处理，得到噪声添加后图像；利用判别模型对噪声添加后图像进行判别处理，得到噪声添加后图像对应的判别分布信息；对噪声添加后图像对应的判别分布信息进行度量映射，得到针对图像生成模型的梯度度量信息；基于梯度度量信息和判别分布信息，生成针对图像生成模型的梯度指导参数；基于梯度指导参数，利用图像生成模型基于噪声添加后图像进行去噪转移处理，得到目标图像。本申请实施提出了基于分布熵的采样策略，用判别模型预测分布熵作为条件梯度消失程度的一个度量，通过分布熵建模一个自适应的梯度指导参数，通过梯度指导参数可以对图像生成模型中的梯度进行放缩处理，从而克服图像生成模型中存在的梯度消失问题，恢复生成图像生成模型能够准确地捕捉到图像的纹理细节的能力，提高了图像生成的质量。
根据上面实施例所描述的方法，以下将举例作进一步详细说明。
本申请实施例将以模型训练方法集成在服务器上为例来介绍本申请实施例方法。
在一实施例中，如图5所示，一种模型训练方法，具体流程如下：
301、服务器获取训练样本图像，对训练样本图像进行噪声添加处理，得到噪声添加后样本图像。
在一实施例中，可以获取噪声参数，然后，根据噪声参数生成符合预设分布的噪声添加因子。例如，可以根据噪声参数，生成符合高斯分布的噪声添加因子。然后，可以将噪声添加因子添加至训练样本图像，得到噪声添加后图像。
在一实施例中，假设图像生成模型是扩散模型。则，对训练样本进行噪声添加处理，得到噪声后添加样本图像可以表示如下：
其中，当t＝1时，xt-1＝x0。其中，x0可以指训练样本图像。可以对训练样本图像进行多次噪声添加处理，得到噪声添加后样本图像。其中，xt-1可以指噪声添加处理过程中形成添加了噪声的样本图像。xt可以指噪声添加后样本图像。βt可以是一个事先定义好的噪声尺度。I可以指单位矩阵。
通过状态转移分布，可以得到任意时间步的噪声分布为：
其中，αt＝1-βt。该公式可以保证随着时间步t的增加，图像生成模型的扩散过程最终的稳态分布为标准高斯先验。
302、服务器利用图像生成模型对噪声添加后样本图像进行去噪转移处理，得到去噪转移样本图像。
在一实施例中，假设图像生成模型是扩散模型。则采样过程可以是噪声添加过程的逆过程。具体的，可以通过去噪转移分布建模生成：
Pθ(xt-1|xt)＝N(xt-1；μθ(xt),σt 2I)
其中其中，∈θ可以是对噪声估计网络的参数化，该参数化形式本质上是为了方便计算pθ(xt-1|xt)和q(xt-1|xt,x0)两个分布的KL散度，我们用这样的KL散度作为训练损失函数来更新模型参数θ。其中，σt可以是常数。
303、服务器利用预设判别模型对噪声添加后样本图像进行判别处理，得到噪声添加后样本图像对应的样本判别分布信息。
304、服务器基于样本判别分布信息和预设标签信息，计算预设判别模型对应的判别损失信息。
在一实施例中，通过拆解条件概率公式，可以得到判别模型指导的条件生成公理表达：
其中，可以是判别模型的输出分布。其中，y可以是判别模型的输出。Z是一个归一化因子，和xt无关。可以看到似然分布的输入是xt，因此需要让判别模型适配图像生成模型中各个程度的噪声。
例如，假设样本判别分布信息为则标签损失信息可以表示如下：
其中，可以表示预设判别模型的输出。y′可以表示预设标签信息。
在一实施例中，本发明额外引入了一种熵约束的训练损失，让其预测分布不仅要和one-hot分布做交叉熵，同时也要和均匀分布做交叉熵，最终损失函数简化为对预测分布的熵做约束：
其中，C是常数项，H()可以表示分布熵。
由于均匀分布相较于one-hot分布是一种更稠密的分布形式，因此它作为约束能有效的缓解因one-hot监督分布的稀疏性带来的梯度指导消失的问题。然后，可以将标签损失信息和分布熵损失信息进行融合处理，得到判别损失信息。例如，可以将标签损失信息和分布熵损失信息进行相加，得到判别损失信息。譬如，判别损失信息可以表示如下：
Ltot＝LCE+β*LECT
其中，β可以是融合参数，该融合参数可以是一个常数。
305、服务器基于判别损失信息对预设判别模型进行调整，得到性能符合要求的判别模型。
本申请实施例中，服务器获取训练样本图像，利用图像生成模型中的噪声估计网络对训练样本图像进行噪声添加处理，得到噪声添加后样本图像；服务器利用图像生成模型的采样网络对噪声添加后样本图像进行去噪转移处理，得到去噪转移样本图像；服务器利用预设判别模型对噪声添加后样本图像进行判别处理，得到噪声添加后样本图像对应的样本判别分布信息；服务器基于样本判别分布信息和预设标签信息，计算预设判别模型对应的判别损失信息；服务器基于判别损失信息对所述预设判别模型进行调整，得到性能符合要求的判别模型。通过本申请实施例，可以使得判别模型和图像生成模型能够适配，令判别模型可以对图像生成模型的梯度消失问题进行准确地判断。此外，在对预设判别模型进行训练时，通过对样本判别分布信息进行熵损失运算，可以有效地缓解图像生成模型的噪声对判别模型的影响，从而提高判别模型进行判别的准确性。
根据上面实施例所描述的方法，以下将举例作进一步详细说明。
本申请实施例将以图像生成方法集成在终端上为例来介绍本申请实施例方法。
在一实施例中，如图6所示，一种图像生成方法，具体流程如下：
401、终端获取原始图像，对原始图像进行噪声添加处理，得到噪声添加后图像。
402、终端利用判别模型对噪声添加后图像进行判别处理，得到噪声添加后图像对应的判别分布信息。
403、终端对噪声添加后图像对应的判别分布信息进行度量映射，得到针对图像生成模型的梯度度量信息。
在一实施例中，在给定条件分布的情况下，具体转移的概率密度可以表示为：
log p(xt-1|xt,y)≈log p(z)+log Z,
其中由公式和图1可知，条件信息指导的具体形式是判别模型反传的梯度，而s也是一个控制梯度大小的放缩因子。
上述公式指出，判别模型提供的梯度指导会由于判别和生成模式上的差异而过早消失，因而导致最终生成采样的样本缺失了很多纹理细节。比如，判别模型往往能够通过轮廓信息就能够判断图片物体的类别，判别概率往往很快收敛到1，关于纹理细节部分的反传的梯度十分微弱。并且，该梯度消失的程度根据每个样本而异，因为图像生成模型随机采样的特性。
因此，引入了一种判别模型判别分布的熵作为梯度消失的一种度量，即梯度度量信息。通过梯度度量信息，可以对图像生成模型梯度消失的问题进行衡量。
在一实施例中，对添加后图像对应的判别分布信息进行度量映射可以包括对添加后图像对应的判别分布信息进行对数运算，得到运算后判别分布信息。然后，可以计算判别分布信息的期望，得到梯度度量信息。
例如，梯度度量信息可以表示如下：
其中，可以表示梯度度量信息。
404、终端基于梯度度量信息和判别分布信息，生成针对图像生成模型的梯度指导参数。
在一实施例中，可以按照下列公式计算放缩因子：
其中，H(Uniform(y))可以指纹理分布信息，Uniform(y)可以指对纹理图像求均匀分布。γ可以指预设平衡参数。可以指放缩因子。
在一实施例中，可以按照下列公式计算梯度指导参数：
其中，g’可以表示梯度指导参数。
在本申请实施例中，通过引入平均分布的熵，作为熵的上界来约束提出的放缩因子的数值范围，使得其在采样刚开始阶段近似为1，同时也是梯度没有消失的阶段，因而保证了放缩控制的合理性。
405、终端基于梯度指导参数，利用图像生成模型基于噪声添加后图像进行去噪转移处理，得到目标图像。
最终判别模型指导图像生成模型的条件采样过程，首先由初始化的标准高斯噪声分布开始，通过去噪转移分布，和判别模型针对当前样本反传的梯度，来构建下一个状态，其中判别模型提供的梯度的大小会根据建模的放缩因子来样本自适应的动态调整，通过总共T次去噪迭代后，最终采样出的样本，即可以符合类别信息的约束，也不损失精细的纹理细节。
本申请实施例中，终端可以获取原始图像，对原始图像进行噪声添加处理，得到噪声添加后图像；终端利用判别模型对噪声添加后图像进行判别处理，得到噪声添加后图像对应的判别分布信息；终端对噪声添加后图像对应的判别分布信息进行度量映射，得到针对图像生成模型的梯度度量信息；终端基于梯度度量信息和判别分布信息，生成针对图像生成模型的梯度指导参数；终端基于梯度指导参数，利用图像生成模型基于噪声添加后图像进行去噪转移处理，得到目标图像。本申请实施提出了基于分布熵的采样策略，用判别模型预测分布熵作为条件梯度消失程度的一个度量，通过分布熵建模一个自适应的梯度指导参数，通过梯度指导参数可以对图像生成模型中的梯度进行放缩处理，从而克服图像生成模型中存在的梯度消失问题，恢复生成图像生成模型能够准确地捕捉到图像的纹理细节的能力，提高了图像生成的质量。
为了更好地实施本申请实施例提供的模型训练方法，在一实施例中还提供了一种模型训练装置，该模型训练装置可以集成于计算机设备中。其中名词的含义与上述模型训练方法中相同，具体实现细节可以参考方法实施例中的说明。
在一实施例中，提供了一种模型训练装置，该模型训练装置具体可以集成在计算机设备中，如图7所示，该模型训练装置包括：第一噪声添加单元501、第一采样单元502、第一判别单元503、损失计算单元504和模型调整单元505，具体如下：
第一噪声添加单元501，用于获取训练样本图像，对所述训练样本图像进行噪声添加处理，得到噪声添加后样本图像；
第一采样单元502，用于利用图像生成模型对所述噪声添加后样本图像进行去噪转移处理，得到去噪转移样本图像；
第一判别单元503，用于利用预设判别模型对所述噪声添加后样本图像进行判别处理，得到所述噪声添加后样本图像对应的样本判别分布信息；
损失计算单元504，用于基于所述样本判别分布信息和预设标签信息，计算所述预设判别模型对应的判别损失信息；
模型调整单元505，用于基于所述判别损失信息对所述预设判别模型进行调整，得到性能符合要求的判别模型。
在一实施例中，所述第一采样单元502，可以包括：
噪声估计子单元，用于对所述噪声添加后样本图像进行噪声估计，得到所述噪声添加后样本图像对应的噪声样本图像
特征提取子单元，用于对所述噪声样本图像进行特征提取，得到所述噪声样本图像对应的特征信息；
下采样子单元，用于对所述特征信息进行下采样处理，得到所述特征信息对应的下采样信息；
上采样子单元，用于对所述下采样信息进行上采样处理，得到所述下采样信息对应的上采样信息；
注意力融合子单元，用于将所述下采样信息和所述上采样信息进行注意力融合，得到所述去噪转移样本图像。
在一实施例中，所述损失计算单元504，可以包括：
损失计算子单元，用于基于所述样本判别分布信息和所述预设标签信息，计算标签损失信息；
熵损失运算子单元，用于对所述样本判别分布信息进行熵损失运算，得到分布熵损失信息；
融合子单元，用于将所述标签损失信息和所述分布熵损失信息进行融合处理，得到所述判别损失信息。
在一实施例中，所述损失计算子单元，可以包括：
对数运算模块，用于对所述样本判别分布信息进行对数运算，得到运算后样本判别分布信息；
相乘模块，用于将所述运算后样本判别分布信息和所述预设标签信息进行相乘，得到所述标签损失信息。
在一实施例中，所述第一噪声添加单元501，可以包括：
参数获取子单元，用于获取所述噪声估计网络中符合预设分布的超参数；
因子生成子单元，用于根据所述超参数，生成符合所述预设分布的噪声添加因子；
添加子单元，用于将所述噪声添加因子添加至所述训练样本图像，得到所述噪声添加后样本图像。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
通过上述的模型训练装置可以有效地克服梯度消失的问题，提高模型生成图像的质量。
为了更好地实施本申请实施例提供的图像生成方法，在一实施例中还提供了一种图像生成装置，该图像生成装置可以集成于计算机设备中。其中名词的含义与上述图像生成方法中相同，具体实现细节可以参考方法实施例中的说明。
在一实施例中，提供了一种图像生成装置，该图像生成装置具体可以集成在计算机设备中，如图8所示，该图像生成装置包括：第二噪声添加单元601、第二判别单元602、度量映射单元603、参数生成单元604和第二采样单元605，具体如下：
第二噪声添加单元601，用于获取原始图像，对所述原始图像进行噪声添加处理，得到噪声添加后图像；
第二判别单元602，用于利用判别模型对所述噪声添加后图像进行判别处理，得到所述噪声添加后图像对应的判别分布信息；
度量映射单元603，用于对所述噪声添加后图像对应的判别分布信息进行度量映射，得到针对所述图像生成模型的梯度度量信息；
参数生成单元604，用于基于所述梯度度量信息和所述判别分布信息，生成针对所述图像生成模型的梯度指导参数；
第二采样单元605，用于基于所述梯度指导参数，利用图像生成模型基于所述噪声添加后图像进行去噪转移处理，得到目标图像。
在一实施例中，所述第二判别单元602，可以包括：
卷积运算子单元，用于利用所述判别模型对所述噪声添加后图像进行卷积运算，得到卷积运算后信息；
非线性转换子单元，用于利用所述判别模型对所述卷积运算后信息进行非线性转换，得到转换后信息；
池化子单元，用于利用所述判别模型对所述转换后信息进行池化处理，得到所述判别分布信息。
在一实施例中，所述参数生成单元604，可以包括：
纹理图像获取子单元，用于获取判别模型针对所述噪声添加后图像进行判别处理得到的纹理图像；
放缩因子生成子单元，用于根据所述纹理图像和所述判别分布信息，生成针对所述梯度度量信息的放缩因子；
算术运算子单元，用于将所述放缩因子和所述梯度度量信息进行算术运算，得到所述梯度指导参数。
在一实施例中，所述放缩因子生成子单元，可以包括：
分布运算模块，用于对所述纹理图像进行分布运算，得到所述纹理图像对应的纹理分布信息；
比较运算模块，用于将所述纹理分布信息和所述判别分布信息进行比较运算，得到所述纹理分布信息和所述判别分布信息之间的比较信息；
调整处理模块，用于利用预设平衡参数对所述比较信息进行调整处理，得到所述梯度度量信息的放缩因子。
在一实施例中，所述算术运算子单元，可以包括：
对数运算模块，用于对所述梯度度量信息进行对数运算，得到第一运算后梯度度量信息；
梯度运算模块，用于对所述第一运算后梯度度量信息进行梯度运算，得到第二运算后梯度度量信息；
相乘模块用于，将所述第二运算后梯度度量信息和所述放缩因子进行相乘，得到所述梯度指导参数。
在一实施例中，所述第二采样单元605，可以包括：
第二特征提取子单元，用于利用所述图像生成模型对所述噪声添加后图像进行特征提取，得到所述噪声添加后样本图像对应的特征信息；
融合子单元，用于将所述梯度指导参数和所述特征信息进行融合处理，得到融合后特征信息；
图像生成子单元，用于基于所述融合后特征信息，生成所述目标图像。
通过上述的图像生成装置可以有效地克服梯度消失的问题，提高模型生成图像的质量。
本申请实施例还提供一种计算机设备，该计算机设备可以包括终端或服务器，比如，计算机设备可以作为模型训练终端或图像生成终端，该终端可以为手机、平板电脑等等；又比如计算机设备可以为服务器，如模型训练服务器或图像生成服务器等。如图9所示，其示出了本申请实施例所涉及的终端的结构示意图，具体来讲：
该计算机设备可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、电源703和输入单元704等部件。本领域技术人员可以理解，图9中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器701是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器702内的软件程序和/或模块，以及调用存储在存储器702内的数据，执行计算机设备的各种功能和处理数据。可选的，处理器701可包括一个或多个处理核心；优选的，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户页面和应用程序等，调制解调处理器主要处理无线通讯。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。
存储器702可用于存储软件程序以及模块，处理器701通过运行存储在存储器702的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器702还可以包括存储器控制器，以提供处理器701对存储器702的访问。
计算机设备还包括给各个部件供电的电源703，优选的，电源703可以通过电源管理系统与处理器701逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元704，该输入单元704可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器701会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中，并由处理器701来运行存储在存储器702中的应用程序，从而实现各种功能，如下：
获取原始图像，对所述原始图像进行噪声添加处理，得到噪声添加后图像；
利用判别模型对所述噪声添加后图像进行判别处理，得到所述噪声添加后图像对应的判别分布信息；
对所述噪声添加后图像对应的判别分布信息进行度量映射，得到针对所述图像生成模型的梯度度量信息；
基于所述梯度度量信息和所述判别分布信息，生成针对所述图像生成模型的梯度指导参数；
基于所述梯度指导参数，利用图像生成模型基于所述噪声添加后图像进行去噪转移处理，得到目标图像。
或
获取训练样本图像，对所述训练样本图像进行噪声添加处理，得到噪声添加后样本图像；
利用图像生成模型对所述噪声添加后样本图像进行去噪转移处理，得到去噪转移样本图像；
利用预设判别模型对所述噪声添加后样本图像进行判别处理，得到所述噪声添加后样本图像对应的样本判别分布信息；
基于所述样本判别分布信息和预设标签信息，计算所述预设判别模型对应的判别损失信息；
基于所述判别损失信息对所述预设判别模型进行调整，得到性能符合要求的判别模型。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中各种可选实现方式中提供的方法。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例还提供一种存储介质，其中存储有计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种模型训练方法中的步骤。例如，该计算机程序可以执行如下步骤：
获取原始图像，对所述原始图像进行噪声添加处理，得到噪声添加后图像；
利用判别模型对所述噪声添加后图像进行判别处理，得到所述噪声添加后图像对应的判别分布信息；
对所述噪声添加后图像对应的判别分布信息进行度量映射，得到针对所述图像生成模型的梯度度量信息；
基于所述梯度度量信息和所述判别分布信息，生成针对所述图像生成模型的梯度指导参数；
基于所述梯度指导参数，利用图像生成模型基于所述噪声添加后图像进行去噪转移处理，得到目标图像。
或
获取训练样本图像，对所述训练样本图像进行噪声添加处理，得到噪声添加后样本图像；
利用图像生成模型对所述噪声添加后样本图像进行去噪转移处理，得到去噪转移样本图像；
利用预设判别模型对所述噪声添加后样本图像进行判别处理，得到所述噪声添加后样本图像对应的样本判别分布信息；
基于所述样本判别分布信息和预设标签信息，计算所述预设判别模型对应的判别损失信息；
基于所述判别损失信息对所述预设判别模型进行调整，得到性能符合要求的判别模型。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种模型训练方法或图像生成方法中的步骤，因此，可以实现本申请实施例所提供的任一种模型训练方法或图像生成方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种模型训练方法、装置、计算机设备和存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (16)

1.一种模型训练方法，其特征在于，包括：
获取训练样本图像，对所述训练样本图像进行噪声添加处理，得到噪声添加后样本图像；
利用图像生成模型对所述噪声添加后样本图像进行去噪转移处理，得到去噪转移样本图像；
利用预设判别模型对所述噪声添加后样本图像进行判别处理，得到所述噪声添加后样本图像对应的样本判别分布信息；
基于所述样本判别分布信息和预设标签信息，计算所述预设判别模型对应的判别损失信息；
基于所述判别损失信息对所述预设判别模型进行调整，得到性能符合要求的判别模型。
2.根据权利要求1所述的方法，其特征在于，所述利用图像生成模型对所述噪声添加后样本图像进行去噪转移处理，得到去噪转移样本图像，包括：
对所述噪声添加后样本图像进行噪声估计，得到所述噪声添加后样本图像对应的噪声样本图像；
对所述噪声样本图像进行特征提取，得到所述噪声样本图像对应的特征信息；
对所述特征信息进行下采样处理，得到所述特征信息对应的下采样信息；
对所述下采样信息进行上采样处理，得到所述下采样信息对应的上采样信息；
将所述下采样信息和所述上采样信息进行注意力融合，得到所述去噪转移样本图像。
3.根据权利要求1所述的方法，其特征在于，所述基于所述样本判别分布信息和预设标签信息，计算所述预设判别模型对应的判别损失信息，包括：
基于所述样本判别分布信息和所述预设标签信息，计算标签损失信息；
对所述样本判别分布信息进行熵损失运算，得到分布熵损失信息；
将所述标签损失信息和所述分布熵损失信息进行融合处理，得到所述判别损失信息。
4.根据权利要求3所述的方法，其特征在于，所述基于所述样本判别分布信息和所述预设标签信息，计算标签损失信息，包括：
对所述样本判别分布信息进行对数运算，得到运算后样本判别分布信息；
将所述运算后样本判别分布信息和所述预设标签信息进行相乘，得到所述标签损失信息。
5.根据权利要求1所述的方法，其特征在于，所述对所述训练样本图像进行噪声添加处理，得到噪声添加后样本图像，包括：
获取噪声参数；
根据所述噪声参数，生成符合预设分布的噪声添加因子；
将所述噪声添加因子添加至所述训练样本图像，得到所述噪声添加后样本图像。
6.一种图像生成方法，其特征在于，包括：
获取原始图像，对所述原始图像进行噪声添加处理，得到噪声添加后图像；
利用判别模型对所述噪声添加后图像进行判别处理，得到所述噪声添加后图像对应的判别分布信息；
对所述噪声添加后图像对应的判别分布信息进行度量映射，得到针对所述图像生成模型的梯度度量信息；
基于所述梯度度量信息和所述判别分布信息，生成针对所述图像生成模型的梯度指导参数；
基于所述梯度指导参数，利用图像生成模型基于所述噪声添加后图像进行去噪转移处理，得到目标图像。
7.根据权利要求6所述的方法，其特征在于，所述利用判别模型对所述噪声添加后图像进行判别处理，得到所述噪声添加后图像对应的判别分布信息，包括：
利用所述判别模型对所述噪声添加后图像进行卷积运算，得到卷积运算后信息；
利用所述判别模型对所述卷积运算后信息进行非线性转换，得到转换后信息；
利用所述判别模型对所述转换后信息进行池化处理，得到所述判别分布信息。
8.根据权利要求6所述的方法，其特征在于，所述基于所述梯度度量信息和所述判别分布信息，生成针对所述图像生成模型的梯度指导参数，包括：
获取判别模型针对所述噪声添加后图像进行判别处理得到的纹理图像；
根据所述纹理图像和所述判别分布信息，生成针对所述梯度度量信息的放缩因子；
将所述放缩因子和所述梯度度量信息进行算术运算，得到所述梯度指导参数。
9.根据权利要求8所述的方法，其特征在于，所述根据所述纹理图像和所述判别分布信息，生成针对所述梯度度量信息的放缩因子，包括：
对所述纹理图像进行分布运算，得到所述纹理图像对应的纹理分布信息；
将所述纹理分布信息和所述判别分布信息进行比较运算，得到所述纹理分布信息和所述判别分布信息之间的比较信息；
利用预设平衡参数对所述比较信息进行调整处理，得到针对所述梯度度量信息的放缩因子。
10.根据权利要求8所述的方法，其特征在于，所述将所述放缩因子和所述梯度度量信息进行算术运算，得到所述梯度指导参数，包括：
对所述梯度度量信息进行对数运算，得到第一运算后梯度度量信息；
对所述第一运算后梯度度量信息进行梯度运算，得到第二运算后梯度度量信息；
将所述第二运算后梯度度量信息和所述放缩因子进行相乘，得到所述梯度指导参数。
11.根据权利要求6所述的方法，其特征在于，所述基于所述梯度指导参数，利用图像生成模型基于所述噪声添加后图像进行去噪转移处理，得到目标图像，包括：
利用图像生成模型对噪声添加后图像进行噪声估计，得到噪声图像；
利用所述图像生成模型对所述噪声添加后图像进行特征提取，得到所述噪声添加后图像对应的特征信息；
将所述梯度指导参数和所述特征信息进行融合处理，得到融合后特征信息；
基于所述融合后特征信息，生成所述目标图像。
12.一种模型训练装置，其特征在于，包括：
第一噪声添加单元，用于获取训练样本图像，对所述训练样本图像进行噪声添加处理，得到噪声添加后样本图像；
第一采样单元，用于利用图像生成模型对所述噪声添加后样本图像进行去噪转移处理，得到去噪转移样本图像；
第一判别单元，用于利用预设判别模型对所述噪声添加后样本图像进行判别处理，得到所述噪声添加后样本图像对应的样本判别分布信息；
损失计算单元，用于基于所述样本判别分布信息和预设标签信息，计算所述预设判别模型对应的判别损失信息；
模型调整单元，用于基于所述判别损失信息对所述预设判别模型进行调整，得到性能符合要求的判别模型。
13.一种图像生成装置，其特征在于，包括：
第二噪声添加单元，用于获取原始图像，对所述原始图像进行噪声添加处理，得到噪声添加后图像；
第二判别单元，用于利用判别模型对所述噪声添加后图像进行判别处理，得到所述噪声添加后图像对应的判别分布信息；
度量映射单元，用于对所述噪声添加后图像对应的判别分布信息进行度量映射，得到针对所述图像生成模型的梯度度量信息；
参数生成单元，用于基于所述梯度度量信息和所述判别分布信息，生成针对所述图像生成模型的梯度指导参数；
第二采样单元，用于基于所述梯度指导参数，利用图像生成模型基于所述噪声添加后图像进行去噪转移处理，得到目标图像。
14.一种计算机设备，其特征在于，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至5任一项所述的模型训练方法或6至11任一项所述的图像生成方法中的操作。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至5任一项所述的模型训练方法或6至11任一项所述的图像生成方法中的步骤。
16.一种计算机程序产品，包括计算机程序或指令，其特征在于，该计算机程序或指令被处理器执行时实现权利要求1至5任一项所述的模型训练方法或6至11任一项所述的图像生成方法中的步骤。
CN202211111992.6A 2022-09-13 2022-09-13 一种模型训练方法、装置、计算机设备和存储介质 Pending CN117746174A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211111992.6A CN117746174A (zh) 2022-09-13 2022-09-13 一种模型训练方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211111992.6A CN117746174A (zh) 2022-09-13 2022-09-13 一种模型训练方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN117746174A true CN117746174A (zh) 2024-03-22

Family

ID=90279832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211111992.6A Pending CN117746174A (zh) 2022-09-13 2022-09-13 一种模型训练方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN117746174A (zh)

Similar Documents

Publication Publication Date Title
CN111507993A (zh) 一种基于生成对抗网络的图像分割方法、装置及存储介质
CN110622178A (zh) 学习神经网络结构
Imani et al. Fach: Fpga-based acceleration of hyperdimensional computing by reducing computational complexity
CN112883149B (zh) 一种自然语言处理方法以及装置
WO2019154411A1 (zh) 词向量更新方法和装置
CN110781686B (zh) 一种语句相似度计算方法、装置及计算机设备
EP4318313A1 (en) Data processing method, training method for neural network model, and apparatus
US20200302283A1 (en) Mixed precision training of an artificial neural network
US11574193B2 (en) Method and system for training of neural networks using continuously differentiable models
WO2023042045A1 (en) Convolution attention network for multi-label clinical document classification
CN116401552A (zh) 一种分类模型的训练方法及相关装置
CN114840734A (zh) 多模态表示模型的训练方法、跨模态检索方法及装置
CN116912923B (zh) 一种图像识别模型训练方法和装置
CN113822144A (zh) 一种目标检测方法、装置、计算机设备和存储介质
CN110889290B (zh) 文本编码方法和设备、文本编码有效性检验方法和设备
US20220004849A1 (en) Image processing neural networks with dynamic filter activation
CN117746174A (zh) 一种模型训练方法、装置、计算机设备和存储介质
CN114648021A (zh) 问答模型的训练方法、问答方法及装置、设备和存储介质
CN114792097A (zh) 预训练模型提示向量的确定方法、装置及电子设备
CN114692745A (zh) 数据处理方法、装置、集成芯片、电子设备及存储介质
CN112561050A (zh) 一种神经网络模型训练方法及装置
CN111988673B (zh) 视频描述语句的生成方法及相关设备
CN113160795B (zh) 语种特征提取模型训练方法、装置、设备及存储介质
US20240135174A1 (en) Data processing method, and neural network model training method and apparatus
CN116933896B (zh) 一种超参数确定及语义转换方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination