CN112132172A - 基于图像处理的模型训练方法、装置、设备和介质 - Google Patents

基于图像处理的模型训练方法、装置、设备和介质 Download PDF

Info

Publication number
CN112132172A
CN112132172A CN202010771696.3A CN202010771696A CN112132172A CN 112132172 A CN112132172 A CN 112132172A CN 202010771696 A CN202010771696 A CN 202010771696A CN 112132172 A CN112132172 A CN 112132172A
Authority
CN
China
Prior art keywords
model
discriminator
image
generator
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010771696.3A
Other languages
English (en)
Inventor
张官兴
王赟
郭蔚
黄康莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ewa Intelligent Technology Co ltd
Shaoxing Ewa Technology Co Ltd
Original Assignee
Shanghai Ewa Intelligent Technology Co ltd
Shaoxing Ewa Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ewa Intelligent Technology Co ltd, Shaoxing Ewa Technology Co Ltd filed Critical Shanghai Ewa Intelligent Technology Co ltd
Priority to CN202010771696.3A priority Critical patent/CN112132172A/zh
Publication of CN112132172A publication Critical patent/CN112132172A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于图像处理的模型训练方法、装置、设备和介质。所述方法包括：通过待训练的生成器模型生成与训练集样本图像数据对应的预测数据；根据生成器损失函数计算生成器损失值，根据判别器损失函数计算判别器损失值；根据生成器损失值和判别器损失值，分别利用反向传播反复交替优化待训练的生成器模型和待训练的判别器模型，当达到精度要求或者预设迭代次数后，保存待训练的生成器模型的生成器模型参数和待训练的判别器模型的判别器模型参数，得到训练好的生成器模型和判别器模型。采用本方法中训练好的模型，无需通过专业资源或复杂的调校技术，就能适应性地生成与实际拍摄情况相匹配的图像，节省了资源和时间成本，并保障了成像效果。

Description

基于图像处理的模型训练方法、装置、设备和介质
技术领域
本申请涉及图像信号处理技术领域，特别是涉及一种基于图像处理的模型训练方法、装置、设备和介质。
背景技术
随着计算机技术的发展，智能手机以及相关智能手持终端设备等电子设备已经成为人们的电子必需品。其中，各电子设备中的图像信号处理技术决定了拍摄图像的质量好坏。现有的ISP(mage Signal Processing，图像信号处理)方案是在电子设备中集成通用型的ISP芯片，并通过集成ISP芯片对电子设备中图像传感器输出的信号做后期处理，如降噪和HDR(High-Dynamic Range，高动态范围图像)补正等处理，从而生成最终的图像。
然而，采用现有的ISP方案时，不同的电子设备在使用同一款ISP芯片时，会得到与各自参数规格相应的成像效果，由于各电子设备的参数规格不同，因而各自得到的成像效果不同，也就是说，存在无法保障成像效果的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够保证成像效果的基于图像处理的模型训练方法、装置、设备和介质。
一种基于图像处理的模型训练方法，所述方法包括：
获取训练集样本图像数据，并通过待训练的生成器模型对所述训练集样本图像数据进行处理，生成与所述训练集样本图像数据对应的预测数据；
获取与所述训练集样本图像数据对应的标签数据；
根据与所述待训练的生成器模型对应的生成器损失函数计算所述生成器损失值；
将所述预测数据和所述标签数据输入至待训练的判别器模型，根据与所述待训练的判别器模型对应的判别器损失函数计算判别器损失值；所述判别器模型用于判断所述预测数据和所述标签数据的相似度；
根据所述生成器损失值和所述判别器损失值，分别利用反向传播反复交替优化所述待训练的生成器模型和所述待训练的判别器模型，当达到精度要求或者预设迭代次数后，保存所述待训练的生成器模型的生成器模型参数和所述待训练的判别器模型的判别器模型参数，得到训练好的生成器模型和判别器模型；所述训练好的生成器模型用于对图像处理设备采集的初始图像数据进行处理，以输出与所述初始图像数据对应的图像调校参数或输出与所述初始图像数据对应的目标图像；输出的图像调校参数用于指示所述图像处理设备生成与所述初始图像数据对应的目标图像。
一种基于图像处理的模型训练装置，所述装置包括：
预测数据生成模块，用于获取训练集样本图像数据，并通过待训练的生成器模型对所述训练集样本图像数据进行处理，生成与所述训练集样本图像数据对应的预测数据；
获取模块，用于获取与所述训练集样本图像数据对应的标签数据；
生成器损失值计算模块，用于根据与所述待训练的生成器模型对应的生成器损失函数计算所述生成器损失值；
判别器损失值计算模块，用于将所述预测数据和所述标签数据输入至待训练的判别器模型，根据与所述待训练的判别器模型对应的判别器损失函数计算判别器损失值；所述判别器模型用于判断所述预测数据和所述标签数据的相似度；
模型优化模块，用于根据所述生成器损失值和所述判别器损失值，分别利用反向传播反复交替优化所述待训练的生成器模型和所述待训练的判别器模型，当达到精度要求或者预设迭代次数后，保存所述待训练的生成器模型的生成器模型参数和所述待训练的判别器模型的判别器模型参数，得到训练好的生成器模型和判别器模型；所述训练好的生成器模型用于对图像处理设备采集的初始图像数据进行处理，以输出与所述初始图像数据对应的图像调校参数或输出与所述初始图像数据对应的目标图像；输出的图像调校参数用于指示所述图像处理设备生成与所述初始图像数据对应的目标图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取训练集样本图像数据，并通过待训练的生成器模型对所述训练集样本图像数据进行处理，生成与所述训练集样本图像数据对应的预测数据；
获取与所述训练集样本图像数据对应的标签数据；
根据与所述待训练的生成器模型对应的生成器损失函数计算所述生成器损失值；
将所述预测数据和所述标签数据输入至待训练的判别器模型，根据与所述待训练的判别器模型对应的判别器损失函数计算判别器损失值；所述判别器模型用于判断所述预测数据和所述标签数据的相似度；
根据所述生成器损失值和所述判别器损失值，分别利用反向传播反复交替优化所述待训练的生成器模型和所述待训练的判别器模型，当达到精度要求或者预设迭代次数后，保存所述待训练的生成器模型的生成器模型参数和所述待训练的判别器模型的判别器模型参数，得到训练好的生成器模型和判别器模型；所述训练好的生成器模型用于对图像处理设备采集的初始图像数据进行处理，以输出与所述初始图像数据对应的图像调校参数或输出与所述初始图像数据对应的目标图像；输出的图像调校参数用于指示所述图像处理设备生成与所述初始图像数据对应的目标图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取训练集样本图像数据，并通过待训练的生成器模型对所述训练集样本图像数据进行处理，生成与所述训练集样本图像数据对应的预测数据；
获取与所述训练集样本图像数据对应的标签数据；
根据与所述待训练的生成器模型对应的生成器损失函数计算所述生成器损失值；
将所述预测数据和所述标签数据输入至待训练的判别器模型，根据与所述待训练的判别器模型对应的判别器损失函数计算判别器损失值；所述判别器模型用于判断所述预测数据和所述标签数据的相似度；
根据所述生成器损失值和所述判别器损失值，分别利用反向传播反复交替优化所述待训练的生成器模型和所述待训练的判别器模型，当达到精度要求或者预设迭代次数后，保存所述待训练的生成器模型的生成器模型参数和所述待训练的判别器模型的判别器模型参数，得到训练好的生成器模型和判别器模型；所述训练好的生成器模型用于对图像处理设备采集的初始图像数据进行处理，以输出与所述初始图像数据对应的图像调校参数或输出与所述初始图像数据对应的目标图像；输出的图像调校参数用于指示所述图像处理设备生成与所述初始图像数据对应的目标图像。
上述基于图像处理的模型训练方法、装置、设备和介质，通过待训练的生成器模型对训练集样本图像数据进行处理，得到对应的预测数据。基于该预测数据、与训练集样本图像数据对应的标签数据、生成器损失函数、以及判别器损失函数，分别计算对应的生成器损失值以及判别器损失值，利用反向传播反复交替优化待训练的生成器模型和待训练的判别器模型，当达到精度要求或者预设迭代次数后，得到训练好的生成器模型和判别器模型。通过这样的方式得到的生成器模型和判别器模型，可对不同的图像数据进行自适应地处理，也就是说，可计算得到与图像数据相匹配的调校参数，而不是得到通用的调校参数。根据与该图像数据相匹配的调校参数来生成图像，可保证每张生成图像的质量，因而提高了图像的成像效果。对于不同参数规格的不同图像处理设备，无需通过专业技术人才和专业实验室等专业资源，也无需采用复杂的调校技术，就能适应性地生成与实际拍摄情况相匹配的图像，大大节省了资源成本和时间成本，同时，还保障了成像效果。
附图说明
图1为一个实施例中基于图像处理的模型训练方法的流程示意图；
图2为另一个实施例中基于图像处理的模型训练方法的流程示意图；
图3为又一个实施例中基于图像处理的模型训练方法的流程示意图；
图4为一个实施例中基于图像处理的模型训练装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于图像处理的模型训练方法，本实施例以该方法应用于图像处理设备进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括图像处理设备和服务器的系统，并通过图像处理设备和服务器的交互实现。本实施例中，该基于图像处理的模型训练方法包括以下步骤：
S102，获取训练集样本图像数据，并通过待训练的生成器模型对训练集样本图像数据进行处理，生成与训练集样本图像数据对应的预测数据。
其中，训练集样本图像数据是用于训练模型的图像数据的集合，具体可以是图像传感器所采集的原始的彩色图像数据，可记为RAW_RGB原始图像数据。可以理解，RAW表示原始数据，RGB可具体表示为R(Red，红色)、G(Green，绿色)以及B(Blue，蓝色)三通道的色彩图像。
图像传感器位于图像处理设备上的相机单元，是利用光电器件的光电转换功能，将感光面上的光像转换为与光像成相应比例关系的电信号的器件。图像传感器具体可分为光导摄像管和固态图像传感器。其中，固态图像传感器与光导摄像管相比，固态图像传感器具有体积小、重量轻、集成度高、分辨率高、功耗低、寿命长以及价格低等特点。
生成器模型是用于生成图像的模型。其中，生成器模型可以由一种或者多种模型组合而成。比如，生成器模型可以由调校参数生成模型和图像调校模型组合而成。其中，调校参数生成模型用于生成与训练集样本图像数据对应的调校参数，图像调校模型用于根据与训练集样本图像数据对应的调校参数，生成与训练集样本图像数据对应的图像。还比如，生成器模型可以由图像生成模型构成，该图像生成模型用于直接生成与训练集样本图像数据对应的图像。
预测数据是生成器模型所生成的、与训练集样本图像数据对应的数据。可以理解，不同的生成器模型可生成不同的预测数据。比如，当生成器模型由调校参数生成模型和图像调校模型组合而成时，对应的预测数据包括由调校参数生成模型生成的预测调校参数、以及由图像调校模型生成的样本测试图像；当生成器模型由图像生成模型构成时，对应的预测数据为图像生成模型生成的样本测试图像。其中，预测调校参数是用于调整训练集样本图像数据的图像效果的调校参数，具体可以是黑平衡校正参数、白平衡校正参数、非线性GAMMA校正参数、镜头校正参数、坏点校正参数、亮度校正参数或者饱和度矫正参数等参数，本申请实施例对此不作限定。样本测试图像是生成器模型所生成的图像。比如，图像调校模型基于预测调校参数生成的与训练集样本图像数据对应的图像、或者图像生成模型直接生成的与训练集样本图像数据对应的图像。
具体地，图像处理设备获取训练集样本图像数据，并通过待训练的生成器模型对训练集样本图像数据进行处理，生成与训练集样本图像数据对应的预测数据。
在一个实施例中，当生成器模型由调校参数生成模型和图像调校模型组合而成时，图像处理设备通过图像传感器采集RAW_RGB原始图像数据，通过待训练的调校参数生成模型和图像调校模型对RAW_RGB原始图像数据进行处理，生成与RAW_RGB原始图像数据对应的预测调校参数和样本测试图像。
在一个实施例中，当生成器模型由图像生成模型构成时，图像处理设备通过图像传感器采集RAW_RGB原始图像数据，通过待训练的图像生成模型对RAW_RGB原始图像数据进行处理，生成与RAW_RGB原始图像数据对应的样本测试图像。
在一个实施例中，生成器模型包括调校参数生成模型和图像调校模型，其中，调校参数生成模型用于生成预测调校参数，图像调校模型用于根据预测调校参数和对应训练集样本图像数据生成样本测试图像，并将预测调校参数和/或样本测试图像作为预测数据；或，生成器模型为图像生成模型，用于直接生成样本测试图像；其中，图像生成模型由图像特征提取网络和图像重建网络组成，图像特征提取网络最后层的输出作为图像重建网络的输入，且图像特征提取网络和图像重建网络中的部分特征层通过关联层连接实现特征关联，并将样本测试图像作为预测数据。
在一个实施例中，当生成器模型由调校参数生成模型和图像调校模型组合而成时，图像处理设备通过图像传感器采集RAW_RGB原始图像数据，通过待训练的调校参数生成模型对RAW_RGB原始图像数据进行处理，生成与RAW_RGB原始图像数据对应的预测调校参数。图像处理设备再通过图像调校模型，并根据预测调校参数对RAW_RGB原始图像数据进行处理，生成与RAW_RGB原始图像数据对应的样本测试图像。此时，图像处理设备将预测调校参数和/或样本测试图像作为预测数据。
在一个实施例中，预测调校参数包括多个具有预设顺序的子参数。具体地，对于当前待处理的当前子参数，图像处理设备确定与当前子参数对应的校正函数。图像处理设备根据校正函数，并基于当前子参数、以及当前子参数的前一位子参数所对应的像素值，确定与当前子参数对应的像素值。图像处理设备将当前子参数后一位的子参数作为下一次计算的当前子参数，返回对于当前待处理的当前子参数，确定与当前子参数对应的校正函数并继续执行，直至得到最后一位子参数所对应的像素值。图像处理设备根据最后一位子参数所对应的像素值，确定与预测调校参数对应的样本测试图像。
在一个实施例中，当生成器模型由图像生成模型构成时，也就是由图像特征提取网络和图像重建网络组成。图像处理设备通过图像传感器采集RAW_RGB原始图像数据，通过待训练的图像生成模型对RAW_RGB原始图像数据进行处理，生成与RAW_RGB原始图像数据对应的样本测试图像。也就是说，通过待训练的图像生成模型中的图像特征提取网络对RAW_RGB原始图像数据进行特征提取处理，并将图像特征提取网络最后层的输出作为图像重建网络的输入，从而得到图像重建网络输出的样本测试图像。其中，图像特征提取网络和图像重建网络中的部分特征层通过关联层连接实现特征关联。此时，图像处理设备将样本测试图像作为预测数据。
上述实施例中，当生成器模型包括调校参数生成模型和图像调校模型时，对应的预测数据是预测调校参数和样本测试图像中的至少一种；当生成器模型为图像生成模型时，对应的预测数据是样本测试图像中的至少一种。通过这样的方式，可通过确定生成器模型中的种类和数量，从而确定对应的预测数据的种类和数量。可以理解，这样可以从多个维度训练生成器模型，从而大大提高了训练生成器模型的效率。
S104，获取与训练集样本图像数据对应的标签数据。
其中，标签数据是用于训练模型的标准数据，并且，标签数据与预测数据相互对应。也就是说，预测数据的种类和数量与标签数据的种类和数量是一致的。可以理解，当预测数据为预测调校参数和样本测试图像时，对应的标签数据为标签调校参数和标签图像；当预测数据为样本测试图像时，对应的标签数据为标签图像。
可以理解，标签调校参数是与样本图像数据对应的标准的调校参数，调校参数具体可以是黑平衡校正参数、白平衡校正参数、非线性GAMMA校正参数、镜头校正参数、坏点校正参数、亮度校正参数或者饱和度矫正参数等参数，本申请实施例对此不作限定。标签图像是根据标签调校参数对样本图像数据进行调整后所得到的标准图像。也就是说，该标签图像是可以理解为是一个当作模板的标准图像。
具体地，图像处理设备从服务器或者本地存储器中获取与训练集样本图像数据对应的标签数据。
在一个实施例中，当预测数据为样本测试图像时，图像处理设备从服务器或者本地存储器中获取与训练集样本图像数据对应的标签图像。
在另一个实施例中，当预测数据为预测调校参数和样本测试图像时，图像处理设备从服务器或者本地存储器中获取与训练集样本图像数据对应的标签调校参数和标签图像。
S106，根据与待训练的生成器模型对应的生成器损失函数计算生成器损失值。
具体地，图像处理设备通过待训练的生成器模型生成与训练集样本图像数据对应的预测数据之后，基于该预测数据和标签数据的差值，以及该预测数据输入至判别器模型时获得的损失值，再通过与待训练的生成器模型对应的生成器损失函数来计算得到生成器模型的损失值，简称为生成器损失值。
可以理解，在计算生成器损失值时，不仅仅考虑预测数据和标签数据的差值，还需考虑判别器模型的损失值，简称为判别器损失值。也就是说，需通过判别器损失值来反向优化生成器损失值，即反向优化生成器模型。其中，具体的计算公式在后面的实施例中进行阐述。
S108，将预测数据和标签数据输入至待训练的判别器模型，根据与待训练的判别器模型对应的判别器损失函数计算判别器损失值；判别器模型用于判断预测数据和标签数据的相似度。
判别器模型是用于判别预测数据和标签数据的相似度的模型。其中，判别器模型的数量至少为一个。可以理解，也就是可以存在一个或者多个判别器模型。当存在的判别器模型的数量多于一个时，可用第一判别器模型、第二判别器模型、以及第三判别器模型等名称来进行区分。其中，判别器的数量与预测数据(或标签数据)的种类和数量相关。
在一个实施例中，判别器模型的数量为至少一个，标签数据中包括标签图像和标签调校参数；判别器损失值包括第一判别器损失值和第二判别器损失值中的至少一种；步骤108，也就是将预测数据和标签数据输入至待训练的判别器模型，根据与待训练的判别器模型对应的判别器损失函数计算判别器损失值的步骤，包括：将样本测试图像和对应的标签图像输入至第一判别器模型，根据第一判别器损失函数计算第一判别器损失值；和/或，将预测调校参数和对应的标签调校参数输入至第二判别器模型，根据第二判别器损失函数计算第二判别器损失值。
其中，当判别器模型的数量大于等于一个，比如有第一判别器模型和第二判别器模型时，该第一判别器模型可用于判断样本测试图像和对应的标签图像的相似度，该第二判别器模型可用于判断预测调校参数和对应的标签调校参数的相似度。
可以理解，每个判别器模型的损失值均可通过与该判别器模型对应的判别器来确定。也就是说，通过与第一判别器模型对应的第一判别器损失函数计算第一判别器模型的损失值，简称为第一判别器损失值；通过与第二判别器模型对应的第二判别器损失函数计算第二判别器模型的损失值，简称为第二判别器损失值。
具体地，图像处理设备将获取的标签图像、以及经生成器模型生成的样本测试图像一起输入至第一判别器模型中，并根据第一判别器损失函数计算第一判别器损失值。和/或，图像处理设备将获取的标签调校参数、以及经生成器模型生成的预测调校参数一起输入至第二判别器模型中，并根据第二判别器损失函数计算第二判别器损失值。
在一个实施例中，当生成器模型包括调校参数生成模型和图像调校模型时，图像处理设备将获取的标签图像、以及经图像调校模型生成的样本测试图像一起输入至第一判别器模型中，并根据第一判别器损失函数计算第一判别器损失值。并且，图像处理设备将获取的标签调校参数、以及经调校参数生成模型生成的预测调校参数一起输入至第二判别器模型中，并根据第二判别器损失函数计算第二判别器损失值。
在另一个实施例中，当生成器模型为图像生成模型时，图像处理设备将获取的标签图像、以及经图像生成模型生成的样本测试图像一起输入至第一判别器模型中，并根据第一判别器损失函数计算第一判别器损失值。
上述实施例中，当判别器模型的数量为至少一个时，可根据与第一判别器对应的第一判别器损失函数计算第一判别器损失值，和/或，根据与第二判别器对应的第二判别器损失函数计算第二判别器损失值。通过这样的方式，可通过不同的判别器模型有针对性地对不同的数据进行判别，从而提高各判别器模型的精准度，大大提高了训练各判别器模型的效率。
S110，根据生成器损失值和判别器损失值，分别利用反向传播反复交替优化待训练的生成器模型和待训练的判别器模型，当达到精度要求或者预设迭代次数后，保存待训练的生成器模型的生成器模型参数和待训练的判别器模型的判别器模型参数，得到训练好的生成器模型和判别器模型；训练好的生成器模型用于对图像处理设备采集的初始图像数据进行处理，以输出与初始图像数据对应的图像调校参数或输出与初始图像数据对应的目标图像；输出的图像调校参数用于指示图像处理设备生成与初始图像数据对应的目标图像。
其中，初始图像数据是图像处理设备所采集的原始的彩色图像数据。可以理解，初始图像数据与训练集样本图像数据是相同类型的数据。注意区分的是，训练集样本图像数据是用于训练模型的图像数据的集合，而初始图像数据是待进行图像增强的图像数据的集合。图像调校参数是用于调整初始图像数据的图像效果的调校参数。目标图像是生成器模型所生成的图像。比如，图像调校模型基于图像调校参数生成的与初始图像数据对应的图像、或者图像生成模型直接生成的与初始图像数据对应的图像。
具体地，图像处理设备根据生成器损失函数计算得到的生成器损失值，以及根据判别器损失函数计算得到的判别器损失值，分别利用反向传播反复交替优化待训练的生成器模型和待训练的判别器模型。当达到精度要求或者预设迭代次数后，保存待训练的生成器模型的生成器模型参数和待训练的判别器模型的判别器模型参数，从而得到训练好的生成器模型和判别器模型。
进一步地，该训练好的生成器模型用于对图像处理设备采集的初始图像数据进行处理，通过该训练好的生成器模型输出与初始图像数据对应的图像调校参数，其中，图像调校参数用于指示图像处理设备生成与初始图像数据对应的目标图像。因而，也可通过该训练好的生成器模型输出与初始图像数据对应的目标图像。
在一个实施例中，当生成器模型包括调校参数生成模型和图像调校模型时，可通过调校参数生成模型输出与初始图像数据对应的图像调校参数，通过图像调校模型基于图像调校参数对初始图像数据进行调整，并通过该图像调校模型输出对应的目标图像。
在另一个实施例中，当生成器模型为图像生成模型，可通过该图像生成模型直接输出与初始图像数据对应的目标图像。
在一个实施例中，该基于图像处理的模型训练方法中的生成器模型参数和判别器模型参数通过以下步骤进行更新：将标签数据输入至待训练的判别器模型中，通过判别器损失函数对判别器模型参数进行k次更新；将训练集样本图像数据输入至待训练的生成器模型，并经判别器模型处理后根据生成器损失函数对生成器模型参数进行n次更新；其中，生成器损失函数为：
Figure BDA0002616874740000121
δG为生成器损失值，G(z)为预测数据和标签数据的误差值，
Figure BDA0002616874740000122
和
Figure BDA0002616874740000123
为误差权重；n为非零的自然数；判别器损失函数为：δD＝D(y)+D(z)，δD为判别器损失值，z表示生成器模型生成的预测数据，对应的D(z)为预测数据作为判别器模型的输入时对应的损失值，y表示标签数据，D(y)为标签数据作为判别器模型的输入时对应的损失值；k为非零的自然数。
具体地，图像处理设备先将标签数据输入至待训练的判别器模型进行k次更新，更新后的判别器模型具有了相应的分辨预测数据和标签数据的能力。图像处理设备将训练集样本图像数据输入至待训练的生成器模型，并经判别器模型处理后根据生成器损失函数对生成器模型参数进行n次更新。图像处理设备再将待训练的生成器模型生成的预测数据输入至待训练的判别器模型，得到预测数据作为判别器模型的输入时对应的判别器损失值，记为D(z)。图像处理设备基于预测数据与标签数据之间的误差值，记为G(z)，以及预测数据作为判别器模型的输入时对应的判别器损失值，也就是D(z)，根据生成器损失函数
Figure BDA0002616874740000124
计算对应的生成器损失值，记为δG，从而根据生成器损失值更新生成器模型参数。其中，
Figure BDA0002616874740000125
和
Figure BDA0002616874740000126
为误差权重；n和k均为非零的自然数。
进一步地，图像处理设备将标签数据输入至判别器模型，得到D(yk+1)，基于标签数据作为判别器模型的输入时对应的损失值，也就是D(yk+1)，以及上述提到的预测数据作为判别器模型的输入时对应的判别器损失值，也就是D(z)，并通过判别器损失函数计算判别器损失值δD。可以理解，上述提到的δD＝D(y)+D(z)的公式仅仅是一般表达式，当图像处理设备第k+1次将标签数据输入至判别器模型时，对应的判别器损失值δD＝D(yk+1)+D(z)。
在一个实施例中，参考图2，当生成器模型由调校参数生成模型和图像调校模型组合而成时，图像处理设备将标签图像输入至待训练的判别器模型中，通过判别器损失函数对判别器模型参数进行更新，图像处理设备再将RAW_RGB原始图像数据输入至待训练的调校参数生成模型，通过待训练的调校参数生成模型对RAW_RGB原始图像数据进行处理，生成与RAW_RGB原始图像数据对应的预测调校参数。图像处理设备再通过图像调校模型，并根据预测调校参数对RAW_RGB原始图像数据进行处理，生成与RAW_RGB原始图像数据对应的样本测试图像。并经判别器模型处理后根据生成器损失函数对图像调校模型参数以及调校参数生成模型参数进行反向更新，即训练生成器模型。
值得注意的是，在对生成器模型和判别器模型进行训练的过程中，每次对生成器模型和判别器模型的训练次数并不固定。可以理解，可以是先训练一次生成器模型，再训练一次判别器模型，也可以是训练若干次生成器模型，再训一次判别器模型。只要使得生成器模型和判别器模型是交叉进行训练的即可。
上述实施例中，图像处理设备通过标签数据和预测数据，对生成器模型参数和判别器模型参数进行更新，从而对生成器模型和判别器模型进行训练。通过这样的方式，可以交叉训练生成器模型和判别器模型，也就是说，通过从而提高了模型训练的效率以及准确性。
在一个实施例中，图像处理设备包括图像传感器和图像信号处理器、以及图像AI(Artificial Intelligence，人工智能)处理器。具体地，将调校参数生成模型、以及图像调校模型分别配置在图像AI处理器、以及图像信号处理器上。因而，当图像处理设备采集到初始图像数据后，可通过图像AI处理器上的调校参数生成模型输出与初始图像数据对应的图像调校参数，再基于该图像调校参数，且通过图像信号处理器上运行的图像调校模型，输出与初始图像数据对应的目标图像。
上述基于图像处理的模型训练方法，通过待训练的生成器模型对训练集样本图像数据进行处理，得到对应的预测数据。基于该预测数据、与训练集样本图像数据对应的标签数据、生成器损失函数、以及判别器损失函数，分别计算对应的生成器损失值以及判别器损失值，利用反向传播反复交替优化待训练的生成器模型和待训练的判别器模型，当达到精度要求或者预设迭代次数后，得到训练好的生成器模型和判别器模型。通过这样的方式得到的生成器模型和判别器模型，可对不同的图像数据进行自适应地处理，也就是说，可计算得到与图像数据相匹配的调校参数，而不是得到通用的调校参数。根据与该图像数据相匹配的调校参数来生成图像，可保证每张生成图像的质量，因而提高了图像的成像效果。对于不同参数规格的不同图像处理设备，无需通过专业技术人才和专业实验室等专业资源，也无需采用复杂的调校技术，就能适应性地生成与实际拍摄情况相匹配的图像，大大节省了资源成本和时间成本，同时，还保障了成像效果。
在一个实施例中，生成器模型包括调校参数生成模型和图像调校模型，标签数据中包括标签图像，其中，调校参数生成模型用于生成预测调校参数，图像调校模型用于生成样本测试图像；生成器损失值包括图像调校模型损失值和调校参数生成模型损失值；步骤106，也就是根据与待训练的生成器模型对应的生成器损失函数计算生成器损失值的步骤，包括：通过生成的样本测试图像和对应的标签图像，根据图像调校模型损失函数计算图像调校模型损失值；利用反向传播优化图像调校模型参数，并输出优化后的图像调校模型参数，根据优化后的图像调校模型参数和调校参数生成模型生成预测调校参数；根据预测调校参数和调校参数生成模型损失函数计算调校参数生成模型损失值。
可以理解，当生成器模型包括调校参数生成模型和图像调校模型时，对应的，生成器损失值可包括图像调校模型损失值和调校参数生成模型损失值。其中，调校参数生成模型用于生成预测调校参数，图像调校模型用于基于预测调校参数，生成对应的样本测试图像。并且，将预测调校参数和样本测试图像作为预测数据时，对应的标签数据是标签图像和标签调校参数。
具体地，图像处理设备基于图像调校模型生成的样本测试图像、以及获取的与训练集样本图像数据对应的标签图像，通过图像调校模型损失函数计算图像调校模型损失值。图像处理设备利用反向传播优化图像调校模型参数，并输出优化后的图像调校模型参数，图像处理设备根据优化后的图像调校模型参数和调校参数生成模型生成预测调校参数，再根据预测调校参数和调校参数生成模型损失函数计算调校参数生成模型损失值。
在一个实施例中，图像调校模型损失值可定义为上述提到的生成器损失函数的表达式，也就是
Figure BDA0002616874740000141
然后基于该图像调校模型损失值对应调整图像调校模型参数，从而得到优化后的图像调校模型参数。
在另一个实施例中，图像处理设备可直接将上述提到的生成器损失函数的表达式，也就是
Figure BDA0002616874740000151
作为调校参数生成模型的损失函数，得到所对应的调校参数生成模型的损失值，因而可通过该调校参数生成模型的损失值直接优化调校参数生成模型。
上述实施例中，图像处理设备计算得到图像调校模型损失值，并利用反向传播优化图像调校模型参数，图像处理设备根据优化后的图像调校模型参数和调校参数生成模型生成预测调校参数，再基于该预测调校参数计算调校参数生成模型损失值。通过这样的方式，图像处理设备可以根据图像调校模型损失值反向优化调校参数生成模型损失值，也就是对整个生成器模型进行优化训练，从而不仅提高了模型训练的准确性，还提高了模型训练的效率。
在一个实施例中，判别器损失值还包括判别器总损失值，判别器总损失值通过第一判别器损失值和第二判别器损失值确定，方法还包括：根据第一判别器损失值和第二判别器损失值分别优化第一判别器模型和第二判别器模型；或，根据判别器总损失值，优化第一判别器模型和第二判别器模型。
在一个实施例中，图像处理设备包含第一判别器模型以及第二判别器模型，图像处理设备根据与第一判别器模型对应的第一判别器损失函数，确定对应的第一判别器损失值，并且，图像处理设备根据与第二判别器模型对应的第二判别器损失函数，确定对应的第二判别器损失值。图像处理设备根据计算得到的第一判别器损失值和第二判别器损失值分别优化第一判别器模型和第二判别器模型。
在另一个实施例中，参考图3，图像处理设备将获取的标签图像、以及经生成器模型生成的样本测试图像一起输入至第一判别器模型中，并根据第一判别器损失函数计算第一判别器损失值。并且，图像处理设备将获取的标签调校参数、以及经生成器模型生成的预测调校参数一起输入至第二判别器模型中，并根据第二判别器损失函数计算第二判别器损失值。图像处理设备根据计算得到的第一判别器损失值和第二判别器损失值，确定判别器总损失值。图像处理设备再根据判别器总损失值，优化第一判别器模型和第二判别器模型。
上述实施例中，图像处理设备根据第一判别器损失值和第二判别器损失值分别优化第一判别器模型和第二判别器模型，或者，根据判别器总损失值，优化第一判别器模型和第二判别器模型。通过这样的方式，图像处理设备可有至少两种方式来优化对应的第一判别器模型和第二判别器模型，从而不仅提高了模型训练的准确性，还提高了模型训练的效率。
在一个实施例中，判别器总损失值通过判别器总损失函数确定，判别器总损失函数通过以下公式确定：L＝λ1L1+λ2L2,其中，L为判别器总损失值，L1和L2分别为第一判别器损失值和第二判别器损失值，λ1和λ2分别为第一判别器损失值的权重和第二判别器损失值的权重，判别器总损失函数用于调整不同判别器损失值对判别器模型训练的影响大小。
具体地，图像处理设备通过L＝λ1L1+λ2L2的公式确定判别器总损失函数。其中，L为判别器总损失值，L1和L2分别为第一判别器损失值和第二判别器损失值，λ1和λ2分别为第一判别器损失值的权重和第二判别器损失值的权重。
在一个实施例中，图像处理设备可根据L＝λ1L1+λ2L2所计算得到的判别器总损失值，也就是L的值，优化第一判别器模型和第二判别器模型。
在一个实施例中，判别器总损失函数，也就是L＝λ1L1+λ2L2，用于调整不同判别器损失值对判别器模型训练的影响大小。可以理解，不同的判别器损失值乘以对应的权重系数，可得到判别器总损失值。
上述实施例中，图像处理设备根据不同的判别器损失值乘以对应的权重，可得到对应的判别器总损失值。通过这样的方式，不仅提高了模型训练的准确性，还提高了模型训练的效率。
应该理解的是，虽然图1-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种基于图像处理的模型训练装置400，包括：预测数据生成模块401、获取模块402、生成器损失值计算模块403、判别器损失值计算模块404以及模型优化模块405，其中：
预测数据生成模块401，用于获取训练集样本图像数据，并通过待训练的生成器模型对训练集样本图像数据进行处理，生成与训练集样本图像数据对应的预测数据；
获取模块402，用于获取与训练集样本图像数据对应的标签数据；
生成器损失值计算模块403，用于根据与待训练的生成器模型对应的生成器损失函数计算生成器损失值；
判别器损失值计算模块404，用于将预测数据和标签数据输入至待训练的判别器模型，根据与待训练的判别器模型对应的判别器损失函数计算判别器损失值；判别器模型用于判断预测数据和标签数据的相似度；
模型优化模块405，用于根据生成器损失值和判别器损失值，分别利用反向传播反复交替优化待训练的生成器模型和待训练的判别器模型，当达到精度要求或者预设迭代次数后，保存待训练的生成器模型的生成器模型参数和待训练的判别器模型的判别器模型参数，得到训练好的生成器模型和判别器模型；训练好的生成器模型用于对图像处理设备采集的初始图像数据进行处理，以输出与初始图像数据对应的图像调校参数或输出与初始图像数据对应的目标图像；输出的图像调校参数用于指示图像处理设备生成与初始图像数据对应的目标图像。
在一个实施例中，模型优化模块405还用于将标签数据输入至待训练的判别器模型中，通过判别器损失函数对判别器模型参数进行k次更新；将训练集样本图像数据输入至待训练的生成器模型，并经判别器模型处理后根据生成器损失函数对生成器模型参数进行n次更新；其中，生成器损失函数为：
Figure BDA0002616874740000181
δG为生成器损失值，G(z)为预测数据和标签数据的误差值，
Figure BDA0002616874740000182
和
Figure BDA0002616874740000183
为误差权重；n为非零的自然数；判别器损失函数为：δD＝D(y)+D(z)，δD为判别器损失值，z表示生成器模型生成的预测数据，对应的D(z)为预测数据作为判别器模型的输入时对应的损失值，y表示标签数据，D(y)为标签数据作为判别器模型的输入时对应的损失值；k为非零的自然数。
在一个实施例中，生成器模型包括调校参数生成模型和图像调校模型，其中，调校参数生成模型用于生成预测调校参数，图像调校模型用于根据预测调校参数和对应训练集样本图像数据生成样本测试图像，并将预测调校参数和/或样本测试图像作为预测数据；或，生成器模型为图像生成模型，用于直接生成样本测试图像；其中，图像生成模型由图像特征提取网络和图像重建网络组成，图像特征提取网络最后层的输出作为图像重建网络的输入，且图像特征提取网络和图像重建网络中的部分特征层通过关联层连接实现特征关联，并将样本测试图像作为预测数据。
在一个实施例中，生成器模型包括调校参数生成模型和图像调校模型，标签数据中包括标签图像，其中，调校参数生成模型用于生成预测调校参数，图像调校模型用于生成样本测试图像；生成器损失值包括图像调校模型损失值和调校参数生成模型损失值；生成器损失值计算模块403还用于通过生成的样本测试图像和对应的标签图像，根据图像调校模型损失函数计算图像调校模型损失值；利用反向传播优化图像调校模型参数，并输出优化后的图像调校模型参数，根据优化后的图像调校模型参数和调校参数生成模型生成预测调校参数；根据预测调校参数和调校参数生成模型损失函数计算调校参数生成模型损失值。
在一个实施例中，判别器模型的数量为至少一个，标签数据中包括标签图像和标签调校参数；判别器损失值包括第一判别器损失值和第二判别器损失值中的至少一种；判别器损失值计算模块404还用于将样本测试图像和对应的标签图像输入至第一判别器模型，根据第一判别器损失函数计算第一判别器损失值；和/或，将预测调校参数和对应的标签调校参数输入至第二判别器模型，根据第二判别器损失函数计算第二判别器损失值。
在一个实施例中，判别器损失值还包括判别器总损失值，判别器总损失值通过第一判别器损失值和第二判别器损失值确定。模型优化模块405还用于根据第一判别器损失值和第二判别器损失值分别优化第一判别器模型和第二判别器模型；或，根据判别器总损失值，优化第一判别器模型和第二判别器模型。
在一个实施例中，判别器总损失值通过判别器总损失函数确定，判别器总损失函数通过以下公式确定：L＝λ1L1+λ2L2,其中，L为判别器总损失值，L1和L2分别为第一判别器损失值和第二判别器损失值，λ1和λ2分别为第一判别器损失值的权重和第二判别器损失值的权重，判别器总损失函数用于调整不同判别器损失值对判别器模型训练的影响大小。
关于基于图像处理的模型训练装置的具体限定可以参见上文中对于基于图像处理的模型训练方法的限定，在此不再赘述。上述基于图像处理的模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
上述基于图像处理的模型训练装置中，通过待训练的生成器模型对训练集样本图像数据进行处理，得到对应的预测数据。基于该预测数据、与训练集样本图像数据对应的标签数据、生成器损失函数、以及判别器损失函数，分别计算对应的生成器损失值以及判别器损失值，利用反向传播反复交替优化待训练的生成器模型和待训练的判别器模型，当达到精度要求或者预设迭代次数后，得到训练好的生成器模型和判别器模型。通过这样的方式得到的生成器模型和判别器模型，可对不同的图像数据进行自适应地处理，也就是说，可计算得到与图像数据相匹配的调校参数，而不是得到通用的调校参数。根据与该图像数据相匹配的调校参数来生成图像，可保证每张生成图像的质量，因而提高了图像的成像效果。对于不同参数规格的不同图像处理设备，无需通过专业技术人才和专业实验室等专业资源，也无需采用复杂的调校技术，就能适应性地生成与实际拍摄情况相匹配的图像，大大节省了资源成本和时间成本，同时，还保障了成像效果。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是上述提到的图像处理设备，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏、输入装置和摄像头。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于图像处理的模型训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。该计算机设备的摄像头用于获取图像数据。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述基于图像处理的模型训练方法的步骤。此处基于图像处理的模型训练方法的步骤可以是上述各个实施例的基于图像处理的模型训练方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述基于图像处理的模型训练方法的步骤。此处基于图像处理的模型训练方法的步骤可以是上述各个实施例的基于图像处理的模型训练方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于图像处理的模型训练方法，其特征在于，所述方法包括：
获取训练集样本图像数据，并通过待训练的生成器模型对所述训练集样本图像数据进行处理，生成与所述训练集样本图像数据对应的预测数据；
获取与所述训练集样本图像数据对应的标签数据；
根据与所述待训练的生成器模型对应的生成器损失函数计算所述生成器损失值；
将所述预测数据和所述标签数据输入至待训练的判别器模型，根据与所述待训练的判别器模型对应的判别器损失函数计算判别器损失值；所述判别器模型用于判断所述预测数据和所述标签数据的相似度；
根据所述生成器损失值和所述判别器损失值，分别利用反向传播反复交替优化所述待训练的生成器模型和所述待训练的判别器模型，当达到精度要求或者预设迭代次数后，保存所述待训练的生成器模型的生成器模型参数和所述待训练的判别器模型的判别器模型参数，得到训练好的生成器模型和判别器模型；所述训练好的生成器模型用于对图像处理设备采集的初始图像数据进行处理，以输出与所述初始图像数据对应的图像调校参数或输出与所述初始图像数据对应的目标图像；输出的图像调校参数用于指示所述图像处理设备生成与所述初始图像数据对应的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述生成器模型参数和所述判别器模型参数通过以下步骤进行更新：
将所述标签数据输入至所述待训练的判别器模型中，通过所述判别器损失函数对所述判别器模型参数进行k次更新；
将所述训练集样本图像数据输入至所述待训练的生成器模型，并经所述判别器模型处理后根据所述生成器损失函数对所述生成器模型参数进行n次更新；
其中，所述生成器损失函数为：
Figure FDA0002616874730000011
δG为所述生成器损失值，G(z)为所述预测数据和所述标签数据的误差值，
Figure FDA0002616874730000012
和
Figure FDA0002616874730000013
为误差权重；所述n为非零的自然数；所述判别器损失函数为：δD＝D(y)+D(z)，δD为所述判别器损失值，z表示所述生成器模型生成的所述预测数据，对应的D(z)为所述预测数据作为所述判别器模型的输入时对应的损失值，y表示所述标签数据，D(y)为所述标签数据作为所述判别器模型的输入时对应的损失值；所述k为非零的自然数。
3.根据权利要求1所述的方法，其特征在于，所述生成器模型包括调校参数生成模型和图像调校模型，其中，所述调校参数生成模型用于生成预测调校参数，所述图像调校模型用于根据所述预测调校参数和对应训练集样本图像数据生成样本测试图像，并将所述预测调校参数和/或所述样本测试图像作为所述预测数据；或，
所述生成器模型为图像生成模型，用于直接生成样本测试图像；其中，所述图像生成模型由图像特征提取网络和图像重建网络组成，所述图像特征提取网络最后层的输出作为所述图像重建网络的输入，且所述图像特征提取网络和所述图像重建网络中的部分特征层通过关联层连接实现特征关联，并将所述样本测试图像作为所述预测数据。
4.根据权利要求3所述的方法，其特征在于，所述生成器模型包括调校参数生成模型和图像调校模型，所述标签数据中包括标签图像，其中，所述调校参数生成模型用于生成预测调校参数，所述图像调校模型用于生成样本测试图像；所述生成器损失值包括图像调校模型损失值和调校参数生成模型损失值；
所述根据与所述待训练的生成器模型对应的生成器损失函数计算所述生成器损失值，包括：
通过生成的样本测试图像和对应的标签图像，根据图像调校模型损失函数计算图像调校模型损失值；
利用反向传播优化图像调校模型参数，并输出优化后的图像调校模型参数，根据所述优化后的图像调校模型参数和调校参数生成模型生成预测调校参数；
根据所述预测调校参数和调校参数生成模型损失函数计算调校参数生成模型损失值。
5.根据权利要求3所述的方法，其特征在于，所述判别器模型的数量为至少一个，所述标签数据中包括标签图像和标签调校参数；所述判别器损失值包括第一判别器损失值和第二判别器损失值中的至少一种；所述将所述预测数据和所述标签数据输入至待训练的判别器模型，根据与所述待训练的判别器模型对应的判别器损失函数计算判别器损失值，包括：
将所述样本测试图像和对应的标签图像输入至第一判别器模型，根据第一判别器损失函数计算第一判别器损失值；和/或，
将所述预测调校参数和对应的标签调校参数输入至第二判别器模型，根据第二判别器损失函数计算第二判别器损失值。
6.根据权利要求5所述的方法，其特征在于，所述判别器损失值还包括判别器总损失值，所述判别器总损失值通过第一判别器损失值和第二判别器损失值确定，所述方法还包括：
根据所述第一判别器损失值和所述第二判别器损失值分别优化第一判别器模型和第二判别器模型；或，
根据判别器总损失值，优化所述第一判别器模型和所述第二判别器模型。
7.根据权利要求6所述的方法，其特征在于，所述判别器总损失值通过判别器总损失函数确定，所述判别器总损失函数通过以下公式确定：L＝λ1L1+λ2L2,其中，L为所述判别器总损失值，L1和L2分别为所述第一判别器损失值和所述第二判别器损失值，λ1和λ2分别为所述第一判别器损失值的权重和所述第二判别器损失值的权重，所述判别器总损失函数用于调整不同判别器损失值对所述判别器模型训练的影响大小。
8.一种基于图像处理的模型训练装置，其特征在于，所述装置包括：
预测数据生成模块，用于获取训练集样本图像数据，并通过待训练的生成器模型对所述训练集样本图像数据进行处理，生成与所述训练集样本图像数据对应的预测数据；
获取模块，用于获取与所述训练集样本图像数据对应的标签数据；
生成器损失值计算模块，用于根据与所述待训练的生成器模型对应的生成器损失函数计算所述生成器损失值；
判别器损失值计算模块，用于将所述预测数据和所述标签数据输入至待训练的判别器模型，根据与所述待训练的判别器模型对应的判别器损失函数计算判别器损失值；所述判别器模型用于判断所述预测数据和所述标签数据的相似度；
模型优化模块，用于根据所述生成器损失值和所述判别器损失值，分别利用反向传播反复交替优化所述待训练的生成器模型和所述待训练的判别器模型，当达到精度要求或者预设迭代次数后，保存所述待训练的生成器模型的生成器模型参数和所述待训练的判别器模型的判别器模型参数，得到训练好的生成器模型和判别器模型；所述训练好的生成器模型用于对图像处理设备采集的初始图像数据进行处理，以输出与所述初始图像数据对应的图像调校参数或输出与所述初始图像数据对应的目标图像；输出的图像调校参数用于指示所述图像处理设备生成与所述初始图像数据对应的目标图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010771696.3A 2020-08-04 2020-08-04 基于图像处理的模型训练方法、装置、设备和介质 Pending CN112132172A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010771696.3A CN112132172A (zh) 2020-08-04 2020-08-04 基于图像处理的模型训练方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010771696.3A CN112132172A (zh) 2020-08-04 2020-08-04 基于图像处理的模型训练方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN112132172A true CN112132172A (zh) 2020-12-25

Family

ID=73851306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010771696.3A Pending CN112132172A (zh) 2020-08-04 2020-08-04 基于图像处理的模型训练方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN112132172A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766366A (zh) * 2021-01-18 2021-05-07 深圳前海微众银行股份有限公司 对抗生成网络的训练方法及其图像处理方法、装置
CN113569627A (zh) * 2021-06-11 2021-10-29 北京旷视科技有限公司 人体姿态预测模型训练方法、人体姿态预测方法及装置
CN114036829A (zh) * 2021-11-02 2022-02-11 中国地质大学（武汉） 地质剖面图生成方法、系统、设备及存储介质
CN114445515A (zh) * 2022-02-14 2022-05-06 深圳市赛禾医疗技术有限公司 图像伪影去除方法、装置、电子设备及存储介质
CN115239943A (zh) * 2022-09-23 2022-10-25 杭州医策科技有限公司 图像矫正模型的训练方法及切片图像的色彩矫正方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031440A (ja) * 2004-07-16 2006-02-02 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置、画像処理プログラム及び画像処理システム
CN106384366A (zh) * 2016-08-24 2017-02-08 乐视控股（北京）有限公司 一种图像调校方法及装置
CN107945140A (zh) * 2017-12-20 2018-04-20 中国科学院深圳先进技术研究院 一种图像修复方法、装置及设备
CN109255769A (zh) * 2018-10-25 2019-01-22 厦门美图之家科技有限公司 图像增强网络的训练方法和训练模型、及图像增强方法
CN110659727A (zh) * 2019-09-24 2020-01-07 中国科学技术大学 一种基于草图的图像生成方法
CN110853110A (zh) * 2019-09-20 2020-02-28 杭州火烧云科技有限公司 一种基于生成对抗网络的图片自动调色方法
CN111277809A (zh) * 2020-02-28 2020-06-12 广东工业大学 一种图像色彩校正方法、系统、设备及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031440A (ja) * 2004-07-16 2006-02-02 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置、画像処理プログラム及び画像処理システム
CN106384366A (zh) * 2016-08-24 2017-02-08 乐视控股（北京）有限公司 一种图像调校方法及装置
CN107945140A (zh) * 2017-12-20 2018-04-20 中国科学院深圳先进技术研究院 一种图像修复方法、装置及设备
CN109255769A (zh) * 2018-10-25 2019-01-22 厦门美图之家科技有限公司 图像增强网络的训练方法和训练模型、及图像增强方法
CN110853110A (zh) * 2019-09-20 2020-02-28 杭州火烧云科技有限公司 一种基于生成对抗网络的图片自动调色方法
CN110659727A (zh) * 2019-09-24 2020-01-07 中国科学技术大学 一种基于草图的图像生成方法
CN111277809A (zh) * 2020-02-28 2020-06-12 广东工业大学 一种图像色彩校正方法、系统、设备及介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766366A (zh) * 2021-01-18 2021-05-07 深圳前海微众银行股份有限公司 对抗生成网络的训练方法及其图像处理方法、装置
CN113569627A (zh) * 2021-06-11 2021-10-29 北京旷视科技有限公司 人体姿态预测模型训练方法、人体姿态预测方法及装置
CN113569627B (zh) * 2021-06-11 2024-06-14 北京旷视科技有限公司 人体姿态预测模型训练方法、人体姿态预测方法及装置
CN114036829A (zh) * 2021-11-02 2022-02-11 中国地质大学（武汉） 地质剖面图生成方法、系统、设备及存储介质
CN114445515A (zh) * 2022-02-14 2022-05-06 深圳市赛禾医疗技术有限公司 图像伪影去除方法、装置、电子设备及存储介质
CN115239943A (zh) * 2022-09-23 2022-10-25 杭州医策科技有限公司 图像矫正模型的训练方法及切片图像的色彩矫正方法

Similar Documents

Publication Publication Date Title
CN112132172A (zh) 基于图像处理的模型训练方法、装置、设备和介质
JP7141428B2 (ja) 高ダイナミックレンジ（ｈｄｒ）画素ストリームを生成するための装置、コンピュータプログラムおよび方法
Jiang et al. Learning the image processing pipeline
CN101527860B (zh) 白平衡控制设备及其控制方法和摄像设备
CN112164005B (zh) 图像颜色校正方法、装置、设备及存储介质
CN113170028B (zh) 生成基于机器学习的成像算法的图像数据的方法
US11663707B2 (en) Method and system for image enhancement
WO2020010638A1 (zh) 一种图像坏点检测方法及装置
Gallo et al. Metering for exposure stacks
JP2018036960A (ja) 画像類似度算出装置、画像処理装置、画像処理方法、及び記録媒体
CN113962859B (zh) 一种全景图生成方法、装置、设备及介质
JP2021165944A (ja) 学習方法、プログラム及び画像処理装置
WO2019188573A1 (ja) 演算装置、演算方法およびプログラム
US20170272619A1 (en) Method and system for determining parameters of an image processing pipeline of a digital camera
Li et al. Efficient visual computing with camera raw snapshots
CN113438411A (zh) 图像拍摄方法、装置、计算机设备和计算机可读存储介质
CN117156289A (zh) 色彩风格校正方法、系统、电子设备、存储介质及芯片
CN115205157B (zh) 图像处理方法和系统、电子设备和存储介质
CN114926876A (zh) 图像关键点检测方法、装置、计算机设备和存储介质
TWI590192B (zh) 適應性高動態範圍影像合成演算法
CN113271450A (zh) 白平衡调整方法、影像处理装置与影像处理系统
US20240202989A1 (en) Neural photofinisher digital content stylization
JP6656132B2 (ja) 撮像管理装置および撮像管理プログラム
CN114972100A (zh) 噪声模型的估计方法和装置、图像处理方法和装置
CN114549351A (zh) 颜色校正方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination