CN114169380A - 图像处理模型的训练方法、装置、电子设备及存储介质 - Google Patents

图像处理模型的训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114169380A
CN114169380A CN202010839152.6A CN202010839152A CN114169380A CN 114169380 A CN114169380 A CN 114169380A CN 202010839152 A CN202010839152 A CN 202010839152A CN 114169380 A CN114169380 A CN 114169380A
Authority
CN
China
Prior art keywords
image data
model
image processing
target image
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010839152.6A
Other languages
English (en)
Inventor
刘君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010839152.6A priority Critical patent/CN114169380A/zh
Publication of CN114169380A publication Critical patent/CN114169380A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像处理模型的训练方法、装置、电子设备及存储介质。其中，方法包括：获取多个样本图像数据；所述样本图像数据为RAW图像数据；将获取的所述多个样本图像数据作为训练数据，对所述多个样本图像数据进行量化感知的模型训练，得到量化感知模型；其中，对所述多个样本图像数据进行量化感知的模型训练时，基于至少一个与图像信号处理(ISP)单元相关的影响因子，对所述量化感知模型的权重参数进行更新。

Description

图像处理模型的训练方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术，具体涉及一种图像处理模型的训练方法、装置、电子设备及存储介质。
背景技术
随着图像处理技术的快速发展，为了提高图像处理的效率，可以先利用训练得到的图像处理模型对输入的图像数据进行映射得到浮点型的图像数据，然后，利用定点模型将浮点型的图像数据转换为定点型的图像数据，最后，对定点模型输出的定点型的图像数据进行图像信号处理(ISP，Image Signal Processing)，得到处理后的图像数据，但是，实际应用时，经过图像处理模型和定点模型输出的图像的质量较好，但经过ISP处理后得到的图像的质量反而较差。
因此，亟需找到一种能够提高图像质量的技术方案。
发明内容
有鉴于此，本发明实施例期望提供一种图像处理模型的训练方法、装置、电子设备及存储介质。
本发明的技术方案是这样实现的：
本发明实施例提供一种图像处理模型的训练方法，所述方法包括：
获取多个样本图像数据；所述样本图像数据为RAW图像数据；
将获取的所述多个样本图像数据作为训练数据，对所述多个样本图像数据进行量化感知的模型训练，得到量化感知模型；所述量化感知模型用于对目标图像数据进行量化得到浮点型的目标图像数据；以及，将所述浮点型的目标图像数据转换为定点型的目标图像数据，以使得所述定点型的目标图像数据满足ISP单元的处理需求；
其中，对所述多个样本图像数据进行量化感知的模型训练时，基于至少一个与所述ISP单元相关的影响因子，对所述量化感知模型的权重参数进行更新。
上述方案中，所述基于至少一个与所述ISP单元相关的影响因子，对所述量化感知模型的权重参数进行更新，包括：
确定所述ISP单元进行图像处理所具备的至少一种图像处理功能；
确定与所述至少一种图像处理功能对应的至少一个映射函数；
将所述至少一个映射函数作为所述至少一个影响因子；
基于与所述至少一个影响因子，构建误差函数；
基于所述误差函数，对所述量化感知模型的权重参数进行更新。
上述方案中，所述基于所述至少一个影响因子，构建误差函数，包括：
基于所述至少一个影响因子对应的至少一个映射函数在图像处理时的执行顺序，确定所述至少一个影响因子在构建误差函数时的执行顺序；
基于确定的执行顺序，构建所述误差函数。
上述方案中，所述确定所述ISP单元进行图像处理所具备的至少一种图像处理功能，包括：
确定获取多个样本图像数据的第一场景；
从场景与场景类型的对应关系中，确定与所述第一场景对应的第一场景类型；
从场景类型与图像处理功能的对应关系中，确定与所述第一场景类型对应的至少一种图像处理功能；
将所述至少一种图像处理功能作为所述ISP单元进行图像处理所具备的至少一种图像处理功能。
上述方案中，所述基于所述误差函数，对所述量化感知模型的权重参数进行更新，包括：
确定所述误差函数的梯度；
基于确定的梯度和学习速率，对所述量化感知模型的权重参数进行更新。
上述方案中，所述方法还包括：
获取目标图像数据；
将所述目标图像数据输入到所述量化感知模型，得到所述量化感知模型输出的浮点型的目标图像数据。
上述方案中，所述方法还包括：
将所述浮点型的目标图像数据输入到定点模型，得到所述定点模型输出的定点型的目标图像数据；
利用所述ISP单元，对所述定点型的目标图像数据进行图像处理，得到图像处理后的目标图像数据。
本发明实施例提供一种图像处理模型的训练装置，包括：
获取单元，用于获取多个样本图像数据；所述样本图像数据为RAW图像数据；
处理单元，用于将获取的所述多个样本图像数据作为训练数据，对所述多个样本图像数据进行量化感知的模型训练，得到量化感知模型；所述量化感知模型用于对目标图像数据进行量化得到浮点型的目标图像数据；以及，将所述浮点型的目标图像数据转换为定点型的目标图像数据，以使得所述定点型的目标图像数据满足ISP单元的处理需求；
其中，对所述多个样本图像数据进行量化感知的模型训练时，基于至少一个与所述ISP单元相关的影响因子，对所述量化感知模型的权重参数进行更新。
上述方案中，所述处理单元，具体用于：
确定所述ISP单元进行图像处理所具备的至少一种图像处理功能；
确定与所述至少一种图像处理功能对应的至少一个映射函数；
将所述至少一个映射函数作为所述至少一个影响因子；
基于与所述至少一个影响因子，构建误差函数；
基于所述误差函数，对所述量化感知模型的权重参数进行更新。
上述方案中，所述处理单元，具体用于：
基于所述至少一个影响因子对应的至少一个映射函数在图像处理时的执行顺序，确定所述至少一个影响因子在构建误差函数时的执行顺序；
基于确定的执行顺序，构建所述误差函数。
上述方案中，所述处理单元，具体用于：
确定获取多个样本图像数据的第一场景；
从场景与场景类型的对应关系中，确定与所述第一场景对应的第一场景类型；
从场景类型与图像处理功能的对应关系中，确定与所述第一场景类型对应的至少一种图像处理功能；
将所述至少一种图像处理功能作为所述ISP单元进行图像处理所具备的至少一种图像处理功能。
上述方案中，所述处理单元，具体用于：
确定所述误差函数的梯度；
基于确定的梯度和学习速率，对所述量化感知模型的权重参数进行更新。
上述方案中，所述处理单元，还用于：
获取目标图像数据；
将所述目标图像数据输入到所述量化感知模型，得到所述量化感知模型输出的浮点型的目标图像数据。
上述方案中，所述处理单元，还用于：
将所述浮点型的目标图像数据输入到定点模型，得到所述定点模型输出的定点型的目标图像数据；
利用所述ISP单元，对所述定点型的目标图像数据进行图像处理，得到图像处理后的目标图像数据。
本发明实施例提供一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行所述程序时实现上述任一所述方法的步骤。
本发明实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行所述程序时实现上述任一所述方法的步骤。
本发明实施例提供的图像处理模型的训练方法、装置、电子设备及存储介质，获取多个样本图像数据；所述样本图像数据为RAW图像数据；将获取的所述多个样本图像数据作为训练数据，对所述多个样本图像数据进行量化感知的模型训练，得到量化感知模型；所述量化感知模型用于对目标图像数据进行量化得到浮点型的目标图像数据；以及，将所述浮点型的目标图像数据转换为定点型的目标图像数据，以使得所述定点型的目标图像数据满足ISP单元的处理需求；其中，对所述多个样本图像数据进行量化感知的模型训练时，基于至少一个与所述ISP单元相关的影响因子，对所述量化感知模型的权重参数进行更新。采用本发明实施例的技术方案，由于对所述量化感知模型的权重参数进行更新的影响因子与所述ISP单元相关，即，在训练量化感知模型时，已经考虑了ISP单元中相关因素对图像质量的影响，因此，可以提高基于多个样本图像数据训练得到的量化感知模型的图像处理性能，后续利用ISP单元对量化感知模型输出的图像数据进行处理时，能够提高ISP处理后的图像数据的质量。
附图说明
图1为相关技术图像处理流程的示意图；
图2是相关技术中量化感知训练(QAT，Quantification Aware Training)模型的示意图；
图3是相关技术中ISP处理流程的示意图；
图4为本发明实施例图像处理模型的训练方法的实现流程示意图；
图5为本发明实施例不同gamma值的伽马映射曲线的示意图；
图6为本发明实施例为8bit位宽、gamma值等于1/2的伽马映射曲线的斜率的示意图；
图7为本发明实施例利用RAW图像数据训练量化感知模型的实现流程示意图；
图8为本发明实施例基于至少一个与ISP单元相关的影响因子构建误差函数的实现流程示意图；
图9为本发明实施例图像处理模型的训练装置的组成结构示意图；
图10为本发明实施例电子设备的组成结构示意图。
具体实施方式
在对本发明实施例的技术方案进行详细说明之前，首先对相关技术进行介绍说明。
图1是相关技术中图像处理流程的示意图，如图1所示，可以先利用QAT，训练得到的图像处理模型对输入的原始图像数据(用RAW图像表示)进行映射得到浮点型的图像数据，然后，当部署到硬件芯片上，为了提高运算效率，通过工具将浮点型的QAT模型可转为基于深度学习(DL，Deep Learning)的定点模型，采用定点模型将浮点型的图像数据转换为定点型的图像数据，最后，对定点模型输出的定点型的图像数据进行ISP处理，生成实际可以显示的图像数据，如RGB图像。图2是相关技术中QAT模型的示意图，如图2所示，可以采用量化感知训练得到QAT模型，所述量化感知训练可以是指在训练的时候引入定点化前向推理，反向运算仍然采用浮点运算。图3是相关技术中ISP处理流程的示意图，如图3所示，ISP处理流程可以包括：镜头阴影矫正(lens shading correction)、坏点矫正(bad pixelcorrection)、去噪点、自动白平衡矫正、色彩矫正(Color Correction)、伽玛(gamma)矫正等。
综上，由于基于RAW图像数据训练得到的量化感知模型与基于ISP处理相应的RAW图像是相互独立的步骤，而ISP处理流程中所使用的映射函数如增益函数和映射函数对最终图像的量化效果有放大作用，因此，若在基于RAW图像训练图像处理模型的过程中不考虑后续ISP对图像质量的影响，则会导致采用ISP处理流程对图像处理模型输出的RAW图像处理之后得到的RGB图像的质量较差，即，经过图像处理模型和定点模型输出的图像数据的精度较好，但经过ISP处理后得到的图像数据的精度反而较差。
基于此，在本发明的各种实施例中，获取多个样本图像数据；所述样本图像数据为RAW图像数据；将获取的所述多个样本图像数据作为训练数据，对所述多个样本图像数据进行量化感知的模型训练，得到量化感知模型；所述量化感知模型用于对目标图像数据进行量化得到浮点型的目标图像数据；以及，将所述浮点型的目标图像数据转换为定点型的目标图像数据，以使得所述定点型的目标图像数据满足ISP单元的处理需求；其中，对所述多个样本图像数据进行量化感知的模型训练时，基于至少一个与所述ISP单元相关的影响因子，对所述量化感知模型的权重参数进行更新。
下面结合附图及具体实施例对本发明作进一步详细的说明。
本发明实施例提供一种图像处理模型的训练方法，图4为本发明实施例图像处理模型的训练方法的实现流程示意图；如图4所示，所述方法包括：
步骤401：获取多个样本图像数据；
步骤402：将获取的所述多个样本图像数据作为训练数据，对所述多个样本图像数据进行量化感知的模型训练，得到量化感知模型；所述量化感知模型用于对目标图像数据进行量化得到浮点型的目标图像数据；以及将所述浮点型的目标图像数据转换为定点型的目标图像数据，以得所述定点型的目标图像数据满足ISP单元的处理需求；
步骤403：对所述多个样本图像数据进行量化感知的模型训练时，基于至少一个与所述ISP单元相关的影响因子，对所述量化感知模型的权重参数进行更新。
这里，在步骤401中，所述样本图像数据为RAW图像数据；所述RAW图像数据是图像传感器将捕捉到的光源信号转化为数字信号后的原始数据；所述多个样本图像数据可以是通过图像采集单元获取的；所述图像采集单元可以是指电子设备中能够采集图像的传感器单元，如电荷耦合器件(CCD，Charge Coupled Device)等；所述图像可以是二维图像、三维图像等等。
这里，在步骤402中，实际应用时，初始图像数据的格式可以是浮点型，为了提高后续在硬件芯片上图像处理的速度，可以将浮点型的图像数据转换为定点型的图像数据，因此，可以基于多个样本图像数据，训练得到浮点型的量化感知模型，利用所述量化感知模型，将采集的图像数据转换为浮点型的图像数据，后续再利用定点模型将浮点型的图像数据转换为定点型的图像数据。
这里，在步骤403中，为了提高ISP单元对图像数据处理的精度，可以将所述ISP单元中与提高图像数据处理的精度相关的因素作为影响因子，重新构建量化感知模型的误差函数，并在对量化感知模型进行训练时，利用与ISP单元相关的影响因子对量化感知模型的各层权重参数进行更新。其中，所述ISP单元用于将RAW图像转换为三基色RGB图像。
实际应用时，不同电子设备的ISP单元所具备的图像处理功能可以不同，例如，电子设备1的ISP单元所具备的图像处理功能可以包括：镜头阴影矫正、坏点矫正、去噪点，电子设备2的ISP单元所具备的图像处理功能可以包括：自动白平衡矫正、色彩矫正、伽玛矫正；其中，每种图像处理功能可以通过对应的映射函数实现，因此，可以结合ISP单元所具备的图像处理功能对应的映射函数，确定构建误差函数的影响因子。
基于此，在一实施例中，所述基于至少一个与所述ISP单元相关的影响因子，对所述量化感知模型的权重参数进行更新，包括：
确定所述ISP单元进行图像处理所具备的至少一种图像处理功能；
确定与所述至少一种图像处理功能对应的至少一个映射函数；
将所述至少一个映射函数作为所述至少一个影响因子；
基于与所述至少一个影响因子，构建误差函数；
基于所述误差函数，对所述量化感知模型的权重参数进行更新。
这里，映射函数可以是伽马映射函数、色调映射函数、S型映射函数等；映射函数还可以包含增益函数；其中，增益函数可以是白平衡增益、模拟增益、数字增益等其它增益函数，包括但不限于线性增益、也可以是非线性增益。
举例来说，所述ISP单元进行图像处理所具备的至少一种图像处理功能可以包括：镜头阴影矫正、坏点矫正、去噪点、自动白平衡矫正、色彩矫正、伽玛矫正等，还可以包括反马赛克(Demosaic)。
其中，镜头阴影矫正用于消除RAW图像数据中存在的渐晕现象给图像带来的影响。渐晕现象是指图像中间比较亮，边缘比较暗，且离图像中心越远亮度越暗的现象。坏点是指由于像素点在图像传感器上对应的阵列存在工艺上的缺陷，或由于光信号转化为电信号的过程中出现错误，导致图像上出现的信息错误的像素点。白平衡是描述显示器中红(R)、绿(G)、蓝(B)三基色混合生成后白色精确度的一项指标。白平衡矫正用于恢复图像的正常颜色，基本原理是在任意环境下，把白色物体还原成白色物体。白平衡矫正可以通过白平衡增益来实现。反马赛克用于从RAW图像数据中还原出符合显示设备显示的真实色彩。色彩矫正用于矫正图像的颜色，可以通过色调函数来实现。伽玛矫正用于调整图像的灰度，使得处理后的图像人眼看起来更加舒适。伽玛矫正通过伽玛映射函数来实现。
实际应用时，所述ISP单元可以基于至少一个影响因子对图像质量的影响程度，确定所述至少一个影响因子在构建误差函数时的执行顺序，其中，影响因子对图像质量的影响越大，则该影响因子在构建误差函数时的执行顺序越靠前。
基于此，在一实施例中，所述基于所述至少一个影响因子，构建误差函数，包括：
基于所述至少一个影响因子对应的至少一个映射函数在图像处理时的执行顺序，确定所述至少一个影响因子在构建误差函数时的执行顺序；
基于确定的执行顺序，构建所述误差函数。
举例来说，假设电子设备的ISP单元所具备的图像处理功能包括自动白平衡处理功能、伽马映射功能；自动白平衡处理对应的映射函数为白平衡增益函数，伽马映射功能对应的映射函数为伽马映射函数。若ISP单元在进行图像处理时先进行白平衡增益处理再进行伽马映射，则可以先利用白平衡增益函数再利用伽马映射函数构建误差函数。
以误差函数为方差函数为例，公式(1)表示初始的误差函数，更新模型：
Loss＝(y-f(x))2 (1)
其中，Loss表示初始的误差函数，f(x)表示量化感知模型输出的图像数据，y为量化感知模型输入的真实图像数据。
需要说明的是，实际应用时，误差函数包括但不限于方差形式的损失函数。
这里，先利用白平衡增益函数再利用伽马映射函数构建的误差函数用公式(2)表示。
Loss'＝{(gammai(gaini×y)-gammai(gaini×f(x)))}2 (2)
其中，Loss‘’表示构建后的误差函数，gaini×f(x)表示对量化感知模型输出的图像数据进行白平衡处理，gammai(gaini×f(x))表示对白平衡处理后的图像数据进行伽马映射处理，gaini×y表示对量化感知模型输入的真实图像数据进行白平衡处理，gammai(gaini×y)表示对白平衡处理后的真实图像数据进行伽马映射处理。
这里，白平衡处理对应的映射函数为白平衡增益函数，如公式(3)所示。
f(x)＝x×gainx (3)
其中，x表征定点模型输出的定点型图像数据中一个像素对应的x通道的颜色值，x为R通道、G通道或B通道。gainx表征定点模型输出的定点型图像数据中与x通道对应的增益值。
需要说明的是，在白平衡增益函数中，G通道的增益值gainG为1，R通道的增益值gainR可以为G通道的颜色均值与R通道的颜色均值之间的比值，B通道的增益值gainB可以为G通道的颜色均值与B通道的颜色均值之间的比值。
这里，伽马映射功能对应的映射函数为伽马映射函数，如公式(4)所示。
Figure BDA0002640770950000101
其中，i表征RAW图像中第i个像素的输入灰度值，i为正整数；gamma(i)表示RAW图像中第i个像素的输出灰度值，γ表征设定的伽玛值。γ可以为1/10、1/5、1/2、1、2、5或10等数值。
需要说明的是，公式(4)中的数据位宽为8比特，数据范围为[0,255]，在其他实施例中，伽马映射函数中的数据位宽也可以为其他值，例如16比特。
图5为不同gamma值的伽马映射曲线，如图5所示，对不同位置的数值斜率不同，表现为数值放大、缩小的程度不同。图6为8bit位宽、gamma值等于1/2的伽马映射曲线的斜率，如图6所示，当像素值较低时，伽马映射曲线的斜率较大，假设斜率大于2，则表明在输入像素差值为1时，gamma映射后的像素差值大于2，表现在图像上就是相邻数值差异变大，图像出现灰阶现象、图像过度不均匀。当像素值较大时，伽马映射曲线的斜率较小，假设斜率小于1/2，则表明像素差值大于2时，在gamma映射的像素差值为1，可以共用一个灰阶、图像更加均匀。
实际应用时，针对在不同场景下采集的图像数据，所述ISP单元进行图像处理的功能可以不同，例如，针对在室内场景下采集的图像数据，ISP单元具备的图像处理功能可以包括：自动白平衡、反马赛克(Demosaic)；针对在室外场景下采集的图像数据，ISP单元具备的图像处理功能可以包括：镜头阴影矫正、坏点矫正、去噪点。因此，可以基于所述图像采集单元采集多个样本图像数据的场景，确定所述ISP单元进行图像处理的至少一种图像处理功能。
基于此，在一实施例中，所述确定所述ISP单元进行图像处理所具备的至少一种图像处理功能，包括：
确定获取多个样本图像数据的第一场景；
从场景与场景类型的对应关系中，确定与所述第一场景对应的第一场景类型；
从场景类型与图像处理功能的对应关系中，确定与所述第一场景类型对应的至少一种图像处理功能；
将所述至少一种图像处理功能作为所述ISP单元进行图像处理所具备的至少一种图像处理功能。
实际应用时，所述量化感知模型可以是反馈神经网络模型，即，在反向传播的过程中，利用误差函数的梯度，对量化感知模型的各层权重参数进行更新。例如，假设所述量化感知模型包括输入层、第一中间层、第二中间层、第三中间层、输出层，则反向传播是指按照输出层-第三中间层-第二中间层-第一中间层的顺序，依次更新各个层的权重参数。
基于此，在一实施例中，所述基于所述误差函数，对所述量化感知模型的权重参数进行更新，包括：
确定所述误差函数的梯度；
基于确定的梯度和学习速率，对所述量化感知模型的权重参数进行更新。
需要说明的是，实际应用时，除了基于至少一个与ISP相关的影响因子构建的误差函数以及学习速率以外，还可以基于量化感知模型输出的图像数据，对所述量化感知模型的权重参数进行更新；其中，量化感知模型输出的图像数据可以是基于输入的样本图像数据得到的。
实际应用时，在基于所述多个样本图像数据训练得到量化感知模型后，还可以利用所述量化感知模型将输入的目标图像数据转换为浮点型的图像数据。
基于此，在一实施例中，所述方法还包括：
获取目标图像数据；
将所述目标图像数据输入到所述量化感知模型，得到所述量化感知模型输出的浮点型的目标图像数据。
需要说明的是，实际应用时，为了提高量化感知模型的训练精度，还可以将获取的所述目标图像数据作为样本图像数据，重新对所述量化感知模型进行量化感知的模型训练。
实际应用时，在利用训练得到的量化感知模型对输入的目标图像数据量化得到浮点型的图像数据后，还可以将浮点型的图像数据转换为定点型的图像数据，并利用ISP单元对定点型的图像数据进行图像处理，得到能够在显示单元中进行显示的图像数据。
基于此，在一实施例中，所述方法还包括：
将所述浮点型的目标图像数据输入到定点模型，得到所述定点模型输出的定点型的目标图像数据；
利用所述ISP单元，对所述定点型的目标图像数据进行图像处理，得到图像处理后的目标图像数据。
在一示例中，如图7所示，描述利用RAW图像数据训练量化感知模型的过程，包括：
步骤701：获取多个RAW图像数据；
步骤702：将获取的所述多个RAW图像数据作为训练数据，对所述至少一个RAW图像数据进行量化感知模型训练；
步骤703：在进行量化感知模型训练时，基于利用至少一个与ISP单元相关的影响因子构建的误差函数，对所述量化感知模型的权重参数进行更新；
步骤704：判断量化感知模型是否收敛；当确定量化感知模型收敛时，执行步骤705；否则，执行步骤702。
步骤705：结束对量化感知模型的训练。
这里，如图8所示，描述基于至少一个与ISP单元相关的影响因子构建误差函数的过程，包括：
步骤801：确定ISP单元进行图像处理所具备的至少一种图像处理功能，并确定与所述至少一种图像处理功能对应的至少一个映射函数；
步骤802：基于所述至少一个映射函数在图像处理时的执行顺序，确定所述至少一个影响因子在构建误差函数时的执行顺序；
步骤803：基于确定的执行顺序，构建所述误差函数。
这里，利用RAW图像数据训练量化感知模型时，基于至少一个与ISP单元相关的影响因子构建误差函数对量化感知模型的权重参数进行更新，具备以下优点：
(1)在训练量化感知模型时，已经考虑了ISP单元中相关因素对图像质量的影响，因此，可以提高基于该损失函数训练得到的量化感知模型的图像处理性能，后续利用ISP单元对量化感知模型输出的图像数据进行处理时，能够提高ISP处理后的图像数据的精度。
(2)将原有RAW域的量化感知模型训练和与ISP处理流程结合起来，在对量化感知模型训练时，考虑到ISP单元中对最终图像的处理效果有很大影响的图像处理模块如白平衡增益处理模块和伽玛映射模块，从而能够提升RAW数据与ISP单元处理图像数据的实际效果。
(3)除了增益函数和映射函数，实际应用时，可以结合实际ISP处理流程，中对图像处理效果影响较大的其它函数也增加到损失函数中，以此改善IPS处理的图像质量。
采用本发明实施例的技术方案，由于对所述量化感知模型的权重参数进行更新的影响因子与所述ISP单元相关，即，在训练量化感知模型时，已经考虑了ISP单元中相关因素对图像质量的影响，因此，可以提高基于多个样本图像数据训练得到的量化感知模型的图像处理性能，后续利用ISP单元对量化感知模型输出的图像数据进行处理时，能够提高ISP处理后的图像数据的质量。
为实现本发明实施例图像处理模型的训练方法，本发明实施例还提供一种图像处理模型的训练装置，设置在终端上。图9为本发明实施例图像处理模型的训练装置的组成结构示意图；如图9所示，所述装置包括：
获取单元91，用于获取多个样本图像数据；所述样本图像数据为RAW图像数据；
处理单元92，用于将获取的所述多个样本图像数据作为训练数据，对所述多个样本图像数据进行量化感知的模型训练，得到量化感知模型；所述量化感知模型用于对目标图像数据进行量化得到浮点型的目标图像数据；以及，将所述浮点型的目标图像数据转换为定点型的目标图像数据，以使得所述定点型的目标图像数据满足ISP单元的处理需求；
其中，对所述多个样本图像数据进行量化感知的模型训练时，基于至少一个与所述ISP单元相关的影响因子，对所述量化感知模型的权重参数进行更新。
在一实施例中，所述处理单元92，具体用于：
确定所述ISP单元进行图像处理所具备的至少一种图像处理功能；
确定与所述至少一种图像处理功能对应的至少一个映射函数；
将所述至少一个映射函数作为所述至少一个影响因子；
基于与所述至少一个影响因子，构建误差函数；
基于所述误差函数，对所述量化感知模型的权重参数进行更新。
在一实施例中，所述处理单元92，具体用于：
基于所述至少一个影响因子对应的至少一个映射函数在图像处理时的执行顺序，确定所述至少一个影响因子在构建误差函数时的执行顺序；
基于确定的执行顺序，构建所述误差函数。
在一实施例中，所述处理单元92，具体用于：
确定获取多个样本图像数据的第一场景；
从场景与场景类型的对应关系中，确定与所述第一场景对应的第一场景类型；
从场景类型与图像处理功能的对应关系中，确定与所述第一场景类型对应的至少一种图像处理功能；
将所述至少一种图像处理功能作为所述ISP单元进行图像处理所具备的至少一种图像处理功能。
在一实施例中，所述处理单元92，具体用于：
确定所述误差函数的梯度；
基于确定的梯度和学习速率，对所述量化感知模型的权重参数进行更新。
在一实施例中，所述处理单元92，还用于：
获取目标图像数据；
将所述目标图像数据输入到所述量化感知模型，得到所述量化感知模型输出的浮点型的目标图像数据。
在一实施例中，所述处理单元92，还用于：
将所述浮点型的目标图像数据输入到定点模型，得到所述定点模型输出的定点型的目标图像数据；
利用所述ISP单元，对所述定点型的目标图像数据进行图像处理，得到图像处理后的目标图像数据。
实际应用时，所述获取单元91可由所述装置中的通信接口实现；所述处理单元92可由所述装置中的处理器实现；所述处理器可以是中央处理器(CPU，Central ProcessingUnit)、数字信号处理器(DSP，Digital Signal Processor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field－Programmable Gate Array)。
需要说明的是：上述实施例提供的装置在进行图像处理模型的训练时，仅以上述各程序模块的划分进行举例说明，实际应用时，可以根据需要而将上述处理分配由不同的程序模块完成，即将终端的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的装置与图像处理模型的训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
基于上述设备的硬件实现，本发明实施例还提供了一种电子设备，图10为本发明实施例的电子设备的硬件组成结构示意图，如图10所示，电子设备100包括存储器103、处理器102及存储在存储器103上并可在处理器102上运行的计算机程序；所述处理器102执行所述程序时实现上述一个或多个技术方案提供的方法。
具体地，所述处理器执行以下计算机程序：获取多个样本图像数据；所述样本图像数据为RAW图像数据；将获取的所述多个样本图像数据作为训练数据，对所述多个样本图像数据进行量化感知的模型训练，得到量化感知模型；所述量化感知模型用于对目标图像数据进行量化得到浮点型的目标图像数据；以及，将所述浮点型的目标图像数据转换为定点型的目标图像数据，以使得所述定点型的目标图像数据满足ISP单元的处理需求；
其中，对所述多个样本图像数据进行量化感知的模型训练时，基于至少一个与所述ISP单元相关的影响因子，对所述量化感知模型的权重参数进行更新。
在一实施例中，所述处理器102，具体执行以下计算机程序：
确定所述ISP单元进行图像处理所具备的至少一种图像处理功能；
确定与所述至少一种图像处理功能对应的至少一个映射函数；
将所述至少一个映射函数作为所述至少一个影响因子；
基于与所述至少一个影响因子，构建误差函数；
基于所述误差函数，对所述量化感知模型的权重参数进行更新。
在一实施例中，所述处理器102，具体执行以下计算机程序：
基于所述至少一个影响因子对应的至少一个映射函数在图像处理时的执行顺序，确定所述至少一个影响因子在构建误差函数时的执行顺序；
基于确定的执行顺序，构建所述误差函数。
在一实施例中，所述处理器102，具体执行以下计算机程序：
确定获取多个样本图像数据的第一场景；
从场景与场景类型的对应关系中，确定与所述第一场景对应的第一场景类型；
从场景类型与图像处理功能的对应关系中，确定与所述第一场景类型对应的至少一种图像处理功能；
将所述至少一种图像处理功能作为所述ISP单元进行图像处理所具备的至少一种图像处理功能。
在一实施例中，所述处理器102，具体执行以下计算机程序：
确定所述误差函数的梯度；
基于确定的梯度和学习速率，对所述量化感知模型的权重参数进行更新。
在一实施例中，所述处理器102，还用于执行以下计算机程序：
获取目标图像数据；
将所述目标图像数据输入到所述量化感知模型，得到所述量化感知模型输出的浮点型的目标图像数据。
在一实施例中，所述处理器102，还用于执行以下计算机程序：
将所述浮点型的目标图像数据输入到定点模型，得到所述定点模型输出的定点型的目标图像数据；
利用所述ISP单元，对所述定点型的目标图像数据进行图像处理，得到图像处理后的目标图像数据。
需要说明的是，所述处理器102执行所述程序时实现的具体步骤已在上文详述，这里不再赘述。
可以理解，电子设备100还包括通信接口101，所述通信接口101用于和其它设备进行信息交互；同时，电子设备100中的各个组件通过总线系统104耦合在一起。可理解，总线系统104配置为实现这些组件之间的连接通信。总线系统104除包括数据总线之外，还包括电源总线、控制总线和状态信号总线等。
可以理解，本实施例中的存储器103可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，ReadOnly Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，RandomAccess Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
上述本发明实施例揭示的方法可以应用于处理器102中，或者由处理器102实现。处理器102可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器102中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器102可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器102可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器102读取存储器中的信息，结合其硬件完成前述方法的步骤。
本发明实施例还提供了一种存储介质，具体为计算机存储介质，更具体的为计算机可读存储介质。其上存储有计算机指令，即计算机程序，该计算机指令被处理器执行时上述一个或多个技术方案提供的方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
另外，本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种图像处理模型的训练方法，其特征在于，所述方法包括：
获取多个样本图像数据；所述样本图像数据为RAW图像数据；
将获取的所述多个样本图像数据作为训练数据，对所述多个样本图像数据进行量化感知的模型训练，得到量化感知模型；所述量化感知模型用于对目标图像数据进行量化得到浮点型的目标图像数据；以及
将所述浮点型的目标图像数据转换为定点型的目标图像数据，以使得所述定点型的目标图像数据满足图像信号处理ISP单元的处理需求，
其中，对所述多个样本图像数据进行量化感知的模型训练时，基于至少一个与所述ISP单元相关的影响因子，对所述量化感知模型的权重参数进行更新。
2.根据权利要求1所述的方法，其特征在于，所述基于至少一个与所述ISP单元相关的影响因子，对所述量化感知模型的权重参数进行更新，包括：
确定所述ISP单元进行图像处理所具备的至少一种图像处理功能；
确定与所述至少一种图像处理功能对应的至少一个映射函数；
将所述至少一个映射函数作为所述至少一个影响因子；
基于与所述至少一个影响因子，构建误差函数；
基于所述误差函数，对所述量化感知模型的权重参数进行更新。
3.根据权利要求2所述的方法，其特征在于，所述基于所述至少一个影响因子，构建误差函数，包括：
基于所述至少一个影响因子对应的至少一个映射函数在图像处理时的执行顺序，确定所述至少一个影响因子在构建误差函数时的执行顺序；
基于确定的执行顺序，构建所述误差函数。
4.根据权利要求2所述的方法，其特征在于，所述确定所述ISP单元进行图像处理所具备的至少一种图像处理功能，包括：
确定获取多个样本图像数据的第一场景；
从场景与场景类型的对应关系中，确定与所述第一场景对应的第一场景类型；
从场景类型与图像处理功能的对应关系中，确定与所述第一场景类型对应的至少一种图像处理功能；
将所述至少一种图像处理功能作为所述ISP单元进行图像处理所具备的至少一种图像处理功能。
5.根据权利要求2至4任一项所述的方法，其特征在于，所述基于所述误差函数，对所述量化感知模型的权重参数进行更新，包括：
确定所述误差函数的梯度；
基于确定的梯度和学习速率，对所述量化感知模型的权重参数进行更新。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取目标图像数据；
将所述目标图像数据输入到所述量化感知模型，得到所述量化感知模型输出的浮点型的目标图像数据。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
将所述浮点型的目标图像数据输入到定点模型，得到所述定点模型输出的定点型的目标图像数据；
利用所述ISP单元，对所述定点型的目标图像数据进行图像处理，得到图像处理后的目标图像数据。
8.一种图像处理模型的训练装置，其特征在于，包括：
获取单元，用于获取多个样本图像数据；所述样本图像数据为RAW图像数据；
处理单元，用于将获取的所述多个样本图像数据作为训练数据，对所述多个样本图像数据进行量化感知的模型训练，得到量化感知模型；所述量化感知模型用于对目标图像数据进行量化得到浮点型的目标图像数据；以及，将所述浮点型的目标图像数据转换为定点型的目标图像数据，以使得所述定点型的目标图像数据满足ISP单元的处理需求；
其中，对所述多个样本图像数据进行量化感知的模型训练时，基于至少一个与所述ISP单元相关的影响因子，对所述量化感知模型的权重参数进行更新。
9.一种电子设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行权利要求1至7任一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
CN202010839152.6A 2020-08-19 2020-08-19 图像处理模型的训练方法、装置、电子设备及存储介质 Pending CN114169380A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010839152.6A CN114169380A (zh) 2020-08-19 2020-08-19 图像处理模型的训练方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010839152.6A CN114169380A (zh) 2020-08-19 2020-08-19 图像处理模型的训练方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114169380A true CN114169380A (zh) 2022-03-11

Family

ID=80475342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010839152.6A Pending CN114169380A (zh) 2020-08-19 2020-08-19 图像处理模型的训练方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114169380A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913098A (zh) * 2022-06-28 2022-08-16 苏州科达科技股份有限公司 图像处理超参数优化方法、系统、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913098A (zh) * 2022-06-28 2022-08-16 苏州科达科技股份有限公司 图像处理超参数优化方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107172418B (zh) 一种基于曝光情况分析的色阶映射图像质量评价方法
CN113034358B (zh) 一种超分辨率图像处理方法以及相关装置
WO2018018470A1 (zh) 一种去除图像噪声的方法、装置、设备及卷积神经网络
DE102019213184A1 (de) Verfahren und system zum automatischen weissabgleich auf basis von tiefem lernen
CN112164005B (zh) 图像颜色校正方法、装置、设备及存储介质
CN113052868B (zh) 一种抠图模型训练、图像抠图的方法及装置
CN113822830B (zh) 基于深度感知增强的多曝光图像融合方法
CN111489322B (zh) 给静态图片加天空滤镜的方法及装置
CN114862698B (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
WO2023005818A1 (zh) 噪声图像生成方法、装置、电子设备及存储介质
CN111885312A (zh) Hdr图像的成像方法、系统、电子设备及存储介质
CN113962859A (zh) 一种全景图生成方法、装置、设备及介质
US20140092116A1 (en) Wide dynamic range display
CN112489144B (zh) 图像处理方法、图像处理装置、终端设备及存储介质
CN113327208B (zh) 高动态范围图像色调映射方法、装置、电子设备及介质
CN114169380A (zh) 图像处理模型的训练方法、装置、电子设备及存储介质
CN117156289A (zh) 色彩风格校正方法、系统、电子设备、存储介质及芯片
CN112734673B (zh) 一种基于多表达式融合的低照度图像增强方法及系统
CN111754412A (zh) 构建数据对的方法、装置及终端设备
CN112232125A (zh) 关键点检测方法和关键点检测模型的训练方法
Ghimpeţeanu et al. Local denoising applied to raw images may outperform non-local patch-based methods applied to the camera output
CN115460391B (zh) 图像的模拟方法、装置、存储介质及电子装置
CN113452981B (zh) 图像处理方法、装置、电子设备及存储介质
CN118870207A (zh) 一种图像自动白平衡的处理方法和系统、装置
CN114078168A (zh) 图像处理模型训练方法、图像处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination