CN117115593A - 模型训练方法、图像处理方法及其装置 - Google Patents

模型训练方法、图像处理方法及其装置 Download PDF

Info

Publication number
CN117115593A
CN117115593A CN202311117013.2A CN202311117013A CN117115593A CN 117115593 A CN117115593 A CN 117115593A CN 202311117013 A CN202311117013 A CN 202311117013A CN 117115593 A CN117115593 A CN 117115593A
Authority
CN
China
Prior art keywords
image
sample image
feature
unprocessed
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311117013.2A
Other languages
English (en)
Inventor
徐荣鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Hangzhou Co Ltd
Original Assignee
Vivo Mobile Communication Hangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Hangzhou Co Ltd filed Critical Vivo Mobile Communication Hangzhou Co Ltd
Priority to CN202311117013.2A priority Critical patent/CN117115593A/zh
Publication of CN117115593A publication Critical patent/CN117115593A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种模型训练方法、图像处理方法及其装置，属于图像处理技术领域。包括：获取未处理样本图像和与未处理样本图像对应的修正样本图像；对未处理样本图像和修正样本图像进行特征编码，得到第一图像特征；将未处理样本图像和第一图像特征输入第一神经网络模型，得到第一神经网络模型输出的第二图像；基于修正样本图像和第二图像确定模型损失，并基于模型损失调整第一神经网络模型的模型参数，得到第二神经网络模型；其中，第二神经网络模型用于对图像传感器输出的未处理样本图像进行图像信号处理，得到未处理样本图像对应的修正样本图像。

Description

模型训练方法、图像处理方法及其装置
技术领域
本申请属于图像处理技术领域，具体涉及一种模型训练方法、图像处理方法及其装置。
背景技术
图像传感器直接输出的未处理图像在噪点、色彩、畸变等方面往往表现不佳，导致图像观感不佳，因此在具备拍摄功能的电子设备中，通常会设置图像信号处理器(ISP，Image Signal Processor)对图像传感器直接输出的未处理图像进行修正，得到观感较好的修正图像。
图像信号处理器可以指使实施一系列固定的算法的硬件单元，其能够对图像传感器中输出的原始格式图像数据进行处理，输出对应的目标格式图像，图像信号处理器执行的具体操作可以包括但不限于坏点校正、黑电平校正、降噪、镜头阴影校正、自动白平衡、去马赛克、色彩校正、伽马校正、锐化、色彩空间转化以及编解码等。例如图像信号处理器能够将图像传感器输出的原始格式图像(Raw图像)数据转换为观感更好、更易于传播的目标格式图像(jpeg图像)。
但是，传统的图像信号处理器需要设置专用的硬件芯片，导致传统的图像处理方式部署和应用成本较高。
发明内容
本申请实施例的目的是提供一种模型训练方法、图像处理方法及其装置，以解决相关技术中对原始格式图像进行处理需要部署专用的图像信号处理器硬件导致成本较高的问题。
第一方面，本申请实施例提供了一种模型训练方法，该方法包括：
获取未处理样本图像和与所述未处理样本图像对应的修正样本图像；
对所述未处理样本图像和所述修正样本图像进行特征编码，得到第一图像特征；
将所述未处理样本图像和所述第一图像特征输入第一神经网络模型，得到所述第一神经网络模型输出的第二图像；
基于所述修正样本图像和所述第二图像确定模型损失，并基于所述模型损失调整所述第一神经网络模型的模型参数，得到第二神经网络模型；其中，所述第二神经网络模型用于对图像传感器输出的未处理样本图像进行图像信号处理，得到所述未处理样本图像对应的修正图像。
第二方面，本申请实施例提供了一种模型训练方法，该方法包括：
获取未处理图像；
将所述未处理图像输入第二神经网络模型，得到所述第二神经网络模型输出的修正图像；其中，所述第二神经网络模型是通过第一方面的模型训练方法训练得到的。
第三方面，本申请实施例提供了一种模型训练装置，该装置包括：
样本获取模块，用于获取未处理样本图像和与所述未处理样本图像对应的修正样本图像；
特征编码模块，用于对所述未处理样本图像和所述修正样本图像进行特征编码，得到第一图像特征；
样本输入模块，用于将所述未处理样本图像和所述第一图像特征输入第一神经网络模型，得到所述第一神经网络模型输出的第二图像；
模型训练模块，用于基于所述修正样本图像和所述第二图像确定模型损失，并基于所述模型损失调整所述第一神经网络模型的模型参数，得到第二神经网络模型；其中，所述第二神经网络模型用于对图像传感器输出的未处理样本图像进行图像信号处理，得到所述未处理样本图像对应的修正图像。
第四方面，本申请实施例提供了一种图像处理装置，该装置包括：
获取模块，用于获取未处理图像；
输入模块，用于将所述未处理图像输入第二神经网络模型，得到所述第二神经网络模型输出的修正图像；其中，所述第二神经网络模型是通过第一方面的模型训练方法训练得到的。
第五方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面或第二方面所述的方法的步骤。
第六方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面或第二方面所述的方法的步骤。
第七方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面或第二方面所述的方法。
第八方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面或第二方面所述的方法。
在本申请实施例中，首先获取未处理样本图像和与未处理样本图像对应的修正样本图像；并对未处理样本图像和修正样本图像进行特征编码，得到第一图像特征；然后将未处理样本图像和第一图像特征输入第一神经网络模型，得到第一神经网络模型输出的第二图像；并且基于修正样本图像和第二图像确定模型损失，最后基于模型损失调整第一神经网络模型的模型参数，得到第二神经网络模型；其中，第二神经网络模型用于对图像传感器输出的未处理样本图像进行图像信号处理，得到未处理样本图像对应的修正样本图像。通过训练第二神经网络模型即可满足不同场景和业务下所需的图像处理效果，本方案提供的第二神经网络模型能够基于样本图像训练得到，通过在设备上部署训练得到的第二神经网络模型即可对未处理的原始图像进行处理，能够降低处理原始格式图像所需的硬件成本。
附图说明
图1是本申请实施例提供的一种模型训练方法步骤流程图；
图2是本申请实施例提供的一种拜尔阵列示意图；
图3是本申请实施例提供的一种未处理样本图像生成流程图；
图4是本申请实施例提供的另一种模型训练方法步骤流程图；
图5是本申请实施例提供的一种未处理原始图像示意图；
图6是本申请实施例提供的一种未处理样本图像示意图；
图7是本申请实施例提供的一种图像重排示意图；
图8是本申请实施例提供的一种特征编码流程图；
图9是本申请实施例提供的一种第一神经网络模型示意图；
图10是本申请实施例提供的一种递归注意力块处理流程示意图；
图11是本申请实施例提供的一种模型训练整体架构图；
图12是本申请实施例提供的一种图像处理方法步骤流程图；
图13是本申请实施例提供的一种模型训练装置的框图；
图14是本申请实施例提供的一种图像处理装置的框图；
图15是本申请实施例提供的一种电子设备；
图16是本申请实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是至少两个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体地实施例及其应用场景对本申请实施例提供的模型训练方法进行详细地说明。
参照图1，图1示出了本申请实施例提供的一种模型训练方法步骤流程图，应用于电子设备，如图1所示，具体包括以下步骤：
步骤101，获取未处理样本图像和与所述未处理样本图像对应的修正样本图像。
在具备拍摄功能的电子设备中，通常会设置图像信号处理器(ISP，Image SignalProcessor)，图像信号处理器能够将图像传感器输出的原始格式图像数据转换为观感更好或更易于传播的目标格式图像，例如将Raw格式图像转换为jpeg格式图像。其中，上述电子设备可以包括但不限于相机、手机、平板电脑等，图像信号处理器可以指使实施一系列固定的算法的硬件单元，其能够对图像传感器中输出的原始格式图像数据进行处理，输出对应的目标格式图像，图像信号处理器执行的具体操作可以包括但不限于坏点校正、黑电平校正、降噪、镜头阴影校正、自动白平衡、去马赛克、色彩校正、伽马校正、锐化、色彩空间转化以及编解码等。图像传感器可以包括但不限于CMOS传感器、CCD传感器等，其拜尔阵列(BayerPattern)可以包含但不限于RGGB、RYYB、RGBW、RGBIR等任何传感器阵列。参照图2，图2示出了本申请实施例提供的一种拜尔阵列示意图。
由于传统的图像信号处理器是基于固定的算法和参数对图像进行处理的，难以根据不同的场景和需求进行快速便捷的调整，灵活性较差。此外，传统的图像信号处理器在面对高图像质量要求时，可能无法取得较为理想的图像处理效果，例如，在低光照或高对比度的环境下，传统图像信号处理器可能无法有效地去除噪声、增强清晰度或扩展动态范围。这就导致了传统图像信号处理器效果上限较低。
针对上述传统的图像信号处理器的不足，本申请提出一种采用神经网络技术训练的第二神经网络模型取代传统的图像信号处理器的方案，从而可以提高调整图像处理过程的灵活性，并能够提升图像处理效果。
在本申请实施例中，未处理样本图像可以表示从图像传感器中直接输出的原始格式的图像数据，通常没有经过处理或压缩。未处理样本图像可以保留最多的图像信息和细节，但也占用较大的存储空间。未处理样本图像的像素排列方式可以包括但不限于RGGB、RYYB、RGBW、RGBIR等，未处理图像的图像格式可以包括但不限于RAW、DNG(DigitalNegative)、CR2(Canon Raw Image File)、NEF(Nikon Electronic Format)、ARW(SonyAlpha Raw Image Format)等。
修正样本图像是指对未处理样本图像处理后的图像数据，其使用RGB颜色模型来表示每个像素的颜色。RGB颜色模型是一种加色模型，通过三种基本颜色(红、绿、蓝)的不同组合来生成各种颜色。修正样本图像可以用于显示、存储或打印，修正样本图像的格式可以包括但不限于JPEG，PNG，TIFF，PSD等。
在本申请实施例中，未处理样本图像可以通过使用支持RAW格式输出的电子设备拍摄得到，也可以通过使用专业的扫描仪或数字化仪将胶片或纸质照片转换为RAW格式得到，还可以通过直接采集图像传感器的输出信号得到，对此不作具体限定。修正样本图像可以通过使用传统图像信号处理器对RAW样本图像进行处理得到。
参照图3，图3示出了本申请实施例提供的一种未处理样本图像生成流程图，如图3所示，可以通过传统的图像信号处理器对未处理样本图像依次经过重马赛克、坏点矫正、黑电平矫正、降噪、数字增益、镜头阴影矫正、白平衡矫正、去马赛克、色彩校正、全局伽马矫正、RGB转YUV、比例缩放、锐化后，得到该未处理样本图像对应的修正样本图像。
可选地，步骤101可以包括：
子步骤1011，获取所述修正样本图像。
在本申请实施例中，为了进一步提升模型的训练效果，可以采集高质量的修正样本图像作为训练数据。其中，修正样本图像的来源可以包括但不限于网络、RGB图像库等。
子步骤1012，对所述修正样本图像进行图像退化处理，得到退化图像。
由于搜集到的高质量的修正样本图像可能难以找到对应的原始格式图像数据，因此可以通过对修正样本图像进行图像退化处理，模拟从图像传感器中输出的原始格式图像数据的特征和质量，以便于生成对应的未处理样本图像。其中，退化图像是指经过一系列算法处理后，降低了清晰度、动态范围、色彩还原等方面的修正样本图像。
在本申请实施例中，上述退化处理还可以具体包括使用高斯滤波、均值滤波、中值滤波等算法对修正样本图像进行模糊处理，降低清晰度和细节。使用直方图均衡化、伽马校正、对比度增强等算法对修正样本图像进行亮度和对比度调整，降低动态范围和色彩还原。使用高斯噪声、椒盐噪声、泊松噪声等算法对修正样本图像添加噪声干扰，降低信噪比和质量。使用色彩空间转换、色彩校正、白平衡等算法对修正样本图像进行色彩调整，增加偏色和失真。技术人员可以根据实际需要选择对应的退化处理过程，本申请实施例不做具体限定。
子步骤1013，基于所述退化图像生成所述未处理样本图像。
在本申请实施例中，可以对退化图像进行格式转换，得到对应未处理样本图像，在格式转换过程中可以使用拜尔阵列(Bayer Pattern)对退化图像中的RGB像素进行重排和填充空洞，得到符合RAW格式像素排列方式的未处理样本图像。
通过上述对修正样本图像进行退化处理可以生成对应的未处理样本图像，从而可以基于任一RGB图像构建模型的训练数据集，使得模型训练可以采用较高质量的RGB图像，有助于提升建立训练数据集的灵活性，并提升模型训练效果。
步骤102，对所述未处理样本图像和所述修正样本图像进行特征编码，得到第一图像特征。
在本申请实施例中，可以对未处理样本图像和修正样本图像进行特征编码，得到第一图像特征，特征编码的作用是提取未处理样本图像到修正样本图像的转换过程中，图像发生的主要特征变化，也就是提取经过处理后的修正样本图像与未处理样本图像质检的差异特征。从而可以在后续模型训练过程中，通过第一图像特征引导模型在图像处理风格上与传统的图像信号处理器接近，使训练得到的第二神经网络模型可以继承用于生成修正样本图像的图像信号处理器的处理效果。
在一种实施方式中，上述特征编码实现可以采用基于神经网络训练得到的特征编码网络。在另一种实施方式中，可以通过对未处理样本图像和修正样本图像进行图像比对得到，具体地，可以提取未处理样本图像的图像特征，提取修正样本图像的图像特征，通过比对未处理样本图像的图像特征与修正样本图像的图像特征之间的差异确定第一图像特征。
需要说明的是，未处理样本图像可以包含一次拍摄过程中图像传感器输出的多张连续曝光图像，多张连续曝光图像可以携带更加丰富的图像特征，从而提取到更为准确的第一图像特征。其中，连续曝光图像可以是指针对同一场景拍摄到的多张不同曝光参数的图像。
步骤103，将所述未处理样本图像和所述第一图像特征输入第一神经网络模型，得到所述第一神经网络模型输出的第二图像。
在本申请实施例中，第一神经网络模型可以包括卷积神经网络(CNN)模型，例如ResNet、VGG、MobileNet等。可以在这些模型的基础上添加一些特定的层或模块，以适应不同的图像处理需求，例如降噪、超分辨率、色彩校正等。第一神经网络模型还可以包括基于注意力机制(Attention)的神经网络模型，例如Transformer、BERT等。这些模型可以通过注意力机制来捕捉输入数据中的长距离依赖关系和全局上下文信息，并动态地分配不同的权重给不同的部分，从而可以利用这些模型的特性实现更精细和智能的图像处理效果。第一神经网络模型还可以包括基于生成对抗网络(GAN)的神经网络模型，例如Pix2Pix、CycleGAN、StyleGAN等。这些模型可以通过一个生成器(Generator)和一个判别器(Discriminator)之间的对抗学习过程，来生成高质量的图像，从而实现更自然和高画质的图像处理效果。
需要说明的是，第一神经网络模型的输入包括未处理样本图像和第一图像特征，第一神经网络模型可以学习第一图像特征的处理方式，对未处理样本图像进行处理，输出对应的第二图像。
步骤104，基于所述修正样本图像和所述第二图像确定模型损失，并基于所述模型损失调整所述第一神经网络模型的模型参数，得到第二神经网络模型；其中，所述第二神经网络模型用于对图像传感器输出的未处理样本图像进行图像信号处理，得到所述未处理样本图像对应的修正图像。
在本申请实施例中，可以基于修正样本图像和第二图像确定模型损失，并根据模型损失采用有监督的方式对第一神经网络模型进行训练，得到第二神经网络模型。根据损失函数进行有监督训练过程中，通过不断地调整模型中的参数或权重，使得损失函数的值达到最小或最优，在训练过程中可以采用随机梯度下降(SGD)、Adam等算法计算模型损失对于参数或权重的梯度，并根据梯度的方向和大小来更新参数或权重。
上述模型损失可以包括但不限于平均绝对误差(MAE)、均方误差(MSE)、交叉熵(CE)、二元交叉熵(BCE)、KL散度(KLD)等，技术人员可以根据实际需要灵活选取合适的损失函数确定模型损失，本申请实施例不做具体限定。
综上，本申请实施例提供的一种模型训练方法，包括，获取未处理样本图像和与未处理样本图像对应的修正样本图像；对未处理样本图像和修正样本图像进行特征编码，得到第一图像特征；将未处理样本图像和第一图像特征输入第一神经网络模型，得到第一神经网络模型输出的第二图像；基于修正样本图像和第二图像确定模型损失，并基于模型损失调整第一神经网络模型的模型参数，得到第二神经网络模型；其中，第二神经网络模型用于对图像传感器输出的未处理样本图像进行图像信号处理，得到未处理样本图像对应的修正样本图像。通过训练第二神经网络模型即可满足不同场景和业务下所需的图像处理效果，本方案提供的第二神经网络模型能够基于样本图像训练得到，通过在设备上部署训练得到的第二神经网络模型即可对未处理的原始图像进行处理，能够在一定程度上降低处理原始格式图像所需的硬件成本。
参照图4，图4示出了本申请实施例提供的另一种模型训练方法步骤流程图，如图4所示，具体包括以下步骤：
步骤201，获取图像传感器输出的未处理原始图像。
步骤202，对所述未处理原始图像进行下采样处理，得到所述未处理样本图像。
在本申请实施例中，由于未处理原始图像和RGB原始样本图像通常具有较高的分辨率，因此，为了提高模型训练的速度，可以对未处理原始图像进行下采样处理，得到未处理样本图像。其中，上述下采样的方式可以包括但不限于最近邻下采样、双线性插值下采样、双三次插值下采样等，本申请实施例不做具体限定。
步骤203，通过图像处理器处理所述未处理样本图像，得到所述未处理样本图像对应的修正样本图像。
得到未处理样本图像之后，再通过图像处理器对未处理样本图像进行图像处理，直接得到未处理样本图像对应的修正样本图像，使图像处理器对分辨率较低的未处理样本图像进行处理，从而降低基于图像处理器构建训练集的功耗，并提升基于训练集的构建效率。
参照图5和图6，图5示出了本申请实施例提供的一种未处理原始图像示意图，图6示出了本申请实施例提供的一种未处理样本图像示意图，可以对通过下采样单元对如图5所示的未处理原始图像进行2倍最近邻下采样处理，得到如图6所示的未处理样本图像。
本申请实施例中，还可以获取由未处理原始图像以及所述未处理原始图像对应的RGB原始样本图像；其中，所述未处理原始图像由图像处理器对图像传感器输出的所述RGB原始样本图像处理得到。可以对未处理原始图像和RGB原始样本图像分别进行下采样处理，得到分辨率低于未处理原始图像的未处理样本图像，以及分辨率低于RGB原始样本图像的修正样本图像，再基于分辨率较低的未处理样本图像和修正样本图像作为训练集训练神经网络模型。
通过获取图像传感器输出的未处理原始图像；对未处理原始图像进行下采样处理，得到未处理样本图像；通过图像处理器处理未处理样本图像，得到未处理样本图像对应的修正样本图像。可以降低训练集中未处理样本图像和修正样本图像的数据量，不仅可以提高模型训练的速度，还能使图像处理器对分辨率较低的未处理样本图像进行处理，从而降低基于图像处理器构建训练集的功耗，并提升基于训练集的构建效率。
步骤204，生成所述未处理样本图像对应的第一多通道图像数据，以及所述修正样本图像对应的第二多通道图像数据。
在本申请实施例中，将未处理样本图像和修正样本图像输入模型时，可以先对未处理样本图像和修正样本图像进行堆叠，得到堆叠图像数据，通过向模型输入堆叠图像数据，实现向模型输入未处理样本图像和修正样本图像的目的。
在本申请实施例中，可以对未处理样本图像和修正样本图像中进行像素重拍，生成未处理样本图像对应的第一多通道图像数据，以及修正样本图像对应的第二多通道图像数据。其中，重排是一种将单通道图像转换为多通道的图像方法，其原理是根据单通道图像的像素排列方式，将每个颜色通道的像素按照一定的规则重新排列到一个新的图像中。
参照图7，图7示出了本申请实施例提供的一种图像重排示意图，如图7所示，未处理样本图像71包含三种颜色通道R、G、B，对未处理样本图像71重拍后得到的第一多通道图像数据中包含每个颜色通道对应的子图像，包括子R通道子图像72，G通道子图像73和B通道子图像74。
步骤2042，将所述第一多通道图像数据和第二多通道图像数据堆叠得到所述堆叠图像数据。
步骤205，将所述第一多通道图像数据和第二多通道图像数据堆叠后输入特征编码网络，得到所述特征编码网络输出的所述第一图像特征。
得到第一多通道图像数据和第二多通道图像数据，将第一多通道图像数据和第二多通道图像数据堆叠，得到堆叠图像数据。举例来说，若第一多通道图像数据包含4个子图像，第二多通道图像数据包含3个子图像，则经过堆叠后得到的堆叠图像数据可以包含7个子图像。
通过生成未处理样本图像对应的第一多通道图像数据，以及修正样本图像对应的第二多通道图像数据，将第一多通道图像数据和第二多通道图像数据堆叠得到堆叠图像数据，可以将未处理样本图像和修正样本图像的各个颜色通道进行拆分形成堆叠图像数据，通过堆叠图像数据进行模型训练可以提高模型输入数据的精细化程度，从而在一定程度上提升模型的训练效果。
在本申请实施例中，可以通过特征编码网络对堆叠图像数据进行特征提取，得到第一图像特征。
参照图8，图8示出了本申请实施例提供的一种特征编码流程图，如图8所示，未处理原始图像重排后得到第一多通道图像数据，第一多通道图像数据和修正样本图像生成堆叠图像数据后，将堆叠图像数据输入特征编码网络，得到特征编码网络输出的第一图像特征。特征编码网络可以包括第一编码块、第二编码块和第三编码块，其中，编码块可以由N个相连的步长为1的3x3卷积层和修正线性单元(Rectified Linear Unit，ReLU)，以及1个步长为2的3x3卷积层组成。若堆叠图像数据表示为RGB∈RH×W×6，则堆叠图像数据经过第一编码块后可以得到特征特征f1经过第二编码块后可以得到特征特征f2经过第三编码块后可以得到第一图像特征/>其中H表示图像的宽，W表示图像的高，C1、C2、C3表示特征层数。需要说明的是，技术人员可以根据实际需要灵活设置特征编码网络的结构，特征编码网络还可以任意结构，本申请实施例不做具体限定。
通过堆叠未处理样本图像和修正样本图像，得到堆叠图像数据，将堆叠图像数据输入特征编码网络，得到特征编码网络输出的第一图像特征，能够基于神经网络技术对未处理样本图像和修正样本图像进行联合特征提取，使提取到的第一图像特征能够准确反映出从未处理样本图像到修正样本图像的图像处理过程中发生的变化，从而使提取到的第一图像特征能够更加取得更好的训练效果。
步骤206，通过所述第一递归注意力块单元对所述未处理样本图像对应的多通道图像数据进行特征提取，得到第一样本图像特征。
在本申请实施例中，第一神经网络模型可以包括图像重排单元、第一递归注意力块单元、特征融合单元、残差提取层和第二递归注意力块单元。
参照图9，图9示出了本申请实施例提供的一种第一神经网络模型示意图，如图9所示，第一神经网络模型可以包括图像重排单元、第一递归注意力块单元、特征融合单元、残差提取层和第二递归注意力块单元，其中，第一递归注意力块单元可以由第一数量个递归注意力块(Recursive Attention Block)构成，第二递归注意力块单元可以由第二数量个递归注意力块构成。其中，递归注意力块是一种使用注意力机制的卷积神经网络，它可以递归地分析图像的局部信息，并从所获取的局部区域中提取细粒度信息，得到一个更加精细的特征表示，从而采用递归注意力块可以关注图像中的重要细节，提高特征提取的准确性。
参照图10，图10示出了本申请实施例提供的一种递归注意力块处理流程示意图，如图10所示，递归注意力块的输入Input∈RH×W×C经过批归一化(Batch Normalization)处理，得到的归一化结果经过三个平行的分支处理，每个分支分别经过1x1卷积核(Conv1x1)+修正线性单元(ReLU)+3x3卷积核(Conv3x3)的网络结构提取到聚合特征信息，各个分支的结果再经过变形(Reshape)操作得到映射特征Q∈RH×W×C，映射特征K∈RH×W×C以及映射特征V∈RH×W×C。映射特征Q和映射特征K再经过矩阵相乘和Softmax操作得到尺寸为RC×C的注意力图，映射特征V与注意力图进行矩阵相乘，相乘结果经过变形后输入一个Conv1x1 stride1卷积层得到注意力残差特征，输入与注意力残差特征进行逐元素相加操作，相加结果经过N个Conv3x3+ReLU的串联网络层处理后得到输出Output。
在一种实施方式中，可以先根据未处理样本图像生成对应的第一多通道图像，再将第一多通道图像输入第一神经网络模型，由第一神经网络模型中的第一递归注意力块单元对第一多通道图像进行处理，提取未处理样本图像对应的第一样本图像特征。在另一种实施方式中，如图9所示，第一神经网络模型中还可以包括图像重排单元，可以直接将未处理样本图像输入第一神经网络模型，由图像重排单元对未处理样本图像执行空间到深度(space to depth)操作，生成对应的第一多通道图像，再由第一递归注意力块单元对第一多通道图像进行特征提取，得到未处理样本图像对应的第一样本图像特征。其中，space todepth操作可以将空间维度的数据移动到深度维度上，从而减少空间分辨率，增加深度通道数。space to depth操作可以在提取局部特征的同时减少计算量。
需要说明的是，在未处理样本图像是由未处理原始图像经过下采样处理得到的情况下，可以通过第一递归注意力块单元对未处理样本图像对应的多通道图像数据进行特征提取，得到未处理样本图像对应的第一样本图像特征，也可以通过第一递归注意力块单元对未处理原始图像对应的多通道图像数据进行特征提取，得到第一样本图像特征。
步骤207，通过所述特征融合单元融合所述第一图像特征和所述第一样本图像特征，得到第二样本图像特征。
在本申请实施例中，可以通过特征融合单元融合第一图像特征和第一样本图像特征，得到第二样本图像特征。
在一种实施方式中，特征融合单元可以第一图像特征和第一样本图像特征进行特征连接(concat)操作，从而将第一图像特征和第一样本图像特征融合成为第二样本图像特征。在另一种实施方式中，如图9所示，特征融合单元还可以对第一图像特征进行对齐(Resize)操作，将第一图像特征和第一样本图像特征对齐，得到与第一样本图像特征的特征尺寸(如特征宽度、特征高度等)相同的对齐特征，特征融合单元再进行特征连接(concat)操作，从而将对齐特征和第一样本图像特征融合成为第二样本图像特征。其中，上述特征对齐操作的具体方式可以包括但不限于最近邻插值、双线性插值、双三次插值等，本申请实施例不做具体限定。
步骤208，通过所述残差提取层对所述第二样本图像特征进行残差提取，得到残差特征。
在本申请实施例中，如图9所示，第一神经网络模型还可以包括残差提取层，残差提取层用于对第二样本图像特征进行残差提取，得到第二样本图像特征对应的特征残差。其中，残差提取层可以由3x3卷积核(Conv3x3)和修正线性单元(ReLU)构成，也可以采用其他结构，本申请实施例不做具体限定。
步骤209，将所述第二样本图像特征和所述残差特征输入所述第二递归注意力块单元，得到所述第二图像。
在本申请实施例中，如图9所示，可以将特征连接后得到的第二样本图像特征和残差提取层输出的残差特征输入第二递归注意力块单元，由第二递归注意力块单元对输入特征进一步处理，从而得到第二图像。
通过第一神经网络模型，可以通过输入的第一图像特征学习图像处理器对未处理样本图像的处理方式，从而能够提高基于第一神经网络模型训练得到的第二神经网络模型的处理效果，还通过在处理图像处理模型中引入递归注意力块，提升了对图像特征的处理精度，有助于进一步提升基于第二神经网络模型处理未处理图像的效果。
可选地，由于第二递归注意力块单元的输出是图像特征，为了根据该图像特征得到对应的第二图像，步骤209可以包括：
子步骤2091，将所述第二样本图像特征和所述残差特征输入所述第二递归注意力块单元，得到所述第二递归注意力块单元输出的第三样本图像特征。
子步骤2092，确定所述第三样本图像特征对应的第二多通道图像数据。
在本申请实施例中，第一神经网络模型还可以基于第二多通道图像数据，生成对应的第二多通道图像数据，然后合成第二多通道图像数据中的各个通道，得到第二图像。
具体地，如图9所示，第一神经网络模型可以通过卷积层对第二递归注意力块单元输出的第三样本图像特征进行卷积处理，得到第四样本图像特征，再对第四样本图像特征执行深度到空间(depth to space)操作，得到第二多通道图像数据。其中，depth to space操作可以将深度维度的数据移动到空间维度上，从而增加空间分辨率，减少深度通道数。其中，卷积层可以由3x3卷积核(Conv3x3)和修正线性单元(ReLU)构成，也可以采用其他结构，本申请实施例不做具体限定。
子步骤2093，融合所述第二多通道图像数据中各个通道，得到所述第二图像。
在本申请实施例中，可以将第二多通道图像数据中各个通道的像素，填充至同一个图像的对应位置处，从而得到第二图像。也可以将第二多通道图像数据中各个图像进行叠加，得到第二图像，本申请实施例对此不做具体限定。
通过将第二样本图像特征和残差特征输入第二递归注意力块单元，得到第二递归注意力块单元输出的第三样本图像特征，确定第三样本图像特征对应的第二多通道图像数据，融合第二多通道图像数据中各个通道，得到第二图像，可以通过图像特征生成多个通道的图像数据，有助于提高各个通道对应颜色的像素的准确性，从而提高最终生成的第二图像的准确性。
步骤210，基于所述修正样本图像和所述第二图像确定模型损失，并基于所述模型损失调整所述第一神经网络模型的模型参数，得到第二神经网络模型；其中，所述第二神经网络模型用于对图像传感器输出的未处理样本图像进行图像信号处理，得到所述未处理样本图像对应的修正图像。
此步骤可参见步骤104，本申请实施例不做具体限定。
参照图11，图11示出了本申请实施例提供的一种模型训练整体架构图，如图11所示，图像传感器111输出未处理原始图像，未处理原始图像经过下采样单元112处理得到未处理样本图像，未处理样本图像输入图像处理器113处理后得到修正样本图像，未处理样本图像和修正样本图像经过特征编码单元114后得到第一图像特征，第一图像特征和未处理原始图像输入第一神经网络模型115后，得到第一神经网络模型115输出的第二图像，第二图像还可以经过后处理单元116增强第二图像的效果或对第二图像进行使用。举例来说，后处理单元可以包括图像质量增强单元，图像质量增强单元可以进行图像降噪和/或图像超分辨处理，从而提升第二图像的显示效果。后处理单元还可以包括目标检测单元，可以用于识别自动驾驶任务中的行人、红路灯、交通标识等目标。
综上，本申请实施例提供的另一种模型训练方法，包括，获取未处理样本图像和与未处理样本图像对应的修正样本图像；对未处理样本图像和修正样本图像进行特征编码，得到第一图像特征；将未处理样本图像和第一图像特征输入第一神经网络模型，得到第一神经网络模型输出的第二图像；基于修正样本图像和第二图像确定模型损失，并基于模型损失调整第一神经网络模型的模型参数，得到第二神经网络模型；其中，第二神经网络模型用于对图像传感器输出的未处理样本图像进行图像信号处理，得到未处理样本图像对应的修正样本图像。通过训练第二神经网络模型即可满足不同场景和业务下所需的图像处理效果，本方案提供的第二神经网络模型具有调整方便、部署迅速的优势，有助于提高图像处理方式调整时的灵活性。还能通过较高质量的训练集训练得到图像处理效果更好的第二神经网络模型，能够在某些方面超越传统图像处理器的图像处理效果。
参照图12，图12示出了本申请实施例提供的一种图像处理方法步骤流程图，该图像处理方法包括：
步骤301，获取未处理图像。
步骤302，将所述未处理图像输入第二神经网络模型，得到所述第二神经网络模型输出的修正图像。
所述第二神经网络模型是通过上述模型训练方法实施例提供的方法训练得到的，本申请实施例不再赘述。
综上，本申请实施例提供的图像处理方法，通过训练第二神经网络模型即可满足不同场景和业务下所需的图像处理效果，本方案提供的第二神经网络模型具有调整方便、部署迅速的优势，有助于提高图像处理方式调整时的灵活性。还能通过较高质量的训练集训练得到图像处理效果更好的第二神经网络模型，能够在某些方面超越传统图像处理器的图像处理效果。
参照图13，图13是本申请实施例提供的一种模型训练装置的框图，如图13所示，该模型训练装置包括：
样本获取模块1301，用于获取未处理样本图像和与所述未处理样本图像对应的修正样本图像；
特征编码模块1302，用于对所述未处理样本图像和所述修正样本图像进行特征编码，得到第一图像特征；
样本输入模块1303，用于将所述未处理样本图像和所述第一图像特征输入第一神经网络模型，得到所述第一神经网络模型输出的第二图像；
模型训练模块1304，用于基于所述修正样本图像和所述第二图像确定模型损失，并基于所述模型损失调整所述第一神经网络模型的模型参数，得到第二神经网络模型；其中，所述第二神经网络模型用于对图像传感器输出的未处理样本图像进行图像信号处理，得到所述未处理样本图像对应的修正图像。
可选地，所述特征编码模块包括：
组合图像子模块，用于组合所述未处理样本图像和所述修正样本图像，得到组合图像数据；
第一图像特征子模块，用于将所述组合图像数据输入特征编码网络，得到所述特征编码网络输出的所述第一图像特征。
可选地，所述组合图像子模块包括：
第一多通道图像数据子模块，用于生成所述未处理样本图像对应的第一多通道图像数据，以及所述修正样本图像对应的第二多通道图像数据；
堆叠子模块，用于将所述第一多通道图像数据和第二多通道图像数据堆叠得到所述组合图像数据。
可选地，所述第一神经网络模型包括图像重排单元、第一递归注意力块单元、特征融合单元、残差提取层和第二递归注意力块单元，所述样本输入模块包括：
第一样本图像特征子模块，用于通过所述第一递归注意力块单元对所述未处理样本图像对应的多通道图像数据进行特征提取，得到第一样本图像特征；
第二样本图像特征子模块，用于通过所述特征融合单元融合所述第一图像特征和所述第一样本图像特征，得到第二样本图像特征；
残差特征子模块，用于通过所述残差提取层对所述第二样本图像特征进行残差提取，得到残差特征；
第二图像子模块，用于将所述第二样本图像特征和所述残差特征输入所述第二递归注意力块单元，得到所述第二图像。
可选地，所述第二图像子模块包括：
第三样本图像特征子模块，用于将所述第二样本图像特征和所述残差特征输入所述第二递归注意力块单元，得到所述第二递归注意力块单元输出的第三样本图像特征；
第二多通道图像子模块，用于确定所述第三样本图像特征对应的第二多通道图像数据；
融合通道子模块，用于融合所述第二多通道图像数据中各个通道，得到所述第二图像。
可选地，所述样本获取模块包括：
未处理原始图像子模块，用于获取图像传感器输出的未处理原始图像；
未处理样本图像子模块，用于对所述未处理原始图像进行下采样处理，得到所述未处理样本图像；
修正样本图像子模块，用于通过图像处理器处理所述未处理样本图像，得到所述未处理样本图像对应的修正样本图像。
可选地，所述样本获取模块包括：
修正样本图像获取子模块，用于获取所述修正样本图像；
退化图像子模块，用于对所述修正样本图像进行图像退化处理，得到退化图像；
未处理样本图像生成子模块，用于基于所述退化图像生成所述未处理样本图像。
综上，本申请实施例提供的一种模型训练装置，包括，样本获取模块，用于获取未处理样本图像和与未处理样本图像对应的修正样本图像；特征编码模块，用于对未处理样本图像和修正样本图像进行特征编码，得到第一图像特征；样本输入模块，用于将未处理样本图像和第一图像特征输入第一神经网络模型，得到第一神经网络模型输出的第二图像；模型训练模块，用于基于修正样本图像和第二图像确定模型损失，并基于模型损失调整第一神经网络模型的模型参数，得到第二神经网络模型；其中，第二神经网络模型用于对图像传感器输出的未处理样本图像进行图像信号处理，得到未处理样本图像对应的修正图像。通过训练第二神经网络模型即可满足不同场景和业务下所需的图像处理效果，本方案提供的第二神经网络模型具有调整方便、部署迅速的优势，有助于提高图像处理方式调整时的灵活性。还能通过较高质量的训练集训练得到图像处理效果更好的第二神经网络模型，能够在某些方面超越传统图像处理器的图像处理效果。
参照图14，图14是本申请实施例提供的一种图像处理装置的框图，如图14所示，该图像处理装置包括：
获取模块1401，用于获取未处理图像；
输入模块1402，用于将所述未处理图像输入第二神经网络模型，得到所述第二神经网络模型输出的修正图像。
综上，本申请实施例提供的一种图像处理装置，通过训练第二神经网络模型即可满足不同场景和业务下所需的图像处理效果，本方案提供的第二神经网络模型具有调整方便、部署迅速的优势，有助于提高图像处理方式调整时的灵活性。还能通过较高质量的训练集训练得到图像处理效果更好的第二神经网络模型，能够在某些方面超越传统图像处理器的图像处理效果。
本申请实施例中的模型训练装置和图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的模型训练装置和图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的模型训练装置和图像处理装置能够实现图1至图7的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，参照图15，图15示出了本申请实施例提供的一种电子设备，如图15所示，本申请实施例还提供一种电子设备M00，包括处理器M01和存储器M02，存储器M02上存储有可在所述处理器M01上运行的程序或指令，该程序或指令被处理器M01执行时实现上述模型训练方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
参照图16，图16示出了本申请实施例的一种电子设备的硬件结构示意图，如图16所示：
该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图16中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
处理器1010，用于获取未处理样本图像和与所述未处理样本图像对应的修正样本图像；对所述未处理样本图像和所述修正样本图像进行特征编码，得到第一图像特征；将所述未处理样本图像和所述第一图像特征输入第一神经网络模型，得到所述第一神经网络模型输出的第二图像；基于所述修正样本图像和所述第二图像确定模型损失，并基于所述模型损失调整所述第一神经网络模型的模型参数，得到第二神经网络模型；其中，所述第二神经网络模型用于对图像传感器输出的未处理样本图像进行图像信号处理，得到所述未处理样本图像对应的修正图像。
处理器1010，还可以用于获取未处理图像；将所述未处理图像输入第二神经网络模型，得到所述第二神经网络模型输出的修正图像。
综上，本申请实施例提供的一种电子设备，通过训练第二神经网络模型即可满足不同场景和业务下所需的图像处理效果，本方案提供的第二神经网络模型具有调整方便、部署迅速的优势，有助于提高图像处理方式调整时的灵活性。还能通过较高质量的训练集训练得到图像处理效果更好的第二神经网络模型，能够在某些方面超越传统图像处理器的图像处理效果。
应理解的是，本申请实施例中，输入单元1004可以包括图形处理器(GraphicsProcessing Unit，GPU)10041和麦克风10042，图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072中的至少一种。触控面板10071，也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1009可以包括易失性存储器或非易失性存储器，或者，存储器x09可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1009包括但不限于这些和任意其它适合类型的存储器。
处理器1010可包括一个或至少两个处理单元；可选的，处理器1010集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述视频拍摄实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述视频拍摄实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述视频拍摄实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种模型训练方法，其特征在于，所述方法包括：
获取未处理样本图像和与所述未处理样本图像对应的修正样本图像；
对所述未处理样本图像和所述修正样本图像进行特征编码，得到第一图像特征；
将所述未处理样本图像和所述第一图像特征输入第一神经网络模型，得到所述第一神经网络模型输出的第二图像；
基于所述修正样本图像和所述第二图像确定模型损失，并基于所述模型损失调整所述第一神经网络模型的模型参数，得到第二神经网络模型；
其中，所述第二神经网络模型用于对图像传感器输出的未处理样本图像进行图像信号处理，得到所述未处理样本图像对应的修正图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述未处理样本图像和所述修正样本图像进行特征编码，得到第一图像特征，包括：
生成所述未处理样本图像对应的第一多通道图像数据，以及所述修正样本图像对应的第二多通道图像数据；
将所述第一多通道图像数据和第二多通道图像数据堆叠后输入特征编码网络，得到所述特征编码网络输出的所述第一图像特征。
3.根据权利要求1所述的方法，其特征在于，所述第一神经网络模型包括图像重排单元、第一递归注意力块单元、特征融合单元、残差提取层和第二递归注意力块单元，所述将所述未处理样本图像和所述第一图像特征输入第一神经网络模型，得到所述第一神经网络模型输出的第二图像，包括：
通过所述第一递归注意力块单元对所述未处理样本图像对应的多通道图像数据进行特征提取，得到第一样本图像特征；
通过所述特征融合单元融合所述第一图像特征和所述第一样本图像特征，得到第二样本图像特征；
通过所述残差提取层对所述第二样本图像特征进行残差提取，得到残差特征；
将所述第二样本图像特征和所述残差特征输入所述第二递归注意力块单元，得到所述第二图像。
4.根据权利要求3所述的方法，其特征在于，所述将所述第二样本图像特征和所述残差特征输入所述第二递归注意力块单元，得到所述第二图像，包括：
将所述第二样本图像特征和所述残差特征输入所述第二递归注意力块单元，得到所述第二递归注意力块单元输出的第三样本图像特征；
确定所述第三样本图像特征对应的第二多通道图像数据；
融合所述第二多通道图像数据中各个通道，得到所述第二图像。
5.根据权利要求1所述的方法，其特征在于，所述获取未处理样本图像和与所述未处理样本图像对应的修正样本图像，包括：
获取所述修正样本图像；
对所述修正样本图像进行图像退化处理，得到退化图像；
基于所述退化图像生成所述未处理样本图像。
6.一种图像处理方法，其特征在于，所述方法包括：
获取未处理图像；
将所述未处理图像输入第二神经网络模型，得到所述第二神经网络模型输出的修正图像；其中，所述第二神经网络模型是通过权利要求1至5任一项所述的模型训练方法训练得到的。
7.一种模型训练装置，其特征在于，所述装置包括：
样本获取模块，用于获取未处理样本图像和与所述未处理样本图像对应的修正样本图像；
特征编码模块，用于对所述未处理样本图像和所述修正样本图像进行特征编码，得到第一图像特征；
样本输入模块，用于将所述未处理样本图像和所述第一图像特征输入第一神经网络模型，得到所述第一神经网络模型输出的第二图像；
模型训练模块，用于基于所述修正样本图像和所述第二图像确定模型损失，并基于所述模型损失调整所述第一神经网络模型的模型参数，得到第二神经网络模型；其中，所述第二神经网络模型用于对图像传感器输出的未处理样本图像进行图像信号处理，得到所述未处理样本图像对应的修正图像。
8.根据权利要求7所述的装置，其特征在于，所述特征编码模块包括：
第一多通道图像数据子模块，用于生成所述未处理样本图像对应的第一多通道图像数据，以及所述修正样本图像对应的第二多通道图像数据；
堆叠子模块，用于将所述第一多通道图像数据和第二多通道图像数据堆叠后输入特征编码网络，得到所述特征编码网络输出的所述第一图像特征。
9.根据权利要求7所述的装置，其特征在于，所述第一神经网络模型包括图像重排单元、第一递归注意力块单元、特征融合单元、残差提取层和第二递归注意力块单元，所述样本输入模块包括：
第一样本图像特征子模块，用于通过所述第一递归注意力块单元对所述未处理样本图像对应的多通道图像数据进行特征提取，得到第一样本图像特征；
第二样本图像特征子模块，用于通过所述特征融合单元融合所述第一图像特征和所述第一样本图像特征，得到第二样本图像特征；
残差特征子模块，用于通过所述残差提取层对所述第二样本图像特征进行残差提取，得到残差特征；
第二图像子模块，用于将所述第二样本图像特征和所述残差特征输入所述第二递归注意力块单元，得到所述第二图像。
10.根据权利要求9所述的装置，其特征在于，所述第二图像子模块包括：
第三样本图像特征子模块，用于将所述第二样本图像特征和所述残差特征输入所述第二递归注意力块单元，得到所述第二递归注意力块单元输出的第三样本图像特征；
第二多通道图像子模块，用于确定所述第三样本图像特征对应的第二多通道图像数据；
融合通道子模块，用于融合所述第二多通道图像数据中各个通道，得到所述第二图像。
11.根据权利要求8所述的装置，其特征在于，所述样本获取模块包括：
修正样本图像获取子模块，用于获取所述修正样本图像；
退化图像子模块，用于对所述修正样本图像进行图像退化处理，得到退化图像；
未处理样本图像生成子模块，用于基于所述退化图像生成所述未处理样本图像。
12.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取未处理图像；
输入模块，用于将所述未处理图像输入第二神经网络模型，得到所述第二神经网络模型输出的修正图像；其中，所述第二神经网络模型是通过权利要求1至5任一项所述的模型训练方法训练得到的。
CN202311117013.2A 2023-08-30 2023-08-30 模型训练方法、图像处理方法及其装置 Pending CN117115593A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311117013.2A CN117115593A (zh) 2023-08-30 2023-08-30 模型训练方法、图像处理方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311117013.2A CN117115593A (zh) 2023-08-30 2023-08-30 模型训练方法、图像处理方法及其装置

Publications (1)

Publication Number Publication Date
CN117115593A true CN117115593A (zh) 2023-11-24

Family

ID=88799860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311117013.2A Pending CN117115593A (zh) 2023-08-30 2023-08-30 模型训练方法、图像处理方法及其装置

Country Status (1)

Country Link
CN (1) CN117115593A (zh)

Similar Documents

Publication Publication Date Title
EP4030379A1 (en) Image processing method, smart device, and computer-readable storage medium
CN111194458A (zh) 用于处理图像的图像信号处理器
RU2764395C1 (ru) Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети
EP2193656B1 (en) Multi-exposure pattern for enhancing dynamic range of images
CN111353948B (zh) 一种图像降噪方法、装置及设备
US7986352B2 (en) Image generation system including a plurality of light receiving elements and for correcting image data using a spatial high frequency component, image generation method for correcting image data using a spatial high frequency component, and computer-readable recording medium having a program for performing the same
WO2020152521A1 (en) Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
CN111402258A (zh) 图像处理方法、装置、存储介质及电子设备
CN113454680A (zh) 图像处理器
US20090310872A1 (en) Sparse integral image descriptors with application to motion analysis
JP5513978B2 (ja) 撮像装置、集積回路および画像処理方法
CN102143322A (zh) 摄像设备及其控制方法
CN111612722A (zh) 基于简化Unet全卷积神经网络的低照度图像处理方法
CN115115516B (zh) 基于Raw域的真实世界视频超分辨率的构建方法
CN116612015A (zh) 模型训练方法、图像去摩尔纹方法、装置及电子设备
CN111724448A (zh) 一种图像超分辨重建方法、装置和终端设备
Pan et al. Joint demosaicking and denoising for CFA and MSFA images using a mosaic-adaptive dense residual network
CN111932594A (zh) 一种基于光流的十亿像素视频对齐方法及装置、介质
JP2017103756A (ja) 画像データ処理装置及び方法
CN115471417A (zh) 图像降噪处理方法、装置、设备、存储介质和程序产品
CN117115593A (zh) 模型训练方法、图像处理方法及其装置
JP2007049301A (ja) 画像処理装置及び画像処理方法
CN114125319A (zh) 图像传感器、摄像模组、图像处理方法、装置和电子设备
CN111383171B (zh) 一种图片处理方法、系统及终端设备
CN113379608A (zh) 一种图像处理方法、存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination