CN113112424A - 图像处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、计算机设备和存储介质。所述方法包括：获取待处理的相机图像，以及获取相机图像对应的线性化图像；将线性化图像输入预先训练的图像去噪神经网络模型，以使图像去噪神经网络模型输出与线性化图像对应的去噪图像；其中，线性化图像与去噪图像处于第一色域；对处于第一色域的去噪图像进行图像后处理，得到去噪图像对应的处于第二色域的目标图像。采用本方法能够通过预先训练的图像去噪神经网络模型，对处于第一色域的图像进行图像去噪处理，相比于现有技术中对图像转化为第二色域后再进行去噪，可避免图像后处理过程中造成的噪声复杂化，从而更有效的去除噪声，减少输出的RGB图像与真实图像的色彩差异。

Description

图像处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。

背景技术

随着现代数码相机和智能手机相机的发展，出现了一种将光信号转换为数字信号，使其可以被存储，传输，处理的技术。在信号转换过程中，相机内的图像传感器会先将光信号转换为数字信号，然后相机内的图像处理流程则会进一步对得到数字信号进行后处理，得到可以在屏幕上显示的RGB图像。

然而，目前用于相机的图像处理流程缺乏有效的噪声去除模块，导致图像在某些场景下依旧包含有较为明显的噪声，因此输出的RGB图像与真实图像的色彩存在差异。

发明内容

基于此，有必要针对上述技术问题，提供一种图像处理方法、装置、计算机设备和存储介质。

一种图像处理方法，所述方法包括：

获取待处理的相机图像，以及获取所述相机图像对应的线性化图像；

将所述线性化图像输入预先训练的图像去噪神经网络模型，以使所述图像去噪神经网络模型输出与所述线性化图像对应的去噪图像；其中，所述线性化图像与所述去噪图像处于第一色域；

对处于所述第一色域的去噪图像进行图像后处理，得到所述去噪图像对应的处于第二色域的目标图像。

在其中一个实施例中，所述将所述线性化图像输入预先训练的图像去噪神经网络模型之前，还包括：获取携带有噪声信号的第一样本图像，以及获取所述第一样本图像对应的不携带有所述噪声信号的第二样本图像；所述第一样本图像与所述第二样本图像处于所述第一色域；将所述第一样本图像以及所述第二样本图像输入当前卷积神经网络模型，获取所述当前卷积神经网络模型对应的损失值；根据所述损失值对所述当前卷积神经网络模型进行训练，将所述损失值最小的当前卷积神经网络模型作为所述图像去噪神经网络模型。

在其中一个实施例中，所述将所述第一样本图像以及所述第二样本图像输入当前卷积神经网络模型，包括：对所述第一样本图像以及所述第二样本图像进行图像分割，得到预设大小的第一图像块以及第二图像块；将所述第一图像块以及所述第二图像块输入所述当前卷积神经网络模型。

在其中一个实施例中，所述获取所述相机图像对应的线性化图像，包括：确定所述相机图像对应的相机储存模式；若所述相机储存模式为线性储存模式，则获取所述相机图像对应的黑电平以及白电平；根据所述黑电平以及所述白电平获取所述相机图像对应的线性化图像；和/或若所述相机储存模式为非线性储存模式，则获取所述相机图像对应的线性数据，以及所述相机图像对应的黑电平以及白电平；根据所述黑电平以及所述白电平获取所述线性数据对应的线性化图像。

在其中一个实施例中，所述对处于所述第一色域去噪图像进行图像后处理，得到所述去噪图像对应的处于第二色域的目标图像，包括：对所述去噪图像进行去马赛克处理，得到所述去噪图像对应的处于所述第一色域的去马赛克图像；对所述去马赛克图像进行第一颜色空间转换，得到处于中间色域的第一颜色空间图像；将所述第一颜色空间图像进行白平衡处理、颜色校准、曝光补偿、色彩增强处理，以及色调映射处理，得到对应的处于中间色域的色调映射图像；对所述色调映射图像进行第二颜色空间转换，得到处于所述第二色域的第二颜色空间图像；对所述第二颜色空间图像进行伽马矫正以及阴影矫正处理，得到所述目标图像。

在其中一个实施例中，所述对所述去马赛克图像进行第一颜色空间转换，得到第一颜色空间图像，包括：获取所述相机图像对应的相机低色温颜色转换矩阵以及高色温颜色转换矩阵；获取权重系数，利用所述权重系数对所述相机低色温颜色转换矩阵以及所述高色温颜色转换矩阵进行加权处理，得到第一颜色空间转换矩阵；获取第二颜色空间转换矩阵，利用所述第一颜色空间转换矩阵以及所述第二颜色空间转换矩阵，对所述去马赛克图像进行第一颜色空间转换，得到所述第一颜色空间图像。

在其中一个实施例中，所述获取权重系数，包括：确定第一像素点，获取所述第一像素点对应的相关色温；利用所述相关色温确定所述权重系数；所述得到第一颜色空间转换矩阵之后，还包括：获取相机白点，利用所述相机白点以及所述第一颜色空间转换矩阵得到第二像素点；确定所述第一像素点与所述第二像素点之间的距离，若所述距离大于或者等于预设的距离阈值，则将所述第二像素点作为第一像素点并返回获取所述第一像素点对应的相关色温的步骤，直到所述距离小于所述距离阈值。

一种图像处理装置，所述装置包括：

初始图像获取模块，用于获取待处理的相机图像，以及获取所述相机图像对应的线性化图像；

线性图像去噪模块，用于将所述线性化图像输入预先训练的图像去噪神经网络模型，以使所述图像去噪神经网络模型输出与所述线性化图像对应的去噪图像；其中，所述线性化图像与所述去噪图像处于第一色域；

目标图像获取模块，用于对处于所述第一色域的去噪图像进行图像后处理，得到所述去噪图像对应的处于第二色域的目标图像。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

上述图像处理方法、装置、计算机设备和存储介质，获取待处理的相机图像，以及获取相机图像对应的线性化图像；将线性化图像输入预先训练的图像去噪神经网络模型，以使图像去噪神经网络模型输出与线性化图像对应的去噪图像；其中，线性化图像与去噪图像处于第一色域；对处于第一色域的去噪图像进行图像后处理，得到去噪图像对应的处于第二色域的目标图像。本申请通过预先训练的图像去噪神经网络模型，对处于第一色域的图像进行图像去噪处理，相比于现有技术中对图像转化为第二色域后再进行去噪，在第一色域上进行去噪处理可避免图像后处理过程中造成的噪声复杂化，从而更有效的去除噪声，减少输出的RGB图像与真实图像的色彩差异。

附图说明

图1为一个实施例中图像处理方法的流程示意图；

图2为一个实施例中训练图像去噪神经网络模型的流程示意图；

图3为一个实施例中得到处于第二色域的目标图像的流程示意图；

图4为一个实施例中对去马赛克图像进行第一颜色空间转换的流程示意图；

图5位一个应用实例中图像处理ISP的流程示意图；

图6为一个实施例中图像处理装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种图像处理方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该终端可以是携带有照相功能的手机移动终端或者智能相机。本实施例中，该方法包括以下步骤：

步骤S101，终端获取待处理的相机图像，以及获取相机图像对应的线性化图像。

其中，待处理的相机图像指的是需要进行图像处理的相机图像，该图像由相机直接拍摄得到，可以是某一张未经过任何图像处理的原始文件图像，例如RAW格式的图像，线性化图像则是对得到的相机图像进行线性化处理后生成的图像。具体来说，终端可以输入一张待处理的RAW格式的相机图像，并且将其输入线性化模块对其进行线性化处理，从而得到该RAW格式图像对应的线性化图像。

步骤S102，终端将线性化图像输入预先训练的图像去噪神经网络模型，以使图像去噪神经网络模型输出与线性化图像对应的去噪图像；其中，线性化图像与去噪图像处于第一色域。

其中，第一色域可以指的是raw域，在未进行图像的颜色空间转换之前，RAW格式的相机图像处于raw域之中，因此此时的线性化图像处于第一色域，即raw域中，去噪图像则指的是对步骤S101中得到的线性化图像进行去噪处理后得到的图像，该图像是通过终端将线性化图像输入已经预先训练的图像去噪神经网络模型，由图像去噪神经网络模型输出得到。具体来说，终端可以将步骤S101得到的线性化图像输入预先训练的用于图像去噪的图像去噪神经网络模型，通过该网络模型输出得到线性化图像对应的去噪图像，同时，由于该神经网络模型也不涉及图像颜色空间的转换，因此图像去噪过程中也不涉及色域的转换，去噪图像与线性化图像处于同样的第一色域之中。

步骤S103，终端对处于第一色域的去噪图像进行图像后处理，得到去噪图像对应的处于第二色域的目标图像。

最后，终端可以对处于第一色域的去噪图像进行进一步的图像处理，即图像后处理，图像后处理流程可以包括对图像进行去马赛克处理，色彩映射处理以及颜色空间转换处理等多个处理流程，用于将图像从处于第一色域转换成处于第二色域，例如可以是sRGB域的目标图像。

上述图像处理方法中，终端获取待处理的相机图像，以及获取相机图像对应的线性化图像；将线性化图像输入预先训练的图像去噪神经网络模型，以使图像去噪神经网络模型输出与线性化图像对应的去噪图像；其中，线性化图像与去噪图像处于第一色域；对处于第一色域的去噪图像进行图像后处理，得到去噪图像对应的处于第二色域的目标图像。本申请通过预先训练的图像去噪神经网络模型，对处于第一色域的图像进行图像去噪处理，相比于现有技术中对图像转化为第二色域后再进行去噪，在第一色域上进行去噪处理可避免图像后处理过程中造成的噪声复杂化，从而更有效的去除噪声，减少输出的RGB图像与真实图像的色彩差异。

在一个实施例中，如图2所示，步骤S102之前，还可以包括：

步骤S201，终端获取携带有噪声信号的第一样本图像，以及获取第一样本图像对应的不携带有噪声信号的第二样本图像；第一样本图像与第二样本图像处于第一色域。

其中，第一样本图像指的是预先采集的携带有噪声并处于第一色域，用于训练图像去噪神经网络模型的样本图像，而第二样本图像则指的是与采集的携带有噪声信号的第一样本图像对应的不包括噪声信号的样本图像，该第二样本图像也和第一样本图像相同，处于第一色域。具体来说，终端可以预先采集用于训练图像去噪神经网络模型的携带有噪声信号并处于第一色域的图像，以及该图像对应的不携带有噪声信号并处于第一色域的图像，分别作为第一样本图像以及第二样本图像。

步骤S202，终端将第一样本图像以及第二样本图像输入当前卷积神经网络模型，获取当前卷积神经网络模型对应的损失值。

当前卷积神经网络模型指的是当前正在训练中的网络模型，该神经网络模型可以包含有编码卷积对以及解码卷积对，其中编码卷积对包括卷积层和1个最大池化层，而解码卷积对则包括卷积层以及上采样层，该神经网络可以利用预先设置的神经网络的训练参数，根据第一样本图像输出其对应的去除噪声信号后的预测图像，并且利用预测图像以及输入的第二样本图像，计算样本图像之间的损失值，作为当前卷积神经网络模型对应的损失值。

步骤S203，终端根据损失值对当前卷积神经网络模型进行训练，将损失值最小的当前卷积神经网络模型作为图像去噪神经网络模型。

最后，终端可以根据得到的损失值对当前卷积神经网络模型以及其对应的训练参数，以损失值最小为目标进行神经网络模型的训练，并且将损失值最小的当前卷积神经网络模型，作为用于实现在第一色域中进行图像去噪处理的图像去噪神经网络模型。

进一步地，步骤S202可以进一步包括：终端对第一样本图像以及第二样本图像进行图像分割，得到预设大小的第一图像块以及第二图像块；将第一图像块以及第二图像块输入当前卷积神经网络模型。

第一图像块指的是终端对第一样本图像进行图像分割后得到的图像块，第二图像块则指的是终端对第二样本图像进行图像分割后得到的图像块，终端可以将第一样本图像以及第二样本图像进行图像分割，形成预设大小的图像块后再输入至当前卷积神经网络模型，而预设大小的图像块可以是用户预先进行设定，例如可以是分割成512*512大小的图像块，再输入至当前卷积神经网络模型。

本实施例中，可以通过将处于第一色域并携带有噪声信号的第一样本图像，以及第一样本图像对应的未携带有噪声信号的第二样本图像输入卷积神经网络模型进行模型训练，从而得到的图像去噪神经网络模型，并且输入卷积神经网络模型的样本图像是图像分割后以图像块的形式进行，从而可以保证得到的图像去噪神经网络模型精准性，以提高在第一色域中通过图像去噪神经网络模型进行图像去噪的去噪效果。

在一个实施例中，步骤S101可以进一步包括：终端确定相机图像对应的相机储存模式；若相机储存模式为线性储存模式，则获取相机图像对应的黑电平以及白电平；根据黑电平以及白电平获取相机图像对应的线性化图像；以及若相机储存模式为非线性储存模式，则获取相机图像对应的线性数据，以及相机图像对应的黑电平以及白电平；根据黑电平以及白电平获取线性数据对应的线性化图像。

相机图像对应的相机储存模式可以指的是拍摄得到该相机图像的相机的储存模式，例如可以是该相机的默认储存模式，具体来说，终端可以确定拍摄相机图像的相机的默认储存模式，如果该储存模式为线性储存模式，那么终端则可以获取该相机图片对应的黑电平和白电平，可以是分别存储于TagID＝50714和TagID＝50717的位置，之后，终端则可以通过得到的黑电平和白电平，对相机图像通过以下公式进行处理：

其中，m和n分别代表黑电平和白电平，X表示待处理的相机图像，X_lin则表示该相机图像对应的线性化图像。

而如果相机图像对应的相机储存模式不是线性储存模式，那么相机在利用黑电平与白电平通过上式公式进行图像处理之前，还需要先对作为非线性数据的相机图像利用查表的方式将其映射为线性数据，之后才通过上述公式求取对应的线性化图像，而该表格可以存储于TagID＝50712的位置。

本实施例中，可以通过黑电平和白电平实现相机图像的线性化处理，得到对应的线性化图像，并且不同存储方式的相机也可以通过不同的线性化处理方式进行线性化处理，从而可以提高本申请中图像处理方法的泛用性。

在一个实施例中，如图3所示，步骤S103可以进一步包括：

步骤S301，终端对去噪图像进行去马赛克处理，得到去噪图像对应的处于第一色域的去马赛克图像。

去马赛克图像指的是终端对去噪图像进行去马赛克处理后得到的图像，终端得到去噪图像后，可以通过运行去马赛克算法的方式，对得到的去噪图像进行去马赛克处理，而由于去马赛克处理并不涉及图像颜色空间的转换，因此得到的去马赛克图像也仍然处于第一色域。

步骤S302，终端对去马赛克图像进行第一颜色空间转换，得到处于中间色域的第一颜色空间图像。

其中，中间色域指的是图像从第一色域变化到目标图像的第二色域过程中需要经过的过渡色域，本实施例中，终端将图像从第一色域转化为第二色域的过程中，需要先将图像从第一色域转化成中间色域，再将处于中间色域的图像转化成处于第二色域的图像，该中间色域可以是proRGB色域。具体来说，终端可以对步骤S301中得到的去马赛克图像进行第一次的颜色空间转换处理，将其从第一色域，即raw色域，转化为处于中间色域，即处于proRGB色域的第一颜色空间图像。

步骤S303，终端将第一颜色空间图像进行白平衡处理、颜色校准、曝光补偿、色彩增强处理，以及色调映射处理，得到对应的处于中间色域的色调映射图像。

得到第一颜色空间图像后，终端可以进一步地对处于中间色域的第一颜色空间图像进行进一步的图像处理，图像处理的流程可以包括白平衡处理，利用白平衡参数对第一颜色空间图像的三个通道进行相乘，得到白平衡图像。

终端再对白平衡图像执行颜色校准，例如可以是HSV校准，通过获取HSV映射表的方式，得到对应的低色温HSV校准表和高色温HSV校准表，其中低色温HSV校准表和高色温HSV校准表分别存储于tagID＝50938和tagID＝50939的位置，并利用低色温的HSV校准表和高色温HSV校准表，并利用低色温的HSV校准表和高色温HSV校准表完成白平衡图像的HSV校准，得到校准后的图像。

接下来，终端可以对校准后的图像进行曝光补偿处理，通过在tagID＝50730处获取曝光补偿参数，并利用曝光补偿参数校准后的图像进行曝光补偿处理，从而得到曝光补偿图像。

曝光补偿处理后，终端可以对曝光补偿图像执行色彩增强处理，例如可以是HSV色彩增强，通过在tagID＝50982处获得到HSV色彩增强校准表，利用HSV色彩增强校准表执行HSV色彩增强处理，得到色彩增强图像。

最后，终端还可以对得到的色彩增强图像执行色调映射，通过引入色调映射函数的方式，执行对色彩增强图像的色调映射处理，从而得到色调映射图像，其中，色调映射函数可以由下式表示：

其中，X_tone表示最终得到的色调映射图像，而X_hsve则表示色彩增强图像。由于上述白平衡处理、颜色校准、曝光补偿、色彩增强处理，以及色调映射处理均不涉及颜色空间的转化，经过上述图像处理后得到的色调映射图像仍然处于中间色域，即proRGB域。

步骤S304，终端对色调映射图像进行第二颜色空间转换，得到处于第二色域的第二颜色空间图像。

而为了将图像从中间色域转化成第二色域，终端需要进行第二次的颜色空间转换，即第二颜色空间转换，该转换过程可以将处于中间色域，即proRGB域的色调映射图像，转化成处于第二色域，即sRBG域的第二颜色空间图像。转换的方式可以是引入两个3*3大小的颜色空间转换矩阵，即C_XYZTosrgb以及C_prorgbToXYZ，其中C_XYZTosrgb的具体形式是[3.2404542，-1.5371385，-0.4985314；-0.9692660，1.8760108，0.0415560；0.0556434，-0.2040259，1.0572252]，而C_prorgbToXYZ的具体形式则是[0.7976749，0.1351917，0.0313534；0.2880402，0.7118741，0.0000857；0.0，0.0，0.82521]。

步骤S305，终端对第二颜色空间图像进行伽马矫正以及阴影矫正处理，得到目标图像。

最后，终端可以对第二颜色空间图像进行伽马矫正处理以及阴影矫正处理，从而得到最终的处于第二色域的目标图像。其中，伽马矫正处理可以通过如下公式得到：

X_gamma表示伽马矫正后得到的图像，X_srgb而则表示第二颜色空间转换后得到的第二颜色空间图像。而阴影矫正则可以通过阴影矫正算法实现，通过阴影矫正算法，实现对伽马矫正后得到的图像的阴影矫正，从而输出图像处理最终得到的目标图像。

进一步地，如图4所示，步骤S302可以进一步包括：

步骤S401，终端获取相机图像对应的相机低色温颜色转换矩阵以及高色温颜色转换矩阵。

相机低色温转换矩阵和相机高色温转换矩阵分别存储于TagID＝50721和TagID＝50722处，终端可以从TagID＝50721和TagID＝50722中读取相应的相机低色温颜色转换矩阵以及高色温颜色转换矩阵。

步骤S402，终端获取权重系数，利用权重系数对相机低色温颜色转换矩阵以及高色温颜色转换矩阵进行加权处理，得到第一颜色空间转换矩阵；

步骤S403，终端获取第二颜色空间转换矩阵，利用第一颜色空间转换矩阵以及第二颜色空间转换矩阵，对去马赛克图像进行第一颜色空间转换，得到第一颜色空间图像。

本实施例中，将图像从第一色域转换成中间色域，即从raw域转换成proRGB域的方式也可以是引入两个颜色空间转换矩阵的方式进行，分别是第一颜色空间转换矩阵以及第二颜色空间转换矩阵，其中第一颜色空间矩阵可以是终端通过预先设定的权重系数，利用该权重系数实现对相机低色温颜色转换矩阵以及高色温颜色转换矩阵的加权处理得到。例如可通过以下公式计算：

C_cameraToXYZ＝α*ColorMatrix1+(1-α)*ColorMatrix2

其中，C_cameraToXYZ表示第一颜色空间矩阵，α表示权重系数，而ColorMatrix1以及ColorMatrix2则分别表示相机低色温颜色转换矩阵以及高色温颜色转换矩阵。

之后，终端还可以获取第二颜色空间转换矩阵，该第二颜色空间转换矩阵C_XYZToprorgb的具体形式可以是[1.3459433，-0.2556075，-0.0511118；-0.5445989，1.5081673，0.0205351；0.0，0.0，1.2118128]，并利用第二颜色空间转换矩阵以及第一颜色空间转换矩阵对去马赛克图像进行第一颜色空间转换，得到第一颜色空间图像，转换公式可如下所示：

X_prgb＝C_XYZToprorgb*C_cameraToXYZ*X_demosaic

其中，X_prgb表示第一颜色空间图像，C_XYZToprorgb表示第二颜色空间转换矩阵，C_cameraToXYZ表示第一颜色空间矩阵，X_demosaic则表示去马赛克图像。

进一步地，步骤S402可以进一步包括：终端确定第一像素点，获取第一像素点对应的相关色温；利用相关色温确定权重系数；步骤S402之后，还可以包括：终端获取相机白点，利用相机白点以及第一颜色空间转换矩阵得到第二像素点；确定第一像素点与第二像素点之间的距离，若距离大于或者等于预设的距离阈值，则将第二像素点作为第一像素点并返回获取第一像素点对应的相关色温的步骤，直到距离小于距离阈值。

其中，第一像素点可以是任意一个CIE XYZ域下的坐标值，之后终端可以利用相关色温值的计算算法，根据第一像素点的坐标值计算得到相关色温CCT，并利用得到的相关色温，通过如下计算公式得到权重系数α：

之后，终端可以利用得到的权重系数α通过步骤S402计算得到第一颜色空间矩阵，并从TagID＝50728处得到相机白点WP，并利用相机白点WP和第一颜色空间矩阵得到一个新的CIE XYZ域下的坐标值，即第二像素点的坐标值。最后，终端可以利用第一像素点的坐标值与第二像素点的坐标值计算第一像素点与第二像素点之间的距离，并判断该距离是否满足小于某个预先设定的距离阈值，例如距离阈值可以取值为0.0001，如果该距离小于距离阈值，那么则将权重系数α作为最终的权重系数，而如果该距离大于或者等于设定的距离阈值，则需要将第二像素点作为第一像素点并返回计算相关色温的步骤，再次计算权重系数。

上述实施例中，终端可以对处于第一色域的去噪图像进行图像后处理，其中后处理流程可以包括去马赛克处理、第一颜色空间转换、白平衡处理、颜色校准、曝光补偿、色彩增强处理、色调映射处理、第二颜色空间转换、伽马矫正以及阴影矫正处理，进而得到处于第二色域的目标图像，可以保证得到的目标图像的准确性。同时，本实施例第一颜色空间转换过程中，引入了权重系数对相机低色温颜色转换矩阵以及高色温颜色转换矩阵进行加权处理，同时权重系数的获取是由迭代算法计算得到，只有第一像素点与第二像素点之间的距离小于距离阈值时才迭代结束，从而保证第一颜色空间转换的准确性，进一步提高得到的目标图像的准确性。

在一个应用实例中，还提供了一种图像处理ISP流程，其输入为一张未经处理的RAW图像，输出为一张可在屏幕上正常显示的RGB图像，如图5所示，具体包括以下步骤：

S1：对于各式各样的RAW图像格式而言，如Sony的.ARW，Canon的.CR2等，需要先使用DNG Converter将其统一转换为.dng格式的图像，记为X。

S2：对从S1得到的图像X，执行线性化操作得到。

S21：特别的，如果相机默认模式为非线性存储，则需要先对X通过一个LookUpTable将非线性数据映射为线性数据，这个LookUpTable存储在TagID＝50712的位置。然后再执行以下操作：

其中，m和n分别代表黑电平和白电平，其分别被记录于TagID＝50714和TagID＝50717的位置。通常，白电平是一个常数。而黑电平一般对应拜耳矩阵的RGGB模式，有四个值，如果不是，标签BlackLevelRepeatDim(TagID＝50713)会指出黑电平的顺序，BlackLevelRepeatDim的第一，第二个数会分别给出黑电平的行数、列数。

S22：特别的，如果相机默认模式为线性存储，则直接执行上式所示操作。

S3：使用一卷积神经网络对S2得到的线性化图像执行去噪处理，得到去噪图像。对于该卷积神经网络而言，得到其需要经过以下步骤：

S31：搭建卷积神经网络，该卷积神经网络包括4组编码卷积对和4组解码卷积对。其中，编码卷积对包括2个卷积层(3*3大小的卷积核组成)和1个最大池化层；解码卷积对包括2个卷积层(3*3大小的卷积核组成)和1个上采样层。其中，本实例中每个卷积层后的激活层选用LeakyReLU函数；

S32：选取训练集，并设置卷积神经网络的训练参数；其中，训练数据包括多张噪声RAW图像和相应的干净RAW图像。特别的，在训练网络的过程中，还应该将所述的噪声RAW图像和干净RAW图像分割成512*512大小的图像块输入网络。

S33：根据所述卷积对神经网络模型及其训练参数，以最小化损失函数为目标训练所述卷积神经网络模型形成图像去噪神经网络模型。

S4：对S3得到的去噪图像执行去马赛克操作，将其从1通道变换为3通道图像，得到X_demosaic。其中，去马赛克算法可以是各种适用于RGGB拜耳模式的去马赛克方法。

S5：对X_demosaic图像执行颜色空间转换，从cameraRGB域转换到CIE XYZ域。转换公式如下：

X_prgb＝C_XYZToprorgb*C_cameraToXYZ*X_demosaic

其中，C_XYZToprorgb和C_cameraToXYZ为两个3*3大小的颜色空间转换矩阵。C_XYZToprorgb的具体形式为[3.2404542，-1.5371385，-0.4985314；-0.9692660，1.8760108，0.0415560；0.0556434，-0.2040259，1.0572252]，C_cameraToXYZ的计算方法如下：

S51：得到相机低色温颜色转换矩阵ColorMatrix1和高色温颜色转换矩阵ColorMatrix2，其分别位于TagID＝50721和TagID＝50722处。

S52：通过迭代算法得到权重系数α，根据α对ColorMatrix1和ColorMatrix2加权得到C_cameraToXYZ：

C_cameraToXYZ＝α*ColorMatrix1+(1-α)*ColorMatrix2

其中，迭代算法具体如下：

S521：假设一个CIE XYZ域下的坐标值，如pxyz＝[0.5，1，0.5]；从TagID＝50728处得到相机白点WP。

S522：得到pxyz所对应的相关色温CCT(Correlated Color Temperature，CCT)。

S523：按照下式得到权重系数α：

S524：根据权重系数α计算C_cameraToXYZ，将WP和C_cameraToXYZ相乘得到一个新的坐标值newxyz；

S525：计算newxyz和pxyz的距离，如果距离小于某一阈值结束迭代，否则将newxyz赋给pxyz，重复进行S522。其中，距离度量函数选用L2范数，阈值取值为0.0001。

S6：对S5得到的结果执行白平衡操作。具体来说，先从TagID＝50728处获得白平衡参数，参数为三个常数值。之后，对X_prgb的三个通道R，G，B，分别将他们与三个白平衡参数相乘，得到白平衡图像X_wb。

S7：按照HSV映射表对白平衡图像X_wb执行HSV矫正，得到校正后的图像X_hsvc。其中，矫正的具体流程如下：

S71：得到HSV映射表。先从tagID＝50938和tagID＝50939得到对应低色温的HSV校准表和高色温HSV校准表。使用S52中得到的权重系数α，并加权处理将两个不同色温HSV校准表插值得到HSV映射表。

S72：将白平衡图像X_wb转换到HSV空间。

S73：对从S72得到的结果图，对其中的每一个像素查找其在HSV映射表中的对应位置，得到H修正偏移量，S修正因子，V修正因子，按照H加修正偏移量，S乘以修正因子，V乘以修正因子，完成校准。

S8：对于从S7得到的校正后的图像X_hsvc执行曝光补偿，得到结果图X_ev。执行曝光补偿需要先获取曝光补偿系数BaselineExposure，其位于tagID＝50730处；之后，按照如下公式得到最终结果：

X_ev＝X_hsvc*2^{BaselineExposure}

S9：对于从S8得到的图像X_ev，依照HSV色彩增强映射表执行HSV色彩增强，得到色彩增强图像X_hsve。其中，色彩增强的具体流程如下：

S91：得到HSV色彩增强映射表。从tagID＝50982得到HSV色彩增强校准表。

S92：将X_ev转换到HSV空间。

S93：对从S92得到的结果图，对其中的每一个像素查找其在HSV映射表中的对应位置，得到H修正偏移量，S修正因子，V修正因子，按照H加修正偏移量，S乘以修正因子，V乘以修正因子，完成校准。

S10：对于从S9得到的图像X_hsve执行色调映射。其中，设f为色调映射函数，则色调映射为：

X_tone＝f(X_hsve)

其中，f的具体形式为：

f(X)＝0.023*X⁴+1.033*X³-2.924*X²+2.927*X-0.051

S11：对于从S10得到的图像X_tone执行颜色空间转换，将其从prophotoRGB域转换到sRGB域。转换公式如下：

X_srgb＝C_XYZTosrgb*C_prorgbToXYZ*X_tone

其中，C_XYZTosrgb和C_prorgbToXYZ为两个3*3大小的颜色空间转换矩阵。C_XYZTosrgb的具体形式为[3.2404542，-1.5371385，-0.4985314；-0.9692660，1.8760108，0.0415560；0.0556434，-0.2040259，1.0572252]，C_prorgbToXYZ的具体形式为[0.7976749，0.1351917，0.0313534；0.2880402，0.7118741，0.0000857；0.0，0.0，0.82521]。

S12：对于从S11得到的图像X_srgb执行Gamma矫正，得到矫正图像X_gamma。具体计算方式如下式所示：

S13：对S12得到的图像X_gamma执行阴影矫正操作，得到输出图像Y。

上述应用实例中，通过在线性化层之后部署一基于卷积神经网络的轻量级去噪模块，并且对其他ISP模块的算法也做了进一步优化，使得本申请所提出的ISP在还原原本的场景信息的情况下可以较好地去除图像中的噪声。

应该理解的是，虽然图1-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种图像处理装置，包括：初始图像获取模块601、线性图像去噪模块602和目标图像获取模块603，其中：

初始图像获取模块601，用于获取待处理的相机图像，以及获取相机图像对应的线性化图像；

线性图像去噪模块602，用于将线性化图像输入预先训练的图像去噪神经网络模型，以使图像去噪神经网络模型输出与线性化图像对应的去噪图像；其中，线性化图像与去噪图像处于第一色域；

目标图像获取模块603，用于对处于第一色域的去噪图像进行图像后处理，得到去噪图像对应的处于第二色域的目标图像。

在一个实施例中，图像处理装置，还包括：去噪模型训练模块，用于获取携带有噪声信号的第一样本图像，以及获取第一样本图像对应的不携带有噪声信号的第二样本图像；第一样本图像与第二样本图像处于第一色域；将第一样本图像以及第二样本图像输入当前卷积神经网络模型，获取当前卷积神经网络模型对应的损失值；根据损失值对当前卷积神经网络模型进行训练，将损失值最小的当前卷积神经网络模型作为图像去噪神经网络模型。

在一个实施例中，去噪模型训练模块，进一步用于对第一样本图像以及第二样本图像进行图像分割，得到预设大小的第一图像块以及第二图像块；将第一图像块以及第二图像块输入当前卷积神经网络模型。

在一个实施例中，初始图像获取模块601，进一步用于确定相机图像对应的相机储存模式；若相机储存模式为线性储存模式，则获取相机图像对应的黑电平以及白电平；根据黑电平以及白电平获取相机图像对应的线性化图像；以及用于若相机储存模式为非线性储存模式，则获取相机图像对应的线性数据，以及相机图像对应的黑电平以及白电平；根据黑电平以及白电平获取线性数据对应的线性化图像。

在一个实施例中，目标图像获取模块603，进一步用于对去噪图像进行去马赛克处理，得到去噪图像对应的处于第一色域的去马赛克图像；对去马赛克图像进行第一颜色空间转换，得到处于中间色域的第一颜色空间图像；将第一颜色空间图像进行白平衡处理、颜色校准、曝光补偿、色彩增强处理，以及色调映射处理，得到对应的处于中间色域的色调映射图像；对色调映射图像进行第二颜色空间转换，得到处于第二色域的第二颜色空间图像；对第二颜色空间图像进行伽马矫正以及阴影矫正处理，得到目标图像。

在一个实施例中，目标图像获取模块603，进一步用于获取相机图像对应的相机低色温颜色转换矩阵以及高色温颜色转换矩阵；获取权重系数，利用权重系数对相机低色温颜色转换矩阵以及高色温颜色转换矩阵进行加权处理，得到第一颜色空间转换矩阵；获取第二颜色空间转换矩阵，利用第一颜色空间转换矩阵以及第二颜色空间转换矩阵，对去马赛克图像进行第一颜色空间转换，得到第一颜色空间图像。

在一个实施例中，目标图像获取模块603，进一步用于确定第一像素点，获取第一像素点对应的相关色温；利用相关色温确定权重系数；还用于获取相机白点，利用相机白点以及第一颜色空间转换矩阵得到第二像素点；确定第一像素点与第二像素点之间的距离，若距离大于或者等于预设的距离阈值，则将第二像素点作为第一像素点并返回获取第一像素点对应的相关色温的步骤，直到距离小于距离阈值。

关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取待处理的相机图像，以及获取所述相机图像对应的线性化图像；

将所述线性化图像输入预先训练的图像去噪神经网络模型，以使所述图像去噪神经网络模型输出与所述线性化图像对应的去噪图像；其中，所述线性化图像与所述去噪图像处于第一色域；

对处于所述第一色域的去噪图像进行图像后处理，得到所述去噪图像对应的处于第二色域的目标图像。

2.根据权利要求1所述的方法，其特征在于，所述将所述线性化图像输入预先训练的图像去噪神经网络模型之前，还包括：

获取携带有噪声信号的第一样本图像，以及获取所述第一样本图像对应的不携带有所述噪声信号的第二样本图像；所述第一样本图像与所述第二样本图像处于所述第一色域；

将所述第一样本图像以及所述第二样本图像输入当前卷积神经网络模型，获取所述当前卷积神经网络模型对应的损失值；

根据所述损失值对所述当前卷积神经网络模型进行训练，将所述损失值最小的当前卷积神经网络模型作为所述图像去噪神经网络模型。

3.根据权利要求2所述的方法，其特征在于，所述将所述第一样本图像以及所述第二样本图像输入当前卷积神经网络模型，包括：

对所述第一样本图像以及所述第二样本图像进行图像分割，得到预设大小的第一图像块以及第二图像块；

将所述第一图像块以及所述第二图像块输入所述当前卷积神经网络模型。

4.根据权利要求1所述的方法，其特征在于，所述获取所述相机图像对应的线性化图像，包括：

确定所述相机图像对应的相机储存模式；

若所述相机储存模式为线性储存模式，则获取所述相机图像对应的黑电平以及白电平；

根据所述黑电平以及所述白电平获取所述相机图像对应的线性化图像；

和/或

若所述相机储存模式为非线性储存模式，则获取所述相机图像对应的线性数据，以及所述相机图像对应的黑电平以及白电平；

根据所述黑电平以及所述白电平获取所述线性数据对应的线性化图像。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述对处于所述第一色域去噪图像进行图像后处理，得到所述去噪图像对应的处于第二色域的目标图像，包括：

对所述去噪图像进行去马赛克处理，得到所述去噪图像对应的处于所述第一色域的去马赛克图像；

对所述去马赛克图像进行第一颜色空间转换，得到处于中间色域的第一颜色空间图像；

将所述第一颜色空间图像进行白平衡处理、颜色校准、曝光补偿、色彩增强处理，以及色调映射处理，得到对应的处于中间色域的色调映射图像；

对所述色调映射图像进行第二颜色空间转换，得到处于所述第二色域的第二颜色空间图像；

对所述第二颜色空间图像进行伽马矫正以及阴影矫正处理，得到所述目标图像。

6.根据权利要求5所述的方法，其特征在于，所述对所述去马赛克图像进行第一颜色空间转换，得到第一颜色空间图像，包括：

获取所述相机图像对应的相机低色温颜色转换矩阵以及高色温颜色转换矩阵；

获取权重系数，利用所述权重系数对所述相机低色温颜色转换矩阵以及所述高色温颜色转换矩阵进行加权处理，得到第一颜色空间转换矩阵；

获取第二颜色空间转换矩阵，利用所述第一颜色空间转换矩阵以及所述第二颜色空间转换矩阵，对所述去马赛克图像进行第一颜色空间转换，得到所述第一颜色空间图像。

7.根据权利要求6所述的方法，其特征在于，所述获取权重系数，包括：

确定第一像素点，获取所述第一像素点对应的相关色温；

利用所述相关色温确定所述权重系数；

所述得到第一颜色空间转换矩阵之后，还包括：

获取相机白点，利用所述相机白点以及所述第一颜色空间转换矩阵得到第二像素点；

确定所述第一像素点与所述第二像素点之间的距离，若所述距离大于或者等于预设的距离阈值，则将所述第二像素点作为第一像素点并返回获取所述第一像素点对应的相关色温的步骤，直到所述距离小于所述距离阈值。

8.一种图像处理装置，其特征在于，所述装置包括：

初始图像获取模块，用于获取待处理的相机图像，以及获取所述相机图像对应的线性化图像；

线性图像去噪模块，用于将所述线性化图像输入预先训练的图像去噪神经网络模型，以使所述图像去噪神经网络模型输出与所述线性化图像对应的去噪图像；其中，所述线性化图像与所述去噪图像处于第一色域；

目标图像获取模块，用于对处于所述第一色域的去噪图像进行图像后处理，得到所述去噪图像对应的处于第二色域的目标图像。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images