CN108229525B - 神经网络训练及图像处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明实施例提供了一种神经网络训练方法、装置、电子设备和存储介质，以及，一种图像处理方法、装置、电子设备和存储介质。其中，神经网络训练方法包括：获取带噪样本图像及对应的无噪样本图像；基于神经网络，生成带噪样本图像对应的无噪预估图像；根据无噪预估图像及无噪样本图像，对神经网络进行训练；其中，神经网络为双线性神经网络。采用本发明的技术方案，可以避免神经网络训练时易出现的图像噪声过拟合的问题，从而保证了训练得到的神经网络对图像中信息的影响，而且通过本实施例的神经网络训练方法训练得到的神经网络，可以实现对带雾带噪的自然图像进行的去雾去噪处理，并且有效地提高去雾去噪效果。

Description

神经网络训练及图像处理方法、装置、电子设备和存储介质

技术领域

本发明实施例涉及人工智能技术领域，尤其涉及一种神经网络训练及图像处理方法、装置、电子设备和存储介质。

背景技术

随着计算机技术和图像处理技术的发展，图像识别被广泛应用于众多领域，如视频监控、人脸识别等等。图像识别通过对图像进行处理、分析和理解，可以识别出各种目标对象。在进行图像识别时，图像的清晰度越高，识别的准确度也越高。

但拍摄图像会受到环境和空气的影响，尤其是在有雾、有霾、雨天等等天气条件不好的情况下，无法拍摄到清晰的便于后续识别的图像。为此，自然图像的去雾技术应运而生。目前，在图像去雾技术领域已经提出了多种算法，比较有代表性的是基于图像增强的去雾算法和基于图像复原的去雾算法。

其中，基于图像增强的去雾算法中，利用直方图均衡化、Retinex理论等来提高带雾图像的对比度，突出或弱化某些信息，减小雾对图像的影响。该方法不考虑图像降质原因，适用范围广，能有效地提高雾天图像的对比度，改善图像的视觉效果，但对于突出部分的信息会造成一定损失。而基于图像复原的去雾算法如基于先验信息的去雾算法，包括：暗通道去雾算法，假设物体阴影和反射率局部不相关算法等等，这些算法都能得到较好的去雾效果，但需要利用先验信息进行估计，且在去雾过程中增强了原图像中的噪声等非自然信息。

可见，现有的自然图像的去雾方式都会对原图像中的信息造成相当程度的影响，不能很好地实现自然图像的去雾处理。

发明内容

本发明实施例提供了一种神经网络训练的技术方案和一种图像处理的技术方案。

根据本发明实施例的第一方面，提供了一种神经网络训练方法，包括：获取带噪样本图像及对应的无噪样本图像；基于神经网络，生成所述带噪样本图像对应的无噪预估图像；根据所述无噪预估图像及所述无噪样本图像，对所述神经网络进行训练；其中，所述神经网络为双线性神经网络。

可选地，所述双线性神经网络包括透射率参数及大气光参数；所述基于神经网络，生成所述带噪样本图像对应的无噪预估图像，包括：基于神经网络获取所述带噪样本图像的透射率预测值及大气光预测值；根据获取的所述透射率预测值及所述大气光预测值，生成所述带噪样本图像对应的无噪预估图像。

可选地，所述根据所述无噪预估图像及所述无噪样本图像，对所述神经网络进行训练，包括：基于预设组合损失函数，获取所述无噪预估图像及所述无噪样本图像之间的第一差异；根据所述第一差异调整所述双线性神经网络的透射率参数及大气光参数。

可选地，所述预设组合损失函数为I＝J*T+A(1–T)，其中，I为所述无噪预估图像，J为所述带噪样本图像，A为所述大气光参数，T为所述透射率参数。

可选地，所述大气光参数的训练网络和所述透射率参数的训练网络均为三层卷积网络。

可选地，所述三层卷积网络包括第一卷积层、第二卷积层和第三卷积层；所述第一卷积层、所述第二卷积层及所述第三层的输入均为RGB三通道图像；所述第一卷积层的卷积核大小为9乘以9，所述第一卷层包括96个通道；所述第二卷积层的卷积核大小为5乘以5，所述第二卷积层包括32个通道；所述第一卷积层与所述第二卷积层之后均连接有Relu层。

可选地，所述大气光参数的训练网络的第三卷积层的输出为三通道，所述透射率参数的训练网络的第三卷基层的输出为一通道。

可选地，所述透射率参数的训练网络还包括用于对所述透射率预测值进行导向滤波的导向滤波器。

可选地，在所述根据所述第一差异调整所述双线性神经网络的透射率参数及大气光参数之前，还包括：获取所述透射率预测值与所述透射率参数之间的第二差异，以及所述大气光预测值与所述大气光参数之间的第三差异；所述根据所述第一差异调整所述双线性神经网络的透射率参数及大气光参数，包括：根据所述第一差异及其对应的第一权重、所述第二差异及其对应的第二权重，和所述第三差异及其对应的第三权重，调整所述双线性神经网络的透射率参数及大气光参数。

可选地，所述第一权重小于所述第二权重，且所述第一权重小于所述第三权重。

根据本发明实施例的第二方面，提供了一种图像处理方法，包括：获取原始图像；基于所述神经网络，对所述原始图像进行去噪处理，得到第一去噪图像；其中，所述神经网络为采用前述任一项神经网络训练方法训练获得的神经网络。

可选地，所述方法还包括：基于图像增强网络，对所述第一去噪网络进行处理，得到第二去噪图像。

根据本发明实施例的第三方面，提供了一种神经网络训练装置，包括：

可选地，第一获取模块，用于获取带噪样本图像及对应的无噪样本图像；生成模块，用于基于神经网络，生成所述带噪样本图像对应的无噪预估图像；训练模块，用于根据所述无噪预估图像及所述无噪样本图像，对所述神经网络进行训练；其中，所述神经网络为双线性神经网络。

可选地，所述双线性神经网络包括透射率参数及大气光参数；所述生成模块包括：第一获取单元，用于基于神经网络获取所述带噪样本图像的透射率预测值及大气光预测值；生成单元，用于根据获取的所述透射率预测值及所述大气光预测值，生成所述带噪样本图像对应的无噪预估图像。

可选地，所述训练模块包括：第二获取单元，用于基于预设组合损失函数，获取所述无噪预估图像及所述无噪样本图像之间的第一差异；参数调整单元，用于根据所述第一差异调整所述双线性神经网络的透射率参数及大气光参数。

可选地，所述预设组合损失函数为I＝J*T+A(1–T)，其中，I为所述无噪预估图像，J为所述带噪样本图像，A为所述大气光参数，T为所述透射率参数。

可选地，所述大气光参数的训练网络和所述透射率参数的训练网络均为三层卷积网络。

可选地，所述三层卷积网络包括第一卷积层、第二卷积层和第三卷积层；所述第一卷积层、所述第二卷积层及所述第三层的输入均为RGB三通道图像；所述第一卷积层的卷积核大小为9乘以9，所述第一卷层包括96个通道；所述第二卷积层的卷积核大小为5乘以5，所述第二卷积层包括32个通道；所述第一卷积层与所述第二卷积层之后均连接有Relu层。

可选地，所述大气光参数的训练网络的第三卷积层的输出为三通道，所述透射率参数的训练网络的第三卷基层的输出为一通道。

可选地，所述透射率参数的训练网络还包括用于对所述透射率预测值进行导向滤波的导向滤波器。

可选地，所述训练模块还包括：第三获取单元，用于获取所述透射率预测值与所述透射率参数之间的第二差异，以及所述大气光预测值与所述大气光参数之间的第三差异；所述参数调整单元用于根据所述第一差异及其对应的第一权重、所述第二差异及其对应的第二权重，和所述第三差异及其对应的第三权重，调整所述双线性神经网络的透射率参数及大气光参数。

可选地，所述第一权重小于所述第二权重，且所述第一权重小于所述第三权重。

根据本发明实施例的第四方面，还提供了一种图像处理装置，包括：第二获取模块，用于获取原始图像；第一处理模块，用于基于所述神经网络，对所述原始图像进行去噪处理，得到第一去噪图像；其中，所述神经网络为采用前述任一项神经网络训练方法训练获得的神经网络。

可选地，所述装置还包括：第二处理模块，用于基于图像增强网络，对所述第一去噪网络进行处理，得到第二去噪图像。

根据本发明实施例的第五方面，还提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现前述任一项神经网络训练方法的步骤。

根据本发明实施例的第六方面，还提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现前述任一项图像处理方法的步骤。

根据本发明实施例的第七方面，还提供了一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行前述任一项神经网络训练方法对应的操作。

根据本发明实施例的第八方面，还提供了一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行前述任一项图像处理方法对应的操作。

根据本发明实施例提供的技术方案，通过双线性神经网络对带噪样本图像进行去噪处理，来生成对应的无噪预估图像，并根据无噪预估图像及无噪样本图像来对神经网络进行训练，有效地避免了单个分支的神经网络训练时易出现的图像噪声过拟合的问题，从而保证了训练得到的神经网络对图像进行去噪处理过程中对图像中信息的影响。通过本实施例的神经网络训练方法训练得到的神经网络，可以实现对带雾带噪的自然图像进行的去雾去噪处理，并且有效地提高去雾去噪效果。

附图说明

图1是根据本发明实施例一的一种神经网络训练方法的步骤流程图；

图2是根据本发明实施例二的一种神经网络训练方法的步骤流程图；

图3是图2所示实施例中的一种神经网络结构的示意图；

图4是根据本发明实施例三的一种图像处理方法的步骤流程图；

图5是根据本发明实施例四的一种神经网络训练装置的结构框图；

图6是根据本发明实施例六的一种图像处理装置的结构框图；

图7是根据本发明实施例六的一种电子设备的结构示意图；

图8是根据本发明实施例七的一种电子设备的结构示意图。

具体实施方式

下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。

本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

实施例一

参照图1，示出了根据本发明实施例一的一种神经网络训练方法的步骤流程图。

本实施例的神经网络训练方法包括以下步骤：

步骤S102：获取带噪样本图像及对应的无噪样本图像。

本发明实施例中，无噪样本图像可以为任意图像，带噪样本图像对无躁样本图像进行加噪处理后获得的图像。其中，对无噪样本图像进行的加噪处理包括但不限于，添加雾效、添加噪声等处理，并且，本实施例对添加雾效、添加噪声等处理的采用具体方法不做限定。可选地，添加雾效可以通过雾效模拟处理进行。例如，使用透射率参数和大气光参数对无噪样本图像进行雾效模拟处理来获得无噪样本图像。

步骤S104：基于神经网络，生成带噪样本图像对应的无噪预估图像。

将获取的带噪样本图像输入神经网络，由神经网络对带噪样本图像进行去噪处理，获取带噪样本图像对应的无噪预估图像。其中，去噪处理包括对上述添加的雾效进行的去雾处理，和/或对上述添加的噪声进行的去噪处理，并且，神经网络可以通过进行一次或多次的去噪处理，来生成带噪样本图像对应的无噪预估图像。

步骤S106：根据无噪预估图像及无噪样本图像，对神经网络进行训练。

可选地，根据无噪预估图像和无噪样本图像，获取无噪预估图像和无噪样本图像之间的差异，根据获取的差异对神经网络的网络参数进行调整。其中，调整的网络参数包括但不限于常规的神经网络的网络参数，如，偏置参数、权重参数、卷积参数、采样参数等等。

本实施例中，神经网络可以为双线性神经网络，以通过对的两个分支网络分别进行训练，来约束单分支的神经网络训练时易出现的图像噪声过拟合，进而通过对图像噪声过拟合的约束和抑制，来降低去噪处理和/或去雾处理过程中对图像中信息的影响。

根据本发明实施例的神经网络训练方法，通过双线性神经网络对带噪样本图像进行去噪处理，来生成对应的无噪预估图像，并根据无噪预估图像及无噪样本图像来对神经网络进行训练，有效地避免了单个分支的神经网络训练时易出现的图像噪声过拟合的问题，从而保证了训练得到的神经网络对图像进行去噪处理过程中对图像中信息的影响。通过本实施例的神经网络训练方法训练得到的双线性神经网络，可以实现对带雾带噪的自然图像进行的去雾去噪处理，并且有效地提高去雾去噪效果。

本实施例的神经网络训练方法可以由任意适当的具有图像或数据处理能力的设备执行，包括但不限于：摄像头、终端、移动终端、PC机、服务器、车载设备、娱乐设备、广告设备等。

实施例二

参照图2，示出了根据本发明实施例二的一种神经网络训练方法的步骤流程图。

本实施例的神经网络训练方法包括以下步骤：

步骤S202：获取无噪样本图像，对无噪样本图像进行第一雾效模拟处理。

本发明实施例中，无噪样本图像可以为一张或多张无噪无雾的任意图像，可以理解为一个无噪样本图像集合，对该集合中的每一个无噪样本图像，都进行雾效模拟处理。也即，本实施例通过对无噪样本图像进行雾效模拟处理，来获取带雾的图像，以用于训练可进行图像去雾处理的神经网络。

在一种可选的实施方式中，根据大气散射物理模型，使用透射率参数和大气光参数对无噪样本图像进行雾效模拟处理。这里，雾效模拟是根据大气散射物理模型，利用无雾场景生成有雾场景的一种技术。大气散射物理模型是一种基础的成像模型，其假设观测点所观测到的图像仅由实际场景经由雾散射后的衰减光以及雾本身散射周边环境的环境光(即大气光)组成，其中实际场景衰减后所占比例被称为透射率。基于此，大气散射物理模型可以描述为下述公式(1)的形式。

I(x)＝J(x)T(x)+A(1–T(x)) 公式(1)

其中，I(x)是观测点x所接收到的带雾图像(有雾的图像)；J(x)是实际场景，即图像在无雾条件下的状态；T(x)是实际场景经过衰减后所保留的比例，即透射率，其取值范围为[0，1]；A是环境光，即大气光，表示阳光、天空漫反射光、地面反射光的综合光强；J(x)T(x)是实际场景经过雾散射衰减之后的场景，即图像中雾中的场景；A(1–T(x))是雾散射周边环境光的部分，在图像中一般表现为白色的雾。

在这里说明，透射率参数和大气光参数可以由本领域技术人员根据实际情况适当设置。通过透射率参数和大气光参数即可生成相应的带雾图像。

此外，可选地，还可以先获得用于对无噪样本图像进行雾效模拟处理的透射率参数和大气光参数；再对大气光参数进行加噪处理；使用透射率参数和进行了加噪处理后的大气光参数，对无噪样本图像进行雾效模拟处理，获得带雾且带噪的图像。该种方式中，在大气光中添加噪声，以使雾效模拟出的图像更接近现实有雾场景中实际拍摄出的图像，提高雾效模拟效果。但本领域技术人员应当明了，采用不加噪的雾效模拟同样可实现本发明实施例的方案。

步骤S204：获取进行了雾效模拟处理后的图像作为带噪样本图像。

在对无噪样本图像进行雾效模拟处理后，无噪样本图像变成带雾的图像，获取带雾的图像作为训练用的带噪样本图像，用于训练可进行图像去雾处理的神经网络。本实施例中，带噪样本图像即为带雾样本图像。

步骤S206：基于神经网络获取带噪样本图像的透射率预测值及大气光预测值。

本实施例中，神经网络为双线性神经网络包括第一分支网络和第二分支网络，并包括透射率参数及大气光参数。第一分支网络为透射率参数的训练网络，第二分支网络为大气光参数的训练网络。在训练过程中，第一分支网络可用于获取透射率预测值，第二分支网络可用于获取大气光预测值。

将带噪样本图像输入双线性神经网络之后，可以通过第一分支网络获取带噪样本图像的透射率预测值，以及通过第二分支网络获取带噪样本图像的大气光预测值。

需要说明的是，若在步骤S202中对大气光进行了加噪处理，则可以通过第一分支网络，获得无噪声的带雾样本图像的透射率预测值；通过第二分支网络，获得带噪声的带雾样本图像的大气光预测值。

但对于透射率来说，其对图像的影响是不平滑的，为了使透射率对图像的影响更加平滑，同时贴合物体的边缘，以更加符合图像透射的物理特性，也为了对透射率进行更为精准的预测，本实施例中，还对透射率进行了导向滤波处理。可选地，第一分支网络还包括用于对透射率预测值进行导向滤波的导向滤波器。例如，第一分支网络输出透射率预测值，可在第二分支网络的输出端设置导向滤波器，获取经导向滤波器进行导向滤波处理的透射率预测值。

步骤S208：根据获取的透射率预测值及大气光预测值生成带噪样本图像对应的无噪预估图像。

可选地，通过上述双线性神经网络，根据获取的透射率预测值和大气光预测值，对带噪样本图像进行去雾处理，获取处理后的无雾的图像作为无噪预估图像。

步骤S210：基于预设组合损失函数，获取无噪预估图像及无噪样本图像之间的第一差异，并根据第一差异调整双线性神经网络的透射率参数及大气光参数。

本实施例中，将获取的无噪预估图像与无噪样本图像进行比对，基于预设组合函数，获取无噪预估图像与无噪样本图像之间的第一差异，并根据第一差异，来确定获取的透射率预测值及大气光预测值的准确度，从而根据确定的准确度调整双线性神经网络的透射率参数及大气光参数。

可选地，根据预设组合损失函数，使用透射率预测值和大气光预测值，对无噪样本图像进行上述雾效模拟处理，获得带噪样本图像；通过双线性神经网络对带噪样本图像进行去噪处理，并基于预设组合损失函数生成无噪预估图像；获取无噪样本图像与对应的训练用无噪预估图像的第一差异；根据该第一差异，确定透射率预测值和大气光预测值的准确度。透射率预测值和大气光预测值越准确，则该双线性神经网络可以更加有效地对带雾图像进行去雾处理。

可选地，预设组合损失函数可以表示为如下公式(2)：

I＝J*T+A(1–T) 公式(2)；

其中，I为无噪预估图像，J为带噪样本图像，A为大气光参数，T为透射率参数。

但不限于此，可选地，在获取无噪预估图像与无噪样本图像之间的第一差异之外，还可以获取透射率预测值与透射率参数之间的第二差异，以及大气光预测值与大气光参数之间的第三差异。进而根据第一差异及其对应的第一权重、第二差异及其对应的第二权重，和第三差异及其对应的第三权重，确定获取的透射率预测值及大气光预测值的准确度，基于预设组合损失函数根据该准确度，调整双线性神经网络的透射率参数及大气光参数。通过该种方式，可以对单个分支训练时易出现的图像噪声过拟合进行进一步地约束。

进一步可选地，还可以为上述差异设置相应的权重，也即，在根据第一差异、第二差异和第三差异，确定透射率预测值和大气光预测值的准确度时，可以根据第一差异及其对应的第一权重、第二差异及其对应的第二权重，和第三差异及其对应的第三权重，确定透射率预测值和大气光预测值的准确度。其中，第一权重小于第二权重，并且，第一权重小于第三权重。第二权重和第三权重可以相等也可以不相等，也即，第一权重是三个权重中最小的权重。若第二权重和第三权重相等，可以简化神经网络的训练；若第二权重和第三权重不相等，则可以使神经网络中对每个分支的训练更为精准。通过权重设置，可以避免第一差异占比过大，导致无噪预估图像与无噪样本图像偏离太远。

可选地，在调整双线性神经网络的透射率参数和大气光参数时，可以根据透射率预测值的准确度，先对透射率预测值进行导向滤波，再使用进行了导向滤波后的透射率预测值，调整第一分支网络的透射率参数，以及其他网络参数，以在根据调整后的网络参数获取更加准确的透射率预测值，并使得根据透射率对图像的透射输出更为平滑。例如，在准确度尚不符合设定要求时，继续对第一分支的网络参数和第二分支的网络参数进行调整。

以下，以一个双线性深度卷积神经网络为例，对本发明实施例的上述神经网络训练过程进行说明。

如图3所示，其示出了一种双线性深度卷积神经网络结构的示意图。双线性深度卷积神经网络是一种具有可分性的数学属性的双分支神经网络，当其它因素保持不变时，双分支的输出是线性的。在图3中，双线性深度卷积神经网络具有用于预测透射率的第一分支网络和用于预测大气光值的第二分支网络。在一次训练过程中，输入的带噪样本图像(带雾图像)经过第一分支网络的处理，获得透射率预测值T(x)，该T(x)经导向滤波器的处理，获得导向滤波后的T(x)；而与此同时，输入的带雾图像经过第二分支网络的处理，获得大气光预测值A(x)；T(x)和A(x)共享组合损失函数，如下述公式(3)：

其中，L_c表示损失值，N表示训练用样本图像的总数，T和A分别是第一分支网络和第二分支网络的输出，T表示透射率，A表示大气光值，J表示无雾的无噪预估图像，I表示通过J合成的带雾的带噪样本图像。通过公式(3)，可以获得无噪预估图像，进而获得无噪预估图像与对应的无噪样本图像之间的第一差异。

可选地，组合损失函数还可以采用如下述公式(4)的形式：

其中，A_GT表示通过J合成带雾的带噪样本图像时使用的大气光参数，T_GT表示通过J合成带雾的带噪样本图像时使用的透射率参数，λ表示权重。通过公式(4)，可以获得无噪预估图像与对应的无噪样本图像之间的第一差异、透射率预测值与透射率参数之间的第二差异，以及，大气光预测值与大气光参数之间的第三差异的综合结果。

图3所示卷积神经网络中，第一分支网络和第二分支网络均采用三层卷积结构，二者结构相同，均接收一个RGB3通道的图像作为输入。第一个卷积层的核大小为9*9，96个通道；第二个卷积层的核大小为5*5，32个通道；两个卷积层后都接有非线性映射的ReLu(Rectified Linear units，激活函数)层；最后一个卷积层中，两个分支网络分别输出训练得到的3通道的大气光值A和1通道的透射率T的图像。第一分支网络后接入一个导向滤波器，在损失反向传播时，梯度也会经过这个导向滤波器传回到第一分支网络中。导向滤波器(guided filter)可以是一个edge-aware滤波器(边缘感知滤波器)，该滤波器可以使T变得更加平滑，同时贴合物体的边缘，更加符合T的物理特性，实现对T更加精细的估计。

通过图3所示的双线性深度卷积神经网络，采用2个三层卷积的网络分支共用一个组合损失函数，分别学习透射率T和大气光A。这2个三层卷积的网络分支的输入相同，网络结构相同，但输出不同，分别输出T和A。组合损失函数通过两个分支网络的输出共同决定，从而约束单个网络分支训练时易出现的图像噪声等过拟合问题，如公式(3)所示。除此之外，两个分支网络还可以分别通过A和T的第一雾效模拟处理中对应的大气光参数和透射率参数进行学习，如公式(4)所示。采用公式(4)所示的组合损失函数时，可以通过权重平衡来调节最终A和T的学习效果。可选地，采取第二权重和第三权重大于第一权重的方式。

当采用公式(4)时，大气光A的损失由两部分构成，一部分是公式(4)中的

另一部分是λ₂(A_i-A_GT)²；透射率T的损失也由两部分构成，一部分是公式(4)中的

另一部分是λ₂(T_i-T_GT)²。A和T是一起训练和学习的，每一次训练迭代过程都会更新A和T，损失会慢慢降低。一般来讲，λ₁＜λ₂，以防止组合损失函数占比过大导致偏离原始无雾的无噪样本图像太远。可选地，λ₁＝0.1，λ₂＝0.9。

可见，通过上述过程，可以首先得到清晰的无雾的无噪样本图像和由它们合成的带雾有噪声的带噪样本图像，其中噪声加在大气光A中，由它们构成训练用样本图像。经过训练，最终将带噪样本图像中的噪声分离进学习得到的大气光中，由此得到无噪点的透射率，再根据公式(3)得到无雾去噪后的无噪预估图像。

需要说明的是，本实例中以三层卷积的网络分支为例，但本领域技术人员应当明了，在实际应用中，也可以采用更多层卷积的网络分支。此外，前述卷积核大小和通道数也仅为示例性说明，本领域技术人员可以根据实际需求适当设定。

此外，还需要说明的是，本发明实施例仅以卷积神经网络为例进行了说明，但本领域技术人员应当明了，采用其它结构的神经网络或者具有类似结构的神经网络均可参照本实施例实现本发明的神经网络训练过程。

根据本发明实施例的神经网络训练方法，通过双线性神经网络对带噪样本图像进行去噪处理，来生成对应的无噪预估图像，并根据无噪预估图像及无噪样本图像之间的差异来对神经网络进行训练，有效地实现了对用于进行图像去噪处理的神经网络的训练，并避免了单个分支的神经网络训练时易出现的图像噪声过拟合的问题，从而保证了训练得到的神经网络对图像进行去噪处理对图像中信息的影响。通过本实施例的神经网络训练方法训练得到的双线性神经网络，可以实现对带雾带噪的自然图像进行的去雾去噪处理，并且有效地提高去雾去噪效果。

本实施例的神经网络训练方法可以由任意适当的具有图像或数据处理能力的设备执行，包括但不限于：摄像头、终端、移动终端、PC机、服务器、车载设备、娱乐设备、广告设备等。

实施例三

参照图4，示出了根据本发明实施例三的一种图像处理方法的步骤流程图。

本实施例的图像处理方法包括以下步骤：

步骤S302：获取原始图像。

本发明实施例中，原始图像可以为任意自然图像。原始图像中通常或带有雾效、噪声等。例如，在大气散射物理模型中，原始图像由实际场景经由雾散射后的衰减光以及雾本身散射周边环境的环境光(即大气光)组成，其中实际场景衰减后所占比例被称为透射率。原始图像一般存在白色的雾，尤其是在有雾的天气拍摄的图像。

步骤S304：基于神经网络，对原始图像进行去噪处理，得到第一去噪图像。

其中，神经网络为上述实施例一或实施例二的神经网络训练方法训练获得的神经网络，其具体结构和训练过程可参考前述实施例一或实施例二中的相关描述，在此不再赘述。该神经网络可用于对图像进行去噪处理(包括去雾处理)。本实施例中，通过该神经网络对获取的原始图像进行第一次去噪处理，例如，通过用于去雾去噪的双线性神经网络对原始图像进行去雾处理，获取无雾的第一去噪图像。

步骤S306：基于图像增强网络，对第一去噪网络进行处理，得到第二去噪图像。

在通过神经网络对原始图像进行第一次去噪处理，获得的第一去噪图像中还带有少部分噪声，可以通过图像增强网络对第一去噪图像进行进一步的去噪处理，得到最终几乎去除了所有噪声的第二去噪图像。例如，对在步骤S304中，基于神经网络对原始图像进行去雾处理后，获得的无雾的第一去噪图像进行进一步地去噪处理，以获得无雾且无噪的第二去噪图像。

这里，图像增强网络可以与上述实施例一或实施例二中的训练方法得到的神经网络结构相同，也可以为具有去噪功能的其他结构的神经网络。而且，图像增强网络和上述神经网络所进行的去噪处理可以相同，也可以不同，并且，不限于上述去雾和去噪处理。

根据本发明实施例的图像处理方法，通过采用可对图像进行去噪处理的神经网络对原始图像进行去噪处理后，采用增强神经网络进行进一步的去噪处理，实现了图像增强，有效地得到了无噪的图像。采用本实施例的图像处理方法，可以对带雾带噪的原始图像进行处理，获得清晰的去雾去噪图像，从而有效地实现了自然图像的去雾去噪处理。

本实施例的图像处理方法可以由任意适当的具有图像或数据处理能力的设备执行，包括但不限于：摄像头、终端、移动终端、PC机、服务器、车载设备、娱乐设备、广告设备等。

实施例四

参照图5，示出了根据本发明实施例四的一种神经网络训练装置的结构框图。

本实施例的神经网络训练装置包括：第一获取模块402、生成模块404和训练模块406。

第一获取模块402用于获取带噪样本图像及对应的无噪样本图像；生成模块404用于基于神经网络，生成所述带噪样本图像对应的无噪预估图像；训练模块406用于根据所述无噪预估图像及所述无噪样本图像，对所述神经网络进行训练；其中，所述神经网络为双线性神经网络。

可选地，所述双线性神经网络包括透射率参数及大气光参数；所述生成模块404包括：第一获取单元4042，用于基于神经网络获取所述带噪样本图像的透射率预测值及大气光预测值；生成单元4044，用于根据获取的所述透射率预测值及所述大气光预测值，生成所述带噪样本图像对应的无噪预估图像。

可选地，所述训练模块406包括：第二获取单元4062，用于基于预设组合损失函数，获取所述无噪预估图像及所述无噪样本图像之间的第一差异；参数调整单元4066，用于根据所述第一差异调整所述双线性神经网络的透射率参数及大气光参数。

可选地，所述预设组合损失函数为I＝J*T+A(1–T)，其中，I为所述无噪预估图像，J为所述带噪样本图像，A为所述大气光参数，T为所述透射率参数。

可选地，所述大气光参数的训练网络和所述透射率参数的训练网络均为三层卷积网络。

可选地，所述三层卷积网络包括第一卷积层、第二卷积层和第三卷积层；所述第一卷积层、所述第二卷积层及所述第三层的输入均为RGB三通道图像；所述第一卷积层的卷积核大小为9乘以9，所述第一卷层包括96个通道；所述第二卷积层的卷积核大小为5乘以5，所述第二卷积层包括32个通道；所述第一卷积层与所述第二卷积层之后均连接有Relu层。

可选地，所述大气光参数的训练网络的第三卷积层的输出为三通道，所述透射率参数的训练网络的第三卷基层的输出为一通道。

可选地，所述透射率参数的训练网络还包括用于对所述透射率预测值进行导向滤波的导向滤波器。

可选地，所述训练模块406还包括：第三获取单元4064，用于获取所述透射率预测值与所述透射率参数之间的第二差异，以及所述大气光预测值与所述大气光参数之间的第三差异；所述参数调整单元4066用于根据所述第一差异及其对应的第一权重、所述第二差异及其对应的第二权重，和所述第三差异及其对应的第三权重，调整所述双线性神经网络的透射率参数及大气光参数。

可选地，所述第一权重小于所述第二权重，且所述第一权重小于所述第三权重。

本实施例的神经网络训练装置用于实现前述方法实施例中相应的神经网络训练方法，并具有相应的方法实施例的有益效果，在此不再赘述。

实施例五

参照图6，示出了根据本发明实施例四的一种图像处理装置的结构框图。

本实施例的图像处理装置包括：第二获取模块502和第一处理模块504。

第二获取模块502用于获取原始图像；第一处理模块504用于基于所述神经网络，对所述原始图像进行去噪处理，得到第一去噪图像；其中，所述神经网络为采用前述实施例一或实施例二的神经网络训练方法训练获得的神经网络。

可选地，所述装置还包括：第二处理模块506用于基于图像增强网络，对所述第一去噪网络进行处理，得到第二去噪图像。

本实施例的图像处理装置用于实现前述方法实施例中相应的图像处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。

实施例六

本发明实施例六提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图7，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备600的结构示意图：如图7所示，电子设备600包括一个或多个处理器、通信元件等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)601，和/或一个或多个图像处理器(GPU)613等，处理器可以根据存储在只读存储器(ROM)602中的可执行指令或者从存储部分608加载到随机访问存储器(RAM)603中的可执行指令而执行各种适当的动作和处理。通信元件包括通信组件612和/或通信接口609。其中，通信组件612可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口609包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口609经由诸如因特网的网络执行通信处理。

处理器可与只读存储器602和/或随机访问存储器603中通信以执行可执行指令，通过通信总线604与通信组件612相连、并经通信组件612与其他目标设备通信，从而完成本发明实施例提供的任一项神经网络训练方法对应的操作，例如，获取带噪样本图像及对应的无噪样本图像；基于神经网络，生成所述带噪样本图像对应的无噪预估图像；根据所述无噪预估图像及所述无噪样本图像，对所述神经网络进行训练；其中，所述神经网络为双线性神经网络。

此外，在RAM 603中，还可存储有装置操作所需的各种程序和数据。CPU601或GPU613、ROM602以及RAM603通过通信总线604彼此相连。在有RAM603的情况下，ROM602为可选模块。RAM603存储可执行指令，或在运行时向ROM602中写入可执行指令，可执行指令使处理器执行上述通信方法对应的操作。输入/输出(I/O)接口605也连接至通信总线604。通信组件612可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口609。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

需要说明的，如图7所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图7的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信元件可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。

特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，获取带噪样本图像及对应的无噪样本图像；基于神经网络，生成所述带噪样本图像对应的无噪预估图像；根据所述无噪预估图像及所述无噪样本图像，对所述神经网络进行训练；其中，所述神经网络为双线性神经网络。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器执行时，执行本发明实施例的方法中限定的上述功能。

实施例七

本发明实施例七提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图8，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备700的结构示意图：如图8所示，电子设备700包括一个或多个处理器、通信元件等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)701，和/或一个或多个图像处理器(GPU)713等，处理器可以根据存储在只读存储器(ROM)702中的可执行指令或者从存储部分708加载到随机访问存储器(RAM)703中的可执行指令而执行各种适当的动作和处理。通信元件包括通信组件712和/或通信接口709。其中，通信组件712可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口709包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口709经由诸如因特网的网络执行通信处理。

处理器可与只读存储器702和/或随机访问存储器703中通信以执行可执行指令，通过通信总线704与通信组件712相连、并经通信组件712与其他目标设备通信，从而完成本发明实施例提供的任一项图像处理方法对应的操作，例如，获取原始图像；基于所述神经网络，对所述原始图像进行去噪处理，得到第一去噪图像；其中，所述神经网络为采用前述实施例一或实施例二的神经网络训练方法训练获得的神经网络。

此外，在RAM 703中，还可存储有装置操作所需的各种程序和数据。CPU701或GPU713、ROM702以及RAM703通过通信总线704彼此相连。在有RAM703的情况下，ROM702为可选模块。RAM703存储可执行指令，或在运行时向ROM702中写入可执行指令，可执行指令使处理器执行上述通信方法对应的操作。输入/输出(I/O)接口705也连接至通信总线704。通信组件712可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口709。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

需要说明的，如图8所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图8的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信元件可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。

特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，获取原始图像；基于所述神经网络，对所述原始图像进行去噪处理，得到第一去噪图像；其中，所述神经网络为采用前述实施例一或实施例二的神经网络训练方法训练获得的神经网络。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器执行时，执行本发明实施例的方法中限定的上述功能。

需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。

上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (26)

1.一种神经网络训练方法，其特征在于，包括：

获取带噪样本图像及对应的无噪样本图像；

基于神经网络，生成所述带噪样本图像对应的无噪预估图像；

根据所述无噪预估图像及所述无噪样本图像，对所述神经网络进行训练；其中，所述神经网络为双线性神经网络，

其中，所述双线性神经网络包括用于训练透射率参数的第一分支网络和用于训练大气光参数的第二分支网络，

所述基于神经网络，生成所述带噪样本图像对应的无噪预估图像，包括：

基于所述第一分支网络获取所述带噪样本图像的透射率预测值；

基于所述第二分支网络获取所述带噪样本图像的大气光预测值；

根据获取的所述透射率预测值及所述大气光预测值，生成所述带噪样本图像对应的无噪预估图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述无噪预估图像及所述无噪样本图像，对所述神经网络进行训练，包括：

基于预设组合损失函数，获取所述无噪预估图像及所述无噪样本图像之间的第一差异；

根据所述第一差异调整所述双线性神经网络的透射率参数及大气光参数。

3.根据权利要求2所述的方法，其特征在于，所述预设组合损失函数为I＝J*T+A(1–T)，其中，I为所述无噪预估图像，J为所述带噪样本图像，A为所述大气光参数，T为所述透射率参数。

4.根据权利要求3所述的方法，其特征在于，所述第一分支网络和所述第二分支网络均为三层卷积网络。

5.根据权利要求4所述的方法，其特征在于，所述三层卷积网络包括第一卷积层、第二卷积层和第三卷积层；所述第一卷积层、所述第二卷积层及所述第三卷积层的输入均为RGB三通道图像；

所述第一卷积层的卷积核大小为9乘以9，所述第一卷积层包括96个通道；

所述第二卷积层的卷积核大小为5乘以5，所述第二卷积层包括32 个通道；

所述第一卷积层与所述第二卷积层之后均连接有Relu层。

6.根据权利要求4或5中任一项所述的方法，其特征在于，第二分支网络的第三卷积层的输出为三通道，所述第一分支网络的第三卷基层的输出为一通道。

7.根据权利要求5～6中任一项所述的方法，其特征在于，所述第一分支网络还包括用于对所述透射率预测值进行导向滤波的导向滤波器。

8.根据权利要求2～7中任一项所述的方法，其特征在于，在所述根据所述第一差异调整所述双线性神经网络的透射率参数及大气光参数之前，还包括：

获取所述透射率预测值与所述透射率参数之间的第二差异，以及所述大气光预测值与所述大气光参数之间的第三差异；

所述根据所述第一差异调整所述双线性神经网络的透射率参数及大气光参数，包括：

根据所述第一差异及其对应的第一权重、所述第二差异及其对应的第二权重，和所述第三差异及其对应的第三权重，调整所述双线性神经网络的透射率参数及大气光参数。

9.根据权利要求8所述的方法，其特征在于，所述第一权重小于所述第二权重，且所述第一权重小于所述第三权重。

10.一种图像处理方法，其特征在于，包括：

获取原始图像；

基于神经网络，对所述原始图像进行去噪处理，得到第一去噪图像；

其中，所述神经网络为采用如权利要求1～9任一项所述的神经网络训练方法训练获得的神经网络。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

基于图像增强网络，对所述第一去噪网络进行处理，得到第二去噪图像。

12.一种神经网络训练装置，其特征在于，包括：

第一获取模块，用于获取带噪样本图像及对应的无噪样本图像；

生成模块，用于基于神经网络，生成所述带噪样本图像对应的无噪预估图像；

训练模块，用于根据所述无噪预估图像及所述无噪样本图像，对所述神经网络进行训练；其中，所述神经网络为双线性神经网络，

其中，所述双线性神经网络包括用于训练透射率参数的第一分支网络和用于训练大气光参数的第二分支网络，

所述生成模块包括：

第一获取单元，用于基于所述第一分支网络获取所述带噪样本图像的透射率预测值，并且基于所述第二分支网络获取所述带噪样本图像的大气光预测值；

生成单元，用于根据获取的所述透射率预测值及所述大气光预测值，生成所述带噪样本图像对应的无噪预估图像。

13.根据权利要求12所述的装置，其特征在于，所述训练模块包括：

第二获取单元，用于基于预设组合损失函数，获取所述无噪预估图像及所述无噪样本图像之间的第一差异；

参数调整单元，用于根据所述第一差异调整所述双线性神经网络的透射率参数及大气光参数。

14.根据权利要求13所述的装置，其特征在于，所述预设组合损失函数为I＝J*T+A(1–T)，其中，I为所述无噪预估图像，J为所述带噪样本图像，A为所述大气光参数，T为所述透射率参数。

15.根据权利要求14所述的装置，其特征在于，所述第一分支网络和所述第二分支网络均为三层卷积网络。

16.根据权利要求15所述的装置，其特征在于，所述三层卷积网络包括第一卷积层、第二卷积层和第三卷积层；所述第一卷积层、所述第二卷积层及所述第三卷积层的输入均为RGB三通道图像；

所述第一卷积层的卷积核大小为9乘以9，所述第一卷积层包括96个通道；

所述第二卷积层的卷积核大小为5乘以5，所述第二卷积层包括32个通道；

所述第一卷积层与所述第二卷积层之后均连接有Relu层。

17.根据权利要求15或16中任一项所述的装置，其特征在于，所述第二分支网络的第三卷积层的输出为三通道，所述第一分支网络的第三卷基层的输出为一通道。

18.根据权利要求15～17中任一项所述的装置，其特征在于，所述第一分支网络还包括用于对所述透射率预测值进行导向滤波的导向滤波器。

19.根据权利要求13～18中任一项所述的装置，其特征在于，所述训练模块还包括：

第三获取单元，用于获取所述透射率预测值与所述透射率参数之间的第二差异，以及所述大气光预测值与所述大气光参数之间的第三差异；

所述参数调整单元用于根据所述第一差异及其对应的第一权重、所述第二差异及其对应的第二权重，和所述第三差异及其对应的第三权重，调整所述双线性神经网络的透射率参数及大气光参数。

20.根据权利要求19所述的装置，其特征在于，所述第一权重小于所述第二权重，且所述第一权重小于所述第三权重。

21.一种图像处理装置，其特征在于，包括：

第二获取模块，用于获取原始图像；

第一处理模块，用于基于神经网络，对所述原始图像进行去噪处理，得到第一去噪图像；

其中，所述神经网络为采用如权利要求1～9任一项所述的神经网络训练方法训练获得的神经网络。

22.根据权利要求21所述的装置，其特征在于，所述装置还包括：

第二处理模块，用于基于图像增强网络，对所述第一去噪网络进行处理，得到第二去噪图像。

23.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现权利要求1～9中任一项所述神经网络训练方法的步骤。

24.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现权利要求10或11所述图像处理方法的步骤。

25.一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1～9中任一项所述神经网络训练方法对应的操作。

26.一种电子设备，其中，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求10或11所述图像处理方法对应的操作。

Images