CN110555808A - 一种图像处理方法、装置、设备及机器可读存储介质 - Google Patents

Abstract

本申请提供一种图像处理方法、装置、设备及机器可读存储介质，该方法包括：获取第一数据格式的原始图像；利用已训练的神经网络将所述原始图像转换为第二数据格式的中间图像；利用缓存图像对所述中间图像进行降噪处理，得到第二数据格式的目标图像；其中，所述缓存图像包括所述原始图像的上一帧原始图像对应的目标图像。通过本申请的技术方案，可以利用两帧图像的相关性来区分图像中的信号和噪声，对中间图像进行降噪处理，有效去除噪声。

Description

一种图像处理方法、装置、设备及机器可读存储介质

技术领域

本申请涉及图像技术领域，尤其是涉及一种图像处理方法、装置、设备及机器可读存储介质。

背景技术

成像设备采集的原始图像通常为第一数据格式，而第一数据格式的原始图像无法直接进行显示或者传输，因此，还可以将第一数据格式的原始图像转换为第二数据格式的目标图像，而第二数据格式的目标图像能够进行显示或者传输。例如，可以采用ISP(ImageSignal Processing，图像信号处理)算法将原始图像转换为目标图像，ISP算法用于解决亮度、色彩的补偿和校正等图像处理。

但是，在成像设备采用ISP算法将原始图像转换为目标图像时，由于ISP算法本身的缺陷，以及每个处理模块损失的叠加，会导致目标图像在一定程度上损失原有图像信息，若原有图像信息的损失较为严重，则后续可能无法再修复。而且，在光照条件差时采集的图像，经过ISP算法处理后存在的噪声较大。

发明内容

本申请提供一种图像处理方法、装置、设备及机器可读存储介质，可以有效去除噪声，提高目标图像的质量，提高用户使用感受。

本申请提供一种图像处理方法，所述方法包括：

获取第一数据格式的原始图像；

利用已训练的神经网络将所述原始图像转换为第二数据格式的中间图像；

利用缓存图像对所述中间图像进行降噪处理，得到第二数据格式的目标图像；其中，所述缓存图像包括所述原始图像的上一帧原始图像对应的目标图像。

本申请提供一种图像处理装置，所述装置包括：

图像处理模块，用于获取第一数据格式的原始图像，并利用已训练的神经网络将所述原始图像转换为第二数据格式的中间图像；

视频处理模块，用于利用缓存图像对所述中间图像进行降噪处理，得到第二数据格式的目标图像；

其中，所述缓存图像包括所述原始图像的上一帧原始图像对应的目标图像。

本申请提供一种图像处理设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现上述的方法步骤。

本申请提供一种机器可读存储介质，所述机器可读存储介质上存储有计算机指令，所述计算机指令被执行时，实现上述的方法步骤。

由以上技术方案可见，本申请实施例中，在利用神经网络将第一数据格式的原始图像转换为第二数据格式的中间图像后，可以利用缓存图像对中间图像进行降噪处理，得到第二数据格式的目标图像。由于缓存图像是原始图像的上一帧原始图像对应的目标图像，两帧图像(即缓存图像和中间图像)在时间和空间上紧密相关。可以利用两帧图像的相关性来区分图像中的信号和噪声，对中间图像进行降噪处理，可以有效去除噪声。因此在光照条件较差时也能够有效去除噪声，使得图像中的噪声可以得到有效抑制，提高目标图像的质量。而且，在上述方式中，是利用神经网络将第一数据格式的原始图像转换为第二数据格式的中间图像，可以减少中间图像的原有图像信息损失，后续可以修复。

附图说明

为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。

图1A和图1B是本申请一种实施方式中的神经网络的示意图；

图2A-图2C是本申请一种实施方式中的离线训练神经网络的示意图；

图3是本申请一种实施方式中的图像处理方法的流程图；

图4A-图4D是本申请一种实施方式中的图像处理的示意图；

图5是本申请一种实施方式中的图像处理装置的结构图；

图6是本申请一种实施方式中的图像处理设备的硬件结构图。

具体实施方式

在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请实施例中提出一种图像处理方法，可以应用于图像处理设备，该图像处理设备可以是成像设备，如摄像机等，对此图像处理设备的类型不做限制。

本申请实施例中，在获取到第一数据格式的原始图像后，可以利用神经网络将原始图像转换为第二数据格式的中间图像，需要注意的是，并不是将神经网络输出的中间图像作为目标图像，而是利用缓存图像对中间图像进行降噪处理，从而得到第二数据格式的目标图像，也就是说，目标图像是经过降噪处理的图像，这样，可以利用两帧图像(即缓存图像和中间图像)对中间图像进行降噪处理，可以有效去除噪声，在光照条件较差时也能够有效去除噪声，使得图像中的噪声可以得到有效抑制，提高目标图像的质量，提高用户感受。

为了更加清楚的对本申请进行说明，先对本申请的如下概念进行简要说明：

1、第一数据格式和原始图像。图像处理设备采集到的图像可以为原始图像，原始图像的数据格式可以为第一数据格式，第一数据格式是原始图像格式，通常包含一个或多个光谱波段的图像数据，第一数据格式的原始图像无法直接进行显示或者传输，即在显示或者传输第一数据格式的原始图像时存在异常。例如，第一数据格式可以包括Bayer格式，当然，Bayer格式只是一个示例，对此第一数据格式不做限制，所有原始图像的数据格式，均在本申请保护范围之内。

2、第二数据格式、中间图像和目标图像。图像处理设备利用神经网络对原始图像进行转换后，得到的是中间图像，该中间图像也就是神经网络的输出图像，但是，中间图像并不是最终的目标图像。图像处理设备利用缓存图像对中间图像进行降噪处理后，得到的才是目标图像，即最终输出的图像。

中间图像和目标图像的数据格式均可以为第二数据格式，第二数据格式是适于显示或者传输的任意图像格式，即在显示或者传输第二数据格式的目标图像时，不会发生异常，可以很好的显示或者传输目标图像。例如，第二数据格式可以包括RGB(Red GreenBlue，红绿蓝)格式、YUV(Luminance Chrominance，亮度色度)格式等，当然，RGB格式、YUV格式只是示例，对此第二数据格式不做限制，所有适于显示或者传输的图像格式，均在本申请保护范围之内。

下面介绍本申请实施例中的神经网络，其可以用于将第一数据格式的原始图像转换为第二数据格式的中间图像。在转换过程中，还可以利用神经网络对原始图像进行优化，如对原始图像的属性进行调整，如调整原始图像的亮度、颜色、对比度、信噪比、大小等属性，对此优化方式不做详加限制。

其中，本申请中的神经网络可以包括但不限于：卷积神经网络(简称CNN)、循环神经网络(简称RNN)、全连接网络等，本实施例中以卷积神经网络为例。

其中，本申请中的神经网络的结构单元可以包括但不限于以下之一或者任意组合：卷积层、池化层、激励层、全连接层等，对此不做限制，只要包括至少一个卷积层即可。例如，在一个例子中，神经网络可以包括：至少一个卷积层、至少一个池化层和至少一个全连接层。或者，在另一个例子中，神经网络可以包括：至少一个卷积层和至少一个激励层。

例如，如图1A和图1B所示，为本实施例中所采用的神经网络的两个示例。

在图1A中，神经网络可以由若干个卷积层(Conv)、若干个池化层(Pool)以及一个全连接层(FC)构成，对此卷积层的数量、池化层的数量不做限制。

在图1B中，神经网络可以由若干个卷积层、若干个激励层构成，对此卷积层的数量、激励层的数量，均不做限制。

当然，本申请中用于将第一数据格式的原始图像转换为第二数据格式的中间图像的神经网络还可以为其它结构，对此不做限制，只要包括至少一个卷积层即可，并不局限于图1A或图1B，图1A或图1B示意的神经网络仅为示例。

下面对神经网络中的各个计算层的算法及功能进行说明。

在卷积层中，通过使用卷积核对图像进行卷积运算，使图像特征增强，卷积层在空间范围内使用卷积核进行卷积运算，该卷积核可以是一个m*n大小的矩阵，卷积层的输入与卷积核进行卷积，可得到卷积层的输出。卷积运算实际是一个滤波过程，在卷积运算中，是将图像上点(x，y)的像素值f(x，y)与卷积核w(x，y)进行卷积。例如，提供4*4的卷积核，该4*4的卷积核包含16个数值，这16个数值的大小可以根据需要配置。按照4*4的大小在图像上依次滑动，得到多个4*4的滑动窗口，将该4*4的卷积核与每个滑动窗口进行卷积，得到多个卷积特征，这些卷积特征就是卷积层的输出，且被提供给池化层。

在池化层中，实际上就是一个降采样的过程，通过对多个卷积特征(即卷积层的输出)进行取最大、取最小、取平均值等操作，从而可以减少计算量，并保持特征不变性。在池化层中，可以利用图像局部相关性的原理，对图像进行子抽样，从而可以减少数据处理量，并保留有用信息。在一个例子中，可以利用如下公式对卷积特征进行池化处理：并得到池化处理后的特征。其中，s表示对应的池化处理时的窗口大小(s*s)，m和n均为设定的数值，j和k为卷积层输出的卷积特征，i表示针对第i个图像。

在池化层之后的激励层，可以使用激活函数(如非线性函数)对池化层输出的特征进行映射，从而引入非线性因素，使得神经网络通过非线性的组合而增强表达能力。其中，激励层的激活函数可以包括但不限于ReLU(Rectified Linear Units，整流线性单元)函数，以ReLU函数为例，则该ReLU函数可以将池化层输出的所有特征中，小于0的特征置0，而大于0的特征保持不变。

在全连接层中，该全连接层用于将输入给本全连接层的所有特征进行全连接处理，从而得到一个特征向量，且该特征向量中可以包括多个特征。进一步的，全连接层还可以采用1*1的卷积层，从而可以构成全卷积的网络。

在实际应用中，可以根据不同需求，将一个或多个卷积层、一个或多个池化层、一个或多个激励层和一个或多个全连接层进行组合构建神经网络。

基于上述神经网络，本实施例中，神经网络的输入是第一数据格式的原始图像，神经网络的输出是第二数据格式的中间图像，也就是说，将第一数据格式的原始图像输入给神经网络后，经过神经网络内各结构单元(如卷积层、池化层、激励层、全连接层等)的处理，可以输出第二数据格式的中间图像。

为实现上述功能，可以离线训练神经网络，主要是训练神经网络内各神经网络参数，如卷积层参数(如卷积核参数)、池化层参数、激励层参数等，对此不做限制，所有神经网络涉及的参数，均在本实施例的保护范围之内。通过训练神经网络内各神经网络参数，可以使神经网络拟合出输入和输出的映射关系，即得到第一数据格式的原始图像与第二数据格式的中间图像的映射关系。这样，基于神经网络，当神经网络的输入是第一数据格式的原始图像时，通过上述神经网络参数的处理，神经网络的输出就是第二数据格式的中间图像。

以下结合具体的应用场景，对离线训练神经网络的过程进行详细说明，在本实施例中，介绍两种训练方式，为了区分方便，可以将这两种训练方式得到的神经网络，分别称为第一神经网络和第二神经网络。

参见图2A所示，为了离线训练第一神经网络，可以采集第一数据格式的训练图像、第二数据格式的训练图像，将第一数据格式的训练图像与第二数据格式的训练图像进行关联存储，得到图像数据集，将图像数据集输出给第一神经网络，由第一神经网络利用该图像数据集训练第一神经网络内各神经网络参数。

其中，针对得到图像数据集的过程，可以包括：方式一、针对同一帧图像，成像设备A(能够采集第一数据格式的图像)采集第一数据格式的训练图像A1，成像设备B(能够显示或输出第二数据格式的图像)同步采集第二数据格式的训练图像B1，然后，将训练图像A1和训练图像B1进行关联存储。同理，成像设备A采集训练图像A2，成像设备B采集训练图像B2，将训练图像A2和训练图像B2进行关联存储。以此类推，最终，图像数据集可以包括训练图像A1和训练图像B1的对应关系，训练图像A2和训练图像B2的对应关系，以此类推。

方式二、成像设备A采集第一数据格式的训练图像A1，并通过对该训练图像A1进行处理(如白平衡校正、色彩插值、曲线映射等，对此处理方式不做限制)，得到第二数据格式的训练图像A1’，并将训练图像A1和训练图像A1’进行关联存储。同理，成像设备A采集第一数据格式的训练图像A2，通过对训练图像A2进行处理，得到第二数据格式的训练图像A2’，将训练图像A2和训练图像A2’进行关联存储，以此类推，最终图像数据集可以包括训练图像A1和训练图像A1’的对应关系，训练图像A2和训练图像A2’的对应关系，以此类推。

显然，经过上述两种方式，均可以得到图像数据集，该图像数据集包括第一数据格式的训练图像与第二数据格式的训练图像的对应关系，基于此图像数据集，可以对预先设计的第一神经网络进行训练，即训练各神经网络参数，使得第一神经网络拟合出第一数据格式的图像与第二数据格式的图像的映射关系，对此训练方式不做限制，如反向传播、弹性传播、共轭梯度等方式。

在第一神经网络训练完成后，本实施例中，就可以将原始图像输入已训练的第一神经网络，以由第一神经网络将原始图像的数据格式从第一数据格式转换为第二数据格式，从而得到第二数据格式的中间图像。而且，在第一神经网络训练完成后，还可以在线对第一神经网络进行调整，也就是说，可以利用第一数据格式的原始图像和第二数据格式的目标图像，重新优化第一神经网络内各神经网络参数，对此第一神经网络的在线调整过程不做限制。

参见图2B所示，为了离线训练第二神经网络，可以采集第一数据格式的训练图像、第二数据格式的训练图像、设备参数(即采集第一数据格式的训练图像的成像设备的参数)，将第一数据格式的训练图像、第二数据格式的训练图像和设备参数进行关联存储，得到图像数据集，将图像数据集输出给第二神经网络，由第二神经网络利用该图像数据集训练第二神经网络内各神经网络参数。

其中，针对得到图像数据集的过程，可以包括但不限于：

方式一、针对同一帧图像，成像设备A(能够采集第一数据格式的图像)采集第一数据格式的训练图像A1，并采集成像设备A的设备参数1，成像设备B(能够显示或输出第二数据格式的图像)同步采集第二数据格式的训练图像B1，然后，将训练图像A1、设备参数1和训练图像B1进行关联存储。

同理，成像设备A采集训练图像A2和设备参数2，成像设备B采集训练图像B2，将训练图像A2、设备参数2和训练图像B2进行关联存储。以此类推，最终，图像数据集可以包括训练图像A1、设备参数1和训练图像B1的对应关系，训练图像A2、设备参数2和训练图像B2的对应关系，以此类推。

其中，上述设备参数可以是与环境无关的固定参数(如传感器灵敏度)，也可以是与拍摄环境有关的拍摄参数(例如光圈尺寸)，如可以包括但不限于以下之一或者任意组合：传感器的灵敏度、动态范围、信噪比、像元尺寸、靶面尺寸、分辨率、帧率、像素数、光谱响应、光电响应、阵列模式、镜头的光圈口径、焦距、光圈大小、遮光罩型号、滤镜口径、视角等，对此不做限制。

方式二、成像设备1采集第一数据格式的训练图像集1(包括大量训练图像)，采集成像设备1的设备参数1，并通过对训练图像集1中的每个训练图像进行处理(如白平衡校正、色彩插值、曲线映射等，对此不做限制)，得到第二数据格式的训练图像集1，并将第一数据格式的训练图像集1、设备参数1和第二数据格式的训练图像集1进行关联存储。同理，成像设备2采集第一数据格式的训练图像集2，采集成像设备2的设备参数2，通过对训练图像集2中的每个训练图像进行处理，得到第二数据格式的训练图像集2，将第一数据格式的训练图像集2、设备参数2和第二数据格式的训练图像集2进行关联存储；以此类推，最终图像数据集可以包括第一数据格式的训练图像集1、设备参数1和第二数据格式的训练图像集1的对应关系，第一数据格式的训练图像集2、设备参数2和第二数据格式的训练图像集2的对应关系，以此类推，参见图2C所示。

显然，经过上述两种方式，均可以得到图像数据集，该图像数据集包括第一数据格式的训练图像、设备参数与第二数据格式的训练图像的对应关系，基于此图像数据集，可以对预先设计的第二神经网络进行训练，即训练神经网络参数，使得第二神经网络拟合出第一数据格式的图像、设备参数与第二数据格式的图像的映射关系，对此训练方式不做限制，如反向传播、弹性传播、共轭梯度等方式。需要注意的是，第二神经网络拟合出的映射关系中存在设备参数。

在第二神经网络训练完成后，本实施例中，可以获取原始图像以及采集原始图像的设备参数，并可以将原始图像和所述设备参数输入至已训练的第二神经网络，以由第二神经网络根据所述设备参数将所述原始图像的数据格式从所述第一数据格式转换为第二数据格式，从而得到第二数据格式的中间图像。

在上述应用场景下，以下结合几个具体实施例对图像处理方法进行说明。

实施例一：

参见图3所示，为图像处理方法的流程示意图，该方法可以包括：

步骤301，获取第一数据格式的原始图像。

在一个例子中，可以对第一波长范围的光信号进行采样，得到原始图像；或者，对第二波长范围的光信号进行采样，得到原始图像；或者，对第一波长范围和第二波长范围的光信号进行采样，得到原始图像。其中，第一波长范围可以是波长范围380nm-780nm，第二波长范围可以是波长范围780nm-2500nm。

步骤302，利用已训练的神经网络将该原始图像转换为第二数据格式的中间图像。参见上述实施例，可将原始图像输入已训练的第一神经网络，以由第一神经网络将原始图像的数据格式从所述第一数据格式转换为第二数据格式；或者，先获取采集第一数据格式的原始图像的设备参数；再将原始图像和所述设备参数输入至已训练的第二神经网络，以由第二神经网络根据所述设备参数将所述原始图像的数据格式从所述第一数据格式转换为第二数据格式。

上述实施例中已经介绍神经网络的功能是将第一数据格式的原始图像转换为第二数据格式的中间图像，因此，得到第一数据格式的原始图像后，可以利用神经网络将原始图像转换为第二数据格式的中间图像，对此不再赘述。

步骤303，利用缓存图像对中间图像进行降噪处理，得到第二数据格式的目标图像；该缓存图像包括该原始图像的上一帧原始图像对应的目标图像。步骤303后，可以将该目标图像更新为该原始图像的下一帧原始图像对应的缓存图像。

例如，针对第一帧原始图像1，在得到原始图像1的目标图像1(对此目标图像1的获取方式不做限制，如直接将原始图像1的中间图像1确定为目标图像1)后，在缓存中更新目标图像1为缓存图像。针对第二帧原始图像2，在得到原始图像2的中间图像2后，利用缓存图像(即目标图像1)对中间图像2进行降噪处理，得到目标图像2，并在缓存中更新目标图像2为缓存图像，即目标图像1不再是缓存图像。针对第三帧原始图像3，在得到原始图像3的中间图像3后，利用缓存图像(即目标图像2)对中间图像3进行降噪处理，得到目标图像3，并在缓存中更新目标图像3为缓存图像，即目标图像2不再是缓存图像。

以此类推，可以不断更新缓存中的缓存图像，利用上一帧原始图像对应的目标图像，对当前帧的原始图像对应的中间图像进行降噪处理，得到目标图像。

其中，利用缓存图像对中间图像进行降噪处理，得到第二数据格式的目标图像，包括但不限于：根据中间图像和缓存图像获取中间图像中的每个像素点的运动估计值；根据运动估计值将中间图像转换为第二数据格式的目标图像。

由以上技术方案可见，本申请实施例中，在利用神经网络将第一数据格式的原始图像转换为第二数据格式的中间图像后，可以利用缓存图像对中间图像进行降噪处理，得到第二数据格式的目标图像。由于缓存图像是原始图像的上一帧原始图像对应的目标图像，两帧图像(即缓存图像和中间图像)在时间和空间上紧密相关。可以利用两帧图像的相关性来区分图像中的信号和噪声，对中间图像进行降噪处理，可以有效去除噪声。因此在光照条件较差时也能够有效去除噪声，使得图像中的噪声可以得到有效抑制，提高目标图像的质量。

实施例二：

在一个实施例中，上述方法流程可以由图像处理装置100执行，如图4A所示，该图像处理装置100可以包含3个模块：图像处理模块101、视频处理模块102和训练学习模块103。其中，图像处理模块101用于执行上述步骤301和步骤302，视频处理模块102用于执行上述步骤303。

其中，训练学习模块103是离线模块，预先利用图像数据集进行训练学习，对神经网络进行调整，再将调整后的神经网络输出到图像处理模块101，可以执行上述实施例中介绍的第一神经网络和第二神经网络的离线训练。

图像处理模块101从训练学习模块103获取预先调整好的神经网络，对输入的第一数据格式的原始图像进行处理，输出第二数据格式的中间图像。

视频处理模块102接收图像处理模块101输出的一帧第二数据格式的中间图像，结合缓存中存储的缓存图像的信息进行视频降噪处理，得到目标图像，并将处理后的目标图像存入缓存中进行更新，即目标图像作为下一帧的缓存图像，其中，视频处理模块102可以在缓存中记录一帧图像作为缓存图像。

在一个实施例中，如图4B所示，视频处理模块102由运动估计单元201和时域处理单元202构成，可由运动估计单元201执行步骤S1，可由时域处理单元202执行步骤S2，由运动估计单元201和时域处理单元202实现上述步骤303。

步骤S1，根据该中间图像和缓存图像获取该中间图像中的每个像素点的运动估计值。其中，缓存图像包括该原始图像的上一帧原始图像对应的目标图像。

步骤S2，根据所述运动估计值将中间图像转换为第二数据格式的目标图像。

当然，上述由运动估计单元201和时域处理单元202组成的视频处理模块102只是一个示例，在实际应用中，视频处理模块102还可以包括其它单元，如噪声估计单元、空域处理单元等，噪声估计单元用于对图像进行噪声估计，而空域处理单元用于对图像进行空域处理，对此处理过程不做限制。

例如，在另一个实施例中，如图4C所示，视频处理模块102由运动估计单元201、时域处理单元202、噪声估计单元203和空域处理单元204构成，由上述运动估计单元201、时域处理单元202、噪声估计单元203和空域处理单元204实现上述步骤303。或者，如图4D所示，视频处理模块102由运动估计单元201、时域处理单元202和空域处理单元204构成，由上述运动估计单元201、时域处理单元202和空域处理单元204实现上述步骤303。

实施例三：

在一个实施例中，通过步骤4031和步骤4032来实现上述步骤S1，具体为：

步骤4031，根据该中间图像和该缓存图像获取关联性图像。其中，关联性图像是由中间图像和缓存图像对应位置的像素值，按照预设的计算方式得到的，该预设的计算方式可以是帧差法、卷积法、互相关法等，对此不做限制。

其中，根据该中间图像和该缓存图像获取关联性图像，可以包括但不限于：

方式一、采用帧差法计算关联性图像，即将中间图像和缓存图像的每个像素值作差，得到关联性图像。例如，针对关联性图像中的每个像素点，获取该像素点在中间图像对应的第一像素值、该像素点在缓存图像对应的第二像素值，并将第一像素值与第二像素值的差，确定为该像素点在关联性图像的像素值。

例如，中间图像的大小为6*4，缓存图像的大小为6*4，关联性图像的大小为6*4，6表示横坐标的像素点数量，4表示纵坐标的像素点数量。当然，6和4只是一个示例，实际应用中，横坐标的像素点数量远大于6，纵坐标的像素点数量远大于4，对此不做限制，但中间图像、缓存图像、关联性图像的大小相同。

进一步的，可以假设中间图像的像素点依次是A11-A16、A21-A26、A31-A36、A41-A46，假设缓存图像的像素点依次是B11-B16、B21-B26、B31-B36、B41-B46，假设关联性图像的像素点依次是C11-C16、C21-C26、C31-C36、C41-C46。

在此应用场景下，由于中间图像和缓存图像已知，因此，中间图像的每个像素点的像素值已知，缓存图像的每个像素点的像素值已知，为了计算关联性图像的每个像素点的像素值，可以采用如下方式：针对关联性图像中的像素点C11，获取该像素点C11在中间图像对应的第一像素值(像素点A11的像素值)、该像素点C11在缓存图像对应的第二像素值(像素点B11的像素值)，然后，将第一像素值与第二像素值的差确定为像素点C11在关联性图像的像素值。对于关联性图像中的其它像素点，处理方式参见像素点C11，不再重复赘述。

方式二、采用卷积法计算关联性图像，即将中间图像和缓存图像的图像块作卷积，得到关联性图像，该图像块的尺寸为预设，如3*3。例如，针对关联性图像中的每个像素点，从该中间图像选择该像素点对应的第一图像块，并从缓存图像选择该像素点对应的第二图像块，并将该第一图像块与该第二图像块的卷积值(即两个矩阵的卷积值)，确定为该像素点在关联性图像的像素值。

例如，可以假设中间图像的像素点依次是A11-A16、A21-A26、A31-A36、A41-A46，假设缓存图像的像素点依次是B11-B16、B21-B26、B31-B36、B41-B46，假设关联性图像的像素点依次是C11-C16、C21-C26、C31-C36、C41-C46。

在此应用场景下，由于中间图像和缓存图像已知，因此，中间图像的每个像素点的像素值已知，缓存图像的每个像素点的像素值已知，为了计算关联性图像的每个像素点的像素值，可以采用如下方式：针对关联性图像中的像素点C11，从中间图像选择像素点C11对应的第一图像块，该第一图像块是一个3*3的矩阵，第一行为A11的像素值、A12的像素值和A13的像素值，第二行为A21的像素值、A22的像素值和A23的像素值，第三行为A31的像素值、A32的像素值和A33的像素值。从缓存图像选择像素点C11对应的第二图像块，该第二图像块是一个3*3的矩阵，第一行为B11的像素值、B12的像素值和B13的像素值，第二行为B21的像素值、B22的像素值和B23的像素值，第三行为B31的像素值、B32的像素值和B33的像素值。然后，计算第一图像块与第二图像块的卷积值，这个卷积值就是像素点C11在关联性图像的像素值。对于关联性图像中的其它像素点，处理方式可以参见像素点C11，在此不再重复赘述。

当然，上述方式一和方式二只是获取关联性图像的两个示例，还可以采用其它方式获取关联性图像，如采用互相关法计算关联性图像，对此不做限制。

步骤4032，根据该关联性图像获取该中间图像中的每个像素点的运动估计值，其中，所述运动估计值的取值可以是二值化的，或者，可以是连续的。

例如，可以采用平滑处理方式、映射处理方式和阈值处理方式中的至少一种获取中间图像中的每个像素点的运动估计值。进一步的，平滑处理可以包括：具有平滑特性的图像滤波操作(如均值滤波操作、中值滤波操作、高斯滤波操作等，对此图像滤波操作不做限制)。所述映射处理可以包括：线性缩放操作和平移操作。所述阈值处理可以包括：根据像素值与阈值的大小关系确定运动估计值；将运动估计值的取值限定到阈值划分的范围以内，对此不做限制。

其中，获取每个像素点的运动估计值的过程，可以包括但不限于：

方式一、若运动估计值采用二值化取值，并采用平滑处理和阈值处理等方式，获取该中间图像中的每个像素点的运动估计值，则可以对关联性图像进行均值滤波操作和阈值处理等，从而得到中间图像中的每个像素点的运动估计值。

例如，针对中间图像中的每个像素点，可以从关联性图像选择该像素点对应的第三图像块，对第三图像块进行均值滤波，得到该像素点对应的像素值；若该像素值大于阈值，则确定该像素点的运动估计值为第一数值(如1)，若该像素值不大于阈值，则确定该像素点的运动估计值为第二数值(如0)。

例如，假设中间图像的像素点依次是A11-A16、A21-A26、A31-A36、A41-A46，假设关联性图像的像素点依次是C11-C16、C21-C26、C31-C36、C41-C46。由于关联性图像已知(参见步骤4031)，因此，关联性图像的每个像素点的像素值已知，为了计算中间图像中的每个像素点的运动估计值，可以采用如下方式：

针对中间图像中的像素点A11，可以从关联性图像选择像素点A11对应的第三图像块，该第三图像块可以是一个3*3的矩阵(该矩阵也可以为其它大小的矩阵，对此不做限制)，第一行为C11的像素值、C12的像素值和C13的像素值，第二行为C21的像素值、C22的像素值和C23的像素值，第三行为C31的像素值、C32的像素值和C33的像素值。然后，可以对第三图像块的9个像素值进行均值滤波(即计算9个像素值的均值)，而均值滤波结果就是像素点A11对应的像素值。若该像素值大于阈值，则像素点A11的运动估计值可以为1，若该像素值不大于阈值，则像素点A11的运动估计值可以为0。对于中间图像中的其它像素点，处理方式可以参见像素点A11，在此不再重复赘述。

方式二、若运动估计值采用连续取值，并采用平滑处理和映射处理等方式，获取该中间图像中的每个像素点的运动估计值，则可以对关联性图像进行中值滤波操作和线性缩放操作等，从而得到中间图像中的每个像素点的运动估计值。

例如，对关联性图像中的每个像素点的像素值进行中值滤波，得到位于特定区间(如区间0-1)的滤波值；然后，针对中间图像中的每个像素点，还可以获取该像素点对应的位于特定区间的滤波值，并将该滤波值确定为该像素点的运动估计值，即该运动估计值也是位于特定区间(如区间0-1)的数值。

例如，假设中间图像的像素点依次是A11-A16、A21-A26、A31-A36、A41-A46，假设关联性图像的像素点依次是C11-C16、C21-C26、C31-C36、C41-C46。由于关联性图像已知(参见步骤4031)，因此，关联性图像的每个像素点的像素值已知，为了计算中间图像中的每个像素点的运动估计值，可以采用如下方式：

例如，先对关联性图像中的每个像素点的像素值进行中值滤波，将其取值线性缩放到[0，1]范围内，得到位于区间[0，1]的滤波值，假设像素值的取值范围是0-255，则可以将每个像素点的像素值除以255，得到位于区间[0，1]的滤波值。例如，将像素点C11的像素值10除以255，得到滤波值0.039，将像素点C12的像素值50除以255，得到滤波值0.196，以此类推。然后，针对中间图像中的像素点A11，像素点A11就对应像素点C11的滤波值0.039，即像素点A11的运动估计值是0.039；针对中间图像中的像素点A12，像素点A12就对应像素点C12的滤波值0.196，即像素点A12的运动估计值是0.196；以此类推。

当然，上述方式一和方式二只是获取中间图像中的每个像素点的运动估计值的两个示例，还可以采用其它方式获取运动估计值，对此不做限制。

实施例四：

在一个实施例中，可通过步骤4041和步骤4042来实现上述步骤S2，当然，还可以采用其它方式获取第二数据格式的目标图像，对此不做限制，只要能够根据运动估计值得到目标图像即可。步骤4041和步骤4042具体为：

步骤4041，根据该中间图像和该缓存图像获取低噪图像，低噪图像是噪声程度低于中间图像的图像，对此不做限制，如中间图像和缓存图像的均值图像。

例如，假设中间图像的像素点依次是A11-A16、A21-A26、A31-A36、A41-A46，假设缓存图像的像素点依次是B11-B16、B21-B26、B31-B36、B41-B46，假设低噪图像的像素点依次是D11-D16、D21-D26、D31-D36、D41-D46。基于此，由于中间图像和缓存图像已知，因此，中间图像和缓存图像的每个像素点的像素值为已知，为了计算低噪图像的每个像素点的像素值，可以采用如下方式：

针对低噪图像中的像素点D11，获取像素点D11在中间图像对应的像素值(像素点A11的像素值)、像素点D11在缓存图像对应的像素值(像素点B11的像素值)，将上述两个像素值的均值确定为像素点D11在低噪图像的像素值。对于低噪图像中的其它像素点，处理方式参见像素点D11，不再重复赘述。

步骤4042，根据中间图像、低噪图像和运动估计值获取目标图像。

在一个例子中，根据中间图像、低噪图像和运动估计值获取目标图像，可以包括但不限于：确定目标图像中的第一像素点的像素值，第一像素点为目标图像中的任意一个像素点，第一像素点的像素值通过以下方式确定：根据第一像素点的运动估计值确定第一像素点在中间图像的第一权重、第一像素点在低噪图像的第二权重；根据第一像素点在中间图像对应的像素值和第一权重、第一像素点在低噪图像对应的像素值和第二权重，确定第一像素点在目标图像的像素值；根据目标图像的所有像素点的像素值，确定目标图像。

例如，假设该第一像素点的运动估计值为A，则该第一像素点在中间图像的第一权重可以为A，该第一像素点在低噪图像的第二权重可以为(1-A)，假设该第一像素点在中间图像对应的像素值为N，该第一像素点在低噪图像对应的像素值为M，则该第一像素点在目标图像的像素值为N*A+M*(1-A)。当然，上述方式只是一个示例，还可以采用其它方式得到该第一像素点在目标图像的像素值，对此不做限制。

例如，假设中间图像的像素点依次是A11-A16、A21-A26、A31-A36、A41-A46，假设低噪图像的像素点依次是D11-D16、D21-D26、D31-D36、D41-D46，假设目标图像的像素点依次是E11-E16、E21-E26、E31-E36、E41-E46，由于中间图像和低噪图像为已知，因此，中间图像和低噪图像的每个像素点的像素值为已知，为了计算目标图像的每个像素点在目标图像的像素值，可以采用如下方式：

针对目标图像中的像素点E11，确定第一权重为像素点E11的运动估计值、第二权重为1减去像素点E11的运动估计值，然后，计算像素点A11的像素值*第一权重+像素点D11的像素值*第二权重，这个计算结果就是像素点E11的像素值。对于目标图像中的其它像素点，处理方式参见像素点E11，不再重复赘述。

从上述实施例中可以看出，当运动估计值越大时，则说明第一权重越大，第二权重越小，即中间图像的像素值所占比重越高，且低噪图像的像素值所占比重越低，当运动估计值越小时，则说明第一权重越小，第二权重越大，即中间图像的像素值所占比重越低，且低噪图像的像素值所占比重越高。

由于上述原理，则：当像素点E11的运动估计值比较大(如大于0.5)时，则第一权重大于第二权重，由于运动估计值比较大时，说明与上一帧相比，像素点E11的变化较大，即当前帧的像素值更加准确。显然，由于第一权重大于第二权重，因此，当前帧的中间图像的像素值所占的比重更大，更加符合运动估计值较大的需求，这样，像素点E11在目标图像中的像素值更加准确。

在上述实施例中，像素点的像素值可以包括但不限于像素点的灰度值、亮度值、色度值，对此像素值的类型不做限制，可以与实际的图像有关。

由以上技术方案可见，本申请实施例中，在利用神经网络将第一数据格式的原始图像转换为第二数据格式的中间图像后，可以利用缓存图像对中间图像进行降噪处理，得到第二数据格式的目标图像。由于缓存图像是原始图像的上一帧原始图像对应的目标图像，两帧图像(即缓存图像和中间图像)在时间和空间上紧密相关。可以利用两帧图像的相关性来区分图像中的信号和噪声，对中间图像进行降噪处理，可以有效去除噪声。因此在光照条件较差时也能够有效去除噪声，使得图像中的噪声可以得到有效抑制，提高目标图像的质量。

基于与上述方法同样的申请构思，本申请实施例中还提出一种图像处理装置，如图5所示，为所述图像处理装置的结构图，所述图像处理装置包括：

图像处理模块501，用于获取第一数据格式的原始图像，并利用已训练的神经网络将所述原始图像转换为第二数据格式的中间图像；

视频处理模块502，用于利用缓存图像对所述中间图像进行降噪处理，得到第二数据格式的目标图像；

其中，所述缓存图像包括所述原始图像的上一帧原始图像对应的目标图像。

所述图像处理模块501利用神经网络将所述原始图像转换为第二数据格式的中间图像时具体用于：

将所述原始图像输入已训练的第一神经网络，以由所述第一神经网络将所述原始图像的数据格式从所述第一数据格式转换为第二数据格式；或者，

获取采集所述第一数据格式的原始图像的设备参数；

将所述原始图像和所述设备参数输入至已训练的第二神经网络，以由所述第二神经网络根据所述设备参数将所述原始图像的数据格式从所述第一数据格式转换为第二数据格式。

所述视频处理模块502根据中间图像和缓存图像获取所述中间图像中的每个像素点的运动估计值时具体用于：根据所述中间图像和所述缓存图像获取关联性图像；根据关联性图像获取所述中间图像中的每个像素点的运动估计值。

所述视频处理模块502采用平滑处理方式、映射处理方式和阈值处理方式中的至少一种获取所述中间图像中的每个像素点的运动估计值。

所述视频处理模块502根据所述运动估计值将所述中间图像转换为第二数据格式的目标图像时具体用于：根据所述中间图像和所述缓存图像获取低噪图像；根据所述中间图像、所述低噪图像和所述运动估计值获取目标图像。

所述视频处理模块502根据所述中间图像、所述低噪图像和所述运动估计值获取目标图像时具体用于：

确定目标图像中的第一像素点的像素值，所述第一像素点为所述目标图像中的任意一个像素点，所述第一像素点的像素值通过以下方式确定：根据所述第一像素点的运动估计值确定所述第一像素点在中间图像的第一权重、所述第一像素点在低噪图像的第二权重；根据所述第一像素点在中间图像对应的像素值和所述第一权重、所述第一像素点在低噪图像对应的像素值和所述第二权重，确定所述第一像素点在所述目标图像的像素值；

根据所述目标图像的所有像素点的像素值，确定所述目标图像。

本申请实施例提供的图像处理设备，从硬件层面而言，其硬件架构示意图具体可以参见图6所示。包括：处理器和机器可读存储介质，其中：所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现本申请上述示例公开的图像处理方法。

其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (15)

1.一种图像处理方法，其特征在于，所述方法包括：

获取第一数据格式的原始图像；

利用已训练的神经网络将所述原始图像转换为第二数据格式的中间图像；

利用缓存图像对所述中间图像进行降噪处理，得到第二数据格式的目标图像；其中，所述缓存图像包括所述原始图像的上一帧原始图像对应的目标图像。

2.根据权利要求1所述的方法，其特征在于，所述神经网络包括：至少一个卷积层、至少一个池化层和至少一个全连接层；或者，

所述神经网络包括：至少一个卷积层和至少一个激励层。

3.根据权利要求1所述的方法，其特征在于，所述利用神经网络将所述原始图像转换为第二数据格式的中间图像，包括：

将所述原始图像输入已训练的第一神经网络，以由所述第一神经网络将所述原始图像的数据格式从所述第一数据格式转换为第二数据格式；或者，

获取采集所述第一数据格式的原始图像的设备参数；

将所述原始图像和所述设备参数输入至已训练的第二神经网络，以由所述第二神经网络根据所述设备参数将所述原始图像的数据格式从所述第一数据格式转换为第二数据格式。

4.根据权利要求1所述的方法，其特征在于，所述利用缓存图像对所述中间图像进行降噪处理，得到第二数据格式的目标图像，包括：

根据中间图像和缓存图像获取所述中间图像中的每个像素点的运动估计值；

根据所述运动估计值将所述中间图像转换为第二数据格式的目标图像。

5.根据权利要求4所述的方法，其特征在于，采用平滑处理方式、映射处理方式和阈值处理方式中的至少一种获取所述中间图像中的每个像素点的运动估计值。

6.根据权利要求4所述的方法，其特征在于，所述根据所述运动估计值将所述中间图像转换为第二数据格式的目标图像，包括：

根据所述中间图像和所述缓存图像获取低噪图像；

根据所述中间图像、所述低噪图像和所述运动估计值获取目标图像。

7.根据权利要求6所述的方法，其特征在于，所述根据所述中间图像、所述低噪图像和所述运动估计值获取目标图像，包括：

确定目标图像中的第一像素点的像素值，所述第一像素点为所述目标图像中的任意一个像素点，所述第一像素点的像素值通过以下方式确定：根据所述第一像素点的运动估计值确定所述第一像素点在中间图像的第一权重、所述第一像素点在低噪图像的第二权重；根据所述第一像素点在中间图像对应的像素值和所述第一权重、所述第一像素点在低噪图像对应的像素值和所述第二权重，确定所述第一像素点在所述目标图像的像素值；

根据所述目标图像的所有像素点的像素值，确定所述目标图像。

8.一种图像处理装置，其特征在于，所述装置包括：

图像处理模块，用于获取第一数据格式的原始图像，并利用已训练的神经网络将所述原始图像转换为第二数据格式的中间图像；

视频处理模块，用于利用缓存图像对所述中间图像进行降噪处理，得到第二数据格式的目标图像；

其中，所述缓存图像包括所述原始图像的上一帧原始图像对应的目标图像。

9.根据权利要求8所述的装置，其特征在于，所述图像处理模块利用神经网络将所述原始图像转换为第二数据格式的中间图像时具体用于：

将所述原始图像输入已训练的第一神经网络，以由所述第一神经网络将所述原始图像的数据格式从所述第一数据格式转换为第二数据格式；或者，

获取采集所述第一数据格式的原始图像的设备参数；

将所述原始图像和所述设备参数输入至已训练的第二神经网络，以由所述第二神经网络根据所述设备参数将所述原始图像的数据格式从所述第一数据格式转换为第二数据格式。

10.根据权利要求8所述的装置，其特征在于，所述视频处理模块利用缓存图像对所述中间图像进行降噪处理，得到第二数据格式的目标图像时具体用于：根据中间图像和缓存图像获取所述中间图像中的每个像素点的运动估计值；根据所述运动估计值将所述中间图像转换为第二数据格式的目标图像。

11.根据权利要求10所述的装置，其特征在于，

所述视频处理模块采用平滑处理方式、映射处理方式和阈值处理方式中的至少一种获取所述中间图像中的每个像素点的运动估计值。

12.根据权利要求10所述的装置，其特征在于，

所述视频处理模块根据所述运动估计值将所述中间图像转换为第二数据格式的目标图像时具体用于：根据所述中间图像和所述缓存图像获取低噪图像；根据所述中间图像、所述低噪图像和所述运动估计值获取目标图像。

13.根据权利要求12所述的装置，其特征在于，所述视频处理模块根据所述中间图像、所述低噪图像和所述运动估计值获取目标图像时具体用于：

确定目标图像中的第一像素点的像素值，所述第一像素点为所述目标图像中的任意一个像素点，所述第一像素点的像素值通过以下方式确定：根据所述第一像素点的运动估计值确定所述第一像素点在中间图像的第一权重、所述第一像素点在低噪图像的第二权重；根据所述第一像素点在中间图像对应的像素值和所述第一权重、所述第一像素点在低噪图像对应的像素值和所述第二权重，确定所述第一像素点在所述目标图像的像素值；

根据所述目标图像的所有像素点的像素值，确定所述目标图像。

14.一种图像处理设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现权利要求1-7任一所述的方法步骤。

15.一种机器可读存储介质，其特征在于，所述机器可读存储介质上存储有计算机指令，所述计算机指令被执行时，实现权利要求1-7任一所述的方法步骤。