CN113344821A - 图像降噪方法、装置、终端、存储介质 - Google Patents

Abstract

本发明实施例提供一种图像降噪方法、装置、终端、存储介质，方法包括：获取第一图像组，第一图像组包括参考图像和与参考图像对齐的若干帧对齐图像，每个对齐图像包括多个目标点，且每个对齐图像的多个目标点与参考图像中的多个特征点一一对应；根据对齐图像与参考图像之间的局部差异信息剔除第一鬼影；根据对齐图像与参考图像之间的整体差异信息剔除第二鬼影；将剔除第一鬼影和第二鬼影的对齐图像与参考图像进行融合，并输出最终图像。利用多帧图像的优势，实现降噪和动态范围提升，又能实现快速运算，达到实时的目的，同时又可以恰当处理运动场景，使鬼影得到很好的抑制，不影响图像质量。

Description

图像降噪方法、装置、终端、存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像降噪方法、装置、终端、存储介质。

背景技术

随着硬件技术的提升以及软件算法的更新，为了获得更佳的视觉效果，采用多帧的计算摄影技术在手机camera中应用越来越普遍。当拍摄对象为静止场景时，来自不同图像的像素间配准通常比较准确，一般可以取得良好的效果。然而，当拍摄画面中存在运动物体时，鬼影与运动模糊也需要得到很好的控制。

发明内容

本发明实施例提供一种图像降噪方法、装置、终端、存储介质，通过该图像降噪方法既能利用多帧图像的优势，实现降噪和动态范围提升，又能实现快速运算，达到实时的目的，同时又可以恰当处理运动场景，使鬼影得到很好的抑制，不影响图像质量。

第一方面，本发明实施例提供一种图像降噪方法，所述方法包括：获取第一图像组，所述第一图像组包括参考图像和与所述参考图像对齐的若干帧对齐图像，每个所述对齐图像包括多个目标点，且每个所述对齐图像的所述多个目标点与所述参考图像中的多个特征点一一对应；根据所述对齐图像与所述参考图像之间的局部差异信息剔除第一鬼影；根据所述对齐图像与所述参考图像之间的整体差异信息剔除第二鬼影；将剔除所述第一鬼影和所述第二鬼影的对齐图像与所述参考图像进行融合，并输出最终图像。

进一步地，所述获取第一图像组包括：确定输入的一组图像中多帧图像是否曝光相同；若确定输入的一组图像中的多帧图像曝光不同，则对所述组多帧图像进行亮度矫正，使多帧图像的亮度达到一致；以及若确定输入的一组图像中的所述多帧图像曝光相同，则选取所述多帧图像中解析力最高的一帧图像作为所述参考图像，并将所述多帧图像中除所述参考图像外的其余图像向所述参考图像做对齐，以获取到所述第一图像组。

进一步地，所述每个所述对齐图像的所述多个目标点与所述参考图像中的多个特征点一一对应包括：每个所述对齐图像的所述多个目标点与所述参考图像中的多个像素点一一对齐。

进一步地，所述根据所述对齐图像的每个目标区域与所述参考图像中对应区域之间的局部差异信息剔除第一鬼影包括：计算所述对齐图像中所有像素点与所述参考图像中对应像素点之间位置上的第一差值；计算所述第一差值与第一阈值的差以得到第二差值，若所述第二差值小于第二阈值，则确定所述目标点对应的权值为第一权值，若所述第二差值不小于所述第二阈值，则根据所述目标点对应的所述第二差值和所述目标点对应的置信度计算所述目标点对应的第二权值；以及根据每个所述目标点的所述第一权值或所述第二权值剔除相应帧所述对齐图像中的第一鬼影。

进一步地，所述根据所述目标点对应的所述第二差值和所述目标点对应的置信度计算所述目标点对应的第二权值包括：通过以下公式计算所述第二权值：

W2(i，j)＝exp^(-diff2(i，j)*diff2(i，j)/(thegma(i，j)*thegma(i，j)))；

其中，(i，j)表示所述参考图像中每一个像素点的位置，W2(i，j)表示所述目标小块的所述第二权值，diff2(i，j)表示所述目标点的所述第二差值，thegma(i，j)表示所述像素位置(i，j)的所述置信度。

进一步地，所述根据所述对齐图像与参考图像之间的整体差异信息剔除第二鬼影包括：获取第二图像组，所述第二图像组包括被划分为m*n个参考小块的所述参考图像和所述参考图像小块对齐的多帧第二图像，其中，1≤m，1≤n，且m和n为正整数，所述多帧第二图像为已剔除所述第一鬼影的多帧所述对齐图像，且所述第二图像包含多个目标小块，所述多个目标小块与所述参考图像的m*n个所述参考小块一一对齐；计算每个所述目标小块与相应对齐的所述参考小块之间的整体差异信息；根据所述整体差异信息计算每一个所述目标小块中存在第二鬼影的概率，若所述存在第二鬼影的概率大于第三阈值，确定所述目标小块中存在所述第二鬼影；若确定存在所述第二鬼影，则执行以下步骤：分解所述参考图像以生成参考基本层和参考细节层，并分别分解所述多帧第二图像以生成各帧所述第二图像对应的对齐基本层和对齐细节层；根据所述对齐基本层、所述参考基本层以及对应所述齐图像中存在第二鬼影的概率剔除所述对齐基本层存在的所述第二鬼影，并保留所述对齐细节层的噪声；其中，所述基本层包括经过低频滤波处理的图像，所述细节层包括原始图像除去所述基本层得到的图像。

进一步地，所述计算每个所述目标小块与相应对齐的所述参考小块之间的整体差异信息包括：

通过以下公式计算每个所述目标小块与相应对齐的所述参考小块之间的所述整体差异信息：

Diff_patch＝sum{abs[alt_new(x,y)-ref(x,y)]}；

其中，(x，y)表示所述目标小块和相应对齐的参考小块中每一个像素的位置，Diff_patch表示所述目标小块与相应对齐的所述之间的整体差异信息，所述alt_new(x,y)表示所述目标小块中像素位置(x，y)的像素值，所述ref(x,y)表示所述参考小块中像素位置(x，y)的像素值，所述abs为绝对值函数，所述sum为求和函数。

进一步地，所述根据所述整体差异信息计算每一个所述目标小块中存在第二鬼影的概率包括：

通过以下公式计算所述存在第二鬼影的概率：

W patch＝Diff_patch/(Diff_patch+gain*thr_patch)；

其中，W_patch表示所述存在第二鬼影的概率，Diff patch表示所述目标小块与相应对齐的所述参考小块之间的整体差异信息，gain表示设置的参数控制因子，thr_patch表示所述第三阈值。

第二方面，本申请实施例还提供一种图像降噪装置，所述装置包括：图像获取模块，用于获取第一图像组，所述第一图像组包括参考图像和与所述参考图像对齐的若干帧对齐图像，每个所述对齐图像包括多个目标点，且每个所述对齐图像的所述多个目标点与所述参考图像中的多个特征点一一对应；第一鬼影处理模块，用于根据所述对齐图像与所述参考图像之间的局部差异信息剔除第一鬼影；第二鬼影处理模块，用于根据所述对齐图像与参考图像之间的整体差异信息剔除第二鬼影；以及融合模块，用于将剔除所述第一鬼影和所述第二鬼影的对齐图像与所述参考图像进行融合，并输出最终图像。

第三方面，本申请实施例还提供一种图像降噪装置，所述装置包括：处理器和存储器，所述存储器用于存储至少一条指令，所述指令由所述处理器加载并执行时以实现第一方面提供的图像降噪方法。

在一种实施方式中，第三方面所提供的图像降噪装置可以为一种芯片。

第四方面，本申请的另一个实施例还提供一种芯片，所述芯片与存储器相连，或者所述芯片上集成有存储器(如第三方面提供的图像降噪装置)，当所述存储器中存储的程序或指令被执行时，实现第一方面提供的图像降噪方法。

第五方面，本申请实施例还提供一种终端，所述终端可以包括终端本体和第三方面提供的图像降噪装置。

在另一种实施方式中，第五方面提供的终端可以包括终端本体和第四方面提供的芯片。

第六方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述计算机程序被处理器执行时实现

通过上述技术方案，在获取到第一图像组后，确定对齐图像中每个目标区域与参考图像中对应区域之间的局部差异信息，并根据相应局部差异信息分别对每一个所述目标区域剔除第一鬼影。在第一鬼影剔除完成后，还可以根据对齐图像与参考图像之间的整体差异信息剔除第二鬼影，避免了频域处理的亮光场景的像素不连续现象，并且可以有效的检测鬼影并抑制鬼影。既能利用多帧图像的优势，实现降噪和动态范围提升，又能实现快速运算，达到实时的目的，同时又可以恰当处理运动场景，使鬼影得到很好的抑制，不影响图像质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一个实施例提供的一种图像降噪方法的流程图；

图2为本申请一个实施例提供的运动区域检测流程图；

图3为本申请一个实施例提供的运动区域降噪流程图；

图4为本申请一个实施例提供的图像降噪装置结构示意图；

图5为本申请另一个实施例提供的图像降噪装置结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

硬件技术的提升以及软件算法的更新，使得手机摄影的效果越来越令人惊喜。然而，在暗处场景下，单张图像的信噪比差强人意；在高动态场景下，单张图像很难达到暗处信噪比高，同时动态范围大的效果；拍运动物体仍然会存在严重拖影的现象。近年来，计算摄影的出现，为这些问题的解决提供了蹊径。比如，该技术可应用于多种曝光的低动态范围(low dynamic range，LDR)图像向高动态范围(high dynamic range，HDR)图的合成，亦可用于不同视场图像向丰富细节、宽阔视场图像的合成，也可用于多张相同欠曝图像合成单张高信噪比、动态范围增大的图像。欠曝技术的应用，使抓图时间的缩短，有利于高亮细节的保护，更能在运动场景有效地减少运动模糊。

现有的HDR+技术在频域实现降噪过程，存在2个突出的问题，首先是受限于大量的时频转换，主要涉及快速傅立叶变换(Fast Fourier Transform，FFT)及反快速傅立叶变换(Inverse Fast Fourier Transform，IFFT)运算，其运算耗时大，无法实现实时的运算。以6帧8M图为例，若以32为块单位，每帧图大约可分为10000块，则需要60000次的2维32个点的FFT变换，10000次的2维32点的IFFT。其次，频域的综合及不直观特性，使得滤波结果异常处问题较难解决，比如亮光周围噪声偏大，严重出现图像信息破坏和不连续现象。

多帧图像处理的另一个突出的问题，在于如何有效地处理鬼影，因为当画面中存在运动物体时，很难为参考图中的运动块找到恰当的匹配区域，当融合权重过大时，即可能导致鬼影出现。

为克服上述技术问题，本申请实施例提供一种图像降噪方法，图1为本申请一个实施例提供的一种图像降噪方法的流程图，如图1所示，所述图像降噪方法包括以下步骤：

步骤101：获取第一图像组。

其中，第一图像组包括参考图像和与所述参考图像对齐的若干帧对齐图像，每个所述对齐图像包括多个目标点，且每个所述对齐图像的所述多个目标点与所述参考图像中的多个特征点一一对应。

步骤102：根据所述对齐图像与所述参考图像之间的局部差异信息剔除第一鬼影。

步骤103：根据所述对齐图像与所述参考图像之间的整体差异信息剔除第二鬼影。

步骤104：将剔除所述第一鬼影和所述第二鬼影的对齐图像与所述参考图像进行融合，并输出最终图像。

在步骤101的一种实施方式中，获取输入的一组图像，该一组图像中包含多帧图像。在获取到该一组图像后，可以确认该一组图像中的多帧图像是否为曝光相同的一组图像，其中，若获取输入的一组图像中的多帧图像曝光不同，则可以对该组图像进行亮度矫正，使经过亮度矫正后的该组图像中的多帧图像的亮度达到一致。进一步地，在确定该一组图像中的多帧图像的亮度达到一致的情况下，选取其中解析力最高的一帧图像作为参考图像(参考帧)，并将该一组图像中除所述参考图像外的剩余其他图像向所述参考图像做对齐以得到对齐图像。

在一种实施方式中，可以通过执行上述亮度矫正和对齐操作中至少一者可以获取到步骤101所述的第一图像组。

在步骤101的另一种实施方式中，可以直接获取所述第一图像组，其中，第一图像组包括参考图像和与所述参考图像对齐的若干帧对齐图像，每个所述对齐图像包括多个目标点，且每个所述对齐图像的所述多个目标点与所述参考图像中的多个像素点一一对齐。即无需执行上述亮度矫正或对齐操作。

需要说明的是，在步骤101的任意一种实施方式中，获取的多帧图像的格式可以为拜耳(Bayer)格式的图像，也可以是YUV格式的图像，或者可以为RGB域的图像。其中，YUV是编译true-color颜色空间(color space)的种类，“Y”表示明亮度(Luminance、Luma)，“UV”表示彩度(Chroma)，具体图像格式在此不做限定。

图1所示的步骤102具体包括图2所示的以下步骤：

步骤201：计算所述对齐图像中所有像素点与所述参考图像中对应像素点之间位置上的第一差值。

步骤202：计算所述第一差值与第一阈值的差以得到第二差值，若所述第二差值小于第二阈值，则确定所述目标点对应的权值为第一权值，若所述第二差值不小于所述第二阈值，则根据所述目标点对应的所述第二差值和所述目标点对应的置信度计算所述目标点对应的第二权值。

步骤203：根据每个所述目标点的所述第一权值或所述第二权值剔除相应帧所述对齐图像中的第一鬼影。

在步骤201的具体实施中，可以基于点的降噪，逐点计算每个目标点相比参考帧中相应对齐的像素点之间差值，可以通过以下公式计算每个目标点与相应对齐像素点之间的第一差值：

Diff1(i，j)＝alt(i，j)–ref(i，j)

其中，diff(i，j)表示第一差值，alt(i，j)表示对齐图像中像素点(i，j)的值，ref(i，j)表示所述参考图像中像素点(i，j)的值。

在步骤202的具体实施中，可以计算所述第一差值与第一阈值的差以得到第二差值，具体地，可以通过以下公式计算所述第二差值：

Diff2(i，j)＝Diff1(i，j)-thr(i，j)

其中，Diff2(i，j)表示所述第二差值，thr(i，j)表示目标点对应的差异阈值(即第一阈值)。其中，可以为每一个位置(目标像素点)设置自适应的差异阈值thr(i，j),该thr的大小随ref(i，j)大小变化,ref(i，j)值越大，该阈值越大，反之亦然。还可以为每一个位置(目标像素点)设置自适应的置信度thegma(i，j),该thegma的大小随ref(i，j)大小变化，ref(i，j)值越大，thegma值越大，反之亦然。

在计算得到上述第二差值后，可以将第二差值与第二阈值进行比较，若所述第二差值小于第二阈值，则确定所述目标点对应的权值为第一权值，若所述第二差值不小于所述第二阈值，则根据所述目标点对应的所述第二差值和所述目标点对应的置信度计算所述目标点对应的第二权值。举例来说，该第二阈值可以为“0”，若第二差值diff2小于0，则确定所述目标点对应的权值为第一权值W1(i，j)＝1。若第二差值diff2不小于0，则确定所述目标点对应的权值为第二权值W2(i，j)。

具体可以通过以下公式计算所述第二权值W2(i，j)：

W2(i，j)＝exp^(-diff2(i，j)*diff2(I,j)/(thegma(i，j)*thegma(I,j)))；

其中，(i，j)表示所述目标点的位置，W2(i，j)表示所述目标点(i，j)的所述第二权值，diff2(i，j)表示所述目标点的所述第二差值，thegma(i，j)表示所述目标点(i，j)的所述置信度。

在其他实施方式中，还可以通过维纳滤波、巴特沃斯低通滤波器、指数型、三角函数型等方式计算上述第二权值。并不限定于上述高斯滤波方式。

在步骤203的具体实施中，可以根据所述第一权值或所述第二权值剔除相应帧所述对齐图像中的第一鬼影。

计算每个位置新的滤波后的值：alt_new(I,j)＝ref(I,j)*(1-W(I,j))+alt(I,j)*W(I,j)

当alt(I,j)与ref(I,j)差异值大的时候，对应的diff1的值也会大，权值W趋近于0，根据e步的运算，滤波后的极端结果alt_new(I，j)＝ref(I，j)，这样，明显的鬼影就会得到明显的抑制。

需要说明的是，在步骤102中基于点的融合，能抑制显而易见并与参考图像(ref图像)差异明显的鬼影(第一鬼影)，但会漏掉单点差异不明显，整体却有明显差异的鬼影(第二鬼影)，该第二鬼影也可以称为雾状鬼影。为抑制上述雾状鬼影，可以通过步骤103实现雾状鬼影的检测和修复。

图1所示的步骤103具体包括图3所示的以下步骤：

步骤301：获取第二图像组。

步骤302：计算每个所述目标小块与相应对齐的所述参考小块之间的整体差异信息。

步骤303：根据所述整体差异信息计算每一个所述目标小块中存在第二鬼影的概率，若所述存在第二鬼影的概率大于第三阈值，确定所述目标小块中存在所述第二鬼影。

若确定存在所述第二鬼影，则执行以下步骤：

步骤304：分解所述参考图像以生成参考基本层和参考细节层，并分别分解所述多帧第二图像以生成各帧所述第二图像对应的对齐基本层和对齐细节层。

步骤305：根据所述对齐基本层、所述参考基本层以及对应所述齐图像中存在第二鬼影的概率剔除所述对齐基本层存在的所述第二鬼影，保留所述对齐细节层的噪声。

其中，步骤301～步骤302为雾状鬼影的检测步骤，步骤303～步骤304为雾状鬼影的修复步骤。

在步骤301的具体实施中，所述第二图像组包括被划分为m*n个参考小块的所述参考图像和所述参考图像小块对齐的多帧第二图像，其中，1≤m，1≤n，且m和n为正整数，所述多帧第二图像为已剔除所述第一鬼影的多帧所述对齐图像，且所述第二图像包含多个目标小块，所述多个目标小块与所述参考图像的m*n个所述参考小块一一对齐。

在步骤302的具体实施中，可以计算每个所述目标小块与相应对齐的所述参考小块之间的整体差异信息，具体地可以通过以下公式计算所述整体差异信息：

Diff_patch＝sum{abs[alt_new(x,y)-ref(x,y)]}；

其中，(x，y)表示所述目标小块和相应对齐的参考小块中每一个像素的位置，且Diff_patch表示所述目标小块与相应对齐的所述之间的整体差异信息，所述alt_new(x,y)表示所述目标小块中像素位置(x，y)的像素值，所述ref(x,y)表示所述参考小块中像素位置(x，y)的像素值，所述abs为绝对值函数，所述sum为求和函数。

在步骤303的具体实施中，在获取到每个所述目标小块与相应对齐的所述参考小块之间的整体差异信息后，可以根据所述整体差异信息计算每一个所述目标小块中存在第二鬼影的概率，若所述第二鬼影的概率大于第三阈值的情况下，确定目标小块中存在第二鬼影。

其中，可以设置合理的块噪声阈值thr patch(第三阈值)，该第三阈值与参考图像(ref图像)总体亮度相关。还可以设置合理的参数控制因子gain,该值与场景相关，场景越暗，该值越大，反之亦然。

进而可以通过以下公式计算存在第二鬼影(雾状鬼影)的概率(如百分比值)：

W patch＝Diff_patch/(Diff_patch+gain*thr_patch)；

其中，W patch表示存在第二鬼影的概率，Diff patch表示所述目标小块与相应对齐的所述参考小块之间的整体差异信息，gain表示设置的参数控制因子，所述参数控制因子与感光因子正相关，thr_patch表示第三阈值，该第三阈值为动态阈值，其阈值大小与当前参考小块的平均亮度正相关。

需要说明的使步骤302中W patch是衡量块内含雾状鬼影的程度大小。在修复的过程中，为兼顾去除噪声及去除鬼影，进而可以将图像分解为基本层及细节层，基于直流进行去鬼影，细节层留着实现噪声去除。

在步骤304的具体实施中，可以分别分解参考图像的整体图像信息(ref)和剔除第一鬼影后的对齐图像的整体图像信息(alt_new)，对应的生成参考基本层(ref_base)和参考细节层(ref_detail)，对齐基本层(alt_new_base)和对齐细节层(alt_new_detail)。其中，所述基本层包括经过低频滤波处理的图像，所述细节层包括原始图像除去所述基本层得到的图像。

在步骤305的具体实施中，可以根据所述对齐基本层、所述参考基本层以及对应所述齐图像中存在第二鬼影的概率剔除所述对齐基本层存在的所述第二鬼影，保留所述对齐细节层的噪声。具体地，在基本层(base层)进行鬼影剔除及融合操作：

alt_new_base_patch＝alt_new_base*(1-W_patch)+ref_base*W_patch

需要说明的是，需要保留细节层(detail层)的噪声，生成新的alt_new_patch。

小块最终滤波结果输出：

Out＝(ref*w0+alt_new_patch1*w1+…alt_new_patchN*wN)/(w0+w1+…+wN)

此处的w0、w1…wN代表各个块的融合权重。该权重的设置可跟当前帧距离ref帧的远近相关，通常为距离ref越近权重越大。特殊情况下，当该权重设置为一样即：w0＝w1＝…＝wN，其形式为：

Out＝(ref+alt_new_patch1+…alt_new_patchN)/(N+1)

在步骤104的具体实施中，可以将剔除所述第一鬼影和所述第二鬼影的对齐图像与所述参考图像进行融合，并输出最终图像。具体地，包括以下步骤：

a.基于小块的处理，为消除块效应，块之间存在重叠。

b.每个小块都需要经过时域降噪及鬼影修复处理

c.设置合理的融合权重，对重叠区域的像素进行加权平均，实现小块融合，生成一个最终的大图。

d.输出图像。

本申请实施例还提供一种图像降噪装置，图4为本申请再一个实施例提供的图像降噪装置的结构示意图，如图4所示，该装置包括：

图像获取模块，用于获取第一图像组，所述第一图像组包括参考图像和与所述参考图像对齐的若干帧对齐图像，每个所述对齐图像包括多个目标点，且每个所述对齐图像的所述多个目标点与所述参考图像中的多个特征点一一对应；

第一鬼影处理模块，根据所述对齐图像与所述参考图像之间的局部差异信息剔除第一鬼影；

第二鬼影处理模块，用于根据所述对齐图像与参考图像之间的整体差异信息剔除第二鬼影；以及

融合模块，用于将剔除所述第一鬼影和所述第二鬼影的对齐图像与所述参考图像进行融合，并输出最终图像。

本申请的另一个实施例还提供一种图像降噪装置，图5为本申请另一个实施例提供的图像降噪装置的结构示意图，如图5所示，该装置包括：处理器501和存储器502，所述存储器502用于存储至少一条指令，所述指令由所述处理器501加载并执行时以实现图1、图2和图3所示的任意实施例提供的图像降噪方法。

在一种实施方式中，图5所示实施例提供的图像降噪装置可以为一种芯片。

本申请的另一个实施例还提供一种芯片，所述芯片与存储器相连，或者所述芯片上集成有存储器(如图5所示实施例提供的图像降噪装置)，当所述存储器中存储的程序或指令被执行时，实现图1、图2和图3所示的任意实施例提供的图像降噪方法。

本申请实施例还提供一种终端，该终端包括终端本体以及图5所示实施例提供的图像降噪装置或上述实施例提供的与存储器相连的芯片。该终端通过图5所示实施例提供的图像降噪装置或上述实施例提供的与存储器相连的芯片执行相应的程序或指令，实现图1、图2和图3所示的任意实施例提供的图像降噪方法。

本申请再一个实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现图1、图2和图3所示的任意实施例提供的图像降噪方法。

需要说明的是，本发明实施例中所涉及的终端可以包括但不限于个人计算机(Personal Computer，PC)、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(Tablet Computer)、手机、MP3播放器、MP4播放器等。

可以理解的是，所述应用可以是安装在终端上的应用程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本发明实施例对此不进行限定。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种图像降噪方法，其特征在于，所述方法包括：

获取第一图像组，所述第一图像组包括参考图像和与所述参考图像对齐的若干帧对齐图像，每个所述对齐图像包括多个目标点，且每个所述对齐图像的所述多个目标点与所述参考图像中的多个特征点一一对应；

根据所述对齐图像与所述参考图像之间的局部差异信息剔除第一鬼影；

根据所述对齐图像与所述参考图像之间的整体差异信息剔除第二鬼影；

将剔除所述第一鬼影和所述第二鬼影的对齐图像与所述参考图像进行融合，并输出最终图像。

2.根据权利要求1所述的方法，其特征在于，所述获取第一图像组包括：

确定输入的一组图像中多帧图像是否曝光相同；

若确定输入的一组图像中的多帧图像曝光不同，则对所述组多帧图像进行亮度矫正，使多帧图像的亮度达到一致；以及

若确定输入的一组图像中的所述多帧图像曝光相同，则选取所述多帧图像中解析力最高的一帧图像作为所述参考图像，并将所述多帧图像中除所述参考图像外的其余图像向所述参考图像对齐，以获取到所述第一图像组。

3.根据权利要求1所述的方法，其特征在于，所述每个所述对齐图像的所述多个目标点与所述参考图像中的多个特征点一一对应包括：

每个所述对齐图像的所述多个目标点与所述参考图像中的多个像素点一一对齐。

4.根据权利要求3所述的方法，其特征在于，所述根据所述对齐图像与所述参考图像之间的局部差异信息剔除第一鬼影包括：

计算所述对齐图像中所有像素点与所述参考图像中对应像素点之间位置上的第一差值；

计算所述第一差值与第一阈值的差以得到第二差值，若所述第二差值小于第二阈值，则确定所述目标点对应的权值为第一权值，若所述第二差值不小于所述第二阈值，则根据所述目标点对应的所述第二差值和所述目标点对应的置信度计算所述目标点对应的第二权值；以及

根据每个所述目标点的所述第一权值或所述第二权值剔除相应帧所述对齐图像中的第一鬼影。

5.根据权利要求4所述的方法，其特征在于，所述根据所述目标点对应的所述第二差值和所述目标点对应的置信度计算所述目标点对应的第二权值包括：

通过以下公式计算所述第二权值：

W2(i，j)＝exp^(-diff2(i，j)*diff2(i，j)/(thegma(i，j)*thegma(i，j)))；

其中，(i，j)表示所述参考图像中每一个像素点的位置，W2(i，j)表示所述目标点的所述第二权值，diff2(i，j)表示所述目标点(i，j)的所述第二差值，thegma(i，j)表示所述像素位置(i，j)的所述置信度。

6.根据权利要求3所述的方法，其特征在于，所述根据所述对齐图像与参考图像之间的整体差异信息剔除第二鬼影包括：

获取第二图像组，所述第二图像组包括被划分为m*n个参考小块的所述参考图像和所述参考图像小块对齐的多帧第二图像，其中，1≤m，1≤n，且m和n为正整数，所述多帧第二图像为已剔除所述第一鬼影的多帧所述对齐图像，且所述第二图像包含多个目标小块，所述多个目标小块与所述参考图像的m*n个所述参考小块一一对齐；

计算每个所述目标小块与相应对齐的所述参考小块之间的整体差异信息；

根据所述整体差异信息计算每一个所述目标小块中存在第二鬼影的概率，若所述存在第二鬼影的概率大于第三阈值，确定所述目标小块中存在所述第二鬼影；

若确定存在所述第二鬼影，则执行以下步骤：

分解所述参考图像以生成参考基本层和参考细节层，并分别分解所述多帧第二图像以生成各帧所述第二图像对应的对齐基本层和对齐细节层；

根据所述对齐基本层、所述参考基本层以及对应所述齐图像中存在第二鬼影的概率剔除所述对齐基本层存在的所述第二鬼影，并保留所述对齐细节层的噪声；

其中，所述基本层包括经过低频滤波处理的图像，所述细节层包括原始图像除去所述基本层得到的图像。

7.根据权利要求6所述的方法，其特征在于，所述计算每个所述目标小块与相应对齐的所述参考小块之间的整体差异信息包括：

通过以下公式计算每个所述目标小块与相应对齐的所述参考小块之间的所述整体差异信息：

Diff_patch＝sum{abs[alt_new(x,y)-ref(x,y)]}；

其中，(x，y)表示所述目标小块和相应对齐的参考小块中每一个像素的位置，Diff_patch表示所述目标小块与相应对齐的所述之间的整体差异信息，所述alt_new(x,y)表示所述目标小块中像素位置(x，y)的像素值，所述ref(x,y)表示所述参考小块中像素位置(x，y)的像素值，所述abs为绝对值函数，所述sum为求和函数。

8.根据权利要求7所述的方法，其特征在于，所述根据所述整体差异信息计算每一个所述目标小块中存在第二鬼影的概率包括：

通过以下公式计算所述存在第二鬼影的概率：

W patch＝Diff_patch/(Diff_patch+gain*thr_patch)；

其中，W_patch表示所述存在第二鬼影的概率，Diff patch表示所述目标小块与相应对齐的所述参考小块之间的整体差异信息，gain表示设置的参数控制因子，thr_patch表示所述第三阈值。

9.一种图像降噪装置，其特征在于，所述装置包括：

图像获取模块，用于获取第一图像组，所述第一图像组包括参考图像和与所述参考图像对齐的若干帧对齐图像，每个所述对齐图像包括多个目标点，且每个所述对齐图像的所述多个目标点与所述参考图像中的多个特征点一一对应；

第一鬼影处理模块，用于根据所述对齐图像的每个目标区域与所述参考图像中对应区域之间的局部差异信息剔除第一鬼影；

第二鬼影处理模块，用于根据所述对齐图像与参考图像之间的整体差异信息剔除第二鬼影；以及

融合模块，用于将剔除所述第一鬼影和所述第二鬼影的对齐图像与所述参考图像进行融合，并输出最终图像。

10.一种图像降噪装置，其特征在于，所述装置包括：

处理器和存储器，所述存储器用于存储至少一条指令，所述指令由所述处理器加载并执行时以实现如权利要求1-8中任意一项所述的图像降噪方法。

11.一种终端，其特征在于，所述终端包括权利要求10所述的图像降噪装置。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任意一项所述的图像降噪方法。

Images