CN106355559A - 一种图像序列的去噪方法及装置 - Google Patents

Abstract

本发明公开了一种图像序列的去噪方法，包括：对待处理图像序列中的每一图像帧进行缩放处理，生成缩略图序列；对缩略图序列进行模糊检测，选取模糊程度最小的缩略图作为基图缩略图，计算基图缩略图的亮度系数；计算缩略图序列中除基图缩略图以外其他图像帧对应的偏移缩略图，得到偏移缩略图序列；根据偏移缩略图序列生成待处理图像序列的对齐图像序列；根据对齐图像序列计算每一图像帧相对于基图缩略图的对齐误差系数；计算对齐图像序列的灰度模板；根据亮度系数、对齐误差系数和灰度模板生成融合权重；以及将融合权重与所述对齐图像序列通过金字塔融合，滤波得到去噪后的图像序列。本发明还一并公开了相应的图像序列的去噪装置。

Description

一种图像序列的去噪方法及装置

技术领域

本发明涉及图像处理技术领域，尤其是一种图像序列的去噪方法及装置。

背景技术

图像去噪算法按照所处理图像的数量可以分为两类，一类是基于单帧图像的去噪算法，另一类是连续多帧图像(称之为“图像序列”)的去噪算法。具体而言，单帧图像的去噪算法一般采用一些非线性滤波方法对图像帧进行去噪，这些非线性滤波方法，对于强边缘纹理虽然有一定的保留效果，但是弱边缘纹理一般很难保留下来；连续多帧图像的去噪算法相比于单帧图像去噪算法，可以利用时域信息来进一步区分弱边缘和噪声，达到细节保留更多的去噪效果。

然而，在用户手持移动设备采集图像序列的过程中，画面会有或多或少的偏移，所以，在对图像序列进行去噪时一般会包含图像对齐的预处理，匹配各图像帧之间的空域信息，例如光流或者基于特征点匹配的算法。但由于移动设备性能的限制、以及低光环境下噪点的干扰，这些对齐算法很难保证有很好的对齐效果。这样的话，图像序列的空域信息还是会存在或多或少的误匹配情况，这些误匹配最终导致图像滤波后出现重影(称之为“鬼影”)。

因此，需要一种效果优化方案，能够在有效抑制鬼影的同时，有效地利用时域信息对图像序列进行去噪。

发明内容

为此，本发明提供了一种图像序列的去噪方法及装置，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种图像序列的去噪方法，包括步骤：对待处理图像序列中的每一图像帧进行缩放处理，生成缩略图序列；对缩略图序列进行模糊检测，选取模糊程度最小的缩略图作为基图缩略图，计算基图缩略图的亮度系数；计算缩略图序列中除基图缩略图以外其他图像帧对应的偏移缩略图，得到偏移缩略图序列；根据偏移缩略图序列生成待处理图像序列的对齐图像序列；根据对齐图像序列计算每一图像帧相对于基图缩略图的对齐误差系数；计算对齐图像序列的灰度模板；根据亮度系数、对齐误差系数和灰度模板生成融合权重；以及将融合权重与所述对齐图像序列通过金字塔融合，滤波得到去噪后的图像序列。

可选地，在根据本发明的图像序列去噪方法中，得到偏移缩略图序列的步骤包括：以基图缩略图为参考，将缩略图序列中除基图缩略图以外的其它缩略图通过光流算法对齐到基图缩略图，得到多帧对齐到基图缩略图的偏移缩略图序列。

可选地，在根据本发明的图像序列去噪方法中，生成对齐图像序列的步骤包括：根据待处理图像序列和缩略图序列计算插值坐标；根据插值坐标对偏移缩略图序列进行插值处理，得到每一图像帧的偏移量；根据所计算得的偏移量处理对应待处理图像序列中的图像帧，生成对齐图像序列，其中，在对齐图像序列中，基图缩略图对应的待处理图像就是基图。

可选地，在根据本发明的图像序列去噪方法中，对待处理图像序列中的每一图像帧进行缩放处理生成缩略图序列的步骤还包括：计算缩小比例。

可选地，在根据本发明的图像序列去噪方法中，计算对齐误差系数的步骤包括：按照所计算出的缩小比例对对齐图像序列进行缩放处理，生成对齐缩略图序列；以及分别对对齐缩略图序列中的图像帧与基图缩略图做图像差分处理，根据差分结果计算对齐误差系数。

可选地，在根据本发明的图像序列去噪方法中，对齐误差系数为：

${\mathrm{\κ}}_{mov}=\frac{ad\_sum}{pixel\_nums}$

其中，ad_sum是差分结果的累计和，pixel_nums是一帧缩略图的像素数。

可选地，在根据本发明的图像序列去噪方法中，计算基图缩略图亮度系数的步骤包括：计算基图缩略图中每个像素的灰度值；统计出灰度值大于128的像素值，并累加得到灰度值总和；以及根据灰度值总和和缩略图的像素数得出亮度系数为：

${\mathrm{\κ}}_{light}=\frac{gray\_sum}{pixel\_nums}$

其中，gray_sum是灰度值总和，pixel_nums是一帧缩略图的像素数。

可选地，在根据本发明的图像序列去噪方法中，计算对齐图像序列的灰度模板的步骤包括：根据对齐图像序列的时域特征计算对齐图像序列中每一图像帧的中值模板；根据基图的灰度值计算对齐图像序列中每一图像帧的相似模板；以及根据中值模板和相似模板生成灰度模板。

可选地，在根据本发明的图像序列去噪方法中，计算中值模板的步骤包括：对对齐图像序列中的每个像素，取其时域方向上的中值作为基准值；根据该基准值对每一图像帧进行二值化处理，生成相应的中值模板。

可选地，在根据本发明的图像序列去噪方法中，计算相似模板的步骤包括：以基图的灰度值作为基准值；根据该基准值对每一图像帧进行二值化处理，生成相似模板。

可选地，在根据本发明的图像序列去噪方法中，融合权重mask_weight通过如下方式计算得出：

mask_weight[i](x,y)＝w*mask_blend[i](x,y)，其中，

$w=\left\{\begin{array}{c}0.8,K_{light}<0.3\&cap;K_{mov}<5\&cap;i\&NotEqual;bI\\ 1,i=bI\\ 0.3,other\end{array}\right.$

其中，i表示某一图像帧，bI表示基图缩略图对应的图像帧下标，(x,y)表示像素点坐标，w表示每个像素点对应的权值，mask_blend表示灰度模板，K_light表示亮度系数，K_mov表示对齐误差系数。

根据本发明的另一方面，提供了一种图像序列的去噪装置，所述装置包括：缩放单元，适于对待处理图像序列中的每一图像帧进行缩放处理，生成缩略图序列；第一计算单元，适于对缩略图序列进行模糊检测，选取模糊程度最小的缩略图作为基图缩略图，计算基图缩略图的亮度系数；图像对齐单元，适于计算缩略图序列中除基图缩略图以外其他图像帧对应的偏移缩略图，得到偏移缩略图序列、还适于根据偏移缩略图序列生成待处理图像序列的对齐图像序列；第二计算单元，适于根据对齐图像序列计算每一图像帧相对于基图缩略图的对齐误差系数；第三计算单元，适于计算对齐图像序列的灰度模板；以及融合单元，适于根据亮度系数、对齐误差系数和灰度模板生成融合权重、还适于将融合权重与对齐图像序列通过金字塔融合，滤波得到去噪后的图像序列。

可选地，在根据本发明的图像序列的去噪装置中，图像对齐单元还适于以基图缩略图为参考，将缩略图序列中除基图缩略图以外的其它缩略图通过光流算法对齐到基图缩略图，得到多帧对齐到基图缩略图的偏移缩略图序列。

可选地，在根据本发明的图像序列的去噪装置中，图像对齐单元还包括：计算子单元，适于根据待处理图像序列和缩略图序列计算插值坐标；插值子单元，适于根据插值坐标对偏移缩略图序列进行插值处理，得到每一图像帧的偏移量，以及根据所计算得的偏移量处理对应待处理图像序列中的图像帧，生成对齐图像序列，其中，在对齐图像序列中，基图缩略图对应的待处理图像就是基图。

可选地，在根据本发明的图像序列的去噪装置中，第一计算单元还适于根据缩略图序列和待处理图像序列的尺寸计算缩小比例。

可选地，在根据本发明的图像序列的去噪装置中，第二计算单元包括：缩小子单元，适于按照所计算出的缩小比例对对齐图像序列进行缩放处理，生成对齐缩略图序列；以及差分子单元，适于分别对对齐缩略图序列中的图像帧与基图缩略图做图像差分处理，根据差分结果计算对齐误差系数。

可选地，在根据本发明的图像序列的去噪装置中，对齐误差系数为：

${\mathrm{\&kappa;}}_{mov}=\frac{ad\_sum}{pixel\_nums}$

其中，ad_sum是差分结果的累计和，pixel_nums是一帧缩略图的像素数。

可选地，在根据本发明的图像序列的去噪装置中，第一计算单元还包括：灰度计算子单元，适于计算基图缩略图中每个像素的灰度值、并统计出灰度值大于128的像素值，并累加得到灰度值总和；第一计算单元还适于根据灰度值总和和缩略图的像素数得出亮度系数为：

${\mathrm{\&kappa;}}_{light}=\frac{gray\_sum}{pixel\_nums}$

其中，gray_sum是灰度值总和，pixel_nums是一帧缩略图的像素数。

可选地，在根据本发明的图像序列的去噪装置中，第三计算单元还适于：根据对齐图像序列的时域特征计算对齐图像序列中每一图像帧的中值模板；根据基图的灰度值计算对齐图像序列中每一图像帧的相似模板；以及根据中值模板和相似模板生成灰度模板。

可选地，在根据本发明的图像序列的去噪装置中，第三计算单元还适于对对齐图像序列中的每个像素，取其时域方向上的中值作为基准值、并根据该基准值对每一图像帧进行二值化处理，生成相应的中值模板。

可选地，在根据本发明的图像序列的去噪装置中，第三计算单元还适于以基图的灰度值作为基准值、并根据该基准值对每一图像帧进行二值化处理，生成相似模板。

可选地，在根据本发明的图像序列的去噪装置中，融合权重mask_weight通过如下方式计算得出：

mask_weight[i](x,y)＝w*mask_blend[i](x,y)，其中，

$w=\left\{\begin{array}{c}0.8,K_{light}<0.3\&cap;K_{mov}<5\&cap;i\&NotEqual;bI\\ 1,i=bI\\ 0.3,other\end{array}\right.$

其中，i表示某一图像帧，bI表示基图缩略图对应的图像帧下标，(x,y)表示像素点坐标，w表示每个像素点对应的权值，mask_blend表示灰度模板，K_light表示亮度系数，K_mov表示对齐误差系数。

根据本发明的图像去噪方案，利用时域信息对多帧连续的图像序列进行去噪，能够在保留图像细节的情况下，有效抑制鬼影，尤其是对于低光场景下的拍摄图像，去噪效果理想。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一个实施例的图像序列的去噪方法100的流程图；

图2示出了根据本发明一个实施例的图像序列的去噪装置200的示意图；以及

图3示出了根据本发明另一实施例的图像序列的去噪装置200的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的图像序列的去噪方法100的流程图。如图1所示，该方法始于步骤S110，对待处理图像序列中的每一图像帧进行缩放处理，生成缩略图序列。设待处理图像序列是连续N帧图像imges[i]，i∈{1,2,3,……,N}，将imges[i]按比例进行放缩，生成一组缩略图组，作为缩略图序列thumbs[i]。根据本发明的一个实施例，缩略图序列像素总数不大于30W。

另外，imges[i]的原始宽高分别为width和height，经缩放处理后缩略图thumbs[i]的宽高分别为thumb_width和thumb_height，那么，对应地可以计算出缩小比例为：

随后在步骤S120中，对缩略图序列thumbs[i]进行模糊检测，选取模糊程度最小的缩略图作为基图缩略图，记作bT1＝thumbs[bI]，计算基图缩略图的亮度系数。可选地，模糊算法基于图像中连续边缘数量来确定。

对基图缩略图进行亮度统计，计算亮度系数的步骤具体包括：

先计算基图缩略图中每个像素的灰度值，设每个像素由R、G、B三通道颜色值表示，那么，像素灰度值的计算方式为：

$gray=\frac{R+G+B}{3}.$

然后统计出灰度值大于128的像素值，并累加得到灰度值总和gray_sum。

那么，根据灰度值总和gray_sum和缩略图的像素数pixel_nums就得出亮度系数为：

${\mathrm{\&kappa;}}_{light}=\frac{gray\_sum}{pixel\_nums}.$

根据本发明的实施例，pixel_nums＝thumb_width×thumb_height。

随后在步骤S130中，计算缩略图序列thumbs[i]中除基图缩略图thumbs[bI]以外其他图像帧对应的偏移缩略图，得到偏移缩略图序列。以基图缩略图thumbs[bI]作为参考图像，将缩略图序列thumbs[i]中除基图缩略图以外的其它缩略图通过光流算法对齐到基图缩略图，得到多帧对齐到基图缩略图的偏移缩略图序列maps[i]，偏移缩略图序列中每一图像帧就可以表示为：maps[i]{i∈1,2...N|i≠bI}。

随后在步骤S140中，根据偏移缩略图序列maps[i]生成待处理图像序列的对齐图像序列。根据一种实施方式，根据待处理图像序列imges[i]和缩略图序列thumbs[i]的尺寸大小，计算出插值坐标(x，y)，这里可以选出某一帧图像imges[m],m∈N，通过处理imges[m]和thmubs[m]可以计算出插值坐标，而整个图像序列中的插值坐标都是相对应的；根据插值坐标、通过立方插值的方式，再结合对应的偏移缩略图序列maps[i]，就可以算出偏移量(offset_x，offset_y)；根据算得的偏移量处理对应待处理图像imges[i]中的图像帧，生成对齐图像序列aligned_images[i]。其中，基图缩略图thumbs[bI]在对齐图像序列中对应的图像帧称为基图bT2＝aligned_images[bI]。

随后在步骤S150中，根据对齐图像序列计算每一图像帧相对于基图缩略图的对齐误差系数。

关于对齐误差系数的计算，同亮度系数一样，均采用缩略图进行计算，主要是考虑到缩略图运算量少、且不会影响计算性能。故，此处先对对齐图像序列aligned_images[i]进行缩放处理，按照步骤S110中计算的缩小比例scale缩小对齐图像序列aligned_images[i]，得到相应的对齐缩略图序列aligned_thumbs[i]。再将对齐缩略图序列aligned_thumbs[i]中的图像帧与基图缩略图thumbs[bI]一一作图像差分，即，计算对齐缩略图与基图缩略图的对齐误差，再累计差分结果，其和为ad_sum，计算对齐误差系数：

${\mathrm{\&kappa;}}_{mov}=\frac{ad\_sum}{pixel\_nums},$

其中，pixel_nums也是基图缩略图的像素数。

随后在步骤S160中，计算对齐图像序列的灰度模板，具体包括以下3步：

第一步，根据对齐图像序列的时域特征计算对齐图像序列中每一图像帧的中值模板。对对齐图像序列aligned_images[i]中的每个像素，将其在时域方向上按像素灰度值的大小进行排列后，取中值作为基准值。以第一帧图像中第一个像素点为例，取这N帧图像在相同位置坐标处的像素点(即每一帧的第一个像素点)，按像素灰度值排序，取最中间的灰度值作为该坐标处像素点的基准值。

然后根据该基准值对每一图像帧进行二值化处理，生成相应的中值模板。根据本发明的一个实施例，若像素点的灰度值与对应坐标处的基准值足够相似，则设置该像素点的灰度值为255，否则为0。一般地，当像素点的灰度值与对应坐标处的基准值的差值绝对值在10以内，就认为其足够相似。按上述方式处理完一帧图像后，就得到该图像帧的中值模板，处理完对齐图像序列中所有的图像帧，就得到一组中值模板。

第二步，根据基图的灰度值计算对齐图像序列中每一图像帧的相似模板。以基图aligned_images[bI]的灰度值作为基准值，根据该基准值对每一图像帧进行二值化处理，若像素点的灰度值与基图中对应坐标的灰度值足够相似，则设置该像素点的灰度值为255，否则为0，按上述方式处理完一帧图像后，就得到该图像帧的相似模板，处理完对齐图像序列中所有的图像帧，就得到一组相似模板。

第三步，根据中值模板和相似模板生成灰度模板。设中值模板为mask_base，相似模板为mask_med，则灰度模板mask_blend表示如下：

${\mathrm{masks}}_{blend}(x,y)=\left\{\begin{array}{c}{\mathrm{masks}}_{med}(x,y),{\mathrm{masks}}_{med}\&lsqb;bI\&rsqb;(x,y)=255\\ {\mathrm{masks}}_{base}(x,y),other\end{array}\right.$

换言之，步骤S160通过设置基准值计算每帧对齐图像中像素点与基准值的相似度，再根据相似度对该帧对齐图像二值化，生成灰度模板，以消除融合过程中经滤波后图像出现“鬼影”。

随后在步骤S170中，根据亮度系数K_light、对齐误差系数K_mov和灰度模板mask_blend生成融合权重：

mask_weight[i](x,y)＝w*mask_blend[i](x,y)，其中，

$w=\left\{\begin{array}{c}0.8,K_{light}<0.3\&cap;K_{mov}<5\&cap;i\&NotEqual;bI\\ 1,i=bI\\ 0.3,other\end{array}\right.$

其中，i表示某一图像帧，bI表示基图缩略图对应的图像帧下标(也就是，基图对应的图像帧下标)，(x,y)表示像素点坐标，w表示每个像素点对应的权值，并且，w的取值满足如下条件：

若K_light<0.3且K_mov<5且当前的灰度模板不是基图的灰度模板，则w取0.8；

若当前灰度模板是基图的灰度模板，则w取1；

其他情况下，w取0.3。

每一图像帧对应的灰度模板中的值都要与权值w相乘，得到mask_weight。

随后在步骤S180中，将计算出的融合权重mask_weight与对齐图像序列aligned_images[i]通过金字塔融合，滤波得到去噪后的图像序列。

根据本发明的图像去噪方案，利用时域信息对多帧连续的图像序列进行去噪，能够在保留图像细节的情况下，有效抑制鬼影，尤其是对于低光场景下的拍摄图像，去噪效果理想。

图2示出了根据本发明一个实施例的图像序列的去噪装置200的示意图。该装置200包括：缩放单元210、第一计算单元220、图像对齐单元230、第二计算单元240、第三计算单元250和融合单元260。

缩放单元210适于对待处理图像序列中的每一图像帧进行缩放处理，生成缩略图序列。设待处理图像序列是连续N帧图像imges[i]，i∈{1,2,3,……,N}，将imges[i]按比例进行放缩，生成一组缩略图组，作为缩略图序列thumbs[i]。根据本发明的一个实施例，缩略图序列像素总数不大于30W。

第一计算单元220适于根据缩略图序列和待处理图像序列中图像帧的尺寸计算缩小比例，设imges[i]的原始宽高分别为width和height，经缩放处理后缩略图thumbs[i]的宽高分别为thumb_width和thumb_height，那么，对应地可以计算出缩小比例为：

同时，第一计算单元220适于对缩略图序列thumbs[i]进行模糊检测，选取模糊程度最小的缩略图作为基图缩略图thumbs[bI]，计算基图缩略图的亮度系数。

如图3所示，第一计算单元220还包括灰度计算子单元222，适于计算基图缩略图中每个像素的灰度值、并统计出灰度值大于128的像素值，将其累加得到灰度值总和。例如，像素点的颜色值表示为(R,G,B)，那么其灰度值是：

$gray=\frac{R+G+B}{3}.$

第一计算单元220还适于根据灰度值总和和缩略图的像素数得出亮度系数：

${\mathrm{\&kappa;}}_{light}=\frac{gray\_sum}{pixel\_nums},$

其中，gray_sum是灰度值总和，pixel_nums是一帧缩略图的像素数。

图像对齐单元230适于计算缩略图序列中除基图缩略图以外其他图像帧对应的偏移缩略图，得到偏移缩略图序列maps[i]。根据本发明的一个实施例，图像对齐单元230被进一步配置为，以基图缩略图为参考，将缩略图序列中除基图缩略图以外的其它缩略图通过光流算法对齐到基图缩略图，得到多帧对齐到基图缩略图的偏移缩略图序列。应当注意的是，偏移缩略图序列中一共有N-1帧图像，基图缩略图没有对应的偏移图像帧。

图像对齐单元230还适于根据偏移缩略图序列maps[i]生成待处理图像序列的对齐图像序列aligned_images[i]。根据本发明的一个实施例，图像对齐单元230还包括：计算子单元232和插值子单元234，如图3所示。

计算子单元232适于根据待处理图像序列和缩略图序列计算插值坐标。可选地，任取某一帧图像imges[m],m∈N，将imges[m]缩小到thmubs[m]，记录下插值坐标，整个图像序列中的插值坐标都是相对应的。

插值子单元234适于根据插值坐标对偏移缩略图序列maps[i]进行插值处理，得到每一图像帧的偏移量，以及根据所计算得的偏移量处理对应待处理图像序列中的图像帧，生成对齐图像序列aligned_images[i]，其中，在对齐图像序列中，将基图缩略图对应的待处理图像作为基图。

第二计算单元240适于根据对齐图像序列aligned_images[i]计算每一图像帧相对于基图缩略图thumbs[bI]的对齐误差系数。根据一种实现方式，在不影响计算效果的前提下，为减少计算量，采用缩略图计算对齐误差系数，故，第二计算单元240包括：缩小子单元242和差分子单元244。

缩小子单元242适于按照所计算出的缩小比例对对齐图像序列进行缩放处理，生成对齐缩略图序列aligned_thumbs[i]。具体地，按照第一计算单元220计算的缩小比例scale缩小对齐图像序列aligned_images[i]，得到相应的对齐缩略图序列aligned_thumbs[i]。

差分子单元244适于分别对对齐缩略图序列中的图像帧与基图缩略图做图像差分处理，再累计差分结果，根据累计的差分结果计算对齐误差系数：

${\mathrm{\&kappa;}}_{mov}=\frac{ad\_sum}{pixel\_nums}$

其中，ad_sum是差分结果的累计和，pixel_nums是一帧缩略图的像素数。

第三计算单元250适于计算对齐图像序列aligned_images[i]的灰度模板。第三计算单元250被进一步配置为，根据对齐图像序列的时域特征计算对齐图像序列中每一图像帧的中值模板；根据基图的灰度值计算对齐图像序列中每一图像帧的相似模板；以及根据中值模板和相似模板生成灰度模板。

具体地，第三计算单元250适于对对齐图像序列aligned_images[i]中的每个像素，将其在时域方向上按像素灰度值的大小进行排列后，取中值作为基准值。以第一帧图像中第一个像素点为例，取这N帧图像在相同位置坐标处的像素点(即每一帧的第一个像素点)，按像素灰度值排序，取最中间的灰度值作为该坐标处像素点的基准值。再根据该基准值对每一图像帧进行二值化处理，生成相应的中值模板。根据本发明的一个实施例，若像素点的灰度值与对应坐标处的基准值足够相似，则设置该像素点的灰度值为255，否则为0。一般地，当像素点的灰度值与对应坐标处的基准值的差值绝对值在10以内，就认为其足够相似。按上述方式处理完一帧图像后，就得到该图像帧的中值模板，处理完对齐图像序列中所有的图像帧，就得到一组中值模板。

第三计算单元250还适于以基图的灰度值作为基准值，并根据该基准值对每一图像帧进行二值化处理，生成相似模板。二值化处理的过程同生成中值模板，此处不再赘述。

设中值模板为mask_med，相似模板为mask_base，则第三计算单元250最终生成的灰度模板mask_blend为：

${\mathrm{masks}}_{blend}(x,y)=\left\{\begin{array}{c}{\mathrm{masks}}_{med}(x,y),{\mathrm{masks}}_{med}\&lsqb;bI\&rsqb;(x,y)=255\\ {\mathrm{masks}}_{base}(x,y),other\end{array}\right.$

第三计算单元250通过设置基准值计算每帧对齐图像中像素点与基准值的相似度，再根据相似度对该帧对齐图像二值化，生成灰度模板，以消除融合过程中经滤波后图像出现“鬼影”。

最后，交由融合单元260，融合单元260适于根据亮度系数K_light、对齐误差系数K_mov和灰度模板mask_blend生成融合权重：

mask_weight[i](x,y)＝w*mask_blend[i](x,y)，其中，

$w=\left\{\begin{array}{c}0.8,K_{light}<0.3\&cap;K_{mov}<5\&cap;i\&NotEqual;bI\\ 1,i=bI\\ 0.3,other\end{array}\right.$

其中，i表示某一图像帧，bI表示基图缩略图对应的图像帧下标，(x,y)表示像素点坐标，w表示每个像素点对应的权值，并且，w的取值满足如下条件：

若K_light<0.3且K_mov<5且当前的灰度模板不是基图的灰度模板，则w取0.8；

若当前灰度模板是基图的灰度模板，则w取1；

其他情况下，w取0.3。

每一图像帧对应的灰度模板中的值都要与权值w相乘，得到mask_weight。

融合单元260还适于将算出的融合权重与对齐图像序列通过金字塔融合，滤波得到去噪后的图像序列。

应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

本发明还公开了：

A6、如A5所述的方法，其中，对齐误差系数为：

${\mathrm{\&kappa;}}_{mov}=\frac{ad\_sum}{pixel\_nums}$

其中，ad_sum是差分结果的累计和，pixel_nums是一帧缩略图的像素数。

A7、如A1-6中任一项所述的方法，其中计算基图缩略图亮度系数的步骤包括：计算基图缩略图中每个像素的灰度值；统计出灰度值大于128的像素值，并累加得到灰度值总和；以及根据灰度值总和和缩略图的像素数得出亮度系数为：

${\mathrm{\&kappa;}}_{light}=\frac{gray\_sum}{pixel\_nums}$

其中，gray_sum是灰度值总和，pixel_nums是一帧缩略图的像素数。

A8、如A3-7中任一项所述的方法，其中计算对齐图像序列的灰度模板的步骤包括：根据对齐图像序列的时域特征计算对齐图像序列中每一图像帧的中值模板；根据基图的灰度值计算对齐图像序列中每一图像帧的相似模板；以及根据中值模板和相似模板生成灰度模板。

A9、如A8所述的方法，其中，计算中值模板的步骤包括：对对齐图像序列中的每个像素，取其时域方向上的中值作为基准值；根据该基准值对每一图像帧进行二值化处理，生成相应的中值模板。

A10、如A8或9所述的方法，其中计算相似模板的步骤包括：以基图的灰度值作为基准值；根据该基准值对每一图像帧进行二值化处理，生成相似模板。

A11、如A1-10中任一项所述的方法，其中融合权重mask_weight通过如下方式计算得出：

mask_weight[i](x,y)＝w*mask_blend[i](x,y)，其中，

$w=\left\{\begin{array}{c}0.8,K_{light}<0.3\&cap;K_{mov}<5\&cap;i\&NotEqual;bI\\ 1,i=bI\\ 0.3,other\end{array}\right.$

其中，i表示某一图像帧，bI表示基图缩略图对应的图像帧下标，(x,y)表示像素点坐标，w表示每个像素点对应的权值，mask_blend表示灰度模板，K_light表示亮度系数，K_mov表示对齐误差系数。

B17、如B16所述的装置，其中，对齐误差系数为：

${\mathrm{\&kappa;}}_{mov}=\frac{ad\_sum}{pixel\_nums}$

其中，ad_sum是差分结果的累计和，pixel_nums是一帧缩略图的像素数。

B18、如B12-17中任一项所述的装置，其中第一计算单元还包括：灰度计算子单元，适于计算基图缩略图中每个像素的灰度值、并统计出灰度值大于128的像素值，并累加得到灰度值总和；第一计算单元还适于根据灰度值总和和缩略图的像素数得出亮度系数为：

${\mathrm{\&kappa;}}_{light}=\frac{gray\_sum}{pixel\_nums}$

其中，gray_sum是灰度值总和，pixel_nums是一帧缩略图的像素数。

B19、如B14-18中任一项所述的装置，其中，第三计算单元还适于：根据对齐图像序列的时域特征计算对齐图像序列中每一图像帧的中值模板；根据基图的灰度值计算对齐图像序列中每一图像帧的相似模板；以及根据中值模板和相似模板生成灰度模板。

B20、如B19所述的装置，其中，第三计算单元还适于对对齐图像序列中的每个像素，取其时域方向上的中值作为基准值、并根据该基准值对每一图像帧进行二值化处理，生成相应的中值模板。

B21、如B19或20所述的装置，其中，第三计算单元还适于以基图的灰度值作为基准值、并根据该基准值对每一图像帧进行二值化处理，生成相似模板。

B22、如B12-21中任一项所述的装置，其中融合权重mask_weight通过如下方式计算得出：

mask_weight[i](x,y)＝w*mask_blend[i](x,y)，其中，

$w=\left\{\begin{array}{c}0.8,K_{light}<0.3\&cap;K_{mov}<5\&cap;i\&NotEqual;bI\\ 1,i=bI\\ 0.3,other\end{array}\right.$

其中，i表示某一图像帧，bI表示基图缩略图对应的图像帧下标，(x,y)表示像素点坐标，w表示每个像素点对应的权值，mask_blend表示灰度模板，K_light表示亮度系数，K_mov表示对齐误差系数。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种图像序列的去噪方法，所述方法包括步骤：

对待处理图像序列中的每一图像帧进行缩放处理，生成缩略图序列；

对所述缩略图序列进行模糊检测，选取模糊程度最小的缩略图作为基图缩略图，计算所述基图缩略图的亮度系数；

计算所述缩略图序列中除基图缩略图以外其他图像帧对应的偏移缩略图，得到偏移缩略图序列；

根据所述偏移缩略图序列生成待处理图像序列的对齐图像序列；

根据所述对齐图像序列计算每一图像帧相对于基图缩略图的对齐误差系数；

计算所述对齐图像序列的灰度模板；

根据所述亮度系数、对齐误差系数和灰度模板生成融合权重；以及

将所述融合权重与所述对齐图像序列通过金字塔融合，滤波得到去噪后的图像序列。

2.如权利要求1所述的方法，其中，得到偏移缩略图序列的步骤包括：

以所述基图缩略图为参考，将所述缩略图序列中除基图缩略图以外的其它缩略图通过光流算法对齐到基图缩略图，得到多帧对齐到基图缩略图的偏移缩略图序列。

3.如权利要求1或2所述的方法，其中，生成对齐图像序列的步骤包括：

根据所述待处理图像序列和缩略图序列计算插值坐标；

根据插值坐标对所述偏移缩略图序列进行插值处理，得到每一图像帧的偏移量；

根据所计算得的偏移量处理对应待处理图像序列中的图像帧，生成对齐图像序列，

其中，在对齐图像序列中，基图缩略图对应的待处理图像就是基图。

4.如权利要求1-3中任一项所述的方法，其中对待处理图像序列中的每一图像帧进行缩放处理生成缩略图序列的步骤还包括：

计算缩小比例。

5.如权利要求4所述的方法，其中计算对齐误差系数的步骤包括：

按照所计算出的缩小比例对所述对齐图像序列进行缩放处理，生成对齐缩略图序列；以及

分别对所述对齐缩略图序列中的图像帧与基图缩略图做图像差分处理，根据差分结果计算对齐误差系数。

6.一种图像序列的去噪装置，所述装置包括：

缩放单元，适于对待处理图像序列中的每一图像帧进行缩放处理，生成缩略图序列；

第一计算单元，适于对所述缩略图序列进行模糊检测，选取模糊程度最小的缩略图作为基图缩略图，计算所述基图缩略图的亮度系数；

图像对齐单元，适于计算所述缩略图序列中除基图缩略图以外其他图像帧对应的偏移缩略图，得到偏移缩略图序列、还适于根据所述偏移缩略图序列生成待处理图像序列的对齐图像序列；

第二计算单元，适于根据所述对齐图像序列计算每一图像帧相对于基图缩略图的对齐误差系数；

第三计算单元，适于计算所述对齐图像序列的灰度模板；以及

融合单元，适于根据所述亮度系数、对齐误差系数和灰度模板生成融合权重、还适于将所述融合权重与所述对齐图像序列通过金字塔融合，滤波得到去噪后的图像序列。

7.如权利要求6所述的装置，其中，

所述图像对齐单元还适于以所述基图缩略图为参考，将所述缩略图序列中除基图缩略图以外的其它缩略图通过光流算法对齐到基图缩略图，得到多帧对齐到基图缩略图的偏移缩略图序列。

8.如权利要求6或7所述的装置，其中，所述图像对齐单元还包括：

计算子单元，适于根据所述待处理图像序列和缩略图序列计算插值坐标；

插值子单元，适于根据插值坐标对所述偏移缩略图序列进行插值处理，得到每一图像帧的偏移量，以及根据所计算得的偏移量处理对应待处理图像序列中的图像帧，生成对齐图像序列，

其中，在对齐图像序列中，基图缩略图对应的待处理图像就是基图。

9.如权利要求6-8中任一项所述的装置，其中，

所述第一计算单元还适于根据所述缩略图序列和待处理图像序列的尺寸计算缩小比例。

10.如权利要求9所述的装置，其中所述第二计算单元包括：

缩小子单元，适于按照所计算出的缩小比例对所述对齐图像序列进行缩放处理，生成对齐缩略图序列；以及

差分子单元，适于分别对所述对齐缩略图序列中的图像帧与基图缩略图做图像差分处理，根据差分结果计算对齐误差系数。