CN108270945B - 一种运动补偿去噪方法及装置 - Google Patents

Abstract

本发明公开了一种运动补偿去噪方法及装置，该方法包括：将输入的当前帧有噪声图像cf按照图像块单元切分，对当前帧有噪声图像cf和参考帧图像p1进行运动估计，计算出当前帧图像中的各图像块的运动矢量；根据当前图像块cf_blk的块空间位置坐标，进行邻域候选矢量选择，计算出当前像素点的第一候选运动矢量和第二候选运动矢量；根据当前像素点的第一候选运动矢量和第二候选运动矢量，计算出当前像素点的邻域约束随机候选运动矢量；分别进行并计算出各候选运动矢量运动补偿去噪结果；对各候选运动矢量运动补偿去噪结果进行融合，本发明可解决运动补偿导致的块效应问题以及对于误差迭代传递错误导致的视频图像抖动、模糊等问题。

Description

一种运动补偿去噪方法及装置

技术领域

本发明涉及视频图像处理领域，特别是涉及一种运动补偿去噪方法及装置。

背景技术

随着各种数字产品的普及，视频图像已成为人们日常生活中的信息载体，视频图像在采集拍摄，传输和接受的过程中，会受到各种噪声的污染，致使原视频图像信息受到干扰甚至破坏，使视频图像质量下降，同时影响到后续视频图像处理的效果，如目标检测和识别、视频图像的编解码压缩的压缩率等。视频图像噪声主要有电路热噪声、闪烁噪声、散粒噪声、大气电磁波噪声等。尤其在低亮度视频场景，如夜晚或者室内场景，噪声严重影响所拍摄视频图像的质量和主观感受，并且噪声非常难于压缩，严重影响视频图像的压缩率和浪费视频图像的有限传输带宽资源。为了提高视频图像的质量和主客观效果、视频图像的压缩率并节省传输带宽资源、后续视频图像处理的效果，以及人们对视频质量要求的逐步提高，都有必要对视频图像进行去噪处理。

目前，去噪技术主要分为三大类：空域平滑滤波去噪、时域的运动检测去噪、时域的运动补偿去噪。空域平滑滤波去噪就是通过像素的邻域信息，对平滑区进行低通滤波进行抑制噪声，该方法容易损伤图像细节，尤其是导致图像弱细节纹理丢失；运动检测去噪主要是针对静止区域去噪，容易导致运动物体出现拖尾现象；运动补偿去噪综合考虑了帧间的运动矢量信息，很好的保留运动物体的时域和空域细节，是目前最先进的去噪算法。

在现有技术中，如公开号为CN106803865A的中国专利申请公开了“视频时域的去噪方法及系统”以及公开号为CN104680483A的中国专利申请公开了“图像的噪声估计方法、视频图像去噪方法及装置”，均为运动补偿去噪方法，然而其均是基于以块为最小单元的运动估计，导致运动补偿去噪易出现块效应现象，而且若运动估计的运动矢量不精确，运动补偿去噪算法对运动估计误差比较敏感，运动补偿去噪容易导致误差迭代传递错误，如抖动和模糊现象。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种运动补偿去噪方法及装置，以解决运动补偿导致的块效应问题以及对于误差迭代传递错误导致的视频图像抖动、模糊等问题。

为达上述及其它目的，本发明提出一种运动补偿去噪方法，包括如下步骤：

步骤S1，将输入的当前帧有噪声图像cf按照图像块单元切分，对当前帧有噪声图像cf和参考帧图像p1进行运动估计，计算出当前帧图像中的各图像块的运动矢量；

步骤S2，根据当前图像块cf_blk的块空间位置坐标，进行邻域候选矢量选择，计算出当前像素点的第一候选运动矢量和第二候选运动矢量；

步骤S3，根据当前像素点的第一候选运动矢量和第二候选运动矢量，计算出当前像素点的邻域约束随机候选运动矢量；

步骤S4，分别进行并计算出各候选运动矢量运动补偿去噪结果；

步骤S5，对各候选运动矢量运动补偿去噪结果进行融合；采用如下公式实现：

其式中，cf_cn(i,j)表示对cf_curr(i,j)和cf_neib(i,j)融合后的去噪结果，cf_curr(i,j)表示像素cf(i,j)经过第一候选矢量Mv_curr运动补偿去噪结果，cf_neib(i,j)表示像素cf(i,j)经过第二候选矢量Mv_neib运动补偿去噪结果，

为第一候选运动矢量与第二候选运动矢量运动补偿去噪的权重值；

计算邻域候选运动矢量的最大差异值Dist_Mv，并根据Dist_Mv值，计算出邻域约束随机候选运动矢量的运动补偿去噪融合权重；

在对邻域候选运动矢量的运动补偿去噪进行融合的基础上对邻域约束随机候选运动矢量的运动补偿去噪进行融合；公式如下：

cf_mc(i,j)＝cf_cn(i,j)+W^mc·cf_rand(i,j)

其式中，cf_mc(i,j)表示对cf_cn(i,j)和cf_rand(i,j)融合后的去噪结果。邻域约束随机候选矢量运动补偿去噪的融合很好的优化好了运动估计导致时域运动不一致的图像模糊、闪烁和抖动现象。

优选地，于步骤S2中，利用基于邻域图像块运动矢量的像素运动矢量分解策略，使分解后的运动矢量精细到像素级。

优选地，所述分解策略如下：

如果当前像素落在图像块Block0内，则当前像素的第一候选运动矢量Mv_curr＝Mv_blk0；如果当前像素落在图像块Block1内，则当前像素的第一候选运动矢量Mv_curr＝Mv_blk1；如果当前像素落在图像块Block2内，则当前像素的第一候选运动矢量Mv_curr＝Mv_blk2；如果当前像素落在图像块Block3内，则当前像素的第一候选运动矢量Mv_curr＝Mv_blk3；第二候选运动矢量为在2×2邻域内与Mv_curr差异最大的运动矢量，符号记为Mv_neib；

其中，Block0、Block1、Block2、Block3分别是当前图像块cf_blk的2×2邻域图像块，Mv_blk0、Mv_blk1、Mv_blk2、Mv_blk3为Block0、Block1、Block2、Block3邻域图像块位置对应的运动矢量。

优选地，于步骤S3中，利用基于邻域图像块运动矢量的约束随机扰动的策略，计算出当前像素点的邻域约束随机候选运动矢量。

优选地，所述基于邻域图像块运动矢量的约束随机扰动的策略具体如下：

根据步骤S2得到的第一候选运动矢量Mv_curr和第二候选运动矢量Mv_neib，确定随机候选运动矢量的随机范围；

计算所述随机候选运动矢量Mv_rand＝(x_rand,y_rand)，其中

x_rand＝rand(x_curr,x_neib)

y_rand＝rand(y_curr,y_neib)

rand表示随机运算算子,x表示水平方向的运动矢量大小，y表示垂直方向的运动矢量大小,下标curr,neib,rand表示3种运动矢量。

优选地，步骤S4进一步包括：

计算获得各候选运动矢量的SAD值；

根据各候选运动矢量的SAD值，分别计算各候选运动矢量的运动补偿去噪的权重值；

利用各候选运动矢量的运动补偿去噪的权重值对当前像素点与各候选运动矢量对应的参考像素点进行运动补偿去噪。

优选地，所述运动补偿去噪计算方法如下：

其式中，cf_curr(i,j)表示像素cf(i,j)经过第一候选运动矢量Mv_curr运动补偿去噪结果，cf_neib(i,j)表示像素cf(i,j)经过第二候选运动矢量Mv_neib运动补偿去噪结果，cf_rand(i,j)表示像素cf(i,j)经过随机候选运动矢量Mv_rand运动补偿去噪结果，

为各候选运动矢量的运动补偿去噪的权重值,p1(i+x,j+y)表示当前像素cf(j,i)经过运动矢量Mv＝(x,y)投影到参考帧图像p1的对应像素点。

优选地，步骤S5进一步包括：

对邻域候选运动矢量的运动补偿去噪进行融合；

计算邻域候选运动矢量的最大差异值Dist_Mv，并根据Dist_Mv值，计算出邻域约束随机候选运动矢量的运动补偿去噪融合权重；

在对邻域候选运动矢量的运动补偿去噪进行融合的基础上对邻域约束随机候选运动矢量的运动补偿去噪进行融合。

优选地，所述对邻域候选运动矢量的运动补偿去噪进行融合采用如下公式实现：

其式中，cf_cn(i,j)表示对cf_curr(i,j)和cf_neib(i,j)融合后的去噪结果，cf_curr(i,j)表示像素cf(i,j)经过第一候选矢量Mv_curr运动补偿去噪结果，cf_neib(i,j)表示像素cf(i,j)经过第二候选矢量Mv_neib运动补偿去噪结果，

为第一候选运动矢量与第二候选运动矢量运动补偿去噪的权重值。

优选地，计算邻域约束随机候选运动矢量的运动补偿去噪融合，公式如下：

cf_mc(i,j)＝cf_cn(i,j)+W^mc·cf_rand(i,j)

其式中，cf_mc(i,j)表示对cf_cn(i,j)和cf_rand(i,j)融合后的去噪结果。邻域约束随机候选矢量运动补偿去噪的融合很好的优化好了运动估计导致时域运动不一致的图像模糊、闪烁和抖动现象。

为达到上述目的，本发明还提供一种运动补偿去噪装置，包括：

运动估计单元，用于将输入的当前帧有噪声图像cf按照图像块单元切分，对当前帧有噪声图像cf和参考帧图像p1进行运动估计，计算出当前帧图像中的各图像块的运动矢量；

领域候选运动矢量选择单元，用于根据当前图像块cf_blk的块空间位置坐标，进行邻域候选矢量选择，计算出当前像素点的第一候选运动矢量和第二候选运动矢量；

随机候选运动矢量选择单元，用于根据当前像素点的第一候选运动矢量和第二候选运动矢量，计算出当前像素点的邻域约束随机候选运动矢量；

运动补偿去噪单元，用于分别进行并计算出各候选运动矢量运动补偿去噪结果；

去噪结果融合单元，用于对各候选运动矢量运动补偿去噪结果进行融合。

现有技术相比，本发明一种3DRS运动估计方法及运动补偿去隔行方法、系统通过同极性场3DRS运动估计进行第一次运动矢量搜索，使运动矢量场快速收敛，然后做异极性场3DRS运动进行第二次运动矢量搜索，进一步精确化当前场运动补偿的运动矢量，使其收敛到真实的运动矢量，最后根据异极性场3DRS搜索的矢量场进行运动补偿插值去隔行处理，解决了同极性场重复帧场景的去隔行闪烁问题现象，以及同极性场运动矢量和异极性场运动矢量在时间域中不一致导致去隔行出现错误、锯齿、羽化问题现象。

附图说明

图1为本发明一种运动补偿去噪方法的步骤流程图；

图2为本发明具体实施例中对输入图像的分块示意图；

图3为本发明具体实施例中图像块的邻域示意图；

图4为本发明具体实施例中基于SAD值的融合权重曲线图；

图5为本发明具体实施例中基于Dist_mv值的融合权重曲线图；

图6为本发明具体实施例中运动矢量mv的投影示意图；

图7为本发明一种运动补偿去噪装置的结构示意图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种运动补偿去噪方法的步骤流程图。如图1所示，本发明一种运动补偿去噪方法，包括如下步骤：

步骤S1，将输入的当前帧有噪声图像cf按照图像块单元(H′_blk×W′_blk大小的像素块)切分，对当前帧有噪声图像cf和参考帧图像p1进行运动估计，计算出当前帧图像中的各图像块的运动矢量，其中参考帧图像p1即当前帧cf的前一帧图像。

图像的分块示意图请参考图2所示，cf表示输入的当前帧有噪声图像，p1表示进行运动估计的参考帧图像，在本发明具体实施例中，输入帧图像像素分辨率大小为1920×1080，图像块分辨率大小为W_blk×H_blk(其中H_blk＝8,W_blk＝8)，图像分块示意图参考附图2，图像数据是在YCbCr颜色空间的亮度Y分量进行计算的，其它颜色分量的计算过程类似，输入帧图像像素分辨率为1920×1080像素，将图像按照像素块(8×8大小的像素块)单元切分，总共有M×N(其M＝1920/8＝240，N＝1080/8＝135)个图像块(block)；cf(i,j)表示cf场图像的第i行第j列像素；cf_blk表示当前场cf图像中第n行第m列块(n取值范围是{0,1,...,N-1}，m取值范围是{0,1,...,M-1})，cf_blk(l,k)表示当前块cf_blk的第l行第k列像素，根据当前帧图像和参考帧图像进行运动估计，得到当前帧图像中的各图像块的运动矢量，当前块运动矢量符号记为Mv_cur＝(x,y)，x表示水平方向的运动矢量大小，y表示垂直方向的运动矢量大小。具体地，运动估计可以采用现有的各种方法，比如3DRS方法，多尺度金字塔3DRS方法等，在此不予赘述。

步骤S2，根据当前图像块cf_blk的块空间位置坐标，进行邻域候选矢量选择，计算出当前像素点的第一候选运动矢量和第二候选运动矢量。

根据当前图像块cf_blk的块空间位置坐标，进行邻域候选矢量选择，详细示意图请参考图3所示。中间的实线框区域表示当前8×8像素块,即当前图像块cf_blk，Block0、Block1、Block2、Block3分别是当前图像块cf_blk的2×2邻域图像块，邻域图像块位置对应的运动矢量分别表示为Mv_blk0、Mv_blk1、Mv_blk2、Mv_blk3。如果当前图像块cf_blk内的8×8像素都用同一个运动矢量进行运动补偿去噪，因为图像中的物体并不是一个理想的刚体运动，在实际视频图像中的物体往往都会有些形变，同时图像的分块划分也会不可避免出现的物体碎片化，都会导致去噪后的图像出现块效应，因此本发明提出了基于邻域图像块运动矢量的像素运动矢量分解策略，使分解后的运动矢量精细到像素级。对单个图像块内的每个像素分别进行计算分解策略如下：

如果当前像素落在图像块Block0内，则当前像素的第一候选运动矢量Mv_curr＝Mv_blk0，第二候选运动矢量为在2×2邻域内与Mv_curr差异最大的运动矢量，符号记为Mv_neib，即Mv_neib＝{Mv_blki|max{||Mv_blki-Mv_curr||,i＝0,1,2,3,IMv_blki≠Mv_curr}}；

如果当前像素落在图像块Block1、Block2或者Block3内，方法类似，可以计算出对应的第一候选运动矢量Mv_curr和第二候选运动矢量Mv_neib。

步骤S3，根据当前像素点的第一候选运动矢量和第二候选运动矢量，计算出当前像素点的邻域约束随机候选运动矢量。

步骤S1中的运动估计(可利用现有的运动估计方法)搜索得到的运动矢量场，由于受到噪声的干扰以及运动矢量的精度影响，尤其时弱细节纹理区和低亮度区域，在时域内往往很难保证其运动矢量大小的连续性，导致运动补偿去噪过程中产生误差，并随着误差的迭代传递，最终导致运动图像模糊，抖动等现象。因此，本发明提出了基于邻域图像块运动矢量的约束随机扰动的策略，具体策略如下：

首先，根据步骤S2得到的第一候选运动矢量Mv_curr＝(x_curr,y_curr)和第二候选运动矢量Mv_neib＝(x_neib,y_neib)，确定随机候选运动矢量的随机范围。

其次，计算随机候选运动矢量Mv_rand＝(x_rand,y_rand)，公式如下：

x_rand＝rand(x_curr,x_neib)

y_rand＝rand(y_curr,y_neib)

其式中，rand表示随机运算算子。

步骤S4，分别进行并计算出各候选运动矢量运动补偿去噪结果，以备后续模块进行去噪融合。

具体地，根据步骤S2和步骤S3计算得到的当前像素点的第一候选运动矢量Mv_curr、第二候选运动矢量Mv_neib和随机候选运动矢量Mv_rand，以及当前像素点的坐标位置，分别进行对应的候选运动矢量运动补偿去噪处理，具体步骤如下：

首先，计算对应像素点邻域内(本发明具体实施例采用了3×3像素邻域，也可以是其它窗口尺寸大小的邻域)的平均绝对值误差值，符号记为SAD。计算公式如下：

其式中，cf(i,j)表示cf场图像的当前像素(第i行第j列像素)，p1(i+x,j+y)表示当前像素cf(i,j)经过运动矢量Mv＝(x,y)投影(投影示意图请参考图6所示)到参考帧图像p1的对应像素点。根据SAD值的大小可知，如果SAD值越小，说明对应参考像素点邻域与当前像素点领域的时域距离越相近，也就是说参考图像像素领域与当前图像像素邻域匹配程度越高；如果SAD值越大，说明对应参考图像像素邻域与当前图像像素邻域的时域距离越不同，也就是说参考图像像素邻域与当前图像像素邻域匹配程度越低。

根据上述公式则可以计算得各候选运动矢量的SAD值，第一候选运动矢量SAD值符号记为SAD_curr，第二候选运动矢量SAD值符号记为SAD_neib，随机选矢量SAD值符号记为SAD_rand。

其次，同时根据各候选运动矢量的SAD值，分别计算各候选运动矢量的运动补偿去噪的权重值，符号分别记为

请参考图4，L₀表示低噪音等级预设阈值，L₁表示中噪音等级预设阈值，L₂表示高噪音等级预设阈值。

最后，对当前像素点与各候选运动矢量对应的参考像素点进行运动补偿去噪，计算方法如下：

其式中，cf_curr(i,j)表示像素cf(i,j)经过第一候选运动矢量Mv_curr运动补偿去噪结果，cf_neib(i,j)表示像素cf(i,j)经过第二候选运动矢量Mv_neib运动补偿去噪结果，cf_rand(i,j)表示像素cf(i,j)经过随机候选运动矢量Mv_rand运动补偿去噪结果。

步骤S5，对各候选运动矢量运动补偿去噪结果进行融合。具体地，融合计算过程如下：

首先，计算邻域候选运动矢量的运动补偿去噪融合，公式如下：

其式中，cf_cn(i,j)表示对cf_curr(i,j)和cf_neib(i,j)融合后的去噪结果。邻域候选矢量的运动补偿去噪融合很好的解决了块效应问题。

其次，计算邻域候选运动矢量的最大差异值Dist_Mv，并根据Dist_Mv值，计算出邻域约束随机候选运动矢量的运动补偿去噪融合权重，符号记为W^mc。最大差异值Dist_Mv的计算公式如下：

Dist_Mv＝||Mv_neib-Mv_curr||

其式中，Dist_Mv值越大，表示邻域内候选运动矢量的差异越大，即随机候选运动矢量的扰动越剧烈，融合的力度需要降低以减少随机候选运动矢量扰动的误差，Dist_Mv值越小，即随机候选运动矢量的扰动越平稳，融合的力度需要增加以减少时域运动矢量不一致导致的图像模糊、抖动等现象。根据图5，D₀表示小扰动预设阈值，D₁表示中扰动预设阈值，D₂表示打扰动预设阈值，根据Dist_Mv值，计算出邻域约束随机候选运动矢量的运动补偿去噪融合权重，符号记为W^mc。

最后，计算邻域约束随机候选运动矢量的运动补偿去噪融合，公式如下：

cf_mc(i,j)＝cf_cn(i,j)+W^mc·cf_rand(i,j)

其式中，cf_mc(i,j)表示对cf_cn(i,j)和cf_rand(i,j)融合后的去噪结果。邻域约束随机候选矢量运动补偿去噪的融合很好的优化好了运动估计导致时域运动不一致的图像模糊、闪烁和抖动现象。

图7为本发明一种运动补偿去噪装置的结构示意图。如图7所示，本发明一种运动补偿去噪装置，包括：

运动估计单元701，用于将输入的当前帧有噪声图像cf按照图像块单元(H′_blk×W′_blk大小的像素块)切分，对当前帧有噪声图像cf和参考帧图像p1进行运动估计，计算出当前帧图像中的各图像块的运动矢量。

其中，cf表示输入的当前帧有噪声图像，p1表示进行运动估计的参考帧图像，cf(i,j)表示cf场图像的第i行第j列像素；cf_blk表示当前场cf图像中第n行第m列块(n取值范围是{0,1,...,N-1}，m取值范围是{0,1,...,M-1})，cf_blk(l,k)表示当前块cf_blk的第l行第k列像素，根据当前帧图像和参考帧图像进行运动估计，得到当前帧图像中的各图像块的运动矢量，当前块运动矢量符号记为Mv_cur＝(x,y)，x表示水平方向的运动矢量大小，y表示垂直方向的运动矢量大小。具体地，运动估计可以采用现有的各种方法，比如3DRS方法，多尺度金字塔3DRS方法等，在此不予赘述。

领域候选运动矢量选择单元702，用于根据当前图像块cf_blk的块空间位置坐标，进行邻域候选矢量选择，计算出当前像素点的第一候选运动矢量和第二候选运动矢量。

具体地，候选运动矢量选择单元702根据当前图像块cf_blk的块空间位置坐标，进行邻域候选矢量选择，详细示意图请参考图3所示。中间的实线框区域表示当前8×8像素块,即当前图像块cf_blk，Block0、Block1、Block2、Block3分别是当前图像块cf_blk的2×2邻域图像块，邻域图像块位置对应的运动矢量分别表示为Mv_blk0、Mv_blk1、Mv_blk2、Mv_blk3。为避免去噪后的图像出现块效应，本发明提出了基于邻域图像块运动矢量的像素运动矢量分解策略，使分解后的运动矢量精细到像素级。对单个图像块内的每个像素分别进行计算分解策略如下：

如果当前像素落在图像块Block0内，则当前像素的第一候选运动矢量Mv_curr＝Mv_blk0，第二候选运动矢量为在2×2邻域内与Mv_curr差异最大的运动矢量，符号记为Mv_neib，即Mv_neib＝{Mv_blki|max{||Mv_blki-Mv_curr||,i＝0,1,2,3,IMv_blki≠Mv_curr}}；

如果当前像素落在图像块Block1、Block2或者Block3内，方法类似，可以计算出对应的第一候选运动矢量Mv_curr和第二候选运动矢量Mv_neib。

随机候选运动矢量选择单元703，用于根据当前像素点的第一候选运动矢量和第二候选运动矢量，计算出当前像素点的邻域约束随机候选运动矢量。

在本发明具体实施例中，提出了基于邻域图像块运动矢量的约束随机扰动的策略，具体策略如下：

首先，根据领域候选运动矢量选择单元702得到的第一候选运动矢量Mv_curr＝(x_curr,y_curr)和第二候选运动矢量Mv_neib＝(x_neib,y_neib)，确定随机候选运动矢量的随机范围。

其次，计算随机候选运动矢量Mv_rand＝(x_rand,y_rand)，公式如下：

x_rand＝rand(x_curr,x_neib)

y_rand＝rand(y_curr,y_neib)

其式中，rand表示随机运算算子。

运动补偿去噪单元704，用于分别进行并计算出各候选运动矢量运动补偿去噪结果，以备后续模块进行去噪融合。

具体地，根据领域候选运动矢量选择单元702和随机候选运动矢量选择单元703计算得到的当前像素点的第一候选运动矢量Mv_curr、第二候选运动矢量Mv_neib和随机候选运动矢量Mv_rand，以及当前像素点的坐标位置，分别进行对应的候选运动矢量运动补偿去噪处理，具体地，运动补偿去噪单元704进一步包括：

SAD计算模块，用于计算对应像素点邻域内(本发明具体实施例采用了3×3像素邻域，也可以是其它窗口尺寸大小的邻域)的平均绝对值误差值，符号记为SAD。即计算得到各候选运动矢量的SAD值，第一候选运动矢量SAD值符号记为SAD_curr，第二候选运动矢量SAD值符号记为SAD_neib，随机选矢量SAD值符号记为SAD_rand。

权重值计算模块，用于根据各候选运动矢量的SAD值，分别计算各候选运动矢量的运动补偿去噪的权重值，符号分别记为

运动补偿去噪模块，对当前像素点与各候选运动矢量对应的参考像素点进行运动补偿去噪。

去噪结果融合单元705，用于对各候选运动矢量运动补偿去噪结果进行融合。具体地，去噪结果融合单元705进一步包括：

第一融合单元，用于对邻域候选运动矢量的运动补偿去噪进行融合，公式如下：

其式中，cf_cn(i,j)表示对cf_curr(i,j)和cf_neib(i,j)融合后的去噪结果。邻域候选矢量的运动补偿去噪融合很好的解决了块效应问题。

第二融合单元，用于在第一融合单元的融合结果的基础上对邻域约束随机候选运动矢量的运动补偿去噪进行融合。

融合权重计算单元，用于计算邻域候选运动矢量的最大差异值Dist_Mv，并根据Dist_Mv值，计算出邻域约束随机候选运动矢量的运动补偿去噪融合权重，符号记为W^mc。根据融合权重W^mc计算邻域约束随机候选运动矢量的运动补偿去噪融合，公式如下：

cf_mc(i,j)＝cf_cn(i,j)+W^mc·cf_rand(i,j)

其式中，cf_mc(i,j)表示对cf_cn(i,j)和cf_rand(i,j)融合后的去噪结果。邻域约束随机候选矢量运动补偿去噪的融合很好的优化好了运动估计导致时域运动不一致的图像模糊、闪烁和抖动现象。

综上所述，本发明一种运动补偿去噪方法及装置基于邻域局部候选矢量的选取和运动补偿去噪融合技术，很好地解决了运动补偿导致的块效应问题，同时本发明基于邻域约束随机候选运动矢量的选取和运动补偿融合技术，降低了运动补偿去噪的误差迭代传递问题，增强了在时域内相邻帧去噪图像的一致性，很好地减少了图像模糊、闪烁和抖动现象。

与现有技术相比，本发明具有如下优点：

1、本发明根据运动矢量场的空域局部连续和分片光滑的形态学特征，提出了基于空域局部候选矢量的选取和运动补偿去噪融合技术，很好的解决了运动补偿导致的块效应问题。

2、本发明根据运动矢量场的时域局部连续和一致性特征，提出了基于邻域约束随机候选矢量的选取和运动补偿融合技术，降低运动补偿去噪的误差迭代传递问题，增强了在时域内相邻帧去噪图像的一致性，很好的减少图像模糊、闪烁和抖动现象。

3、本发明整个运动补偿去噪方法中，仅仅运用了局部2个候选运动矢量运动补偿去噪和1个随机候选运动矢量运动补偿去噪，然后将两类运动补偿去噪结构进行融合，很好的优化了块效应和图像模糊、闪烁和抖动现象，本发明实现的计算复杂度低，易于硬件逻辑实现。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (5)

1.一种运动补偿去噪方法，包括如下步骤：

步骤S1，将输入的当前帧有噪声图像cf按照图像块单元切分，对当前帧有噪声图像cf和参考帧图像p1进行运动估计，计算出当前帧图像中的各图像块的运动矢量；

步骤S2，根据当前图像块cf_blk的块空间位置坐标，进行邻域候选矢量选择，计算出当前像素点的第一候选运动矢量和第二候选运动矢量；

步骤S3，根据当前像素点的第一候选运动矢量和第二候选运动矢量，利用基于邻域图像块运动矢量的约束随机扰动的策略，计算出当前像素点的邻域约束随机候选运动矢量；具体如下：

根据步骤S2得到的第一候选运动矢量Mv_curr和第二候选运动矢量Mv_neib，确定随机候选运动矢量的随机范围；

计算所述随机候选运动矢量Mv_rand＝(x_rand,y_rand)，其中，

x_rand＝rand(x_curr,x_neib)

y_rand＝rand(y_curr,y_neib)

rand表示随机运算算子,x表示水平方向的运动矢量大小，y表示垂直方向的运动矢量大小,下标curr,neib,rand表示3种运动矢量；

步骤S4，分别进行并计算出各候选运动矢量运动补偿去噪结果；包括：

计算获得各候选运动矢量的SAD值；计算公式如下：

其式中，cf(i,j)表示cf场图像的当前像素(第i行第j列像素)，p1(i+x,j+y)表示当前像素cf(i,j)经过运动矢量Mv＝(x,y)投影到参考帧图像p1的对应像素点；

根据各候选运动矢量的SAD值，分别计算各候选运动矢量的运动补偿去噪的权重值；

利用各候选运动矢量的运动补偿去噪的权重值对当前像素点与各候选运动矢量对应的参考像素点进行运动补偿去噪；

步骤S5，对各候选运动矢量运动补偿去噪结果进行融合；包括：

对邻域候选运动矢量的运动补偿去噪进行融合；采用如下公式实现：

其式中，cf_cn(i,j)表示对cf_curr(i,j)和cf_neib(i,j)融合后的去噪结果，cf_curr(i,j)表示像素cf(i,j)经过第一候选矢量Mv_curr运动补偿去噪结果，cf_neib(i,j)表示像素cf(i,j)经过第二候选矢量Mv_neib运动补偿去噪结果，

为第一候选运动矢量与第二候选运动矢量运动补偿去噪的权重值；

计算邻域候选运动矢量的最大差异值Dist_Mv，并根据Dist_Mv值，计算出邻域约束随机候选运动矢量的运动补偿去噪融合权重；

在对邻域候选运动矢量的运动补偿去噪进行融合的基础上对邻域约束随机候选运动矢量的运动补偿去噪进行融合；公式如下：

cf_mc(i,j)＝cf_cn(i,j)+W^mc·cf_rand(i,j)

其式中，cf_mc(i,j)表示对cf_cn(i,j)和cf_rand(i,j)融合后的去噪结果，邻域约束随机候选矢量运动补偿去噪的融合很好的优化好了运动估计导致时域运动不一致的图像模糊、闪烁和抖动现象。

2.如权利要求1所述的一种运动补偿去噪方法，其特征在于：于步骤S2中，利用基于邻域图像块运动矢量的像素运动矢量分解策略，使分解后的运动矢量精细到像素级。

3.如权利要求2所述的一种运动补偿去噪方法，其特征在于，所述分解策略如下：

如果当前像素落在图像块Block0内，则当前像素的第一候选运动矢量Mv_curr＝Mv_blk0；如果当前像素落在图像块Block1内，则当前像素的第一候选运动矢量Mv_curr＝Mv_blk1；如果当前像素落在图像块Block2内，则当前像素的第一候选运动矢量Mv_curr＝Mv_blk2；如果当前像素落在图像块Block3内，则当前像素的第一候选运动矢量Mv_curr＝Mv_blk3；第二候选运动矢量为在2×2邻域内与Mv_curr差异最大的运动矢量，符号记为Mv_neib；

其中，Block0、Block1、Block2、Block3分别是当前图像块cf_blk的2×2邻域图像块，Mv_blk0、Mv_blk1、Mv_blk2、Mv_blk3为Block0、Block1、Block2、Block3邻域图像块位置对应的运动矢量。

4.如权利要求1所述的一种运动补偿去噪方法，其特征在于，所述运动补偿去噪计算方法如下：

其式中，cf_curr(i,j)表示像素cf(i,j)经过第一候选运动矢量Mv_curr运动补偿去噪结果，cf_neib(i,j)表示像素cf(i,j)经过第二候选运动矢量Mv_neib运动补偿去噪结果，cf_rand(i,j)表示像素cf(i,j)经过随机候选运动矢量Mv_rand运动补偿去噪结果，

为各候选运动矢量的运动补偿去噪的权重值,p1(i+x,j+y)表示当前像素cf(j,i)经过运动矢量Mv＝(x,y)投影到参考帧图像p1的对应像素点。

5.一种运动补偿去噪装置，包括：

运动估计单元，用于将输入的当前帧有噪声图像cf按照图像块单元切分，对当前帧有噪声图像cf和参考帧图像p1进行运动估计，计算出当前帧图像中的各图像块的运动矢量；

领域候选运动矢量选择单元，用于根据当前图像块cf_blk的块空间位置坐标，进行邻域候选矢量选择，计算出当前像素点的第一候选运动矢量和第二候选运动矢量；

随机候选运动矢量选择单元，用于根据当前像素点的第一候选运动矢量和第二候选运动矢量，利用基于邻域图像块运动矢量的约束随机扰动的策略，计算出当前像素点的邻域约束随机候选运动矢量；具体如下：

根据步骤S2得到的第一候选运动矢量Mv_curr和第二候选运动矢量Mv_neib，确定随机候选运动矢量的随机范围；

计算所述随机候选运动矢量Mv_rand＝(x_rand,y_rand)，其中

x_rand＝rand(x_curr,x_neib)

y_rand＝rand(y_curr,y_neib)

rand表示随机运算算子,x表示水平方向的运动矢量大小，y表示垂直方向的运动矢量大小,下标curr,neib,rand表示3种运动矢量；

运动补偿去噪单元，用于分别进行并计算出各候选运动矢量运动补偿去噪结果；包括：

计算获得各候选运动矢量的SAD值；计算公式如下：

其式中，cf(i,j)表示cf场图像的当前像素(第i行第j列像素)，p1(i+x,j+y)表示当前像素cf(i,j)经过运动矢量Mv＝(x,y)投影到参考帧图像p1的对应像素点；

根据各候选运动矢量的SAD值，分别计算各候选运动矢量的运动补偿去噪的权重值；

利用各候选运动矢量的运动补偿去噪的权重值对当前像素点与各候选运动矢量对应的参考像素点进行运动补偿去噪；

去噪结果融合单元，用于对各候选运动矢量运动补偿去噪结果进行融合；包括：

对邻域候选运动矢量的运动补偿去噪进行融合；采用如下公式实现：

其式中，cf_cn(i,j)表示对cf_curr(i,j)和cf_neib(i,j)融合后的去噪结果，cf_curr(i,j)表示像素cf(i,j)经过第一候选矢量Mv_curr运动补偿去噪结果，cf_neib(i,j)表示像素cf(i,j)经过第二候选矢量Mv_neib运动补偿去噪结果，

为第一候选运动矢量与第二候选运动矢量运动补偿去噪的权重值；

计算邻域候选运动矢量的最大差异值Dist_Mv，并根据Dist_Mv值，计算出邻域约束随机候选运动矢量的运动补偿去噪融合权重W^mc；

在对邻域候选运动矢量的运动补偿去噪进行融合的基础上对邻域约束随机候选运动矢量的运动补偿去噪进行融合；采用如下公式实现：

cf_mc(i,j)＝cf_cn(i,j)+W^mc·cf_rand(i,j)

其式中，cf_mc(i,j)表示对cf_cn(i,j)和cf_rand(i,j)融合后的去噪结果；邻域约束随机候选矢量运动补偿去噪的融合很好的优化好了运动估计导致时域运动不一致的图像模糊、闪烁和抖动现象。

Images