CN115908154B - 基于图像处理的视频后期颗粒噪声去除方法 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，具体涉及一种基于图像处理的视频后期颗粒噪声去除方法，包括，对获取的待处理视频的每帧图像进行图像处理，得到每帧灰度图像对应的分割尺度为N的各个像素块；根据各个像素块对应的灰度均值，确定各个像素块对应的第一噪声指标，进而确定各目标像素块；根据各目标像素块、各目标像素块对应的灰度均值、灰度梯度均值以及显著程度，确定各目标像素块对应的噪声概率，进而确定各个像素点对应的多尺寸噪声概率，得到各噪声像素点，进而得到去噪处理后的待处理视频。本发明解决了去噪处理后视频图像清晰度较差的问题，提高了去噪处理后待处理视频图像信息的完整性，主要应用于视频图像去噪处理。

Description

基于图像处理的视频后期颗粒噪声去除方法

技术领域

本发明涉及图像数据处理的技术领域，具体涉及一种基于图像处理的视频后期颗粒噪声去除方法。

背景技术

随着生活水平的提高，用户对于视频图像产出的质量要求越来越高，但受视频图像自身特点的影响，在获取视频图像时会不可避免地会引入噪声信号，而噪声信号的存在会导致视频图像的清晰度严重降低，使视频图像中的景物和背景发生混乱，尤其是在视频后期阶段产生的颗粒噪声，颗粒噪声信号使视频图像变得较为模糊，视频图像的清晰度严重下降。因此，对视频图像进行完整去噪，改善视频图像最终的生成效果，成为目前用户的急切需求。

传统消除噪声的两个主要途径分别为，空域滤波和频域滤波，但该消除噪声的方法是基于整个图像进行滤波处理，该方法在一定程度上改变了视频图像的原有信息，降低了去噪处理后的视频图像的真实性。现有提出了公开号为CN112991235A，视频降噪方法和视频降噪终端，该方法基于当前时刻的视频帧和历史状态帧，利用运动估计网络模型和降噪网络模型，分析当前视频帧的运动概率和静止概率，对当前视频进行去噪处理。该方法使用神经网络来分析当前视频帧的降噪状态，其训练量和计算量大，导致视频帧去噪处理效率较低。另外，该方法需要稳定的运动概率或静止概率，故对于连续变化场景的视频去噪效果就不会很好，导致最终去噪处理后的视频图像的清晰度较差，也就是导致去噪处理后的视频图像的一些图像信息丢失。

发明内容

为了解决上述现有去噪处理后的视频图像的清晰度较差的技术问题，本发明的目的在于提供一种基于图像处理的视频后期颗粒噪声去除方法，所采用的技术方案具体如下：

本发明一个实施例提供了一种基于图像处理的视频后期颗粒噪声去除方法，该方法包括以下步骤：

获取待处理视频的每帧图像，进而得到待处理视频的每帧灰度图像；

根据待处理视频的每帧灰度图像，利用多个不同的分割尺度对每帧灰度图像进行超像素块分割，得到每帧灰度图像对应的分割尺度为N的各个像素块；

获取分割尺度为N的各个像素块对应的灰度均值，根据分割尺度为N的各个像素块对应的灰度均值，确定分割尺度为N的各个像素块对应的第一噪声指标，进而确定分割尺度为N的各目标像素块；

获取分割尺度为N的各个目标像素块对应的灰度梯度均值和显著程度，根据分割尺度为N的各目标像素块、各目标像素块对应的灰度均值、灰度梯度均值以及显著程度，确定分割尺度为N的各目标像素块对应的噪声概率；

根据分割尺度为N的各目标像素块对应的噪声概率，确定每帧灰度图像的各个像素点对应的多尺寸噪声概率，进而确定每帧灰度图像的各噪声像素点；

对每帧灰度图像的各噪声像素点进行滤波处理，得到去噪处理后的待处理视频。

进一步的，确定分割尺度为N的各个像素块对应的第一噪声指标的步骤包括：

根据分割尺度为N的各个像素块对应的灰度均值，对相邻两帧灰度图像对应的分割尺度为N的各个像素块进行块匹配处理，确定分割尺度为N的各匹配像素块和各不匹配像素块；

获取分割尺度为N的各匹配像素块的位置，根据分割尺度为N的各匹配像素块的位置，确定分割尺度为N的各个匹配像素块对应的运动矢量；

根据分割尺度为N的各个匹配像素块对应的运动矢量，确定分割尺度为N的各个匹配像素块对应的运动矢量的模和方向；

获取各个匹配像素块的7*7邻域内的各邻域匹配像素块，根据分割尺度为N的各个匹配像素块及其7*7邻域内的各邻域匹配像素块对应的运动矢量的模和方向，确定分割尺度为N的各个匹配像素块对应的第一噪声指标，其计算公式为：

其中，Q为分割尺度为N的各个匹配像素块对应的第一噪声指标，exp()为以自然常数e为底的指数函数，为在每帧灰度图像对应的横坐标为i纵坐标为j的匹配像素块的7*7邻域内，横坐标为u纵坐标为v的邻域匹配像素块对应的运动矢量的模，/>为每帧灰度图像对应的横坐标为i纵坐标为j的匹配像素块对应的运动矢量的模，θ_(u,v)为在每帧灰度图像对应的横坐标为i纵坐标为j的匹配像素块的7*7邻域内，横坐标为u纵坐标为v的邻域匹配像素块对应的运动矢量的方向，θ_(i,j)为每帧灰度图像对应的横坐标为i纵坐标为j的匹配像素块对应的运动矢量的方向。

进一步的，进而确定分割尺度为N的各目标像素块的步骤包括：

将分割尺度为N的各不匹配像素块作为目标像素块，并将所述各个匹配像素块对应的第一噪声指标与预设噪声阈值进行比较，若任意一个匹配像素块对应的第一噪声指标大于预设噪声阈值，则判定该匹配像素块为目标像素块，否则，判定该匹配像素块不为目标像素块，得到分割尺度为N的各目标像素块。

进一步的，确定分割尺度为N的各目标像素块对应的噪声概率的步骤包括：

根据分割尺度为N的各目标像素块以及各目标像素块对应的灰度均值和灰度梯度均值，确定各目标像素块对应的第二噪声指标；

根据分割尺度为N的各目标像素块对应的显著程度，确定各目标像素块对应的第三噪声指标；

根据分割尺度为N的各目标像素块对应的灰度均值，确定各目标像素块对应的灰度均值序列，进而确定各目标像素块对应的相关像素块的数量；

根据各目标像素块对应的相关像素块的数量，确定各目标像素块对应的第四噪声指标；

根据分割尺度为N的各目标像素块对应的第二噪声指标、第三噪声指标以及第四噪声指标，确定分割尺度为N的各目标像素块对应的噪声概率。

进一步的，确定各目标像素块对应的第二噪声指标的步骤包括：

根据分割尺度为N的各目标像素块，确定分割尺度为N的各目标像素块对应的八邻域像素块；

根据分割尺度为N的各目标像素块及其对应的八邻域像素块对应的灰度均值和灰度梯度均值，确定各目标像素块对应的第二噪声指标，其计算公式为：

其中，W为各目标像素块对应的第二噪声指标，exp()为以自然常数e为底的指数函数，g_l.k为分割尺度为N的第l个目标像素块对应的第k个邻域像素块对应的灰度均值，g_l为分割尺度为N的第l个目标像素块对应的灰度均值，h_l,k为分割尺度为N的第l个目标像素块对应的第k个邻域像素块对应的灰度梯度均值，h_l为分割尺度为N的第l个目标像素块对应的灰度梯度均值。

进一步的，确定各目标像素块对应的灰度均值序列的步骤包括：

以每帧灰度图像为中心，选取与每帧灰度图像相邻的前L帧灰度图像和后L帧灰度图像，进而得到每帧灰度图像对应的2L帧灰度图像；

根据每帧灰度图像对应分割尺度为N的各目标像素块对应的灰度均值以及各目标像素块在每帧灰度图像对应的2L帧灰度图像中对应的灰度均值，确定各目标像素块对应的灰度均值序列，所述灰度均值序列包含2L+1个灰度均值。

进一步的，进而确定各目标像素块对应的相关像素块的数量的步骤包括：

根据各目标像素块对应的灰度均值序列，计算各目标像素块对应的灰度均值与其对应的灰度均值序列中的其他各灰度均值的差值绝对值，所述其他各灰度均值不包含目标像素块本身对应的灰度均值；

若任意一个差值绝对值小于预设差值绝对值阈值，则判定该差值绝对值对应的其他灰度均值的像素块为目标像素块的相关像素块，得到各目标像素块对应的各个相关像素块，并统计各目标像素块对应的相关像素块的数量。

进一步的，确定分割尺度为N的各目标像素块对应的噪声概率的步骤包括：

根据分割尺度为N的各目标像素块对应的第二噪声指标和第三噪声指标，得到分割尺度为N的各目标像素块对应的第二噪声指标和第三噪声指标的乘积；

将分割尺度为N的各目标像素块对应的第二噪声指标和第三噪声指标的乘积作为比值的分子，并将分割尺度为N的各目标像素块对应的第四噪声指标作为比值的分母，所述比值为分割尺度为N的各目标像素块对应的噪声概率。

进一步的，确定每帧灰度图像的各个像素点对应的多尺寸噪声概率的步骤包括：

根据分割尺度为N的各目标像素块对应的噪声概率，计算每帧灰度图像的各个像素点在分割尺度为N的各目标像素块对应的噪声概率平均值，并将像素点在分割尺度为N的目标像素块对应的噪声概率平均值作为该像素点对应的多尺寸噪声概率。

本发明具有如下有益效果：

本发明提供了一种基于图像处理的视频后期颗粒噪声去除方法，该方法通过对待处理视频的每帧图像进行相关的图像处理，得到每帧灰度图像对应的分割尺度为N的各个像素块，像素块属于灰度图像的局部信息，相比利用图像整体对待处理视频进行去噪处理，基于灰度图像的局部信息对待处理视频进行去噪处理，可以在保持图像中的正常像素点不变的情况下，将图像中的噪声像素点筛选出并去除掉，使图像尽量保持原有信息，提高去噪处理后的视频图像的清晰度；为了缩小噪声像素点的搜索范围，提高视频图像去噪处理的效率，基于分割尺度为N的各个像素块对应的灰度均值，确定分割尺度为N的各个像素块对应的第一噪声指标，基于第一噪声指标确定分割尺度为N的各目标像素块。目标像素块的数量要小于像素点块的数目，且噪声像素点位于目标像素块区域的可能性会更大，故确定目标像素块可在一定程度上提高后续所确定的噪声像素点的参考性；为了能够准确判定分割尺度为N的各目标像素块为噪声像素块的概率，基于分割尺度为N的各目标像素块、各目标像素块对应的灰度均值、灰度梯度均值以及显著程度，得到分割尺度为N的各目标像素块对应的噪声概率，该噪声概率是从多个方面分析得到的，其能够提高后续所确定的每帧灰度图像的各噪声像素点的精准性；为了综合考虑分割尺度为N的各目标像素块对应的噪声概率对每帧灰度图像的各个像素点的影响，基于分割尺度为N的各目标像素块对应的噪声概率，确定每帧灰度图像的各个像素点对应的多尺寸噪声概率，进而确定每帧灰度图像的各噪声像素点，从而得到去噪处理后的待处理视频。通过结合不同分割尺度的分析结果，能够更好分析每帧灰度图像中的各个像素点是否为噪声像素点，其有效提高了视频后期颗粒噪声去除的准确性，也就是一定程度上避免将视频图像的正常像素点误判为颗粒噪声点，有助于保留视频图像的原有图像信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一种基于图像处理的视频后期颗粒噪声去除方法的流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明提供了一种基于图像处理的视频后期颗粒噪声去除方法，如图1所示，该方法包括以下步骤：

(1)获取待处理视频的每帧图像，进而得到待处理视频的每帧灰度图像。

本实施例的主要应用场景为：去除视频后期的颗粒噪声，首先获取一段待去噪处理的视频，将该视频作为待处理视频，进而获取待处理视频开始的第一帧图像到待处理视频结束的最后一帧图像，也就是将待处理视频转换成帧图像，将获取的每一帧图像按照视频时间顺序进行排序，将待处理视频的每帧图像依次记为T1，T2，…Tm。为了便于后续对待处理视频的每帧图像进行图像处理和分析，利用加权平均灰度化方法，对待处理视频的每帧图像进行灰度化处理，得到待处理视频的每帧灰度图像。加权平均灰度化方法和将视频转换成帧图像的过程均为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

(2)根据待处理视频的每帧灰度图像，利用多个不同的分割尺度对每帧灰度图像进行超像素块分割，得到每帧灰度图像对应的分割尺度为N的各个像素块。

由于图像中噪声点随机分布，故经过超像素块分割后的存在噪声点的像素块是孤立的，本实施例可结合各个像素块与其周围其他像素块的图像特征进行噪声分析，以便于后续确定各个像素块对应的噪声概率。在本实施例中，利用多个不同分割尺度，对待处理视频的每帧灰度图像进行超像素块分割，也就是将待处理视频的每帧灰度图像进行分块，得到每帧灰度图像对应的分割尺度为N的各个像素块，每帧灰度图像的各像素块可以有多个不同的尺度。对图像进行超像素块分割的过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

需要说明的是，分割尺度大小和分割尺度个数可由实施者根据帧图像的尺寸大小自行设定，不同的分割尺度的个数越多，后续确定的各个像素点对应的多尺寸噪声概率的可参考性越大，分割尺度大小可以为3*3、5*5、10*10以及15*15等。

(3)获取分割尺度为N的各个像素块对应的灰度均值，根据分割尺度为N的各个像素块对应的灰度均值，确定分割尺度为N的各个像素块对应的第一噪声指标，进而确定分割尺度为N的各目标像素块，其步骤包括：

(3-1)获取分割尺度为N的各个像素块对应的灰度均值。

为了便于后续确定分割尺度为N的各个像素块对应的第一噪声指标，本实施例基于分割尺度为N的各个像素块内各个像素点的灰度值，通过计算各个像素块内所有像素点的灰度值的平均值，可以得到分割尺度为N的各个像素块对应的灰度均值。计算像素块对应的灰度均值的过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

(3-2)根据分割尺度为N的各个像素块对应的灰度均值，确定分割尺度为N的各个像素块对应的第一噪声指标，其步骤包括：

(3-2-1)根据分割尺度为N的各个像素块对应的灰度均值，对相邻两帧灰度图像对应的分割尺度为N的各个像素块进行块匹配处理，确定分割尺度为N的各匹配像素块和各不匹配像素块。

在本实施例中，基于分割尺度为N的各个像素块对应的灰度均值，利用三步搜索法，对相邻两帧灰度图像对应的分割尺度为N的各个像素块进行块匹配，得到相邻两帧灰度图像对应的分割尺度为N的各匹配像素块和各不匹配像素块，不匹配像素块是指前一帧灰度图像对应的分割尺度为N的各个像素块中不存在与后一帧灰度图像对应的分割尺度为N的像素块相匹配的像素块。由于噪声像素块是孤立的，故不匹配像素块很有可能是存在噪声点的像素块，将相邻两帧灰度图像对应的分割尺度为N的不匹配像素块标记出来。三步搜索法进行块匹配的过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

需要说明的是，在匹配过程中，由于三步搜索法中的块匹配算法SAD(Sum ofabsolute differences，初级块匹配算法)不适用于本实施例，故使用像素块的灰度均值替换块匹配算法SAD中的像素点的灰度值进行块匹配处理，SAD值越大说明相邻两帧灰度图像中的对应像素块的相似性越低。

(3-2-2)获取分割尺度为N的各匹配像素块的位置，根据分割尺度为N的各匹配像素块的位置，确定分割尺度为N的各个匹配像素块对应的运动矢量。

为了获取分割尺度为N的各匹配像素块的位置，对待处理视频的每帧灰度图像构建坐标系，得到每帧灰度图像对应的分割尺度为N的各个像素块的位置，进而得到分割尺度为N的各匹配像素块的位置。构建图像坐标系的过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

为了便于后续初步确定分割尺度为N的各匹配像素块中是否存在噪声点，本实施例基于相邻两帧灰度图像对应的分割尺度为N的各匹配像素块的位置，计算每帧灰度图像的各个像素块对应的运动矢量，该运动矢量是指相邻两帧灰度图像中的前一帧灰度图像的各个像素块在后一帧灰度图像中发生的运动位移，为了便于后续计算，本实施例不考虑确定待处理视频的最后一帧灰度图像对应的分割尺度为N的各个匹配像素块对应的运动矢量。计算运动矢量的过程为现有技术，此处不再进行详细阐述。

(3-2-3)根据分割尺度为N的各个匹配像素块对应的运动矢量，确定分割尺度为N的各个匹配像素块对应的运动矢量的模和方向。

在本实施例中，为了便于后续计算分割尺度为N的各个匹配像素块对应的第一噪声指标，基于分割尺度为N的各个匹配像素块对应的运动矢量，可计算分割尺度为N的各个匹配像素块对应的运动矢量的模和方向，计算运动矢量的模和方向的过程为现有技术，此处不再进行详细阐述。

(3-2-4)获取各个匹配像素块的7*7邻域内的各邻域匹配像素块，根据分割尺度为N的各个匹配像素块及其7*7邻域内的各邻域像素块对应的运动矢量的模和方向，确定分割尺度为N的各个匹配像素块对应的第一噪声指标。

为了便于确定各个匹配像素块与其周围匹配像素块对应的运动矢量的差异，也就是为了便于确定分割尺度为N的各个匹配像素块对应的第一噪声指标，本实施例基于分割尺度为N的各个匹配像素块，获取分割尺度为N的各个匹配像素块的7*7邻域内的各邻域匹配像素块，邻域匹配像素块是指位于对应匹配像素块7*7邻域内的匹配像素块。

需要说明的是，若某个匹配像素块的7*7邻域不存在邻域匹配像素块，为了方便后续计算该匹配像素块对应的第一噪声指标，将不存在的邻域匹配像素块对应的运动矢量的模和方向直接赋值为0，以计算该匹配像素块对应的第一噪声指标。在本实施例中，基于步骤(3-2-3)得到的分割尺度为N的各个匹配像素块对应的运动矢量的模和方向，可确定分割尺度为N的各个匹配像素块及其7*7邻域内的各邻域像素块对应的运动矢量的模和方向，进而计算分割尺度为N的各个匹配像素块与其7*7邻域内的各邻域像素块对应的运动矢量差异值，可以将该差异值作为匹配像素块对应的第一噪声指标，计算分割尺度为N的各个匹配像素块对应的第一噪声指标的计算公式为：

其中，Q为分割尺度为N的各个匹配像素块对应的第一噪声指标，exp()为以自然常数e为底的指数函数，为在每帧灰度图像对应的横坐标为i纵坐标为j的匹配像素块的7*7邻域内，横坐标为u纵坐标为v的邻域匹配像素块对应的运动矢量的模，/>为每帧灰度图像对应的横坐标为i纵坐标为j的匹配像素块对应的运动矢量的模，θ_(u,v)为在每帧灰度图像对应的横坐标为i纵坐标为j的匹配像素块的7*7邻域内，横坐标为u纵坐标为v的邻域匹配像素块对应的运动矢量的方向，θ_(i,j)为每帧灰度图像对应的横坐标为i纵坐标为j的匹配像素块对应的运动矢量的方向。

需要说明的是，第一噪声指标的计算公式中的和(θ_(u,v)-θ_(i,j))²越大，表征每帧灰度图像对应的横坐标为i纵坐标为j的匹配像素块对应的运动矢量的模和方向，与其周围的邻域匹配像素块对应的运动矢量的模和方向的差异越大，故运动矢量的差异与第一噪声指标为正相关。任意一个匹配像素块与其周围的邻域匹配像素块对应的运动矢量差异越大，该匹配像素块对应的第一噪声指标Q越大，其说明该匹配像素块越有可能是噪声像素块。另外，为了满足函数的增减性，第一噪声指标需要为归一化后的数值，其值域范围为[0,1]。

(3-3)根据分割尺度为N的各个匹配像素块对应的第一噪声指标和分割尺度为N的各不匹配像素块，确定分割尺度为N的各目标像素块。

在本实施例中，将分割尺度为N的各不匹配像素块直接作为目标像素块，并将各个匹配像素块对应的第一噪声指标与预设噪声阈值进行比较，若任意一个匹配像素块对应的第一噪声指标大于预设噪声阈值，则判定该匹配像素块为目标像素块，若任意一个匹配像素块对应的第一噪声指标不大于预设噪声阈值，则判定该匹配像素块不为目标像素块，目标像素块是指可能是存在噪声点的匹配像素块。本实施例利用第一噪声指标和三步搜索法可对每帧灰度图像对应的和分割尺度为N的各个像素块进行初步筛选，提高了后续得到每帧灰度图像中的各噪声像素点的准确性。

需要说明的是，由于预设噪声阈值是为了判断匹配像素块是否为目标像素块，预设噪声阈值应设置为数值较大的预设噪声阈值，预设噪声阈值可由大量的数据和实验来确定，不同场景所确定的预设噪声阈值会存在一定的差异，故实施者可根据具体实际应用场景自行设定预设噪声阈值。

(4)获取分割尺度为N的各个目标像素块对应的灰度梯度均值和显著程度，根据分割尺度为N的各目标像素块、各目标像素块对应的灰度均值、灰度梯度均值以及显著程度，确定分割尺度为N的各目标像素块对应的噪声概率。

首先，需要说明的是，分割尺度为N的各个目标像素块中的一些目标像素块可能是因为帧图像自身特征原因造成的，并非因为像素块内存在噪声点，例如，相邻两帧灰度图像的内容场景发生变换导致像素块不匹配，或者相邻两帧图像的内容正好不相关也会造成相邻两帧灰度图像中存在不匹配像素块。故为了后续能够得到更准确的噪声像素点，精准去除视频后期的颗粒噪声，本实施例可基于分割尺度为N的各目标像素块的图像特征，对分割尺度为N的各个目标像素块进行进一步的分析。

为了确定分割尺度为N的各目标像素块对应的噪声概率的目的，基于噪声会破坏原有图像的连续性和增加图像的突兀性的特点，需要获取分割尺度为N的各个目标像素块对应的灰度梯度均值和显著程度，具体为：根据分割尺度为N的各个目标像素块内每个像素点对应的灰度梯度值，可以计算分割尺度为N的各个目标像素块对应的灰度梯度均值，利用残差谱算法，计算分割尺度为N的各个目标像素块对应的显著程度。灰度梯度均值的计算过程和残差谱算法计算显著程度的过程均为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

根据分割尺度为N的各目标像素块、各目标像素块对应的灰度均值、灰度梯度均值以及显著程度，确定分割尺度为N的各目标像素块对应的噪声概率，其步骤包括：

(4-1)根据分割尺度为N的各目标像素块以及各目标像素块对应的灰度均值和灰度梯度均值，确定各目标像素块对应的第二噪声指标，其步骤包括：

(4-1-1)根据分割尺度为N的各目标像素块，确定分割尺度为N的各目标像素块对应的八邻域像素块。

为了确定分割尺度为N的各目标像素块与其八邻域像素块的图像特征差异，基于分割尺度为N的各目标像素块，获取分割尺度为N的各目标像素块对应的八邻域像素块，每个目标像素块均有其对应的8个邻域像素块。

(4-1-2)根据分割尺度为N的各目标像素块及其对应的八邻域像素块对应的灰度均值和灰度梯度均值，确定各目标像素块对应的第二噪声指标。

由于灰度均值和灰度梯度均值均可以表征像素块的连续性和突兀性，故像素块对应的灰度均值和灰度梯度均值可用于对各目标像素块是否存在噪声进行分析，使各目标像素块与其对应的八邻域像素块对应的灰度均值和灰度梯度均值相减，得到灰度均值和灰度梯度均值对应的差异值，进而利用数学建模的相关知识，计算各目标像素块对应的第二噪声指标，其计算公式为：

其中，W为各目标像素块对应的第二噪声指标，exp()为以自然常数e为底的指数函数，g_l.k为分割尺度为N的第l个目标像素块对应的第k个邻域像素块对应的灰度均值，g_l为分割尺度为N的第l个目标像素块对应的灰度均值，h_l,k为分割尺度为N的第l个目标像素块对应的第k个邻域像素块对应的灰度梯度均值，h_l为分割尺度为N的第l个目标像素块对应的灰度梯度均值。

需要说明的是，当某个目标像素块与其周围八邻域内的像素块的灰度均值和灰度梯度均值的差异越大，即第二噪声指标计算公式中的和/>该目标像素块对应的第二噪声指标W越大，其说明该目标像素块越有可能是存在噪声点的像素块。目标像素块对应的第二噪声指标与灰度均值和灰度梯度均值的差异为正相关，故为了满足函数之间的增减性，本实施例在第二噪声指标计算公式中对目标像素块对应的第二噪声指标进行归一化处理，归一化处理后的第二噪声指标的值域范围为0到1之间。

(4-2)根据分割尺度为N的各目标像素块对应的显著程度，确定各目标像素块对应的第三噪声指标。

需要说明的是，视觉系统的一个基本原则是抑制频繁出现的特征响应，同时其对非常规的特征保持敏感，而视频图像中的噪声就是一种非常规的特征，根据上述对视频图像中的噪声的分析可知，本实施例可利用显著性分析算法对各目标像素块进行图像数据分析。根据分割尺度为N的各目标像素块对应的显著程度，将各目标像素块对应的显著程度记为E，可计算各目标像素块对应的第三噪声指标，其计算公式为：

R＝1-exp(-E)

其中，R为各目标像素块对应的第三噪声指标，exp()为以自然常数e为底的指数函数，E为分割尺度为N的各目标像素块对应的显著程度。

需要说明的是，第三噪声指标的计算公式中的显著程度E与第三噪声指标R为正相关，某个目标像素块对应的显著程度E越大，说明目标像素块的非常规特征(噪声)越明显，该目标像素块对应的第三噪声指标就会越大，该目标像素块为存在噪声点的像素块的可能性也就会越大。

(4-3)根据分割尺度为N的各目标像素块对应的灰度均值，确定各目标像素块对应的灰度均值序列，进而确定各目标像素块对应的相关像素块的数量。

需要说明的是，本实施例考虑到待处理视频中可能会出现诸如闪光灯、报警灯等规律性变化，该规律性变化容易使相邻两帧灰度图像中可能找不到匹配的像素块，将此时不匹配像素块误判为目标像素块，为了避免上述可能出现的规律性变化对待处理视频去噪处理结果的影响，本实施例将连续判断视频图像前后L帧图像的像素块之间的相关性。先确定各目标像素块对应的灰度均值序列中相关像素块的数量，其步骤包括：

(4-3-1)根据分割尺度为N的各目标像素块对应的灰度均值，确定各目标像素块对应的灰度均值序列，其步骤包括：

(4-3-1-1)以每帧灰度图像为中心，选取与每帧灰度图像相邻的前L帧灰度图像和后L帧灰度图像，进而得到每帧灰度图像对应的2L帧灰度图像。

在本实施例中，将待处理视频的每帧灰度图像作为中心图像，以中心图像为基准，选取与中心图像相邻的前L帧灰度图像和后L帧灰度图像，得到每帧灰度图像对应的2L帧灰度图像，每帧灰度图像均有其对应的2L帧灰度图像，本实施例将L设置为4，L数值的大小可由实施者根据实际情况自行设定。

需要说明的是，当某灰度图像相邻的前方或后方的灰度图像不足4帧时，为了便于后续计算各目标像素块对应的第四噪声指标，直接将此时相邻的灰度图像作为该灰度图像对应的灰度图像，例如，与某帧灰度图像相邻的前方只有2帧灰度图像，后方只有3帧灰度图像，那么该灰度图像对应的灰度图像的数目为5帧。

(4-3-1-2)根据每帧灰度图像对应分割尺度为N的各目标像素块对应的灰度均值以及各目标像素块在每帧灰度图像对应的2L帧灰度图像中对应的灰度均值，确定各目标像素块对应的灰度均值序列，上述灰度均值序列包含2L+1个灰度均值。

在本实施例中，为了判断每帧灰度图像对应分割尺度为N的各目标像素块在连续分布的灰度图像中的灰度均值变化，需要确定各目标像素块对应的灰度均值序列。基于每帧灰度图像对应分割尺度为N的各目标像素块对应的灰度均值以及各目标像素块在每帧灰度图像对应的2L帧灰度图像中对应的灰度均值，统计各目标像素块在每帧灰度图像对应的2L帧灰度图像中对应的灰度均值，构建灰度均值序列，从而得到每帧灰度图像对应分割尺度为N的各目标像素块对应的灰度均值序列，灰度均值序列可记为A{a1，a2，…a(2L+1)}。各目标像素块对应的灰度均值序列中包含目标像素块本身的灰度均值，每帧灰度图像对应分割尺度为N的各目标像素块均有其对应的灰度均值序列。

(4-3-2)根据各目标像素块对应的灰度均值序列，确定各目标像素块对应的相关像素块的数量，其步骤包括：

(4-3-2-1)根据各目标像素块对应的灰度均值序列，计算各目标像素块对应的灰度均值与其对应的灰度均值序列中的其他各灰度均值的差值绝对值，上述其他各灰度均值不包含目标像素块本身对应的灰度均值。

在本实施例中，使目标像素块本身对应的灰度均值与灰度均值序列中的其他灰度均值相减，并取绝对值，可以得到各目标像素块对应的差值绝对值序列。

(4-3-2-2)若任意一个差值绝对值小于预设差值绝对值阈值，则判定该差值绝对值对应的其他灰度均值的像素块为目标像素块的相关像素块，得到各目标像素块对应的各个相关像素块，并统计各目标像素块对应的相关像素块的数量。

本实施例基于各目标像素块对应的差值绝对值序列，使差值绝对值序列中的各个差值绝对值与预设差值绝对值阈值进行对比，得到各目标像素块对应的差值绝对值对比结果，根据该对比结果，判断差值绝对值对应的其他灰度均值的像素块是否为目标像素块的相关像素块，统计目标像素块对应的相关像素块的数量，以便于后续计算各目标像素块对应的第四噪声指标。预设差值绝对值阈值可由实施者根据大量正常灰度均值的差值绝对值确定，本实施例将预设差值绝对值阈值设定为10。

(4-4)根据各目标像素块对应的相关像素块的数量，确定各目标像素块对应的第四噪声指标。

在本实施例中，目标像素块对应的相关像素块的数量与目标像素块中是否存在噪声点存在一定关联，相关像素块的数量越多，表征目标像素块在连续分布的灰度图像中的灰度均值变化幅度小，进而目标像素块内存在噪声的可能性也会比较小，故将各目标像素块对应的相关像素块的数量作为第四噪声指标。为了便于后续计算目标像素块对应的噪声概率，满足第四噪声指标与噪声概率之间的函数关系，对各目标像素块对应的第四噪声指标进行归一化处理，得到归一化处理后的各目标像素块对应的第四噪声指标，第四噪声指标的值域范围为[0,1]。

(4-5)根据分割尺度为N的各目标像素块对应的第二噪声指标、第三噪声指标以及第四噪声指标，确定分割尺度为N的各目标像素块对应的噪声概率。

(4-5-1)根据分割尺度为N的各目标像素块对应的第二噪声指标和第三噪声指标，得到分割尺度为N的各目标像素块对应的第二噪声指标和第三噪声指标的乘积。

在本实施例中，基于步骤(4-1)确定的各目标像素块对应的第二噪声指标和步骤(4-2)确定的各目标像素块对应的第三噪声指标，将第二噪声指标和第三噪声指标相乘，得到第二噪声指标和第三噪声指标的乘积。

(4-5-2)将分割尺度为N的各目标像素块对应的第二噪声指标和第三噪声指标的乘积作为比值的分子，并将分割尺度为N的各目标像素块对应的第四噪声指标作为比值的分母，上述比值为分割尺度为N的各目标像素块对应的噪声概率。

在本实施例中，基于分割尺度为N的各目标像素块对应的第二噪声指标和第三噪声指标的乘积和各目标像素块对应的第三噪声指标，确定分割尺度为N的各目标像素块对应的噪声概率，噪声概率是指目标像素块中存在噪声的可能性，分割尺度为N的各目标像素块对应的噪声概率的计算公式为：

其中，U为分割尺度为N的各目标像素块对应的噪声概率，W为分割尺度为N的各目标像素块对应的第二噪声指标，R为分割尺度为N的各目标像素块对应的第三噪声指标，Y为分割尺度为N的各目标像素块对应的第四噪声指标。

需要说明的是，分割尺度为N的各目标像素块对应的第二噪声指标和第三噪声指标与噪声概率为正相关，而分割尺度为N的各目标像素块对应的第四噪声指标与噪声概率为负相关。分割尺度为N的各目标像素块对应的第二噪声指标W越大、第三噪声指标R越大、第四噪声指标Y越小时，分割尺度为N的各目标像素块对应的噪声概率U会越大。

至此，基于目标像素块与其周围目标像素块的特征差异、目标像素块的显著程度以及目标像素块在连续部分的灰度图像中的特征变化程度，显著程度也可以称为显著性，确定了分割尺度为N的各目标像素块对应的噪声概率，从噪声的三个角度来分析目标像素块存在噪声的可能性，有助于提高后续所确定的噪声像素点的准确性，进而提高去噪处理后的待处理视频的清晰度。

(5)根据分割尺度为N的各目标像素块对应的噪声概率，确定每帧灰度图像的各个像素点对应的多尺寸噪声概率，进而确定每帧灰度图像的各噪声像素点。

需要说明的是，待处理视频的每帧灰度图像的各个像素点可以位于分割尺度为N的像素块中，若噪声像素点位于分割尺寸较大的像素块中，噪声像素点会被周围像素点平滑掉，检测不出该噪声像素点的噪声特征；若噪声像素点位于分割尺寸较小的像素块中，噪声像素点的像素特征过大，可能会将该噪声像素点认定为正常像素点。基于上述对不同分割尺寸中的噪声像素点的分析可知，为了更好的判断每帧灰度图像的各个像素点是否为噪声像素点，本实施例将结合分割尺度为N的各目标像素块对应的噪声概率，来确定每帧灰度图像的各噪声像素点，其步骤包括：

(5-1)根据分割尺度为N的各目标像素块对应的噪声概率，确定每帧灰度图像的各个像素点对应的多尺寸噪声概率，其步骤包括：

(5-1-1)根据分割尺度为N的各目标像素块对应的噪声概率，计算每帧灰度图像的各个像素点在分割尺度为N的各目标像素块对应的噪声概率平均值。

在本实施例中，以确定每帧灰度图像的第i个像素点在分割尺度为N的各目标像素块对应的噪声概率平均值为例，基于分割尺度为N的各目标像素块对应的噪声概率，计算每帧灰度图像的第i个像素点在分割尺度为N的各目标像素块对应的噪声概率平均值，其计算公式为：

其中，P为每帧灰度图像的第i个像素点在分割尺度为N的各目标像素块对应的噪声概率平均值，H为不同分割尺度的个数，U_i,n为每帧灰度图像的第i个像素点对应的第n个分割尺度的目标像素块对应的噪声概率。

参考每帧灰度图像的第i个像素点在分割尺度为N的各目标像素块对应的噪声概率平均值的确定步骤，得到每帧灰度图像的各个像素点对应的分割尺度为N的各目标像素块对应的噪声概率平均值，需要说明的是，若某个像素点所在的分割尺度为N的目标像素块对应的噪声概率越大，说明该像素点在分割尺度为N的目标像素块中为噪声像素点可能性越大。

(5-1-2)由于像素点在分割尺度为N的各目标像素块对应的噪声概率平均值可表征多尺寸噪声概率，故将像素点在分割尺度为N的各目标像素块对应的噪声概率平均值作为对应像素点对应的多尺寸噪声概率。

(5-2)根据每帧灰度图像的各个像素点对应的多尺寸噪声概率，确定每帧灰度图像的各噪声像素点。

使每帧灰度图像的各个像素点对应的多尺寸噪声概率与噪声概率阈值进行比较，本实施例基于历史数据将噪声概率阈值设置为0.7，噪声概率阈值可由实施者根据具体实际情况自行设置。当任意一个像素点对应的多尺寸噪声概率大于噪声概率阈值0.7时，则判定该像素点为噪声像素点，否则，判定该像素点不为噪声像素点，参考该像素点对应的噪声概率与噪声概率阈值的比较过程，得到每帧灰度图像的各个像素点对应的最终比较结果，进而得到每帧灰度图像的各噪声像素点。

(6)对每帧灰度图像的各噪声像素点进行滤波处理，得到去噪处理后的待处理视频。

本实施例利用高斯滤波对每帧灰度图像的各噪声像素点进行针对性地滤波处理，以去除待处理视频的每帧灰度图像的各噪声点，得到去噪处理后的待处理视频。当然，实施者可使用其他滤波去噪现有技术对噪声像素点进行滤波处理。高斯滤波去噪过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。至此，本实施例实现了对待处理视频中的颗粒噪声进行去除噪声处理。

本发明提供了一种基于图像处理的视频后期颗粒噪声去除方法，该方法利用图像数据处理技术对待处理视频的每帧图像进行处理分析，得到每帧灰度图像的各个像素点对应的多尺寸噪声概率，以该多尺寸噪声概率为依据，筛选出每帧灰度图像中的噪声像素点，对筛选出来的噪声像素点进行滤波处理，得到去噪处理后的待处理视频，实现对待处理视频进行精准去噪，该方法解决了去噪处理后的视频图像的清晰度较差的问题，有效保留了待处理视频的原有图像信息。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于图像处理的视频后期颗粒噪声去除方法，其特征在于，包括以下步骤：

获取待处理视频的每帧图像，进而得到待处理视频的每帧灰度图像；

根据待处理视频的每帧灰度图像，利用多个不同的分割尺度对每帧灰度图像进行超像素块分割，得到每帧灰度图像对应的分割尺度为N的各个像素块；

获取分割尺度为N的各个像素块对应的灰度均值，根据分割尺度为N的各个像素块对应的灰度均值，确定分割尺度为N的各个像素块对应的第一噪声指标，进而确定分割尺度为N的各目标像素块；

获取分割尺度为N的各个目标像素块对应的灰度梯度均值和显著程度，根据分割尺度为N的各目标像素块、各目标像素块对应的灰度均值、灰度梯度均值以及显著程度，确定分割尺度为N的各目标像素块对应的噪声概率；

根据分割尺度为N的各目标像素块对应的噪声概率，确定每帧灰度图像的各个像素点对应的多尺寸噪声概率，进而确定每帧灰度图像的各噪声像素点；

对每帧灰度图像的各噪声像素点进行滤波处理，得到去噪处理后的待处理视频。

2.根据权利要求1所述的一种基于图像处理的视频后期颗粒噪声去除方法，其特征在于，确定分割尺度为N的各个像素块对应的第一噪声指标的步骤包括：

根据分割尺度为N的各个像素块对应的灰度均值，对相邻两帧灰度图像对应的分割尺度为N的各个像素块进行块匹配处理，确定分割尺度为N的各匹配像素块和各不匹配像素块；

获取分割尺度为N的各匹配像素块的位置，根据分割尺度为N的各匹配像素块的位置，确定分割尺度为N的各个匹配像素块对应的运动矢量；

根据分割尺度为N的各个匹配像素块对应的运动矢量，确定分割尺度为N的各个匹配像素块对应的运动矢量的模和方向；

获取各个匹配像素块的7*7邻域内的各邻域匹配像素块，根据分割尺度为N的各个匹配像素块及其7*7邻域内的各邻域匹配像素块对应的运动矢量的模和方向，确定分割尺度为N的各个匹配像素块对应的第一噪声指标，其计算公式为：

其中，Q为分割尺度为N的各个匹配像素块对应的第一噪声指标，exp()为以自然常数e为底的指数函数，为在每帧灰度图像对应的横坐标为i纵坐标为j的匹配像素块的7*7邻域内，横坐标为u纵坐标为v的邻域匹配像素块对应的运动矢量的模，/>为每帧灰度图像对应的横坐标为i纵坐标为j的匹配像素块对应的运动矢量的模，θ_(u,v)为在每帧灰度图像对应的横坐标为i纵坐标为j的匹配像素块的7*7邻域内，横坐标为u纵坐标为v的邻域匹配像素块对应的运动矢量的方向，θ_(i,j)为每帧灰度图像对应的横坐标为i纵坐标为j的匹配像素块对应的运动矢量的方向。

3.根据权利要求2所述的一种基于图像处理的视频后期颗粒噪声去除方法，其特征在于，进而确定分割尺度为N的各目标像素块的步骤包括：

将分割尺度为N的各不匹配像素块作为目标像素块，并将所述各个匹配像素块对应的第一噪声指标与预设噪声阈值进行比较，若任意一个匹配像素块对应的第一噪声指标大于预设噪声阈值，则判定该匹配像素块为目标像素块，否则，判定该匹配像素块不为目标像素块，得到分割尺度为N的各目标像素块。

4.根据权利要求1所述的一种基于图像处理的视频后期颗粒噪声去除方法，其特征在于，确定分割尺度为N的各目标像素块对应的噪声概率的步骤包括：

根据分割尺度为N的各目标像素块以及各目标像素块对应的灰度均值和灰度梯度均值，确定各目标像素块对应的第二噪声指标；

根据分割尺度为N的各目标像素块对应的显著程度，确定各目标像素块对应的第三噪声指标；

根据分割尺度为N的各目标像素块对应的灰度均值，确定各目标像素块对应的灰度均值序列，进而确定各目标像素块对应的相关像素块的数量；

根据各目标像素块对应的相关像素块的数量，确定各目标像素块对应的第四噪声指标；

根据分割尺度为N的各目标像素块对应的第二噪声指标、第三噪声指标以及第四噪声指标，确定分割尺度为N的各目标像素块对应的噪声概率。

5.根据权利要求4所述的一种基于图像处理的视频后期颗粒噪声去除方法，其特征在于，确定各目标像素块对应的第二噪声指标的步骤包括：

根据分割尺度为N的各目标像素块，确定分割尺度为N的各目标像素块对应的八邻域像素块；

根据分割尺度为N的各目标像素块及其对应的八邻域像素块对应的灰度均值和灰度梯度均值，确定各目标像素块对应的第二噪声指标，其计算公式为：

其中，W为各目标像素块对应的第二噪声指标，exp()为以自然常数e为底的指数函数，g_l.k为分割尺度为N的第l个目标像素块对应的第k个邻域像素块对应的灰度均值，g_l为分割尺度为N的第l个目标像素块对应的灰度均值，h_l,k为分割尺度为N的第l个目标像素块对应的第k个邻域像素块对应的灰度梯度均值，h_l为分割尺度为N的第l个目标像素块对应的灰度梯度均值。

6.根据权利要求4所述的一种基于图像处理的视频后期颗粒噪声去除方法，其特征在于，确定各目标像素块对应的灰度均值序列的步骤包括：

以每帧灰度图像为中心，选取与每帧灰度图像相邻的前L帧灰度图像和后L帧灰度图像，进而得到每帧灰度图像对应的2L帧灰度图像；

根据每帧灰度图像对应分割尺度为N的各目标像素块对应的灰度均值以及各目标像素块在每帧灰度图像对应的2L帧灰度图像中对应的灰度均值，确定各目标像素块对应的灰度均值序列，所述灰度均值序列包含2L+1个灰度均值。

7.根据权利要求4所述的一种基于图像处理的视频后期颗粒噪声去除方法，其特征在于，进而确定各目标像素块对应的相关像素块的数量的步骤包括：

根据各目标像素块对应的灰度均值序列，计算各目标像素块对应的灰度均值与其对应的灰度均值序列中的其他各灰度均值的差值绝对值，所述其他各灰度均值不包含目标像素块本身对应的灰度均值；

若任意一个差值绝对值小于预设差值绝对值阈值，则判定该差值绝对值对应的其他灰度均值的像素块为目标像素块的相关像素块，得到各目标像素块对应的各个相关像素块，并统计各目标像素块对应的相关像素块的数量。

8.根据权利要求1所述的一种基于图像处理的视频后期颗粒噪声去除方法，其特征在于，确定分割尺度为N的各目标像素块对应的噪声概率的步骤包括：

根据分割尺度为N的各目标像素块对应的第二噪声指标和第三噪声指标，得到分割尺度为N的各目标像素块对应的第二噪声指标和第三噪声指标的乘积；

将分割尺度为N的各目标像素块对应的第二噪声指标和第三噪声指标的乘积作为比值的分子，并将分割尺度为N的各目标像素块对应的第四噪声指标作为比值的分母，所述比值为分割尺度为N的各目标像素块对应的噪声概率。

9.根据权利要求1所述的一种基于图像处理的视频后期颗粒噪声去除方法，其特征在于，确定每帧灰度图像的各个像素点对应的多尺寸噪声概率的步骤包括：

根据分割尺度为N的各目标像素块对应的噪声概率，计算每帧灰度图像的各个像素点在分割尺度为N的各目标像素块对应的噪声概率平均值，并将像素点在分割尺度为N的目标像素块对应的噪声概率平均值作为该像素点对应的多尺寸噪声概率。