CN111583160B - 一种视频画面的噪声评估方法及装置 - Google Patents

Abstract

本申请公开了一种视频画面的噪声评估方法，属于视频监控领域。本申请公开的视频画面的噪声评估方法包括：从视频中获取当前帧图像；对所述当前帧图像进行前景区域去除，以获得所述当前帧图像的前景去除图像；根据所述前景去除图像确定所述当前帧图像中的噪声区域；基于所述噪声区域获取所述当前帧图像与前一帧图像的噪声帧差图；根据所述噪声帧差图进行噪声评估。本申请提供的视频画面的噪声评估方法首先对从视频中获取的当前帧图像进行前景去除处理，以消除前景图像的变化被计算为噪声的误差，然后在前景去除图像的噪声区域进行噪声评估，能够对视频画面的任一当前帧图像的噪声进行准确评估。

Description

一种视频画面的噪声评估方法及装置

技术领域

本申请涉及视频监控领域，特别是涉及一种视频画面的噪声评估方法及装置。

背景技术

在视频监控领域，监控画面的清晰程度决定了监控的作用，如果监控设备的监控画面由于各种原因出现较多的噪声，将导致无法正常监控到被监控场景的情况。例如监控设备处于室外时，受到天气和环境的影响，比如雨水可能进行监控设备内部，导致设备受损进而导致监控画面出现噪声，比如大风可能导致监控设备剧烈晃动从而导致监控画面出现噪声，比如监控设备受到磁场或电波干扰从而导致监控画面出现噪声。

发明内容

本申请主要解决的技术问题是提供一种视频画面的噪声评估方法及装置，能够准确评估出视频画面的噪声，及时检测出有噪声的视频。

为解决上述技术问题，本申请采用的一个技术方案是：

提供一种视频画面的噪声评估方法，包括：

从视频中获取当前帧图像；

对所述当前帧图像进行前景区域去除，以获得所述当前帧图像的前景去除图像；

根据所述前景去除图像确定所述当前帧图像中的噪声区域；

基于所述噪声区域获取所述当前帧图像与前一帧图像的噪声帧差图；

根据所述噪声帧差图进行噪声评估。

为解决上述技术问题，本申请采用的另一个技术方案是：

提供一种视频画面的噪声评估装置，包括相互耦接的存储器和处理器，所述存储器存储有程序指令，所述处理器用于执行所述程序指令以实现上述技术方案所述的视频画面的噪声评估方法。

本申请的有益效果是：区别于现有技术的情况，本申请提供的视频画面的噪声评估方法首先对从视频中获取的当前帧图像进行前景去除处理，以消除前景图像的变化被计算为噪声的误差，然后在前景去除图像的噪声区域进行噪声评估，能够对视频画面当前帧图像的噪声进行准确评估。

附图说明

为了更清楚地说明本申请实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1为本申请视频画面的噪声评估方法一实施方式的流程示意图；

图2为图1中对当前帧图像进行前景区域去除的步骤一实施方式的流程示意图；

图3(a)为当前帧图像一实施方式的示意图；

图3(b)为图3(a)所示的当前帧图像的Canny图像；

图3(c)为图3(a)所示的当前帧图像的第二Canny缩小图像；

图3(d)为图3(a)所示的当前帧图像进行前景去除之后得到的前景去除图像；

图4为图1中基于噪声区域获取当前帧图像与前一帧图像的噪声帧差图的步骤一实施方式的流程示意图；

图5为图3(a)所示的当前帧图像与前一帧图像的噪声帧差图；

图6为图1中根据噪声帧差图进行噪声评估的步骤一实施方式的流程示意图；

图7为图6中根据多个子图像块的方差进行噪声评估的步骤一实施方式的流程示意图；

图8为将噪声帧差图平均划分成多个子图像块一实施方式的示意图；

图9为对噪声评估值进行修正一实施方式的流程示意图；

图10为本申请视频画面的噪声评估装置一实施方式的结构示意图；

图11为本申请提供的计算机可读存储介质一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。

请参阅图1，图1为本申请视频画面的噪声评估方法一实施方式的流程示意图，本实施方式包括如下步骤：

S101，从视频中获取当前帧图像。视频画面的噪声主要表现为当前帧图像与前一帧图像之间的随机变化，本实施方式中，由于视频的第一帧图像不存在前一帧图像，所以除了第一帧图像之外的其余每一帧图像均可以作为当前帧图像被获取，以进行后续的计算处理。

S102，对当前帧图像进行前景区域去除，以获得当前帧图像的前景去除图像。视频的当前帧图像与前一帧图像之间的随机变化有部分是由前景变化造成的，所以在进行噪声评估之前需要先扣除前景变化造成的当前图像与前一帧图像之间的随机变化，如此设置能够解决大量前景移动噪声的误检问题，从而更准确地评估噪声。

具体地，请参阅图2，步骤S102(对当前帧图像进行前景区域去除)，包括如下子步骤：

S1021，获取当前帧图像的Canny图像。

S1022，以预设的第一倍数对Canny图像进行下采样，以获得当前帧图像的第一Canny缩小图像。优选地，对当前帧图像的Canny图像进行2倍下采样，得到当前帧图像的第一Canny缩小图像。

S1023，对第一Canny缩小图像在预设的像素区域内进行求和膨胀，以获得当前帧图像的第二Canny缩小图像。优选地，对当前帧图像的第一Canny缩小图像在3×3像素区域内进行求和膨胀处理，得到当前帧图像的第二Canny缩小图像。

S1024，以预设的第二倍数对第二Canny缩小图像进行插值放大，以获得当前帧图像的前景去除图像。优选地，对当前帧图像的第二Canny缩小图像进行2倍插值放大，得到当前帧图像的前景去除图像。

在另一实施方式中，可以将上述步骤S102的各个子步骤集合在一个前景去除函数中，具体实施时，只需要将当前帧图像输入该前景去除函数，便可获得当前帧图像的前景去除图像，从而消除后续的噪声评估步骤中前景变化带来的影响，更准确地评估当前帧图像的噪声。

请参阅图3(a)，为监控视频中获取到的一个当前帧图像，图3(b)为其Canny图像，图3(c)为对图3(b)的Canny图像进行二倍下采样，以及在3×3像素区域内进行求和膨胀处理之后得到的第二Canny缩小图像，图3(d)为对图3(c)的第二Canny缩小图像进行2倍插值放大之后得到的前景去除图像。

S103，根据前景去除图像确定当前帧图像中的噪声区域。获得当前帧图像的前景去除图像之后，需要定义出噪声区域，以进行后续处理，本实施方式中将前景去除图像中的非0像素区域作为当前帧图像中的噪声区域，例如图3(d)中黑色的区域即为像素为0的区域，非黑色的区域即为非0像素区域，如此设置的筛选方式操作简单方便，能够精准地去除前景区域，提取噪声区域。

S104，基于噪声区域获取当前帧图像与前一帧图像的噪声帧差图，请参阅图4，步骤S104具体可包括如下子步骤：

S1041，在前一帧图像中确定与当前帧图像的噪声区域相对应的对应区域。

S1042，用当前帧图像在噪声区域内的每一像素点的像素值减去前一帧图像在对应区域内对应像素点的像素值，得到当前帧图像与前一帧图像的噪声帧差图。

相当于利用步骤S103获取的噪声区域作为一个噪声mask，计算该噪声mask区域内当前帧图像与前一帧图像的点对点的帧差，得到噪声帧差图。如此设置可以在消除前景变化的影响的前提下，准确获取当前帧图像与前一帧图像的噪声帧差图，从而准确地评估噪声。

请参阅图5，图5为图3(a)所示的当前帧图像与前一帧图像的噪声帧差图，根据该噪声帧差图能够准确评估图3(a)所示的当前帧图像的噪声。

S105，根据噪声帧差图进行噪声评估。如果将视频的除第一帧图像之外的每一帧图像分别作为当前帧图像，并对其按照上述步骤进行噪声评估，将得到整个视频的噪声评估，当一个当前帧图像没有评估出噪声时，则可以继续评估下一个当前帧图像，当视频的某一个当前帧图像出现交严重噪声时可以对用户发出提醒。请参阅图6，步骤S105(根据噪声帧差图进行噪声评估)具体可包括如下子步骤：

S1051，将噪声帧差图平均划分成多个子图像块。子图像块的数量可提前设定，也可随时更改，比如64、100、120等，划分的子图像块的数量越多，每个子图像块内的像素个数越少，对噪声的评估越准确，但是评估噪声的计算量也越大。

S1052，计算每个子图像块的方差。优选地，根据以下公式计算子图像块的方差：

其中，var为子图像块的方差，SS为子图像块的平方的积分图，S²为子图像块的积分图的平方，n为子图像块内的像素个数。本实施方式对噪声帧差图进行分块处理，并使用积分图分别计算每个子图像块的方差，不仅能够评估当前帧图像的局部噪声，还能够加快计算的速度。

S1053，根据多个子图像块的方差进行噪声评估，以获得噪声评估值。请参阅图7，子步骤S1053又包括如下子步骤：

S10531，判断子图像块的方差是否大于第一预设阈值。

S10532，如果大于，则认为该子图像块存在噪声。

S10533，计算存在噪声的子图像块的数量占所有子图像块的数量的百分比，得到噪声评估值。

噪声评估值是一个百分比数值，实际评估噪声时是针对每一个子图像块进行的，如果子图像块的方差大于第一预设阈值，则认为该子图像块存在噪声，然后统计计算存在噪声的子图像块占所有子图像块的数量的百分比，从而获得当前帧图像的噪声评估值。在另一实施方式中，可以进一步设置一个噪声阈值，如果计算得到的噪声评估值大于此噪声阈值，则发出警报，提醒用户监控视频的画面出现比较严重的噪声，需要检查监控设备，此噪声阈值需要用户根据经验设定。

请参阅图8，图8为将噪声帧差图平均划分成120个子图像块的示意图，后续可以分别计算这120个子图像块的方差，并据此方差来判断噪声在第一个子图像块的平滑程度，方差越小，平滑程度越高，代表噪声越少，比如图8左上角的子图像块内平滑程度最高，没有噪声。然后将120个子图像块的平滑程度进行评估，即对子图像块的方差设定第一预设阈值，当子图像块的方差大于此阈值，则认为该子图像块存在噪声，从而得出存在噪声的子图像块的数量，再计算出该数量占120个子图像块的百分比，即为噪声评估值。

在另一实施方式中，请参阅图9，计算出当前帧图像的噪声评估值之后，如果满足需要修正的条件，则需要对噪声评估值进行修正，具体包括如下步骤：

S901，获取当前帧图像的亮度直方图的方差。

S902，当亮度直方图的方差小于第二预设阈值，且当前帧图像的亮度大于视频的平均亮度时，计算当前帧图像的亮度与视频的平均亮度的比例系数。

S903，以该比例系数对噪声评估值进行放大。

当监控视频的画面连续出现人眼可明显观察到的大量的噪声，比如满屏的雪花点时，但是由于当前帧图像和前一帧图像在噪声区域内的帧差比较小，计算出的噪声评估值也偏小，没有如实反映出噪声的程度，与用户主观观察到的噪声情况也不一致，此时需要对噪声评估值进行放大，以使评估出的噪声程序能够与噪声的主观评估相一致。以当前帧图像的相关参数来确定放大系数，首先计算当前帧图像的亮度直方图的方差，如果该方差小于第二预设阈值，则表明当前帧图像位于各亮度值的像素点的数量相当，亮度的变化范围也较小，可能需要对噪声评估值进行放大；进一步，如果当前帧图像的亮度大于视频的平均亮度，则表明当前帧图像的亮度过大，掩盖了真实的噪声，确定需要对当前帧图像的噪声评估值进行放大，此时计算出当前帧图像的亮度与视频的平均亮度的比例系数，再以该比例系数作为放大系数对噪声评估值进行放大。如此能够解决噪声被低估的几率，能够更加准确地评估噪声。

请参阅图10，图10为本申请视频画面的噪声评估装置一实施方式的结构示意图，本实施方式提供的噪声评估装置100包括相互耦接的存储器101和处理器102，存储器101存储有程序指令，处理器102用于执行程序指令以实现上述实施方式所述的视频画面的噪声评估方法。具体请参见上述视频画面的噪声评估方法的实施方式，在此不再赘述。

请参阅图11，图11为本申请提供的一种计算机可读存储介质11，其上存储有程序指令110，该程序指令110能够被处理器执行以实现上述实施方式所述的视频画面的噪声评估方法。具体请参见上述视频画面的噪声评估方法的实施方式，在此不再赘述。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (8)

1.一种视频画面的噪声评估方法，其特征在于，所述方法包括：

从视频中获取当前帧图像；

对所述当前帧图像进行前景区域去除，以获得所述当前帧图像的前景去除图像；

根据所述前景去除图像确定所述当前帧图像中的噪声区域；

基于所述噪声区域获取所述当前帧图像与前一帧图像的噪声帧差图；

根据所述噪声帧差图进行噪声评估；

其中，所述根据所述噪声帧差图进行噪声评估的步骤包括：将所述噪声帧差图平均划分成多个子图像块；计算每个所述子图像块的方差；根据所述多个子图像块的方差进行噪声评估，以获得噪声评估值；

所述根据所述多个子图像块的方差进行噪声评估的步骤之后，进一步包括：获取所述当前帧图像的亮度直方图的方差；当所述亮度直方图的方差小于第二预设阈值，且所述当前帧图像的亮度大于所述视频的平均亮度时，计算所述当前帧图像的亮度与所述视频的平均亮度的比例系数；以所述比例系数对所述噪声评估值进行放大。

2.根据权利要求1所述的方法，其特征在于，所述对所述当前帧图像进行前景区域去除的步骤包括：

获取所述当前帧图像的Canny图像；

以预设的第一倍数对所述Canny图像进行下采样，以获得所述当前帧图像的第一Canny缩小图像；

对所述第一Canny缩小图像在预设的像素区域内进行求和膨胀，以获得所述当前帧图像的第二Canny缩小图像；

以预设的第二倍数对所述第二Canny缩小图像进行插值放大，以获得所述当前帧图像的所述前景去除图像。

3.根据权利要求2所述的方法，其特征在于，所述预设的第一倍数和所述预设的第二倍数分别为2倍，所述预设的像素区域为3×3像素区域。

4.根据权利要求1所述的方法，其特征在于，所述根据所述前景去除图像确定所述当前帧图像中的噪声区域的步骤包括：

将所述前景去除图像中的非0像素区域作为所述当前帧图像中的所述噪声区域。

5.根据权利要求1所述的方法，其特征在于，所述基于所述噪声区域获取所述当前帧图像与前一帧图像的噪声帧差图的步骤包括：

在所述前一帧图像中确定与所述当前帧图像的所述噪声区域对应的对应区域；

用所述当前帧图像在所述噪声区域内的每一像素点的像素值减去所述前一帧图像在所述对应区域内对应像素点的像素值，得到所述噪声帧差图。

6.根据权利要求1所述的方法，其特征在于，所述计算每个所述子图像块的方差的步骤包括：

根据以下公式计算所述子图像块的方差：

；

其中，var为所述子图像块的方差，SS为所述子图像块的平方的积分图，S²为所述子图像块的积分图的平方，n为所述子图像块内的像素个数。

7.根据权利要求1所述的方法，其特征在于，所述根据所述多个子图像块的方差进行噪声评估的步骤包括：

判断所述子图像块的方差是否大于第一预设阈值；

如果大于，则认为所述子图像块存在噪声；

计算所述存在噪声的所述子图像块的数量占所有所述子图像块的数量的百分比，得到所述噪声评估值。

8.一种视频画面的噪声评估装置，其特征在于，包括相互耦接的存储器和处理器，所述存储器存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1-7任一项所述的视频画面的噪声评估方法。

Images