CN106412383A - 视频图像的处理方法和装置 - Google Patents

Abstract

本申请公开了一种视频图像的处理方法和装置。其中，该方法包括：获取视频图像的平均亮度；判断视频图像的平均亮度是否小于预设亮度阈值；如果小于预设亮度阈值，则对视频图像进行亮度增强；对亮度增强后的视频图像进行双边滤波降噪；对双边滤波降噪后的视频图像进行高斯均值滤波。该方法在采光不足的情况下，可对视频图像进行亮度检测，并根据当前的图像亮度与预先设置的亮度阈值进行比较，并根据比较结果自适应地对视频图像进行亮度增强与降噪，提高了图像的主观质量，提升了用户体验。

Description

视频图像的处理方法和装置

技术领域

本申请涉及视频图像处理技术领域，具体涉及一种视频图像的处理方法和装置。

背景技术

随着经济的发展和人们生活水平的提高，人们对视频图像质量的要求也越来越高。例如，在视频聊天、家庭监控等实际应用场景中，如果在采光不足的情况下，视频采集的图像的亮度偏暗、噪点较多，并将该图像通过网络发送后，接收端接收的视频图像主观质量会变差。为了提升用户的视频体验，需要对视频图像进行优化处理以提高视频图像的主观质量。

相关技术中，一般只采用图像亮度增强或图像降噪方法来提高视频图像的主观质量。虽然，单独的对图像进行亮度增强或者单独的对图像进行降噪可以实现对视频图像的优化处理，但是，在实际应用中，由于亮度不够，通常容易产生噪点，而仅对图像进行降噪处理，处理后的图像效果依然不好，导致用户体验差。

发明内容

本申请旨在至少在一定程度上解决上述的技术问题之一。

为此，本申请的第一个目的在于提出一种视频图像的处理方法,以提高图像质量。

本申请的第二个目的在于提出一种视频图像的处理装置。

为达到上述目的，根据本申请第一方面实施例提出了一种视频图像的处理方法，包括以下步骤：获取视频图像的平均亮度；判断所述视频图像的平均亮度是否小于预设亮度阈值；如果小于所述预设亮度阈值，则对所述视频图像进行亮度增强；对亮度增强后的视频图像进行双边滤波降噪；对双边滤波降噪后的所述视频图像进行高斯均值滤波。

本申请实施例的视频图像的处理方法，可先获取视频图像的平均亮度，并判断视频图像的平均亮度是否小于预设亮度阈值，如果小于预设亮度阈值，则对该视频图像进行亮度增强，并对亮度增强后的视频图像进行双边滤波降噪，以及对该双边滤波降噪后的视频图像进行高斯均值滤波，即在采光不足的情况下，可对视频图像进行亮度检测，并根据当前的图像亮度与预先设置的亮度阈值进行比较，并根据比较结果自适应地对视频图像进行亮度增强与降噪，提高了图像的主观质量，提升了用户体验。

为达到上述目的，根据本申请第二方面实施例提出了一种视频图像的处理装置，包括：平均亮度获取模块、判断模块、亮度增强模块、双边滤波降噪模块和高斯均值滤波模块。其中，平均亮度获取模块，用于获取视频图像的平均亮度；判断模块，用于判断所述视频图像的平均亮度是否小于预设亮度阈值；亮度增强模块，用于在所述视频图像的平均亮度小于所述预设亮度阈值时，对所述视频图像进行亮度增强；双边滤波降噪模块，用于对亮度增强后的视频图像进行双边滤波降噪；高斯均值滤波模块，用于对双边滤波降噪后的所述视频图像进行高斯均值滤波。

本申请实施例的视频图像的处理装置，可通过平均亮度获取模块获取视频图像的平均亮度，判断模块判断视频图像的平均亮度是否小于预设亮度阈值，如果小于预设亮度阈值，则亮度增强模块对上述视频图像进行亮度增强，双边滤波降噪模块对亮度增强后的视频图像进行双边滤波降噪，高斯均值滤波模块对双边滤波降噪后的视频图像进行高斯均值滤波，即在采光不足的情况下，可对视频图像进行亮度检测，并根据当前的图像亮度与预先设置的亮度阈值进行比较，并根据比较结果自适应地对视频图像进行亮度增强与降噪，提高了图像的主观质量，提升了用户体验。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本申请的一个实施例的视频图像的处理方法的流程图；

图2是根据本申请的一个具体实施例的以水平与垂直方向的采样间隔为2时的采样示例图；

图3是根据本申请的另一个实施例的视频图像的处理方法的流程图；

图4是根据本申请的一个实施例的视频图像的处理装置的结构框图；

图5是根据本申请的一个实施例的平均亮度获取模块的结构框图；以及

图6是根据本申请的另一个实施例的视频图像的处理装置的结构框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的视频图像的处理方法和装置。

图1是根据本申请一个实施例的视频图像的处理方法的流程图。

如图1所示，该视频图像的处理方法包括：

S101，获取视频图像的平均亮度。

可以理解，为了保证图像的主观质量，在采光不足的情况下，需要对视频图像进行处理。首先，可通过图像亮度检测算法来先获取视频图像的平均亮度。具体而言，在本申请的实施例中，获取视频图像的平均亮度的具体实现过程可如下：获取视频图像的分辨率，并根据分辨率确定对应的采样间隔，以及根据采样间隔对上述视频图像中的像素点的亮度进行采样以生成平均亮度。

更具体地，图像亮度检测算法可包括平均算法、直方图算法等，可根据实际场景选择相应的亮度检测算法以获取视频图像的平均亮度。在本申请的实施例中，以平均算法为例，可根据实时性要求，在计算时，并非对整个视频图像的所有数据进行计算，而是根据视频图像的分辨率，进行采样计算。举例而言，可先获取视频图像的分辨率，之后可根据该视频图像的分辨率的大小来确定对应的采样间隔，如当该视频图像的分辨率小于指定分辨率时，可确定采样间隔为1，即计算整个视频图像；当视频图像的分辨率为指定分辨率的1～4倍时，可确定水平与垂直方向的采样间隔为2，即在视频图像中每两个像素点选取一个像素点；当视频图像的分辨率为指定分辨率的4～8倍时，可确定水平与垂直方向的采样间隔为4，即在视频图像中每四个像素点选取一个像素点；当视频图像的分辨率大于指定分辨率的8倍时，可确定水平与垂直方向的采样间隔为8，即在视频图像中每八个像素点选取一个像素点，若分辨率再大的视频图像则采样间隔的确定可以参照上述方式依次类推。在确定采样间隔之后，可对视频图像中根据该采样间隔所采样的像素点进行亮度值计算，并将所采样的所有像素点的亮度值相加后求平均，得到的值即为整个视频图像的平均亮度。

例如，以水平与垂直方向的采样间隔为2为例，如图2所示，为采样间隔为2时视频图像中采样点的分布示意图，其中图2中空心圈所对应的像素点即为采样点，可将所有空心圈所对应的像素点的亮度值相加后求平均，得到整个视频图像的平均亮度，可以理解，图2中的实心圈所对应的像素点的亮度值不需要用于计算，由此减少了计算开销的同时，保证了亮度计算的准确性。

S102，判断视频图像的平均亮度是否小于预设亮度阈值。

其中，在本申请的实施例中，预设亮度阈值可根据实际应用场景来选择合适的亮度阈值，即不同的应用场景需使用不同的阈值。例如，在视频聊天中与家庭监控中，可使用不同的阈值，如可进行主观判断后得到最佳主观质量的阈值。

S103，如果小于预设亮度阈值，则对视频图像进行亮度增强。

具体而言，在本申请的实施例中，当视频图像的平均亮度小于预设亮度阈值时，可采用线性亮度增强算法对视频图像进行亮度增强，即可通过以下公式对视频图像进行亮度增强：

g(x)＝clip(f(x)+Δx) (1)

其中，g(x)为视频图像的目标像素值，f(x)为视频图像的原始像素值，Δx为需要增加的亮度差值，其中该亮度差值Δx可为预设亮度阈值与视频图像的平均亮度之差，即Δx＝预设亮度阈值-视频图像的平均亮度，函数clip()表示亮度取值范围在[0,255]之间，若亮度取值超过预设亮度阈值，则该目标像素值可为预设亮度阈值。

也就是说，可通过上述式(1)计算出对上述视频图像进行亮度增强时视频图像所要达到的目标像素值g(x)，之后可对视频图像进行亮度增强以使该视频图像的亮度达到该目标像素值g(x)。

S104，对亮度增强后的视频图像进行双边滤波降噪。

可以理解，双边滤波相对传统的高斯滤波来说一个重要的特性是可以保持边缘，这个特点对于一些图像模糊来说很有用。这是因为，一般的高斯模糊在进行采样时主要考虑了像素间的空间距离关系，却没有考虑像素值之间的相似程度，而双边滤波在采样时不仅考虑了像素间的空间距离关系，同时考虑了像素值之间的相似程度，所以可以保持原始图像的大部分块，进而保持边缘。

因此，基于上述原因可通过双边滤波方式对亮度增强后的视频图像进行降噪。具体而言，在本申请的实施例中，可通过以下公式(2)对亮度增强后的视频图像进行双边滤波降噪：

其中，为双边滤波降噪之后的像素值，为复原图像，Sx,y表示视频图像中中心点(x,y)的(2N+1)×(2N+1)大小的邻域，N表示双边滤波器半宽，w(i,j)为加权系数，其中g(i,j)＝f(i,j)+n(i,j)，f(i,j)为无噪声图像中的坐标(i,j)的像素值，n为服从零均值高斯分布的噪声，g(i,j)为噪声图像在位置(i,j)处的像素值。可以理解，降噪的目标即消除噪声图像中的噪声n，重建无噪声图像f。

此外，在本申请的实施例中，上述加权系数w(i,j)可通过以下公式(3)确定：

w(i,j)＝w_s(i,j)w_r(i,j) (3)

其中，w_s(i,j)为空间邻近度因子，w_r(i,j)为亮度相似度因子。在本申请的实施例中，上述w_s(i,j)与w_r(i,j)可分别通过以下式(4)和式(5)确定：

其中，σ_s表示控制空间邻近度因子w_s衰减程度的参数，σ_r表示控制亮度相似度因子w_r衰减程度的参数。

从上述式(3)可以看出，加权系数w(i,j)是空间邻近度因子w_s(i,j)和亮度相似度因子w_r(i,j)的非线性组合，即两者的乘积。其中，从上述式(4)和式(5)可以看出，空间邻近度因子w_s(i,j)随着像素点与中心点之间距离的增加而减少，亮度相似度因子w_r(i,j)随着两像素值之差的增大而减小。因此，在视频图像变化平缓区域，由于邻域内像素值相差不大，所以对该平缓区域中的像素点进行双边滤波降噪之后，直接执行下述步骤S105，即对该平缓区域中的像素点进行高斯均值滤波；而在视频图像变化剧烈的区域，可利用边缘点附近亮度值相近的像素点的亮度值平均替代原亮度值。因此，通过双边滤波降噪的方式既平滑滤波了图像，又保持了图像边缘。

S105，对双边滤波降噪后的视频图像进行高斯均值滤波。

需要说明的是，在本申请的实施例中，高斯均值滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通俗的讲，高斯均值滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由该像素点本身的像素值和其邻域内的其他像素点的像素值经过加权平均后得到。高斯均值滤波的具体操作是：用一个模板(或称卷积、掩模)扫描视频图像中的每一个像素点，并用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

具体地，可根据高斯分布来确定高斯均值滤波中的各模板系数，其中，可将接近模板中心的系数取得比模板周边的系数大，例如，以3×3模板为例，即该高斯均值滤波算法3×3模板可如下式(6)所示。

在确定高斯均值滤波中的各模板系数之后，可通过以上式(6)对双边滤波降噪后的视频图像进行3×3的高斯均值滤波。

本申请实施例的视频图像的处理方法，可先获取视频图像的平均亮度，并判断视频图像的平均亮度是否小于预设亮度阈值，如果小于预设亮度阈值，则对该视频图像进行亮度增强，并对亮度增强后的视频图像进行双边滤波降噪，以及对双边滤波降噪后的视频图像进行高斯均值滤波，即在采光不足的情况下，可对视频图像进行亮度检测，并根据当前的图像亮度与预先设置的亮度阈值进行比较，并根据比较结果自适应地对视频图像进行亮度增强与降噪，提高了图像的主观质量，提升了用户体验。

图3是根据本申请另一个实施例的视频图像的处理方法的流程图。

为了减少计算开销，保证实时性，在本申请的实施例中，可通过定时亮度检测方式，使得在一段时间内，使用相同的亮度检测结果来对视频图像进行处理。具体地，如图3所示，该视频图像的处理方法可以包括：

S301，获取视频图像的平均亮度。

需要说明的是，为了保证图像的主观质量，在采光不足的情况下，需要对视频图像进行处理。首先，可通过图像亮度检测算法来先获取视频图像的平均亮度。具体而言，在本申请的实施例中，获取视频图像的平均亮度的具体实现过程可如下：获取视频图像的分辨率，并根据分辨率确定对应的采样间隔，以及根据采样间隔对上述视频图像中的像素点的亮度进行采样以生成平均亮度。

更具体地，图像亮度检测算法可包括平均算法、直方图算法等，可根据实际场景选择相应的亮度检测算法以获取视频图像的平均亮度。在本申请的实施例中，以平均算法为例，可根据实时性要求，在计算时，并非对整个视频图像的所有数据进行计算，而是根据视频图像的分辨率，进行采样计算。举例而言，可先获取视频图像的分辨率，之后可根据该视频图像的分辨率的大小来确定对应的采样间隔，如当该视频图像的分辨率小于指定分辨率时，可确定采样间隔为1，即计算整个视频图像；当视频图像的分辨率为指定分辨率的1～4倍时，可确定水平与垂直方向的采样间隔为2，即在视频图像中每两个像素点选取一个像素点；当视频图像的分辨率为指定分辨率的4～8倍时，可确定水平与垂直方向的采样间隔为4，即在视频图像中每四个像素点选取一个像素点；当视频图像的分辨率大于指定分辨率的8倍时，可确定水平与垂直方向的采样间隔为8，即在视频图像中每八个像素点选取一个像素点，若分辨率再大的视频图像则采样间隔的确定可以参照上述方式依次类推。在确定采样间隔之后，可对视频图像中根据该采样间隔所采样的像素点进行亮度值计算，并将所采样的所有像素点的亮度值相加后求平均，得到的值即为整个视频图像的平均亮度。

例如，以水平与垂直方向的采样间隔为2为例，如图2所示，为采样间隔为2时视频图像中采样点的分布示意图，其中图2中空心圈所对应的像素点即为采样点，可将所有空心圈所对应的像素点的亮度值相加后求平均，得到整个视频图像的平均亮度，可以理解，图2中的实心圈所对应的像素点的亮度值不需要用于计算，由此减少了计算开销的同时，保证了亮度计算的准确性。

S302，判断视频图像的平均亮度是否小于预设亮度阈值。

其中，在本申请的实施例中，预设亮度阈值可根据实际应用场景来选择合适的亮度阈值，即不同的应用场景需使用不同的阈值。例如，在视频聊天中与家庭监控中，可使用不同的阈值，可进行主观判断后得到最佳主观质量的阈值。

S303，如果小于预设亮度阈值，则对视频图像进行亮度增强。

具体而言，在本申请的实施例中，当视频图像的平均亮度小于预设亮度阈值时，可采用线性亮度增强算法对视频图像进行亮度增强，即可通过以下公式对视频图像进行亮度增强：

g(x)＝clip(f(x)+Δx) (1)

其中，g(x)为视频图像的目标像素值，f(x)为视频图像的原始像素值，Δx为需要增加的亮度差值，其中该亮度差值Δx可为预设亮度阈值与视频图像的平均亮度之差，即Δx＝预设亮度阈值-视频图像的平均亮度，函数clip()表示亮度取值范围在[0,255]之间，若亮度取值超过预设亮度阈值，则该目标像素值可为预设亮度阈值。

也就是说，可通过上述式(1)计算出对上述视频图像进行亮度增强时视频图像所要达到的目标像素值g(x)，之后可对视频图像进行亮度增强以使该视频图像的亮度达到该目标像素值g(x)。

S304，对亮度增强后的视频图像进行双边滤波降噪。

可以理解，双边滤波相对传统的高斯滤波来说一个重要的特性是可以保持边缘，这个特点对于一些图像模糊来说很有用。这是因为，一般的高斯模糊在进行采样时主要考虑了像素间的空间距离关系，却没有考虑像素值之间的相似程度，而双边滤波在采样时不仅考虑了像素间的空间距离关系，同时考虑了像素值之间的相似程度，所以可以保持原始图像的大部分块，进而保持边缘。

因此，基于上述原因可通过双边滤波方式对亮度增强后的视频图像进行降噪。具体而言，在本申请的实施例中，可通过以下公式(2)对亮度增强后的视频图像进行双边滤波降噪：

其中，为双边滤波降噪之后的像素值，为复原图像，Sx,y表示视频图像中中心点(x,y)的(2N+1)×(2N+1)大小的邻域，N表示双边滤波器半宽，w(i,j)为加权系数，其中g(i,j)＝f(i,j)+n(i,j)，f(i,j)为无噪声图像中的坐标(i,j)的像素值，n为服从零均值高斯分布的噪声，g(i,j)为噪声图像在位置(i,j)处的像素值。可以理解，降噪的目标即消除噪声图像中的噪声n，重建无噪声图像f。

此外，在本申请的实施例中，加权系数w(i,j)可通过以下公式(3)确定：

w(i,j)＝w_s(i,j)w_r(i,j) (3)

其中，w_s(i,j)为空间邻近度因子，w_r(i,j)为亮度相似度因子。在本申请的实施例中，上述w_s(i,j)与w_r(i,j)可分别通过以下式(4)和式(5)确定：

其中，σ_s表示控制空间邻近度因子w_s衰减程度的参数，σ_r表示控制亮度相似度因子w_r衰减程度的参数。

从上述式(3)可以看出，加权系数w(i,j)是空间邻近度因子w_s(i,j)和亮度相似度因子w_r(i,j)的非线性组合，即两者的乘积。其中，从上述式(4)和式(5)可以看出，空间邻近度因子w_s(i,j)随着像素点与中心点之间距离的增加而减少，亮度相似度因子w_r(i,j)随着两像素值之差的增大而减小。因此，在视频图像变化平缓区域，由于邻域内像素值相差不大，所以对该平缓区域中的像素点进行双边滤波降噪之后，直接执行下述步骤S305，即对该平缓区域中的像素点进行高斯均值滤波；而在视频图像变化剧烈的区域，可利用边缘点附近亮度值相近的像素点的亮度值平均替代原亮度值。因此，通过双边滤波降噪的方式既平滑滤波了图像，又保持了图像边缘。

S305，对双边滤波降噪后的视频图像进行高斯均值滤波。

需要说明的是，在本申请的实施例中，高斯均值滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通俗的讲，高斯均值滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由该像素点本身的像素值和其邻域内的其他像素点的像素值经过加权平均后得到。高斯均值滤波的具体操作是：用一个模板(或称卷积、掩模)扫描视频图像中的每一个像素点，并用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

具体地，可根据高斯分布来确定高斯均值滤波中的各模板系数，其中，可将接近模板中心的系数取得比模板周边的系数大，例如，以3×3模板为例，即该高斯均值滤波算法3×3模板可如下式(6)所示。

在确定高斯均值滤波中的各模板系数之后，可通过以上式(6)对双边滤波降噪后的视频图像进行3×3的高斯均值滤波。

S306，判断是否处在预设时间段内。

可以理解，在视频通话与家庭监控等的场景应用中，环境采光在较短的时间内都是差不多的，很少会由于场景切换等而导致亮度突然变化。针对这种应用场景，加入亮度定时检测机制。具体地，在对视频图像进行处理的过程中，如在获取下一帧视频图像的平均亮度之前，还可判断当前是否处在预设时间段内。

在本申请的实施例中，如果判断当前处在预设时间段内则重复执行上述步骤S303～S305，即重复对视频图像进行亮度增强，并对亮度增强后的视频图像进行双边滤波降噪，以及对双边滤波降噪后的视频图像进行高斯均值滤波。

也就是说，当一帧视频图像经过亮度检测后，当检测到该视频图像需要亮度增强与图像降噪时，可得到需要亮度增强的亮度差值Δx，在接下来的一段时间(即上述的预设时间段)内，可使用相同的亮度差值Δx直接进行亮度增强，即直接返回执行上述步骤S303，而不需要再次进行亮度检测。可以理解，在本申请的实施例中，如果该帧视频图像的平均亮度大于预设亮度阈值，则不需要亮度增强与图像降噪，则接下来一段时间(即上述的预设时间段)内的视频图像，都不需要进行亮度增强与图像降噪。

在本申请的实施例中，如果判断当前不处在预设时间段内则重复执行上述步骤S302～S305，即重复判断视频图像的平均亮度是否小于预设亮度阈值，如果小于预设亮度阈值，则对视频图像进行亮度增强，并对亮度增强后的视频图像进行双边滤波降噪，以及对双边滤波降噪后的视频图像进行高斯均值滤波。

也就是说，当判断当前不处在预设时间段内时，可认为此时需要重新对当前帧的视频图像进行亮度检测，以判断当前帧的视频图像是否需要亮度增强与图像降噪处理。

本申请实施例的视频图像的处理方法，在对视频图像进行处理的过程中，如在获取下一帧视频图像的平均亮度之前，还可判断当前是否处在预设时间段内，若是，则在接下来的预设时间段内，可对预设时间段内的每帧视频图像采用相同处理方式进行处理，若否，则重新对下一帧视频图像进行亮度检测，即通过定时亮度检测的方式，避免了对每帧视频图像进行亮度检测的过程，在尽可能保证图像质量的同时减少计算开销，保证了实时性。

为了实现上述实施例，本申请还提出了一种视频图像的处理装置。

图4是根据本申请一个视频图像的处理装置的结构框图。

如图4所示，该视频图像的处理装置包括：平均亮度获取模块10、判断模块20、亮度增强模块30、双边滤波降噪模块40和高斯均值滤波模块50。

具体地，平均亮度获取模块10用于获取视频图像的平均亮度。

可以理解，为了保证图像的主观质量，在采光不足的情况下，需要对视频图像进行处理。首先，平均亮度获取模块10可通过图像亮度检测算法来获取视频图像的平均亮度。具体而言，在本申请的实施例中，如图5所示，该平均亮度获取模块10可以包括：分辨率获取子模块11、采样间隔确定子模块12和采样子模块13。其中，分辨率获取子模块11用于获取视频图像的分辨率。采样间隔确定子模块12用于根据上述分辨率确定对应的采样间隔。采样子模块13用于根据采样间隔对视频图像中的像素点的亮度进行采样以生成平均亮度。

更具体地，图像亮度检测算法可包括平均算法、直方图算法等，可根据实际场景选择相应的亮度检测算法以获取视频图像的平均亮度。在本申请的实施例中，以平均算法为例，平均亮度获取模块10可根据实时性要求，在计算时，并非对整个视频图像的所有数据进行计算，而是根据视频图像的分辨率，进行采样计算。举例而言，分辨率获取子模块11可获取视频图像的分辨率，采样间隔确定子模块12可根据该视频图像的分辨率的大小来确定对应的采样间隔，如当该视频图像的分辨率小于指定分辨率时，可确定采样间隔为1，即计算整个视频图像；当视频图像的分辨率为指定分辨率的1～4倍时，可确定水平与垂直方向的采样间隔为2，即在视频图像中每两个像素点选取一个像素点；当视频图像的分辨率为指定分辨率的4～8倍时，可确定水平与垂直方向的采样间隔为4，即在视频图像中每四个像素点选取一个像素点；当视频图像的分辨率大于指定分辨率的8倍时，可确定水平与垂直方向的采样间隔为8，即在视频图像中每八个像素点选取一个像素点，若分辨率再大的视频图像则采样间隔的确定可以参照上述方式依次类推。在采样间隔确定子模块12确定采样间隔之后，采样子模块13可对视频图像中根据该采样间隔所采样的像素点进行亮度值计算，并将所采样的所有像素点的亮度值相加后求平均，得到的值即为整个视频图像的平均亮度。

例如，以水平与垂直方向的采样间隔为2为例，如图2所示，为采样间隔为2时视频图像中采样点的分布示意图，其中图2中空心圈所对应的像素点即为采样点，采样子模块13可将所有空心圈所对应的像素点的亮度值相加后求平均，得到整个视频图像的平均亮度，可以理解，图2中的实心圈所对应的像素点的亮度值不需要用于计算，由此减少了计算开销的同时，保证了亮度计算的准确性。

判断模块20用于判断视频图像的平均亮度是否小于预设亮度阈值。

其中，在本申请的实施例中，预设亮度阈值可根据实际应用场景来选择合适的亮度阈值，即不同的应用场景需使用不同的阈值。例如，在视频聊天中与家庭监控中，可使用不同的阈值，如可进行主观判断后得到最佳主观质量的阈值。

亮度增强模块30用于在视频图像的平均亮度小于预设亮度阈值时，对视频图像进行亮度增强。

具体而言，在本申请的实施例中，当视频图像的平均亮度小于预设亮度阈值时，亮度增强模块30可采用线性亮度增强算法对视频图像进行亮度增强，即可通过以下公式对视频图像进行亮度增强：

g(x)＝clip(f(x)+Δx) (1)

其中，g(x)为视频图像的目标像素值，f(x)为视频图像的原始像素值，Δx为需要增加的亮度差值，其中该亮度差值Δx可为预设亮度阈值与视频图像的平均亮度之差，即Δx＝预设亮度阈值-视频图像的平均亮度，函数clip()表示亮度取值范围在[0,255]之间，若亮度取值超过预设亮度阈值，则该目标像素值可为预设亮度阈值。

也就是说，亮度增强模块30可通过上述式(1)计算出对上述视频图像进行亮度增强时视频图像所要达到的目标像素值g(x)，之后可对视频图像进行亮度增强以使该视频图像的亮度达到该目标像素值g(x)。

双边滤波降噪模块40用于对亮度增强后的视频图像进行双边滤波降噪。

可以理解，双边滤波相对传统的高斯滤波来说一个重要的特性是可以保持边缘，这个特点对于一些图像模糊来说很有用。这是因为，一般的高斯模糊在进行采样时主要考虑了像素间的空间距离关系，却没有考虑像素值之间的相似程度，而双边滤波在采样时不仅考虑了像素间的空间距离关系，同时考虑了像素值之间的相似程度，所以可以保持原始图像的大部分块，进而保持边缘。

因此，基于上述原因可通过双边滤波方式对亮度增强后的视频图像进行降噪。具体而言，在本申请的实施例中，双边滤波降噪模块40可通过以下公式(2)对亮度增强后的视频图像进行双边滤波降噪：

其中，为双边滤波降噪之后的像素值，为复原图像，Sx,y表示视频图像中中心点(x,y)的(2N+1)×(2N+1)大小的邻域，N表示双边滤波器半宽，w(i,j)为加权系数，其中g(i,j)＝f(i,j)+n(i,j)，f(i,j)为无噪声图像中的坐标(i,j)的像素值，n为服从零均值高斯分布的噪声，g(i,j)为噪声图像在位置(i,j)处的像素值。可以理解，降噪的目标即消除噪声图像中的噪声n，重建无噪声图像f。

此外，在本申请的实施例中，加权系数w(i,j)可通过以下公式(3)确定：

w(i,j)＝w_s(i,j)w_r(i,j) (3)

其中，w_s(i,j)为空间邻近度因子，w_r(i,j)为亮度相似度因子。在本申请的实施例中，上述w_s(i,j)与w_r(i,j)可分别通过以下式(4)和式(5)确定：

其中，σ_s表示控制空间邻近度因子w_s衰减程度的参数，σ_r表示控制亮度相似度因子w_r衰减程度的参数。

从上述式(3)可以看出，加权系数w(i,j)是空间邻近度因子w_s(i,j)和亮度相似度因子w_r(i,j)的非线性组合，即两者的乘积。其中，从上述式(4)和式(5)可以看出，空间邻近度因子w_s(i,j)随着像素点与中心点之间距离的增加而减少，亮度相似度因子w_r(i,j)随着两像素值之差的增大而减小。因此，在视频图像变化平缓区域，由于邻域内像素值相差不大，所以对该平缓区域中的像素点进行双边滤波降噪之后，直接转到高斯均值滤波模块50，即对该平缓区域中的像素点进行高斯均值滤波；而在视频图像变化剧烈的区域，可利用边缘点附近亮度值相近的像素点的亮度值平均替代原亮度值。因此，通过双边滤波降噪的方式既平滑滤波了图像，又保持了图像边缘。

高斯均值滤波模块50可用于对双边滤波降噪后的视频图像进行高斯均值滤波。

需要说明的是，在本申请的实施例中，高斯均值滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通俗的讲，高斯均值滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由该像素点本身的像素值和其邻域内的其他像素点的像素值经过加权平均后得到。高斯均值滤波的具体操作是：用一个模板(或称卷积、掩模)扫描视频图像中的每一个像素点，并用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

具体地，高斯均值滤波模块50可根据高斯分布来确定高斯均值滤波中的各模板系数，其中，可将接近模板中心的系数取得比模板周边的系数大，例如，以3×3模板为例，即该高斯均值滤波算法3×3模板可如下式(6)所示。

高斯均值滤波模块50在确定高斯均值滤波中的各模板系数之后，可通过以上式(6)对双边滤波降噪后的视频图像进行3×3的高斯均值滤波。

本申请实施例的视频图像的处理装置，可通过平均亮度获取模块首先获取视频图像的平均亮度，判断模块判断视频图像的平均亮度是否小于预设亮度阈值，如果小于预设亮度阈值，则亮度增强模块对上述视频图像进行亮度增强，双边滤波降噪模块对亮度增强后的视频图像进行双边滤波降噪，高斯均值滤波模块对双边滤波降噪后的视频图像进行高斯均值滤波，即在采光不足的情况下，可对视频图像进行亮度检测，并根据当前的图像亮度与预先设置的亮度阈值进行比较，并根据比较结果自适应地对视频图像进行亮度增强与降噪，提高了图像的主观质量，提升了用户体验。

可以理解，在视频通话与家庭监控等的场景应用中，环境采光在较短的时间内都是差不多的，很少会由于场景切换等而导致亮度突然变化。针对这种应用场景，本申请的视频图像的处理装置可加入亮度定时检测机制。具体地，在本申请的一个实施例，如图6所示，该视频图像的处理装置还可包括时间判断模块60，时间判断模块60可用于在对视频图像进行处理的过程中，如在获取下一帧视频图像的平均亮度之前，判断当前是否处在预设时间段内。

在本申请的实施例中，亮度增强模块30还用于在时间判断模块60判断当前处在预设时间段内时，对下一帧视频图像进行亮度增强。判断模块20还用于在时间判断模块60判断当前不处在预设时间段内时，判断下一帧视频图像的平均亮度是否小于预设亮度阈值。

也就是说，当时间判断模块60判断当前处在预设时间段内时，在对一帧视频图像经过亮度检测后，当检测到该视频图像需要亮度增强与图像降噪时，亮度增强模块30可得到需要亮度增强的亮度差值Δx，在接下来的一段时间(即上述的预设时间段)内，可使用相同的亮度差值Δx直接进行亮度增强，而不需要再次进行亮度检测。可以理解，在本申请的实施例中，如果该帧视频图像的平均亮度大于预设亮度阈值，则不需要亮度增强与图像降噪，则接下来一段时间(即上述的预设时间段)内的视频图像，都不需要进行亮度增强与图像降噪。

当时间判断模块60判断当前不处在预设时间段内时，判断模块20可认为此时需要重新对当前帧的视频图像进行亮度检测，以判断当前帧的视频图像是否需要亮度增强与图像降噪处理。

由此，在对视频图像进行处理的过程中，如在获取下一帧视频图像的平均亮度之前，还可判断当前是否处在预设时间段内，若是，则在接下来的预设时间段内，可对预设时间段内的每帧视频图像采用相同处理方式进行处理，若否，则重新对下一帧视频图像进行亮度检测，即通过定时亮度检测的方式，避免了对每帧视频图像进行亮度检测的过程，在尽可能保证图像质量的同时减少计算开销，保证了实时性。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (15)

1.一种视频图像的处理方法，其特征在于，包括以下步骤：

获取视频图像的平均亮度；

判断所述视频图像的平均亮度是否小于预设亮度阈值；

如果小于所述预设亮度阈值，则对所述视频图像进行亮度增强；

对亮度增强后的视频图像进行双边滤波降噪；以及

对双边滤波降噪后的所述视频图像进行高斯均值滤波。

2.如权利要求1所述的视频图像的处理方法，其特征在于，通过以下公式对所述视频图像进行亮度增强：

g(x)＝clip(f(x)+Δx)，

其中，g(x)为所述视频图像的目标像素值，f(x)为所述视频图像的原始像素值，Δx为需要增加的亮度差值，函数clip()表示亮度取值范围在[0,255]之间，若所述亮度取值超过所述预设亮度阈值则等于所述预设亮度阈值。

3.如权利要求2所述的视频图像的处理方法，其特征在于，其中，Δx为所述预设亮度阈值与所述视频图像的平均亮度之差。

4.如权利要求1所述的视频图像的处理方法，其特征在于，所述获取视频图像的平均亮度具体包括：

获取所述视频图像的分辨率；

根据所述分辨率确定对应的采样间隔；

根据所述采样间隔对所述视频图像中的像素点的亮度进行采样以生成所述平均亮度。

5.如权利要求1所述的视频图像的处理方法，其特征在于，还包括：

判断是否处在预设时间段内；

如果处在所述预设时间段内，则对所述视频图像进行亮度增强，并对亮度增强后的视频图像进行双边滤波降噪，以及对双边滤波降噪后的所述视频图像进行高斯均值滤波；

如果不处在所述预设时间段内，则判断所述视频图像的平均亮度是否小于预设亮度阈值，如果小于所述预设亮度阈值，则对所述视频图像进行亮度增强，并对亮度增强后的视频图像进行双边滤波降噪，以及对双边滤波降噪后的所述视频图像进行高斯均值滤波。

6.如权利要求1所述的视频图像的处理方法，其特征在于，通过以下公式对亮度增强后的视频图像进行双边滤波降噪：

$\hat{f}(x,y)=\frac{{\mathrm{\Σ}}_{(i,j)\∈Sx,y}w(i,j)g(i,j)}{{\mathrm{\Σ}}_{(i,j)\∈Sx,y}w(i,j)},$

其中，为双边滤波降噪之后的像素值，Sx,y表示所述视频图像中中心点(x,y)的(2N+1)×(2N+1)大小的邻域，N为双边滤波器半宽，w(i,j)为加权系数，

其中，g(i,j)＝f(i,j)+n(i,j)，f(i,j)为无噪声图像中的坐标(i,j)的像素值，n为服从零均值高斯分布的噪声，g(i,j)为噪声图像中的坐标(i,j)的像素值。

7.如权利要求6所述的视频图像的处理方法，其特征在于，所述加权系数w(i,j)通过以下公式确定：

w(i,j)＝w_s(i,j)w_r(i,j)，

其中，所述w_s(i,j)为空间邻近度因子，所述w_r(i,j)为亮度相似度因子。

8.如权利要求7所述的视频图像的处理方法，其特征在于，其中，

$w_s(i,j)=e^{-\frac{|i-x{|}^2+|i-y{|}^2}{2{\mathrm{\σ}}_s^2}},$

$w_r(i,j)=e^{-\frac{|g(i,j)-g(x,y){|}^2}{2{\mathrm{\σ}}_r^2}},$

其中，σ_s表示控制所述空间邻近度因子w_s衰减程度的参数，σ_r表示控制所述亮度相似度因子w_r衰减程度的参数。

9.一种视频图像的处理装置，其特征在于，包括：

平均亮度获取模块，用于获取视频图像的平均亮度；

判断模块，用于判断所述视频图像的平均亮度是否小于预设亮度阈值；

亮度增强模块，用于在所述视频图像的平均亮度小于所述预设亮度阈值时，对所述视频图像进行亮度增强；

双边滤波降噪模块，用于对亮度增强后的视频图像进行双边滤波降噪；以及

高斯均值滤波模块，用于对双边滤波降噪后的所述视频图像进行高斯均值滤波。

10.如权利要求9所述的视频图像的处理装置，其特征在于，所述亮度增强模块通过以下公式对所述视频图像进行亮度增强：

g(x)＝clip(f(x)+Δx)，

其中，g(x)为所述视频图像的目标像素值，f(x)为所述视频图像的原始像素值，Δx为需要增加的亮度差值，函数clip()表示亮度取值范围在[0,255]之间，若所述亮度取值超过所述预设亮度阈值则等于所述预设亮度阈值。

11.如权利要求10所述的视频图像的处理装置，其特征在于，其中，Δx为所述预设亮度阈值与所述视频图像的平均亮度之差。

12.如权利要求9所述的视频图像的处理装置，其特征在于，所述平均亮度获取模块具体包括：

分辨率获取子模块，用于获取所述视频图像的分辨率；

采样间隔确定子模块，用于根据所述分辨率确定对应的采样间隔；

采样子模块，用于根据所述采样间隔对所述视频图像中的像素点的亮度进行采样以生成所述平均亮度。

13.如权利要求9所述的视频图像的处理装置，其特征在于，所述双边滤波降噪模块通过以下公式对亮度增强后的视频图像进行双边滤波降噪：

$\hat{f}(x,y)=\frac{{\mathrm{\Σ}}_{(i,j)\∈Sx,y}w(i,j)g(i,j)}{{\mathrm{\Σ}}_{(i,j)\∈Sx,y}w(i,j)},$

其中，为双边滤波降噪之后的像素值，Sx,y表示所述视频图像中中心点(x,y)的(2N+1)×(2N+1)大小的邻域，N表示双边滤波器半宽，w(i,j)为加权系数，

其中，g(i,j)＝f(i,j)+n(i,j)，f(i,j)为无噪声图像中的坐标(i,j)的像素值，n为服从零均值高斯分布的噪声，g(i,j)为噪声图像中的坐标(i,j)的像素值。

14.如权利要求13所述的视频图像的处理装置，其特征在于，所述加权系数w(i,j)通过以下公式确定：

w(i,j)＝w_s(i,j)w_r(i,j)，

其中，所述w_s(i,j)为空间邻近度因子，所述w_r(i,j)为亮度相似度因子。

15.如权利要求14所述的视频图像的处理装置，其特征在于，其中，

$w_s(i,j)=e^{-\frac{|i-x{|}^2+|i-y{|}^2}{2{\mathrm{\σ}}_s^2}},$

$w_r(i,j)=e^{-\frac{|g(i,j)-g(x,y){|}^2}{2{\mathrm{\σ}}_r^2}},$

其中，σ_s表示控制所述空间邻近度因子w_s衰减程度的参数，σ_r表示控制所述亮度相似度因子w_r衰减程度的参数。