CN105631417A - 应用于互联网视频直播的视频美化系统及方法 - Google Patents

Abstract

本发明公开了应用于互联网视频直播的视频美化系统，包括：美化单元、摄像头、人脸检测库和显示单元；美化单元分别与摄像头、人脸检测库和显示单元相连，美化单元包括滤波模块、亮度模块和对比度模块；人脸检测库检测视频帧内是否出现人脸区域，当检测到人脸区域时则向美化单元发出信号；滤波模块接收人脸检测库发出的信号，对人脸区域进行滤波处理；亮度模块、对比度模块均与滤波模块相连，用于调整视频帧的亮度和对比度。本发明能有效改善人脸的皮肤，保留人的脸部特征，完整保留图像其他部分的细节，改善图像的整体效果，使人眼的视觉感知比较自然舒适；对计算机的性能要求不高，可以在PC机、手机android系统上实现。

Description

应用于互联网视频直播的视频美化系统及方法

技术领域

本发明涉及视频成像技术领域，尤其涉及应用于互联网视频直播的视频美化系统及方法。

背景技术

目前在线娱乐平台众多，主播们宅在家里做视频直播。用摄像头拍摄的视频，画面平淡，清晰地展现出人脸部的斑点、皱纹等一些不受人欢迎的因素。消除不受欢迎的因素，使画面更美观，是主播们的强烈要求。

现有技术有一种即时视频中的人脸美化方法，对视频的每一帧图像中的人脸进行美化。利用美化后的当前帧替换原有的当前帧，对当前帧的下一帧图像继续执行上述步骤，从而实现即时视频中的人脸美化。

由于现有技术提供的方法对设备的硬件要求较高，而如智能手机和平板电脑等移动终端的硬件无法满足该方法的硬件要求，使得移动终端无法使用现有技术提供的方法进行即时视频中的人脸美化；同时现有美化的视频整体效果不佳，人脸区域的视觉感知效果较差。

发明内容

针对上述问题中存在的不足之处，本发明提供应用于互联网视频直播的视频美化系统及方法。

为实现上述目的，本发明提供了一种应用于互联网视频直播的视频美化系统，包括：美化单元、摄像头、人脸检测库和显示单元；

所述摄像头用于获取视频帧；

所述人脸检测库用于检测视频帧内是否出现人脸区域，当检测到人脸区域时则向美化单元发出信号；

所述显示单元用于显示美化单元的处理结果；

所述美化单元分别与所述摄像头、人脸检测库和显示单元相连，所述美化单元包括滤波模块、亮度模块和对比度模块；

所述滤波模块接收人脸检测库发出的信号，用于并根据所述信号对检测到的人脸区域进行滤波处理；

所述亮度模块与所述滤波模块相连，用于调整视频帧的亮度；

所述对比度模块与所述滤波模块相连，用于调整视频帧的对比度。

作为本发明的进一步改进，所述人脸检测库内设有级联分类器，用于对视频帧进行模式匹配。

作为本发明的进一步改进，当检测视频帧内没有出现人脸区域时，则滤波模块接收不到人脸检测库发出的信号，滤波模块不工作。

本发明还公开了应用于互联网视频直播的视频美化系统的使用方法，包括：

步骤一、获取视频帧，检测视频帧内是否出现人脸区域，当检测到人脸区域则执行步骤二；

步骤二、通过相邻像素和中心像素一起进行加权平均对人脸区域进行滤波处理，所述相邻像素与中心像素的差值小于阈值T；

步骤三、采用非线性算法提升视频帧的亮度和对比度，得到美化后的图像。

作为本发明的进一步改进，所述步骤一中，若没有检测到人脸区域，则直接执行步骤三。

作为本发明的进一步改进，所述检测人脸区域的方法为：

调用OpenCV的人脸检测库检测人脸区域。

作为本发明的进一步改进，所述滤波处理具体为：

对人脸区域中的每个像素点滤波，采用保边缘的双边滤波的一个变形，公式如下：

$p=\frac{\underset{i=-r}{\overset{i=r}{\Σ}}\underset{j=-r}{\overset{j=r}{\Σ}}{m}_{ij}*p_{ij}}{\underset{i=-r}{\overset{i=r}{\Σ}}\underset{j=-r}{\overset{j=r}{\Σ}}{m}_{ij}},m_i=1-\frac{\left|p_i-p_0\right|}{T},m_i\∈\[0,1\];$

其中：r是半径，p₀是中心像素，p_i是p₀的相邻像素，T是阈值，m表示权重，i表示行，j表示列，m_ij是i行j列的权重，p_ij是i行j列的像素点，p表示像素点的值；

半径r为指定模糊取样区域的大小；阈值T为控制相邻像素值与中心像素值相差多大时，才能成为模糊的一部分；像素值之差大于阈值的像素将被排除在模糊之外。

作为本发明的进一步改进，所述非线性算法具体为：

$x_{new}=255\×{\left(\frac{x}{255}\right)}^{\frac{1}{\mathrm{\γ}}};$

其中：x是输入像素值，值为0，1，2，...255；

x_new是输出像素值，值为0，1，2，...255；

γ是曲线系数，值为1.0，1.1，1.2，...2.0。

与现有技术相比，本发明的有益效果为：

本发明提供了应用于互联网视频直播的视频美化系统及方法，包括美化单元、摄像头、人脸检测库和显示单元，通过上述结构实现检测人脸区域，对人脸区域进行滤波，采用非线性算法提升视频帧的亮度和对比度。本发明解决在线娱乐平台主播拍摄的视频画面平淡、清晰展现人脸部的斑点、皱纹等不受欢迎因素的问题，能有效改善人脸的皮肤，并保留人的脸部特征，完整保留图像其他部分的细节，改善图像的整体效果，使人眼的视觉感知比较自然舒适；同时，本发明对计算机的性能要求不高，可以在PC机、手机android系统上实现；

人脸检测库内设有级联分类器进行模式匹配，提高了检测精度和运算速度。

附图说明

图1为本发明一种实施例公开的应用于互联网视频直播的视频美化系统的框架图；

图2为本发明一种实施例公开的应用于互联网视频直播的视频美化的方法流程图。

图中：1、美化单元；1-1、滤波模块；1-2、亮度模块；1-3、对比度模块；2、摄像头；3、人脸检测库；4显示单元。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开了一种应用于互联网视频直播的视频美化系统及方法，包括：美化单元、摄像头、人脸检测库和显示单元；摄像头用于获取视频帧；人脸检测库用于检测视频帧内是否出现人脸区域，当检测到人脸区域时则向美化单元发出信号；显示单元用于显示美化单元的处理结果；美化单元分别与摄像头、人脸检测库和显示单元相连，美化单元包括滤波模块、亮度模块和对比度模块；滤波模块接收人脸检测库发出的信号，用于并根据所述信号对检测到的人脸区域进行滤波处理；亮度模块与滤波模块相连，用于调整视频帧的亮度；对比度模块与滤波模块相连，用于调整视频帧的对比度。本发明通过上述结构实现检测人脸区域，对人脸区域进行滤波，采用非线性算法提升视频帧的亮度和对比度。本发明解决在线娱乐平台主播拍摄的视频画面平淡、清晰展现人脸部的斑点、皱纹等不受欢迎因素的问题，能有效改善人脸的皮肤，并保留人的脸部特征，完整保留图像其他部分的细节，改善图像的整体效果，使人眼的视觉感知比较自然舒适；同时，本发明对计算机的性能要求不高，可以在PC机、手机android系统上实现。

下面结合附图对本发明做进一步的详细描述：

实施例1：如图1所示，本发明第一目的在于提供一种应用于互联网视频直播的视频美化系统，包括：

美化单元1、摄像头2、人脸检测库3和显示单元4；摄像头1用于获取视频帧，人脸检测库3用于检测视频帧内是否出现人脸区域，当检测到人脸区域时则向美化单元发出信号；人脸检测库2内设有级联分类器，用于对视频帧进行模式匹配，提高了检测精度和运算速度；显示单元4用于显示美化单元1的处理结果；美化单元1分别与摄像头2、人脸检测库3和显示单元4相连，美化单元1包括滤波模块1-1、亮度模块1-2和对比度模块1-3；滤波模块1-1接收人脸检测库3发出的信号，用于对检测到的人脸区域进行滤波处理；当检测视频帧内没有出现人脸区域时，则滤波模块1-1接收不到人脸检测库3发出的信号，滤波模块1-1不工作，将视频帧直接传递到亮度模块1-2和对比度模块1-3。亮度模块1-2与滤波模块1-1相连，用于调整视频帧的亮度；对比度模块1-3与滤波模块1-1、亮度模块1-2相连，用于单独调整视频帧的对比度或在调整亮度后调整视频帧的对比度。

实施例2：如图2所示，本发明第二目的在于提供一种应用于互联网视频直播的视频美化的方法，包括：

①、初始化：

设定滤波模块内模糊取样区域的半径r和阈值T。

②、摄像头获取视频帧I，传给美化单元。

③、美化单元对视频帧I，调用OpenCV的人脸检测库检测人脸区域。

OpenCV的全称是OpenSourceComputerVisionLibrary。OpenCV是一个基于(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows和MacOS操作系统上。OpenCV采用的是最初由Viola和Jones提出、并由RainerLienhart对其改善的、一种基于集成机器学习的人脸检测算法。该方法基于haar-like特征和Adaboost学习算法，对样本进行分类训练，得到一个级联的boosted分类器。程序调用训练好的瀑布级联分类器进行模式匹配。该方法不仅检测精度高，而且其运算速度大大快于其它方法。

如果没有检测到人脸区域，则执行步骤⑤；

如果检测到人脸区域，设人脸区域为R，则执行步骤④。

④、对人脸区域中的每个像素点滤波，采用保边缘的双边滤波的一个变形，公式如下：

$p=\frac{\underset{i=-r}{\overset{i=r}{\Σ}}\underset{j=-r}{\overset{j=r}{\Σ}}{m}_{ij}*p_{ij}}{\underset{i=-r}{\overset{i=r}{\Σ}}\underset{j=-r}{\overset{j=r}{\Σ}}{m}_{ij}},m_i=1-\frac{\left|p_i-p_0\right|}{T},m_i\∈\[0,1\];$

其中：r是半径，p₀是中心像素，p_i是p₀的相邻像素，T是阈值，m表示权重，i表示行，j表示列，m_ij是i行j列的权重，p_ij是i行j列的像素点，p表示像素点的值；

半径r为指定模糊取样区域的大小；阈值T为控制相邻像素值与中心像素值相差多大时，才能成为模糊的一部分；像素值之差大于阈值的像素将被排除在模糊之外。

⑤、提升整幅图像(视频帧)的亮度和对比度，得到美化后的图像I’；

亮度、对比度提升采用非线性算法，公式如下：

$x_{new}=255\×{\left(\frac{x}{255}\right)}^{\frac{1}{\mathrm{\γ}}}$

其中：x是输入像素值，值为0，1，2，...255；

x_new是输出像素值，值为0，1，2，...255；

γ是曲线系数，值为1.0，1.1，1.2，...2.0。

⑥、对输入的新的视频帧，需要对人脸区域重新检测时，执行步骤③、④、⑤；不需要重新检测时，执行步骤④、⑤。其中是否需要进行人脸检测是采用手动触发的。

本发明提供了应用于互联网视频直播的视频美化系统及方法，包括美化单元、摄像头、人脸检测库和显示单元，通过上述结构实现检测人脸区域，对人脸区域进行滤波，采用非线性算法提升视频帧的亮度和对比度。本发明解决在线娱乐平台主播拍摄的视频画面平淡、清晰展现人脸部的斑点、皱纹等不受欢迎因素的问题，能有效改善人脸的皮肤，并保留人的脸部特征，完整保留图像其他部分的细节，改善图像的整体效果，使人眼的视觉感知比较自然舒适；同时，本发明对计算机的性能要求不高，可以在PC机、手机android系统上实现；人脸检测库内设有级联分类器进行模式匹配，提高了检测精度和运算速度。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种应用于互联网视频直播的视频美化系统，其特征在于，包括：美化单元、摄像头、人脸检测库和显示单元；

所述摄像头用于获取视频帧；

所述人脸检测库用于检测视频帧内是否出现人脸区域，当检测到人脸区域时则向美化单元发出信号；

所述显示单元用于显示美化单元的处理结果；

所述美化单元分别与所述摄像头、人脸检测库和显示单元相连，所述美化单元包括滤波模块、亮度模块和对比度模块；

所述滤波模块接收人脸检测库发出的信号，用于并根据所述信号对检测到的人脸区域进行滤波处理；

所述亮度模块与所述滤波模块相连，用于调整视频帧的亮度；

所述对比度模块与所述滤波模块相连，用于调整视频帧的对比度。

2.如权利要求1所述的应用于互联网视频直播的视频美化系统，其特征在于，所述人脸检测库内设有级联分类器，用于对视频帧进行模式匹配。

3.如权利要求1所述的应用于互联网视频直播的视频美化系统，其特征在于，当检测视频帧内没有出现人脸区域时，则滤波模块接收不到人脸检测库发出的信号，滤波模块不工作。

4.一种如权利要求1-3中任一项权利要求所述的应用于互联网视频直播的视频美化系统的使用方法，其特征在于，包括：

步骤一、获取视频帧，检测视频帧内是否出现人脸区域，当检测到人脸区域则执行步骤二；

步骤二、通过相邻像素和中心像素一起进行加权平均对人脸区域进行滤波处理，所述相邻像素与中心像素的差值小于阈值T；

步骤三、采用非线性算法提升视频帧的亮度和对比度，得到美化后的图像。

5.如权利要求4所述的应用于互联网视频直播的视频美化系统的使用方法，其特征在于，所述步骤一中，若没有检测到人脸区域，则执行步骤三。

6.如权利要求4所述的应用于互联网视频直播的视频美化系统的使用方法，其特征在于，所述检测人脸区域的方法为：

调用OpenCV的人脸检测库检测人脸区域。

7.如权利要求4所述的应用于互联网视频直播的视频美化系统的使用方法，其特征在于，所述滤波处理具体为：

对人脸区域中的每个像素点滤波，采用保边缘的双边滤波的一个变形，公式如下：

$p=\frac{\underset{i=-r}{\overset{i=r}{\mathrm{\Σ}}}\underset{j=-r}{\overset{j=r}{\mathrm{\Σ}}}{m}_{ij}*p_{ij}}{\underset{i=-r}{\overset{i=r}{\mathrm{\Σ}}}\underset{j=-r}{\overset{j=r}{\mathrm{\Σ}}}{m}_{ij}},m_i=1-\frac{|p_i-p_0|}{T},m_i\∈\[0,1\];$

其中：r是半径，p₀是中心像素，p_i是p₀的相邻像素，T是阈值，m表示权重，i表示行，j表示列，m_ij是i行j列的权重，p_ij是i行j列的像素点，p表示像素点的值；

半径r为指定模糊取样区域的大小；阈值T为控制相邻像素值与中心像素值相差多大时，才能成为模糊的一部分；像素值之差大于阈值的像素将被排除在模糊之外。

8.如权利要求4所述的应用于互联网视频直播的视频美化系统的使用方法，其特征在于，所述非线性算法为：

$x_{new}=255\×{\left(\frac{x}{255}\right)}^{\frac{1}{\mathrm{\γ}}};$

其中：x是输入像素值，值为0，1，2，...255；

x_new是输出像素值，值为0，1，2，...255；

γ是曲线系数，值为1.0，1.1，1.2，...2.0。