CN103607554B - 一种基于全自动人脸无缝合成的视频合成方法 - Google Patents

Abstract

本发明提出了一种基于全自动人脸无缝合成的视频合成方法，解决了现有技术中人脸检测算法在高清视频处理中实时性不足问题。本发明使用智能电视终端提供的视频通信应用进行视频连接；将本地或者云服务器端的图像或视频文件作为待合成的背景BG；使用人脸检测算法分别对摄像头采集的数据前景FG和背景BG数据进行人脸检测，通过人脸内部关键点定位，通过人脸轮廓线或人脸最小外接矩形框计算几何变换系数；完成前景FG对背景BG的精确配准和人脸区域数据合成。本发明在进行视频通信的过程中，能够将用户的人脸图像方便地合成到任意已有的图像或视频中，为视频通信增加科技感和趣味性，实现了非特定人的全自动无缝人脸合成。

Description

一种基于全自动人脸无缝合成的视频合成方法

技术领域

本发明涉及以智能电视为终端的高清视频通信领域，特别涉及基于全自动人脸无缝合成的视频合成方法。

背景技术

在计算机模式识别与人工智能领域，人脸检测及合成技术已经广泛应用于人机界面、视频会议、视频监控、内容检索等方面。大多数人脸检测方法通过大量的样本训练，在统计意义上表现得更为可靠，扩充了检测范围，提高了检测系统的鲁棒性，但其检测耗时，实时性比较差。尽管现有技术中提出了多种分类器算法，但仍存在人脸特征过多，在全图范围内搜索人脸耗时过长等问题，并且当视频任一帧结果出错后会引起后续帧的跟踪结果连续出错，导致结果不稳定。

发明内容

本发明提出一种基于全自动人脸无缝合成的视频合成方法，解决了现有技术中人脸检测算法在高清视频处理中实时性不足以及在不同状态下五官的配准和肤色的合成的问题。

本发明的技术方案是这样实现的：

一种基于全自动人脸无缝合成的视频合成方法，包括如下步骤：

S1：使用智能电视终端提供的视频通信应用进行视频连接；

S2：使用本地或者云服务器端的图像或视频文件作为待合成的背景BG；

S3：使用人脸检测算法分别对摄像头采集的数据前景FG和背景BG数据进行人脸检测，通过人脸内部关键点定位，通过人脸轮廓线或人脸最小外接矩形框计算几何变换系数；

S4：进行前景FG到背景BG的精确配准，完成前景FG对背景BG的人脸区域数据合成。

优选的，步骤S4中人脸区域数据合成的方法，包括以下步骤：

（1）使用分区域线性映射,制作肤色映射掩膜maskSkin；

（2）使用均值滤波，制作边界合成掩膜maskBounder；

（3）使用合成公式完成前景FG对背景BG的人脸区域数据合成。

优选的，合成公式为I=αF+(1-α)B，F为前景视频图像，B为本地背景视频，α为透明度值，α∈[0,1]。

优选的，步骤S3中使用人脸检测算法提取人脸的最小外接矩形框方法，包括以下步骤：

（1）当前景当前帧检测到人脸时，使用帧差法判断是否为漏检，若是，则对当前帧的人脸位置进行预测，否则结束算法；

（2）当背景当前帧未检测到人脸时，使用帧差法判断是否为漏检，若是，则对当前帧的人脸位置进行预测，否则使用默认设置作为待替换区域。

优选的，步骤S3中对检测到的人脸区域，使用轨迹平滑方法，对人脸区域做亚像素级精度校正。

优选的，轨迹平滑方法包括以下步骤：

（1）用缓冲区按照时间顺序存放同名关键点p0，p1，p2…，以当前p0点为中心，依次计算当前点历史点的距离d；

（2）如果求得某个点的距离d大于阈值T，记录下当前点的索引n，然后求当前点到索引n点中间所有点的平均值p，作为平滑矫正后的结果。

优选的，步骤S3中使用人脸轮廓线求取几何变换系数方法，包括以下步骤：

（1）使用rectangleFG和rectangleBG的尺寸关系，得到几何变换的缩放系数；

（2）使用关键点left_eye,right_eye,mouth的位置关系，得到几何变换的旋转和平移系数。

优选的，步骤（1）制作肤色映射掩膜maskSkin方法，包括以下步骤：

（1）求出前景FG与背景BG在Lab空间中各通道的均值与方差；

（2）采用y=ax+b的方式将前景肤色映射为背景肤色，其中y为映射后的像素，a为乘性系数，x为前景FG当前像素与前景FG的均值的差，b为背景BG的均值。

优选的，步骤（2）制作边界合成掩膜maskBounder的方法，包括以下步骤：

（1）使用抠图算法分割出BG中人脸轮廓线，使轮廓线内数据为1，轮廓线外数据为0；

（2）在R宽范围进行[0,1]的均值滤波，得到边界而换成掩膜maskBounder。

优选的，步骤S4中进行前景FG到背景BG的精确配准的方法为基于灰度信息或基于特征的配准算法。

本发明其目的在于将人脸合成技术应用于智能电视终端的高清视频通信领域，以使用户在进行视频通信的过程中，能够将自己的人脸图像方便地合成到任意已有的图像/视频中，为视频通信增加科技感和趣味性，本发明通过算法优化，采用云计算，并行处理等技术，解决了人脸检测算法在高清视频处理中实时性不足的问题；通过目标跟踪、运动矢量预测、轨迹平滑等技术提高了人脸检测与合成的精确度；通过对人脸俯仰程度、旋转角度的估计和补偿，增强了算法对多姿态人脸的鲁棒性；算法实现了非特定人的全自动无缝人脸合成。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的原理框架图；

图2为本发明工作流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1-2所示，本发明基于全自动无缝人脸合成技术的视频合成方法，包括以下步骤：

（1）使用智能电视终端提供的视频通信应用进行视频连接；

（2）使用本地或者云服务器端的图像或视频文件作为待合成的背景BG；

（3）使用人脸检测算法分别对摄像头采集的数据FG和背景BG数据进行人脸检测；

（4）通过人脸内部关键点定位和人脸轮廓线或人脸最小外接矩形框计算几何变换系数，进行FG到BG的精确配准；

（5）使用分区域线性映射,制作肤色映射掩膜maskSkin；

（6）使用均值滤波，制作边界合成掩膜maskBounder；

（7）最后，使用合成公式完成FG对BG的人脸区域数据合成。

若在人脸检测过程中未检测到人脸，需要对漏检情况进行判断。当前景当前帧未检测到人脸时，使用帧差法判断是否为漏检，若是，则对当前帧的人脸位置进行预测，否则结束算法；当背景当前帧检测到人脸时，同样使用帧差法判断是否为漏检，若是，则对当前帧的人脸位置进行预测，否则直接使用默认设置作为待替换区域。同时，本发明采用目标跟踪技术，减小待检测区域尺寸，以提高检测速度。

本发明对检测到的人脸区域，使用轨迹平滑技术，对人脸区域做进一步的亚像素级精度校正。平滑矫正的方法是：用缓冲区按照时间顺序存放同名关键点p0,p1,p2…，以当前p0点为中心，依次计算当前点历史点的距离d，如果求得某个点的距离大于阈值T，阈值T为统计多数情况下抖动的范围得到一个阈值T，记录下当前点的索引n，然后求当前点到索引点中间所有点的平均值p，作为平滑矫正后的结果。

本发明使用人脸轮廓线和内部关键点求取几何变换系数，使用rectangleFG和rectangleBG的尺寸关系，得到几何变换的缩放系数。使用关键点left_eye,right_eye,mouth的位置关系，得到几何变换的旋转和平移系数。

制作肤色映射掩膜maskSkin，关键在于，肤色矫正就是要将前景人脸的肤色矫正到与背景一致，采用的方法是线性映射：求出前景与背景在Lab空间中各通道的均值与方差，采用y=ax+b的方式将前景肤色映射为背景肤色，其中y为映射后的像素，a为乘性系数，通过背景与前景方差的比值得到，x为前景当前像素与前景的均值的差，b为背景的均值。乘法调整的是对比度，使得融合后前景与背景有相同的对比度，加法调整的是亮度，使得融合后的前景与背景有相同的亮度。

制作边界合成掩膜maskBounder，关键在于，使用抠图算法分割出BG中人脸轮廓线，使轮廓线内数据为1，轮廓线外数据为0，在R宽范围进行[0,1]的均值滤波，得到边界而换成边界合成掩膜maskBounder。步骤S105，根据定位结果，考虑到人脸轮廓边缘的平滑性，选用曲线拟合算法，并用曲线拟合结果来修正轮廓点坐标，以提取像素级精度的头部平滑轮廓线，并将此作为描述人脸形状尺寸的特征矢量1。

使用抠图技术中的合成公式进行人脸图像合成，如公式(1)所示：

I=αF+(1-α)B (1)

其中，F为前景视频图像，B为本地背景视频。α为透明度值，α∈[0,1]。其特征在于，综合使用肤色信息maskSkin和轮廓信息maskBounder，通过合成公式得到无缝合成的人脸图像。

本发明中的基于全自动无缝人脸合成技术的视频合成过程具体如下：

步骤1：用户使用智能电视终端提供的视频通信应用程序，发出视频通信请求，系统随即建立请求方与被请求方之间的视频连接；

步骤2：系统通过智能电视终端的高清摄像头采集用户视频帧序列作为待合成的前景FG，系统通过读取本地或云服务器端的图像或视频文件作为待合成的背景BG；

步骤3：分别在前景FG和背景BG上进行人脸检测，分别得到人脸最小外接矩形rectangleFG和rectangleBG；

优选的，人脸及其五官检测算法为Haar-AdaBoost，LBP-AdaBoost，Hog-Boost或ASM算法的一种或几种；

步骤4：分别在rectangleFG和rectangleBG内进行人脸五官定位，得到关键点left_eye,right_eye,mouth；

步骤5：使用rectangleFG和rectangleBG的尺寸关系，得到几何变换的缩放系数；

步骤6：使用关键点left_eye,right_eye,mouth的位置关系，得到几何变换的旋转和平移系数；

步骤7：使用几何变换将前景FG变换为前景FG’；

步骤8：计算rectangleFG和rectangleBG内的肤色映射掩膜maskSkin；

优选的，肤色映射模型为线性映射模型；

步骤9：使用抠图算法分割出背景BG中人脸轮廓线，使轮廓线内数据为1，轮廓线外数据为0，在R宽范围进行[0,1]的均值滤波，得到边界而换成掩膜maskBounder；

优选的，人脸轮廓线提取算法为曲线拟合算法、ASM算法或抠图系列算法；

步骤10：最后使用前景FG、背景BG、肤色映射掩膜maskSkin和边界合成掩膜maskBounder，通过合成公式得到无缝合成的人脸图像。

优选的，几何变换算法为刚体变换算法、仿射变换算法或透视变换算法；

优选的，图像配准算法为基于灰度信息或基于特征的配准算法；

优选的，灰度信息为互信息测度；特征为角点；

本案例以云计算的方式为智能电视终端提供视频通信服务，同时支持带有多GPU+CPU模式的并行运算，保证了系统的实时性。

本发明通过在智能电视中实现视频通信的全自动无缝人脸合成方法，使用户能够根据个人意愿实时方便地选择视频背景，实现用户在视频通信中将视频背景/场景进行全自动替换的需求与体验，从而提高人机交互的性能，获得更丰富的通信信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于全自动人脸无缝合成的视频合成方法，其特征在于，包括如下步骤：

S1：使用智能电视终端提供的视频通信应用进行视频连接；

S2：使用本地或者云服务器端的图像或视频文件作为待合成的背景BG；

S3：使用人脸检测算法分别对摄像头采集的数据前景FG和背景BG数据进行人脸检测，通过人脸内部关键点进行定位，通过人脸最小外接矩形框计算几何变换系数；其中，对检测到的人脸区域，使用轨迹平滑方法，对人脸区域做亚像素级精度校正，具体包括：

(1)用缓冲区按照时间顺序存放同名关键点p0，p1，p2…，以当前p0点为中心，依次计算当前点历史点的距离d；

(2)如果求得某个点的距离d大于阈值T，记录下当前点的索引n，然后求当前点到索引n点中间所有点的平均值p，作为平滑矫正后的结果；

S4：根据所述几何变换系数进行前景FG到背景BG的精确配准，完成前景FG对背景BG的人脸区域数据合成；

其中，所述几何变换系数包括缩放系数、旋转和平移系数，使用rectangleFG和rectangleBG的尺寸关系，得到几何变换的缩放系数，使用关键点left_eye,right_eye,mouth的位置关系，得到几何变换的旋转和平移系数。

2.根据权利要求1所述的一种基于全自动人脸无缝合成的视频合成方法，其特征在于，所述步骤S4中人脸区域数据合成的方法，包括以下步骤：

(1)使用分区域线性映射,制作肤色映射掩膜maskSkin；

(2)使用均值滤波，制作边界合成掩膜maskBounder；

(3)使用合成公式完成前景FG对背景BG的人脸区域数据合成。

3.根据权利要求2所述的一种基于全自动人脸无缝合成的视频合成方法，其特征在于，所述合成公式为I＝αF+(1-α)B，F为前景视频图像，B为本地背景视频，α为透明度值，α∈[0,1]。

4.根据权利要求1所述的一种基于全自动人脸无缝合成的视频合成方法，其特征在于，所述步骤S3中使用人脸检测算法提取人脸的最小外接矩形框方法，包括以下步骤：

(1)当前景当前帧检测到人脸时，使用帧差法判断是否为漏检，若是，则对当前帧的人脸位置进行预测，否则结束算法；

(2)当背景当前帧未检测到人脸时，使用帧差法判断是否为漏检，若是，则对当前帧的人脸位置进行预测，否则使用默认设置作为待替换区域。

5.根据权利要求2所述的一种基于全自动人脸无缝合成的视频合成方法，其特征在于，所述步骤(1)制作肤色映射掩膜maskSkin方法，包括以下步骤：

(1)求出前景FG与背景BG在Lab空间中各通道的均值与方差；

(2)采用y＝ax+b的方式将前景肤色映射为背景肤色，其中y为映射后的像素，a为乘性系数，x为前景FG当前像素与前景FG的均值的差，b为背景BG的均值。

6.根据权利要求2所述的一种基于全自动人脸无缝合成的视频合成方法，其特征在于，所述步骤(2)制作边界合成掩膜maskBounder的方法，包括以下步骤：

(1)使用抠图算法分割出BG中人脸轮廓线，使轮廓线内数据为1，轮廓线外数据为0；

(2)在R宽范围进行[0,1]的均值滤波，得到边界而换成掩膜maskBounder。

7.根据权利要求1所述的一种基于全自动人脸无缝合成的视频合成方法，其特征在于，所述步骤S4中进行前景FG到背景BG的精确配准的方法为基于灰度信息或基于特征的配准算法。