CN102196245A - 一种角色互动的视频播放方法和视频播放装置 - Google Patents

Abstract

本发明提供一种角色互动的视频播放方法和视频播放装置，视频播放方法包括：步骤一，对准备播放的视频图像进行人脸检测，获得人脸区域；步骤二，对所述人脸区域进行姿态估计，获得姿态参数；步骤三，根据所述姿态参数，从数据库中查找匹配的观众人脸图像作为匹配图像；步骤四，用所述匹配图像替换所述人脸区域，获得新的视频图像。本发明能够使观众与播放的视频之间进行角色互动，加强观众的参与度提升视频的吸引力。

Description

一种角色互动的视频播放方法和视频播放装置

技术领域

本发明涉及视频处理技术，特别是涉及一种角色互动的视频播放方法和视频播放装置。

背景技术

随着多媒体技术的发展，视频信息越来越多，人们不但可以从电视上欣赏视频，还可以通过互联网、或者自己录制视频。

但是，这些视频文件都是所录制场景的简单重复再现，对于观赏者来说，其没有参与视频中的场景，对其吸引力较低。例如，当观看比赛视频时，观众常常是以局外人的姿态出现，我们为选手呐喊，为中国加油，但似乎我们又距离他们很远，因为他们是在视频中，而作为场外观众的我们却是在不相干的场景之外。

因此，如何加强视频影像与观赏者之间的互动关系，提升观赏者的观赏兴致和乐趣，是多媒体技术的一个发展方向。

发明内容

本发明的目的是提供一种角色互动的视频播放方法和视频播放装置，能够使观众与播放的视频之间进行角色互动，加强观众的参与度提升视频的吸引力。

为了实现上述目的，一方面，提供了一种角色互动的视频播放方法，包括如下步骤：

步骤一，对准备播放的视频图像进行人脸检测，获得人脸区域；

步骤二，对所述人脸区域进行姿态估计，获得姿态参数；

步骤三，根据所述姿态参数，从数据库中查找匹配的观众人脸图像作为匹配图像；

步骤四，用所述匹配图像替换所述人脸区域，获得新的视频图像。

优选地，上述的方法中，还包括：步骤五，播放由所述新的视频图像生成的视频数据流。

优选地，上述的方法中，所述观众人脸图像为当前观众的人脸图像，所述视频播放方法还包括：

通过摄像头采集当前观众的视频图像；

对所述当前观众的视频图像进行人脸检测，获得观众人脸区域；

对所述观众人脸区域进行姿态估计，获得观众姿态参数；

将所述观众人脸区域以及对应的观众姿态参数存入所述数据库。

优选地，上述的方法中，所述观众人脸图像为预存的默认观众的人脸图像。

优选地，上述的方法中，所述步骤四具体包括：

从所述准备播放的视频图像中分割出所述人脸区域，使所述准备播放的视频图像中形成空白区域；

将所述匹配图像进行缩放调节后，填充入所述空白区域中；

通过图像梯度域编辑，使所述匹配图像与所述准备播放的视频图像无缝拼接。

优选地，上述的方法中，所述姿态参数包括：用于记录表情的五官特征点的值。

为了实现上述目的，本发明还提供了一种角色互动的视频播放装置，包括：

人脸检测模块，用于：对准备播放的视频图像进行人脸检测，获得人脸区域；

姿态估计模块，用于：对所述人脸区域进行姿态估计，获得姿态参数；

匹配模块，用于：根据所述姿态参数，从数据库中查找匹配的观众人脸图像作为匹配图像；

替换模块，用于：用所述匹配图像替换所述人脸区域，获得新的视频图像。

优选地，上述的视频播放装置中，还包括：

播放模块，用于：播放由所述新的视频图像生成的视频数据流。

优选地，上述的视频播放装置中，还包括：

摄像头，用于采集当前观众的视频图像；

观众人脸检测模块，用于：对所述当前观众的视频图像进行人脸检测，获得观众人脸区域；

观众姿态估计模块，用于：对所述观众人脸区域进行姿态估计，获得观众姿态参数；

存储模块，用于：将所述观众人脸区域以及对应的观众姿态参数存入所述数据库。

优选地，上述的视频播放装置中，所述替换模块具体包括：

分割单元，用于：从所述准备播放的视频图像中分割出所述人脸区域，使所述准备播放的视频图像中形成空白区域；

填充单元，用于：将所述匹配图像进行缩放调节后，填充入所述空白区域中；

无缝拼接单元，用于：通过图像梯度域编辑，使所述匹配图像与所述准备播放的视频图像无缝拼接。

本发明至少存在以下技术效果：

1)通过把观众人脸图像替换场景中的角色人脸图像，使观众觉得自己就是视频中的人物，从而使观众与播放的视频之间进行角色互动。

2)观众人脸图像的取材直接来自对观众的拍摄，更为真实，并且数据库匹配和无缝拼接技术使得可以大批量的自动化处理，拼接效果和拼接效率都非常高。

附图说明

图1为本发明实施例提供的方法的步骤流程图；

图2为本发明实施例提供的视频播放装置的结构图；

图3为本发明实施例提供的需要采集当前观众图像时的视频播放装置的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对具体实施例进行详细描述。

图1为本发明实施例提供的方法的步骤流程图，如图1所示，本发明实施例提供角色互动的视频播放方法包括：

步骤101，对准备播放的视频图像进行人脸检测，获得人脸区域；

步骤102，对所述人脸区域进行姿态估计，获得姿态参数；

步骤103，根据所述姿态参数，从数据库中查找匹配的观众人脸图像作为匹配图像；

步骤104，用所述匹配图像替换所述人脸区域，获得新的视频图像。

可见，本发明实施例，通过将观众加入到场景中，使观众觉得自己就是视频中的人物，从而使观众与播放的视频之间进行角色互动。例如，如果观众正在观看足球赛视频，那么本发明将比赛场景中的球星的面孔替换为观众，使观众觉得是自己在踢球，而且，经过姿态匹配，视频中人物的表情被观众的相近表情所替代，例如球星进球后张嘴怒吼，那么观众会看见是自己在视频场景中张嘴怒吼。因此，本发明极大地提高人机交互的自然性和娱乐性，提升了视频节目的吸引力，增加了视频设备的市场竞争力。

其中，在步骤104之后，还可以包括：播放由所述新的视频图像生成的视频数据流。

所述观众人脸图像可以为当前观众的人脸图像，所述视频播放方法还包括：通过摄像头采集当前观众的视频图像；对所述当前观众的视频图像进行人脸检测，获得观众人脸区域；对所述观众人脸区域进行姿态估计，获得观众姿态参数；将所述观众人脸区域以及对应的观众姿态参数存入所述数据库。

当然。所述观众人脸图像还可以为预存的默认观众的人脸图像。例如，将视频终端的所有者设为默认观众，在角色互动之前，发现当前用户是默认用户后，就不用再临时采集当前观众的表情了。

所述步骤104具体包括：从所述准备播放的视频图像中分割出所述人脸区域，使所述准备播放的视频图像中形成空白区域；将所述匹配图像进行缩放调节后，填充入所述空白区域中；通过图像梯度域编辑，使所述匹配图像与所述准备播放的视频图像无缝拼接。所述姿态参数包括：用于记录表情的五官特征点的值。

图2为本发明实施例提供的装置的结构图，如图2所示，本发明实施例还提供一种角色互动的视频播放装置，包括：

人脸检测模块201，用于：对准备播放的视频图像进行人脸检测，获得人脸区域；

姿态估计模块202，用于：对所述人脸区域进行姿态估计，获得姿态参数；

匹配模块203，用于：根据所述姿态参数，从数据库301中查找匹配的观众人脸图像作为匹配图像；

替换模块204，用于：用所述匹配图像替换所述人脸区域，获得新的视频图像。

还包括：播放模块205，用于：播放由所述新的视频图像生成的视频数据流。

所述观众人脸图像可以为预存的默认观众的人脸图像，所述观众人脸图像还可以为当前观众的人脸图像。图3为本发明实施例提供的需要采集当前观众图像时的视频播放装置的结构图，如图3所示，当需要采集当前观众的人脸图像时，视频播放装置还包括：

摄像头302，用于采集当前观众的视频图像；

观众人脸检测模块303，用于：对所述当前观众的视频图像进行人脸检测，获得观众人脸区域；

观众姿态估计模块304，用于：对所述观众人脸区域进行姿态估计，获得观众姿态参数；

存储模块305，用于：将所述观众人脸区域以及对应的观众姿态参数存入所述数据库。

所述替换模块204具体包括：

分割单元，用于：从所述准备播放的视频图像中分割出所述人脸区域，使所述准备播放的视频图像中形成空白区域；

填充单元，用于：将所述匹配图像进行缩放调节后，填充入所述空白区域中；

无缝拼接单元，用于：通过图像梯度域编辑，使所述匹配图像与所述准备播放的视频图像无缝拼接。

其中，所述姿态参数包括：用于记录表情的五官特征点的值。例如口形、姿势、表情等特征点的值。

可见，本发明将图形图像处理、三维建模和重构、人脸检测和识别等技术应用于互动场景中，利用人的多种感觉通道和动作通道(包括口形、姿势、表情等)，与计算机进行交互，形成多通道、多媒体的自然、高效、智能的人机交互方式。

对于视频图像，通过对其中动态的姿态的跟踪，可以给人头上带上盔甲；如果面对一场比赛，譬如举重比赛，可以把运动员实时变为摄像头前的自己。

可见，本发明以人脸识别技术为基础，通过人脸定位，获取人脸的特征点，采用无缝拼接技术进行纹理映射，实现对摄像输入的图片自动检测其边缘，纹理形象、对场景中的人脸跟踪，必要时加入人脸的姿势和表情，把场景中的人换成摄像头前的人脸。达到觉得互动。

本发明中，人脸检测模块201和姿态估计模块202，采用了成熟的人脸识别、姿态估计、表情的实时检测、实时预测和跟踪技术，并进行了综合应用；并且，本发明还采用了人脸的分割，和人脸参数的提取和人脸的无缝拼接技术。

其中，人脸检测模块201以及观众人脸检测模块303，是基于图像的形状和纹理分析，结合局部搜索和活动外观模型，对摄入图片自动检测出人脸，并以MPEG-4标准对输入的人脸图像的特征点精确定位，所定位的特征点可描述对人脸的形状以及五官的特征。

姿态估计模块202，以人脸检测模块201获得的特征点分布为基础，基于豪斯多夫(Hausdorff)距离按照权重投票的方式提取人脸形状参数用于和人脸数据库中的数据进行比对；

替换模块204，进行图像梯度域编辑，将用户人脸图像五官与待场景中的人脸五官进行替换和纹理合成，替换场景中的人脸。

从拼接的效果来看，如果摄像头中的人脸和场景中的人脸图像的形状和纹理相似，获得的场景角色替换，会更加自然。因此有两种模式可供选择：第一种是把摄像头前的人脸图像变为所希望的角色；第二种是在场景中通过模式识别的方法，找到和摄像头前的面像相似的人脸进行替换。

相对于现有技术来说，现有的人脸变脸效果的拼接，基本是以美工人员通过软件手工调整得到，其最终效果取决于美工人员的技术和经验，难以高效率、大批量的处理，故不能得到广泛的应用。而本发明中，人脸的变脸效果，是对待播放视频进行人脸区域分割、将从数据库301匹配出来的观众图像填充到分割区域，之后进行无缝拼处理等操作来实现的，因此，替换图像的取材直接来自观众，更为真实，并且数据库匹配和无缝拼接技术使得可以大批量的自动化处理，拼接效果和拼接效率都非常高。

由上可知，本发明实施例具有以下优势：

1)通过把观众人脸图像替换场景中的角色人脸图像，使观众觉得自己就是视频中的人物，从而使观众与播放的视频之间进行角色互动。

2)观众人脸图像的取材直接来自对观众的拍摄，更为真实，并且数据库匹配和无缝拼接技术使得可以大批量的自动化处理，拼接效果和拼接效率都非常高。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种角色互动的视频播放方法，其特征在于，包括如下步骤：

步骤一，对准备播放的视频图像进行人脸检测，获得人脸区域；

步骤二，对所述人脸区域进行姿态估计，获得姿态参数；

步骤三，根据所述姿态参数，从数据库中查找匹配的观众人脸图像作为匹配图像；

步骤四，用所述匹配图像替换所述人脸区域，获得新的视频图像。

2.根据权利要求1所述的视频播放方法，其特征在于，还包括：步骤五，播放由所述新的视频图像生成的视频数据流。

3.根据权利要求1所述的视频播放方法，其特征在于，所述观众人脸图像为当前观众的人脸图像，所述视频播放方法还包括：

通过摄像头采集当前观众的视频图像；

对所述当前观众的视频图像进行人脸检测，获得观众人脸区域；

对所述观众人脸区域进行姿态估计，获得观众姿态参数；

将所述观众人脸区域以及对应的观众姿态参数存入所述数据库。

4.根据权利要求1所述的视频播放方法，其特征在于，所述观众人脸图像为预存的默认观众的人脸图像。

5.根据权利要求1所述的视频播放方法，其特征在于，所述步骤四具体包括：

从所述准备播放的视频图像中分割出所述人脸区域，使所述准备播放的视频图像中形成空白区域；

将所述匹配图像进行缩放调节后，填充入所述空白区域中；

通过图像梯度域编辑，使所述匹配图像与所述准备播放的视频图像无缝拼接。

6.根据权利要求1所述的视频播放方法，其特征在于，所述姿态参数包括：用于记录表情的五官特征点的值。

7.一种角色互动的视频播放装置，其特征在于，包括：

人脸检测模块，用于：对准备播放的视频图像进行人脸检测，获得人脸区域；

姿态估计模块，用于：对所述人脸区域进行姿态估计，获得姿态参数；

匹配模块，用于：根据所述姿态参数，从数据库中查找匹配的观众人脸图像作为匹配图像；

替换模块，用于：用所述匹配图像替换所述人脸区域，获得新的视频图像。

8.根据权利要求7所述的视频播放装置，其特征在于，还包括：

播放模块，用于：播放由所述新的视频图像生成的视频数据流。

9.根据权利要求7所述的视频播放装置，其特征在于，还包括：

摄像头，用于采集当前观众的视频图像；

观众人脸检测模块，用于：对所述当前观众的视频图像进行人脸检测，获得观众人脸区域；

观众姿态估计模块，用于：对所述观众人脸区域进行姿态估计，获得观众姿态参数；

存储模块，用于：将所述观众人脸区域以及对应的观众姿态参数存入所述数据库。

10.根据权利要求7所述的视频播放装置，其特征在于，所述替换模块具体包括：

分割单元，用于：从所述准备播放的视频图像中分割出所述人脸区域，使所述准备播放的视频图像中形成空白区域；

填充单元，用于：将所述匹配图像进行缩放调节后，填充入所述空白区域中；

无缝拼接单元，用于：通过图像梯度域编辑，使所述匹配图像与所述准备播放的视频图像无缝拼接。

Images