CN102859991A

CN102859991A - 实时剪切视频序列中记录的真实实体的方法

Info

Publication number: CN102859991A
Application number: CN201180018143XA
Authority: CN
Inventors: B·勒克莱尔; O·马赛; Y·勒普罗沃
Original assignee: Alcatel Optical Networks Israel Ltd
Current assignee: Alcatel Lucent SAS; Alcatel Optical Networks Israel Ltd
Priority date: 2010-04-06
Filing date: 2011-04-01
Publication date: 2013-01-02
Also published as: JP2013524357A; KR20130016318A; FR2958487A1; WO2011124830A1; US20130101164A1; EP2556660A1

Abstract

一种用于实时剪切在真实环境中移动且记录在视频序列中的真实实体的方法，真实实体与虚拟实体相关联，所述方法包括下列步骤：从视频序列中提取(S1，S1A)包括记录的真实实体的图像，基于包括记录的真实实体的图像确定真实实体的比例和/或方向(S2，S2A)，适合以大致相同的方式缩放、定向和定位转换(S3，S4，S3A，S4A)虚拟实体和记录的真实实体，以及用真实实体的剪切图像替代(S5，S6，S5A，S6A)虚拟实体，真实实体的剪切图像是虚拟实体的轮廓限定的包括记录的真实实体的图像的区域。

Description

实时剪切视频序列中记录的真实实体的方法

技术领域

本发明的一个方面涉及一种用于实时剪切视频序列中记录的真实实体的方法，且更具体地涉及使用化身的对应身体部分实时剪切视频序列中用户身体的一部分。这种方法可以具体地但是并非排他地应用在虚拟现实领域中、特别地在所谓虚拟环境或混合现实环境中绘制化身。

背景技术

图1表示多媒体系统(例如视频会议或在线游戏系统)环境中示例的虚拟现实应用。多媒体系统1包括多媒体设备3、12、14、16(它们连接到使它们能发送数据的通信网络9)以及远程应用服务器10。在这个多媒体系统1中，各个多媒体设备3、12、14、16的用户2、11、13、15可以在虚拟环境或混合现实环境20(图2所示)中交互。远程应用服务器10可以管理虚拟或混合现实环境20。典型地，多媒体设备3包括处理器4、存储器5、到通信网络9的连接模块6、显示和交互设备7，以及照相机8(例如网络照相机)。其他多媒体设备12、14、16等效于多媒体设备3且将不会更详细地说明。

图2所示为其中有化身21演变的虚拟或混合现实环境20。虚拟或混合现实环境20是模仿用户2、11、13、15可以演变、交互和/或工作等的范畴的图形表示。在虚拟或混合现实环境20中，每个用户2、11、13、15由他或她的化身21表示，化身代表人类的虚拟图形表示。在上述应用中，最好实时将化身的头22与照相机8拍摄的用户2、11、13或15的头的视频混合，或者换句话说，动态地或实时地用对应的化身21的头替代用户2、11、13或15的头。这里，动态或实时表示同步或准同步地将用户2、11、13或15的多媒体设备3、12、14、16前面的他或她的头的动作、姿势和实际外观重现到化身21的头22上。这里，视频是指包括图像序列的可视的或视听的序列。

文献US 20091202114描述了一种由计算机实现的视频俘获方法，包括：在第一计算设备上实时地识别和跟踪在若干视频帧中的脸部，产生代表被识别和跟踪的脸部的数据，以及通过网络向第二计算设备发送脸部的数据以便第二计算设备在化身的身体上显示脸部。

SONOU LEE等人的文献：“CFBOXTM：superimposing 3Dhuman face on motion picture”，PROCEEDINGS OF THE SEVENTHINTERNATIONAL CONFERENCE ON VIRTUAL SYSTEMS ANDMULTIMEDIA BERKELEY，CA，USA，2001年10月25-27日，LOSALAMITOS，CA，USA，IEEE COMPUT.SOC，US LNKDD01：10.1109NSMM.2001.969723，2001年10月25日，644-651页，XP01567131 ISBN：978-0-7695-1402-4描述了一种称为CFBOX的产品，其构成一种个人商用电影工作室。它实时使用三维脸部集成技术用用户建模的脸部代替人的脸部。还提出操作特征用于改变建模的脸部纹理以适合某人的风格。因此能建立定制数字视频。

但是，在给定的时刻从照相机拍摄的用户的视频中剪切头部，提取它，然后将它粘贴到化身的头上，并且在稍后的时刻重复此序列是困难且昂贵的操作，因为需要真实的渲染。首先，轮廓识别算法需要高对比的视频图像。这可以在具有ad hoc照明的工作室中实现。另一方面，用网络照相机和/或在家庭或办公楼的房间中的照明环境中，这不总是可能的。而且，轮廓识别算法需要来自处理器的强的计算能力。一般说来，这个高的计算能力现在在标准多媒体设备(比如个人计算机、笔记本电脑、个人数字助理(PDA)或智能电话)上不可得。

因此，需要一种用于使用化身的身体的对应部分实时剪切视频中的用户身体的一部分的方法，具有足够高的质量以提供沉浸在虚拟环境中的感觉且其可用上述标准多媒体设备实现。

发明内容

本发明的一个目的是提出一种用于实时剪切视频中的一个区域的方法，且更具体地是通过使用旨在重现用户身体部分的外观的化身的身体的对应部分实时剪切视频中用户身体的一部分，所述方法包括步骤：

-从视频序列中提取包括用户的记录的身体部分的图像，

-确定包括用户的记录的身体部分的图像中用户的身体部分的方向和比例，

-以与用户的身体部分大致相同的方式定位和缩放化身的身体部分，以及

-使用化身的身体部分的轮廓以形成包括用户的记录的身体部分的图像的剪切图像，剪切图像限于包括轮廓中包含的用户的记录的身体部分的图像的一个区域。

根据本发明的另一实施方式，真实实体可以是用户的身体部分，且虚拟实体可以是旨在重现用户的身体部分的外观的化身身体的对应部分，以及所述方法包括步骤：

-从视频序列中提取包括用户的记录的身体部分的图像，

-从包括用户的身体部分的图像确定用户的身体部分的方向，

-以与包括用户的记录的身体部分的图像中大致相同的方式定向化身的身体部分，

-转换和缩放包括用户的记录的身体部分的图像以便将它与化身的对应定向的身体部分对准，

-绘制虚拟环境的图像，其中化身的定向的身体部分的轮廓所限定的剪切区域由缺少像素或透明像素编码；以及

-将虚拟环境的图像叠加在包括用户的被转换和缩放的身体部分的图像上。

确定包括用户的记录的身体部分的图像的方向和/或比例的步骤可以通过应用于所述图像的头部跟踪器功能实现。

定向和缩放、提取轮廓以及合并的步骤可考虑化身的或用户的身体部分的重要的点或区域。

化身的身体部分可以是所述化身身体部分的三维表示。

剪切方法还可包括初始化步骤，其包括根据必须重现其外观的用户的身体部分对化身的身体部分的三维表示建模。

身体部分可以是用户的或化身的头。

根据另一方面，本发明涉及包括实现本发明剪切方法的处理器的一种多媒体系统。

根据本发明的又一方面，本发明涉及旨在加载在多媒体系统的存储器中的一种计算机程序产品，所述计算机程序产品包括当程序被多媒体系统的处理器运行时实现本发明的剪切方法的软件代码部分。

本发明可以有效地剪切表示视频序列中实体的区域。本发明还可以实时合并化身和视频序列，具有足够高的质量以提供沉浸在虚拟环境中的感觉。本发明的方法消耗少量的处理器资源，且使用一般编码在图形卡中的功能。因此可以用标准多媒体设备实现它，标准多媒体设备比如个人计算机、笔记本电脑、个人数字助理或智能电话。它可以使用低对比的图像或带有来自网络照相机的缺陷的图像。

根据本发明的下列详细说明，其他优点将变得清楚。

附图说明

通过附图中非限制的示例说明本发明，其中相同标号表示相似元件：

图2所示为在其中化身演变的虚拟或混合的现实环境；

图3A和3B所示为用于实时剪切记录在视频序列中的用户的头部的本发明的方法的一个实施方式的功能图；以及

图4A和4B所示为用于实时剪切记录在视频序列中的用户的头部的本发明的方法的另一个实施方式的功能图。

具体实施方式。

图3A和3B所示为用于实时剪切记录在视频序列中的用户的头部的本发明的方法的一个实施方式的功能图。

在第一步骤S1中，在给定的时刻，从用户的视频序列30中提取EXTR图像31。视频序列是指例如由照相机(见图1)记录的一连串图像。

在第二步骤S2中，头部跟踪器功能HTFunc应用于提取的图像31。头部跟踪器功能使得可以确定用户的头部的比例E和方向O。它使用脸32的某些点或区域(例如眼睛、眉毛、鼻子、面颊和下巴)的重要位置。这种头部跟踪器功能可以由“Seeing Machines”公司销售的软件应用“faceAPI”实现。

在第三步骤S3中，基于确定的方向O和比例E，以与提取的图像的头部大致相同的方式定向ORI和缩放ECH三维化身头部33。结果是其尺寸和方向与提取的头部31的图像相符的三维化身头部34。这个步骤使用标准旋转和缩放算法。

在第四步骤S4中，其尺寸和方向与提取的头部31的图像相符的三维化身头部34被象提取图像31中的头部一样定位ROSI。结果是与图像相比两个头部被相同地定位。这个步骤使用标准转换功能，其中转换考虑脸的重要点或区域，比如眼睛、眉毛、鼻子、面颊和/或下巴以及针对化身的头部编码的重要点。

在第五步骤S5中，定位的三维化身头部35被投影PROJ到平面上。可以使用标准方案中的投影功能，例如转换矩阵。接下来，仅来自位于投影的三维化身头部的轮廓36中的提取的图像31的像素被选择PIX SEL和保存。可以使用标准功能ET。这种像素选择形成剪切的头部图像37；化身的投影头部的功能和图像产生于给定时刻的视频序列。

在第六步骤S6中，剪切的头部图像37可定位、应用和替代SUB用于在虚拟或混合现实环境20中演变的化身21的头部22。这样，在虚拟环境或混合现实环境中，大致在相同的给定时刻，化身表征他或她的多媒体设备前面的用户的真实头部。根据这个实施方式，由于剪切的头部图像被粘贴到化身的头部上，化身的元素，例如其头发，被剪切的头部图像37覆盖。

作为替换，当剪切方法被用于过滤视频序列且仅从它提取用户的脸部时，步骤S6可以被认为是可选的。在这种情况下，不显示虚拟环境或混合现实环境的图像。

图4A和4B是用于实时剪切记录在视频序列中的用户的头部的本发明的方法的一个实施方式的功能图。在这个实施方式中，对应于脸部的化身的头部22的区域以特定方式编码在三维化身头部模型中。它可以，例如，是缺少对应的像素或透明像素。

在第一步骤S1A中，在给定时刻，从用户的视频序列30中提取EXTR图像31。

在第二步骤S2A中，头部跟踪器功能HTFunc应用于提取的图像31。头部跟踪器功能使得可以确定用户的头部的方向O。它使用脸32的某些点或区域(例如眼睛、眉毛、鼻子、面颊和下巴)的重要位置。这种头部跟踪器功能可以由“Seeing Machines”公司销售的软件应用“faceAPI”实现。

在第三步骤S3A中，计算在其中化身演变21的虚拟或混合现实环境20，以及基于确定的方向O以与提取图像的头部大致相同的方式定位ORI三维化身头部33。结果是其定向与提取的头部31的图像相符的三维化身头部34A。这个步骤使用标准旋转算法。

在第四步骤S4A中，从视频序列提取的图像31象在虚拟或混合现实环境20中三维化身头部34A一样被定位POSI和缩放ECH。结果是从视频序列38提取的图像和虚拟或混合现实环境20中化身的头部对准。这个步骤使用标准转换功能，其中转换考虑脸部的重要点或区域，比如眼睛、眉毛、鼻子、面颊和/或下巴以及针对化身的头部编码的重要点。

在第五步骤S5A中，绘制在其中化身21演变的虚拟或混合现实环境20的图像，注意不要绘制位于对应于定向的脸部的化身的头部22的区域之外的像素，因为由于对应于脸部的化身的头部22的区域的特定编码且通过简单投影，这些像素是易于识别的。

在第六步骤S6A中，虚拟或混合现实环境20的图像以及包括用户转换的和缩放的头部38的视频序列中提取的图像被叠加SUP。可替换地，在对应于定向的脸部的化身的头部22后面的、包括用户转换的和缩放的头部38的视频序列中提取的图像的像素以在化身的定向的脸中最深的像素深度被结合在虚拟图像中。

这样，在虚拟环境或混合现实环境中，大致在相同的给定时刻，化身表征他或她的多媒体设备前面的用户的真实脸部。根据这个实施方式，像包括化身的剪切的脸部的虚拟或混合现实环境20的图像被叠加在用户转换且缩放的头部38的图像上那样，化身的元素，例如其头发，是可见的且覆盖用户的图像。

三维化身头部33是从三维数字模型得到的。它计算迅速且简单，不管用于标准多媒体设备的三维化身头部的方向。这对于将它投影到平面上也是一样。因此，序列作为整体给出质量结果，即使是带有标准处理器。

步骤序列S1-S6或S1A-S6A然后可被重复用于后续的时刻。

可选地，可以在实现序列S1-S6或S1A-S6A之前单次执行初始化步骤(未示出)。在初始化步骤中，根据用户的头部建模三维化身头部。这个步骤可以从不同角度拍摄的用户的头部的多个图像或一个图像手动或自动执行。这个步骤使得可以准确分辨将最适合本发明的实时剪切方法的三维化身头部的剪影。基于照片将化身与用户的头部适配可以通过软件应用来实现，比如，例如Abalone公司销售的“Faceshop”。

图及其以上描述说明了本发明而不是限制它。特别地，已结合应用于视频会议或在线游戏的具体示例说明了本发明。但是，对于本领域技术人员来说显然地本发明可扩展到其他在线应用，以及一般来说所有需要实时再现用户的头部的化身的应用，例如游戏、论坛、用户之间的远程协作工作、用户之间的交互以通过符号语言通信等。它也可以扩展到需要实时显示用户隔离的脸部或头部的所有应用。

已用混合化身头部和用户头部的特定示例说明了本发明。但是，对于本领域技术人员来说显然地本发明可扩展到其他身体部分，例如任何四肢或脸部更具体的部分比如嘴等。它还应用于动物身体部分，或物体，或风景元素等。

虽然一些图将不同的功能实体显示为不同的框，这并不以任何方式排除本发明的如下实施方式，其中在这些实施方式中单个实体执行多个功能，或多个实体执行单个功能。因此，图必须被视为本发明的高度示意的说明。

权利要求中引用的符号并非任何形式的限制。动词“包括”不排除列在权利要求中以外的其他元素的存在。元素之前的单词“一个”不排除多个这种元素的存在。

Claims

1.一种用于实时剪切记录在视频序列中的真实环境中移动的真实实体的方法，所述真实实体与虚拟实体相关联，所述方法包括步骤：

-从所述视频序列中提取(S1，S1A)包括记录的真实实体的图像，

-从所述包括记录的真实实体的图像确定真实实体的比例和/或方向(S2，S2A)，

-通过以大致相同的方式缩放、定向和定位，转换(S3，S4，S3A，S4A)所述虚拟实体和所述记录的真实实体，以及

-用所述真实实体的剪切图像替代(S5，S6，S5A，S6A)所述虚拟实体，所述真实实体的剪切图像是所述虚拟实体的轮廓限定的包括所述记录的真实实体的图像的区域。

2.根据权利要求1所述的剪切方法，其中所述真实实体是用户(2)的身体部分，并且虚拟实体是旨在重现用户(2)的身体部分外观的化身(21)的对应身体部分(22)，所述方法包括步骤：

-从所述视频序列(30)中提取(S1)包括所述用户的记录的身体部分的图像(31)，

-确定(S2)在所述包括用户的记录的身体部分的图像(31)中所述用户的身体部分的方向(32)和比例，

-以与所述用户的身体部分大致相同的方式定向和缩放(S3)所述化身的身体部分(33，34)，以及

-使用(S4，S5)所述化身的身体部分的轮廓(36)以形成包括所述用户的记录的身体部分的图像(31)的剪切图像(37)，所述剪切图像(37)被限于包含在所述轮廓(36)中的包括用户的记录的身体部分的图像(31)的区域。

3.根据权利要求2所述的剪切方法，其中所述方法还包括将所述化身(21)的身体部分(22)与所述剪切图像(37)合并(S6)的步骤。

4.根据权利要求1所述的剪切方法，其中所述真实实体是用户(2)的身体部分，以及虚拟实体是旨在重现用户(2)的身体部分外观的化身(21)的对应身体部分(22)，所述方法包括步骤：

-从所述视频序列(30)中提取(S1A)包括所述用户的记录的身体部分的图像(31)，

-从所述包括用户的身体部分的图像(31)确定(S2A)所述用户的身体部分的方向，

-以与所述包括用户的记录的身体部分的图像(31)中大致相同的方式定向(S3A)所述化身的身体部分(33，34A)，

-转换和缩放(S4A)所述包括用户的记录的身体部分(33，34)的图像(31)以便将它与所述化身(34A)的对应定向的身体部分对准，

-绘制(S5A)所述虚拟环境的图像，其中由所述化身的定向的身体部分的轮廓所限定的剪切区域由缺少像素或透明像素编码；以及

-将所述虚拟环境的图像叠加(S6A)在所述包括用户的被转换和缩放的身体部分(38)的图像上。

5.根据权利要求2到4之一所述的剪切方法，其中所述确定(S2)所述包括用户的记录的身体部分的图像(31)的方向和/或比例的步骤由应用于所述图像(31)的头部跟踪器功能(HTFunc)执行。

6.根据权利要求2到5之一所述的剪切方法，其中所述定向和缩放(S3)、提取轮廓(S4，S5)以及合并(S6)的步骤考虑所述化身的或用户的身体部分的重要的点或区域。

7.根据权利要求2到6之一所述的剪切方法，其中所述化身的身体部分(33，34)是所述化身的身体部分的三维表示。

8.根据权利要求2到7之一所述的剪切方法，还包括初始化步骤，其包括根据必须再现其外观的用户的身体部分对化身的身体部分的三维表示建模。

9.根据权利要求2到8之一所述的剪切方法，其中所述身体部分是用户(2)或化身(21)的头部。

10.一种多媒体系统(1)，包括实现根据权利要求1到9之一所述的剪切方法的处理器(4)。

11.一种旨在被加载到多媒体系统(1)的存储器(5)中的计算机程序产品，所述计算机程序产品包括当程序被多媒体系统(1)的处理器(4)运行时实现根据权利要求1到9之一的剪切方法的软件代码部分。