CN1312912C - 视频实时合成和记录的娱乐系统 - Google Patents

Abstract

一种娱乐设备领域的视频实时合成和记录的娱乐系统。参与者表演舞台与影像获取与实时合成控制子系统连接，影像播放子系统与影像获取与实时合成控制子系统连接，电影片段先期制作子系统安装于计算机或者工作站上，参与者表演舞台为封闭小室，室内三面墙、天花板以及地板为单色背景墙，在舞台中，自左向右依次布置有音频系统、摄像机控制系统和表演舞台出入口，影像获取与实时合成控制子系统构建在一块电路板上，核心是控制芯片组，控制芯片组由主控制芯片、摄像机镜头控制芯片、音频控制芯片、合成芯片组成，主控制芯片分别与摄像机镜头控制芯片、音频控制芯片、合成芯片连接，影像播放子系统由屏幕、扬声器组成。

Description

视频实时合成和记录的娱乐系统

技术领域

本发明涉及一种娱乐设备领域的数字娱乐系统，具体是一种视频实时合成和记录的娱乐系统。

背景技术

当前的娱乐方式包括卡拉OK和电影OK。卡拉OK是20世纪30年代在日本出现的。在当时作为一种无人乐队形式，保存一些容易失传的歌曲。到40年代卡拉OK逐渐成为了一种娱乐方式，它通过预先录制的有原唱或无原唱的录音作为伴奏，为演唱者提供逼真的伴奏效果。电影OK(Movieoke)是2003年年底在美国出现的新型娱乐方式(Daniela Gerson，Kalaoke Goes to the Movies，“卡拉OK进入电影”，The New YorkSun，“纽约太阳报”，January 12，2004)。这种方式中，参与者在台上表演，以无声播放的电影片段为背景，观众在台下观看。使得参与者能有很强的满足感。卡拉OK技术只能实现音频的合成，无法满足希望进行电影模拟表演的娱乐者的要求，并且无法纪录合成的结果。电影OK只能实现电影的模拟表演，参与者只能在舞台上表演，表演的结果无法记录，无法与电影中的场景融合，更无法逼真的纪录参与者的表演。

发明内容

本发明针对现有参与者表演系统中存在的不足和缺陷，提供一种视频实时合成和记录的娱乐系统。使参与者的表演能实时的合成到先期制作的视频片段上，并实时播放出来。从而给参与者带来更逼真的电影表演体验。本发明是在卡拉OK和电影OK的基础上扩展的一种新的娱乐形式。参与者在表演场所(如参与者表演舞台)的表演被摄像机拍摄下来，实时合成到相应的电影片段之中，替换原影片角色的表演。观众可以在屏幕上直接看到合成后表演者的表演结果。表演者可以根据自己的意愿选择是否保留自己的表演结果。

本发明是通过以下技术方案实现的，本发明包括：电影片段先期制作子系统、参与者表演舞台、影像获取与实时合成控制子系统、影像播放子系统。参与者表演舞台通过控制线和数据线与影像获取与实时合成控制子系统连接，影像播放子系统通过数据线与影像获取与实时合成控制子系统连接，以上三个子系统的连接为纯电路连接，各子系统之间空间位置关系可以变化。

电影片段先期制作子系统为软件系统安装于具有多媒体处理能力的计算机或者工作站上。该子系统与参与者表演舞台、影像获取与合成控制子系统以及影像播放子系统没有物理连接。电影片段先期制作子系统为软件系统的输出结果是带有时实合成信息，音频提示信息的虚拟场景数据文件。该文件是影像获取与实时合成控制子系统的一个输入，为合成结果提供背景影像和声音。

所述的电影片段先期制作子系统，需要先将原唱和伴音提取出来。此外，还需要将原电影中的角色与背景分离出来。电影片段先期制作子系统就是用于事先制作用于合成的片段，这包括确定被替换角色的脸部位置，头部位置，填补头部被抽取后的区域，确定脸部位置边缘区域的填充准则，抽取脸部区域的光照条件，以及类似于卡拉OK的音频信号的抽取和设置。抽取的结果写入常规的数字媒体存贮介质。

参与者表演舞台包括：单色背景墙、摄像机控制系统、音频系统以及参与者表演区域。参与者表演舞台为封闭小室，室内三面墙、天花板以及地板为单色背景墙，余下的一面墙作为功能壁。在舞台中，正对功能壁方向上，自左向右依次布置有音频系统、摄像机控制系统和表演舞台出入口，即舞台门。音频系统和摄像机控制系统之间没有物理连接。

单色背景墙，作为提取人脸的条件设置为固定的单一颜色。

摄像机控制系统，用于控制摄像机镜头，在确定的位置上拍摄参与者的表演，并实时地将数据传送到近处的合成系统上。摄像机镜头的位置可以在参与者开始表演前调节，用于确定最佳的拍摄位置，在拍摄时镜头将被固定。

摄像机控制系统包括：主控制器、机械臂以及摄像机镜头。

主控制器包括：机械臂控制器、数据/控制接口以及电源系统。电源系统将交流电源通过降压、交直流变换，为机械臂控制其提供适当的电源。电源系统通过电源线与机械臂控制器连接。

机械臂由摄像头基座、连杆以及伺服电机组成。摄像头基座用于安装摄像机镜头并提供摄像头数据/控制接口。摄像头基座位于连杆的远端。连杆近端连接在主控制器上。机械臂的径向伺服电机位于连杆内部，控制机械臂的伸缩；机械臂的横向伺服电机位于主控制器上，用于控制机械臂的旋转；摄像头水平姿态伺服电机位于摄像头基座内，用于控制摄像机镜头正上方矢量的方向；摄像头俯仰伺服电机位于摄像头基座内，用于调整摄像机镜头主光轴的方向。

摄像机镜头位于摄像头基座上，用于获取影像数据。

机械臂的伺服电机通过电源线和控制线与主控制器的机械臂控制器连接。机械臂的传感器通过数据线与主控制器的机械臂控制器连接。机械臂的摄像头基座的摄像头数据/控制接口通过数据线和控制线与主控制器的数据/控制接口连接。

音频系统，由无线耳塞式耳机、微型无线话筒和信号收发控制器组成。无线耳塞用于提供语音提示；微型无线话筒用于收集参与者的表演的台词，信号收发控制器负责从影像合成控制子系统接收控制信号，编码后发送到无线耳塞式耳机上，并且接收微型无线话筒发回的音频信号，解码后传送到影像合成控制子系统。音频系统的各个部件没有电路连接。

参与者表演区域是摄像机镜头和背景墙之间的一大块平地，参与者在该区域表演。

影像合成控制子系统用于完成参与者表演角色的确定、背景色控制、摄像机位置调整和影像的实时合成，以及向参与者发送语音提示信号，并将参与者表演的台词合成到电影片段中。该子系统构建在一块电路板上，其核心是控制芯片组，控制芯片组由主控制芯片、摄像机镜头控制芯片、音频控制芯片和合成芯片组成。外围设备包括控制面板、监视屏、硬盘。电路板上还包括控制面板接口、监视屏接口、介质读取接口、硬盘接口、光盘刻录机接口、参与者表演舞台接口以及影像播放子系统接口。

主控制芯片实现与参与者的交互控制以及各功能芯片的协作控制功能，通过数据/控制线分别与摄像机镜头控制芯片、音频控制芯片、合成芯片连接。摄像机镜头控制芯片、音频控制芯片、合成芯片间没有电路连接。主控制芯片与控制面板接口、硬盘接口、光盘刻录机接口通过数据/控制线连接，与监视屏接口、介质读取接口、影像播放子系统接口、参与者表演舞台接口通过数据线连接。参与者表演舞台接口与摄像机镜头控制芯片和音频控制芯片通过数据/控制线连接。控制面板连接到控制面板接口，监视屏连接到监视屏接口，硬盘连接到硬盘接口，光盘刻录机连接到光盘刻录机接口，参与者表演舞台连接到参与者表演舞台接口，影像播放子系统连接到影像播放子系统接口。

影像播放子系统用于播放合成的结果。由屏幕、扬声器等组成，用于参与者自身及其它观众观看参与者的表演结果。扬声器与屏幕的布置按照普通视频娱乐系统的布局。

视频实时合成和记录的电影系统，使用时，包括电影片段的先期制作和参与者表演与合成两个阶段。(1)在电影片段的先期制作阶段，由专门的制作者利用电影片段先期制作子系统编辑已有的电影片段，生成能够用于参与者表演与合成的电影片段。在这一阶段，对选定的电影片段，首先由制作者在片段中的关键帧上标示出人脸与头部的大致位置，由计算机自动计算人脸与头部的准确位置；然后，计算机自动计算片段中每一帧的人脸与头部位置，并且，计算出头部被抽取后用于填充的背景，以及脸部替换后填充空隙的参数。制作者可以根据需要确定是否提取人脸部的光照环境。在需要确定人脸部的光照时，计算机将自动抽取光照环境参数。提取了必须的视频参数后，制作者对音轨做编辑，擦除特定角色的语音，插入表演的开始信号。在对所有可以被表演的角色都处理完以后，将编辑后的片段保存为专用格式，写入常用的存储介质。(2)在参与者表演与合成阶段。首先，参与者利用影像合成控制子系统，通过按键选择候选的电影片段并选择可表演的角色。参与者进入参与者表演舞台。系统根据摄像机镜头摄取的影像，自动寻找参与者的头部与脸部位置，并自动跟踪头部与脸部位置，并将跟踪的结果与电影片段中第一帧的影像实时合成，将结果显示在影像播放子系统上。控制员根据影像播放子系统上的显示，通过操纵按钮或操纵杆控制摄像机的位置和姿态(俯仰角度及左右倾斜角度)，以获得初始位置上最佳的合成结果，然后固定摄像机的位置和姿态。也可以直接地采用固定的摄像机位置和姿态。

确定了摄像机的位置后，参与者开始表演，系统自动跟踪和提取人脸和头部的位置，将提取的人脸实时的合成到原始片段上，同时将采集到的参与者语音与原是片段的语音合成，合成结果播放到影像播放子系统上，同时将合成结果保存在硬盘上。人脸实时合成的过程是这样的。首先根据提取的人脸影像与原始片段中相应人脸的尺度比较，调整提取的人脸影像和头部影像的缩放。然后根据缩放后的头部影像与原始片段中的头部影像比较，调整原始的头部影像的形状，并填充变形后留下的空白区域。之后，系统选择最佳合成位置，用参与者的人脸替换掉原始片段中演员的脸，并根据原始片段中填补缝隙的参数设置，填补合成后留下的缝隙。对于，原始片段中提取了光照条件参数的片段，系统在完成了基本的合成工作后，根据光照参数恢复头部和人脸部位的光照效果。本发明语音合成的过程与卡拉OK的工作方式相同。

本发明从概念上扩展了卡拉OK的娱乐方式，并通过新技术，将电影OK提供的娱乐体验提升到了全新的高度。通过电影秀系统，参与者不仅能够亲身体验表演的乐趣，而且能够获得表演结果的纪录。从娱乐的角度，使用本发明能够满足许多电影表演爱好者演电影的希望。从表演的角度，该系统的记录功能能够为对经典影片中演员表演的学习提供更为逼真的效果，从而对表演的结果提出更好的评价。

附图说明

图1是本发明系统结构框图

图2是参与者表演舞台结构示意图

图3是摄像机控制系统结构示意图

图4是摄像机控制系统主控制器结构框图

图5是机械臂结构示意图

图6是主控制芯片组结构示意图

图7是影像获取与实时合成控制子系统结构示意图

具体实施方式

如图所示，本发明包括：电影片段先期制作子系统1、参与者表演舞台2、影像获取与实时合成控制子系统3、影像播放子系统4。参与者表演舞台2通过控制线和数据线与影像获取与实时合成控制子系统3连接，影像播放子系统4通过数据线与影像获取与实时合成控制子系统3连接，以上三个子系统的连接为纯电路连接。

电影片段先期制作子系统1为软件系统，与参与者表演舞台、影像获取与合成控制子系统以及影像播放子系统没有物理连接。电影片段先期制作子系统为软件系统的输出结果是影像获取与实时合成控制子系统3的一个输入。

参与者表演舞台2为封闭小室，包括：单色背景墙5、摄像机控制系统6、音频系统7以及参与者表演区域8，室内三面墙、天花板以及地板为单色背景墙5，余下的一面墙作为功能壁，在舞台中，正对功能壁方向上，自左向右依次布置有音频系统7、摄像机控制系统6和表演舞台出入口，即舞台门。

摄像机控制系统6包括：主控制器9、机械臂10以及摄像机镜头11，主控制器9与机械臂10的近端相连，摄像机镜头11位于机械臂10的远端。

主控制器9包括：机械臂控制器12、数据/控制接口13以及电源系统14，机械臂控制器12与数据/控制接口13通过数据线相连，电源系统14与机械臂控制器12通过电源线相连。

机械臂10由摄像头基座15、连杆16以及伺服电机17、18、19、20组成。摄像头基座15位于机械臂10的远端，连杆16近端连接在主控制器9上，机械臂10的径向伺服电机17位于连杆16内部，机械臂10的横向伺服电机18位于主控制器9上，摄像头水平姿态伺服电机19、摄像头俯仰伺服电机20都位于摄像头基座15内。摄像机镜头11位于摄像头基座15上。连杆16远端以及摄像头基座15上设有传感器。

机械臂10的伺服电机17、18通过电源线和控制线与主控制器9的机械臂控制器12连接。机械臂10的传感器通过数据线与主控制器9的机械臂控制器12连接。机械臂10的摄像头基座15的摄像头数据/控制接口通过数据线和控制线与主控制器9的数据/控制接口13连接。

音频系统7，由无线耳塞式耳机、微型无线话筒和信号收发控制器组成，使用无线通讯协议连接。

参与者表演区域8是摄像机镜头11和背景墙5之间的一大块平地，参与者在该区域表演。

影像获取与实时合成控制子系统3构建在一块电路板上，其核心是控制芯片组，控制芯片组由主控制芯片21、摄像机镜头控制芯片22、音频控制芯片23、合成芯片24组成。外围设备包括控制面板25、监视屏26、硬盘27。电路板上还包括控制面板接口28、监视屏接口29、介质读取接口30、硬盘接口31、光盘刻录机接口32、参与者表演舞台接口33以及影像播放子系统接口34。

主控制芯片21通过数据/控制线分别与摄像机镜头控制芯片22、音频控制芯片23、合成芯片24连接。摄像机镜头控制芯片22、音频控制芯片23、合成芯片24间没有电路连接。主控制芯片21与控制面板接口28、硬盘接口31、光盘刻录机接口32通过数据/控制线连接，与监视屏接口29、介质读取接口30、影像播放子系统接口34、参与者表演舞台接口33通过数据线连接，参与者表演舞台接口33与摄像机镜头控制芯片22和音频控制芯片23通过数据/控制线连接。控制面板25连接到控制面板接口28，监视屏26连接到监视屏接口29，硬盘27连接到硬盘接口31，光盘刻录机接口32连接光盘刻录机，参与者表演舞台2连接到参与者表演舞台接口33，影像播放子系统4连接到影像播放子系统接口34。

影像播放子系统4由屏幕、扬声器组成。扬声器与屏幕的布置按照普通视频娱乐系统的布局。

Claims (7)

1、一种视频实时合成和记录的娱乐系统，包括：电影片段先期制作子系统(1)、参与者表演舞台(2)、影像获取与实时合成控制子系统(3)、影像播放子系统(4)，其特征在于，参与者表演舞台(2)通过控制线和数据线与影像获取与实时合成控制子系统(3)连接，影像播放子系统(4)通过数据线与影像获取与实时合成控制子系统(3)连接，以上三个子系统的连接为纯电路连接，电影片段先期制作子系统(1)为软件系统，安装于具有多媒体处理能力的计算机或者工作站上，参与者表演舞台(2)为封闭小室，包括：单色背景墙(5)、摄像机控制系统(6)、音频系统(7)以及参与者表演区域(8)，室内三面墙、天花板以及地板为单色背景墙(5)，余下的一面墙作为功能壁，在舞台中，正对功能壁方向上，自左向右依次布置有音频系统(7)、摄像机控制系统(6)和表演舞台出入口，影像获取与实时合成控制子系统(3)构建在一块电路板上，其核心是控制芯片组，控制芯片组由主控制芯片(21)、摄像机镜头控制芯片(22)、音频控制芯片(23)、合成芯片(24)组成，主控制芯片(21)通过数据/控制线分别与摄像机镜头控制芯片(22)、音频控制芯片(23)、合成芯片(24)连接，影像播放子系统(4)由屏幕、扬声器组成。

2、根据权利要求1所述的视频实时合成和记录的娱乐系统，其特征是，摄像机控制系统(6)包括：主控制器(9)、机械臂(10)以及摄像机镜头(11)，主控制器(9)与机械臂(10)的近端相连，摄像机镜头(11)位于机械臂(10)的远端。

3、根据权利要求2所述的视频实时合成和记录的娱乐系统，其特征是，主控制器(9)包括：机械臂控制器(12)、数据/控制接口(13)、电源系统(14)，机械臂控制器(12)与数据/控制接口(13)通过数据线相连，电源系统(14)与机械臂控制器(12)通过电源线相连。

4、根据权利要求3所述的视频实时合成和记录的电影系统，其特征是，机械臂(10)由摄像头基座(15)、连杆(16)以及伺服电机(17、18、19、20)组成，摄像头基座(15)位于机械臂(10)的远端，连杆(16)近端连接在主控制器(9)上，机械臂(10)的径向伺服电机(17)位于连杆(16)内部，其横向伺服电机(18)位于主控制器(9)上，摄像头水平姿态伺服电机(19)、摄像头俯仰伺服电机(20)都位于摄像头基座(15)内，摄像机镜头(11)位于摄像头基座(15)上，连杆(16)远端以及摄像头基座(15)上设有传感器。

5、根据权利要求4所述的视频实时合成和记录的娱乐系统，其特征是，机械臂(10)的伺服电机(17、18)通过电源线和控制线与机械臂控制器(12)连接，机械臂(10)的传感器通过数据线与机械臂控制器(12)连接，摄像头基座(15)的摄像头数据/控制接口通过数据线和控制线与主控制器(9)的数据/控制接口(13)连接。

6、根据权利要求2所述的视频实时合成和记录的娱乐系统，其特征是，音频系统(7)由无线耳塞式耳机、微型无线话筒和信号收发控制器组成，使用无线通讯协议连接，参与者表演区域(8)是摄像机镜头(11)和背景墙(5)之间的一大块平地。

7、根据权利要求1所述的视频实时合成和记录的娱乐系统，其特征是，影像获取与实时合成控制子系统(3)外围设备包括控制面板(25)、监视屏(26)、硬盘(27)，电路板上还包括控制面板接口(28)、监视屏接口(29)、介质读取接口(30)、硬盘接口(31)、光盘刻录机接口(32)、参与者表演舞台接口(33)以及影像播放子系统接口(34)，其连接关系为：主控制芯片(21)通过数据/控制线分别与摄像机镜头控制芯片(22)、音频控制芯片(23)、合成芯片(24)连接，主控制芯片(21)与控制面板接口(28)、硬盘接口(31)、光盘刻录机接口(32)通过数据/控制线连接，与监视屏接口(29)、介质读取接口(30)、影像播放子系统接口(34)、参与者表演舞台接口(33)通过数据线连接，参与者表演舞台接口(33)与摄像机镜头控制芯片(22)和音频控制芯片(23)通过数据/控制线连接，控制面板(25)连接到控制面板接口(28)，监视屏(26)连接到监视屏接口(29)，硬盘(27)连接到硬盘接口(31)，光盘刻录机接口(32)连接光盘刻录机，参与者表演舞台(2)连接到参与者表演舞台接口(33)，影像播放子系统(4)连接到影像播放子系统接口(34)。

Images