CN112019922A - 应用于虚拟演播室的面部表情数据处理方法 - Google Patents
应用于虚拟演播室的面部表情数据处理方法 Download PDFInfo
- Publication number
- CN112019922A CN112019922A CN202010903699.8A CN202010903699A CN112019922A CN 112019922 A CN112019922 A CN 112019922A CN 202010903699 A CN202010903699 A CN 202010903699A CN 112019922 A CN112019922 A CN 112019922A
- Authority
- CN
- China
- Prior art keywords
- facial expression
- rendering server
- master control
- virtual
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 55
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000009877 rendering Methods 0.000 claims abstract description 69
- 230000001360 synchronised effect Effects 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 5
- 210000003054 facial bone Anatomy 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种应用于虚拟演播室的面部表情数据处理方法，包括：大屏连接到渲染服务器，且渲染服务器连接到主控工作站；通过硬件同步卡将N台Leyard LED大屏设置为垂直同步一致方式；将渲染服务器的显示刷新方式设置为软件刷新率；将主控工作站和渲染通道的渲染服务器设置为完全锁帧方式，并由主控工作站来控制下一帧的步进；通过面部表情捕捉设备捕捉目标的面部表情，面部表情捕捉设备将捕捉到的面部表情发送到主控工作站；主控工作站在确定目标的面部表情发生变化时，对目标对应的虚拟图形的变化量发送到每一台渲染服务器；主控工作站在确定每一台渲染服务器后，控制每一台渲染服务器同步输出。
Description
技术领域
本发明属于涉及虚拟现实技术领域，尤其涉及一种应用于虚拟演播室的面部表情数据处理方法。
背景技术
随着数字化技术的发展，越来越多的电影/电视节目是在虚拟场景下录制的。以广播电视领域广泛应用的虚拟演播室为例，其是运用三维虚拟现实技术制作出让人身临其境的虚拟场景和虚拟动画角色，而真实的演员可以与虚拟动画角色同台进行交互，大大增加了节目的娱乐性；这样可以大幅度节省节目制作的成本，并提高了节目制作的效率。
当前的虚拟演播室大多采用绿幕布方式，绿幕布方式能够通过软件在后期处理时将虚拟的场景和/或人物加入到绿色幕布的区域，且通过单台机器就能完成，成本低。但是在录制时候，真实的演员只能通过指示或是反看屏来看到虚拟的场景和/或人物，导致节目录制的操作难度非常大，现场感非常差，而且还需要非常长的后期合成处理时间，造成录制实际成本偏高。
发明内容
针对现有技术中采用绿色幕布方式录制时候存在的问题，本发明实施例提出了一种应用于虚拟演播室的面部表情数据处理方法，能够更好对虚拟演播室的面部表情数据进行处理。
为了解决上述问题，本发明实施例提出了一种应用于虚拟演播室的面部表情数据处理方法，包括：
将N台Leyard LED大屏连接到N台渲染服务器，且N台渲染服务器连接到主控工作站，以形成CAVE仿真环境空间；将面部表情捕捉设备连接到主控工作站；
通过硬件同步卡将所述N台Leyard LED大屏设置为垂直同步一致方式；将所述渲染服务器的显示刷新方式设置为软件刷新率；将所述主控工作站和所述渲染通道的渲染服务器设置为完全锁帧方式，并由所述主控工作站来控制下一帧的步进；
通过所述面部表情捕捉设备捕捉目标的面部表情，所述面部表情捕捉设备将捕捉到的面部表情发送到所述主控工作站；
所述主控工作站在确定目标的面部表情发生变化时，对目标对应的虚拟图形的变化量发送到所述每一台渲染服务器；
所述主控工作站在确定所述每一台渲染服务器后，控制所述每一台渲染服务器同步输出。
在一些实施例中，所述主控工作站通过以下方法确定目标的面部表情是否发生变化：
所述主控工作站接收到所述面部表情捕捉设备发送的面部表情数据后，将面部表情数据与前一次接收到的面部表情数据进行对比，以确定目标的面部表情是否发生了改变；
如果是，则将目标对应的虚拟图形的状态标识修改为已改变状态。
在一些实施例中，所述对目标对应的虚拟图形的变化量发送到所述每一台渲染服务器，包括：
所述主控工作站将所述目标的虚拟图形的变化量生成指示消息，将所述指示消息通过广播的方式发送到所述每一台渲染服务器。
在一些实施例中，所述方法还包括：
所述每一台渲染服务器在接收到广播的该指示消息后，对应的将虚拟图形的面部骨骼进行相应的改变，并向所述主控工作站返回确认完成改变的响应消息，并切换到待机状态。
在一些实施例中，所述方法还包括：
所述主控工作站在确认接收到所述每一台渲染服务器的响应消息后，通过广播的方式发送给所述每一台渲染服务器切换指示，以指示所述每一台渲染服务器同步对虚拟图形的面部骨表情进行显示。
在一些实施例中，所述方法还包括：
所述每一台渲染服务器将所述目标对应的虚拟图形与预设的虚拟三维背景融合以形成显示在Leyard LED大屏的图像。
在一些实施例中，所述每一台渲染服务器都通过视频同步卡连接所述主控工作站，以通过每一台渲染服务器的视频同步卡以实现硬件同步显示。
与主控工作站通过渲染服务器的待用同步对虚拟图形的面部骨表情进行显示。
本发明的上述技术方案的有益效果如下：上述的技术方案提出了一种应用于虚拟演播室的面部表情数据处理方法，能够通过肢体动作捕捉设备捕捉目标的肢体动作，然后通过多台硬件同步的渲染服务器进行渲染，并通过多台显示设备实现虚拟现实的播放。
附图说明
图1是本发明实施例的方法的工作模式示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提出了一种应用于虚拟演播室的面部表情数据处理方法，采用多面LED大屏组成CAVE沉浸式环境，此种方式主持人可以身处在沉浸式的环境之中，能直观的看到虚拟场景和虚拟动画角色，可以非常容易与虚拟动画角色进行交互，尤其可以直观的观看到虚拟角色的面部表情。本发明实施例的技术方案，不仅极大的增加了互动的趣味性，而且大大增加了节目录制的效率而且录制完的画面基本不需要太多的后期处理，大大减少了录制节目的成本。
上述技术方案中，由于每面LED屏体配置独立的一台电脑，所有LED上的虚拟画面必须是无缝连接的且同步的。为了能够从第三方面部表情捕捉硬件设备获取到的面部表情数据驱动虚拟动画角色的表情动作,并让虚拟动画角色的面部表情能够流畅同步的显示在这多个LED大屏拼接而成的完整画面当中,保证了跨屏幕的虚拟角色面部表情也能完全正确显示，尤其是当需要对虚拟角色面部有大特写的时候，面部会有非常大的跨屏幕的可能性。
本发明实施例的技术方案是建立在AR虚拟仿真环境的基础上，因此首先需要建立一个显示基础环境，该环境下显示硬件配置为N台Leyard LED大屏、N台通道显示工作站、主控工作站。在实现时，通过一套装备进行面部表情捕捉，具体的可以使用一台IntelRealSense摄像头来进行图像捕捉，获取面部表情。如图1所示的，N台Leyard LED大屏拼接为一个CAVE仿真环境显示空间，且每一个Leyard LED大屏都连接一台用于显示的渲染服务器，且这N台渲染服务器之间被配置为同步显示。其中该用于捕捉面部表情的设备连接到该主控工作站。
当AR仿真环境软件开启后，模仿动画人物的表演者进入到捕捉面部表情的设备的图像捕捉区域，并开始模拟动画人物进行各种表演。此时捕捉面部表情的设备捕捉到表演者的动作和表情后，将捕捉到的图像发送到主控工作站，然后由多通道系统将采用硬件级别的同步方式将面部画面精确的显示在N台渲染服务器上。
具体的，该方法包括：
(1)通过硬件同步卡将N台LED大屏设置为垂直同步一致方式；
(2)各渲染通道从机中的显示刷新方式设置为将垂直刷新率设置为软件刷新率；
(3)将主控工作站和渲染通道的渲染服务器设置为完全锁帧方式，并由主机工作站来控制下一帧的步进；
(4)当主控工作站接收到面部表情动捕设备流数据，并将流数据和前一次收到的流数据进行数据比对，如有修改的则将对应面部虚拟Marker的状态设置为修改。
在对虚拟Marker状态更新过程中检测状态为修改模式则将虚拟Marker的变化量进行消息压缩并通过网络广播到渲染通道从机；
渲染通道从机收到虚拟Marker信息并传送信息进渲染处理器中更新相应Marker对应的面部骨骼的状态,然后发送消息通知主机渲染准备完成,自身进入等待状态；
主控机再确认所有渲染都准备成功后,广播消息通知从机立即输出；
渲染从机调用硬件同步卡配合最终画面输出,从而实现达到显示硬件级别的角色面部表情同步渲染。
本发明实施例要解决的问题是本地和远程主持人无法看到双方同框的互动画面，不利于互动。本发明实施例采用的解决方案是将远程视频进行三维渲染通过本地LED屏显示，进而本地主持人通过LED屏看到沉浸式远程画面，而远程主持人可用过本地摄像机的拍摄看到本地主持人+远程场景的同步显示，以将远程画面在本地进行三维渲染显示。
在工作时：
配合使用硬件同步卡将多面LED屏幕设置为垂直同步一致方式.；
将渲染通道服务器中的显示刷新方式设置为将垂直刷新率设置为软件刷新率；其中软件刷新率是指软件更新画面的速率；
将主控工作站和渲染通道服务器中的设置为步进同步方式，并由主控工作站控制下一帧的步进；其中步进同步方式是指所有渲染服务器的显示是同步前进的，只有所有LED的当前画面都显示后才能够更新下一个画面的内容；
主控工作站收到远程直播流，并将该直播流数据推送入推流处理模块；
推流处理模块采用UDP形式在局域内广播直播流；
渲染通道服务器收到直播流，然后发送消息通知主控工作站渲染准备完成,自身进入等待状态；现场的LED大屏是显示的同一画面的不同区域；
主控工作站再确认所有渲染都准备成功后，广播消息通知从机立即输出；渲染从机调用硬件同步卡配合最终画面输出，从而实现达到显示硬件级别的直播流同步渲染。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种应用于虚拟演播室的面部表情数据处理方法，其特征在于，包括：
将N台Leyard LED大屏连接到N台渲染服务器，且N台渲染服务器连接到主控工作站，以形成CAVE仿真环境空间；将面部表情捕捉设备连接到主控工作站；
通过硬件同步卡将所述N台Leyard LED大屏设置为垂直同步一致方式；将所述渲染服务器的显示刷新方式设置为软件刷新率；将所述主控工作站和所述渲染通道的渲染服务器设置为完全锁帧方式，并由所述主控工作站来控制下一帧的步进；
通过所述面部表情捕捉设备捕捉目标的面部表情，所述面部表情捕捉设备将捕捉到的面部表情发送到所述主控工作站；
所述主控工作站在确定目标的面部表情发生变化时，对目标对应的虚拟图形的变化量发送到所述每一台渲染服务器；
所述主控工作站在确定所述每一台渲染服务器后，控制所述每一台渲染服务器同步输出。
2.根据权利要求1所述的应用于虚拟演播室的面部表情数据处理方法，其特征在于，所述主控工作站通过以下方法确定目标的面部表情是否发生变化：
所述主控工作站接收到所述面部表情捕捉设备发送的面部表情数据后，将面部表情数据与前一次接收到的面部表情数据进行对比，以确定目标的面部表情是否发生了改变；
如果是，则将目标对应的虚拟图形的状态标识修改为已改变状态。
3.根据权利要求1所述的应用于虚拟演播室的面部表情数据处理方法，其特征在于，所述对目标对应的虚拟图形的变化量发送到所述每一台渲染服务器，包括：
所述主控工作站将所述目标的虚拟图形的变化量生成指示消息，将所述指示消息通过广播的方式发送到所述每一台渲染服务器。
4.根据权利要求3所述的应用于虚拟演播室的面部表情数据处理方法，其特征在于，所述方法还包括：
所述每一台渲染服务器在接收到广播的该指示消息后，对应的将虚拟图形的面部骨骼进行相应的改变，并向所述主控工作站返回确认完成改变的响应消息，并切换到待机状态。
5.根据权利要求4所述的应用于虚拟演播室的面部表情数据处理方法，其特征在于，所述方法还包括：
所述主控工作站在确认接收到所述每一台渲染服务器的响应消息后，通过广播的方式发送给所述每一台渲染服务器切换指示，以指示所述每一台渲染服务器同步对虚拟图形的面部骨表情进行显示。
6.根据权利要求5所述的应用于虚拟演播室的面部表情数据处理方法，其特征在于，所述方法还包括：
所述每一台渲染服务器将所述目标对应的虚拟图形与预设的虚拟三维背景融合以形成显示在Leyard LED大屏的图像。
7.根据权利要求1所述的应用于虚拟演播室的面部表情数据处理方法，其特征在于，所述每一台渲染服务器都通过视频同步卡连接所述主控工作站，以通过每一台渲染服务器的视频同步卡以实现硬件同步显示。
与主控工作站通过渲染服务器的待用同步对虚拟图形的面部骨表情进行显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010903699.8A CN112019922A (zh) | 2020-09-01 | 2020-09-01 | 应用于虚拟演播室的面部表情数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010903699.8A CN112019922A (zh) | 2020-09-01 | 2020-09-01 | 应用于虚拟演播室的面部表情数据处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112019922A true CN112019922A (zh) | 2020-12-01 |
Family
ID=73516652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010903699.8A Pending CN112019922A (zh) | 2020-09-01 | 2020-09-01 | 应用于虚拟演播室的面部表情数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112019922A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114501054A (zh) * | 2022-02-11 | 2022-05-13 | 腾讯科技（深圳）有限公司 | 直播互动方法、装置、设备及计算机可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049926A (zh) * | 2012-12-24 | 2013-04-17 | 广东威创视讯科技股份有限公司 | 分布式三维渲染系统 |
| CN105704419A (zh) * | 2014-11-27 | 2016-06-22 | 程超 | 一种基于可调模板头像的人人交互的方法 |
| CN106251396A (zh) * | 2016-07-29 | 2016-12-21 | 迈吉客科技（北京）有限公司 | 三维模型的实时控制方法和系统 |
| CN110018874A (zh) * | 2019-04-09 | 2019-07-16 | Oppo广东移动通信有限公司 | 垂直同步方法、装置、终端及存储介质 |
| CN110267028A (zh) * | 2019-06-24 | 2019-09-20 | 中冶智诚(武汉)工程技术有限公司 | 一种用于五面led-cave的信号同步显示系统 |
| US10529113B1 (en) * | 2019-01-04 | 2020-01-07 | Facebook Technologies, Llc | Generating graphical representation of facial expressions of a user wearing a head mounted display accounting for previously captured images of the user's facial expressions |
| CN210021183U (zh) * | 2019-05-09 | 2020-02-07 | 浙江棱镜全息科技有限公司 | 沉浸式互动全景全息剧院及演出系统 |
-
2020
- 2020-09-01 CN CN202010903699.8A patent/CN112019922A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049926A (zh) * | 2012-12-24 | 2013-04-17 | 广东威创视讯科技股份有限公司 | 分布式三维渲染系统 |
| CN105704419A (zh) * | 2014-11-27 | 2016-06-22 | 程超 | 一种基于可调模板头像的人人交互的方法 |
| CN106251396A (zh) * | 2016-07-29 | 2016-12-21 | 迈吉客科技（北京）有限公司 | 三维模型的实时控制方法和系统 |
| US10529113B1 (en) * | 2019-01-04 | 2020-01-07 | Facebook Technologies, Llc | Generating graphical representation of facial expressions of a user wearing a head mounted display accounting for previously captured images of the user's facial expressions |
| CN110018874A (zh) * | 2019-04-09 | 2019-07-16 | Oppo广东移动通信有限公司 | 垂直同步方法、装置、终端及存储介质 |
| CN210021183U (zh) * | 2019-05-09 | 2020-02-07 | 浙江棱镜全息科技有限公司 | 沉浸式互动全景全息剧院及演出系统 |
| CN110267028A (zh) * | 2019-06-24 | 2019-09-20 | 中冶智诚(武汉)工程技术有限公司 | 一种用于五面led-cave的信号同步显示系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114501054A (zh) * | 2022-02-11 | 2022-05-13 | 腾讯科技（深圳）有限公司 | 直播互动方法、装置、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10582182B2 (en) | Video capture and rendering system control using multiple virtual cameras | |
| CN106789991B (zh) | 一种基于虚拟场景的多人互动网络直播方法及系统 | |
| US9751015B2 (en) | Augmented reality videogame broadcast programming | |
| US10121284B2 (en) | Virtual camera control using motion control systems for augmented three dimensional reality | |
| CN108900857B (zh) | 一种多视角视频流处理方法和装置 | |
| CN110225224B (zh) | 虚拟形象的导播方法、装置及系统 | |
| CN106060632B (zh) | 一种节目现场弹幕控制系统及方法 | |
| CN113115110B (zh) | 视频合成方法、装置、存储介质与电子设备 | |
| US8885022B2 (en) | Virtual camera control using motion control systems for augmented reality | |
| CN112543344B (zh) | 直播控制方法、装置、计算机可读介质及电子设备 | |
| CN105578248B (zh) | 花式拼接播放方法、装置和系统 | |
| CN113473207B (zh) | 直播方法、装置、存储介质及电子设备 | |
| WO2023279793A1 (zh) | 视频的播放方法及装置 | |
| CN112019921A (zh) | 应用于虚拟演播室的肢体动作数据处理方法 | |
| CN113630614A (zh) | 游戏直播方法、装置、系统、电子设备及可读存储介质 | |
| US20090153550A1 (en) | Virtual object rendering system and method | |
| CN112019922A (zh) | 应用于虚拟演播室的面部表情数据处理方法 | |
| WO2024001661A1 (zh) | 视频合成方法、装置、设备和存储介质 | |
| CN112261422A (zh) | 适用于广电领域的仿真远程直播流数据处理方法 | |
| CN113315885B (zh) | 一种用于远程互动的全息演播室及系统 | |
| CN116744027A (zh) | 一种元宇宙直播系统 | |
| CN112017264A (zh) | 虚拟演播厅的显示控制方法及装置、存储介质、电子设备 | |
| CN116708867B (zh) | 一种直播数据处理方法、装置、设备及存储介质 | |
| CN207652589U (zh) | 一种基于在线合成的场景包装装置 | |
| KR20200025083A (ko) | 가상현실 영상의 제작 및 중계를 위한 1인 미디어 방송 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201201 |