CN114638918B - 一种实时表演捕捉虚拟直播与录制系统 - Google Patents

Abstract

本发明提供一种实时表演捕捉虚拟直播与录制系统，其中全身捕捉模块实时捕捉场地内演员的肢体动作信息；表情捕捉模块实时捕捉演员的表情信息；道具捕捉模块实时捕捉场地内虚拟道具信息；虚拟相机模块实时捕捉场地内虚拟相机位置和视角信息；声音采集模块实时获取场地内的声音信息；现场录制模块根据数字相机位置和视角录制实时捕捉到的数字角色肢体动作、数字角色表情、数字道具和声音信息作为原始动捕数据。本发明中现场的演员表演和虚拟角色的表演是完全同步的，在监视器上能实时看到摄影师拍摄的数字角色的表演画面，可以同步将视频流推送到网络频道，并与观众在极低的延迟下进行互动，同时也可以进行录制并导出数据用于后期动画制作。

Description

一种实时表演捕捉虚拟直播与录制系统

技术领域

本发明属于实时动画表演捕捉技术领域，具体涉及一种实时表演捕捉虚拟直播与录制系统。

背景技术

随着电子娱乐产业的发展，广告和视频等相关产业对三维动画的需求量越来越大。其中，网络直播等交互性较强的应用领域中，观众欣赏水平的提高，往往需要虚拟主播有更加生动的表演，同时能够即时与观众的交流互动。

采用了单一动作捕捉设备和表情捕捉设备的技术，往往都带各自的优点与缺点，全惯性动作捕捉设备存在漂移问题，基于单一iphone设备的表情捕捉设备存在眉毛眼睛表情不够生动的问题，基于DynamicXYZ的面部捕捉系统需要预先在软件内对特定演员进行大量的表情库录制，存在准备时间长，无法快速更换演员的问题。

发明内容

本发明的目的就是为了解决上述背景技术存在的不足，提供一种实时表演捕捉虚拟直播与录制系统，将虚拟相机，肢体捕捉，手指捕捉，表情捕捉，道具捕捉，声音录制集成为一套系统，在全实时的环境下播放，现场的演员表演和虚拟角色的表演是完全同步的，在监视器上可以实时看到摄影师拍摄的数字角色的表演画面，可以同步将视频流推送到网络频道，并与观众在极低的延迟下进行互动，同时也可以进行录制并导出数据用于后期动画制作。

本发明采用的技术方案是：一种实时表演捕捉虚拟直播与录制系统，包括全身捕捉模块、表情捕捉模块、道具捕捉模块、虚拟相机模块、数字角色建立模块、传感信息接收模块、声音采集模块、现场录制模块、视频输出模块；传感器信息模块包括设置于场地内的传感器阵列和信息接收设备；

其中，传感器信息模块通过全身捕捉模块实时捕捉场地内演员的肢体动作信息并发送至数字角色建立模块，数字角色建立模块将演员的肢体动作信息转换成与现场录制模块相兼容的数字角色肢体动作；

表情捕捉模块实时捕捉演员的表情信息并发送至数字角色建立模块，通过数字角色建立模块将演员的表情信息转换成与现场录制模块相兼容的数字角色表情信息；

传感器信息模块通过道具捕捉模块实时捕捉场地内虚拟道具信息并发送至数字角色建立模块，数字角色建立模块将虚拟道具信息转换成与现场录制模块相兼容的数字道具信息；

虚拟相机模块实时捕捉场地内虚拟相机位置和视角信息并发送至数字角色建立模块，数字角色建立模块将虚拟相机位置和视角信息转换成与现场录制模块相兼容的数字相机位置和视角信息；

声音采集模块用于实时获取场地内的声音信息；

现场录制模块用于接收并保存实时捕捉到的数字角色肢体动作信息、数字角色表情信息、数字道具信息、数字相机位置和视角信息以及声音信息，并根据数字相机位置和视角录制实时捕捉到的数字角色肢体动作、数字角色表情、数字道具和声音信息作为原始动捕数据保存在同一个时间片段内，并根据外部指令导出对应时间片段的原始动捕数据；

视频输出模块用于将现场录制模块录制的原始动捕数据以直播形式输出音视频流。

上述技术方案中，全身捕捉模块包括捕捉手套、设置于演员身体除手指外的全身标记点；传感器阵列和全身标记点用于捕捉演员的全身肢体动作，捕捉手套用于捕捉演员的手指动作；

传感信息接收模块通过传感器阵列采集演员身体上的全身标记点，传感信息接收模块将全身标记点求解为与数字角色建立模块相兼容的演员骨架信息并发送到数字角色建立模块；数字角色建立模块加载演员骨架信息，并将演员骨架信息与通过数字内容软件创建数字角色的骨架进行姿势对位，将演员骨架信息映射到数字角色的骨架，对数字角色进行角色化；

数字角色建立模块接收捕捉手套获取的演员的手指动作信息，并使用手套关系图驱动数字角色的手指；所述手套关系图为在数字角色建立模块内置的用于驱动数字角色的手指的关系节点；每个关系节点的定义与关系节点间的连接用于表征捕捉手套获取的演员的手指动作信息与数字角色手指的驱动逻辑；

传感器阵列从多个角度捕捉全身标记点的空间变换信息，并发送到传感信息接收模块，传感信息接收模块将全身标记点求解为与数字角色建立模块相兼容的演员骨架信息并发送到数字角色建立模块，数字角色建立模块将演员骨架信息重映射到数字角色的骨架上，通过演员骨架信息实时驱动数字角色的骨架；

数字角色建立模块将数字角色的骨架信息和手指信息整合成数字角色肢体动作信息，并通过与现场录制模块相兼容的插件将数字角色肢体动作信息实时发送到现场录制模块。

上述技术方案中，表情捕捉模块包括头盔，头盔上设置有面部捕捉模块，面部捕捉模块用于捕捉演员的表情信息，并将表情信息转换为表情编码实时发送至数字角色建立模块；数字角色建立模块基于表情编码驱动数字角色的头部表情Blendshape；数字角色建立模块通过内设的自定义关节的x轴将数字角色的头部表情Blendshape转换为自定义关节的变换信息，并通过现场录制模块相兼容的插件将生成的自定义关节的变换信息实时发送到现场录制模块；所述自定义关节的x轴为数字角色建立模块内创建的用于驱动数字角色表情的关系节点，每个关系节点的定义与关系节点间的连接用于表征面部捕捉系统获取的演员的表情信息与数字角色表情的驱动逻辑。

上述技术方案中，道具捕捉模块包括设置于场地内的虚拟道具，所述虚拟道具尺寸与现场录制模块内的数字道具尺寸接近，虚拟道具上贴有多个标记点；当场地内的传感器阵列从多个角度捕捉到虚拟道具上的标记点时，由传感信息接收模块求解出空间变换信息，转换为刚体后绑定到虚拟道具的关节，并将虚拟道具的关节通过与数字角色建立模块相兼容的插件发送到数字角色建立模块；数字角色建立模块通过与现场录制模块相兼容的插件将虚拟道具的关节实时发送到现场录制模块。

上述技术方案中，虚拟相机模块包括肩抗机架，肩抗机架设置有支架，所述支架用于模拟虚拟相机，其上分布了相机标记点；当场地内的传感器阵列从多个角度捕捉到相机标记点的时，由传感信息接收模块求解出空间变换信息，转换为刚体后绑定到虚拟相机的关节，并将虚拟相机的关节通过与数字角色建立模块相兼容的插件发送到数字角色建立模块；数字角色建立模块通过与现场录制模块相兼容的插件将虚拟相机的关节实时发送到现场录制模块；

肩抗机架上设置有有摄影监视器，现场录制模块实时将原始动捕数据发送摄影监视器显示；

肩抗机架上设置有手柄，现场录制模块安装有用于接收手柄发送信号的手柄接收器，现场录制模块根据接收到的手柄操作信息驱动数字相机的拍摄参数。

上述技术方案中，声音采集模块包括麦克风，所述麦克风连接至现场录制模块，现场录制模块对麦克风进行降噪并生成数字降噪麦克风，现场录制模块根据数字降噪麦克风录制原始动捕数据。

上述技术方案中，当有录制需求存在的时候，数字角色建立模块通过运行脚本自动将数字角色肢体动作信息、数字角色表情信息、数字道具信息、数字相机位置和视角信息自动命名并录制下来并保存到本地；同时现场录制模块通过运行脚本进行同步录制原始动捕数据。

上述技术方案中，现场录制模块基于接收到的数字角色肢体动作信息、自定义关节的变换信息生成数字角色，基于接收到的虚拟道具的关节生成数字道具，基于接收到的虚拟相机的关节生成数字相机；现场录制模块根据数字相机的属性和信息录制数字角色和数字道具。

上述技术方案中，现场录制模块将手柄操作信息转换为变换数据，经过坐标变换以后控制现场录制模块中数字相机的变换；将手柄的操作映射到现场录制模块中数字相机的属性上，控制变焦，光圈，曝光；从数字相机向正前方发射监测射线，监测射线与碰撞属性的检测对象发生碰撞检测，获取数字相机与检测对象的距离，获取监测涉嫌距离取最小值后映射到数字相机的对焦距离上，实现数字相机自动对焦的功能；所述检测对象包括现场录制模块中生成的数字角色和数字道具。

上述技术方案中，面部捕捉模块包括用于获取眉毛和眼球数据的第一摄像设备与用于获取口型数据的第一摄像设备；第一摄像设备将获取到的脸部视频转换为表情编码，实时发送至数字角色建立模块；第二摄像设备对演员脸部参数设定补偿系数后，捕捉表情信息，并将表情信息转换为表情编码实时发送至数字角色建立模块；数字角色建立模块提取第一摄像设备发送的表情编码中的眉毛与眼球数据，以及第二摄像设备发送的表情编码中的口型数据，组合后用于驱动数字角色的头部表情。

本发明的有益效果是：国内市面上大部分身体动捕设备都是封装了荷兰Xsens惯性动捕或者国产诺伊腾系统，这种基于切割磁场线进行六轴惯性测量的捕捉方式由于无法获得真实空间的绝对位置信息，固有的缺陷就是长时间连续使用会产生空间漂移，而采用视觉算法的方案虽然可以避免空间漂移问题，但需要在手上贴上总共20个标记点才能进行手指捕捉，手指上的标记点过于密集会造成识别困难，无法对手指动作进行精确的捕捉。本发明在肢体上采用被动光学式动捕设备，在手指处采用了惯性捕捉手套，可以捕捉到不漂移并带有准确手指的全身动作数据。

国内市面上大部分表情捕捉系统，在捕捉前需要为每个演员都建立专门的表情库，每次换人都需要重新建立，需要1-2个小时的预设处理，非常的不方便。本发明只需要对数字角色建立表情库，对演员预设好参数极少的补偿值后，即使更换演员，也仅需要几分钟时间准备完毕，且得到更加准确生动的表情捕捉数据。

国内市面上大部分虚拟直播业务都是采用软件内预设的固定镜头机位，无法做到动态的运镜。本发明将摄影师的概念引入到虚拟直播中，摄影师可以根据需要随时变换镜头机位，在演员大范围移动的时候依然能准确的跟上相机，在获得真实的镜头画面效果的同时，还能消除令人不适的抖动。

本发明将多种技术进行了集成开发，可采用Vicon被动光学式身体捕捉设备，与采用了惯性捕捉手套结合，解决了角色漂移问题，解决了全身动捕手指不精确的问题。可以采用融合了Faceware面部图像视觉算法与Arkit面部深度视觉算法技术的表情捕捉系统能，精确的将表情识别为FACS面部表情编码，并通过特殊定义的关节，使用LiveLink接口实时传输到UE4引擎，即现场录制模块内，解决了单一面部捕捉技术表情不够生动的问题。镜头机位则通过专门开发的虚拟相机套件，将现场摄影师的镜头机位Vicon捕捉为特殊的相机关节，通过LiveLink实时传输到UE4引擎内，同时使用Xbox手柄无线控制UE4引擎内相机的光圈，焦距，对焦点，解决了无法实时运镜的问题、将麦克风进行实时降噪处理，可以完美的避免动捕工作室内环境噪音复杂的情况。

本发明与基于传统的动作捕捉表情捕捉方案的直播相比，融合了多个设备的优点，规避了单一设备的缺点，准备时间大幅度缩短，数字角色不会漂移，全身动作更加准确，表情更加生动，声音更加清晰保真，最大的优势是现场摄影师和导演能实时看到数字角色在镜头内表演的最终画面，大幅度的提升了虚拟直播的观感与动画制作的效率。

附图说明

图1为本发明的流程示意图；

图2为本发明中手套运用关系原理图；

图3为本发明中表情捕捉关系原理图；

图4为本发明中虚拟道具蓝图原理图；

图5为本发明中虚拟相机蓝图原理图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明，便于清楚地了解本发明，但它们不对本发明构成限定。

如图1所示，本发明提供了一种一种实时表演捕捉虚拟直播与录制系统，包括全全身捕捉模块、表情捕捉模块、道具捕捉模块、虚拟相机模块、数字角色建立模块、传感信息接收模块、声音采集模块、现场录制模块、视频输出模块和数据导出模块；传感器信息模块包括设置于场地内的传感器阵列和信息接收设备。传感器阵列采用22个Vicon传感器，即红外摄像头。信息接收设备采用Vicon Shogun主机。数字角色建立模块采用MotionBuilder主机。现场录制模块采用UE4引擎主机。

其中，全身捕捉模块用于数字角色肢体动作。采用22个Vicon传感器阵列捕捉全身肢体动作，全身53个标记点，去除手指标记点，采用捕捉手套单独捕捉手指动作，在MotionBuilder主机内将采集到的手指数据驱动数字角色的手指。

场地内的Vicon传感器从多个角度捕捉全身标记点的空间变换信息，并发送到Vicon Shogun主机，Shogun软件将标记点求解为vicon骨架并发送到Motionbuilder主机，MotionBuider主机内的Vicon插件加载Shogun服务器发送过来的演员的vicon骨架，使用HumanIK功能对演员骨架进行角色化。通过在DCC软件内创作的数字角色的骨架，在MotionBuider主机实现数字角色骨架与演员骨架进行姿势对位，使演员骨架信息映射到数字角色的骨架。其中，姿势对位是让演员的姿势与数字角色姿势一致，映射是MotionBuilder内的一步操作，将2套不同的骨架映射为同一套骨架系统内，达到演员骨架驱动数字骨架的目的，这是MotionBuilder自带的功能。

在MotionBuilder主机内手套VRTRIX插件从VRTRIX服务器接受捕捉手套的数据，使用手套关系图驱动数字角色手指；所述手套关系图为在MotionBuilder内创建用于驱动数字角色手指的关系节点；每个关系节点的创建与关系节点间的连接可以通过代码批量实现。节点都是MotionBuilder内自带的或者插件安装的，节点的不同组合方式能产生不同的数学逻辑算法，用于驱动手指的节点非常多，初期测试阶段都是人工创建节点与连接，后期为了减少人工工作量，将这部分用代码的方式批量创建。

逻辑是，节点A获取演员手指关节的世界变换，发送给节点B，节点B将演员手指关节的世界变换转换为演员相对手腕的局部变换并发送给节点C，节点C将演员相对手腕的局部变换转换为数字角色相对手腕的局部变换发送给节点D，节点D将数字角色相对手腕的局部变换转换为世界变换并发送给数字角色的手指关节。

场地内的Vicon传感器阵列从多个角度捕捉标记点的空间变换信息，并发送到Vicon Shogun主机，Vicon Shogun主机中的Shogun软件将标记点求解为vicon骨架并发送到Motionbuilder主机，Motionbuilder主机将演员的vicon骨架重映射到数字角色骨架上。

Motionbuilder主机通过Livelink插件将数字角色肢体动作实时发送到UE4引擎内。由此实现了UE4引擎主机内数字角色肢体动作的实时捕捉。

表情捕捉模块用于实时捕捉数字角色表情。头盔上安装Faceware专用摄像头与无线输出设备，Faceware Studio主机实时捕捉软件获取到专用摄像头采集的脸部视频，实时输出表情编码到Motionbuilder主机内。头盔上还安装有iphone12 mini设备，其上运行facecap软件，在facecap软件内对演员脸部参数设定补偿系数后，通过iphone12 mini的原深感摄像头捕捉到表情信息后，通过ARkit软件处理并将表情编码实时发送到Motionbuilder主机内。在Motionbuilder内将采集到的faceware眉毛与眼球数据、facecap的口型数据组合后驱动数字角色的头部表情Blendshape。并通过自定义的51个MocapJoint关节的x轴将表情编码通过Livelink插件发送到UE4引擎主机内。在UE4引擎主机内用自主开发的角色蓝图，将51个MocapJoint关节的x轴驱动数字角色的脸部表情BlendShape。由此实现了UE4引擎内数字角色表情的实时捕捉。

其中，角色蓝图内使用Livelink节点循环获取MocapJoint的51个关节的x轴值，赋值到浮点数组，数字角色的面部的动画蓝图读取浮点数组，拆分为51个值，将每个值输入给修改曲线节点内对应的Blendshape曲线引脚后，输出pose。

在实时驱动数字角色的表情时，还可以添加额外的修改曲线节点来对引脚值补偿，进一步改善表情的最终效果。本发明中的UE4引擎主机不依赖faceware和arkit的专用插件就能实现，全部数据都是直接从motionbuilder主机获取，不与面部捕捉设备硬件直接对接，可以在未来随时替换为其它面部捕捉硬件设备。

道具捕捉模块用于实时捕捉数字道具信息。现实中的虚拟道具尺寸大致与UE4引擎内的数字道具尺寸接近，其上贴有多个Vicon标记点，当场地内的Vicon传感器从多个角度捕捉到标记点的时候，由Vicon Shogun主机求解出空间变换信息，转换为刚体后绑定到关节，Motionbuilder主机内使用Vicon插件获取此关节后，将此关节通过Livelink插件传输到UE4主机内，由UE4引擎内自研的虚拟道具蓝图将获取到的Livelink关节驱动场景内的数字道具的变换。由此实现了UE4引擎内数字道具的实时捕捉。

自定义的51个MocapJoint关节的x轴通过自研代码定义，不参与直播运行的过程，仅用于替代人工批量对这51个属性值进行节点连接，其自研代码原理是：MotionBuilder的关系图内将面部几何体的51个Blendshape属性值输入给对应命名的51个MocapJoint的X轴，并由MotionBuilder主机内的Livelink节点将这51个MocapJoint关节的变换信息发送给UE4引擎主机。

虚拟相机模块由肩抗机架作为主体，上部安装有大疆稳定器rsc2用于消除摄影师运镜时候的抖动，稳定器上设置有树型支架，支架按照特定的长度与角度进行安装，其上分布了Vicon标记点。支架由3根300mm长6mm空心铝合金管材组成，垂直的A管底部安装有十字连接构件用于安装到稳定器上，另外2根管分别用十字连接构件横向安装在A管长度的1/3与2/3处，垂直方向夹角80度，管的末端于中部共粘贴有7个Vicon标记点，为了保证Vicon摄像头能识别出正确的方向，标记点的分布在各个方向保持不对称。

当场地内的Vicon传感器从多个角度捕捉到标记点的时候，由Vicon Shogun主机求解出空间变换信息，转换为刚体后绑定到虚拟相机的关节，在Motionbuilder主机内使用Vicon插件获取虚拟相机的关节后，将此关节通过Livelink插件传输到UE4引擎主机，由UE4引擎主机内自研的虚拟相机蓝图将获取到的Livelink关节驱动场景内的数字相机的变换。

肩抗机架前端安装由摄影监视器，后端安装有无延迟无线图传设备及其供电设备，用HDMI线材将图传设备与监视器连接，UE4引擎主机安装有无延迟图传设备输出端，UE4引擎主机最终输出的画面经过无线图传设备发送到监视器内，摄影师可以实时看到UE4引擎内的数字角色表演。

肩抗机架前端下方安装有xbox手柄，UE4主机的计算机安装有基于无延迟2.4G蓝牙技术的手柄接收器，UE4引擎内自研的数字相机蓝图将获取的手柄操作驱动数字相机的拍摄参数。由此整个设备形成无延迟闭环监视系统，摄影师操作现实中的虚拟相机同时可以实时看到所有的UE4引擎内数字相机呈现的最终画面效果。

虚拟相机蓝图在UE4引擎内通过Livelink节点获取MotionBuilder发送过来的变换数据，将变换数据经过坐标变换以后控制UE4数字相机的变换；将手柄的动作映射到UE4内的相机属性上，控制变焦，光圈，曝光；从数字相机向正前方发射9条射监测射线，监测射线与碰撞属性的监测对象发生碰撞检测，获取数字相机与检测对象的距离，9条距离取最小值后映射到相机的对焦距离上，实现数字相机自动对焦的功能。其中，少于9条对焦效果会很差，1条即可满足基本需求，基于对称性的要求，可以增加射线数量到25条，但会大幅度增加虚拟相机蓝图的复杂度，9条性能与效率最优。

声音采集模块用于采用UE4引擎内的数字降噪麦克风实时获取现场的音频。高灵敏度的电容麦克风连接到运行UE4主机，UE4主机运行有NVIDIA Broadcast软件，软件将智能的对麦克风进行降噪并生成一个新的数字降噪麦克风，UE4引擎获取这个数字降噪麦克风用于录制，解决了在动捕室环境复杂，噪音源多样的环境下，依然能清晰的采集到多个演员的语音信号的问题。

现场录制模块用于保存实时捕捉到的UE4引擎内数字角色肢体动作、数字角色表情、数字道具、数字相机画面效果和音频，并录制实时捕捉到的UE4引擎内数字角色肢体动作、数字角色表情、数字道具、数字相机画面效果作为原始动捕数据保存在同一个时间片段内，并根据需要分别导出数据供后处理环节使用。Motionbuilder主机内开发了一套遥控录制的脚本，当有录制需求存在的时候，运行脚本并点击录制，脚本将会自动将演员、道具、相机、声音，自动命名并录制下来并保存到Task内，同时脚本还会远程遥控UE4引擎主机进行同步引擎内录，远程遥控Vicon Shogun软件进行原始动捕数据的同步录制，方便在转入传统动画制作流程的时候的时候再次调用动捕原始数据进行修正制作。当有录制需求时，Motionbuilder内的遥控录制的脚本将同步控制Vicon shogun主机、UE4引擎主机进行录制，将原始捕捉数据中的数字角色、道具、相机、音频在保存在同一个时间片段内，根据需要可以分别导出数据供后处理环节使用。

该脚本可以由Python编写，运行脚本后弹出界面，点击录制按钮的时候，脚本调用Vicon官方开发的Pyhton库，将开始录制的命令和任务名称发送给指定IP地址的Vicon服务器，同时MotionBuilder主机开始本地录制，Vicon服务器内运行的Shogun Live软件收到录制命令后开始任务命名与录制。当需要停止的时候，点击界面内的停止按钮，MotionBuilder停止录制，同时发送停止命令到Vicon服务器的IP地址，Vicon服务器内运行的Shogun Live软件收到停止命令后也停止录制，达到2台主机同步录制的功能。保证MotionBuilder主机的录制数据与Vicon主机的录制数据时间码同步，有利于转入后期制作后，减少人工对这2段数据对位的操作，提高效率。

视频输出模块用于将现场录制模块录制的UE4引擎内的画面与声音，以直播形式输出音视频流。OBS主机安装有无延迟HDMI采集卡，采集卡输入端连接到UE4主机显卡，UE4引擎主机将UE4引擎的画面输出到采集卡，同时将数字降噪麦克风声音输出到采集卡，由此OBS主机将能接收到UE4主机的画面与声音，保证了最终输出视频的画音绝对同步，OBS主机将此音视频流以直播形式输出。

本发明的具体使用步骤如下：

1.开启Vicon摄像头(即传感器阵列)，开始预热摄像头温度到达45摄氏度后用T型光棒在场地内按照8字型挥舞来校准场地摄像头。

2.演员穿动捕服装，按照Vicon标准位置贴上53个标记点在身上，手部仅保留手腕，手指不贴，穿戴捕捉手套。

3.演员在场地中心点做Vicon标准匹配体操，Vicon Shogun主机主句的Shogun服务器加载适配演员的穿戴数据配置文件，Shotgun内生成演员的骨架。

4.VRTRIX数据手套服务端接受捕捉手套数据，演员平放手掌，手指并拢，拇指放松后进行软件校准。

5.MotionBuider主机加载数字角色FBX资产，道具FBX资产，虚拟相机FBX资产。

6.MotionBuider主机内加载Vicon插件、UE4LiveLink插件、VRTRIX插件、FacewareLive插件、FaceCap插件。

7.MotionBuider主机内的Vicon插件加载Shogun服务器发送过来的演员骨架，使用HumanIK功能对演员骨架进行角色化，数字骨架与演员骨架进行姿势对位，并将演员骨架映射到数字角色的骨架。

8.MotionBuider主机内的手套VRTRIX插件从VRTRIX服务器接受手套数据，使用自研的手套关系图驱动数字角色手指。图2为手套驱动节点图,原理为从VRTRIX服务器接受演员每个手指关节的全局旋转值，将全局旋转值转换为相对手腕的局部旋转值，然后驱动数字角色对应手指关节的局部旋转值。

9.FacewareStudio服务器内进行演员脸部校准，并发送脸部数据。MotionBuider主机内的FacewareLive插件从FacewareStudio服务器接受脸部数据，MotionBuider主机内的Facecap插件从iPhone 12mini设备接受Facecap APP的脸部数据。MotionBuider主机内使用自研的表情关系图将Faceware与Facecap的脸部数据进行合并，并驱动数字角色的脸部BlendShape。图3为表情驱动关系图，原理是从FacewareStudio识别出来的Facs编码内筛选出眉毛与眼球的数值，从facecap识别出来的Facs编码内选出鼻子，嘴巴，脸颊的变形数值，然后各自驱动头部模型的Blendshape目标值，达到2套系统合并的目的。

10.Shogun服务器内将相机标记点解算为相机骨架，MotionBuider主机内的Vicon插件加载Shogun服务器发送过来的相机骨架，MotionBuider内将数字相机关节Parent到Vicon相机骨架下。

11.Shogun服务器内将道具标记点解算为道具骨架，MotionBuider内的Vicon插件加载Shogun服务器发送过来的道具骨架，MotionBuider内将道具相机关节Parent到Vicon道具骨架下。

12.摄影师入场将虚拟相机放置于场地中心进行校准。MotionBuider内校准道具骨架与相机骨架、用于匹配现实资产与数字资产之间的比例关系。人工来移动道具骨架和相机骨架，使其与场地内的道具、相机、位置一致。

13.UE4引擎内加载对应的数字场景、数字角色、数字道具、数字相机。并使用LiveLink功能从MotionBuider主机接受所有的Livelink数据开始实时驱动。

14.UE4主机学习环境噪音用于AI降噪。并校准音量。

15.UE4主机将UE4引擎的画面与AI降噪麦克风的音视频信号通过HDMI采集卡发送到OBS主机。

16.开始直播的时候摄影师入场肩扛虚拟相机进行拍摄。OBS主机开始推流直播。

17.如需要录制，则在UE4引擎内将待录制的资产添加到影片序列录制器内录制，录制完成可以立刻回放。

如需要原始数据，MotionBuider内使用自研的录制插件，开始同步在Shogun内录制。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (8)

1.一种实时表演捕捉虚拟直播与录制系统，其特征在于：包括全身捕捉模块、表情捕捉模块、道具捕捉模块、虚拟相机模块、数字角色建立模块、传感信息接收模块、声音采集模块、现场录制模块、视频输出模块；传感器信息模块包括设置于场地内的传感器阵列和信息接收设备；

其中，传感器信息模块通过全身捕捉模块实时捕捉场地内演员的肢体动作信息并发送至数字角色建立模块，数字角色建立模块将演员的肢体动作信息转换成与现场录制模块相兼容的数字角色肢体动作；

表情捕捉模块实时捕捉演员的表情信息并发送至数字角色建立模块，通过数字角色建立模块将演员的表情信息转换成与现场录制模块相兼容的数字角色表情信息；

传感器信息模块通过道具捕捉模块实时捕捉场地内虚拟道具信息并发送至数字角色建立模块，数字角色建立模块将虚拟道具信息转换成与现场录制模块相兼容的数字道具信息；

虚拟相机模块实时捕捉场地内虚拟相机位置和视角信息并发送至数字角色建立模块，数字角色建立模块将虚拟相机位置和视角信息转换成与现场录制模块相兼容的数字相机位置和视角信息；

声音采集模块用于实时获取场地内的声音信息；

现场录制模块用于接收并保存实时捕捉到的数字角色肢体动作信息、数字角色表情信息、数字道具信息、数字相机位置和视角信息以及声音信息，并根据数字相机位置和视角录制实时捕捉到的数字角色肢体动作、数字角色表情、数字道具和声音信息作为原始动捕数据并保存在同一个时间片段内；根据外部指令导出对应时间片段的原始动捕数据；

视频输出模块用于将现场录制模块录制的原始动捕数据以直播形式输出音视频流；

全身捕捉模块包括捕捉手套、设置于演员身体除手指外的全身标记点；传感器阵列和全身标记点用于捕捉演员的全身肢体动作，捕捉手套用于捕捉演员的手指动作；

传感信息接收模块通过传感器阵列采集演员身体上的全身标记点，传感信息接收模块将全身标记点求解为与数字角色建立模块相兼容的演员骨架信息并发送到数字角色建立模块；数字角色建立模块加载演员骨架信息，并将演员骨架信息与通过数字内容软件创建数字角色的骨架进行姿势对位，将演员骨架信息映射到数字角色的骨架，对数字角色进行角色化；

数字角色建立模块接收捕捉手套获取的演员的手指动作信息，并使用手套关系图驱动数字角色的手指；所述手套关系图为在数字角色建立模块内置的用于驱动数字角色的手指的关系节点；每个关系节点的定义与关系节点间的连接用于表征捕捉手套获取的演员的手指动作信息与数字角色手指的驱动逻辑；

传感器阵列从多个角度捕捉全身标记点的空间变换信息，并发送到传感信息接收模块，传感信息接收模块将全身标记点求解为与数字角色建立模块相兼容的演员骨架信息并发送到数字角色建立模块，数字角色建立模块将演员骨架信息重映射到数字角色的骨架上，通过演员骨架信息实时驱动数字角色的骨架；

数字角色建立模块将数字角色的骨架信息和手指信息整合成数字角色肢体动作信息，并通过与现场录制模块相兼容的插件将数字角色肢体动作信息实时发送到现场录制模块；

表情捕捉模块包括头盔，头盔上设置有面部捕捉模块，面部捕捉模块用于捕捉演员的表情信息，并将表情信息转换为表情编码实时发送至数字角色建立模块；数字角色建立模块基于表情编码驱动数字角色的头部表情Blendshape；数字角色建立模块通过内设的自定义关节的x轴将数字角色的头部表情Blendshape转换为自定义关节的变换信息，并通过现场录制模块相兼容的插件将生成的自定义关节的变换信息实时发送到现场录制模块；所述自定义关节的x轴为数字角色建立模块内创建的用于驱动数字角色表情的关系节点，每个关系节点的定义与关系节点间的连接用于表征面部捕捉系统获取的演员的表情信息与数字角色表情的驱动逻辑。

2.根据权利要求1所述的一种实时表演捕捉虚拟直播与录制系统，其特征在于：道具捕捉模块包括设置于场地内的虚拟道具，所述虚拟道具尺寸与现场录制模块内的数字道具尺寸接近，虚拟道具上贴有多个标记点；当场地内的传感器阵列从多个角度捕捉到虚拟道具上的标记点时，由传感信息接收模块求解出空间变换信息，转换为刚体后绑定到虚拟道具的关节，并将虚拟道具的关节通过与数字角色建立模块相兼容的插件发送到数字角色建立模块；数字角色建立模块通过与现场录制模块相兼容的插件将虚拟道具的关节实时发送到现场录制模块。

3.根据权利要求1所述的一种实时表演捕捉虚拟直播与录制系统，其特征在于：虚拟相机模块包括肩抗机架，肩抗机架设置有支架，所述支架用于模拟虚拟相机，其上分布了相机标记点；当场地内的传感器阵列从多个角度捕捉到相机标记点的时，由传感信息接收模块求解出空间变换信息，转换为刚体后绑定到虚拟相机的关节，并将虚拟相机的关节通过与数字角色建立模块相兼容的插件发送到数字角色建立模块；数字角色建立模块通过与现场录制模块相兼容的插件将虚拟相机的关节实时发送到现场录制模块；

肩抗机架上设置有有摄影监视器，现场录制模块实时将原始动捕数据发送摄影监视器显示；

肩抗机架上设置有手柄，现场录制模块安装有用于接收手柄发送信号的手柄接收器，现场录制模块根据接收到的手柄操作信息驱动数字相机的拍摄参数。

4.根据权利要求1所述的一种实时表演捕捉虚拟直播与录制系统，其特征在于：声音采集模块包括麦克风，所述麦克风连接至现场录制模块，现场录制模块对麦克风进行降噪并生成数字降噪麦克风，现场录制模块根据数字降噪麦克风录制原始动捕数据。

5.根据权利要求1所述的一种实时表演捕捉虚拟直播与录制系统，其特征在于：当有录制需求存在的时候，数字角色建立模块通过运行脚本自动将数字角色肢体动作信息、数字角色表情信息、数字道具信息、数字相机位置和视角信息自动命名并录制下来并保存到本地；同时现场录制模块通过运行脚本进行同步录制原始动捕数据。

6.根据权利要求1所述的一种实时表演捕捉虚拟直播与录制系统，其特征在于：现场录制模块基于接收到的数字角色肢体动作信息、自定义关节的变换信息生成数字角色，基于接收到的虚拟道具的关节生成数字道具，基于接收到的虚拟相机的关节生成数字相机；现场录制模块根据数字相机的属性和信息录制数字角色和数字道具。

7.根据权利要求5所述的一种实时表演捕捉虚拟直播与录制系统，其特征在于：现场录制模块将手柄操作信息转换为变换数据，经过坐标变换以后控制现场录制模块中数字相机的变换；将手柄的操作映射到现场录制模块中数字相机的属性上，控制变焦，光圈，曝光；从数字相机向正前方发射监测射线，监测射线与碰撞属性的检测对象发生碰撞检测，获取数字相机与检测对象的距离，获取监测涉嫌距离取最小值后映射到数字相机的对焦距离上，实现数字相机自动对焦的功能；所述检测对象包括现场录制模块中生成的数字角色和数字道具。

8.根据权利要求1所述的一种实时表演捕捉虚拟直播与录制系统，其特征在于：面部捕捉模块包括用于获取眉毛和眼球数据的第一摄像设备与用于获取口型数据的第一摄像设备；第一摄像设备将获取到的脸部视频转换为表情编码，实时发送至数字角色建立模块；第二摄像设备对演员脸部参数设定补偿系数后，捕捉表情信息，并将表情信息转换为表情编码实时发送至数字角色建立模块；数字角色建立模块提取第一摄像设备发送的表情编码中的眉毛与眼球数据，以及第二摄像设备发送的表情编码中的口型数据，组合后用于驱动数字角色的头部表情。

Images