CN116781958A - 一种基于xr的多机位演播系统及方法 - Google Patents
一种基于xr的多机位演播系统及方法 Download PDFInfo
- Publication number
- CN116781958A CN116781958A CN202311042399.5A CN202311042399A CN116781958A CN 116781958 A CN116781958 A CN 116781958A CN 202311042399 A CN202311042399 A CN 202311042399A CN 116781958 A CN116781958 A CN 116781958A
- Authority
- CN
- China
- Prior art keywords
- virtual
- camera
- picture
- machine
- rendering engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000009877 rendering Methods 0.000 claims abstract description 96
- 238000012544 monitoring process Methods 0.000 claims abstract description 39
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 8
- 230000000977 initiatory effect Effects 0.000 claims description 5
- 230000003068 static effect Effects 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000012806 monitoring device Methods 0.000 claims description 3
- 102100025232 Calcium/calmodulin-dependent protein kinase type II subunit beta Human genes 0.000 description 5
- 101001077352 Homo sapiens Calcium/calmodulin-dependent protein kinase type II subunit beta Proteins 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Studio Circuits (AREA)
Abstract
本发明公开了一种基于XR的多机位演播系统及方法，属于媒体行业虚拟制作领域，包括大屏、摄像机、多台大屏渲染引擎、AR扩展渲染引擎、AI人物抠像引擎、PVW虚拟渲染引擎和XR播控端；在机位切换前，大屏渲染引擎及AR扩展渲染引擎根据设置的当前机位信息分别渲染大屏背景内容及AR扩展内容，同时AI人物抠像引擎将设置的待切摄像机信号中人物抠出并与PVW虚拟渲染引擎画面进行叠加输出机位切换后的XR画面，用于导播进行PVW预览。本发明使得XR虚拟节目中可支持多机位拍摄，在最终节目输出时可进行实时的机位切换，并且实现多画面监看。
Description
技术领域
本发明涉及媒体行业虚拟制作技术领域，更为具体的，涉及一种基于XR的多机位演播系统及方法。
背景技术
现有在我国广电行业，通过XR技术来完成虚拟节目制作拍摄越来越多。然而节目制作过程中往往会涉及到多个机位、多个不同种类镜头切换的场景，例如主机位和侧机位两个跟踪机位来回切换。但是由于XR演播的技术特性，XR节目在拍摄过程中，同一时刻仅有一个机位才能拍摄输出正确的XR节目效果（作为背景渲染的LED大屏在同一时间只能显示其中一个机位下视角下的画面）。
目前，主流的做法是一个正确机位的XR远景镜头加多个人物特写镜头组合，如需要多个跟踪机位来回切换，则机位切换时，伴随着大屏及摄像机信号切换，会导致之间存在坏帧，影响播出安全。此现有方案同时还存在另外一个技术问题即由于同一时间只能看到PGM（即当前主机位）的正确画面，无法正确看到PVW预监应该切过来的视角画面，因此大部分多机位切换只能进行盲切，导致正式节目导切时没有安全保障。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于XR的多机位演播系统及方法，使得XR虚拟节目中可支持设置多个机位拍摄，在最终XR节目输出时可进行实时的机位切换，并且实现多画面监看，同时解决了多机位切换的安全问题等。
本发明的目的是通过以下方案实现的：
一种基于XR的多机位演播系统，包括摄像机、大屏渲染引擎、AR扩展渲染引擎、AI人物抠像引擎、PVW虚拟渲染引擎和XR播控端；
在机位切换前，大屏渲染引擎及AR扩展渲染引擎根据设置的当前机位信息分别渲染大屏背景内容及AR扩展内容，同时AI人物抠像引擎将设置的待切摄像机信号中人物抠出并与PVW虚拟渲染引擎画面进行叠加输出机位切换后的XR画面，用于导播进行PVW预览；
通过XR播控端给大屏渲染引擎及AR扩展渲染引擎发送机位切换命令，大屏渲染引擎、AR扩展渲染引擎将根据待切相机位置及镜头信息同步切换场景内容，同时AR扩展渲染引擎同步切换相机视频画面，最终播出视频信号为机位切换后后的正确的XR画面效果。
进一步地，还包括摄像机追踪设备、多画面监看设备、同步信号发生器和交换机组；所述摄像机追踪设备用于追踪摄像机的位置信息、角度旋转信息和焦距信息，并通过FreeD协议发送至所有渲染引擎中；所述多画面监看设备用于同时监看PVW待切机位合成信号和PGM当前机位XR播出信号；所述同步信号发生器用于给所有设备发送Genlock同步锁相信号，交换机组用于所有设备间信息交换。
进一步地，在多机位切换时，最终播出视频信号PGM画面无撕裂无黑场的情况。
进一步地，包括大屏，所述大屏包括LED大屏。
一种基于XR的多机位演播方法，搭建如上任一项所述的基于XR的多机位演播系统，然后执行如下XR演播流程：
步骤A1：制作虚拟场景，包含XR大屏呈现的虚拟背景以及虚拟AR元素；
步骤A2：完成多个相机标定校准以及颜色校正工作；
步骤A3：多台大屏渲染引擎帧对齐同步渲染虚拟背景，同步映射至LED大屏上；
步骤A4：摄像机拍摄真人虚景，并将视频信号一分多，一路送往多画面监看，一路传输至AR及扩展引擎，保持与大屏渲染引擎帧对齐同步完成AR及扩展画面叠加渲染，作为最终PGM信号输出。
一种基于XR的多机位演播方法，搭建如上任一项所述的基于XR的多机位演播系统，然后执行如下XR多机位监看流程：
步骤B1：将XR系统中多个摄像机所拍摄的真人虚景视频信号输入至AI抠像引擎中，完成自然场景下的人物抠像；
步骤B2：人物抠像后画面一分多，一路送往多画面监看，一路输入至PVW虚拟渲染引擎中；
步骤B3：PVW虚拟渲染引擎将AI抠像后人物画面与对应虚拟摄像机渲染画面进行叠加，叠加后画面会送往多画面用于监看；
步骤B4：PVW虚拟渲染引擎同时会输出与该真实相机视角对应的虚拟机位下的纯虚拟画面，用于多画面监看。
进一步地，在步骤B2中，所述输入至PVW虚拟渲染引擎中具体为一路带Alpha通道输入至PVW虚拟渲染引擎中。
进一步地，在步骤B3中，所述PVW虚拟渲染引擎将AI抠像后人物画面与对应虚拟摄像机渲染画面进行叠加，包括子步骤：当前真实相机AI抠像后人物画面与虚拟场景中同当前真实相机位置相对应的虚拟相机渲染画面进行叠加，待切真实相机AI抠像后人物画面与虚拟场景中同待切真实相机位置相对应的虚拟相机渲染画面进行叠加。
进一步地，在步骤B4中，所述PVW虚拟渲染引擎同时会输出多个与真实相机对应的虚拟机位下的纯虚拟画面，用于多画面监看，具体包括子步骤：演播室中有多个真实摄像机，虚拟场景中同时有多个虚拟摄像机与真实摄像机保持同一空间位置，多个虚拟摄像机将输出多路纯虚拟画面。
一种基于XR的多机位演播方法，搭建如上任一项所述的基于XR的多机位演播系统，然后执行如下XR多机位切换流程：
步骤C1：导播通过多画面监看，能够同时监看最终PGM画面、当前摄像机及待切摄像机拍摄画面、AI人物抠像后画面、当前虚拟摄像机及待切虚拟摄像机渲染画面、人物抠像后画面与待切虚拟摄像机渲染画面进行叠加作为PVW画面；
步骤C2：通过播控端发起机位切换命令，将机位从当前摄像机切换为待切摄像机，大屏渲染引擎与AR渲染引擎同步切换虚拟摄像机为待切虚拟摄像机，通过控制AR扩展渲染机器切换命令延迟，保持大屏渲染机器与AR扩展渲染机器帧对齐同步切换，同时控制PGM画面静帧延迟保证切换过程中无坏帧情况发生。
本发明的有益效果包括：
（1）本发明实现如下新功能：使得XR节目中可设置多个机位，在XR节目输出时可进行实时的机位切换，实现多画面监看，多个机位进行渲染引擎后，除PGM显示当前摄像机画面结合扩展的正确画面之外，将其他摄像机画面进行自然场景扣像，再叠加其他虚拟摄像机视角下虚拟场景，实现能让导控提前看到切换到其他摄像机时应该的视角和画面效果，即PVW预监画面。
（2）本发明实现如下新功能：步骤B1中，自然场景下人物抠像技术，AI抠像引擎将摄像机信号中的人物从自然场景中抠出，无需传统的绿幕/蓝箱环境。
（3）、本发明实现如下新功能：步骤B3中，抠像信号带Alpha通道信息传输至PVW虚拟渲染引擎进行合成，用于预监不同机位下的XR画面，保证播出安全。
（4）本发明实现如下新功能：步骤C1中，多画面监看，能够同时监看最终PGM画面、当前摄像机及待切摄像机拍摄画面、AI人物抠像后画面、当前虚拟摄像机及待切虚拟摄像机渲染画面、人物抠像后画面与待切虚拟摄像机渲染画面进行叠加作为PVW画面。
（5）本发明实现如下新功能：步骤C2中，通过控制不同机器下命令执行延迟，保证渲染画面帧同步，画面正常无撕裂穿帮。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为利用本发明实施例方法的多画面监看效果示意图；
图2为本发明实施例系统的架构示意图。
具体实施方式
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
本发明旨在提出一种基于XR的多机位演播方法，使得XR节目中可设置多个机位，在XR节目输出时可进行实时的机位切换，并且利用自然场景抠像技术，使得导播在切机位之前可实时预览PVW机位切换之后的效果，最终构思创造了一套完整的XR演播多机位系统。
本发明实施例提供的一种基于XR的多机位演播系统，包括LED大屏、摄像机、摄像机追踪设备、多台大屏渲染引擎、AR扩展渲染引擎、AI人物抠像引擎、Preview虚拟渲染引擎、多画面监看设备、同步信号发生器及交换机组成。
在机位切换前，大屏渲染引擎及AR扩展渲染引擎根据设置的当前机位信息分别渲染大屏背景内容及AR扩展内容，同时AI人物抠像引擎将设置的待切摄像机信号中人物抠出并与PVW虚拟渲染引擎画面进行叠加输出机位切换后的XR画面，用于导播进行PVW预览；
通过播控端发起机位切换命令，将机位从当前摄像机切换为其他摄像机，大屏渲染引擎与AR渲染引擎同步切换虚拟摄像机为其他虚拟摄像机，通过控制AR扩展渲染机器切换命令延迟，保持大屏渲染机器与AR扩展渲染机器帧对齐同步切换，同时控制PGM画面静帧延迟保证切换过程中无坏帧情况发生。
本发明实施例提供的一种基于XR的多机位演播方法，如图1和图2所示，具体包括如下步骤：在提供的基础XR多机位系统环境搭建完成后，执行以下XR演播流程：
步骤A1：制作虚拟场景，包含XR大屏呈现的虚拟背景以及虚拟AR元素；
步骤A2：完成多个相机标定校准以及颜色校正工作；
步骤A3：多台大屏渲染引擎帧对齐同步渲染虚拟背景，同步映射至LED大屏上；
步骤A4：摄像机拍摄真人虚景(CAM1和CAM2），并将视频信号一分多，一路送往多画面监看，一路传输至AR及扩展引擎，保持与大屏渲染引擎帧对齐同步完成AR及扩展画面叠加渲染，作为最终PGM信号输出；
在其他实施方式中，本发明实施例提供的一种基于XR的多机位演播方法，包括执行以下XR多机位监看流程：
步骤B1：将XR系统中多个摄像机所拍摄的真人虚景视频信号输入至AI抠像引擎中，完成自然场景下的人物抠像（CAM1 FG和CAM2 FG）；
步骤B2：人物抠像后画面一分多，一路送往多画面监看，一路带Alpha通道输入至PVW虚拟渲染引擎中，此时渲染对应相机的虚拟渲染画面（CAM1 BG和CAM2 BG）；
步骤B3：PVW虚拟渲染引擎会将AI抠像后人物画面与对应虚拟摄像机渲染画面进行叠加，例如当前真实相机AI抠像后人物画面会与虚拟场景中同当前真实相机位置相对应的虚拟相机渲染画面进行叠加，其他相机同理，叠加后画面会送往多画面用于监看（CAM1VF和CAM2 VF）；
步骤B4：PVW虚拟渲染引擎同时会输出多个与真实相机对应的虚拟机位下的纯虚拟画面（CAM2 VF），例如演播室中有多个真实摄像机，虚拟场景中同时有多个虚拟摄像机与真实摄像机保持同一空间位置，多个虚拟摄像机将输出多路纯虚拟画面用于多画面监看；
在其他实施方式中，本发明实施例提供的一种基于XR的多机位演播方法，包括执行以下XR多机位切换流程：
步骤C1：能够同时监看最终PGM画面（PGM OUT）、当前摄像机及待切摄像机拍摄画面(CAM1和CAM2）、AI人物抠像后画面（CAM1 FG和CAM2 FG）、当前虚拟摄像机及待切虚拟摄像机渲染画面（CAM1 BG和CAM2 BG）、人物抠像后画面与待切虚拟摄像机渲染画面进行叠加作为PVW画面（CAM2 VF）；
步骤C2：通过播控端发起机位切换命令，将机位从当前摄像机切换为其他摄像机，大屏渲染引擎与AR渲染引擎同步切换虚拟摄像机为其他虚拟摄像机，通过控制AR扩展渲染机器切换命令延迟，保持大屏渲染机器与AR扩展渲染机器帧对齐同步切换，同时控制PGM画面静帧延迟保证切换过程中无坏帧情况发生。
利用本发明实施例技术方案得到如图1多画面监看所示，多个机位进行渲染引擎后，除PGM显示当前摄像机画面结合扩展的正确画面之外，我们系统将其他摄像机画面进行自然场景扣像，再叠加其他虚拟摄像机视角下虚拟场景，实现能让导控提前看到切换到其他摄像机时应该的视角和画面效果，即PVW预监画面（CAM2 VF）。
需要说明的是，在本发明权利要求书中所限定的保护范围内，以下实施例均可以从上述具体实施方式中，例如公开的技术原理，公开的技术特征或隐含公开的技术特征等，以合乎逻辑的任何方式进行组合和/或扩展、替换。
实施例1
一种基于XR的多机位演播系统，包括摄像机、大屏渲染引擎、AR扩展渲染引擎、AI人物抠像引擎、PVW虚拟渲染引擎和XR播控端；
在机位切换前，大屏渲染引擎及AR扩展渲染引擎根据设置的当前机位信息分别渲染大屏背景内容及AR扩展内容，同时AI人物抠像引擎将设置的待切摄像机信号中人物抠出并与PVW虚拟渲染引擎画面进行叠加输出机位切换后的XR画面，用于导播进行PVW预览；
通过XR播控端给大屏渲染引擎及AR扩展渲染引擎发送机位切换命令，大屏渲染引擎、AR扩展渲染引擎将根据待切相机位置及镜头信息同步切换场景内容，同时AR扩展渲染引擎同步切换相机视频画面，最终播出视频信号为机位切换后后的正确的XR画面效果。
实施例2
在实施例1的基础上，还包括摄像机追踪设备、多画面监看设备、同步信号发生器和交换机组；所述摄像机追踪设备用于追踪摄像机的位置信息、角度旋转信息和焦距信息，并通过FreeD协议发送至所有渲染引擎中；所述多画面监看设备用于同时监看PVW待切机位合成信号和PGM当前机位XR播出信号；所述同步信号发生器用于给所有设备发送Genlock同步锁相信号，交换机组用于所有设备间信息交换。
实施例3
在实施例1的基础上，在多机位切换时，最终播出视频信号PGM画面无撕裂无黑场的情况。
实施例4
在实施例1的基础上，包括大屏，所述大屏包括LED大屏。
实施例5
一种基于XR的多机位演播方法，搭建如实施例1~实施例2中任一项所述的基于XR的多机位演播系统，然后执行如下XR演播流程：
步骤A1：制作虚拟场景，包含XR大屏呈现的虚拟背景以及虚拟AR元素；
步骤A2：完成多个相机标定校准以及颜色校正工作；
步骤A3：多台大屏渲染引擎帧对齐同步渲染虚拟背景，同步映射至LED大屏上；
步骤A4：摄像机拍摄真人虚景，并将视频信号一分多，一路送往多画面监看，一路传输至AR及扩展引擎，保持与大屏渲染引擎帧对齐同步完成AR及扩展画面叠加渲染，作为最终PGM信号输出。
实施例6
一种基于XR的多机位演播方法，搭建如实施例1~实施例2中任一项所述的基于XR的多机位演播系统，然后执行如下XR多机位监看流程：
步骤B1：将XR系统中多个摄像机所拍摄的真人虚景视频信号输入至AI抠像引擎中，完成自然场景下的人物抠像；
步骤B2：人物抠像后画面一分多，一路送往多画面监看，一路输入至PVW虚拟渲染引擎中；
步骤B3：PVW虚拟渲染引擎将AI抠像后人物画面与对应虚拟摄像机渲染画面进行叠加，叠加后画面会送往多画面用于监看；
步骤B4：PVW虚拟渲染引擎同时会输出与该真实相机视角对应的虚拟机位下的纯虚拟画面，用于多画面监看。
实施例7
在实施例6的基础上，在步骤B2中，所述输入至PVW虚拟渲染引擎中具体为一路带Alpha通道输入至PVW虚拟渲染引擎中。
实施例8
在实施例6的基础上，在步骤B3中，所述PVW虚拟渲染引擎将AI抠像后人物画面与对应虚拟摄像机渲染画面进行叠加，包括子步骤：当前真实相机AI抠像后人物画面与虚拟场景中同当前真实相机位置相对应的虚拟相机渲染画面进行叠加，待切真实相机AI抠像后人物画面与虚拟场景中同待切真实相机位置相对应的虚拟相机渲染画面进行叠加。
实施例9
在实施例6的基础上，在步骤B4中，所述PVW虚拟渲染引擎同时会输出多个与真实相机对应的虚拟机位下的纯虚拟画面，用于多画面监看，具体包括子步骤：演播室中有多个真实摄像机，虚拟场景中同时有多个虚拟摄像机与真实摄像机保持同一空间位置，多个虚拟摄像机将输出多路纯虚拟画面。
实施例10
一种基于XR的多机位演播方法，搭建如实施例1~实施例2中任一项所述的基于XR的多机位演播系统，然后执行如下XR多机位切换流程：
步骤C1：导播通过多画面监看，能够同时监看最终PGM画面、当前摄像机及待切摄像机拍摄画面、AI人物抠像后画面、当前虚拟摄像机及待切虚拟摄像机渲染画面、人物抠像后画面与待切虚拟摄像机渲染画面进行叠加作为PVW画面；
步骤C2：通过播控端发起机位切换命令，将机位从当前摄像机切换为待切摄像机，大屏渲染引擎与AR渲染引擎同步切换虚拟摄像机为待切虚拟摄像机，通过控制AR扩展渲染机器切换命令延迟，保持大屏渲染机器与AR扩展渲染机器帧对齐同步切换，同时控制PGM画面静帧延迟保证切换过程中无坏帧情况发生。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
根据本发明实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
作为另一方面，本发明实施例还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (10)
1.一种基于XR的多机位演播系统，其特征在于，包括摄像机、大屏渲染引擎、AR扩展渲染引擎、AI人物抠像引擎、PVW虚拟渲染引擎和XR播控端；
在机位切换前，大屏渲染引擎及AR扩展渲染引擎根据设置的当前机位信息分别渲染大屏背景内容及AR扩展内容，同时AI人物抠像引擎将设置的待切摄像机信号中人物抠出并与PVW虚拟渲染引擎画面进行叠加输出机位切换后的XR画面，用于导播进行PVW预览；
通过XR播控端给大屏渲染引擎及AR扩展渲染引擎发送机位切换命令，大屏渲染引擎、AR扩展渲染引擎将根据待切相机位置及镜头信息同步切换场景内容，同时AR扩展渲染引擎同步切换相机视频画面，最终播出视频信号为机位切换后后的正确的XR画面效果。
2.根据权利要求1所述的基于XR的多机位演播系统，其特征在于，还包括摄像机追踪设备、多画面监看设备、同步信号发生器和交换机组；所述摄像机追踪设备用于追踪摄像机的位置信息、角度旋转信息和焦距信息，并通过FreeD协议发送至渲染引擎中；所述多画面监看设备用于同时监看PVW待切机位合成信号和PGM当前机位XR播出信号；所述同步信号发生器用于发送Genlock同步锁相信号；所述交换机组用于设备间信息交换。
3.根据权利要求1所述的基于XR的多机位演播系统，其特征在于，在多机位切换时，最终播出视频信号PGM画面无撕裂无黑场的情况。
4.根据权利要求1所述的基于XR的多机位演播系统，其特征在于，大屏包括LED大屏。
5.一种基于XR的多机位演播方法，其特征在于，搭建如权利要求1~2中任一项所述的基于XR的多机位演播系统，然后执行如下XR演播流程：
步骤A1：制作虚拟场景，包含XR大屏呈现的虚拟背景以及虚拟AR元素；
步骤A2：完成多个相机标定校准以及颜色校正工作；
步骤A3：多台大屏渲染引擎帧对齐同步渲染虚拟背景，同步映射至大屏上；
步骤A4：摄像机拍摄真人虚景，并将视频信号一分多，一路送往多画面监看，一路传输至AR扩展渲染引擎，保持与大屏渲染引擎帧对齐同步完成AR及扩展画面叠加渲染，作为最终PGM信号输出。
6.一种基于XR的多机位演播方法，其特征在于，搭建如权利要求1~2中任一项所述的基于XR的多机位演播系统，然后执行如下XR多机位监看流程：
步骤B1：将多个摄像机所拍摄的真人虚景视频信号输入至AI抠像引擎中，完成自然场景下的人物抠像；
步骤B2：人物抠像后画面一分多，一路送往多画面监看，一路输入至PVW虚拟渲染引擎中；
步骤B3：PVW虚拟渲染引擎将AI抠像后人物画面与对应虚拟摄像机渲染画面进行叠加，叠加后画面送往多画面用于监看；
步骤B4：PVW虚拟渲染引擎同时输出与真实相机视角对应的虚拟机位下的纯虚拟画面，用于多画面监看。
7.根据权利要求6所述的基于XR的多机位演播方法，其特征在于，在步骤B2中，所述输入至PVW虚拟渲染引擎中具体为一路带Alpha通道输入至PVW虚拟渲染引擎中。
8.根据权利要求6所述的基于XR的多机位演播方法，其特征在于，在步骤B3中，所述PVW虚拟渲染引擎将AI抠像后人物画面与对应虚拟摄像机渲染画面进行叠加，包括子步骤：当前真实相机AI抠像后人物画面与虚拟场景中同当前真实相机位置相对应的虚拟相机渲染画面进行叠加，待切真实相机AI抠像后人物画面与虚拟场景中同待切真实相机位置相对应的虚拟相机渲染画面进行叠加。
9.根据权利要求6所述的基于XR的多机位演播方法，其特征在于，在步骤B4中，所述PVW虚拟渲染引擎同时输出多个与真实相机对应的虚拟机位下的纯虚拟画面，用于多画面监看，具体包括子步骤：演播室中有多个真实摄像机，虚拟场景中同时有多个虚拟摄像机与真实摄像机保持同一空间位置，多个虚拟摄像机将输出多路纯虚拟画面。
10.一种基于XR的多机位演播方法，其特征在于，搭建如权利要求1~2中任一项所述的基于XR的多机位演播系统，然后执行如下XR多机位切换流程：
步骤C1：导播通过多画面监看，能够同时监看最终PGM画面、当前摄像机及待切摄像机拍摄画面、AI人物抠像后画面、当前虚拟摄像机及待切虚拟摄像机渲染画面和人物抠像后画面与待切虚拟摄像机渲染画面进行叠加得到的PVW画面；
步骤C2：通过播控端发起机位切换命令，将机位从当前摄像机切换为待切摄像机，大屏渲染引擎与AR扩展渲染引擎同步切换虚拟摄像机为待切虚拟摄像机，通过控制AR扩展渲染引擎切换命令延迟，保持大屏渲染引擎与AR扩展渲染引擎帧对齐同步切换，同时控制PGM画面静帧延迟保证切换过程中无坏帧情况发生。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311042399.5A CN116781958B (zh) | 2023-08-18 | 2023-08-18 | 一种基于xr的多机位演播系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311042399.5A CN116781958B (zh) | 2023-08-18 | 2023-08-18 | 一种基于xr的多机位演播系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116781958A true CN116781958A (zh) | 2023-09-19 |
| CN116781958B CN116781958B (zh) | 2023-11-07 |
Family
ID=88013765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311042399.5A Active CN116781958B (zh) | 2023-08-18 | 2023-08-18 | 一种基于xr的多机位演播系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116781958B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117939184A (zh) * | 2024-03-25 | 2024-04-26 | 成都索贝数码科技股份有限公司 | 一种体育转播场地的广告植入方法、装置、设备及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101465957A (zh) * | 2008-12-30 | 2009-06-24 | 应旭峰 | 一种虚拟三维场景中实现遥控互动的系统 |
| US20120013621A1 (en) * | 2010-07-15 | 2012-01-19 | Miniclip SA | System and Method for Facilitating the Creation of Animated Presentations |
| CN106445437A (zh) * | 2016-09-08 | 2017-02-22 | 深圳市金立通信设备有限公司 | 一种终端及其视角切换方法 |
| CN107092359A (zh) * | 2017-04-24 | 2017-08-25 | 北京小米移动软件有限公司 | 虚拟现实视角重定位方法、装置及终端 |
| CN114518825A (zh) * | 2022-02-14 | 2022-05-20 | 广州塔普鱼网络科技有限公司 | 一种基于xr技术的人机交互方法及系统 |
| CN114727126A (zh) * | 2022-04-12 | 2022-07-08 | 杭州当虹科技股份有限公司 | 一种将图像缝合应用于多机位vr导播台的实现方法 |
| CN115209172A (zh) * | 2022-07-13 | 2022-10-18 | 成都索贝数码科技股份有限公司 | 一种基于xr的异地互动演出的方法 |
| CN116071471A (zh) * | 2022-12-31 | 2023-05-05 | 杭州趣看科技有限公司 | 一种基于虚幻引擎的多机位渲染方法与装置 |
| US20230196673A1 (en) * | 2021-12-20 | 2023-06-22 | Recon Labs Inc. | Method and system for providing automated 3d modeling for xr online platform |
-
2023
- 2023-08-18 CN CN202311042399.5A patent/CN116781958B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101465957A (zh) * | 2008-12-30 | 2009-06-24 | 应旭峰 | 一种虚拟三维场景中实现遥控互动的系统 |
| US20120013621A1 (en) * | 2010-07-15 | 2012-01-19 | Miniclip SA | System and Method for Facilitating the Creation of Animated Presentations |
| CN106445437A (zh) * | 2016-09-08 | 2017-02-22 | 深圳市金立通信设备有限公司 | 一种终端及其视角切换方法 |
| CN107092359A (zh) * | 2017-04-24 | 2017-08-25 | 北京小米移动软件有限公司 | 虚拟现实视角重定位方法、装置及终端 |
| US20230196673A1 (en) * | 2021-12-20 | 2023-06-22 | Recon Labs Inc. | Method and system for providing automated 3d modeling for xr online platform |
| CN114518825A (zh) * | 2022-02-14 | 2022-05-20 | 广州塔普鱼网络科技有限公司 | 一种基于xr技术的人机交互方法及系统 |
| CN114727126A (zh) * | 2022-04-12 | 2022-07-08 | 杭州当虹科技股份有限公司 | 一种将图像缝合应用于多机位vr导播台的实现方法 |
| CN115209172A (zh) * | 2022-07-13 | 2022-10-18 | 成都索贝数码科技股份有限公司 | 一种基于xr的异地互动演出的方法 |
| CN116071471A (zh) * | 2022-12-31 | 2023-05-05 | 杭州趣看科技有限公司 | 一种基于虚幻引擎的多机位渲染方法与装置 |
Non-Patent Citations (1)
| Title |
|---|
| 武娟，刘晓军，徐晓青: ""扩展现实（XR）关键技术研究"", 广东通信技术 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117939184A (zh) * | 2024-03-25 | 2024-04-26 | 成都索贝数码科技股份有限公司 | 一种体育转播场地的广告植入方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116781958B (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021179783A1 (zh) | 基于自由视点的视频直播处理方法、设备、系统、芯片及介质 | |
| CN109639933B (zh) | 一种虚拟演播室360度全景节目制作的方法及系统 | |
| CN116781958B (zh) | 一种基于xr的多机位演播系统及方法 | |
| CN110225224B (zh) | 虚拟形象的导播方法、装置及系统 | |
| CN100546360C (zh) | 视频处理装置，及添加时间代码和准备编辑列表的方法 | |
| WO2016139898A1 (ja) | ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法 | |
| CN115380539B (zh) | 处理视频的装置和系统 | |
| CN114727126A (zh) | 一种将图像缝合应用于多机位vr导播台的实现方法 | |
| US9842572B2 (en) | Methods and apparatus for displaying video including variable frame rates | |
| US10015531B1 (en) | Occlusionless method for virtual image insertion | |
| CN106412617A (zh) | 远程调试控制方法及装置 | |
| CN113938617A (zh) | 一种多路视频显示方法、设备、网络摄像机及存储介质 | |
| CN116320363B (zh) | 一种多角度虚拟现实拍摄方法及系统 | |
| CN116260956B (zh) | 一种虚拟现实拍摄方法及系统 | |
| WO2023236656A1 (zh) | 互动画面的渲染方法、装置、设备、存储介质及程序产品 | |
| JP5134273B2 (ja) | ビデオ信号合成装置および出力ビデオ画像ストリームを第１入力ビデオ画像ストリームから第２入力ビデオ画像ストリームに切り換える方法 | |
| CN112019921A (zh) | 应用于虚拟演播室的肢体动作数据处理方法 | |
| CN114762353B (zh) | 实时播放由多个摄像头输入的虚拟现实影像的装置及方法 | |
| CN115914718A (zh) | 截取引擎渲染内容的虚拟制片视频重映方法及系统 | |
| CN116506563A (zh) | 虚拟场景渲染方法、装置、电子设备以及存储介质 | |
| JP4608139B2 (ja) | 画像合成方法及び画像合成装置 | |
| CN112019922A (zh) | 应用于虚拟演播室的面部表情数据处理方法 | |
| CN112637488B (zh) | 一种音视频同步播放系统的边缘融合方法及其装置 | |
| CN114915802B (zh) | 一种虚拟现实多功能直播系统及方法 | |
| CN113691746B (zh) | Led背景和绿幕拍摄合成方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |