CN115580691A - 一种用于虚拟制片的图像渲染合成系统 - Google Patents

一种用于虚拟制片的图像渲染合成系统 Download PDF

Info

Publication number
CN115580691A
CN115580691A CN202211168339.3A CN202211168339A CN115580691A CN 115580691 A CN115580691 A CN 115580691A CN 202211168339 A CN202211168339 A CN 202211168339A CN 115580691 A CN115580691 A CN 115580691A
Authority
CN
China
Prior art keywords
virtual
video data
data
dimensional coordinate
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211168339.3A
Other languages
English (en)
Inventor
孔明泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuanshu Border Culture Co ltd
Original Assignee
Shenzhen Yuanshu Border Culture Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuanshu Border Culture Co ltd filed Critical Shenzhen Yuanshu Border Culture Co ltd
Priority to CN202211168339.3A priority Critical patent/CN115580691A/zh
Publication of CN115580691A publication Critical patent/CN115580691A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种用于虚拟制片的图像渲染合成系统，包括LED箱体、主拍摄设备、动态定位拍摄设备、虚拟对象控制服务器、渲染服务器和合成服务器。在虚拟制片的设备中增加一组动态定位拍摄设备，以从不同于主拍摄设备的视角同步拍摄一组定位视频数据，这组定位视频数据专门用于联合主视频数据来更精确地确定实体对象的空间位置，从而在后期进行渲染插入虚拟对象时，可以获知更多的空间位置信息，以保证插入的虚拟对象与实体对象的空间位置关系更准确。

Description

一种用于虚拟制片的图像渲染合成系统
技术领域
本申请涉及虚拟制片领域，具体涉及一种用于虚拟制片的图像渲染合成系统。
背景技术
随着电影制片技术的发展，越来越多的电影特效内容都由后期图像渲染合成到实景拍摄视频中。尤其是当前直播行业成为了一种新兴的商业模式，越来越多的商业主体，通过专业或非专业的直播间进行实时拍摄，同时输出带有虚拟场景、虚拟对象、虚拟特效等内容的视频。虚拟直播对实时性有要求，需要对实时拍摄的视频内容进行处理。例如，在图像中插入虚拟对象为常用的一种处理方法。然而，在进行虚拟对象的插入时，常常会出现虚拟对象与实体对象之间的空间位置关系错误，例如本应该被实体对象挡住的虚拟对象却出现在了实体对象的前面。使得最终输出的图像不真实，后期处理的痕迹非常明显。
发明内容
本申请提供了一种用于虚拟制片的图像渲染合成系统，解决了现有技术中虚拟制片输出的图像中，实体对象与虚拟对象空间位置关系错误的问题。
本申请提供了一种用于虚拟制片的图像渲染合成系统，包括：
LED箱体，其包括用于显示虚拟图像的LED屏幕；
主拍摄设备，用于对实体对象进行追踪拍摄，以输出实体对象的主视频数据；
动态定位拍摄设备，所述动态定位拍摄设备可在所述LED箱体的所有LED屏幕所在的一侧移动，并与所述主拍摄设备对所述实体对象具有不同的拍摄视角；所述动态定位摄像设备用于输出与所述主拍摄设备不同拍摄视角的所述实体对象的定位视频数据；
虚拟对象控制服务器，所述虚拟对象控制服务器包括虚拟对象资产库；所述虚拟对象控制服务器用于基于用户的操作指令，从所述虚拟对象资产库中确定需要插入的虚拟对象；
渲染服务器，用于根据所述主拍摄设备中的实体相机的位置数据确定虚拟相机的位置数据；
所述渲染服务器还用于根据所述定位视频数据和所述主视频数据，确定所述实体对象的空间位置信息，并根据所述空间位置信息和所述虚拟相机的位置数据渲染得到虚拟图像数据；所述虚拟图像数据融合有所述虚拟对象；
合成服务器，用于获取所述主视频数据和所述融合有虚拟对象的虚拟图像数据，并将两者进行合成，以输出合成图像数据，用于显示。
在一实施例中，所述虚拟对象控制服务器还用于获取用户输入的表示是否参考所述动态定位摄像设备提供的定位视频数据以进行虚拟对象插入的指令；所述渲染服务器用于在确定到所述指令表征需要参考所述动态定位摄像设备提供的定位视频数据以进行虚拟对象插入时，根据所述定位视频数据和所述主视频数据，确定所述实体对象的空间位置信息，并根据所述空间位置信息和所述虚拟相机的位置数据渲染得到虚拟图像数据；否则所述渲染服务器用于根据所述虚拟相机的位置数据渲染得到虚拟图像数据。
在一实施例中，所述虚拟对象资产库中包括各个虚拟对象的特征信息；所述渲染服务器还用于根据所述空间位置信息、所述虚拟相机的位置数据和所述虚拟对象的特征信息渲染得到虚拟图像数据。
在一实施例中，所述LED灯箱体包括地面幕、左侧幕、右侧幕和背景幕，所述动态定位拍摄设备包括沿所述左侧幕、所述右侧幕和所述背景幕顶边设置的轨道，所述动态定位拍摄设备的相机可沿所述轨道移动，以从不同视角获取所述定位视频数据。
在一实施例中，所述渲染服务器用于根据所述定位视频数据和所述主视频数据，确定所述实体对象的空间位置信息；包括：
所述渲染服务器用于根据所述定位视频数据确定所述实体对象相对于第一三维坐标系的坐标数据，根据所述主视频数据确定所述实体对象相对于第二三维坐标系的坐标数据；
所述渲染服务器还用于根据所述实体对象相对于所述第一三维坐标系的坐标数据和所述实体对象相对于所述第二三维坐标系的坐标数据确定所述实体对象的空间位置信息；
所述第一三维坐标系与所述第二三维坐标系的原点不同，所述第一三维坐标系基于所述动态定位拍摄设备的位置预先定义，所述第二三维坐标系基于所述主拍摄设备的位置预先定义。
在一实施例中，所述第一三维坐标系包括原点分别位于所述左侧幕、所述右侧幕、所述背景幕所在平面上的第一子三维坐标系、第二子三维坐标系和第三子三维坐标系；
所述渲染服务器用于根据所述定位视频数据确定所述实体对象相对于第一三维坐标系的坐标数据，包括：
所述渲染服务器用于根据所述定位视频数据确定所述实体对象分别相对于所述第一子三维坐标系、所述第二子三维坐标系、所述第三子三维坐标系的坐标数据。
在一实施例中，所述渲染服务器用于根据所述定位视频数据确定所述实体对象分别相对于所述第一子三维坐标系、所述第二子三维坐标系、所述第三子三维坐标系的坐标数据包括：
所述渲染服务器用于根据所述动态定位拍摄设备位于所述左侧幕顶边轨道获取的定位视频数据确定所述实体对象相对于所述第一子三维坐标系的坐标数据；
所述渲染服务器用于根据所述动态定位拍摄设备位于所述右侧幕顶边轨道获取的定位视频数据确定所述实体对象相对于所述第二子三维坐标系的坐标数据；
所述渲染服务器用于根据所述动态定位拍摄设备位于所述背景幕顶边轨道获取的定位视频数据确定所述实体对象相对于所述第三子三维坐标系的坐标数据。
在一实施例中，所述虚拟对象控制服务器包括一可运行软件应用，并在运行软件应用后可为用户提供交互界面的电子设备。
在一实施例中，所述用于虚拟制片的图像渲染合成系统，还包括：
视角联动控制设备，用于基于所述主拍摄设备的视角位置确定所述动态定位拍摄设备的视角位置，并控制所述动态定位拍摄设备移动到对应的视角位置。
在一实施例中，所述视角联动控制设备用于将所述动态定位拍摄设备移动到所述主拍摄设备位置与所述实体对象连线的夹角接近180度的最大角度位置。
本申请的有益效果在于：在虚拟制片的设备中增加一组动态定位拍摄设备，以从不同于主拍摄设备的视角同步拍摄一组定位视频数据，这组定位视频数据专门用于联合主视频数据来更精确地确定实体对象的空间位置，从而在后期进行渲染插入虚拟对象时，可以获知更多的空间位置信息，以保证插入的虚拟对象与实体对象的空间位置关系更准确。
附图说明
图1为一实施例中用于虚拟制片的图像渲染合成系统的架构示意图；
图2为一实施例中虚拟对象控制服务器上的软件应用的一种界面图；
图3为一实施例中四面屏组的布置方案示意图；
图4为一实施例中三面屏组的布置方案示意图；
图5为一实施例中三维坐标系的定义示意图；
图6为一实施例中确定动态定位拍摄设备位置的示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
中国专利申请202111180171.3(文献1)公开了一种LED环幕虚拟制片系统，其主要公开了在LED环幕虚拟制片过程中，真实相机与虚拟相机之间的联动机制。
中国专利202010934566.7(文献2)公开了一种实时虚拟场景LED拍摄系统及方法，其主要公开了在虚拟制片过程中，虚幻引擎的图像渲染机制。
中国专利202210132553.7(文献3)公开了一种基于高清多屏的虚拟演播方法、系统，其主要公开了在虚拟演播过程中，虚幻引擎对图像的处理机制。
本申请实施例中提供的用于虚拟制片的图像渲染合成系统中的部分设备的工作原理与文献1-3公开的部分设备类似，可参考使用，本实施例未对这些设备做过多的详细描述。
如图1所示，本申请实施例提供了一种用于虚拟制片的图像渲染合成系统，包括LED箱体101、主拍摄设备102、动态定位拍摄设备103、虚拟对象控制服务器104、渲染服务器105和合成服务器106。
LED箱体101包括用于显示虚拟图像的LED屏幕。
主拍摄设备102用于对实体对象进行追踪拍摄，以输出实体对象的主视频数据。
动态定位拍摄设备103可在LED箱体101的所有LED屏幕所在的一侧移动，并与主拍摄设备102对实体对象具有不同的拍摄视角；动态定位摄像设备103用于输出与主拍摄设备102不同拍摄视角的实体对象的定位视频数据。
虚拟对象控制服务器104包括虚拟对象资产库；虚拟对象控制服务器104用于基于用户的操作指令，从虚拟对象资产库中确定需要插入的虚拟对象。
渲染服务器105用于根据主拍摄设备102中的实体相机的位置数据确定虚拟相机的位置数据。
渲染服务器105还用于根据定位视频数据和主视频数据，确定实体对象的空间位置信息，并根据空间位置信息和虚拟相机的位置数据渲染得到虚拟图像数据；虚拟图像数据融合有用户选择插入的虚拟对象。
合成服务器106用于获取主视频数据和融合有虚拟对象的虚拟图像数据，并将两者进行合成，以输出合成图像数据，用于显示。
本实施例提供的用于虚拟制片的图像渲染合成系统，通过增加动态定位拍摄设备103，以获取与主拍摄设备102不同视角下实体对象的定位视频数据，在后期图像渲染插入虚拟对象时，可以进一步参考定位视频数据，以确定实体对象的空间位置信息，进而使得插入的虚拟对象与实体对象之间的空间位置关系更加准确。避免了最终输出的图像中，虚拟对象与实体对象之间的空间位置关系错误，后期处理痕迹明显的问题。
图1示出的用于虚拟制片的图像渲染合成系统还包括交换机107、LED屏幕视频处理器108和导播系统109。
交换机107用于在渲染服务器105和合成服务器106等设备之间进行数据传输，通常的，为了保证数据传输的速度，通常交换机107可选择万兆交换机。
LED屏幕视频处理器108用于将生成的部分虚拟图像进行处理，以显示到LED箱体101中的各个LED屏幕上。
导播系统109用于将最终输出的合成图像数据进行展示，以根据现场需求进行导播，进一步，还可以用于进行视频录制。
需要说明的是，图1仅示出了涉及本申请实施例提供的用于虚拟制片的图像渲染合成系统的部分设备，在其他实施例中，也可以包括更多的设备。
在一实施例中，虚拟对象控制服务器104包括一可运行软件应用，并在运行软件应用后可为用户提供交互界面的电子设备。如图2所示，其示出了该软件应用的一种界面图，可由用于选择插入的虚拟对象。
本实施例中，虚拟对象控制服务器104可以通过安装对象的软件应用以实现相应的功能，这为实际生活中要实现定制化的虚拟制片系统提供了更灵活地选择。实现虚拟对象控制服务器104的软件应用可以通过专有商业软件应用进行交易，以实用产品的商业化。
在一实施例中，虚拟对象控制服务器104还用于获取用户输入的表示是否参考动态定位摄像设备103提供的定位视频数据以进行虚拟对象插入的指令；渲染服务器105用于在确定到指令表征需要参考动态定位摄像设备103提供的定位视频数据以进行虚拟对象插入时，根据定位视频数据和主视频数据，确定实体对象的空间位置信息，并根据空间位置信息和虚拟相机的位置数据渲染得到虚拟图像数据；否则渲染服务器105用于根据虚拟相机的位置数据渲染得到虚拟图像数据。
本实施例中，在确定实体对象的空间位置信息时，可由用户选择是否参考动态定位摄像设备103获取的定位视频数据。一方面，考虑到摄像现场可能未安装对应的动态定位拍摄设备103等硬件，可以在没有硬件条件时，在确定实体对象的空间位置信息时关闭参考定位视频数据的功能，避免影响正常的图像处理功能；另一方面，对于部分对空间位置影响不大的摄像环境，可选择性地关闭动态定位拍摄设备103，以提高图像渲染速度，在空间信息能够满足需求的前提下，尽可能提高渲染速度，以更好地满足实时性要求。
在一实施例中，虚拟对象资产库中包括各个虚拟对象的特征信息；渲染服务器105还用于根据空间位置信息、虚拟相机的位置数据和虚拟对象的特征信息渲染得到虚拟图像数据。
本实施例中，为了进一步得到虚拟对象与实体对象更准确的空间位置关系，虚拟对象资产库中的各个虚拟对象本身具有对应的特征信息，例如虚拟对象名称。在渲染服务器105进行图像融合时，可以参考该特征信息，以得到更准确的虚拟对象与实体对象的空间位置关系。
具体的，渲染服务器105在根据虚拟对象的特征信息进行图像融合时，可以基于配置好地机器学习模型进行进行图像处理。该机器学习模型是基于样本数据库进行训练得到的，并且这样本数据库中的样本包括虚拟对象的不同特征信息作为标签。
在一实施例中，如图3所示，LED灯箱体101包括地面幕201、左侧幕202、右侧幕203和背景幕204，动态定位拍摄设备103包括沿左侧幕202、右侧幕203和背景幕204顶边设置的轨道205，动态定位拍摄设备103的相机可沿轨道移动，以从不同视角获取定位视频数据。
本实施例提供了一种用于四面屏组的动态定位拍摄设备103布置方案，在其他实施例中，也可以根据不同的屏组设置对应的动态定位拍摄设备103。
例如，在另一实施例中，如图4所示，提供了一种三面屏组的动态定位拍摄设备103布置方案。
在图3所示的四面屏组实施例中，渲染服务器105用于根据定位视频数据和主视频数据，确定实体对象的空间位置信息；包括：
渲染服务器105用于根据定位视频数据确定实体对象相对于第一三维坐标系的坐标数据，根据主视频数据确定实体对象相对于第二三维坐标系的坐标数据。
渲染服务器105还用于根据实体对象相对于第一三维坐标系的坐标数据和实体对象相对于第二三维坐标系的坐标数据确定实体对象的空间位置信息。
第一三维坐标系与第二三维坐标系的原点不同，第一三维坐标系基于动态定位拍摄设备103的位置预先定义，第二三维坐标系基于主拍摄设备102的位置预先定义。
需要说明的是，动态定位拍摄设备103的第一三维坐标系与主拍摄设备102的第二三维坐标系可以根据实际情况进行定义，其作用在于通过不同视角的动态定位拍摄设备103和主拍摄设备102所得到的三维坐标来得到至少两种不同视角的实体对象的坐标数据，进而进行参考得到更准确的坐标数据。
如图5所示，在一实施例中，第一三维坐标系包括原点分别位于左侧幕202、右侧幕203、背景幕204所在平面上的第一子三维坐标系、第二子三维坐标系和第三子三维坐标系。
渲染服务器105用于根据定位视频数据确定实体对象相对于第一三维坐标系的坐标数据，包括：
渲染服务器105用于根据定位视频数据确定实体对象分别相对于第一子三维坐标系、第二子三维坐标系、第三子三维坐标系的坐标数据。
本实施例中，左侧幕202、右侧幕203、背景幕204分别对应在一子三维坐标系。由于动态定位拍摄设备103提供的定位视频数据仅用于得到实体对象的空间坐标数据，因此，分别针对不同侧的屏幕定义不同的三维坐标系，可以在不影响数据量的情况下，尽可能充分利用定位视频数据，以得到不同维度的坐标数据，进一步提高空间定位的准确性。
需要说明的是，三维坐标系可以根据实际采用的图像处理算法进行定义，本申请实施例中仅提供一基础的定义方案，以说明其原理。
通常的，LED屏幕在搭建完毕后，需要对频闪、摩尔纹、帧率和同步锁等问题进行调试，设置好合适的参数后才能对后续流程提供环境基础。此时，也需要根据虚拟对象控制服务器104中的软件应用设置布置相应的硬件设施。并且，在渲染调试时也要重点进行抠像调试，以保证虚拟图像与实体对象融合的准确性。
在一实施例中，渲染服务器105用于根据定位视频数据确定实体对象分别相对于第一子三维坐标系、第二子三维坐标系、第三子三维坐标系的坐标数据包括：
渲染服务器105用于根据动态定位拍摄设备103位于左侧幕202顶边轨道获取的定位视频数据确定实体对象相对于第一子三维坐标系的坐标数据；
渲染服务器105用于根据动态定位拍摄设备103位于右侧幕203顶边轨道获取的定位视频数据确定实体对象相对于第二子三维坐标系的坐标数据；
渲染服务器105用于根据动态定位拍摄设备103位于背景幕204顶边轨道获取的定位视频数据确定实体对象相对于第三子三维坐标系的坐标数据。
本实施例中，由于定义了三个子三维坐标系，因此，在通过定位视频数据确定实体对象相对于子三维坐标系的坐标数据时，需要选择动态定位拍摄设备103分别位于对应的屏幕侧(左侧幕、右侧幕、背景幕)所采集的图像数据。
在一实施例中，用于虚拟制片的图像渲染合成系统还包括视角联动控制设备，用于基于主拍摄设备102的视角位置确定动态定位拍摄设备103的视角位置，并控制动态定位拍摄设备103移动到对应的视角位置。
在一实施例中，视角联动控制设备用于将动态定位拍摄设备103移动到主拍摄设备102位置与实体对象连线的夹角接近180度的最大角度位置。
如图6所示，其示出了一种确定动态定位拍摄设备103位置的示意图。θ角即为动态定位拍摄设备103移动到主拍摄设备102位置与实体对象连线的夹角接近180度的最大角度，对应的，该角度下即可确定动态定位拍摄设备103的位置。由于动态定位拍摄设备103是在预设轨道上移动的，因此θ角是可以确定的。
本实施例中，通过确定θ角来确定动态定位拍摄设备103的相机物理位置，可以尽可能保证主视频数据和定位视频数据的视角信息具有更大的差异，从而得到的实体对象的空间位置信息更准确。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于虚拟制片的图像渲染合成系统，其特征在于，包括：
LED箱体，其包括用于显示虚拟图像的LED屏幕；
主拍摄设备，用于对实体对象进行追踪拍摄，以输出实体对象的主视频数据；
动态定位拍摄设备，所述动态定位拍摄设备可在所述LED箱体的所有LED屏幕所在的一侧移动，并与所述主拍摄设备对所述实体对象具有不同的拍摄视角；所述动态定位摄像设备用于输出与所述主拍摄设备不同拍摄视角的所述实体对象的定位视频数据；
虚拟对象控制服务器，所述虚拟对象控制服务器包括虚拟对象资产库；所述虚拟对象控制服务器用于基于用户的操作指令，从所述虚拟对象资产库中确定需要插入的虚拟对象；
渲染服务器，用于根据所述主拍摄设备中的实体相机的位置数据确定虚拟相机的位置数据；
所述渲染服务器还用于根据所述定位视频数据和所述主视频数据，确定所述实体对象的空间位置信息，并根据所述空间位置信息和所述虚拟相机的位置数据渲染得到虚拟图像数据；所述虚拟图像数据融合有所述虚拟对象；
合成服务器，用于获取所述主视频数据和所述融合有虚拟对象的虚拟图像数据，并将两者进行合成，以输出合成图像数据，用于显示。
2.如权利要求1所述的用于虚拟制片的图像渲染合成系统，其特征在于，所述虚拟对象控制服务器还用于获取用户输入的表示是否参考所述动态定位摄像设备提供的定位视频数据以进行虚拟对象插入的指令；所述渲染服务器用于在确定到所述指令表征需要参考所述动态定位摄像设备提供的定位视频数据以进行虚拟对象插入时，根据所述定位视频数据和所述主视频数据，确定所述实体对象的空间位置信息，并根据所述空间位置信息和所述虚拟相机的位置数据渲染得到虚拟图像数据；否则所述渲染服务器用于根据所述虚拟相机的位置数据渲染得到虚拟图像数据。
3.如权利要求2所述的用于虚拟制片的图像渲染合成系统，其特征在于，所述虚拟对象资产库中包括各个虚拟对象的特征信息；所述渲染服务器还用于根据所述空间位置信息、所述虚拟相机的位置数据和所述虚拟对象的特征信息渲染得到虚拟图像数据。
4.如权利要求1-3任意一项所述的用于虚拟制片的图像渲染合成系统，其特征在于，所述LED灯箱体包括地面幕、左侧幕、右侧幕和背景幕，所述动态定位拍摄设备包括沿所述左侧幕、所述右侧幕和所述背景幕顶边设置的轨道，所述动态定位拍摄设备的相机可沿所述轨道移动，以从不同视角获取所述定位视频数据。
5.如权利要求4所述的用于虚拟制片的图像渲染合成系统，其特征在于，所述渲染服务器用于根据所述定位视频数据和所述主视频数据，确定所述实体对象的空间位置信息；包括：
所述渲染服务器用于根据所述定位视频数据确定所述实体对象相对于第一三维坐标系的坐标数据，根据所述主视频数据确定所述实体对象相对于第二三维坐标系的坐标数据；
所述渲染服务器还用于根据所述实体对象相对于所述第一三维坐标系的坐标数据和所述实体对象相对于所述第二三维坐标系的坐标数据确定所述实体对象的空间位置信息；
所述第一三维坐标系与所述第二三维坐标系的原点不同，所述第一三维坐标系基于所述动态定位拍摄设备的位置预先定义，所述第二三维坐标系基于所述主拍摄设备的位置预先定义。
6.如权利要求5所述的用于虚拟制片的图像渲染合成系统，其特征在于，所述第一三维坐标系包括原点分别位于所述左侧幕、所述右侧幕、所述背景幕所在平面上的第一子三维坐标系、第二子三维坐标系和第三子三维坐标系；
所述渲染服务器用于根据所述定位视频数据确定所述实体对象相对于第一三维坐标系的坐标数据，包括：
所述渲染服务器用于根据所述定位视频数据确定所述实体对象分别相对于所述第一子三维坐标系、所述第二子三维坐标系、所述第三子三维坐标系的坐标数据。
7.如权利要求6所述的用于虚拟制片的图像渲染合成系统，其特征在于，所述渲染服务器用于根据所述定位视频数据确定所述实体对象分别相对于所述第一子三维坐标系、所述第二子三维坐标系、所述第三子三维坐标系的坐标数据包括：
所述渲染服务器用于根据所述动态定位拍摄设备位于所述左侧幕顶边轨道获取的定位视频数据确定所述实体对象相对于所述第一子三维坐标系的坐标数据；
所述渲染服务器用于根据所述动态定位拍摄设备位于所述右侧幕顶边轨道获取的定位视频数据确定所述实体对象相对于所述第二子三维坐标系的坐标数据；
所述渲染服务器用于根据所述动态定位拍摄设备位于所述背景幕顶边轨道获取的定位视频数据确定所述实体对象相对于所述第三子三维坐标系的坐标数据。
8.如权利要求1-7任意一项所述的用于虚拟制片的图像渲染合成系统，其特征在于，所述虚拟对象控制服务器包括一可运行软件应用，并在运行软件应用后可为用户提供交互界面的电子设备。
9.如权利要求1-8任意一项所述的用于虚拟制片的图像渲染合成系统，其特征在于，还包括：
视角联动控制设备，用于基于所述主拍摄设备的视角位置确定所述动态定位拍摄设备的视角位置，并控制所述动态定位拍摄设备移动到对应的视角位置。
10.如权利要求9所述的用于虚拟制片的图像渲染合成系统，其特征在于，所述视角联动控制设备用于将所述动态定位拍摄设备移动到所述主拍摄设备位置与所述实体对象连线的夹角接近180度的最大角度位置。
CN202211168339.3A 2022-09-23 2022-09-23 一种用于虚拟制片的图像渲染合成系统 Pending CN115580691A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211168339.3A CN115580691A (zh) 2022-09-23 2022-09-23 一种用于虚拟制片的图像渲染合成系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211168339.3A CN115580691A (zh) 2022-09-23 2022-09-23 一种用于虚拟制片的图像渲染合成系统

Publications (1)

Publication Number Publication Date
CN115580691A true CN115580691A (zh) 2023-01-06

Family

ID=84580238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211168339.3A Pending CN115580691A (zh) 2022-09-23 2022-09-23 一种用于虚拟制片的图像渲染合成系统

Country Status (1)

Country Link
CN (1) CN115580691A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116233488A (zh) * 2023-03-13 2023-06-06 深圳市元数边界文化有限公司 一种用于虚拟直播的实时渲染投屏合成系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116233488A (zh) * 2023-03-13 2023-06-06 深圳市元数边界文化有限公司 一种用于虚拟直播的实时渲染投屏合成系统
CN116233488B (zh) * 2023-03-13 2024-02-27 深圳市元数边界科技有限公司 一种用于虚拟直播的实时渲染投屏合成系统

Similar Documents

Publication Publication Date Title
Mori et al. A survey of diminished reality: Techniques for visually concealing, eliminating, and seeing through real objects
CN111050210B (zh) 执行操作的方法、视频处理系统及非瞬态计算机可读介质
US9699438B2 (en) 3D graphic insertion for live action stereoscopic video
US7307654B2 (en) Image capture and viewing system and method for generating a synthesized image
US6724386B2 (en) System and process for geometry replacement
US20060165310A1 (en) Method and apparatus for a virtual scene previewing system
US20110181591A1 (en) System and method for compositing 3d images
WO2011029209A2 (en) Method and apparatus for generating and processing depth-enhanced images
US10606347B1 (en) Parallax viewer system calibration
JPH08331607A (ja) 三次元表示画像生成方法
US11227428B2 (en) Modification of a live-action video recording using volumetric scene reconstruction to replace a designated region
Schnyder et al. 2D to 3D conversion of sports content using panoramas
US11812154B2 (en) Method, apparatus and system for video processing
US11165957B2 (en) Reconstruction of obscured views in captured imagery using user-selectable pixel replacement from secondary imagery
CN115580691A (zh) 一种用于虚拟制片的图像渲染合成系统
CN113692734A (zh) 用于采集和投影图像的系统和方法，以及该系统的应用
EP3757945A1 (en) Device for generating an augmented reality image
US20160037148A1 (en) 3d-mapped video projection based on on-set camera positioning
CN116778121A (zh) 一种虚拟屏幕书写操控合成系统及方法
Kim et al. 3-d virtual studio for natural inter-“acting”
CN116228855A (zh) 视角图像的处理方法、装置、电子设备及计算机存储介质
EP4303817A1 (en) A method and an apparatus for 360-degree immersive video
CN113674433A (zh) 混合现实显示方法及系统
CN117348718A (zh) 一种非物质文化遗产数字化展示系统及方法
CN115967779A (zh) 虚拟摄像机机位图的展示方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 102-2, Building 6, Futong Haizhi Science and Technology Park, No. 17 Bulan Road, Xialilang Community, Nanwan Street, Longgang District, Shenzhen City, Guangdong Province, 518000

Applicant after: Shenzhen Yuanshu Boundary Technology Co.,Ltd.

Address before: No. 104, Yuankai Industrial Zone, No. 41, Yuexing Road, Fumin Community, Fucheng Street, Longhua District, Shenzhen, Guangdong 518000

Applicant before: Shenzhen Yuanshu Border Culture Co.,Ltd.

CB02 Change of applicant information