CN116233488A - 一种用于虚拟直播的实时渲染投屏合成系统 - Google Patents

一种用于虚拟直播的实时渲染投屏合成系统 Download PDF

Info

Publication number
CN116233488A
CN116233488A CN202310233580.8A CN202310233580A CN116233488A CN 116233488 A CN116233488 A CN 116233488A CN 202310233580 A CN202310233580 A CN 202310233580A CN 116233488 A CN116233488 A CN 116233488A
Authority
CN
China
Prior art keywords
path
rendering
video data
image
virtual live
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310233580.8A
Other languages
English (en)
Other versions
CN116233488B (zh
Inventor
孔明泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuanshu Border Culture Co ltd
Original Assignee
Shenzhen Yuanshu Border Culture Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuanshu Border Culture Co ltd filed Critical Shenzhen Yuanshu Border Culture Co ltd
Priority to CN202310233580.8A priority Critical patent/CN116233488B/zh
Publication of CN116233488A publication Critical patent/CN116233488A/zh
Application granted granted Critical
Publication of CN116233488B publication Critical patent/CN116233488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种用于虚拟直播的实时渲染投屏合成系统，渲染服务器在对主视频数据进行渲染时，基于时间顺序将主视频数据拆分成至少第一路视频数据和第二路视频数据，分别对第一路视频数据和第二路视频数据进行渲染得到第一虚拟直播图像数据和第二虚拟直播图像数据，投屏系统分别第一虚拟直播图像数据和第二虚拟直播图像数据在不同的显示区域进行显示。在不同显示区域显示的图像是基于不同时间上的视频数据得到的，也就是说，在实现多区域显示时，各个区域图像的数据来源是不同的，渲染服务器不需要对相同的视频数据进行重复或多次渲染，可减少图像处理过程中对硬件资源的需求，保证虚拟直播画面多区域投屏时的实时性要求，为用户提供了更好地体验。

Description

一种用于虚拟直播的实时渲染投屏合成系统
技术领域
本申请涉及虚拟制片领域，具体涉及一种用于虚拟直播的实时渲染投屏合成系统。
背景技术
随着电影制片技术的发展，越来越多的电影特效内容都由后期图像渲染合成到实景拍摄视频中。尤其是当前直播行业成为了一种新兴的商业模式，越来越多的商业主体，通过专业或非专业的直播间进行实时拍摄，同时输出带有虚拟场景、虚拟对象、虚拟特效等内容的视频。虚拟直播对实时性有要求，需要对实时拍摄的视频内容进行处理。例如，在图像中插入虚拟对象为常用的一种处理方法。然而，在进行虚拟对象的插入时，常常会出现虚拟对象与实体对象之间的空间位置关系错误，例如本应该被实体对象挡住的虚拟对象却出现在了实体对象的前面。使得最终输出的图像不真实，后期处理的痕迹非常明显。对于这类问题，申请号为CN202211168339.3的中国专利申请提供一种解决方案。
然而，在虚拟直播应用中，通常会通过投屏系统进行视频画面的实时预览，以观察视频画面是否符合预期的效果。由于系统对视频画面需要进行实时渲染，渲染过程对硬件资源占用较大，尤其是目前对4K分辨率的视频需求越来越高，4K分辨率下视频渲染需要的资源更加高，较难保持高帧率的实时渲染输出。因此，往往在投屏系统下展现的视频画面出来卡顿的现象，较难满足用户对虚拟直播画面实时投屏的需求，影响用户体验。尤其是在多个画面的投屏显示过程中，常常需要对图像数据进行不同的渲染，对硬件资源要求成倍地增加。
发明内容
本申请提供了一种用于虚拟直播的实时渲染投屏合成系统，解决了现有技术中图像渲染硬件资源不足，投屏系统视频画面卡顿的现象，无法满足用户对虚拟直播画面实时投屏需求的问题。
本申请提供了一种用于虚拟直播的实时渲染投屏合成系统，包括：
拍摄设备，用于对直播对象进行拍摄，以输出所述直播对象的主视频数据；
虚拟对象控制服务器，所述虚拟对象控制服务器包括虚拟对象资产库；所述虚拟对象控制服务器用于基于用户的操作指令，从所述虚拟对象资产库中确定需要插入的虚拟对象；
渲染服务器，用于基于所述虚拟对象控制服务器确定的需要插入的虚拟对象和所述主视频数据，渲染得到虚拟直播图像数据；所述虚拟直播图像数据融合有所述虚拟对象；
投屏系统，用于获取所述虚拟直播图像数据，并基于所述虚拟直播图像数据在至少第一显示区域和第二显示区域进行投屏显示；
所述渲染服务器还用于基于时间顺序将所述主视频数据拆分成至少第一路视频数据和第二路视频数据；
将所述第一路视频数据进行渲染，得到第一路虚拟直播图像数据；所述投屏系统基于所述和第一路虚拟直播图像数据在所述第一显示区域投屏显示第一图像；
将所述第二路视频数据进行渲染，得到第二路虚拟直播图像数据；所述投屏系统基于所述和第二路虚拟直播图像数据在所述第二显示区域投屏显示第二图像。
在一实施例中，所述时间顺序包括所述主视频数据的图像帧顺序。
在一实施例中，所述渲染服务器用于在渲染生成所述第二路虚拟直播图像数据时，同时基于所述第二路视频数据的当前图像帧和所述第一路视频数据的当前图像帧渲染生成所述第二路虚拟直播图像数据；所述第二路视频数据的当前图像帧和所述第一路视频数据的当前图像帧为所述主视频数据中相邻的两个图像帧。
在一实施例中，所述第一显示区域和所述第二显示区域为所述投屏系统中同一显示屏中的分屏显示区域，或者两个独立的显示屏。
在一实施例中，所述第一显示区域和所述第二显示区域为画中画模式，所述第一显示区域包含在所述第二显示区域内。
在一实施例中，所述渲染服务器用于向所述投屏系统交替输出所述第一路虚拟直播图像数据和所述第二路虚拟直播图像数据。
在一实施例中，所述投屏系统包括N个显示区域，所述渲染服务器用于基于时间顺序将所述主视频数据拆分成N路视频数据，并分别渲染得到N路虚拟直播图像数据，以交替输出到所述投屏系统中，并在对应的显示区域中进行显示。
在一实施例中，所述渲染服务器还用于基于用户输入的图像渲染模式的选择切换为直接对所述主视频数据进行渲染，得到一路包括所述主视频数据连续图像帧的虚拟直播图像数据，用于所述投屏系统在其所述显示区域显示基于所述虚拟直播图像数据生成的同一图像。
在一实施例中，所述渲染服务器还用于基于第一图像渲染模式将所述第一路视频数据进行渲染，得到第一路虚拟直播图像数据；基于第二图像渲染模式将所述第二路视频数据进行渲染，得到第二路虚拟直播图像数据；所述第一图像渲染模式与所述第二图像渲染模式为不同的两种图像渲染模式。
在一实施例中，所述渲染服务器还用于在所述第一路视频数据中嵌入与所述第一图像渲染模式对应的名称信息，在所述第二路视频数据中嵌入与所述第二图像渲染模式对应的名称信息；所述第一图像渲染模式和所述第二图像渲染模式的名称信息分别显示在所述第一图像和所述第二图像中。
在一实施例中，所述渲染服务器还包括时钟同步模块，用于在所述第一路视频数据和所述第二路视频数据中嵌入帧同步信号；所述渲染服务器还用于基于所述帧同步信号将所述第一路虚拟直播图像数据和所述第二路虚拟直播图像数据发送至所述投屏系统。
本申请的有益效果在于：渲染服务器在对主视频数据进行渲染时，基于时间顺序将主视频数据拆分成至少第一路视频数据和第二路视频数据，分别对第一路视频数据和第二路视频数据进行渲染得到第一虚拟直播图像数据和第二虚拟直播图像数据，投屏系统分别第一虚拟直播图像数据和第二虚拟直播图像数据在不同的显示区域进行显示。由于本申请提供的用于虚拟直播的实时渲染投屏合成系统在不同显示区域显示的图像是基于不同时间上的视频数据得到的，也就是说，在实现多区域显示时，各个区域图像的数据来源是不同的，渲染服务器不需要对相同的视频数据进行重复或多次渲染，可减少图像处理过程中对硬件资源的需求，保证虚拟直播画面多区域投屏时的实时性要求，为用户提供了更好地体验。
附图说明
图1为现有技术中用于虚拟直播的图像渲染合成系统的架构示意图；
图2为现有技术中虚拟对象控制服务器上的软件应用的一种界面图；
图3为本申请一实施例中用于虚拟直播的实时渲染投屏合成系统的架构示意图；
图4为本申请一实施例中对主视频数据进行单双帧拆分的示意图；
图5为本申请一实施例中对主视频数据依次进行连续两帧拆分的示意图；
图6为本申请一实施例中同时结合相邻图像帧进行图像渲染的示意图；
图7为本申请一实施例中投屏系统在同一显示屏中进行分屏显示第一图像和第二图像的示意图；
图8为本申请一实施例中投屏系统在同一显示屏中进行画中画显示第一图像和第二图像的示意图；
图9为本申请一实施例中第一图像和第二图像更新时间的示意图；
图10为本申请一实施例中两种不同渲染模式显示第一图像和第二图像的示意图；
图11为本申请另一实施例中用于虚拟直播的实时渲染投屏合成系统的架构示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
中国专利申请CN202211168339.3公开的用于虚拟制片的图像渲染合成系统的部分或全部方案可应用于本申请方案中，本申请对相关系统架构不再进行详细说明，CN202211168339.3的全部内容以引用的方式记载于本申请。
如图1所示，为现有技术中的一种用于虚拟制片的图像渲染合成系统，包括LED箱体101、主拍摄设备102、动态定位拍摄设备103、虚拟对象控制服务器104、渲染服务器105和合成服务器106。
LED箱体101包括用于显示虚拟图像的LED屏幕。
主拍摄设备102用于对实体对象进行追踪拍摄，以输出实体对象的主视频数据。
动态定位拍摄设备103可在LED箱体101的所有LED屏幕所在的一侧移动，并与主拍摄设备102对实体对象具有不同的拍摄视角；动态定位摄像设备103用于输出与主拍摄设备102不同拍摄视角的实体对象的定位视频数据。
虚拟对象控制服务器104包括虚拟对象资产库；虚拟对象控制服务器104用于基于用户的操作指令，从虚拟对象资产库中确定需要插入的虚拟对象。
渲染服务器105用于根据主拍摄设备102中的实体相机的位置数据确定虚拟相机的位置数据。
渲染服务器105还用于根据定位视频数据和主视频数据，确定实体对象的空间位置信息，并根据空间位置信息和虚拟相机的位置数据渲染得到虚拟图像数据；虚拟图像数据融合有用户选择插入的虚拟对象。
合成服务器106用于获取主视频数据和融合有虚拟对象的虚拟图像数据，并将两者进行合成，以输出合成图像数据，用于显示。
图1示出的用于虚拟制片的图像渲染合成系统还包括交换机107、LED屏幕视频处理器108和导播系统109。
交换机107用于在渲染服务器105和合成服务器106等设备之间进行数据传输，通常的，为了保证数据传输的速度，通常交换机107可选择万兆交换机。
LED屏幕视频处理器108用于将生成的部分虚拟图像进行处理，以显示到LED箱体101中的各个LED屏幕上。
导播系统109用于将最终输出的合成图像数据进行展示，以根据现场需求进行导播，进一步，还可以用于进行视频录制。
需要说明的是，图1仅示出了涉及用于虚拟制片的图像渲染合成系统的部分设备，在其他实施例中，也可以包括更多的设备。
虚拟对象控制服务器104可以包括一可运行软件应用，并在运行软件应用后可为用户提供交互界面的电子设备。如图2所示，其示出了该软件应用的一种界面图，可由用于选择插入的虚拟对象。
虚拟对象控制服务器104可以通过安装对象的软件应用以实现相应的功能，这为实际生活中要实现定制化的虚拟制片系统提供了更灵活地选择。实现虚拟对象控制服务器104的软件应用可以通过专有商业软件应用进行交易，以实用产品的商业化。
通常的，渲染服务器和合成服务器可以被看作是两个独立的服务器，也可以被看作为是整合在一起的同一个服务器。下面对本申请发明做进一步介绍时，可以理解为两者已整合在一起，不再分开进行描述。
如图3所示，本申请实施例提供了一种用于虚拟直播的实时渲染投屏合成系统，包括：
拍摄设备301，用于对直播对象302进行拍摄，以输出直播对象302的主视频数据。
虚拟对象控制服务器303，括虚拟对象资产库；虚拟对象控制服务器用于基于用户的操作指令，从虚拟对象资产库中确定需要插入的虚拟对象。
渲染服务器304，用于基于虚拟对象控制服务器303确定的需要插入的虚拟对象和主视频数据，渲染得到虚拟直播图像数据；虚拟直播图像数据融合有虚拟对象。
投屏系统305，用于获取虚拟直播图像数据，并基于虚拟直播图像数据在至少第一显示区域3051和第二显示区域3052进行投屏显示；
本申请实施例中，渲染服务器304还用于基于时间顺序将主视频数据拆分成至少第一路视频数据和第二路视频数据。将第一路视频数据进行渲染，得到第一路虚拟直播图像数据；投屏系统305基于和第一路虚拟直播图像数据在第一显示区域3051投屏显示第一图像。将第二路视频数据进行渲染，得到第二路虚拟直播图像数据；投屏系统305基于和第二路虚拟直播图像数据在第二显示区域3052投屏显示第二图像。
本申请实施例中，渲染服务器在对主视频数据进行渲染时，基于时间顺序将主视频数据拆分成至少第一路视频数据和第二路视频数据，分别对第一路视频数据和第二路视频数据进行渲染得到第一虚拟直播图像数据和第二虚拟直播图像数据，投屏系统分别第一虚拟直播图像数据和第二虚拟直播图像数据在不同的显示区域进行显示。由于本申请实施例提供的用于虚拟直播的实时渲染投屏合成系统在不同显示区域显示的图像是基于不同时间上的视频数据得到的，也就是说，在实现多区域显示时，各个区域图像的数据来源是不同的，渲染服务器不需要对相同的视频数据进行重复或多次渲染，可减少图像处理过程中对硬件资源的需求，保证虚拟直播画面多区域投屏时的实时性要求，为用户提供了更好地体验。
在一实施例中，时间顺序包括主视频数据的图像帧顺序。即，第一路视频数据和第二路视频数据取自主视频数据中的不同图像帧。例如，可以分别取自主视频数据中的单数帧和双数帧，或依次取自主视频数据中的连续多帧。这样，可以使得对视频数据的渲染处理不会出现重复，更好地保证了渲染过程中对硬件资源更小的需求，满足后续实时投屏显示的用户需求。
如图4所示，其示出了根据主视频数据中的单数帧和双数帧拆分成两种视频数据的方案。
如图5所示，其未出了根据主视频数据中的依次的连续两帧拆分成两路视频数据的方案。
当然，在其他实施例中，也可以根据实际需要选择不同的拆分方案。
在一实施例中，如图6所示渲染服务器304用于在渲染生成第二路虚拟直播图像数据时，同时基于第二路视频数据的当前图像帧和第一路视频数据的当前图像帧渲染生成第二路虚拟直播图像数据；第二路视频数据的当前图像帧和第一路视频数据的当前图像帧为主视频数据中相邻的两个图像帧。由于对图像帧进行渲染时，参考了前一帧的图像，可以提升图像帧渲染的质量，避免因采用本申请实施例中主视频数据被分成两路后，图像渲染失去了相邻帧图像的参考信息，产生图像渲染效果降低的现象。
在一实施例中，第一显示区域和第二显示区域为投屏系统305中同一显示屏中的分屏显示区域(如图7所示)，或者两个独立的显示屏(如图1所示)。当然，在其他实施例中，如果显示区域为三个以上，显示区域可以是同一显示屏和独立显示屏多区域显示的组合。
在另一实施例中，如图8所示，第一显示区域和第二显示区域为画中画模式，第一显示区域包含在第二显示区域内。
在一实施例中，如图9所示，渲染服务器304用于向投屏系统305交替输出第一路虚拟直播图像数据和第二路虚拟直播图像数据。由于主视频数据被基于时间顺序拆分成了第一路视频数据和第二路视频数据，因此，两路视频数据的图像帧是存在时间差的，为了保证在显示端不会出现图像显示时时序错误的问题。渲染服务器304在向投屏系统305输出两路虚拟直播图像数据时，以交替输出的方式来输出两路虚拟直播图像数据。相应的，第一显示区域和第二显示区域中显示的图像将会交替进行更新。
在一实施例中，投屏系统305包括N个显示区域，渲染服务器304用于基于时间顺序将主视频数据拆分成N路视频数据，并分别渲染得到N路虚拟直播图像数据，以交替输出到投屏系统305中，并在对应的显示区域中进行显示。即，渲染服务器304可以根据显示区域的数量将主视频数据拆分成对应路数的视频数据，每个显示区域显示单独的一路视频数据渲染得到的图像。
在一实施例中，渲染服务器304还用于基于用户输入的图像渲染模式的选择切换为直接对主视频数据进行渲染，得到一路包括主视频数据连续图像帧的虚拟直播图像数据，用于投屏系统305在其显示区域显示基于虚拟直播图像数据生成的同一图像。本实施例中，为用户提供渲染模式的选择，在硬件资源能够满足实时渲染投屏显示的需求时，用户可以选择直接对主视频数据进行一路渲染，同时将渲染后的图像数据输出给所有显示区域，这样可以使得图像显示时，具有更快的更新速度，以及更好的渲染效果。当然，如果硬件资源较难满足实时渲染投屏显示的需求时，用户可以选择上述实施例中，将主视频数据进行拆分渲染的方式。
当然，渲染服务器304可以提供用户交互界面供用户模式选择的输入，该用户交互界面可以通过运行在渲染服务器304的软件程序实现。
在一实施例中，如图10所示，渲染服务器304还用于基于第一图像渲染模式将第一路视频数据进行渲染，得到第一路虚拟直播图像数据；基于第二图像渲染模式将第二路视频数据进行渲染，得到第二路虚拟直播图像数据；第一图像渲染模式与第二图像渲染模式为不同的两种图像渲染模式。由于用户对图像的渲染要求各不相同，需要在不同显示区域显示的不同的渲染图像。因此，本实施例还为用户提供了多种渲染模式的选择，以满足用户需求。同样的，用户对第一图像渲染模式和第二图像渲染模式的选择可以通过渲染服务器304提供的用户交互界面实现。
在一实施例中，渲染服务器304还用于在第一路视频数据中嵌入与第一图像渲染模式对应的名称信息，在第二路视频数据中嵌入与第二图像渲染模式对应的名称信息；第一图像渲染模式和第二图像渲染模式的名称信息分别显示在第一图像和第二图像中。
由于渲染服务器304将主视频数据分成了第一路视频数据和第二路视频数据，然后再分别对第一路视频数据和第二路视频数据进行渲染，此时可能导致两路视频数据渲染所用的时长不同，导致在输出第一路虚拟直播图像数据和第二路虚拟直播图像数据到投屏系统305时，存在帧顺序错乱，在多区域或多屏投屏显示时，出现图像时序错误。因此，在一实施例中，如图11所示，渲染服务器304还包括时钟同步模块3041，用于在第一路视频数据和第二路视频数据中嵌入帧同步信号，渲染服务器304还用于基于帧同步信号将第一路虚拟直播图像数据和第二路虚拟直播图像数据发送至投屏系统305。通过帧同步信号，可以保证主视频数据被拆分成多路视频数据渲染后，依然能以正确的时序输出到投屏系统305，保证图像的正确显示。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种用于虚拟直播的实时渲染投屏合成系统，包括：
拍摄设备，用于对直播对象进行拍摄，以输出所述直播对象的主视频数据；
虚拟对象控制服务器，所述虚拟对象控制服务器包括虚拟对象资产库；所述虚拟对象控制服务器用于基于用户的操作指令，从所述虚拟对象资产库中确定需要插入的虚拟对象；
渲染服务器，用于基于所述虚拟对象控制服务器确定的需要插入的虚拟对象和所述主视频数据，渲染得到虚拟直播图像数据；所述虚拟直播图像数据融合有所述虚拟对象；
投屏系统，用于获取所述虚拟直播图像数据，并基于所述虚拟直播图像数据在至少第一显示区域和第二显示区域进行投屏显示；
其特征在于，
所述渲染服务器还用于基于时间顺序将所述主视频数据拆分成至少第一路视频数据和第二路视频数据；
将所述第一路视频数据进行渲染，得到第一路虚拟直播图像数据；所述投屏系统基于所述和第一路虚拟直播图像数据在所述第一显示区域投屏显示第一图像；
将所述第二路视频数据进行渲染，得到第二路虚拟直播图像数据；所述投屏系统基于所述和第二路虚拟直播图像数据在所述第二显示区域投屏显示第二图像。
2.如权利要求1所述的用于虚拟直播的实时渲染投屏合成系统，其特征在于，所述时间顺序包括所述主视频数据的图像帧顺序。
3.如权利要求1所述的用于虚拟直播的实时渲染投屏合成系统，其特征在于，所述渲染服务器用于在渲染生成所述第二路虚拟直播图像数据时，同时基于所述第二路视频数据的当前图像帧和所述第一路视频数据的当前图像帧渲染生成所述第二路虚拟直播图像数据；所述第二路视频数据的当前图像帧和所述第一路视频数据的当前图像帧为所述主视频数据中相邻的两个图像帧。
4.如权利要求1所述的用于虚拟直播的实时渲染投屏合成系统，其特征在于，所述第一显示区域和所述第二显示区域为所述投屏系统中同一显示屏中的分屏显示区域，或者两个独立的显示屏。
5.如权利要求1所述的用于虚拟直播的实时渲染投屏合成系统，其特征在于，所述第一显示区域和所述第二显示区域为画中画模式，所述第一显示区域包含在所述第二显示区域内。
6.如权利要求1-5任意一项所述的用于虚拟直播的实时渲染投屏合成系统，其特征在于，所述渲染服务器用于向所述投屏系统交替输出所述第一路虚拟直播图像数据和所述第二路虚拟直播图像数据。
7.如权利要求6所述的用于虚拟直播的实时渲染投屏合成系统，其特征在于，所述投屏系统包括N个显示区域，所述渲染服务器用于基于时间顺序将所述主视频数据拆分成N路视频数据，并分别渲染得到N路虚拟直播图像数据，以交替输出到所述投屏系统中，并在对应的显示区域中进行显示。
8.如权利要求1-7任意一项所述的用于虚拟直播的实时渲染投屏合成系统，其特征在于，所述渲染服务器还用于基于用户输入的图像渲染模式的选择切换为直接对所述主视频数据进行渲染，得到一路包括所述主视频数据连续图像帧的虚拟直播图像数据，用于所述投屏系统在其所述显示区域显示基于所述虚拟直播图像数据生成的同一图像。
9.如权利要求1-8任意一项所述的用于虚拟直播的实时渲染投屏合成系统，其特征在于，所述渲染服务器还用于基于第一图像渲染模式将所述第一路视频数据进行渲染，得到第一路虚拟直播图像数据；基于第二图像渲染模式将所述第二路视频数据进行渲染，得到第二路虚拟直播图像数据；所述第一图像渲染模式与所述第二图像渲染模式为不同的两种图像渲染模式。
10.如权利要求9所述的用于虚拟直播的实时渲染投屏合成系统，其特征在于，所述渲染服务器还用于在所述第一路视频数据中嵌入与所述第一图像渲染模式对应的名称信息，在所述第二路视频数据中嵌入与所述第二图像渲染模式对应的名称信息；所述第一图像渲染模式和所述第二图像渲染模式的名称信息分别显示在所述第一图像和所述第二图像中。
11.如权利要求1-10任意一项所述的用于虚拟直播的实时渲染投屏合成系统，其特征在于，所述渲染服务器还包括时钟同步模块，用于在所述第一路视频数据和所述第二路视频数据中嵌入帧同步信号；所述渲染服务器还用于基于所述帧同步信号将所述第一路虚拟直播图像数据和所述第二路虚拟直播图像数据发送至所述投屏系统。
CN202310233580.8A 2023-03-13 2023-03-13 一种用于虚拟直播的实时渲染投屏合成系统 Active CN116233488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310233580.8A CN116233488B (zh) 2023-03-13 2023-03-13 一种用于虚拟直播的实时渲染投屏合成系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310233580.8A CN116233488B (zh) 2023-03-13 2023-03-13 一种用于虚拟直播的实时渲染投屏合成系统

Publications (2)

Publication Number Publication Date
CN116233488A true CN116233488A (zh) 2023-06-06
CN116233488B CN116233488B (zh) 2024-02-27

Family

ID=86576672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310233580.8A Active CN116233488B (zh) 2023-03-13 2023-03-13 一种用于虚拟直播的实时渲染投屏合成系统

Country Status (1)

Country Link
CN (1) CN116233488B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117119264A (zh) * 2023-10-18 2023-11-24 北京奇点智播科技有限公司 一种视频数据处理系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050227761A1 (en) * 2004-03-31 2005-10-13 Nintendo Co., Ltd. Portable game machine and computer-readable recording medium
CN103209335A (zh) * 2013-04-15 2013-07-17 中国科学院西安光学精密机械研究所 支持高屏幕刷新率的立体电影播放方法及系统
CN203219433U (zh) * 2013-04-15 2013-09-25 中国科学院西安光学精密机械研究所 支持高屏幕刷新率的立体电影播放系统
CN104243945A (zh) * 2014-09-19 2014-12-24 西安中科晶像光电科技有限公司 一种单机双镜头3d投影机
CN113497963A (zh) * 2020-03-18 2021-10-12 阿里巴巴集团控股有限公司 视频处理方法、装置及设备
CN114866801A (zh) * 2022-04-13 2022-08-05 中央广播电视总台 视频数据的处理方法、装置、设备及计算机可读存储介质
CN115118880A (zh) * 2022-06-24 2022-09-27 中广建融合(北京)科技有限公司 一种基于沉浸式视频终端搭建的xr虚拟拍摄系统
CN115580691A (zh) * 2022-09-23 2023-01-06 深圳市元数边界文化有限公司 一种用于虚拟制片的图像渲染合成系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050227761A1 (en) * 2004-03-31 2005-10-13 Nintendo Co., Ltd. Portable game machine and computer-readable recording medium
CN103209335A (zh) * 2013-04-15 2013-07-17 中国科学院西安光学精密机械研究所 支持高屏幕刷新率的立体电影播放方法及系统
CN203219433U (zh) * 2013-04-15 2013-09-25 中国科学院西安光学精密机械研究所 支持高屏幕刷新率的立体电影播放系统
CN104243945A (zh) * 2014-09-19 2014-12-24 西安中科晶像光电科技有限公司 一种单机双镜头3d投影机
CN113497963A (zh) * 2020-03-18 2021-10-12 阿里巴巴集团控股有限公司 视频处理方法、装置及设备
CN114866801A (zh) * 2022-04-13 2022-08-05 中央广播电视总台 视频数据的处理方法、装置、设备及计算机可读存储介质
CN115118880A (zh) * 2022-06-24 2022-09-27 中广建融合(北京)科技有限公司 一种基于沉浸式视频终端搭建的xr虚拟拍摄系统
CN115580691A (zh) * 2022-09-23 2023-01-06 深圳市元数边界文化有限公司 一种用于虚拟制片的图像渲染合成系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117119264A (zh) * 2023-10-18 2023-11-24 北京奇点智播科技有限公司 一种视频数据处理系统及方法
CN117119264B (zh) * 2023-10-18 2024-01-26 北京奇点智播科技有限公司 一种视频数据处理系统及方法

Also Published As

Publication number Publication date
CN116233488B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
US11381739B2 (en) Panoramic virtual reality framework providing a dynamic user experience
US9774896B2 (en) Network synchronized camera settings
CN106713942B (zh) 视频处理方法和装置
US20180167685A1 (en) Multi-source video navigation
CN116233488B (zh) 一种用于虚拟直播的实时渲染投屏合成系统
US20190379917A1 (en) Image distribution method and image display method
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
CN113259764A (zh) 视频的播放方法、播放装置、电子设备及系统
CN112543344A (zh) 直播控制方法、装置、计算机可读介质及电子设备
US20090153550A1 (en) Virtual object rendering system and method
CN115380539B (zh) 处理视频的装置和系统
JP2020524450A (ja) 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置
WO2003107123A2 (en) Three-dimensional output system
Niamut et al. Live event experiences-interactive UHDTV on mobile devices
US11706375B2 (en) Apparatus and system for virtual camera configuration and selection
CN115580691A (zh) 一种用于虚拟制片的图像渲染合成系统
KR102040723B1 (ko) 다원 방송 송출 방법 및 장치
CN112887653B (zh) 一种信息处理方法和信息处理装置
CN112423108B (zh) 码流的处理方法、装置、第一终端、第二终端及存储介质
Grau et al. 3D-TV R&D activities in europe
CN113938617A (zh) 一种多路视频显示方法、设备、网络摄像机及存储介质
JP2007104540A (ja) 撮影画像配信装置、撮影画像配信プログラム及び撮影画像配信方法
KR102599664B1 (ko) 다시점 영상을 전송하기 위한 시스템의 동작 방법 및 이를 수행하는 시스템
JP2006352383A (ja) 中継プログラムおよび中継システム
van Deventer et al. Media orchestration between streams and devices via new MPEG timed metadata

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 102-2, Building 6, Futong Haizhi Science and Technology Park, No. 17 Bulan Road, Xialilang Community, Nanwan Street, Longgang District, Shenzhen City, Guangdong Province, 518000

Applicant after: Shenzhen Yuanshu Boundary Technology Co.,Ltd.

Address before: Building 6, 108, DCC Cultural and Creative Park, No. 97 Pingxin North Road, Shangmugu Community, Pinghu Street, Longgang District, Shenzhen City, Guangdong Province, 518000

Applicant before: Shenzhen Yuanshu Border Culture Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant