CN116980637A - 直播数据的处理系统、电子设备、存储介质及程序产品 - Google Patents

直播数据的处理系统、电子设备、存储介质及程序产品 Download PDF

Info

Publication number
CN116980637A
CN116980637A CN202310859177.6A CN202310859177A CN116980637A CN 116980637 A CN116980637 A CN 116980637A CN 202310859177 A CN202310859177 A CN 202310859177A CN 116980637 A CN116980637 A CN 116980637A
Authority
CN
China
Prior art keywords
live
stream
virtual
live stream
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310859177.6A
Other languages
English (en)
Inventor
宁华博
张琦
骆伟明
王进
林集凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310859177.6A priority Critical patent/CN116980637A/zh
Publication of CN116980637A publication Critical patent/CN116980637A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例提供了一种直播数据的处理系统、电子设备、存储介质及程序产品，涉及云技术、人工智能等领域。该系统中，第一设备通过导播控制程序，生成对至少两个第一直播流的切播控制命令；基于切播控制命令，对至少两个第一直播流进行切播控制处理，生成通过预定视频编码标准编码的第二直播流；第二设备从第一设备获取第二直播流，并获取第二直播流对应的虚拟制作画面；通过导播控制程序，生成对第二直播流的虚实合成命令；基于虚实合成命令，将虚拟制作画面合并到第二直播流中，生成通过预定视频编码标准编码的第三直播流，那么在预定视频编码标准支持8K视频格式时，可以高效地完成对8K直播流的导播和转推等操作，实现稳定帧率的8K直播输出。

Description

直播数据的处理系统、电子设备、存储介质及程序产品
技术领域
本申请涉及数据处理技术领域，具体而言，本申请涉及一种直播数据的处理系统、电子设备、存储介质及程序产品。
背景技术
直播导播是一种直播制作技术，负责控制直播中的各种元素。直播导播可以通过控制不同的摄像设备、音频设备和特效设备等来实现直播数据的制作。
现在市面上所有的直播导播平台，只能通过H.264视频编码标准输出1920*1080(全高清)视频格式的直播流，都不支持6K/8K视频格式的直播输出，直播效果有待提高。
发明内容
本申请实施例的目的旨在能解决如何提高直播效果的技术问题。
根据本申请实施例的一个方面，提供了一种直播数据的处理系统，该系统包括：
第一设备获取通过预定视频编码标准编码的至少两个采集设备分别采集的第一直播流；
第一设备通过导播控制程序，生成对至少两个第一直播流的切播控制命令；
第一设备基于切播控制命令，对至少两个第一直播流进行切播控制处理，生成通过预定视频编码标准编码的第二直播流；
第二设备从第一设备获取第二直播流，并获取第二直播流对应的虚拟制作画面；
第二设备通过导播控制程序，生成对第二直播流的虚实合成命令；
第二设备基于虚实合成命令，将虚拟制作画面合并到第二直播流中，生成通过预定视频编码标准编码的第三直播流；
第二设备将第三直播流发送至直播内容分发系统。
根据本申请实施例的另一个方面，提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上的计算机程序，处理器执行计算机程序以实现本申请实施例提供的直播数据的处理系统中设备执行的步骤。
根据本申请实施例的又一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请实施例提供的直播数据的处理系统中设备执行的步骤。
根据本申请实施例的还一个方面，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现本申请实施例提供的直播数据的处理系统中设备执行的步骤。
本申请实施例提供的直播数据的处理系统、电子设备、存储介质及程序产品，采用第一设备获取通过预定视频编码标准编码的至少两个采集设备分别采集的第一直播流；第一设备通过导播控制程序，生成对至少两个第一直播流的切播控制命令；第一设备基于切播控制命令，对至少两个第一直播流进行切播控制处理，生成通过预定视频编码标准编码的第二直播流；第二设备从第一设备获取第二直播流，并获取第二直播流对应的虚拟制作画面；第二设备通过导播控制程序，生成对第二直播流的虚实合成命令；第二设备基于虚实合成命令，将虚拟制作画面合并到第二直播流中，生成通过预定视频编码标准编码的第三直播流；第二设备将第三直播流发送至直播内容分发系统，那么在预定视频编码标准支持8K视频格式时，可以高效地完成对8K直播流的导播和转推等操作，实现稳定帧率的8K直播输出。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种直播数据的处理方法的流程示意图；
图2为本申请实施例提供的一种切播控制处理的示意图；
图3为本申请实施例提供的一种延时配置处理的示意图；
图4a为本申请实施例提供的一种虚实合成结果的示意图；
图4b为本申请实施例提供的一种选手席视角现场实景的示意图；
图4c为本申请实施例提供的一种全景视角现场实景的示意图；
图4d为本申请实施例提供的一种游戏赛事虚拟画面的示意图；
图4e为本申请实施例提供的一种赛事地图数字沙盘的示意图；
图4f为本申请实施例提供的一种虚实融合画面的示意图；
图4g为本申请实施例提供的一种虚实合成处理的示意图；
图5为本申请实施例提供的一种执行多种直播控制处理的示意图；
图6为本申请实施例提供的另一种执行多种直播控制处理的示意图；
图7为本申请实施例提供的又一种执行多种直播控制处理的示意图；
图8为本申请实施例提供的一种直播数据的处理系统的示意图；
图9为本申请实施例提供的另一种直播数据的处理系统的示意图；
图10为本申请实施例提供的又一种直播数据的处理系统的示意图；
图11为本申请实施例提供的一种直播数据处理装置的结构示意图；
图12为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先对本申请涉及的几个名词进行介绍和解释：
(1)H.264：是一种广泛使用的视频编码标准，也可称为AVC(Advanced VideoCoding，高级视频编码)。它可以将高质量视频压缩到较小的文件大小，同时保持高质量的视频图像。
(2)H.265：是一种新的视频编码标准，是H.264的后继者，也可称为HEVC(HighEfficiency Video Coding，高效视频编码)。它可以将视频压缩到更小的文件大小，同时保持更高质量的视频图像。
(3)VP9：是第九代的视频压缩标准，也可称为NGOV(Next Gen Open Video，下一代开放视频)，能以更少的数据提供更高质量的视频，而且只需较小的处理能力即可播放视频。
(4)AV1：是一种视频编码标准，继承自VP9标准，得益于先进的编码工具，AV1在相同的编码质量下，相比于VP9可节约30％的码率。
(5)8K：是一种超高清视频格式，指的是视频分辨率为7680×4320像素的视频。它比传统的高清视频格式(如1080p)具有更高的分辨率和更清晰的图像。
(6)6K：也是一种超高清视频格式，指的是视频分辨率为6144×3456像素的视频。
(7)4K：指的是视频分辨率为3840×2160像素的视频。
(8)2K：指的是视频分辨率为2048×1080像素的视频。
(9)安播：全称为安全播出，指在广播节目播出、传输过程中的节目完整、信号安全和技术安全。
其中，清晰度越高的视频格式，对拍摄设备、传输设备、存储设备、播放设备的要求越高。现在市面上所有的直播导播平台，只能通过H.264视频编码标准输出1920*1080(全高清)视频格式的直播流，若直接通过H264编码方案输出8K直播流，对带宽、CPU(CentralProcessing Unit，中央处理器)、GPU(graphics processing unit，图形处理器)要求都非常高，整体部署成本极高，且画面帧率不稳定，直播效果差。
针对相关技术中所存在的上述至少一个技术问题或需要改善的地方，本申请提出一种直播数据的处理方法、系统、装置、电子设备、存储介质及程序产品，该方案通过搭建一套支持8K视频格式的导播直播制作方案，可以实现高质量的直播制作。
下面通过对几个示例性实施方式的描述，对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。
本申请实施例中提供了一种直播数据的处理方法，如图1所示，该方法包括：
步骤S101：获取通过预定视频编码标准编码的第六直播流；
本申请实施例中，预定视频编码标准可以是指支持8K视频格式的H.265、AV1、VP9等视频编码标准中的至少一种，但不限于此，这些编码方案具有高效、高质量的特点。可以理解，随着视频编码标准发展和进步，预定视频编码标准可以包括更多类型的视频编码标准。
本申请实施例中，采用了预定视频编码标准方案，可以实现更高效的视频压缩和更高质量的视频图像。其中，H.265具有较高的稳定性。下文中为便于描述，可能以预定视频编码标准是H.265为例进行介绍。
本申请实施例中，直播流可以是指采用实时消息传输协议(Real Time MessagingProtocol，RTMP)上传的视频流，用于作为直播源进行直播。
本申请实施例中，第六直播流可以是指直播制作过程中任意阶段的直播流。其中，由于第六直播流是通过预定视频编码标准编码的，对于各种清晰度的视频格式，例如8K视频格式，均能实现较高效率的编解码，便于直播流传输和存储。
本申请实施例中，可以基于部署的SRS(Simple Realtime Server，简单实时服务器)获取通过预定视频编码标准编码的第六直播流。其中，SRS支持RTMP、WebRTC(Web Real-Time Communications，网页实时通信)、HTTP(Hypertext Transfer Protocol，超文本传输协议)-FLV(Flash Video，流媒体格式)、HLS(HTTP Live Streaming，HTTP实时流媒体)、SRT(Secure Reliable Transport，安全可靠传输协议)、H.265、AV1、VP9等多种实时流媒体协议，是一个简单高效的实时视频服务器。
本申请实施例中，SRS视频服务器用于直播流的传输，使用SRS视频服务器接收和处理H.265直播流，能够实现高效、稳定的视频直播。
步骤S102：通过导播控制程序，生成对第六直播流的导播命令；
本申请实施例中，导播控制程序是指能够对视频、音频、字幕等元素进行实时控制的应用程序。例如，导播控制程序可以采用OBS(Open Broadcaster Software，开放式广播软件)，它是一款支持直播录制和直播实时控制的软件，具有功能完善的优点。又例如，导播控制程序可以采用AI(Artificial Intelligence，人工智能)网络模型，或者还可以结合UE(Unreal Engine，虚幻引擎)实现自动导播，具有智能化的优点。实际应用中，本领域技术人员可以根据实际情况对采用的导播控制程序进行设置，本申请实施例在此不做限定。
本申请实施例中，通过导播控制程序，生成对第六直播流的导播命令，可以结合人工通过导播控制程序输入的指令来生成，也可以根据预先的配置直接生成，本申请实施例在此不做限定。
步骤S103：基于导播命令，对第六直播流进行直播控制处理，生成通过预定视频编码标准编码的第七直播流；
本申请实施例中，可以基于导播命令，对第六直播流进行直播控制处理，并基于SRS，生成通过预定视频编码标准编码的第七直播流。
本申请实施例中，使用SRS视频服务器处理直播控制处理后H.265直播流，保证后续高效、稳定的视频直播。
本申请实施例中，上述导播命令包括但不限于切播控制命令、延时配置命令、虚实合成命令中的至少一种，则对应的直播控制处理可以分别是对多个直播流进行切播控制处理、对直播流进行延时配置处理、将虚拟制作画面合并到直播流中等，但不限于此。本领域技术人员应能理解，上述几种导播命令及其对应的直播控制处理仅为示意性描述，不构成对本申请实施例的限制，基于实际需求进行的相关配置也可适用于本申请，故也应包含在本申请保护范围以内。
步骤S104：发送第七直播流。
本申请实施例提供的直播数据的处理方法可以具体应用在终端设备中，也可应用在服务器中，或者也可以由多个具有计算能力的计算机设备或器件协作完成，不同的计算机设备或器件各自完成本申请实施提供的各方法的一部分步骤。例如一个计算机设备或器件可负责一种直播控制处理，另一个计算机设备或器件可负责另一种直播控制处理等，但不限于此。
那么对于该步骤，可以是指一个计算机设备或器件进行完一种直播控制处理，得到第七直播流后，发送给另一个计算机设备或器件进行另一种直播控制处理。或者，也可以是指最后一个流程的直播控制处理完成后，发送给直播内容分发系统用于直播。实际应用中，本领域技术人员可以根据实际情况对不同计算机设备或器件的配合方式进行设置，本申请实施例在此不做限定。
可选地，终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能穿戴设备(例如手表、眼镜等)、智能电视、智能音箱、车载终端、个人数字助理、便携式多媒体播放器、导航装置等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
本申请实施例中，可以通过云服务器实现高效、稳定的直播视频的存储和处理。其中，云服务器中通常可以提供GPU计算服务。
本申请实施例中，对于H.265等预定视频编码标准编码的直播流，可以利用GPU来加速解码，相对于传统在CPU上解码直播视频的方法，可以大幅度减少所需解码像素数量，同时，因为GPU计算单元远大于CPU，解码性能也得以大幅度提升。因此，将云服务器的GPU加速解码方法应用于H.265等预定视频编码标准编码的直播流时，能够实现直播视频流的稳定存储和处理。
具体而言，步骤S101之后，还可以包括步骤：在图形处理器(GPU)中，对通过预定视频编码标准编码的第六直播流进行硬件加速解码，得到解码后的第六直播流；在图形处理器中渲染解码后的第六直播流，得到对应的直播画面。进一步地，在步骤S102中，基于第六直播流对应的直播画面，通过导播控制程序，生成对第六直播流的导播命令。
基于此，本申请实施例提供的直播数据的处理方法，便可完成对8K直播流的导播和转推等操作，实现稳定帧率的8K直播输出。
下面对本申请实施例的几种直播控制处理进行示例性介绍。
(1)切播控制处理(也可简称为切导播)
即切换直播镜头。在直播拍摄中，可以使用多个采集设备同时采集不同角度的直播镜头。各路直播镜头视频流直接或间接地传输到一台设备上，由该设备进行切播控制处理。切播控制处理完成后，也就完成了直播视频的初编。切播控制处理决定了直播画面的表现力。
可选地，可以由导播人员操作该设备上的导播控制程序，从各路直播镜头视频流中选择一路，并可进行多次切换。即步骤S102中，可以响应于通过导播控制程序对至少两个采集设备分别采集的直播流的切换操作，生成切播控制命令。例如图2所示，假设有n个采集设备(相机1至相机n)分别采集了n路直播镜头视频流，可以随时点击选取任一相机，实现对于镜头/机位的切播操作，即实现两路直播镜头视频流的切播控制处理。
可选地，可以由AI自动切播各路直播镜头视频流。即步骤S102中，基于至少两个采集设备分别采集的直播流，使用AI网络模型，生成切播控制命令。其中，该人工智能网络模型可以涉及计算机视觉技术(Computer Vision，CV)。计算机视觉是一门研究如何使机器“看”的科学，用电脑代替人眼对目标进行识别和处理。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。AI网络模型生成的切播控制命令自动实现对镜头/机位的切播操作，即实现两路直播镜头视频流的切播控制处理。
实际应用中，本领域技术人员可以根据实际情况对采集设备的数量、位置、类型(例如摄像机、无人机、机器人等，但不限于此)进行设置，本申请实施例在此不做限定。
可选地，本申请实施例中的采集设备可以采用8K采集设备，用于拍摄高质量的直播流，以通过本方案的直播数据的处理方法输出8K直播。
(2)延时(延迟)配置处理
即配置直播播出时间比直播开始时间有一定的延迟。延时的目的是给监播人员提供一定的监播时间，以防止不利符合要求的画面及语言播出。
可选地，延时配置可以通过导播控制程序实时进行配置，即时地生成延时配置命令。或者，延时配置也可以是通过导播控制程序预配置的，每到该流程时导播控制程序自动地生成延时配置命令。
例如如图3所示，可以响应于通过导播控制程序对直播延迟是否开启的第一配置操作，确定当前是否生成延时配置命令。进一步地，可以响应于通过导播控制程序对延迟时间的第二配置操作，确定直播流的延迟时间。实际应用中，本领域技术人员可以根据实际情况对可延迟的时间进行设置，例如可以设置延时支持最高支持1000秒，内存占用在2G以内。可选地，可以实时的显示估计内存使用量，如图3所示。
(3)虚实合成处理
即采用虚实结合的技术，将真实拍摄的直播视频和虚拟场景的视频进行融合。具体来说，可以使用虚拟现实(Virtual Reality，VR)技术、增强现实(Augmented Reality，AR)技术等技术，将虚拟场景的视频与真实拍摄的直播视频进行融合，实现更加丰富、生动的视频效果，观众可以比现场获得更加丰富的观看体验。
例如以游戏赛事直播为例，如图4a所示，制作而成的直播画面中可以包括游戏赛事现场实景(第六直播流的直播画面)，以及UE制作的虚拟画面(虚拟内容)。其中，现场实景可以由如图4b所示的选手席和如图4c所示的全景视角(包括至少两处选手席)两部分组成，由导播控制切换。虚拟画面可以包括如图4d所示的游戏赛事虚拟画面(提供与游戏赛事直播一致的画面，并作为整个产品场景的主音频)和如图4e所示的赛事地图数字沙盘(基于游戏赛事地图构建的数字沙盘，游戏角色移动与直播大屏内容一致。用户可以在直播大屏基础上，体验到更多赛事直播内容)等，但不限于此。实际应用中，本领域技术人员可以结合直播内容，对虚拟画面的内容进行设置，本申请实施例在此不做限定。
本申请实施例中，在导播命令包括虚实合成命令的情况下，为步骤S103提供了一种可行的实施方式，具体地，可以包括：
步骤S1031：基于赛事虚拟画面，标记虚拟画面中的虚拟对象在赛事地图数字沙盘上的位置；
步骤S1032：对第六直播流进行解码，得到第六直播流的直播画面；
步骤S1033：将赛事虚拟画面和标记虚拟对象位置后的赛事地图数字沙盘，合并到第六直播流的直播画面中，生成通过预定视频编码标准编码的第七直播流。
可选地，可以将虚拟画面中的虚拟对象的位置信息映射至赛事地图数字沙盘上，得到虚拟对象在赛事地图数字沙盘上的位置，并基于虚拟画面中的虚拟对象的标识信息，生成赛事地图数字沙盘上虚拟对象的标识，并进行显示。为了区分不同队伍之间的虚拟对象，可以采用不同的显示效果对的赛事地图数字沙盘上虚拟对象的标识进行突出显示，比如一个队伍的虚拟对象的标识采用蓝色，另一个队伍的虚拟对象的标识采用红色等，但不限于此，也可以采用其他显示效果。
一个实例中，以游戏赛事直播为例，如图4f所示，可以将现场实景(第六直播流的直播画面)的画面显示在左侧，将游戏赛事虚拟画面和赛事地图数字沙盘上下排列而成的虚拟画面设置显示在右侧，基于融合的画面生成通过预定视频编码标准编码的第七直播流。实际应用中，现场实景和虚拟画面的融合方式不限于此，本领域技术人员可以根据实际情况进行设置，本申请实施例在此不做限定。
可选地，虚实合成命令可以通过导播控制程序实时生成，或者，也可以是通过导播控制程序预配置虚实合成方式，每到该流程时导播控制程序自动地根据配置生成虚实合成命令。
例如如图4g所示，来源中的虚拟制作是指基于至少两个采集设备分别采集的直播流确定出的虚拟制作画面，来源中的现场延时rtmp4是指延时配置处理后直播流，可以基于导播命令将虚拟制作画面合并到第六直播流中。可以通过点击控制按钮，实时或在指定流程生成虚实合成命令，以将虚拟制作画面合并到现场延时rtmp4中。
可选地，虚拟制作还包括转场特效，具体的特效类型和特效时长可以根据实际情况进行设置，本申请实施例在此不做限定。
其他实施例中，直播控制处理还可以包括混音器的处理、字幕处理等，但不限于此。
本申请提供了一种可选的实施方式，各直播控制处理可以由一台设备完成。以导播命令包括切播控制命令、延时配置命令、虚实合成命令为例，如图5所示，第六直播流包括至少两个采集设备分别采集的直播流。该示例中以8K相机1和8K相机2这两个采集设备分别采集的直播流rtmp1-1和rtmp1-2为例，相机1和相机2通过RTMP H.265推流到服务器的SRS服务(分别为rtmp1-1和rtmp1-2)；服务器的导播控制程序OBS，拉取相机1画面和相机2画面，用于切播控制处理(执行切播控制命令)。接着，OBS进行延时配置(执行延时配置命令，该步骤是可选的)。然后，OBS拉取UE虚拟制作部分画面(UE的传输插件spout输出到OBS)，合成虚实结合的360°画面(执行虚实合成命令)，推流到服务器的SRS服务器，生成直播流rtmp1-4(第七直播流)。直播平台通过拉取服务器的SRS服务器生成直播流rtmp1-4，分发到对应的CDN。可选地，上述切播控制处理完成后，OBS可以基于H.265推流到服务器的SRS服务中，生成直播流rtmp1-3(服务器1的第七直播流)，rtmp1-3是现场两个相机画面合成，还没加延时，可直接提供给安播侧，进行安播管理。
本申请提供了另一种可选的实施方式，各直播控制处理可以由多台设备完成，每台设备分别执行一种或多种直播控制处理。以导播命令包括切播控制命令、延时配置命令、虚实合成命令为例，如图6所示，该示例中以8K相机1和8K相机2这两个采集设备分别采集的直播流rtmp2-1和rtmp2-2为例，相机1和相机2通过RTMP H.265推流到服务器1的SRS服务(分别为rtmp2-1和rtmp2-2)，即服务器1的第六直播流包括至少两个采集设备分别采集的直播流；服务器1的导播控制程序OBS，拉取相机1画面和相机2画面，用于切播控制处理(执行切播控制命令)。进而服务器1的OBS可以基于H.265推流到服务器1的SRS服务中，生成直播流rtmp2-3(服务器1的第七直播流)，rtmp2-3是现场两个相机画面合成，还没加延时，可直接提供给安播侧，进行安播管理。
接着，服务器2的OBS拉取服务器1SRS生成的rtmp2-3直播流(服务器2的第六直播流)，进行延时配置(执行延时配置命令，该步骤是可选的)。然后，OBS拉取UE虚拟制作部分画面(UE的传输插件spout输出到OBS)，合成虚实结合的360°画面(执行虚实合成命令)，推流到服务器2的SRS服务器，生成直播流rtmp2-4(服务器2的第七直播流)。直播平台通过拉取服务器2的SRS服务器生成直播流rtmp2-4，分发到对应的CDN。
可选地，为了保障带宽稳定，相机1可以通过RTMP H.265推流到服务器1的SRS服务(rtmp2-1)，相机2推流到服务器2的SRS服务(rtmp2-2)，服务器1的OBS导播，拉取服务器1SRS出来的相机1画面，和服务器2SRS出来的相机2画面，用于切播控制处理。
本申请提供了又一种可选的实施方式，各直播控制处理可以分别由不同的设备完成，每台设备分别执行一种直播控制处理。以导播命令包括切播控制命令、延时配置命令、虚实合成命令为例，如图7所示，该示例中以8K相机1和8K相机2这两个采集设备分别采集的直播流rtmp3-1和rtmp3-2为例，为了保障带宽稳定，相机1可以通过RTMP H.265推流到服务器1的SRS服务(rtmp3-1)，相机2推流到服务器2的SRS服务(rtmp3-2)，服务器1的导播控制程序OBS，拉取服务器1SRS出来的相机1画面，和服务器2SRS出来的相机2画面，用于切播控制处理。即服务器1的第六直播流包括至少两个采集设备分别采集的直播流。进而服务器1的OBS可以基于H.265推流到服务器1的SRS服务中，生成直播流rtmp3-3(服务器1的第七直播流)，rtmp3-3是现场两个相机画面合成，还没加延时，可直接提供给安播侧，进行安播管理。
接着，服务器2的OBS拉取服务器1SRS生成的rtmp3-3直播流(服务器2的第六直播流)，进行延时配置，推送到服务器2的SRS服务，生成延时直播流rtmp3-4(服务器2的第七直播流)，如果不需要设置延时，则可以省略服务器2服务器。
然后，服务器3的OBS拉取rtmp3-4(服务器3的第六直播流)，以及UE虚拟制作画面(虚拟内容)部分(UE的传输插件spout输出到OBS)，合成虚实结合的360°画面(执行虚实合成命令)，推流到服务器2的SRS服务器，生成直播流rtmp3-5(服务器3的第七直播流)。直播平台通过拉取服务器2的SRS服务器生成直播流rtmp3-5，分发到对应的CDN。
可选地，为了保障带宽稳定，至少两个采集设备分别采集的直播流可以推流到不同设备的SRS服务，由服务器1的OBS拉取用于切播控制处理。实际应用中，采集设备与推流的设备的关联关系可以根据实际情况进行设置，例如可以平均分配、或者根据带宽情况、网络情况、设备情况等信息进行分配，本申请实施例在此不做限定。
可以理解的是，上述图5至图7中，多个服务器可以看作是一个直播数据的处理系统，例如可以搭建于一套云服务器，因此通过内网来传输数据。而与采集设备、安播设备、直播平台之间的交互可以采用外网。其中，内网或外网均可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制。
基于上述至少一个实施例，本申请实施例中，若导播命令为切播控制命令，第六直播流包括至少两个采集设备分别采集的直播流，例如图5至图7中所示的rtmp1-1、rtmp1-2、rtmp2-1、rtmp2-2、rtmp3-1、rtmp3-2等。实际应用中，本领域技术人员可以根据实际情况对采集设备的数量、位置、类型进行设置，本申请实施例在此不做限定。可选地，本申请实施例中的采集设备可以采用8K采集设备，用于拍摄高质量的直播流。
若导播命令包括延时配置命令，第六直播流包括基于切播控制命令进行直播控制处理(即切播控制处理)后的直播流，例如图5中rtmp1-1和rtmp1-2直播流进行切播控制处理后的数据，图6中的rtmp2-3，图7中的rtmp3-3等。
若导播命令包括虚实合成命令，第六直播流包括基于切播控制命令进行直播控制处理后的直播流，例如图5中的延时配置处理步骤被省略，虚实合成命令直接处理将rtmp1-1和rtmp1-2直播流进行直播控制处理后的数据；又例如图6中的延时配置处理步骤被省略，虚实合成命令直接处理rtmp2-3；再例如图7中的延时配置处理步骤被省略，虚实合成命令直接处理rtmp3-3。
其中对于图7，可选地，可以由服务器1来判断是否需要执行延时配置处理步骤，若需要，则通知服务器2来拉取rtmp3-3，若不需要，则通知服务器3来拉取rtmp3-3，这种方案的好处是，在不需要执行延时配置处理步骤，可以节约服务器2的资源。或者可选地，可以由服务器2来判断是否需要执行延时配置处理步骤，若需要，则基于rtmp3-3和延时配置命令进行延时配置处理得到rtmp3-4待服务器3拉取，若不需要，则不对rtmp3-3进行处理，直接将rtmp3-3进行传递待服务器3拉取，这种方案的好处是，简化服务器1的通知步骤。可选地，是否需要执行延时配置是缺省的，例如服务器3默认从服务器1拉取rtmp3-3，或默认从服务器2拉取rtmp3-4。
进一步地，步骤S104具体可以包括以下至少一种情形：
若导播命令包括切播控制命令，将第七直播流发送至安播管理设备(例如图5至图7中，服务器或服务器1可以将rtmp1-3、rtmp2-3、rtmp3-3发送至安播管理设备进行安播管理)、基于延时配置命令进行直播控制处理的设备(例如图5中，可以由同一服务器直接进行处理，或者图6、图7中服务器1将rtmp2-3、rtmp3-3发送至服务器2)、基于虚实合成命令进行直播控制处理的设备(例如图5中，可以由同一服务器直接进行处理，或者图6中服务器1将rtmp2-3发送至服务器2，或者图7中若延时配置处理步骤被省略，服务器1可以直接将rtmp3-3发送至服务器3)、直播内容分发系统(例如图5至图7中，延时配置处理步骤和虚实结合处理步骤均被省略，服务器或服务器1可以直接将rtmp1-3、rtmp2-3、rtmp3-3待直播平台拉取后分发到对应的CDN)中的至少一种。
若导播命令包括延时配置命令，将第七直播流发送至基于虚实合成命令进行直播控制处理的设备(例如图5和图6中，可以由同一服务器直接进行处理，或者图7中，服务器2可以直接将rtmp3-4发送至服务器3)、直播内容分发系统(例如图5至图7中，虚实结合处理步骤均被省略，服务器或服务器2可以直接将rtmp1-3、rtmp2-4、rtmp3-4待直播平台拉取后分发到对应的CDN)中的至少一种；
若导播命令包括虚实合成命令，将第七直播流发送至直播内容分发系统(例如图5中，服务器可以将rtmp1-3待直播平台拉取后分发到对应的CDN，或者图6中，服务器2可以将rtmp2-4待直播平台拉取后分发到对应的CDN，或者图7中，服务器3可以将rtmp3-5待直播平台拉取后分发到对应的CDN)。
本申请实施例提供的直播数据的处理方法，基于SRS视频服务器、OBS软件等导播控制程序、云服务器等，可以搭建一套支持8K的VR虚实结合的导播直播制作方案。该方案相比于现有直播导播方案，具有以下优势：
(1)使用SRS视频服务器接收和处理H.265直播流，能够实现高效、稳定的视频直播。
(2)使用OBS软件等导播控制程序进行导播操作，实现对视频、音频、字幕等元素的实时控制。
(3)使用云服务器进行部署，实现高效、稳定的视频存储和处理。
具体而言，相较于现有直接接入H.264直播流，输出2K直播流，本方案可以输出清晰度更高的6K/8K直播流，也可兼容2K、4K等直播流。
相较于直接接入H.264直播流，输出8K直播流，本方案的整体部署成本显著减少，且输出画面帧率更加稳定。
相较于直播导播平台直接接入H.265直播流，本方案可以利用云服务器等设备的GPU来加速解码，解码性能更优，直播视频流的存储和处理更加稳定。
本申请实施例中，针对各直播控制处理可以由多台设备完成的情况，提供了一种直播数据的处理系统，本方案的系统架构可以包括SRS视频服务器(用于直播流的传输)、云服务器(用于直播流的存储)、导播控制程序(用于实时控制视频、音频、字幕等元素)和采集设备(例如8K采集设备，用于拍摄高质量的直播流，以通过本方案的直播数据的处理方法输出8K直播)等。如图8所示，可以包括：
步骤S801：第一设备获取通过预定视频编码标准编码的至少两个采集设备分别采集的第一直播流；
本申请实施例中，预定视频编码标准可以是指支持8K视频格式的H.265、AV1、VP9等视频编码标准中的至少一种，但不限于此，这些编码方案具有高效、高质量的特点。可以理解，随着视频编码标准发展和进步，预定视频编码标准可以包括更多类型的视频编码标准。
本申请实施例中，采用了预定视频编码标准方案，可以实现更高效的视频压缩和更高质量的视频图像。其中，H.265具有较高的稳定性。下文中为便于描述，可能以预定视频编码标准是H.265为例进行介绍。
本申请实施例中，直播流可以是指采用RTMP上传的视频流，用于作为直播源进行直播。
本申请实施例中，第一设备可以基于部署的SRS获取通过预定视频编码标准编码的第一直播流。SRS视频服务器用于直播流的传输，使用SRS视频服务器接收和处理H.265直播流，能够实现高效、稳定的视频直播。
步骤S802：第一设备通过导播控制程序，生成对至少两个第一直播流的切播控制命令；
本申请实施例中，导播控制程序是指能够对视频、音频、字幕等元素进行实时控制的应用程序。例如，导播控制程序可以采用OBS、AI网络模型，或者还可以结合UE实现自动导播等，本申请实施例在此不做限定。
本申请实施例中，第一设备可以响应于通过导播控制程序对至少两个第一直播流的切换操作，生成切播控制命令，即可以结合人工通过导播控制程序输入的指令来生成切播控制命令。
步骤S803：第一设备基于切播控制命令，对至少两个第一直播流进行切播控制处理，生成通过预定视频编码标准编码的第二直播流；
本申请实施例中，第一设备可以基于切播控制命令，对至少两个第一直播流进行切播控制处理，并基于SRS，生成通过预定视频编码标准编码的第二直播流。
其中，步骤S802的执行，具体可以包括以下至少一种方式：
(1)第一设备响应于通过导播控制程序对至少两个第一直播流的切换操作，生成对至少两个第一直播流的切播控制命令；
(2)第一设备基于至少两个第一直播流，使用人工智能网络模型，生成对至少两个第一直播流的切播控制命令。
具体内容可以参见上文中的介绍，在此不再赘述。
步骤S804：第二设备从第一设备获取第二直播流，并获取第二直播流对应的虚拟制作画面；
本申请实施例中，第二直播流也是通过预定视频编码标准编码的，同样可以实现更高效的视频压缩和更高质量的视频图像。
本申请实施例中，第二设备也可以基于部署的SRS获取通过预定视频编码标准编码的第二直播流。
本申请实施例中，虚拟制作画面是指虚拟场景的视频，例如以游戏赛事直播为例，如图4f所示，制作而成的直播画面中可以包括游戏赛事现场实景，以及UE制作的虚拟画面(虚拟内容)。其中，现场实景可以由选手席和全景视角两部分组成，由导播控制切换。虚拟画面可以包括赛事虚拟画面和赛事地图数字沙盘等，但不限于此。实际应用中，本领域技术人员可以结合直播内容，对虚拟制作画面的内容进行设置，本申请实施例在此不做限定。
步骤S805：第二设备通过导播控制程序，生成对第二直播流的虚实合成命令；
本申请实施例中，第一设备的导播控制程序和第二设备的导播控制程序可以相同或不同。
本申请实施例中，第二设备通过导播控制程序，生成对第二直播流的虚实合成命令，可以结合人工通过导播控制程序输入的指令来生成，也可以根据预先的配置直接生成，本申请实施例在此不做限定。
步骤S806：第二设备基于虚实合成命令，将虚拟制作画面合并到第二直播流中，生成通过预定视频编码标准编码的第三直播流；
本申请实施例中，第二设备基于虚实合成命令，将虚拟制作画面合并到第二直播流中，并基于SRS，生成通过预定视频编码标准编码的第三直播流。
可选地，可以使用VR技术、AR技术等技术，将虚拟场景的视频与真实拍摄的直播视频进行融合，实现更加丰富、生动的视频效果，观众可以比现场获得更加丰富的观看体验。
其中，虚拟制作画面可以包括赛事虚拟画面和赛事地图数字沙盘，步骤S806具体可以包括：
步骤S8061：第二设备基于赛事虚拟画面，标记赛事虚拟画面中的虚拟对象在赛事地图数字沙盘上的位置；
步骤S8062：第二设备对第二直播流进行解码，得到第二直播流的直播画面；
步骤S8063：第二设备将赛事虚拟画面和标记虚拟对象位置后的赛事地图数字沙盘，合并到第二直播流的直播画面中，生成通过预定视频编码标准编码的第三直播流。
虚实合成处理的更多介绍可以参见上文，在此不再赘述。
步骤S807：第二设备将第三直播流发送至直播内容分发系统。
本申请实施例中，第三直播流发送给直播内容分发系统用于直播。
本申请实施例中，可以第一设备和第二设备可以通过云服务器实现高效、稳定的直播视频的存储和处理。其中，云服务器中通常可以提供GPU计算服务，在应用于H.265等预定视频编码标准编码的直播流时，能够实现直播视频流的稳定存储和处理。
具体而言，针对步骤S801和步骤S804中的每一项，还可以包括：在设备(第一设备或第二设备)的图形处理器(GPU)中，对通过预定视频编码标准编码的直播流(第一直播流或第二直播流)进行硬件加速解码，得到解码后的直播流；在图形处理器中渲染解码后的直播流，得到对应的直播画面。进一步地，对直播画面进行切播控制处理或虚实合成处理后，生成相应的通过预定视频编码标准编码的直播流。
基于此，本申请实施例提供的直播数据的处理系统，便可完成对8K直播流的导播和转推等操作，实现稳定帧率的8K直播输出。
本申请实施例中，在图8的基础上，如图9所示，步骤S804可以包括：
步骤S904：第三设备从第一设备获取第二直播流；
本申请实施例中，第二直播流也是通过预定视频编码标准编码的，同样可以实现更高效的视频压缩和更高质量的视频图像。
本申请实施例中，第三设备也可以基于部署的SRS获取通过预定视频编码标准编码的第二直播流。
步骤S905：第三设备通过导播控制程序，生成对第二直播流的延时配置命令；
本申请实施例中，第一设备的导播控制程序、第二设备的导播控制程序、第三设备的导播控制程序可以相同或不同。
本申请实施例中，第三设备通过导播控制程序，生成对第二直播流的延时配置命令，可以结合人工通过导播控制程序输入的指令来生成，也可以根据预先的配置直接生成，本申请实施例在此不做限定。
步骤S906：第三设备基于延时配置命令，对第二直播流进行延时配置处理，生成通过预定视频编码标准编码的第四直播流；
本申请实施例中，第三设备基于延时配置命令，对第二直播流进行延时配置处理，并基于SRS，生成通过预定视频编码标准编码的第四直播流。
其中，延时配置处理的更多介绍可以参见上文，在此不再赘述。
步骤S907：第二设备从第三设备获取第四直播流，并获取第四直播流对应的虚拟制作画面；
其中，步骤S907的执行方式和步骤S804类似，在此将不再赘述。
则步骤S805和步骤S806具体可以包括：
步骤S908：第二设备通过导播控制程序，生成对第四直播流的虚实合成命令；
步骤S909：第二设备基于虚实合成命令，将虚拟制作画面合并到第四直播流中，生成通过预定视频编码标准编码的第三直播流。
其中，步骤S908和步骤S909的执行方式和步骤S805和步骤S806类似，在此将不再赘述。
本申请实施例中，在图8的基础上，如图10所示，步骤S805可包括：
步骤S1005：第二设备通过导播控制程序，生成对第二直播流的延时配置命令；
本申请实施例中，第二设备通过导播控制程序，生成对第二直播流的延时配置命令，可以结合人工通过导播控制程序输入的指令来生成，也可以根据预先的配置直接生成，本申请实施例在此不做限定。
步骤S1006：第二设备基于延时配置命令，对第二直播流进行延时配置处理，生成通过预定视频编码标准编码的第五直播流；
本申请实施例中，第二设备基于延时配置命令，对第二直播流进行延时配置处理，并基于SRS，生成通过预定视频编码标准编码的第五直播流。
其中，延时配置处理的更多介绍可以参见上文，在此不再赘述。
步骤S1007：第二设备通过导播控制程序，生成对第五直播流的虚实合成命令；
其中，步骤S1007的执行方式和步骤S805类似，在此将不再赘述。
则步骤S804中的步骤“获取第二直播流对应的虚拟制作画面”具体可以包括：获取第五直播流对应的虚拟制作画面。
其中，该步骤的执行方式和步骤S804类似，在此将不再赘述。
则步骤S806具体可以包括：
步骤S1008：第二设备基于虚实合成命令，将虚拟制作画面合并到第五直播流中，生成通过预定视频编码标准编码的第三直播流。
其中，步骤S1008的执行方式和步骤S806类似，在此将不再赘述。
同理地，针对步骤S904和步骤S907中的每一项，还可以包括：在设备(第二设备或第三设备)的图形处理器(GPU)中，对通过预定视频编码标准编码的直播流(第二直播流或第四直播流)进行硬件加速解码，得到解码后的直播流；在图形处理器中渲染解码后的直播流，得到对应的直播画面。进一步地，对直播画面进行延时配置处理或虚实合成处理后，生成相应的通过预定视频编码标准编码的直播流。
本申请实施例中，在步骤S803之后，还可以包括步骤：第一设备将第二直播流发送至安播管理设备，以使得安播管理设备基于第二直播流进行安播管理。
本申请实施例提供的直播数据的处理系统，通过使用SRS视频服务器、OBS软件导播控制程序和云服务器，搭建为支持8K虚实结合的导播直播制作系统，具有以下优点：
(1)部署简单，工具易于使用和维护。
(2)视频传输和存储稳定，能够实现稳定帧率的6/8K VR直播输出。
(3)导播控制系统功能完善，能够实现高质量的直播制作。
(4)虚拟场景技术应用，能够实现更加丰富、生动的视频效果。
本申请实施例提供的直播数据的处理系统，能够在较低配置的CPU、GPU硬件(支持HEVC即可)环境，完成对多道8K直播流的导播转推操作，实现稳定帧率的6/8K VR直播输出。
本申请实施例提供的直播数据的处理系统，可以实现高效、稳定、高质量的视频直播制作，具有广泛的应用前景。同时，还可以通过不断的技术创新和改进，进一步提高视频直播制作的质量和效率。
由上文的介绍可知，本申请实施例提供的直播数据的处理系统，可应用在提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器中。
其中，云计算是指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。云计算是网格计算(Grid Computing)、分布式计算(DistributedComputing)、并行计算(ParallelComputing)、效用计算(Utility Computing)、网络存储(Network StorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。
随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储系统。
目前，存储系统的存储方法为：创建逻辑卷，在创建逻辑卷时，就为每个逻辑卷分配物理存储空间，该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据，也就是将数据存储在文件系统上，文件系统将数据分成许多部分，每一部分是一个对象，对象不仅包含数据而且还包含数据标识(ID，ID entity)等额外的信息，文件系统将每个对象分别写入该逻辑卷的物理存储空间，且文件系统会记录每个对象的存储位置信息，从而当客户端请求访问数据时，文件系统能够根据每个对象的存储位置信息让客户端对数据进行访问。
存储系统为逻辑卷分配物理存储空间的过程，具体为：按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘阵列(RAID，Redundant Array of Independent Disk)的组别，预先将物理存储空间划分成分条，一个逻辑卷可以理解为一个分条，从而为逻辑卷分配了物理存储空间。
本申请实施例提供的直播数据的处理系统，部分步骤可以基于AI技术实现。AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。本申请实施例涉及的人工智能软件技术主要包括计算机视觉技术、以及机器学习/深度学习等几大方向。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
进一步结合以上技术可以实现人工智能云服务，也被称作是AIaaS(AI as aService，中文为“AI即服务”)。这是目前主流的一种人工智能平台的服务方式，具体来说AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城：所有的开发者都可以通过API接口的方式来接入使用平台提供的一种或者是多种人工智能服务，部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供了一种直播数据的处理装置，如图11所示，该直播数据的处理装置110可以包括：获取模块1101、生成模块1102、处理模块1103以及发送模块1103，其中，
获取模块1101用于获取通过预定视频编码标准编码的第六直播流，预定视频编码标准支持8K视频格式；
生成模块1102用于通过导播控制程序，生成对第六直播流的导播命令；
处理模块1103用于基于导播命令，对第六直播流进行直播控制处理，生成通过预定视频编码标准编码的第七直播流；
发送模块1104用于发送第七直播流。
在一种可选的实施方式中，导播命令包括切播控制命令、延时配置命令、虚实合成命令中的至少一种；
若导播命令包括切播控制命令，第六直播流包括至少两个采集设备分别采集的直播流；
若导播命令包括延时配置命令，第六直播流包括基于切播控制命令进行直播控制处理后的直播流；
若导播命令包括虚实合成命令，第六直播流包括基于切播控制命令进行直播控制处理后的直播流、或基于延时配置命令进行直播控制处理后的直播流。
在一种可选的实施方式中，发送模块1104在用于发送第七直播流时，具体用于以下至少一种：
若导播命令包括切播控制命令，将第七直播流发送至安播管理设备、基于延时配置命令进行直播控制处理的设备、基于虚实合成命令进行直播控制处理的设备、直播内容分发系统中的至少一种；
若导播命令包括延时配置命令，将第七直播流发送至基于虚实合成命令进行直播控制处理的设备、直播内容分发系统中的至少一种；
若导播命令包括虚实合成命令，将第七直播流发送至直播内容分发系统。
在一种可选的实施方式中，获取模块1101在用于获取通过预定视频编码标准编码的第六直播流时，具体用于：
基于部署的SRS获取通过预定视频编码标准编码的第六直播流；
处理模块1103在用于基于导播命令，对第六直播流进行直播控制处理，生成通过预定视频编码标准编码的第七直播流时，具体用于：
基于导播命令，对第六直播流进行直播控制处理，并基于SRS，生成通过预定视频编码标准编码的第七直播流。
在一种可选的实施方式中，若导播命令包括切播控制命令，生成模块1102在用于通过导播控制程序，生成对第六直播流的导播命令时，具体用于以下至少一种：
响应于通过导播控制程序对至少两个采集设备分别采集的直播流的切换操作，生成切播控制命令；
基于至少两个采集设备分别采集的直播流，使用人工智能网络模型，生成切播控制命令。
在一种可选的实施方式中，若导播命令包括虚实合成命令，处理模块1103在用于基于导播命令，对第六直播流进行直播控制处理，生成通过预定视频编码标准编码的第七直播流时，具体用于：
基于至少两个采集设备分别采集的直播流，确定虚拟制作画面；
基于虚实合成命令，将虚拟制作画面合并到第六直播流中，生成通过预定视频编码标准编码的第七直播流。
在一种可选的实施方式中，预定视频编码标准包括以下至少一种：H.265；AV1；VP9。
可选地，本申请实施例的装置可以部署于上述第一设备、第二设备、第三设备中。例如，第一设备的中的获取模块1101用于执行步骤S801，生成模块1102用于执行步骤S802，处理模块1103用于执行步骤S803；第二设备的中的获取模块1101用于执行步骤S804或步骤S907，生成模块1102用于执行步骤S805、步骤S908或步骤S1007等，处理模块1103用于执行步骤S806、步骤S909或步骤S1008等，发送模块1104用于执行步骤S807；第三设备的中的获取模块1101用于执行步骤S904，生成模块1102用于执行步骤S905，处理模块1103用于执行步骤S906等。
本申请实施例的装置可执行本申请实施例所提供的方法，其实现原理相类似，本申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。
本申请实施例中提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现各方法实施例的步骤或上述各设备执行的步骤。
在一个可选实施例中提供了一种电子设备，如图12所示，图12所示的电子设备1200包括：处理器1201和存储器1203。其中，处理器1201和存储器1203相连，如通过总线1202相连。可选地，电子设备1200还可以包括收发器1204，收发器1204可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器1204不限于一个，该电子设备1200的结构并不构成对本申请实施例的限定。
处理器1201可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器1201也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线1202可包括一通路，在上述组件之间传送信息。总线1202可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线1202可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器1203可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和命令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和命令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
存储器1203用于存储执行本申请实施例的计算机程序，并由处理器1201来控制执行。处理器1201用于执行存储器1203中存储的计算机程序，以实现前述方法实施例所示的步骤。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请的说明书和权利要求书以及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。
应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。
以上仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。

Claims (12)

1.一种直播数据的处理系统，其特征在于，包括：
第一设备获取通过预定视频编码标准编码的至少两个采集设备分别采集的第一直播流；
所述第一设备通过导播控制程序，生成对至少两个第一直播流的切播控制命令；
所述第一设备基于所述切播控制命令，对所述至少两个第一直播流进行切播控制处理，生成通过所述预定视频编码标准编码的第二直播流；
第二设备从所述第一设备获取所述第二直播流，并获取所述第二直播流对应的虚拟制作画面；
所述第二设备通过导播控制程序，生成对所述第二直播流的虚实合成命令；
所述第二设备基于所述虚实合成命令，将所述虚拟制作画面合并到所述第二直播流中，生成通过所述预定视频编码标准编码的第三直播流；
所述第二设备将所述第三直播流发送至直播内容分发系统。
2.根据权利要求1所述的处理系统，其特征在于，第二设备从所述第一设备获取所述第二直播流，并获取所述第二直播流对应的虚拟制作画面，包括：
第三设备从所述第一设备获取所述第二直播流；
所述第三设备通过导播控制程序，生成对所述第二直播流的延时配置命令；
所述第三设备基于所述延时配置命令，对所述第二直播流进行延时配置处理，生成通过所述预定视频编码标准编码的第四直播流；
所述第二设备从所述第三设备获取所述第四直播流，并获取所述第四直播流对应的虚拟制作画面；
所述第二设备通过导播控制程序，生成对所述第二直播流的虚实合成命令；所述第二设备基于所述虚实合成命令，将所述虚拟制作画面合并到所述第二直播流中，生成通过所述预定视频编码标准编码的第三直播流，包括：
所述第二设备通过导播控制程序，生成对所述第四直播流的虚实合成命令；
所述第二设备基于所述虚实合成命令，将所述虚拟制作画面合并到所述第四直播流中，生成通过所述预定视频编码标准编码的第三直播流。
3.根据权利要求1所述的处理系统，其特征在于，所述第二设备通过导播控制程序，生成对所述第二直播流的虚实合成命令，包括：
所述第二设备通过导播控制程序，生成对所述第二直播流的延时配置命令；
所述第二设备基于所述延时配置命令，对所述第二直播流进行延时配置处理，生成通过所述预定视频编码标准编码的第五直播流；
所述第二设备通过导播控制程序，生成对所述第五直播流的虚实合成命令；
所述获取所述第二直播流对应的虚拟制作画面，包括：
获取所述第五直播流对应的虚拟制作画面；
所述第二设备基于所述虚实合成命令，将所述虚拟制作画面合并到所述第二直播流中，生成第三直播流，包括：
所述第二设备基于所述虚实合成命令，将所述虚拟制作画面合并到所述第五直播流中，生成通过所述预定视频编码标准编码的第三直播流。
4.根据权利要求1-3任一项所述的处理系统，其特征在于，针对所述第一设备获取通过预定视频编码标准编码的至少两个采集设备分别采集的第一直播流，第二设备从所述第一设备获取所述第二直播流，第三设备从所述第一设备获取所述第二直播流，所述第二设备从所述第三设备获取所述第四直播流中的每一项，设备获取通过预定视频编码标准编码的直播流，包括：
设备基于部署的简单实时服务器SRS获取通过预定视频编码标准编码的直播流；
针对所述第一设备生成通过所述预定视频编码标准编码的第二直播流，所述第二设备生成通过所述预定视频编码标准编码的第三直播流，所述第三设备生成通过所述预定视频编码标准编码的第四直播流，所述第三设备生成通过所述预定视频编码标准编码的第五直播流中的每一项，设备生成通过所述预定视频编码标准编码的直播流，包括：
设备基于所述SRS，生成通过所述预定视频编码标准编码的直播流。
5.根据权利要求1-3任一项所述的处理系统，其特征在于，针对所述第一设备获取通过预定视频编码标准编码的至少两个采集设备分别采集的第一直播流，第二设备从所述第一设备获取所述第二直播流，第三设备从所述第一设备获取所述第二直播流，所述第二设备从所述第三设备获取所述第四直播流中的每一项，设备获取通过预定视频编码标准编码的直播流之后，还包括：
在所述设备的图形处理器中，对所述通过预定视频编码标准编码的直播流进行硬件加速解码，得到解码后的直播流；
在所述图形处理器中渲染所述解码后的直播流，得到对应的直播画面。
6.根据权利要求1-3任一项所述的处理系统，其特征在于，所述第一设备通过导播控制程序，生成对至少两个第一直播流的切播控制命令，包括以下至少一种：
所述第一设备响应于通过导播控制程序对所述至少两个第一直播流的切换操作，生成对至少两个第一直播流的切播控制命令；
所述第一设备基于所述至少两个第一直播流，使用人工智能网络模型，生成对至少两个第一直播流的切播控制命令。
7.根据权利要求1-3任一项所述的处理系统，其特征在于，所述虚拟制作画面包括赛事虚拟画面和赛事地图数字沙盘，所述第二设备基于所述虚实合成命令，将所述虚拟制作画面合并到所述第二直播流中，生成通过所述预定视频编码标准编码的第三直播流，包括：
所述第二设备基于所述赛事虚拟画面，标记所述赛事虚拟画面中的虚拟对象在所述赛事地图数字沙盘上的位置；
所述第二设备对所述第二直播流进行解码，得到所述第二直播流的直播画面；
所述第二设备将所述赛事虚拟画面和标记所述虚拟对象位置后的赛事地图数字沙盘，合并到所述第二直播流的直播画面中，生成通过所述预定视频编码标准编码的第三直播流。
8.根据权利要求1-3任一项所述的处理系统，其特征在于，所述第一设备基于所述切播控制命令，对所述至少两个第一直播流进行切播控制处理，生成通过所述预定视频编码标准编码的第二直播流之后，还包括：
所述第一设备将所述第二直播流发送至安播管理设备，以使得安播管理设备基于所述第二直播流进行安播管理。
9.根据权利要求1-3任一项所述的处理系统，其特征在于，所述预定视频编码标准包括以下至少一种：
高效视频编码H.265；
AV1视频编码；
第九代视频压缩VP9。
10.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-9任一项所述设备执行的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9任一项所述设备执行的步骤。
12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9任一项所述设备执行的步骤。
CN202310859177.6A 2023-07-12 2023-07-12 直播数据的处理系统、电子设备、存储介质及程序产品 Pending CN116980637A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310859177.6A CN116980637A (zh) 2023-07-12 2023-07-12 直播数据的处理系统、电子设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310859177.6A CN116980637A (zh) 2023-07-12 2023-07-12 直播数据的处理系统、电子设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN116980637A true CN116980637A (zh) 2023-10-31

Family

ID=88482356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310859177.6A Pending CN116980637A (zh) 2023-07-12 2023-07-12 直播数据的处理系统、电子设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN116980637A (zh)

Similar Documents

Publication Publication Date Title
JP7030989B2 (ja) 動的ビューポイントの座標系に関するメタデータを送受信する方法及び装置
US20200389640A1 (en) Method and device for transmitting 360-degree video by using metadata related to hotspot and roi
KR20190008901A (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
US20220247990A1 (en) Method, An Apparatus And A Computer Program Product For Virtual Reality
JP2020503792A (ja) 情報処理方法および装置
EP3741130B1 (en) Efficient association between dash objects
WO2017185761A1 (zh) 2d视频播放方法及装置
US20200145716A1 (en) Media information processing method and apparatus
CN112492231B (zh) 远程交互方法、装置、电子设备和计算机可读存储介质
WO2024037137A1 (zh) 一种沉浸媒体的数据处理方法、装置、设备、介质和产品
CN111869223A (zh) 沉浸式媒体的视场角度量
CN114139491A (zh) 一种数据处理方法、装置及存储介质
CN109874024A (zh) 一种基于动态视频海报的弹幕处理方法、系统及存储介质
WO2024041239A1 (zh) 一种沉浸媒体的数据处理方法、装置、设备、存储介质及程序产品
WO2023226504A1 (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
WO2024001661A1 (zh) 视频合成方法、装置、设备和存储介质
US20230025664A1 (en) Data processing method and apparatus for immersive media, and computer-readable storage medium
CN116980637A (zh) 直播数据的处理系统、电子设备、存储介质及程序产品
US11902634B2 (en) Associating file format objects and dynamic adaptive streaming over hypertext transfer protocol (DASH) objects
US20230360678A1 (en) Data processing method and storage medium
WO2023169003A1 (zh) 点云媒体的解码方法、点云媒体的编码方法及装置
WO2023169001A1 (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
KR102465403B1 (ko) 2d영상 및 360도 영상이 조합된 동영상 콘텐츠를 제공하는 방법 및 장치
WO2023169004A1 (zh) 点云媒体的数据处理方法、装置、设备及介质
CN116456122A (zh) 直播视频数据处理方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication