CN113542897A - 一种适用于多视角直播的音视频直播方法 - Google Patents
一种适用于多视角直播的音视频直播方法 Download PDFInfo
- Publication number
- CN113542897A CN113542897A CN202110546111.2A CN202110546111A CN113542897A CN 113542897 A CN113542897 A CN 113542897A CN 202110546111 A CN202110546111 A CN 202110546111A CN 113542897 A CN113542897 A CN 113542897A
- Authority
- CN
- China
- Prior art keywords
- audio
- live broadcast
- mobile phone
- cloud
- cloud mobile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012360 testing method Methods 0.000 claims description 26
- 230000000007 visual effect Effects 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 15
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
- H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
- H04N21/6175—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供的一种适用于多视角直播的音视频直播方法，包括接收音视频数据、接收多路音视频同步指令、同步音视频流数据、接收直播指令、多视角直播推流以及主窗口切换。本发明的一种适用于多视角直播的音视频直播方法，通过云手机服务器接收安装在导播的终端设备中的云直播控制台以及导播台实现对直播进程的控制，允许观看者发送主窗口切换指令实现自主的切换直播场景的直播窗口，增加了观看者的体验感，整个音视频直播过程中的控制不需要任何实体的控制设备，使导播对直播的控制不再受到直播场地条件限制，导播可以在直播场地之外的地方对直播进行实时的控制。
Description
技术领域
本发明涉及直播领域，尤其涉及一种适用于多视角直播的音视频直播方法。
背景技术
随着互联网的蓬勃发展，直播可快速准确的传递现场信息，强烈的临场感让越来越多的人通过网站或手机来观看直播，因此直播也越来越受欢迎。直播的本质是视频的播放，当前的直播主要是本地视频的简单架构，而且对于观看端来说，观看者看到的画面都是主播或导播指定播放的，观看者并没有视角切换的权利，降低了观看者的观看体验感，另外目前的存在多个机位的多视角直播中需要大量的实体直播器材，例如实现数据传输的同步电缆以及实现对直播控制的导播设备、直播控制设备，过多的实体设备造成了直播的控制受到场地条件的限制。
综上，传统的多视角直播方法受到场地条件的限制且观看体验感不足。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种适用于多视角直播的音视频直播方法，其能解决传统的多视角直播方法在直播控制中受到场地条件限制且观看体验感不足的问题。
本发明的目的采用以下技术方案实现：
一种适用于多视角直播的音视频直播方法，所述方法应用于云直播控制系统，所述云直播控制系统包括云手机服务器、云直播控制台、推拉流服务器、云导播台以及摆设在拍摄对象对应不同视角位置的拍摄设备，所述云手机服务器上设置有与拍摄设备同等数量的云手机，每台云手机与唯一的所述拍摄设备连接，所述方法包括以下步骤：
接收音视频数据，云手机服务器控制每台云手机接收对应拍摄设备上传的拍摄对象对应视角的音视频数据包并存储至对应的缓冲队列中，每台云手机接收到的音视频数据包均包含与拍摄设备时间为基准的第一时间戳信息；
接收多路音视频同步指令，云手机服务器接收云直播控制台发送的多路音视频同步指令，所述多路音视频同步指令由导播通过终端设备输入至云直播控制台；
同步音视频流数据，云手机服务器根据多路音视频同步指令控制每台云手机根据预设时钟校正值将第一时间戳信息转换为以云手机服务器的时间为基准的第二时间戳信息；
接收直播指令，云手机服务器接收云直播控制台发送的直播指令，所述直播指令由导播通过终端设备输入至云直播控制台；
多视角直播推流，当所述直播指令为多视角直播指令时，云手机服务器根据多视角直播指令控制云手机将对应的音视频数据推流至推拉流服务器并由推拉流服务器推送至直播平台以多视角窗口的方式进行音视频直播，所述多视角窗口包括主窗口和若干从窗口；
主窗口切换，当所述直播指令为多视角直播指令时，云手机服务器接收云直播控制台发送的由观看者通过终端设备触发直播平台后生成的主窗口切换指令，所述云手机服务器根据主窗口切换指令控制对应云手机将音视频数据推流至推拉流服务器并由推拉流服务器推送至直播平台中的主窗口进行播放。
进一步地，所述拍摄设备上传至云手机的音视频数据为高清音视频数据，所述多视角直播指令中包括含有目标视角对应的拍摄设备名称的高清地址，所述云手机服务器单独部署有内部设置聚合播放器的云手机，所述多视角直播推流具体包括以下步骤：
生成高清音视频流，云手机服务器根据云直播控制台或导播台发送的高清地址控制对应的云手机将目标视角对应的拍摄设备发送的高清音视频数据发送至推拉流服务器，并由推拉流服务器推送至直播平台中多视角窗口处的主窗口处进行播放；
合成低清音视频数据，云手机服务器控制所有拍摄设备对应的云手机将对应拍摄设备上传的高清视频数据进行解码以及重编码处理，生成低清视频数据，云手机服务器控制生成低清视频数据的云手机将对应生成低清视频数据发送至含有聚合播放器的云手机中进行合成拼接，得到含有多个低清音视频数据的合成低清音视频数据，将合成低清音视频数据由内部设置聚合播放器的云手传输至推拉流服务器并由推拉流服务器单路推送至直播平台中多视角窗口处除主窗口外的对应数量的从窗口处中播放。
进一步地，所述主窗口切换具体为：云手机服务器接收由云直播控制台发送的含有切换视角拍摄设备名称的主窗口切换指令，所述主窗口切换指令为观看者通过终端设备触发直播平台中一从窗口得到，所述云手机服务器控制云手机将切换视角拍摄设备名称对应拍摄设备发送的高清音视频数据，发送至推拉流服务器，并由推拉流服务器推送至直播平台中多视角窗口处的主窗口处进行播放。
进一步地，在所述将目标视角对应的拍摄设备发送的高清音视频数据发送至推拉流服务器之前包括将高清音视频数据发送至云导播台由云导播台将高清音视频数据发送至推拉流服务器。
进一步地，所述云导播台将预设插播音视频数据添加至高清音视频数据中一起发送至推拉流服务器由推拉流服务器推送至直播平台中多视角窗口处的主窗口处进行播放。
进一步地，所述预设插播音视频数据为广告音视频或宣传音视频。
进一步地，当所述直播指令为多机位视角直播指令时，所述云手机服务器根据多机位视角直播指令控制所有云手机将对应的音视频数据发送至预设多机位视角合成服务器中进行多机位视角合成，得到多机位视角合成音视频数据，并将多机位视角合成音视频数据发送至推拉流服务器并由推拉流服务器推送至直播平台进行多机位视角音视频直播。
进一步地，所述同步音视频流数据之前还包括生成预设时钟校正值，所述生成预设时钟校正值具体包括以下步骤：
计算第一时钟差值，云手机服务器发送第一测试数据包至云手机以及接收云手机根据第一测试数据包发送的第一回复数据包，根据第一测试数据包和第一回复数据包的发送时间和接收时间计算出云手机与云手机服务器之间的时间差值并记为第一时钟差值；
计算第二时钟差值，云手机服务器控制云手机发送第二测试数据包至对应拍摄设备以及控制云手机接收对应拍摄设备根据第二测试数据包发送的第二回复数据包，根据第二测试数据包和第二回复数据包的发送时间和接收时间计算出拍摄设备与对应云手机之间的时间差值并记为第二时钟差值；
计算预设时钟校正值，根据第一时钟差值和第二时钟差值计算出拍摄设备与云手机服务器之间的时间差值并记为预设时钟校正值。
一种适用于多视角直播的音视频直播方法，所述方法应用于云直播控制系统，所述云直播控制系统包括云手机服务器、云直播控制台、推拉流服务器、云导播台以及摆设在拍摄对象对应不同视角位置的拍摄设备，所述云手机服务器上设置有与拍摄设备同等数量的云手机，每台云手机与唯一的所述拍摄设备连接，所述方法包括以下步骤：
远程控制拍摄设备，云直播控制台根据导播输入的远程控制指令控制摆设在拍摄对象对应不同视角位置的拍摄设备进行音视频拍摄以及将拍摄得到音视频数据上传至对应的云手机中；
发送多路音视频同步指令，云直播控制台获取导播通过终端设备输入的多路音视频同步指令并发送至云手机服务器；
发送直播指令，云直播控制台获取导播通过终端设备输入的直播指令并将直播指令发送至云手机服务器。
进一步地，所述直播指令为多视角直播指令或多机位视角直播指令。
相比现有技术，本发明的有益效果在于：本申请中的一种适用于多视角直播的音视频直播方法，通过云手机服务器接收安装在导播的终端设备中的云直播控制台以及导播台实现对直播进程的控制，且通过同步音视频数据使多个视角的拍摄设备拍摄的音视频数据实现了真正意义上的同步，允许观看者发送主窗口切换指令实现自主的切换直播平台的直播窗口，增加了观看者的体验感，使观看者拥有极大的观看自由度，且整个音视频直播过程中的控制不需要任何实体的控制设备，使导播对直播的控制不再受到直播场地条件限制，导播可以在直播场地之外的地方对直播进行实时的控制。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的一种适用于多视角直播的音视频直播方法的流程示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
如图1所示，本申请中的一种适用于多视角直播的音视频直播方法，本实施例中的音视频直播方法应用于由云手机服务器、云直播控制台、推拉流服务器、云导播台以及摆设在拍摄对象对应不同视角位置的拍摄设备组成的云直播控制系统，所述云手机服务器上设置有与拍摄设备同等数量的云手机，每台云手机与唯一的所述拍摄设备连接，上述云直播控制台可以设置在任意一台手机或平板电脑或台式电脑中，因此导播或导演即使不在直播现场也可以对整场直播进行控制，云导播台运行在云端服务器中，可以利用速启云串流技术，使用者可以通过任意一台手机或者平板电脑或台式电脑去操控远程的云导播台，摆脱了传统直播过程中直播控制者的对直播的控制受到直播场地的限制。上述的一种适用于多视角直播的音视频直播方法，包括以下具体步骤：
远程控制拍摄设备，云直播控制台根据导播输入的远程控制指令控制摆设在拍摄对象对应不同视角位置的拍摄设备进行音视频拍摄以及将拍摄得到音视频数据上传至对应的云手机中。在本实施例中，拍摄设备为摄像机或手机，拍摄设备均安装有用于执行云直播控制台的操作指令以及连接云直播控制台的云直播控制服务程序，云直播控制台通过云直播控制服务程序发送远程控制指令至对应的拍摄设备中，拍摄设备根据对应的远程控制指令对拍摄对象进行拍摄。在本实施例中每台拍摄设备均与云手机服务器中对应的云手机建立通信连接，拍摄设备将拍摄的音视频数据实时上传至对应的云手机中，再拍摄设备上传音视频数据时，会以拍摄设备的时间为基准为拍摄的每一帧音视频数据记录一个时间戳，得到与音视频数据对应的第一时间戳信息，并将第一时间戳信息添加在音视频数据的头部信息区里面。每台云手机接收的音视频数据的头部信息区里面均含有对应的第一时间戳信息。
接收音视频数据，云手机服务器控制每台云手机接收对应拍摄设备上传的拍摄对象对应视角的音视频数据包并存储至对应的缓冲队列中，每台云手机接收到的音视频数据包均包含与拍摄设备时间为基准的第一时间戳信息。
发送多路音视频同步指令，云直播控制台获取导播通过终端设备输入的多路音视频同步指令并发送至云手机服务器。
接收多路音视频同步指令，云手机服务器接收云直播控制台发送的多路音视频同步指令，所述多路音视频同步指令由导播通过终端设备(手机或平板电脑等终端识别)输入至云直播控制台。
生成预设时钟校正值，所述生成预设时钟校正值具体包括以下步骤：
计算第一时钟差值，在本实施例中，云手机分别与云手机服务器以及拍摄设备连接；云手机服务器发送第一测试数据包至云手机以及接收云手机根据第一测试数据包发送的第一回复数据包，根据第一测试数据包和第一回复数据包的发送时间和接收时间计算出云手机与云手机服务器之间的时间差值并记为第一时钟差值；具体为：云手机服务器发送第一测试数据包至云手机以及接收云手机根据第一测试数据包发送的第一回复数据包，将云手机服务器发送第一测试数据包的时间记录为第一发送时间，将云手机接收第一测试数据包的时间作为第一接收时间，将云手机发送第一回复数据包的时间记录为第二发送时间，将云手机服务器接收到第一回复数据包的时间记录为第二接收时间，根据第一发送时间、第一接收时间、第二发送时间以及第二接收时间计算出云手机与云手机服务器之间的第一时钟差值。在本实施例中，令第一发送时间为Ta1，第一接收时间为Tb1，第二发送时间为Tb2，第二接收时间为Ta2，令云手机与云手机服务器之间的第一时钟差值为deltaT1，令数据包在云手机端和同步服务器之间的一来一回传输耗时为RTT1，第一时钟差异为deltaT1，则RTT1＝(Tb1-Ta1)+(Ta2-Tb2)，deltaT1＝Ta1+(RTT1/2)-Tb1。
计算第二时钟差值，云手机服务器控制云手机发送第二测试数据包至对应拍摄设备以及控制云手机接收对应拍摄设备根据第二测试数据包发送的第二回复数据包，根据第二测试数据包和第二回复数据包的发送时间和接收时间计算出拍摄设备与对应云手机之间的时间差值并记为第二时钟差值。具体为：云手机服务器控制云手机发送第二测试数据包至对应拍摄设备以及控制云手机接收对应拍摄设备根据第二测试数据包发送的第二回复数据包，将云手机发送第二测试数据包的时间记录为第三发送时间，将对应拍摄设备接收第二测试数据包的时间作为第三接收时间，将对应拍摄设备发送第二回复数据包的时间记录为第四发送时间，将云手机接收到第二回复数据包的时间记录为第四接收时间，根据第三发送时间、第三接收时间、第四发送时间以及第四接收时间计算出拍摄设备与对应云手机之间的第二时钟差值。令第三发送时间为Tc1，第三接收时间为Td1，第四发送时间Td2，第四接收时间为Tc2，数据包在云手机和拍摄设备(客户端)之间的一来一回传输耗时为RTT2，第二时钟差异为RTT2＝(Td1-Tc1)+(Tc2-Td2)，则RTT2＝(Td1-Tc1)+(Tc2-Td2)，则，RTT2＝(Td1-Tc1)+(Tc2-Td2)；deltaT2＝Tc1+(RTT2/2)-Td1。
计算预设时钟校正值，根据第一时钟差值和第二时钟差值计算出拍摄设备与云手机服务器之间的时间差值并记为预设时钟校正值。根据上述计算可得到拍摄设备与云手机服务器之间的时间差异值，即预设时钟校正值，则预设时钟校正值＝第一时钟差值+第二时钟差值。云手机服务器时间＝拍摄设备时间值+预设时钟校正值。
同步音视频数据，云手机服务器根据多路音视频同步指令控制每台云手机根据预设时钟校正值将第一时间戳信息转换为以云手机服务器的时间为基准的第二时间戳信息，实质为将第一时间戳信息中的时间加上预设时钟校正值即为以云手机服务器为基准的时间从而得到第二时间戳信息。具体步骤如下：云手机服务器控制每台云手机将接收到的音视频数据放入缓冲队列，且将音视频数据中每帧数据包的头部信息区的第一时间戳信息转换为以云手机服务器为基准的第二时间戳信息，并将第二时间戳信息上报至云手机服务器，云手机接收到每台云手机上报的第二时间戳信息后，放入预设时间戳队列中，云手机服务器内部有一个定时器，每隔一段固定时间会从预设时间戳队列里面选取一个时间段里面的若干时间戳信息，并把这些时间戳信息发送给多个云手机上，云手机收到来自云手机服务器的时间戳信息后，会从自身的缓冲队列里面，筛选匹配时间戳的音视频数据，从而实现音视频数据的同步，由于云手机服务器是定时触发，所以云手机是以固定时间间隔收到时间戳信息，而音视频数据也通过时间戳的匹配，达到音视频同步的效果，并能以均匀的速度进行对外发送数据，克服了从拍摄端到云端的网络延时以及抖动引入的音视频不同步，多个拍摄机位画面不同步等问题。
发送直播指令，云直播控制台获取导播通过终端设备输入的直播指令并将直播指令发送至云手机服务器。在本实施例中直播指令为多视角直播指令或自由视角直播指令。
接收直播指令，云手机服务器接收云直播控制台发送的直播指令，所述直播指令由导播通过终端设备输入至云直播控制台。
多视角直播推流，当所述直播指令为多视角直播指令时，云手机服务器根据多视角直播指令控制云手机将对应的音视频数据推流至推拉流服务器并由推拉流服务器推送至直播平台以多视角窗口的方式进行音视频直播，所述多视角窗口包括主窗口和若干从窗口。在本实施例中，所述拍摄设备上传至云手机的音视频数据为高清音视频数据，所述多视角直播指令中包括含有目标视角对应的拍摄设备名称的高清地址，所述云手机服务器单独部署有内部设置聚合播放器的云手机，具体包括以下步骤：
生成高清音视频流，云手机服务器根据云直播控制台或导播台发送的高清地址控制对应的云手机将目标视角对应的拍摄设备发送的高清音视频数据发送至推拉流服务器，并由推拉流服务器推送至直播平台中多视角窗口处的主窗口处进行播放；在所述将目标视角对应的拍摄设备发送的高清音视频数据发送至推拉流服务器之前还包括将高清音视频数据发送至云导播台由云导播台将高清音视频数据发送至推拉流服务器。在本实施例中，云导播台可以实现对直播中音视频数据的输出控制，所述云导播台将预设插播音视频数据添加至高清音视频数据中一起发送至推拉流服务器由推拉流服务器推送至直播平台中多视角窗口处的主窗口处进行播放。所述预设插播音视频数据为广告音视频或宣传音视频。
合成低清音视频数据，云手机服务器控制所有拍摄设备对应的云手机将对应拍摄设备上传的高清视频数据进行解码以及重编码处理，生成低清视频数据，云手机服务器控制生成低清视频数据的云手机将对应生成低清视频数据发送至含有聚合播放器的云手机中进行合成拼接，得到含有多个低清音视频数据的合成低清音视频数据，将合成低清音视频数据由内部设置聚合播放器的云手传输至推拉流服务器并由推拉流服务器单路推送至直播平台中多视角窗口处除主窗口外的对应数量的从窗口处中播放。
主窗口切换，当所述直播指令为多视角直播指令时，云手机服务器接收云直播控制台发送的由观看者通过终端设备触发直播平台后生成的主窗口切换指令，所述云手机服务器根据主窗口切换指令控制对应云手机将音视频数据推流至推拉流服务器并由推拉流服务器推送至直播平台中的主窗口进行播放。具体为：云手机服务器接收由云直播控制台发送的含有切换视角拍摄设备名称的主窗口切换指令，所述主窗口切换指令为观看者通过终端设备触发直播平台中一从窗口得到，所述云手机服务器控制云手机将切换视角拍摄设备名称对应拍摄设备发送的高清音视频数据，发送至推拉流服务器，并由推拉流服务器推送至直播平台中多视角窗口处的主窗口处进行播放。当所述直播指令为多机位视角直播指令时，所述云手机服务器根据多机位视角直播指令控制所有云手机将对应的音视频数据发送至预设多机位视角合成服务器中进行多机位视角合成，得到多机位视角合成音视频数据，并将多机位视角合成音视频数据发送至推拉流服务器并由推拉流服务器推送至直播平台进行多机位视角音视频直播。在本实施例中，观看者通过直播平台观看推拉流服务器传输过来的音视频数据，观看者通过直播平台输入提前获取的推拉流地址(相当于直播地址)即可实现直播平台与推拉流服务器的连接，从而实现两者的数据传输。
本申请中的一种适用于多视角直播的音视频直播方法，通过云手机服务器接收安装在导播的终端设备中的云直播控制台以及导播台实现对直播进程的控制，且通过同步音视频数据使多个视角的拍摄设备拍摄的音视频数据实现了真正意义上的同步，允许观看者发送主窗口切换指令实现自主的切换直播平台的直播窗口，增加了观看者的体验感，使观看者拥有极大的观看自由度，且整个音视频直播过程中的控制不需要任何实体的控制设备，使导播对直播的控制不再受到直播场地条件限制，导播可以在直播场地之外的地方对直播进行实时的控制。
以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。
Claims (10)
1.一种适用于多视角直播的音视频直播方法，其特征在于：所述方法应用于云直播控制系统，所述云直播控制系统包括云手机服务器、云直播控制台、推拉流服务器、云导播台以及摆设在拍摄对象对应不同视角位置的拍摄设备，所述云手机服务器上设置有与拍摄设备同等数量的云手机，每台云手机与唯一的所述拍摄设备连接，所述方法包括以下步骤：
接收音视频数据，云手机服务器控制每台云手机接收对应拍摄设备上传的拍摄对象对应视角的音视频数据包并存储至对应的缓冲队列中，每台云手机接收到的音视频数据包均包含与拍摄设备时间为基准的第一时间戳信息；
接收多路音视频同步指令，云手机服务器接收云直播控制台发送的多路音视频同步指令，所述多路音视频同步指令由导播通过终端设备输入至云直播控制台；
同步音视频流数据，云手机服务器根据多路音视频同步指令控制每台云手机根据预设时钟校正值将第一时间戳信息转换为以云手机服务器的时间为基准的第二时间戳信息；
接收直播指令，云手机服务器接收云直播控制台发送的直播指令，所述直播指令由导播通过终端设备输入至云直播控制台；
多视角直播推流，当所述直播指令为多视角直播指令时，云手机服务器根据多视角直播指令控制云手机将对应的音视频数据推流至推拉流服务器并由推拉流服务器推送至直播平台以多视角窗口的方式进行音视频直播，所述多视角窗口包括主窗口和若干从窗口；
主窗口切换，当所述直播指令为多视角直播指令时，云手机服务器接收云直播控制台发送的由观看者通过终端设备触发直播平台后生成的主窗口切换指令，所述云手机服务器根据主窗口切换指令控制对应云手机将音视频数据推流至推拉流服务器并由推拉流服务器推送至直播平台中的主窗口进行播放。
2.如权利要求1所述的一种适用于多视角直播的音视频直播方法，其特征在于：所述拍摄设备上传至云手机的音视频数据为高清音视频数据，所述多视角直播指令中包括含有目标视角对应的拍摄设备名称的高清地址，所述云手机服务器单独部署有内部设置聚合播放器的云手机，所述多视角直播推流具体包括以下步骤：
生成高清音视频流，云手机服务器根据云直播控制台或导播台发送的高清地址控制对应的云手机将目标视角对应的拍摄设备发送的高清音视频数据发送至推拉流服务器，并由推拉流服务器推送至直播平台中多视角窗口处的主窗口处进行播放；
合成低清音视频数据，云手机服务器控制所有拍摄设备对应的云手机将对应拍摄设备上传的高清视频数据进行解码以及重编码处理，生成低清视频数据，云手机服务器控制生成低清视频数据的云手机将对应生成低清视频数据发送至含有聚合播放器的云手机中进行合成拼接，得到含有多个低清音视频数据的合成低清音视频数据，将合成低清音视频数据由内部设置聚合播放器的云手传输至推拉流服务器并由推拉流服务器单路推送至直播平台中多视角窗口处除主窗口外的对应数量的从窗口处中播放。
3.如权利要求2所述的一种适用于多视角直播的音视频直播方法，其特征在于：所述主窗口切换具体为：云手机服务器接收由云直播控制台发送的含有切换视角拍摄设备名称的主窗口切换指令，所述主窗口切换指令为观看者通过终端设备触发直播平台中一从窗口得到，所述云手机服务器控制云手机将切换视角拍摄设备名称对应拍摄设备发送的高清音视频数据，发送至推拉流服务器，并由推拉流服务器推送至直播平台中多视角窗口处的主窗口处进行播放。
4.如权利要求2所述的一种适用于多视角直播的音视频直播方法，其特征在于：在所述将目标视角对应的拍摄设备发送的高清音视频数据发送至推拉流服务器之前包括将高清音视频数据发送至云导播台由云导播台将高清音视频数据发送至推拉流服务器。
5.如权利要求4所述的一种适用于多视角直播的音视频直播方法，其特征在于：所述云导播台将预设插播音视频数据添加至高清音视频数据中一起发送至推拉流服务器由推拉流服务器推送至直播平台中多视角窗口处的主窗口处进行播放。
6.如权利要求5所述的一种适用于多视角直播的音视频直播方法，其特征在于：所述预设插播音视频数据为广告音视频或宣传音视频。
7.如权利要求1所述的一种适用于多视角直播的音视频直播方法，其特征在于：当所述直播指令为多机位视角直播指令时，所述云手机服务器根据多机位视角直播指令控制所有云手机将对应的音视频数据发送至预设多机位视角合成服务器中进行多机位视角合成，得到多机位视角合成音视频数据，并将多机位视角合成音视频数据发送至推拉流服务器并由推拉流服务器推送至直播平台进行多机位视角音视频直播。
8.如权利要求1所述的一种适用于多视角直播的音视频直播方法，其特征在于：所述同步音视频流数据之前还包括生成预设时钟校正值，所述生成预设时钟校正值具体包括以下步骤：
计算第一时钟差值，云手机服务器发送第一测试数据包至云手机以及接收云手机根据第一测试数据包发送的第一回复数据包，根据第一测试数据包和第一回复数据包的发送时间和接收时间计算出云手机与云手机服务器之间的时间差值并记为第一时钟差值；
计算第二时钟差值，云手机服务器控制云手机发送第二测试数据包至对应拍摄设备以及控制云手机接收对应拍摄设备根据第二测试数据包发送的第二回复数据包，根据第二测试数据包和第二回复数据包的发送时间和接收时间计算出拍摄设备与对应云手机之间的时间差值并记为第二时钟差值；
计算预设时钟校正值，根据第一时钟差值和第二时钟差值计算出拍摄设备与云手机服务器之间的时间差值并记为预设时钟校正值。
9.一种适用于多视角直播的音视频直播方法，其特征在于：所述方法应用于云直播控制系统，所述云直播控制系统包括云手机服务器、云直播控制台、推拉流服务器、云导播台以及摆设在拍摄对象对应不同视角位置的拍摄设备，所述云手机服务器上设置有与拍摄设备同等数量的云手机，每台云手机与唯一的所述拍摄设备连接，所述方法包括以下步骤：
远程控制拍摄设备，云直播控制台根据导播输入的远程控制指令控制摆设在拍摄对象对应不同视角位置的拍摄设备进行音视频拍摄以及将拍摄得到音视频数据上传至对应的云手机中；
发送多路音视频同步指令，云直播控制台获取导播通过终端设备输入的多路音视频同步指令并发送至云手机服务器；
发送直播指令，云直播控制台获取导播通过终端设备输入的直播指令并将直播指令发送至云手机服务器。
10.如权利要求9所述的一种适用于多视角直播的音视频直播方法，其特征在于：所述直播指令为多视角直播指令或多机位视角直播指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110546111.2A CN113542897A (zh) | 2021-05-19 | 2021-05-19 | 一种适用于多视角直播的音视频直播方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110546111.2A CN113542897A (zh) | 2021-05-19 | 2021-05-19 | 一种适用于多视角直播的音视频直播方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113542897A true CN113542897A (zh) | 2021-10-22 |
Family
ID=78094696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110546111.2A Pending CN113542897A (zh) | 2021-05-19 | 2021-05-19 | 一种适用于多视角直播的音视频直播方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113542897A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114422810A (zh) * | 2021-11-11 | 2022-04-29 | 海看网络科技(山东)股份有限公司 | 一种基于移动端导播台多路直播同步校准的方法 |
| CN114727126A (zh) * | 2022-04-12 | 2022-07-08 | 杭州当虹科技股份有限公司 | 一种将图像缝合应用于多机位vr导播台的实现方法 |
| CN114760483A (zh) * | 2022-04-20 | 2022-07-15 | 东方明珠新媒体股份有限公司 | 一种多视角视频播放和切换的方法、系统及介质 |
| CN115250363A (zh) * | 2022-09-22 | 2022-10-28 | 广州市千钧网络科技有限公司 | 一种多视角直播系统 |
-
2021
- 2021-05-19 CN CN202110546111.2A patent/CN113542897A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114422810A (zh) * | 2021-11-11 | 2022-04-29 | 海看网络科技(山东)股份有限公司 | 一种基于移动端导播台多路直播同步校准的方法 |
| CN114422810B (zh) * | 2021-11-11 | 2022-10-04 | 海看网络科技(山东)股份有限公司 | 一种基于移动端导播台多路直播同步校准的方法 |
| CN114727126A (zh) * | 2022-04-12 | 2022-07-08 | 杭州当虹科技股份有限公司 | 一种将图像缝合应用于多机位vr导播台的实现方法 |
| CN114727126B (zh) * | 2022-04-12 | 2023-09-19 | 杭州当虹科技股份有限公司 | 一种将图像缝合应用于多机位vr导播台的实现方法 |
| CN114760483A (zh) * | 2022-04-20 | 2022-07-15 | 东方明珠新媒体股份有限公司 | 一种多视角视频播放和切换的方法、系统及介质 |
| CN114760483B (zh) * | 2022-04-20 | 2023-12-19 | 东方明珠新媒体股份有限公司 | 一种多视角视频播放和切换的方法、系统及介质 |
| CN115250363A (zh) * | 2022-09-22 | 2022-10-28 | 广州市千钧网络科技有限公司 | 一种多视角直播系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113542897A (zh) | 一种适用于多视角直播的音视频直播方法 | |
| EP2713609B1 (en) | Dynamic delay handling in mobile live video production systems | |
| US10645447B2 (en) | Fast channel change method and server, and IPTV system | |
| WO2014134965A1 (zh) | 一种多方视频共享的方法和装置 | |
| CN105245977B (zh) | 一种多组摄像头同步直播的方法 | |
| US10764473B2 (en) | Automatically synchronizing multiple real-time video sources | |
| US10341672B2 (en) | Method and system for media synchronization | |
| KR101934200B1 (ko) | 미디어 동기화 방법 및 시스템 | |
| CN105491393A (zh) | 多人视频直播业务的实现方法 | |
| KR101446995B1 (ko) | 멀티앵글영상촬영헬멧 및 촬영방법 | |
| JP2013026787A (ja) | 送信装置、受信システム、通信システム、送信方法、受信方法、及びプログラム | |
| KR102025157B1 (ko) | 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법 | |
| CN109714622A (zh) | 一种视频数据处理方法、装置及电子设备 | |
| TW201720171A (zh) | 視聽接收裝置及其快速變換頻道之方法 | |
| CN113542896B (zh) | 一种自由视角的视频直播方法、设备及介质 | |
| CN109756744B (zh) | 数据处理方法、电子设备及计算机存储介质 | |
| Shirai et al. | Real time switching and streaming transmission of uncompressed 4K motion pictures | |
| EP4135312A1 (en) | Video playing method, apparatus and system, and computer storage medium | |
| Domański et al. | Demonstration of a simple free viewpoint television system | |
| Kawamoto et al. | Development of lightweight compressed 8K UHDTV over IP transmission device realizing live remote production | |
| JP6732970B2 (ja) | 異種ネットワークに基づくマルチメディアリソースを同期に送る方法 | |
| Kawamoto et al. | Remote Production Experiments with Lightweight Compressed 8K UHDTV over IP Device | |
| CN107801103B (zh) | 异构网络下基于网络状况的多媒体资源自适应同步方法 | |
| US20190191195A1 (en) | A method for transmitting real time based digital video signals in networks | |
| JP2015109505A (ja) | 再生制御装置、再生装置、再生制御方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |