CN114205637A - 一种白板和音视频同步方法、装置、设备及存储介质 - Google Patents

一种白板和音视频同步方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114205637A
CN114205637A CN202111543498.2A CN202111543498A CN114205637A CN 114205637 A CN114205637 A CN 114205637A CN 202111543498 A CN202111543498 A CN 202111543498A CN 114205637 A CN114205637 A CN 114205637A
Authority
CN
China
Prior art keywords
audio
video information
whiteboard
anchor
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111543498.2A
Other languages
English (en)
Inventor
李雄峰
任浩栋
刘珍伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yagu Technology Co ltd
Original Assignee
Hangzhou Yagu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yagu Technology Co ltd filed Critical Hangzhou Yagu Technology Co ltd
Priority to CN202111543498.2A priority Critical patent/CN114205637A/zh
Publication of CN114205637A publication Critical patent/CN114205637A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种白板和音视频同步方法、装置、设备及存储介质，包括：确定当前多主播直播过程中进行白板绘制的多个目标主播终端；分别获取任一目标主播终端的音视频信息和白板绘制数据，得到第一音视频信息流，分别将第一音视频信息流中的所有信息一同发送至即时通信服务器；通过即时通信服务器将任一第一音视频信息流转发至所有其他主播终端；从即时通信服务器中获取所有第一音视频信息流和所有其他主播终端的第二音视频信息流，并将第一音视频信息流和第二音视频信息流进行混流得到混流后音视频信息流，再将混流后音视频信息流推流至直播服务器。本申请能够实现多主播情况下的音视频和白板的同步，提高多主播的直播效果及观众的观看体验。

Description

一种白板和音视频同步方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，特别涉及一种白板和音视频同步方法、装置、设备及存储介质。
背景技术
当前，随着网络技术、通信技术及多媒体技术的蓬勃发展，网络直播得到了空前发展。因其具有互动性强、实时发布灵活便捷并且能够满足人们个性化需求等特征，使得网络直播在各大行业中发挥越来越重要的作用。
然而，网络直播行业在快速发展的同时也产生了许多问题。如在企业教育等多主播(如一个主讲，多个嘉宾)场景下，分属多地的各主播不仅有音视频流，而且还可以通过在白板上绘制的方式同时与其他主播进行互动。在多主播视频直播的过程中，每个主播端都有自己的白板界面，不仅需要将自己画的白板数据同步给其他主播，也需要将其他主播画的数据同步到自己的白板界面上，以此来实现多主播之间的互动，并将实时互动的白板界面显示在观看直播的观众端的白板界面上。因此，为了提高主播的直播效果及观众的观看体验，如何在多主播场景下对多主播的音视频流和白板同步成为当前面临的一个问题。
目前，通常通过采用以下两种方式对主播的白板和音视频进行同步：(1)使用桌面分享的方式，采集主播设备的整个桌面(包括白板和主播头像)作为一路音视频流进行分发。(2)使用软件分享的方式，将白板上的数据作为一路音视频流，而主播的摄像头作为另一路音视频流，播放端获取上述两路流并同时播放。然而，由于不同网络传输协议导致的延时使得上述两种方式都不适合多主播的情况。例如，当一场直播中有两个主播都需要绘制白板时，不管采用上述哪种方式，观众端都不能看到完整的白板信息，只能获取其中一端的视频。另外，由于上述两个主播流中的白板数据是相互独立的，不能进行混流，否则白板将发生错乱，因此如果观众同时拉取两个主播端视频进行多界面独立播放时，将无法对多个界面进行合并，导致观看体验极差。
综上所述，如何实现多主播的音视频和白板同步是目前还有待进一步解决的问题。
发明内容
有鉴于此，本申请的目的在于提供一种白板和音视频同步方法、装置、设备及存储介质，能够实现多主播音视频和白板的同步，提高多主播的直播效果及观众的观看体验。其具体方案如下：
第一方面，本申请公开了一种白板和音视频同步方法，包括：
确定当前多主播直播过程中进行白板绘制的多个目标主播终端；
分别获取任一所述目标主播终端的音视频信息和白板绘制数据，以得到第一音视频信息流，并分别将所述第一音视频信息流中的所有信息一同发送至预设的即时通信服务器；
通过所述即时通信服务器将任一所述第一音视频信息流转发至所述多主播直播过程中的所有其他主播终端，以便在所述其他主播终端的本地白板中显示所述音视频信息并还原所述白板绘制数据；
从所述即时通信服务器中获取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流，并将所述第一音视频信息流和所述第二音视频信息流进行混流得到混流后音视频信息流，再将所述混流后音视频信息流推流至直播服务器。
可选的，所述获取任一所述目标主播终端的音视频信息和白板绘制数据，以得到第一音视频信息流，包括：
获取任一所述目标主播终端的音视频信息和白板绘制数据，并将所述白板绘制数据格式化为JSON格式的数据，得到JSON格式数据，然后将所述JSON格式数据和所述音视频信息作为第一音视频信息流。
可选的，所述将所述第一音视频信息流中的所有信息一同发送至预设的即时通信服务器，包括：
将所述第一音视频信息流中的所述JSON格式数据实时写入至WebRTC服务器的DataChannel中，得到DataChannel数据，并通过DataChannel通道将所述DataChannel数据和所述音视频信息一同发送至所述WebRTC服务器。
可选的，所述从所述即时通信服务器中获取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流，并将所述第一音视频信息流和所述第二音视频信息流进行混流得到混流后音视频信息流，再将所述混流后音视频信息流推流至直播服务器，包括：
通过预设的混流服务器从所述WebRTC服务器中实时拉取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流；
将所述第一音视频信息流和所述第二音视频信息流进行混流，得到混流后音视频信息流；
通过H.264视频编码标准和AAC音频编码标准对所述混流后音视频信息流中的音视频进行编码，并按照预设的实时信息传输协议将编码后的所述混流后音视频信息流发送至直播服务器。
可选的，所述通过预设的混流服务器从所述WebRTC服务器中实时拉取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流，包括：
通过预设的混流服务器，从所述WebRTC服务器中实时拉取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流，并在拉取的过程中判断是否存在所述DataChannel数据；
若存在所述DataChannel数据，则将所述DataChannel数据转换至所述H.264视频编码标准的SEI中，得到SEI数据。
可选的，所述将所述混流后音视频信息流推流至直播服务器之后，还包括：
从所述直播服务器中拉取所述混流后音视频信息流，并在观众终端对所述混流后音视频信息流进行播放；
在播放的过程中，判断所述混流后音视频信息流中是否存在所述SEI数据，若存在则将所述SEI数据作为白板数据并在本地白板中进行还原。
可选的，所述将所述混流后音视频信息流推流至直播服务器之后，还包括：
通过HTTP-FLV协议或HLS协议从所述直播服务器中拉取所述混流后音视频信息流，并在观众终端对所述混流后音视频信息流进行播放。
第二方面，本申请公开了一种白板和音视频同步装置，包括：
主播终端确定模块，用于确定当前多主播直播过程中进行白板绘制的多个目标主播终端；
信息获取模块，用于分别获取任一所述目标主播终端的音视频信息和白板绘制数据，以得到第一音视频信息流；
信息发送模块，用于分别将所述第一音视频信息流中的所有信息一同发送至预设的即时通信服务器；
信息转发模块，用于通过所述即时通信服务器将任一所述第一音视频信息流转发至所述多主播直播过程中的所有其他主播终端，以便在所述其他主播终端的本地白板中显示所述音视频信息并还原所述白板绘制数据；
混流模块，用于从所述即时通信服务器中获取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流，并将所述第一音视频信息流和所述第二音视频信息流进行混流得到混流后音视频信息流，再将所述混流后音视频信息流推流至直播服务器。
第三方面，本申请公开了一种电子设备，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现前述的白板和音视频同步方法。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述的白板和音视频同步方法。
可见，本申请先确定当前多主播直播过程中进行白板绘制的多个目标主播终端，然后分别获取任一所述目标主播终端的音视频信息和白板绘制数据，以得到第一音视频信息流，并分别将所述第一音视频信息流中的所有信息一同发送至预设的即时通信服务器，再通过所述即时通信服务器将任一所述第一音视频信息流转发至所述多主播直播过程中的所有其他主播终端，以便在所述其他主播终端的本地白板中显示所述音视频信息并还原所述白板绘制数据，最后从所述即时通信服务器中获取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流，并将所述第一音视频信息流和所述第二音视频信息流进行混流得到混流后音视频信息流，再将所述混流后音视频信息流推流至直播服务器。可见，本申请通过预设的即时通信服务器将各主播终端的白板绘制数据和音视频信息进行同步传输，然后从即时通信服务器中拉取将所有主播终端的音视频信息和白板绘制数据并进行混流，从而实现多主播情况下的音视频和白板的同步，提高了多主播的直播效果及观众的观看体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种白板和音视频同步方法流程图；
图2为本申请公开的一种具体的白板和音视频同步方法流程图；
图3为本申请公开的一种白板和音视频同步装置结构示意图；
图4为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例公开了一种白板和音视频同步方法，参见图1所示，该方法包括：
步骤S11：确定当前多主播直播过程中进行白板绘制的多个目标主播终端。
本实施例中，在多主播同时直播的过程中，首先确定出正在白板上进行绘制操作的多个主播终端，即所述目标主播终端。可以理解的是，除了所述目标主播终端之外，当前多主播直播过程中还可以同时存在一个或多个未使用白板进行绘制操作的主播终端。
步骤S12：分别获取任一所述目标主播终端的音视频信息和白板绘制数据，以得到第一音视频信息流，并分别将所述第一音视频信息流中的所有信息一同发送至预设的即时通信服务器。
本实施例中，在确定出当前多主播直播过程中进行白板绘制的多个目标主播终端之后，分别对任意一个上述目标主播终端的音视频和白板绘制特征信息进行采集，得到相应的音视频信息和白板绘制数据，然后将采集到的上述白板绘制数据和上述音视频信息进行相应的格式化处理，得到所述目标主播终端的音视频信息流，即所述第一音视频信息流，一同发送至预设的即时通信服务器。其中，上述白板绘制特征信息包括但不限于白板绘制的动作信息、白板绘制的时间、白板绘制的位置、白板绘制的轨迹等；所述白板绘制的动作信息包括但不限于对白板绘制工具的调用，如白板绘制工具中支持的矩形、直线、曲线、画笔、圆圈、橡皮、撤销、还原、删除等功能；所述即时通信服务器包括但不限于WebRTC(WebReal-Time Communication，网页即时通信)服务器等。
可以理解的是，本实施例中，首先需要建立多主播的直播房间，可以通过预设的即时通信服务器实现各个主播之间的交互，并且每个主播终端都可以通过所述即时通信服务器拉取除自己外所有其他主播终端的音视频信息。在建立完上述多主播的直播房间后，在多主播直播的过程中，不仅有音视频信息，而且还可以有多个同时在白板上进行绘制的多个主播的白板绘制数据，在对上述白板绘制数据进行获取的过程中，可以按照预设的时间间隔对数据进行采集，优选的，可以每间隔200毫秒进行一次采集。
步骤S13：通过所述即时通信服务器将任一所述第一音视频信息流转发至所述多主播直播过程中的所有其他主播终端，以便在所述其他主播终端的本地白板中显示所述音视频信息并还原所述白板绘制数据。
本实施例中，分别获取任一所述目标主播终端的音视频信息和白板绘制数据，以得到第一音视频信息流，并分别将所述第一音视频信息流中的所有信息一同发送至预设的即时通信服务器之后，可以通过上述即时通信服务器将任意一个上述目标主播终端对应的所述第一音视频信息流进行转发，具体的，可以转发到当前多主播过程中的所有其他主播终端。需要指出的是，所述所有其他主播终端不仅包括上述任一所述目标主播终端外的所有其他所述目标主播终端，还包括未进行白板绘制操作的其余所有主播终端。在将任一所述第一音视频信息流转发至所述多主播直播过程中的所有其他主播终端之后，所述其他主播终端获取到所述第一音视频信息流，然后将在本地白板中对所述第一音视频信息流中的所述音视频信息进行显示，并将所述第一音视频信息流中的所述白板绘制数据在本地的白板中进行还原。
步骤S14：从所述即时通信服务器中获取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流，并将所述第一音视频信息流和所述第二音视频信息流进行混流得到混流后音视频信息流，再将所述混流后音视频信息流推流至直播服务器。
本实施例中，通过所述即时通信服务器将任一所述第一音视频信息流转发至所述多主播直播过程中的所有其他主播终端之后，不仅可以从上述即时通信服务器中获取到所有所述目标主播终端的所述第一音视频信息流，还可以获取到的未进行白板绘制操作的其他所有主播终端的音视频信息流，即所述第二音视频信息流，并利用预设的混流服务器将上述第一音视频信息流和上述第二音视频信息流进行混流，得到混流后音视频信息流，然后将上述混流后音视频信息流推流至预设的直播服务器中。
本实施例中，所述将所述混流后音视频信息流推流至直播服务器之后，具体还包括：通过HTTP-FLV协议或HLS协议从所述直播服务器中拉取所述混流后音视频信息流，并在观众终端对所述混流后音视频信息流进行播放。可以理解的是，当需要在观众端播放上述多主播直播过程中的白板和音视频画面时，可以通过预设的直播传输协议获取到上述混流后音视频信息流，如通过HTTP-FLV(即基于超文本传输协议的视频流)协议或HLS(即HTTPLive Streaming，基于超文本传输协议的流媒体网络传输协议)协议从上述直播服务器中拉取到上述混流后音视频信息流，并在任意一个观众终端对上述混流后音视频信息流进行播放，在播放的过程中，将上述混流后音视频信息流中的所述白板绘制数据作为观众终端的白板数据进行还原。
可见，本申请实施例先确定当前多主播直播过程中进行白板绘制的多个目标主播终端，然后分别获取任一所述目标主播终端的音视频信息和白板绘制数据，以得到第一音视频信息流，并分别将所述第一音视频信息流中的所有信息一同发送至预设的即时通信服务器，再通过所述即时通信服务器将任一所述第一音视频信息流转发至所述多主播直播过程中的所有其他主播终端，以便在所述其他主播终端的本地白板中显示所述音视频信息并还原所述白板绘制数据，最后从所述即时通信服务器中获取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流，并将所述第一音视频信息流和所述第二音视频信息流进行混流得到混流后音视频信息流，再将所述混流后音视频信息流推流至直播服务器。可见，本申请实施例通过预设的即时通信服务器将各主播终端的白板绘制数据和音视频信息进行同步传输，然后从即时通信服务器中拉取将所有主播终端的音视频信息和白板绘制数据并进行混流，从而实现多主播情况下的音视频和白板的同步，提高了多主播的直播效果及观众的观看体验。
本申请实施例公开了一种具体的白板和音视频同步方法，参见图2所示，该方法包括：
步骤S21：确定当前多主播直播过程中进行白板绘制的多个目标主播终端。
步骤S22：分别获取任一所述目标主播终端的音视频信息和白板绘制数据，并将所述白板绘制数据格式化为JSON格式的数据，得到JSON格式数据，然后将所述JSON格式数据和所述音视频信息作为第一音视频信息流。
本实施例中，在确定出当前多主播直播过程中进行白板绘制的多个目标主播终端之后，可以按照预设的采集周期分别对任意一个上述目标主播终端对应的音视频信息和白板绘制数据进行采集，并将采集到的所述白板绘制数据格式化为JSON格式的数据，得到JSON格式数据，然后将格式化后的所述JSON格式数据和所述音视频信息作为所述目标主播终端的音视频信息流，即所述第一音视频信息流。
步骤S23：将所述第一音视频信息流中的所述JSON格式数据实时写入至WebRTC服务器的DataChannel中，得到DataChannel数据，并通过DataChannel通道将所述DataChannel数据和所述音视频信息一同发送至所述WebRTC服务器。
本实施例中，分别获取任一所述目标主播终端的音视频信息和白板绘制数据，并将所述白板绘制数据格式化为JSON格式的数据，得到JSON格式数据，然后将所述JSON格式数据和所述音视频信息作为第一音视频信息流之后，将上述第一音视频信息流中的所述JSON格式数据实时写入到WebRTC服务器的DataChannel(数据通道)中，得到相应的DataChannel数据，并通过所述WebRTC服务器中的DataChannel通道将上述DataChannel数据和上述音视频信息一同传输至所述WebRTC服务器，即经过格式化后的白板绘制数据是和音视频一起传输的，并且都是通过WebRTC服务器的音视频通道与所述WebRTC服务器进行交互的。
步骤S24：通过所述WebRTC服务器将任一所述目标主播终端的所述DataChannel数据和所述音视频信息一同转发至所述多主播直播过程中的所有其他主播终端，以便在所述其他主播终端的本地白板中显示所述音视频信息并还原所述DataChannel数据。
本实施例中，将所述第一音视频信息流中的所述JSON格式数据实时写入至WebRTC服务器的DataChannel中，得到DataChannel数据，并通过DataChannel通道将所述DataChannel数据和所述音视频信息一同发送至所述WebRTC服务器之后，通过上述WebRTC服务器可以将任意一个所述目标主播终端的所述DataChannel数据和所述音视频信息一同转发到所述多主播直播过程中的所有其他主播终端，当所述所有其他主播终端获取到所述DataChannel数据和所述音视频信息后，可以在本地白板中显示所述音视频信息并将所述DataChannel数据作为白板数据进行还原。
步骤S25：通过预设的混流服务器从所述WebRTC服务器中实时拉取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流。
本实施例中，通过所述WebRTC服务器将任一所述目标主播终端的所述DataChannel数据和所述音视频信息一同转发至所述多主播直播过程中的所有其他主播终端之后，可以通过预设的混流服务器从上述WebRTC服务器中实时的拉取所有所述目标主播终端的所述第一音视频信息流和所有其他未进行白板绘制主播终端的音视频信息，即所述第二音视频信息流。
本实施例中，所述通过预设的混流服务器从所述WebRTC服务器中实时拉取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流，具体可以包括：通过预设的混流服务器，从所述WebRTC服务器中实时拉取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流，并在拉取的过程中判断是否存在所述DataChannel数据；若存在所述DataChannel数据，则将所述DataChannel数据转换至所述H.264视频编码标准的SEI中，得到SEI数据。本实施例中，通过所述WebRTC服务器将任一所述第一音视频信息流转发至所述多主播直播过程中的所有其他主播终端之后，可以通过预设的混流服务器从上述WebRTC服务器中拉取当前多人直播过程中所有主播终端的音视频流，即拉取所有进行白板绘制的目标主播终端对应的所述第一音视频信息流和所有未进行白板绘制的其他主播终端对应的所述第二音视频信息流，并且在拉取的过程中，判断拉取到的信息中是否存在DataChannel数据，即判断所述WebRTC服务器的DataChannel通道中是否携带数据，如果携带则获取DataChannel中的数据，即所述DataChannel数据，并将上述DataChannel数据转换至H.264视频编码标准的SEI(Supplemental Enhancement Information，补充增强信息)中，得到SEI数据。
步骤S26：将所述第一音视频信息流和所述第二音视频信息流进行混流，得到混流后音视频信息流。
步骤S27：通过H.264视频编码标准和AAC音频编码标准对所述混流后音视频信息流中的音视频进行编码，并按照预设的实时信息传输协议将编码后的所述混流后音视频信息流发送至直播服务器。
本实施例中，通过预设的混流服务器从所述WebRTC服务器中实时拉取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流之后，可以通过H.264(一种数字视频压缩格式)视频编码标准和AAC(Advanced Audio Coding，高级音频编码)音频编码标准分别对上述混流后音视频信息流中的音频和视频进行编码，并按照预设的实时信息传输协议(RTMP，Real Time Messaging Protocol)将编码后的所述混流后音视频信息流发送到预设的直播服务器中。
本实施例中，所述将所述混流后音视频信息流推流至直播服务器之后，具体还包括：从所述直播服务器中拉取所述混流后音视频信息流，并在观众终端对所述混流后音视频信息流进行播放；在播放的过程中，判断所述混流后音视频信息流中是否存在所述SEI数据，若存在则将所述SEI数据作为白板数据并在本地白板上进行还原。可以理解的是，在将上述混流后音视频信息流发送至直播服务器之后，观众终端可以通过预设的HTTP-FLV协议或HLS协议实时的拉取到上述混流后音视频信息流并在本地白板上进行播放。进一步的，在播放的过程中，还需判断是否存在SEI数据，若存在则获取所述SEI数据，并作为白板数据在观众终端的白板中进行还原。
其中，关于上述步骤S21、S26更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请实施例通过WebRTC服务器的DataChannel通道可以实现白板数据和音视频信息的同步发送及多主播终端之间的数据交互，通过预设的混流服务器可以将所有主播终端的白板绘制数据和音视频信息进行混流，通过H.264视频编码标准和AAC音频编码标准可以对混流后的数据进行编码并推流至观众终端，从而实现了多主播之间的白板和音视频的同步，提高了多主播之间的互动及观众的观看体验。
相应的，本申请实施例还公开了一种白板和音视频同步装置，参见图3所示，该装置包括：
主播终端确定模块11，用于确定当前多主播直播过程中进行白板绘制的多个目标主播终端；
信息获取模块12，用于分别获取任一所述目标主播终端的音视频信息和白板绘制数据，以得到第一音视频信息流；
信息发送模块13，用于分别将所述第一音视频信息流中的所有信息一同发送至预设的即时通信服务器；
信息转发模块14，用于通过所述即时通信服务器将任一所述第一音视频信息流转发至所述多主播直播过程中的所有其他主播终端，以便在所述其他主播终端的本地白板中显示所述音视频信息并还原所述白板绘制数据；
混流模块15，用于从所述即时通信服务器中获取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流，并将所述第一音视频信息流和所述第二音视频信息流进行混流得到混流后音视频信息流，再将所述混流后音视频信息流推流至直播服务器。
其中，关于上述各个模块的具体工作流程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请实施例中，先确定当前多主播直播过程中进行白板绘制的多个目标主播终端，然后分别获取任一所述目标主播终端的音视频信息和白板绘制数据，以得到第一音视频信息流，并分别将所述第一音视频信息流中的所有信息一同发送至预设的即时通信服务器，再通过所述即时通信服务器将任一所述第一音视频信息流转发至所述多主播直播过程中的所有其他主播终端，以便在所述其他主播终端的本地白板中显示所述音视频信息并还原所述白板绘制数据，最后从所述即时通信服务器中获取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流，并将所述第一音视频信息流和所述第二音视频信息流进行混流得到混流后音视频信息流，再将所述混流后音视频信息流推流至直播服务器。可见，本申请实施例通过预设的即时通信服务器将各主播终端的白板绘制数据和音视频信息进行同步传输，然后从即时通信服务器中拉取将所有主播终端的音视频信息和白板绘制数据并进行混流，从而实现多主播情况下的音视频和白板的同步，提高了多主播的直播效果及观众的观看体验。
在一些具体实施例中，所述信息获取模块12，具体可以包括：
第一信息获取单元，用于获取任一所述目标主播终端的音视频信息和白板绘制数据，并将所述白板绘制数据格式化为JSON格式的数据，得到JSON格式数据，然后将所述JSON格式数据和所述音视频信息作为第一音视频信息流。
在一些具体实施例中，所述信息发送模块13，具体可以包括：
数据写入单元，用于将所述第一音视频信息流中的所述JSON格式数据实时写入至WebRTC服务器的DataChannel中，得到DataChannel数据；
信息发送单元，用于通过DataChannel通道将所述DataChannel数据和所述音视频信息一同发送至所述WebRTC服务器。
在一些具体实施例中，所述混流模块15，具体可以包括：
第二信息获取单元，用于通过预设的混流服务器从所述WebRTC服务器中实时拉取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流；
混流单元，用于将所述第一音视频信息流和所述第二音视频信息流进行混流，得到混流后音视频信息流；
音视频编码单元，用于通过H.264视频编码标准和AAC音频编码标准对所述混流后音视频信息流中的音视频进行编码，并按照预设的实时信息传输协议将编码后的所述混流后音视频信息流发送至直播服务器。
在一些具体实施例中，所述第二信息获取单元，具体可以包括：
第三信息获取单元，用于通过预设的混流服务器，从所述WebRTC服务器中实时拉取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流，并在拉取的过程中判断是否存在所述DataChannel数据；
数据转换单元，用于当存在所述DataChannel数据，则将所述DataChannel数据转换至所述H.264视频编码标准的SEI中，得到SEI数据。
在一些具体实施例中，所述混流模块15之后，还可以包括：
第四信息获取单元，用于从所述直播服务器中拉取所述混流后音视频信息流，并在观众终端对所述混流后音视频信息流进行播放；
判断单元，用于在播放的过程中，判断所述混流后音视频信息流中是否存在所述SEI数据；
数据还原单元，用于如果存在则将所述SEI数据作为白板数据并在本地白板中进行还原。
在一些具体实施例中，所述混流模块15之后，还可以包括：
播放单元，用于通过HTTP-FLV协议或HLS协议从所述直播服务器中拉取所述混流后音视频信息流，并在观众终端对所述混流后音视频信息流进行播放。
进一步的，本申请实施例还公开了一种电子设备，图4是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图4为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的白板和音视频同步方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的白板和音视频同步方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的白板和音视频同步方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种白板和音视频同步方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种白板和音视频同步方法，其特征在于，包括：
确定当前多主播直播过程中进行白板绘制的多个目标主播终端；
分别获取任一所述目标主播终端的音视频信息和白板绘制数据，以得到第一音视频信息流，并分别将所述第一音视频信息流中的所有信息一同发送至预设的即时通信服务器；
通过所述即时通信服务器将任一所述第一音视频信息流转发至所述多主播直播过程中的所有其他主播终端，以便在所述其他主播终端的本地白板中显示所述音视频信息并还原所述白板绘制数据；
从所述即时通信服务器中获取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流，并将所述第一音视频信息流和所述第二音视频信息流进行混流得到混流后音视频信息流，再将所述混流后音视频信息流推流至直播服务器。
2.根据权利要求1所述的白板和音视频同步方法，其特征在于，所述获取任一所述目标主播终端的音视频信息和白板绘制数据，以得到第一音视频信息流，包括：
获取任一所述目标主播终端的音视频信息和白板绘制数据，并将所述白板绘制数据格式化为JSON格式的数据，得到JSON格式数据，然后将所述JSON格式数据和所述音视频信息作为第一音视频信息流。
3.根据权利要求2所述的白板和音视频同步方法，其特征在于，所述将所述第一音视频信息流中的所有信息一同发送至预设的即时通信服务器，包括：
将所述第一音视频信息流中的所述JSON格式数据实时写入至WebRTC服务器的DataChannel中，得到DataChannel数据，并通过DataChannel通道将所述DataChannel数据和所述音视频信息一同发送至所述WebRTC服务器。
4.根据权利要求3所述的白板和音视频同步方法，其特征在于，所述从所述即时通信服务器中获取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流，并将所述第一音视频信息流和所述第二音视频信息流进行混流得到混流后音视频信息流，再将所述混流后音视频信息流推流至直播服务器，包括：
通过预设的混流服务器从所述WebRTC服务器中实时拉取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流；
将所述第一音视频信息流和所述第二音视频信息流进行混流，得到混流后音视频信息流；
通过H.264视频编码标准和AAC音频编码标准对所述混流后音视频信息流中的音视频进行编码，并按照预设的实时信息传输协议将编码后的所述混流后音视频信息流发送至直播服务器。
5.根据权利要求4所述的白板和音视频同步方法，其特征在于，所述通过预设的混流服务器从所述WebRTC服务器中实时拉取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流，包括：
通过预设的混流服务器，从所述WebRTC服务器中实时拉取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流，并在拉取的过程中判断是否存在所述DataChannel数据；
若存在所述DataChannel数据，则将所述DataChannel数据转换至所述H.264视频编码标准的SEI中，得到SEI数据。
6.根据权利要求5所述的白板和音视频同步方法，其特征在于，所述将所述混流后音视频信息流推流至直播服务器之后，还包括：
从所述直播服务器中拉取所述混流后音视频信息流，并在观众终端对所述混流后音视频信息流进行播放；
在播放的过程中，判断所述混流后音视频信息流中是否存在所述SEI数据，若存在则将所述SEI数据作为白板数据并在本地白板中进行还原。
7.根据权利要求1至6任一项所述的白板和音视频同步方法，其特征在于，所述将所述混流后音视频信息流推流至直播服务器之后，还包括：
通过HTTP-FLV协议或HLS协议从所述直播服务器中拉取所述混流后音视频信息流，并在观众终端对所述混流后音视频信息流进行播放。
8.一种白板和音视频同步装置，其特征在于，包括：
主播终端确定模块，用于确定当前多主播直播过程中进行白板绘制的多个目标主播终端；
信息获取模块，用于分别获取任一所述目标主播终端的音视频信息和白板绘制数据，以得到第一音视频信息流；
信息发送模块，用于分别将所述第一音视频信息流中的所有信息一同发送至预设的即时通信服务器；
信息转发模块，用于通过所述即时通信服务器将任一所述第一音视频信息流转发至所述多主播直播过程中的所有其他主播终端，以便在所述其他主播终端的本地白板中显示所述音视频信息并还原所述白板绘制数据；
混流模块，用于从所述即时通信服务器中获取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流，并将所述第一音视频信息流和所述第二音视频信息流进行混流得到混流后音视频信息流，再将所述混流后音视频信息流推流至直播服务器。
9.一种电子设备，其特征在于，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的白板和音视频同步方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的白板和音视频同步方法。
CN202111543498.2A 2021-12-16 2021-12-16 一种白板和音视频同步方法、装置、设备及存储介质 Pending CN114205637A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111543498.2A CN114205637A (zh) 2021-12-16 2021-12-16 一种白板和音视频同步方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111543498.2A CN114205637A (zh) 2021-12-16 2021-12-16 一种白板和音视频同步方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114205637A true CN114205637A (zh) 2022-03-18

Family

ID=80654624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111543498.2A Pending CN114205637A (zh) 2021-12-16 2021-12-16 一种白板和音视频同步方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114205637A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115883865A (zh) * 2023-01-31 2023-03-31 北京微吼时代科技有限公司 白板交互数据和音视频数据的同步方法、系统、存储介质和电子设备
CN115941999A (zh) * 2023-03-15 2023-04-07 北京微吼时代科技有限公司 基于rtc技术的电子白板的视频直播方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109547831A (zh) * 2018-11-19 2019-03-29 网宿科技股份有限公司 一种白板与视频同步的方法、装置、计算设备及存储介质
CN111541905A (zh) * 2020-04-17 2020-08-14 广州虎牙科技有限公司 一种直播方法、装置、计算机设备和存储介质
US20200294317A1 (en) * 2019-03-15 2020-09-17 Touchcast LLC Augmented reality conferencing system and method
CN112073423A (zh) * 2020-09-15 2020-12-11 杭州二更网络科技有限公司 基于WebRTC进行浏览器推流的方法及系统
CN112291498A (zh) * 2020-10-30 2021-01-29 新东方教育科技集团有限公司 音视频数据传输的方法、装置和存储介质
CN112543297A (zh) * 2019-09-20 2021-03-23 北京新媒传信科技有限公司 一种视频会议直播方法、装置和系统
CN113014950A (zh) * 2021-05-24 2021-06-22 北京创新乐知网络技术有限公司 一种直播同步的方法、系统和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109547831A (zh) * 2018-11-19 2019-03-29 网宿科技股份有限公司 一种白板与视频同步的方法、装置、计算设备及存储介质
US20200294317A1 (en) * 2019-03-15 2020-09-17 Touchcast LLC Augmented reality conferencing system and method
CN112543297A (zh) * 2019-09-20 2021-03-23 北京新媒传信科技有限公司 一种视频会议直播方法、装置和系统
CN111541905A (zh) * 2020-04-17 2020-08-14 广州虎牙科技有限公司 一种直播方法、装置、计算机设备和存储介质
CN112073423A (zh) * 2020-09-15 2020-12-11 杭州二更网络科技有限公司 基于WebRTC进行浏览器推流的方法及系统
CN112291498A (zh) * 2020-10-30 2021-01-29 新东方教育科技集团有限公司 音视频数据传输的方法、装置和存储介质
CN113014950A (zh) * 2021-05-24 2021-06-22 北京创新乐知网络技术有限公司 一种直播同步的方法、系统和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张戈;: "WebRTC在视频直播教学领域的应用研究", 电脑编程技巧与维护, no. 11 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115883865A (zh) * 2023-01-31 2023-03-31 北京微吼时代科技有限公司 白板交互数据和音视频数据的同步方法、系统、存储介质和电子设备
CN115941999A (zh) * 2023-03-15 2023-04-07 北京微吼时代科技有限公司 基于rtc技术的电子白板的视频直播方法及系统
CN115941999B (zh) * 2023-03-15 2024-02-13 北京微吼时代科技有限公司 基于rtc技术的电子白板的视频直播方法及系统

Similar Documents

Publication Publication Date Title
US20210314657A1 (en) Receiving device, transmitting device, and data processing method
EP2348671B1 (en) Conference terminal, conference server, conference system and method for data processing
CN107846633B (zh) 一种直播方法及系统
CN108289159B (zh) 一种终端直播特效添加系统、方法及终端直播系统
CN108076349B (zh) 网络互动直播方法、系统及电子设备
CN114205637A (zh) 一种白板和音视频同步方法、装置、设备及存储介质
CN111741324B (zh) 录制回放方法、装置和电子设备
US20140344854A1 (en) Method and System for Displaying Speech to Text Converted Audio with Streaming Video Content Data
WO2011050690A1 (zh) 用于录制和回播多媒体会议的方法和系統
CN102547213A (zh) 一种用于视频会议系统的视频成像预览方法
JP2007028586A (ja) 対話型マルチメディアコンテンツ制作システム
CN109089129B (zh) 一种稳健的多视频捆绑直播系统及其方法
US20070058925A1 (en) Interactive multimedia production
US20110137438A1 (en) Video conference system and method based on video surveillance system
Ziewer et al. Transparent teleteaching.
EP2315429A1 (de) Verfahren, Vorrichtung und System zur selektiven Ausgabe von Multimediainhalten
Tang et al. Audio and video mixing method to enhance WebRTC
JP2005269607A (ja) インスタント対話型オーディオ／ビデオ管理システム
CN115065829A (zh) 一种多人连麦方法及相关设备
CN106412646B (zh) 一种实现同步播放的方法和装置
CN110392275B (zh) 一种文稿演示的共享方法、装置及视联网软终端
JP2020017983A (ja) ストリームを同期させる方法及び生成する方法、並びに対応するコンピュータプログラム、記憶媒体、並びにレンダリングデバイス、実行デバイス、及び生成デバイス
US11102540B2 (en) Method, device and system for synchronously playing message stream and audio-video stream
JP6481290B2 (ja) 情報処理装置
KR20180030143A (ko) 이질적인 네트워킹 환경들에서 미디어 렌더링의 동기화

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination