CN109547831A - 一种白板与视频同步的方法、装置、计算设备及存储介质 - Google Patents

一种白板与视频同步的方法、装置、计算设备及存储介质 Download PDF

Info

Publication number
CN109547831A
CN109547831A CN201811375089.4A CN201811375089A CN109547831A CN 109547831 A CN109547831 A CN 109547831A CN 201811375089 A CN201811375089 A CN 201811375089A CN 109547831 A CN109547831 A CN 109547831A
Authority
CN
China
Prior art keywords
timestamp
frame
video data
blank
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811375089.4A
Other languages
English (en)
Other versions
CN109547831B (zh
Inventor
林新建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN201811375089.4A priority Critical patent/CN109547831B/zh
Priority to US16/627,988 priority patent/US20210409461A1/en
Priority to EP18940555.8A priority patent/EP3883254A4/en
Priority to PCT/CN2018/119596 priority patent/WO2020103203A1/zh
Publication of CN109547831A publication Critical patent/CN109547831A/zh
Application granted granted Critical
Publication of CN109547831B publication Critical patent/CN109547831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种白板与视频同步的方法、装置、计算设备及存储介质，该方法包括第一终端设备获取服务器发送的视频流，视频流中每一帧视频数据设有时间戳，视频流为第二终端设备采集每一帧视频数据并对每一帧视频数据添加时间戳后发送给服务器的，然后播放视频流，并根据所述视频流播放的当前帧的时间戳，从缓存中获取与视频流播放的当前帧的时间戳对应的白板内容进行同步显示。由于采用时间戳作为同步对象，在显示时，将具有相同时间戳的白板内容与当前帧的视频数据同步显示，可以解决现有技术中因网络不稳定产生的白板内容与视频数据不同步的问题。

Description

一种白板与视频同步的方法、装置、计算设备及存储介质
技术领域
本发明实施例涉及流媒体技术领域，尤其涉及一种白板与视频同步的方法、装置、计算设备及存储介质。
背景技术
近些年来，随着互联网用户的快速增长和国家教育政策的不断扶持，在线教育行业得到了快速发展。中国在线教育经历了从远程教育平台、培训机构转战线上到目前的互联网公司涉足三个阶段。互联网给教育带来了显著的变化，这种变化不仅表现在时空的突破上，更体现在教育的教、学、评、测等多个环节。
而随着在线教育行业的迅猛发展，网络平台上的白板互动服务也应运而生。其不仅可以将教学课件发布及分享给学生们，同时学生们还可以在共享文档上进行交互互动。教师可以远程实时视频直播授课，并将讲解内容同步显示在白板中供学生们收看；学生们在家中就可以看到远程教师的直播讲解视频画面和白板同步授课讲解内容。
但是，由于推流终端的多样性尤其是移动端推流器易受到网络不稳定的影响，导致推流存在不稳定性，远程教师的视频直播画面与白板显示的教学内容就会容易出现不同步现象，如教师视频直播到课件第二节而白板内容却还停留在课件第一节内容上面等情况，这会影响远程在线教育的师生互动，进而影响在线教育的体验。
发明内容
本发明实施例提供一种白板与视频同步的方法、装置、计算设备及存储介质，用以解决现有技术中因网络不稳定产生的白板内容与视频数据不同步的问题。
本发明实施例提供的一种白板与视频同步的方法，包括：
第一终端设备获取服务器发送的视频流，所述视频流中每一帧视频数据设有时间戳，所述视频流为第二终端设备采集每一帧视频数据并对每一帧视频数据添加时间戳后发送给所述服务器的；
所述第一终端设备播放所述视频流，并根据所述视频流播放的当前帧的时间戳，从缓存中获取与所述视频流播放的当前帧的时间戳对应的白板内容进行同步显示。
上述技术方案中，由于采用时间戳作为同步对象，在显示时，将具有相同时间戳的白板内容与当前帧的视频数据同步显示，可以解决现有技术中因网络不稳定产生的白板内容与视频数据不同步的问题。
可选的，所述第一终端设备在获取服务器发送的视频流之前还包括：
所述第一终端设备获取所述服务器发送的白板内容，并将所述白板内容进行缓存，所述白板内容设有时间戳，所述白板内容为所述第二终端设备采集第一白板内容并对第一白板内容添加时间戳后发送给所述服务器的。
上述技术方案中，通过将白板内容及时间戳预先缓存后，可以为播放视频流时提供的具有相同时间戳的白板内容，从而实现白板内容与视频数据同步。
可选的，所述第一终端设备播放所述视频流，并根据所述视频流播放的当前帧的时间戳，从缓存中获取与所述视频流播放的当前帧的时间戳对应的白板内容进行同步显示，包括：
所述第一终端设备播放所述视频流，将播放的视频流的当前帧的当前播放时间向下取整，确定出第一时间，并根据所述第一时间查找缓存队列中的当前帧的时间戳；
所述第一终端设备根据所述当前帧的时间戳，从缓存中获取与所述当前帧的时间戳对应的白板内容进行同步显示。
上述技术方案中，通过建立播放时间与各帧视频数据的时间戳的对应关系，可以快速的查找到视频流的当前帧对应的时间戳。
可选的，所述第一终端设备解码所述视频流，确定所述每一帧视频数据的播放时间；
所述第一终端设备将所述每一帧视频数据的播放时间向下取整，确定出所述每一帧视频数据的第二时间，并以所述第二时间为索引将所述每一帧视频数据的时间戳放入所述缓存队列中。
可选的，所述第一终端设备播放从缓存中获取与所述视频流播放的当前帧的时间戳对应的白板内容进行同步显示，包括：
所述第一终端设备判断所述视频流播放的当前帧的时间戳与缓存的所述白板内容中的时间戳的差值是否小于第一阈值；
若是，则所述第一终端设备将时间戳的差值小于第一阈值的所述白板内容进行同步显示。
上述技术方案中，通过将当前帧的时间戳与缓存的白板内容中的时间戳进行比对，由于差值小于第一阈值，可以进一步提高同步的效果。
可选的，所述时间戳为协调世界时(Coordinated Universal Time，UTC)时间戳。
相应的，本发明实施例还提供了一种白板与视频同步的方法，包括：
第二终端设备采集第一白板内容并为所述第一白板内容添加时间戳；
所述第二终端设备采集每一帧视频数据并为所述每一帧视频数据添加时间戳；
所述第二终端设备将所述第一白板内容以及所述第一白板内容的时间戳、所述每一帧视频数据以及每一帧视频数据的时间戳发送给服务器。
可选的，所述第二终端设备在将所述第一白板内容以及所述第一白板内容的时间戳、所述每一帧视频数据以及每一帧视频数据的时间戳发送给服务器之后，还包括：
所述第二终端设备播放所述每一帧视频数据，并根据所述每一帧视频数据的时间戳和所述第一白板内容的时间戳，确定出与所述每一帧视频数据同时显示的第一白板内容。
可选的，所述时间戳为UTC时间戳。
相应的，本发明实施例还提供了一种白板与视频同步的装置，包括：
获取模块，用于获取服务器发送的视频流，所述视频流中每一帧视频数据设有时间戳，所述视频流为第二终端设备采集每一帧视频数据并对每一帧视频数据添加时间戳后发送给所述服务器的；
播放模块，用于播放所述视频流，并根据所述视频流播放的当前帧的时间戳，从缓存中获取与所述视频流播放的当前帧的时间戳对应的白板内容进行同步显示。
可选的，所述获取模块还用于：
在获取服务器发送的视频流之前，获取所述服务器发送的白板内容，并将所述白板内容进行缓存，所述白板内容设有时间戳，所述白板内容为所述第二终端设备采集第一白板内容并对第一白板内容添加时间戳后发送给所述服务器的。
可选的，所述播放模块具体用于：
播放所述视频流，将播放的视频流的当前帧的当前播放时间向下取整，确定出第一时间，并根据所述第一时间查找缓存队列中的当前帧的时间戳；
根据所述当前帧的时间戳，从缓存中获取与所述当前帧的时间戳对应的白板内容进行同步显示。
可选的，所述播放模块还用于：
在播放所述视频流之前，解码所述视频流，确定所述每一帧视频数据的播放时间；
将所述每一帧视频数据的播放时间向下取整，确定出所述每一帧视频数据的第二时间，并以所述第二时间为索引将所述每一帧视频数据的时间戳放入所述缓存队列中。
可选的，所述播放模块还用于：
判断所述视频流播放的当前帧的时间戳与缓存的所述白板内容中的时间戳的差值是否小于第一阈值；
若是，则将时间戳的差值小于第一阈值的所述白板内容进行同步显示。
可选的，所述时间戳为UTC时间戳。
相应的，本发明实施例还提供了一种白板与视频同步的装置，包括：
采集模块，用于采集第一白板内容并为所述第一白板内容添加时间戳；以及采集每一帧视频数据并为所述每一帧视频数据添加时间戳；
发送模块，用于将所述第一白板内容以及所述第一白板内容的时间戳、所述每一帧视频数据以及每一帧视频数据的时间戳发送给服务器。
可选的，还包括播放模块；
所述播放模块具体用于：
在将所述第一白板内容以及所述第一白板内容的时间戳、所述每一帧视频数据以及每一帧视频数据的时间戳发送给服务器之后，播放所述每一帧视频数据，并根据所述每一帧视频数据的时间戳和所述第一白板内容的时间戳，确定出与所述每一帧视频数据同时显示的第一白板内容。
可选的，所述时间戳为UTC时间戳。
相应的，本发明实施例还提供了一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述白板与视频同步的方法。
相应的，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述白板与视频同步的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种系统架构的结构示意图；
图2为本发明实施例提供的一种白板与视频同步的方法的流程示意图；
图3为本发明实施例提供的一种第二终端设备的显示页面的示意图；
图4为本发明实施例提供的教师端白板与视频同步显示的流程示意图；
图5为本发明实施例提供的一种第一终端设备的显示页面的示意图；
图6为本发明实施例提供的学生端白板与视频同步显示播放的示意图；
图7为本发明实施例提供的同步显示播放方案中解码部分的流程示意图；
图8为本发明实施例提供的同步显示播放方案中渲染播放部分的流程示意图；
图9为本发明实施例提供的一种白板与视频同步的装置的结构示意图；
图10为本发明实施例提供的一种白板与视频同步的装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示例性地示出了本发明实施例提供的一种系统架构的结构，该系统架构可以包括第一终端设备100、第二终端设备200和服务器300。其中第一终端设备100和第二终端设备200分别与服务器300进行通信。
在具体实施过程中，该第一终端设备100可以位于学生端，也就是学生用于收看老师讲课的设备，该第一终端设备100可以包括：白板模块、聊天模块和播放模块。白板模块，用于显示远程教师端的授课讲解课件内容；聊天模块，用于显示学生们与远程教师的互动聊天内容；播放模块，用于播放远程教师的提前录制或实时在线直播的授课视频内容。该第一终端设备100可以通过长连接与服务器进行通信，实时接收服务器推送的白板内容；可以通过短连接或长连接从服务器300拉取点播或直播流。
该第二终端设备200可以位于教师端，也就是教师授课的设备，其可以包括白板模块、聊天模块和推流模块。白板模块，用于显示当前教师的授课讲解课件内容；聊天模块，用于显示当前教师与远程学生们的互动聊天内容；推流模块，用于推送当前教师的实时在线直播的授课视频内容。
该服务器300可以是视频存储服务器，用于存储第二终端设备200发送的视频流以及白板内容。
基于上述描述，图2示例性地示出了本发明实施例提供的一种白板与视频同步的流程，该流程可以由白板与视频同步的装置执行。下面将结合图1所示的结构，通过三者交互的方式来描述该白板与视频同步的流程。
步骤201，第二终端设备200采集第一白板内容并为所述第一白板内容添加时间戳，采集每一帧视频数据并为所述每一帧视频数据添加时间戳。
当教师讲课时，第二终端设备200采集教师讲课的第一白板内容和视频流，课件讲解每产生一个第一白板内容，就将该第一白板内容及其对应的时间戳一起发送给服务器300进行保存，该时间戳可以为UTC时间戳。也就是说，在第二终端设备侧约定一个同步参考对象，本发明实施例是以UTC时间戳为参考对象。第二终端设备200每采集一帧视频画面，就将当前UTC时间戳一起写入H264视频流的SEI帧中，这样就可以从源头直接保证了视频流画面和白板内容的同步采集。
步骤202，第二终端设备200向服务器300发送所述第一白板内容以及所述第一白板内容的时间戳、所述每一帧视频数据以及每一帧视频数据的时间戳。
第二终端设备200在采集了第一白板内容和视频数据后，就可以发送到服务器300进行保存，以供第一终端设备100进行拉流。
步骤203，服务器300向第一终端设备100发送视频流。
当学生需要学习教师的授课时，可以使用第一终端设备100向服务器300请求视频流，也就是向服务器300拉流，服务器300就可以根据第一终端设备100的请求向第一终端设备100发送视频流。
步骤204，第一终端设备100播放所述视频流，并根据所述视频流播放的当前帧的时间戳，从缓存中获取与所述视频流播放的当前帧的时间戳对应的白板内容进行同步显示。
第一终端设备100在获取到服务器300发送的视频流之前，还需要获取服务器300发送的白板内容，并将该白板内容进行缓存，其中，该白板内容设有时间戳。
第一终端设备100在获取到视频流之后，就可以播放该视频流，同时还可以根据该视频流播放的当前帧的时间戳，从缓存中获取与该视频流播放的当前帧的时间戳对应的白板内容进行同步显示。具体的，第一终端设备100在播放视频流时，将当前播放时间向下取整，得到第一时间，并根据该第一时间查找缓存队列中的当前帧的时间戳，然后再根据该当前帧的时间戳，从缓存中获取与该当前帧的时间戳对应的白板内容进行同步显示。
可选的，由于在播放视频流时，需要到缓存队列中查找当前帧的时间戳，因此，在播放视频流之前，第一终端设备100可以先解码获取的视频流，确定每一帧视频数据的播放时间，然后将每一帧视频数据的播放时间向下取整，确定出每一帧视频数据的第一时间，并以该第一时间为索引将每一帧视频数据的时间戳放入缓存队列中。也就是说，第一终端设备100获取视频流之后，就可以先解码获取的时间戳。
由于视频流的播放时间和其采集时的时间戳不是相同的概念，因此两者直接需要进行转换，通过设置缓存队列的形式，现将每一帧视频数据的时间戳进行缓存，同时建立时间戳与播放时间的对应关系。例如，播放时间10秒00、10秒01、10秒02、10秒03各自对应一帧视频数据，此时对这几帧视频数据的播放时间向下取整，就可以得到10秒00，这样以播放时间10秒00为索引创建一个缓存队列，并将10秒00、10秒01、10秒02、10秒03各自对应一帧视频数据的时间戳放入该10秒00为索引的缓存队列中。通过该技术手段，可以将获取的视频流每一帧视频时间的时间戳进行缓存。
第一终端设备100在播放视频流时，当播放到10秒01时，对该10秒01向下取整，得到10秒00，由此，可以找10秒00为索引的缓存队列，从而可以快速的找到该10秒01的一帧视频数据对应的时间戳。第一终端设备100在得到该10秒01的一帧视频数据对应的时间戳后，就可以从缓存中查找与该10秒01的一帧视频数据对应的时间戳相对应的白板内容进行同步显示。例如，10秒01的一帧视频数据对应的时间戳为20XX年8点03，则就可以从缓存中查找20XX年8点03对应的白板内容，由于第二终端设备200采集白板内容和视频数据时使用了相同的时间戳，这样播放视频流时可以同步显示相对应的白板内容，而不会出现白板内容更新过慢的现象。
可选的，为了进一步使得白板内容和视频画面能够同步，在从缓存中获取与视频流播放的当前帧的时间戳对应的白板内容进行同步显示时，还可以先判断视频流播放的当前帧的时间戳与缓存的白板内容的时间戳的差值是否小于第一阈值，若是，则将时间戳的差值小于第一阈值的白板内容进行同步显示，该第一阈值可以依据经验进行设置，例如可以为500ms，也就是说两者差值在500ms内就可以同步显示。
为了更好的解释本发明提供的技术方案，下面将在具体实施场景下描述白板与视频同步的流程。
在本发明实施例中，图3示例性地示出了教师端也就是第二终端设备200的显示页面，其包括白板区域、推流区域和聊天区域等三个显示区。其中白板区域提供一块给教师授课讲解用的“电子黑板”，教师可在其上面写画及编辑教学课件等。推流区域提供一个web推流器，可以是Flash推流器也可以是超文本标记语言(HyperText Markup Language，HTML)5推流器，该推流器至少应该包括语音采集设备(如麦克风等)和视频采集设备(如摄像头等)，通过这些设备采集流媒体格式数据，并将采集到的流媒体格式数据通过中转终端(如内容分发网络(Content Delivery Network，CDN)节点分发)的转发推送给观看终端进行观看。聊天区域提供一个即时通讯(Instant Messaging，IM)聊天室，在该区域可看到教师与学生们的互动聊天内容。
图4示例性地示出了教师端白板与视频同步显示播放的流程，具体步骤可以如下：
首先，在白板上执行操作(如画一个矩形)，操作完后保存白板数据B1及当前UTC时间T1，将B1和T1通过信令传输(如超文本传输协议(HyperText Transfer Protocol，HTTP)、WebSocket(基于TCP的全双工通信协议)等)给后台服务器，后台服务器保存该数据S1并将该数据S1下发推送到学生端。
然后，推流器实时采集音频和视频数据并对采集到的音频数据和视频数据进行音频编码和视频编码。例如，用FFMPEG(Fast Forward Mpeg)、X264、FAAC、硬编等编码工具编码成H264和高级音频编码(Advanced Audio Coding，AAC)。
在一实施方式中，采用H.264视频编码方法将采集到的视频数据编码成H.264格式的视频数据，采用AAC方法将采集到的音频数据编码成AAC格式的音频数据。推流器实时将当前UTC时间写入H.264视频数据的SEI帧中。最后，推流器将音频和视频数据实时推送到服务端，再由服务端被动(学生端拉流触发)推送到学生端观看。
通过上述方式可以保证白板的UTC和视频流的UTC时间戳能够做到同步。
图5示例性地示出了学生端，也就是第一终端设备100的显示页面，其包括白板区域、拉流区域和聊天区域等三个显示区。其中白板区域提供一块显示教师授课讲解用的“电子黑板”，教师写画及编辑教学课件可以在这上面进行显示。拉流区域提供一个web播放器，可以是Flash播放器也可以是HTML5播放器，该播放器至少应该能够解析播放HLS(HTTPLive Streaming，HTTP现场直播)、HDL(HTTP-FLV，HTTP分发资源的流式协议)等协议的点播或直播流，通过解析教师直播流数据并渲染给学生端观看。聊天区域提供一个IM聊天室，在该区域可看到教师与学生们的互动聊天内容。
在本发明实施例中，学生端的同步显示解决方案主要包括播放器和白板显示两部分，其中播放器主要又分为解码和渲染播放两部分。
图6示例性地示出了学生端白板与视频同步显示播放的流程，其具体步骤如下：
首先，通过信令通道(如WebSocket等)接收后台服务器推送过来的白板数据B2和UTC时间T2，将B2和T2通过缓存机制(如cookie、session和WebStorage等)临时保存到浏览器中。
然后，播放器实时拉取教师端点播或直播流，在一实施方式中，根据同步显示解决方案实时解析H.264视频数据的SEI帧得到UTC时间T3，将T2与T3进行误差校验(如两者差值在500ms内)决定显示白板内容数据B2到白板区域。
图7示例性地示出了同步显示解决方案中播放器解码部分的流程，该流程主要描述了教师端UTC时间在学生端播放器内部的缓存原理，其具体步骤如下：
首先，播放器通过传输通道(如HTTP、WebSocket等)从服务端拉取教师端的点播或直播流，实时解析该媒体流的视频数据，得到H.264视频数据的SEI帧。
然后，初始化一个缓存队列CA1，解析SEI帧的PTS时间戳P1(presentationtimestamp)，将其转换为秒级时间ST1，在一实施方式中ST1＝Math.floor((P1*90)/90000)。
最后，以ST1为索引在缓存队列DA1中寻找其对应的数据队列，若数据队列不存在则初始化分配一个数据队列DA1(CA1＝[DA1])，最后将ST1对应的自定义内容(在一实施方式中目前只自定义了UTC时间内容)添加进数据队列DA1(DA1＝[ST1])。
其中，需要说明的是，上述步骤涉及的秒级时间，可用如下通用公式(1)来解释：
其中，ST为秒级时间，T为时间戳。
上述步骤涉及的缓存队列，可用如下通用公式(2)来解释：
CA＝[DA1,DA2,…,DAN]…………………(2)
其中，CA为缓存队列，DA为数据队列。
上述缓存队列中的数据队列，可用如下通用公式(3)来解释：
其中，DA为数据队列，ST为自定义数据，也就是秒级时间。
上述数据队列中的自定义数据(可以自由扩展)，可用如下通用公式(4)来解释：
ST＝{"time":T}…………………(4)
其中，ST为自定义数据，也就是秒级时间，T为时间戳。
上述ST是自定义数据，所述自定义数据是推流端和拉流端两端约定的一种格式，约定的格式里面至少包含UTC时间戳信息。
图8示例性地示出了同步显示解决方案中播放器渲染播放部分的流程，流程主要描述了教师端UTC时间在学生端播放器内部回调通知学生端显示白板的同步原理，具体步骤如下：
首先，播放器内部实时侦听(在一实施方式中通过侦听video的播放进度事件)当前播放进度时间，将其向下取整得到CT1。在一实施方式中，CT1＝Math.floor(video.currentTime)，若CT1暂未处理过，则以CT1为索引在缓冲队列CA1中寻找其对应的数据队列CDA1。若数据队列CDA1不为空，则循环遍历该队列，并将队列中的数据通过接口回调通知页面，页面端得到自定义内容CC1。
然后，页面端从浏览器缓存中取出白板数据(如图6所示流程步骤中的B2)和UTC时间(如图6所示流程步骤中的T2)，从自定义内容CC1中取出UTC时间CC1T1，最后通过比对CC1T1和T2的差值误差将B2显示到白板区域。
上述实施例表明，第一终端设备100获取服务器发送的视频流，视频流中每一帧视频数据设有时间戳，视频流为第二终端设备200采集每一帧视频数据并对每一帧视频数据添加时间戳后发送给服务器的，然后播放视频流，并根据所述视频流播放的当前帧的时间戳，从缓存中获取与视频流播放的当前帧的时间戳对应的白板内容进行同步显示。由于采用时间戳作为同步对象，在显示时，将具有相同时间戳的白板内容与当前帧的视频数据同步显示，可以解决现有技术中因网络不稳定产生的白板内容与视频数据不同步的问题。
基于相同的技术构思，图9示例性地示出了本发明实施例提供的一种白板与视频同步的装置，该装置可以执行上述第一终端设备100所执行的步骤。
如图9所示，该装置具体包括：
获取模块901，用于获取服务器发送的视频流，所述视频流中每一帧视频数据设有时间戳，所述视频流为第二终端设备采集每一帧视频数据并对每一帧视频数据添加时间戳后发送给所述服务器的；
播放模块902，用于播放所述视频流，并根据所述视频流播放的当前帧的时间戳，从缓存中获取与所述视频流播放的当前帧的时间戳对应的白板内容进行同步显示。
可选的，所述获取模块901还用于：
在获取服务器发送的视频流之前，获取所述服务器发送的白板内容，并将所述白板内容进行缓存，所述白板内容设有时间戳，所述白板内容为所述第二终端设备采集第一白板内容并对第一白板内容添加时间戳后发送给所述服务器的。
可选的，所述播放模块902具体用于：
播放所述视频流，将播放的视频流的当前帧的当前播放时间向下取整，确定出第一时间，并根据所述第一时间查找缓存队列中的当前帧的时间戳；
根据所述当前帧的时间戳，从缓存中获取与所述当前帧的时间戳对应的白板内容进行同步显示。
可选的，所述播放模块902还用于：
在播放所述视频流之前，解码所述视频流，确定所述每一帧视频数据的播放时间；
将所述每一帧视频数据的播放时间向下取整，确定出所述每一帧视频数据的第二时间，并以所述第二时间为索引将所述每一帧视频数据的时间戳放入所述缓存队列中。
可选的，所述播放模块902还用于：
判断所述视频流播放的当前帧的时间戳与缓存的所述白板内容中的时间戳的差值是否小于第一阈值；
若是，则将时间戳的差值小于第一阈值的所述白板内容进行同步显示。
可选的，所述时间戳为UTC时间戳。
基于相同的技术构思，图10示例性地示出了本发明实施例提供的一种白板与视频同步的装置，该装置可以执行上述第二终端设备200所执行的步骤。
如图10所示，该装置具体包括：
采集模块1001，用于采集第一白板内容并为所述第一白板内容添加时间戳；以及采集每一帧视频数据并为所述每一帧视频数据添加时间戳；
发送模块1002，用于将所述第一白板内容以及所述第一白板内容的时间戳、所述每一帧视频数据以及每一帧视频数据的时间戳发送给服务器。
可选的，还包括播放模块1003；
所述播放模块4003具体用于：
在将所述第一白板内容以及所述第一白板内容的时间戳、所述每一帧视频数据以及每一帧视频数据的时间戳发送给服务器之后，播放所述每一帧视频数据，并根据所述每一帧视频数据的时间戳和所述第一白板内容的时间戳，确定出与所述每一帧视频数据同时显示的第一白板内容。
可选的，所述时间戳为UTC时间戳。
基于相同的技术构思，本发明实施例还提供了一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述白板与视频同步的方法。
基于相同的技术构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述白板与视频同步的方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (20)

1.一种白板与视频同步的方法，其特征在于，包括：
第一终端设备获取服务器发送的视频流，所述视频流中每一帧视频数据设有时间戳，所述视频流为第二终端设备采集每一帧视频数据并对每一帧视频数据添加时间戳后发送给所述服务器的；
所述第一终端设备播放所述视频流，并根据所述视频流播放的当前帧的时间戳，从缓存中获取与所述视频流播放的当前帧的时间戳对应的白板内容进行同步显示。
2.如权利要求1所述的方法，其特征在于，所述第一终端设备在获取服务器发送的视频流之前还包括：
所述第一终端设备获取所述服务器发送的白板内容，并将所述白板内容进行缓存，所述白板内容设有时间戳，所述白板内容为所述第二终端设备采集第一白板内容并对第一白板内容添加时间戳后发送给所述服务器的。
3.如权利要求1所述的方法，其特征在于，所述第一终端设备播放所述视频流，并根据所述视频流播放的当前帧的时间戳，从缓存中获取与所述视频流播放的当前帧的时间戳对应的白板内容进行同步显示，包括：
所述第一终端设备播放所述视频流，将播放的视频流的当前帧的当前播放时间向下取整，确定出第一时间，并根据所述第一时间查找缓存队列中的当前帧的时间戳；
所述第一终端设备根据所述当前帧的时间戳，从缓存中获取与所述当前帧的时间戳对应的白板内容进行同步显示。
4.如权利要求3所述的方法，其特征在于，在所述第一终端设备播放所述视频流之前，还包括：
所述第一终端设备解码所述视频流，确定所述每一帧视频数据的播放时间；
所述第一终端设备将所述每一帧视频数据的播放时间向下取整，确定出所述每一帧视频数据的第二时间，并以所述第二时间为索引将所述每一帧视频数据的时间戳放入所述缓存队列中。
5.如权利要求1所述的方法，其特征在于，所述第一终端设备从缓存中获取与所述视频流播放的当前帧的时间戳对应的白板内容进行同步显示，包括：
所述第一终端设备判断所述视频流播放的当前帧的时间戳与缓存的所述白板内容中的时间戳的差值是否小于第一阈值；
若是，则所述第一终端设备将时间戳的差值小于第一阈值的所述白板内容进行同步显示。
6.如权利要求1至5任一项所述的方法，其特征在于，所述时间戳为协调世界时UTC时间戳。
7.一种白板与视频同步的方法，其特征在于，包括：
第二终端设备采集第一白板内容并为所述第一白板内容添加时间戳；
所述第二终端设备采集每一帧视频数据并为所述每一帧视频数据添加时间戳；
所述第二终端设备将所述第一白板内容以及所述第一白板内容的时间戳、所述每一帧视频数据以及每一帧视频数据的时间戳发送给服务器。
8.如权利要求7所述的方法，其特征在于，所述第二终端设备在将所述第一白板内容以及所述第一白板内容的时间戳、所述每一帧视频数据以及每一帧视频数据的时间戳发送给服务器之后，还包括：
所述第二终端设备播放所述每一帧视频数据，并根据所述每一帧视频数据的时间戳和所述第一白板内容的时间戳，确定出与所述每一帧视频数据同时显示的第一白板内容。
9.如权利要求7或8所述的方法，其特征在于，所述时间戳为协调世界时UTC时间戳。
10.一种白板与视频同步的装置，其特征在于，包括：
获取模块，用于获取服务器发送的视频流，所述视频流中每一帧视频数据设有时间戳，所述视频流为第二终端设备采集每一帧视频数据并对每一帧视频数据添加时间戳后发送给所述服务器的；
播放模块，用于播放所述视频流，并根据所述视频流播放的当前帧的时间戳，从缓存中获取与所述视频流播放的当前帧的时间戳对应的白板内容进行同步显示。
11.如权利要求10所述的装置，其特征在于，所述获取模块还用于：
在获取服务器发送的视频流之前，获取所述服务器发送的白板内容，并将所述白板内容进行缓存，所述白板内容设有时间戳，所述白板内容为所述第二终端设备采集第一白板内容并对第一白板内容添加时间戳后发送给所述服务器的。
12.如权利要求10所述的装置，其特征在于，所述播放模块具体用于：
播放所述视频流，将播放的视频流的当前帧的当前播放时间向下取整，确定出第一时间，并根据所述第一时间查找缓存队列中的当前帧的时间戳；
根据所述当前帧的时间戳，从缓存中获取与所述当前帧的时间戳对应的白板内容进行同步显示。
13.如权利要求12所述的装置，其特征在于，所述播放模块还用于：
在播放所述视频流之前，解码所述视频流，确定所述每一帧视频数据的播放时间；
将所述每一帧视频数据的播放时间向下取整，确定出所述每一帧视频数据的第二时间，并以所述第二时间为索引将所述每一帧视频数据的时间戳放入所述缓存队列中。
14.如权利要求10所述的装置，其特征在于，所述播放模块还用于：
判断所述视频流播放的当前帧的时间戳与缓存的所述白板内容中的时间戳的差值是否小于第一阈值；
若是，则将时间戳的差值小于第一阈值的所述白板内容进行同步显示。
15.如权利要求10至14任一项所述的装置，其特征在于，所述时间戳为协调世界时UTC时间戳。
16.一种白板与视频同步的装置，其特征在于，包括：
采集模块，用于采集第一白板内容并为所述第一白板内容添加时间戳；以及采集每一帧视频数据并为所述每一帧视频数据添加时间戳；
发送模块，用于将所述第一白板内容以及所述第一白板内容的时间戳、所述每一帧视频数据以及每一帧视频数据的时间戳发送给服务器。
17.如权利要求16所述的装置，其特征在于，还包括播放模块；
所述播放模块具体用于：
在将所述第一白板内容以及所述第一白板内容的时间戳、所述每一帧视频数据以及每一帧视频数据的时间戳发送给服务器之后，播放所述每一帧视频数据，并根据所述每一帧视频数据的时间戳和所述第一白板内容的时间戳，确定出与所述每一帧视频数据同时显示的第一白板内容。
18.如权利要求16或17所述的装置，其特征在于，所述时间戳为协调世界时UTC时间戳。
19.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至9任一项所述的方法。
20.一种计算机可读非易失性存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至9任一项所述的方法。
CN201811375089.4A 2018-11-19 2018-11-19 一种白板与视频同步的方法、装置、计算设备及存储介质 Active CN109547831B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811375089.4A CN109547831B (zh) 2018-11-19 2018-11-19 一种白板与视频同步的方法、装置、计算设备及存储介质
US16/627,988 US20210409461A1 (en) 2018-11-19 2018-12-06 Whiteboard and video synchronization method, apparatus, computing device and storage medium
EP18940555.8A EP3883254A4 (en) 2018-11-19 2018-12-06 METHOD AND DEVICE FOR SYNCHRONIZING A WHITEBOARD WITH VIDEO, COMPUTER DEVICE AND STORAGE MEDIUM
PCT/CN2018/119596 WO2020103203A1 (zh) 2018-11-19 2018-12-06 一种白板与视频同步的方法、装置、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811375089.4A CN109547831B (zh) 2018-11-19 2018-11-19 一种白板与视频同步的方法、装置、计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN109547831A true CN109547831A (zh) 2019-03-29
CN109547831B CN109547831B (zh) 2021-06-01

Family

ID=65848089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811375089.4A Active CN109547831B (zh) 2018-11-19 2018-11-19 一种白板与视频同步的方法、装置、计算设备及存储介质

Country Status (4)

Country Link
US (1) US20210409461A1 (zh)
EP (1) EP3883254A4 (zh)
CN (1) CN109547831B (zh)
WO (1) WO2020103203A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110234028A (zh) * 2019-06-13 2019-09-13 北京大米科技有限公司 音视频数据同步播放方法、装置、系统、电子设备及介质
CN110933449A (zh) * 2019-12-20 2020-03-27 北京奇艺世纪科技有限公司 一种外部数据与视频画面的同步方法、系统及装置
CN110958466A (zh) * 2019-12-17 2020-04-03 杭州当虹科技股份有限公司 一种基于rtmp传输的sdi信号同步回传方法
CN111246178A (zh) * 2020-02-05 2020-06-05 浙江大华技术股份有限公司 视频处理方法和装置、存储介质及电子装置
CN111541927A (zh) * 2020-05-09 2020-08-14 北京奇艺世纪科技有限公司 一种视频播放方法及装置
EP3742742A4 (en) * 2019-04-04 2020-11-25 Wangsu Science & Technology Co., Ltd. METHOD, APPARATUS AND SYSTEM FOR SYNCHRONOUS PLAYBACK OF MESSAGE STREAMS AND AUDIO / VIDEO STREAMS
CN112511910A (zh) * 2020-11-23 2021-03-16 浪潮天元通信信息系统有限公司 实时字幕的处理方法和装置
CN113141519A (zh) * 2021-06-23 2021-07-20 大学长(北京)网络教育科技有限公司 一种直播数据处理方法及装置
US11102540B2 (en) 2019-04-04 2021-08-24 Wangsu Science & Technology Co., Ltd. Method, device and system for synchronously playing message stream and audio-video stream
CN113301425A (zh) * 2020-07-28 2021-08-24 阿里巴巴集团控股有限公司 视频播放方法、视频播放装置及电子设备
CN113573088A (zh) * 2021-07-23 2021-10-29 上海芯翌智能科技有限公司 一种为直播视频流同步绘制识别对象的方法与设备
CN113766178A (zh) * 2020-06-05 2021-12-07 北京字节跳动网络技术有限公司 视频控制方法、装置、终端和存储介质
CN114205637A (zh) * 2021-12-16 2022-03-18 杭州雅顾科技有限公司 一种白板和音视频同步方法、装置、设备及存储介质
WO2022062625A1 (zh) * 2020-09-25 2022-03-31 华为技术有限公司 一种视频通话方法及装置
CN114679618A (zh) * 2022-05-27 2022-06-28 成都有为财商教育科技有限公司 一种流媒体数据接收方法及系统
CN114900727A (zh) * 2022-05-11 2022-08-12 上海哔哩哔哩科技有限公司 视频流处理方法及装置
CN115883865A (zh) * 2023-01-31 2023-03-31 北京微吼时代科技有限公司 白板交互数据和音视频数据的同步方法、系统、存储介质和电子设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112770122B (zh) * 2020-12-31 2022-10-14 上海网达软件股份有限公司 一种在云导播台视频同步的方法及系统
CN112954374B (zh) * 2021-01-28 2023-05-23 广州虎牙科技有限公司 视频数据处理方法、装置、电子设备及存储介质
CN113923530B (zh) * 2021-10-18 2023-12-22 北京字节跳动网络技术有限公司 一种互动信息展示方法、装置、电子设备及存储介质
CN114205674B (zh) * 2021-12-16 2024-04-26 中国建设银行股份有限公司 视频数据处理方法、装置、电子设备和存储介质
CN114285836B (zh) * 2022-03-03 2022-08-19 苏州万店掌网络科技有限公司 一种视频播放方法、装置及介质
CN115941999B (zh) * 2023-03-15 2024-02-13 北京微吼时代科技有限公司 基于rtc技术的电子白板的视频直播方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1696923A (zh) * 2004-05-10 2005-11-16 北京大学 网络上的多种媒体的同步合成存储发布系统及操作该系统的方法
CN1787036A (zh) * 2005-10-21 2006-06-14 上海复旦光华信息科技股份有限公司 基于网络的多种媒体实时同步教学系统
CN102595114A (zh) * 2011-01-13 2012-07-18 安凯(广州)微电子技术有限公司 一种在低端嵌入式产品上播放视频的方法及终端
US20130120654A1 (en) * 2010-04-12 2013-05-16 David A. Kuspa Method and Apparatus for Generating Video Descriptions
CN104063263A (zh) * 2014-06-23 2014-09-24 华为技术有限公司 辅流处理的方法和装置
CN106326343A (zh) * 2016-08-05 2017-01-11 重庆锐畅科技有限公司 一种基于音视频数据关联同步的电子白板数据共享系统
CN108632656A (zh) * 2018-05-23 2018-10-09 中山全播网络科技有限公司 一种基于数据合成的交互录播系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050840A (zh) * 2014-05-30 2014-09-17 深圳市浪涛科技有限公司 交互式电子白板教学方法及系统
WO2016029116A1 (en) * 2014-08-22 2016-02-25 Cns Secure collaboration systems and methods
CN105898395A (zh) * 2015-06-30 2016-08-24 乐视致新电子科技（天津）有限公司 一种网络视频播放方法、装置及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1696923A (zh) * 2004-05-10 2005-11-16 北京大学 网络上的多种媒体的同步合成存储发布系统及操作该系统的方法
CN1787036A (zh) * 2005-10-21 2006-06-14 上海复旦光华信息科技股份有限公司 基于网络的多种媒体实时同步教学系统
US20130120654A1 (en) * 2010-04-12 2013-05-16 David A. Kuspa Method and Apparatus for Generating Video Descriptions
CN102595114A (zh) * 2011-01-13 2012-07-18 安凯(广州)微电子技术有限公司 一种在低端嵌入式产品上播放视频的方法及终端
CN104063263A (zh) * 2014-06-23 2014-09-24 华为技术有限公司 辅流处理的方法和装置
CN106326343A (zh) * 2016-08-05 2017-01-11 重庆锐畅科技有限公司 一种基于音视频数据关联同步的电子白板数据共享系统
CN108632656A (zh) * 2018-05-23 2018-10-09 中山全播网络科技有限公司 一种基于数据合成的交互录播系统

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11102540B2 (en) 2019-04-04 2021-08-24 Wangsu Science & Technology Co., Ltd. Method, device and system for synchronously playing message stream and audio-video stream
EP3742742A4 (en) * 2019-04-04 2020-11-25 Wangsu Science & Technology Co., Ltd. METHOD, APPARATUS AND SYSTEM FOR SYNCHRONOUS PLAYBACK OF MESSAGE STREAMS AND AUDIO / VIDEO STREAMS
WO2020248649A1 (zh) * 2019-06-13 2020-12-17 北京大米科技有限公司 音视频数据同步播放方法、装置、系统、电子设备及介质
CN110234028A (zh) * 2019-06-13 2019-09-13 北京大米科技有限公司 音视频数据同步播放方法、装置、系统、电子设备及介质
CN110958466A (zh) * 2019-12-17 2020-04-03 杭州当虹科技股份有限公司 一种基于rtmp传输的sdi信号同步回传方法
CN110933449A (zh) * 2019-12-20 2020-03-27 北京奇艺世纪科技有限公司 一种外部数据与视频画面的同步方法、系统及装置
CN111246178A (zh) * 2020-02-05 2020-06-05 浙江大华技术股份有限公司 视频处理方法和装置、存储介质及电子装置
CN111246178B (zh) * 2020-02-05 2021-06-18 浙江大华技术股份有限公司 视频处理方法和装置、存储介质及电子装置
CN111541927A (zh) * 2020-05-09 2020-08-14 北京奇艺世纪科技有限公司 一种视频播放方法及装置
CN113766178A (zh) * 2020-06-05 2021-12-07 北京字节跳动网络技术有限公司 视频控制方法、装置、终端和存储介质
CN113301425A (zh) * 2020-07-28 2021-08-24 阿里巴巴集团控股有限公司 视频播放方法、视频播放装置及电子设备
WO2022062625A1 (zh) * 2020-09-25 2022-03-31 华为技术有限公司 一种视频通话方法及装置
CN112511910A (zh) * 2020-11-23 2021-03-16 浪潮天元通信信息系统有限公司 实时字幕的处理方法和装置
CN113141519A (zh) * 2021-06-23 2021-07-20 大学长(北京)网络教育科技有限公司 一种直播数据处理方法及装置
CN113573088A (zh) * 2021-07-23 2021-10-29 上海芯翌智能科技有限公司 一种为直播视频流同步绘制识别对象的方法与设备
CN113573088B (zh) * 2021-07-23 2023-11-10 上海芯翌智能科技有限公司 一种为直播视频流同步绘制识别对象的方法与设备
CN114205637A (zh) * 2021-12-16 2022-03-18 杭州雅顾科技有限公司 一种白板和音视频同步方法、装置、设备及存储介质
CN114900727A (zh) * 2022-05-11 2022-08-12 上海哔哩哔哩科技有限公司 视频流处理方法及装置
CN114679618A (zh) * 2022-05-27 2022-06-28 成都有为财商教育科技有限公司 一种流媒体数据接收方法及系统
CN115883865A (zh) * 2023-01-31 2023-03-31 北京微吼时代科技有限公司 白板交互数据和音视频数据的同步方法、系统、存储介质和电子设备

Also Published As

Publication number Publication date
EP3883254A4 (en) 2021-11-10
WO2020103203A1 (zh) 2020-05-28
CN109547831B (zh) 2021-06-01
US20210409461A1 (en) 2021-12-30
EP3883254A1 (en) 2021-09-22

Similar Documents

Publication Publication Date Title
CN109547831A (zh) 一种白板与视频同步的方法、装置、计算设备及存储介质
EP3742742A1 (en) Method, apparatus and system for synchronously playing message stream and audio/video stream
JP6655091B2 (ja) 低レイテンシビデオストリーミング
Montagud et al. Inter-destination multimedia synchronization: schemes, use cases and standardization
CN101485170B (zh) 通过网络呈现用流传输的可重复的数据对象
CN108495152B (zh) 一种视频直播方法、装置、电子设备及介质
CN107409234A (zh) 基于lct利用dash格式的基于文件格式的流式传输
CN105491393A (zh) 多人视频直播业务的实现方法
CN107231563A (zh) 视频处理方法和装置
CN106134146A (zh) 处理连续的多周期内容
Boronat et al. HbbTV-compliant platform for hybrid media delivery and synchronization on single-and multi-device scenarios
CN102129346A (zh) 一种视频互动方法及装置
Van Deventer et al. Standards for multi-stream and multi-device media synchronization
CN112291498B (zh) 音视频数据传输的方法、装置和存储介质
CN106470352A (zh) 直播频道播放方法、装置及系统
KR20160002711A (ko) 수신 장치, 수신 장치에 있어서의 정보 처리 방법, 송신 장치, 정보 처리 장치 및 정보 처리 방법
CN112752109A (zh) 视频播放控制方法和系统
CN106231363A (zh) 一种弹幕视频流传输方法及其设备
Marfil et al. Synchronization mechanisms for multi-user and multi-device hybrid broadcast and broadband distributed scenarios
Tang et al. Audio and video mixing method to enhance WebRTC
CN106331763A (zh) 无缝播放分片媒体文件的方法及实现该方法的装置
Marfil et al. IDMS solution for hybrid broadcast broadband delivery within the context of HbbTV standard
US11102540B2 (en) Method, device and system for synchronously playing message stream and audio-video stream
CN114885198B (zh) 面向混合网络的伴音与视频协同呈现系统
CN113923530B (zh) 一种互动信息展示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant