CN113691847A - 一种多屏帧同步的方法和装置 - Google Patents

一种多屏帧同步的方法和装置 Download PDF

Info

Publication number
CN113691847A
CN113691847A CN202110855337.0A CN202110855337A CN113691847A CN 113691847 A CN113691847 A CN 113691847A CN 202110855337 A CN202110855337 A CN 202110855337A CN 113691847 A CN113691847 A CN 113691847A
Authority
CN
China
Prior art keywords
video data
video
screen end
main screen
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110855337.0A
Other languages
English (en)
Inventor
文志平
杨阳
孙涛
张华�
裘昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN202110855337.0A priority Critical patent/CN113691847A/zh
Publication of CN113691847A publication Critical patent/CN113691847A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及视频通信技术，公开了一种多屏帧同步的方法和装置；其包括主屏端和至少1个副屏端，主屏端和副屏端处于同一局域网内；主屏端根据播放地址获取视频数据并进行缓存；还包括中间传输端；主屏端的视频数据通过中间传输端传送至副屏端；副屏端与主屏端同时对视频数据进行播放。通过在局域网内进行视频数据的共享，通过中间传输端将视频数据从主屏端传送至副屏端，同时在主屏端对最新播放的视频数据进行缓存和更新，从而能够保证副屏端能够快速起播；只需主屏端获取视频数据，然后将数据共享至其它副屏端，大大节省流量消耗，同时多屏间网络稳定，数据传输速率快，同步效果好。

Description

一种多屏帧同步的方法和装置
技术领域
本发明涉及视频通信技术，尤其涉及了基于同一局域网内的多屏帧同步的方法和装置。
背景技术
随着技术的发展，视频显示的应用场景日新月异。由原来的电视屏幕，到移动终端，到户外大屏，再到万物互联的多屏融合。家庭影院、座舱娱乐等新兴应用场景随着网络通信技术的进步有了实现的技术基础。这种独立空间内的多屏融合对视频播放领域有着多屏同播的天然需求，比如车载智能座舱，不同位置的多块屏幕可以共享电影、综艺等视频内容，可以增强乘车体验。要实现视频的多屏共享必须依赖多屏同步技术，视频多屏同步技术是实现视频多屏共享的基础。
例如现有技术中专利申请号为：CN201310628115.0；专利申请日为：2013-11-28；专利申请名称为：一种用于多路实时视频的帧同步方法；专利申请记载了基于多路实时视频的帧同步方法，其首先各个屏会自己去服务器请求同一个视频内容，然后都以同一个时钟服务器时间为基准参考时间，各个屏播放时参考时钟服务器时间来进行同步。
现有技术的同步方法虽然能够实现播放同步，但是对于多屏之间因网络抖动而收到数据有快有慢，各屏间网络延时相差比较大等情况下的播放流畅度无法保证，且各屏表现不一致；从而影响用户体验。
另一方面视频内容服务平台提供内容都是按照流量收费或者按照会员账号收费，多个设备都从视频内容服务平台拉同一份流也会白白浪费流量，增加费用开销。常用的屏幕共享即投屏，是小屏与大屏间的两屏共享，比如移动终端共享视频内容到智能电视，该方法无法实现多屏间共享。
发明内容
本发明针对现有技术中多屏之间数据传输有时快有时慢，各屏之间网络延时差大，视频播放不流畅而且每个屏之间表现不一致和流量消耗多的问题，提供了一种多屏帧同步的方法和装置。
为了解决上述技术问题，本发明通过下述技术方案得以解决：
一种多屏帧同步的装置，包括主屏端和至少1个副屏端，主屏端和副屏端处于同一局域网内；主屏端对最新播放的视频数据进行缓存和更新；
还包括中间传输端；
主屏端接收的视频数据通过中间传输端传送至副屏端；副屏端与主屏端同时对视频数据进行播放。
通过在局域网内进行视频数据的共享，只需主屏端获取视频数据，然后将视频数据共享至其它副屏端，大大节省了流量消耗，同时多屏间网络稳定，数据传输速率快，同步效果好；同时还能有效节省平台费用；
通过中间传输端对于视频数据从主屏端传送至副屏端，同时在主屏端端对于最新播放的视频数据进行缓存，从而能够保证副屏端能够快速播放。
作为优选，中间传输端包括视频数据转发服务模块和信令发送服务模块；
视频数据转发服务模块，用于主屏端转发视频数据至副屏端；
信令发送服务模块用于主屏端发送信令信息至副屏端。
通过设有视频数据转发服务模块，能够进一步保证副屏端播放的快速进行播放。
作为优选，视频数据转发服务模块和信令发送服务模块采用Socket协议进行通信。
作为优选，主屏端包括第一视频获取解析模块、第一播放控制模块和第一信令收发模块；
第一视频获取解析模块，用于获取视频数据，然后对获取的视频数据进行格式解析，并分离出音视频及对应的音视频信息；
第一播放控制模块用于对主屏端视频数据的解码与渲染，并将解码和渲染后的视频数据进行播放；并发送视频数据至视频数据转发服务模块；
第一信令收发模块用于发送主屏端的信令信息至信令发送服务模块。
作为优选，副屏端包括视频共享数据接收模块、第二视频获取解析模块、第二播放控制模块、第二信令收发模块和同步控制模块；
视频共享数据接收模块用于接收视频数据转发服务模块发送的视频数据信息；
第二视频获取解析模块，用于对获取的视频信息进行格式解析，并分离出音视频及对应的音视频信息；
第二播放控制模块，用于对副屏端视频数据的解码与渲染，并将解码和渲染后的视频数据进行播放；
同步控制模块用于副屏端视频播放的同步计算，并发送同步计算信息至第二播放控制模块。
作为优选，信令信息包括设备信息、播放暂停信息、播放跳转信息、播放恢复信息、播放时间戳信息。信令信息通过播放时间戳信息进行数据同步的判断，其不需要使用任何第三方时间系统，从而保证了主屏端和副屏端的时间系统的统一。
作为优选，主屏端缓存的视频数据容量大于播放控制模块的数据缓存容量。
为解决上述技术问题，本申请还提供一种多屏帧同步的方法，包括主屏端和至少1个副屏端，主屏端和副屏端处于同一局域网内；其方法包括；
主屏端：
视频数据缓存，主屏端对最新播放的视频数据进行缓存和更新；
设备注册信息检测，主屏端启动播放视频文件，并在播放过程中检测视频转发服务是否存在副屏端的设备注册信息，存在则将播放的视频文件拷贝至视频数据转发服务；
副屏端：
监听等待，副屏端启动后，向视频数据转发服务和信令服务进行注册，注册成功则进入监听等待状态，监听等待主屏端的视频数据和信令信息；
初始化计时，副屏端接第一次接收到信令信息后，通过参考时间和网络传输延时进行初始化计时；
视频数据解码，副屏端接收到视频数据后，将视频数据传送至加码器进行解码；
同步处理，解码后的视频数据进行同步处理；
视频数据渲染，同步处理后的数据进行视频数据渲染并视频数据输出。
作为优选，还包括主屏端进行暂停操作，通过信令信息将暂停操作消息发送至所有副屏端，副屏端收到暂停消息后，停止视频帧的渲染，暂停计时；
主屏端从暂停状态恢复播放，通过信令信息将恢复播放消息发送至从所有播放端，副屏端收到恢复播放消息后，恢复视频帧的渲染，恢复计时；
主屏端进入缓冲状态，通过信令信息将缓冲开始消息发送至所有副屏端，副屏端收到缓冲开始消息后，停止视频帧的渲染，同时暂停计时；
主屏端缓冲结束时，通过信令信息将缓冲结束消息发送至所有副屏端，副屏端收到缓冲结束消息后，恢复视频帧的渲染，同时恢复计时；
主屏端进行跳播操作，通过信令信息将跳播消息发送至所有副屏端，副屏端收到跳播消息后，停止计时器，停止视频帧渲染，并重置解码器，然后进入等待状态，等待新的同步时间戳和新的视频数据；当主屏端跳播操作成功完成后，会立即发送新的同步参考时间戳和跳播后的视频数据，副屏端收到新的同步时间戳后更新计数器并恢复计时，副屏端收到新的视频数据，送入解码器解码，解码后的视频帧图像进行同步处理并显示。
作为优选，任一副屏端关闭，则该副屏端取消在视频转发服务和信令发送服务中的注册，信令信息和视频数据不会再向该副屏端进行发送，主屏端不受任何影响；主屏端关闭，则所有副屏端也会自动关闭，播放结束。
作为优选，视频数据缓存依据视频流的先后顺序进行视频数据缓存。
本发明由于采用了以上技术方案，具有显著的技术效果：本发明通过在局域网内进行视频数据的共享，只需主屏端从内容服务平台拉取数据，然后将数据共享给其它副屏端，大大节省了流量消耗，同时多屏间网络稳定，数据传输速率快，同步效果好；同时还能有效的节省平台费用；
本发明通过中间传输端对于视频数据从主屏端传送至副屏端，同时在主屏端端对于视频数据进行缓存，从而能够保证副屏端能够快速播放。
本发明的信令信息通过播放时间戳信息进行数据同步的判断，其不需要使用任何第三方时间系统，从而保证了主屏端和副屏端的时间系统的统一。
附图说明
图1是本发明的系统图。
图2是本发明的视频数据多屏共享示意图。
图3是本发明的信令信息多屏共享示意图。
图4是本发明的同步逻辑示意图。
具体实施方式
下面结合附图1至附图4与实施例对本发明作进一步详细描述。
实施例1
一种多屏帧同步的装置，包括主屏端和至少1个副屏端，主屏端和副屏端处于同一局域网内；主屏端对最新播放的视频数据进行缓存和更新，并进行缓存；视频数据是播放器根据播放地址主动去拉取的，播放地址是指向服务器就去服务器拉流，播放地址指向本地文件那么就直接读取本地文件；
还包括中间传输端；
主屏端接收的视频数据通过中间传输端传送至副屏端；副屏端与主屏端同时对视频数据进行播放。
通过在局域网内进行视频数据的共享，只需主屏端从内容服务平台拉取数据，然后将数据共享给其它副屏端，大大节省了流量消耗，同时多屏间网络稳定，数据传输速率快，同步效果好；同时还能有效的节省平台费用；
通过中间传输端对于视频数据从主屏端传送至副屏端，同时在主屏端端对于视频数据进行缓存，从而能够保证副屏端能够快速播放。
中间传输端包括视频数据转发服务模块和信令发送服务模块；
视频数据转发服务模块，用于主屏端转发视频数据至副屏端；
信令发送服务模块用于主屏端发送信令信息至副屏端。
通过设有视频数据转发服务模块，能够进一步保证副屏端播放的快速进行播放。
视频数据转发服务模块和信令发送服务模块采用Socket协议进行通信。
主屏端包括视频内容平台模块、第一视频获取解析模块、第一播放控制模块和第一信令收发模块；
视频内容平台模块，用于接收输入端的视频信息；
第一视频获取解析模块，用于对获取的视频信息进行格式解析，并分离出音视频及对应的音视频信息；
第一播放控制模块用于对主屏端视频数据的解码与渲染，并将解码和渲染后的视频数据进行播放；并发送视频数据至视频数据转发服务模块；
第一信令收发模块用于发送主屏端的信令信息至信令发送服务模块。
副屏端包括视频共享数据接收模块、第二视频获取解析模块、第二播放控制模块、第二信令收发模块和同步控制模块；
视频共享数据接收模块用于接收视频数据转发服务模块发送的视频数据信息；
第二视频获取解析模块，用于对获取的视频信息进行格式解析，并分离出音视频及对应的音视频信息；
第二播放控制模块，用于对副屏端视频数据的解码与渲染，并将解码和渲染后的视频数据进行播放；
同步控制模块用于副屏端视频播放的同步计算，并发送同步计算信息至第二播放控制模块。
信令信息包括设备信息、播放暂停信息、播放跳转信息、播放恢复信息、播放时间戳信息。信令信息通过播放时间戳信息进行数据同步的判断，其不需要使用任何第三方时间系统，从而保证了主屏端和副屏端的时间系统的统一。
主屏端缓存的视频数据容量大于播放控制模块的数据缓存容量。
实施例2
在实施例1基础上，实现多屏帧同步装置的方法，包括主屏端和至少1个副屏端，主屏端和副屏端处于同一局域网内；其方法包括；
主屏端：
视频数据缓存，主屏端对最新播放的视频数据进行缓存和更新，并进行缓存；
设备注册信息检测，主屏端启动播放发送的视频文件，并在播放过程中检测视频转发服务是否存在副屏端的设备注册信息，存在则将播放的视频文件拷贝纸视频数据转发服务；
副屏端：
监听等待，副屏端启动后，向视频数据转发服务和信令服务进行注册，注册成功则进入监听等待状态，监听等待主屏端的视频数据和信令信息；
初始化计时，副屏端接第一次接收到信令信息后，通过参考时间和网络传输延时进行初始化计时；
视频数据解码，副屏端接收到视频数据后，将视频数据传送至加码器进行解码；
同步处理，解码后的视频数据进行同步处理；
视频数据渲染，同步处理后的数据进行视频数据渲染并视频数据输出。
还包括主屏端进行暂停操作，通过信令信息将暂停操作消息发送至所有副屏端，副屏端收到暂停消息后，停止视频帧的渲染，暂停计时；主屏端从暂停状态恢复播放，通过信令信息将恢复播放消息发送至从所有播放端，副屏端收到恢复播放消息后，恢复视频帧的渲染，恢复计时；主屏端进入缓冲状态，通过信令信息将缓冲开始消息发送至所有副屏端，副屏端收到缓冲开始消息后，停止视频帧的渲染，同时暂停计时；主屏端缓冲结束时，通过信令信息将缓冲结束消息发送至所有副屏端，副屏端收到缓冲结束消息后，恢复视频帧的渲染，同时恢复计时。
主屏端进行跳播操作，通过信令信息将跳播消息发送至所有副屏端，副屏端收到跳播消息后，停止计时器，停止视频帧渲染，并重置解码器，然后进入等待状态，等待新的同步时间戳和新的视频数据；当主屏端跳播操作成功完成后，会立即发送新的同步参考时间戳和跳播后的视频数据，副屏端收到新的同步时间戳后更新计数器并恢复计时，副屏端收到新的视频数据，送入解码器解码，解码后的视频帧图像进行同步处理并显示。
任一副屏端关闭，则该副屏端取消在视频转发服务和信令发送服务中的注册，信令信息和视频数据不会再向该副屏端进行发送，主屏端不受任何影响；主屏端关闭，则所有副屏端也会自动关闭，播放结束。
视频数据缓存依据视频流的先后顺序进行视频数据缓存。
实施例3
在上述实施例基础上，本实施例主屏端起播后，首先缓存一定数据量的视频帧数据，缓存顺序按照视频流的先后顺序进行。
因为每个设备的解码器都需要初始缓存一定数量的视频帧数据后才会输出第一帧解码图像，且不同的设备解码器缓存的帧数不一样，所以主屏端需要缓存一定量的数据保证副屏端播放控制模块的解码器有足够的数据满足初始缓存需求从而快速的输出第一帧解码图像，从而保证副屏端能够快起播；主屏端缓存的数据量大小可根据实际需求进行调整，这里设置的缓存容量为30帧视频帧。
副屏端启动后，首先将副屏端的信息注册到视频数据转发服务和信令发送服务中。
主屏端在缓存视频帧数据量达到设定的数量之后，即30帧视频帧数据，如果没有接收到副屏端设备加入的信号，进行缓存视频数据的清空，重新缓存；
每一次主屏端的视频数据重新缓存都必须从关键帧开始；如果已经有副屏端设备加入，则快速循环将初始缓存的视频帧数据发送到视频数据转发服务，初始缓存发送之后，控制视频帧数据向视频数据转发服务发送的频率接近视频播放帧率，控制视频数据均匀传输，降低网络峰值压力。
视频数据转发服务会将每一帧数据同时发送给已注册的多个副屏端，保证每一次发送给各副屏端的数据都是一致的，视频数据发送流程参见图2。
主屏端起播后，按照一定的频率，1秒1次的频率，向副屏端发送同步参考时间戳。同步参考时间戳不是主屏端的系统时间，也不是时间服务器的服务器时间，而是视频数据中的视频显示时间戳PTS(Presentation Time Stamp)。
主屏端将最新正在显示的视频帧的显示时间戳发送至信令发送服务，信令发送服务将收到的时间戳同时发给已注册的所有副屏端，保证每一次发送各副屏端收到的时间戳都是一致的，信令发送流程参见图3。
副屏端接收到视频数据后送给解码器进行解码，副屏端第一次接收到同步时间戳后，启动计时器用于播放同步控制。
视频帧显示时间戳为Frame_Time，计时器时间为Clock_Time，可接受的同步误差范围为Tolerance_Time；Tolerance_Time根据实际需求设定，网络传输时延为Network_Latency，参考时间戳为Ref_Time。视频帧率是25，那么每一帧显示时间为40毫秒，则可接受同步误差Tolerance_Time＝40*2＝80毫秒。本实施例可控制同步误差在2个视频帧之内，也即80毫秒之内。
同步逻辑示意图参见图4，整个同步逻辑过程包括：
启动计时器，副屏端拿到第一帧解码数据后，如果计时器还未启动，则等待同步时间戳的到达和计时器启动；
计时器启动时，使用参考时间Ref_Time和网络传输延时Network_Latency来初始化计时器；
计时器的起始时间Start_Time＝Ref_Time+Network_Latency；播放过程中，主屏端会按照一定的频率将最新的参考时间发送至副屏端；当副屏端收到新的参考时间后，立即进行计时器的时钟更新Update_Time＝Ref_Time+Network_Latency；保证所有副屏端的时间戳与主屏端的时间戳一致，从而达到主副屏端都是按照同一时间系统进行播放，在参考时间没有更新的时间段内，计时器会按自然时间自动运行。
当Frame_Time>Clock_Time+Tolerance_Time，当前视频帧比主屏端正在播放的视频帧超前，此时需要等待一定时间进行同步，等待时间为Wait_Time，Wait_Time＝Clock_Time+Tolerance_Time-Frame_Time；
当Frame_Time<Clock_Time-Tolerance_Time，当前视频帧比主屏端正在播放的视频帧落后，此时需要追赶至同步；追赶的方式包括：快速播放和跳帧播放；
当Frame_Time>Clock_Time-Tolerance_Time；同时Frame_Time<Clock_Time+Tolerance_Time，当前视频帧与主屏端正在播放的视频帧处于允许的同步误差范围内；此时视频帧按照正常的播放帧率进行播放。
主屏端和副屏端进行操作同步，需要通过信令发送服务将操作发送到副屏端，副屏端在收到操作信令后立即响应，只要网络延时足够低，就能达到主屏端和副屏端在操作上的同步。
主屏端暂停(Pause)操作，当用户暂停(Pause)时，主屏端将暂停(Pause)消息发送至所有副屏端，副屏端收到暂停(Pause)消息后，立即停止视频帧的渲染，同时停止计时器，进入暂停状态；
当用户恢复播放时，主屏端将恢复播放消息发送至所有副屏端，副屏端收到恢复播放消息后，立即恢复视频帧渲染，同时使用计时器当前时间和网络传输时延恢复计时器，计时器恢复时间为Resume_Time＝Ref_Time+Network_Latency；
主屏端进入缓冲状态，将缓冲开始消息发送至所有副屏端，副屏端收到缓冲开始消息后，立即停止视频渲染，同时暂停计时器，进入缓冲状态；当主屏端缓冲完成时，将缓冲完成消息发送至所有副屏端，同时附带发送参考时间戳，副屏端收到缓冲完成消息和参考时间戳后，使用参考时间戳和网络传输时延更新计时器，然后恢复播放及同步逻辑，计时器的时钟更新时间为Update_Time＝Ref_Time+Network_Latency；
主屏端进行跳播(Seek)操作，当用户Seek时，主屏端将Seek消息发送至所有副屏端，副屏端收到Seek消息后，立即暂停计时器，同时暂停视频帧渲染并重置解码器；主屏端Seek成功后，同时将Seek后的新的参考时间和频帧数据发送至副屏端，副屏端收到新的参考时间戳，使用新的参考时间戳和网络延时更新并恢复计时器，副屏端收到视频数据后送给解码器解码，解码后的视频数据按照上述中的同步方法进入同步逻辑。

Claims (9)

1.一种多屏帧同步的装置，包括主屏端和至少1个副屏端，主屏端和副屏端处于同一局域网内；其特征在于，还包括中间传输端；
主屏端对最新播放的视频数据进行缓存和更新；
主屏端接收的视频数据通过中间传输端传送至副屏端；副屏端与主屏端同时对视频数据进行播放。
2.根据区权利要求1所述的一种多屏帧同步的装置，其特征在于
中间传输端包括视频数据转发服务模块和信令发送服务模块；
视频数据转发服务模块，用于主屏端转发视频数据至副屏端；
信令发送服务模块用于主屏端发送信令信息至副屏端。
3.根据区权利要求2所述的一种多屏帧同步的装置，其特征在于，主屏端包括第一视频获取解析模块、第一播放控制模块和第一信令收发模块；
第一视频获取解析模块，用于获取视频数据，对获取的视频数据进行格式解析，并分离出音视频及对应的音视频信息；
第一播放控制模块，用于对主屏端视频数据的解码与渲染，将解码和渲染后的视频数据进行播放；并发送视频数据至视频数据转发服务模块；
第一信令收发模块用于发送主屏端的信令信息至信令发送服务模块。
4.根据区权利要求2所述的一种多屏帧同步的装置，其特征在于，
副屏端包括视频共享数据接收模块、第二视频获取解析模块、第二播放控制模块、第二信令收发模块和同步控制模块；
视频共享数据接收模块，用于接收视频数据转发服务模块发送的视频数据信息；
第二视频获取解析模块，用于对获取的视频数据进行格式解析，并分离出音视频及对应的音视频信息；
第二播放控制模块，用于对副屏端视频数据的解码与渲染，并将解码和渲染后的视频数据进行播放；
同步控制模块用于副屏端视频播放的同步计算，并发送同步计算信息至第二播放控制模块。
5.根据区权利要求2所述的一种多屏帧同步的装置，其特征在于，信令信息包括设备信息、播放暂停信息、播放跳转信息、播放恢复信息、播放时间戳信息。
6.一种多屏帧同步的方法，包括主屏端和至少1个副屏端，主屏端和副屏端处于同一局域网内；其方法包括；
主屏端：
视频数据缓存，主屏端对最新播放的视频数据进行缓存和更新；
设备注册信息检测，主屏端启动播放视频文件，并在播放过程中检测视频转发服务是否存在副屏端的设备注册信息，存在则将播放的视频文件拷贝至视频数据转发服务；
副屏端：
监听等待，副屏端启动后，向视频数据转发服务和信令服务进行注册，注册成功则进入监听等待状态，监听等待主屏端的视频数据和信令信息；
初始化计时，副屏端接第一次接收到信令信息后，通过参考时间和网络传输延时进行初始化计时；
视频数据解码，副屏端接收到视频数据后，将视频数据传送至加码器进行解码；
同步处理，解码后的视频数据进行同步处理；
视频数据渲染，同步处理后的数据进行视频数据渲染并视频数据输出。
7.根据权利要求6所述的一种多屏帧同步的方法，其特征在于，还包括主屏端进行暂停操作，通过信令信息将暂停操作消息发送至所有副屏端，副屏端收到暂停消息后，停止视频帧的渲染，暂停计时；
主屏端从暂停状态恢复播放，通过信令信息将恢复播放消息发送至从所有播放端，副屏端收到恢复播放消息后，恢复视频帧的渲染，恢复计时；
主屏端进入缓冲状态，通过信令信息将缓冲开始消息发送至所有副屏端，副屏端收到缓冲开始消息后，停止视频帧的渲染，同时暂停计时；
主屏端缓冲结束时，通过信令信息将缓冲结束消息发送至所有副屏端，副屏端收到缓冲结束消息后，恢复视频帧的渲染，同时恢复计时；
主屏端进行跳播操作，通过信令信息将跳播消息发送至所有副屏端，副屏端收到跳播消息后，停止计时器，停止视频帧渲染，并重置解码器，然后进入等待状态，等待新的同步时间戳和新的视频数据；当主屏端跳播操作成功完成后，会立即发送新的同步参考时间戳和跳播后的视频数据，副屏端收到新的同步时间戳后更新计数器并恢复计时，副屏端收到新的视频数据，送入解码器解码，解码后的视频帧图像进行同步处理并显示。
8.根据权利要求6所述的一种多屏帧同步的方法，其特征在于，任一副屏端关闭，则该副屏端取消在视频转发服务和信令发送服务中的注册，信令信息和视频数据不会再向该副屏端进行发送，主屏端不受任何影响；主屏端关闭，则所有副屏端也会自动关闭，播放结束。
9.根据权利要求6所述的一种多屏帧同步的方法，其特征在于，视频数据缓存依据视频流的先后顺序进行视频数据缓存。
CN202110855337.0A 2021-07-28 2021-07-28 一种多屏帧同步的方法和装置 Pending CN113691847A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110855337.0A CN113691847A (zh) 2021-07-28 2021-07-28 一种多屏帧同步的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110855337.0A CN113691847A (zh) 2021-07-28 2021-07-28 一种多屏帧同步的方法和装置

Publications (1)

Publication Number Publication Date
CN113691847A true CN113691847A (zh) 2021-11-23

Family

ID=78578055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110855337.0A Pending CN113691847A (zh) 2021-07-28 2021-07-28 一种多屏帧同步的方法和装置

Country Status (1)

Country Link
CN (1) CN113691847A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116170622A (zh) * 2023-02-21 2023-05-26 阿波罗智联(北京)科技有限公司 音视频播放方法、装置、设备及介质
WO2024027768A1 (zh) * 2022-08-04 2024-02-08 京东方科技集团股份有限公司 多屏视频显示方法、系统、播放端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102368830A (zh) * 2011-11-08 2012-03-07 深圳市同洲电子股份有限公司 订购数字电视节目的方法及系统
CN102630057A (zh) * 2012-04-25 2012-08-08 青岛海信电器股份有限公司 多屏互动系统、智能终端及多屏互动控制方法
CN102638443A (zh) * 2011-02-15 2012-08-15 中兴通讯股份有限公司 流媒体资源共享的方法、系统及具有dlna功能的设备
CN104661050A (zh) * 2015-02-13 2015-05-27 海信集团有限公司 一种流媒体数据传输方法、装置及系统
US10951890B1 (en) * 2017-05-16 2021-03-16 Parsec Cloud, Inc. Low-latency, peer-to-peer streaming video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102638443A (zh) * 2011-02-15 2012-08-15 中兴通讯股份有限公司 流媒体资源共享的方法、系统及具有dlna功能的设备
CN102368830A (zh) * 2011-11-08 2012-03-07 深圳市同洲电子股份有限公司 订购数字电视节目的方法及系统
CN102630057A (zh) * 2012-04-25 2012-08-08 青岛海信电器股份有限公司 多屏互动系统、智能终端及多屏互动控制方法
CN104661050A (zh) * 2015-02-13 2015-05-27 海信集团有限公司 一种流媒体数据传输方法、装置及系统
US10951890B1 (en) * 2017-05-16 2021-03-16 Parsec Cloud, Inc. Low-latency, peer-to-peer streaming video

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024027768A1 (zh) * 2022-08-04 2024-02-08 京东方科技集团股份有限公司 多屏视频显示方法、系统、播放端及存储介质
CN116170622A (zh) * 2023-02-21 2023-05-26 阿波罗智联(北京)科技有限公司 音视频播放方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
KR102280134B1 (ko) 비디오 재생 방법, 장치 및 시스템
CN109714634B (zh) 一种直播数据流的解码同步方法、装置及设备
CN101917391B (zh) 一种网络视频的播放方法及一种网络视频播放系统
CN105453580B (zh) 接收方法、发送方法、接收装置及发送装置
KR101350754B1 (ko) 채널 변경 시간을 감소시키고 채널 변경 동안 오디오/비디오 콘텐츠를 동기화하는 방법
KR101632019B1 (ko) 무선 디스플레이 시스템에서 싱크 디바이스에서의 맞춤화된 재생
CN102714708B (zh) 用于同步内容播放的方法
US20110229106A1 (en) System for playback of ultra high resolution video using multiple displays
US8931024B2 (en) Receiving apparatus and subtitle processing method
KR102469142B1 (ko) 미디어 스트림 재생들 사이를 트랜지션하는 동안 트랜지션 프레임들의 동적 재생
CN101809965B (zh) 将接收的流与发送至另外装置的流同步的通信技术
KR20170074866A (ko) 수신 장치, 송신 장치, 및 데이터 처리 방법
CN102291599A (zh) 网络视频播放方法及网络视频播放装置
CN113691847A (zh) 一种多屏帧同步的方法和装置
WO2021136369A1 (zh) 一种分布式跨节点视频同步方法及系统
JP2009284282A (ja) コンテンツサーバ、情報処理装置、ネットワーク機器、コンテンツ配信方法、情報処理方法およびコンテンツ配信システム
WO2014144641A1 (en) System and method for replicating a media stream
CN114079813A (zh) 画面同步方法、编码方法、视频播放设备及视频编码设备
CN114286149B (zh) 一种跨设备和系统的音视频同步渲染的方法及系统
CN111246222B (zh) 一种实现pis在录播和垫播状态下多播控音视频同步方法
KR101600891B1 (ko) 복수의 단말기에 출력되는 비디오 및 오디오를 동기화시키는 동기화시스템 및 방법
US20210195256A1 (en) Decoder equipment with two audio links
CN110351576B (zh) 一种在工业场景下进行实时视频流快速显示的方法及其系统
JP2009284283A (ja) コンテンツサーバ、情報処理装置、ネットワーク機器、コンテンツ配信方法、情報処理方法およびコンテンツ配信システム
JP2013009359A (ja) 放送通信連携受信装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211123