CN111107411B - 一种分布式跨节点视频同步方法及系统 - Google Patents

一种分布式跨节点视频同步方法及系统 Download PDF

Info

Publication number
CN111107411B
CN111107411B CN201911396653.5A CN201911396653A CN111107411B CN 111107411 B CN111107411 B CN 111107411B CN 201911396653 A CN201911396653 A CN 201911396653A CN 111107411 B CN111107411 B CN 111107411B
Authority
CN
China
Prior art keywords
cross
frame data
screen window
node
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911396653.5A
Other languages
English (en)
Other versions
CN111107411A (zh
Inventor
张慧祥
董友球
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vtron Group Co Ltd
Original Assignee
Vtron Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vtron Group Co Ltd filed Critical Vtron Group Co Ltd
Priority to CN201911396653.5A priority Critical patent/CN111107411B/zh
Publication of CN111107411A publication Critical patent/CN111107411A/zh
Priority to PCT/CN2020/141369 priority patent/WO2021136369A1/zh
Application granted granted Critical
Publication of CN111107411B publication Critical patent/CN111107411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Abstract

本发明涉及视频同步技术领域，更具体地涉及一种分布式跨节点视频同步方法及系统，包括以下步骤：当视频信号需要进行跨屏窗口显示时，根据所述跨屏窗口对应节点的图像裁剪区域以及所述跨屏窗口对应节点的显示窗口区域，对所述跨屏窗口对应的解码后的帧数据进行裁剪缩放处理，得到裁剪缩放后的帧数据；根据叠加参考时间将多个裁剪缩放后的帧数据进行叠加处理，得到所述跨屏窗口的帧数据；将叠加处理后的所述跨屏窗口的帧数据的时间戳设置为叠加参考时间，并缓存到显示队列中等待显示；根据送显参考时间，采用单线程对所述显示队列中的帧数据进行送显处理。通过本发明一种分布式跨节点视频同步方法及系统可以明显提高跨节点视频同步效果。

Description

一种分布式跨节点视频同步方法及系统
技术领域
本发明涉及视频同步技术领域，更具体地，涉及一种分布式跨节点视频同步方法及系统。
背景技术
分布式系统采用流媒体服务器将视频压缩码流通过网络分发给分布式解码节点，各个解码节点分别将码流解码并输出给显示设备显示，再根据需求将各个解码拼接节点输出的图像拼接呈一个大的画面窗口。所述视频码流需要经过网络传输、解码、降噪、缩放、裁剪、锐化、叠加等预处理后送到输出模块的显存，由输出模块控制输出。但是，现有的分布式系统其发往不同节点的同一视频帧数据在网络传输上消耗的时间及不同节点的负荷均可存在差异，使得不同节点将同一视频帧送到显存的时间点不同，这就造成显示设备输出显示同一视频帧的时间不同，相应的产生视频不同步的问题。
分布式处理器理念为去中心化，任意节点相互独立，而在同一视频信号跨多个节点时，若是简单将每个节点视频信号显示出来，那就会造成每个节点所显示的画面不同步，画面严重撕裂，严重影响观看体验，为解决视频信号跨节点不同步的问题，保证用户体验，需要将视频在跨节点后做同步处理，保证视频信号在多个节点上显示每一帧都是同步显示。
发明内容
本发明旨在克服上述现有技术的至少一种缺陷，提供一种分布式跨节点视频同步方法及系统，可以明显提高跨节点视频同步效果。
本发明采取的技术方案是，
一种分布式跨节点视频同步方法，包括以下步骤：
当视频信号需要进行跨屏窗口显示时，根据所述跨屏窗口对应节点的图像裁剪区域以及所述跨屏窗口对应节点的显示窗口区域，对所述跨屏窗口对应的解码后的帧数据进行裁剪缩放处理，得到裁剪缩放后的帧数据；
根据叠加参考时间将多个裁剪缩放后的帧数据进行叠加处理，得到所述跨屏窗口的帧数据；将叠加处理后的所述跨屏窗口的帧数据的时间戳设置为叠加参考时间，并缓存到显示队列中等待显示；
根据送显参考时间，采用单线程对所述显示队列中的帧数据进行送显处理。
本发明通过分布式跨节点视频同步方法，解决了视频信号跨屏窗口显示不同步的问题，当视频信号需要进行跨屏窗口显示时，首先根据视频信号所跨屏窗口对应节点的图像裁剪区域以及跨屏窗口对应节点的显示区域，对跨屏窗口对应的解码后的帧数据进行裁剪缩放处理，进而得到裁剪缩放后的帧数据；其次启用专门叠加线程，将裁剪缩放后的多个帧数据根据叠加参考时间进行叠加处理，此时多个帧数据按照跨屏窗口对应节点的显示区域在新的缓存中进行叠加，叠加处理后的帧数据即为跨屏窗口的帧数据；然后将跨屏窗口的帧数据的时间戳设置为叠加参考时间，并缓存到叠加后的显示队列中等待显示；最后启动单线程进行送显处理，根据送显参考时间对显示队列中的跨屏窗口的帧数据进行送显处理。本发明通过以上方法步骤，根据视频信号需要进行跨屏窗口显示的对应节点的图像裁剪区域以及跨屏窗口对应节点的显示区域，通过裁剪缩放处理得到跨屏窗口对应的帧数据，并根据跨屏窗口对应节点的显示区域在新的缓存区中进行叠加处理并显示的过程，由于叠加过程和送显过程都利用一个参考时间进行，可以确保跨屏窗口对应的所有节点可以在相同的时刻点进行相同的操作，解决了视频信号跨屏窗口显示时每个节点显示画面不同步的问题，保证跨屏窗口的视频信号在多个节点上显示每一帧都是同步显示的，明显提高跨节点视频同步的效果。
一种分布式跨节点视频同步系统，包括：
裁剪缩放模块，用于当视频信号需要进行跨屏窗口显示时，根据所述跨屏窗口对应节点的图像裁剪区域以及所述跨屏窗口对应节点的显示窗口区域，对所述跨屏窗口对应的解码后的帧数据进行裁剪缩放处理，得到裁剪缩放后的帧数据；
叠加模块，用于根据叠加参考时间将多个裁剪缩放后的帧数据进行叠加处理，得到所述跨屏窗口的帧数据；
设置模块，用于将叠加处理后的所述跨屏窗口的帧数据的时间戳设置为叠加参考时间，并缓存到显示队列中等待显示；
送显模块，用于根据送显参考时间，采用单线程对所述显示队列中的帧数据进行送显处理。
本发明通过分布式跨节点视频同步系统，解决了视频信号跨屏窗口显示不同步的问题，当视频信号需要进行跨屏窗口显示时，首先裁剪缩放模块根据视频信号所跨窗口对应节点的图像裁剪区域以及跨屏窗口对应节点的显示区域，对跨屏窗口对应的解码后的帧数据进行裁剪缩放处理，进而得到裁剪缩放后的帧数据；叠加模块启动专门叠加线程，将裁剪缩放后的多个帧数据根据叠加参考时间进行叠加处理，此时多个帧数据按照跨屏窗口对应节点的显示区域在新的缓存中进行叠加，叠加处理后的帧数据即为跨屏窗口的帧数据；设置模块将跨屏窗口的帧数据的时间戳设置为叠加参考时间，并缓存到叠加后的显示队列中等待显示；送显模块启动单线程进行送显处理，根据送显参考时间对显示队列中的跨屏窗口的帧数据进行送显处理。本发明通过以上系统模块，根据视频信号需要进行跨屏窗口显示的对应节点的图像裁剪区域以及跨屏窗口对应节点的显示区域，通过裁剪缩放模块处理后得到跨屏窗口对应的帧数据，并根据跨屏窗口对应节点的显示区域在新的缓存区中采用叠加模块进行叠加处理，通过设置模块将跨屏窗口的帧数据的时间戳设置为叠加参考时间并等待显示，最后在送显模块中对跨屏窗口的帧数据进行显示，由于叠加过程和送显过程都利用一个参考时间进行，可以确保跨屏窗口对应的所有节点可以在相同的时刻点进行相同的操作，解决了视频信号跨屏窗口显示时每个节点显示画面不同步的问题，保证跨屏窗口的视频信号在多个节点上显示每一帧都是同步显示的，明显提高跨节点视频同步的效果。
与现有技术相比，本发明的有益效果为：本发明一种分布式跨节点视频同步方法及系统，根据视频信号需要进行跨屏窗口显示的对应节点的图像裁剪区域以及跨屏窗口对应节点的显示区域，通过裁剪缩放处理后得到跨屏窗口对应的帧数据，并根据跨屏窗口对应节点的显示区域在新的缓存区中进行叠加处理，将跨屏窗口的帧数据的时间戳设置为叠加参考时间并等待显示，最后对跨屏窗口的帧数据进行显示，由于叠加过程和送显过程都利用一个参考时间进行，可以确保跨屏窗口对应的所有节点可以在相同的时刻点进行相同的操作，解决了视频信号跨屏窗口显示时每个节点显示画面不同步的问题，保证跨屏窗口的视频信号在多个节点上显示每一帧都是同步显示的，明显提高跨节点视频同步的效果。
附图说明
图1为本发明实施例一种分布式跨节点视频同步方法的流程图。
图2为本发明实施例一种分布式跨节点视频同步系统的结构图。
具体实施方式
本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
实施例1
如图1所示，图1为本发明一种分布式跨节点视频同步方法的流程图，所述方法包括以下步骤：
S1、当视频信号需要进行跨屏窗口显示时，根据所述跨屏窗口对应节点的图像裁剪区域以及所述跨屏窗口对应节点的显示窗口区域，对所述跨屏窗口对应的解码后的帧数据进行裁剪缩放处理，得到裁剪缩放后的帧数据；
本发明实施例中，跨屏窗口通常对应至少两个节点，这使得当同一路视频信号需要通过跨屏窗口进行显示时，所述同一路视频信号至少对应两个节点的码流，这需要将至少对应两个节点的码流进行同步，方可在送显时达到同步；因此，需要对分布式跨节点的视频进行同步。
在步骤S1中，当视频信号需要进行跨屏窗口显示时，根据跨屏窗口对应节点的图像裁剪区域以及跨屏窗口对应节点的显示区域，对跨屏窗口对应的解码后的帧数据设置对应的裁剪缩放属性，通过预设的裁剪缩放属性，传入跨屏窗口对应的解码后的图像即可得到所有节点裁剪缩放后的帧数据。
其中，根据图像裁剪区域可以对解码后的帧数据进行裁剪，根据显示区域的分辨率可以对解码后的帧数据进行缩放，从而可以得到跨屏窗口对应的裁剪缩放后的帧数据。
S2、根据叠加参考时间将多个裁剪缩放后的帧数据进行叠加处理，得到所述跨屏窗口的帧数据；
优选地，本发明实施例中所述叠加参考时间为小于或等于对帧数据进行叠加处理时的系统参考时间与预设的第一固定偏移时间相加之和。
优选地，本发明实施例中采用DMA数据拷贝方式对多个裁剪缩放后的帧数据进行叠加处理。
本发明实施例中，可以通过启用专门叠加线程(OverlayTask)将多个裁剪缩放后的帧数据进行叠加处理，具体实施过程如下：首先将小于或等于对帧数据进行叠加处理时的当前系统时间与预设的第一固定偏移时间相加之和定义为叠加参考时间，在固定的时间间隔内，根据叠加参考时间将裁剪缩放处理后的多个帧数据采用DMA数据拷贝方法进行叠加处理，帧数据根据跨屏窗口对应的显示区域在新的对应的缓存中进行叠加，保证视频信号在对应的显示区域位置不变。更具体地说，本发明实施例中对满足叠加参考时间条件内的多个帧数据进行叠加处理，是为了避免在固定时间间隔内各个节点的时间误差偏移导致叠加时所获取的帧数据不一致，进而影响同步效果，另外，本发明实施例中，第一固定偏移时间根据实际情况中视频信号跨屏窗口对应的节点的时间偏移误差确定。
S3、将叠加处理后的所述跨屏窗口的帧数据的时间戳设置为叠加参考时间，并缓存到显示队列中等待显示；
本发明实施例中，将上述叠加处理后得到的跨屏窗口的帧数据的时间戳设置为叠加参考时间，由于上述步骤对叠加参考时间内的帧数据进行叠加处理，导致叠加处理后的帧数据对应各个节点的时间戳不一致，因此将叠加后的帧数据中各个节点的时间戳打上同一叠加参考时间，并缓存到显示队列中等待显示，保证所跨窗口的帧数据对应节点的时刻点一致，也保证了后续的送显处理的同步性。
S4、根据送显参考时间，采用单线程对所述显示队列中的帧数据进行送显处理。
优选地，本发明实施例中所述送显参考时间为小于或等于对帧数据进行送显处理时的系统参考时间与预设的第二固定偏移时间相加之和。
本发明实施例中，启动单独线程对显示队列中的帧数据进行送显处理，具体实施过程如下：首先将小于或等于对帧数据进行送显处理时的系统参考时间与预设的第二固定偏移时间相加之和定义为送显参考时间(DispRefTime)，在固定的时间间隔内，根据送显参考时间将显示队列中的帧数据取出来进行送显处理。更具体地说，本发明实施例中将显示队列中满足送显参考时间条件内的帧数据进行送显处理，在固定的时刻点对跨屏窗口的帧数据对应的节点进行相同的送显操作处理，保证了视频信号跨屏窗口显示时节点同步的效果。
优选地，本发明实施例中所述方法还包括步骤：
S0、采用多解码线程分别对多路视频信号的码流进行一对一的解码处理，得到解码处理后的帧数据。
本发明实施例中，每一路视频信号均有一个解码线程，采用多解码线程同时对多路视频信号进行一对一解码处理，每路视频信号在解码过程中互不干扰，并且将每路视频信号解码后的帧数据采用相对应的队列管理起来，以便进行后续的跨屏窗口的帧数据裁剪缩放、叠加处理和送显处理等。
优选地，本发明实施例中视频信号的码流通过如下方式：同一路视频信号通过组播方式进行传输，根据跨屏窗口对应的节点从组播组中获取对应的码流。
本发明实施例中，接收和发送视频信号的所有节点的方式均采用udp组播方式，具体实施过程是，将同一视频信号所跨窗口显示区域对应的节点加入同一组播组，然后根据跨屏窗口对应的节点从组播组中获取对应的码流，从而保证同一视频信号在各个节点间视频信号数据一致。
优选地，本发明实施例中节点之间采用ntp对时方式进行对时同步。
本发明实施例中，ntp为网络时间协议，本发明实施例中的所有节点之间采用ntp对时方式进行对时同步，具体实施过程为：在每个节点上都启用ntp Server，将系统中的某个节点作为基准节点，系统中的其他节点的ntp client均与基准节点的ntp Server进行udp数据交互，对时处理，从而保证所有节点的时间都是在统一时间轴上运行。
基于上述实施例，本发明一种分布式跨节点视频同步方法，根据视频信号需要进行跨屏窗口显示的对应节点的图像裁剪区域以及跨屏窗口对应节点的显示区域，通过裁剪缩放处理后得到跨屏窗口对应的帧数据，并根据跨屏窗口对应节点的显示区域在新的缓存区中进行叠加处理，将跨屏窗口的帧数据的时间戳设置为叠加参考时间并等待显示，最后对跨屏窗口的帧数据进行显示，本发明实现了每个节点在对应的时刻点进行相同的操作，解决了视频信号跨屏窗口显示时每个节点显示画面不同步的问题，保证跨屏窗口的视频信号在多个节点上显示每一帧都是同步显示的，明显提高跨节点视频同步的效果。
实施例2
如图2所示，图2为本发明一种分布式跨节点视频同步系统的结构图，所述系统包括：
裁剪缩放模块，用于当视频信号需要进行跨屏窗口显示时，根据所述跨屏窗口对应节点的图像裁剪区域以及所述跨屏窗口对应节点的显示窗口区域，对所述跨屏窗口对应的解码后的帧数据进行裁剪缩放处理，得到裁剪缩放后的帧数据；
本发明实施例中，跨屏窗口通常对应至少两个节点，这使得当同一路视频信号需要通过跨屏窗口进行显示时，所述同一路视频信号至少对应两个节点的码流，这需要将至少对应两个节点的码流进行同步，方可在送显时达到同步；因此，需要对分布式跨节点的视频进行同步。
当视频信号需要进行跨屏窗口显示时，裁剪缩放模块根据跨屏窗口对应节点的图像裁剪区域以及跨屏窗口对应节点的显示区域，对跨屏窗口对应的解码后的帧数据设置对应的裁剪缩放属性，通过预设的裁剪缩放属性，传入跨屏窗口对应的解码后的图像即可得到所有节点裁剪缩放后的帧数据。
其中，根据图像裁剪区域可以对解码后的帧数据进行裁剪，根据显示区域的分辨率可以对解码后的帧数据进行缩放，从而可以得到跨屏窗口对应的裁剪缩放后的帧数据。
叠加模块，用于根据叠加参考时间将多个裁剪缩放后的帧数据进行叠加处理，得到所述跨屏窗口的帧数据；
本发明实施例中，叠加模块可以通过启用专门叠加线程(OverlayTask)将多个裁剪缩放后的帧数据进行叠加处理，具体实施过程如下：首先将小于或等于对帧数据进行叠加处理时的当前系统时间与预设的第一固定偏移时间相加之和定义为叠加参考时间，在固定的时间间隔内，叠加模块根据叠加参考时间将裁剪缩放处理后的多个帧数据采用DMA数据拷贝方法进行叠加处理，帧数据根据跨屏窗口对应的显示区域在新的对应的缓存中进行叠加，保证视频信号在对应的显示区域位置不变。更具体地说，本发明实施例中通过叠加模块中对满足叠加参考时间条件内的多个帧数据进行叠加处理，是为了避免在固定时间间隔内各个节点的时间误差偏移导致叠加时所获取的帧数据不一致，进而影响同步效果，另外，本发明实施例中，第一固定偏移时间根据实际情况中视频信号跨屏窗口对应的节点的时间偏移误差确定。
设置模块，用于将叠加处理后的所述跨屏窗口的帧数据的时间戳设置为叠加参考时间，并缓存到显示队列中等待显示；
本发明实施例中，通过设置模块将上述叠加处理后得到的跨屏窗口的帧数据的时间戳设置为叠加参考时间，由于对叠加参考时间内的帧数据进行叠加处理，导致叠加处理后的帧数据对应各个节点的时间戳不一致，因此将叠加后的帧数据中各个节点的时间戳打上同一叠加参考时间，并缓存到显示队列中等待显示，保证所跨窗口的帧数据对应节点的时刻点一致，也保证了后续的送显处理的同步性。
送显模块，用于根据送显参考时间，采用单线程对所述显示队列中的帧数据进行送显处理。
本发明实施例中，送显模块通过启动单独线程对显示队列中的帧数据进行送显处理，具体实施过程如下：首先将小于或等于对帧数据进行送显处理时的系统参考时间与预设的第二固定偏移时间相加之和定义为送显参考时间(DispRefTime)，在固定的时间间隔内，根据送显参考时间将显示队列中的帧数据取出来进行送显处理。更具体地说，本发明实施例中将显示队列中满足送显参考时间条件内的帧数据进行送显处理，在固定的时刻点对跨屏窗口的帧数据对应的节点进行相同的送显操作处理，保证了视频信号跨屏窗口显示时节点同步的效果。
优选地，本发明实施例中还包括：解码模块，用于采用多解码线程分别对多路视频信号的码流进行一对一的解码处理，得到解码处理后的帧数据。
本发明实施例中，每一路视频信号均有一个解码线程，解码模块通过采用多解码线程同时对多路视频信号进行一对一解码处理，每路视频信号在解码过程中互不干扰，并且将每路视频信号解码后的帧数据采用相对应的队列管理起来，以便进行后续的跨屏窗口的帧数据裁剪缩放、叠加处理和送显处理等。
优选地，本发明实施例中所述系统还包括：
码流获取模块，用于根据跨屏窗口对应的节点从组播组中获取对应的码流，所述组播组是同一路视频信号通过组播方式进行传输所形成。
本发明实施例中，接收和发送视频信号的所有节点的方式均采用udp组播方式，具体实施过程是，将同一视频信号所跨窗口显示区域对应的节点加入同一组播组，然后根据跨屏窗口对应的节点从组播组中获取对应的码流，从而保证同一视频信号在各个节点间视频信号数据一致。
优选地，本发明实施例中节点之间采用ntp对时方式进行对时同步。
本发明实施例中，ntp为网络时间协议，本发明实施例中的所有节点之间采用ntp对时方式进行对时同步，具体实施过程为：在每个节点上都启用ntp Server，将系统中的某个节点作为基准节点，系统中的其他节点的ntp client均与基准节点的ntp Server进行udp数据交互，对时处理，从而保证所有节点的时间都是在统一时间轴上运行。
基于上述实施例，本发明一种分布式跨节点视频同步系统，(加上模块来描述)裁剪缩放模块根据视频信号需要进行跨屏窗口显示的对应节点的图像裁剪区域以及跨屏窗口对应节点的显示区域，进行裁剪缩放处理后得到跨屏窗口对应的帧数据，叠加处理根据跨屏窗口对应节点的显示区域在新的缓存区中进行叠加处理，设置模块将跨屏窗口的帧数据的时间戳设置为叠加参考时间并等待显示，最后通过送显模块对跨屏窗口的帧数据进行显示，本发明实现了每个节点在对应的时刻点进行相同的操作，解决了视频信号跨屏窗口显示时每个节点显示画面不同步的问题，保证跨屏窗口的视频信号在多个节点上显示每一帧都是同步显示的，明显提高跨节点视频同步的效果。
显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种分布式跨节点视频同步方法，其特征在于，包括以下步骤：
当视频信号需要进行跨屏窗口显示时，根据所述跨屏窗口对应节点的图像裁剪区域以及所述跨屏窗口对应节点的显示窗口区域，对所述跨屏窗口对应的解码后的帧数据进行裁剪缩放处理，得到裁剪缩放后的帧数据；
根据叠加参考时间将多个裁剪缩放后的帧数据进行叠加处理，得到所述跨屏窗口的帧数据，帧数据根据跨屏窗口对应的显示区域在新的对应的缓存中进行叠加，保证视频信号在对应的显示区域位置不变；
将叠加处理后的所述跨屏窗口的帧数据的时间戳设置为叠加参考时间，并缓存到显示队列中等待显示；
根据送显参考时间，采用单线程对所述显示队列中的帧数据进行送显处理，在固定的时刻点对跨屏窗口的帧数据对应的节点进行相同的送显处理，保证了视频信号跨屏窗口显示时节点同步的效果。
2.根据权利要求1所述的一种分布式跨节点视频同步方法，其特征在于，所述方法还包括：采用多解码线程分别对多路视频信号的码流进行一对一的解码处理，得到解码处理后的帧数据。
3.根据权利要求1所述的一种分布式跨节点视频同步方法，其特征在于，所述叠加参考时间为小于或等于对帧数据进行叠加处理时的系统参考时间与预设的第一固定偏移时间相加之和。
4.根据权利要求1所述的一种分布式跨节点视频同步方法，其特征在于，所述送显参考时间为小于或等于对帧数据进行送显处理时的系统参考时间与预设的第二固定偏移时间相加之和。
5.根据权利要求1所述的一种分布式跨节点视频同步方法，其特征在于，采用DMA数据拷贝方式对多个裁剪缩放后的帧数据进行叠加处理。
6.根据权利要求1所述的一种分布式跨节点视频同步方法，其特征在于，视频信号的码流通过如下方式：
同一路视频信号通过组播方式进行传输，根据跨屏窗口对应的节点从组播组中获取对应的码流。
7.根据权利要求1所述的一种分布式跨节点视频同步方法，其特征在于，节点之间采用ntp对时方式进行对时同步。
8.一种分布式跨节点视频同步系统，其特征在于，包括：
裁剪缩放模块，用于当视频信号需要进行跨屏窗口显示时，根据所述跨屏窗口对应节点的图像裁剪区域以及所述跨屏窗口对应节点的显示窗口区域，对所述跨屏窗口对应的解码后的帧数据进行裁剪缩放处理，得到裁剪缩放后的帧数据；
叠加模块，用于根据叠加参考时间将多个裁剪缩放后的帧数据进行叠加处理，得到所述跨屏窗口的帧数据，帧数据根据跨屏窗口对应的显示区域在新的对应的缓存中进行叠加，保证视频信号在对应的显示区域位置不变；
设置模块，用于将叠加处理后的所述跨屏窗口的帧数据的时间戳设置为叠加参考时间，并缓存到显示队列中等待显示；
送显模块，用于根据送显参考时间，采用单线程对所述显示队列中的帧数据进行送显处理，在固定的时刻点对跨屏窗口的帧数据对应的节点进行相同的送显处理，保证了视频信号跨屏窗口显示时节点同步的效果。
9.根据权利要求8所述的一种分布式跨节点视频同步系统，其特征在于，还包括：
解码模块，用于采用多解码线程分别对多路视频信号的码流进行一对一的解码处理，得到解码处理后的帧数据。
10.根据权利要求8所述的一种分布式跨节点视频同步系统，其特征在于，所述系统还包括：码流获取模块，用于根据跨屏窗口对应的节点从组播组中获取对应的码流，所述组播组是同一路视频信号通过组播方式进行传输所形成的。
CN201911396653.5A 2019-12-30 2019-12-30 一种分布式跨节点视频同步方法及系统 Active CN111107411B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911396653.5A CN111107411B (zh) 2019-12-30 2019-12-30 一种分布式跨节点视频同步方法及系统
PCT/CN2020/141369 WO2021136369A1 (zh) 2019-12-30 2020-12-30 一种分布式跨节点视频同步方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911396653.5A CN111107411B (zh) 2019-12-30 2019-12-30 一种分布式跨节点视频同步方法及系统

Publications (2)

Publication Number Publication Date
CN111107411A CN111107411A (zh) 2020-05-05
CN111107411B true CN111107411B (zh) 2022-03-18

Family

ID=70425103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911396653.5A Active CN111107411B (zh) 2019-12-30 2019-12-30 一种分布式跨节点视频同步方法及系统

Country Status (2)

Country Link
CN (1) CN111107411B (zh)
WO (1) WO2021136369A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111107411B (zh) * 2019-12-30 2022-03-18 威创集团股份有限公司 一种分布式跨节点视频同步方法及系统
CN112181571A (zh) * 2020-09-28 2021-01-05 北京字节跳动网络技术有限公司 浮窗显示方法、装置、终端及存储介质
CN112561929B (zh) * 2020-12-09 2022-10-25 威创集团股份有限公司 拼接屏裁剪缩放方法、设备及其一种电子设备、存储介质
CN112887731B (zh) * 2021-01-22 2023-05-26 北京淳中科技股份有限公司 压缩码流取流方法、装置、电子设备及存储介质
CN113052749B (zh) * 2021-03-02 2023-04-07 长沙景嘉微电子股份有限公司 视频显示方法及图形处理器
CN116886940B (zh) * 2023-09-07 2023-12-01 园测信息科技股份有限公司 多路视频推理并发预处理加速方法、系统、介质和设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881981A (zh) * 2017-05-08 2018-11-23 Tcl新技术（惠州）有限公司 一种跨屏显示方法、存储设备及电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090282444A1 (en) * 2001-12-04 2009-11-12 Vixs Systems, Inc. System and method for managing the presentation of video
CN101807389B (zh) * 2010-03-19 2011-11-23 上海博康智能网络科技有限公司 大屏拼接方法及系统
CN104375789B (zh) * 2013-08-14 2018-03-23 杭州海康威视数字技术股份有限公司 拼接屏的同步显示方法及系统
CN103795979B (zh) * 2014-01-23 2017-04-19 浙江宇视科技有限公司 一种分布式图像拼接同步的方法和装置
CN106454154A (zh) * 2016-11-24 2017-02-22 Tcl数码科技（深圳）有限责任公司 一种电视墙拼接方法及系统
CN106791488B (zh) * 2016-12-28 2021-01-29 浙江宇视科技有限公司 一种同步拼接显示方法及装置
CN108259783B (zh) * 2016-12-29 2020-07-24 杭州海康威视数字技术股份有限公司 一种数字矩阵同步输出控制方法、装置及电子设备
CN108881955A (zh) * 2017-05-08 2018-11-23 Tcl新技术（惠州）有限公司 一种实现分布式节点设备视频同步输出的方法及系统
CN108737689A (zh) * 2018-04-27 2018-11-02 浙江大华技术股份有限公司 一种视频的拼接显示方法及显示控制设备
CN111107411B (zh) * 2019-12-30 2022-03-18 威创集团股份有限公司 一种分布式跨节点视频同步方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881981A (zh) * 2017-05-08 2018-11-23 Tcl新技术（惠州）有限公司 一种跨屏显示方法、存储设备及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
分布式网络视频显示同步时钟的设计与实现;林赞;《中国优秀硕士学位论文全文数据库信息科技辑》;20160415;全文 *

Also Published As

Publication number Publication date
WO2021136369A1 (zh) 2021-07-08
CN111107411A (zh) 2020-05-05

Similar Documents

Publication Publication Date Title
CN111107411B (zh) 一种分布式跨节点视频同步方法及系统
CN106375793B (zh) 一种视频结构化信息的叠加方法、用户终端及叠加系统
CN104918137A (zh) 一种拼接屏系统播放视频的方法
US8760579B2 (en) Video display apparatus, video display system and video display method
CN101964915A (zh) 接收设备、通信系统、组合字幕与立体图像的方法及节目
CN111108470B (zh) 分布式拼接系统整墙回显方法、装置及计算机设备
CN111050025B (zh) 音视频显控方法、装置、系统及计算机可读存储介质
CN106412633A (zh) 分布式多画面拼控器屏幕映射方法及显示时钟同步控制方法及系统
WO2019233314A1 (zh) 一种电视墙图像回显方法、服务器件及电视墙系统
CN109756744B (zh) 数据处理方法、电子设备及计算机存储介质
CN113055712A (zh) 一种多屏拼接显示方法和系统
CN111355861A (zh) 一种多屏视频同步拼接装置和方法
CN108769600B (zh) 一种基于视频流调帧率的桌面共享系统及其桌面共享方法
CN112243105A (zh) 分布式拼接显示系统、方法、装置及电子设备
CN104602095A (zh) 一种组合桌面采集与同步显示方法及系统
CN114125526B (zh) 一种屏幕镜像方法及装置
CN116389811A (zh) 一种分布式视频图像拼接的同步控制方法及系统
WO2017080191A1 (zh) 基于多屏互动的图片处理方法及系统
JP3961693B2 (ja) 映像表示装置
CN114449344B (zh) 视频流传输方法、装置、电子设备及存储介质
CN110677600B (zh) 超宽画面的多组显示方法和系统、点播设备和点播系统
CN114173156A (zh) 视频传输方法、电子设备和存储介质
KR101700821B1 (ko) 스케일러블 원격화면 전송방법 및 그 장치
JPH11275484A (ja) 画像表示装置及び方法、並びに、画像送信装置及び方法
CN112749044B (zh) 多通道渲染系统的热备份方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant