CN113438385B - 一种视频同步方法及无线图像传输系统 - Google Patents

一种视频同步方法及无线图像传输系统 Download PDF

Info

Publication number
CN113438385B
CN113438385B CN202110620223.8A CN202110620223A CN113438385B CN 113438385 B CN113438385 B CN 113438385B CN 202110620223 A CN202110620223 A CN 202110620223A CN 113438385 B CN113438385 B CN 113438385B
Authority
CN
China
Prior art keywords
video
frame
transmitter
receiver
system clock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110620223.8A
Other languages
English (en)
Other versions
CN113438385A (zh
Inventor
周强
刘德志
马强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hollyland Technology Co Ltd
Original Assignee
Shenzhen Hollyland Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hollyland Technology Co Ltd filed Critical Shenzhen Hollyland Technology Co Ltd
Priority to CN202110620223.8A priority Critical patent/CN113438385B/zh
Publication of CN113438385A publication Critical patent/CN113438385A/zh
Application granted granted Critical
Publication of CN113438385B publication Critical patent/CN113438385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/06Generation of synchronising signals
    • H04N5/067Arrangements or circuits at the transmitter end
    • H04N5/0675Arrangements or circuits at the transmitter end for mixing the synchronising signals with the picture signal or mutually
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本申请提供一种视频同步方法以及无线图像传输系统,方法包括:接收器按预设周期给各个发射器发送信标beacon帧;beacon帧携带有接收器的系统时钟;发射器在接收到beacon帧数据后,根据解析出的系统时钟,同步自身的系统时钟;发射器将采集的视频帧的显示时间戳PTS设置为当前自身的系统时钟。本申请提供的方法,是各个发射器之间的系统时钟得以同步,从而能够实现各路视频视频帧播放的同步。

Description

一种视频同步方法及无线图像传输系统
技术领域
本申请涉及视频传输技术领域,尤其涉及一种视频同步方法以及无线图像传输系统。
背景技术
无线图像传输系统,通常包括一个发射器与一个接收器。发射器具有用于连接拍摄设备的端口,而接收器具有用于连接显示设备的端口。发射器与接收器之间通过无线网络进行数据传输。
在系统工作时,拍摄设备将拍摄的视频数据传输给发射器,发射器通过无线网络将视频数据发送给接收器,接收器再将视频数据输出给显示设备,从而实现视频图像的无线传输。
发明内容
为克服相关技术中存在的问题,本申请提供了一种视频同步方法以及无线图像传输系统。
根据本申请实施例的第一方面,提供一种视频同步方法,应用于无线图像传输系统;
所述无线图像传输系统包括:至少两个发射器与一个接收器;所述发射器与所述接收器无线连接;所述接收器用于将接收到的各个所述发射器采集的视频数据分别进行解码后输出;
所述方法包括:
所述接收器按预设周期给各个所述发射器发送信标beacon帧;所述beacon帧携带有所述接收器的系统时钟;
所述发射器在接收到所述beacon帧后,根据解析出的所述系统时钟,同步自身的系统时钟;
所述发射器将采集的视频帧的显示时间戳PTS设置为当前自身的系统时钟。
作为一种可选的实施方式,所述beacon帧在数据链路层中被确定为下一个进入物理层的数据时,被写入所述接收器的系统时钟。
作为一种可选的实施方式,所述方法还包括:
所述接收器在接收到各个所述发射器发送的视频数据后,在一指定发射器对应的视频数据中确定基准帧,所述基准帧为待播放的下一个视频帧;针对其他的各个发射器,确定其所对应的视频数据的当前播放的目标视频帧是否与所述基准帧在时序上对应,若是,确定所述目标视频帧为待播放的下一个视频帧。
作为一种可选的实施方式,所述确定所述发射器对应的视频数据的当前播放的目标视频帧是否与所述基准帧在时序上对应,包括:
根据解析出的所述目标视频帧对应的时序标识与所述基准帧对应的时序标识,确定所述目标视频帧是否与所述基准帧在时序上对应。
作为一种可选的实施方式,所述时序标识为视频帧在画面组GOP中的序号或PTS。
作为一种可选的实施方式,针对其他的各个发射器,在确定其所对应的视频数据的待播放的下一个视频帧之后,所述方法还包括:
若确定的所述待播放的下一个视频帧与所述基准帧的时序差距值大于第一预设值,对所述视频数据进行丢帧处理。
作为一种可选的实施方式,所述对所述视频数据进行丢帧处理,包括:
确定丢帧数;所述丢帧数为所述时序差距值与所述第一预设值的差值;
根据确定的丢帧数,丢弃接收到的在GOP中时序最后的一个或多个视频帧。
作为一种可选的实施方式,在所述发射器同步自身的系统时钟之前,所述方法还包括:
确定自身的系统时钟与解析出的系统时钟的差值是否大于等于第二预设值。
作为一种可选的实施方式,所述预设周期为10ms。
根据本申请实施例的第二方面,提供一种无线图像传输系统,包括:
至少两个发射器与一个接收器;
所述发射器与所述接收器无线连接;
所述发射器用于,采集视频数据,并编码后发送给所述接收器;
所述接收器用于,将接收到的各个所述发射器发送的视频数据分别进行解码后输出;
以及,所述接收器还用于,按预设周期给各个所述发射器发送信标beacon帧;所述beacon帧携带有所述接收器的系统时钟;
所述发射器还用于,在接收到所述beacon帧后,根据解析出的所述系统时钟,同步自身的系统时钟;将采集的视频帧的显示时间戳PTS设置为当前自身的系统时钟。
本申请的实施例提供的技术方案可以包括以下有益效果:
本申请实施例提供的视频同步方法,应用于一种新的无线图像传输系统,该无线图像传输系统包括至少两个发射器与接收器,每个发射器均与接收器无线连接。接收器用于将接收到的各个发射器采集的视频数据分别进行解码后输出。
该方法中,接收器按照预设周期给各个发射器发送beacon帧。而由于beacon帧中携带有接收器的系统时钟,因此发射器可以在接收到beacon帧后,解析出的其中接收器的系统时钟,并根据接收器的系统时钟来同步自身的系统时钟。如此,各个发射器的系统时钟都同步为接收器的系统时钟,换言之,即各个发射器之间的系统时钟已经同步。
在接下来的视频帧传输流程中,发射器将其采集的视频帧的显示时间戳PTS设置为其自身的系统时钟,并将视频帧发送给接收器。接收器接收到视频帧后,对于每一路视频(一路视频对应一发射器发送的视频数据,在后文中使用的“一路视频”或相类似的表述,应当作与此处相同的理解),均按照视频帧的PTS播放,由于视频帧的PTS对应的系统时钟已经统一,因此每一路视频播放的视频帧是同步的。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本申请的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请根据一示例性实施例示出的一种无线图像传输系统的应用场景示意图。
图2为本申请根据一示例性实施例示出的一种视频同步方法的流程图。
图3为本申请根据一示例性实施例示出的另一种视频同步方法的流程图。
图4为本申请根据一示例性实施例示出的一种无线图像传输系统的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请提供一种新的无线图像传输系统。可以参见图1,图1为本申请根据一示例性实施例示出的一种无线图像传输系统的应用场景示意图。
本申请提供的无线图像传输系统,包括至少两个发射器1与一个接收器2,发射器1与接收器2之间通过无线网络建立连接。在图1所示的系统中,包括有三个发射器1与一个接收器2。每个发射器1可以连接一个拍摄设备,而接收器2具有多路输出,每路输出可以连接一个显示设备。
需要说明的是,上述无线图像传输系统,接收器2在具体实现时,可以在其中设置至少两个图像解码芯片,使每个图像解码芯片对应一个发射器,每个图像解码芯片用于对一个发射器1发送的视频数据进行解码。另一方面,在无线网络技术的选择上,可以选择基于IEEE 802.11的Wi-Fi技术。在接收器2与至少两个发射器1建立无线连接时,接收器2可以工作在AP模式,发射器1可以工作在STA模式。
此外,接收器在接收到各个发射器发送的视频数据时,需要将各个发射器发送的视频数据区分开。在实现方式上,可以使发射器在对视频数据编码时,在视频帧的指定位置写入该发射器的标识。如此,接收器在接收到视频数据后,可以通过解析视频帧指定位置的数据得到发射器的标识,从而确定该视频帧来自于哪个发射器,将不同发射器发送的视频数据区分开,分别进行解码。在一种实施中,该标识可以是发射器的IP地址。
在系统工作时,接收器2可以接收到各路视频的视频数据,即接收到各个发射器1发送的视频数据,将接收到的各路视频的视频数据分别进行解码,然后输出给对应的显示设备进行播放。
在上述基础上,由于不同的显示设备显示的视频图像源于不同发射器发射的视频数据,而不同发射器发射的视频数据之间相互独立,因此各路视频播放的视频帧很可能不同步。
可能导致各路视频播放的视频帧不同步的原因有多种。但要实现视频帧播放的同步,首先需要同步各个发射器之间的系统时钟。
为此,本申请提供了一种视频同步方法,应用于上述的“多发一收”(至少两个发射器与一个接收器)的无线图像传输系统。可以参见图2,图2为本申请根据一示例性实施例示出的一种视频同步方法的流程图。本申请提供的视频同步方法包括:
步骤201、接收器按预设周期给各个发射器发送信标beacon帧。
步骤202、发射器在接收到beacon帧后,根据解析出的系统时钟,同步自身的系统时钟。
步骤203、发射器将采集的视频帧的显示时间戳PTS设置为当前自身的系统时钟。
需要说明的是,视频帧的PTS用于表征该视频帧播放的时序。通常而言,发射器在采集到拍摄设备传输的视频数据后,在编码过程中,会将视频帧的PTS设置为当前自身的系统时钟。而接收器在接收到该视频帧后,可以根据PTS播放视频帧。
而在各个发射器之间的系统时钟不同步时,容易理解的是,视频帧的播放也难以同步。比如,在一个例子中,同一时间,发射器A采集到一个视频帧a,发射器B采集到另一个视频帧b。这两个视频帧a和b本应该被同步播放,但由于发射器A的系统时钟落后于发射器B的系统时钟,则视频帧a的PTS对应的时序将落后于视频帧b的PTS对应的时序,则接收器在根据PTS播放视频帧时,视频帧a的画面将落后视频帧b的画面,两者不是同步的。
上述的步骤201~步骤203实现了各个发射器间系统时钟的同步。
在步骤201中,接收器可以周期性的发送beacon帧。该beacon帧携带了接收器的系统时钟。
需要说明的是,在无线局域网标准IEEE 802.11中,beacon帧作为一个周期性发送的帧数据,其通常用于广播服务集标识SSID。比如在Wi-Fi技术中,beacon帧通常用于传输SSID与密码。但在本申请提供的方法中,beacon帧被用于携带系统时钟,进行系统时钟同步的工作,使得系统时钟的周期性同步的实现被大大简化,降低了实现的工作量。
而为了使beacon帧携带系统时钟,具体的,可以通过改动通信协议中关于beacon帧的数据结构,在beacon帧的数据结构中设置一个指定位置专门用于存放系统时钟对应的数据。如此,接收器可以将系统时钟可以写入该指定位置。发射器也可以从该指定位置中解析出系统时钟。
进一步的,由于数据的发送并不是即刻进行的,一个数据从数据链路层进入物理层之前,可能需要在数据链路层的待发送数据队列中等待。而为了使发射器能够得到最新、最及时的系统时钟,在一种可选的实施方式中,可以尽可能在beacon帧发送的前一刻再写入系统时钟,具体的,即可以在beacon帧被确定为下一个进入物理层的数据时,再写入系统时钟。
可以理解的是,系统时钟并不需要完全的相同才认为是同步。若发射器自身的系统时钟与接收器的系统时钟相差甚小,则仍然可以认为发射器与接收器的系统时钟是同步的。比如,在一种实施中,可以预先设定一个值,如第二预设值,当发射器接收到beacon帧,解析出其中接收器的系统时钟后,可以计算自身的系统时钟与解析出的系统时钟的差值。若计算出的差值大于或等于该第二预设值,再根据解析出的系统时钟,同步自身的系统时钟,但若差值小于第二预设值,则可以不同步系统时钟。
另一方面,在Wi-Fi技术中,beacon帧的发送周期通常是100ms,即每100ms发送一次beacon帧。而在本申请提供的方法中,由于beacon帧与系统时钟的同步挂钩,而100ms一次的系统时钟同步频率并不能满足无线图像传输系统的同步精度,因此,在一种可行的实施中,可以将beacon帧的发送周期设置为10ms。
通过上述方法,可以将各个发射器的系统时钟都同步为接收器的系统时钟,使得各个发射器之间的系统时钟得到了同步。那么,在接下来的视频帧传输流程中,发射器将其采集的视频帧的显示时间戳PTS设置为其自身的系统时钟,并将视频帧发送给接收器。接收器接收到视频帧后,对于每一路视频,均按照视频帧的PTS播放,由于视频帧的PTS对应的系统时钟已经统一,因此每一路视频播放的视频帧是同步的。
但即便发射器之间的系统时钟实现了同步,但若出现某个发射器与接收器之间的无线网络信号较差,也可能无法实现视频帧播放的同步。比如,一种可能出现的情况是,一些发射器的无线网络信号良好,而一些发射器的无线网络信号较差。如此,对于接收器而言,其接收视频帧时,某一些路的视频帧可以实时接收到,而某一些路的视频帧则可能延迟接收到,使得视频帧的解码播放也难以按视频帧的PTS进行,各路视频的视频帧播放将不能保持同步。
针对上述问题,本申请在上述系统时钟同步的方案的基础上进一步的改进。可以参见图3,图3为本申请根据一示例性实施例示出的另一种视频同步方法的流程图。在该方法中,除了包括上述与步骤201~步骤203对应的步骤之外,还包括以下步骤。以下步骤的执行主体为无线图像传输系统的接收器。
步骤304、在接收到各个发射器发送的视频数据后,在一指定发射器对应的视频数据中确定基准帧。
步骤305、针对其他的各个发射器,确定其所对应的视频数据的当前播放的目标视频帧是否与基准帧在时序上对应,若是,确定该目标视频帧为待播放的下一个视频帧;若否,确定时序上的下一个视频帧为待播放的下一个视频帧。
为方便理解,下面举一个具体的例子。
比如,无线图像传输系统包括两个发射器(发射器A与发射器B)与一个接收器。可以将发射器A对应的视频数据称为A路视频,将发射器B对应的视频数据称为B路视频。
通常,在无线网络状况良好的情况下,接收器接收到的A路视频的视频帧与B路视频的视频帧是一一对应的。
比如,第一时刻,接收器在接收到A路视频的第一个视频帧时,也将同时接收到B路视频的第一个视频帧;第二时刻,接收器在接收到A路视频的第二个视频帧时,也将同时接收到B路视频的第二个视频帧。此时A路视频与B路视频播放的视频帧也是同步的。
但若在第三时刻,A路视频的无线网络信号减弱,视频帧的传输受到阻断,则在第三时刻,接收器并没有接收到A路视频的第三个视频帧,此时,对于A路视频而言,其只能继续播放第二个视频帧。而同在第三时刻,由于B路视频的无线网络正常,因此接收器可以顺利的接收到B路视频的第三个视频帧,B路视频将播放第三个视频帧。如此,则出现了视频帧播放不同步的现象。如下表1所示,表中用阿拉伯数字X表示第X个视频帧。X为自然数。
表1
Figure BDA0003099553040000091
为解决上述问题,本申请提供的方法使接收器在接收到视频帧后,再次进行了视频帧的同步。具体的,首先,可以预先指定任意的一路视频作为同步的基准,比如上述例子中,可以指定A路视频作为基准。
接下来,在每一个应该接收到帧的时刻(即前述的第一时刻、第二时刻……),确定作为基准路的视频的基准帧,基准帧为待播放的下一个视频帧。对应上述例子,比如在第三时刻,确定A路视频的基准帧,即待播放的下一个视频帧。可以理解,由于A路视频的无线网络在第三时刻出现了卡顿,因此接收器并不能接收到A路视频的第三个视频帧,其只能继续播放第二个视频帧,则可以确定基准帧为第二个视频帧。
在确定基准帧后,可以针对其他路的视频,确定该路视频当前播放的目标视频帧是否与基准帧在时序上对应,若对应,则确定该目标视频帧为待播放的下一个视频帧。继续对应上述例子,对于非基准路的B路视频,虽然接收器顺利接收到B路视频的第三个视频帧,但B路视频当前播放的视频帧仍是第二个视频帧,即目标视频帧为第二个视频帧。通过比对,可以确定该目标视频帧与基准帧(A路视频的第二个视频帧)是在时序上对应的,因此,将该目标视频帧确定为待播放的下一个视频帧。如下表2所示。
表2
Figure BDA0003099553040000101
换言之,在上述例子中,B路视频虽然接收到了第三个视频帧,但为了与A路视频同步,其在下一个帧的播放时间内,仍然是播放其第二个视频帧,使得A路视频与B路视频仍然保持同步播放。
当然,针对其他路的视频,若确定该路视频当前播放的目标视频帧与确定的基准帧在时序上不对应,则与普通情况相同处理,即播放时序上的下一个视频帧。容易理解,若时序上的下一个视频帧没有接收到,则该路视频仍然继续播放当前的视频帧。
为方便理解,下面再提供一个例子。
比如,与上述的例子相同,同样有A路视频与B路视频,A路视频被选定为基准路。不同的是,在第三时刻,A路视频的无线网络正常,B路视频的无线网络卡顿,即接收器在第三时刻正常接收到A路视频的第三个视频帧,但没有接收到B路视频的第三个视频帧。如此,确定的基准帧为A路视频的第三个视频帧;确定B路视频当前播放的目标视频帧是第二个视频帧,即目标视频帧与基准帧在时序上不对应,如此,则与普通情况相同处理,应当播放时序上的下一个视频帧(即第三个视频帧),但在本例子中,由于第三个视频帧还未接收到,因此仍然确定待播放的下一个视频帧是当前播放的第二个视频帧,即在下一个帧的播放时间内,B路视频仍然播放其第二个视频帧。
在第四时刻,A路视频的无线网络正常,B路视频的无线网络也恢复正常,则接收器在第四时刻正常接收到A路视频的第四个视频帧,一次性接收到B路视频的第三个视频帧与第四个视频帧。如此,确定的基准帧为A路视频的第四个视频帧;确定B路视频当前播放的目标视频帧是第二个视频帧,即目标视频帧与基准帧在时序上不对应,如此,则按照普通情况处理,确定待播放的下一个视频帧是时序上的下一个视频帧(即第三个视频帧),即在下一个帧的播放时间内,B路视频播放第三个视频帧(由于需要遵循前向时间预测,因此不能播放第四个视频帧。关于前向时间预测,可以参见后文说明)。如下表3所示。
表3
Figure BDA0003099553040000111
确定一个视频帧的时序,可以有多种实现方式。本申请提供一种较为容易实现的方式,可以在视频帧中设置时序标识,通过解析视频帧的时序标识确定该视频帧的时序。具体的,时序标识可以存储在一个视频帧的指定位置,比如可以在视频帧的头部写入时序标识,在需要确定视频帧的时序时,只需要解析视频帧头部的数据即可获得时序标识,从而确定视频帧的时序。
时序标识的表现形式也有多种。在一种实施中,时序标识可以为视频帧在GOP中的序号。比如,一个GOP若包含10个视频帧,则这10个视频帧的时序标识可以为0、1、2、3、4、5、6、7、8、9。在另一种实施中,时序标识可以为PTS,PTS本身与系统时钟相关联,因此其可以反映时序上的顺序。当然,时序标识也可以同时包含GOP序号与PTS两种信息。
在上述例子中,可以发现,若作为基准的那一路视频的无线网络出现了卡顿,其他路的视频可以通过重复播放当前视频帧,形象的说,即通过“等待”来保持与基准的那一路视频的同步。但对于非基准的其他路的视频,若其无线网络出现了卡顿,则基准路是不会“等待”的,基准路将直接播放时序上的下一个视频帧,如此,各路视频的视频帧播放仍然不同步。
为解决非基准的其他路视频的无线网络出现卡顿导致的视频帧播放不同步的问题,本申请提供一种优选的实施方式。在该实施方式中,对于该其他路视频,可以进行丢帧处理,通过丢帧来“弥补”落后基准路视频的帧数。
为方便理解,下面提供一个例子。
可以继续延用上述例子,即第四时刻,A路视频播放的是第四个视频帧,B路视频播放的是第三个视频帧。假设第五时刻与第六时刻,B路视频的无线网络都出现了卡顿,而A路视频的无线网络正常。那么,第五时刻,可以确定,B路视频待播放的下一个视频帧是第四个视频帧(因为第四时刻接收到了该第四个视频帧,该第四个视频帧在帧缓存中),A路视频待播放的下一个视频帧是第五个视频帧。第六时刻,B路视频待播放的下一个视频帧仍然是第四个视频帧,A路视频待播放的下一个视频帧是第六个视频帧。
第七时刻,若B路视频的无线网络恢复了,则在第七时刻,接收器一次性接收到B路视频的第五个视频帧、第六个视频帧、第七个视频帧,A路视频的无线网络仍然正常,因此接收器正常接收到A路视频的第七个视频帧。此时,可以确定,B路视频待播放的下一个视频帧是第五个视频帧,A路视频待播放的下一个视频帧是第七个视频帧。如下表4所示。
表4
Figure BDA0003099553040000121
Figure BDA0003099553040000131
在上述情况中,可以发现,B路视频待播放的下一个视频帧与A路视频待播放的下一个视频帧(即基准帧)在时序上差距更大了。若大到一定程度,则可以认为已经B路视频与A路视频已经不能同步播放。具体实施时,可以设定一个第一个预设值,若非基准路确定出的待播放的下一个视频帧与基准帧的时序差距值大于第一预设值,则确定对该非基准路的视频数据进行丢帧处理。
比如,在上述例子中,若第一预设值设定为1,时序差距值=2>第一预设值=1,则可以确定需要对B路视频的视频数据进行丢帧处理。
可以理解的是,第一预设值的大小表征对同步的定义,比如,上述例子中,第一预设值设定为1,即认为非基准路与基准路播放的视频帧的时序差距在1个单位内属于同步;若认为视频帧的播放即便在时序上相差3个单位也属于同步,则可以将第一预设值设定为3。
在确定对某一非基准路的视频数据进行丢帧处理后,首先需要确定丢帧数。在一种实施方式中,丢帧数可以通过上述的时序差距值与第一预设值的作差计算得到,如此,在丢弃与该丢帧数对应的帧数后,非基准路与基准路的视频帧播放可以同步到时序差距值等于第一预设值。当然,在另一种实施方式中,丢帧数也可以直接确定为时序差距值,即期望通过丢帧使非基准路与基准路的视频帧播放同步到时序差距值为0。
在确定丢帧数后,需要确定具体丢哪些帧。由于不同的视频帧的编码处理方式不同,对于I帧而言,其采用帧内编码的方式,因此其可以单独解码出完整的图像,而对于P帧或者B帧而言,其采用帧间编码的方式,需要依赖其他帧才可以解码出图像。因此在选择要丢弃的帧时,一种较为优选的实施方式是选择在GOP中时序最后的一个或多个视频帧进行丢弃。
需要说明的是,一个画面组GOP(Group of pictures),即两个I帧之间的距离,两个I帧之间的形成的一组图片为一个GOP。由于除了I帧以外的视频帧,通常都是遵循前向时间预测,即该视频帧的解码播放依赖于前一个视频帧,因此,对于非I帧而言,视频帧的播放通常只能按时序进行,不能有跳跃。比如在前文的一个例子中,B路视频在第四时刻一次性接收到第三个视频帧与第四个视频帧,虽然第四个视频帧与基准帧更为同步,但其只能播放时序上的下一个视频帧,即第三个视频帧,因为第四个视频帧的解码播放有赖于该第三个视频帧。
故在选择可以丢弃的帧时,为保证视频画面的稳定性,应当选择在GOP中时序靠后的视频帧进行丢弃。若在一个GOP中丢弃的帧数仍然少于确定的丢帧数,则可以在下一个GOP中继续丢弃。
下面提供一个为帮助理解的丢帧例子。
同样,可以使用前文的A路视频与B路视频的例子。比如,A路视频作为基准路,A路视频的无线网络一直正常。而B路视频从第二时刻开始,无线网络就开始堵塞,直至第七时刻时,其无线网络才恢复正常,则在第七时刻,接收器将一次性接收到B路视频的第二个、第三个、第四个、第五个、第六个、第七个视频帧。在第七时刻,A路视频的基准帧可以确定为第七个视频帧,即A路视频待播放的下一个视频帧是第七个视频帧,而B路视频待播放的下一个视频帧是第二个视频帧。假设第一预设值为1,则可以确定丢帧数为(7-2)-1等于4。如下表5所示。
表5
Figure BDA0003099553040000141
Figure BDA0003099553040000151
假设一个GOP中包含十个视频帧,即包含第一到第十个视频帧。若认为在一个GOP中最多可以丢弃四个视频帧,即认为一个GOP中的第七个、第八个、第九个、第十个视频帧是可以丢弃的。如此,在上述例子中,对于B路视频,第七时刻接收到的第七个视频帧可以直接丢弃,而接收到的其他视频帧(第二至第六个视频帧)则可以保存在帧缓存中。当然,在第八时刻,假如B路视频的无线网络正常,接收器接收到的B路视频的第八个视频帧也可以直接作丢弃处理,第九、第十时刻也与第八时刻作相同处理。如下表6所示。可见,在下一个GOP的第十二时刻,因为B路视频跳过了一部分当前GOP尾部的视频帧,直接确定的待播放的下一个视频帧是下一个GOP的第一个视频帧,从而能够缩小与A路视频播放的视频帧的时序差距值,恢复到了定义的同步。
表6
Figure BDA0003099553040000152
而若认为在一个GOP中最多可以丢弃两个视频帧,即认为一个GOP中的第九个、第十个视频帧是可以丢弃的。如此,在上述例子中,对于B路视频,第七时刻接收到的所有视频帧均可以保存在帧缓存中,直到第九时刻接收到B路视频的第九个视频帧,才开始丢第一个帧,第十时刻则丢第二个帧。不难发现,在当前GOP只丢弃了两个帧,根据确定的丢帧数,还需要再丢两个帧。还需要再丢的两个帧可以在下一个GOP进行,具体而言,是在接收到下一个GOP的第九个与第十个视频帧时进行丢弃,从而完成确定出的丢帧数的要求。
一个GOP中最多可以丢弃的帧数,可以通过预先设定一个数值以作限制。比如,可以设置一个第三预设值,若确定的丢帧数大于该第三预设值,则将一部分丢帧工作分配在下一个GOP中进行。
本申请提供视频同步方法中,进一步的,通过对非基准路的视频数据进行丢帧,可以使得非基准路的视频帧播放跳过一部分当前GOP尾部的视频帧,直接确定待播放的下一个视频帧是下一个GOP的第一个视频帧,从而缩小了与A路视频播放的视频帧的时序差距值,恢复到了定义的同步。
请参见图4,图4为本申请根据一示例性实施例示出的一种无线图像传输系统的结构示意图。该系统包括:
至少两个发射器1与一个接收器2;
所述发射器1与所述接收器2无线连接;
所述接收器2用于将接收到的各个所述发射器1采集的视频数据分别进行解码后输出;
以及,所述接收器2还用于,按预设周期给各个所述发射器1发送信标beacon帧;所述beacon帧携带有所述接收器的系统时钟;
所述发射器1还用于,在接收到所述beacon帧后,根据解析出的所述系统时钟,同步自身的系统时钟;将采集的视频帧的显示时间戳PTS设置为当前自身的系统时钟。
在本申请实施例提供的系统中,接收器2按照预设周期给各个发射器1发送beacon帧。而由于beacon帧中携带有接收器2的系统时钟,因此发射器1可以在接收到beacon帧后,解析出的其中接收器2的系统时钟,并根据接收器2的系统时钟来同步自身的系统时钟。如此,各个发射器1的系统时钟都同步为接收器2的系统时钟,换言之,即各个发射器1之间的系统时钟已经同步。
在接下来的视频帧传输流程中,发射器1将其采集的视频帧的显示时间戳PTS设置为其自身的系统时钟,并将视频帧发送给接收器2。接收器2接收到视频帧后,对于每一路视频,均按照视频帧的PTS播放,由于视频帧的PTS对应的系统时钟已经统一,则每一路视频播放的视频帧是同步的。
对于上述系统实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本领域技术人员在考虑说明书及实践这里申请的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (9)

1.一种视频同步方法,其特征在于,应用于无线图像传输系统;
所述无线图像传输系统包括:至少两个发射器与一个接收器;所述发射器与所述接收器无线连接;所述接收器用于将接收到的各个所述发射器采集的视频数据分别进行解码后输出;
所述方法包括:
所述接收器按预设周期给各个所述发射器发送信标beacon帧;所述beacon帧携带有所述接收器的系统时钟,其中,所述beacon帧在数据链路层中被确定为下一个进入物理层的数据时,被写入所述接收器的系统时钟;
所述发射器在接收到所述beacon帧后,根据解析出的所述系统时钟,同步自身的系统时钟;
所述发射器将采集的视频帧的显示时间戳PTS设置为当前自身的系统时钟。
2.根据权利要求1所述的视频同步方法,其特征在于,所述方法还包括:所述接收器在接收到各个所述发射器发送的视频数据后,在一指定发射器对应的视频数据中确定基准帧,所述基准帧为待播放的下一个视频帧;针对其他的各个发射器,确定其所对应的视频数据的当前播放的目标视频帧是否与所述基准帧在时序上对应,若是,确定所述目标视频帧为待播放的下一个视频帧。
3.根据权利要求2所述的视频同步方法,其特征在于,所述确定所述发射器对应的视频数据的当前播放的目标视频帧是否与所述基准帧在时序上对应,包括:
根据解析出的所述目标视频帧对应的时序标识与所述基准帧对应的时序标识,确定所述目标视频帧是否与所述基准帧在时序上对应。
4.根据权利要求3所述的视频同步方法,其特征在于,
所述时序标识为视频帧在画面组GOP中的序号或PTS。
5.根据权利要求2所述的视频同步方法,其特征在于,针对其他的各个发射器,在确定其所对应的视频数据的待播放的下一个视频帧之后,所述方法还包括:
若确定的所述待播放的下一个视频帧与所述基准帧的时序差距值大于第一预设值,对所述视频数据进行丢帧处理。
6.根据权利要求5所述的视频同步方法,其特征在于,所述对所述视频数据进行丢帧处理,包括:
确定丢帧数;所述丢帧数为所述时序差距值与所述第一预设值的差值;
根据确定的丢帧数,丢弃接收到的在GOP中时序最后的一个或多个视频帧。
7.根据权利要求1所述的视频同步方法,其特征在于,在所述发射器同步自身的系统时钟之前,所述方法还包括:
确定自身的系统时钟与解析出的系统时钟的差值是否大于等于第二预设值。
8.根据权利要求1所述的视频同步方法,其特征在于,所述预设周期为10ms。
9.一种无线图像传输系统,其特征在于,包括:
至少两个发射器与一个接收器;
所述发射器与所述接收器无线连接;
所述发射器用于,采集视频数据,并编码后发送给所述接收器;
所述接收器用于,将接收到的各个所述发射器发送的视频数据分别进行解码后输出;
以及,所述接收器还用于,按预设周期给各个所述发射器发送信标beacon帧;所述beacon帧携带有所述接收器的系统时钟,所述beacon帧在数据链路层中被确定为下一个进入物理层的数据时,被写入所述接收器的系统时钟;
所述发射器还用于,在接收到所述beacon帧后,根据解析出的所述系统时钟,同步自身的系统时钟;将采集的视频帧的显示时间戳PTS设置为当前自身的系统时钟。
CN202110620223.8A 2021-06-03 2021-06-03 一种视频同步方法及无线图像传输系统 Active CN113438385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110620223.8A CN113438385B (zh) 2021-06-03 2021-06-03 一种视频同步方法及无线图像传输系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110620223.8A CN113438385B (zh) 2021-06-03 2021-06-03 一种视频同步方法及无线图像传输系统

Publications (2)

Publication Number Publication Date
CN113438385A CN113438385A (zh) 2021-09-24
CN113438385B true CN113438385B (zh) 2023-04-04

Family

ID=77803520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110620223.8A Active CN113438385B (zh) 2021-06-03 2021-06-03 一种视频同步方法及无线图像传输系统

Country Status (1)

Country Link
CN (1) CN113438385B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1665172A (zh) * 2004-03-04 2005-09-07 索尼株式会社 无线通信系统、设备、方法和计算机程序
CN102783078A (zh) * 2010-03-05 2012-11-14 三星电子株式会社 通过用于通信系统的通信层和子层之间的交互来进行精确时钟同步的方法和系统
CN103487814A (zh) * 2013-09-12 2014-01-01 武汉中元通信股份有限公司 基于场强定向/卫星定位的无线目标识别搜寻方法与装置
CN106162861A (zh) * 2011-09-23 2016-11-23 想象技术有限公司 用于无线网络中的时间同步的方法和装置
CN107251620A (zh) * 2015-03-04 2017-10-13 德州仪器公司 基于信标的无线同步
CN109906613A (zh) * 2016-09-14 2019-06-18 Dts有限责任公司 音频和视频的多模式同步渲染
CN112262586A (zh) * 2018-01-29 2021-01-22 所尼托技术股份公司 低级智能电话音频和传感器时钟同步

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1398931B1 (en) * 2002-09-06 2006-05-03 Sony Deutschland GmbH Synchronous play-out of media data packets
WO2006075312A2 (en) * 2005-01-14 2006-07-20 Koninklijke Philips Electronics, N.V. Method to synchronize receiver's clock to transmitter's clock at sub-100nsec
US8233540B2 (en) * 2005-03-10 2012-07-31 Qualcomm Incorporated Method of time base reconstruction for discrete time labeled video
US8023976B2 (en) * 2007-05-03 2011-09-20 Samsung Electronics Co., Ltd. Method and system for accurate clock synchronization for communication networks
CN101827271B (zh) * 2009-03-04 2012-07-18 联芯科技有限公司 音频视频同步方法、装置以及数据接收终端
EP3213519B1 (en) * 2014-10-31 2018-07-11 Telefonaktiebolaget LM Ericsson (publ) Video stream synchronization
CN107733745A (zh) * 2016-08-10 2018-02-23 上海悟空信息科技有限公司 一种基于wifi协议的音乐同步播放方法及播放系统
CN111954050B (zh) * 2019-05-14 2022-08-30 福州瑞芯微电子股份有限公司 一种多设备间视频同步的方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1665172A (zh) * 2004-03-04 2005-09-07 索尼株式会社 无线通信系统、设备、方法和计算机程序
CN102783078A (zh) * 2010-03-05 2012-11-14 三星电子株式会社 通过用于通信系统的通信层和子层之间的交互来进行精确时钟同步的方法和系统
CN106162861A (zh) * 2011-09-23 2016-11-23 想象技术有限公司 用于无线网络中的时间同步的方法和装置
CN103487814A (zh) * 2013-09-12 2014-01-01 武汉中元通信股份有限公司 基于场强定向/卫星定位的无线目标识别搜寻方法与装置
CN107251620A (zh) * 2015-03-04 2017-10-13 德州仪器公司 基于信标的无线同步
CN109906613A (zh) * 2016-09-14 2019-06-18 Dts有限责任公司 音频和视频的多模式同步渲染
CN112262586A (zh) * 2018-01-29 2021-01-22 所尼托技术股份公司 低级智能电话音频和传感器时钟同步

Also Published As

Publication number Publication date
CN113438385A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN102891984B (zh) 发送设备、接收系统、通信系统、发送方法、接收方法和程序
US6175573B1 (en) Multi media data storing and transmitting method and system using the same
EP2292013B1 (en) Synchronization of media stream components
US6449352B1 (en) Packet generating method, data multiplexing method using the same, and apparatus for coding and decoding of the transmission data
JP4208398B2 (ja) 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置
CN102932676B (zh) 基于音视频同步的自适应带宽传输和播放方法
US8345681B2 (en) Method and system for wireless communication of audio in wireless networks
US20130287122A1 (en) Video transmission device, video transmission method, video receiving device, and video receiving method
JP2004509491A (ja) オーディオおよびビデオ信号の同期化
KR20110098830A (ko) 외부 코프로세서를 포함하는 멀티플렉서에서의 전송 스트림 동기화를 위한 방법
JP2009537094A (ja) データ伝送方法及び装置
US20010038649A1 (en) Decoder, decoding method, multiplexer, and multiplexing method
US20150071281A1 (en) Wireless communication system, wireless communication device, and wireless communication method
JP3468115B2 (ja) データ切換装置
Yang et al. Time Stamp Synchronization in Video Systems
US20060161676A1 (en) Apparatus for IP streaming capable of smoothing multimedia stream
US9100672B2 (en) Data transmitting device and data transmitting and receiving system
CN113438385B (zh) 一种视频同步方法及无线图像传输系统
US9571799B2 (en) Wireless communication system and method, and data receiving apparatus, method and program
CN105187688A (zh) 一种对手机采集的实时视频和音频进行同步的方法及系统
JP2001346206A (ja) 復号装置、復号方法、多重化装置及び多重化方法
WO2012070447A1 (ja) 映像信号出力方法及び映像情報再生装置
KR100962083B1 (ko) 제 1 데이터 스트림을 제 2 데이터 스트림으로 변환하기 위한 방법 및 시스템
KR20010093234A (ko) 통신 장치, 통신 단말 장치, 기지국 장치 및 통신 방법
JP3978814B2 (ja) 送信装置とその方法、受信装置、および、伝送装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant