CN113225597B - 一种网络传输中的多路音视频的同步播放的方法 - Google Patents

一种网络传输中的多路音视频的同步播放的方法 Download PDF

Info

Publication number
CN113225597B
CN113225597B CN202110478125.5A CN202110478125A CN113225597B CN 113225597 B CN113225597 B CN 113225597B CN 202110478125 A CN202110478125 A CN 202110478125A CN 113225597 B CN113225597 B CN 113225597B
Authority
CN
China
Prior art keywords
audio
video
channel
video server
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110478125.5A
Other languages
English (en)
Other versions
CN113225597A (zh
Inventor
刘政伟
龙图景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kaishida Information Technology Co ltd
Original Assignee
Beijing Kaishida Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kaishida Information Technology Co ltd filed Critical Beijing Kaishida Information Technology Co ltd
Priority to CN202110478125.5A priority Critical patent/CN113225597B/zh
Publication of CN113225597A publication Critical patent/CN113225597A/zh
Application granted granted Critical
Publication of CN113225597B publication Critical patent/CN113225597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及一种网络传输中的多路音视频的同步播放的方法，包括通过在音视频服务器流分发之前通过IP识别信道并对信道连接的接收端进行时钟校对和信号时延检测，保证音视频服务器在流分发时能够根据各个信道的时延对时延较小的信道进行延时发送，从而保证各个接收端能够在同一时间获得音视频片段，同时音视频片段内的时间戳使得音视频片段在播放时，能够不停地向音视频服务器进行时钟反馈，从而动态地补偿信道的延时波动，进一步保证音视频服务器发送后续音视频片段，如果出现中断或者其他意外情况时，也能够保证各个接收端后续的播放进度一致。

Description

一种网络传输中的多路音视频的同步播放的方法
技术领域
本发明涉及音视频处理技术领域，具体是一种网络传输中的多路音视频的同步播放的方法。
背景技术
随着当今互联网宽带技术和多媒体信息技术的飞速发展，网络多媒体应用已经成为internet应用的重要内容。特别是网络直播教学或者网课教学中，由于涉及到多人之间的交互行为，需要对多路音视频同时进行播放。此时每一路音视频都需要同步，否则影响沟通的流畅，但是由于信道的延时，导致各个信号接收终端能够接收到音视频信号的时间总是不相同。传统的音视频同步技术是将音视频包各标记一个时间戳，在播放时根据该时间戳来进行同步。这种方式只能工作于一路音频和一路视频的情况，在多路音频和多路视频的情况下无法正常工作，不能满足视频会议这类多人沟通应用对多路音视频同时进行同步的要求；同时，多路音视频同步播放后，如果其中一路或者多路中断后续很难保证同步播放。
发明内容
有鉴于此，本发明的目的是提供一种网络传输中的多路音视频的同步播放的方法，能够解决背景技术中的问题。
本发明的一种网络传输中的多路音视频的同步播放的方法，包括步骤：
(1)音视频服务器进行流分发前，先发送一个测试数据包，每个接收端接收到测试数据包后立刻返回一个包含本地时钟信息的返回数据包，音视频服务器接收到返回数据包，根据发送时间Tt和接收时间Tr确定每个信道的初始时延为
Figure BDA0003048039690000011
n表示不同的信道编号，n为自然数，同时音视频服务器将各个接收端的本地时钟信息记录并进行补充和统一；
(2)发送端将音视频文件进行分段打包，每段音视频片段的播放时间为Tb，并在每一段的音视频片段内加入时间戳，音视频片段发送至音视频服务器中进行缓存；
(3)音视频服务器在T1时准备进行流分发，音视频服务器按照初始时延
Figure BDA0003048039690000021
对各个信道进行接收时间预算，并根据初始时延
Figure BDA0003048039690000022
对各个信号进行补偿，时延最大的信道先发送，然后延时△T后发送至时延较小的信道，
Figure BDA0003048039690000023
接收端接收到音视频分段后立即开始播放，播放Ts后到达时间戳位置，接收端同时向音视频服务器返回一个数据包；
(4)音视频服务器在T2时接收到返回的数据包，音视频服务器计算各个信道的时延波动为
Figure BDA0003048039690000024
(5)音视频服务器根据时延波动对第二段音视频的播放时间缩短至
Figure BDA0003048039690000025
并发送至对应的信道中，第二段音视频播放至时间戳位置后同样返回一个数据包，计算时延波动，音视频服务器同样地将第三段音视频文件在时间轴上进行缩短；
(6)重复上述步骤，直至发送端推流完毕。
进一步地，每个所述音视频片段的播放时间Tb的范围为3S-5S。
进一步地，所述时间戳设置在音视频片段的时间轴的结束之前的1S。
进一步地，所有的从所述接收端返回的数据包均包含本地的时钟信息，所述步骤(4)中音视频服务器在接收到通过各个信道返回的数据包后，对各个信道返回的数据包内包含的时钟信息与初始时钟进行对比，用于校对和修正时延波动中。
进一步地，所述步骤(5)中音视频文件在时间轴上进行缩短时，将音频或者视频的数字帧之间间距进行等比例等缩短。
本发明的有益效果是：本发明的一种网络传输中的多路音视频的同步播放的方法，通过在音视频服务器流分发之前通过IP识别信道并对信道连接的接收端进行时钟校对和信号时延检测，保证音视频服务器在流分发时能够根据各个信道的时延对时延较小的信道进行延时发送，从而保证各个接收端能够在同一时间获得音视频片段，同时音视频片段内的时间戳使得音视频片段在播放时，能够不停地向音视频服务器进行时钟反馈，从而动态地补偿信道的延时波动，进一步保证音视频服务器发送后续音视频片段，如果出现中断或者其他意外情况时，也能够保证各个接收端后续的播放进度一致。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图：
图1为本发明的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示：本实施例的一种网络传输中的多路音视频的同步播放的方法，包括步骤：
(1)音视频服务器进行流分发前，先发送一个测试数据包，每个接收端接收到测试数据包后立刻返回一个包含本地时钟信息的返回数据包，音视频服务器接收到返回数据包，根据发送时间Tt和接收时间Tr确定每个信道的初始时延为
Figure BDA0003048039690000041
n表示不同的信道编号，n为自然数，同时音视频服务器将各个接收端的本地时钟信息记录并进行补充和统一；
具体地，本实施例中音视频服务器与4个信道1、2、3和4，音视频服务器通过1、2、3和4信道分别与第一接收终端、第二接收终端、第三接收终端和第四接收终端连接，音视频服务器通过IP地址对第一接收终端、第二接收终端、第三接收终端和第四接收终端进行对应发送，从而建立信道1、2、3和4；通过测试数据包分别测得信道1、2、3和4的初始时延为
Figure BDA0003048039690000042
和
Figure BDA0003048039690000043
(2)发送端将音视频文件进行分段打包，每段音视频片段的播放时间为Tb，具体地，每段音视频文件的播放时间在3S-5S之间，如果发送端推流的是直播信号那么为了保证低延时，可以将每段音视频片段尽可能地进行缩短，减少发送端和接收端的时间差；在每一段的音视频片段内加入时间戳，时间戳在音视频片段的时间轴的2-4S，每段音视频片段的大小在1M左右，因此剩下1S用于传输下一段音视频片段，音视频片段发送至音视频服务器中进行缓存，等待发送；
(3)音视频服务器在T1时准备进行流分发，音视频服务器按照初始时延
Figure BDA0003048039690000044
对各个信道进行接收时间预算，并根据初始时延
Figure BDA0003048039690000045
对各个信号进行补偿，时延最大的信道先发送，然后延时△T后发送至时延较小的信道，
Figure BDA0003048039690000046
例如：信道1、2、3和4的初始时延的初始时延分别为40ms、50ms、20ms和70ms，由于信道4的延时最高，因此优先通过信道4进行发送音视频片段，延时20ms后再通过信道2发送、延时10ms后再通过信道1发送，最后再延时20ms后通过信道3进行发送，从而使得第一接收终端、第二接收终端、第三接收终端和第四接收终端接收到音视频片段的时间基本一致；
接收端接收到音视频分段后立即开始播放，播2-4S后到达时间戳位置，接收端同时向音视频服务器返回一个数据包；
(4)音视频服务器在T2时接收到返回的数据包，音视频服务器计算各个信道的时延波动为
Figure BDA0003048039690000051
正常情况下，信道的时延波动很小，
Figure BDA0003048039690000052
的范围在10ms以内，但是在接收端播放中断时，
Figure BDA0003048039690000053
的范围就要累积上播放中断的时间，从而造成较大的波动；
(5)音视频服务器根据时延波动对第二段音视频的播放时间缩短至
Figure BDA0003048039690000054
当其中一个信道播放中断后，时延波动
Figure BDA0003048039690000055
就会大大增加，为了追赶其他信道的播放进度，便会对对应的音视频片段进行播放时间压缩，播放时间
Figure BDA0003048039690000056
如果中断时间较长，导致时延波动
Figure BDA0003048039690000057
大于音视频片段的播放时长，则直接跳过；
第二段音视频播放至时间戳位置后同样返回一个数据包，计算时延波动，音视频服务器同样地将第三段音视频文件在时间轴上进行缩短；
(6)重复上述步骤，直至发送端推流完毕。
本实施例中，所有的从接收端返回的数据包均包含本地的时钟信息，步骤(4)中音视频服务器在接收到通过各个信道返回的数据包后，对各个信道返回的数据包内包含的时钟信息与初始时钟进行对比，用于校对和修正时延波动，例如：音视频服务器在13:00:00时刻接收到第一接收终端、第二接收终端、第三接收终端和第四接收终端的初始时钟分别为12:59:40、12:59:50、12:59:55和12:59:59，但是在后续发送的数据包中时钟信息分别为13:12:40、13:12:50、13:12:55和13:13:00，则第四接收端有可能因为信道时延进度延后了1S-2S，因此可以通过步骤(5)将第四接收终端的播放进度加快1-2S即可。
本实施例中，步骤(5)中音视频文件在时间轴上进行缩短时，将音频或者视频的数字帧之间间距进行等比例等缩短，即快放，如果判断音视频片段的长度小于时延波动的长度，则直接跳过对应数量的音视频片段即可。
本发明的一种网络传输中的多路音视频的同步播放的方法，通过在音视频服务器流分发之前通过IP识别信道并对信道连接的接收端进行时钟校对和信号时延检测，保证音视频服务器在流分发时能够根据各个信道的时延对时延较小的信道进行延时发送，从而保证各个接收端能够在同一时间获得音视频片段，同时音视频片段内的时间戳使得音视频片段在播放时，能够不停地向音视频服务器进行时钟反馈，从而动态地补偿信道的延时波动，进一步保证音视频服务器发送后续音视频片段，如果出现中断或者其他意外情况时，也能够保证各个接收端后续的播放进度一致。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种网络传输中的多路音视频的同步播放的方法，其特征在于：包括步骤：
(1)音视频服务器进行流分发前，先发送一个测试数据包，每个接收端接收到测试数据包后立刻返回一个包含本地时钟信息的返回数据包，音视频服务器接收到返回数据包，根据发送时间Tt和接收时间Tr确定每个信道的初始时延为
Figure FDA0003048039680000011
n表示不同的信道编号，n为自然数，同时音视频服务器将各个接收端的本地时钟信息记录并进行补充和统一；
(2)发送端将音视频文件进行分段打包，每段音视频片段的播放时间为Tb，并在每一段的音视频片段内加入时间戳，音视频片段发送至音视频服务器中进行缓存；
(3)音视频服务器在T1时准备进行流分发，音视频服务器按照初始时延
Figure FDA0003048039680000012
对各个信道进行接收时间预算，并根据初始时延
Figure FDA0003048039680000013
对各个信号进行补偿，时延最大的信道先发送，然后延时△T后发送至时延较小的信道，
Figure FDA0003048039680000014
接收端接收到音视频分段后立即开始播放，播放Ts后到达时间戳位置，接收端同时向音视频服务器返回一个数据包；
(4)音视频服务器在T2时接收到返回的数据包，音视频服务器计算各个信道的时延波动为
Figure FDA0003048039680000015
(5)音视频服务器根据时延波动对第二段音视频的播放时间缩短至
Figure FDA0003048039680000016
并发送至对应的信道中，第二段音视频播放至时间戳位置后同样返回一个数据包，计算时延波动，音视频服务器同样地将第三段音视频文件在时间轴上进行缩短；
(6)重复上述步骤，直至发送端推流完毕。
2.根据权利要求1所述的一种网络传输中的多路音视频的同步播放的方法，其特征在于：每个所述音视频片段的播放时间Tb的范围为3S-5S。
3.根据权利要求1所述的一种网络传输中的多路音视频的同步播放的方法，其特征在于：所述时间戳设置在音视频片段的时间轴的结束之前的1S。
4.根据权利要求1所述的一种网络传输中的多路音视频的同步播放的方法，其特征在于：所有的从所述接收端返回的数据包均包含本地的时钟信息，所述步骤(4)中音视频服务器在接收到通过各个信道返回的数据包后，对各个信道返回的数据包内包含的时钟信息与初始时钟进行对比，用于校对和修正时延波动中。
5.根据权利要求1所述的一种网络传输中的多路音视频的同步播放的方法，其特征在于：所述步骤(5)中音视频文件在时间轴上进行缩短时，将音频或者视频的数字帧之间间距进行等比例等缩短。
CN202110478125.5A 2021-04-30 2021-04-30 一种网络传输中的多路音视频的同步播放的方法 Active CN113225597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110478125.5A CN113225597B (zh) 2021-04-30 2021-04-30 一种网络传输中的多路音视频的同步播放的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110478125.5A CN113225597B (zh) 2021-04-30 2021-04-30 一种网络传输中的多路音视频的同步播放的方法

Publications (2)

Publication Number Publication Date
CN113225597A CN113225597A (zh) 2021-08-06
CN113225597B true CN113225597B (zh) 2022-05-17

Family

ID=77090216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110478125.5A Active CN113225597B (zh) 2021-04-30 2021-04-30 一种网络传输中的多路音视频的同步播放的方法

Country Status (1)

Country Link
CN (1) CN113225597B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339328B (zh) * 2021-12-31 2023-09-01 杭州当虹科技股份有限公司 时间戳同步服务实现方法和系统
CN115052178B (zh) * 2022-04-15 2024-01-26 武汉微科中芯电子技术有限公司 音视频编码、解码、编解码系统，编码、解码方法及介质
CN114827681B (zh) * 2022-04-24 2024-03-22 咪咕视讯科技有限公司 视频同步方法、装置、电子设备、终端设备及存储介质
CN115460451B (zh) * 2022-09-15 2024-04-26 浙江大华技术股份有限公司 视频播放方法、装置、存储介质及电子装置
CN115474083B (zh) * 2022-11-02 2023-03-14 灵长智能科技(杭州)有限公司 一种多路音视频同步直播方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317166B1 (en) * 1998-08-31 2001-11-13 Immersive Media Company Synchronization frame generator for multichannel imaging system
CN1933594A (zh) * 2005-09-14 2007-03-21 王世刚 多路音视频数据网络传输与同步播放的方法
CN101877633A (zh) * 2009-04-28 2010-11-03 华为技术有限公司 信号同步的方法和系统、及信号接收装置和信号发送装置
CN103702013A (zh) * 2013-11-28 2014-04-02 北京航空航天大学 一种用于多路实时视频的帧同步方法
CN105245977A (zh) * 2015-10-10 2016-01-13 上海慧体网络科技有限公司 一种多组摄像头同步直播的方法
CN107071509A (zh) * 2017-05-18 2017-08-18 北京大生在线科技有限公司 多路直播的视频精确同步方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317166B1 (en) * 1998-08-31 2001-11-13 Immersive Media Company Synchronization frame generator for multichannel imaging system
CN1933594A (zh) * 2005-09-14 2007-03-21 王世刚 多路音视频数据网络传输与同步播放的方法
CN101877633A (zh) * 2009-04-28 2010-11-03 华为技术有限公司 信号同步的方法和系统、及信号接收装置和信号发送装置
CN103702013A (zh) * 2013-11-28 2014-04-02 北京航空航天大学 一种用于多路实时视频的帧同步方法
CN105245977A (zh) * 2015-10-10 2016-01-13 上海慧体网络科技有限公司 一种多组摄像头同步直播的方法
CN107071509A (zh) * 2017-05-18 2017-08-18 北京大生在线科技有限公司 多路直播的视频精确同步方法

Also Published As

Publication number Publication date
CN113225597A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN113225597B (zh) 一种网络传输中的多路音视频的同步播放的方法
US7424209B2 (en) System and method for real-time data archival
CN105916058B (zh) 一种流媒体缓冲播放方法、装置及显示设备
US7545794B2 (en) Timestamping network controller for streaming media applications
US10361801B2 (en) Transmission method, transmission apparatus and system
EP3258697B1 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
TW202123718A (zh) 動態縮減替換內容之播放以幫助對齊替換內容之結束與已替換內容之結束
KR20040105869A (ko) 오디오 스트림 및 비디오 스트림의 동기화 장치 및 방법
CN101682562A (zh) 用于修改句子内的话音突峰的回放时序而不影响可懂度的方法和设备
US10194196B2 (en) Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein
US20210168437A1 (en) Method and device for switching media service channels
KR101741747B1 (ko) 실시간 광고 삽입이 가능한 영상 광고 처리 장치 및 방법
US20200221160A1 (en) Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein
CN111629158A (zh) 一种音频流和视频流同步切换方法及装置
US20220224991A1 (en) Systems and methods for determining delay of a plurality of media streams
JP2018182677A (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
JP6957186B2 (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
JP5383520B2 (ja) 映像フレーム及び音声フレームとの間の同期外れを補正する中継装置、プログラム、システム及び方法
US7548543B2 (en) Generation of valid program clock reference time stamps for duplicate transport stream packets
US20150181393A1 (en) Distribution device for transmission packets
Sithu et al. Media synchronization control in multimedia communication
CN112887772A (zh) 影音串流的音频同步方法
CN112671696B (zh) 报文传输方法、装置、计算机设备以及计算机存储介质
JP2003179863A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
Tanaka et al. Push-content delivery method for accurate synchronization between broadcast programs and push content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant