CN115297335B - 基于接收缓冲区的视频直播时的音频传输方法及系统 - Google Patents

基于接收缓冲区的视频直播时的音频传输方法及系统 Download PDF

Info

Publication number
CN115297335B
CN115297335B CN202210927177.0A CN202210927177A CN115297335B CN 115297335 B CN115297335 B CN 115297335B CN 202210927177 A CN202210927177 A CN 202210927177A CN 115297335 B CN115297335 B CN 115297335B
Authority
CN
China
Prior art keywords
audio
video
receiving buffer
data packet
buffer area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210927177.0A
Other languages
English (en)
Other versions
CN115297335A (zh
Inventor
丁英锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wild Grass Acoustics Co ltd
Original Assignee
Shenzhen Wild Grass Acoustics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Wild Grass Acoustics Co ltd filed Critical Shenzhen Wild Grass Acoustics Co ltd
Priority to CN202210927177.0A priority Critical patent/CN115297335B/zh
Publication of CN115297335A publication Critical patent/CN115297335A/zh
Application granted granted Critical
Publication of CN115297335B publication Critical patent/CN115297335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2183Cache memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种基于接收缓冲区的视频直播时的音频传输方法,包括:音频采集设备与视频拍摄设备同步进行音频采样,并将得到的采样信息打包为数据包后通过无线通信网络发送给视频拍摄设备;在视频拍摄设备端建立接收缓冲区存储接收到的数据包;在接收缓冲区对丢包缺失的数据包进行补全;依次将接收缓冲区存储的数据包移出接收缓冲区,并与对应的视频信息进行合成后生成直播视频。本发明中,音频采集设备通过无线通信网络传输音频信息,音频信息传输便捷,且能够确保音质效果;在视频拍摄设备设置接收缓存区,能够对丢包缺失的音频数据进行补全,大大降低无线通信网络丢包现象的影响,能够显著提高直播时的音质,且能够满足视频直播的实时性要求。

Description

基于接收缓冲区的视频直播时的音频传输方法及系统
技术领域
本发明属于视频直播技术领域,涉及一种基于接收缓冲区的视频直播时的音频传输方法及系统。
背景技术
在视频直播时,一般采用视频拍摄设备同时对视频和音频信息进行采集,但是在拍摄距离较远、噪声干扰较大或发声点较多时,一般会将麦克风等音频采集设备设置在临近发声点的位置单独进行音频采集后再与视频信息合成以得到更好的音质效果,这时,就需要将音频信息传输到视频拍摄设备;现有技术中一般采用有线传输或蓝牙传输的方式传输音频信息,但是有线传输明显不便于设备的移动,尤其是不利于室外的情况;蓝牙传输则传输速率较低,需要对音频进行压缩从而降低音质;另外,蓝牙传输的距离一般在10米左右,且不能进行网络延展,传输距离受限。WIFI传输方式虽然在传输速率上远超蓝牙,且可以通过网络延展大大增加传输距离,但由于WIFI传输协议的延时较长,且不可避免地存在丢包现象,用于传输音频还存在许多需要解决的问题。
发明内容
有鉴于此,本发明的目的在于提供一种基于接收缓冲区的视频直播时的音频传输方法及系统。
为达到上述目的,本发明提供如下技术方案:
一种基于接收缓冲区的视频直播时的音频传输方法,包括以下步骤:
S101、将音频采集设备通过无线通信网络与视频拍摄设备连接,并对音频采集设备和视频拍摄设备的时间进行同步;
S102、在视频拍摄设备拍摄视频的同时,音频采集设备进行音频采样,并将得到的采样信息打包为数据包后通过无线通信网络发送给视频拍摄设备;
S103、在视频拍摄设备端建立接收缓冲区,通过接收缓冲区存储接收到的数据包;
S104、检测接收的采样信息是否存在丢包现象,当检测到有丢包现象时,对丢包缺失的数据包进行补全;
S105、当接收缓冲区存储的数据包的数量达到预定的数量后,按照先进先出原则依次将接收缓冲区存储的数据包移出接收缓冲区;
S106、将移出接收缓冲区的数据包恢复为音频信息并与视频拍摄设备在对应时间拍摄的视频信息进行合成后生成直播视频。
进一步的,在所述S101步骤中,设置有多个音频采集设备,多个所述音频采集设备均与视频拍摄设备的时间进行同步;
在所述S103步骤中,在视频拍摄设备端对应每一音频采集设备分别设置有一个接收缓冲区,接收的每一音频采集设备数据包分别存储在对应的接收缓冲区中;
在所述S106步骤中,先将移出各个接收缓冲区的数据包进行多轨合成后再与视频信息进行合成,生成直播视频。
进一步的,在所述S102步骤中,音频采集设备在通过无线通信网络发送数据包给视频拍摄设备之前,先对该数据包进行复制得到两个或两个以上的数据包,再将两个或两个以上的数据包同时发送出去。
进一步的,在所述接收缓冲区形成有存储队列,所述接收缓冲区通过存储队列对数据包进行存储;其中,
在所述S103步骤中,按照数据包的生成顺序依次将接收到的数据包存储至存储队列中;
在所述S104步骤中,当检测到有丢包时,执行以下步骤:
S1041、在存储队列中为丢包缺失的数据包预留出该数据包对应的存储位置;
S1042、对丢包缺失的数据包进行补全;
S1043、将补全的数据包填入存储队列中预留的存储位置中;
在所述S105步骤中,按照先进先出原则依次将接收缓冲区存储的数据包移出接收缓冲区的方法包括以下步骤:
S1051、每间隔预定的时间将存储队列中各存储位置的数据包依次后移一个存储位置;间隔的时间与数据包的大小相适配;
S1052、将存储队列中最后一个存储位置存储的数据包移出接收缓冲区;
S1053、将新接收的数据包存储在存储队列的第一个存储位置。
进一步的,在所述S104步骤中,对丢包缺失的数据包进行补全时,先将前面一个数据包对应的波形按周期往后复制,将后面一个数据包对应的波形按周期往前复制,通过两个复制波形重叠的部分得出缺失的数据包。
进一步的,所述无线通信网络为WIFI通信网络,所述WIFI通信网络包括WIFI路由器,所述音频采集设备和视频拍摄设备均设置有WIFI模块,所述音频采集设备和视频拍摄设备分别通过其WIFI模块与WIFI路由器连接。
进一步的,所述无线通信网络为4G或5G移动通信网络,所述移动通信网络包括移动通信基站,所述音频采集设备和视频拍摄设备均设置有4G通信模块或5G通信模块,所述音频采集设备和视频拍摄设备分别通过其4G通信模块或5G通信模块与移动通信基站连接。
进一步的,所述音频采集设备为环绕声录音设备、高阻抗乐器录音设备或主动提供幻象供电的录音设备。
一种基于接收缓冲区的视频直播时的音频传输系统,包括音频采集设备和视频拍摄设备,所述音频采集设备包括:
音频采集模块,用于通过音频采样采集音频信息;以及
第一时间同步模块,用于在收到视频拍摄设备的对时指令后,立即返回对时信息给视频拍摄设备;
第一无线通信模块,用于将采集的音频信息打包为数据包后通过无线通信网络发送;
所述视频拍摄设备包括:
视频拍摄模块,用于通过视频拍摄获取视频信息;
第二时间同步模块,用于发送对时指令给音频采集设备,并获取发送对时指令时其自身的时间戳;以及在收到音频采集设备返回的对时信息后,立即再次获取其自身的时间戳;并计算两个时间戳差值的一半作为视频拍摄设备的指令传送到音频采集设备的时延;
第二无线通信模块,用于接入无线通信网络并获取音频信息的数据包;
接收缓冲区,用于存储接收到的数据包,并在存储的数据包的数量达到预定的数量后,按照先进先出原则依次将存储的数据包移出接收缓冲区;
数据包检测模块,用于检测接收的采样信息是否存在丢包现象,并在检测到有丢包现象时,对丢包缺失的数据包进行补全;
视频缓冲区,用于对视频拍摄模块拍摄的视频信息进行缓存;以及
音视频合成模块,用于将移出接收缓冲区的数据包恢复为音频信息并与移出视频缓冲区的视频信息进行合成后生成直播视频。
进一步的,所述无线通信网络为WIFI通信网络,所述WIFI通信网络包括WIFI路由器,所述第一无线通信模块和第二无线通信模块均为WIFI模块,所述第一无线通信模块和第二无线通信模块均与WIFI路由器连接;或
所述无线通信网络为4G或5G移动通信网络,所述移动通信网络包括移动通信基站,所述第一无线通信模块和第二无线通信模块均为4G通信模块或5G通信模块,所述第一无线通信模块和第二无线通信模块均与移动通信基站连接。
本发明中,音频采集设备通过无线通信网络向视频拍摄设备传输音频信息,音频信息传输便捷,支持多通道音频信息同时传输,且可以进行无损音频的传输,确保音质效果;通过在视频拍摄设备设置接收缓存区,能够对丢包缺失的音频数据进行补全,从而大大降低了无线通信网络的丢包现象对音质的影响,能够显著提高直播时的音质,且不会造成明显的延时,能够满足视频直播的实时性要求。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为本发明基于接收缓冲区的视频直播时的音频传输方法的一个优选实施例的流程图。
图2为在存储队列中存储第1个数据包后的示意图。
图3为在存储队列中存储第5个数据包后的示意图。
图4为在三个存储队列中分别存储对应的音频采集设备生成的第5个数据包后的示意图。
图5为S104步骤的子流程图。
图6为第10个数据包丢失时在存储队列中存储第11个数据包后的示意图。
图7为S105步骤的子流程图。
图8为本发明基于接收缓冲区的视频直播时的音频传输系统的一个优选实施例的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
如图1所示,本发明基于接收缓冲区的视频直播时的音频传输方法的一个优选实施例包括以下步骤:
S101、将音频采集设备通过无线通信网络与视频拍摄设备连接,并对音频采集设备和视频拍摄设备的时间进行同步。其中,所述音频采集设备可以是普通的录音设备,也可以是具有环绕声效果的环绕声录音设备、用于吉它、贝斯等乐器录音的高阻抗乐器录音设备或电容式麦克风等主动提供幻象供电的录音设备。当需要对多个位置同时进行音频采集时,还可以设置有多个音频采集设备,多个所述音频采集设备均与视频拍摄设备的时间进行同步。例如,当多个乐器同时演奏时,可以在每一乐器的发声点附近单独进行音频采集,通过近距离的采集可以获得该乐器更好的音质效果,之后再对采集的音频进行合成,以达到更好的录音效果。
所述无线通信网络优选为WIFI通信网络,所述WIFI通信网络包括WIFI路由器,所述音频采集设备和视频拍摄设备均优选为设置有WIFI模块,所述音频采集设备和视频拍摄设备分别通过其WIFI模块与WIFI路由器连接。当然,所述无线通信网络也可以为4G或5G移动通信网络,所述移动通信网络包括移动通信基站,所述音频采集设备和视频拍摄设备均设置有4G通信模块或5G通信模块,所述音频采集设备和视频拍摄设备分别通过其4G通信模块或5G通信模块与移动通信基站连接。采用无线通信网络传输音频信息,不仅音频信息传输便捷,支持多通道音频信息同时传输,而且能够进行无损音频的传输,确保音质效果。当然,采用无线通信网络传输音频信息也同样适用于有损音频(压缩格式的音频)的传输。
对音频采集设备和视频拍摄设备的时间进行同步的方法具体为:
视频拍摄设备发送对时指令给音频采集设备,并获取发送对时指令时其自身的时间戳P1;音频采集设备收到对时指令后,立即返回对时信息给视频拍摄设备;视频拍摄设备收到音频采集设备返回的对时信息后,立即再次获取其自身的时间戳P2;并计算出视频拍摄设备的指令传送到音频采集设备的时延diff1,时延diff1的计算公式如下:
diff1=(P2-P1)/2。
S102、在视频拍摄设备拍摄视频的同时,音频采集设备进行音频采样,并将得到的采样信息打包为数据包后通过无线通信网络发送给视频拍摄设备。其中,音频采集设备的音频采样速率一般为每秒种采样48000次,当然,音频采样速率也可以是其他数值;数据包的大小可以为64bit~2048bit,一般选择为128bit或256bit。由于无论是WIFI通信网络还是4G或5G移动通信网络,均不可避免的会存在丢包的现象,为了减小丢包现象对音质的影响,音频采集设备在通过无线通信网络发送数据包给视频拍摄设备之前,可先对该数据包进行复制得到两个或两个以上的数据包;例如,可通过复制得到三个相同的数据包,之后再将三个数据包同时发送出去,由于视频拍摄设备只需要能够接收到三个数据包中的一个即可避免丢包,因此,通过对数据包的复制可大大降低丢包率。
S103、在视频拍摄设备端建立接收缓冲区,通过接收缓冲区存储接收到的数据包。优选为在所述接收缓冲区形成存储队列,所述接收缓冲区通过存储队列对数据包进行存储;在本步骤中,可按照数据包的生成顺序依次将接收到的数据包存储至存储队列中。如图2所示,假设存储队列中有五个数据包存储位置,则视频拍摄设备接收到音频采集设备生成的第1个数据包(即图2中的数据包1)后,即存储在存储队列中的第一个数据包存储位置中。当接收到音频采集设备生成的第5个数据包后,在存储队列中的存储的数据包的情况如图3所示。图3中,数据包1至数据包5分别表示音频采集设备生成的第1个至第5个数据包。
当有多个音频采集设备时,还可在视频拍摄设备端对应每一音频采集设备分别设置一个接收缓冲区,接收的每一音频采集设备数据包分别存储在对应的接收缓冲区中;从而实现音频的分轨存放。当然,也可以只设置一个接收缓冲区,在接收到各音频采集设备的第一个数据包后,先将各数据包通过多轨合成为一个数据包后,再将合成的数据包作为数据包1存储在存储队列中的第一个数据包存储位置中。例如,当有三个音频采集设备时,视频拍摄设备端会设置三个接收缓冲区(即三个存储队列),在接收到各音频采集设备生成的第5个数据包后,在各存储队列中的存储的数据包的情况如图4所示。其中,数据包1至数据包5为第一个接收缓冲区对应的音频采集设备生成的5个数据包,数据包1'至数据包5'为第二个接收缓冲区对应的音频采集设备生成的5个数据包,数据包1”至数据包5”为第三个接收缓冲区对应的音频采集设备生成的5个数据包。
S104、检测接收的采样信息是否存在丢包现象,当检测到有丢包现象时,对丢包缺失的数据包进行补全。如图5所示,当检测到有丢包时,可执行以下步骤:
S1041、在存储队列中为丢包缺失的数据包预留出该数据包对应的存储位置,以便于数据包的时间同步;预留的存储位置会被标记为数据包缺失。如图6所示,假设音频采集设备生成的第10个数据包(即数据包10)丢失,则在存储第9个数据包(即数据包9)之后,空出一个位置再存储第11个数据包(即数据包11),预留出数据包10对应的存储位置。
S1042、对丢包缺失的数据包进行补全。对丢包缺失的数据包进行补全的方法优选为:先将前面一个数据包对应的波形按周期往后复制,将后面一个数据包对应的波形按周期往前复制,通过两个复制波形重叠的部分得出缺失的数据包。可根据对缺失的数据包进行补全时所需要的时间来确定接收缓冲区存储的数据包的数量,使检测到数据包缺失后,能够在该数据包被移出接收缓冲区之前对其进行补全。
S1043、将补全的数据包填入存储队列中预留的存储位置中,从而使接收的音频信息保持完整,以避免在丢包时发生声音断断续续的情况。由于有接收缓冲区对接收的数据进行缓冲,当检测到有丢包时,就留出了对丢包的数据进行处理的时间,从而可以通过丢包时的前后数据在一定程度上恢复出丢失的数据,避免数据丢失对音质造成的影响。
S105、当接收缓冲区存储的数据包的数量达到预定的数量后,按照先进先出原则依次将接收缓冲区存储的数据包移出接收缓冲区。如图7所示,按照先进先出原则依次将接收缓冲区存储的数据包移出接收缓冲区的方法可包括以下步骤:
S1051、每间隔预定的时间将存储队列中各存储位置的数据包依次后移一个存储位置;将存储队列中第一个存储位置的存储的数据包移动到第二个存储位置,空出第一个存储位置;并将第二个存储位置的存储的数据包移动到第三个存储位置,以此类推,保持数据包的存储顺序不变。间隔的时间与数据包的大小相适配,例如,数据包为256bit时,则以音频采集设备进行256次采样所需的时间作为间隔的时间。
S1052、将存储队列中最后一个存储位置存储的数据包移出接收缓冲区;移出接收缓冲区的数据包即可通过时间同步与无音频信息的视频信息合成,形成有音频信息的直播视频。
S1053、将新接收的数据包存储在存储队列的第一个存储位置;从而对接收数据缓存区的数据包进行更新。
S106、将移出接收缓冲区的数据包恢复为音频信息并与视频拍摄设备在对应时间拍摄的视频信息进行合成后生成直播视频。在合成之前需要先将视频信息和音频信息的时间轴对齐,优选为在所述视频拍摄设备设置视频缓冲区,所述视频拍摄设备拍摄的视频信息在视频缓冲区延迟后再移出视频缓冲区,所述视频缓冲区的延迟时长diff3等于视频拍摄设备的指令传送到音频采集设备的时延diff1与接收缓冲区所造成的时延diff2之和,从而使视频信息在移出视频缓冲区后与音频信息的时间轴对齐。由于视频信息在拍摄后本来就会经过一个视频缓冲区进行缓存,因此,只需要对视频缓冲区的延迟时长进行设置,即可使音频信息和视频信息的时间同步。采用上述对时方法,由于只需要知道时延diff1和时延diff2即可,音频采集设备不需要设置时钟,可以降低音频采集设备的成本。当有多个音频采集设备,并设置有多个接收缓冲区时,先将移出各个接收缓冲区的数据包进行多轨合成后再与视频信息进行合成,生成直播视频。生成的直播视频即可用于视频直播。通信在接收缓存区对音频信息进行处理,可以大大降低无线通信网络的丢包现象的影响,提高直播时的音频质量。
因为接收缓存区会对音频采集设备送来的数据进行缓存,所以直播的数据会有一定的延时,但是由于音频采样的速率非常快,例如,本实施例中音频采样速率为每秒种采样48000次,因此实际的延时会非常短,几乎可以忽略。假设数据包的大小为128bit,接收缓冲区中存储的数据包的容量为10个数据包,则从所述视频拍摄设备接收到数据包放入接收缓存区,到该数据包被移出接收缓存区之间的时间远小于1秒钟,并不会对直播的实时性造成影响。
本发明还公开了一种基于接收缓冲区的视频直播时的音频传输系统,如图8所示,本发明基于接收缓冲区的视频直播时的音频传输系统的一个优选实施例包括音频采集设备和视频拍摄设备。所述音频采集设备可以只有一个,也可以有多个。
所述音频采集设备包括音频采集模块、第一时间同步模块和第一无线通信模块。所述音频采集模块用于通过音频采样采集音频信息。所述音频采集模块可以是普通的录音设备,也可以是具有环绕声效果的环绕声录音设备、用于吉它、贝斯等乐器录音的高阻抗乐器录音设备或电容式麦克风等主动提供幻象供电的录音设备。所述第一时间同步模块用于在收到视频拍摄设备的对时指令后,立即返回对时信息给视频拍摄设备。
所述第一无线通信模块用于将采集的音频信息打包为数据包后通过无线通信网络发送。所述无线通信网络优选为WIFI通信网络,所述WIFI通信网络包括WIFI路由器,所述第一无线通信模块为WIFI模块,所述第一无线通信模块与WIFI路由器连接。当然,所述无线通信网络也可以为4G或5G移动通信网络,所述移动通信网络包括移动通信基站,所述第一无线通信模块为4G通信模块或5G通信模块,所述第一无线通信模块与移动通信基站连接。
为了减小无线通信网络丢包的影响,所述音频采集设备还可包括数据包复制模块,所述数据包复制模块用于将音频采集模块生成的数据包进行复制后再通过第一无线通信模块发送到无线通信网络,以减小丢包现象对音质的影响。
所述视频拍摄设备包括视频拍摄模块、第二时间同步模块、第二无线通信模块、接收缓冲区、数据包检测模块、视频缓冲区和音视频合成模块。所述视频拍摄模块用于通过视频拍摄获取视频信息;所述第二无线通信模块用于接入无线通信网络并获取音频信息的数据包;所述无线通信网络为WIFI通信网络时,所述第二无线通信模块为WIFI模块,所述第二无线通信模块与WIFI路由器连接。所述无线通信网络为4G或5G移动通信网络时,所述第二无线通信模块为4G通信模块或5G通信模块,所述第二无线通信模块与移动通信基站连接。
所述第二时间同步模块用于发送对时指令给音频采集设备,并获取发送对时指令时其自身的时间戳;以及在收到音频采集设备返回的对时信息后,立即再次获取其自身的时间戳;并计算两个时间戳差值的一半作为视频拍摄设备的指令传送到音频采集设备的时延。所述接收缓冲区用于存储接收到的数据包,并在存储的数据包的数量达到预定的数量后,按照先进先出原则依次将存储的数据包移出接收缓冲区。可在接收缓冲区形成存储队列,按照数据包的生成顺序依次将接收到的数据包存储至存储队列中。当检测到有丢包现象时,在存储队列中为丢包缺失的数据包预留出该数据包对应的存储位置,以便于数据包的时间同步;在对缺失的数据包进行补全后,再将补全的数据包填入存储队列中预留的存储位置中。
所述数据包检测模块用于检测接收的采样信息是否存在丢包现象,并在检测到有丢包现象时,对丢包缺失的数据包进行补全。对丢包缺失的数据包进行补全时,可先将前面一个数据包对应的波形按周期往后复制,将后面一个数据包对应的波形按周期往前复制,通过两个复制波形重叠的部分得出缺失的数据包。
所述视频缓冲区用于对视频拍摄模块拍摄的视频信息进行缓存。所述音视频合成模块用于将移出接收缓冲区的数据包恢复为音频信息并与移出视频缓冲区的视频信息进行合成后生成直播视频。
本实施例中,音频采集设备通过无线通信网络向视频拍摄设备传输音频信息,音频信息传输便捷,且可以进行无损音频的传输,确保音质效果;通过在视频拍摄设备设置接收缓存区,能够及时发现丢包缺失的音频数据,留出了对缺失的音频数据进行补全的时间,从而大大降低了无线通信网络的丢包现象对音质的影响,能够显著提高直播时的音质;且接收缓存区不会造成明显的延时,对视频直播的实时性的影响可以忽略不计。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于接收缓冲区的视频直播时的音频传输方法,其特征在于,包括以下步骤:
S101、将音频采集设备通过无线通信网络与视频拍摄设备连接,并对音频采集设备和视频拍摄设备的时间进行同步;
S102、在视频拍摄设备拍摄视频的同时,音频采集设备进行音频采样,并将得到的采样信息打包为数据包后通过无线通信网络发送给视频拍摄设备;
S103、在视频拍摄设备端建立接收缓冲区,通过接收缓冲区存储接收到的数据包;
S104、检测接收的采样信息是否存在丢包现象,当检测到有丢包现象时,执行以下步骤:
S1041、在存储队列中为丢包缺失的数据包预留出该数据包对应的存储位置;
S1042、对丢包缺失的数据包进行补全;此时,先将前面一个数据包对应的波形按周期往后复制,将后面一个数据包对应的波形按周期往前复制,然后通过两个复制波形重叠的部分得出缺失的数据包;
S1043、将补全的数据包填入存储队列中预留的存储位置中;
S105、当接收缓冲区存储的数据包的数量达到预定的数量后,按照先进先出原则依次将接收缓冲区存储的数据包移出接收缓冲区;
S106、将移出接收缓冲区的数据包恢复为音频信息并与视频拍摄设备在对应时间拍摄的视频信息进行合成后生成直播视频。
2.根据权利要求1所述的基于接收缓冲区的视频直播时的音频传输方法,其特征在于,在所述S101步骤中,设置有多个音频采集设备,多个所述音频采集设备均与视频拍摄设备的时间进行同步;
在所述S103步骤中,在视频拍摄设备端对应每一音频采集设备分别设置有一个接收缓冲区,接收的每一音频采集设备数据包分别存储在对应的接收缓冲区中;
在所述S106步骤中,先将移出各个接收缓冲区的数据包进行多轨合成后再与视频信息进行合成,生成直播视频。
3.根据权利要求1所述的基于接收缓冲区的视频直播时的音频传输方法,其特征在于,在所述S102步骤中,音频采集设备在通过无线通信网络发送数据包给视频拍摄设备之前,先对该数据包进行复制得到两个或两个以上的数据包,再将两个或两个以上的数据包同时发送出去。
4.根据权利要求1所述的基于接收缓冲区的视频直播时的音频传输方法,其特征在于,在所述接收缓冲区形成有存储队列,所述接收缓冲区通过存储队列对数据包进行存储;其中,
在所述S103步骤中,按照数据包的生成顺序依次将接收到的数据包存储至存储队列中;
在所述S105步骤中,按照先进先出原则依次将接收缓冲区存储的数据包移出接收缓冲区的方法包括以下步骤:
S1051、每间隔预定的时间将存储队列中各存储位置的数据包依次后移一个存储位置;间隔的时间与数据包的大小相适配;
S1052、将存储队列中最后一个存储位置存储的数据包移出接收缓冲区;
S1053、将新接收的数据包存储在存储队列的第一个存储位置。
5.根据权利要求1~4任一项所述的基于接收缓冲区的视频直播时的音频传输方法,其特征在于,所述无线通信网络为WIFI通信网络,所述WIFI通信网络包括WIFI路由器,所述音频采集设备和视频拍摄设备均设置有WIFI模块,所述音频采集设备和视频拍摄设备分别通过其WIFI模块与WIFI路由器连接。
6.根据权利要求1~4任一项所述的基于接收缓冲区的视频直播时的音频传输方法,其特征在于,所述无线通信网络为4G或5G移动通信网络,所述移动通信网络包括移动通信基站,所述音频采集设备和视频拍摄设备均设置有4G通信模块或5G通信模块,所述音频采集设备和视频拍摄设备分别通过其4G通信模块或5G通信模块与移动通信基站连接。
7.根据权利要求1~4任一项所述的基于接收缓冲区的视频直播时的音频传输方法,其特征在于,所述音频采集设备为环绕声录音设备、高阻抗乐器录音设备或主动提供幻象供电的录音设备。
8.一种基于接收缓冲区的视频直播时的音频传输系统,其特征在于,包括音频采集设备和视频拍摄设备,所述音频采集设备包括:
音频采集模块,用于通过音频采样采集音频信息;以及
第一时间同步模块,用于在收到视频拍摄设备的对时指令后,立即返回对时信息给视频拍摄设备;
第一无线通信模块,用于将采集的音频信息打包为数据包后通过无线通信网络发送;
所述视频拍摄设备包括:
视频拍摄模块,用于通过视频拍摄获取视频信息;
第二时间同步模块,用于发送对时指令给音频采集设备,并获取发送对时指令时其自身的时间戳;以及在收到音频采集设备返回的对时信息后,立即再次获取其自身的时间戳;并计算两个时间戳差值的一半作为视频拍摄设备的指令传送到音频采集设备的时延;
第二无线通信模块,用于接入无线通信网络并获取音频信息的数据包;
接收缓冲区,用于存储接收到的数据包,并在存储的数据包的数量达到预定的数量后,按照先进先出原则依次将存储的数据包移出接收缓冲区;
数据包检测模块,用于检测接收的采样信息是否存在丢包现象,并在检测到有丢包现象时,执行以下步骤对丢包缺失的数据包进行补全:
S1041、在存储队列中为丢包缺失的数据包预留出该数据包对应的存储位置;
S1042、对丢包缺失的数据包进行补全;此时,先将前面一个数据包对应的波形按周期往后复制,将后面一个数据包对应的波形按周期往前复制,然后通过两个复制波形重叠的部分得出缺失的数据包;
S1043、将补全的数据包填入存储队列中预留的存储位置中;
视频缓冲区,用于对视频拍摄模块拍摄的视频信息进行缓存;以及
音视频合成模块,用于将移出接收缓冲区的数据包恢复为音频信息并与移出视频缓冲区的视频信息进行合成后生成直播视频。
9.根据权利要求8所述的基于接收缓冲区的视频直播时的音频传输系统,其特征在于,所述无线通信网络为WIFI通信网络,所述WIFI通信网络包括WIFI路由器,所述第一无线通信模块和第二无线通信模块均为WIFI模块,所述第一无线通信模块和第二无线通信模块均与WIFI路由器连接;或
所述无线通信网络为4G或5G移动通信网络,所述移动通信网络包括移动通信基站,所述第一无线通信模块和第二无线通信模块均为4G通信模块或5G通信模块,所述第一无线通信模块和第二无线通信模块均与移动通信基站连接。
CN202210927177.0A 2022-08-03 2022-08-03 基于接收缓冲区的视频直播时的音频传输方法及系统 Active CN115297335B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210927177.0A CN115297335B (zh) 2022-08-03 2022-08-03 基于接收缓冲区的视频直播时的音频传输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210927177.0A CN115297335B (zh) 2022-08-03 2022-08-03 基于接收缓冲区的视频直播时的音频传输方法及系统

Publications (2)

Publication Number Publication Date
CN115297335A CN115297335A (zh) 2022-11-04
CN115297335B true CN115297335B (zh) 2024-05-14

Family

ID=83825464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210927177.0A Active CN115297335B (zh) 2022-08-03 2022-08-03 基于接收缓冲区的视频直播时的音频传输方法及系统

Country Status (1)

Country Link
CN (1) CN115297335B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744334A (zh) * 2016-02-18 2016-07-06 海信集团有限公司 一种音视频同步和同步播放的方法及设备
CN106209915A (zh) * 2016-08-31 2016-12-07 深圳聚点互动科技有限公司 一种实时流媒体无线传输方法及其系统
CN106792262A (zh) * 2016-12-05 2017-05-31 乐视控股(北京)有限公司 视频数据传输方法及装置
CN108174242A (zh) * 2018-01-09 2018-06-15 武汉斗鱼网络科技有限公司 直播数据复用方法、装置、存储介质及设备
CN109194974A (zh) * 2018-09-28 2019-01-11 北京北斗方圆电子科技有限公司 用于网络视频直播的媒体低延迟通信方法与系统
CN112636880A (zh) * 2020-12-31 2021-04-09 北京中联合超高清协同技术中心有限公司 侧信道重传高可靠超高清视频卫星传输系统
CN113099310A (zh) * 2021-04-08 2021-07-09 李蕊男 基于安卓平台的实时媒体内视音频协调法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744334A (zh) * 2016-02-18 2016-07-06 海信集团有限公司 一种音视频同步和同步播放的方法及设备
CN106209915A (zh) * 2016-08-31 2016-12-07 深圳聚点互动科技有限公司 一种实时流媒体无线传输方法及其系统
CN106792262A (zh) * 2016-12-05 2017-05-31 乐视控股(北京)有限公司 视频数据传输方法及装置
CN108174242A (zh) * 2018-01-09 2018-06-15 武汉斗鱼网络科技有限公司 直播数据复用方法、装置、存储介质及设备
CN109194974A (zh) * 2018-09-28 2019-01-11 北京北斗方圆电子科技有限公司 用于网络视频直播的媒体低延迟通信方法与系统
CN112636880A (zh) * 2020-12-31 2021-04-09 北京中联合超高清协同技术中心有限公司 侧信道重传高可靠超高清视频卫星传输系统
CN113099310A (zh) * 2021-04-08 2021-07-09 李蕊男 基于安卓平台的实时媒体内视音频协调法

Also Published As

Publication number Publication date
CN115297335A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN104378675B (zh) 一种多通道音视频同步播放处理方法
JP3679808B2 (ja) 信号処理システム
US5923902A (en) System for synchronizing a plurality of nodes to concurrently generate output signals by adjusting relative timelags based on a maximum estimated timelag
WO2015000328A1 (zh) 一种音频同步输出方法及系统
EP1855483A2 (en) Apparatus and method for transmitting and receiving moving pictures using near field communication
CN109168059B (zh) 一种在不同设备上分别播放音频与视频的唇音同步方法
US9042567B2 (en) Acoustic echo cancellation system
CN101548510A (zh) 用于发送传输流包的方法和设备
CN109379619A (zh) 音画同步方法及装置
CN113055312B (zh) 基于同步以太网的多路音频拾音方法和系统
US20180359719A1 (en) Audio device, audio system, and synchronous reproduction method
CN115297335B (zh) 基于接收缓冲区的视频直播时的音频传输方法及系统
CN115297337B (zh) 基于数据收发缓存的视频直播时的音频传输方法及系统
CN101867763A (zh) 发送设备、成像设备、传输系统、接收设备和发送方法
CN105611191B (zh) 语音视频文件合成方法、装置及系统
JP2008060675A (ja) 音声再生装置、音声再生方法
JP2006325103A (ja) コンテンツ送信装置及びそのプログラム、並びに、コンテンツ受信装置及びそのプログラム
JP2009081654A (ja) ストリーム同期再生システム及び方法
JP2011199727A (ja) 複数公衆回線を用いた高帯域動画伝送システムおよび方法
JP3833490B2 (ja) データ伝送において発生する遅延ジッタを吸収する装置および方法
CN100394789C (zh) 控制将填充数据插入到要记录的比特流中的方法和设备
CN115297338A (zh) 视频拍摄时的音频传输方法、视频设备、音频设备及系统
JP5746963B2 (ja) 通信システム
JP5397495B2 (ja) データ配信システムおよび中継装置
JP5330183B2 (ja) パケット挿入削除方法及び通話システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant