CN1933594A - 多路音视频数据网络传输与同步播放的方法 - Google Patents

Abstract

一种多路音视频数据网络传输与同步播放的方法，属于网络传输技术领域。为了解决现有网络传输过程中存在的问题，本发明提供一种在同一IP网络上同时传输多路音视频信号，并实现多路网络音视频实时监控的多路音视频数据网络传输与同步播放的方法。本发明将多路视频信号和多路音频信号分别进行MPEG－4与ADPCM压缩，构造数据包并标记时间戳进行网络传输，在客户端接收数据、解压缩、差错与同步控制，最后播放出来，系统主要包括服务器端软件、客户端软件以及音视频播放控件。本发明实现在同一IP网络上同时传输多路音视频，解决了多路媒体数据的音视频同步播放问题，从而实现了多路网络音视频实时监控，提高了服务器与客户机的资源利用率与性价比。

Description

多路音视频数据网络传输与同步播放的方法

技术领域：

本发明属于网络传输技术领域，特别是涉及一种在网络上可同时传输多路音视频数据的方法。

背景技术：

随着多媒体技术、计算机技术和网络技术的发展，使得数字化音视频数据的网络实时传输和控制成为可能。网络视频监控系统就是在这种情况下出现的。它是一种以计算机技术、图像视频压缩技术和视频数据实时传输技术为核心的新型数字视频监控系统，具有附属设备少，造价低、操作简单、维护方便等特点。适用于银行、邮电、交通、电力、水电、仓库、教学、医疗、军事、公安等系统。网络视频监控系统的应用领域非常广泛，而且市场需求也十分巨大。提高监控的质量、节约现有通信资源、提高通信线路的利用率是当前具有重大意义的课题。目前国内外厂家生产的监控系统，大多只提供单一通道的监控，传输线路利用率低；而且很多网络监控系统只提供视频的监视而不提供音频监听，单一的功能限制了其应用范围，因此急需开发能实现多路音视频传输与同步播放方法，提高其传输线路的利用率和音视监控设备的性能价格比。

技术内容：

为了解决现有网络数据传输过程存在的问题，本发明提供一种在同一IP网络上同时传输多路音视频信号，并实现多路网络音视频实时监控的多路音视频数据网络传输与同步播放的方法。

本发明将多路视频信号和多路音频信号分别进行MPEG一4与ADPCM压缩，构造数据包并标记时间戳进行网络传输，在客户端接收数据、解压缩、差错与同步控制，最后播放出来，系统主要包括服务器端软件、客户端软件以及音视频播放控件。

本发明的信号处理流程为：服务器端软件从设备驱动程序中读取硬件压缩的多路音视频数据，将其封装成在IP网络上传送的数据包并标记该数据包的采集时刻，封装好的数据包通过IP网络进行发送，并按照一定格式保存为录像文件提供给HTTP服务器；客户端软件通过IP网络接收媒体数据包并对其进行差错控制，提取音视频数据和时间戳传递给ActiveX播放控件；播放控件调用DirectShow对音视频数据进行解压缩，通过时间戳对音频流与视频流进行同步，最后播放出来。

服务器软件：数据处理线程从设备文件读出音视频数据，检查完整性并标记时间戳，然后送入指针队列；数据发送线程由指针队列取出数据，构造数据包向网络发送，同时构造录像文件存入硬盘；控制线程监听用户连接，并对用户命令做出响应；

客户端软件：主线程实现UI界面的绘制与用户事件的响应；控制线程完成参数的设定与控制消息的传递；数据线程接收音视频数据包，取出相关信息传递给音视频播放控件；音视频播放控件：采用双队列缓冲控制媒体的播放时机，完成音频流与视频流的同步；采用数据线程推动DirectShow播放媒体数据。

本发明实现在同一IP网络上同时传输多路音视频，解决了多路媒体数据的音视频同步播放问题，从而实现了多路网络音视频实时监控，提高了服务器与客户机的资源利用率与性价比。

本发明实现了在IP网络上同时传输多路音视频数据，解决了多路媒体数据的音视频同步播放问题，从而实现了多路网络音视频实时监控，提高了服务器与客户机的资源利用率与性价比。利用该技术开发出高效实用的音视频传输设备无疑将有广阔的市场前景和巨大的经济、社会效益。基于DirectShow实现多路音视频网络传输与同步播放方法的实用化、产品化，可为网络多路音视频通信提供高效、实时、并可方便灵活多用及具有良好兼容性的通信平台，可为网络的音视频通信提供了一个高性能价格比的选择。

附图说明

图1是服务器数据获取线程和数据发送线程工作流程；

图2是服务器控制线程以录像、发送模块工作流程；

图3是客户端主程序工作流程；

图4是客户端控制线程和数据线程工作流程；

图5是通信协议头结构；

图6是媒体数据消息报头结构；

图7是音视频同步播放示意。

具体实施方式：

本发明将多路视频信号和多路音频信号分别进行MPEG-4与ADPCM压缩，构造数据包并标记时间戳进行网络传输，在客户端接收数据、解压缩、差错与同步控制，最后播放出来，系统主要包括服务器端软件、客户端软件以及音视频播放控件。

本发明信号处理流程是：服务器端软件从设备驱动程序中读取硬件压缩的多路音视频数据，将其封装成在IP网络上传送的数据包并标记该数据包的采集时刻，封装好的数据包通过IP网络进行发送，并按照一定格式保存为录像文件提供给HTTP服务器；客户端软件通过IP网络接收媒体数据包并对其进行差错控制，提取音视频数据和时间戳传递给ActiveX播放控件；播放控件调用DirectShow对音视频数据进行解压缩，通过时间戳对音频流与视频流进行同步，最后播放出来。

服务器软件：数据处理线程从设备文件读出音视频数据，检查完整性并标记时间戳，然后送入指针队列；数据发送线程由指针队列取出数据，构造数据包向网络发送，同时构造录像文件存入硬盘；控制线程监听用户连接，并对用户命令做出响应；

客户端软件：主线程实现UI界面的绘制与用户事件的响应；控制线程完成参数的设定与控制消息的传递；数据线程接收音视频数据包，取出相关信息传递给音视频播放控件；

音视频播放控件：采用双队列缓冲控制媒体的播放时机，完成音频流与视频流的同步；采用数据线程推动DirectShow播放媒体数据。

本发明多路音视频数据网络传输与同步播放方法的实现原理是：

多路音视频网络传输与同步播放不需要太多太复杂的算法，主要实现的服务器同客户机的控制信息交换、音视频数据与时间戳等信息的传送以及解码播放等功能。服务器端采用多个线程来协同工作实现媒体数据的获取、打包、发送等过程，为了实现客户机同服务器的通信，必须约定它们之间的传输规范。在本发明中定义了一个协议栈，客户机首先同服务器建立控制连接，进行身份认证，确定连接种类与权限，然后通过该控制连接获取服务器传输的音视频数据的采样率、尺寸、编码器等参数，初始化本机播放环境，最后根据控制连接协商的结果建立数据线程。在数据线程中依然采用同样的协议，将音频、视频流按照采集时刻分解为帧，标记每一帧数据的通道号、帧号、时间戳等信息，最后构造网络数据包进行发送。在客户端的数据线程中接收服务器送来的媒体数据包，取出每一帧的附带信息，根据通道号将数据送入相应通道的播放控件，从而实现了多路音视频的网络传输。同时，客户端可以通过控制连接对播放过程进行灵活的控制。

本发明对音视频同步播放的实现则采用了时间戳。首先选择一个参考时钟(要求参考时钟上的时间是线性递增的)；生成数据流时依据参考时钟上的时间给每个数据块都打上时间戳(一般包括开始时间和结束时间)；在播放时，读取数据块上的时间戳，同时参考当前参考时钟上的时间来安排播放(如果数据块的开始时间大于当前参考时钟上的时间，则不急于播放该数据块，直到参考时钟达到数据块的开始时间；如果数据块的开始时间小于当前参考时钟上的时间，则“尽快”播放这块数据或者索性将这块数据“丢弃”，以使播放进度追上参考时钟)。

服务器程序开始执行的时候，首先进行初始化工作，包括打开MPEG-4编码芯片IME6400的设备文件、向Linux内核注册IME6400中断、拉低相应的GPIO引脚使能IME6400并按需求设置其寄存器，然后就可以通过IME6400的I2C总线接口配置视频合路FPGA和视频Codec SAA7114，使它们工作在需要的解析度与帧速率。通过这些设置，视频Codec按需要的解析度对采集进来的多路模拟视频信号进行A/D转换，输出的多路数字信号经FPGA整合后传递给MPEG-4编码芯片IME6400。IME6400完成每帧音、视频数据的MPEG-4编码，并在编码完成后用中断的方式通知CPU，后者便可以通过异步总线接口读取压缩好的音、视频码流进行进一步的处理。当程序的初始化工作完成以后，系统硬件便按上述过程开始工作，此时通过IME6400驱动程序已经能够从IME6400设备文件获取需要的音视频数据流。此后，服务器端程序便会开启三条工作线程，并发执行，每个线程的功能与流程介绍如下：

数据获取线程的工作流程如图1左所示：该线程在一个无限循环中从IME6400的设备文件中读取压缩好的音、视频数据。首先检查读取的媒体帧的类型与长度，如果是一个无效的帧类型，则说明当前读取数据的指针并不指向媒体帧的开始位置，此时清除媒体数据有效标志，丢弃读入的数据并在媒体数据流中进行搜索，直到找到下一个有效的媒体帧的起始位置，从新开始从设备文件读入媒体数据。读入的有效媒体数据包括视频I帧、视频P帧与音频帧。如果读入视频I帧，则设置媒体有效标志，根据长度信息申请内存缓冲区并将整帧数据完整读入，检查通道标志与数据接收情况，倘若出错则丢弃读入数据并清除媒体数据有效标志。对于视频P帧，读入前要首先检查媒体数据有效标志，如果该标志有效，则进行与视频I帧相同的操作，否则直接丢弃该帧，以防止播放时发生马赛克现象。如果读入的是音频帧，也进行与视频帧类似的处理。读入完整有效的帧数据之后，就填充附加的帧序列号、帧通道号、帧类型等信息，并通过gettimeofday系统调用获得高精度系统时间，换算成时间戳(100ns精度，64位)加以保存。所有信息完备之后，就可以将指向该媒体数据的指针推入指针队列，供数据发送线程使用。最后，清理状态，开始下一循环对IME6400设备文件的读取。

数据发送线程工作流程如图1右所示：该线程也在一个无限循环中从指针队列中，以阻塞方式读取数据获取线程传递的音视频数据流，然后按照具体的需要进行处理。当系统需要实现录像的功能的时候，则执行录像模块，流程如图2中。首先分别为每个通道创建一个录像文件，随后将该帧数据写入录像文件，并增加文件记录的总帧数，当达到该通道对录像长度的要求时，结束该通道当前文件的录制，在文件头部写入录像的解析度，编码器，音频采样率等参数，然后按照写入各帧时建立的链表在录像的尾部添加索引，最后关闭当前录像文件并创建新文件为继续录像做好准备。当系统需要实现网络实时传输的时候，则执行发送模块，流程如图二右。考虑到公网上传输UDP数据包长度通常不超过2K，因此需要对媒体数据帧进行拆分。将每帧数据分成不超过2K的数据包，并标记好包号，这样就可以在网络上传输了。最后根据具体的网络情况与业务需求，采用单播、广播、组播的方式传递出去。

数据获取线程与数据发送线程能够准确地读取并投递数据，离不开控制线程的协调，其工作流程如图2左所示：在线程开始执行的时候首先初始化socket套接字，绑定端口，对于广播socket需要设置广播socket属性，而组播socket需要加入组播分组。完成初始化后，线程进入无限循环，等待来自TCP端口的控制连接。一旦发现某客户端传递的连接请求，则创建一个单独的线程接受并处理该连接。验证用户身份，并按照用户的需求与权限确定用户采用的连接方式。告知当前每个通道播放的媒体信息的细节，帮助客户端程序构造播放环境。最后根据客户选择的连接类型将音、视频数据流发送出去。

服务器端程序实现了多路音视频数据的采集与网络发送，而这些媒体数据的接收与差错控制则由客户端程序负责，其主程序工作流程如图3所示：同一般的Windows一样，程序开始执行的时候进行环境的初始化，建立Document与View结构，打开网络准备连接到服务器。然后程序进入消息循环，接受用户与系统传递过来的各种消息，进行相应的处理。当用户希望播放多路媒体数据流的时候，单击“打开网络”按钮，系统传递相应的消息，主程序创建TCP控制线程进行处理。

TCP控制线程负责用户的命令连接，其工作流程如图4左：在线程开始的时候初始化Socket，发送连接请求，向服务器提供登陆的用户名与密码，完成身份验证后，进入循环监听连接端口，等待服务器命令。每当收到命令的时候，分析命令的合法性并对有效的命令加以执行，发送命令应答。服务器首先通知服务器支持的媒体通道数目，线程函数根据接收数据初始化这些通道的音视频播放控件，完成媒体参数的设置以及连接方式的协商。一切准备就绪后，启动UDP数据线程。此时根据连接的种类决定TCP控制线程的工作状态。如果是广播或者组播方式，则控制线程立刻断开TCP连接并返回，以节约系统资源。如果是点对点连接方式则保持连接，继续监听服务器命令，提供对播放过程更好的控制。

UDP数据线程负责用户的数据连接，其工作流程如图4右：在线程启动的时候初始化Socket并按照需要加入组播分组，监听协商好的连接端口。然后初始化接收缓冲区与接收状态机。每当收到一个数据包的时候，读出其头部，验证帧类型与序列号，将多个小于2K的数据包拼接成完整的媒体帧，进行差错检查与完整性检查，丢弃出错的帧并填零，将服务器提供的绝对时间戳换算为本地播放的相对时间戳，最后识别媒体帧的通道标识，把收到的数据发送给对应通道的播放控件。当收到结束命令的时候，释放缓冲区、关闭Socket并退出线程执行。

服务器同客户端之间的通信还有一个需要考虑的问题就是通信协议。不论TCP还是UDP信道，每条消息都有一个8字节长的报头，标志消息的具体类型与功能，其具体结构如图5，结构介绍如下表。

字段序号	字段名称	字段长度	完成功能
				1	MainType	2	标识消息的主类型
2	RequestDirection	1	标识连接方向

3	AdditionInfo	1	传递附加信息
				4	DataLength	4	消息长度(数据区)
5	Data	-	传递数据

在上面定义的消息头传递了每个消息的基本信息，其中MainType段标识了该消息的种类，而在Data段是该消息的具体数据，例如每个媒体数据帧都由若干个DATA_PACKET类型的消息发送(消息MainType值为0x8000)，该消息Data段包括媒体帧的详细信息，结构如图6。所有消息字段内部采用little endian格式，通过上述方法，不同通道、不同类型的媒体数据便可以没有歧义地在服务器与客户机之间传输。

对于播放过程中的音视频同步，采用时间戳的办法加以解决，具体见图7。时间戳选择64位长整数，采用100纳秒为记时单位，在服务器端用Linux系统调用gettimeofday，获得系统当前时间，标记时间戳。客户端还原时间戳，减去Filter Graph开始运行时传递的服务器系统时间，得到流时间，以此为参考，决定音视频的播放时机。对于音频，进行一帧缓冲，以平滑播放效果，避免停顿，并根据音频的播放调整参考时钟。视频按照音频尺度进行缓冲，如果落后则加速播放，提前则等待。对于网络原因引起的丢帧现象，采用比较简单的填零技术，即如果发现帧序列号不连续，就插入一个全零的帧填补空白。

最后调用DirectShow机制完成音视频数据的播放，多个音视频播放控件协同工作，完成了本发明提出的多路音视频网络传输与同步播放。

Claims (3)

1、一种多路音视频数据网络传输与同步播放的方法，其特征在于：将多路视频信号和多路音频信号分别进行MPEG-4与ADPCM压缩，构造数据包并标记时间戳进行网络传输，在客户端接收数据、解压缩、差错与同步控制，最后播放出来，系统主要包括服务器端软件、客户端软件以及音视频播放控件。

2、根据权利要求1所述的多路音视频数据网络传输与同步播放的方法，其信号处理流程为：服务器端软件从设备驱动程序中读取硬件压缩的多路音视频数据，将其封装成在IP网络上传送的数据包并标记该数据包的采集时刻，封装好的数据包通过IP网络进行发送，并按照一定格式保存为录像文件提供给HTTP服务器；客户端软件通过IP网络接收媒体数据包并对其进行差错控制，提取音视频数据和时间戳传递给ActiveX播放控件；播放控件调用DirectShow对音视频数据进行解压缩，通过时间戳对音频流与视频流进行同步，最后播放出来。

3、根据权利要求1或2所述的多路音视频数据网络传输与同步播放的方法，其特征在于：

服务器软件：数据处理线程从设备文件读出音视频数据，检查完整性并标记时间戳，然后送入指针队列；数据发送线程由指针队列取出数据，构造数据包向网络发送，同时构造录像文件存入硬盘；控制线程监听用户连接，并对用户命令做出响应；

客户端软件：主线程实现UI界面的绘制与用户事件的响应；控制线程完成参数的设定与控制消息的传递；数据线程接收音视频数据包，取出相关信息传递给音视频播放控件；

音视频播放控件：采用双队列缓冲控制媒体的播放时机，完成音频流与视频流的同步；采用数据线程推动DirectShow播放媒体数据。

Images