CN103327300A - 一种基于usb2.0协议的音视频传输系统及方法 - Google Patents

Abstract

本发明基于USB2.0协议的音视频传输系统包括数据采集单元，用以将模拟信号转换为数字信号；中央处理单元，用以将接收到的音视频数据进行解析并重新组合；内存单元，用以对数据的整理和存储；USB控制单元，用以将组合后的音视频数据通过USB传输方式与上位机进行交互。本发明还提供了一种方法，该方法首先通过对音视频数据进行滤波、放大、模数转换、解析、组合，再利用内存单元对数据进行整合和存储，最后利用USB2.0协议实现了实时音视频数据的无损同步传输。本发明通过对音视频数据进行解析、组合，并利用USB2.0协议实现了实时音视频数据的无损同步传输，不仅占用的硬件资源少，而且实现了多路音视频数据的同步传输。

Description

一种基于USB2.0协议的音视频传输系统及方法

技术领域

本发明涉及音视频数据传输技术领域，具体地说是一种基于USB2.0协议的音视频传输系统及方法。

背景技术

音视频数据的采集在各个行业有着广泛地使用以及重要的意义。传统的采集方案是使用PCI或者PCI-E来进行数据传输。PCI/PCI-E接口虽然在带宽以及传输速度上有着明显的优势，但是由于需要接口的支持，此类采集卡不能使用在便携式计算机上。随着便携式计算机的大量普及，使用PCI/PCI-E进行音视频采集的方式已经不适合人们的需求。

USB以其即插即用、便于携带以及标准统一的优势已经成为个人计算机的标准接口，几乎100%的个人计算机均支持USB。USB2.0协议最高传输速度能够达到480Mbps，这就使得使用USB进行音视频数据采集成为了可能。市面上也出现了以USB为传输媒介的音视频采集卡，但由于多路视频数据的随机性，造成视频不能全实时传输。在这样的背景下，我们提出了一种基于USB2.0协议传输的多路全实时音视频采集方案。使用该方案可以使用USB2.0接口采集音视频数据，最大可传输8路实时音视频数据。

发明内容

为克服以上技术的不足，本发明提供了一种基于USB2.0协议的音视频传输系统及方法，其充分地利用USB2.0接口带宽，能够实时传输8路音视频的数据。

为了解决上述技术问题，本发明提供了一种基于USB2.0协议的音视频传输系统，其特征是，包括数据采集单元、中央处理单元、USB控制单元、内存单元和电源单元，

所述数据采集单元包括音频采集设备、视频采集设备和A/D转换模块，所述A/D转换模块的输入端分别与音频采集设备和视频采集设备连接，输出端与中央处理单元连接，用以将模拟信号转换为数字信号，实现音视频数据的采集；

所述中央处理单元采用FPGA芯片，用以将接收到的音视频数据进行解析并重新组合；

所述的内存单元采用高速缓冲存储器，它与中央处理单元点连接，通过与中央处理单元的实时数据交互，实现对数据的整理和存储；

所述USB控制单元包括USB控制器和USB接口，所述USB控制器分别与中央处理单元和USB接口连接，用以接收中央处理单元发来的组合后的音视频数据，并通过USB传输方式与上位机进行交互；

所述的电源单元为整个系统提供工作电源。

进一步的，所述的数据采集单元中设有滤波放大电路，所述滤波放大电路的输入端分别与音频采集设备和视频采集设备连接，所述滤波放大电路的输出端与A/D转换模块连接。

本发明还提供了一种基于USB2.0协议的音视频传输方法，其特征是，包括以下步骤：

步骤一，采集音视频模拟信号；

步骤二，将采集到的模拟信号转换为数字信号；

步骤三，对采集的音视频数据进行解析；

步骤四，将解析后的音视频数据进行组合，并在组合过程中实时的将完成的数据存入内存单元；

步骤五，提取内存单元中完整的音视频数据；

步骤六，通过USB协议同步传输音视频数据。

进一步的，所述的步骤二包括以下步骤：先将采集到的音视频模拟信号进行滤波和放大处理，再将采集到的模拟信号转换为数字信号。

进一步的，所述对采集的音视频数据进行解析的步骤包括以下步骤：

对音频数据进行处理；

将数字信号音频数据存储到FIFO中；

等待音频数据传输命令；

对视频数据进行解析；

将数字信号视频数据进行拆分；

对拆分的视频数据进行解析，并判断是否为有效视频数据。

进一步的，所述对视频数据的解析是通过视频数据的EAV和SAV，对数据的行、场信息进行检测，解析出有效数据。

进一步的，所述将解析后的音视频数据进行组合的步骤包括以下步骤：

获取1个字节数据；

判断数据是否为视频数据帧头数据；

如果是视频帧头，则添加视频帧标识，然后再添加一行视频数据；

如果不是帧头，则判断是否是视频数据行头，如果是则添加视频数据行标识，然后再添加一行视频数据；

如果以上两个判断均不成立，则添加音频数据标识，再添加32字节的音频数据，形成一个同步的音视频数据包；

重复上述S301至S305步骤，继续形成同步的音视频数据包。

本发明的有益效果：

1、本发明通过对音视频数据进行滤波、放大、模数转换、解析、组合，特别是对数据的滤波和放大处理，滤除了多余的数据，强化了有效数据，大大提高了了数据的有效性、准确性和清晰度。

2、由于增加了内存单元，组合后的数据会在内存单元中进行整合和存储，保证了传输数据的完整性和稳定性。

3、本发明占用的硬件资源少，在实现8路音视频数据实时传输的同时，还保证了传输的质量。

附图说明

下面结合附图对本发明作进一步说明：

图1是本发明的一种实施例的系统结构框图；

图2是基于图1所示系统的方法流程图；

图3是本发明所述音视频数据解析的方法流程图；

图4是本发明所述音视频数据组合的方法流程图；

图5是本发明所述对音视频数据进行组合后的数据包格式的示意图；

图6是本发明所述ITU-RBT.656视频行格式的示意图；

图7是本发明所述对视频数据解析后的有效数据区示意图。

具体实施方式

如图1所示，本发明的一种实施例基于USB2.0协议的音视频传输系统，它包括数据采集单元、中央处理单元、USB控制单元、内存单元、滤波放大电路和电源单元，

所述数据采集单元包括音频采集设备、视频采集设备、滤波放大电路和A/D转换模块，所述滤波放大电路的输入端分别与音频采集设备和视频采集设备连接，所述滤波放大电路的输出端与A/D转换模块输入端连接，所述A/D转换模块的输出端与中央处理单元连接，滤波放大电路用以对采集到的音视频模拟信号进行滤波和放大处理，A/D转换模块CX26824芯片，用以将模拟信号转换为数字信号，实现音视频数据的采集；

所述中央处理单元采用型号为XC3S50A的FPGA芯片，用以将接收到的音视频数据进行解析并重新组合；

所述的内存单元采用高速缓冲存储器，它与中央处理单元点连接，通过与中央处理单元的实时数据交互，实现对数据的整理和存储；

所述USB控制单元包括USB控制器和USB接口，所述USB控制器采用的型号为CY7C68013A，USB控制器分别与中央处理单元和USB接口连接，用以接收中央处理单元发来的组合后的音视频数据，并通过USB传输方式与上位机进行交互；

所述的电源单元为整个系统提供工作电源。

如图2所示，针对图1所示的系统，本发明还提供了一种基于USB2.0协议的音视频传输方法，它包括以下步骤：

步骤一，采集8路音视频模拟信号；

步骤二，将采集到的音视频模拟信号进行滤波和放大处理；

步骤三，将采集到的模拟信号转换为数字信号；

步骤四，对采集的音视频数据进行解析，其具体过程如图3所示：

步骤101，对音频数据进行处理；

步骤102，将数字信号音频数据存储到FIFO中；

步骤103，等待音频数据传输命令；

步骤104，对视频数据进行解析；

步骤105，将数字信号视频数据进行拆分；

步骤106，对拆分的视频数据进行解析，并判断是否为有效视频数据；

步骤五，将解析后的音视频数据进行组合，并在组合过程中实时的将完成的数据存入内存单元，将解析后的音视频数据进行组合的具体步骤如图4所示：

步骤201，获取4个字节数据；

步骤202，判断数据是否为视频数据帧头数据；

步骤203，如果是视频帧头，则添加视频帧标识，然后再添加一行视频数据；

步骤204，如果不是帧头，则判断是否是视频数据行头，如果是则添加视频数据行标识，然后再添加一行视频数据；

步骤205，如果以上两个判断均不成立，则添加32字节的音频数据，形成一个同步的音视频数据包，所述的音视频数据包格式；

步骤206，重复上述201至205步骤，继续形成同步的音视频数据包；

步骤六，提取内存单元中完整的音视频数据；

步骤七，通过USB协议同步传输音视频数据。

从以下几个方面对本发明做进一步说明：

一、滤波放大过程

在此过程中，对于视频数据来说，主要是通过滤波过程优化了画面，增加了画面的清晰度；对于音频数据而言，在滤波过程中，滤除了杂音（即无效数据），间接地强化了目标音频信号（即有效数据），再通过放大过程进一步增强目标音频信号（即有效数据），从而大大提高了了数据的有效性、准确性和清晰度。

二、视频数据解析

A/D转换模块从音频采集设备和视频采集设备接收到的视频数据是按照ITU-RBT.656视频标准来传输的，该标准PAL制式（720*576）每场由四部分组成。

1）有效视频数据：如图7所示，分为奇场和偶场，均由288行组成。每行有1440个字节，其中720个字节为Y分量，360个字节为Cb分量，360个字节为Cr分量。Y分量的取值为16～235；Cb和Cr分量的取值为16～240。

2）水平消隐，有280个字节。

3）垂直消隐。

4）控制字。

对于有效数据行，ITU-RBT.656视频行格式如图6所示。EAV和SAV为嵌入式控制字，分别表示有效视频的终点和起点。EAV和SAV均为4个字节构成，前3个字节FF、00、00为固定头，“XY”为控制字。“XY”的8个bit含义如下：

Bit7（Const），常数，总为1。

Bit6（F），场同步信号，表示该行数据处于奇场还是偶场。

Bit5（V），垂直同步信号，表示处于场消隐区间还是正程区间（有效数据行）。

Bit4（H），水平同步信号，表示是“SAV”还是“EAV”。

Bit3-0（P3P2P1P0），纠错位。P3=V(XOR)H；P2=F(XOR)H；P1=F(XOR)V；P0=F(XOR)V(XOR)H。

本发明对EAV与SAV的详细定义如表1所示：

表1：

Bit7	Bit6	Bit5	Bit4	Bit3-0(P3P2P1P0)	Hex	Description
							1	0	0	0	0000	0x80	Even,Active,SAV
1	0	0	1	1101	0x9d	Even,Active,EAV
							1	0	1	0	1011	0xab	Even,Blank,SAV
1	0	1	1	0110	0xb6	Even,Blank,EAV
							1	1	0	0	0111	0xc7	Odd,Active,SAV
1	1	0	1	1010	0xda	Odd,Active,EAV
							1	1	1	0	1100	0xec	Odd,Blank,SAV
1	1	1	1	0001	0xf1	Odd,Blank,EAV

对于图6中的Validdata（有效数据）区，其数据排列顺序如图6所示。即Y:Cb:Cr=4:2:2。从图像的像素点上来理解，就是每个像素点有一个单独的Y值，而相邻的两个像素点的Cb和Cr数据是一样的。

本发明所述对视频数据解析的方法是通过EAV和SAV对行、场信息进行检测，分离出有效数据。为了能够有效利用USB带宽，需要只传输解析后的有效数据。为了使上位机软件能够正确识别一帧的开始，将每一帧图像的首行数据加上有效的标志。本文方法是通过将每帧的第一个有效行的SAV的第三个字节标记为0XFF来实现的。

三、音频数据解析

音频数据是按照I2S协议来进行采集的。音频数据是在声道同步信号有效后第二个数据周期开始采集的。音频数据有不同于视频的特点，它没有同步的概念并且数据是持续不断的。由于视频和音频是共用USB带宽进行传输，为了不丢失数据，在传输视频数据的时候需要保存视频传输期间采集到的音频数据。

四、音视频数据组合

基于上述对音视频数据的分析和解析，结合USB2.0协议数据传输的特点，提出以下音视频数据组合方法。

视频数据经过格式解析后是以行为单位的数据块，并且行与行之间有一定的时间间隙。因此，音频数据可以在视频行与行之间的间隙进行传输。

为了能够分辨音频和视频数据，在音频数据上也加一个类似于视频行同步的标识头，并且根据视频格式特点，选择合适大小的FIFO作为音频存储空间。在传输视频的时候存储音频，在视频一行传输完成后去询问FIFO是否准备好了32字节的音频数据，如果准备好则传输32字节的音频数据，否则传输下一行视频数据。此处的32字节是根据音频传输特点以及AD芯片视频输出格式综合确定的。通过上述方法对音视频数据进行组合后的数据包格式如图5所示。

五、数据缓存

1路分辨率为480x288pixs，422格式（YUV），25fps的视频数据需求带宽约为6.75MBps，为了兼容绝大多数PC机，USB2.0实际带宽不应超过30MBps，因此，利用USB2.0接口最大可以实现4路分辨率为480x288pixs，422格式（YUV），25fps的视频数据。

为了进一步增加视频路数，需要降低每一路视频数据占用的带宽，做法如下：

一方面，由于人眼对色度信号不敏感，因此在保持分辨率不变的情况下将422转为420输出；另一方面，将视频帧率降低为原来的2/3，即28×2÷3=16.66fps，对于人眼来说，视频流畅性没有明显下降，因此处理后1路视频占用带宽为6.75×(3/4)×(2/3)=3.375MBps，这样，利用USB2.0接口最大可以实现mod(30/3.375)=8路分辨率为480x288pixs，420格式（YUV），16.66fps的视频数据。

由于多路视频有效数据的随机性，同一时刻有可能出现多路有效的视频数据，最坏的情况下同时会有8路视频有效，AD芯片传输一路WCIF视频数据的时钟为9M，这样有效数据传输速率的峰值会达到8×9=72MBps（AD数据线宽度为8bit），远远超过了USB2.0实际情况下的30MBps，而从上面分析来看，虽然8路视频瞬时速率比较快，但是平均速率是不超过30MBps的，因此通过加上一片内存颗粒作为数据缓冲池来实现视频数据的匀速传输。

此外，本发明采用Xilinx公司型号为XC3S50A的低端FPGA，在同时采集8路音视频时，不仅FPGA资源利用占用率很低，而且采集的音视频数据无损，图像清晰细腻流畅，实现了在使用很少的硬件资源的情况下，完成多路音视频数据的无损同步传输。

Claims (7)

1.一种基于USB2.0协议的音视频传输系统，其特征是，包括数据采集单元、中央处理单元、USB控制单元、内存单元和电源单元，

所述数据采集单元包括音频采集设备、视频采集设备和A/D转换模块，所述A/D转换模块的输入端分别与音频采集设备和视频采集设备连接，输出端与中央处理单元连接，用以将模拟信号转换为数字信号，实现音视频数据的采集；

所述中央处理单元采用FPGA芯片，用以将接收到的音视频数据进行解析并重新组合；

所述的内存单元采用高速缓冲存储器，它与中央处理单元点连接，通过与中央处理单元的实时数据交互，实现对数据的整理和存储；

所述USB控制单元包括USB控制器和USB接口，所述USB控制器分别与中央处理单元和USB接口连接，用以接收中央处理单元发来的组合后的音视频数据，并通过USB传输方式与上位机进行交互；

所述的电源单元为整个系统提供工作电源。

2.根据权利要求1所述的一种基于USB2.0协议的音视频传输系统，其特征是，所述的数据采集单元中设有滤波放大电路，所述滤波放大电路的输入端分别与音频采集设备和视频采集设备连接，所述滤波放大电路的输出端与A/D转换模块连接。

3.一种基于USB2.0协议的音视频传输方法，其特征是，包括以下步骤：

步骤一，采集音视频模拟信号；

步骤二，将采集到的模拟信号转换为数字信号；

步骤三，对采集的音视频数据进行解析；

步骤四，将解析后的音视频数据进行组合，并在组合过程中实时的将完成的数据存入内存单元；

步骤五，提取内存单元中完整的音视频数据；

步骤六，通过USB协议同步传输音视频数据。

4.根据权利要求3所述的一种基于USB2.0协议的音视频传输方法，其特征是，所述的步骤二包括以下步骤：先将采集到的音视频模拟信号进行滤波和放大处理，再将采集到的模拟信号转换为数字信号。

5.根据权利要求3或4所述的一种基于USB2.0协议的音视频传输方法，其特征是，所述对采集的音视频数据进行解析的步骤包括以下步骤：

对音频数据进行处理；

将数字信号音频数据存储到FIFO中；

等待音频数据传输命令；

对视频数据进行解析；

将数字信号视频数据进行拆分；

对拆分的视频数据进行解析，并判断是否为有效视频数据。

6.根据权利要求5所述的一种基于USB2.0协议的音视频传输方法，其特征是，所述对视频数据的解析是通过视频数据的EAV和SAV，对数据的行、场信息进行检测，解析出有效数据。

7.根据权利要求3或4所述的一种基于USB2.0协议的音视频传输方法，其特征是，所述将解析后的音视频数据进行组合的步骤包括以下步骤：

获取1个字节数据；

判断数据是否为视频数据帧头数据；

如果是视频帧头，则添加视频帧标识，然后再添加一行视频数据；

如果不是帧头，则判断是否是视频数据行头，如果是则添加视频数据行标识，然后再添加一行视频数据；

如果以上两个判断均不成立，则添加音频数据标识，再添加32字节的音频数据，形成一个同步的音视频数据包；

重复上述S301至S305步骤，继续形成同步的音视频数据包。

Images