CN102547252B

CN102547252B - 用fpga在音视频码流中复用其它数据的方法及系统

Info

Publication number: CN102547252B
Application number: CN201010580624.7A
Authority: CN
Inventors: 袁斯华; 周智
Original assignee: Shengle Information Technolpogy Shanghai Co Ltd
Current assignee: Shanghai Zhangmen Science and Technology Co Ltd
Priority date: 2010-12-09
Filing date: 2010-12-09
Publication date: 2018-10-26
Anticipated expiration: 2030-12-09
Also published as: CN102547252A

Abstract

本发明公开了一种用FPGA在音视频码流中复用其它数据的方法，将不同来源的音视频数据和其它数据引入至FPGA中，输出也从FPGA引出，在一端的FPGA中设计一个复用逻辑，配合优先级控制，将音视频数据和其它数据加上包头标志并按优先级高低顺序往外发送，在另一端的FPGA接收，按包头标志分包，将音视频数据送给音视频终端设备用于显示、将其它数据输出到音视频终端设备进行显示或者输出到其它数据处理设备进行处理。本发明还公开了一种用FPGA在音视频码流中复用其它数据的系统。本发明能实现音视频数据流复用其它数据，能增加互动性，能丰富视频显示的内容。

Description

用FPGA在音视频码流中复用其它数据的方法及系统

技术领域

本发明涉及信息技术，特别涉及一种用FPGA在音视频码流中复用其它数据的方法及系统。

背景技术

现在音视频的压缩与解压缩的应用十分广泛，也就是将音视频信号经过A/D(模数转换)芯片压缩后，通过通信线路发送出去，然后在通信线路另一端将音视频信号接收并经过D/A(数模转换)解压缩，送给显示设备，这种单向音视频的传输并显示，用户无法进行互动控制，不能满足用户的互动需求。

FPGA(Field-Programmable Gate Array，现场可编程门阵列)作为专用集成电路(ASIC)领域中的一种半定制电路，采用了逻辑单元阵列LCA(Logic Cell Array)这样一个概念，内部包括可配置逻辑模块CLB(Configurable Logic Block)、输出输入模块IOB(Input Output Block)和内部连线(Interconnect)三个部分。FPGA是由存放在片内RAM(Random Aaccess Memory，随机存取存储器)中的程序来设置其工作状态的，因此，工作时需要对片内的RAM进行编程。用户可以根据不同的配置模式，采用不同的编程方式。加电时，FPGA将存储器(如可擦除可编程只读存储器)中的数据读入片内的RAM中，配置完成后，FPGA进入工作状态。掉电后，FPGA恢复成白片，内部逻辑关系消失，因此，FPGA能够反复使用。FPGA的编程无须专用的FPGA编程器，只须用通用的存储器、存储器编程器即可。当需要修改FPGA功能时，只需换一片存储器即可。这样，同一片FPGA，不同的编程数据，可以产生不同的电路功能，因此FPGA的使用非常灵活。FPGA的基本特点主要有：

1)采用FPGA设计ASIC电路，用户不需要投片生产，就能得到合用的芯片；

2)FPGA可做其它全定制或半定制ASIC电路的中试样片；

3)FPGA内部有丰富的触发器和I/O引脚；

4)FPGA是ASIC电路中设计周期最短、开发费用最低、风险最小的器件之一；

5)FPGA采用高速CHMOS工艺，功耗低，可以与CMOS、TTL电平兼容。

可以说，FPGA芯片是小批量系统提高系统集成度、可靠性的最佳选择之一。

发明内容

本发明要解决的技术问题是，能实现音视频数据流复用其它数据，能增加互动性，能丰富视频显示的内容。

为解决上述技术问题，本发明提供了一种用FPGA在音视频码流中复用其它数据的方法，将第一FPGA同第二FPGA通过通信线路相连，

第一FPGA将音视频数据及其它数据复用后传送到第二FPGA，第二FPGA将第一FPGA传来的数据去复用后分别传送到音视频终端设备及其它数据处理设备；

第二FPGA将音视频互动数据、其它互动数据复用后传送到第一FPGA，第一FPGA将第二FPGA传来的数据去复用后分别传送到音视频码流产生设备及其它数据产生设备。

第一FPGA传送数据到第二FPGA的工作流程如下：

一.第一FPGA读取音视频数据及其它数据并缓存；

二.第一FPGA将缓存的音视频数据、其它数据分别加上对应的包头标志并打包；

三.第一FPGA根据音视频数据、其它数据的包头标志设置数据发送优先级；

四.第一FPGA按照数据发送优先级将音视频数据包、其它数据包进行复用；

五.第一FPGA将复用后的音视频数据包、其它数据包发送到通信线路；

六.第二FPGA从通信线路上接收数据包；

七.第二FPGA将接收到的数据包去复用并缓存；

八.第二FPGA将去复用的数据包解包；

九.第二FPGA根据数据包的包头标志的不同，将音视频数据、其它数据分别输出到音视频终端设备及其它数据处理设备。

第二FPGA传送数据到第一FPGA的工作流程同第一FPGA传送数据到第二FPGA的工作流程相反，第二FPGA读取音视频互动数据及其它互动数据并缓存，第一FPGA将音视频互动数据、其它互动数据分别输出到音视频码流产生设备及其它数据产生设备。

其它数据可以为usb数据。

其它数据可以为互动控制信号或字符、图片数据。

为解决上述技术问题，本发明还提供了一种用FPGA在音视频码流中复用其它数据的系统，包括第一FPGA、第一存储器、第二FPGA、第二存储器；

第一FPGA用于接输入音视频码流产生设备及其它数据产生设备，第二FPGA用于接音视频终端设备及其它数据处理设备，第一FPGA同第二FPGA通过通信线路相连；

第一存储器中写有第一FPGA的工作状态设置程序并同第一FPGA相连，第二存储器中写有第二FPGA的工作状态设置程序并同第二FPGA相连；

第一FPGA根据第一FPGA的工作状态设置程序的设置工作，第二FPGA根据第二FPGA的工作状态设置程序的设置工作；

第一FPGA将音视频码流产生设备产生的音视频数据及其它数据产生设备产生的其它数据复用后传送到第二FPGA，第二FPGA将第一FPGA传来的数据去复用后分别传送到音视频终端设备及其它数据处理设备；

第二FPGA将音视频终端设备产生的音视频互动数据、其它数据处理设备产生的其它互动数据复用后传送到第一FPGA，第一FPGA将第二FPGA传来的数据去复用后分别传送到音视频码流产生设备及其它数据产生设备。

第一FPGA包括第一数据读写模块、第一打包解包模块、第一复用模块、第一优先级控制模块、第一数据收发模块；

第二FPGA包括第二数据读写模块、第二打包解包模块、第二复用模块、第二优先级控制模块、第二数据收发模块；

第一数据读写模块，用于读取音视频码流产生设备产生的音视频数据及其它数据产生设备产生的其它数据并缓存，或者根据第一打包解包模块解包后的数据包的包头标志的不同，将解包后的数据分别传送到音视频码流产生设备及其它数据产生设备；

第一打包解包模块，用于将第一数据读写模块缓存的音视频数据、其它数据分别加上对应的包头标志并打包，或者将第一复用模块缓存的数据包解包；

第一优先级控制模块，用于设置数据发送优先级；

第一复用模块，用于按照第一优先级控制模块设置的数据发送优先级将音视频数据包、其它数据包进行复用，或者用于将第一数据收发模块接收到的数据包去复用并缓存；

第一数据收发模块，用于将第一复用模块进行复用后的音视频数据包、其它数据包发送到通信线路，或者从通信线路上接收数据包；

第二数据收发模块，用于从通信线路上接收数据包，或者将第二复用模块进行复用后的音视频互动数据包、其它互动数据包发送到通信线路；

第二复用模块，用于将第二数据收发模块接收到的数据包去复用并缓存，或者按照第二优先级控制模块设置的数据发送优先级将音视频互动数据包、其它互动数据包进行复用；

第二打包解包模块，用于将第二复用模块缓存的数据包解包，或者将第二复用模块缓存的音视频互动数据、其它互动数据分别加上对应的包头标志并打包；

第二数据读写模块，用于根据数据包的包头标志的不同，将第二打包解包模块解包后的数据分别传送到音视频终端设备及其它数据处理设备，或者读取音视频终端设备产生的音视频互动数据及其它数据处理设备产生的其它互动数据并缓存。

其它数据可以为usb数据。

其它数据可以为互动控制信号或字符、图片数据。

本发明的用FPGA在音视频码流中复用其它数据的方法及系统，将不同来源的音视频数据和其它数据引入至FPGA中，输出也从FPGA引出，在一端的FPGA中设计一个复用逻辑，配合优先级控制，将音视频数据和其它数据加上包头标志并按优先级高低顺序往外发送，在另一端的FPGA接收，按包头标志分包，将音视频数据送给音视频终端设备进行显示、将其它数据输出到音视频终端设备用于显示或者输出其它数据处理设备进行处理，这样就可以实现音视频数据流复用其它数据的功能。利用本发明的用FPGA在音视频码流中复用其它数据的方法及系统，可以在音视频数据的传输中加入互动控制信号的传输，互动控制信号输出到其它数据处理设备进行处理以供用户交互使用，增加互动性，也可以在音视频数据的传输中加入字符、图片等数据，通过另一端的FPGA将字符、图片等数据同音视频数据一起送到音视频终端设备用于显示，从而可以丰富视频显示的内容。

附图说明

下面结合附图及具体实施方式对本发明作进一步详细说明。

图1是本发明的用FPGA在音视频码流中复用其它数据的系统一实施方式示意图。

具体实施方式

本发明的用FPGA(现场可编程门阵列)在音视频码流中复用其它数据的方法，将第一FPGA同第二FPGA通过通信线路相连，在第一存储器(如PROM、EPROM、闪存FLASH等)中写入第一FPGA的工作状态设置程序并同第一FPGA相连，在第二存储器(如PROM、EPROM、闪存FLASH等)中写入第二FPGA的工作状态设置程序并同第二FPGA相连，将第一FPGA同音视频码流产生设备及其它数据产生设备相连，将第二FPGA同音视频终端设备及其它数据处理设备相连；

当第一FPGA传送数据到第二FPGA时，工作流程如下：

一.第一FPGA读取音视频码流产生设备产生的音视频数据及其它数据产生设备产生的其它数据并缓存；

六.第二FPGA从通信线路上接收数据包；

七.第二FPGA将接收到的数据包去复用并缓存；

八.第二FPGA将去复用的数据包解包；

当第二FPGA传送数据到第一FPGA时，工作流程如下：

一.第二FPGA读取音视频终端设备产生的音视频互动数据及其它数据处理设备产生的其它互动数据并缓存；

二.第二FPGA将缓存的音视频互动数据、其它互动数据分别加上对应的包头标志并打包；

三.第二FPGA根据音视频互动数据、其它互动数据的包头标志设置数据发送优先级；

四.第二FPGA按照数据发送优先级将音视频互动数据包、其它互动数据包进行复用；

五.第二FPGA将复用后的音视频互动数据包、其它互动数据包发送到通信线路；

六.第一FPGA从通信线路上接收数据包；

七.第一FPGA将接收到的数据包去复用并缓存；

八.第一FPGA将去复用的数据包解包；

九.第一FPGA根据音视频互动数据包、其它互动数据包的包头标志的不同，将音视频互动数据、其它互动数据分别输出到音视频码流产生设备及其它数据产生设备。

一用FPGA(现场可编程门阵列)在音视频码流中复用其它数据的系统如图1所示，包括第一FPGA、第一存储器(如PROM、EPROM、闪存FLASH等)、第二FPGA、第二存储器(如PROM、EPROM、闪存FLASH等)；

所述第一FPGA的工作状态设置程序，使第一FPGA包括第一数据读写模块、第一打包解包模块、第一复用模块、第一优先级控制模块、第一数据收发模块；所述第二FPGA的工作状态设置程序，使第二FPGA包括第二数据读写模块、第二打包解包模块、第二复用模块、第二优先级控制模块、第二数据收发模块；

当第一FPGA发送数据到第二FPGA时，第一数据读写模块用于读取音视频码流产生设备产生的音视频数据及其它数据产生设备产生的其它数据并缓存；第一打包解包模块用于将缓存的音视频数据、其它数据分别加上对应的包头标志并打包；第一优先级控制模块用于设置数据发送优先级；第一复用模块用于按照第一优先级控制模块设置的数据发送优先级将音视频数据包、其它数据包进行复用；第一数据收发模块用于将第一复用模块进行复用后的音视频数据包、其它数据包发送到通信线路；第二数据收发模块用于从通信线路上接收数据包；第二复用模块用于将第二数据收发模块接收到的数据包去复用并缓存；第二打包解包模块用于将第二复用模块缓存的数据包解包；第二数据读写模块用于根据数据包的包头标志的不同，将解包后的数据分别传送到音视频终端设备及其它数据处理设备；

当第二FPGA发送数据到第一FPGA时，第二数据读写模块用于读取音视频终端设备产生的音视频互动数据及其它数据处理设备产生的其它互动数据并缓存；第二打包解包模块用于将缓存的音视频互动数据、其它互动数据分别加上对应的包头标志并打包；第二优先级控制模块用于设置数据发送优先级；第二复用模块用于按照第二优先级控制模块设置的数据发送优先级将音视频互动数据包、其它互动数据包进行复用；第二数据收发模块用于将第二复用模块进行复用后的音视频互动数据包、其它互动数据包发送到通信线路；第一数据收发模块用于从通信线路上接收数据包；第一复用模块用于将第一数据收发模块接收到的数据包去复用并缓存；第一打包解包模块用于将第一复用模块缓存的数据包解包；第一数据读写模块用于根据数据包的包头标志的不同，将解包后的数据分别传送到音视频码流产生设备及其它数据产生设备。

一较佳实施例，在音视频码流中复用usb(通用串行总线)数据(usb数据可以为互动控制信号，也可以为字符、图片等数据)，Usb数据由PC机usb接口提供，为标准设备，经过第一FPGA、第二FPGA两片FPGA芯片之后还原为usb信号接至usb Hub(集线器)上，供usb接口的usb设备使用，过程为第一FPGA通过第一数据读写模块分别读取音视频码流产生设备产生的音视频数据和PC机usb接口提供的usb数据，通过第一打包解包模块将音视频数据、其它数据分别加上对应的包头标志并打包，第一复用去复用模块将打包好的数据按优先级顺序进行复用后送至第一数据收发模块，第一数据收发模块将复用后的音视频数据包、其它数据包发送到通信线路，第二FPGA接收到这些数据包之后，根据头标志的不同将其解包，解包后的数据分别送到音视频终端设备进行显示、送到usb设备进行处理。

本发明的用FPGA在音视频码流中复用其它数据的方法及系统，将不同来源的音视频数据和其它数据引入至FPGA中，输出也从FPGA引出，在一端的FPGA中设计一个复用逻辑，配合优先级控制，将音视频数据和其它数据加上包头标志并按优先高低顺序往外发送，在另一端的FPGA接收，按包头标志分包，将音视频数据送给音视频终端设备进行显示、将其它数据输出到音视频终端设备用于显示或者输出其它数据处理设备进行处理，这样就可以实现音视频数据流复用其它数据的功能。利用本发明的用FPGA在音视频码流中复用其它数据的方法及系统，可以在音视频数据的传输中加入互动控制信号的传输，互动控制信号输出到其它数据处理设备进行处理以供用户交互使用，增加互动性，也可以在音视频数据的传输中加入字符、图片等数据，通过另一端的FPGA将字符、图片等数据同音视频数据一起送到音视频终端设备用于显示，从而可以丰富视频显示的内容。

Claims

1.一种用FPGA在音视频码流中复用其它数据的方法，其特征在于，将第一FPGA同第二FPGA通过通信线路相连，

第一FPGA将音视频码流产生设备产生的音视频数据及互动控制信号产生设备产生的互动控制信号复用后传送到第二FPGA，第二FPGA将第一FPGA传来的数据去复用后分别传送到音视频终端设备及互动控制信号处理设备；

第二FPGA将音视频终端设备产生的音视频互动数据、互动控制信号处理设备产生的其它互动数据复用后传送到第一FPGA，第一FPGA将第二FPGA传来的数据去复用后分别传送到音视频码流产生设备及互动控制信号产生设备；

第一FPGA传送数据到第二FPGA的工作流程如下：

一.第一FPGA读取音视频数据及互动控制信号并缓存；

二.第一FPGA将缓存的音视频数据、互动控制信号分别加上对应的包头标志并打包；

三.第一FPGA根据音视频数据、互动控制信号的包头标志设置数据发送优先级；

四.第一FPGA按照数据发送优先级将音视频数据包、互动控制信号包进行复用；

五.第一FPGA将复用后的音视频数据包、互动控制信号包发送到通信线路；

六.第二FPGA从通信线路上接收数据包；

七.第二FPGA将接收到的数据包去复用并缓存；

八.第二FPGA将去复用的数据包解包；

九.第二FPGA根据数据包的包头标志的不同，将音视频数据、互动控制信号分别输出到音视频终端设备及互动控制信号处理设备；

第二FPGA传送数据到第一FPGA的工作流程同第一FPGA传送数据到第二FPGA的工作流程相反，第二FPGA读取音视频互动数据及其它互动数据并缓存，第一FPGA将音视频互动数据、其它互动数据分别输出到音视频码流产生设备及互动控制信号产生设备。

2.一种用FPGA在音视频码流中复用其它数据的系统，其特征在于，包括第一FPGA、第一存储器、第二FPGA、第二存储器；

第一FPGA用于接输入音视频码流产生设备及互动控制信号产生设备，第二FPGA用于接音视频终端设备及互动控制信号处理设备，第一FPGA同第二FPGA通过通信线路相连；

第一数据读写模块，用于读取音视频码流产生设备产生的音视频数据及互动控制信号产生设备产生的互动控制信号并缓存，或者根据第一打包解包模块解包后的数据包的包头标志的不同，将解包后的数据分别传送到音视频码流产生设备及互动控制信号产生设备；

第一打包解包模块，用于将第一数据读写模块缓存的音视频数据、互动控制信号分别加上对应的包头标志并打包，或者将第一复用模块缓存的数据包解包；

第一优先级控制模块，用于设置数据发送优先级；

第一复用模块，用于按照第一优先级控制模块设置的数据发送优先级将音视频数据包、互动控制信号包进行复用，或者用于将第一数据收发模块接收到的数据包去复用并缓存；

第一数据收发模块，用于将第一复用模块进行复用后的音视频数据包、互动控制信号包发送到通信线路，或者从通信线路上接收数据包；

第二数据读写模块，用于根据数据包的包头标志的不同，将第二打包解包模块解包后的数据分别传送到音视频终端设备及互动控制信号处理设备，或者读取音视频终端设备产生的音视频互动数据及互动控制信号处理设备产生的其它互动数据并缓存。