CN101516015B - 多路视频数据采集处理和传输的方法 - Google Patents

Abstract

本发明提供一种多路视频数据采集处理和传输的装置及其方法，其装置由数据采集模块、数据主处理器、存储模块和输出模块组成，其中数据采集模块与数据主处理器连接，存储模块与数据主处理器连接，输出模块与数据主处理器连接；数据采集模块外接视像设备，输出模块外接视频分割叠加单元及视频显示单元；其方法为：数据采集模块采集视像设备的视频信号后，采集配置模块将其处理后送至数据主处理器，经过数据主处理器的处理后再缓存至存储模块中，最后数据主处理器从存储模块中读取数据送至输出模块。本发明结构简单、输出稳定，且最少可支持16路标准清晰度的视频流输入。

Description

多路视频数据采集处理和传输的方法

技术领域

本发明涉及视频数据处理技术，特别涉及一种多路视频数据采集处理和传输的装置及其方法。 

背景技术

随着多媒体技术的发展和各种类型信息交流需求的不断增加，计算机工业和消费类电子工业正不断融合成一个全新的数字化信息产业，尤其是随着显示技术与控制技术的不断融合和发展，大型的、通畅的视讯信息成为需要解决的一个重要新课题。在大屏幕拼接显示墙、安防视频监控、视频会议、数字电视设备、教育培训、商务演示和游戏娱乐等众多领域中，都要求能处理海量的视讯信息，如多路不同视频输入源混合处理的需求出现在各种高端的工程领域。然而现有产品中还没有用于专门针对多路视频混合处理进行位置大小的视频分割叠加的装置；并且现有的多路视频采集装置都存在着支持的输入视频路数少，支持的视频输入标准少的缺点。 

目前现有的数据采集设备中，其采集卡一般都是用ARM或者DSP作为主处理单元来实现，受到芯片管脚视频口数量和处理性能的限制，这些卡一般都只能支持1至6路的视频采集。为了增加视频采集路数，目前采用的方法多为使用多个DSP芯片，或使用FPGA+DSP或者FPGA+ARM的方式。但是，采用多个DSP芯片来进行多路视频采集的话，其成本大大提高，而且系统的复杂度也会提高；采用FPGA+DSP或者FPGA+ARM来处理的话，会增加设备成本，并且会增加主处理单元之间协同工作所产生的时间消耗，增加电路的复杂度。 

发明内容

本发明的目的在于克服现有技术的不足，提供一种结构简单、传输稳定的多路视频数据采集处理和传输的装置。 

本发明的另一目的在于提供一种通过上述装置实现的多路视频数据采集 处理和传输的方法。 

本发明通过以下技术方案实现：包括由多个A/D芯片并列设置组成的数据采集模块、数据主处理器、通过两个数据存储器实现数据双路缓存的存储模块和输出模块，其中，数据采集模块与数据主处理器连接，存储模块与数据主处理器连接，输出模块与数据主处理器连接；数据采集模块外接视像设备，输出模块外接视频分割叠加单元及视频显示单元；数据主处理器包括用于配合完成各A/D芯片及数据存储器初始化的初始化单元、视频图像处理单元、数据存储单元和数据输出单元，其中初始化单元分为两部分，一部分为A/D芯片初始化单元，另一部分为数据存储器初始化单元。 

所述数据主处理器采用FPGA；所述A/D芯片初始化单元为独立的采集配置模块，采用低端的嵌入式MCU。 

所述存储模块由两个数据存储器SDRAM或DDRAM组成；所述输出模块由两个数据输出队列和一个输出接口组成，其输出方式为PCIe或DVI。 

所述A/D芯片为基于I²C总线可编程的芯片。 

所述数据主处理器的数据处理速率及其总线的传输速率大于或等于864MB/s；所述数据采集模块及所述输出模块的总线的传输速率大于或等于432MB/s。这是由于本装置最少可支持16路标准清晰度的视频流输入，单路标准清晰度视频流每秒所占的数据带宽为27MBytes/s(按50Hz的刷新率算为720×576×50×1.3＝27Mbytes)，16路标清视频流每秒所占的总数据带宽为27MBytes/s×16＝432MBytes/s，也就是说装置每秒的读写(采集和输出)速率要达到432MBytes/s×2＝864MBytes/s。 

所述视像设备包括模拟视像设备和数字视像设备，为PC机、摄像机或视频播放设备。 

以上装置中采集配置模块用于配置各A/D芯片；数据主处理器的主要功能有：采集各数字视频信号，为各数字视频信号加上数据分解、同步等协议数据；将各数字视频信号的数据缓存到存储模块中；读取缓存在存储模块中的数据，将其送至输出模块。 

通过以上装置实现的多路视频数据采集处理和传输的方法，包括以下步骤： 

(1)启动装置，数据主处理器的初始化单元配合采集配置模块，对数据采集模块中的各个A/D芯片和存储模块中的各个数据存储器分别进行初始化处理；该过程数据主处理器为各路视频在两个数据存储器中分配独立的存储地 址空间，同时在两个数据存储器中都预留出用于存储及更新各路视频实时状态的内存空间； 

(2)各个A/D芯片分别采集模拟视像设备上的模拟视频信号，并将模拟视频信号转换为数字视频信号； 

(3)根据A/D芯片提供的奇偶场标识信号、场同步参考信号和行同步参考信号，数据主处理器的视频图像处理单元接收各个A/D芯片转换后的数字视频信号，同时接收数字视像设备的数字视频信号，然后把各路数字视频信号进行融合处理，具体为：在各路视频信号的数据加入行场分界数据和视频通道数据，然后将多个通道的非完整帧视频数据融合在一起； 

(4)数据主处理器的数据存储单元控制存储模块的两个数据存储器分两路对经过数据主处理器处理后的各路数字视频信号进行数据缓存，即当存储模块中的任一存储器为空时，则在该存储器中进行数据缓存；同时，数据主处理器的数据输出单元不断读取缓存在存储模块中的数据，并将其输送至输出模块； 

(5)输出模块不断接收来自数据主处理器中的数据，并将其加入到数据输出队列中，然后通过输出模块的输出接口输送至视频分割叠加单元，最后送至视频显示单元。 

以上方法中，所述A/D芯片的初始化包括ODD_START、EVEN_START、WIDTH、HEIGHT及TOTAL_LINES的初始值设置。 

步骤(3)中所述视频图像处理单元接收视频信号时，具体包括以下步骤： 

(3-1)当奇偶场标识信号在上升沿时，表明奇场来临，这时检测ODD_START如果为预先设置的初始状态，则更新ODD_START为TOTAL_LINES；然后跳至步骤(3-2)。 

(3-2)当场同步参考信号在上升沿时，开始检测行同步参考信号是否为高电平，然后在行同步参考信号为高电平的期间采集一行视频数据，TOTAL_LINES加1；若该步骤是由步骤(3-1)跳至(3-2)，则跳至(3-3)；若该步骤是由(3-3)跳至(3-2)，则跳至(3-1)。 

(3-3)当奇偶场标识信号在下降沿时，表明偶场来临，这时检测EVEN_START如果为预先设置的初始状态，则更新EVEN_START为TOTAL_LINES；然后跳至步骤(3-2)。 

步骤(4)具体包括以下步骤： 

(4-1)数据主处理器的数据存储单元把采集到的视频数据写入存储模块 中的第一个数据存储器； 

(4-2)当第一个数据存储器中每路视频最少缓存有一行数据时，数据主处理器的数据存储单元开始将采集到的视频数据写入到第二个数据存储器中；同时，数据主处理器的数据输出单元从第一个数据存储器中读取视频数据并送至输出模块。 

(4-3)当第一个数据存储器中每一路视频数据都取完后，第一个数据存储器中各路视频状态标识复位至初始状态，数据主处理器的数据存储单元把采集到的数据写入到第一个数据存储器中；同时，数据主处理器的数据输出单元从第二个数据存储器中读取视频数据并送至输出模块。 

(4-4)当第二个数据存储器中每一路视频数据都取完后，循环步骤(4-2)和(4-3)。 

与现有技术相比，本发明相对于现有技术具有以下有益效果： 

本多路视频数据采集处理和传输的装置结构简单，能耗及成本低，充分利用了FPGA的管脚及处理性能，最少可支持16路标准清晰度的视频流输入，克服了现有装置支持的输入视频路数少、支持的视频输入标准少的缺点，能广泛应用于各种大型的显示场合；同时，通过本装置实现的多路视频数据采集处理和传输的方法，其输出稳定，能有效保证最终的视频显示效果。 

附图说明

图1是本多路视频数据采集处理和传输的装置与外部系统连接时的位置关系图。 

图2是本多路视频数据采集处理和传输的装置的结构示意图。 

图3是本发明中FPGA的内部结构示意图。 

图4是本多路视频数据采集处理和传输的方法的流程图。 

图5是本发明中A/D芯片各信号的电平状态图。 

具体实施方式

下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。 

实施例 

本发明一种多路视频数据采集处理和传输的装置，其结构如图2所示，包括由多个A/D芯片并列设置组成的数据采集模块1、数据主处理器3、通过两个数据存储器实现数据双路缓存的存储模块4和输出模块5，其中，数据采集模块1与数据主处理器3连接，存储模块4与数据主处理器3连接，输出模块5与数据主处理器3连接；数据主处理器的内部结构如图3所示，包括用于配合完成各A/D芯片及数据存储器初始化的初始化单元、视频图像处理单元、数据存储单元和数据输出单元，其中初始化单元分为两部分，一部分为A/D芯片初始化单元，另一部分为数据存储器初始化单元；如图1所示，数据采集模块1外接视像设备6，输出模块5外接视频分割叠加单元及视频显示单元。 

数据主处理器3采用FPGA；其中，A/D芯片初始化单元为独立的采集配置模块2，采用低端的嵌入式MCU。 

存储模块4由两个数据存储器SDRAM或DDRAM组成；输出模块5由两个数据输出队列和一个输出接口组成，其输出方式为PCIe或DVI。 

数据主处理器3的数据处理速率及其总线的传输速率大于或等于864MB/s；数据采集模块1及输出模块5的总线的传输速率大于或等于432MB/s。这是由于本装置最少可支持16路标准清晰度的视频流输入，单路标准清晰度视频流每秒所占的数据带宽为27MBytes/s(按50Hz的刷新率算为720×576×50×1.3＝27MBytes)，16路标清视频流每秒所占的总数据带宽为27MBytes/s×16＝432MBytes/s，也就是说装置每秒的读写(采集和输出)速率要达到432MBytes/s×2＝864MBytes/s。 

视像设备6包括模拟视像设备和数字视像设备，为PC机、摄像机或视频播放设备。 

以上装置中采集配置模块2用于配置各A/D芯片；数据主处理器3的主要功能有：采集各数字视频信号，为各数字视频信号加上数据分解、同步等协议数据；将各数字视频信号的数据缓存到存储模块中；读取缓存在存储模块中的数据，将其送至输出模块。 

本实施例中，A/D芯片采用PHILIPS公司的SAA7113(也可以是SAA7111、SAA7114等)芯片，这些芯片都是基于I²C总线可编程的，在使用中可以根据需要随时通过I²C总线对其编程；该系列芯片支持PAL和NTSC制式，支持黑白、彩色的采集方式等，芯片内部集成了锁相环电路，在模数转换的同时还提供了同步信号的分离，利用该芯片提供的信号，可以方便的对视频信号进行控制。作为数据主处理器3的FPGA采用ALTERA公司的Cyclone系列芯片， 该系列的FPGA支持LVDS(低压差分信号)接口，为通信提供了方便，在FPGA中实现了对A/D芯片的数据采集逻辑，并完成了对视频信号的混合处理，把处理后信号的数据缓存于存储模块中，并紧接着把缓存后的数据往输出接口送出。存储模块4采用了2片128MBytes的DDRAM作为数据存储器。输出接口5-2采用了DVI接口电路(也可以做成PCI-E接口电路，PCI-E卡输出)。 

通过以上装置实现的多路视频数据采集处理和传输的方法，如图4所示，包括以下步骤： 

(1)启动装置，数据主处理器3的初始化单元配合采集配置模块，对数据采集模块1中的各个A/D芯片和存储模块4中的各个数据存储器分别进行初始化处理；该过程数据主处理器3为各路视频在两个数据存储器中分配独立的存储地址空间，同时在两个数据存储器中都预留出用于存储及更新各路视频实时状态的内存空间； 

(2)各个A/D芯片分别采集视像设备6中模拟视像设备上的模拟视频信号，并在采集模块的协助下将模拟视频信号转换为数字视频信号； 

(3)根据A/D芯片提供的奇偶场标识信号、场同步参考信号和行同步参考信号，数据主处理器3的视频图像处理单元接收各个A/D芯片转换后的数字视频信号，同时接收视像设备6中数字视像设备的数字视频信号，然后把各路数字视频信号进行融合处理，具体为：在各路视频信号的数据加入行场分界数据和视频通道数据，然后将多个通道的非完整帧视频数据融合在一起；； 

(4)数据主处理器3的数据存储单元控制存储模块4的两个数据存储器分两路对经过数据主处理器3处理后的各路数字视频信号进行数据缓存，即当存储模块中的任一存储器为空时，则在该存储器中进行数据缓，缩短了数据进行一次存储和读取的周期，提高数据处理的实时性；同时，数据主处理器3的数据输出单元读取缓存在存储模块4中的数据，并将其输送至输出模块5； 

(5)输出模块5不断接收来自数据主处理器4中的数据，并将其加入到数据输出队列中，然后通过输出模块5的输出接口输送至视频分割叠加单元，最后送至视频显示单元。 

以上方法中，A/D芯片的初始化包括ODD_START、EVEN_START、WIDTH、HEIGHT及TOTAL_LINES的初始值设置。本实施例中分别设置为：ODD_START＝0×FFFFFFFF；EVEN_START＝0×FFFFFFFF；WIDTH＝720；HEIGHT＝288；TOTAL_LINES＝0。 

步骤(3)中所述视频图像处理单元接收视频信号时，如图5所示，根据A/D芯片提供的奇偶场标识信号(RTSO)、场同步参考信号(VREF)和行同步参考信号(HREF)，具体包括以下步骤： 

(3-1)当奇偶场标识信号在上升沿时，表明奇场来临，这时检测ODD_START如果为预先设置的初始状态，则更新ODD_START为TOTAL_LINES；然后跳至步骤(3-2)。 

(3-2)当场同步参考信号在上升沿时，开始检测行同步参考信号是否为高电平，然后在行同步参考信号为高电平的期间采集一行视频数据，TOTAL_LINES加1；若该步骤是由步骤(3-1)跳至(3-2)，则跳至(3-3)；若该步骤是由(3-3)跳至(3-2)，则跳至(3-1)。 

(3-3)当奇偶场标识信号在下降沿时，表明偶场来临，这时检测EVEN_START如果为预先设置的初始状态，则更新EVEN_START为TOTAL_LINES；然后跳至步骤(3-2)。 

步骤(4)具体包括以下步骤： 

(4-1)数据主处理器的数据存储单元把采集到的视频数据写入存储模块中的第一个数据存储器； 

(4-2)当第一个数据存储器中每路视频最少缓存有一行数据时，数据主处理器的数据存储单元开始将采集到的视频数据写入到第二个数据存储器中；同时，数据主处理器的数据输出单元从第一个数据存储器中读取视频数据并送至输出模块。 

(4-3)当第一个数据存储器中每一路视频数据都取完后，第一个数据存储器中各路视频状态标识复位至初始状态，数据主处理器的数据存储单元把采集到的数据写入到第一个数据存储器中；同时，数据主处理器的数据输出单元从第二个数据存储器中读取视频数据并送至输出模块。 

(4-4)当第二个数据存储器中每一路视频数据都取完后，循环步骤(4-2)和(4-3)。 

如上所述，便可较好地实现本发明，上述实施例仅为本发明的较佳实施例，并非用来限定本发明的实施范围；即凡依本发明内容所作的均等变化与修饰，都为本发明权利要求所要求保护的范围所涵盖。 

Claims (4)

1.多路视频数据采集处理和传输的方法，其特征在于，包括以下步骤：

(1)启动装置，数据主处理器的初始化单元配合采集配置模块，对数据采集模块中的各个A/D芯片和存储模块中的各个数据存储器分别进行初始化处理；在上述初始化处理过程中，数据主处理器为各路视频在两个数据存储器中分配独立的存储地址空间，同时在两个数据存储器中都预留出用于存储及更新各路视频实时状态的内存空间；

(2)各个A/D芯片分别采集模拟视像设备上的模拟视频信号，并将模拟视频信号转换为数字视频信号；

(3)根据A/D芯片提供的奇偶场标识信号、场同步参考信号和行同步参考信号，数据主处理器的视频图像处理单元接收各个A/D芯片转换后的数字视频信号，同时接收数字视像设备的数字视频信号，然后把各路数字视频信号进行融合处理，具体为：在各路视频信号的数据加入行场分界数据和视频通道数据，然后将多个通道的非完整帧视频数据融合在一起；

(4)数据主处理器的数据存储单元控制存储模块的两个数据存储器分两路对经过数据主处理器处理后的各路数字视频信号进行数据缓存，即当存储模块中的任一存储器为空时，则在该存储器中进行数据缓存；同时，数据主处理器的数据输出单元不断读取缓存在存储模块中的数据，并将其输送至输出模块；

(5)输出模块不断接收来自数据主处理器中的数据，并将其加入到数据输出队列中，然后通过输出模块的输出接口输送至视频分割叠加单元，最后送至视频显示单元。

2.根据权利要求1所述的多路视频数据采集处理和传输的方法，其特征在于，所述A/D芯片的初始化包括ODD_START、EVEN_START、WIDTH、HEIGHT及TOTAL_LINES的初始值设置。

3.根据权利要求1所述的多路视频数据采集处理和传输的方法，其特征在于，步骤(3)中所述视频图像处理单元接收视频信号时，具体包括以下步骤：

(3-1)当奇偶场标识信号在上升沿时，表明奇场来临，这时检测ODD_START如果为预先设置的初始状态，则更新ODD_START为TOTAL_LINES；然后跳至步骤(3-2)； 

(3-2)当场同步参考信号在上升沿时，开始检测行同步参考信号是否为高电平，然后在行同步参考信号为高电平的期间采集一行视频数据，TOTAL_LINES加1；若该步骤是由步骤(3-1)跳至(3-2)，则跳至(3-3)；若该步骤是由(3-3)跳至(3-2)，则跳至(3-1)；

(3-3)当奇偶场标识信号在下降沿时，表明偶场来临，这时检测EVEN_START如果为预先设置的初始状态，则更新EVEN_START为TOTAL_LINES；然后跳至步骤(3-2)。

4.根据权利要求1所述的多路视频数据采集处理和传输的方法，其特征在于，步骤(4)具体包括以下步骤：

(4-1)数据主处理器的数据存储单元把采集到的视频数据写入存储模块中的第一个数据存储器；

(4-2)当第一个数据存储器中每路视频最少缓存有一行数据时，数据主处理器的数据存储单元开始将采集到的视频数据写入到第二个数据存储器中；同时，数据主处理器的数据输出单元从第一个数据存储器中读取视频数据并送至输出模块；

(4-3)当第一个数据存储器中每一路视频数据都取完后，第一个数据存储器中各路视频状态标识复位至初始状态，数据主处理器的数据存储单元把采集到的数据写入到第一个数据存储器中；同时，数据主处理器的数据输出单元从第二个数据存储器中读取视频数据并送至输出模块；

(4-4)当第二个数据存储器中每一路视频数据都取完后，循环步骤(4-2)和(4-3)。 

Images