CN106060400A - 一种基于fpga的图像处理系统及方法 - Google Patents

Abstract

本发明公开了一种基于FPGA的图像处理方法，其处理步骤为：(1)图像采集：1)FPGA控制器的第一输出口在8个采集周期内依次发送8个次级模拟开关选通信号；FPGA控制器的第二输出口在8个采集周期内只发送1个主级模拟开关选通信号；2)将步骤1)得到的待处理的模拟图像信号进行放大、滤波和模数转换得到数字图像信号；3)将所述数字图像信号进行存储；(2)图像压缩。同时本发明还公开了一种基于FPGA的图像处理系统。本发明具有能够对数十路CCD摄像头的输出进行同时采集与快速处理，并且不过多占用控制器端口资源；同时能对大数据量图像信号进行高速的采集与存储的有益效果。

Description

一种基于FPGA的图像处理系统及方法

技术领域

本发明涉及一种图像处理方法与系统，特别是涉及一种基于FPGA的图像处理方法与系统。

背景技术

数据量庞大是图像处理领域的一个突出问题；特别是在图像帧率及分辨率要求高的场合，以常见的图像压缩芯片或DSP芯片为基础采用常规硬件结构所设计的图像处理系统均无法获得令人满意图像采集、压缩效果。

同时由于数据量庞大，这对存储器的容量要求也随之增大，通常采用的解决办法是采用大容量存储器或者双端口存储器，因而核心控制器(通常采用DSP处理器)对存储器的控制难度增大，核心控制器内部逻辑设计复杂度也随之进一步增大。

同时，值得注意的是，在硬件设计领域中，FPGA是常用的中央控制器，FPGA最大的特点是结构灵活，内部逻辑功能可以根据需要进行配置，修改和维护方便，适于模块化设计，从而能够提高算法效率等优点。

现有技术中还缺少一种能对大数据量图像信号进行高速的采集与存储的基于FPGA的图像处理方法与系统。同时现有技术中也缺少一种能够对数十路CCD摄像头的输出进行同时采集与快速处理，并且不过多占用控制器端口资源的图像处理系统。

发明内容

针对现有技术存在的上述不足，本发明的目的是提供一种能够对数十路CCD摄像头的输出进行同时采集与快速处理，并且不过多占用控制器端口资源；同时能对大数据量图像信号进行高速的采集与存储的基于FPGA的图像 处理方法。

本发明还同时设计了一套基于FPGA的图像处理系统。

为实现上述目的，本发明采用如下技术手段：

一种基于FPGA的图像处理方法，其特征在于：其处理步骤为：

(1)图像采集：

1)FPGA控制器的第一输出口在第一模拟图像信号采集周期至第八模拟图像信号采集周期内依次发送8个次级模拟开关选通信号；FPGA控制器的第二输出口在第一模拟图像信号采集周期至第八模拟图像信号采集周期内发送1个主级模拟开关选通信号；

2)将步骤1)得到的待处理的模拟图像信号进行放大、滤波和模数转换得到数字图像信号；

3)将所述数字图像信号进行存储：S1、在第一采集周期T1内将数字图像信号存入第一存储器；S2、在第二采集周期T2内将数字图像信号存入第二存储器，同时将存储在第一存储器内的图像信号送入核心数据处理单元；S3、在第三采集周期T3内将数字图像信号存入第一存储器，同时将存储在第二存储器内的图像信号送入核心数据处理单元；不断重复步骤S1、步骤S2和步骤S3；

(2)图像压缩：核心数据处理单元对存储在第一存储器和第二存储器中的数字图像信号进行压缩处理；1)子采样，根据人眼对亮度的敏感程度比对色度高，按4∶1∶1格式抽取Y，Cr，Cb图像数据，为DCT变换准备数据；2)DCT变换，采用DA算法进行二维DCT变换；3)量化；4)熵编码。

一种基于FPGA的图像处理系统，其特征在于：包括FPGA控制器、第一存储器、第二存储器、主级模拟开关、N个次级模拟开关、图像解码器和数字信号处理器；所述N的数量小于8；

所述主级模拟开关和次级模拟开关均分别具有8个输入输出口、一个公共口和一个数控选通端；

第1、2、3...N次级模拟开关的8个输入输出口均与CCD摄像头的输出 端相连接；

第1、2、3...N次级模拟开关的公共口与主级模拟开关的第1、2、3...N输入输出口对应连接；

第1、2、3...N次级模拟开关的数控选通端均与FPGA控制器的第一输出口相连接；所述主级模拟开关的数控选通端与FPGA控制器的第二输出口相连接；

所述主级模拟开关的公共口与图像解码器的输入端相连接；

所述FPGA控制器内部设置有数字图像信号分配单元、中间信号选择单元和核心数据处理单元；所述数字图像信号分配单元具有一路输入和两路输出；中间信号选择单元具有两路输入和一路输出；

图像解码器的输出端与数字图像信号分配单元的信号输入端相连接，数字图像信号分配单元的第一输入端与第一存储器的数据输入端相连接，数字图像信号分配单元的第二输入端与第二存储器的数据输入端相连接；第一存储器的数据输出端与中间信号选择单元的第一输入端相连接，第二存储器的数据输出端与中间信号选择单元的第二输入端相连接，中间信号选择单元的输出端与核心数据处理单元的输入端相连接；

所述第一存储器的地址端与地址计数器的输出端相连接、所述第二存储器的地址端与地址计数器的输出端相连接；

所述核心数据处理单元的输出端与图像压缩器的输入端相连接。

相比现有技术，本发明具有如下有益效果：本发明的数据存储由两个数据存储器实现，具体采集存储方法是：将在第一采集周期T 1内将数字图像信号存入第一存储器；在第二采集周期T2内将数字图像信号存入第二存储器，同时将存储在第一存储器内的图像信号送入核心数据处理单元；在第三采集周期T3内将数字图像信号存入第一存储器，同时将存储在第二存储器内的图像信号送入核心数据处理单元；重复上述步骤不断采集存储数据。这与现有 技术中广泛的单存储器相比具有如下技术差异以及有益效果：本发明由两个独立的存储器芯片组成，两个存储器被交替存储数据，并且两个存储器使用同一地址信号，因此相对单个存储器存储容量更大，并且在数据被存储的同事也被读出送往核心数据处理单元处理，也即是数据的写入和读出可以同时完成，因此数据的存储与处理速度相对于单片存储器读写不能同时进行的状况相比，具有更快的处理速度；此外即使与具有两套数据端、地址端和控制端的双端口存储器相比，本发明只需要产生一个地址信号，而双端口存储器则需要两个地址信号才可以实现数据的存储，因此本发明还具有存储方式灵活，有利于简化中央控制器电路设计的有益效果。

本发明中，被采集的信号经过两级模拟开关轮流选通，所有的N个次级模拟开关的数控选通端均与FPGA控制器的第一输出口相连接，FPGA控制器从第一输出口发送一个数控选通信号即可从N个次级模拟开关选出N个被采集信号(每个次级模拟开关的公共口输出一个信号)，这N个被采集的信号再在FPGA控制器的第二输出口发送的数控选通信号的控制下便轮流通过主级模拟开关进入放大模块和AD模块后最终进入FPGA控制器，从而完成信号的同时输入；FPGA控制器的第一输出口再次发送新的数控选通信号便可选出另一组N个被采集信号，这一组N个被采集信号又可以轮流通过主级模拟开关入进入放大模块和AD模块后最终进入进入FPGA控制器，因此本发明事实上可以完成8N个信号的采集工作，但是耗费FPGA控制器的端口资源只有两个三位信号，也即6个引脚，这大大节约了FPGA控制器端口资源，并且简化了电路结构。

附图说明

图1为本发明一种基于FPGA的图像处理系统结构示意图。

图2为模拟开关阵列示意图

图3为JPEG压缩流程图

图4为行列分解的二维DCT结构图

图5为直流系数Huffman编码图

具体实施方式

下面结合附图和实施例，对本发明做进一步详细说明。

一种基于FPGA的图像处理方法，其处理步骤为：

一、图像采集：

(1)FPGA控制器的第一输出口在第一模拟图像信号采集周期至第八模拟图像信号采集周期内依次发送8个次级模拟开关选通信号；FPGA控制器的第二输出口在第一模拟图像信号采集周期至第八模拟图像信号采集周期内发送1个主级模拟开关选通信号；以上操作对多路模拟图像信号的轮流选通，实现了本发明可以同时采集多路图像信号的功能；

(2)将步骤(1)得到的待处理的模拟图像信号进行放大、滤波和模数转换得到数字图像信号；该步骤可以使用常规的图像处理用AD转换芯片实现。

(3)将所述数字图像信号进行存储：S1、将在第一采集周期T1内将数字图像信号存入第一存储器；S2、在第二采集周期T2内将数字图像信号存入第二存储器，同时将存储在第一存储器内的图像信号送入核心数据处理单元；S3、在第三采集周期T3内将数字图像信号存入第一存储器，同时将存储在第二存储器内的图像信号送入核心数据处理单元；不断重复步骤S 1、步骤S2和步骤S3；

为了实现更大的数据存储容量也可以采用更多的存储器，

二、图像压缩：

图像解码器SAA7113H输出的一帧图像共720*625个像素，两片SRAM能够分别存储一帧图像的数据，可以使用静态图像压缩算法进行压缩。本设 计采用基于DCT的顺序的JPEG压缩，压缩过程如图3所示。顺序编码可以使得编解码设备的缓冲群降低到最小，从而节省设备资金。

计算步骤如下：

(1)DCT变换；

(2)量化及z字形编码(Zigzagsean)；

(3)编码：包括直流系数(DC)编码、交流系数(AC)编码、Huffman编码(entropyeoding)；

JPEG算法与彩色空间无关，首先将RGB图像转换到YUV颜色空间，由于SAA7113H输出的是YUV数据，所以不需要转换。实现过程是从SRAM中读取数据，然后进行子采样、DCT变换、量化、熵编码。

子采样

为了提高压缩效果，首先要进行子采样，这是一种简单的压缩技术。根据人眼对亮度的敏感程度比对色度高，可以按4∶1∶1格式抽取Y，Cr，Cb图像数据，即色差分量在水平方向和垂直方向的采样频率都为2∶1，子采样后的数据存储到片内RAM中，为DCT变换准备数据。

DCT变换

采用DA算法进行二维DCT变换，利用VHDL实现的FPGA结构见图4：每个8×8的图像块构成一个MCU，每个MCU包含三个8×8的矩阵，按照Y，Cr，Cb的顺序依次送入DCT变换器。Y，Cr，Cb的值进入模块后，首先进行第一次DCT变换，变换后的值送到一个8×8大小的RAM中，转置后依次读出，进行第二次的DCT变换。第一次DCT变换和第二次DCT变换有相同的特性，可共用同一个DCT变换模块，从而节省FPGA的内部资源。

DCT变换后的输出仍是一个8×8的矩阵，称为DCT系数，即离散余弦变换的变换系数。每个系数值由64个输入信号唯一确定的，其中，Y(0，0)称为DC(直流)系数，剩下的63个Y(u，v)称为AC(交流)系数。

量化

量化是对DCT系数进行压缩的关键一步，通过降低DCT系数精度的方 法，去除掉相对不重要的表示图像细节的AC系数，从而减少图像数据量，达到压缩目的。

量化过程就是每个DCT系数除以各自的量化步长并按四舍五入取整得到量化系数。JPEG压缩采用线性均匀量化得到量化系数。均匀量化定义为，对64个DCT变换系数，除以对应的量化步长，四舍五入取整，量化公式如式(1)：

Q(u，v)＝IntegerRound(Y(u，v)/S(u，v)) (1)

式中S(u，v)是量化步长。通过JPEG参考标准量化表对DCT系数进行求模运算，Q(u，v)的值是量化后的系数。将量化后的系数存于RAM中，其中含有大量的零值系数，为了增加连续零值的个数，使得后面游程长度编码最优，需要对量化后的系数按照Z字形编排。就是把一个8*8的系数矩阵变成一个1*64的矢量，频率较低的系数放在矢量的顶部。

熵编码

为了进一步压缩数据，需要对量化后的DC系数和AC系数再进行基于统计特性的熵编码。JPEG使用的熵编码有两种方法：自适应二进制算术编码和哈夫曼编码。算术编码与哈夫曼编码相比，压缩比率稍微高一些，但是处理复杂，一般的设备都不支持。本设计采用VHDL实现直流系数和交流系数的哈夫曼编码，直流系数占用资源少，直流系数的编码过程图5。

其实现的主要VHDL代码如下：

function CompressDC(Cat：in integer；LumaBlock：in std_logic)return std_logic_vector is

variable result：std_logic_vector(14downto 0)：＝(others＝>′0′)；

begin

if LumaBlock＝＝′1′then --压缩DC亮度表

case Cat is

when 0＝>result：＝″000100000000000″；

..........

when others＝>--11result：＝″100000111111110″；

end case；

else

case Cat is

......

when others＝>--11result：＝″101011111111110″；

end case；

end if；

return result；

end CompressDC；

function CompressDC(Cat：in integer；LumaBlock：in std_logic)return std_logic_vector is

variable result：std_logic_vector(14downto 0)：＝(others＝>′0′)；

begin

if LumaBlock＝′1′then --压缩DC亮度表

case Cat is

when 0＝>result：＝″000100000000000″；

..........

when others＝>11result：＝″100000111111110″；

end case；

else--压缩DC亮度表

case Cat is

......

when others＝>--11result：＝″101011111111110″；

end case；

end if；

return result；

end CompressDC；

交流编码首先是对AC系数的零值判断，AC为零值，则进入零值计算，得到零游程值；AC为非零值，计算AC的尺寸大小，并得到AC实际值的二进制表示。计算地址寻址ROM表，得到相应的编码。DC和AC系数编码后 的结果，进一步采用Huffmna编码对其作进一步的压缩，目的是使用Huffmna编码来减少熵。Huffmna编码过程不再介绍。

JPEG编码的最后一个步骤是把各种标记代码和编码后的图像数据组成一帧一帧的数据，这样做的目的是为了便于传输、存储和译码器进行译码。

一种基于FPGA的图像处理系统，如如图1，图2所示，包括FPGA控制器、第一存储器、第二存储器、图像解码器和数字信号处理器；

此外还包括用于轮选多路模拟图像信号的模拟开关阵列。模拟开关阵列包括主级模拟开关和N个次级模拟开关，N的数量小于8；

主级模拟开关和次级模拟开关均分别具有8个输入输出口、一个公共口和一个数控选通端；

第1、2、3...N次级模拟开关的8个输入输出口均与CCD摄像头的输出端相连接；

第1、2、3...N次级模拟开关的公共口与主级模拟开关的第1、2、3...N输入输出口对应连接；

第1、2、3...N次级模拟开关的数控选通端均与FPGA控制器的第一输出口相连接；所述主级模拟开关的数控选通端与FPGA控制器的第二输出口相连接；

所述主级模拟开关的公共口与图像解码器的输入端相连接；

所述FPGA控制器内部设置有数字图像信号分配单元、中间信号选择单元和核心数据处理单元；所述数字图像信号分配单元具有一路输入和两路输出；中间信号选择单元具有两路输入和一路输出；

图像解码器的输出端与数字图像信号分配单元的信号输入端相连接，数字图像信号分配单元的第一输入端与第一存储器的数据输入端相连接，数字图像信号分配单元的第二输入端与第二存储器的数据输入端相连接；第一存储器的数据输出端与中间信号选择单元的第一输入端相连接，第二存储器的数据输出端与中间信号选择单元的第二输入端相连接，中间信号选择单元的输出端与核心数据处理单元的输入端相连接；

所述第一存储器的地址端与地址计数器的输出端相连接、所述第二存储器的地址端与地址计数器的输出端相连接；

所述核心数据处理单元的输出端与图像压缩器的输入端相连接。

系统整体工作原理如下：本设计主要由视频采集和视频压缩两部分组成。视频采集部分负责对视频信号进行解码和缓存；视频压缩部分负责对采集到的数据进行压缩。数据处理过程是：由CCD摄像头将光信号转化为模拟视频信号，解码器将模拟信号转换为PAL制的数字信号，通过存储控制器将数字信号暂存到片外SRAM中，图像压缩将暂存的视频数据读出并进行压缩处理。具体数据处理过程也即是图像处理方法的具体步骤，这在上文中已经详细阐述，这里不再赘述。总之，本发明在高速的FPGA上基本实现了视频采集与压缩，采集输入为PAL制或NTSC制式的标准视频信号，既能实现静态图像的采集和压缩也可实现动态图像的采集和压缩，体现了FPGA的优势。该方案具有速度快，体积小等优点。

模拟开关阵列的工作原理如下：FPGA通过其第一输出口向所有次级模拟开关的数控选通端(A、B和C三个二进制数控选通端)发送同样的选通信号可以分别选中第一输入输出口、第二输入输出口直至第八输入输出口，被选中的输入输出口被连接到公共端，例如当A、B和C信号为000时，第一输入输出口被选中，连接到公共口，当A、B和C信号为001时，第二输入输出口被选中，连接到公共口。那么所有的从模拟开关的同一编号的输入输出口的信号便被选出，并且送往主级模拟开关接收下一级的选通，FPGA通过其第二输出口向主级模拟开关发送三位二进制的选通信号，便可以从上述所有的从模拟开关的同一编号的输入输出口的信号选出一个信号送往图像解码器，最终进入FPGA(FPGA将其送入存储器中)，而强大的FPGA可 以将该被选出的唯一信号用于必要传输或者用于运算处理。再上述过程中通过灵活发送两级模拟开关的选通信号便可以从多大64路的信号从选取出所需要信号，因为FPGA的工作速度很快，因此在短时间内便可以对多路信号进行采集处理。同时显而易见的是，FPGA通过发送不同的第一输出口数据和第二输出口数据可以灵活的选中数十路CCD输出的任何一路，这也给原始数据的采集增加了灵活性。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种基于FPGA的图像处理方法，其特征在于：其处理步骤为：

(1)图像采集：

1)FPGA控制器的第一输出口在第一模拟图像信号采集周期至第八模拟图像信号采集周期内依次发送8个次级模拟开关选通信号；FPGA控制器的第二输出口在第一模拟图像信号采集周期至第八模拟图像信号采集周期内发送1个主级模拟开关选通信号；

2)将步骤1)得到的待处理的模拟图像信号进行放大、滤波和模数转换得到数字图像信号；

3)将所述数字图像信号进行存储：S1、在第一采集周期T1内将数字图像信号存入第一存储器；S2、在第二采集周期T2内将数字图像信号存入第二存储器，同时将存储在第一存储器内的图像信号送入核心数据处理单元；S3、在第三采集周期T3内将数字图像信号存入第一存储器，同时将存储在第二存储器内的图像信号送入核心数据处理单元；不断重复步骤S1、步骤S2和步骤S3；

(2)图像压缩：核心数据处理单元对存储在第一存储器和第二存储器中的数字图像信号进行压缩处理；1)子采样，根据人眼对亮度的敏感程度比对色度高，按4∶1∶1格式抽取Y，Cr，Cb图像数据，为DCT变换准备数据；2)DCT变换，采用DA算法进行二维DCT变换；3)量化；4)熵编码。

2.一种基于FPGA的图像处理系统，其特征在于：包括FPGA控制器、第一存储器、第二存储器、主级模拟开关、N个次级模拟开关、图像解码器和数字信号处理器；所述N的数量小于8；

所述主级模拟开关和次级模拟开关均分别具有8个输入输出口、一个公共口和一个数控选通端；

第1、2、3...N次级模拟开关的8个输入输出口均与CCD摄像头的输出端相连接；

第1、2、3...N次级模拟开关的公共口与主级模拟开关的第1、2、3...N输入输出口对应连接；

第1、2、3...N次级模拟开关的数控选通端均与FPGA控制器的第一输出口相连接；所述主级模拟开关的数控选通端与FPGA控制器的第二输出口相连接；

所述主级模拟开关的公共口与图像解码器的输入端相连接；

所述FPGA控制器内部设置有数字图像信号分配单元、中间信号选择单元和核心数据处理单元；所述数字图像信号分配单元具有一路输入和两路输出；中间信号选择单元具有两路输入和一路输出；

图像解码器的输出端与数字图像信号分配单元的信号输入端相连接，数字图像信号分配单元的第一输入端与第一存储器的数据输入端相连接，数字图像信号分配单元的第二输入端与第二存储器的数据输入端相连接；第一存储器的数据输出端与中间信号选择单元的第一输入端相连接，第二存储器的数据输出端与中间信号选择单元的第二输入端相连接，中间信号选择单元的输出端与核心数据处理单元的输入端相连接；

所述第一存储器的地址端与地址计数器的输出端相连接、所述第二存储器的地址端与地址计数器的输出端相连接；

所述核心数据处理单元的输出端与图像压缩器的输入端相连接。