CN102663758A - 一种基于fpga控制核心的图像采集及处理方法 - Google Patents

Abstract

本发明属于图像采集处理领域，具体涉及一种基于FPGA为控制核心的图像采集及处理方法。该方法主要是构建图像采集和处理SOPC系统，该系统包括Nios II软核处理器模块、CMOS图像传感控制器模块、FIFO控制器模块、SDRAM控制器模块、Canny边缘检测算法模块、VGA控制器模块。首先图像采集完成后缓存至FIFO，然后通过FPGA软件控制将FIFO中的图像数据传送到片外SDRAM芯片进行存储，再次将存储器中的图像图像处理算法进行处理，处理过程实现“乒乓操作”，处理后的图像再次存储到SDRAM。最后将获得的边缘图像通过VGA接口将处理后的图像进行显示。

Description

一种基于FPGA控制核心的图像采集及处理方法

技术领域

本发明属于图像采集及处理领域，具体涉及一种基于FPGA为控制核心的图像采集及Canny边缘检测处理方法，能够方便的对目标物体实时采集、实时边缘检测处理。

背景技术

图像采集及处理系统是指用设备来捕获客观世界的图像和特征，并对所捕获的图像按照需要进行实时处理，也就是用设备来实现对客观世界的识别。随着图像采集处理技术的发展，图像采集及处理系统在很多领域内的很多应用中起着越来越重要的作用，例如，远程监控、工业控制、医疗器械、图像模式识别等领域。

图像采集处理系统大部分均采用实时图像采集技术，实时图像采集在现代社会中占有非常重要的地位。日常生活中所见到的数码相机、可视电话、多媒体IP电话和电话会议等产品中，实时图像采集是最核心的技术。图像采集的速度、质量直接影响到产品的整体效果。

众所周知，图像数字化后数据量非常庞大，对如此大量高速的数据进行实时处理是计算机应用领域中技术难度最大的部分。传统的图像采集及处理系统是应用摄像头采集图像，然后传输到计算机之后应用计算机软件进行处理，由于计算机体积庞大，连接复杂，尤其是在工业现场等空间狭小场合应用时犹为不方便，这种图像采集处理方案在应用时有不可避免的缺点。

随着电子技术发展的日新月异，电子产品朝着小型化、集成化发展，越来越多的应用场合都要求图像处理设备体积要小，应用要方便。这就对图像采集处理系统的开发提出了更高的要求。随着嵌入式系统技术的不断发展，数字电路系统集成度和运算能力越来越高，使得图像采集和处理设备小型化、实用化成为可能。现在主流的小型图像采集和处理设备是以数字信号处理器(DSP)为控制核心。虽然DSP能够快速实现各种数字信号处理算法，但本质上来说，DSP并没有摆脱传统的CPU顺序执行指令的工作模式，而且只是对某些固定的运算提供硬件优化，而这些具有针对性的优化并不能满足众多图像处理算法的需求，这使得DSP在图像处理领域的使用受到的了制约。

可编程片上系统(SOPC，System on Programmable Chip)技术的出现使得高效的实现实时图像采集处理成为可能，SOPC技术是一种基于现场可编程门阵列的嵌入式技术。现场可编程门阵列(FPGA，Field Programmable Gate Array)器件是当今应用极为广泛的可编程器件，应用FPGA时，用户可以用硬件描述语言方便地设计出所需的硬件逻辑，并且可以进行重复编程和动态系统重构，因此，可以进行灵活方便的开发和更新。FPGA能实现硬件并行和流水线技术。在FPGA中嵌入IP软核可以构成SOPC系统。SOPC系统能够实现并行和串行同时处理，因此，在系统在较低的主频下也能获得较高的算法处理速度。作为实时图像采集和处理的一种新的解决方案，SOPC技术能够满足图像采集处理设备小型化、高效性的需求，可以说，SOPC技术必将成为未来嵌入式图像采集处理技术的发展方向。

边缘是重要的图像特征，包含着大量的图像信息，是对图像中目标提取的重要依据。本质上来说，边缘是图像局部特性不连续性的反映，比如灰度突变或颜色突变等。边缘往往包含着我们在图像处理时所感兴趣目标的重要特征，为我们描述或识别目标提供了重要的依据。因此，对目标物体进行边缘检测具有十分重要的意义。

经典的图像边缘检测算法大多是利用图像边缘的突变特性来检测边缘。传统边缘检测算法一般是在空间域对图像进行运算，即直接对图像像素进行相关操作。传统的图像边缘检测算法主要包括两种类型：一种是以一阶导数或二阶导数为基础的微分算子，常用的微分算子有：Roberts算子，Sobel算子，Prewitt算子，LOG算子等；另外一种是1986年John Canny提出的Canny边缘检测算法。Canny算法是一个非常经典的算法，其在图像去噪和边缘细节的保留上取得了较好的平衡，因此，Canny算法具有较好的信噪比和检测精度，能够检测出较细的边缘。Canny边缘检测算子在图像处理领域已经取得了广泛的应用。

Canny边缘检测主要包含以下几个步骤：

(1)高斯滤波器平滑图像。

Canny算子首先采用二维高斯函数对图像进行平滑。

$G(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp (-\frac{x^2+y^2}{2\mathrm{\π}{\mathrm{\σ}}^2})$

式中，σ为控制平滑图像程度的高斯滤波器的参数。

(2)计算滤波后图像梯度幅值和方向。

计算平滑后图像各像素点处的梯度幅值G和梯度方向θ。

其中像素点(i，j)的水平和垂直两方向的梯度Gx(i，j)、Gy(i，j)分别为：

$G_x(i,j)=\frac{1}{2}[I(i,j+1)-I(i,j)+I(i+1,j+1)-I(i+1,j)]$

$G_y(i,j)=\frac{1}{2}[I(i,j)-I(i+1,j)+I(i,j+1)-I(i+1,j+1)]$

因此，像素点(i，j)处的梯度幅值和梯度方向分别为：

$G(i,j)=\sqrt{G_x^2(i,j)+G_y^2(i,j)}$

$\mathrm{\θ}(i,j)=\arctan \frac{G_x(i,j)}{G_y(i,j)}$

(3)对各像素点梯度幅值进行非极大值抑制。

为了精确定位图像边缘，必须进一步细化梯度幅值图像G中的屋脊带，即只能保留幅值的局部极大值，这个过程称为非极大值抑制(NMS)。

在梯度幅值图像G中以像素点(i，j)为中心3×3的邻域内沿梯度方向θ(i，j)进行比较，其中θ(i，j)共有8个值：

π、

2π，即，当θ(i，j)为π和2π时，将点(i，j)的梯度值和点(i+1，j)、(i-1，j)比较，当θ(i，j)为

和

时，将点(i，j)的梯度值和点(i+1，j-1)、(i-1，j+1)比较，当θ(i，j)为

和

时，将点(i，j)的梯度值和点(i，j-1)、(i，j+1)比较，当θ(i，j)为和

时，将点(i，j)的梯度值和点(i-1，j-1)、(i+1，j+1)比较，如果像素点(i，j)处的梯度幅值均大于点(i+1，j)、(i-1，j)、(i+1，j-1)、(i-1，j+1)、(i，j-1)、(i，j+1)、(i-1，j-1)、(i+1，j+1)处的梯度幅值，则将像素点(i，j)标记为候选边缘点，如果像素点(i，j)处的梯度幅值小于上述八个点中的至少一个点，反之则标记为非边缘点。以点(i，j)为中心点的3×3邻域非极大值抑制完成之后，再对以点(i+1，j)为中心点的3×3邻域进行非极大值抑制操作，以此类推，直到得到候选边缘图像N。

(4)双阈值算法检测和连接边缘。

Canny算子采用双阈值法对候选边缘图像N中的候选边缘点进行检测并连接得到完整的边缘。

首先选取两个阈值，高阈值Th和低阈值Tl，传统的高阈值Th和低阈值Tl的选取采取如下原则，假设在一幅图像中，非边缘的数目占总图像素数目的比例为H，则根据求得的梯度图像画出直方图，从低到高逐步累加图像点数目，当累加数目达到图像总像素数目乘以H时，对应的图像梯度值为高阈值Th，一般H的取值为0.7。低阈值Tl的选择是高阈值Th乘以一个比例因子R，那么Tl＝Th×R。R一般取值为0.5。然后扫描候选边缘图像N，如果候选边缘图像中的像素点(i，j)的梯度幅值G(i，j)大于高阈值Th，则该点一定是边缘点；若点(i，j)的梯度幅值G(i，j)小于低阈值Tl，则该点一定不是边缘点。而对于梯度幅值处于两个阈值之间的像素点，则将其看作备选边缘点，若该像素点的邻接像素中有边缘点则认为该点也为边缘点，否则，该点为非边缘点。以此类推，直到得到边缘图像。

应用SOPC技术实现目标物体的图像采集及边缘检测是未来嵌入式系统实现边缘检测算法的发展方向。现阶段，通常的应用SOPC进行图像采集和边缘检测的方案并没有对算法的实现进行设计优化，在SOPC系统开发过程中，算法的实现仍然用串行指令执行的高级语言(C，C++)来实现。由于一般的图像处理算法运算都比较复杂，计算量很大，消耗时间比较长，因此，用C或者C++来实现时并没有对其运算速度有本质的提高，因此传统的在SOPC系统中用高级语言实现图像处理算法并不能在根本上提高图像采集和处理的速度。

发明内容

为了克服现有基于嵌入式技术的图像采集及边缘检测方案算法执行效率不高的缺点，本发明提出一种能够进行实时图像采集和Canny边缘检测处理的方法，能够方便的实现实时图像采集和实时边缘检测处理。

为了实现上述目的，本发明采用了如下的技术方案：在FPGA芯片中构建SOPC系统，使系统能够实现图像的采集和Canny边缘检测，并实现对处理后的图像输出和显示。

基于SOPC技术的图像采集和处理系统，其特征在于采用SOPC技术将Nios II软核处理器、图像采集模块IP核、图像处理算法IP核、存储器、功能接口及扩展I/O口等集成在一片FPGA芯片上。其中，图像处理算法IP核是Canny边缘检测算法IP核。Canny边缘检测算法IP核是将比较耗费逻辑资源和运算时间的Canny边缘检测算法用硬件描述语言(HDL)封装成IP核嵌入到SOPC系统中实现，利用硬件描述语言并行指令执行和Nios II处理器串行执行指令的优势，实现系统算法并行计算与串行控制指令相结合，极大地提高了图像处理算法的执行速度，从而缩短了系统从采集至显示的整体时间，满足图像采集与处理的实时性要求。

针对上述方案，本发明构建了的高效的图像采集和Canny边缘检测算法的SOPC系统。构建SOPC系统时，用户不仅可以添加开发环境已经提供的外设，还可以通过定制用户逻辑外设和定制用户指令来实现各种应用需求。本SOPC系统主要包含Nios II软核处理器模块、CMOS图像传感控制器模块、FIFO控制器模块、SDRAM控制器模块、Canny边缘检测算法模块、VGA控制器模块。其中Nios II软核处理器模块、FIFO控制器模块、SDRAM控制器模块是由开发环境提供的模块，在构建时应该根据需求对各个模块进行配置，而CMOS图像传感控制器模块、Canny边缘检测算法模块、VGA控制器模块是需要自己开发的模块。

设计完成相应的IP模块，应用Quartus II和Nios II IDE软件进行图像采集及Canny边缘检测SOPC系统开发，Quartus II用来将Nios II软核处理器模块、CMOS图像传感控制器模块、FIFO控制器模块、SDRAM控制器模块、Canny算子IP模块、VGA控制器IP模块集成为整个工程，定制并配置他们的功能，分配外设地址、中断号以及复位地址，最后生成系统。Nios IIIDE软件用来完成整个Nios II处理器系统的所有软件开发任务。并最终将具有实时的图像采集和Canny边缘检测功能的SOPC系统下载至FPGA芯片。

本发明的积极效果在于：

1、本发明采用Canny边缘检测算法进行边缘检测，Canny算子是一个非常经典的边缘检测算法，具有较好的信噪比和检测精度，能够检测出较细的边缘。

2、本发明将Canny边缘检测算法用VHDL语言封装成SOPC系统中IP核，实现了Canny算法的并行计算，提高了算法的执行速度。

3、本发明综合了SOPC系统的Canny算法并行计算和Nios串行指令执行的优势，整个系统具有很高的执行速度。

附图说明

图1是本发明的系统示意框图；

图2是本发明Canny算子IP核示意框图；

图3是本发明Canny算子逻辑设计高斯滤波窗口及硬件框图；

图4是本发明Canny算子逻辑设计梯度幅值计算窗口Sobel卷积模板；

图5是本发明Canny算子逻辑设计梯度幅值计算硬件框图；

图6是本发明Canny算子逻辑设计非极大值抑制硬件框图；

图7是本发明VGA IP核结构示意框图；

图8至图14是本发明在FPGA硬件实现的不同部分电路图，其中相同的网络标号表示在物理上连通的点；

图8本发明硬件实现的硬件框图；

图9本发明硬件实现的电源部分电路图；

图10本发明硬件实现的图像传感器部分电路图；

图11是本发明中FIFO缓存电路；

图12是本发明中片外存储设备SDRAM及其外围电路图；

图13是本发明中Flash芯片及其外围电路图；

图14是本发明中VGA显示电路图；

具体实施方式

下面结合附图及优选实例对本发明进行详细说明。

本发明的系统框图如图1所示，为了实现上述目的，本发明采用了如下的技术方案：在基于FPGA为控制核心的硬件电路上实现基于SOPC技术的图像采集处理系统构架的搭建，并设计硬件电路系统进行SOPC系统硬件实现。SOPC系统将Nios II软核处理器模块、CMOS图像传感控制器模块、FIFO控制器模块、SDRAM控制器模块、Canny算子IP模块、VGA控制器IP模块集成在一片FPGA芯片上。实现该系统的硬件电路主要包括：图像采集及缓冲单元、FPGA控制及存储单元、Canny边缘检测单元以及图像VGA显示单元。硬件电路框图如图8所示。

所述的图像采集及缓冲单元主要包括图像传感器和一片FIFO，图像传感器电路图如图10所示，图像传感器是采用Micron公司推出的型号为MT9M111的图像传感器，MT9M111是一种低功耗、低成本、渐进扫描CMOS图像传感器。最大输出为130万像素分辨率(1280H×1024V)，输出图像的窗口大小可以根据需要进行调整。MT9M111通过两线串行接口(I2C)总线进行配置，通过配置MT9M111的寄存器，可以对其输出图像的分辨率、帧速率、曝光时间等参数进行方便的设置。FIFO缓存电路如图11所示，采用的是AverLogic公司推出的AL422B，其存储容量为393216字节×8位，读写周期为20ns，其所有的寻址、刷新等操作都由集成在芯片内部的控制系统完成，能够满足对一幅小型的VGA、NTSC、PAL和HDTV等制式的图像进行缓存。采集图像开始前，需要对MT9M111图像传感器通过I2C总线时序进行寄存器配置，以及FIFO初始化设置。使图像传感器处在禁止采集图像的状态，同时禁止FIFO输出数据。初始化完成之后，开始采集一幅图像，MT9M111输出的图像信号是采样率为4∶2∶2的YUV图像信号。图像信号经图像传感器输出之后可直接缓冲到FIFO芯片。

所述的FPGA控制及存储单元主要包括一片FPGA芯片、一片SDRAM芯片和一片Flash芯片。FPGA芯片型号为EP3C25P256C8N，是属于Altera公司CycloneIII系列芯片，该系列芯片同时实现了低功耗、低成本和高性能，并且具有丰富的逻辑资源：共有24624个逻辑单元、66个M9K RAM和66个嵌入式乘法器，最大可编程引脚数目为215个。如图12所示，硬件电路选用的片外存储器SDRAM是一款Hynix公司生产的型号为HY57V561620的芯片，其存储容量为32MB。因此SDRAM具备足够的存储空间来存储图像数据和图像处理时得到的中间数据。如图13所示，Flash芯片是一款SPANSION公司生产的型号为S29GL032N90TF104的芯片，其存储容量为4MB。当FIFO存储完成一帧图像之后，通过Nios II处理器控制将图像数据存入到片外SDRAM。Altera公司提供具有Avalon接口的SDRAM控制器，能方便地与SDRAM芯片进行连接。SDRAM需要进行刷新、行打开管理、延时及其他操作。Altera公司提供的SDRAM控制器完成了对SDRAM的专门操作时序，因此，在Nios II系统中使用SDRAM时，不必再加入额外的考虑，直接使用即可。

所述的Canny边缘检测单元是在图像数据存储到SDRAM之后，需要对捕获的数据进行Canny边缘检测，图像数据的读写和处理过程采用“乒乓操作”，Canny边缘检测算子IP模块有例化的行缓冲器，在对图像数据操作时，采用“行读取”方式：首先将SDRAM中图像数据的所需要的行读取到行缓冲器，然后通过模板卷积计算，得到相应步骤的图像像素数据，并将此像素数据经Avalon总线再次存储到SDRAM中新开辟的地址中，实现算法处理过程中中间结果的存储。整个过程可以完成边读取、边处理、边存储的操作。处理完成一帧图像后，将其存储至SDRAM。

Canny边缘检测单元的重点是实现符合Avalon总线接口规范的Canny边缘检测算法IP核的设计。SOPC系统的开发过程中，SOPC Builder软件提供了一个元件编辑器，通过这个编辑器可以将自己设计的逻辑封装成IP核，IP核的设计需符合Avalon总线中的Avalon-MM(Avalon Memory M)接口规范。构建Canny算子IP核需要应用硬件描述语言(HDL)编程设计。如图2所示，首先需要构建一个Avalon-MM Slave接口规范的能够实现Canny边缘检测功能的时序逻辑，Canny算子IP核所需的Avalon信号有：address、chipselect、read、readdata、write、writedata，通过这些定制的Avalon信号来实现图像数据的读写操作的接口。Canny算子IP核内部还须定制寄存器，本IP核定制了使能控制寄存器、状态寄存器和系统寄存器。设计中将各寄存器映射成Avalon Slave端口地址空间内一个单独的偏移地址。每个寄存器都可以进行读写访问，软件可以读回寄存器中的当前值。

定制完成Avalon信号和寄存器后，须对Canny算子IP核进行硬件逻辑设计，这是Canny算子IP核设计的重点。用硬件描述语言(HDL)进行算法逻辑设计流程有四个步骤：高斯滤波、梯度幅值和方向计算、非极大值抑制、滞后双阈值处理。

(1)高斯滤波

如图3所示，高斯滤波器硬件电路设计包含两个部分，一是对高斯滤波窗口模块进行设计，二是实现高斯滤波电路逻辑设计。

实现高斯滤波电路逻辑设计，其中，行缓冲器可以产生图像数据行缓冲，行缓冲器的深度为一帧图像行像素数目。经过行缓冲器缓冲产生的5×5图像数据分别和滤波器系数C_ij(i＝1..5；j＝1..5)相乘，并将相乘之后的数据经加法树相加得到的值作为5×5图像数据中间像素的值G_ij输出。

(2)梯度幅值和方向计算

针对高斯滤波后的图像进行梯度幅值计算可以应用小区域模板(Sobel算子)卷积来近似计算。Sobel算子模板如图4所示。

Sobel算子求取图像像素点的梯度幅值G_x和G_y的硬件实现，如图5所示，其中行缓冲器可以产生经高斯滤波后图像数据的行缓冲，缓冲器的深度为高斯滤波后图像的行像素数。经过行缓冲器产生的3×3图像数据分别和窗口系数X_ij和Y_ij(i＝1，2，3；j＝1，2，3)相乘，相乘之后得到像素点X方向和Y方向的梯度幅值G_x和G_y。

像素点总梯度幅值可用如下公式近似：

G(i，j)＝|G_x(i，j)|+|G_y(i，j)|

最终得到的梯度值作为3×3图像数据中间像素的值G(i，j)输出。

(3)非极大值抑制

非极大值抑制步骤的目的是精确定位边缘点的位置。非极大值抑制的电路硬件实现，如图6所示，是将图像像素点的梯度幅值作为电路框图的输入值，并采用三个行缓冲器进行缓冲，缓冲器的深度为梯度幅值图像的行像素数，经过行缓冲器产生一个以像素点(i，j)为中心的3×3窗口。设计一个比较器，并将点(i，j)的梯度幅值和其他八个像素点的梯度幅值进行比较，如果(i，j)点的梯度幅值均大于其他八个点的梯度幅值，则将(i，j)点判定为候选边缘点，如果其他八个点中至少有一个点的梯度幅值大于(i，j)点的梯度幅值，则点(i，j)被判定为非边缘点。

(4)滞后双阈值处理

滞后双阈值处理用来连接离散的边缘像素。设定两个阈值，高阈值Th和低阈值Tl，将候选边缘图像中像素点(i，j)的梯度幅值和Th和Tl比较，若大于Th，则点(i，j)一定为边缘点，若小于Tl，则点(i，j)一定为非边缘点。若点(i，j)为边缘点，则对点(i，j)的8邻域进行搜索，如果8邻域点中如果有像素点梯度值大于Tl时，则将该点也判定为边缘点。

所述的图像VGA显示单元主要为VGA接口电路。本系统须定制VGA IP模块。VGA IP模块的作用是建立帧缓存与液晶屏幕像素之间一一对应的关系，并将帧缓存中的数据输送给显示器并完成显示刷新。VGA接头有15个引脚，包括行同步(HSYNC)、场同步(VSYNC)等引脚。VGA控制器的设计包括三个部分：VGA时序信号生成模块、Avalon总线主从端口模块、输出缓冲FIFO模块。如图7所示，其中Avalon总线从端口模块的作用是定制两个地址，地址0用来写入SDRAM为VGA开辟的一个现实缓冲器的首地址；地址1的0位控制VGA是否工作，置1为工作，置0为停止工作。Avalon总线主端口模块的作用是通过从机模块设置的VGA数据缓冲地址来向Avalon总线索要数据，输出到VGA的FIFO缓存单元中，再由VGA时序控制器有效的读取FIFO的数据到VGA上。本系统采用I/O口和电阻网络控制VGA像素颜色的方法，硬件电路如图14所示。VGA接口的1引脚表示红基色信号，2引脚表示绿基色信号，3引脚表示蓝基色信号。VGA控制器需要完成两个功能：一是从Avalon总线获取数据，提供给VGA时序发生逻辑；另一个是VGA时序发生逻辑产生VGA时序将图像数据在显示器上显示。最终完成向显示器输送边缘图像的RGB颜色分量值。

Claims (3)

1.一种基于FPGA为控制核心的图像及采集处理方法，该方法主要是在FPGA芯片上构建实现图像采集和Canny边缘检测处理的SOPC系统，该系统包括Nios II软核处理器模块、CMOS图像传感控制器模块、FIFO控制器模块、SDRAM控制器模块、Canny边缘检测算法模块、VGA控制器模块。图像采集及Canny边缘检测处理系统实现包括四个步骤：(1)图像采集并缓存至FIFO；(2)通过Nios II处理器软件控制将FIFO中的图像数据传送到片外SDRAM芯片进行存储；(3)将SDRAM存储器中的图像通过Canny边缘检测算法IP核进行处理，处理过程实现“乒乓操作”，处理后的图像再次存储到SDRAM；(4)将获得的存储于SDRAM中的边缘图像通过VGA接口将处理后的图像进行显示。本发明特征在于：(1)构建SOPC系统实现图像采集及Canny边缘检测处理，并将处理结果在显示器上显示。(2)将Canny边缘检测算法用硬件描述语言设计成IP核嵌入到SOPC系统，利用硬件描述语言并行执行指令的优势，在FPGA上实现Canny边缘检测算法的并行计算，从根本上提高了算法的执行速度，达到“实时采集、实时处理”的效果；(3)Canny算法边缘检测后的图像通过VGA接口进行显示，能够实时对处理效果进行监控，监控效果可以作为算法优劣的评判标准，为进一步实现算法优化做铺垫。

2.根据权利要求1所述的一种基于FPGA为控制核心的图像采集及处理方法，其特征在于：在SOPC系统上实现Canny边缘检测算子，Canny算子是一个非常经典的边缘检测算法，具有较好的信噪比和检测精度，能够检测出较细的边缘。

3.根据权利要求1所述的一种基于FPGA为控制核心的图像采集及处理方法，其特征在于：将Canny边缘检测算子设计成IP软核，其信号接口符合Avalon总线规范。

Images