CN104284065A - 一种基于fpga的工业智能相机 - Google Patents

Abstract

本发明提供一种工业智能相机，包括成像模块、主控制模块、传输模块、电源模块和存储模块，成像模块包括CMOS图像传感器及外围电路，主控制模块为FPGA芯片，包括图像采集控制模块、图像预处理模块、图像高级处理模块、传输控制模块和存储控制模块。本发明提供的工业智能相机采用FPGA芯片实现全部图像处理功能，避免了复杂的FPGA与DSP的交互设计，充分发挥FPGA以硬件电路实现算法的处理速度快、性能稳定等优势，相机的集成度高、整体尺寸小、重量低、功耗少，特别适用于对相机尺寸和图像处理速度有较高要求的应用场合。

Description

一种基于FPGA的工业智能相机

技术领域

本发明属于嵌入式机器视觉领域，更具体地涉及一种采用FPGA芯片作为主处理器、CMOS图像传感器作为感光芯片的工业智能相机。

背景技术

目前大多数机器视觉系统都是采用基于PC机的视觉系统，通常包括工业相机、镜头、图像采集卡、图像处理软件包和用于图像处理的通用计算机或工控机，视频图像通过图像采集卡转化为数字信号传送给计算机进行处理。用户可根据需求和性能差异选择不同的图像采集卡和计算机，并在其中植入相应的算法。基于PC机的视觉系统具有通用性高，配置灵活，容易实现等优点，但同时也具备如体积大、功耗高、重量大、系统集成度差等缺陷，对于一些对体积、重量和功耗要求较高的应用场合，常规的基于PC机的视觉系统显得力不从心。

发明专利：“一种基于FPGA和DSP的机器视觉系统”，授权公告号：CN102044063B，授权公告日：2012.11.21，公开了一种基于FPGA和DSP的机器视觉系统，以千兆以太网接口作为图像数据输入接口；使用FPGA内部硬件电路实现图像的高速采集与底层预处理；使用DSP软件编程实现系统的逻辑控制以及图像的高层理解与模式识别处理。整个系统包括图像采集模块、图像预处理模块、图像高层处理与模式识别模块以及结果输出模块。图像采集模块通过千兆以太网接口将数字相机的图像数据采集到FPGA中，依次经过由FPGA内部硬件电路资源实现的图像预处理模块中各个计算单元，得到边缘图像以及图像特征信息；DSP通过软件实现高层图像理解与模式识别模块，并将最终的处理结果通过结果输出模块传送给远程上位机或执行设备。

但是，上述发明专利仍然存在明显的缺陷与不足：首先是硬件设计方面，FPGA与DSP的交互非常复杂；其次，即使通过复杂的方法实现了FPGA与DSP的交互设计，这种FPGA与DSP双处理器结构通常被制成一个整体大板，且必须插接在工控机中或单独与主机连接，因而使相机的整体尺寸变得非常之庞大，重量相对也较重，这对于一些对空间尺寸、重量要求较高的特定的工业应用领域难以适用，例如微型飞行器的航拍、机器手臂的导航等；再次，上述专利使用DSP软件编程实现系统的逻辑控制以及图像的高层理解与模式识别处理，这种采用软件方式调度虽然使图像处理算法实现相对容易，但是由于FPGA与DSP之间的交互时序非常复杂，且高速的接口通信协议实现困难，从而造成了软件实现的困难；再次是采用软件实现算法不如硬件电路实现算法的速度快，因而不能适用一些对图像处理速度有较高相求的场合；最后是FPGA缺少对数据流的有效控制，使图像处理的各模块之间的数据传递存在的延迟影响了FPGA的并行处理速度。

发明内容

本发明的目的在于针对现有技术基于FPGA和DSP双处理器的智能相机存在的FPGA与DSP的交互设计复杂、相机尺寸重量大、软件实现算法的处理速度慢等问题与不足，提供一种基于FPGA的CMOS工业智能相机，避免了复杂的FPGA与DSP的交互设计，运用FPGA实现全部图像处理功能，充分发挥FPGA以硬件电路实现算法的处理速度快等优势，并采用高性能、低成本的CMOS图像传感器，智能相机的集成度高，整体尺寸小、重量低、功耗少，特别适用于对相机尺寸和图像处理速度有较高要求的应用场合。

本发明为实现上述技术目的采用的技术方案是：一种基于FPGA的CMOS工业智能相机，包括成像模块、主控制模块、传输模块、电源模块和存储模块，所述成像模块包括CMOS图像传感器，所述主控制模块为FPGA芯片，所述主控制模块包括图像采集控制模块、图像预处理模块、图像高级处理模块、传输控制模块和存储控制模块，所述图像采集控制模块用于配置CMOS图像传感器的功能，并对CMOS图像传感器输出的图像数据进行时序控制，所述图像预处理模块用于图像预处理操作，所述图像高级处理模块用于图像高级处理操作，所述传输控制模块用于控制图像预处理模块、图像高级处理模块与传输模块的衔接，以及将经过预处理或高级处理后的图像传递给传输模块，所述传输模块通过千兆以太网接口或CameraLink接口连接远程上位机或执行系统，将FPGA传输控制模块输出的处理后图像传递给远程上位机或执行系统。

一种基于FPGA的CMOS工业智能相机，所述图像预处理模块用于对图像的点操作、邻域操作、统计处理、特征提取操作，所述图像高级处理模块用于对图像的理解、分析、识别操作，所述图像预处理模块和图像高级处理模块均包括一个以上的计算单元，所述计算单元之间采用流水线的处理模式，并在FPGA内部使用硬件电路并行实现。

一种基于FPGA的CMOS工业智能相机，所述每个计算单元中包括一个以上的计算子模块，所述每个计算子模块中设有一个控制模块，所述控制模块用于控制数据的输入同时监测数据的输出，当控制模块监测到上一个计算子模块输出有效数据时，马上允许下一个计算子模块输入信号有效。

一种基于FPGA的CMOS工业智能相机，所述传输控制模块的千兆以太网传输控制采用TCP/IP协议或UDP/IP协议，所述CameraLink传输控制采用LVDS信号进行传输。

一种基于FPGA的CMOS工业智能相机，所述存储模块包括非易失性存储和易失性存储，所述非易失性存储为Flash或者EEPROM，所述易失性存储为SDRAM、DDR2或DDR3。

一种基于FPGA的CMOS工业智能相机，所述电源模块包括电源滤波部分、电源稳压部分和电平转换部分，所述电源滤波部分用于滤除电源纹波，保证电源质量，所述电源稳压部分用于减弱因外界瞬时冲击等原因导致的电压不稳定现象，所述电平转换部分用于将输入电压转换为CMOS图像传感器、FPGA芯片等正常工作所需的3.3V、2.5V、1.8V、1.2V等电平，所述电源模块的输入电压可根据工业现场的需求调整为24V、12V或5V。

一种基于FPGA的CMOS工业智能相机，所述成像模块、主控制模块和电源模块分别采用独立的电路板，各模块之间采用接插件连接，或者所述成像模块、主控制模块和电源模块各模块采用单块电路板的整体结构。

与现有技术相比，本发明更优的技术效果主要体现在以下方面：

1、采用FPGA芯片为主控制模块，相比FPGA加DSP芯片的结构，既避免了复杂的FPGA与DSP的交互设计，克服了FPGA与DSP之间的高速接口通信协议的实现困难，又充分发挥了FGPA硬件电路实现算法的速度优势，同时减小了相机的整体尺寸和重量，提高了相机的集成度。

2、采用FPGA芯片进行图像处理，FPGA通过硬件电路形式实现图像处理的各种算法，FGPA中的各个计算单元之间及计算单元内部的各个模块之间采用流水并行处理，与软件算法相比，图像处理速度显著提高，另一方面，由于图像处理算法以硬件电路的形式集成在FPGA芯片内部，用户不可随意更改，因此系统稳定性更高，使用更方便可靠。

3、FPGA的图像处理模块包含的各个计算单元中的各个计算子模块中设有控制模块，用于控制数据的输入同时监测数据的输出，当控制模块监测到上一模块输出有效数据时，马上允许下一个模块输入信号有效，保证了整个数据流的高效运行，解决了FPGA实现算法的时序问题。

4、采用了CMOS图像传感器，有效降低了相机的成本和功耗，CMOS+FPGA的结构提高了相机的集成度，使相机的体积和重量更小，更适用于对相机尺寸重量有特殊要求的应用。

附图说明

图1是本发明的工业智能相机的结构示意图。

图2是本发明的工业智能相机的主控制模块的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

图1是按照本发明的工业智能相机的结构示意图，包括成像模块、主控制模块、传输模块、电源模块和存储模块。

成像模块由CMOS图像传感器及其外围电路组成，用于将外部光信号通过光电耦合转换为电荷信号，然后经过A\D转换、噪声抑制、增益调整等一系列处理后传递给FPGA主控制模块中的FPGA图像采集部分。

主控制模块为FPGA芯片，包括图像采集控制模块、图像预处理模块、图像高级处理模块、传输控制模块和存储控制模块，参见图2。其中，图像采集控制模块用于配置CMOS图像传感器的功能，并对CMOS图像传感器输出的图像数据进行时序控制；图像预处理模块用于图像预处理操作；图像高级处理模块用于图像高级处理操作；传输控制模块用于控制图像预处理模块、图像高级处理模块与传输模块的衔接，以及将经过预处理或高级处理后的图像传递给传输模块；传输模块通过千兆以太网接口或CameraLink接口连接远程上位机或执行系统，将FPGA传输控制模块输出的处理后图像传递给远程上位机或执行系统。

图像预处理模块用于对图像数据流进行点操作、邻域操作、统计处理、特征提取等图像预处理操作，处理后的结果输出到FPGA高级图像处理部分或FPGA存储控制部分(根据处理算法的不同，流向也会不同)；图像高级处理模块用于对图像数据流进行图像理解、图像分析或图像识别等高级处理，该部分功能可根据用户的实际需求进行功能定制，处理后的结果输出到传输控制模块或存储控制模块(根据处理算法的不同，流向也会不同)。

传输模块包括千兆以太网传输部分或CameraLink传输部分，是远程上位机或执行系统与智能相机连接的通路，其通过千兆以太网接口或CameraLink接口将FPGA传输控制模块输出的处理后图像或处理结果传递给远程上位机或执行系统，具体传输接口可根据现场环境进行选择和定制。

存储模块包括非易失性存储和易失性存储，非易失性存储为Flash或者EEPROM，所述易失性存储为SDRAM、DDR2或DDR3。

电源模块由电源滤波部分、电源稳压部分和电平转换部分构成，其中：电源滤波部分主要用来滤除电源纹波，保证电源质量；电源稳压部分主要用来减弱因外界瞬时冲击等原因导致的电压不稳定现象；电平转换部分主要用来将输入电压转换为CMOS图像传感器、FPGA芯片等正常工作所需的3.3V、2.5V、1.8V、1.2V等电平，是电源模块的主要功能。电源模块的输入电压可根据工业现场的需求调整为24V、12V或5V。

优选地，成像模块CMOS图像传感器采用E2V公司200W像素和130W像素传感器，FPGA采用xilinx公司spartan6系列高端芯片，电源模块多采用TI公司电源芯片，存储模块采用镁光DDR2、DDR3和Flash芯片。

以下为以Sobel边缘提取为例，说明本发明的工业智能相机的工作过程。系统上电后，存储在非易失性存储器Flash中的程序自动加载到xilinxspartan6芯片中，进行硬件及变量的初始化，并创建多任务。图像采集控制模块负责将E2V传感器配置参数加载到E2V传感器芯片中，用于对E2V传感器曝光时间、图像大小、触发方式、采集模式、图像格式等参数的设置；设置完成后，延迟若干周期，E2V图像传感器芯片就会输出图像数据，并由图像采集控制模块进行采集。采集后的图像数据流直接在图像预处理模块进行Sobel边缘提取运算，运算后的图像数据通过存储控制模块控制存储在存储模块DDR2中，当一帧数据存储完成后，传输控制模块启动，将图像数据通过传输模块中的EMAC芯片、PHY芯片和RJ45接口传输到远程上位机，图像数据在DDR2中的存储采用乒乓操作模式，至此，一帧数据的Sobel边缘提取运算和传输完成。

本发明提供的基于FPGA的CMOS工业智能相机，图像预处理模块和图像高级处理模块均包括一个以上的计算单元，如：图像预处理模块可以包括图像二值化、中值滤波、高斯滤波、均值滤波、直方图统计、直方图均衡化、Sobel边缘提取、Canny算子等计算单元；图像高级处理模块可以Blob计数、Hough变换、灰度匹配、几何匹配、字符识别、条码识别、精密测量等计算单元，上述列举并不限制本发明的保护范围。图像预处理模块和图像高级处理模块的计算单元之间均采用流水线的处理模式，并在FPGA内部使用硬件电路并行实现，可使多个图像处理算法在时间域上处于并行运行的状态,能够有效提高处理速度和资源利用率，具有PC机与DSP有着无法比拟的优势。

图像预处理和高级处理模块中的各个计算单元的内部还包括多个计算子模块，如Canny算子又包括高斯滤波、梯度计算、非极大值抑制、双阈值分割四个子模块，但在流水线、并行处理模式中，各子模块内部以及子模块之间数据何时传递，以达到处理速度的最快是需要考虑的问题，即时序问题，时序问题也是在FPGA上实现算法的难点所在。本发明采用在计算单元的各个计算子模块中添加一个控制模块，用于控制数据的输入同时监测数据的输出，当控制模块监测到上一个计算子模块输出有效数据时，马上允许下一个计算子模块输入信号有效，从而保证了整个数据流的高效运行。

以下通过Canny算子为例，说明本发明提供的工业智能相机如何使用FPGA实现图像处理算法。Canny算子的算法包括高斯滤波、梯度计算、非极大值抑制、双阈值分割四大模块：

1)高斯滤波模板进行卷积运算以消除噪声；

$\frac{1}{16}\left|\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right|$

2)梯度计算

进行高斯平滑后，利用Sobel算子分别计算像素在x和y方向上的偏导数，所使用的Sobel算子分别记为Sobelx和Sobely。算法中使用的Sobel算子卷积核分别为：

$\mathrm{Sobelx}=\left|\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right|,\mathrm{Sobely}=\left|\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right|$

通过Sobelx和Sobely可以计算像素的梯度幅值和梯度方向。梯度幅值用两个偏导数的绝对值之和来近似。

G＝|Sobelx|+|Sobely|

梯度方向不需要具体计算，只需要近似的分成水平、垂直、450、和-450四个方向。

|Sobelx|＜|Sobely|×tg(22.5)时方向为水平；

|Sobelx|＞|Sobely|×tg(67.5)时方向为垂直；

两者之间的情况需要用Sobelx和Sobely的符号来判断，两者符号相同时为450方向，相异时为-450方向。

3)非极大值抑制和双阈值分割

根据输入的的梯度幅值G和梯度方向D，用非极大值抑制的条件和高低阈值条件输出数据进行选择，其中强边缘点输出为255，弱边缘输出为0。

最后是对图像进行基于双阈值的非极大值抑制。先依据方向D，选择出与当前点梯度在同一方向上的两个相邻梯度值,并判断当前像素点的梯度是否大于相邻两点的梯度,将比较后的图像记为f1。在f1中将大于高阈值的所有像素点置1,其它的像素点置0得到的图像,记为f2,表示强边缘点图像。在f1中将大于低阈值而小于高阈值的所有像素点置1,其它的像素点置0得到的图像,记为f3,表示弱边缘点图像。如果当前点的梯度比低阈值还小,则说明当前点不是边缘点。

对于每一点(i,j)来说,如果f2(i,j)为1,那么当前点肯定为边缘点,输出为1。如果f2(i,j)为0而f3(i,j)为1,那么就要看f2(i,j)的8连通区域,如果8连通区域中存在强边缘点,则当前点也为边缘点,输出也为1。如此进行下去,直到整幅图像扫描完成,得到边缘图像。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于FPGA的CMOS工业智能相机，包括成像模块、主控制模块、传输模块、电源模块和存储模块，其特征在于：所述成像模块包括CMOS图像传感器，所述主控制模块为FPGA芯片，所述主控制模块包括图像采集控制模块、图像预处理模块、图像高级处理模块、传输控制模块和存储控制模块，所述图像采集控制模块用于配置CMOS图像传感器的功能，并对CMOS图像传感器输出的图像数据进行时序控制，所述图像预处理模块用于图像预处理操作，所述图像高级处理模块用于图像高级处理操作，所述传输控制模块用于控制图像预处理模块、图像高级处理模块与传输模块的衔接，以及将经过预处理或高级处理后的图像传递给传输模块，所述传输模块通过千兆以太网接口或CameraLink接口连接远程上位机或执行系统，将FPGA传输控制模块输出的处理后图像传递给远程上位机或执行系统。

2.根据权利要求1所述的一种基于FPGA的CMOS工业智能相机，其特征在于：所述图像预处理模块用于对图像的点操作、邻域操作、统计处理、特征提取操作，所述图像高级处理模块用于对图像的理解、分析、识别操作，所述图像预处理模块和图像高级处理模块均包括一个以上的计算单元，所述计算单元之间采用流水线的处理模式，并在FPGA内部使用硬件电路并行实现。

3.根据权利要求2所述的一种基于FPGA的CMOS工业智能相机，其特征在于：所述每个计算单元中包括一个以上的计算子模块，所述每个计算子模块中设有一个控制模块，所述控制模块用于控制数据的输入同时监测数据的输出，当控制模块监测到上一个计算子模块输出有效数据时，马上允许下一个计算子模块输入信号有效。

4.根据权利要求1所述的一种基于FPGA的CMOS工业智能相机，其特征在于：所述传输控制模块的千兆以太网传输控制采用TCP/IP协议或UDP/IP协议，所述CameraLink传输控制采用LVDS信号进行传输。

5.根据权利要求1所述的一种基于FPGA的CMOS工业智能相机，其特征在于：所述存储模块包括非易失性存储和易失性存储，所述非易失性存储为Flash或者EEPROM，所述易失性存储为SDRAM、DDR2或DDR3。

6.根据权利要求1所述的一种基于FPGA的CMOS工业智能相机，其特征在于：所述电源模块包括电源滤波部分、电源稳压部分和电平转换部分，所述电源滤波部分用于滤除电源纹波，保证电源质量，所述电源稳压部分用于减弱因外界瞬时冲击等原因导致的电压不稳定现象，所述电平转换部分用于将输入电压转换为CMOS图像传感器、FPGA芯片等正常工作所需的3.3V、2.5V、1.8V、1.2V等电平，所述电源模块的输入电压可根据工业现场的需求调整为24V、12V或5V。

7.根据权利要求1所述的一种基于FPGA的CMOS工业智能相机，其特征在于：所述成像模块、主控制模块和电源模块分别采用独立的电路板，各模块之间采用接插件连接，或者所述成像模块、主控制模块和电源模块各模块采用单块电路板的整体结构。