CN101532828A - 基于fpga的残币面积检测系统与桶形失真校正方法 - Google Patents

Abstract

本发明公开了一种基于FPGA的残币面积检测系统与桶形失真校正方法，包括摄像装置、图像处理模块、图像失真校正模块，图像处理模块包括FPGA芯片；摄像装置获取的图像信息输入给图像处理模块进行处理，并将处理后的图像输入给图像失真校正模块通过公式：(见图)，对摄像装置摄取的图像进行桶形失真校正，并消除图像的孔洞效应。应用在商业银行残币兑换领域，成本低、可以实现自动化，能对图像进行有效、实时校正。

Description

基于FPGA的残币面积检测系统与桶形失真校正方法

技术领域

本发明涉及一种成像系统及对成像进行校正的技术，尤其涉及一种基于FPGA的残币面积检测系统与桶形失真校正方法。

背景技术

CMOS(Complementary Metal-Oxide Semiconductor，互补性氧化金属半导体)图像传感器是近年兴起的一类固态图像传感器。它具有低成本、低功耗、速率高等优点。

如图1所述，现有技术中，连接CMOS图像传感器的CPU系统可以通过一个MAX202串行通讯接口实现与上位机PC的连接以便进行调试，也可以采用640*480彩色液晶调试，调试的主要任务是聚焦、暴光时间调整，以及对各种面值的标准值采样等。

由于摄像头的物理特性，即透镜的光折射率不等，造成了成像画面呈桶形膨胀状的失真现象，这种现象在广角镜头和变焦镜头上较为明显：

如图2所示，图2中左边的直线是目标，右边的直线是目标所成的像，中间是镜头。从图2中可以看出，目标中心点O₀点成像于像的中心0点，目标上不同的两点A₀点和B₀点成像于A点和B点，且有：

$\frac{\mathrm{OB}}{O_0{A}_0}>\frac{\mathrm{OB}}{O_0{B}_0}$

即产生了桶形失真，根据牛顿成像定理，目标高度r₀与对应像高r之间的关系为：

$r=r_0\×\frac{f}{u-f},$ 式中，u—物距，f—焦距。

在物距u一定的情况下，焦距f愈大，像高r愈大。因此，镜头不能再等效为理想透镜，而是一个焦距随着目标离光轴距离的变化而变化的成像系统。这样，随着目标离光轴距离的增加，焦距f随着减小，所成图像就产生了桶形失真。

现有技术中，对图像进行几何失真校正的方法包括，基于镜头相对目标姿态与位置模型的外参数地址修正法和基于镜头光学特性模型的内参数地址修正法。

上述现有技术至少存在以下缺点：

由于拍摄的随意性，不仅位置会变化而且摄像头也会不同，因此，上述现有技术很难对图像进行有效的、实时的校正。

发明内容

本发明的目的是提供一种能对图像进行有效、实时校正的基于FPGA的残币面积检测系统与桶形失真校正方法。

本发明的目的是通过以下技术方案实现的：

本发明的基于FPGA的残币面积检测系统，包括摄像装置、图像处理模块、图像失真校正模块，所述图像处理模块包括FPGA芯片；

所述摄像装置获取的图像信息输入给所述图像处理模块进行处理；

所述图像处理模块将处理后的图像输入给所述图像失真校正模块；

所述图像失真校正模块通过以下公式对所述处理后的图像进行桶形失真校正：

$\left[x^{,}{y}^{,}1\right]=\left[\begin{array}{ccc}a& 0& 0\\ 0& a& 0\\ x& y& 1\end{array}\right]---\left(2\right),$ 式中，(x，y，1)为所述摄像装置摄取的图像的位置坐标；(x’，y’，1)为校正后的图像的位置坐标；a为系数。

本发明的上述的基于FPGA的残币面积检测系统对图像进行桶形失真校正方法，包括步骤：

首先，对获取的图像进行处理；

然后，对处理后的图像通过以下公式进行桶形失真校正：

$\left[x^{,}{y}^{,}1\right]=\left[\begin{array}{ccc}a& 0& 0\\ 0& a& 0\\ x& y& 1\end{array}\right]---\left(2\right),$ 式中，(x，y，1)为所述摄像装置摄取的图像的位置坐标；(x’，y’，1)为校正后的图像的位置坐标；a为系数。

由上述本发明提供的技术方案可以看出，本发明所述的基于FPGA的残币面积检测系统与桶形失真校正方法，由于图像失真校正模块通过公式：

$\left[x^{,}{y}^{,}1\right]=\left[\begin{array}{ccc}a& 0& 0\\ 0& a& 0\\ x& y& 1\end{array}\right]$ 对摄像装置摄取的图像进行桶形失真校正。能对图像进行有效、实时校正。

附图说明

图1为现有技术中的图像检测系统的原理框图；

图2为现有技术中目标成像原理图；

图3为本发明的基于FPGA的残币面积检测系统的原理框图；

图4为本发明中对图像进行桶形失真校正的原理图；

图5为本发明中对图像进行处理的流程图。

具体实施方式

本发明的基于FPGA(FieldProgrammable Gate Array，现场可编程门阵列)的残币面积检测系统，其较佳的具体实施方式如图3所示，包括摄像装置、图像处理模块、图像失真校正模块。摄像装置获取的图像信息输入给图像处理模块进行处理；图像处理模块将处理后的图像输入给图像失真校正模块；

图像失真校正模块通过以下公式对所述摄像装置摄取的图像进行桶形失直校正：

$\left[x^{,}{y}^{,}1\right]=\left[\begin{array}{ccc}a& 0& 0\\ 0& a& 0\\ x& y& 1\end{array}\right]$ (2)，式中，(x，y，1)为所述摄像装置摄取的图像的位置坐标；(x’，y’，1)为校正后的图像的位置坐标；a为系数。

其中，图像处理模块可以包括FPGA芯片，也可以包括其它的芯片。图像处理模块可以包括预处理单元、图像色度转换单元、图像分割单元、去噪单元、边缘提取单元、面积计算单元等。其中，图像色度转换单元可以将接收到的BAYER图像转换为RGB空间图像，并将RGB空间图像转换为HIS色度图像。

图像失真校正模块可以设置于FPGA芯片上；也可以是与FPGA芯片连接，如FPGA芯片连接有计算机、单片机等，图像失真校正模块设置于计算机或单片机中；也可以是单独的处理元件，如100M BASE-T元件等。

具体图像失真校正模块可以包括：

图像信息取得单元，用于获取图像上的点的信息，点的信息包括点的位置信息和色彩信息，还可以包括其它的信息；

图像失真校正单元，用于对图像上的点的位置信息进行校正；

图像信息赋值单元，用于将图像上的点的色彩信息赋值给校正后的点。

图像失真校正模块还可以包括：

图像孔洞消除单元，用于消除校正后的图像的孔洞效应。

摄像装置可以包括qq摄像头，也可以是CMOS图像传感器或其它的摄像装置。这里的图像可以为人民币或其它钱币的残币图像，也可以是其它的图像。

本发明的基于FPGA的残币面积检测系统对图像进行桶形失真校正方法，其较佳的具体实时方式是，首先，对获取的图像进行处理；然后，对处理后的图像进行桶形失真校正。

如图4所示，对处理后的图像进行桶形失真校正可以：

设xyz坐标系，对于平面图像来说，z轴坐标为常量。

图像失真校正模块通过以下公式对摄像装置摄取的图像进行桶形失真校正：

$\left[x^{,}{y}^{,}1\right]=\left[\begin{array}{ccc}a& 0& 0\\ 0& a& 0\\ x& y& 1\end{array}\right]$ (2)，式中，(x，y，1)为摄像装置摄取的图像的位置坐标；(x’，y’，1)为校正后的图像的位置坐标；a为系数，可以是变系数，也可以是常系数。

具体的桶形失真校正方法，包括步骤：

首先，获取摄像装置摄取的图像上的点的位置信息和色彩信息，还可以同时获取点的其它信息；

然后，对图像上的点的位置信息通过式(2)进行校正；

之后，将图像上的点的色彩信息赋值给校正后的点，可以将获取的其它信息同时进行赋值；

以上步骤重复进行，直至对所述图像上的点的校正数量达到设计要求的数量值。

上述步骤之后，还可以包括步骤：消除校正后的图像的孔洞效应。

如图5所示，对获取的图像进行处理包括：

首先，对图像进行预处理：包括对图像进行亮度调整、对比度调整和平滑滤波等；

然后，将预处理后的BAYER图像转换成RGB空间图像，再将RGB空间图像转换为HIS色度图像；

之后，将转换后的HIS色度图像进行图像分割、去噪处理、边缘提取、面积计算。

在对原图像进行预处理以后，BAYER转换成RGB图像，再将RGB图像转换为色度图像，再将转换后的灰度图像进行图像分割、去噪处理、边缘提取、最后经过计算可得到残币面积。

其中：

对图像进行预处理的目的就是使图像清晰。预处理过程包括对图像进行亮度、对比度调整和平滑滤波。亮度和对比度的调整可以使图像特征明显，易于识别；平滑滤波的目的则是去掉尖锐不连续的噪声。

CMOS采集的图象为BAYER格式，首先将图象BAYER格式转换为RGB格式；然后将RGB图像转为HIS色度图像。

面向硬件设备的最常用的彩色坐标系统是RGB坐标系统，而面向彩色处理的最常用的颜色坐标系统是HIS坐标系统，HIS坐标系统有两个特点：(1)I分量与图像的彩色信息无关；(2)H和S分量与人感受颜色的方式是紧密相连的。这些特点使得HIS坐标系统非常适合于借助人的视觉系统来感知彩色特性的图像处理算法。

将RGB空间的图像转换到HIS空间中以完成彩色图像分割，通常物体的色度由构成物体的材料所具有的光线吸收和反射特性决定，而亮度明显的受光照和视角的影响，因此根据色度分割图像比较可靠，采用式(1)来实现RGB图像中色度和明度的分离，只用反映色彩本质特征的色对来进行聚类分析，可以获得较好的识别效果。

$\left\{\begin{array}{c}r=\frac{255R}{R+G+B}\\ g=\frac{255G}{R+G+B}\\ b=\frac{255B}{R+G+B}\end{array}\right.---\left(1\right)$

对图像分割：

当彩色图像转变为灰度图像以后，对图像进行阈值分割。阈值法是一种广泛使用的图像分割方法。普通的阈值分割方法，要求观察图像的灰度直方图，选定灰度双峰之间的谷底值作为输入阈值将灰度图像二值化。阈值的选定因人而异，从而导致结果的不同。迄今为止，国内外学者针对这一课题进行了广泛深入的研究，虽然已提出了数十种阈值选取方法，但至今还未能找到一种对所有图像都能有效分割的阈值选区方法，某种阈值方法只能适用于某一类图像，而对其它图像分割效果并不理想。本发明采用最佳分割阈值的算法，把经过上述处理的图像，将残币和背景分离开来成为二值图像。

具体算法步骤如下：

(1)求出图像中的最小和最大灰度值Zl和Zk，令阈值初值T0＝(Zl+Zk)/2；

(2)根据阈值Tk将图像分割成目标和背景两部分，通过式(3)求出两部分的平均灰度值Z_o和Z_B：

式(3)中Z(i，j)是图像上(i，j)点的灰度值，N(i，j)是(i，j)点的权重系数，通常N(i，j)＝1；

$Z_O=\frac{\underset{z(i,j)<T^k}{\mathrm{\&Sigma;}}Z(i,j)\&times;N(i,j)}{\underset{z(i,j)<T^k}{\mathrm{\&Sigma;}}N(i,j)}$

$Z_B=\frac{\underset{z(i,j)>T^k}{\mathrm{\&Sigma;}}Z(i,j)\&times;N(i,j)}{\underset{z(i,j)>T^k}{\mathrm{\&Sigma;}}N(i,j)}---\left(3\right)$

(3)求出新的阈值：Tk+1＝(Zo+ZB)/2；

(4)如果Tk＝Tk+1，则结束，否则k←k+1，转步(2)。

去噪处理：

在采集残币的图像时，CMOS作为图像传感器具有比较低的信噪比，残币边缘阴影存在，采用阈值分割后的二值化图像，其残币周围常存在若干噪声斑点，需要进行去噪处理。“残币的边缘提取”是下一步将要进行的工作，整个残币边缘信息对于保证面积计算的精度是十分重要的。考虑到这个问题，若在去噪过程中采用线性滤波方法，则会使图像的边缘模糊，不利于提取边缘；相反，中值滤波则是一种去除噪声的非线性处理方法，中值滤波能够在抑制噪声的同时很好地保护边缘轮廓信息。本发明采用中值滤波方案进行去噪处理，图像中的噪声点将大大减少，并且图像中尖细的残币边缘会很好地保留下来。

边缘提取：

在计算叶片面积时，考虑到残币周围存在着阴影，我们采用边缘二分法进行阴影的去除。为此需要用边缘检测算法算出边缘点像素数。采用Prewitt算子并不是各同向性的，其检测到的边缘并不是完全连通的，有一定程度的断开。Sobel算子也存在同样的问题。Laplacian算子对噪声比较敏感，检测到的图像边缘较粗，还需要进一步的细化。而采用Rober算子则可得到较为理想的边缘。Robert边缘检测算子用较小的运算量产生了较好的边缘检测效果，因此采用Robert边缘检测算子完成图像边缘提取。

面积计算：

经过阈值分割后的图像具有明显的双峰特征，而且因为是灰度图像，只有二维数据，可

简便计算出面积。首先，读入图像数据，设置初始值n为0，每个像素被当作坐标上的一个点，具有二维特征，从始点到终点进行遍历，根据阈值确定像素的归属，当像素点[x，y]的灰度值>Tk时，说明该像素点属于背景色的像素点，反之如果像素点[x，y]的灰度值<Tk时，说明属于残币的像素点，n根据桶形失真校正方法得到像素点面积自增，如果是边缘点自增值减半，即可得到面积值，与标准的币的面积值相除即可得到剩余残币的比值。

图像进行失真校正的具体实施例，再参见图4，包括步骤：

首先，寻求畸变图像上一点A到理论图像上一点A’的映射关系。

为了解决点映射问题，需要找到描述点A(x，y)到点A’(x’，y’)的函数关系，设r＝OA，r’＝OA’，由图可知：

$r=\sqrt{x^2+y^2}$

r’可以用二次曲线函数关系表示为：

，式中a、b、c为系数。

可得：

Δr＝r’-r即

当r＝0时，Δr＝0，所以c＝0。

令 $\frac{b-1}{2a}=0,$ 因a≠0，所以b＝1，得r’＝ar²+r

又根据

可以算出A’(x’，y’)，即校正后点的坐标为：

$\left[x^{,}{y}^{,}1\right]=\left[\begin{array}{ccc}\mathrm{rx}& \mathrm{ry}& 1\end{array}\right]=\left[\begin{array}{ccc}a& 0& 0\\ 0& a& 0\\ x& y& 1\end{array}\right]---\left(2\right)$

由于图像的畸变程度与物距有关，把a的值设置为可调的，这样可以根据具体需要调节到最佳效果。

孔洞效应及其消除：

在用以上方法校正失真图像时，考虑到A’(x’，y’)和A(x，y)不可能一一对应，所得到的校后的图像会存在着孔洞效应，它影响校正的效果，可以根据需要予以消除。

消除孔洞效应可在校正的同时进行，也可以在校正完成后进行。中值滤波能够在抑制随机噪声的同时不使边缘模糊。具体是指把以某点(x，y)为中心的小窗口内的所有象素的灰度按从大到小的顺序排列，将中间值作为(x，y)处的灰度值(若窗口中有偶数个象素，则取两个中间值的平均)。中值滤波的效果依赖于两个要素：邻域的空间范围和中值计算中涉及的象素数(当空间范围较大时，一般只取若干稀疏分布的象素作中值计算)。

具体的图像失真的算法包括步骤：

步骤1、取图像上点的坐标A(x，y)；

步骤2、根据公式(1)计算出A’(x’，y’)；

步骤3、将A(x，y)的颜色值赋给A’(x’，y’)，并转向步骤1，直至整张图像算完；

步骤4、将校正后的图像进行中值滤波，消除孔洞。

残币兑换是商业银行的基本职能，但是在兑换过程中由于银行工作人员无法做到兑换尺度的标准化，因此造成兑换人和银行之间的种种矛盾与问题。而商业银行由于网点众多，因此高价格的兑换设备无法配备。

本发明中，可以通过CMOS采集图像信息，FPGA内部的CMOS-CTR控制部件控制采集，转换，分割，去噪、以及边缘提取，取标准数据和面积的计算。计算机通过100M BASE-T网络扩展模块负责设备的调试和参数的设定，以及桶形失真参数的计算以及标准面积计算，最后各个像素点标准面积通过JTAG仿真器下载到FLASH存储器中。上电后通过NIOS II处理器将各个像素点标准面积复制到SDRAM同步动态随机存储器中，NIOS II还可以负责键盘和LCD显示以及CMOS-CTR的操作。

可以实现快速图像采集和计算，造价低廉，便于商业网点配备使用，易于推广应用；用特定算法(桶型失真算法)保证了计算的准确性，可以提高自动化水平，能对图像进行有效、实时校正。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1、一种基于FPGA的残币面积检测系统，其特征在于，包括摄像装置、图像处理模块、图像失真校正模块，所述图像处理模块包括FPGA芯片；

所述摄像装置获取的图像信息输入给所述图像处理模块进行处理；

所述图像处理模块将处理后的图像输入给所述图像失真校正模块；

所述图像失真校正模块通过以下公式对所述处理后的图像进行桶形失真校正：

$\left[x^{,}{y}^{,}1\right]=\left[\begin{array}{ccc}a& 0& 0\\ 0& a& 0\\ x& y& 1\end{array}\right]$ (2)，式中，(x，y，1)为所述摄像装置摄取的图像的位置坐标；(x’，y’，1)为校正后的图像的位置坐标；a为系数。

2、根据权利要求1所述的基于FPGA的残币面积检测系统，其特征在于，所述图像失真校正模块包括：

图像信息取得单元，用于获取所述处理后的图像上的点的信息，所述点的信息包括点的位置信息和色彩信息；

图像失真校正单元，用于对所述处理后的图像上的点的位置信息进行校正；

图像信息赋值单元，用于将所述处理后的图像上的点的色彩信息赋值给校正后的点。

3、根据权利要求2所述的基于FPGA的残币面积检测系统，其特征在于，所述图像失真校正模块还包括：

图像孔洞消除单元，用于消除校正后的图像的孔洞效应。

4、根据权利要求1、2或3所述的基于FPGA的残币面积检测系统，其特征在于，所述图像处理模块包括预处理单元、图像色度转换单元、图像分割单元、去噪单元、边缘提取单元、面积计算单元。

5、根据权利要求4所述的基于FPGA的残币面积检测系统，其特征在于，所述图像色度转换单元将接收到的BAYER图像转换为RGB空间图像，并将RGB空间图像转换为HIS色度图像。

6、根据权利要求1所述的基于FPGA的残币面积检测系统，其特征在于，所述摄像装置包括CMOS图像传感器，用于获取残币图像。

7、一种权利要求1至6任一项所述的基于FPGA的残币面积检测系统对图像进行桶形失真校正方法，其特征在于，包括步骤：

首先，对获取的图像进行处理；

然后，对处理后的图像通过以下公式进行桶形失真校正：

$\left[x^{,}{y}^{,}1\right]=\left[\begin{array}{ccc}a& 0& 0\\ 0& a& 0\\ x& y& 1\end{array}\right]$ (2)，式中，(x，y，1)为所述摄像装置摄取的图像的位置坐标；(x’，y’，1)为校正后的图像的位置坐标；a为系数。

8、根据权利要求7所述的桶形失真校正方法，其特征在于，所述桶形失真校正包括步骤：

首先，获取所述处理后的图像上的点的位置信息和色彩信息；

然后，对所述处理后的图像上的点的位置信息通过式(2)进行校正；

之后，将所述处理后的图像上的点的色彩信息赋值给校正后的点；

以上步骤重复进行，直至对所述处理后的图像上的点的校正数量达到设计要求的数量值。

9、根据权利要求8所述的桶形失真校正方法，其特征在于，还包括步骤：

消除校正后的图像的孔洞效应。

10、根据权利要求7所述的桶形失真校正方法，其特征在于，所述对获取的图像进行处理包括：

首先，对图像进行预处理：包括对图像进行亮度调整、对比度调整和平滑滤波；

然后，将预处理后的BAYER图像转换成RGB空间图像，再将RGB空间图像转换为HIS色度图像；

之后，将转换后的HIS色度图像进行图像分割、去噪处理、边缘提取、面积计算。

Images