CN103646381B - 一种线阵ccd的行进畸变校正方法 - Google Patents

Abstract

本发明公开了一种线阵CCD的行进畸变校正方法，步骤包括：步骤1、去除标准图像与待校正图像中差异较大的图像列；步骤2、分别提取标准图像与待校正图像特征线元；步骤3、计算标准图像和待校正图像的特征线元的相似性，获得两者相匹配的特征线元对；步骤4、采用匹配的特征线元对，对待校正图像进行缩放；步骤6、在得到的匹配线元的基础上，对标准图像和待校正图像，按照步骤4的方法进行缩放，便可得到最终的畸变校正结果，即可进行对应的比对，得出车辆底盘异物的检测结论。本发明的校正方法，步骤简单，运算量少，实时性好，准确性高。

Description

一种线阵CCD的行进畸变校正方法

技术领域

本发明属于机器视觉技术领域，具体涉及一种线阵CCD的行进畸变校正方法。

背景技术

汽车作为一种便利的交通工具行驶在世界各个角落，给人类带来交通便利的同时，也存在对公共安全威胁的隐患，例如在车辆底盘藏匿炸弹、武器、生化危险品、毒品、非法走私物等。

现有技术中，利用地埋式线阵CCD采集底盘图像，由于成像取决于汽车行驶通过线阵CCD而获得的，因此，汽车行驶速度的快慢均匀程度的不同，就会产生行进方向上的畸变，这里称之为行进畸变。目前，对于该类行进方向上的畸变进行校正的方法，都不是很理想，导致判断误差较大。

发明内容

本发明的目的是提供一种线阵CCD的行进畸变校正方法，解决了现有技术条件下因车辆行进速度不均匀，导致线阵CCD的成像出现畸变，图像质量变差的问题。

本发明所采用的技术方案是，一种线阵CCD的行进畸变校正方法，按照以下步骤具体实施：

步骤1、去除标准图像与待校正图像中差异较大的图像列

为了描述方便起见，将去除了较大差异列的标准图像和待校正图像仍旧以和表示，其Sobel边缘图仍旧以和表示；

步骤2、分别提取标准图像与待校正图像特征线元

2a）对步骤1差异处理后的标准图像在水平方向sobel边缘和待校正图像在水平方向sobel边缘分别进行行方向投影，得到和如下式：

$h^k\left(x\right)=\underset{y=1}{\overset{n}{\mathrm{\Σ}}}{f_{x\_\mathrm{Edge}}}^k(x,y),k=O,R,x=\mathrm{1,2},...,m_k,m_k=m_O,m_R,---\left(3\right)$

2b）对步骤2a）得到的投影曲线和求其均值μ_O和μ_R：

${\mathrm{\μ}}_k=\frac{1}{m_k}\underset{x=1}{\overset{m_k}{\mathrm{\Σ}}}{h}^k\left(x\right),k=O,R,m_k=m_O,m_R,---\left(4\right)$

2c）按照所求出的均值μ_O和μ_R，对投影曲线和进行分段，曲线的段边界点为均值与投影曲线的交点x_l ^o，l＝1,2,...,n_O，曲线的段边界点为均值与投影曲线的交点x_i ^R，l＝1,2,...,n_R，即：

x_l ^k＝x|h(x)＝μ_k，k＝O，R，l＝1，2，...，n_k，n_k=n_O，n_R，(5)

其中的n_O是投影曲线与均值μ_O的相交点的个数，n_R是投影曲线与均值μ_R的相交点的个数，

分段后的曲线段Cu^O(i)，i＝1,2,...,n_O+1，Cu^R(i)，i＝1,2,...,n_R+1为：

${\mathrm{Cu}}^k\left(i\right)=\left\{x\right|x\∈[x_{i-1}^k,x_i^k]\},{x_0}^k=1,{x_{n_k+1}}^k=m_k,k=O,R,$

i＝1,2,...,n_k+1，n_k＝n_O,n_R，m_k＝m_O,m_R；（6）

2d）分别求出每个曲线段Cu^O(i)和Cu^R(i)的极大值点x_max ^O(i)，i＝1,2,...,n_O+1，x_max ^R(i)，i＝1,2,...,n_R+1，如下式：

x_max ^k(i)＝argmax{Cu^k(i)}，k＝O,R，i＝1,2,...,n_k+1，n_k＝n_O,n_R，（7）

这些极大值点分别对应了标准图像以及标准图像的边缘待校正图像以及待校正图像的边缘的特征线元所在行的位置；

步骤3、计算标准图像和待校正图像的特征线元的相似性，获得两者相匹配的特征线元对(x_max ^O(i),x_max ^R(i))，i＝1,2,...,N，其中N为配对成功的特征线元对的个数，具体步骤是：

3a）对步骤1a）得到的标准图像的边缘为用步骤2得到的极大值点x_max ^O(i)，i＝1,2,...,n_O+1，作为各个子图的边界点，分成子图i＝1,2,...,n_O+1；

同样地，对步骤1a）得到的待校正图像的边缘为用步骤2得到的极大值点x_max ^R(i)，i＝1,2,...,n_R+1，作为各个子图的边界点，分成子图子图i＝1,2,...,n_R+1，

各个子图的分割计算公式如下：

i＝1,2,...,n_k+1，n_k＝n_O,n_R，（8）

3b）计算步骤3a）得到的各个子图的投影曲线i＝1,2,...,n_O+1和i＝1,2,...,n_R+1，公式如下：

$h^{k_i}\left(y\right)=\underset{x=1}{\overset{{x_{\max }}^k\left(i\right)}{\mathrm{\Σ}}}{f_{x\_\mathrm{Edge}}}^{k_i}(x,y),k_i=O_i,R_i,k=O,R,$

i＝1,2,...,n_k+1，n_k＝n_O,n_R（9）

3c）对子图的投影曲线i＝1,2,...,n_O+1和i＝1,2,...,n_R+1计算其相关系数矩阵公式如下：

$\mathrm{cor}(i,j)=\frac{\underset{y=1}{\overset{n}{\mathrm{\Σ}}}[h^{O_i}\left(y\right)-{\stackrel{\‾}{h}}^{O_i}][h^{R_j}\left(y\right)-{\stackrel{\‾}{h}}^{R_j}]}{\sqrt{\underset{y=1}{\overset{n}{\mathrm{\Σ}}}{[h^{O_i}\left(y\right)-{\stackrel{\‾}{h}}^{O_i}]}^2}\·\sqrt{\underset{y=1}{\overset{n}{\mathrm{\Σ}}}{[h^{R_j}\left(y\right)-{\stackrel{\‾}{h}}^{R_j}]}^2}},$

i＝1,2,...,n_O+1，j＝1,2,...,n_R+1，（10）

其中的是i＝1,2,...,n_O+1的均值，是j＝1,2,...,n_R+1的均值；

3d）找出中的最大值点(i_max,j_max)，公式如下：

$(i_{\max },j_{\max })=\arg \underset{i=1,...,n_O+1}{\max }\underset{j=1,...,n_R+1}{\max }\left\{\mathrm{cor}(i,j)\right\},---\left(11\right)$

由此得到标准图像与待校正图像的配对特征线元位置坐标为(i_max ⁽¹⁾,j_max ⁽¹⁾)=(i_max,j_max)，即标准图像的第i_max ⁽¹⁾行与待校正图像的第j_max ⁽¹⁾行为相同的特征线元位置坐标；

3e）根据(i_max ⁽¹⁾,j_max ⁽¹⁾)将矩阵分为两个小矩阵和即：

cor₁(i,j)＝cor(i,j)，i＝1,2,...,i_max ⁽¹⁾，j＝1,2,...,j_max ⁽¹⁾，（12）

cor₂(i,j)＝cor(i_max+i,j_max+j)，i＝1,2,...,n_O+1-i_max，j＝1,2,...,n_R+1-j_max，（13）

3f）将这两个小矩阵分别代入步骤3d）和步骤3e），进行同样的处理后，得到标准图像与待校正图像的配对特征线元位置坐标为(i_max ⁽²⁾,j_max ⁽²⁾)和(i_max ⁽³⁾,j_max ⁽³⁾)，并且又分别得到两个小矩阵

${\left[{\mathrm{cor}}_{11}(i,j)\right]}_{{i_{\max }}^{\left(2\right)}\×{j_{\max }}^{\left(2\right)}},{\left[{\mathrm{cor}}_{12}(i,j)\right]}_{({i_{\max }}^{\left(1\right)}+1-{i_{\max }}^{\left(2\right)})\×({i_{\max }}^{\left(1\right)}+1-{j_{\max }}^{\left(2\right)})},$

${\left[{\mathrm{cor}}_{21}(i,j)\right]}_{{i_{\max }}^{\left(3\right)}\×{j_{\max }}^{\left(3\right)}},{\left[{\mathrm{cor}}_{12}(i,j)\right]}_{(n_O+1-{i_{\max }}^{\left(1\right)}+1-{i_{\max }}^{\left(3\right)})\×(n_R+1-{i_{\max }}^{\left(1\right)}+1-{j_{\max }}^{\left(3\right)})},$

之后，再将得到的四个小矩阵分别代入步骤3d）和步骤3e），直到所有的小矩阵只有两行两列为止，再设定得到了N对标准图像与待校正图像的配对特征线元位置序列为(i_max ^(k),j_max ^(k))，k＝1,2,,...,N；

步骤4、采用匹配的特征线元对，对待校正图像进行缩放

由特征线元位置坐标对(i_max ^(k),j_max ^(k))，k＝1,2,...,N，

将待校正图像分割为子图像块 ${\left[f^{R_k}(x,y)\right]}_{({j_{\max }}^{\left(k\right)}-{j_{\max }}^{(k-1)})\×n}=$ $f^R(x,y)|x\∈[{j_{\max }}^{(k-1)},{j_{\max }}^{\left(k\right)}],$ y＝1,2,...,n，其大小为(j_max ^(k)-j_max ^(k-1))×n，j_max ⁽⁰⁾＝1，j_max ^(N+1)＝m_R，k＝1,2,...,N+1；

将标准图像分割为子图像块 ${\left[f^{O_k}(x,y)\right]}_{({i_{\max }}^{\left(k\right)}-{i_{\max }}^{(k-1)})\×n}=$ $f^O(x,y)|x\∈[{i_{\max }}^{(k-1)},{i_{\max }}^{\left(k\right)}],$ y＝1,2,...,n，其大小为(i_max ^(k)-i_max ^(k-1))×n，i_max ⁽⁰⁾＝1，i_max ^(N+1)＝m_O，k＝1,2,...,N+1；

按照特征线元位置坐标对(i_max ^(k),j_max ^(k))，k＝1,2,...,N的对应关系，将带校正图的子图像块k＝1,2,...,N从大小为(j_max ^(k)-j_max ^(k-1))×n，缩放至与标准图像对应子块k＝1,2,...,N+1相同大小，即(i_max ^(k)-i_max ^(k-1))×n，得到计算公式如下：

${\hat{f}}^{R_k}(x,y)=f^{R_k}(c_k,x,y),$

x＝i_max ^(k-1)，i_max ^(k-1)+1，...，i_max ^(k)，y＝1，2，...，n，k＝1，2，...，N+1，(14)

其中， $c_k=\frac{{i_{\max }}^{\left(k\right)}-{i_{\max }}^{(k-1)}}{{j_{\max }}^{\left(k\right)}-{j_{\max }}^{(k-1)}},---\left(15\right)$

由此，完成对待校正图像的初匹配，处理后的待校正图像与标准图像大小一致，即为：

${\hat{f}}^R(x,y)={\hat{f}}^{R_k}(x,y),x={i_{\max }}^{(k-1)},{i_{\max }}^{(k-1)}+1,...,{i_{\max }}^{\left(k\right)},k=\mathrm{1,2},...,N+1;---\left(16\right)$

步骤5、对得到的初匹配图像采用交叉寻找的方法进行匹配，得到细匹配的匹配线元

5a）对经过步骤4得到的图像以及标准图像分别求其Sobel水平边缘图，并分别以和表示；

5b）逐行计算带校正图与标准图像的行累积差e(x)，x＝1,2,...,m_O，公式如下：

$e\left(x\right)=\frac{1}{n}\·\underset{y=1}{\overset{n}{\mathrm{\Σ}}}|{{\hat{f}}_{y\_\mathrm{Edge}}}^R(x,y)-{f_{y\_\mathrm{Edge}}}^O(x,y)|,x=\mathrm{1,2},...,m_O;---\left(17\right)$

5c）将计算得到的行累积差e(x)，x＝1,2,...,m_O，设定阈值 是的均值，α是调整系数；

步骤6、在得到的匹配线元的基础上，对标准图像和待校正图像，按照步骤4的方法进行缩放，便可得到最终的畸变校正结果，即可进行对应的比对，得出车辆底盘异物的检测结论。

本发明的有益效果是，通过数据库中预存的标准图像与待校正图像（当前线阵CCD实时采集到的图像）进行比对，使得校正后的待校正图像与数据库中预存的进行处理后得到的标准图像尽可能地逼近。

通过一种对待校正图像和标准图像中的线元进行初匹配和精匹配相结合的方法，最终实现对畸变图像的校正。其中，初匹配主要通过标准图像与待校正图像的线元特征点提取、特征点对匹配、以及图像缩放，实现图像块大小的校正；细匹配主要通过标准图像与待校正图像的线元匹配，以及图像缩放，实现图像块内的逐行校正。

附图说明

图1是本发明线阵CCD行进畸变校正方法的流程示意图；

图2是本发明方法的标准图像示例；

图3是本发明方法的待校正图像示例；

图4是对图2标准图像用水平sobel锐化处理后的边缘图像；

图5是对图3待校正图像用水平sobel锐化处理后的边缘图像；

图6是本发明方法精匹配中的特征线元匹配模式示意图；

图7是对图3进行了行进畸变校正后的结果图像。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明方法的数据采集方式是通过地埋双目线阵CCD采集汽车底盘数据，线阵CCD相机被固定埋设于地下，通过行驶车辆的运动使其底盘部分被线阵CCD扫描，将每次扫描所得到的一行数据（线元）拼接成图像。在这个过程中会出现以下几种情况：1）车辆的行进速度是不确定的；2）要考虑到校正时基准的图像是底盘无异物的情况下采集的，而在设备现场所采集到的车底盘可能会夹带有异物，校正算法对于有异物的情况要有较强的抗干扰性。因此，在畸变校正开始之前还需要对采集到的待校正图像经过车型识别模块定位出待测图像与标准库中对应的标准图像（有关车型识别的方法在专利申请“基于线阵CCD的汽车底盘成像的车型识别”，申请号为201310356802.1中有详细说明），将该标准图像作为校正依据，对待校正图像进行校正。

参照图1，本发明的线阵CCD的行进畸变校正方法，按照以下步骤具体实施：

步骤1、去除标准图像与待校正图像中差异较大的图像列

在采集图像时，当待校正汽车底盘上夹带有异物时，该异物会在成像时表现出局部的差异性。考虑到行进畸变表现为图像的行伸展（汽车行驶速度慢）或者是行压缩（汽车行驶速度快），所以将差异性较大的图像列去除，不影响畸变的校正，同时还能够抵抗异物带来的干扰，具体做法如下：

1a）将大小为m_O×n的标准图像设为大小为m_R×n待校正图像设为（这里，因为线阵CCD的列数是固定的，而行数取决于汽车行驶通过的时间，所以，标准图像与待校正图像的大小中，列数相同，行数不同），用水平方向的sobel微分算子取边缘信息（有关Sobel微分算子，在一般的图像处理教科书上都会有详细的说明)，得到标准图像的边缘为待校正图像的边缘为参照图2、图3和图4、图5；

1b）对步骤1a）得到的标准图像的边缘和待校正图像的边缘分别进行列方向投影，对应得到[h^O(y)]_n和[h^R(y)]_n如下式：

$h^k\left(y\right)=\underset{x=1}{\overset{m_k}{\mathrm{\Σ}}}{f_{x\_\mathrm{Edge}}}^k(x,y),k=O,R,y=\mathrm{1,2},...,n,m_k=m_O,m_R,---\left(1\right)$

1c）对步骤1b）得到的投影[h^O(y)]_n和[h^R(y)]_n，求其差异值e(y)，y＝1,2,...,n如下式：

e(y)＝|h^O(y)-h^R(y)|，y＝1,2,...,n，（2）

对该差值结果e(y)，y＝1,2,...,n按从小到大的顺序进行排序，保留在前百分比（这里优选为90%）的列作为后续处理的数据源，这样就去除图像对中较大差异列。为了描述方便起见，将去除了较大差异列的标准图像和待校正图像仍旧以和表示，其Sobel边缘图仍旧以和表示；

步骤2、分别提取标准图像与待校正图像特征线元

2a）对步骤1差异处理后的标准图像在水平方向sobel边缘和待校正图像在水平方向sobel边缘分别进行行方向投影，得到和如下式：

$h^k\left(x\right)=\underset{y=1}{\overset{n}{\mathrm{\Σ}}}{f_{x\_\mathrm{Edge}}}^k(x,y),k=O,R,x=\mathrm{1,2},...,m_k,m_k=m_O,m_R,---\left(3\right)$

2b）对步骤2a）得到的投影曲线和求其均值μ_O和μ_R：

${\mathrm{\μ}}_k=\frac{1}{m_k}\underset{x=1}{\overset{m_k}{\mathrm{\Σ}}}{h}^k\left(x\right),k=O,R,m_k=m_O,m_R,---\left(4\right)$

2c）按照所求出的均值μ_O和μ_R，对投影曲线和进行分段，曲线的段边界点为均值与投影曲线的交点x_l ^O，l＝1,2,...,n_O，曲线的段边界点为均值与投影曲线的交点x_l ^R，l＝1,2,...,n_R，即：

x_l ^k＝x|h(x)＝μ_k，k＝O,R，l＝1,2,...,n_k，n_k＝n_O,n_R，（5）

其中的n_O是投影曲线与均值μ_O的相交点的个数，n_R是投影曲线与均值μ_R的相交点的个数，

分段后的曲线段Cu^O(i)，i＝1,2,...,n_O+1，Cu^R(i)，i＝1,2,...,n_R+1为：

${\mathrm{Cu}}^k\left(i\right)=\left\{x\right|x\∈[x_{i-1}^k,x_i^k]\},{x_0}^k=1,{x_{n_k+1}}^k=m_k,k=O,R,$

i＝1,2,...,n_k+1，n_k＝n_O,n_R，m_k＝m_O,m_R；（6）

2d）分别求出每个曲线段Cu^O(i)和Cu^R(i)的极大值点x_max ^O(i)，i＝1,2,...,n_O+1，x_max ^R(i)，i＝1,2,...,n_R+1，如下式：

x_max ^k(i)＝argmax{Cu^k(i)}，k＝O,R，i＝1,2,...,n_k+1，n_k＝n_O,n_R，（7）

这些极大值点分别对应了标准图像以及标准图像的边缘待校正图像以及待校正图像的边缘的特征线元所在行的位置；

步骤3、计算标准图像和待校正图像的特征线元的相似性，获得两者相匹配的特征线元对(x_max ^O(i),x_max ^R(i))，i＝1,2,...,N，其中N为配对成功的特征线元对的个数，具体步骤是：

3a）对步骤1a）得到的标准图像的边缘为用步骤2得到的极大值点x_max ^O(i)，i＝1,2,...,n_O+1，作为各个子图的边界点，分成子图i＝1,2,...,n_O+1；

同样地，对步骤1a）得到的待校正图像的边缘为用步骤2得到的极大值点x_max ^R(i)，i＝1,2,...,n_R+1，作为各个子图的边界点，分成子图子图i＝1,2,...,n_R+1，

各个子图的分割计算公式如下：

i＝1,2,...,n_k+1，n_k＝n_O,n_R，（8）

3b）计算步骤3a）得到的各个子图的投影曲线i＝1,2,...,n_O+1和i＝1,2,...,n_R+1，公式如下：

$h^{k_i}\left(y\right)=\underset{x=1}{\overset{{x_{\max }}^k\left(i\right)}{\mathrm{\Σ}}}{f_{x\_\mathrm{Edge}}}^{k_i}(x,y),k_i=O_i,R_i,k=O,R,$

i＝1,2,...,n_k+1，n_k＝n_O,n_R（9）

3c）对子图的投影曲线i＝1,2,...,n_O+1和i＝1,2,...,n_R+1计算其相关系数矩阵公式如下：

$\mathrm{cor}(i,j)=\frac{\underset{y=1}{\overset{n}{\mathrm{\Σ}}}[h^{O_i}\left(y\right)-{\stackrel{\‾}{h}}^{O_i}][h^{R_j}\left(y\right)-{\stackrel{\‾}{h}}^{R_j}]}{\sqrt{\underset{y=1}{\overset{n}{\mathrm{\Σ}}}{[h^{O_i}\left(y\right)-{\stackrel{\‾}{h}}^{O_i}]}^2}\·\sqrt{\underset{y=1}{\overset{n}{\mathrm{\Σ}}}{[h^{R_j}\left(y\right)-{\stackrel{\‾}{h}}^{R_j}]}^2}},$

i＝1,2,...,n_O+1，j＝1,2,...,n_R+1，（10）

其中的是i＝1,2,...,n_O+1的均值，是j＝1,2,...,n_R+1的均值；

3d）找出中的最大值点(i_max,j_max)，公式如下：

$(i_{\max },j_{\max })=\arg \underset{i=1,...,n_O+1}{\max }\underset{j=1,...,n_R+1}{\max }\left\{\mathrm{cor}(i,j)\right\},---\left(11\right)$

由此得到标准图像与待校正图像的配对特征线元位置坐标为(i_max ⁽¹⁾,j_max ⁽¹⁾)=(i_max,j_max)，即标准图像的第i_max ⁽¹⁾行与待校正图像的第j_max ⁽¹⁾行为相同的特征线元位置坐标；

3e）根据(i_max ⁽¹⁾,j_max ⁽¹⁾)将矩阵分为两个小矩阵和即：

cor₁(i,j)＝cor(i,j)，i＝1,2,...,i_max ⁽¹⁾，j＝1,2,...,j_max ⁽¹⁾，（12）

cor₂(i,j)＝cor(i_max+i,j_max+j)，i＝1,2,...,n_O+1-i_max，j＝1,2,...,n_R+1-j_max，（13）

3f）将这两个小矩阵分别代入步骤3d）和步骤3e），进行同样的处理后，得到标准图像与待校正图像的配对特征线元位置坐标为(i_max ⁽²⁾,j_max ⁽²⁾)和(i_max ⁽³⁾,j_max ⁽³⁾)，并且又分别得到两个小矩阵

${\left[{\mathrm{cor}}_{11}(i,j)\right]}_{{i_{\max }}^{\left(2\right)}\×{j_{\max }}^{\left(2\right)}},{\left[{\mathrm{cor}}_{12}(i,j)\right]}_{({i_{\max }}^{\left(1\right)}+1-{i_{\max }}^{\left(2\right)})\×({i_{\max }}^{\left(1\right)}+1-{j_{\max }}^{\left(2\right)})},$

${\left[{\mathrm{cor}}_{21}(i,j)\right]}_{{i_{\max }}^{\left(3\right)}\×{j_{\max }}^{\left(3\right)}},{\left[{\mathrm{cor}}_{12}(i,j)\right]}_{(n_O+1-{i_{\max }}^{\left(1\right)}+1-{i_{\max }}^{\left(3\right)})\×(n_R+1-{i_{\max }}^{\left(1\right)}+1-{j_{\max }}^{\left(3\right)})},$

之后，再将得到的四个小矩阵分别代入步骤3d）和步骤3e），直到所有的小矩阵只有两行两列为止，再设定得到了N对标准图像与待校正图像的配对特征线元位置序列为(i_max ^(k),j_max ^(k))，k＝1,2,,...,N；

步骤4、采用匹配的特征线元对，对待校正图像进行缩放

由特征线元位置坐标对(i_max ^(k),j_max ^(k))，k＝1,2,...,N，

将待校正图像分割为子图像块 ${\left[f^{R_k}(x,y)\right]}_{({j_{\max }}^{\left(k\right)}-{j_{\max }}^{(k-1)})\×n}=$ $f^R(x,y)|x\∈[{j_{\max }}^{(k-1)},{j_{\max }}^{\left(k\right)}],$ y＝1,2,...,n，其大小为(j_max ^(k)-j_max ^(k-1))×n，j_max ⁽⁰⁾＝1，j_max ^(N+1)＝m_R，k＝1,2,...,N+1；

将标准图像分割为子图像块 ${\left[f^{O_k}(x,y)\right]}_{({i_{\max }}^{\left(k\right)}-{i_{\max }}^{(k-1)})\×n}=$ $f^O(x,y)|x\∈[{i_{\max }}^{(k-1)},{i_{\max }}^{\left(k\right)}],$ y＝1,2,...,n，其大小为(i_max ^(k)-i_max ^(k-1))×n，i_max ⁽⁰⁾＝1，i_max ^(N+1)＝m_O，k＝1,2,...,N+1；

按照特征线元位置坐标对(i_max ^(k),j_max ^(k))，k＝1,2,...,N的对应关系，将带校正图的子图像块k＝1,2,...,N从大小为(j_max ^(k)-j_max ^(k-1))×n，缩放至与标准图像对应子块k＝1,2,...,N+1相同大小，即(i_max ^(k)-i_max ^(k-1))×n，得到计算公式如下：

${\hat{f}}^{R_k}(x,y)=f^{R_k}(c_k,x,y),$

x＝i_max ^(k-1)，i_max ^(k-1)+1，...，i_max ^(k)，y＝1，2，...，n，k＝1，2，...，N+1，(14)

其中， $c_k=\frac{{i_{\max }}^{\left(k\right)}-{i_{\max }}^{(k-1)}}{{j_{\max }}^{\left(k\right)}-{j_{\max }}^{(k-1)}},---\left(15\right)$

由此，完成对待校正图像的初匹配，处理后的待校正图像与标准图像大小一致，即为：

${\hat{f}}^R(x,y)={\hat{f}}^{R_k}(x,y),x={i_{\max }}^{(k-1)},{i_{\max }}^{(k-1)}+1,...,{i_{\max }}^{\left(k\right)},k=\mathrm{1,2},...,N+1;---\left(16\right)$

步骤5、对得到的初匹配图像采用交叉寻找的方法进行匹配，得到细匹配的匹配线元

5a）对经过步骤4得到的图像以及标准图像分别求其Sobel水平边缘图，并分别以和表示（有关Sobel微分算子，在一般的图像处理教科书上都会有详细的说明）；

5b）逐行计算带校正图与标准图像的行累积差e(x)，x＝1,2,...,m_O，公式如下：

$e\left(x\right)=\frac{1}{n}\·\underset{y=1}{\overset{n}{\mathrm{\Σ}}}|{{\hat{f}}_{y\_\mathrm{Edge}}}^R(x,y)-{f_{y\_\mathrm{Edge}}}^O(x,y)|,x=\mathrm{1,2},...,m_O;---\left(17\right)$

5c）将计算得到的行累积差e(x)，x＝1,2,...,m_O，设定阈值 是的均值，α是调整系数，取值范围为α∈[1.1,1.5]，定义如下的匹配类别：

情况1、为标准图像并且当前行e(x)≤Th，x＝1,2,...,m_O，表明标准图像的第x行与待校正图像的第x行匹配上；

情况2、当前行e(x)＞Th，x＝1,2,...,m_O，将待校正图像的第x行与标准图像f_{y_Edge} ^O(x,y)的第x+i，i＝1,2,...,m_O-x行依次向下做匹配，即计算：

$e_1(x+i)=\frac{1}{n}\·\underset{y=1}{\overset{n}{\mathrm{\Σ}}}|{{\hat{f}}_{y\_\mathrm{Edge}}}^R(x+i,y)-{f_{y\_\mathrm{Edge}}}^O(x,y)|,i=\mathrm{1,2},...,m_O-x,---\left(18\right)$

找到满足e₁(x+i)≤Th所在行x+i，表明待校正图像的第x行与的标准图像的第x+i行匹配上；

情况3、当前行e(x)＞Th，x＝1,2,...,m_O，将标准图像f_{y_Edge} ^O(x,y)的第x行与待校正图像的第x+i，i＝1,2,...,m_O-x行依次向下做匹配，即计算：

$e_2(x+i)=\frac{1}{n}\·\underset{y=1}{\overset{n}{\mathrm{\Σ}}}|{{\hat{f}}_{y\_\mathrm{Edge}}}^O(x+i,y)-{f_{y\_\mathrm{Edge}}}^R(x,y)|,i=\mathrm{1,2},...,m_O-x,---\left(19\right)$

找到满足e₂(x+i)≤Th所在行x+i，表明标准图像的第x行与的待校正图像的第x+i行匹配上；

情况4、当前行e(x)＞Th，x＝1,2,...,m_O，将待校正图像的第x行与标准图像的f_{y_Edge} ^O(x,y)的第x+i，i＝1,2,...,m_O-x行依次向下做匹配，按照公式（11）计算并找到e₁(x+i)≤Th的行，如果对于找到的这行，即x+i行，计算：

$e_3(x+i)=\frac{1}{n}\·\underset{y=1}{\overset{n}{\mathrm{\Σ}}}|{{\hat{f}}_{y\_\mathrm{Edge}}}^R(x+i,y)-{f_{y\_\mathrm{Edge}}}^O(x+i,y)|,i=\mathrm{1,2},...,m_O-x,---\left(20\right)$

如果e₃(x+i)≤Th，则表明标准图像的第x+i行与的待校正图像的第x+i行匹配上；

如图6所示，是上述四种情况下的类别模式示意图，图中的加粗线所表示的是标准图像与待校正图像相匹配的行。

步骤6、在得到的匹配线元的基础上，对标准图像和待校正图像，按照步骤4的方法进行缩放，便可得到最终的畸变校正结果，即可进行对应的比对，得出车辆底盘异物的检测结论。

如图7所示，是对图3进行了畸变校正后的结果，经过上述方法完成畸变校正之后，输入的带校正图便可与标准图像的大小一致。

本发明的线阵CCD的行进畸变校正方法，将待校正图像与标准图像的线元间特征相似性度量，对带校正图进行初校正，保证待校正图像的图像块与标准图像大小一致，然后，对图像块中的逐行进行匹配的精校正，完成对具有行进畸变的图像的校正。

Claims (3)

1.一种线阵CCD的行进畸变校正方法，其特征在于，按照以下步骤具体实施：

步骤1、去除标准图像与待校正图像中差异较大的图像列

为了描述方便起见，将去除了较大差异列的标准图像和待校正图像仍旧以和表示，其Sobel边缘图仍旧以和表示；

步骤2、分别提取标准图像与待校正图像特征线元

2a)对步骤1差异处理后的标准图像在水平方向sobel边缘和待校正图像在水平方向sobel边缘分别进行行方向投影，得到和如下式：

$h^k\left(x\right)=\underset{v=1}{\overset{n}{\Σ}}{f_{x\_Edge}}^k\left(x,y\right),k=O,R,x=1,2,...,m_k,m_k=m_O,m_R,---\left(1\right)$

2b)对步骤2a)得到的投影曲线和求其均值μ_O和μ_R：

${\mathrm{\μ}}_k=\frac{1}{m_k}\underset{x=1}{\overset{m_k}{\Σ}}{h}^k\left(x\right),k=O,R,m_k=m_O,m_R,---\left(2\right)$

2c)按照所求出的均值μ_O和μ_R，对投影曲线和进行分段，曲线的段边界点为均值与投影曲线的交点x_l ^O，l＝1,2,...,n_O，曲线的段边界点为均值与投影曲线的交点x_l ^R，l＝1,2,...,n_R，即：

x_l ^k＝x|h(x)＝μ_k，k＝O,R，l＝1,2,...,n_k，n_k＝n_O,n_R，(3)

其中的n_O是投影曲线与均值μ_O的相交点的个数，n_R是投影曲线与均值μ_R的相交点的个数，

分段后的曲线段Cu^O(i)，i＝1,2,...,n_O+1，Cu^R(i)，i＝1,2,...,n_R+1为：

${\mathrm{Cu}}^k\left(i\right)=\left\{x\right|x\∈\[x_{i-1}^k,x_i^k\]\},{x_0}^k=1,{x_{n_k+1}}^k=m_k,k=O,R,$

i＝1,2,...,n_k+1，n_k＝n_O,n_R，m_k＝m_O,m_R；(4)

2d)分别求出每个曲线段Cu^O(i)和Cu^R(i)的极大值点x_max ^O(i)，i＝1,2,...,n_O+1，x_max ^R(i)，i＝1,2,...,n_R+1，如下式：

x_max ^k(i)＝argmax{Cu^k(i)}，k＝O,R，i＝1,2,...,n_k+1，n_k＝n_O,n_R，(5)

这些极大值点分别对应了标准图像以及标准图像的边缘待校正图像以及待校正图像的边缘的特征线元所在行的位置；

步骤3、计算标准图像和待校正图像的特征线元的相似性，获得两者相匹配的特征线元对(x_max ^O(i),x_max ^R(i))，i＝1,2,...,N，其中N为配对成功的特征线元对的个数，具体步骤是：

3a)对步骤1a)得到的标准图像的边缘为用步骤2得到的极大值点x_max ^O(i)，i＝1,2,...,n_O+1，作为各个子图的边界点，分成子图 ${\[{f_{x\_Edge}}^{O_i}\left(x,y\right)\]}_{m_{O_i}\×n},i=1,2,...,n_O+1;$

同样地，对步骤1a)得到的待校正图像的边缘为用步骤2得到的极大值点x_max ^R(i)，i＝1,2,...,n_R+1，作为各个子图的边界点，分成子图子图i＝1,2,...,n_R+1，

各个子图的分割计算公式如下：

i＝1,2,...,n_k+1，n_k＝n_O,n_R，(6)

3b)计算步骤3a)得到的各个子图的投影曲线i＝1,2,...,n_O+1和i＝1,2,...,n_R+1，公式如下：

$h^{k_i}\left(y\right)=\underset{x=1}{\overset{{x_{\max }}^k\left(i\right)}{\Σ}}{f_{x\_Edge}}^{k_i}\left(x,y\right),k_i=O_i,R_i,k=O,R,$

i＝1,2,...,n_k+1，n_k＝n_O,n_R(7)

3c)对子图的投影曲线i＝1,2,...,n_O+1和i＝1,2,...,n_R+1计算其相关系数矩阵公式如下：

$cor(i,j)=\frac{\underset{y=1}{\overset{n}{\Σ}}\[h^{O_i}\left(y\right)-{\stackrel{\‾}{h}}^{O_i}\]\[h^{R_j}\left(y\right)-{\stackrel{\‾}{h}}^{R_j}\]}{\sqrt{\underset{y=1}{\overset{n}{\Σ}}{\[h^{O_i}\left(y\right)-{\stackrel{\‾}{h}}^{O_i}\]}^2}\·\sqrt{\underset{y=1}{\overset{n}{\Σ}}{\[h^{R_j}\left(y\right)-{\stackrel{\‾}{h}}^{R_j}\]}^2}},$

i＝1,2,...,n_O+1，j＝1,2,...,n_R+1，(8)

其中的是i＝1,2,...,n_O+1的均值，是j＝1,2,...,n_R+1的均值；

3d)找出中的最大值点(i_max,j_max)，公式如下：

$(i_{max},j_{max})=\arg \underset{i=1,...,n_o+1}{max}\underset{j=1,...,n_R+1}{max}\left\{cor\right(i,j\left)\right\},---\left(9\right)$

由此得到标准图像与待校正图像的配对特征线元位置坐标为(i_max ⁽¹⁾,j_max ⁽¹⁾)＝(i_max,j_max)，即标准图像的第i_max ⁽¹⁾行与待校正图像的第j_max ⁽¹⁾行为相同的特征线元位置坐标；

3e)根据(i_max ⁽¹⁾,j_max ⁽¹⁾)将矩阵分为两个小矩阵和即：

cor₁(i,j)＝cor(i,j)，i＝1,2,...,i_max ⁽¹⁾，j＝1,2,...,j_max ⁽¹⁾，(10)

cor₂(i,j)＝cor(i_max+i,j_max+j)，i＝1,2,...,n_O+1-i_max，j＝1,2,...,n_R+1-j_max，(11)

3f)将这两个小矩阵分别代入步骤3d)和步骤3e)，进行同样的处理后，得到标准图像与待校正图像的配对特征线元位置坐标为(i_max ⁽²⁾,j_max ⁽²⁾)和(i_max ⁽³⁾,j_max ⁽³⁾)，并且又分别得到两个小矩阵

${\[{\mathrm{cor}}_{11}(i,j)\]}_{{i_{max}}^{\left(2\right)}\×{j_{max}}^{\left(2\right)}},{\[{\mathrm{cor}}_{12}(i,j)\]}_{({i_{\max }}^{\left(1\right)}+1-{i_{\max }}^{\left(2\right)})\×({i_{\max }}^{\left(1\right)}+1-{j_{\max }}^{\left(2\right)})},$

${\[{\mathrm{cor}}_{21}(i,j)\]}_{{i_{max}}^{\left(3\right)}\×{j_{max}}^{\left(3\right)}},{\[{\mathrm{cor}}_{12}(i,j)\]}_{(n_o+1-{i_{\max }}^{\left(1\right)}+1-{i_{\max }}^{\left(3\right)})\×(n_R+1-{i_{\max }}^{\left(1\right)}+1-{j_{\max }}^{\left(3\right)})},$

之后，再将得到的四个小矩阵分别代入步骤3d)和步骤3e)，直到所有的小矩阵只有两行两列为止，再设定得到了N对标准图像与待校正图像的配对特征线元位置序列为(i_max ^(k),j_max ^(k))，k＝1,2,...,N；

步骤4、采用匹配的特征线元对，对待校正图像进行缩放

由特征线元位置坐标对(i_max ^(k),j_max ^(k))，k＝1,2,...,N，

将待校正图像分割为子图像块 y＝1,2,...,n，其大小为(j_max ^(k)-j_max ^(k-1))×n，j_max ⁽⁰⁾＝1，j_max ^(N+1)＝m_R，k＝1,2,...,N+1；

将标准图像分割为子图像块 y＝1,2,...,n，其大小为(i_max ^(k)-i_max ^(k-1))×n，i_max ⁽⁰⁾＝1，i_max ^(N+1)＝m_O，k＝1,2,...,N+1；

按照特征线元位置坐标对(i_max ^(k),j_max ^(k))，k＝1,2,...,N的对应关系，将带校正图的子图像块k＝1,2,...,N从大小为(j_max ^(k)-j_max ^(k-1))×n，缩放至与标准图像对应子块k＝1,2,...,N+1相同大小，即(i_max ^(k)-i_max ^(k-1))×n，得到计算公式如下：

${\hat{f}}^{R_k}(x,y)=f^{R_k}(c_{k}x,y),$

$x={i_{\max }}^{\left(k-1\right)},{i_{\max }}^{\left(k-1\right)}+1,...,{i_{\max }}^{\left(k\right)},y=1,2,...,n,k=1,2,...,N+1,---\left(12\right)$

其中， $c_k=\frac{{i_{\max }}^{\left(k\right)}-{i_{\max }}^{\left(k-1\right)}}{{j_{\max }}^{\left(k\right)}-{j_{\max }}^{\left(k-1\right)}},---\left(13\right)$

由此，完成对待校正图像的初匹配，处理后的待校正图像与标准图像大小一致，即为：

${\hat{f}}^R(x,y)={\hat{f}}^{R_k}(x,y),x={i_{\max }}^{\left(k-1\right)},{i_{\max }}^{\left(k-1\right)}+1,...,{i_{\max }}^{\left(k\right)},k=1,2,...,N+1;---\left(14\right)$

步骤5、对得到的初匹配图像采用交叉寻找的方法进行匹配，得到细匹配的匹配线元

5a)对经过步骤4得到的图像以及标准图像分别求其Sobel水平边缘图，并分别以和表示；

5b)逐行计算带校正图与标准图像的行累积差e(x)，x＝1,2,...,m_O，公式如下：

$e\left(x\right)=\frac{1}{n}\·\underset{y=1}{\overset{n}{\Σ}}|{{\hat{f}}_{y\_Edge}}^R\left(x,y\right)-{f_{y\_Edge}}^O\left(x,y\right)|,x=1,2,...,m_O;---\left(15\right)$

5c)将计算得到的行累积差e(x)，x＝1,2,...,m_O，设定阈值 是的均值，α是调整系数；

步骤6、在得到的匹配线元的基础上，对标准图像和待校正图像，按照步骤4的方法进行缩放，便可得到最终的畸变校正结果，即可进行对应的比对，得出车辆底盘异物的检测结论。

2.根据权利要求1所述的线阵CCD的行进畸变校正方法，其特征在于，所述的步骤1中，将差异性较大的图像列去除，具体做法如下：

1a)将大小为m_O×n的标准图像设为大小为m_R×n待校正图像设为用水平方向的sobel微分算子取边缘信息，得到标准图像的边缘为待校正图像的边缘为

1b)对步骤1a)得到的标准图像的边缘和待校正图像的边缘分别进行列方向投影，对应得到[h^O(y)]_n和[h^R(y)]_n如下式：

$h^k\left(y\right)=\underset{x=1}{\overset{m_k}{\Σ}}{f_{x\_Edge}}^k(x,y),k=O,R,y=1,2,...,n,m_k=m_O,m_R,---\left(16\right)$

1c)对步骤1b)得到的投影[h^O(y)]_n和[h^R(y)]_n，求其差异值e(y)如下式：

e(y)＝|h^O(y)-h^R(y)|，y＝1,2,...,n，(17)

对该差值结果e(y)按从小到大的顺序进行排序，保留在前百分比的列作为后续处理的数据源，这样就去除图像对中较大差异列。

3.根据权利要求1所述的线阵CCD的行进畸变校正方法，其特征在于，所述的步骤5c)中，取值范围为α∈[1.1,1.5]，定义如下的匹配类别：

情况1、为标准图像并且当前行e(x)≤Th，x＝1,2,...,m_O，表明标准图像的第x行与待校正图像的第x行匹配上；

情况2、当前行e(x)>Th，x＝1,2,...,m_O，将待校正图像的第x行与标准图像f_{y_Edge} ^O(x,y)的第x+i，i＝1,2,...,m_O-x行依次向下做匹配，即计算：

$e_1(x+i)=\frac{1}{n}\·\underset{y=1}{\overset{n}{\Σ}}|{{\hat{f}}_{y\_Edge}}^R\left(x+i,y\right)-{f_{y\_Edge}}^O\left(x,y\right)|,i=1,2,...,m_O-x,---\left(18\right)$

找到满足e₁(x+i)≤Th所在行x+i，表明待校正图像的第x行与的标准图像的第x+i行匹配上；

情况3、当前行e(x)>Th，x＝1,2,...,m_O，将标准图像f_{y_Edge} ^O(x,y)的第x行与待校正图像的第x+i，i＝1,2,...,m_O-x行依次向下做匹配，即计算：

$e_2(x+i)=\frac{1}{n}\·\underset{y=1}{\overset{n}{\Σ}}|{{\hat{f}}_{y\_Edge}}^O(x+i,y)-{f_{y\_Edge}}^R(x,y)|,i=1,2,...,m_O-x,---\left(19\right)$

找到满足e₂(x+i)≤Th所在行x+i，表明标准图像的第x行与的待校正图像的第x+i行匹配上；

情况4、当前行e(x)>Th，x＝1,2,...,m_O，将待校正图像的第x行与标准图像的f_{y_Edge} ^O(x,y)的第x+i，i＝1,2,...,m_O-x行依次向下做匹配，按照公式(11)计算并找到e₁(x+i)≤Th的行，如果对于找到的这行，即x+i行，计算：

$e_3(x+i)=\frac{1}{n}\·\underset{y=1}{\overset{n}{\Σ}}|{{\hat{f}}_{y\_Edge}}^R(x+i,y)-{f_{y\_Edge}}^O(x+i,y)|,i=1,2,...,m_O-x,---\left(20\right)$

如果e₃(x+i)≤Th，则表明标准图像的第x+i行与的待校正图像的第x+i行匹配上。