CN103646248B - 基于双目线阵ccd汽车底盘成像的异物检测方法 - Google Patents

Abstract

本发明公开了基于双目线阵CCD汽车底盘成像的异物检测方法，步骤包括：步骤1、根据采集到的待检图像的每一行的行方差，求出行驶车辆的水平移动偏移量；步骤2、求解车辆行驶整体偏移趋势直线；步骤3、按各行平移位置校正待检图像的水平偏差；步骤4、计算待检图像与标准图像的正差分与负差分；步骤5、对正差分图和负差分图进行去噪；步骤6、合并正负差分图；步骤7、消除步骤6中误提取的非异物区域；步骤8、修复异物目标的缺损区域；步骤9、进一步确认异物区域；步骤10、求解车辆底盘中的异物的高度；步骤11、标记出异物位置及高度，即成。本发明方法能够对藏匿于汽车底盘中的异物进行自动检测，准确率高。

Description

基于双目线阵CCD汽车底盘成像的异物检测方法

技术领域

本发明属于数字图像处理技术领域，涉及一种基于双目线阵CCD汽车底盘成像的异物检测方法。

背景技术

在常规安防检测中，对汽车底盘藏匿危险品等异物的检测，大都是通过人工目视或手持探测仪器实施，工作不方便，工作效率低，检测准确率不高。

目前，已经出现了地埋双目线阵CCD采集汽车底盘图像，因为通过地埋双目线阵CCD采集到的汽车底盘数据并不能直接用来进行异物检测，所以在异物检测开始之前还需要对其进行一些预处理。首先，对采集到的待检图像经过车型识别模块定位出待检图像与标准库中对应的标准图像（有关车型识别的方法在专利《基于线阵CCD的汽车底盘成像的车型识别》，申请号为201310356802.1中有详细说明），以该标准图像作为识别待检测异物车辆底盘的参照；其次，由于车辆在行驶的过程中并不一定是匀速的并且行驶路径也不一定能与地埋双目线阵CCD位置完全吻合，所以需要将待检图像按照标准图像进行一个行进畸变校正处理（有关行进畸变校正处理方法，参照专利《一种线阵CCD的行进畸变校正方法》，该专利申请号为201310608742.8，申请日为2013年11月22日）；最后才将待检图像与标准图像进行对比用于检测异物。但是该两种方法还不能直接得到满意的检测结果，还需要进一步研究制定可靠准确的处理方法，以满足各种复杂情况下汽车底盘成像的异物检测。

发明内容

本发明的目的在于提供一种基于双目线阵CCD汽车底盘成像的异物检测方法，解决了现有技术中采用人工目视或手持探测仪器实施，工作不方便，工作效率低，检测准确率不高的问题。

本发明采用的技术方案是，一种基于双目线阵CCD汽车底盘成像的异物检测方法，按照以下步骤实施：

步骤1、利用地埋双目线阵CCD采集上方行驶车辆的底盘图像，以下称为待检图像，根据采集到的待检图像的每一行的行方差，求出行驶车辆的水平移动偏移量

设大小为m×n的标准图像为[I_S(x,y)]_m×n，待检图像为[I_R(x,y)]_m×n，按照公式（1）将待检图像与标准图像进行差分运算，得到行差分E_SR(x,y,k)，

$E_{\mathrm{SR}}(x,y,k)=\left\{\begin{array}{cc}{I}_S(x,y)-I_R(x,y+k)& k=0,y=\mathrm{1,2},...,n\\ I_S(x,y)-I_R(x,y+k)& k=-l,-l+1,...,-1,y=\mathrm{1,2},...,n-k,\\ I_S(x,y)-I_R(x,y+k)& k=\mathrm{1,2},...,l,y=k,k+1,...,n\end{array}\right.---\left(1\right)$

其中x＝1,2,...,m，y＝1,2,...,n，k＝-l,-l+1,,...,0,1,2,...,l，l为行驶车辆可能的左右偏移的最大偏移量，

按照公式（2）和（3）计算每一行差分的均值μ_SR(x,k)，方差σ² _SR(x,k)，x＝1,2,...,m，y＝1,2,...,n，k＝-l,-l+1,,...,0,1,2,...,l，则：

${\mathrm{\μ}}_{\mathrm{SR}}(x,k)=\frac{1}{n-k}\underset{y=1}{\overset{n-k}{\mathrm{\Σ}}}{E}_{\mathrm{SR}}(x,y,k),---\left(2\right)$

${{\mathrm{\σ}}^2}_{\mathrm{SR}}(x,k)=\frac{1}{n-k}\underset{y=1}{\overset{n-k}{\mathrm{\Σ}}}{[E_{\mathrm{SR}}(x,y,k)-{\mathrm{\μ}}_{\mathrm{SR}}(x,k)]}^2,---\left(3\right)$

然后，按照公式（4）求出第x行的车辆行驶水平偏移量k_x ^*：

${k_x}^{*}=\underset{k}{\arg }\min \left\{{{\mathrm{\σ}}^2}_{\mathrm{SR}}(x,k)\right|k=-l,-l+1,...,\mathrm{0,1,2},...,l\};---\left(4\right)$

步骤2、求解车辆行驶整体偏移趋势直线

设汽车行驶的水平偏移直线为k_x＝p·x+Δk，x＝1,2,...,m为行坐标，则确定直线的参数p及Δk的计算公式如下：

$\left\{\begin{array}{c}p=\frac{a_1{b}_1-m{b}_2}{{a_1}^2-a_{2}m}\\ \mathrm{\Δk}=\frac{b_1-a_{1}p}{m}\end{array}\right.,---\left(5\right)$

其中， $a_1=\underset{x=1}{\overset{m}{\mathrm{\Σ}}}x,$ $a_2=\underset{x=1}{\overset{m}{\mathrm{\Σ}}}{x}^2,$ $b_1=\underset{x=1}{\overset{m}{\mathrm{\Σ}}}{k_x}^{*},$ $b_2=\underset{x=1}{\overset{m}{\mathrm{\Σ}}}x\·{k_x}^{*};$

步骤3、按各行平移位置校正待检图像的水平偏差

将待检图像按照步骤2求得的直线变化规律进行水平平移；

步骤4、计算待检图像与标准图像的正差分与负差分

对标准图像[I_S(x,y)]_m×n和待检图像[I_R(x,y)]_m×n，计算正差分图[ΔI_p(x,y)]_m×n及负差分图像[ΔI_n(x,y)]_m×n，计算公式如下：

x＝1,2,...,m，y＝1,2,...,n，（6）

x＝1,2,...,m，y＝1,2,...,n；（7）

步骤5、对正差分图和负差分图进行去噪

5.1）进行灰度腐蚀处理

首先对正差分图[ΔI_p(x,y)]_m×n、负差分图[ΔI_n(x,y)]_m×n进行灰度腐蚀，设[ΔI_p(x,y)]_m×n和[ΔI_n(x,y)]_m×n经过灰度腐蚀后的结果分别为[ΔI_p ^E(x,y)]_m×n和[ΔI_n ^E(x,y)]_m×n，之后分别进行二值化处理，得到二值化结果图分别为[B_p(x,y)]_m×n和[B_n(x,y)]_m×n，计算公式如下：

$B_p(x,y)=\left\{\begin{array}{cc}1& {{\mathrm{\&Delta;I}}_p}^E(x,y)\&GreaterEqual;{\mathrm{Th}}_p^E\\ 0& {{\mathrm{\&Delta;I}}_p}^E(x,y)<{\mathrm{Th}}_p^E\end{array}\right.,x=\mathrm{1,2},...,m,y=\mathrm{1,2},...,n,---\left(8\right)$

$B_n(x,y)=\left\{\begin{array}{cc}1& {{\mathrm{\&Delta;I}}_n}^E(x,y)\&GreaterEqual;{\mathrm{Th}}_n^E\\ 0& {{\mathrm{\&Delta;I}}_n}^E(x,y)<{\mathrm{Th}}_n^E\end{array}\right.,x=\mathrm{1,2},...,m,y=\mathrm{1,2},...,n,---\left(9\right)$

其中，和为二值化判断阈值；

5.2）进行sobel锐化处理

对经过灰度腐蚀之后的正差分图[B_p(x,y)]_m×n和负差分图[B_n(x,y)]_m×n，求其sobel边缘，设得到的边缘图像分别为[ΔI_p ^Edge(x,y)]_m×n和[ΔI_n ^Edge(x,y)]_m×n，之后分别对其进行二值化处理，得到二值化结果图分别为[B_p ^Edge(x,y)]_m×n和[B_n ^Edge(x,y)]_m×n，计算公式如下：

${B_p}^{\mathrm{Edge}}(x,y)=\left\{\begin{array}{cc}1& {{\mathrm{\&Delta;I}}_p}^{\mathrm{Edge}}(x,y)\&GreaterEqual;{\mathrm{Th}}_p^{\mathrm{Edge}}\\ 0& {{\mathrm{\&Delta;I}}_p}^{\mathrm{Edge}}(x,y)<{\mathrm{Th}}_p^{\mathrm{Edge}}\end{array}\right.,x=\mathrm{1,2},...,m,y=\mathrm{1,2},...,n,---\left(10\right)$

${B_n}^{\mathrm{Edge}}(x,y)=\left\{\begin{array}{cc}1& {{\mathrm{\&Delta;I}}_n}^{\mathrm{Edge}}(x,y)\&GreaterEqual;{\mathrm{Th}}_n^{\mathrm{Edge}}\\ 0& {{\mathrm{\&Delta;I}}_n}^{\mathrm{Edge}}(x,y)<{\mathrm{Th}}_n^{\mathrm{Edge}}\end{array}\right.,x=\mathrm{1,2},...,m,y=\mathrm{1,2},...,n,---\left(11\right)$

其中，和为二值化判断阈值；

5.3）消除边缘干扰处理

对于步骤5.1）处理的结果图像[B_p(x,y)]_m×n和[B_n(x,y)]_m×n，将其中的边缘干扰部分，按照公式（12）和公式（13）进行消除，分别得到图像[B_p ^S(x,y)]_m×n和[B_n ^S(x,y)]_m×n，计算公式如下：

${B_p}^S(x,y)=\left\{\begin{array}{cc}{B}_p(x,y)& {B_p}^{\mathrm{Edge}}(x,y)=0\\ 0& {B_p}^{\mathrm{Edge}}(x,y)=1\end{array}\right.,x=\mathrm{1,2},...,m,y=\mathrm{1,2},...,n,---\left(12\right)$

${B_n}^S(x,y)=\left\{\begin{array}{cc}{B}_n(x,y)& {B_n}^{\mathrm{Edge}}(x,y)=0\\ 0& {B_n}^{\mathrm{Edge}}(x,y)=1\end{array}\right.,x=\mathrm{1,2},...,m,y=\mathrm{1,2},...,n;---\left(13\right)$

步骤6、合并正负差分图

将步骤5得到的正差分图[B_p ^S(x,y)]_m×n和负差分图[B_n ^S(x,y)]_m×n合并，获得包含有异物和杂质的检测结果图像[B^R(x,y)]_m×n，计算公式如下：

步骤7、消除误提取的非异物区域

7.1）对步骤6得到的结果图像[B^R(x,y)]_m×n，进行贴标签处理，得到标签矩阵[LAB(x,y)]_m×n，设由[LAB(x,y)]_m×n标记的连通域的标签数为N_Lab，每个标签标记的连通域为Ω_k，k＝1,2,...,N_Lab，计算以下几个参数：

a）连通域的面积S_k，k＝1,2,...,N_Lab，计算公式如下：

$S_k=\underset{(x,y)\&Element;{\mathrm{\&Omega;}}_k}{\mathrm{\&Sigma;}}{B}^R(x,y),k=\mathrm{1,2},...,N_{\mathrm{Lab}};---\left(15\right)$

b）连通域的长宽比ρ_k，k＝1,2,...,N_Lab，计算公式如下：

${\mathrm{\&rho;}}_k=\frac{W_k}{H_k},k=\mathrm{1,2},...,N_{\mathrm{Lab}},---\left(16\right)$

其中，W_k＝x_k ^max-x_k ^min， ${x_k}^{\max }=\underset{x}{\arg }\max \{(x,y)\&Element;{\mathrm{\&Omega;}}_k\},$ ${x_k}^{\min }=\underset{x}{\arg }\min \{(x,y)\&Element;{\mathrm{\&Omega;}}_k\},$ H_k＝y_k ^max-y_k ^min， ${y_k}^{\max }=\underset{y}{\arg }\max \{(x,y)\&Element;{\mathrm{\&Omega;}}_k\},$ ${y_k}^{\min }=\underset{y}{\arg }\min \{(x,y)\&Element;{\mathrm{\&Omega;}}_k\};$

c）连通域的的占空比γ_k，k＝1,2,...,N_Lab，计算公式如下：

${\mathrm{\&gamma;}}_k=\frac{S_k}{W_k\&CenterDot;H_k},k=\mathrm{1,2},...,N_{\mathrm{Lab}};---\left(17\right)$

7.2）对[B^R(x,y)]_m×n按照公式（18）计算，得到消除了误提取异物连通域后的异物结果

x＝1,2,...,m，y＝1,2,...,n，（18）

其中，Th_S是用于判断当作异物目标误提取的阈值，Th_ρ和Th_γ是用于判断异物目标形状的阈值，根据图像的分辨率以及判断最小异物的大小来确定；

步骤8、修复异物目标的缺损区域

将步骤6得到的图像[B^R(x,y)]_m×n作为区域生长的终止条件约束点，对图像进行区域生长，生长截止条件是，当遇到[B^R(x,y)]_m×n给出的边缘点时停止生长，由此，得到经过区域生长修复后异物目标缺损区域后的结果图像[B^*(x,y)]_m×n；

步骤9、进一步确认异物区域

对左、右两侧CCD拍摄的待检图像全部按照步骤1至步骤8进行处理，得到检测的异物区域[B^*(x,y)]_m×n，为下文描述方便起见，将左侧CCD拍摄的图像得到的异物检测结果图像表示为[B_left ^*(x,y)]_m×n，将右侧CCD拍摄的图像得到的异物检测结果图像表示为[B_right ^*(x,y)]_m×n，继续进行如下的处理：

分别对[B_left ^*(x,y)]_m×n和[B_right ^*(x,y)]_m×n进行贴标签处理，设得到的标签矩阵分别为[LAB_left(x,y)]_m×n和[LAB_right(x,y)]_m×n，

设由[LAB_left(x,y)]_m×n标记的连通域的标签数为N_left，每个标签标记的连通域为Ω_k ^left，k＝1,2,...,N_left，

由[LAB_right(x,y)]_m×n标记的连通域的标签数为N_right，每个标签标记的连通域为Ω_k ^right，k＝1,2,...,N_right，

经过三个条件判断之后，删除N_{lef_tright}个左、右侧图像连通域对(Ω_k ^left,Ω_k ^right)中，不是异物目标的部分，剩下N个属于异物的左、右侧图像连通域对(Ω_k ^left,Ω_k ^right)，设为(Ω_k ^left,Ω_k ^right)，k＝1,2,...,N，即用该连通域对序列来表示N个异物；

步骤10、求解车辆底盘中的异物的高度

对步骤9得到的属于异物目标区域的左侧图像、右侧图像的连通域对(Ω_k ^left,Ω_k ^right)，k＝1,2,...,N，进行如下的计算：

10.1）计算连通域Ω_k ^left和Ω_k ^right的左侧边界点和，以及右侧边界点和计算公式如下：

${L_{{\mathrm{\&Omega;}}_k}}^{\mathrm{left}}=\underset{y}{\arg }\min \{(x,y)\&Element;{{\mathrm{\&Omega;}}_k}^{\mathrm{left}}\},k=\mathrm{1,2},...,N,---\left(19\right)$

${L_{{\mathrm{\&Omega;}}_k}}^{\mathrm{right}}=\underset{y}{\arg }\min \{(x,y)\&Element;{{\mathrm{\&Omega;}}_k}^{\mathrm{right}}\},k=\mathrm{1,2},...,N,---\left(20\right)$

${R_{{\mathrm{\&Omega;}}_k}}^{\mathrm{left}}=\underset{y}{\arg }\max \{(x,y)\&Element;{{\mathrm{\&Omega;}}_k}^{\mathrm{left}}\},k=\mathrm{1,2},...,N,---\left(21\right)$

${R_{{\mathrm{\&Omega;}}_k}}^{\mathrm{right}}=\underset{y}{\arg }\max \{(x,y)\&Element;{{\mathrm{\&Omega;}}_k}^{\mathrm{right}}\},k=\mathrm{1,2},...,N;---\left(22\right)$

10.2）计算异物的高度

对由(Ω_k ^left,Ω_k ^right)，k＝1,2,...,N表示的第k个异物，其高度h_k的计算公式是：

$h_k=\frac{1}{2}\&CenterDot;[({L_{{\mathrm{\&Omega;}}_k}}^{\mathrm{right}}-{L_{{\mathrm{\&Omega;}}_k}}^{\mathrm{left}})+({R_{{\mathrm{\&Omega;}}_k}}^{\mathrm{right}}-{R_{{\mathrm{\&Omega;}}_k}}^{\mathrm{left}})],k=\mathrm{1,2},...,N;---\left(23\right)$

步骤11、标记出异物位置及高度

如果右侧图像为主图像的话，就由(Ω_k ^right,h_k)，k＝1,2,...,N来标记异物；反之，如果左侧图像为主图像的话，就由(Ω_k ^left,h_k)，k＝1,2,...,N来标记异物，完成对汽车底盘异物数目，以及每个异物的位置以及高度的自动检测，即成。

本发明的有益效果是，由地埋双目线阵CCD拍摄汽车底盘图像，采集行驶车辆底盘数据，经车型识别模块定位出待测汽车底盘与标准库中对应的标准汽车底盘对比，实现车型识别和行进畸变校正，判断待测底盘中是否存有异物，若有异物则确定异物的位置及异物的大小和高度。该方法简便易行，识别准确率高。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明基于双目线阵CCD汽车底盘成像的异物检测方法，基于上述的两个专利中的部分技术方案，按照以下步骤实施：

步骤1、利用地埋双目线阵CCD采集上方行驶车辆的底盘图像（以下称为待检图像），根据采集到的待检图像的每一行的行方差，求出行驶车辆的水平移动偏移量

由于车辆行驶过地埋双目线阵CCD区域时，行驶的路径与预设的路线中心线不一定完全吻合，导致待检图像和标准图像在水平方向上有一定的左右偏差，所以要对待检图像进行水平方向的校正，

设大小为m×n的标准图像为[I_S(x,y)]_m×n，待检图像为[I_R(x,y)]_m×n，首先，按照公式（1）将待检图像与标准图像进行差分运算，得到行差分E_SR(x,y,k)，

$E_{\mathrm{SR}}(x,y,k)=\left\{\begin{array}{cc}{I}_S(x,y)-I_R(x,y+k)& k=0,y=\mathrm{1,2},...,n\\ I_S(x,y)-I_R(x,y+k)& k=-l,-l+1,...,-1,y=\mathrm{1,2},...,n-k,\\ I_S(x,y)-I_R(x,y+k)& k=\mathrm{1,2},...,l,y=k,k+1,...,n\end{array}\right.---\left(1\right)$

其中x＝1,2,...,m，y＝1,2,...,n，k＝-l,-l+1,,...,0,1,2,...,l，l为行驶车辆可能的左右偏移的最大偏移量，根据线阵CCD的分辨率和环境设置允许的车辆行驶偏移量来确定，属于经验选值；在实施例中，线阵CCD的分辨率设置为70DPI，选取l＝70，

按照公式（2）和（3）计算每一行差分的均值μ_SR(x,k)，方差σ² _SR(x,k)，x＝1,2,...,m，y＝1,2,...,n，k＝-l,-l+1,,...,0,1,2,...,l，则有：

${\mathrm{\&mu;}}_{\mathrm{SR}}(x,k)=\frac{1}{n-k}\underset{y=1}{\overset{n-k}{\mathrm{\&Sigma;}}}{E}_{\mathrm{SR}}(x,y,k),---\left(2\right)$

${{\mathrm{\&sigma;}}^2}_{\mathrm{SR}}(x,k)=\frac{1}{n-k}\underset{y=1}{\overset{n-k}{\mathrm{\&Sigma;}}}{[E_{\mathrm{SR}}(x,y,k)-{\mathrm{\&mu;}}_{\mathrm{SR}}(x,k)]}^2,---\left(3\right)$

然后，按照公式（4）求出第x行的车辆行驶水平偏移量k_x ^*：

${k_x}^{*}=\underset{k}{\arg }\min \left\{{{\mathrm{\&sigma;}}^2}_{\mathrm{SR}}(x,k)\right|k=-l,-l+1,...,\mathrm{0,1,2},...,l\};---\left(4\right)$

步骤2、求解车辆行驶整体偏移趋势直线

考虑到汽车行驶轨迹的水平偏差是渐变的，为了消除各种干扰对由步骤1中得到的每行的水平偏移量k_x ^*的影响，需要对所得到的数据采用最小二乘法进行直线拟合，设汽车行驶的水平偏移直线为k_x＝p·x+Δk，x＝1,2,...,m为行坐标，则确定直线的参数p及Δk的计算公式如下：

$\left\{\begin{array}{c}p=\frac{a_1{b}_1-m{b}_2}{{a_1}^2-a_{2}m}\\ \mathrm{\&Delta;k}=\frac{b_1-a_{1}p}{m}\end{array}\right.,---\left(5\right)$

其中， $a_1=\underset{x=1}{\overset{m}{\mathrm{\&Sigma;}}}x,$ $a_2=\underset{x=1}{\overset{m}{\mathrm{\&Sigma;}}}{x}^2,$ $b_1=\underset{x=1}{\overset{m}{\mathrm{\&Sigma;}}}{k_x}^{*},$ $b_2=\underset{x=1}{\overset{m}{\mathrm{\&Sigma;}}}x\&CenterDot;{k_x}^{*};$

步骤3、按各行平移位置校正待检图像的水平偏差

将待检图像按照步骤2求得的直线变化规律进行水平平移；

步骤4、计算待检图像与标准图像的正差分与负差分

对标准图像[I_S(x,y)]_m×n和待检图像[I_R(x,y)]_m×n，计算正差分图[ΔI_p(x,y)]_m×n及负差分图像[ΔI_n(x,y)]_m×n，计算公式如下：

x＝1,2,...,m，y＝1,2,...,n，（6）

x＝1,2,...,m，y＝1,2,...,n；（7）

步骤5、对正差分图[ΔI_p(x,y)]_m×n和负差分图[ΔI_n(x,y)]_m×n进行去噪

5.1）进行灰度腐蚀处理

首先对正差分图、负差分图进行灰度腐蚀，灰度腐蚀的处理方法在图像处理相关教材均有详细说明，设[ΔI_p(x,y)]_m×n和[ΔI_n(x,y)]_m×n经过灰度腐蚀后的结果分别为[ΔI_p ^E(x,y)]_m×n和[ΔI_n ^E(x,y)]_m×n，之后分别进行二值化处理，得到二值化结果图分别为[B_p(x,y)]_m×n和[B_n(x,y)]_m×n，计算公式如下：

$B_p(x,y)=\left\{\begin{array}{cc}1& {{\mathrm{\&Delta;I}}_p}^E(x,y)\&GreaterEqual;{\mathrm{Th}}_p^E\\ 0& {{\mathrm{\&Delta;I}}_p}^E(x,y)<{\mathrm{Th}}_p^E\end{array}\right.,x=\mathrm{1,2},...,m,y=\mathrm{1,2},...,n,---\left(8\right)$

$B_n(x,y)=\left\{\begin{array}{cc}1& {{\mathrm{\&Delta;I}}_n}^E(x,y)\&GreaterEqual;{\mathrm{Th}}_n^E\\ 0& {{\mathrm{\&Delta;I}}_n}^E(x,y)<{\mathrm{Th}}_n^E\end{array}\right.,x=\mathrm{1,2},...,m,y=\mathrm{1,2},...,n,---\left(9\right)$

其中，和为二值化判断阈值，通过大津法进行确定（大津法在图像处理相关教材上均有详细说明）；

5.2）进行sobel锐化处理

对经过灰度腐蚀之后的正差分图[B_p(x,y)]_m×n和负差分图[B_n(x,y)]_m×n，求其sobel边缘，设得到的边缘图像分别为[ΔI_p ^Edge(x,y)]_m×n和[ΔI_n ^Edge(x,y)]_m×n，之后分别对其进行二值化处理，得到二值化结果图分别为[B_p ^Edge(x,y)]_m×n和[B_n ^Edge(x,y)]_m×n，计算公式如下：

${B_p}^{\mathrm{Edge}}(x,y)=\left\{\begin{array}{cc}1& {{\mathrm{\&Delta;I}}_p}^{\mathrm{Edge}}(x,y)\&GreaterEqual;{\mathrm{Th}}_p^{\mathrm{Edge}}\\ 0& {{\mathrm{\&Delta;I}}_p}^{\mathrm{Edge}}(x,y)<{\mathrm{Th}}_p^{\mathrm{Edge}}\end{array}\right.,x=\mathrm{1,2},...,m,y=\mathrm{1,2},...,n,---\left(10\right)$

${B_n}^{\mathrm{Edge}}(x,y)=\left\{\begin{array}{cc}1& {{\mathrm{\&Delta;I}}_n}^{\mathrm{Edge}}(x,y)\&GreaterEqual;{\mathrm{Th}}_n^{\mathrm{Edge}}\\ 0& {{\mathrm{\&Delta;I}}_n}^{\mathrm{Edge}}(x,y)<{\mathrm{Th}}_n^{\mathrm{Edge}}\end{array}\right.,x=\mathrm{1,2},...,m,y=\mathrm{1,2},...,n,---\left(11\right)$

其中，和为二值化判断阈值，通过大津法进行确定（大津法在图像处理相关教材上均有详细说明）；

5.3）消除边缘干扰处理

对于步骤5.1）处理的结果图像[B_p(x,y)]_m×n和[B_n(x,y)]_m×n，将其中的边缘干扰部分，按照公式（12）和公式（13）进行消除，分别得到图像[B_p ^S(x,y)]_m×n和[B_n ^S(x,y)]_m×n，计算公式如下：

${B_p}^S(x,y)=\left\{\begin{array}{cc}{B}_p(x,y)& {B_p}^{\mathrm{Edge}}(x,y)=0\\ 0& {B_p}^{\mathrm{Edge}}(x,y)=1\end{array}\right.,x=\mathrm{1,2},...,m,y=\mathrm{1,2},...,n,---\left(12\right)$

${B_n}^S(x,y)=\left\{\begin{array}{cc}{B}_n(x,y)& {B_n}^{\mathrm{Edge}}(x,y)=0\\ 0& {B_n}^{\mathrm{Edge}}(x,y)=1\end{array}\right.,x=\mathrm{1,2},...,m,y=\mathrm{1,2},...,n;---\left(13\right)$

步骤6、合并正负差分图

将步骤5得到的正差分图[B_p ^S(x,y)]_m×n和负差分图[B_n ^S(x,y)]_m×n合并，获得包含有异物和杂质的检测结果图像[B^R(x,y)]_m×n，计算公式如下：

步骤7、消除步骤6中误提取的非异物区域

7.1）对步骤6得到的结果图像[B^R(x,y)]_m×n，进行贴标签处理（贴标签方法在图像处理相关教材上均有详细说明），得到标签矩阵[LAB(x,y)]_m×n，

设由[LAB(x,y)]_m×n标记的连通域的标签数为N_Lab，每个标签标记的连通域为Ω_k，k＝1,2,...,N_Lab，计算以下几个参数：

a）连通域的面积S_k，k＝1,2,...,N_Lab，计算公式如下：

$S_k=\underset{(x,y)\&Element;{\mathrm{\&Omega;}}_k}{\mathrm{\&Sigma;}}{B}^R(x,y),k=\mathrm{1,2},...,N_{\mathrm{Lab}};---\left(15\right)$

b）连通域的长宽比ρ_k，k＝1,2,...,N_Lab，计算公式如下：

${\mathrm{\&rho;}}_k=\frac{W_k}{H_k},k=\mathrm{1,2},...,N_{\mathrm{Lab}},---\left(16\right)$

其中，W_k＝x_k ^max-x_k ^min， ${x_k}^{\max }=\underset{x}{\arg }\max \{(x,y)\&Element;{\mathrm{\&Omega;}}_k\},$ ${x_k}^{\min }=\underset{x}{\arg }\min \{(x,y)\&Element;{\mathrm{\&Omega;}}_k\},$ H_k＝y_k ^max-y_k ^min， ${y_k}^{\max }=\underset{y}{\arg }\max \{(x,y)\&Element;{\mathrm{\&Omega;}}_k\},$ ${y_k}^{\min }=\underset{y}{\arg }\min \{(x,y)\&Element;{\mathrm{\&Omega;}}_k\};$

c）连通域的的占空比γ_k，k＝1,2,...,N_Lab，计算公式如下：

${\mathrm{\&gamma;}}_k=\frac{S_k}{W_k\&CenterDot;H_k},k=\mathrm{1,2},...,N_{\mathrm{Lab}};---\left(17\right)$

7.2）对[B^R(x,y)]_m×n进行如下的处理，按照公式（18）计算得到消除了误提取异物连通域后的异物结果

x＝1,2,...,m，y＝1,2,...,n，（18）

其中，Th_S是用于判断当作异物目标误提取的阈值，根据图像的分辨率以及判断最小异物的大小来确定，根据底盘藏匿异物的情况，在分辨率为70DPI的情况下，优选范围为Th_S∈[100,150]；Th_ρ和Th_γ是用于判断异物目标形状的阈值，根据底盘藏匿异物的情况，在分辨率为70DPI的情况下，优选范围为Th_S∈[3,7]及Th_γ∈[0.2,0.3]；

步骤8、修复异物目标的缺损区域

经过上述步骤的处理之后，将误提取的区域进行了消除，但同时也会在一定程度上导致一些异物区域的缺损，因此需要采用区域生长方法重新进行修复，具体方法如下：

将步骤6得到的图像[B^R(x,y)]_m×n作为区域生长的终止条件约束点，对图像进行区域生长（区域生长的算法在图像处理相关教材上均有详细说明），生长截止条件是，当遇到[B^R(x,y)]_m×n给出的边缘点时停止生长，由此，得到经过区域生长修复后异物目标缺损区域后的结果图像[B^*(x,y)]_m×n；

步骤9、进一步确认异物区域

对左、右两侧CCD拍摄的待检图像全部按照步骤1至步骤8进行处理，得到检测的异物区域[B^*(x,y)]_m×n，为下文描述方便起见，将左侧CCD拍摄的图像得到的异物检测结果图像表示为[B_left ^*(x,y)]_m×n，将右侧CCD拍摄的图像得到的异物检测结果图像表示为[B_right ^*(x,y)]_m×n，继续进行如下的处理：

分别对[B_left ^*(x,y)]_m×n和[B_right ^*(x,y)]_m×n进行贴标签处理，设得到的标签矩阵分别为[LAB_left(x,y)]_m×n和[LAB_right(x,y)]_m×n，

设由[LAB_left(x,y)]_m×n标记的连通域的标签数为N_left，每个标签标记的连通域为Ω_k ^left，k＝1,2,...,N_left，

由[LAB_right(x,y)]_m×n标记的连通域的标签数为N_right，每个标签标记的连通域为Ω_k ^right，k＝1,2,...,N_right，

对这些连通域，如果同时满足以下三个条件，就被视作异物目标区域，否则，即为误提取的干扰区域，将其删除：

条件一、在步骤9中提取出的左侧图像的连通域Ω_k ^left，k＝1,2,...,N_left中，与提取出的右侧CCD图像的连通域Ω_k ^right，k＝1,2,...,N_right中的某个连通域的具有相同位置坐标的像素点，设如此寻找到的具有相同位置坐标像素点的左右侧图像连通域对为(Ω_k ^left,Ω_k ^right)，k＝1,2,...,N_{left_right}；

条件二、(Ω_k ^left,Ω_k ^right)，k＝1,2,...,N_{left_right}中，则左侧图像中的连通域Ω_k ^left在Ω_k ^right的左边；

条件三、按照公式（15）计算得到的Ω_k ^left的面积S_k ^left，与Ω_k ^right的面积S_k ^right相似，即其中较小面积的连通域的面积是较大面积连通域的面积一半以上时，

经过上述三个条件判断之后，删除N_{left_right}个左、右侧图像连通域对(Ω_k ^left,Ω_k ^right)中，不是异物目标的部分，剩下N个属于异物的左、右侧图像连通域对(Ω_k ^left,Ω_k ^right)，设为(Ω_k ^left,Ω_k ^right)，k＝1,2,...,N，即用该连通域对序列来表示N个异物；

步骤10、求解车辆底盘中的异物的高度

对经过步骤9得到的属于异物目标区域的左侧图像、右侧图像的连通域对(Ω_k ^left,Ω_k ^right)，k＝1,2,...,N，进行如下的计算：

10.1）计算连通域Ω_k ^left和Ω_k ^right的左侧边界点和以及右侧边界点和计算公式如下：

${L_{{\mathrm{\&Omega;}}_k}}^{\mathrm{left}}=\underset{y}{\arg }\min \{(x,y)\&Element;{{\mathrm{\&Omega;}}_k}^{\mathrm{left}}\},k=\mathrm{1,2},...,N,---\left(19\right)$

${L_{{\mathrm{\&Omega;}}_k}}^{\mathrm{right}}=\underset{y}{\arg }\min \{(x,y)\&Element;{{\mathrm{\&Omega;}}_k}^{\mathrm{right}}\},k=\mathrm{1,2},...,N,---\left(20\right)$

${R_{{\mathrm{\&Omega;}}_k}}^{\mathrm{left}}=\underset{y}{\arg }\max \{(x,y)\&Element;{{\mathrm{\&Omega;}}_k}^{\mathrm{left}}\},k=\mathrm{1,2},...,N,---\left(21\right)$

${R_{{\mathrm{\&Omega;}}_k}}^{\mathrm{right}}=\underset{y}{\arg }\max \{(x,y)\&Element;{{\mathrm{\&Omega;}}_k}^{\mathrm{right}}\},k=\mathrm{1,2},...,N;---\left(22\right)$

10.2）计算异物的高度

对由(Ω_k ^left,Ω_k ^right)，k＝1,2,...,N表示的第k个异物，其高度h_k的计算公式是：

$h_k=\frac{1}{2}\&CenterDot;[({L_{{\mathrm{\&Omega;}}_k}}^{\mathrm{right}}-{L_{{\mathrm{\&Omega;}}_k}}^{\mathrm{left}})+({R_{{\mathrm{\&Omega;}}_k}}^{\mathrm{right}}-{R_{{\mathrm{\&Omega;}}_k}}^{\mathrm{left}})],k=\mathrm{1,2},...,N;---\left(23\right)$

步骤11、标记出异物位置及高度

如果右侧图像为主图像的话，就由(Ω_k ^right,h_k)，k＝1,2,...,N来标记异物；反之，如果左侧图像为主图像的话，就由(Ω_k ^left,h_k)，k＝1,2,...,N来标记异物，完成对汽车底盘异物数目，以及每个异物的位置以及高度的自动检测，即成。

Claims (5)

1.一种基于双目线阵CCD汽车底盘成像的异物检测方法，其特征在于，按照以下步骤实施：

步骤1、利用地埋双目线阵CCD采集上方行驶车辆的底盘图像，以下称为待检图像，根据采集到的待检图像的每一行的行方差，求出行驶车辆的水平移动偏移量

设大小为m×n的标准图像为[I_S(x,y)]_m×n，待检图像为[I_R(x,y)]_m×n，按照公式(1)将待检图像与标准图像进行差分运算，得到行差分E_SR(x,y,k)，

其中x＝1,2,...,m，y＝1,2,...,n，k＝-l,-l+1,...,0,1,2,...,l，l为行驶车辆可能的左右偏移的最大偏移量，

按照公式(2)和(3)计算每一行差分的均值μ_SR(x,k)，方差σ² _SR(x,k)，x＝1,2,...,m，y＝1,2,...,n，k＝-l,-l+1,...,0,1,2,...,l，则：

然后，按照公式(4)求出第x行的车辆行驶水平偏移量k_x*：

步骤2、求解车辆行驶整体偏移趋势直线

设汽车行驶的水平偏移直线为k_x＝p·x+Δk，x＝1,2,...,m为行坐标，则确定直线的参数p及Δk的计算公式如下：

其中，

步骤3、按各行平移位置校正待检图像的水平偏差

将待检图像按照步骤2求得的直线变化规律进行水平平移；

步骤4、计算待检图像与标准图像的正差分与负差分

对标准图像[I_S(x,y)]_m×n和待检图像[I_R(x,y)]_m×n，计算正差分图[ΔI_p(x,y)]_m×n及负差分图像[ΔI_n(x,y)]_m×n，计算公式如下：

步骤5、对正差分图和负差分图进行去噪

5.1)进行灰度腐蚀处理

首先对正差分图[ΔI_p(x,y)]_m×n、负差分图[ΔI_n(x,y)]_m×n进行灰度腐蚀，设[ΔI_p(x,y)]_m×n和[ΔI_n(x,y)]_m×n经过灰度腐蚀后的结果分别为[ΔI_p ^E(x,y)]_m×n和[ΔI_n ^E(x,y)]_m×n，之后分别进行二值化处理，得到二值化结果图分别为[B_p(x,y)]_m×n和[B_n(x,y)]_m×n，计算公式如下：

其中，和为二值化判断阈值；

5.2)进行sobel锐化处理

对经过灰度腐蚀之后的正差分图[B_p(x,y)]_m×n和负差分图[B_n(x,y)]_m×n，求其sobel边缘，设得到的边缘图像分别为[ΔI_p ^Edge(x,y)]_m×n和[ΔI_n ^Edge(x,y)]_m×n，之后分别对其进行二值化处理，得到二值化结果图分别为[B_p ^Edge(x,y)]_m×n和[B_n ^Edge(x,y)]_m×n，计算公式如下：

其中，和为二值化判断阈值；

5.3)消除边缘干扰处理

对于步骤5.1)处理的结果图像[B_p(x,y)]_m×n和[B_n(x,y)]_m×n，将其中的边缘干扰部分，按照公式(12)和公式(13)进行消除，分别得到图像[B_p ^S(x,y)]_m×n和[B_n ^S(x,y)]_m×n，计算公式如下：

步骤6、合并正负差分图

将步骤5得到的正差分图[B_p ^S(x,y)]_m×n和负差分图[B_n ^S(x,y)]_m×n合并，获得包含有异物和杂质的检测结果图像[B^R(x,y)]_m×n，计算公式如下：

步骤7、消除误提取的非异物区域

7.1)对步骤6得到的结果图像[B^R(x,y)]_m×n，进行贴标签处理，得到标签矩阵[LAB(x,y)]_m×n，设由[LAB(x,y)]_m×n标记的连通域的标签数为N_Lab，每个标签标记的连通域为Ω_k，k＝1,2,...,N_Lab，计算以下几个参数：

a)连通域的面积S_k，k＝1,2,...,N_Lab，计算公式如下：

b)连通域的长宽比ρ_k，k＝1,2,...,N_Lab，计算公式如下：

其中，W_k＝x_k ^max-x_k ^min，H_k＝y_k ^max-y_k ^min，

c)连通域的的占空比γ_k，k＝1,2,...,N_Lab，计算公式如下：

7.2)对[B^R(x,y)]_m×n按照公式(18)计算，得到消除了误提取异物连通域后的异物结果

其中，Th_S是用于判断当作异物目标误提取的阈值，Th_ρ和Th_λ是用于判断异物目标形状的阈值，根据图像的分辨率以及判断最小异物的大小来确定；

步骤8、修复异物目标的缺损区域

将步骤6得到的图像[B^R(x,y)]_m×n作为区域生长的终止条件约束点，对图像进行区域生长，生长截止条件是，当遇到[B^R(x,y)]_m×n给出的边缘点时停止生长，由此，得到经过区域生长修复后异物目标缺损区域后的结果图像[B^*(x,y)]_m×n；

步骤9、进一步确认异物区域

对左、右两侧CCD拍摄的待检图像全部按照步骤1至步骤8进行处理，得到检测的异物区域[B^*(x,y)]_m×n，为下文描述方便起见，将左侧CCD拍摄的图像得到的异物检测结果图像表示为[B_left ^*(x,y)]_m×n，将右侧CCD拍摄的图像得到的异物检测结果图像表示为[B_right ^*(x,y)]_m×n，继续进行如下的处理：

分别对[B_left ^*(x,y)]_m×n和[B_right ^*(x,y)]_m×n进行贴标签处理，设得到的标签矩阵分别为[LAB_left(x,y)]_m×n和[LAB_right(x,y)]_m×n，

设由[LAB_left(x,y)]_m×n标记的连通域的标签数为N_left，每个标签标记的连通域为Ω_k ^left，k＝1,2,...,N_left，

由[LAB_right(x,y)]_m×n标记的连通域的标签数为N_right，每个标签标记的连通域为Ω_k ^right，k＝1,2,...,N_right，

经过三个条件判断之后，删除N_{left_right}个左、右侧图像连通域对(Ω_k ^left,Ω_k ^right)中，不是异物目标的部分，剩下N个属于异物的左、右侧图像连通域对(Ω_k ^left,Ω_k ^right)，设为(Ω_k ^left,Ω_k ^right)，k＝1,2,...,N，即用该连通域对序列来表示N个异物；

步骤10、求解车辆底盘中的异物的高度

对步骤9得到的属于异物目标区域的左侧图像、右侧图像的连通域对(Ω_k ^left,Ω_k ^right)，k＝1,2,...,N，进行如下的计算：

10.1)计算连通域Ω_k ^left和Ω_k ^right的左侧边界点和以及右侧边界点和计算公式如下：

10.2)计算异物的高度

对由(Ω_k ^left,Ω_k ^right)，k＝1,2,...,N表示的第k个异物，其高度h_k的计算公式是：

步骤11、标记出异物位置及高度

如果右侧图像为主图像的话，就由(Ω_k ^right,h_k)，k＝1,2,...,N来标记异物；反之，如果左侧图像为主图像的话，就由(Ω_k ^left,h_k)，k＝1,2,...,N来标记异物，完成对汽车底盘异物数目，以及每个异物的位置以及高度的自动检测，即成。

2.根据权利要求1所述的基于双目线阵CCD汽车底盘成像的异物检测方法，其特征在于，所述的步骤1中，线阵CCD的分辨率设置为70DPI，选取l＝70。

3.根据权利要求1所述的基于双目线阵CCD汽车底盘成像的异物检测方法，其特征在于，所述的步骤5中，二值化判断阈值和均通过大津法确定。

4.根据权利要求1所述的基于双目线阵CCD汽车底盘成像的异物检测方法，其特征在于，所述的步骤7中，根据底盘藏匿异物的情况，在分辨率为70DPI的情况下，Th_S∈[100,150]，Th_ρ∈[3,7]，Th_λ∈[0.2,0.3]。

5.根据权利要求1所述的基于双目线阵CCD汽车底盘成像的异物检测方法，其特征在于，所述的步骤9中，对这些连通域，如果同时满足以下三个条件，就被视作异物目标区域，否则，即为误提取的干扰区域，将其删除：

条件一、在步骤9中提取出的左侧图像的连通域Ω_k ^left，k＝1,2,...,N_left中，与提取出的右侧CCD图像的连通域Ω_k ^right，k＝1,2,...,N_right中的某个连通域的具有相同位置坐标的像素点，设如此寻找到的具有相同位置坐标像素点的左右侧图像连通域对为(Ω_k ^left,Ω_k ^right)，k＝1,2,...,N_{left_right}；

条件二、(Ω_k ^left,Ω_k ^right)，k＝1,2,...,N_{left_right}中，则左侧图像中的连通域Ω_k ^left在Ω_k ^right的左边；

条件三、按照公式(15)计算得到的Ω_k ^left的面积S_k ^left，与Ω_k ^right的面积S_k ^right相似，即其中较小面积的连通域的面积是较大面积连通域的面积一半以上时。