CN104050477A - 基于道路辅助信息和显著性检测的红外图像车辆检测方法 - Google Patents

Abstract

本发明涉及一种基于道路辅助信息和显著性检测的红外图像车辆检测方法，首先使用高斯金字塔对源图像进行背景估计，用源图像与背景估计图像相减得到的高频信息中包含了目标及背景杂波；再对源图像进行OTSU阈值分割，得到的二值图像作为道路信息的估计；高频信息与道路信息的与运算可得到感兴趣区域；再对感兴趣区域的中心与周围区域进行显著性检测；最后对候选目标进行轨迹关联，可以很好的提取出车辆目标。

Description

基于道路辅助信息和显著性检测的红外图像车辆检测方法

技术领域

本发明涉及一种基于道路辅助信息和显著性检测的红外图像车辆检测方法。

背景技术

红外目标检测一直是红外探测系统的核心技术，也是红外图像处理的热点与难点。其研究主要包含两个方面：一是从系统方面；二是从图像处理方面。在红外目标检测算法中，检测算法应该具有较高的检测概率和较低的虚警概率；满足信号检测的实时性要求。而红外目标检测的一个分支是红外车辆目标检测，一个红外监视系统中，若能自动检测出监视区域的可疑车辆，这将大大减少人力、物力的投入，因此该方法具有较强的应用背景。

车辆目标相对于地物背景有其固有运动特征和物理特征。车辆的运动范围是固定的，它仅存在于道路之内，在道路已知的情况下，可以大大减小车辆的检测范围，同时也避免了地物杂波干扰。与背景地物相比，红外图像道路目标具有以下特点：1.道路与背景之间通常存在一定的温差，经红外传感器的成像将具有一定的灰度差异，目标与背景对应的区域之间具有一定的边缘性状；2.道路边缘一般为两条相对的直线或曲线，根据视角的不同其边缘为平行线或在极远处相交；3.道路目标内部区域温度特性较为均匀，故其在红外图像中对应区域的灰度值变化较为平缓；4.道路上运动的目标可作为验证道路的依据。

传统的车辆检测方法有光流法，时间差分法，背景减除法。但是光流法依赖于光流估计准确度且计算量大；时间差分法速度快，但一般不能完全提取出所有相关的特征像素点，在运动实体内部容易产生空洞现象；背景减除法对于动态场景的变化，如天气、光照以及树木扰动等特别敏感。

综上所述，传统目标检测方法通常利用全局信息并且有一些约束条件而忽略了道路的信息，或是仅能检测出红外弱小目标，在车辆检测时不能取得较好的结果。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于道路辅助信息和显著性检测的红外图像车辆检测方法，根据上述道路的红外特性并结合了一种显著性检测方法。本方法首先使用高斯金字塔对源图像进行背景估计，用源图像与背景估计图像相减得到的高频信息中包含了目标及背景杂波；再对源图像进行OTSU阈值分割，得到的二值图像作为道路信息的估计；高频信息与道路信息的与运算可得到感兴趣区域；再对感兴趣区域的中心与周围区域进行显著性检测；最后对候选目标进行轨迹关联，可以很好的提取出车辆目标。

技术方案

一种基于道路辅助信息和显著性检测的红外图像车辆检测方法，其特征在于步骤如下：

步骤1：对源图像进行高斯滤波，去除图像中的噪声点，然后用高斯金字塔对图像进行下采样和上采样，得到一个平滑后的红外图像；

步骤2：用平滑后的红外图像与源图像相减，得到一个差分图像；

步骤3：对差分图像阈值化处理得到一幅二值图像E1；对源图像采用OTSU阈值分割，然后进行形态学平滑，得到平滑后的二值图像E2；所述阈值θ₁为20-40；

步骤4：将E1和E2作与运算，得到排除了道路外大量背景杂波的新二值图像E3；获取E3中的连通域，把每个连通域都当作一个感兴趣区域；

步骤5：对每一个感兴趣区域，计算其灰度均值，作为中心均值再选取感兴趣区域周围8个相同大小的邻域区域，计算每个邻域区域的灰度均值对8个灰度均值中最小的三个值，计算其均值，然后用中心均值除以该均值得到权值α；

步骤6：将感兴趣区域的中心均值乘以权值α，作为该感兴趣区域新的中心均值

步骤7：计算均值与周围8个邻域均值的显著性值D_j(j＝1,...,8)，将其中最大的三个显著性值的均值作为此感兴趣区域的显著性值；把显著性值大于阈值θ₂的感兴趣区域判定为候选目标，小于θ₂的判定为非目标；

所述显著性计算公式为：其中表示的是中心区域的新灰度均值，表示的是周围的第j个邻域区域的灰度均值(j＝1,2,...,8)；

所述显著性阈值θ₂为0.2-0.4；

步骤8：计算每个候选目标的面积S_j，j＝1,2,...,n；和每个候选目标的中心坐标P_j；n为候选目标总数；

步骤9：在每个候选目标为中心，取一个大小为M×M的关联域矩形框；

假设目前有k条轨迹(目标链)，将每条轨迹T_i(i＝1,2,...,k)的链尾坐标P_i和链尾面积S_i作为待搜索的项；若能在此矩形框中搜索到最近邻的P_i，且候选目标面积S_j与轨迹链尾面积Si之差小于则关联成功,将这个候选目标的中心坐标Pj加入轨迹Ti，并将P_j作为T_i的新的链尾坐标,将此候选目标的面积S_j作为T_i新的链尾面积；否则继续搜索；所述M取值为10-30；

步骤10：若存在没有关联成功的候选目标，则将这个候选目标当作一个新的轨迹T_k+1的链首，也即链尾，把这个候选目标的中心坐标P作为T_k+1的链尾坐标，将此候选目标的面积S作为T_k+1的链尾面积；

步骤11：对所有候选目标关联完成后，若有轨迹没有被任何一个候选目标关联，则此条轨迹丢失次数加1，预测轨迹在此帧中的链尾坐标(假设轨迹当前长度为m),预测公式为:

P_m+1＝2×P_m-P_m-1

其中P_m+1是预测的链尾坐标(轨迹的第m+1个坐标)，P_m,P_m-1分别表示这条轨迹的第m,m-1个坐标；

步骤12：对每个轨迹进行统计，当轨迹长度大于阈值θ₃时，判定其为车辆目标；若轨迹的丢失次数大于丢失阈值θ₄，将轨迹删除；所述轨迹长度阈值θ₃为2-5；所述丢失阈值θ₄为2-4；

步骤13：重复以上步骤，直到所有序列图像处理完毕。

所述步骤1中每一次下采样与上采样的过程中都采用了1/16*[1,4,6,4,1]高斯平滑算子对图像进行水平与垂直两个方向的滤波，采样的级数为3。

所述步骤4的形态学开闭运算采用了半径为3-5的矩形结构子。

有益效果

本发明提出的一种基于道路辅助信息和显著性检测的红外图像车辆检测方法，首先使用高斯金字塔对源图像进行背景估计，用源图像与背景估计图像相减得到的高频信息中包含了目标及背景杂波；再对源图像进行OTSU阈值分割，得到的二值图像作为道路信息的估计；高频信息与道路信息的与运算可得到感兴趣区域；再对感兴趣区域的中心与周围区域进行显著性检测；最后对候选目标进行轨迹关联，可以很好的提取出车辆目标。

本发明的有益效果是采用高斯金字塔重构的图像为源图像的背景估计，用源图像与背景估计图相减可得到图像的高频信息；再借助OTSU阈值分割法估计了道路的先验信息；二者的与运算去除了道路外的干扰信息，减少了后面步骤的计算量；然后计算感兴趣区域的显著性值，可以排除掉道路内的一些虚警目标；最后的轨迹关联利用了目标的持续性和虚警目标的随机性可以比较准确的提取目标和排除虚警目标；并且该发明有较高的准确度和很好的实时性。

附图说明

图1：本发明方法的流程示意图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

1)利用1/16*[1,4,6,4,1]的高斯模板对源图像进行水平与垂直两个方向的滤波，去除图像中的一些噪声点，然后对源图像进行下采样和上采样(采样级数为3)，得到源图像的背景估计图A；

2)用源图像与图A相减，得到一个差分图；

3)对差分图像阈值化处理，得到二值图像E1；所述阈值θ₁取20-40；

4)对源图像利用OTSU阈值分割法求得二值图，对二值图像采用半径为3-5的矩形结构子进行形态学闭、开运算，得到道路信息的估计图E2；

5)对E1和E2作与运算，得到新二值图像E3，获取E3中的连通域，将每个连通区域都当做一个感兴趣区域；

6)对每一个感兴趣区域R_i,i＝1,2,..,n(n为感兴趣区域的个数)，计算其灰度均值再取周围8个相同大小的邻域R_ij,j＝1,2,...,8，计算每个邻域内的灰度均值取中最小的三个求均值即

${\stackrel{\‾}{\mathrm{\μ}}}_{\mathrm{iJ}}=\underset{a\≠b\≠c}{\underset{a,b,c\∈\left[\mathrm{1,8}\right]}{\min }}({\stackrel{\‾}{\mathrm{\μ}}}_{\mathrm{ia}}+{\stackrel{\‾}{\mathrm{\μ}}}_{\mathrm{ib}}+{\stackrel{\‾}{\mathrm{\μ}}}_{\mathrm{ic}})/3$

计算权值 ${\mathrm{\α}}_i={\stackrel{\‾}{\mathrm{\μ}}}_i/{\stackrel{\‾}{\mathrm{\μ}}}_{\mathrm{iJ}};$

7)对每个感兴趣区域R_i(i＝1,2,..,n)的中心均值乘以权值α_i，得到的值作为该感兴趣区域新的中心均值即新中心均值

8)计算感兴趣区域新的中心均值和周围8邻域的均值的显著性：

取D_ij中最大的三个求均值D_iJ，即

$D_{\mathrm{iJ}}=\underset{a\≠b\≠c}{\underset{a,b,c\∈\left[\mathrm{1,8}\right]}{\max }}(D_{\mathrm{ia}}+D_{\mathrm{ib}}+D_{\mathrm{ic}})/3$

若D_iJ＞θ₂，则将感兴趣区域判定为候选目标，否则判定为非目标；其中θ₂为显著性阈值，取值为0.2-0.4；

9)计算每个候选目标的面积S_j(j＝1,2,...,n；n为候选目标总数)和中心坐标P_j；

10)对于每一个候选目标，其轨迹关联的过程为：以候选目标为中心，作一个大小为M×M的矩形框(关联域)；假设目前有k条轨迹(目标链)，将每条轨迹T_i(i＝1,2,...,k)的链尾坐标P_i和链尾面积S_i作为待搜索的项；若能在此矩形框中搜索到最近邻的P_i，且候选目标面积S_j与链尾面积S_i之差小于即：

$|S_i-S_j|<\frac{S_i}{3}$

则关联成功，将这个候选目标的中心坐标P_j加入轨迹T_i，并将P_j作为T_i的新链尾坐标,将此候选目标的面积S_j作为T_i的新链尾面积；否则继续搜索；所述M取值为10-30；

11)若存在没有关联成功的候选目标，则将这个候选目标当作一个新的轨迹T_k+1的链首，也是链尾，同样将这个候选目标的中心坐标P作为T_k+1的链尾坐标，将此候选目标的面积S作为T_k+1的链尾面积；

12)对所有候选目标关联完成后，若有轨迹没有被任何一个候选目标关联，则此条轨迹丢失次数加1，预测轨迹在此帧中的链尾坐标(假设轨迹当前长度为m),预测公式为:

P_m+1＝2×P_m-P_m-1

其中P_m+1是预测的链尾坐标(轨迹的第m+1个坐标)，P_m,P_m-1分别表示这条轨迹的第m,m-1个坐标；

13)对每个轨迹进行统计，当轨迹长度大于长度阈值θ₃时，判定其为车辆目标；若轨迹的丢失次数大于丢失阈值θ₄，将轨迹删除；所述轨迹长度阈值θ₃为2-5；所述丢失阈值θ₄为2-4；

14)重复以上步骤，直到所有序列图像处理完毕。

本方法。高斯金字塔重建的图像可以作为源图像的背景估计，源图像与背景估计图相减后的差分图像为图像的高频信息，包含了目标与背景杂波；OTSU阈值后的二值图像是道路信息的估计，两者与运算后能去掉大量道路外的干扰信息；再对感兴趣区域的中心与周围区域进行显著性检测，结合轨迹关联，可以准确的提取目标、去除虚警目标。经过真实红外图像序列的实验表明，该发明能有效的提取出车辆目标，并且具有非常好的实时性。

Claims (3)

1.一种基于道路辅助信息和显著性检测的红外图像车辆检测方法，其特征在于步骤

如下：

步骤1：对源图像进行高斯滤波，去除图像中的噪声点，然后用高斯金字塔对图像进行下采样和上采样，得到一个平滑后的红外图像；

步骤2：用平滑后的红外图像与源图像相减，得到一个差分图像；

步骤3：对差分图像阈值化处理得到一幅二值图像E1；对源图像采用OTSU阈值分割，然后进行形态学平滑，得到平滑后的二值图像E2；所述阈值θ₁为20-40；

步骤4：将E1和E2作与运算，得到排除了道路外大量背景杂波的新二值图像E3；获取E3中的连通域，把每个连通域都当作一个感兴趣区域；

步骤5：对每一个感兴趣区域，计算其灰度均值，作为中心均值再选取感兴趣区域周围8个相同大小的邻域区域，计算每个邻域区域的灰度均值对8个灰度均值中最小的三个值，计算其均值，然后用中心均值除以该均值得到权值α；

步骤6：将感兴趣区域的中心均值乘以权值α，作为该感兴趣区域新的中心均值

步骤7：计算均值与周围8个邻域均值的显著性值D_j(j＝1,...,8)，将其中最大的三个显著性值的均值作为此感兴趣区域的显著性值；把显著性值大于阈值θ₂的感兴趣区域判定为候选目标，小于θ₂的判定为非目标；

所述显著性计算公式为：其中表示的是中心区域的新灰度均值，表示的是周围的第j个邻域区域的灰度均值(j＝1,2,...,8)；

所述显著性阈值θ₂为0.2-0.4；

步骤8：计算每个候选目标的面积S_j，j＝1,2,...,n；和每个候选目标的中心坐标P_j；n为候选目标总数；

步骤9：在每个候选目标为中心，取一个大小为M×M的关联域矩形框；

假设目前有k条轨迹(目标链)，将每条轨迹T_i(i＝1,2,...,k)的链尾坐标P_i和链尾面积S_i作为待搜索的项；若能在此矩形框中搜索到最近邻的P_i，且候选目标面积S_j与轨迹链尾面积Si之差小于则关联成功,将这个候选目标的中心坐标Pj加入轨迹Ti，并将P_j作为T_i的新的链尾坐标,将此候选目标的面积S_j作为T_i新的链尾面积；否则继续搜索；所述M取值为10-30；

步骤10：若存在没有关联成功的候选目标，则将这个候选目标当作一个新的轨迹T_k+1的链首，也即链尾，把这个候选目标的中心坐标P作为T_k+1的链尾坐标，将此候选目标的面积S作为T_k+1的链尾面积；

步骤11：对所有候选目标关联完成后，若有轨迹没有被任何一个候选目标关联，则此条轨迹丢失次数加1，预测轨迹在此帧中的链尾坐标(假设轨迹当前长度为m),预测公式为:

P_m+1＝2×P_m-P_m-1

其中P_m+1是预测的链尾坐标(轨迹的第m+1个坐标)，P_m,P_m-1分别表示这条轨迹的第m,m-1个坐标；

步骤12：对每个轨迹进行统计，当轨迹长度大于阈值θ₃时，判定其为车辆目标；若轨迹的丢失次数大于丢失阈值θ₄，将轨迹删除；所述轨迹长度阈值θ₃为2-5；所述丢失阈值θ₄为2-4；

步骤13：重复以上步骤，直到所有序列图像处理完毕。

2.根据权利要求1所述基于道路辅助信息和显著性检测的红外图像车辆检测方法，其特征在于：所述步骤1中每一次下采样与上采样的过程中都采用了1/16*[1,4,6,4,1]高斯平滑算子对图像进行水平与垂直两个方向的滤波，采样的级数为3。

3.根据权利要求1所述基于道路辅助信息和显著性检测的红外图像车辆检测方法，其特征在于：所述步骤4的形态学开闭运算采用了半径为3-5的矩形结构子。