CN109961637A - 基于多子图融合与显著性分析的车辆检测装置及系统 - Google Patents

Abstract

基于多子图融合与显著性分析的车辆检测装置及系统，属于车辆识别检测领域，技术要点是：多个子图象显著性分析模块：对多个子图象进行显著性分析形成显著性分析图；加权融合模块：对多个子图象的显著性分析图加权融合，以确定出含有目标车辆的候选区域；校正模块：对所述候选区域进行边界校正并进行精确判断。

Description

基于多子图融合与显著性分析的车辆检测装置及系统

技术领域

本发明属于车辆识别检测领域，涉及一种基于多子图融合与显著性分析的车辆检测装置及系统。

背景技术

作为FCW(前方碰撞预警，Front Collision Warning)中重要的一环，基于视觉传感器的移动车辆检测成为众多同行研究的焦点之一。目前的基于视觉传感器的移动车辆检测方法，在处理大逆光情况时往往难以将目标车辆检出，因为此时不论是车底阴影还是车尾灯等信息都与周围环境存在较低的对比度，传统预处理的手段往往不再适用；而对于滑动窗口的检测手段，则需要大量训练代价并伴有高虚警的风险。因此，大逆光情况往往是各种新兴车辆检测方法挑战的场景之一。

发明内容

为了解决上述问题，本发明提出如下技术方案：基于多子图融合与显著性分析的车辆检测装置，存储有多条指令，所述指令适于处理器加载并执行：

对多个子图象进行显著性分析形成显著性分析图；

对多个子图象的显著性分析图加权融合，以确定出含有目标车辆的候选区域；

对所述候选区域进行边界校正并进行精确判断。

有益效果：本发明提出一种基于多个子图像信息融合的车辆检测方法，利用大逆光情况下，虽然目标车辆在整体图像中的对比度很弱，但是总会存在一定的邻域区间，使得在该邻域区间内，目标车辆的对比度相对较强，从而在该子区域内将车辆目标与背景分离开来；然后将多个子图信息融合起来，进行后续的边界修正与精确目标检测。

附图说明

图1车辆检测总体流程图；

图2利用多子图融合检测图像中车辆目标的流程。

具体实施方式

如图(1)所示，本发明使用经过采样的图像Y通道信息进行车辆目标的检测。首先经过基于图像分层的显著性分析来进行预处理，得到筛选后的含有目标车辆的候选区域；然后，对含有目标车辆的候选目标区域进行边界修正；之后，将修正后的含有目标车辆的候选区域送给分类器进行精确判断；之后，根据多帧联合机制与图像去重合机制处理后得到最终的目标车辆区域。

(一)基于多子图融合的显著性预处理

首先，本发明根据目标物体在原始图像中可能出现的位置与尺寸，将原始图像划分为若干子区域，这些子区域中可能存在目标物体与周围环境相对强烈的对比。这些子区域可以存在重叠区域，重叠区域需要进行进一步的权重归一化；

然后，对分别计算各个子图像中每个像素值到其他像素值的距离之和(这里使用欧式距离，但不限于欧式距离)，作为衡量该点像素对比度的一种度量。

在计算各个子图像中每个像素与其他像素之间的距离之和后，记录各个子图像中这些距离之和的最大值与最小值。因为可能存在子图像中的各个像素的对比度比较低，其最大值与最小值相同，这类子区域在候选的显著性特征值计算中没有作用，所以对这类子图像之间跳过；

下一步，利用前面的各个像素点的距离之和(这里使用欧式距离，但不限于欧式距离)取一定的指数运算，作为该点的显著性特征值。这里所取的指数值与需检测的目标物体在图像中的对比度强烈程度有关，故此需要具体问题具体设定。

然后，将原始图像与特征图像分别映射到0-255的范围内。

进一步，将用显著性分析图减去拉伸图像，得到各个子图像的突出的目标图像。

根据各个子图像中得到的显著性分析图中显著性特征值的归一化系数，来做为各个子图像的显著性特征值映射回整体图像中时的加权参数，这样得到的整体图像中的各个可能包含目标物体的区域被分别加权，得到的结果再映射到0-255之间，再减去原始图像的拉伸图像，这样既保证在整体对比度弱的目标被保留下来，又将绝大部分不相干的背景信息去除。

对上面目标图像进行二值化即可获得突出了的显著性对象的二值图像。

(二)对含有目标车辆的候选目标区域进行边界修正

根据前面的处理结果，可以将二值化的图中中长度满足要求的候选线作为目标车辆的底边候选线，然后以底边候选线的长作为边长画正方形候选区域，对各个矩形候选区域进行边界检查，不符合的矩形候选区域需要要去除。

然后，对底边进行上浮与左右扩充操作，与原底边形成一个感兴趣区域对上面新的感兴趣区域进行尺度判断。

如果尺度小于等于最小宽度(预先设定在抽样图像中可以分辨车辆的最小宽度)，则需要将感兴趣区域映射返回到原图像中，在原图像的感兴趣区域中求取竖直方向的sobel梯度；否则直接在抽样图像中求取感兴趣区域的竖直sobel梯度；

下一步，将sobel梯度图投影到水平方向得到GGY图；

然后，根据竖直梯度计算车两侧，此处调节默认车的两侧即左右边界在候选区域的左右二分之一区域内，否则该方法无效。

所以该方法是基于前面的底边界定的具有一定程度的准确性的前提下进行的。

根据竖直梯度计算车的左右边界时，首先将前面计算得到的竖直梯度求取绝对值，然后求得的绝对值投影到水平方向；

之后，在水平方向的左右各1/2区域内求取邻域内的最大值并返回最大值的坐标，将最大值的坐标定为左右边界的候选之一；

由于，求得的最大值未必就是车的左右边界，因而在前面求得的最大值的某个极小的邻域内将前面的梯度绝对值在水平方向的投影置零；

然后，再在水平方向的左右各1/2区域内求取邻域内的最大值并返回最大值的坐标，将最大值的坐标定为左右边界的候选之一；

这样左右边界各有两个候选坐标，下面需要从中选出置信度相对高的候选坐标；

(一)对左右边界的候选坐标进行过滤

在前面确定了车辆左右边界的候选坐标后，根据底边的长度是否满足大于阈值，决定是否回到原图进行下面操作；

取宽度的1/5作为临时高度，取宽度的1/3作为临时高度，在左侧候选坐标A的左侧取这样一个临时区域LA1，在左侧候选坐标A的右侧取这样一个临时区域，将两个区域做差LA1-LA2然后求和，将最后的和Sum_LA作为左侧候选坐标A的可信度分数；

同理，取宽度的1/5作为临时高度，取宽度的1/3作为临时高度，在左侧候选坐标B的左侧取这样一个临时区域LB1，在左侧候选坐标B的右侧取这样一个临时区域，将两个区域做差LB1-LB2然后求和，将最后的和Sum_LB作为左侧候选坐标A的可信度分数；取Sum_LA与Sum_LB中最大值对应的候选坐标作为左侧坐标；

类似的，取宽度的1/5作为临时高度，取宽度的1/3作为临时高度，在右侧侧候选坐标A的左侧取这样一个临时区域RA1，在右侧候选坐标A的右侧取这样一个临时区域，将两个区域做差RA1-RA2然后求和，将最后的和Sum_RA作为右侧候选坐标A的可信度分数；

同理，取宽度的1/5作为临时高度，取宽度的1/3作为临时高度，在右侧候选坐标B的左侧取这样一个临时区域LB1，在右侧候选坐标B的右侧取这样一个临时区域，

将两个区域做差LB1-LB2然后求和，将最后的和Sum_LB作为右侧候选坐标A的可信度分数；取Sum_RA与Sum_RB中最大值对应的候选坐标作为右侧坐标；

(三)将修正后的目标候选区域进行精确判断

将(二)中确定的修正后的目标区域送给分类器进行判断(此处分类器可以是Adaboost、SVM、CNN等，但不局限于此)，将判断为“是车辆”的目标区域送给去重合模块；

(四)多帧联合与去重合

根据当前帧前面的多帧图像在一定邻域范围内一直有检测目标车辆的结果，当前帧在该邻域内也产生一定的候选窗口，同样送给上面的分类器进行判断。将判断为“是车辆”的目标区域送给去重合模块。

去重合模块在汇总了所有的目标区域后，对其进行是否重合的判定，然后对有重合区域的目标区域进行置信度判定，将置信度高的目标区域留下，置信度低的目标窗口去除。

最后，输出目标窗口区域坐标，完成车辆检测。

1、本发明利用多子图融合与显著性分析结合的方法，在一定程度上解决了弱对比度情况下车辆目标难以被检测出来的问题(例如大逆光情况)，同时该方法在正常光照情况下也有良好的检测效果，具备很强的适应性。

2、本发明利用分别对多个子图进行显著性分析，然后对分析结果进行加权融合的方法，确定出含有目标车辆的候选区域，然后对这些候选区域进行边界校正并进行精确判断，进而检测出车辆目标。该车辆检测方法时间复杂度低，实时性高，可以适应多种不同场景，比如雨天和夜间等。

3、本发明当前帧检测出来的目标车辆区域与之前多帧联合检测出来的候选目标区域都进行分类器判别，并利用窗口去重合机制去除有重叠区域的目标区域，提高了车辆的检出率，同时在一定程度上抑制了虚警。

本发明用分别对多个子图进行显著性分析，然后对分析结果进行加权融合，从而确定出含有目标车辆的候选区域，然后对这些候选区域进行边界校正并进行精确判断，进而检测出车辆目标的方法。本发明将多个子图像加权叠加形成的显著性特征图与原始图像分别映射到0-255之间，然后做差进行二值化，得到各个子图分别突出的车辆目标候选区域的并集的方法。

实施例2：一种基于多子图融合与显著性分析的车辆检测装置，存储有多条指令，所述指令适于处理器加载并执行：对多个子图象进行显著性分析形成显著性分析图；对多个子图象的显著性分析图加权融合，以确定出含有目标车辆的候选区域；对所述候选区域进行边界校正并进行精确判断。

一种基于多子图融合与显著性分析的车辆检测系统，其特征在于，包括：

多个子图象显著性分析模块：对多个子图象进行显著性分析形成显著性分析图；

加权融合模块：对多个子图象的显著性分析图加权融合，以确定出含有目标车辆的候选区域；

校正模块：对所述候选区域进行边界校正并进行精确判断。

将多个子图像加权叠加形成的显著性特征图与原始图像分别映射到0-255之间，做差进行二值化处理，得到各个子图分别突出的车辆目标候选区域的并集。

其具体方法为：

根据目标物体在原始图像中可能出现的位置与尺寸，将原始图像划分为若干子区域，子区域存在重叠区域，对重叠区域权重归一化；

对分别计算各个子图像中每个像素值到其他像素值的距离之和作为衡量该点像素对比度的度量；

在计算各个子图像中每个像素与其他像素之间的距离之和后，记录各个子图像中这些距离之和的最大值与最小值；

使用各个像素点的距离之和指数运算，作为该点的显著性特征值；

将原始图像与特征图像分别映射到0-255的范围内；

用显著性分析图减去拉伸图像，得到各个子图像的突出的目标图像；

根据各个子图像中得到的显著性分析图中显著性特征值的归一化系数，作为各个子图像的显著性特征值映射回整体图像中时的加权参数；

对上面的目标图像进行二值化，获得突出的显著性对象的二值图像。

对含有目标车辆的候选目标区域进行边界修正的方法如下：

根据前面的处理结果，将二值化的图中中长度满足要求的候选线作为目标车辆的底边候选线，然后以底边候选线的长作为边长画正方形候选区域，对各个矩形候选区域进行边界检查，不符合的矩形候选区域去除；

对底边进行上浮与左右扩充操作，与原底边形成一个感兴趣区域，对上面新的感兴趣区域进行尺度判断；

如果尺度小于等于最小宽度，则需要将感兴趣区域映射返回到原图像中，在原图像的感兴趣区域中求取竖直方向的sobel梯度；否则直接在抽样图像中求取感兴趣区域的竖直sobel梯度；

将sobel梯度图投影到水平方向得到GGY图；

根据竖直梯度计算车的左右边界。

根据竖直梯度计算车的左右边界的方法如下：首先将前面计算得到的竖直梯度求取绝对值，然后求得的绝对值投影到水平方向；之后在水平方向的左右各1/2区域内求取邻域内的最大值并返回最大值的坐标，将最大值的坐标定为左右边界的候选之一；然后，再在水平方向的左右各1/2区域内求取邻域内的最大值并返回最大值的坐标，将最大值的坐标定为左右边界的候选之一。

Claims (2)

1.一种基于多子图融合与显著性分析的车辆检测装置，其特征在于，存储有多条指令，所述指令适于处理器加载并执行：

对多个子图象进行显著性分析形成显著性分析图；

对多个子图象的显著性分析图加权融合，以确定出含有目标车辆的候选区域；

对所述候选区域进行边界校正并进行精确判断。

2.一种基于多子图融合与显著性分析的车辆检测系统，其特征在于，包括：

多个子图象显著性分析模块：对多个子图象进行显著性分析形成显著性分析图；

加权融合模块：对多个子图象的显著性分析图加权融合，以确定出含有目标车辆的候选区域；校正模块：对所述候选区域进行边界校正并进行精确判断。