CN108629225A - 一种基于多幅子图与图像显著性分析的车辆检测方法 - Google Patents
一种基于多幅子图与图像显著性分析的车辆检测方法 Download PDFInfo
- Publication number
- CN108629225A CN108629225A CN201710153524.8A CN201710153524A CN108629225A CN 108629225 A CN108629225 A CN 108629225A CN 201710153524 A CN201710153524 A CN 201710153524A CN 108629225 A CN108629225 A CN 108629225A
- Authority
- CN
- China
- Prior art keywords
- candidate
- subregion
- coordinate
- image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims 2
- 238000013507 mapping Methods 0.000 claims 1
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 239000000571 coke Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G06T3/18—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Abstract
本发明提出了一种基于多幅子图与图像显著性分析的车辆检测方法，包括如下步骤：S1，基于多幅子图融合的显著性预处理；S2，对含有目标车辆的候选目标区域进行边界修正；S3，将修正后的目标候选区域进行精确判断；S4，多帧联合与去重合；S5，输出目标窗口区域坐标，完成车辆检测。本发明时间复杂度低，实时性高，可以适应多种不同的诸如雨天或者夜间等场景。
Description
技术领域
本发明涉及车辆检测领域，具体涉及一种基于多幅子图与图像显著性分析的车辆检测方法。
背景技术
前方碰撞预警系统(Forward Collision Warning)，FCW能够通过雷达系统来时刻监测前方车辆，判断本车于前车之间的距离、方位及相对速度，当存在潜在碰撞危险时对驾驶者进行警告。FCW系统本身不会采取任何制动措施去避免碰撞或控制车辆。
做为FCW中重要的一环，基于视觉传感器的移动车辆检测成为众多同行研究的焦点之一。目前的基于视觉传感器的移动车辆检测方法，在处理大逆光情况时往往难以将目标车辆检出，因为此时不论是车底阴影还是车尾灯等信息都与周围环境存在较低的对比度，传统预处理的手段往往不再适用；而对于滑动窗口的检测手段，则需要大量训练代价并伴有高虚警的风险。因此，大逆光情况往往是各种新兴车辆检测方法挑战的场景之一。
发明内容
为了解决上述问题，本发明提供了一种基于多幅子图与图像显著性分析的车辆检测方法。本发明提供的一种基于多幅子图与图像显著性分析的车辆检测方法，时间复杂度低，实时性高，可以适应多种不同的诸如雨天或者夜间等场景。
本发明采用的技术方案如下：
一种基于多幅子图与图像显著性分析的车辆检测方法，包括如下步骤：
S1，基于多幅子图融合的显著性预处理；
S2，对含有目标车辆的候选目标区域进行边界修正；
S3，将修正后的目标候选区域进行精确判断；
S4，多帧联合与去重合；
S5，输出目标窗口区域坐标，完成车辆检测。
上述的一种基于多幅子图与图像显著性分析的车辆检测方法，其中，所述步骤S1包括如下步骤：
S11，将原始图像划分为若干子图；
S12，针对每幅子图，获取与该子图对应的子区域显著性图像，并将其映射到0-255范围内得到子区域显著性分析图像；遍历子区域显著性分析图的每个像素点，获取在子区域显著性分析图中的每个像素点的子区域显著性分析图像像素值；
S13，将子图映射到0-255的范围内得到子区域拉伸图像；
S14，获取每个像素点的子区域目标图像像素值，所述子区域目标图像像素值＝子区域显著性分析图像像素值-子区域拉伸图像像素值；
S15，根据各个像素点的子区域目标图像像素值得到子区域目标图像，将子区域目标图像进行二值化处理，得到突出了显著性物体的子区域二值图像。
上述的一种基于多幅子图与图像显著性分析的车辆检测方法，其中，所述子图根据目标车辆在原始图像中可能出现的位置与尺寸进行划分，各个子图中至少存在一个子图使得在该子图内包括目标车辆与周围环境形成相对强烈的对比度。
上述的一种基于多幅子图与图像显著性分析的车辆检测方法，其中，所述步骤S12包括如下步骤：
S121，针对每个子区域原始图像，遍历该子区域原始图像，获取该子区域原始图像各个像素的频率，获取像素值的最大值与最小值；
S122，计算每个子区域原始图像中每个像素点到其他像素点的频率的距离之和，做为衡量该点像素对比度的一种度量；
S123，在每个子区域原始图像中利用步骤S22中各个像素点的频率的距离之和做指数运算，做为该像素点的显著性特征值；
S124，根据子区域原始图像各个像素点的显著性特征值获取与子区域原始图像对应的子区域显著性图像；
S125，遍历子区域显著性图像，获取子区域显著性特征值的最大值和最小值；
S126，计算距离之和的变化幅度，即使用子区域显著性特征值的最大值减去子区域显著性特征值的最小值，将子区域原始图像映射到0-255的范围内；
S127，将子区域显著性图像映射到0-255的范围内得到子区域显著性分析图像。
上述的一种基于多幅子图与图像显著性分析的车辆检测方法，其中，所述步骤S122中的距离包括欧式距离。
上述的一种基于多幅子图与图像显著性分析的车辆检测方法，其中，所述步骤S125还包括：当子区域显著性特征值的最大值和最小值相等时，舍弃对该子区域显著性图像的后续步骤。
上述的一种基于多幅子图与图像显著性分析的车辆检测方法，其中，所述步骤S127还包括：将每个子区域显著性分析图中显著性特征值的归一化系数，做为该子区域原始图像的显著性特征值映射回原始图像中时的加权参数，所述原始图像中的各个包含目标车辆的子区域显著性图像被分别加权，然后再映射到0-255的范围内得到子区域显著性分析图像。
上述的一种基于多幅子图与图像显著性分析的车辆检测方法，其中，所述步骤S2包括如下步骤：
S21，将步骤S15得到的子区域二值图像中长度满足要求的候选线做为目标车辆的底边候选线，以所述底边候选线的长做为边长画正方形候选区域，对各个矩形候选区域进行边界检查，去除不符合的矩形候选区域；
S22，对所述正方形候选区域的底边进行上浮与左右扩充操作后，与原所述正方形候选区域的底边形成一个感兴趣区域；
S23，对所述感兴趣区域进行尺度判断：如果尺度小于等于最小宽度，则将感兴趣区域映射返回到原始图像中，在原始图像的感兴趣区域中求取竖直方向的sobel梯度；所述最小宽度为预先设定在抽样图像中可以分辨车辆的最小宽度；否则直接在抽样图像中求取感兴趣区域的竖直sobel梯度；
S24，将sobel梯度图投影到水平方向得到梯度直方图；
S25，根据竖直sobel梯度计算目标车辆的左边界坐标与右边界坐标。此处调节默认车的两侧即左右边界在候选区域的左右二分之一区域内，否则该方法无效。所以该方法是基于前面的底边界定的具有一定程度的准确性的前提下进行的。
上述的一种基于多幅子图与图像显著性分析的车辆检测方法，其中，所述步骤S25包括如下步骤：
S251，将步骤S23得到的竖直sobel梯度求取绝对值，将所述绝对值投影到水平方向；
S252，在水平方向的左右各1/2区域内求取邻域内的第一最大值并返回第一最大值的坐标，将最大值的坐标定为左右边界的候选之一；
S253，由于，求得的最大值未必就是车的左右边界，在步骤S252获取的最大值的某个极小的邻域内，将所述竖直sobel梯度的绝对值在水平方向的投影置零；再次在水平方向的左右各1/2区域内求取邻域内的第二最大值并返回第二最大值的坐标，将第二最大值的坐标定为左右边界的候选之一；
S254，左右边界各有两个候选坐标，从第一最大值与第二最大值中选出置信度相对高的候选坐标：
S255，对左右边界的候选坐标进行过滤，获取左边界坐标与右边界坐标。
上述的一种基于多幅子图与图像显著性分析的车辆检测方法，其中，所述步骤S255包括如下步骤：
在前面确定了目标车辆的左边界候选坐标与右边界候选坐标后，根据底边的长度是否满足大于阈值，决定是否回到原图进行下面操作；
S2551，取宽度的1/5做为临时高度，取宽度的1/3做为临时高度，在左边界候选坐标A的左侧取临时区域LA1，在左边界候选坐标A的右侧取临时区域LA2，将两个区域做差LA1-LA2，然后求和，将最后的和Sum_LA做为左边界候选坐标A的可信度分数；
同时，取宽度的1/5做为临时高度，取宽度的1/3做为临时高度，在左边界候选坐标B的左侧取临时区域LB1，在左边界候选坐标B的右侧取临时区域LB2，将两个区域做差LB1-LB2，然后求和，将最后的和Sum_LB做为左边界候选坐标B的可信度分数；取Sum_LA与Sum_LB中最大值对应的候选坐标做为左边界坐标；
S2552，取宽度的1/5做为临时高度，取宽度的1/3做为临时高度，在右边界候选坐标C的左侧取临时区域RC1，在右边界候选坐标C的右侧取临时区域RC2，将两个区域做差RC1-RC2，然后求和，将最后的和Sum_RC做为右边界候选坐标C的可信度分数；
同时，取宽度的1/5做为临时高度，取宽度的1/3做为临时高度，在右边界候选坐标D的左侧取临时区域RD1，在右边界候选坐标D的右侧取临时区域RD2，将两个区域做差LD1-LD2，然后求和，将最后的和Sum_LD做为右边界候选坐标D的可信度分数；取Sum_RC与Sum_RD中最大值对应的候选坐标做为右边界坐标。
上述的一种基于多幅子图与图像显著性分析的车辆检测方法，其中，所述步骤S3包括将步骤S255获取的左边界坐标与右边界坐标构成的目标候选区域送给分类器进行判断，将判断结果为“是车辆”的目标区域输出至步骤S4。优选的，所述分类器包括Adaboost、SVM、CNN、其他分类器。
上述的一种基于多幅子图与图像显著性分析的车辆检测方法，其中，所述步骤S4包括如下步骤：
S41，根据当前帧前面的多帧图像在一定邻域范围内一直有检测目标车辆的结果，当前帧在该邻域内也产生一定的候选窗口，将所述候选窗口送给所述分类器进行判断，将判断结果为“是车辆”的目标区域送给去重合模块；
S42，去重合模块在汇总所有的目标区域，对其进行是否重合的判定，然后对有重合区域的目标区域进行置信度判定，将置信度高的目标区域留下，置信度低的目标窗口去除。
本发明提出一种基于多幅子图与图像显著性分析的车辆检测方法及装置，利用大逆光情况下，虽然目标车辆在整体图像中的对比度很弱，但是总会存在一定的邻域区间，使得在该邻域区间内，目标车辆的对比度相对较强，从而在该子区域内将车辆目标与背景分离开来；然后将多个子图信息融合起来，进行后续的边界修正与精确目标检测。
本发明利用多幅子图融合与显著性分析结合的方法，解决了诸如大逆光等情况的弱对比度情况下车辆目标难以被检测出来的问题，同时本发明方法在正常光照情况下也有良好的检测效果，具备很强的适应性。
本发明利用分别对多幅子图进行显著性分析，然后对分析结果进行加权融合的方法，确定出含有目标车辆的候选区域，然后对这些候选区域进行边界校正并进行精确判断，进而检测出车辆目标。本发明方法时间复杂度低，实时性高，可以适应多种不同场景，比如雨天和夜间等。
本发明对当前帧检测出来的目标车辆区域与之前多帧联合检测出来的候选目标区域都进行分类器判别，并利用窗口去重合机制去除有重叠区域的目标区域，提高了车辆的检出率，同时在一定程度上抑制了虚警。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种基于多幅子图与图像显著性分析的车辆检测方法的车辆检测流程图；
图2是本发明一种基于多幅子图与图像显著性分析的车辆检测方法的检测图像中目标车辆的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1所示，本发明使用经过采样的图像Y通道信息进行车辆目标的检测。首先经过基于图像分层的显著性分析来进行预处理，得到筛选后的含有目标车辆的候选区域；然后，对含有目标车辆的候选目标区域进行边界修正；之后，将修正后的含有目标车辆的候选区域送给分类器进行精确判断；之后，根据多帧联合机制与图像去重合机制处理后得到最终的目标车辆区域。
一种基于多幅子图与图像显著性分析的车辆检测方法，包括如下步骤：
S1，基于多幅子图融合的显著性预处理；
S2，对含有目标车辆的候选目标区域进行边界修正；
S3，将修正后的目标候选区域进行精确判断；
S4，多帧联合与去重合；
S5，输出目标窗口区域坐标，完成车辆检测。
如图2所示，上述步骤S1包括如下步骤：
S11，将原始图像划分为若干子图；所述子图根据目标车辆在原始图像中可能出现的位置与尺寸进行划分，各个子图中至少存在一个子图使得在该子图内包括目标车辆与周围环境形成相对强烈的对比度。
S12，针对每幅子图，获取与该子图对应的子区域显著性图像，并将其映射到0-255范围内得到子区域显著性分析图像；遍历子区域显著性分析图的每个像素点，获取在子区域显著性分析图中的每个像素点的子区域显著性分析图像像素值；具体包括如下步骤：
S121，针对每个子区域原始图像，遍历该子区域原始图像，获取该子区域原始图像各个像素的频率，获取像素值的最大值与最小值；
S122，计算每个子区域原始图像中每个像素点到其他像素点的频率的距离之和，做为衡量该点像素对比度的一种度量；所述距离优选欧式距离。
S123，在每个子区域原始图像中利用步骤S22中各个像素点的频率的距离之和做指数运算，做为该像素点的显著性特征值；
S124，根据子区域原始图像各个像素点的显著性特征值获取与子区域原始图像对应的子区域显著性图像；
S125，遍历子区域显著性图像，获取子区域显著性特征值的最大值和最小值；当子区域显著性特征值的最大值和最小值相等时，舍弃对该子区域显著性图像的后续步骤。
S126，计算距离之和的变化幅度，即使用子区域显著性特征值的最大值减去子区域显著性特征值的最小值，将子区域原始图像映射到0-255的范围内；
S127，将子区域显著性图像映射到0-255的范围内得到子区域显著性分析图像。将每个子区域显著性分析图中显著性特征值的归一化系数，做为该子区域原始图像的显著性特征值映射回原始图像中时的加权参数，所述原始图像中的各个包含目标车辆的子区域显著性图像被分别加权，然后再映射到0-255的范围内得到子区域显著性分析图像。
S13，将子图映射到0-255的范围内得到子区域拉伸图像；
S14，获取每个像素点的子区域目标图像像素值，所述子区域目标图像像素值＝子区域显著性分析图像像素值-子区域拉伸图像像素值；
S15，根据各个像素点的子区域目标图像像素值得到子区域目标图像，将子区域目标图像进行二值化处理，得到突出了显著性物体的子区域二值图像。
上述步骤S2包括如下步骤：
S21，将步骤S15得到的子区域二值图像中长度满足要求的候选线做为目标车辆的底边候选线，以所述底边候选线的长做为边长画正方形候选区域，对各个矩形候选区域进行边界检查，去除不符合的矩形候选区域；
S22，对所述正方形候选区域的底边进行上浮与左右扩充操作后，与原所述正方形候选区域的底边形成一个感兴趣区域；
S23，对所述感兴趣区域进行尺度判断：如果尺度小于等于最小宽度，则将感兴趣区域映射返回到原始图像中，在原始图像的感兴趣区域中求取竖直方向的sobel梯度；所述最小宽度为预先设定在抽样图像中可以分辨车辆的最小宽度；否则直接在抽样图像中求取感兴趣区域的竖直sobel梯度；
S24，将sobel梯度图投影到水平方向得到梯度直方图；
S25，根据竖直sobel梯度计算目标车辆的左边界坐标与右边界坐标。此处调节默认车的两侧即左右边界在候选区域的左右二分之一区域内，否则该方法无效。所以该方法是基于前面的底边界定的具有一定程度的准确性的前提下进行的。具体包括如下步骤：
S251，将步骤S23得到的竖直sobel梯度求取绝对值，将所述绝对值投影到水平方向；
S252，在水平方向的左右各1/2区域内求取邻域内的第一最大值并返回第一最大值的坐标，将最大值的坐标定为左右边界的候选之一；
S253，由于，求得的最大值未必就是车的左右边界，在步骤S252获取的最大值的某个极小的邻域内，将所述竖直sobel梯度的绝对值在水平方向的投影置零；再次在水平方向的左右各1/2区域内求取邻域内的第二最大值并返回第二最大值的坐标，将第二最大值的坐标定为左右边界的候选之一；
S254，左右边界各有两个候选坐标，从第一最大值与第二最大值中选出置信度相对高的候选坐标：
S255，对左右边界的候选坐标进行过滤，获取左边界坐标与右边界坐标。在前面确定了目标车辆的左边界候选坐标与右边界候选坐标后，根据底边的长度是否满足大于阈值，决定是否回到原图进行下面操作；
S2551，取宽度的1/5做为临时高度，取宽度的1/3做为临时高度，在左边界候选坐标A的左侧取临时区域LA1，在左边界候选坐标A的右侧取临时区域LA2，将两个区域做差LA1-LA2，然后求和，将最后的和Sum_LA做为左边界候选坐标A的可信度分数；
同时，取宽度的1/5做为临时高度，取宽度的1/3做为临时高度，在左边界候选坐标B的左侧取临时区域LB1，在左边界候选坐标B的右侧取临时区域LB2，将两个区域做差LB1-LB2，然后求和，将最后的和Sum_LB做为左边界候选坐标B的可信度分数；取Sum_LA与Sum_LB中最大值对应的候选坐标做为左边界坐标；
S2552，取宽度的1/5做为临时高度，取宽度的1/3做为临时高度，在右边界候选坐标C的左侧取临时区域RC1，在右边界候选坐标C的右侧取临时区域RC2，将两个区域做差RC1-RC2，然后求和，将最后的和Sum_RC做为右边界候选坐标C的可信度分数；
同时，取宽度的1/5做为临时高度，取宽度的1/3做为临时高度，在右边界候选坐标D的左侧取临时区域RD1，在右边界候选坐标D的右侧取临时区域RD2，将两个区域做差LD1-LD2，然后求和，将最后的和Sum_LD做为右边界候选坐标D的可信度分数；取Sum_RC与Sum_RD中最大值对应的候选坐标做为右边界坐标。
上述的一种基于多幅子图与图像显著性分析的车辆检测方法，其中，所述步骤S255包括如下步骤：
上述步骤S3包括将步骤S255获取的左边界坐标与右边界坐标构成的目标候选区域送给分类器进行判断，将判断结果为“是车辆”的目标区域输出至步骤S4。优选的，所述分类器包括Adaboost、SVM、CNN、其他分类器。
上述步骤S4包括如下步骤：
S41，根据当前帧前面的多帧图像在一定邻域范围内一直有检测目标车辆的结果，当前帧在该邻域内也产生一定的候选窗口，将所述候选窗口送给所述分类器进行判断，将判断结果为“是车辆”的目标区域送给去重合模块；
S42，去重合模块在汇总所有的目标区域，对其进行是否重合的判定，然后对有重合区域的目标区域进行置信度判定，将置信度高的目标区域留下，置信度低的目标窗口去除。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
当然，对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种基于多幅子图与图像显著性分析的车辆检测方法，其特征在于，包括如下步骤：
S1，基于多幅子图融合的显著性预处理；
S2，对含有目标车辆的候选目标区域进行边界修正；
S3，将修正后的目标候选区域进行精确判断；
S4，多帧联合与去重合；
S5，输出目标窗口区域坐标，完成车辆检测。
2.根据权利要求1所述的一种基于多幅子图与图像显著性分析的车辆检测方法，其特征在于，所述步骤S1包括如下步骤：
S11，将原始图像划分为若干子图；
S12，针对每幅子图，获取与该子图对应的子区域显著性图像，并将其映射到0-255范围内得到子区域显著性分析图像；遍历子区域显著性分析图的每个像素点，获取在子区域显著性分析图中的每个像素点的子区域显著性分析图像像素值；
S13，将子图映射到0-255的范围内得到子区域拉伸图像；
S14，获取每个像素点的子区域目标图像像素值，所述子区域目标图像像素值＝子区域显著性分析图像像素值-子区域拉伸图像像素值；
S15，根据各个像素点的子区域目标图像像素值得到子区域目标图像，将子区域目标图像进行二值化处理，得到突出了显著性物体的子区域二值图像。
3.根据权利要求2所述的一种基于局部特征加权增强的图像显著性物体检测方法，其特征在于，所述子图根据目标车辆在原始图像中可能出现的位置与尺寸进行划分，各个子图中至少存在一个子图使得在该子图内包括目标车辆与周围环境形成相对强烈的对比度。
4.根据权利要求2或3所述的一种基于局部特征加权增强的图像显著性物体检测方法，其特征在于，所述步骤S12包括如下步骤：
S121，针对每个子区域原始图像，遍历该子区域原始图像，获取该子区域原始图像各个像素的频率，获取像素值的最大值与最小值；
S122，计算每个子区域原始图像中每个像素点到其他像素点的频率的距离之和，做为衡量该点像素对比度的一种度量；
S123，在每个子区域原始图像中利用步骤S22中各个像素点的频率的距离之和做指数运算，做为该像素点的显著性特征值；
S124，根据子区域原始图像各个像素点的显著性特征值获取与子区域原始图像对应的子区域显著性图像；
S125，遍历子区域显著性图像，获取子区域显著性特征值的最大值和最小值；
S126，计算距离之和的变化幅度，即使用子区域显著性特征值的最大值减去子区域显著性特征值的最小值，将子区域原始图像映射到0-255的范围内；
S127，将子区域显著性图像映射到0-255的范围内得到子区域显著性分析图像。
5.根据权利要求4所述的一种基于图像对比度的图像显著性物体检测方法，其特征在于，所述步骤S122中的距离包括欧式距离。
6.根据权利要求5所述的一种基于图像对比度的图像显著性物体检测方法，其特征在于，所述步骤S125还包括：当子区域显著性特征值的最大值和最小值相等时，舍弃对该子区域显著性图像的后续步骤。
7.根据权利要求5所述的一种基于图像对比度的图像显著性物体检测方法，其特征在于，所述步骤S127还包括：将每个子区域显著性分析图中显著性特征值的归一化系数，做为该子区域原始图像的显著性特征值映射回原始图像中时的加权参数，所述原始图像中的各个包含目标车辆的子区域显著性图像被分别加权，然后再映射到0-255的范围内得到子区域显著性分析图像。
8.根据权利要求6或7所述的一种基于图像对比度的图像显著性物体检测方法，其特征在于，所述步骤S2包括如下步骤：
S21，将步骤S15得到的子区域二值图像中长度满足要求的候选线做为目标车辆的底边候选线，以所述底边候选线的长做为边长画正方形候选区域，对各个矩形候选区域进行边界检查，去除不符合的矩形候选区域；
S22，对所述正方形候选区域的底边进行上浮与左右扩充操作后，与原所述正方形候选区域的底边形成一个感兴趣区域；
S23，对所述感兴趣区域进行尺度判断：如果尺度小于等于最小宽度，则将感兴趣区域映射返回到原始图像中，在原始图像的感兴趣区域中求取竖直方向的sobel梯度；所述最小宽度为预先设定在抽样图像中可以分辨车辆的最小宽度；否则直接在抽样图像中求取感兴趣区域的竖直sobel梯度；
S24，将sobel梯度图投影到水平方向得到梯度直方图；
S25，根据竖直sobel梯度计算目标车辆的左边界坐标与右边界坐标。
9.根据权利要求8所述的一种基于图像对比度的图像显著性物体检测方法，其特征在于，所述步骤S25包括如下步骤：
S251，将步骤S23得到的竖直sobel梯度求取绝对值，将所述绝对值投影到水平方向；
S252，在水平方向的左右各1/2区域内求取邻域内的第一最大值并返回第一最大值的坐标，将最大值的坐标定为左右边界的候选之一；
S253，在步骤S252获取的最大值的某个极小的邻域内，将所述竖直sobel梯度的绝对值在水平方向的投影置零；再次在水平方向的左右各1/2区域内求取邻域内的第二最大值并返回第二最大值的坐标，将第二最大值的坐标定为左右边界的候选之一；
S254，从第一最大值与第二最大值中选出置信度相对高的候选坐标：
S255，对左右边界的候选坐标进行过滤，获取左边界坐标与右边界坐标。
10.根据权利要求9所述的一种基于图像对比度的图像显著性物体检测方法，其特征在于，所述步骤S255包括如下步骤：
S2551，取宽度的1/5做为临时高度，取宽度的1/3做为临时高度，在左边界候选坐标A的左侧取临时区域LA1，在左边界候选坐标A的右侧取临时区域LA2，将两个区域做差LA1-LA2，然后求和，将最后的和Sum_LA做为左边界候选坐标A的可信度分数；
同时，取宽度的1/5做为临时高度，取宽度的1/3做为临时高度，在左边界候选坐标B的左侧取临时区域LB1，在左边界候选坐标B的右侧取临时区域LB2，将两个区域做差LB1-LB2，然后求和，将最后的和Sum_LB做为左边界候选坐标B的可信度分数；取Sum_LA与Sum_LB中最大值对应的候选坐标做为左边界坐标；
S2552，取宽度的1/5做为临时高度，取宽度的1/3做为临时高度，在右边界候选坐标C的左侧取临时区域RC1，在右边界候选坐标C的右侧取临时区域RC2，将两个区域做差RC1-RC2，然后求和，将最后的和Sum_RC做为右边界候选坐标C的可信度分数；
同时，取宽度的1/5做为临时高度，取宽度的1/3做为临时高度，在右边界候选坐标D的左侧取临时区域RD1，在右边界候选坐标D的右侧取临时区域RD2，将两个区域做差LD1-LD2，然后求和，将最后的和Sum_LD做为右边界候选坐标D的可信度分数；取Sum_RC与Sum_RD中最大值对应的候选坐标做为右边界坐标。
11.根据权利要求10所述的一种基于图像对比度的图像显著性物体检测方法，其特征在于，所述步骤S3包括将步骤S255获取的左边界坐标与右边界坐标构成的目标候选区域送给分类器进行判断，将判断结果为“是车辆”的目标区域输出至步骤S4。
12.根据权利要求11所述的一种基于图像对比度的图像显著性物体检测方法，其特征在于，所述步骤S4包括如下步骤：
S41，根据当前帧前面的多帧图像在一定邻域范围内一直有检测目标车辆的结果，当前帧在该邻域内也产生一定的候选窗口，将所述候选窗口送给所述分类器进行判断，将判断结果为“是车辆”的目标区域送给去重合模块；
S42，去重合模块在汇总所有的目标区域，对其进行是否重合的判定，然后对有重合区域的目标区域进行置信度判定，将置信度高的目标区域留下，置信度低的目标窗口去除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710153524.8A CN108629225B (zh) | 2017-03-15 | 2017-03-15 | 一种基于多幅子图与图像显著性分析的车辆检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710153524.8A CN108629225B (zh) | 2017-03-15 | 2017-03-15 | 一种基于多幅子图与图像显著性分析的车辆检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108629225A true CN108629225A (zh) | 2018-10-09 |
| CN108629225B CN108629225B (zh) | 2022-02-25 |
Family
ID=63686700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710153524.8A Active CN108629225B (zh) | 2017-03-15 | 2017-03-15 | 一种基于多幅子图与图像显著性分析的车辆检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108629225B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109960979A (zh) * | 2017-12-25 | 2019-07-02 | 大连楼兰科技股份有限公司 | 基于图像分层技术的车辆检测方法 |
| CN109961637A (zh) * | 2017-12-25 | 2019-07-02 | 大连楼兰科技股份有限公司 | 基于多子图融合与显著性分析的车辆检测装置及系统 |
| CN109961420A (zh) * | 2017-12-25 | 2019-07-02 | 大连楼兰科技股份有限公司 | 基于多子图融合与显著性分析的车辆检测方法 |
| CN109960984A (zh) * | 2017-12-25 | 2019-07-02 | 大连楼兰科技股份有限公司 | 基于对比度与显著性分析的车辆检测方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853497A (zh) * | 2010-02-25 | 2010-10-06 | 杭州海康威视软件有限公司 | 一种图像增强方法和装置 |
| CN102693426A (zh) * | 2012-05-21 | 2012-09-26 | 清华大学深圳研究生院 | 一种图像显著区域检测方法 |
| CN103530366A (zh) * | 2013-10-12 | 2014-01-22 | 湖北微模式科技发展有限公司 | 一种基于自定义特征的车辆搜索方法与系统 |
| CN103871053A (zh) * | 2014-02-25 | 2014-06-18 | 苏州大学 | 一种基于视觉显著性的布匹瑕疵检测方法 |
| CN104657458A (zh) * | 2015-02-06 | 2015-05-27 | 腾讯科技（深圳）有限公司 | 场景图像中的前景目标的目标信息的展示方法及装置 |
| CN104952083A (zh) * | 2015-06-26 | 2015-09-30 | 兰州理工大学 | 一种基于显著性目标背景建模的视频显著性检测算法 |
| RU2573770C2 (ru) * | 2014-06-17 | 2016-01-27 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Вятский государственный университет" (ВятГУ) | Способ сжатия изображений |
| EP3073443A1 (en) * | 2015-03-23 | 2016-09-28 | Université de Mons | 3D Saliency map |
| CN106204551A (zh) * | 2016-06-30 | 2016-12-07 | 北京奇艺世纪科技有限公司 | 一种图像显著性检测方法及装置 |
-
2017
- 2017-03-15 CN CN201710153524.8A patent/CN108629225B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853497A (zh) * | 2010-02-25 | 2010-10-06 | 杭州海康威视软件有限公司 | 一种图像增强方法和装置 |
| CN102693426A (zh) * | 2012-05-21 | 2012-09-26 | 清华大学深圳研究生院 | 一种图像显著区域检测方法 |
| CN103530366A (zh) * | 2013-10-12 | 2014-01-22 | 湖北微模式科技发展有限公司 | 一种基于自定义特征的车辆搜索方法与系统 |
| CN103871053A (zh) * | 2014-02-25 | 2014-06-18 | 苏州大学 | 一种基于视觉显著性的布匹瑕疵检测方法 |
| RU2573770C2 (ru) * | 2014-06-17 | 2016-01-27 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Вятский государственный университет" (ВятГУ) | Способ сжатия изображений |
| CN104657458A (zh) * | 2015-02-06 | 2015-05-27 | 腾讯科技（深圳）有限公司 | 场景图像中的前景目标的目标信息的展示方法及装置 |
| EP3073443A1 (en) * | 2015-03-23 | 2016-09-28 | Université de Mons | 3D Saliency map |
| CN104952083A (zh) * | 2015-06-26 | 2015-09-30 | 兰州理工大学 | 一种基于显著性目标背景建模的视频显著性检测算法 |
| CN106204551A (zh) * | 2016-06-30 | 2016-12-07 | 北京奇艺世纪科技有限公司 | 一种图像显著性检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 胡玉双等: "基于图像的车辆品牌识别", 《辽宁工业大学学报（自然科学版）》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109960979A (zh) * | 2017-12-25 | 2019-07-02 | 大连楼兰科技股份有限公司 | 基于图像分层技术的车辆检测方法 |
| CN109961637A (zh) * | 2017-12-25 | 2019-07-02 | 大连楼兰科技股份有限公司 | 基于多子图融合与显著性分析的车辆检测装置及系统 |
| CN109961420A (zh) * | 2017-12-25 | 2019-07-02 | 大连楼兰科技股份有限公司 | 基于多子图融合与显著性分析的车辆检测方法 |
| CN109960984A (zh) * | 2017-12-25 | 2019-07-02 | 大连楼兰科技股份有限公司 | 基于对比度与显著性分析的车辆检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108629225B (zh) | 2022-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110178167B (zh) | 基于摄像机协同接力的路口违章视频识别方法 | |
| JP4725391B2 (ja) | 車両用視程測定装置、及び運転支援装置 | |
| JP5136504B2 (ja) | 物体識別装置 | |
| CN110203210A (zh) | 一种车道偏离预警方法、终端设备及存储介质 | |
| US8406472B2 (en) | Method and system for processing image data | |
| US20100021010A1 (en) | System and Method for detecting pedestrians | |
| CN108629225A (zh) | 一种基于多幅子图与图像显著性分析的车辆检测方法 | |
| TW201120807A (en) | Apparatus and method for moving object detection | |
| US20180150703A1 (en) | Vehicle image processing method and system thereof | |
| CN110135377B (zh) | 车路协同中物体运动状态检测方法、装置和服务器 | |
| JP5874831B2 (ja) | 立体物検出装置 | |
| KR101699014B1 (ko) | 스테레오 카메라를 이용한 객체 검출 방법 및 장치 | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| CN112446316A (zh) | 事故检测方法、电子设备及存储介质 | |
| CN107844761A (zh) | 交通标志的检测方法及装置 | |
| JP4128562B2 (ja) | 車両周辺監視装置 | |
| KR101723536B1 (ko) | 도로에서의 차선 검출 방법 및 장치 | |
| CN111881752B (zh) | 一种护栏检测分类方法、装置、电子设备及存储介质 | |
| CN109961637A (zh) | 基于多子图融合与显著性分析的车辆检测装置及系统 | |
| CN117496515A (zh) | 点云数据标注方法、存储介质和电子设备 | |
| Itu et al. | An efficient obstacle awareness application for android mobile devices | |
| JP5783319B2 (ja) | 立体物検出装置及び立体物検出方法 | |
| US20230186506A1 (en) | Object Detection Device and Object Detection Method | |
| JP4788399B2 (ja) | 歩行者検出方法、装置、およびプログラム | |
| WO2017077261A1 (en) | A monocular camera cognitive imaging system for a vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |