CN108629226B - 一种基于图像分层技术的车辆检测方法及系统 - Google Patents
一种基于图像分层技术的车辆检测方法及系统 Download PDFInfo
- Publication number
- CN108629226B CN108629226B CN201710154585.6A CN201710154585A CN108629226B CN 108629226 B CN108629226 B CN 108629226B CN 201710154585 A CN201710154585 A CN 201710154585A CN 108629226 B CN108629226 B CN 108629226B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- vehicle
- pixel
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于图像分层技术的车辆检测方法,包括:采集包含车辆的背景图像;对所述背景图像进行二次图像分层,得到包含车辆的目标图像;对所述目标图像进行边界修正;利用多帧联合检测根据当前帧之前的多帧目标图像中检测出车辆的邻域范围内,产生当前帧的候选窗口,将所述候选窗口中检测出车辆的作为目标窗口;将所有帧的目标窗口进行图像去重合处理从而得到包含车辆的目标区域;输出目标区域坐标。本发明还公开了一种基于图像分层技术的车辆检测系统,包括:图像采集模块、图像分层模块、图像去重合模块、输出模块。
Description
技术领域
本发明涉及图像分层技术领域,尤其涉及一种基于图像分层技术的车辆检测方法及系统。
背景技术
作为FCW(前方碰撞预警,Front Collision Warning)中重要的一环,基于视觉传感器的移动车辆检测成为众多同行研究的焦点之一。传统的基于视觉传感器的移动车辆检测技术主要应用在高速公路上或城市快道上,这些道路背景干净,干扰比较少,基本不受城市高楼等的阴影影响,所以整体的检测效果比较理想。而在普通道路上,由于车辆在道路上行驶的过程中,容易受到周围高楼的投影影响或马路两侧树木阴影的影响,以及其他物体的干扰,导致车辆检测效果出现很大程度的滑坡,检出率降低而虚警增高。
因此,亟需车辆检测方法,能够利用逐层剥离的手段将阴影与道路、车辆与阴影逐步剥离开,然后再进行车辆边界的修正,并进行精确的检测。
发明内容
为了克服上述技术缺陷,本发明的目的在于提供一种基于图像分层技术的车辆检测方法及系统。
本发明公开了一种基于图像分层技术的车辆检测方法,包括:采集包含车辆的背景图像;对所述背景图像进行二次图像分层,得到包含车辆的目标图像;对所述目标图像进行边界修正;利用多帧联合检测根据当前帧之前的多帧目标图像中检测出车辆的邻域范围内,产生当前帧的候选窗口,将所述候选窗口中检测出车辆的作为目标窗口;将所有帧的目标窗口进行图像去重合处理从而得到包含车辆的目标区域;输出目标区域坐标。
优选地,所述采集包含车辆的背景图像包括,使用经过采样的图像y通道信息检测车辆,采集检测出车辆的背景图像。
优选地,所述利用图像分层技术处理背景图像包括:采集所述背景图像中各个像素的像素值;针对每一像素计算该像素与其他像素之间欧氏距离和;对所述每一像素的距离和进行指数运算得到该像素的特征值,根据每一像素的特征值获取特征图像;记录所有特征值中的最大值与最小值,计算所述最大值与最小值之差将所述特征图像映射至0-255的数值范围内;通过对应所述像素值与所述特征值将所述背景图像映射至所述数值范围内得到第一拉伸图像;将所述特征图像减去所述第一拉伸图像以获得子背景图像;将所述子背景图像映射到所述数值范围中获取第二拉伸图像;将所述第二拉伸图像减去所述特征图像得到所述目标图像;二值化所述目标图像。
优选地,在获取特征图像后,对所述特征图像进行均值滤波,增强所述特征图像的边缘部分。
优选地,所述均值滤波可具有方向倾斜以实现特定方向边缘的增强。
优选地,所述对所述目标图像进行边界修正包括:基于车辆的形状预设一个修正窗口,对所述二值化的目标图像的左右边界和上下边界进行边界修正。
优选地,所述图像去重合处理包括:对所有帧的目标窗口是否重合进行判定,对有重合区域的目标窗口进行置信度判定,留下置信度高的目标窗口,去除置信度低的目标窗口。
本发明还公开了一种基于图像分层技术的车辆检测系统,包括:图像采集模块、图像分层模块、图像去重合模块、输出模块;所述图像采集模块用于采集包含车辆的背景图像,并采集所述背景图像中各个像素的像素值;所述图像分层模块用于对所述背景图像进行二次图像分层,得到包含车辆的目标图像,再对所述目标图像进行边界修正,并利用多帧联合检测根据当前帧之前的多帧目标图像中检测出车辆的邻域范围内,产生当前帧的候选窗口,将所述候选窗口中检测出车辆的作为目标窗口;所述图像去重合模块用于将所有帧的目标窗口进行图像去重合处理,对所有帧的目标窗口是否重合进行判定,对有重合区域的目标窗口进行置信度判定,留下置信度高的目标窗口,去除置信度低的目标窗口,从而得到包含车辆的目标区域;所述输出模块用于输出目标区域坐标。
优选地,所述图像分层模块包括图像处理模块和计算模块;所述计算模块针对每一像素计算该像素与其他像素之间欧氏距离和,并对所述每一像素的距离和进行指数运算得到该像素的显著性特征值,记录所有显著性特征值中的最大值与最小值,计算所述最大值与最小值之差;所述图像处理模块根据每一像素的显著性特征值获取特征图像,并将所述特征图像映射至0-255的数值范围内,通过对应所述像素值与所述显著性特征值将所述背景图像映射至所述数值范围内得到第一拉伸图像,将所述特征图像减去所述第一拉伸图像以获得子背景图像,将所述子背景图像映射到所述数值范围中获取第二拉伸图像,将所述第二拉伸图像减去所述特征图像得到目标图像,并二值化所述目标图像。
优选地,还包括滤波模块,所述滤波模块在获取特征图像后,对所述特征图像进行均值滤波,增强所述特征图像的边缘部分。
采用了上述技术方案后,与现有技术相比,具有以下有益效果:
1、本发明利用分层的显著性分析手段,将车辆与周围环境的对比度逐步反映出来,通过阴影区域与背景区域的分离,阴影区域与目标车辆的分离,逐步实现复杂背景中,目标车辆与背景图像的分离,解决了复杂背景中车辆与背景难以分离的难题,同时也逐步的过滤掉许多干扰,进而在一定程度上降低了虚警。
2、本发明基于相对准确的车辆底边信息,根据车辆底边扩充区域内的竖直方向梯度在水平方向上的投影,利用其峰值变化特性求出车辆左右边界的候选区域,方法计算量小,可靠性高,可以相对快速准确地获取车辆坐标边界信息;
3、本发明当前帧检测出来的目标车辆区域与之前多帧联合检测出来的候选目标区域都进行分类器判别,并利用窗口去重合机制去除有重叠区域的目标区域,提高了车辆的检出率,同时在一定程度上抑制了虚警。
附图说明
图1为符合本发明优选实施例的车辆检测方法流程图;
图2为符合本发明优选实施例的车辆检测方法中二次图像分层方法的流程图;
图3为图2的二次图像分层方法的一种变形例的流程图;
图4为符合本发明优选实施例的车辆检测系统模块图;
图5为符合本发明优选实施例的车辆检测系统中图像处理模块的框图。
附图标记:
1-车辆检测系统;
11-图像采集模块;
12-图像分层模块,121-图像处理模块,122-计算模块;
13-图像去重合模块;
14-输出模块。
具体实施方式
以下结合附图与具体实施例进一步阐述本发明的优点,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
如图1所示,本发明公开了一种基于图像分层技术的车辆检测方法。图像分层技术是常见的将目标物体从背景中分离的方法,本发明的车辆检测方法利用二次图像分层技术与拉伸图像都是对原始图像在一定程度的对比度拉伸的特性,通过将距离和进行一定程度的指数运算,在一定程度增强局部对比度后,对拉伸图像做差,从而抑制背景信息的方法,先将含有目标物体的子背景区域从背景图像中分离而出,再在该子背景区域中检测目标物体,再利用分层的显著性分析手段确定出候选目标区域,然后通过梯度幅值与对比度分析等手段修正车辆边界,从而能够更加准确地将目标物体从背景图像中检测出来。本发明的车辆检测方法对背景图像进行二次图像分层,得到包含车辆的目标图像。在利用图像分层技术对图像中的物体进行分离时,进一步对分离出来的图像进行二次分离,此为二次图像分层。
本发明所公开的车辆检测方法包括:采集包含车辆的背景图像,其中优选地使用经过采样的图像y通道信息检测车辆,采集检测出车辆的背景图像。
如图2所示,在本发明的车辆检测方法的一个优选实施例中,利用图像分层技术处理背景图像包括:采集背景图像中各个像素的像素值,使得背景图像中每个像素均有一个与之对应的像素值,将每个像素用值表示,从而便于图像处理的匹配、索引、计算等操作。
在采集获得的背景图像中,本发明公开的显著性物体检测方法针对每一像素计算该像素与其他像素之间距离和,作为衡量该像素的对比度的度量。优选地,计算该像素与其他像素之间距离和包括计算该像素与其他像素之间的欧氏距离,即计算像素之间的直线距离,但本发明中计算像素之间的距离和并不局限于计算欧氏距离,还可以通过计算D4距离、D8距离等方法来计算像素之间的距离和。
基于上述获取的像素之间的距离和,对获取的每一个像素点所对应的距离和进行转换得到该像素的显著性特征值,该转换是对背景图像所做的一次图像增强,即通过将像素的距离和做一定的处理,比如对比度拉升、伽马校正、直方图均衡化、直方图规定化、同态滤波等,本发明的物体检测方法优选地使用指数运算的方法,即将每一个像素所对应的距离和取一定的指数运算,以作为该像素的显著性特征值,其中所取的指数值则与需检测的目标物体在背景图像中的对比度强烈程度有关,可以根据具体情况具体设定符合目标物体在背景图像中的对比度的指数值。根据在将各个像素的距离和作指数运算后获得的每个像素所对应的显著性特征值,从而获取整个背景图像的特征图像,作为显著性物体的分析图像。
在获取了背景图像的增强图像,即作为显著性物体的分析图像的特征图像后,将特征图像中所有像素的显著性特征值中的最大值与最小值记录下来,计算最大值与最小值之差将特征图像映射至一数值范围内。即通过特征值的最大值与最小值的差值计算来确定各个像素的距离和的变化幅度,从而在将特征值归一化的过程中确立了像素值-距离和-特征值的索引基准,通过对应像素值与显著性特征值将背景图像映射至数值范围内得到第一拉伸图像。其中,此处的数值范围可以根据实际情况具体设定,本发明中,该数值范围优选地设定为0-255。
在获取0-255的数值范围内的第一拉伸图像后,用特征图像减去第一拉伸图像,从而获得子背景图像,该子背景图像即为突出了目标物体的图像。此处完成了第一步图像分层处理。在实际应用中,就是把背景图像中包含目标物体的阴影区域从背景图像中分离出来,再进行下一步的图像分层处理,以将目标物体从子背景图像中分离出来。
本发明的物体检测方法在将子背景图像分离而出后,继续进行进一步的图像分层处理,即将子背景图像映射到0-255的数值范围中获取第二拉伸图像,该第二拉伸图像就是拉伸了的子背景图像,此处同样对其做了归一化处理。
然后,将第二拉伸图像减去特征图像,最后得到目标图像。该目标图像是经过二次图像分层处理后得到的准确显示目标物体的图像,实现了目标物体与背景图像的图像分割。
在本发明的一个优选实施例中,该物体检测方法还包括,在获取特征图像后,对特征图像进行均值滤波,增强特征图像的边缘部分。优选地,该均值滤波可具有方向倾斜以实现特定方向的边缘增强,比如想增强水平方向边缘,可以使用3*1的均值滤波模板。本发明逐层将背景图像进行分离,并在分离做差前使用带有方向倾斜的均值滤波进行边界轮廓的增强,保证了目标物体在子背景图像中的完整性,从而提高了检出目标物体的准确性。
在本发明的一个优选实施例中,该物体检测方法还包括,在最终获取了目标图像后,对目标图像进行二值化处理,获得突出了显著性目标物体的二值图像。在获取二值化图像后,对于该二值化图像中提供的关于目标物体的候选区域,我们可以使用经典的分类器比如SVM或Adaboost等方法进行分类判别是否是目标物体,如果分类器的判断结果为“是”即可实现目标物体与原图像的分割;如果分类器的判断结果为“否”则不起作用。从而进一步提高检测物体的准确性。
如图3所示,本发明的基于图像分层技术的显著性物体检测方法的一个变形例中,在将像素的距离和分别归一化到0-255的数值范围之间后,先将背景图像也对应地拉伸至该0-255的数值范围内得到第一拉伸图像,保证与像素的距离和的变化范围相同,再将第一拉伸图像中的每个像素值作为像素的距离和中的索引,从而得到该第一拉伸图像中的像素值对应的显著性特征值,再遍历整个背景图像,计算背景图像中每个像素值所对应的的显著性特征值,从而获取特征图像。
本发明的车辆检测方法中,该图像处理模块121在获取目标图像后,对目标图像进行边界修正。
根据前面的处理结果,可以将二值化的目标图像中长度满足要求的候选线作为目标车辆的底边候选线,然后以底边候选线的长作为边长画正方形候选区域,对各个矩形候选区域进行边界检查,不符合的矩形候选区域需要要去除。
然后,对底边候选线进行上浮与左右扩充操作,与原底边候选线形成一个感兴趣区域,对新的感兴趣区域进行尺度判断。如果尺度小于等于最小宽度(预先设定在抽样图像中可以分辨车辆的最小宽度),则需要将感兴趣区域映射返回到目标图像中,在目标图像的感兴趣区域中求取竖直方向的sobel梯度;否则直接在抽样图像中求取感兴趣区域的竖直sobel梯度;
下一步,将sobel梯度图投影到水平方向得到GGY图;然后,根据竖直梯度计算车两侧,此处调节默认车的两侧即左右边界在候选区域的左右二分之一区域内,否则该方法无效。所以该方法是基于前面的底边界定的具有一定程度的准确性的前提下进行的。
根据竖直梯度计算车的左右边界时,首先将前面计算得到的竖直梯度求取绝对值,然后求得的绝对值投影到水平方向;之后,在水平方向的左右各1/2区域内求取邻域内的最大值并返回最大值的坐标,将最大值的坐标定为左右边界的候选之一;由于,求得的最大值未必就是车的左右边界,因而,在前面求得的最大值的某个极小的邻域内将前面的梯度绝对值在水平方向的投影置零;然后,再在水平方向的左右各1/2区域内求取邻域内的最大值并返回最大值的坐标,将最大值的坐标定为左右边界的候选之一;这样左右边界各有两个候选坐标,下面需要从中选出置信度相对高的候选坐标。然后再对左右边界的候选坐标进行过滤,在前面确定了车辆左右边界的候选坐标后,根据底边的长度是否满足大于阈值,决定是否回到目标图像进行下面操作;取宽度的1/5作为临时高度,取宽度的1/3作为临时高度,在左侧候选坐标A的左侧取这样一个临时区域LA1,在左侧候选坐标A的右侧取这样一个临时区域,将两个区域做差LA1-LA2然后求和,将最后的和Sum_LA作为左侧候选坐标A的可信度分数;同理,取宽度的1/5作为临时高度,取宽度的1/3作为临时高度,在左侧候选坐标B的左侧取这样一个临时区域LB1,在左侧候选坐标B的右侧取这样一个临时区域,将两个区域做差LB1-LB2然后求和,将最后的和Sum_LB作为左侧候选坐标A的可信度分数;取Sum_LA与Sum_LB中最大值对应的候选坐标作为左侧坐标;类似的,取宽度的1/5作为临时高度,取宽度的1/3作为临时高度,在右侧侧候选坐标A的左侧取这样一个临时区域RA1,在右侧候选坐标A的右侧取这样一个临时区域,将两个区域做差RA1-RA2然后求和,将最后的和Sum_RA作为右侧候选坐标A的可信度分数;同理,取宽度的1/5作为临时高度,取宽度的1/3作为临时高度,在右侧候选坐标B的左侧取这样一个临时区域LB1,在右侧候选坐标B的右侧取这样一个临时区域,将两个区域做差LB1-LB2然后求和,将最后的和Sum_LB作为右侧候选坐标A的可信度分数;取Sum_RA与Sum_RB中最大值对应的候选坐标作为右侧坐标。
利用多帧联合检测根据当前帧之前的多帧目标图像中检测出车辆的邻域范围内,产生当前帧的候选窗口,将候选窗口中检测出车辆的作为目标窗口,将所有帧的目标窗口进行图像去重合处理从而得到包含车辆的目标区域。将经过修正的目标区域送给分类器进行判断(此处分类器可以是Adaboost、SVM、CNN等,但不局限于此),将判断为“是车辆”的目标区域进行图像去重合处理。根据当前帧前面的多帧目标图像在一定邻域范围内一直有检测目标车辆的结果,当前帧在该邻域内也产生一定的候选窗口,同样送给上面的分类器进行判断。将判断为“是车辆”的目标区域送给去重合模块。去重合模块在汇总了所有的目标窗口后,对其进行是否重合的判定,然后对有重合区域的目标窗口进行置信度判定,将置信度高的目标窗口留下,置信度低的目标窗口去除。
最终输出目标区域坐标。
如图4所示,本发明还公开了一种基于图像分层技术的车辆检测系统1,包括:图像采集模块11、图像分层模块12、图像去重合模块13、输出模块14。图像分层技术是常见的将目标物体从背景中分离的方法,本发明的车辆检测方法利用二次图像分层技术与拉伸图像都是对原始图像在一定程度的对比度拉伸的特性,通过将距离和进行一定程度的指数运算,在一定程度增强局部对比度后,对拉伸图像做差,从而抑制背景信息的方法,先将含有目标物体的子背景区域从背景图像中分离而出,再在该子背景区域中检测目标物体,再利用分层的显著性分析手段确定出候选目标区域,然后通过梯度幅值与对比度分析等手段修正车辆边界,从而能够更加准确地将目标物体从背景图像中检测出来。本发明的车辆检测系统1对背景图像进行二次图像分层,得到包含车辆的目标图像。在利用图像分层技术对图像中的物体进行分离时,进一步对分离出来的图像进行二次分离,此为二次图像分层。
在该车辆监测系统中,图像采集模块11用于采集包含车辆的背景图像,并采集背景图像中各个像素的像素值,将每个像素用值表示,从而便于图像处理的匹配、索引、计算等操作。其中优选地使用经过采样的图像y通道信息检测车辆,采集检测出车辆的背景图像。
图像分层模块12用于对背景图像进行二次图像分层,得到包含车辆的目标图像。如图5所示,该图像分层模块12包括,包括图像处理模块121和计算模块122。该图像分层模块12,使用上文的车辆检测方法,对目标物体进行精准地检测,从而实现在一些难以直接分离目标物体的场景中分离目标物体的效果。
在该车辆检测系统1中,计算模块122针对每一像素计算该像素与其他像素之间距离和,作为衡量该像素的对比度的度量。优选地,计算模块122计算该像素与其他像素之间距离和包括计算该像素与其他像素之间的欧氏距离,即计算像素之间的直线距离,但本发明中计算像素之间的距离和并不局限于计算欧氏距离,还可以通过计算D4距离、D8距离等方法来计算像素之间的距离和。该计算模块122还针对每一像素的距离和进行转换得到该像素的显著性特征值,该转换是对背景图像所做的一次图像增强,即通过将像素的距离和做一定的处理,比如对比度拉升、伽马校正、直方图均衡化、直方图规定化、同态滤波等,本发明的物体检测方法优选地使用指数运算的方法,即将每一个像素所对应的距离和取一定的指数运算,以作为该像素的显著性特征值,其中所取的指数值则与需检测的目标物体在背景图像中的对比度强烈程度有关,可以根据具体情况具体设定符合目标物体在背景图像中的对比度的指数值。并记录所有显著性特征值中的最大值与最小值,计算最大值与最小值之差。
在该车辆检测系统1中,图像处理模块121根据在将各个像素的距离和作指数运算后获得的每个像素所对应的显著性特征值,从而获取整个背景图像的特征图像,作为显著性物体的分析图像,并将特征图像映射至一数值范围内。即通过特征值的最大值与最小值的差值计算来确定各个像素的距离和的变化幅度,从而在将特征值归一化的过程中确立了像素值-距离和-特征值的索引基准,通过对应像素值与显著性特征值将背景图像映射至数值范围内得到第一拉伸图像。其中,此处的数值范围可以根据实际情况具体设定,本发明中,该数值范围优选地设定为0-255。接着,图像处理模块121通过对应像素值与显著性特征值将背景图像映射至0-255的数值范围内得到第一拉伸图像后,将特征图像减去第一拉伸图像以获得子背景图像,该子背景图像即为突出了目标物体的图像。此处完成了第一步图像分层处理。在实际应用中,就是把背景图像中包含目标物体的阴影区域从背景图像中分离出来,再进行下一步的图像分层处理,以将目标物体从子背景图像中分离出来。然后进行二次图像分层处理,即将子背景图像映射到0-255数值范围中获取第二拉伸图像,该第二拉伸图像就是拉伸了的子背景图像,此处同样对其做了归一化处理。再将第二拉伸图像减去特征图像得到目标图像。该目标图像是经过二次图像分层处理后得到的准确显示目标物体的图像,实现了目标物体与背景图像的图像分割。
在本发明的一个优选实施例中,该车辆检测系统1还包括滤波模块,滤波模块在获取特征图像后,对特征图像进行均值滤波,增强特征图像的边缘部分。优选地,该均值滤波可具有方向倾斜以实现特定方向的边缘增强,比如想增强水平方向边缘,可以使用3*1的均值滤波模板。本发明逐层将背景图像进行分离,并在分离做差前使用带有方向倾斜的均值滤波进行边界轮廓的增强,保证了目标物体在子背景图像中的完整性,从而提高了检出目标物体的准确性。
优选地,图像处理模块121在获得目标图像后,对目标图像作二值化处理,从而获得突出了显著性目标物体的二值图像。在获取二值化图像后,对于该二值化图像中提供的关于目标物体的候选区域,我们可以使用经典的分类器比如SVM或Adaboost等方法进行分类判别是否是目标物体,如果分类器的判断结果为“是”即可实现目标物体与原图像的分割;如果分类器的判断结果为“否”则不起作用。从而进一步提高检测物体的准确性。
在图像处理模块121获取了目标图像后,对目标图像进行边界修正。根据前面的处理结果,可以将二值化的目标图像中长度满足要求的候选线作为目标车辆的底边候选线,然后以底边候选线的长作为边长画正方形候选区域,对各个矩形候选区域进行边界检查,不符合的矩形候选区域需要要去除。
然后,对底边候选线进行上浮与左右扩充操作,与原底边候选线形成一个感兴趣区域,对新的感兴趣区域进行尺度判断。如果尺度小于等于最小宽度(预先设定在抽样图像中可以分辨车辆的最小宽度),则需要将感兴趣区域映射返回到目标图像中,在目标图像的感兴趣区域中求取竖直方向的sobel梯度;否则直接在抽样图像中求取感兴趣区域的竖直sobel梯度;
下一步,将sobel梯度图投影到水平方向得到GGY图;然后,根据竖直梯度计算车两侧,此处调节默认车的两侧即左右边界在候选区域的左右二分之一区域内,否则该方法无效。所以该方法是基于前面的底边界定的具有一定程度的准确性的前提下进行的。
根据竖直梯度计算车的左右边界时,首先将前面计算得到的竖直梯度求取绝对值,然后求得的绝对值投影到水平方向;之后,在水平方向的左右各1/2区域内求取邻域内的最大值并返回最大值的坐标,将最大值的坐标定为左右边界的候选之一;由于,求得的最大值未必就是车的左右边界,因而,在前面求得的最大值的某个极小的邻域内将前面的梯度绝对值在水平方向的投影置零;然后,再在水平方向的左右各1/2区域内求取邻域内的最大值并返回最大值的坐标,将最大值的坐标定为左右边界的候选之一;这样左右边界各有两个候选坐标,下面需要从中选出置信度相对高的候选坐标。然后再对左右边界的候选坐标进行过滤,在前面确定了车辆左右边界的候选坐标后,根据底边的长度是否满足大于阈值,决定是否回到目标图像进行下面操作;取宽度的1/5作为临时高度,取宽度的1/3作为临时高度,在左侧候选坐标A的左侧取这样一个临时区域LA1,在左侧候选坐标A的右侧取这样一个临时区域,将两个区域做差LA1-LA2然后求和,将最后的和Sum_LA作为左侧候选坐标A的可信度分数;同理,取宽度的1/5作为临时高度,取宽度的1/3作为临时高度,在左侧候选坐标B的左侧取这样一个临时区域LB1,在左侧候选坐标B的右侧取这样一个临时区域,将两个区域做差LB1-LB2然后求和,将最后的和Sum_LB作为左侧候选坐标A的可信度分数;取Sum_LA与Sum_LB中最大值对应的候选坐标作为左侧坐标;类似的,取宽度的1/5作为临时高度,取宽度的1/3作为临时高度,在右侧侧候选坐标A的左侧取这样一个临时区域RA1,在右侧候选坐标A的右侧取这样一个临时区域,将两个区域做差RA1-RA2然后求和,将最后的和Sum_RA作为右侧候选坐标A的可信度分数;同理,取宽度的1/5作为临时高度,取宽度的1/3作为临时高度,在右侧候选坐标B的左侧取这样一个临时区域LB1,在右侧候选坐标B的右侧取这样一个临时区域,将两个区域做差LB1-LB2然后求和,将最后的和Sum_LB作为右侧候选坐标A的可信度分数;取Sum_RA与Sum_RB中最大值对应的候选坐标作为右侧坐标。
并利用多帧联合检测根据当前帧之前的多帧目标图像中检测出车辆的邻域范围内,产生当前帧的候选窗口,将候选窗口中检测出车辆的作为目标窗口。将所有帧的目标窗口进行图像去重合处理从而得到包含车辆的目标区域。将经过修正的目标区域送给分类器进行判断(此处分类器可以是Adaboost、SVM、CNN等,但不局限于此),将判断为“是车辆”的目标区域进行图像去重合处理。根据当前帧前面的多帧目标图像在一定邻域范围内一直有检测目标车辆的结果,当前帧在该邻域内也产生一定的候选窗口,同样送给上面的分类器进行判断。将判断为“是车辆”的目标区域送给去重合模块。
图像去重合模块13将所有帧的目标窗口进行图像去重合处理,对所有帧的目标窗口是否重合进行判定,对有重合区域的目标窗口进行置信度判定,留下置信度高的目标窗口,去除置信度低的目标窗口,从而得到包含车辆的目标区域。
在该车辆检测系统1中,输出模块14输出目标区域坐标,最终完成车辆检测。
本发明利用图像分层的显著性分析手段,将车辆与周围环境的对比度逐步反映出来,通过阴影区域与背景图像的分离,阴影区域与目标车辆的分离,逐步实现复杂背景中,目标车辆与背景图像的分离,解决了复杂背景中车辆与背景难以分离的难题,同时也逐步的过滤掉许多干扰,进而在一定程度上降低了虚警。本发明基于相对准确的车辆底边信息,根据车辆底边扩充区域内的竖直方向梯度在水平方向上的投影,利用其峰值变化特性求出车辆左右边界的候选区域,方法计算量小,可靠性高,可以相对快速准确地获取车辆坐标边界信息。本发明当前帧检测出来的目标车辆区域与之前多帧联合检测出来的候选目标区域都进行分类器判别,并利用窗口去重合机制去除有重叠区域的目标区域,提高了车辆的检出率,同时在一定程度上抑制了虚警。
应当注意的是,本发明的实施例有较佳的实施性,且并非对本发明作任何形式的限制,任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例,但凡未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰,均仍属于本发明技术方案的范围内。
Claims (8)
1.一种基于图像分层技术的车辆检测方法,其特征在于,该方法包括:
采集包含车辆的背景图像;
对所述背景图像进行二次图像分层,得到包含车辆的目标图像;该步骤包括:采集所述背景图像中各个像素的像素值;针对每一像素计算该像素与其他像素之间欧氏距离和;对所述每一像素的距离和进行指数运算得到该像素的显著性特征值,根据每一像素的显著性特征值获取特征图像;记录所有特征值中的最大值与最小值,计算所述最大值与最小值之差将所述特征图像映射至0-255的数值范围内;通过对应所述像素值与所述特征值将所述背景图像映射至所述数值范围内得到第一拉伸图像;将所述特征图像减去所述第一拉伸图像以获得子背景图像;将所述子背景图像映射到所述数值范围中获取第二拉伸图像;将所述第二拉伸图像减去所述特征图像得到所述目标图像;二值化所述目标图像;
对所述目标图像进行边界修正;
利用多帧联合检测根据当前帧之前的多帧目标图像中检测出车辆的邻域范围内,产生当前帧的候选窗口,将所述候选窗口中检测出车辆的窗口作为目标窗口;
将所有帧的目标窗口进行图像去重合处理从而得到包含车辆的目标区域;
输出目标区域坐标。
2.如权利要求1所述的基于图像分层技术的车辆检测方法,其特征在于,所述采集包含车辆的背景图像包括,使用经过采样的图像y通道信息检测车辆,采集检测出车辆的背景图像。
3.如权利要求1所述的基于图像分层技术的车辆检测方法,其特征在于,在获取特征图像后,对所述特征图像进行均值滤波,增强所述特征图像的边缘部分。
4.如权利要求3所述的基于图像分层技术的车辆检测方法,其特征在于,所述均值滤波可具有方向倾斜以实现特定方向边缘的增强。
5.如权利要求1所述的基于图像分层技术的车辆检测方法,其特征在于,所述对所述目标图像进行边界修正包括:
基于车辆的形状预设一个修正窗口,对所述二值化的目标图像的左右边界和上下边界进行边界修正。
6.如权利要求1所述的基于图像分层技术的车辆检测方法,其特征在于,所述图像去重合处理包括:
对所有帧的目标窗口是否重合进行判定,
对有重合区域的目标窗口进行置信度判定,留下置信度高的目标窗口,去除置信度低的目标窗口。
7.一种基于图像分层技术的车辆检测系统,其特征在于,包括:
图像采集模块、图像分层模块、图像去重合模块、输出模块;
所述图像采集模块用于采集包含车辆的背景图像,并采集所述背景图像中各个像素的像素值;
所述图像分层模块用于对所述背景图像进行二次图像分层,得到包含车辆的目标图像,再对所述目标图像进行边界修正,并利用多帧联合检测根据当前帧之前的多帧目标图像中检测出车辆的邻域范围内,产生当前帧的候选窗口,将所述候选窗口中检测出车辆的窗口作为目标窗口;其中,所述图像分层模块包括图像处理模块和计算模块;
所述计算模块针对每一像素计算该像素与其他像素之间欧氏距离和,并对所述每一像素的距离和进行指数运算得到该像素的显著性特征值,记录所有显著性特征值中的最大值与最小值,计算所述最大值与最小值之差;
所述图像处理模块根据每一像素的显著性特征值获取特征图像,并将所述特征图像映射至0-255的数值范围内,通过对应所述像素值与所述显著性特征值将所述背景图像映射至所述数值范围内得到第一拉伸图像,将所述特征图像减去所述第一拉伸图像以获得子背景图像,将所述子背景图像映射到所述数值范围中获取第二拉伸图像,将所述第二拉伸图像减去所述特征图像得到目标图像,并二值化所述目标图像;
所述图像去重合模块用于将所有帧的目标窗口进行图像去重合处理,对所有帧的目标窗口是否重合进行判定,对有重合区域的目标窗口进行置信度判定,留下置信度高的目标窗口,去除置信度低的目标窗口,从而得到包含车辆的目标区域;
所述输出模块用于输出目标区域坐标。
8.如权利要求7所述的基于图像分层技术的车辆检测系统,其特征在于,还包括滤波模块,所述滤波模块在获取特征图像后,对所述特征图像进行均值滤波,增强所述特征图像的边缘部分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710154585.6A CN108629226B (zh) | 2017-03-15 | 2017-03-15 | 一种基于图像分层技术的车辆检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710154585.6A CN108629226B (zh) | 2017-03-15 | 2017-03-15 | 一种基于图像分层技术的车辆检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108629226A CN108629226A (zh) | 2018-10-09 |
CN108629226B true CN108629226B (zh) | 2021-10-22 |
Family
ID=63686767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710154585.6A Active CN108629226B (zh) | 2017-03-15 | 2017-03-15 | 一种基于图像分层技术的车辆检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108629226B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109960978A (zh) * | 2017-12-25 | 2019-07-02 | 大连楼兰科技股份有限公司 | 基于图像分层技术的车辆检测系统及装置 |
CN109960979A (zh) * | 2017-12-25 | 2019-07-02 | 大连楼兰科技股份有限公司 | 基于图像分层技术的车辆检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013142961A (ja) * | 2012-01-10 | 2013-07-22 | Kddi Corp | 画像中の特徴点を検出する特徴点検出プログラム、画像処理装置及び方法 |
CN103399893A (zh) * | 2013-07-23 | 2013-11-20 | 中国科学技术大学 | 一种基于分层感知的目标检索方法 |
CN104021553A (zh) * | 2014-05-30 | 2014-09-03 | 哈尔滨工程大学 | 一种基于像素点分层的声纳图像目标检测方法 |
WO2015078185A1 (zh) * | 2013-11-29 | 2015-06-04 | 华为技术有限公司 | 卷积神经网络和基于卷积神经网络的目标物体检测方法 |
CN106407975A (zh) * | 2016-08-24 | 2017-02-15 | 南京理工大学 | 基于空间‑光谱结构约束的多尺度分层目标检测方法 |
-
2017
- 2017-03-15 CN CN201710154585.6A patent/CN108629226B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013142961A (ja) * | 2012-01-10 | 2013-07-22 | Kddi Corp | 画像中の特徴点を検出する特徴点検出プログラム、画像処理装置及び方法 |
CN103399893A (zh) * | 2013-07-23 | 2013-11-20 | 中国科学技术大学 | 一种基于分层感知的目标检索方法 |
WO2015078185A1 (zh) * | 2013-11-29 | 2015-06-04 | 华为技术有限公司 | 卷积神经网络和基于卷积神经网络的目标物体检测方法 |
CN104021553A (zh) * | 2014-05-30 | 2014-09-03 | 哈尔滨工程大学 | 一种基于像素点分层的声纳图像目标检测方法 |
CN106407975A (zh) * | 2016-08-24 | 2017-02-15 | 南京理工大学 | 基于空间‑光谱结构约束的多尺度分层目标检测方法 |
Non-Patent Citations (3)
Title |
---|
"An HMM segmentation method based statistical layered model for an image of vehicle";Zhang Bo-ping等;《2010 International Conference on Networking and Digital Society》;20100607;第385-389页 * |
"基于分层光流场的运动车辆检测与跟踪";聂小燕等;《实验技术与管理》;20121130;第29卷(第11期);第50-53页 * |
"基于遥感图像分层特征的机场目标识别系统研究";张军;《天津职业技术师范大学学报》;20110630;第21卷(第2期);第1-5页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108629226A (zh) | 2018-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107463918B (zh) | 基于激光点云与影像数据融合的车道线提取方法 | |
CN105488454B (zh) | 基于单目视觉的前方车辆检测与测距 | |
EP2811423B1 (en) | Method and apparatus for detecting target | |
CN110866430B (zh) | 一种车牌识别方法及装置 | |
CN104778721A (zh) | 一种双目图像中显著性目标的距离测量方法 | |
CN108399403B (zh) | 一种基于车牌尺寸计算的车距检测方法 | |
CN108280450A (zh) | 一种基于车道线的高速公路路面检测方法 | |
CN106980855B (zh) | 交通标志快速识别定位系统及方法 | |
CN107886034B (zh) | 行车提醒方法、装置及车辆 | |
CN107909009B (zh) | 一种基于路面学习的障碍物检测方法与装置 | |
CN112825192B (zh) | 基于机器学习的对象辨识系统及其方法 | |
CN106951898B (zh) | 一种车辆候选区域推荐方法及系统、电子设备 | |
JPWO2008020544A1 (ja) | 車両検知装置,車両検知方法並びに車両検知プログラム | |
CN111539980B (zh) | 一种基于可见光的多目标追踪方法 | |
CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
JPWO2017145634A1 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP3800785B2 (ja) | 白線認識装置 | |
CN110675442B (zh) | 一种结合目标识别技术的局部立体匹配方法及系统 | |
Zou et al. | Path voting based pavement crack detection from laser range images | |
CN108629226B (zh) | 一种基于图像分层技术的车辆检测方法及系统 | |
CN108629225B (zh) | 一种基于多幅子图与图像显著性分析的车辆检测方法 | |
Ryu et al. | Feature-based pothole detection in two-dimensional images | |
Hernández et al. | Lane marking detection using image features and line fitting model | |
CN108268866B (zh) | 一种车辆检测方法和系统 | |
Khaliluzzaman et al. | Zebra-crossing detection based on geometric feature and vertical vanishing point |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |