CN104881661B - 基于结构相似度的车辆检测方法 - Google Patents
基于结构相似度的车辆检测方法 Download PDFInfo
- Publication number
- CN104881661B CN104881661B CN201510351724.5A CN201510351724A CN104881661B CN 104881661 B CN104881661 B CN 104881661B CN 201510351724 A CN201510351724 A CN 201510351724A CN 104881661 B CN104881661 B CN 104881661B
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- vehicle
- msub
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Abstract
本发明基于结构相似度的车辆检测方法，涉及图像的结构分析，步骤是：第一步，车辆假设区域的标记：获取路面自由驾驶区域、设置路面感兴趣区域、生成路面对称区域、标记路面车辆假设区域；第二步，车辆假设区域的验证：车辆结构相似度特征的提取和训练、提取车辆假设区域的车辆结构相似度特征、对车辆假设区域的车辆结构相似度特征进行验证；该方法降低了车辆检测系统的成本，提高了车辆检测系统的效率和识别精度，具有普遍的适用性。
Description
技术领域
本发明的技术方案涉及图像的结构分析，具体地说是基于结构相似度的车辆检测方法。
背景技术
汽车在极大地方便人类生活的同时也带来了大量问题，如交通安全问题、经常性的交通拥挤和环境污染。全球每年发生的道路交通事故给人们的生命和财产造成巨大损失，如何有效地提高汽车行驶安全性已经成为各国政府和研究机构共同面对的问题。统计事故表明，司机面临的主要危险来自路面的其他车辆，研究发展车辆辅助驾驶系统(DriverAssistance System,DAS)具有重要意义。
车辆检测是辅助驾驶系统中的重要组成部分，现有的车辆检测方法存在的主要问题是由于交通场景复杂，很难在保证识别率的前提下达到实时性的要求。因此，研究复杂交通场景的车辆实时识别具有重要的科研意义。
美国内华达大学Sun团队使用Gabor滤波器，在不同尺寸下检测图像的水平边缘和垂直边缘得到车辆假设，提出了一种设计Gabor滤波器的通用方法，即以SVM的分类精度为评价标准，运用遗传算法优化Gabor滤波器参数，得到一组性能最佳的滤波器，但由于需要搜索不同尺寸和距离的车辆带来了巨大的计算量，所需的硬件设备性能要求较高，而识别性能低于人们的期望。韩国全南国立大学的Song团队利用虚拟顶点视图和垂直对称性得到车辆假设，提取Haar-like小波特征，训练AdaBoost分类器，但该方法对边缘特征和线特征较为敏感，当前向车辆距离较远时，容易产生误识别。另外，当图像或视频的背景环境中出现建筑物、云彩和花卉等繁杂物体时，分类器会产生一定的误识别。CN102682455A公开了一种基于单目视觉的前方车辆检测方法，该方法通过对采集到的图像进行预处理，求取路面平均灰度阈值，分割出车底阴影的位置作为假设区域，再利用滤波处理，对车底阴影线条融合，继而提取图像的目标信息作为当前帧的结果，再与前一帧结果进行匹配，根据匹配结果对当前帧进行分类判决。该方法算法上可行，但对于非阳光直射天气下车底阴影位置偏移，以及复杂道路环境下路面包含非车辆阴影信息未予考虑，不具有普遍的适用性。
发明内容
本发明所要解决的技术问题是：提供基于结构相似度的车辆检测方法，利用车辆本身具有的结构连续性，采用结构相似度算法，将提取到的特征数据输入SVM中训练分类器，由此完成车辆检测。该方法降低了车辆检测系统的成本，提高了车辆检测系统的效率和识别精度，具有普遍的适用性。
本发明解决该技术问题所采用的技术方案是：基于结构相似度的车辆检测方法，具体步骤如下：
第一步，车辆假设区域的标记：
车辆假设区域是指路面上可能存在车辆的区域，该区域的生成过程和方法如下：
(1)获取路面自由驾驶区域：
将车载摄像机采集到的道路交通情况图像由RGB空间转化到灰度空间，采用的公式(1)如下：
Gray＝0.299R+0.587G+0.114B (1)，
利用路面区域的平整一致的特性，将获得的灰度图像利用Canny边缘检测算法对整幅图像提取边缘，将边缘图像中每一列的像素点自底向上进行扫描，直到遇到边缘像素点为止，将未扫描过的区域去除，剩下的区域设置为自由驾驶区域，Canny算子模板如下公式(2)所示，其中Sx为水平算子,Sy为垂直算子，
(2)设置路面感兴趣区域：
在上述(1)步获取路面自由驾驶区域后，在道路交通图像上去除该区域，将剩余的部分设置为路面感兴趣区域；
(3)生成路面对称区域：
对上述(2)步设置的路面感兴趣区域提取水平边缘和垂直边缘，利用车辆具有良好的对称性，且是关于中心轴对称，关于两边垂直边缘不对称这一特征，利用Sobel边缘检测算子对路面感兴趣区域进行边缘提取，采用3×3模板获取边缘信息，Sobel边缘检测算子模板如公式(3)所示，其中Gx为水平算子，Gy为垂直算子，
在用Sobel边缘检测算子提取完边缘图像后，对生成的边缘图像利用滑动窗口对该区域的边缘图像像素进行行扫描，窗口初始大小为40×40像素，每扫描一遍上述(2)步的路面感兴趣区域，窗口大小提高为1.2倍，共扫描6次，利用如下公式(4)计算对称度，将对称度较高的点拟合成对称轴，由此生成路面对称区域，
式中G(i,j-k)和G(i,j+k)为原始图像中以k为半径关于(i,j)点对称的像素点灰度值，i和j为对称轴的横纵坐标，C为计算对称轴时所考虑的宽度，bottom和top表示滑动窗口的垂直坐标的最小值和最大值，由区域窗口大小来决定，S值越小就表示此位置对称度越大；
(4)标记路面车辆假设区域：
上述道路交通情况图像中车辆宽度与车辆实际宽度存在等比的变化关系，通过统计车辆在这些图像中的宽度范围，将宽度阈值范围之内的上述(3)步生成的路面对称区域标记为路面车辆假设区域，否则排除该区域；
第二步，车辆假设区域的验证：
车辆假设区域的验证是采用模式识别的方法完成，首先提取训练样本的结构相似度特征，然后利用这些特征训练分类器，进而对车辆假设区域进行验证，具体步骤如下：
(5)车辆结构相似度特征的提取和训练：
在离线情况下，对公共车辆数据库GTI中的数据样本进行裁剪，并采用双线性插值算法实现图像的尺寸归一化，经过归一化的车辆图像大小为64×64像素，对处理好的车辆图像提取结构相似度特征，将车辆图像分块，用结构相似度算法SSIM计算每块中心细胞与其他相邻的8个细胞的结构相似度，由此获取特征向量并组合成块内特征向量，再将整幅图像内的所有块的特征向量整合，形成一幅图像的最终车辆结构相似度特征数据，其中块大小为24×24像素，细胞大小为8×8像素，移动步长大小为8×8像素，特征维度为432维，由此提取车辆结构相似度特征，再将提取到的车辆结构相似度特征数据输入SVM训练分类器；
(6)提取车辆假设区域的车辆结构相似度特征：
对第一步标记的车辆假设区域，利用双线性插值算法进行尺度归一化处理，统一归一化为64×64像素，再利用上述步骤(5)中的车辆结构相似度特征的提取方法提取该区域的车辆结构相似度特征；
(7)对车辆假设区域的车辆结构相似度特征进行验证：
使用离线训练好的SVM分类器对步骤(6)提取的车辆假设区域的车辆结构相似度特征进行验证，如果识别为车辆，则标记该车辆位置，如果识别为非车辆，则删除该假设区域，进而验证下一个车辆假设区域，由此完成车辆检测。
上述基于结构相似度的车辆检测方法，所述结构相似度算法SSIM，是通过亮度比较l(x,y)、对比度比较c(x,y)和结构比较s(x,y)，以确定细胞间的相似度，最终用来整合成结构相似度特征，其中SSIM公式如下：
SSIM(x,y)＝[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ (8)，
上述参量式中μx和μy分别为块内细胞x和中心细胞y的平均亮度值，作为亮度估计；σx和σy分别为块内细胞x和中心细胞y的标准差，作为对比度估计；σxy为块内细胞x和中心细胞y的亮度相关系数；C1、C2和C3是为了避免公式中分母值较小时引起的不稳定而增加的极小的固定正常量；K1、K2为固定常量，L为像素值的动态范围。
上述基于结构相似度的车辆检测方法，所述SVM分类器是公知的，所涉及的设备是本技术领域熟知并可通过商购途径获得的。
本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：
(1)本发明方法在车辆假设区域生成步骤中，相对于现有车辆检测方法在全幅图像进行搜索导致的识别速度低的缺陷，通过求取自由驾驶区域来确定感兴趣区域，大幅度减小了检测的范围，提高了车辆检测系统的效率。
(2)本发明方法克服现有假设区域生成中常用的车底阴影方法对光照角度、路面阴影信息较为敏感，从而导致识别性能低、使用条件苛刻的缺陷，采用车辆对称特征检测车辆位置，通过对车辆水平垂直边缘的对称性判断来生成假设区域，普遍适用于各种气候环境下。
(3)本发明方法在车辆假设区域验证步骤中，利用车辆本身具有的结构连续性，采用结构相似度算法即SSIM，将提取到的结构相似度特征输入SVM中训练分类器。这种结构相似度特征能够对车辆特征进行很好的描述，具有很高的识别精度，进一步提高了车辆检测系统的实用。
(4)本发明方法提高了车辆检测的准确性，以及车辆假设区域生成和结构相似度特征提取的速度，使得该方法更具有实际的应用价值。
下面的实施例对本发明的突出的实质性特点和显著进步作了进一步的证明。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明方法利用车载摄像机采集的道路交通情况图像示意图；
图2为本发明基于结构相似度的车辆检测方法步骤流程示意图；
图3为本发明方法中提取车辆结构相似度特征的操作方式示意图；
图4(a)为本发明方法中车辆假设区域的标记方法的结果示意图；
图4(b)为本发明方法中车辆假设区域的验证方法的结果示意图；
具体实施方式
图1所示实施例示意显示本发明方法利用车载摄像机采集的不同光照和道路情况的道路交通情况图像。所用车载摄像机为车载单目摄像机。
图2所示实施例表明，本发明基于结构相似度的车辆检测方法步骤流程是：
进一步作详细说明：第一步，车辆假设区域的标记：首先将采集到的道路交通情况图像由RGB空间转化到灰度空间，采用的公式如公式(1)所示；其次利用路面区域的平整一致的特性，将获得的灰度图像利用Canny边缘检测算法对整幅图像提取边缘，将边缘图像中每一列的像素点自底向上进行扫描，直到遇到边缘像素点为止，将未扫描过的区域去除剩下的区域设置为自由驾驶区域，Canny算子模板如公式(2)所示，其中Sx为水平算子，Sy为垂直算子；获取路面自由驾驶区域后，在道路交通情况图像上去除该区域，以达到减少检测区域的目的，将原图中剩余区域设置为路面感兴趣区域。对路面感兴趣区域提取水平边缘和垂直边缘，利用车辆具有良好的对称性，且是关于中心轴对称这一特征，采用Sobel边缘检测算子对路面感兴趣区域进行边缘提取，对生成的边缘图像利用滑动窗口对该区域的边缘图像像素进行行扫描，窗口初始大小为40×40像素，每扫描一遍感兴趣区域窗口大小提高为1.2倍，共扫描6次。利用公式(4)计算对称度，将对称度较高的点拟合成对称轴，生成对称区域；最后利用图像中车辆宽度与车辆实际宽度存在等比的变化关系，若该区域在宽度阈值范围之内则标记为路面车辆假设区域，否则排除该区域。
第二步，车辆假设区域的验证：离线情况下，对输入公共车辆数据库GTI中的数据样本进行裁剪，并对数据样本进行尺寸归一化处理，即采用双线性插值算法实现图像的尺寸归一化，经过归一化的车辆图像大小为64×64像素，保证提取特征维度的一致性，然后计算车辆结构相似度特征，即对处理好的车辆图像提取车辆结构相似度特征，将车辆图像分块，计算每块中心细胞与其他相邻的8个细胞的结构相似度，该结构相似度的算法也称为SSIM，由此获取特征向量并组合成块内特征向量，再将整幅图像内的所有块的特征向量整合，形成一幅图像的最终特征数据，其中块大小为24×24像素，细胞大小为8×8像素，移动步长大小为8×8像素，特征维度为432像素，将提取到的车辆结构相似度特征数据输入SVM中训练分类器。利用双线性插值算法对第一步生成的车辆假设区域进行尺度归一化处理，统一归一化为64×64像素，对归一化后的车辆假设区域提取车辆结构相似度特征，使用离线训练好的SVM分类器对车辆假设区域的车辆结构相似度特征进行验证，如果识别为车辆，则标记该车辆位置，如果识别为非车辆，则删除该假设区域，进而验证下一个车辆假设区域，由此完成车辆检测。
其中结构相似度算法SSIM是通过亮度比较l(x,y)、对比度比较c(x,y)和结构比较s(x,y)确定细胞间的相似度，最终用来整合成结构相似度特征，其中SSIM公式如公式(5)、公式(6)、公式(7)和公式(8)所示。
图3所示实施例显示在提取车辆结构相似度特征的操作中块和细胞的划分情况，其中块大小为24×24像素，细胞大小为8×8像素，移动步长大小为8×8像素，特征维度为432维。
图4(a)所示实施例显示本发明方法中车辆假设区域的标记方法的结果，即利用本发明方法中提出的车辆假设区域标记方法对采集到的图像进行处理的结果。图中生成的车辆假设区域既包含车辆区域也包含非车辆区域，需要利用模式识别的方法进一步对所有的车辆假设区域进行验证。
图4(b)所示实施例显示本发明方法中车辆假设区域的验证方法的结果，利用本发明方法提出的车辆结构相似度特征对所有生成的车辆假设区域进行验证，是排除了非车辆区域之后得到的车辆区域结果。
实施例
本实施例基于结构相似度的车辆检测方法的具体步骤如下：
第一步，车辆假设区域的标记：
车辆假设区域是指路面上可能存在车辆的区域，该区域的生成过程和方法如下：
(1)获取路面自由驾驶区域：
将车载摄像机采集到的道路交通情况图像由RGB空间转化到灰度空间，采用的公式(1)如下：
Gray＝0.299R+0.587G+0.114B (1)，
利用路面区域的平整一致的特性，将获得的灰度图像利用Canny边缘检测算法对整幅图像提取边缘，将边缘图像中每一列的像素点自底向上进行扫描，直到遇到边缘像素点为止，将未扫描过的区域去除，剩下的区域设置为自由驾驶区域，Canny算子模板如下公式(2)所示，其中Sx为水平算子,Sy为垂直算子，
(2)设置路面感兴趣区域：
在上述(1)步获取路面自由驾驶区域后，在道路交通图像上去除该区域，将剩余的部分设置为路面感兴趣区域；
(3)生成路面对称区域：
对上述(2)步设置的路面感兴趣区域提取水平边缘和垂直边缘，利用车辆具有良好的对称性，且是关于中心轴对称，关于两边垂直边缘不对称这一特征，利用Sobel边缘检测算子对路面感兴趣区域进行边缘提取，采用3×3模板获取边缘信息，Sobel边缘检测算子模板如公式(3)所示，其中Gx为水平算子，Gy为垂直算子，
在用Sobel边缘检测算子提取完边缘图像后，对生成的边缘图像利用滑动窗口对该区域的边缘图像像素进行行扫描，窗口初始大小为40×40像素，每扫描一遍上述(2)步的路面感兴趣区域，窗口大小提高为1.2倍，共扫描6次，利用如下公式(4)计算对称度，将对称度较高的点拟合成对称轴，由此生成路面对称区域，
式中G(i,j-k)和G(i,j+k)为原始图像中以k为半径关于(i,j)点对称的像素点灰度值，i和j为对称轴的横纵坐标，C为计算对称轴时所考虑的宽度，bottom和top表示滑动窗口的垂直坐标的最小值和最大值，由区域窗口大小来决定，S值越小就表示此位置对称度越大；
(4)标记路面车辆假设区域：
上述道路交通情况图像中车辆宽度与车辆实际宽度存在等比的变化关系，通过统计车辆在这些图像中的宽度范围，将宽度阈值范围之内的上述(3)步生成的路面对称区域标记为路面车辆假设区域，否则排除该区域；
第二步，车辆假设区域的验证：
车辆假设区域的验证是采用模式识别的方法完成，首先提取训练样本的结构相似度特征，然后利用这些特征训练分类器，进而对车辆假设区域进行验证，具体步骤如下：
(5)车辆结构相似度特征的提取和训练：
在离线情况下，对公共车辆数据库GTI中的数据样本进行裁剪，并采用双线性插值算法实现图像的尺寸归一化，经过归一化的车辆图像大小为64×64像素，对处理好的车辆图像提取车辆结构相似度特征，将车辆图像分块，用结构相似度算法SSIM计算每块中心细胞与其他相邻的8个细胞的结构相似度，由此获取特征向量并组合成块内特征向量，再将整幅图像内的所有块的特征向量整合，形成一幅图像的最终车辆结构相似度特征数据，其中块大小为24×24像素，细胞大小为8×8像素，移动步长大小为8×8像素，特征维度为432维，由此提取车辆结构相似度特征，再将提取到的车辆结构相似度特征数据输入SVM训练分类器；
(6)提取车辆假设区域的车辆结构相似度特征：
对第一步标记的车辆假设区域，利用双线性插值算法进行尺度归一化处理，统一归一化为64×64像素，再利用上述步骤(5)中的车辆结构相似度特征的提取方法提取该区域的车辆结构相似度特征；
(7)对车辆假设区域的车辆结构相似度特征进行验证：
使用离线训练好的SVM分类器对步骤(6)提取的车辆假设区域的车辆结构相似度特征进行验证，如果识别为车辆，则标记该车辆位置，如果识别为非车辆，则删除该假设区域，进而验证下一个车辆假设区域，由此完成车辆检测。
上述基于结构相似度的车辆检测方法，所述结构相似度算法SSIM，是通过亮度比较l(x,y)、对比度比较c(x,y)和结构比较s(x,y)，以确定细胞间的相似度，最终用来整合成结构相似度特征，其中SSIM公式如下：
SSIM(x,y)＝[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ (8)，
上述参量式中μx和μy分别为块内细胞x和中心细胞y的平均亮度值，作为亮度估计；σx和σy分别为块内细胞x和中心细胞y的标准差，作为对比度估计；σxy为块内细胞x和中心细胞y的亮度相关系数；C1、C2和C3是为了避免公式中分母值较小时引起的不稳定而增加的极小的固定正常量；K1、K2为固定常量，L为像素值的动态范围。
本实施例的基于结构相似度的车辆检测方法是利用VS2013和OPENCV平台实现的，并分别对正常光照、弱光照、强光照下采集的道路视频进行车辆检测实验，处理器是英特尔I7-3630，8G内存，使用的道路视频是由单目的行车记录仪(即车载单目摄像机)在白天采集的，采集的工况包含晴天(正常光照和强光照)、阴天(弱光照)天气条件，道路为天津市主要的高速公路和环路。视频图像大小为640×860像素，帧率为25帧每秒。为了对本实施例的方法进行有效的评估，从不同时间、场景的3.5个小时视频中提取1500帧包括不同颜色、不同类型车辆的图像(共计5347部车辆)进行了实验分析，前方车辆的准确检测率为97.71％，误检率为1.28％，漏检率1.01％，平均每帧耗时126ms。本实施例的操作中，每秒可以处理8帧图像，以驾驶时速为80km/h计算，车辆每秒行驶22.2m，算法将以每2.85m的间隔更新一次障碍物信息。如按60km/h计算，更新距离将缩短至2.08m，能够满足车辆安全驾驶的实时性要求。
为了验证本发明方法在车辆识别率上的优势，本实施例选取常用于车辆检测的Gabor、HOG和颜色相似特征进行比较，利用SVM分类器训练，在公共车辆数据库GTI上进行前向、左侧、右侧及远处车辆的识别对比实验。表1列出了车辆识别结果，其中训练测试样本的选择方式为随机选择每类图片的一半作为训练样本，剩下的一半为测试样本，保证了训练与测试样本不重复出现，更能保证实验结果的普遍性和正确性。
表1不同算法在SVM分类器下的车辆识别率
结果表明，在本实施例的基于结构相似度的车辆检测方法中，提取车辆结构相似度特征的检测方法在特征维度较低的情况下，算法效率及识别率明显优于提取HOG、Gabor特征和颜色相似度的检测方法，平均识别率达到97.18％。
本实施例中所述SVM分类器是公知的，所涉及的设备是本技术领域熟知并可通过商购途径获得的。
Claims (2)
1.基于结构相似度的车辆检测方法，其特征在于具体步骤如下：
第一步，车辆假设区域的标记：
车辆假设区域是指路面上可能存在车辆的区域，该区域的生成过程和方法如下：
(1)获取路面自由驾驶区域：
将车载摄像机采集到的道路交通情况图像由RGB空间转化到灰度空间，采用的公式(1)如下：
Gray＝0.299R+0.587G+0.114B (1)，
利用路面区域的平整一致的特性，将获得的灰度图像利用Canny边缘检测算法对整幅图像提取边缘，将边缘图像中每一列的像素点自底向上进行扫描，直到遇到边缘像素点为止，将未扫描过的区域去除，剩下的区域设置为自由驾驶区域，Canny算子模板如下公式(2)所示，其中Sx为水平算子,Sy为垂直算子，
<mrow>
<msub>
<mi>S</mi>
<mi>x</mi>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<msub>
<mi>S</mi>
<mi>y</mi>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
(2)设置路面感兴趣区域：
在上述步骤(1)获取路面自由驾驶区域后，在道路交通图像上去除该区域，将剩余的部分设置为路面感兴趣区域；
(3)生成路面对称区域：
对上述步骤(2)设置的路面感兴趣区域提取水平边缘和垂直边缘，利用车辆具有良好的对称性，且是关于中心轴对称，关于两边垂直边缘不对称这一特征，利用Sobel边缘检测算子对路面感兴趣区域进行边缘提取，采用3×3模板获取边缘信息，Sobel边缘检测算子模板如公式(3)所示，其中Gx为水平算子，Gy为垂直算子，
<mrow>
<msub>
<mi>G</mi>
<mi>x</mi>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>2</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<msub>
<mi>G</mi>
<mi>y</mi>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>2</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
在用Sobel边缘检测算子提取完边缘图像后，对生成的边缘图像利用滑动窗口对该区域的边缘图像像素进行行扫描，窗口初始大小为40×40像素，每扫描一遍上述步骤(2)的路面感兴趣区域，窗口大小提高为1.2倍，共扫描6次，利用如下公式(4)计算对称度，将对称度较高的点拟合成对称轴，由此生成路面对称区域，
<mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>C</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mi>b</mi>
<mi>o</mi>
<mi>t</mi>
<mi>t</mi>
<mi>o</mi>
<mi>m</mi>
</mrow>
<mrow>
<mi>t</mi>
<mi>o</mi>
<mi>p</mi>
</mrow>
</munderover>
<mo>|</mo>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>-</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>+</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
式中G(i,j-k)和G(i,j+k)为原始图像中以k为半径关于(i,j)点对称的像素点灰度值，i和j为对称轴的横纵坐标，C为计算对称轴时所考虑的宽度，bottom和top表示滑动窗口的垂直坐标的最小值和最大值，由区域窗口大小来决定，S(i)值越小就表示此位置对称度越大；
(4)标记路面车辆假设区域：
上述道路交通情况图像中车辆宽度与车辆实际宽度存在等比的变化关系，通过统计车辆在这些图像中的宽度范围，将宽度阈值范围之内的上述步骤(3)生成的路面对称区域标记为路面车辆假设区域，否则排除该区域；
第二步，车辆假设区域的验证：
车辆假设区域的验证是采用模式识别的方法完成，首先提取训练样本的结构相似度特征，然后利用这些特征训练分类器，进而对车辆假设区域进行验证，具体步骤如下：
(5)车辆结构相似度特征的提取和训练：
在离线情况下，对公共车辆数据库GTI中的数据样本进行裁剪，并采用双线性插值算法实现图像的尺寸归一化，经过归一化的车辆图像大小为64×64像素，对处理好的车辆图像提取结构相似度特征，将车辆图像分块，用结构相似度算法SSIM计算每块中心细胞与其他相邻的8个细胞的结构相似度，由此获取特征向量并组合成块内特征向量，再将整幅图像内的所有块的特征向量整合，形成一幅图像的最终车辆结构相似度特征数据，其中块大小为24×24像素，细胞大小为8×8像素，移动步长大小为8×8像素，特征维度为432维，由此提取车辆结构相似度特征，再将提取到的车辆结构相似度特征数据输入SVM训练分类器；
(6)提取车辆假设区域的车辆结构相似度特征：
对第一步标记的车辆假设区域，利用双线性插值算法进行尺度归一化处理，统一归一化为64×64像素，再利用上述步骤(5)中的车辆结构相似度特征的提取方法提取该区域的车辆结构相似度特征；
(7)对车辆假设区域的车辆结构相似度特征进行验证：
使用离线训练好的SVM分类器对步骤(6)提取的车辆假设区域的车辆结构相似度特征进行验证，如果识别为车辆，则标记该车辆位置，如果识别为非车辆，则删除该假设区域，进而验证下一个车辆假设区域，由此完成车辆检测。
2.根据权利要求1所述基于结构相似度的车辆检测方法，其特征在于：所述结构相似度算法SSIM，是通过亮度比较l(x,y)、对比度比较c(x,y)和结构比较s(x,y)，以确定细胞间的相似度，最终用来整合成结构相似度特征，其中SSIM公式如下：
<mrow>
<mi>l</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msub>
<mi>&mu;</mi>
<mi>x</mi>
</msub>
<msub>
<mi>&mu;</mi>
<mi>y</mi>
</msub>
<mo>+</mo>
<msub>
<mi>C</mi>
<mn>1</mn>
</msub>
</mrow>
<mrow>
<msubsup>
<mi>&mu;</mi>
<mi>x</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>&mu;</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msub>
<mi>C</mi>
<mn>1</mn>
</msub>
</mrow>
</mfrac>
<mo>,</mo>
<msub>
<mi>C</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>K</mi>
<mn>1</mn>
</msub>
<mi>L</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
<mrow>
<mi>c</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msub>
<mi>&sigma;</mi>
<mi>x</mi>
</msub>
<msub>
<mi>&sigma;</mi>
<mi>y</mi>
</msub>
<mo>+</mo>
<msub>
<mi>C</mi>
<mn>2</mn>
</msub>
</mrow>
<mrow>
<msubsup>
<mi>&sigma;</mi>
<mi>x</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>&sigma;</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msub>
<mi>C</mi>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<mo>,</mo>
<msub>
<mi>C</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>K</mi>
<mn>2</mn>
</msub>
<mi>L</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
<mrow>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msub>
<mi>&sigma;</mi>
<mrow>
<mi>x</mi>
<mi>y</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>C</mi>
<mn>3</mn>
</msub>
</mrow>
<mrow>
<msub>
<mi>&sigma;</mi>
<mi>x</mi>
</msub>
<msub>
<mi>&sigma;</mi>
<mi>y</mi>
</msub>
<mo>+</mo>
<msub>
<mi>C</mi>
<mn>3</mn>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
SSIM(x,y)＝[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ (8)，
上述SSIM公式中μx和μy分别为块内细胞x和中心细胞y的平均亮度值，作为亮度估计；σx和σy分别为块内细胞x和中心细胞y的标准差，作为对比度估计；σxy为块内细胞x和中心细胞y的亮度相关系数；C1、C2和C3是为了避免公式中分母值较小时引起的不稳定而增加的极小的固定正常量；K1、K2为固定常量，L为像素值的动态范围。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510351724.5A CN104881661B (zh) | 2015-06-23 | 2015-06-23 | 基于结构相似度的车辆检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510351724.5A CN104881661B (zh) | 2015-06-23 | 2015-06-23 | 基于结构相似度的车辆检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104881661A CN104881661A (zh) | 2015-09-02 |
| CN104881661B true CN104881661B (zh) | 2018-02-13 |
Family
ID=53949148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510351724.5A Active CN104881661B (zh) | 2015-06-23 | 2015-06-23 | 基于结构相似度的车辆检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104881661B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105373586A (zh) * | 2015-10-14 | 2016-03-02 | 浙江宇视科技有限公司 | 一种车辆查询方法及装置 |
| CN107122734A (zh) * | 2017-04-25 | 2017-09-01 | 武汉理工大学 | 一种基于机器视觉和机器学习的运动车辆检测算法 |
| CN107766789B (zh) * | 2017-08-21 | 2020-05-29 | 浙江零跑科技有限公司 | 一种基于车载单目相机的车辆检测定位方法 |
| CN109724137A (zh) * | 2018-07-23 | 2019-05-07 | 永康市蜂蚁科技有限公司 | 多功能铜铝复合供暖管 |
| CN110599781A (zh) * | 2019-09-23 | 2019-12-20 | 潍坊畅讯交通设施工程有限公司 | 一种智慧化城市的车流统计识别系统 |
| CN110852290B (zh) * | 2019-11-16 | 2022-07-12 | 公安部交通管理科学研究所 | 一种大规模车辆特征向量相似度比较方法 |
| JP7293100B2 (ja) * | 2019-12-17 | 2023-06-19 | 日立Astemo株式会社 | カメラシステム |
| CN114049771A (zh) * | 2022-01-12 | 2022-02-15 | 华砺智行(武汉)科技有限公司 | 基于双模态的交通异常检测方法、系统和存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679205A (zh) * | 2013-12-23 | 2014-03-26 | 湖南大学 | 基于阴影假设和分层hog对称特征验证的前车检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110081087A1 (en) * | 2009-10-02 | 2011-04-07 | Moore Darnell J | Fast Hysteresis Thresholding in Canny Edge Detection |
-
2015
- 2015-06-23 CN CN201510351724.5A patent/CN104881661B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679205A (zh) * | 2013-12-23 | 2014-03-26 | 湖南大学 | 基于阴影假设和分层hog对称特征验证的前车检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| Image quality assessment: from error visibility to structural similarity;Zhou Wang等;《IEEE Transactions on Image Processing》;20040430;第13卷(第4期);第600-612页 * |
| 交通视频中利用多特征抑制车辆阴影;于明 等;《控制工程》;20130520;第20卷(第3期);第408-410、414页 * |
| 多车道场景下的视频车辆测速方法;于洋 等;《河北工业大学学报》;20110615;第40卷(第3期);第79-83页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104881661A (zh) | 2015-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104881661B (zh) | 基于结构相似度的车辆检测方法 | |
| CN102509098B (zh) | 一种鱼眼图像车辆识别方法 | |
| CN103902976B (zh) | 一种基于红外图像的行人检测方法 | |
| CN109190523B (zh) | 一种基于视觉的车辆检测跟踪预警方法 | |
| CN102737248B (zh) | 复杂路况下的车道线特征点提取方法与装置 | |
| CN103324930B (zh) | 一种基于灰度直方图二值化的车牌字符分割方法 | |
| CN102509291B (zh) | 基于无线网络视频传感器的公路路面病害检测及识别方法 | |
| CN103198315B (zh) | 基于字符轮廓和模板匹配的车牌字符分割算法 | |
| CN103021177B (zh) | 一种雾天交通监控视频图像的处理方法和系统 | |
| CN105488454A (zh) | 基于单目视觉的前方车辆检测与测距 | |
| CN103824081B (zh) | 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法 | |
| CN105574552A (zh) | 一种基于单目视觉的车辆测距与碰撞预警方法 | |
| CN103034843B (zh) | 一种基于单目视觉的夜间车辆检测方法 | |
| CN105404857A (zh) | 一种基于红外的夜间智能车前方行人检测方法 | |
| CN107886034B (zh) | 行车提醒方法、装置及车辆 | |
| CN103577809B (zh) | 一种基于智能驾驶的地面交通标志实时检测的方法 | |
| CN104008377A (zh) | 基于时空关联的地面交通标志实时检测识别方法 | |
| CN105447503A (zh) | 基于稀疏表示lbp和hog融合的行人检测方法 | |
| CN103268489A (zh) | 基于滑窗搜索的机动车号牌识别方法 | |
| CN108038416A (zh) | 车道线检测方法及系统 | |
| CN106446792A (zh) | 一种道路交通辅助驾驶环境下的行人检测特征提取方法 | |
| CN106940784A (zh) | 一种基于视频的公交车检测与识别方法及系统 | |
| CN103324958B (zh) | 一种复杂背景下基于投影法和svm的车牌定位方法 | |
| CN103679205A (zh) | 基于阴影假设和分层hog对称特征验证的前车检测方法 | |
| CN105930803A (zh) | 一种基于Edge Boxes的前车检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |