CN107463890A - 一种基于单目前视相机的前车检测与跟踪方法 - Google Patents

一种基于单目前视相机的前车检测与跟踪方法 Download PDF

Info

Publication number
CN107463890A
CN107463890A CN201710617541.2A CN201710617541A CN107463890A CN 107463890 A CN107463890 A CN 107463890A CN 201710617541 A CN201710617541 A CN 201710617541A CN 107463890 A CN107463890 A CN 107463890A
Authority
CN
China
Prior art keywords
vehicle
region
mrow
msub
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710617541.2A
Other languages
English (en)
Other versions
CN107463890B (zh
Inventor
缪其恒
孙焱标
王江明
许炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Zero Run Technology Co Ltd
Original Assignee
Zhejiang Zero Run Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Zero Run Technology Co Ltd filed Critical Zhejiang Zero Run Technology Co Ltd
Priority to CN201710617541.2A priority Critical patent/CN107463890B/zh
Publication of CN107463890A publication Critical patent/CN107463890A/zh
Application granted granted Critical
Publication of CN107463890B publication Critical patent/CN107463890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于单目前视相机的前车检测与跟踪方法。该方法包括以下步骤：S1：根据先验知识确定车辆检测ROI区域以及车辆检测ROI区域内滑窗搜索尺度范围，去除车辆检测ROI区域中未含显著纹理特征的区域，利用级联分类器，搜索特定尺度范围内的车辆位置；S2：对于自身车辆正前方的车辆，在车辆图像候选区域内，提取角点特征并利用光流算法跟踪此系列角点，对前车位置进行跟踪；对于自身车辆非正前方的车辆，采用基于运动学模型的卡尔曼滤波对前车位置进行跟踪；S3：根据车辆位置检测结果与车辆位置跟踪结果，计算当前时刻前方车辆位置置信度。本发明能够最大程度减少搜索范围，提升搜索效率，有效实现全距离范围车辆快速有效跟踪。

Description

一种基于单目前视相机的前车检测与跟踪方法
技术领域
本发明涉及车辆检测技术领域，尤其涉及一种基于单目前视相机的前车检测与跟踪方法。
背景技术
高级辅助驾驶系统(ADAS)是车辆主动安全发展的重要技术之一，已经逐步成为各国NCAP评价车辆安全等级的重要参考依据。前防撞预警(FCW)、车道偏离预警(LDW)等ADAS功能已经成为现有的中高端车型的标准配置。对于针对前方车辆的ADAS系统如FCW以及自动紧急制动系统(AEB)，不仅要求感知系统能够及时准确的检测出前方车辆，还要求系统能够准确的测量与预测前车相对于自身车辆的运动状态，以保证预警与辅助驾驶系统效果。此外，自动驾驶系统的实现要求车辆具备对周围环境的高度感知能力，包括对其他交通参与者的相对运动信息的判断。因此，感知系统不仅需要基于单帧图像准确的检测与计算前方车辆的相对位置，还需要基于时序图像准确计算该车辆的相对于自身车辆的运动状态。此外，ADAS系统对于感知算法的准确性以及实时性要求均较高，因此算法的设计与优化需要综合考虑空间与时间两个域度的因素。
现有FCW以及AEB系统大多基于视觉或毫米波雷达以及激光雷达传感器对前方车辆进行检测、跟踪并采取相应预警与辅助操作。毫米波雷达多目标区分度较差，激光雷达成本较高，刷新率低且对恶劣天气鲁棒性差。视觉系统相对成本较低，且系统适用工况较广。现有基于视觉传感的ADAS系统大多利用车辆边缘纹理、车辆对称性或底部阴影等特征定位车辆检测感兴趣区域(ROI)，之后利用基于梯度、直方图等图像特征训练的车辆检测分类器对此ROI区域内进行滑窗搜索车辆位置，并利用Kalman滤波对搜索结果进行跟踪。此类方法搜索耗时较久，并且无法检测与跟踪近距离轮廓不完整车辆。
发明内容
本发明为了解决上述技术问题，提供了一种基于单目前视相机的前车检测与跟踪方法，其利用先验信息，最大程度减少搜索范围提升搜索效率，此外还利用车道模型对正前方车辆采用基于图像特征点光流信息的跟踪方法，对于非正前方车辆采用基于运动学模型的卡尔曼滤波进行跟踪，可以有效实现全距离范围车辆快速有效跟踪。
为了解决上述问题，本发明采用以下技术方案予以实现：
本发明的一种基于单目前视相机的前车检测与跟踪方法，包括以下步骤：
S1：车辆位置检测：根据先验知识确定车辆检测ROI区域以及车辆检测ROI区域内滑窗搜索尺度范围，先验知识包括道路模型、车辆宽度范围、车辆高宽比范围，在设定的车辆检测ROI区域内，先利用显著性特征，去除车辆检测ROI区域中未含显著纹理特征的区域，得到车辆图像候选区域，再利用级联分类器，搜索特定尺度范围内的车辆位置；
S2：车辆位置跟踪：根据车辆检测结果判断前方车辆是否位于自身车辆正前方，对于自身车辆正前方的车辆，在车辆图像候选区域内，提取角点特征并利用光流算法跟踪此系列角点，对前车位置进行跟踪；对于自身车辆非正前方的车辆，采用基于运动学模型的卡尔曼滤波对前车位置进行跟踪；
S3：车辆位置检测与跟踪结果融合：根据车辆位置检测结果与车辆位置跟踪结果，计算当前时刻前方车辆位置置信度。
利用道路模型、车辆宽度范围、车辆高宽比范围这些先验信息以及图像显著性特征，减少搜索范围，提升搜索效率。对于自身车辆正前方的车辆，采用基于图像特征点光流信息的跟踪方法进行前车位置跟踪，对于非正前方车辆采用基于运动学模型的卡尔曼滤波进行跟踪，实现全距离范围车辆快速有效跟踪。
若车辆检测结果与车辆跟踪结果吻合，则该车辆位置置信度增加，反之置信度减小。
作为优选，所述步骤S1包括以下步骤：
S11：基于平面纵向道路模型假设，利用相机内外部参数，确定车辆检测ROI区域；
S12：利用边缘滤波，对车辆检测ROI区域进行边缘检测，利用阈值对边缘检测结果进行二值化，利用二值化结果生成感兴趣区域ROI mask，从ROI区域中去除边缘特征显著性较差区域，得到车辆图像候选区域；
S13：对ROI区域，根据道路模型与车辆宽度范围、车辆高宽比范围的先验知识，生成ROI区域滑窗搜索列表，利用预先生成的级联分类器，对滑窗搜索列表的图像内容进行二分类，确定滑窗搜索列表中车辆的相应图像位置；
S14：基于平面纵向道路模型假设，利用相机内外部参数，将车辆图像候选区域底部图像坐标逆透视变换至路面坐标系。
作为优选，所述步骤S13还包括以下步骤：利用车辆底部阴影信息对车辆图像候选区域下边缘进行优化。
作为优选，所述相机内外部参数包括焦距、相机高度h、相机相对车辆中轴线偏移量d以及相机俯仰角θ。
作为优选，所述ROI区域滑窗搜索列表的内容包括滑窗的左下角点坐标，滑窗宽度以及滑窗高宽比。
作为优选，所述级联分类器的生成方法包括以下步骤：
利用adaboost分类器，每一级弱分类器的训练过程为：初始化训练数据的权值分布，每个样本赋予同样的权重系数，训练过程中，若该样本被准确的分类，则降低该样本的权重系数，反之，则提高相应权重系数；反复迭代上述过程，产生若干弱分类器，最后级联各弱分类器生成最终强分类器。
级联各弱分类器可增大误差率小的弱分类器权重系数，减小误差率大的弱分类器权重系数。
作为优选，所述步骤S2包括以下步骤：
S21：根据车辆检测结果判断前方车辆是否位于自身车辆正前方，如果位于自身车辆正前方，则执行步骤S22，否则执行步骤S23；
S22：对正前方车辆图像候选区域提取角点特征，利用Lucas-Kanade光流方法计算角点特征的运动信息，并且更新角点特征位置；根据相邻两帧角点特征跟踪结果，基于区域相似性假设，利用RANSAC方法计算被检测车辆投影变换矩阵，更新车辆滑窗位置；
S23：基于匀速运动学模型，利用卡尔曼滤波对非正前方车辆进行跟踪，所使用的状态空间方程如下：
xt+1＝Axt+But+ωt
yt+1＝Cxt+ρt
其中，x为系统状态量，包括车辆的位置与位置变化信息，即[X，Y，dX，dY]T；y为系统观测量，包括车辆的位置信息，即[X，Y]T；ω，ρ分别为过程噪声和测量噪声；A、B、C是系统状态空间矩阵；t是离散时间步长序号。
作为优选，所述步骤S3包括以下步骤：先计算车辆位置检测结果与车辆位置跟踪结果的重合度o，重合度o计算公式如下：
其中，Sd为检测所得车辆图像区域面积，St为跟踪所得车辆图像区域面积，Sall为两者并集的图像区域面积；
如果重合度o大于50％，则视为检测到该车辆，如果重合度o小于或等于50％，则视为未检测到该车辆；
接着计算置信度Ct，置信度Ct计算公式如下：
其中，Cmax为置信度上限阈值；bool(dt)为是否检测到该车辆的二进制数值，1为检测到，0为未检测到；G1与G2为可配置增益参数。
作为优选，所述一种基于单目前视相机的前车检测与跟踪方法还包括步骤S4：车辆报文信息生成：根据车辆位置检测结果与车辆位置跟踪结果，生成相应车辆报文信息。
作为优选，所述车辆报文信息包括车辆身份编号ID、车辆位置信息(X，Y)、车辆相对运动信息(dX，dY)、车辆生命周期E、车辆置信度C。
本发明的有益效果是：利用图像显著性特征、道路以及车道模型等先验信息，最大程度减少搜索范围提升搜索效率，此外利用车道模型对当前车道近距离车辆(正前方车辆)采用基于图像特征点光流信息的跟踪方法，对于远距离以及其他车道车辆(非正前方车辆)采用基于运动学模型的卡尔曼滤波进行跟踪，可以有效实现全距离范围车辆快速有效跟踪。
附图说明
图1是本发明的方法流程图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：本实施例的一种基于单目前视相机的前车检测与跟踪方法，如图1所示，包括以下步骤：
S1：车辆位置检测：根据先验知识确定车辆检测ROI区域以及车辆检测ROI区域内滑窗搜索尺度范围，先验知识包括道路模型、车辆宽度范围、车辆高宽比范围，在设定的车辆检测ROI区域内，先利用显著性特征，去除车辆检测ROI区域中未含显著纹理特征的区域，得到车辆图像候选区域，再利用级联分类器，搜索特定尺度范围内的车辆位置；
S2：车辆位置跟踪：根据车辆检测结果判断前方车辆是否位于自身车辆正前方，对于自身车辆正前方的车辆，在车辆图像候选区域内，提取角点特征并利用光流算法跟踪此系列角点，对前车位置进行跟踪；对于自身车辆非正前方的车辆，采用基于运动学模型的卡尔曼滤波对前车位置进行跟踪；
S3：车辆位置检测与跟踪结果融合：根据车辆位置检测结果与车辆位置跟踪结果，计算当前时刻前方车辆位置置信度；
S4：车辆报文信息生成：根据车辆位置检测结果与车辆位置跟踪结果，生成相应车辆报文信息。
若车辆检测结果与车辆跟踪结果吻合，则该车辆位置置信度增加，反之置信度减小。车辆报文信息包括车辆身份编号ID、车辆位置信息(X，Y)、车辆相对运动信息(dX，dY)、车辆生命周期E、车辆置信度C等。
步骤S1包括以下步骤：
S11：基于平面纵向道路模型假设，利用相机内外部参数(包括焦距、相机高度h、相机相对车辆中轴线偏移量d以及相机俯仰角θ)，确定车辆检测ROI区域；例如，实际道路上车辆前方10*50米的矩形区域可以基于小孔成像原理，利用上述参数计算出对应的图像区域中的梯形范围，其中相机高度与俯仰角可假设为常量，也可根据IMU传感器或图像算法测量值积分实时更新；
S12：利用边缘滤波，对车辆检测ROI区域进行边缘检测，利用阈值对边缘检测结果进行二值化，利用二值化结果生成感兴趣区域ROI mask，从ROI区域中去除边缘特征显著性较差区域，得到车辆图像候选区域；
S13：对ROI区域，根据道路模型与车辆宽度范围、车辆高宽比范围的先验知识，生成ROI区域滑窗搜索列表，ROI区域滑窗搜索列表的内容包括滑窗的左下角点坐标，滑窗宽度以及滑窗高宽比，利用离线训练所得的的级联分类器，对滑窗搜索列表的图像内容进行二分类，确定滑窗搜索列表中车辆的相应图像位置，利用车辆底部阴影信息对车辆图像候选区域下边缘进行优化；
S14：基于平面纵向道路模型假设，利用相机内外部参数(包括焦距、相机高度h、相机相对车辆中轴线偏移量d以及相机俯仰角θ)，将车辆图像候选区域底部图像坐标逆透视变换至路面坐标系(坐标顶点定义在自身车辆最前方中点，车辆纵向为x方向，侧向为y方向)。
级联分类器的生成方法包括以下步骤：
利用级联haar特征或LBP特征的adaboost分类器，训练车辆检测算法；
每一级弱分类器的训练过程为：初始化训练数据的权值分布，每个样本赋予同样的权重系数，训练过程中，若该样本被准确的分类，则降低该样本的权重系数，反之，则提高相应权重系数；反复迭代上述过程，产生若干弱分类器，最后级联各弱分类器生成最终强分类器。
级联各弱分类器可增大误差率小的弱分类器权重系数，减小误差率大的弱分类器权重系数。
采用试验车辆所采集的车头正样本图像不少于12000张，负样本图像不少于20000张，利用难例挖掘(是指手动将分类器难以识别的误检经过筛检重新加入训练样本中进行训练)和主动学习(是指先利用网络收集的相关训练数据预训练一个级联分类器，利用此分类器对的我们相机设备所采集的样本进行粗略检测，根据检测结果人工筛选正负样本，重新训练分类器)方法提升训练效果；分类器级联层数为可配置参数。
步骤S2包括以下步骤：
S21：根据车辆检测结果判断前方车辆是否位于自身车辆正前方，如果位于自身车辆正前方，则执行步骤S22，否则执行步骤S23；
S22：利用FAST或Shi-Tomasi角点对正前方车辆图像候选区域提取角点特征，利用Lucas-Kanade光流方法计算角点特征的运动信息，并且更新角点特征位置；根据相邻两帧角点特征跟踪结果，基于区域相似性假设(即假设车辆跟踪区域只有尺度变化和图像平面内的平移)，利用RANSAC方法计算被检测车辆投影变换矩阵，更新车辆滑窗位置；
S23：基于匀速运动学模型，利用卡尔曼滤波对非正前方车辆进行跟踪，所使用的状态空间方程如下：
xt+1＝Axt+But+ωt
yt+1＝Cxt+ρt
其中，x为系统状态量，包括车辆的位置与位置变化信息，即[X，Y，dX，dY]T；y为系统观测量，包括车辆的位置信息，即[X，Y]T；ω，ρ分别为过程噪声和测量噪声；A、B、C是系统状态空间矩阵；t是离散时间步长序号。
FAST：采用机器学习的方法，按如下标准定义特征点：对于某像素点p，以其为中心的16个像素点，若其中有n个连续的像素点亮度值均大于p点亮度加上某阈值t(或小于p点亮度减去某阈值t)，则p为特征点；可设置参数为像素点数n，亮度阈值t以及是否使用非极大值抑制(Non-Maximum Suppression)。此特征点检测是公认的比较快速的特征点检测方法，只利用周围像素比较的信息就可以得到特征点，简单，有效。该方法多用于角点检测。
Lucas-Kanade光流方法：利用高斯下采样计算n层图像金字塔(n默认为3)，从顶层金字塔自上而下对于每层金字塔i，初始化光流向量Li(利用上一层光流计算结果，顶层以(0，0)初始化)，计算图像x，y方向一阶导数，对输入的角点计算其周围m*m区域内相邻时刻的亮度均方差(m默认为7)，若各层图像金字塔中，沿梯度下降方向迭代更新光流向量Li至该角点相邻时刻对应的图像均方差均小于某一特定阈值Kp，确定该层金字塔的光流向量为Li；如若干循环后，仍无法满足阈值条件，则摒弃该点光流向量。
基于RANSAC的相似性投影矩阵计算过程如下：通过m个循环，每个循环随机选取2个匹配角点，计算2*3的投影矩阵，对剩余角点按该矩阵匹配结果进行打分，像素点匹配距离小于某阈值M，则视为正确匹配，选取打分最高的投影矩阵，利用其对应的所有正确匹配特征角点对，重新计算得到最终投影矩阵；其中，循环数m与距离阈值M均为预设值。
步骤S3包括以下步骤：先计算车辆位置检测结果与车辆位置跟踪结果的重合度o，重合度o计算公式如下：
其中，Sd为检测所得车辆图像区域面积，St为跟踪所得车辆图像区域面积，Sall为两者并集的图像区域面积；
如果重合度o大于50％，则视为检测到该车辆，如果重合度o小于或等于50％，则视为未检测到该车辆；
接着计算置信度Ct，置信度Ct计算公式如下：
其中，Cmax为置信度上限阈值；bool(dt)为是否检测到该车辆的二进制数值，1为检测到，0为未检测到；G1与G2为可配置增益参数，G1默认值为1.5，G2默认值为0.8。
检测与跟踪结果吻合，该车辆位置置信度增加，反之置信度减小。采用检测与跟踪并行的方式，通过计算车辆位置置信度对二者结果进行融合。
本实施例利用道路模型、车辆宽度范围、车辆高宽比范围这些先验信息以及图像显著性特征，减少搜索范围，提升搜索效率。对于自身车辆正前方的车辆，采用基于图像特征点光流信息的跟踪方法进行前车位置跟踪，对于非正前方车辆采用基于运动学模型的卡尔曼滤波进行跟踪，实现全距离范围车辆快速有效跟踪。

Claims (10)

1.一种基于单目前视相机的前车检测与跟踪方法，其特征在于，包括：
S1：车辆位置检测：根据先验知识确定车辆检测ROI区域以及车辆检测ROI区域内滑窗搜索尺度范围，先验知识包括道路模型、车辆宽度范围、车辆高宽比范围，在设定的车辆检测ROI区域内，先利用显著性特征，去除车辆检测ROI区域中未含显著纹理特征的区域，得到车辆图像候选区域，再利用级联分类器，搜索特定尺度范围内的车辆位置；
S2：车辆位置跟踪：根据车辆检测结果判断前方车辆是否位于自身车辆正前方，对于自身车辆正前方的车辆，在车辆图像候选区域内，提取角点特征并利用光流算法跟踪此系列角点，对前车位置进行跟踪；对于自身车辆非正前方的车辆，采用基于运动学模型的卡尔曼滤波对前车位置进行跟踪；
S3：车辆位置检测与跟踪结果融合：根据车辆位置检测结果与车辆位置跟踪结果，计算当前时刻前方车辆位置置信度。
2.根据权利要求1所述的一种基于单目前视相机的前车检测与跟踪方法，其特征在于，所述步骤S1包括以下步骤：
S11：基于平面纵向道路模型假设，利用相机内外部参数，确定车辆检测ROI区域；
S12：利用边缘滤波，对车辆检测ROI区域进行边缘检测，利用阈值对边缘检测结果进行二值化，利用二值化结果生成感兴趣区域ROI mask，从ROI区域中去除边缘特征显著性较差区域，得到车辆图像候选区域；
S13：对ROI区域，根据道路模型与车辆宽度范围、车辆高宽比范围的先验知识，生成ROI区域滑窗搜索列表，利用预先生成的级联分类器，对滑窗搜索列表的图像内容进行二分类，确定滑窗搜索列表中车辆的相应图像位置；
S14：基于平面纵向道路模型假设，利用相机内外部参数，将车辆图像候选区域底部图像坐标逆透视变换至路面坐标系。
3.根据权利要求2所述的一种基于单目前视相机的前车检测与跟踪方法，其特征在于，所述步骤S13还包括以下步骤：利用车辆底部阴影信息对车辆图像候选区域下边缘进行优化。
4.根据权利要求2所述的一种基于单目前视相机的前车检测与跟踪方法，其特征在于，所述相机内外部参数包括焦距、相机高度h、相机相对车辆中轴线偏移量d以及相机俯仰角θ。
5.根据权利要求2所述的一种基于单目前视相机的前车检测与跟踪方法，其特征在于，所述ROI区域滑窗搜索列表的内容包括滑窗的左下角点坐标，滑窗宽度以及滑窗高宽比。
6.根据权利要求2或3或4或5所述的一种基于单目前视相机的前车检测与跟踪方法，其特征在于，所述级联分类器的生成方法包括以下步骤：
利用adaboost分类器，每一级弱分类器的训练过程为：初始化训练数据的权值分布，每个样本赋予同样的权重系数，训练过程中，若该样本被准确的分类，则降低该样本的权重系数，反之，则提高相应权重系数；反复迭代上述过程，产生若干弱分类器，最后级联各弱分类器生成最终强分类器。
7.根据权利要求1或2或3或4或5所述的一种基于单目前视相机的前车检测与跟踪方法，其特征在于，所述步骤S2包括以下步骤：
S21：根据车辆检测结果判断前方车辆是否位于自身车辆正前方，如果位于自身车辆正前方，则执行步骤S22，否则执行步骤S23；
S22：对正前方车辆图像候选区域提取角点特征，利用Lucas-Kanade光流方法计算角点特征的运动信息，并且更新角点特征位置；根据相邻两帧角点特征跟踪结果，基于区域相似性假设，利用RANSAC方法计算被检测车辆投影变换矩阵，更新车辆滑窗位置；
S23：基于匀速运动学模型，利用卡尔曼滤波对非正前方车辆进行跟踪，所使用的状态空间方程如下：
xt+1＝Axt+But+ωt
yt+1＝Cxt+ρt
其中，x为系统状态量，包括车辆的位置与位置变化信息，即[X，Y，dX，dY]T；y为系统观测量，包括车辆的位置信息，即[X，Y]T；ω，ρ分别为过程噪声和测量噪声；A、B、C是系统状态空间矩阵；t是离散时间步长序号。
8.根据权利要求1或2或3或4或5所述的一种基于单目前视相机的前车检测与跟踪方法，其特征在于，所述步骤S3包括以下步骤：
先计算车辆位置检测结果与车辆位置跟踪结果的重合度o，重合度o计算公式如下：
<mrow> <mi>o</mi> <mo>=</mo> <mfrac> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mi>d</mi> </msub> <mo>,</mo> <msub> <mi>s</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> </mrow> <msub> <mi>s</mi> <mrow> <mi>a</mi> <mi>l</mi> <mi>l</mi> </mrow> </msub> </mfrac> </mrow>
其中，Sd为检测所得车辆图像区域面积，St为跟踪所得车辆图像区域面积，Sall为两者并集的图像区域面积；
如果重合度o大于50％，则视为检测到该车辆，如果重合度o小于或等于50％，则视为未检测到该车辆；
接着计算置信度Ct，置信度Ct计算公式如下：
<mrow> <msub> <mi>C</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <msub> <mi>C</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>C</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>*</mo> <msubsup> <mi>G</mi> <mn>1</mn> <mrow> <mi>b</mi> <mi>o</mi> <mi>o</mi> <mi>l</mi> <mrow> <mo>(</mo> <mi>d</mi> <mi>t</mi> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>*</mo> <msub> <mi>G</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> </mrow>
其中，Cmax为置信度上限阈值；bool(dt)为是否检测到该车辆的二进制数值，1为检测到，0为未检测到；G1与G2为可配置增益参数。
9.根据权利要求1或2或3或4或5所述的一种基于单目前视相机的前车检测与跟踪方法，其特征在于，还包括步骤S4：车辆报文信息生成：根据车辆位置检测结果与车辆位置跟踪结果，生成相应车辆报文信息。
10.根据权利要求9所述的一种基于单目前视相机的前车检测与跟踪方法，其特征在于，所述车辆报文信息包括车辆身份编号ID、车辆位置信息(X，Y)、车辆相对运动信息(dX，dY)、车辆生命周期E、车辆置信度C。
CN201710617541.2A 2017-07-20 2017-07-20 一种基于单目前视相机的前车检测与跟踪方法 Active CN107463890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710617541.2A CN107463890B (zh) 2017-07-20 2017-07-20 一种基于单目前视相机的前车检测与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710617541.2A CN107463890B (zh) 2017-07-20 2017-07-20 一种基于单目前视相机的前车检测与跟踪方法

Publications (2)

Publication Number Publication Date
CN107463890A true CN107463890A (zh) 2017-12-12
CN107463890B CN107463890B (zh) 2019-11-29

Family

ID=60547282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710617541.2A Active CN107463890B (zh) 2017-07-20 2017-07-20 一种基于单目前视相机的前车检测与跟踪方法

Country Status (1)

Country Link
CN (1) CN107463890B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182393A (zh) * 2017-12-22 2018-06-19 上海信耀电子有限公司 一种汽车及其应用的前车跟踪方法及系统
CN108416798A (zh) * 2018-03-05 2018-08-17 山东大学 一种基于光流的车辆距离估计方法
CN108674313A (zh) * 2018-06-05 2018-10-19 浙江零跑科技有限公司 一种基于车载后视广角相机的盲区预警系统及方法
CN109117723A (zh) * 2018-07-06 2019-01-01 中国科学院自动化研究所 基于颜色模式分析与语义分割的盲道检测方法
CN109241856A (zh) * 2018-08-13 2019-01-18 浙江零跑科技有限公司 一种单目车载视觉系统立体目标检测方法
CN109767447A (zh) * 2019-01-04 2019-05-17 腾讯科技（深圳）有限公司 一种模板匹配方法、装置、设备及介质
CN109766841A (zh) * 2019-01-10 2019-05-17 深圳大学 车辆检测方法、装置及计算机可读存储介质
CN110244772A (zh) * 2019-06-18 2019-09-17 中国科学院上海微系统与信息技术研究所 移动机器人的领航跟随系统和领航跟随控制方法
CN110490196A (zh) * 2019-08-09 2019-11-22 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
CN111008997A (zh) * 2019-12-18 2020-04-14 南京莱斯电子设备有限公司 一种车辆检测与跟踪一体化方法
WO2020098297A1 (zh) * 2018-11-15 2020-05-22 众安信息技术服务有限公司 一种前车距离检测方法及系统
CN111256707A (zh) * 2019-08-27 2020-06-09 北京纵目安驰智能科技有限公司 基于环视的拥堵跟车系统和终端
CN111652177A (zh) * 2020-06-12 2020-09-11 中国计量大学 基于深度学习的信号特征提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1521056A (zh) * 2003-01-27 2004-08-18 ��ʽ�����װ 车辆动态特性检测器、车载处理系统、检测信息校正器及车载处理器
US20050190975A1 (en) * 2004-02-26 2005-09-01 Porikli Fatih M. Traffic event detection in compressed videos
CN101837782A (zh) * 2009-01-26 2010-09-22 通用汽车环球科技运作公司 用于碰撞预备系统的多目标融合模块
CN102016921A (zh) * 2008-08-01 2011-04-13 丰田自动车株式会社 图像处理装置
CN102360499A (zh) * 2011-06-30 2012-02-22 电子科技大学 一种基于卡尔曼滤波器组的多车道线追踪方法
CN102508246A (zh) * 2011-10-13 2012-06-20 吉林大学 车辆前方障碍物检测跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1521056A (zh) * 2003-01-27 2004-08-18 ��ʽ�����װ 车辆动态特性检测器、车载处理系统、检测信息校正器及车载处理器
US20050190975A1 (en) * 2004-02-26 2005-09-01 Porikli Fatih M. Traffic event detection in compressed videos
CN102016921A (zh) * 2008-08-01 2011-04-13 丰田自动车株式会社 图像处理装置
CN101837782A (zh) * 2009-01-26 2010-09-22 通用汽车环球科技运作公司 用于碰撞预备系统的多目标融合模块
CN102360499A (zh) * 2011-06-30 2012-02-22 电子科技大学 一种基于卡尔曼滤波器组的多车道线追踪方法
CN102508246A (zh) * 2011-10-13 2012-06-20 吉林大学 车辆前方障碍物检测跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
毛河: "基于机器视觉的辅助驾驶系统中预警系统设计", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182393A (zh) * 2017-12-22 2018-06-19 上海信耀电子有限公司 一种汽车及其应用的前车跟踪方法及系统
CN108416798A (zh) * 2018-03-05 2018-08-17 山东大学 一种基于光流的车辆距离估计方法
CN108416798B (zh) * 2018-03-05 2019-07-12 山东大学 一种基于光流的车辆距离估计方法
CN108674313A (zh) * 2018-06-05 2018-10-19 浙江零跑科技有限公司 一种基于车载后视广角相机的盲区预警系统及方法
CN109117723A (zh) * 2018-07-06 2019-01-01 中国科学院自动化研究所 基于颜色模式分析与语义分割的盲道检测方法
CN109117723B (zh) * 2018-07-06 2020-10-30 中国科学院自动化研究所 基于颜色模式分析与语义分割的盲道检测方法
CN109241856A (zh) * 2018-08-13 2019-01-18 浙江零跑科技有限公司 一种单目车载视觉系统立体目标检测方法
WO2020098297A1 (zh) * 2018-11-15 2020-05-22 众安信息技术服务有限公司 一种前车距离检测方法及系统
CN109767447A (zh) * 2019-01-04 2019-05-17 腾讯科技（深圳）有限公司 一种模板匹配方法、装置、设备及介质
CN109767447B (zh) * 2019-01-04 2021-03-02 腾讯科技（深圳）有限公司 一种模板匹配方法、装置、设备及介质
CN109766841A (zh) * 2019-01-10 2019-05-17 深圳大学 车辆检测方法、装置及计算机可读存储介质
CN110244772A (zh) * 2019-06-18 2019-09-17 中国科学院上海微系统与信息技术研究所 移动机器人的领航跟随系统和领航跟随控制方法
CN110244772B (zh) * 2019-06-18 2021-12-03 中国科学院上海微系统与信息技术研究所 移动机器人的领航跟随系统和领航跟随控制方法
CN110490196A (zh) * 2019-08-09 2019-11-22 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
CN111256707A (zh) * 2019-08-27 2020-06-09 北京纵目安驰智能科技有限公司 基于环视的拥堵跟车系统和终端
CN111008997A (zh) * 2019-12-18 2020-04-14 南京莱斯电子设备有限公司 一种车辆检测与跟踪一体化方法
CN111652177A (zh) * 2020-06-12 2020-09-11 中国计量大学 基于深度学习的信号特征提取方法

Also Published As

Publication number Publication date
CN107463890B (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
CN107463890B (zh) 一种基于单目前视相机的前车检测与跟踪方法
CN104573646B (zh) 基于激光雷达和双目相机的车前行人检测方法及系统
CN105260699B (zh) 一种车道线数据的处理方法及装置
CN104574376B (zh) 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法
CN104700414B (zh) 一种基于车载双目相机的前方道路行人快速测距方法
US8890951B2 (en) Clear path detection with patch smoothing approach
US8611585B2 (en) Clear path detection using patch approach
US8670592B2 (en) Clear path detection using segmentation-based method
US8487991B2 (en) Clear path detection using a vanishing point
CN105260712B (zh) 一种车辆前方行人检测方法及系统
US8634593B2 (en) Pixel-based texture-less clear path detection
US8452053B2 (en) Pixel-based texture-rich clear path detection
JP5437276B2 (ja) 物体検知及び認識システム
CN107031623A (zh) 一种基于车载盲区相机的道路预警方法
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
Fernández et al. Road curb and lanes detection for autonomous driving on urban scenarios
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN107066968A (zh) 基于目标识别和跟踪的融合策略的车载行人检测方法
CN105989334A (zh) 基于单目视觉的道路检测方法
US11941892B2 (en) Method and device for providing data for creating a digital map
Doval et al. Traffic sign detection and 3D localization via deep convolutional neural networks and stereo vision
Nath et al. On road vehicle/object detection and tracking using template
CN110414425A (zh) 一种基于灭点检测的宽度自适应车道线检测方法及系统
Álvarez et al. Perception advances in outdoor vehicle detection for automatic cruise control
Yang et al. Method for building recognition from FLIR images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 6 / F, Xintu building, 451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province, 310051

Patentee after: Zhejiang Zero run Technology Co.,Ltd.

Address before: 6 / F, Xintu building, 451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province, 310051

Patentee before: ZHEJIANG LEAPMOTOR TECHNOLOGY Co.,Ltd.