CN109509223A - 基于深度学习的前方车辆测距方法 - Google Patents

基于深度学习的前方车辆测距方法 Download PDF

Info

Publication number
CN109509223A
CN109509223A CN201811322870.5A CN201811322870A CN109509223A CN 109509223 A CN109509223 A CN 109509223A CN 201811322870 A CN201811322870 A CN 201811322870A CN 109509223 A CN109509223 A CN 109509223A
Authority
CN
China
Prior art keywords
layer
picture
vehicle
network
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811322870.5A
Other languages
English (en)
Inventor
宋骊平
杨平
岑汉
潘雁鹏
邹志彬
王菲菲
宋飞宇
柴嘉波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201811322870.5A priority Critical patent/CN109509223A/zh
Publication of CN109509223A publication Critical patent/CN109509223A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明公开了一种基于深度学习的前方车辆测距方法。主要解决现有超声波测距系统有效探测距离较小和测距准确率低的问题。其实现方案为：获取一段视频图像；将获取的视频图片进行标记；将所有的图片制作成图像识别与图像分类数据集；由数据集训练的车辆检测模型对图片中的目标车辆进行检测，得到目标车辆的边框信息；建立车辆测距模型，将目标车辆的边框信息输入到车辆测距模型，得到目标车辆的距离。本发明的方法简单，易于实施，增长了对前方车辆的探测距离、减少了单目摄像头的相关参数产生的误差以及实际成像中的光路误差，提高了测距的准确性，可用于道路行驶中的安全预警。

Description

基于深度学习的前方车辆测距方法
技术领域
本发明属于计算机测量技术领域，更进一步涉及一种车辆测距的方法，可用于道路行驶中的安全预警。
背景技术
随着计算机视觉和图像处理技术的深入发展,基于视觉的测距技术逐渐应用于汽车智能导航系统和军事上。车辆测距系统是汽车智能导航系统的重要组成部分,对提高行驶的安全性、减少交通事故的发生有着重要的意义。
三一重工股份有限公司在其申请的专利文献“一种车辆测距雷达系统及车辆”(专利申请号：201220296267.6，公开号：CN202703404 U)中公开了一种车辆测距雷达系统。该系统需要具有至少一个超声探头，用于检测与障碍物之间的距离；一根通信总线，用于实现通信与超声波探头和显示主机的通信；一个显示主机，用于通过总线获得距离信号，并根据距离信号显示或报警。该系统采用了超声波测距系统，使得获取前方车辆的距离。该方法存在的不足之处是：系统设备复杂昂贵，容易受到干扰，且有效探测距离较小。
东北大学在其申请的专利文献“一种基于单目视觉的车辆测距方法”(专利申请号：201510229988.3，公开号：CN104899554 A)中公开了一种基于单目视觉的车辆测距方法。该方法通过在车辆上安装单目摄像头，测取摄像头高度及其俯仰角，并确定摄像头焦距参数；采集高速公路环境下的视频图像并采用高斯滤波对视频图像进行初步去噪、滤波处理；对视频图像进行目标车辆检测前的兴趣区域分割预处理；在分割后的视频图像区域内进行车辆检测，目标车辆检测的过程中采用的是增加了车轮特征和车尾特征的haar特征，测量目标车辆距离，在近距离范围内采用基于小孔成像的测距方法；在长距离的范围上，采用数据拟合的测距方法。该方法的不足之处在于需要了解单目摄像头的高度及其俯仰角，并确定摄像头的焦距参数，采取小孔成像的光学模型，其中是以理想光路为前提的坐标变换的几何关系，并未考虑实际成像中存在的透镜畸变等光路误差，测距的准确低，无法满足实际需求中的需要。
发明内容
本发明的目的在于针对上述现有方法的不足，提出一种基于深度学习的前方车辆测距方法，以增加对前方车辆的探测距离、减少单目摄像头的相关参数产生的误差以及实际成像中存在的透镜畸变等产生的光路误差，提高测距的准确性。
为实现上述目的，本发明的技术方案包括如下:
((1)获取一段前方车辆行驶视频；
(2)将获取的视频分成长度相同的N张图片，并对每张图片进行标记，N大于5000；
(3)将所有的图片制作成图像识别与图像分类数据集P，该数据集P包含训练集、验证集以及测试集；
(4)对前方目标车辆进行检测：
(4a)将现有的目标检测模型ZF的检测类别分为车辆和背景两类，并设置四个阶段的训练次数依次为20000、8000、20000、8000；
(4b)使用目标检测模型ZF初始化区域生成网络RPN，并对其进行单独训练20000次，生成候选区域；
(4c)使用目标检测模型ZF初始化快速区域卷积神经网络Fast R-CNN，并将区域生成网络RPN生成的候选区域作为快速区域卷积神经网络的输入，对其进行单独训练8000次，生成训练好的快速区域卷积神经网络Fast R-CNN；
(4d)使用训练好的快速区域卷积神经网络Fast R-CNN重新初始化区域生成网络RPN,固定共有卷积层的网络，只更新区域生成网络RPN独有的网络部分，并将其网络部分训练20000次，生成新的候选区域；
(4e)将新的候选区域作为快速区域卷积神经网络Fast R-CNN的输入，固定(4c)中快速区域卷积神经网络Fast R-CNN的固定共有卷积层的网路，只更新快速区域卷积神经网络Fast R-CNN独有的网络部分，并将其网络部分训练8000次，生产新的训练好的快速区域卷积神经网络Fast R-CNN；
(4f)用(4b)到(4e)的训练结果构成一个训练好的车辆检测模型，用数据集P中验证集的图片对车辆检测模型进行验证，得到车辆检测模型的检测准确率；
(4g)用车辆检测模型对数据集P中测试集的图片进行车辆检测，并将检测出的目标车辆标注于图片上，得到目标车辆的边框信息；
(5)对检测出的前方目标车辆进行测距：
(5a)采样50组数据，其输入为图片标注检测车辆的边框信息，其输出为图片中检测车辆的真实车距；
(5b)基于数据中心的监督学习算法，用50组数据对现有的径向基函数神经网络进行训练，得到车辆测距模型；
(5c)将(4g)中检测的目标车辆的边框信息作为(5b)车辆测距模型的输入，输出检测的目标车辆的车距。
本发明具有如下优点：
1.方法简单，易于实施。
本发明只需要获取前方车辆的行驶视频，不需要了解摄像机的一些基本参数，且利用数据回归建模法原理，实验测量得到必须的数据，就能完成前方目标距离测量，不需要高精度的仪器设备，方法简单实用。
2.准确性高。
本发明在建模的过程中，考虑了实际成像中存在的透镜畸变光路误差，采用的径向基函数神经网络训练车距模型，保证了测距的准确性。
3.探测的有效距离增长。
本发明采用快速区域卷积网络对图片进行目标检测，对于超声波测距系统，不易受外界环境的干扰，提高了检测效率，增加了对前方车辆的探测距离。
附图说明
图1为本发明的实现流程图；
图2为本发明中的车辆检测模型的原理示意图；
图3为本发明中的目标车辆检测标注边框示意图；
图4为本发明中的车辆测距模型原理示意图；
图5为用本发明对目标车辆测距的实验结果图。
具体实施方式
下面结合附图对本发明的实例和效果做进一步的详细描述。
参照图1，本发明对前方车辆测距的实现步骤如下：
步骤1：获取一段前方车辆行驶视频。
通过行车记录仪记录的前方车辆行驶视频，获取其中的一段。
步骤2：将获取的视频图片进行标记。
通过视频图片转换器将获取的视频分成长度相同的N张图片，并对每张图名进行标记，N大于5000。
步骤3：将所有的图片制作成图像识别与图像分类数据集P。
3.1)建立三个文件夹，即第一个文件夹A，第二个文件夹I，第三个文件夹J；
3.2)将所有的图片放入第三个文件夹J；
3.3)对图片中目标车辆区域画标注框，将目标车辆区域的标注框信息转化为xml格式的标签文件，并将所有的xml文件放入第一个文件夹A中，每一个xml文件都对应于第三个文件夹J中的一张图片；
3.4)在第二个文件夹I中再建立一个新文件夹M，并在该新文件夹M中建立四个空白文档，即第一个空白文档T，第二个空白文档V,第三个空白文档L,第四个空白文档S,第一个空白文档T用于存放训练图片名称，第二个空白文档V用于存放验证图片名称，第三个空白文档L用于存放第一个空白文档T和第二个空白文档V的所有图片名称,第四个空白文档S用于存放测试图片名称；
3.5)将所有标记的图片按照7:3的比例随机分配到第三个空白文档L和第四个空白文档S中，并将第三个文档L中的图片标记按照7:3的比例随机分配到第一个空白文档T和第二个空白文档V中，第一个文档T中的图片构成了训练集，第二个文档V中的图片构成了验证集，第四个文档S中的图片构成了测试集；
3.6)由包含有xml格式的标签文件的第一个文件夹A、包含有所有图片名称的第二个文件夹I以及包含有所有图片的第三个文件夹J构成数据集P。
步骤4：对目标车辆进行检测。
4.1)将现有的目标检测模型ZF的检测类别分为车辆和背景两类，并设置四个阶段的训练次数依次为20000、8000、20000、8000；
4.2)使用目标检测模型ZF初始化区域生成网络RPN，并对其进行单独训练20000次，生成候选区域：
所述区域生成网络RPN有十一层结构，即第1层为输入层；第2层为模板大小为7*7的卷积层；第3层为模板大小为3*3的池化层；第4层为模板大小为5*5的卷积层；第5层为模板大小为3*3的池化层；第6层为模板大小为3*3的卷积层；第7层为模板大小为3*3的卷积层；第8层为模板大小为3*3的卷积层，第9层为全连接层；第10层为全连接层；第11层为输出层；
所述目标检测模型ZF有八层结构，即第一层为输入层；第二层为模板大小为7*7的卷积层；第三层为模板大小为3*3的池化层；第四层为模板大小为5*5的卷积层；第五层为模板大小为3*3的池化层；第六层为模板大小为3*3的卷积层；第七层为模板大小为3*3的卷积层；第八层为模板大小为3*3的卷积层；
用目标检测模型ZF的八层结构作为区域生成网络RPN的前8层，即区域生成网络RPN的前8层的网络参数与目标检测模型ZF的八层结构网络参数相同；
采用模块大小为3*3的滑动窗口，对区域生成网络RPN第8层生成的特征图中每个位置进行滑窗，并通过不同尺度以及不同比例的9个锚产生9个方案框；
计算方案框与目标区域标注框的重叠部分，当其重叠部分大于0.7时，则认为方案框包含目标，将该框标注为正样本；当其重叠部分小于0.3时，则认为方案框不包含目标，将该框标注为负样本，最后按照1:1的比例输出正负样本，这些输出的正负样本构成候选区域；
4.3)使用目标检测模型ZF初始化快速区域卷积神经网络Fast R-CNN，并将区域生成网络RPN生成的候选区域作为快速区域卷积神经网络的输入，对其进行单独训练8000次，生成训练好的快速区域卷积神经网络Fast R-CNN；
所述快速区域卷积神经网络Fast R-CNN有十二层结构，即第一层为输入层；第二层为模板大小为7*7的卷积层；第三层为模板大小为3*3的池化层；第四层为模板大小为5*5的卷积层；第五层为模板大小为3*3的池化层；第六层为模板大小为3*3的卷积层；第七层为模板大小为3*3的卷积层；第八层为模板大小为3*3的卷积层；第九层为ROI池化层；第十层为全连接层；第十一层为全连接层；第十二层为输出层。
用目标检测模型ZF的八层结构作为快速区域卷积神经网络Fast R-CNN的前八层，即快速区域卷积神经网络Fast R-CNN的前八层的网络参数与目标检测模型ZF的八层结构网络参数相同；
4.4)使用训练好的快速区域卷积神经网络Fast R-CNN重新初始化区域生成网络RPN,固定共有卷积层的网络，只更新区域生成网络RPN独有的网络部分，并将其网络部分训练20000次，生成新的候选区域；
4.5)将新的候选区域作为快速区域卷积神经网络Fast R-CNN的输入，固定(4c)中快速区域卷积神经网络Fast R-CNN的固定共有卷积层的网路，只更新快速区域卷积神经网络Fast R-CNN独有的网络部分，并将其网络部分训练8000次，生产新的训练好的快速区域卷积神经网络Fast R-CNN；
4.6)用(4b)到(4e)的训练结果构成一个训练好的车辆检测模型，该车辆检测模型有十三层结构，即第一层为输入层；第二层为模板大小为7*7的卷积层；第三层为模板大小为3*3的池化层；第四层为模板大小为5*5的卷积层；第五层为模板大小为3*3的池化层；第六层为模板大小为3*3的卷积层；第七层为模板大小为3*3的卷积层；第八层为模板大小为3*3的卷积层；第九层为模板大小为3*3的卷积层；第十层为ROI池化层；第十一层为全连接层；第十二层为全连接层；第十三层为输出层，这些层依次传输；该第八层输出的特征图传送到第九层，同时传送到区域生成网络的第9层，区域生成网络的第9层再依次通过其第10层、第11层，使得车辆检测模型第十层的输入包括第九层的输出，同时还包括区域生成网络第11层的输出；
将数据集P中验证集的图片输入到车辆检测模型中进行验证，得到车辆检测模型的检测准确率；
4.7)用车辆检测模型对数据集P中测试集的图片进行车辆检测，并将检测出的目标车辆标注在图片上，得到目标车辆的边框信息；
使用车辆检测模型对数据集P中测试集的图片进行车辆检测，其车辆检测模型的原理如图2所示，其边框回归将标注目标车辆，其分类概率将分出车辆以及对应的概率。图3展示了本发明中的目标车辆检测标注边框示意图。
步骤5：对步骤4中的检测车辆进行车辆测距：
5.1)采样50组数据，其输入为图片标注检测车辆的边框信息，其输出为图片中检测车辆的真实车距；
5.2)基于数据中心的监督学习算法，用50组数据对现有的径向基函数神经网络进行训练，得到车辆测距模型：
本实施方法采用了径向基函数神经网络来训练建立车辆测距的模型，其原理示意图如图4所示，其实现如下：
定义目标函数E为：
其中R为样本的总个数；为输入第i个样本时的误差，di为第i个样本的真实输出，F(Xi)为第i个样本的估计输出，Xi为第i个样本的输入，H为径向基函数神经网络隐含层的函数中心个数，ck为第k个函数中心，||Xi-ck||为第i个样本的输入到第k个函数中心的欧氏距离，G(||Xi-ck||)为第k个函数中心的激活函数，wk为第k个函数中心到输出层的输出权值；
采用梯度下降法对目标函数E中的函数中心ck、宽展常数δk、输出权值wk进行修正，其修正量应与其负梯度成正比，即：
其中μ为梯度下降因子，Δck为第k个函数中心c的修正量、Δδk为第k个函数中心的宽展常数δ的修正量、Δwk为第k个函数中心到输出层的输出权值w的修正量；
当目标函数E的值小于0.001时，训练完成，建立车距测量模型；
5.3)将4.7)中检测的目标车辆的边框信息作为5.2)中车辆测距模型的输入，输出检测目标车辆的车距，如图5所示，图5中标注了目标车辆，并显示其车辆距离。
以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利保护范围之内。

Claims (10)

1.一种基于深度学习的前方车辆测距方法，其特征在于，包括如下：
(1)获取一段前方车辆行驶视频；
(2)将获取的视频分成长度相同的N张图片，并对每张图片进行标记，N大于5000；
(3)将所有的图片制作成图像识别与图像分类数据集P，该数据集P包含训练集、验证集以及测试集；
(4)对前方目标车辆进行检测：
(4a)将现有的目标检测模型ZF的检测类别分为车辆和背景两类，并设置四个阶段的训练次数依次为20000、8000、20000、8000；
(4b)使用目标检测模型ZF初始化区域生成网络RPN，并对其进行单独训练20000次，生成候选区域；
(4c)使用目标检测模型ZF初始化快速区域卷积神经网络Fast R-CNN，并将区域生成网络RPN生成的候选区域作为快速区域卷积神经网络的输入，对其进行单独训练8000次，生成训练好的快速区域卷积神经网络Fast R-CNN；
(4d)使用训练好的快速区域卷积神经网络Fast R-CNN重新初始化区域生成网络RPN,固定共有卷积层的网络，只更新区域生成网络RPN独有的网络部分，并将其网络部分训练20000次，生成新的候选区域；
(4e)将新的候选区域作为快速区域卷积神经网络Fast R-CNN的输入，固定(4c)中快速区域卷积神经网络Fast R-CNN的固定共有卷积层的网路，只更新快速区域卷积神经网络Fast R-CNN独有的网络部分，并将其网络部分训练8000次，生产新的训练好的快速区域卷积神经网络Fast R-CNN；
(4f)用(4b)到(4e)的训练结果构成一个训练好的车辆检测模型，用数据集P中验证集的图片对车辆检测模型进行验证，得到车辆检测模型的检测准确率；
(4g)用车辆检测模型对数据集P中测试集的图片进行车辆检测，并将检测出的目标车辆标注于图片上，得到目标车辆的边框信息；
(5)对检测出的前方目标车辆进行测距：
(5a)采样50组数据，其输入为图片标注检测车辆的边框信息，其输出为图片中检测车辆的真实车距；
(5b)基于数据中心的监督学习算法，用50组数据对现有的径向基函数神经网络进行训练，得到车辆测距模型；
(5c)将(4g)中检测的目标车辆的边框信息作为(5b)车辆测距模型的输入，输出检测的目标车辆的车距。
2.根据权利要求1所述的方法，其特征在于(3)中制作图像识别与图像检测数据集P，其实现如下：
建立三个文件夹，即第一个文件夹A，第二个文件夹I，第三个文件夹J；
将所有的图片放入第三个文件夹J；
对图片中目标车辆区域画标注框，并将目标车辆区域的标注框信息转化为xml格式的标签文件，并将所有的xml文件放入第一个文件夹A中，每一个xml文件都对应于第三个文件夹J中的一张图片；
在第二个文件夹I中再建立一个新文件夹M，并在该新文件夹M中建立四个空白文档，即第一个空白文档T，第二个空白文档V,第三个空白文档L,第四个空白文档S,第一个空白文档T用于存放训练图片名称，第二个空白文档V用于存放验证图片名称，第三个空白文档L用于存放第一个空白文档T和第二个空白文档V的所有图片名称,第四个空白文档S用于存放测试图片名称；
将所有标记的图片按照7:3的比例随机分配到第三个空白文档L和第四个空白文档S中，并将第三个文档L中的图片标记按照7:3的比例随机分配到第一个空白文档T和第二个空白文档V中，第一个文档T中的图片构成了训练集，第二个文档V中的图片构成了验证集，第四个文档S中的图片构成了测试集；
由包含有xml格式的标签文件的第一个文件夹A、包含有所有图片名称的第二个文件夹I以及包含有所有图片的第三个文件夹J构成数据集P。
3.根据权利要求1所述的方法，其特征在于(4b)中的区域生成网络RPN，包括有十一层结构，即第1层为输入层；第2层为模板大小为7*7的卷积层；第3层为模板大小为3*3的池化层；第4层为模板大小为5*5的卷积层；第5层为模板大小为3*3的池化层；第6层为模板大小为3*3的卷积层；第7层为模板大小为3*3的卷积层；第8层为模板大小为3*3的卷积层，第9层为全连接层；第10层为全连接层；第11层为输出层。
4.根据权利要求1或3所述的方法，其特征在于(4b)中使用目标检测模型ZF初始化区域生成网络RPN，是用目标检测模型ZF的八层结构作为区域生成网络RPN的前8层，即区域生成网络RPN的前八层的网络参数与目标检测模型ZF的8层结构网络参数相同。
5.根据权利要求1或3所述的方法，其特征在于(4b)中对区域生成网络RPN进行单独训练，得到候选区域，其实现如下：
采用模块大小为3*3的滑动窗口，对区域生成网络RPN第8层生成的特征图中每个位置进行滑窗，并通过不同尺度以及不同比例的9个锚产生9个方案框；
计算方案框与目标区域标注框的重叠部分，当其重叠部分大于0.7时，则认为方案框包含目标，将该框标注为正样本；当其重叠部分小于0.3时，则认为方案框不包含目标，将该框标注为负样本，最后按照1:1的比例输出正负样本，这些输出的正负样本构成候选区域。
6.根据权利要求1所述的方法，其特征在于(4c)中的快速区域卷积神经网络Fast R-CNN，包括有十二层结构，即第一层为输入层；第二层为模板大小为7*7的卷积层；第三层为模板大小为3*3的池化层；第四层为模板大小为5*5的卷积层；第五层为模板大小为3*3的池化层；第六层为模板大小为3*3的卷积层；第七层为模板大小为3*3的卷积层；第八层为模板大小为3*3的卷积层；第九层为ROI池化层；第十层为全连接层；第十一层为全连接层；第十二层为输出层。
7.根据权利要求1或6所述的方法，其特征在于(4c)中使用目标检测模型ZF初始化快速区域卷积神经网络Fast R-CNN，是用目标检测模型ZF的八层结构作为快速区域卷积神经网络Fast R-CNN的前八层，即快速区域卷积神经网络Fast R-CNN的前八层的网络参数与目标检测模型ZF的八层结构网络参数相同。
8.根据权利要求1或3所述的方法，其特征在于(4f)中构成的车辆检测模型，包括有十三层结构，即第一层为输入层；第二层为模板大小为7*7的卷积层；第三层为模板大小为3*3的池化层；第四层为模板大小为5*5的卷积层；第五层为模板大小为3*3的池化层；第六层为模板大小为3*3的卷积层；第七层为模板大小为3*3的卷积层；第八层为模板大小为3*3的卷积层；第九层为模板大小为3*3的卷积层；第十层为ROI池化层；第十一层为全连接层；第十二层为全连接层；第十三层为输出层，这些层依次传输；该第八层输出的特征图传送到第九层，同时传送到区域生成网络的第9层，区域生成网络的第9层再依次通过其第10层、第11层，使得车辆检测模型第十层的输入包括第九层的输出，同时还包括区域生成网络第11层的输出。
9.根据权利要求1或8所述的方法，其特征在于(4g)中用车辆检测模型进行车辆检测，是将测试集中的图片输入车辆检测模型，车辆检测模型的前八层对图片进行卷积，得到图片的特征图，特征图传送到车辆检测模型的第九层，同时传送到区域生成网络的第9层，区域生成网络的第9层再依次通过其第10层、第11层，第11层的输出为候选区域，该候选区域传送到车辆检测模型的第十层，并依次传输到车辆检测模型的第十一层、第十二层、第十三层，输出目标车辆检测的边框信息。
10.根据权利要求1所述的方法，其特征在于(5b)基于数据中心的监督学习算法，用50组数据对现有的径向基函数神经网络进行训练，其实现如下：
定义目标函数E为：
其中R为样本的总个数；为输入第i个样本时的误差，di为第i个样本的真实输出，F(Xi)为第i个样本的估计输出，Xi为第i个样本的输入，H为径向基函数神经网络隐含层的函数中心个数，ck为第k个函数中心，||Xi-ck||为第i个样本的输入到第k个函数中心的欧氏距离，G(||Xi-ck||)为第k个函数中心的激活函数，wk为第k个函数中心到输出层的输出权值。
采用梯度下降法对目标函数E中的函数中心ck、宽展常数δk、输出权值wk进行修正，其修正量应与其负梯度成正比，即：
其中μ为梯度下降因子，Δck为第k个函数中心c的修正量、Δδk为第k个函数中心的宽展常数δ的修正量、Δwk为第k个函数中心到输出层的输出权值w的修正量。
当目标函数E的值小于0.001时，训练完成，建立车距测量模型。
CN201811322870.5A 2018-11-08 2018-11-08 基于深度学习的前方车辆测距方法 Pending CN109509223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811322870.5A CN109509223A (zh) 2018-11-08 2018-11-08 基于深度学习的前方车辆测距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811322870.5A CN109509223A (zh) 2018-11-08 2018-11-08 基于深度学习的前方车辆测距方法

Publications (1)

Publication Number Publication Date
CN109509223A true CN109509223A (zh) 2019-03-22

Family

ID=65747836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811322870.5A Pending CN109509223A (zh) 2018-11-08 2018-11-08 基于深度学习的前方车辆测距方法

Country Status (1)

Country Link
CN (1) CN109509223A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110297232A (zh) * 2019-05-24 2019-10-01 合刃科技（深圳）有限公司 基于计算机视觉的单目测距方法、装置及电子设备
CN110399820A (zh) * 2019-07-16 2019-11-01 西安工程大学 一种公路路边景物视觉识别分析方法
CN111126237A (zh) * 2019-12-19 2020-05-08 山东财经大学 一种基于机器视觉的安全车距检测方法
CN111144383A (zh) * 2020-01-15 2020-05-12 河南理工大学 一种检测车辆偏转角度的方法
CN111368797A (zh) * 2020-03-23 2020-07-03 福州视驰科技有限公司 一种基于路端单目摄像头的目标实时测距方法
CN112150535A (zh) * 2020-08-25 2020-12-29 北京大学 智能手机中声波与图像融合的食物体积测量方法及系统
CN112350791A (zh) * 2020-10-28 2021-02-09 电子科技大学 一种基于深度学习的太赫兹信号检测方法
CN113269118A (zh) * 2021-06-07 2021-08-17 重庆大学 一种基于深度估计的单目视觉前向车辆距离检测方法
CN113313201A (zh) * 2021-06-21 2021-08-27 南京挥戈智能科技有限公司 基于Swin Transformer和ZED摄像头的多目标检测和测距方法
CN116092039A (zh) * 2023-04-10 2023-05-09 智道网联科技(北京)有限公司 自动驾驶仿真系统的显示控制方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100061624A1 (en) * 2008-09-11 2010-03-11 Wesley Kenneth Cobb Detecting anomalous events using a long-term memory in a video analysis system
CN106023254A (zh) * 2016-05-19 2016-10-12 西安电子科技大学 基于箱粒子phd滤波的多目标视频跟踪方法
CN106446812A (zh) * 2016-09-13 2017-02-22 西安科技大学 基于进似熵模板匹配的驾驶状态辨识方法
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法
CN107563566A (zh) * 2017-09-18 2018-01-09 东南大学 一种基于支持向量机的公交站间运行时间区间预测方法
CN107591002A (zh) * 2017-09-21 2018-01-16 电子科技大学 一种基于分布式光纤的高速公路交通参数实时估计方法
CN107657237A (zh) * 2017-09-28 2018-02-02 东南大学 基于深度学习的汽车碰撞检测方法及系统
CN108563900A (zh) * 2018-04-27 2018-09-21 南京航空航天大学 一种车轮结构参数匹配整车侧翻稳定性的逆动力学方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100061624A1 (en) * 2008-09-11 2010-03-11 Wesley Kenneth Cobb Detecting anomalous events using a long-term memory in a video analysis system
CN106023254A (zh) * 2016-05-19 2016-10-12 西安电子科技大学 基于箱粒子phd滤波的多目标视频跟踪方法
CN106446812A (zh) * 2016-09-13 2017-02-22 西安科技大学 基于进似熵模板匹配的驾驶状态辨识方法
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法
CN107563566A (zh) * 2017-09-18 2018-01-09 东南大学 一种基于支持向量机的公交站间运行时间区间预测方法
CN107591002A (zh) * 2017-09-21 2018-01-16 电子科技大学 一种基于分布式光纤的高速公路交通参数实时估计方法
CN107657237A (zh) * 2017-09-28 2018-02-02 东南大学 基于深度学习的汽车碰撞检测方法及系统
CN108563900A (zh) * 2018-04-27 2018-09-21 南京航空航天大学 一种车轮结构参数匹配整车侧翻稳定性的逆动力学方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CHAO-HO CHEN ET AL: "Front Vehicle Detection and Distance Estimation Using Single-Lens Video Camera", 《2015 THIRD INTERNATIONAL CONFERENCE ON ROBOT, VISION AND SIGNAL PROCESSING (RVSP)》 *
PX_CMD: "VOC2007格式数据集制作", 《CSDN》 *
R.LIENHART ET AL: "An extended set of haar-like features for rapid object detection", 《PROCEEDINGS. INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
刘载文: "《水环境系统智能化软测量与控制方法》", 31 March 2013, 《中国轻工业出版社》 *
姜能惠: "基于RBF神经网络的高速公路追尾预测模型的研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
王传钦等: "基于视频分析技术的车距测量及预警系统设计", 《计算机技术与发展》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110297232A (zh) * 2019-05-24 2019-10-01 合刃科技（深圳）有限公司 基于计算机视觉的单目测距方法、装置及电子设备
CN110399820A (zh) * 2019-07-16 2019-11-01 西安工程大学 一种公路路边景物视觉识别分析方法
CN111126237A (zh) * 2019-12-19 2020-05-08 山东财经大学 一种基于机器视觉的安全车距检测方法
CN111144383A (zh) * 2020-01-15 2020-05-12 河南理工大学 一种检测车辆偏转角度的方法
CN111144383B (zh) * 2020-01-15 2023-03-28 河南理工大学 一种检测车辆偏转角度的方法
CN111368797A (zh) * 2020-03-23 2020-07-03 福州视驰科技有限公司 一种基于路端单目摄像头的目标实时测距方法
CN112150535A (zh) * 2020-08-25 2020-12-29 北京大学 智能手机中声波与图像融合的食物体积测量方法及系统
CN112350791A (zh) * 2020-10-28 2021-02-09 电子科技大学 一种基于深度学习的太赫兹信号检测方法
CN112350791B (zh) * 2020-10-28 2022-02-08 电子科技大学 一种基于深度学习的太赫兹信号检测方法
CN113269118A (zh) * 2021-06-07 2021-08-17 重庆大学 一种基于深度估计的单目视觉前向车辆距离检测方法
CN113313201A (zh) * 2021-06-21 2021-08-27 南京挥戈智能科技有限公司 基于Swin Transformer和ZED摄像头的多目标检测和测距方法
CN116092039A (zh) * 2023-04-10 2023-05-09 智道网联科技(北京)有限公司 自动驾驶仿真系统的显示控制方法及装置

Similar Documents

Publication Publication Date Title
CN109509223A (zh) 基于深度学习的前方车辆测距方法
CN107576960B (zh) 视觉雷达时空信息融合的目标检测方法及系统
CN104766058B (zh) 一种获取车道线的方法和装置
CN112816954B (zh) 一种基于真值的路侧感知系统评测方法和系统
CN106919915B (zh) 基于adas系统的地图道路标记及道路质量采集装置及方法
CN104573646B (zh) 基于激光雷达和双目相机的车前行人检测方法及系统
CN107066953B (zh) 一种面向监控视频的车型识别、跟踪及矫正方法和装置
Liu et al. Automated vehicle extraction and speed determination from QuickBird satellite images
CN107633220A (zh) 一种基于卷积神经网络的车辆前方目标识别方法
CN106372577A (zh) 一种基于深度学习的交通标志自动识别与标注方法
CN109145677A (zh) 障碍物检测方法、装置、设备及存储介质
CN105892471A (zh) 汽车自动驾驶方法和装置
CN104021676A (zh) 基于车辆动态视频特征的车辆定位及车速测量方法
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN110378210A (zh) 一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法
CN104395944B (zh) 定向车道的识别
CN111524365B (zh) 一种利用多地磁传感器进行车型分类的方法
CN114170448A (zh) 一种视觉感知算法的评测方法及装置
CN113592905A (zh) 基于单目摄像头的车辆行驶轨迹预测方法
CN109747681A (zh) 一种列车定位装置及方法
CN107796373A (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN109703465A (zh) 车载图像传感器的控制方法和装置
CN111964763B (zh) 一种动态平板秤称重区域汽车断续行驶行为检测方法
CN110263836B (zh) 一种基于多特征卷积神经网络的不良驾驶状态识别方法
CN108573244A (zh) 一种车辆检测方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190322