CN108909624A - 一种基于单目视觉的实时障碍物检测和定位方法 - Google Patents
一种基于单目视觉的实时障碍物检测和定位方法 Download PDFInfo
- Publication number
- CN108909624A CN108909624A CN201810452761.9A CN201810452761A CN108909624A CN 108909624 A CN108909624 A CN 108909624A CN 201810452761 A CN201810452761 A CN 201810452761A CN 108909624 A CN108909624 A CN 108909624A
- Authority
- CN
- China
- Prior art keywords
- barrier
- detection
- frame
- model
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000011897 real-time detection Methods 0.000 title claims abstract description 18
- 230000004807 localization Effects 0.000 title claims abstract description 15
- 230000004888 barrier function Effects 0.000 claims abstract description 93
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 230000007787 long-term memory Effects 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 17
- 210000002569 neuron Anatomy 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 241001416181 Axis axis Species 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 241000894007 species Species 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 2
- 210000004027 cell Anatomy 0.000 description 10
- 206010039203 Road traffic accident Diseases 0.000 description 9
- 230000015654 memory Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 239000012491 analyte Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013529 biological neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提出一种基于单目视觉的实时障碍物检测和定位方法,只使用摄像头完成对障碍物的实时检测和定位(测距),将机器视觉和深度学习结合进行端对端的障碍物的检测,并定位出障碍物在真实世界坐标系下相对于车辆的位置。为了提高检测精度,本发明提出基于时空序列信息的长短期记忆网络,将通过检测模型获得的障碍物边框位置信息和检测模型中第一层全连接层输出的M维向量组合的向量,再将这个向量输入到长短期记忆网络进行训练,网络既考虑了障碍物周边的空间信息,也考虑了过去帧的鲁棒视觉特征。通过对时空序列的学习,对障碍物检测定位获取更好的效果。
Description
技术领域
本发明属于图像处理和机器视觉领域,涉及一种基于单目视觉的前方障碍物检测和定位方法,该方法是基于深度学习和时空序列信息对障碍物实时检测,并在真实世界坐标系下定位障碍物相对于车辆的位置。
背景技术
21世纪车辆将进入一个崭新的信息时代,主要发展趋势体现在车辆的智能化。智能化车辆将不仅在高速公路上行驶,车载信息系统还将在信息高速公路上奔驰。
车辆在人们带来方便的同时,随之而来的车辆安全问题也显而易见,那就是随着车辆的增多,交通事故的频繁发生,所导致的人员伤亡和财产损失数目惊人。根据交通部统计,2010年,全国因车辆交通事故死亡人数达到6.5万人。
对于公路交通事故的分析表明,超速,占道,疲劳,酒驾等驾驶行为是导致交通事故高发的主要原因,而交通事故中以碰撞为主,超过65%的车辆碰撞是车辆追尾,其余较多是侧面相撞,所以,车辆自动避障技术的研究变得极其重要。据研究调查:如果在驾驶员提前0.5秒意识到有事故危险,则可减少大约60%的交通事故;如果能提前1秒,则可减少90%的交通事故;而提前1.5秒以上,驾驶员完全有能力去避免交通事故的发生。这就说明了如果能提前检测出车辆所处的环境中的障碍物或者前方车辆的位置,在遇到危险时能给出预警并自动采取恰当的措施(比如自动制动,自动转向等),将极大改善驾驶员在复杂条件下对车辆的控制能力,对减少甚至避免交通事故的发生有着非常重要的意义。因此,研究开发出具有提前预警功能并能给出相关控制操作的车辆自动避障系统对进一步提升车辆安全有着非常重要的意义,已经成为了智能车领域的研究热点和重要课题。
而障碍物定位(测距)作为智能车自动避障的关键技术之一,不可避免的成为其中的一个研究热点,如果能正确的检测出前方障碍物的类别并定位其位置,基于此便能在综合分析后,通过对各种危险情况的及早发现,及时提醒驾驶员,让驾驶员有充分的时间做出合理的处理,或者是启动智能车的自动避障系统,尽可能的减少交通事故的发生。因此,障碍物定位(测距)技术的研究具有很高的工程价值,对车辆自动避障系统有很关键的意义。
目前国内外的障碍物定位(测距)主要研究现状是利用激光雷达,摄像头,毫米波雷达这三类传感器感知前方物体,又或者是融合摄像头和雷达技术,相结合了摄像头的识别能力和雷达的测距能力。比如,美国高级波导公司研发的红外激光全方位回转车辆防撞系统则可以进行360度全方位的障碍物扫描,能够识别出障碍物的方位,距离和碰撞时间等参数;美国EATON公司研发的EATON VORAD-300采用24.725GHz单脉冲雷达,可同时探测到主车正前方120m,左右偏移80m范围内的24个目标车辆,当检测有车辆距离小于预设的警戒距离值时,该系统发出警报。近年来,德国大陆特威斯公司开发出采用毫米波雷达和红外传感相结合技术,可探测出前方150m范围内的目标车辆与主车之间的车距和相对速度。
车载摄像头在自动驾驶车辆中应用广泛且价格相对低廉,是最基本最常见的传感器。如果能提出一种基于摄像头实时而准确地检测出障碍物并且定位(测距)的算法,这项技术就能让自动驾驶功能以相对便宜的价格添加到车辆上。仅配备摄像头就可以获得一个不错的入门级自动驾驶,这使得普通人也能负担得起,并配备在自己的车辆中,这在未来市场空间是非常可观的。
所以本发明提出只采用摄像头,将机器视觉和深度学习结合,把检测和定位问题转换为回归问题,充分利用时空序列信息丰富的特点,联合训练出一个可以对障碍物的实时检测和定位(测距)的模型,做出高效准确的碰撞预警。
发明内容
本发明提出一种基于单目视觉的实时障碍物检测和定位方法,本发明的特点在于只使用摄像头完成对障碍物的实时检测和定位(测距),即将机器视觉和深度学习结合进行端对端的障碍物的检测,并定位出障碍物在真实世界坐标系下相对于车辆的位置。为了提高检测精度,本发明提出基于时空序列信息的长短期记忆网络,将通过检测模型获得的障碍物边框位置信息和检测模型中第一层全连接层输出的M维向量组合的向量,再将这个向量输入到长短期记忆网络进行训练,网络既考虑了障碍物周边的空间信息,也考虑了过去帧的鲁棒视觉特征。通过对时空序列的学习,对障碍物检测定位获取更好的效果。
本发明的技术方案为:
所述一种基于单目视觉的实时障碍物检测和定位方法,其特征在于:包括以下步骤:
步骤1:数据采集与处理:在车辆上安装摄像头并拍摄车辆前方若干张照片;对于每一张包含有障碍物的照片,人工标定出照片中障碍物,并根据人工标定结果,给每一张照片设定检测标签和定位标签;再将附有检测标签和定位标签的若干张照片作为模型的训练数据集;
步骤2:搭建并训练障碍物检测、长短期记忆网络和定位的联合模型:搭建网络模型,构造损失函数优化模型,将处理后的训练数据集输入至网络,结合BP算法更新网络权重参数联合训练,得到障碍物检测、长短期记忆网络和定位模型;
步骤3:障碍物的检测和定位:将摄像头固定在车辆之前的位置,将摄像头拍摄的视频输入到步骤2训练好的模型中,预测图像中障碍物的类别、障碍物边框、置信度,以及障碍物边框在真实世界坐标系下的位置信息。
进一步的优选方案,所述一种基于单目视觉的实时障碍物检测和定位方法,其特征在于:步骤1中数据采集与处理的具体步骤为:
步骤1.1:将单目摄像头安装在车辆上,确定摄像头距地面的高度h以及摄像头光轴轴线与竖直方向的俯仰角γ0;
步骤1.2:在不同的天气情况下,车辆在有障碍物的路面正常行驶,通过摄像头拍摄视频;从视频中获取若干张包含有障碍物的图片;
步骤1.3:人工用矩形边框对拍摄得到的包含有障碍物的图片中的障碍物的位置进行标定,得到边框的中心在图片坐标系中的坐标以及边框的宽和高;预先设定C类障碍物类别,采用one-hot编码方法,对障碍物的类别信息使用一个C维向量进行描述:当边框内的物体属于第i类障碍物时,类别向量的第i维为1,其余为0;
步骤1.4:对每张图片设定检测标签:将图片分为S*S网格,对于每个网格建立一个数组
对于步骤1.3中矩形边框中心所在的网格,其数组取值为:分别为矩形边框中心与网格中心在图片坐标系x方向和y方向距离的差值的归一化结果,为矩形边框宽和高的归一化结果, 是置信度,代表网格含有物体的概率及定位准确度,根据步骤1.3确定;对于其余网格,数组取值全为0;
所有S*S网格的数组组成检测标签向量用于检测模型训练;
步骤1.5:对于步骤1.3中的边框坐标进行归一化处理,并与矩形边框宽和高的归一化结果组合,得到训练长短期记忆网络模型的边框标签
步骤1.6:记录步骤1.3中矩形边框底边中点在图像坐标系下的坐标(a,b);再以摄像头光轴延长线交地面于O点定为路面坐标系中心原点,车辆前进方向为Y轴方向,路面平面为XY平面,记录与矩形边框底边中点相对应的路面位置坐标作为训练数据集的定位标签。
进一步的优选方案,所述一种基于单目视觉的实时障碍物检测和定位方法,其特征在于:步骤2中搭建并训练障碍物检测、长短期记忆网络和定位的联合模型的具体过程为:
步骤2.1:采用卷积神经网络搭建障碍物检测模型:网络由16层卷积层,5层池化层,2层全连接层构成;模型输入是完整图像像素数据,输出结果是维度为S*S*(B*5+C)的向量,B为每个网格负责检测物体的个数;输出结果向量的含义为:每个网格检测出B个矩形边框,每个矩形边框位置信息包括了每个矩形边框还具有置信度P信息,每个网格对应预测类别向量c,包括C个类别概率值,其中最大的为网格的类别预测结果;
根据检测模型结果得到障碍物边框信息,设定阀值T,只保留P≥T的边框,再根据非极大抑制原理来消除冗余的边框,最后获取余下边框的位置信息;
步骤2.2:搭建长短期记忆网络模型,分为输入层,隐藏层,输出层;输入层的输入分为:由当前图像经过检测模型得到的边框位置信息与检测模型中第一层全连接层输出的M维向量组合得到的向量,以及上一幅图像经长短期记忆网络模型的输出结果;输出层的输出是当前图像中障碍物边框新的位置信息;
步骤2.3:采用全连接神经网络搭建障碍物定位模型:定位模型采用三层网络,网络输入层节点为5,隐层节点数为20,输出层节点为2;其中5个输入分别是从长短期记忆网络模型输出的向量中得到的障碍物边框底边中点坐标(a,b),图像的宽W和高H,摄像头距地面的高度h;2个输出是障碍物边框在真实世界路面坐标系的位置坐标(A,B)。
进一步的优选方案,所述一种基于单目视觉的实时障碍物检测和定位方法,其特征在于:训练步骤2中网络模型的具体过程为:
步骤3.1:初始化网络中的神经元权重参数;
步骤3.2:将采集得到的图片进行预处理,使所有训练样本的尺寸归一化为32S*32S*3,对所有图像像素进行归一化,使图像的像素值在0到1之间;并对图片的曝光,色调,饱和,镜像做随机变化来扩大样本数量;将训练样本送入模型进行训练;
步骤3.3:通过优化损失函数,结合BP算法更新网络权重参数,迭代至与标签的误差降低到预设的阈值,结束训练。
有益效果
本发明提出的方法与诸多现有方法相比,障碍物检测能力都在现有的检测方法处于中上等水平,本方法在检测障碍物时能够获取更多环境信息并且加入了长短期记忆网络,通过对时空序列信息的学习,获取更高的检测能力。而且在检测速率上,与现有的检测方法相比,有了很大提高,在GPU上运行能达到30帧每秒,满足实时性的要求。
而且在对障碍物的定位时,是采用提出的基于端到端神经网络的障碍物定位模型。这种方法不需要知道相机参数,配合障碍物检测模型和长短期记忆网络模型能够快速准确地定位出障碍物在真实世界坐标系下相对于汽车的位置。因此汽车行驶中,使用本发明的方法,能够实时检测定位出障碍物位置,及时提醒驾驶员,让驾驶员有充分的时间做出合理的处理,或者是启动智能车的自动避障系统,从而提高汽车安全。该方法设计合理,能够在不同情况下使用,适用性广泛。,
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1:本发明方法流程图
图2:长短期记忆网络模型检测过程
图3:车载摄像头图像投影
图4:障碍物定位的边框中点标定图
图5:定位模型网络结构
图6:障碍物的检测和定位
图7:长短期记忆网络模型构成
具体实施方式
下面详细描述本发明的实施例,所述实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
本发明的流程图如图1所示,首先将车载摄像机采集的视频图像尺寸归一化到32S*32S*3(S为划分的网格数),再对所有图像像素进行归一化,使图像的像素值在0到1之间,然后输入至训练好的检测模型和长短期记忆网络中,实时检测出汽车前方障碍物,并定位障碍物在真实坐标系下的相对于汽车的位置。下面结合附图对本发明技术方案的具体实施过程作进一步说明:
本发明的一些术语解释:
术语1:CNN:卷积神经网络(Convolutional Neural Network)是一种多层的神经网络,类似与生物神经网络,能够模拟人类大脑学习过程,具有很强的容错,自学习和并行处理能力。卷积神经网络是一种多层前馈网络,每层由多个二维平面组成,每个平面由多个神经元组成。网络输入为二维视觉模式,作为网络中间层的卷积层(Convolutional Layer,C)和抽样层(Subsampling,S)交替出现,类似与生物神经网络中两种重要的感知单元:简单单元和复杂单元。1)卷积层是特征抽取层。每个卷积层中包括多个卷积神经元(C元),每个神经元只和前一层网络对应位置的局部感受野相连接,提取特征,具体体现在该神经元与前一层局部感受野的连接权重上。相比较一般的神经网络,卷积神经网络的局部连接方式大大减少网络参数,此外网络又采用权值共享的方式,进一步减少网络参数,使得网络训练更加有效。2)抽样层是特征映射层,每个抽样层包含多个抽样神经元(S元),S元只和前一层网络对应位置的局部感受野相连接并且其连接权重固定为特定值。通过卷积层和抽样层的交替提取特征,使得网络性能更好,更鲁棒。
术语2:BP算法:误差反向传播(Error Back Propagation,BP)算法,神经网络采用BP算法进行训练,BP算法分为信号的正向传播和误差的反向传播。信号的正向传播是将数据输入到网络中得到预测结果的过程,反向传播是将预测结果和期望值的差值作为误差,从后向前更新各层神经元权重的过程。正向传播和反向传播不断多次进行,直到误差满足要求为止。
本发明的障碍物识别定位方法的具体处理步骤如下所述:
步骤1:采集处理数据图像,包括如下步骤:
1.1)将单目摄像头安装在车上,确定摄像头距地面的高度h以及摄像头光轴轴线与竖直方向的夹角,即俯仰角γ0。
1.2)在不同的天气情况(主要体现的光照条件),汽车在有障碍物的路面正常行驶,通过摄像头拍摄视频(包含背景);从视频中获取若干张包含有障碍物的图片。
1.3)人工用矩形边框(边框与图片边缘对应平行)对拍摄得到的包含有障碍物的图片中的障碍物的位置进行标定(矩形边框完全包围图片中的障碍物),得到边框的中心在图片坐标系(以图片中心为原点,向上为Y轴正方向,向右为X轴正方向)中的坐标(x1,y1)和边框的宽w1和高h1;预先设定障碍物类别为C类,并采用one-hot编码方法,对障碍物的类别信息使用一个C维向量进行描述。比如当边框内的物体属于第i类障碍物时,类别向量的第i维为1,其余为0。
1.4)给每一张照片设定检测标签:将拍摄到的图片分为S*S网格,对于每个网格建立一个数组对于步骤1.3中矩形边框中心所在的网格,其数组取值为:分别为矩形边框中心与网格中心在x方向和y方向距离的差值的归一化结果(归一化过程中的基准为网格边长),为矩形边框宽和高的归一化结果(归一化过程中的基准分别为图片的宽和高),(是置信度,代表网格含有物体的概率及定位准确度),根据步骤1.3确定;对于其余网格,数组取值全为0;所有S*S网格的数组组成检测标签向量用于检测模型训练。
1.5)对于1.3中矩形边框的位置信息(x1,y1,w1,h1)均作归一化处理(归一化过程中的基准分别为图片的宽和高),得到作为训练长短期记忆网络模型的边框标签。
1.6)再增加数据集的障碍物定位信息,把前面标定各个边框的底边中点的图像平面坐标记录下来(a,b),作为边框(障碍物)在图片坐标系(以图片中心为原点)下的定位坐标;如图3所示,然后再以摄像头光轴作延长线交地面于O点定为路面坐标系中心原点(也是视野梯形的对角线交点),车辆前进方向为Y轴方向,并取路面平面为XY平面。再把与图片中的边框的底边中点相对应的路面位置坐标也记录下来作为边框(障碍物)在真实世界路面坐标系的位置坐标,即为模型的训练数据集的定位标签。
步骤2:训练模型,包括如下步骤:
本发明模型分为障碍物检测模型,长短期记忆网络和定位模型。
设计一个可以进行端对端训练的模型,进行联合训练。将步骤1中制作好的的图像数据集作为训练集送入模型进行训练,最终得到模型不仅能够预测障碍物类别,边框位置信息和置信度;还能够预测障碍物(边框)在真实世界下定位坐标。
2.1障碍物检测模型:
搭建障碍物检测网络架构,本发明障碍物检测模型主要采用如下的多层神经网络,各层的网络定义如下表所列:
网络由16层卷积层(Convolutional Layer),5层池化层(Maxpool Layer),2层全连接层(Fully Connection Layer)构成。其中只使用3*3卷积核,提升模型计算速度。
在每一层卷积层都增加Batch Normalization,采用Leaky激活函数。最后一层预测类别的概率,边框的位置信息和置信度,输出向量大小为S*S*(B*5+C),S为划分的网格数,B为每个网格负责检测物体的个数,C为类别个数。该维度主要包括含义是:1.每个网格会检测出B个矩形边框,每个矩形边框位置信息包括了(x,y,w,h),分别是矩形边框中心与网格中心在x方向和y方向距离的差值的归一化结果(归一化基准为网格边长)和矩形边框宽和高的归一化结果(归一化基准分别为图片的宽和高);2.每个矩形边框还有一个置信度P,代表该处是否有物体及定位准确度;3.每个网格会预测类别向量c,包括C个类别概率值,其中最大的即为网格的类别预测结果。
由检测模型结果得到障碍物边框信息,设定阀值T,只保留P≥T的边框;再根据非极大抑制原理来消除冗余的边框,具体做法是1.将检测结果中所有的框按置信度排序,选中最高分及其对应的框;2.遍历其余的边框,如果和当前最高分边框的重叠面积大于一定阀值t,我们就将框剔除;3.从未处理的框中继续选一个得分最高的,重复上述过程。这样我们就能得到边框。再获取这部分边框的位置信息,将其中边框坐标(x,y)变换为矩形边框中心与图片坐标系中心坐标的归一化结果(p,q)(归一化基准分别为图片的宽和高),最终得到边框位置信息(p,q,w,h)。
2.2长短期记忆网络(LSTM)模型:
长短期记忆网络是循环神经网络的一种,循环神经网络一大优势就是处理具有某种序列的数据。搭建长短期记忆网络模型,从历史视觉语义也获取帮助,网络既考虑了障碍物周边的空间信息,也考虑了过去帧的鲁棒视觉特征,充分利用长短期记忆网络模型对上述有时空序列的视觉特征向量学习得到更佳的障碍物边框的位置信息,从而提高了障碍物识别和定位能力。
模型构成如图7所示,主要由忘记门,输入门,输出门组成。
忘记门决定长短期记忆网络丢弃什么信息,该门的决定丢弃信息由以下函数确定:
ft=σ(Wf*[ht-1,xt]+bf)
其中,σ表示Sigmoid函数。Wf为遗忘门权值,bf为遗忘门偏置项,xt表示t时刻的输入值,ht-1表示t-1时刻输出值,ft表示遗忘系数。
输入门决定记忆细胞cells中更新的信息,该门的更新信息由以下函数确定:
it=σ(Wi*[ht-1,xt]+bi)
其中,Wi,WC分别表示输入门权重和记忆细胞权重,bi,bC分别表示输入门偏置项和记忆细胞偏置项,it表示输入系数,表示新的输入值向量。
遗忘门和输入门对记忆细胞cells的状态进行更新,状态更新函数由以下函数确定:
其中,Ct-1表示t-1时刻的记忆细胞cells状态值,Ct表示t时刻记忆细胞cells状态值。
输出门决定了长短期记忆网络的输出值,其由以下函数决定:
ot=σ(Wo*[ht-1,xt]+bo)
ht=ot*tanh(Ct)
其中,Wo表示输出门权重,bo表示输出门偏置项,ot表示输出系数,Ct表示t时刻记忆细胞cells状态值,ht表示在t时刻长短期记忆网络的输出。
LSTM的核心就是记忆细胞的存在,本质上扮演了状态信息积累器的角色。过去记忆细胞Ct-1通过“忘记门ft”来决定哪些信息可以留下,再通过“输入门it”来决定加入哪些新的信息构成了新的记忆细胞Ct。最后通过“输出门ot”决定输出哪些信息ht。本发明利用长短期记忆网络序列化学习的特点,来深入挖掘前后帧的关系,有效地结合时空信息,提高障碍物检测定位正确率。
搭建障碍物检测的长短期记忆网络,如图2所示,分为输入层,隐藏层,输出层。其中隐藏层的节点个数设为256个,以保证较好的运算效率。输入层其中一个输入xt是当前帧的经障碍物检测模型得到的边框位置信息(pt,qt,wt,ht)和检测模型中第一层全连接层输出的M维向量组合的向量,另一个输入ht-1是上一帧图像经长短期记忆网络输出结果(pt'-1,qt'-1,wt'-1,ht'-1);输出层ht是当前帧图像的障碍物边框新的位置信息(pt',qt',wt',ht')。
2.3障碍物的定位模型:
搭建障碍物定位模型:使用全连接神经网络。定位模型采用三层网络,网络输入层节点为5,隐层节点数为20,输出层节点为2。其中5个输入分别是从长短期记忆网络模型输出的向量中得到的有效边框(障碍物)的底边中点坐标(a,b),图像的宽W和高H,摄像头距地面的高度h。2个输出是预测边框(障碍物)在真实世界路面坐标系的位置坐标(A,B)。在神经元的激活函数选择sigmoid函数。
2.4联合训练模型
(1)用一些很小的随机数初始化网络中神经元权重参数。
(2)将采集得到的图片进行预处理,使所有训练样本的尺寸归一化为32S*32S*3(S为划分的网格数),再对所有图像像素进行归一化,使图像的像素值在0到1之间。并对图片的曝光,色调,饱和,镜像等做随机变化来扩大样本数量。将训练样本送入进行模型训练。
(3)通过优化损失函数,结合BP算法更新网络权重参数,迭代10000~9000000次,直到误差降低到预设的阈值就结束网络的训练。损失函数由5部分组成,
其中S是图片划分网格的个数;B是每个网格预测边框的个数;L1,L2,L3分别是检测模型中边框的置信度损失,边框障碍物类别概率损失和位置信息损失,L4是长短期记忆网络模型中边框的位置信息损失,L5是定位模型中边框(障碍物)在真实世界下位置信息损失;α,β,λ,θ,δ的分别为L1,L2,L3,L4,L5的权重系数;L1中的Pi是第i个网格预测的边框的置信度;L2中的pi(c)是第i个网格预测的边框中物体属于障碍物c的类别概率;L3中的xij,yij,wij,hij分别是第i个网格预测的边框j的中心坐标以及边框的宽和高;L4中的pk,qk,wk,hk分别是第k个边框的中心坐标以及边框的宽和高,L5中的Ak,Bk是第k个边框在真实世界下路面坐标系的定位坐标。则分别为第i个网格的边框标签的置信度,中心坐标,宽和高和类别概率的期望值;分别为第k个边框的中心坐标,宽和高和定位坐标的期望值。最终的损失函数L是通过5个部分损失函数加权的方式获得的。
为了计算各个隐藏层中的误差,我们可以通过BP算法的反向传播来间接计算得到。反向传播回来的误差可以看做是每个神经元的基的灵敏度(就是误差对基的变化率),定义如下:
其中为误差对当前层的单个神经元u的偏导数,又故
所以能直接根据下式求出各层级的灵敏度:
其中,Wl+1为第l+1层的权值系数,得到各层级的灵敏度后,根据下式对权值进行更新。
其中,对于第l层,误差对于该层权值的导数是该层的输入xl-1(等于上一层的输出)与该层的灵敏度δl(该层每个神经元的组合成一个向量的形式)的叉乘。然后得到的偏导数乘以学习率η,就是该层的神经元的权值的更新。
(4)得到模型。
步骤3:障碍物的检测和定位。
将摄像头固定在汽车之前的位置,将摄像头拍摄的视频直接输入到已经训练好的模型中,就能直接端对端预测出每一帧图像中障碍物的类别,障碍物边框,置信度,以及障碍物(边框)在真实世界坐标系下位置信息。又已知路面坐标系中心原点O点到摄像头的距离为d,所以可以得到矩形边框相对与汽车前端的位置(A,B-d),即障碍物相对于汽车的位置信息。模型在GPU下运行,检测速度可达到30帧每秒,满足实时要求。
本发明有以下优点:
1.方法简单,容易实施。本发明只采用摄像头,将机器视觉和深度学习结合进行端对端的障碍物的检测,联合训练出一个可以对障碍物的实时检测和定位(测距)的模型,能达到高效准确的碰撞预警。计算速度快,且不需要高精度的雷达设备,方法简单实用。
2.检测和定位能力强,本发明在设计过程中,将检测和定位问题转换为回归问题,充分利用时空序列信息丰富的特点,提高了检测和定位的准确率。
3.本发明能够准确有效的检测出不同环境下障碍物并准确定位,满足实时性要求。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (4)
1.一种基于单目视觉的实时障碍物检测和定位方法,其特征在于:包括以下步骤:
步骤1:数据采集与处理:在车辆上安装摄像头并拍摄车辆前方若干张照片;对于每一张包含有障碍物的照片,人工标定出照片中障碍物,并根据人工标定结果,给每一张照片设定检测标签和定位标签;再将附有检测标签和定位标签的若干张照片作为模型的训练数据集;
步骤2:搭建并训练障碍物检测、长短期记忆网络和定位的联合模型:搭建网络模型,构造损失函数优化模型,将处理后的训练数据集输入至网络,结合BP算法更新网络权重参数联合训练,得到障碍物检测、长短期记忆网络和定位模型;
步骤3:障碍物的检测和定位:将摄像头固定在车辆之前的位置,将摄像头拍摄的视频输入到步骤2训练好的模型中,预测图像中障碍物的类别、障碍物边框、置信度,以及障碍物边框在真实世界坐标系下的位置信息。
2.根据权利要求1所述一种基于单目视觉的实时障碍物检测和定位方法,其特征在于:步骤1中数据采集与处理的具体步骤为:
步骤1.1:将单目摄像头安装在车辆上,确定摄像头距地面的高度h以及摄像头光轴轴线与竖直方向的俯仰角γ0;
步骤1.2:在不同的天气情况下,车辆在有障碍物的路面正常行驶,通过摄像头拍摄视频;从视频中获取若干张包含有障碍物的图片;
步骤1.3:人工用矩形边框对拍摄得到的包含有障碍物的图片中的障碍物的位置进行标定,得到边框的中心在图片坐标系中的坐标以及边框的宽和高;预先设定C类障碍物类别,采用one-hot编码方法,对障碍物的类别信息使用一个C维向量进行描述:当边框内的物体属于第i类障碍物时,类别向量的第i维为1,其余为0;
步骤1.4:对每张图片设定检测标签:将图片分为S*S网格,对于每个网格建立一个数组
对于步骤1.3中矩形边框中心所在的网格,其数组取值为:分别为矩形边框中心与网格中心在图片坐标系x方向和y方向距离的差值的归一化结果,为矩形边框宽和高的归一化结果, 是置信度,代表网格含有物体的概率及定位准确度,根据步骤1.3确定;对于其余网格,数组取值全为0;
所有S*S网格的数组组成检测标签向量用于检测模型训练;
步骤1.5:对于步骤1.3中的边框坐标进行归一化处理,并与矩形边框宽和高的归一化结果组合,得到训练长短期记忆网络模型的边框标签
步骤1.6:记录步骤1.3中矩形边框底边中点在图像坐标系下的坐标(a,b);再以摄像头光轴延长线交地面于O点定为路面坐标系中心原点,车辆前进方向为Y轴方向,路面平面为XY平面,记录与矩形边框底边中点相对应的路面位置坐标作为训练数据集的定位标签。
3.根据权利要求1所述一种基于单目视觉的实时障碍物检测和定位方法,其特征在于:步骤2中搭建并训练障碍物检测、长短期记忆网络和定位的联合模型的具体过程为:
步骤2.1:采用卷积神经网络搭建障碍物检测模型:网络由16层卷积层,5层池化层,2层全连接层构成;模型输入是完整图像像素数据,输出结果是维度为S*S*(B*5+C)的向量,B为每个网格负责检测物体的个数;输出结果向量的含义为:每个网格检测出B个矩形边框,每个矩形边框位置信息包括了每个矩形边框还具有置信度P信息,每个网格对应预测类别向量c,包括C个类别概率值,其中最大的为网格的类别预测结果;
根据检测模型结果得到障碍物边框信息,设定阀值T,只保留P≥T的边框,再根据非极大抑制原理来消除冗余的边框,最后获取余下边框的位置信息;
步骤2.2:搭建长短期记忆网络模型,分为输入层,隐藏层,输出层;输入层的输入分为:由当前图像经过检测模型得到的边框位置信息与检测模型中第一层全连接层输出的M维向量组合得到的向量,以及上一幅图像经长短期记忆网络模型的输出结果;输出层的输出是当前图像中障碍物边框新的位置信息;
步骤2.3:采用全连接神经网络搭建障碍物定位模型:定位模型采用三层网络,网络输入层节点为5,隐层节点数为20,输出层节点为2;其中5个输入分别是从长短期记忆网络模型输出的向量中得到的障碍物边框底边中点坐标(a,b),图像的宽W和高H,摄像头距地面的高度h;2个输出是障碍物边框在真实世界路面坐标系的位置坐标(A,B)。
4.根据权利要求1所述一种基于单目视觉的实时障碍物检测和定位方法,其特征在于:训练步骤2中网络模型的具体过程为:
步骤3.1:初始化网络中的神经元权重参数;
步骤3.2:将采集得到的图片进行预处理,使所有训练样本的尺寸归一化为32S*32S*3,对所有图像像素进行归一化,使图像的像素值在0到1之间;并对图片的曝光,色调,饱和,镜像做随机变化来扩大样本数量;将训练样本送入模型进行训练;
步骤3.3:通过优化损失函数,结合BP算法更新网络权重参数,迭代至与标签的误差降低到预设的阈值,结束训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810452761.9A CN108909624B (zh) | 2018-05-13 | 2018-05-13 | 一种基于单目视觉的实时障碍物检测和定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810452761.9A CN108909624B (zh) | 2018-05-13 | 2018-05-13 | 一种基于单目视觉的实时障碍物检测和定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108909624A true CN108909624A (zh) | 2018-11-30 |
CN108909624B CN108909624B (zh) | 2021-05-18 |
Family
ID=64402368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810452761.9A Active CN108909624B (zh) | 2018-05-13 | 2018-05-13 | 一种基于单目视觉的实时障碍物检测和定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108909624B (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109634279A (zh) * | 2018-12-17 | 2019-04-16 | 武汉科技大学 | 基于激光雷达与单目视觉的物体定位方法 |
CN109657581A (zh) * | 2018-12-07 | 2019-04-19 | 南京高美吉交通科技有限公司 | 基于双目相机行为检测的城市轨道交通闸机通行控制方法 |
CN109657638A (zh) * | 2018-12-28 | 2019-04-19 | 百度在线网络技术(北京)有限公司 | 障碍物定位方法、装置和终端 |
CN109684944A (zh) * | 2018-12-10 | 2019-04-26 | 百度在线网络技术(北京)有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
CN109693672A (zh) * | 2018-12-28 | 2019-04-30 | 百度在线网络技术(北京)有限公司 | 用于控制无人驾驶汽车的方法和装置 |
CN109870698A (zh) * | 2019-01-15 | 2019-06-11 | 北京百度网讯科技有限公司 | 一种超声波阵列障碍物检测结果处理方法及系统 |
CN109934108A (zh) * | 2019-01-31 | 2019-06-25 | 华南师范大学 | 一种多目标多种类的车辆检测和测距系统及实现方法 |
CN110009046A (zh) * | 2019-04-09 | 2019-07-12 | 中通服公众信息产业股份有限公司 | 一种基于大数据的城市社区安全预测方法 |
CN110334646A (zh) * | 2019-07-02 | 2019-10-15 | 朱恺晗 | 一种基于ssd的单类别障碍物识别的检测方法 |
CN111027381A (zh) * | 2019-11-06 | 2020-04-17 | 杭州飞步科技有限公司 | 利用单目相机识别障碍物的方法、装置、设备及存储介质 |
CN111179300A (zh) * | 2019-12-16 | 2020-05-19 | 新奇点企业管理集团有限公司 | 障碍物检测的方法、装置、系统、设备以及存储介质 |
CN111491131A (zh) * | 2019-01-29 | 2020-08-04 | 斯特拉德视觉公司 | 集成由每个对象检测器检测的对象检测信息的方法及装置 |
CN111591284A (zh) * | 2020-05-28 | 2020-08-28 | 东软睿驰汽车技术(沈阳)有限公司 | 基于单目识别的视野盲区避障方法及装置 |
CN111627064A (zh) * | 2020-04-25 | 2020-09-04 | 哈尔滨理工大学 | 一种行人交互友好型的单目避障方法 |
CN111951301A (zh) * | 2020-07-16 | 2020-11-17 | 山东派蒙机电技术有限公司 | 一种降低车辆视觉系统干扰度的方法 |
CN112016366A (zh) * | 2019-05-31 | 2020-12-01 | 北京车和家信息技术有限公司 | 一种障碍物定位方法及装置 |
WO2021032197A1 (zh) * | 2019-08-21 | 2021-02-25 | 长城汽车股份有限公司 | 单目视觉测距方法、存储介质及单目摄像头 |
CN112686835A (zh) * | 2019-10-18 | 2021-04-20 | 丰田自动车株式会社 | 路上障碍物检测装置、方法及计算机可读存储介质 |
CN112989883A (zh) * | 2019-12-16 | 2021-06-18 | 中国科学院沈阳计算技术研究所有限公司 | 一种列车前方障碍物识别的方法 |
CN113808128A (zh) * | 2021-10-14 | 2021-12-17 | 河北工业大学 | 基于相对坐标定位算法的智能压实全过程可视化控制方法 |
CN113924462A (zh) * | 2020-01-03 | 2022-01-11 | 移动眼视觉科技有限公司 | 用于确定物体尺寸的导航系统和方法 |
CN114049394A (zh) * | 2021-11-23 | 2022-02-15 | 智道网联科技(北京)有限公司 | 一种单目测距方法、装置、设备及存储介质 |
CN114167443A (zh) * | 2020-08-19 | 2022-03-11 | 北京万集科技股份有限公司 | 信息补全方法、装置、计算机设备和存储介质 |
CN118230294A (zh) * | 2024-05-11 | 2024-06-21 | 深圳市金飞杰信息技术服务有限公司 | 基于物联网的城市扫地车道路状况感知系统及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102175222A (zh) * | 2011-03-04 | 2011-09-07 | 南开大学 | 基于立体视觉的吊车避障系统 |
CN104166861A (zh) * | 2014-08-11 | 2014-11-26 | 叶茂 | 一种行人检测方法 |
US20150306761A1 (en) * | 2014-04-29 | 2015-10-29 | Brain Corporation | Trainable convolutional network apparatus and methods for operating a robotic vehicle |
CN105488454A (zh) * | 2015-11-17 | 2016-04-13 | 天津工业大学 | 基于单目视觉的前方车辆检测与测距 |
US9489623B1 (en) * | 2013-10-15 | 2016-11-08 | Brain Corporation | Apparatus and methods for backward propagation of errors in a spiking neuron network |
-
2018
- 2018-05-13 CN CN201810452761.9A patent/CN108909624B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102175222A (zh) * | 2011-03-04 | 2011-09-07 | 南开大学 | 基于立体视觉的吊车避障系统 |
US9489623B1 (en) * | 2013-10-15 | 2016-11-08 | Brain Corporation | Apparatus and methods for backward propagation of errors in a spiking neuron network |
US20150306761A1 (en) * | 2014-04-29 | 2015-10-29 | Brain Corporation | Trainable convolutional network apparatus and methods for operating a robotic vehicle |
CN104166861A (zh) * | 2014-08-11 | 2014-11-26 | 叶茂 | 一种行人检测方法 |
CN105488454A (zh) * | 2015-11-17 | 2016-04-13 | 天津工业大学 | 基于单目视觉的前方车辆检测与测距 |
Cited By (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109657581A (zh) * | 2018-12-07 | 2019-04-19 | 南京高美吉交通科技有限公司 | 基于双目相机行为检测的城市轨道交通闸机通行控制方法 |
CN109657581B (zh) * | 2018-12-07 | 2023-06-09 | 南京高美吉交通科技有限公司 | 基于双目相机行为检测的城市轨道交通闸机通行控制方法 |
CN109684944A (zh) * | 2018-12-10 | 2019-04-26 | 百度在线网络技术(北京)有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
CN109634279A (zh) * | 2018-12-17 | 2019-04-16 | 武汉科技大学 | 基于激光雷达与单目视觉的物体定位方法 |
CN109634279B (zh) * | 2018-12-17 | 2022-08-12 | 瞿卫新 | 基于激光雷达与单目视觉的物体定位方法 |
CN109693672A (zh) * | 2018-12-28 | 2019-04-30 | 百度在线网络技术(北京)有限公司 | 用于控制无人驾驶汽车的方法和装置 |
CN109657638A (zh) * | 2018-12-28 | 2019-04-19 | 百度在线网络技术(北京)有限公司 | 障碍物定位方法、装置和终端 |
CN109693672B (zh) * | 2018-12-28 | 2020-11-06 | 百度在线网络技术(北京)有限公司 | 用于控制无人驾驶汽车的方法和装置 |
CN109870698A (zh) * | 2019-01-15 | 2019-06-11 | 北京百度网讯科技有限公司 | 一种超声波阵列障碍物检测结果处理方法及系统 |
US11933921B2 (en) | 2019-01-15 | 2024-03-19 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and system for processing obstacle detection result of ultrasonic sensor array |
CN109870698B (zh) * | 2019-01-15 | 2021-12-24 | 阿波罗智能技术(北京)有限公司 | 一种超声波阵列障碍物检测结果处理方法及系统 |
CN111491131A (zh) * | 2019-01-29 | 2020-08-04 | 斯特拉德视觉公司 | 集成由每个对象检测器检测的对象检测信息的方法及装置 |
CN109934108A (zh) * | 2019-01-31 | 2019-06-25 | 华南师范大学 | 一种多目标多种类的车辆检测和测距系统及实现方法 |
CN109934108B (zh) * | 2019-01-31 | 2023-01-31 | 华南师范大学 | 一种多目标多种类的车辆检测和测距系统及实现方法 |
CN110009046A (zh) * | 2019-04-09 | 2019-07-12 | 中通服公众信息产业股份有限公司 | 一种基于大数据的城市社区安全预测方法 |
CN112016366A (zh) * | 2019-05-31 | 2020-12-01 | 北京车和家信息技术有限公司 | 一种障碍物定位方法及装置 |
CN110334646A (zh) * | 2019-07-02 | 2019-10-15 | 朱恺晗 | 一种基于ssd的单类别障碍物识别的检测方法 |
WO2021032197A1 (zh) * | 2019-08-21 | 2021-02-25 | 长城汽车股份有限公司 | 单目视觉测距方法、存储介质及单目摄像头 |
CN112686835A (zh) * | 2019-10-18 | 2021-04-20 | 丰田自动车株式会社 | 路上障碍物检测装置、方法及计算机可读存储介质 |
CN112686835B (zh) * | 2019-10-18 | 2024-05-14 | 丰田自动车株式会社 | 路上障碍物检测装置、方法及计算机可读存储介质 |
CN111027381A (zh) * | 2019-11-06 | 2020-04-17 | 杭州飞步科技有限公司 | 利用单目相机识别障碍物的方法、装置、设备及存储介质 |
CN112989883B (zh) * | 2019-12-16 | 2024-02-02 | 中国科学院沈阳计算技术研究所有限公司 | 一种列车前方障碍物识别的方法 |
CN112989883A (zh) * | 2019-12-16 | 2021-06-18 | 中国科学院沈阳计算技术研究所有限公司 | 一种列车前方障碍物识别的方法 |
CN111179300A (zh) * | 2019-12-16 | 2020-05-19 | 新奇点企业管理集团有限公司 | 障碍物检测的方法、装置、系统、设备以及存储介质 |
CN113924462A (zh) * | 2020-01-03 | 2022-01-11 | 移动眼视觉科技有限公司 | 用于确定物体尺寸的导航系统和方法 |
CN111627064B (zh) * | 2020-04-25 | 2021-07-09 | 哈尔滨理工大学 | 一种行人交互友好型的单目避障方法 |
CN111627064A (zh) * | 2020-04-25 | 2020-09-04 | 哈尔滨理工大学 | 一种行人交互友好型的单目避障方法 |
CN111591284A (zh) * | 2020-05-28 | 2020-08-28 | 东软睿驰汽车技术(沈阳)有限公司 | 基于单目识别的视野盲区避障方法及装置 |
CN111951301A (zh) * | 2020-07-16 | 2020-11-17 | 山东派蒙机电技术有限公司 | 一种降低车辆视觉系统干扰度的方法 |
CN114167443A (zh) * | 2020-08-19 | 2022-03-11 | 北京万集科技股份有限公司 | 信息补全方法、装置、计算机设备和存储介质 |
CN113808128A (zh) * | 2021-10-14 | 2021-12-17 | 河北工业大学 | 基于相对坐标定位算法的智能压实全过程可视化控制方法 |
CN114049394A (zh) * | 2021-11-23 | 2022-02-15 | 智道网联科技(北京)有限公司 | 一种单目测距方法、装置、设备及存储介质 |
CN118230294A (zh) * | 2024-05-11 | 2024-06-21 | 深圳市金飞杰信息技术服务有限公司 | 基于物联网的城市扫地车道路状况感知系统及方法 |
CN118230294B (zh) * | 2024-05-11 | 2024-08-16 | 深圳市金飞杰信息技术服务有限公司 | 基于物联网的城市扫地车道路状况感知系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108909624B (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108909624A (zh) | 一种基于单目视觉的实时障碍物检测和定位方法 | |
US11836623B2 (en) | Object detection and property determination for autonomous vehicles | |
US11544167B2 (en) | Systems and methods for generating synthetic sensor data via machine learning | |
US20230259792A1 (en) | Object Association for Autonomous Vehicles | |
US11475351B2 (en) | Systems and methods for object detection, tracking, and motion prediction | |
EP4152204A1 (en) | Lane line detection method, and related apparatus | |
EP2574958B1 (en) | Road-terrain detection method and system for driver assistance systems | |
Laugier et al. | Probabilistic analysis of dynamic scenes and collision risks assessment to improve driving safety | |
CN108983219A (zh) | 一种交通场景的图像信息和雷达信息的融合方法及系统 | |
US20180348374A1 (en) | Range-View Lidar-Based Object Detection | |
CN110531754A (zh) | 自主车辆的控制系统、控制方法和控制器 | |
CN107609522A (zh) | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 | |
CN109919074B (zh) | 一种基于视觉感知技术的车辆感知方法及装置 | |
CN107730903A (zh) | 基于深度卷积神经网络的违章停车和抛锚车视觉检测系统 | |
CN113345237A (zh) | 一种使用路侧激光雷达数据提取车辆轨迹的变道识别与预测方法、系统、设备及存储介质 | |
CN111415533B (zh) | 弯道安全预警监控方法、装置以及系统 | |
Palffy et al. | Occlusion aware sensor fusion for early crossing pedestrian detection | |
CN107985189A (zh) | 面向高速驾驶环境下的驾驶员变道深度预警方法 | |
CN107031661A (zh) | 一种基于盲区相机输入的变道预警方法及系统 | |
CN115662166B (zh) | 一种自动驾驶数据处理方法及自动驾驶交通系统 | |
CN111753629A (zh) | 车辆环境的环境数据处理 | |
DE102021132199A1 (de) | Bestimmen von Objektmobilitätsparametern unter Verwendung einer Objektsequenz | |
Jeong | Predictive lane change decision making using bidirectional long shot-term memory for autonomous driving on highways | |
CN114926984B (zh) | 一种实时交通冲突收集与道路安全评价方法 | |
CN113552883A (zh) | 基于深度强化学习的地面无人车自主驾驶方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |