CN108596058A - 基于计算机视觉的行车障碍物测距方法 - Google Patents
基于计算机视觉的行车障碍物测距方法 Download PDFInfo
- Publication number
- CN108596058A CN108596058A CN201810319786.1A CN201810319786A CN108596058A CN 108596058 A CN108596058 A CN 108596058A CN 201810319786 A CN201810319786 A CN 201810319786A CN 108596058 A CN108596058 A CN 108596058A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- obstacle
- distance
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000010606 normalization Methods 0.000 claims abstract 2
- 238000012549 training Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 8
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000005096 rolling process Methods 0.000 abstract 1
- 238000002474 experimental method Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于计算机视觉的行车障碍物测距方法，主要解决驾驶辅助系统中难以对行车障碍物进行实时测距的问题。其首先构建用于障碍物目标检测的深度神经网络，并利用标定好的视频图像数据对网络进行训练，更新网络参数；然后采集行车过程中的图像数据预处理和归一化后输入训练好的深度神经网络中得到目标边界框坐标信息和类别置信度；最后利用目标边界框换算得到的目标点坐标，依据世界坐标系和成像平面坐标系间的对应关系，计算目标点与摄像机地面投影的距离。本发明方法能够实时检测车辆行进过程中的障碍物目标距离，且计算量小，满足驾驶辅助系统中的对行车障碍物目标的测距要求，可用于驾驶辅助系统中行车相关环境信息的获取。
Description
技术领域
本发明属于计算机测试技术领域，更进一步涉及一种行车障碍物测距方法，可用于驾驶辅助系统中行车相关环境信息的获取。
背景技术
目前，汽车已经日益普及，全球的汽车保有量已达几十亿量级。汽车的大量应用，催生出一系列问题，其中交通事故的发生给人的生命财产安全带来巨大威胁。据统计，交通事故90％以上是驾驶员判断或操作失误造成的。因此，以提升安全性为目的的驾驶辅助系统研发成为汽车电子工业领域的研究热点，行车过程中的障碍物测距方法，是驾驶辅助系统研发过程中的重要技术问题。目前车辆上只有简单的雷达测距装置，该装置只能近距离感知障碍物，也就是说它主要是在驻车时使用，无法在行车过程中给出警示。当前主流的测距方法诸如超声测距，雷达测距、激光测距等，有一个共同的弊端，只能识别有无障碍物及其距离，而无法分辨障碍物的具体类别，因此在复杂的行车环境下驾驶辅助系统无法给出准确的提示。计算机视觉是用各种成像系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释。计算机视觉的最终研究目标就是使计算机能象人那样通过视觉观察和理解世界，具有自主适应环境的能力。计算机视觉可以结合多种因素实现机器的自主认知和判断，同时具有实时性强，鲁棒性好等诸多优点。
嘉兴普朗克光电科技有限公司提出的专利技术“激光行车测距系统”(专利申请号：201610886885.9，公布号：CN 106371107 A)公开了一种激光行车测距系统，其中涉及到一种激光行车测距方法。该专利申请利用激光传感器发射激光并接受，通过计算激光收发的时间差实现行车过程中的障碍物测距。但该方法的不足是：激光传感器在同一时间只能对行车正前方的单一障碍物目标进行测距，且无法获知障碍物目标的具体类别，造成驾驶辅助系统无法根据障碍物的具体类别采取与之相应的辅助措施。
发明内容
本发明的目的在于针对上述现有方法的不足，提出一种基于计算机视觉的行车障碍物测距方法，以获得障碍物目标的具体类别，获得不同类别障碍物的精确测距。
为实现上述目的，本发明的技术方案包括如下：
(1)训练模型；
(1a)使用摄像机采集行车过程中的视频图像，针对需要检测的障碍物目标，对视频图像进行标定，生成训练数据；
(1b)依据单通道目标框检测SSD算法和需要检测的障碍物目标种类搭建深度神经网络，并完成网络参数初始化；
(1c)将标定好的图像数据输入到(1b)搭建好的神经网络中进行训练，迭代更新网络参数，当迭代次数达到600,000次时，得到训练好的模型，将更新后的网络参数保存并退出。
(2)使用摄像机采集行车过程中的视频数据，并对采集到的视频数据进行预处理和归一化；
(3)使用训练好的模型对步骤(1b)中搭建的神经网络参数进行初始化；
(4)将步骤(2)归一化后的视频数据输入到步骤(3)初始化后的网络中获取障碍物目标框坐标和置信度信息，并将目标框坐标换算为一个目标点坐标(uF，vF)；
(5)计算目标点与摄像机地面投影的纵向距离OoP，横向距离PF和直线距离OoF：
OoP＝h/tan(α+arctan(-vF-v0)/ay)
其中，h为摄像机安装高度，α为摄像机安装角度，vF为目标点在像素点坐标系中的纵轴坐标，v0为图像中心点在像素点坐标系中的纵轴坐标，ay为图像单个像素高度，uF为目标点在像素点坐标系中的横轴坐标，u0为图像中心点在像素点坐标系中的横轴坐标，ax为图像单个像素宽度。
本发明与现有技术相比具有以下优势：
第一，本发明使用具有单个神经网络结构的深度学习算法进行目标识别，提高了目标障碍物识别的可靠性，同时由于单个深度神经网络的应用，可以满足驾驶辅助中的实时性要求；
第二，本发明将深度学习与单目视觉原理相结合，测距量程高、抗干扰能力强，能够满足驾驶辅助领域对远距离障碍物的测距需求；
第三，由于SSD目标识别算法可以准确的检测出障碍物目标的具体类别，不同于传统行车障碍物测距方法只针对单一目标测距，本发明可在同一场景下对多个不同种类目标分别测距，能够满足驾驶辅助中对不同障碍物目标的测距需求。
附图说明
图1是本发明的实现总流程图；
图2是本发明中的模型训练子流程；
图3是现有行车障碍物目标检测模型结构图；
图4是本发明中的目标点确立规则示意图；
图5是本发明中的目标点与摄像机地面投影映射关系示意图；
图6是用本发明方法对单目标的识别实验结果图；
图7是用本发明方法对单目标测距结果的散点分布图；
图8是用本发明方法对多目标的识别实验结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明作进一步详细说明。
本发明实施过程可以分为两部分：模型训练过程和目标实际测量过程。
参照图1，本发明的实现步骤如下：
步骤1，构建目标检测深度神经网络模型并进行训练。
参照图2，本步骤的具体实现如下：
(1a)使用摄像机采集行车过程中的视频图像，针对需要检测的障碍物目标，对视频图像进行标定，生成训练数据，即对不同类别的障碍物目标用不同颜色的框框出，并标明目标类别；
(1b)依据单通道目标框检测SSD算法和需要检测的障碍物目标种类搭建深度神经网络：
(1b1)构建经典的分类网络结构VGG-16作为基础网络：
VGG-16拥有5段卷积，其中前两段每段有2个卷积层，后三段每段有3个卷积层，每段卷积尾部会连接一个最大池化层来缩小图片尺寸，5段卷积之后连接3个全连接层和一个分类层；VGG-16全部使用了3×3的卷积核和2×2的池化核，通过不断加深的网络结构来提升性能；每段内的卷积核数量一样，越靠后的卷积段其卷积核数量越多，各段中卷积核数量分别为64、128、256、512、512；
(1b2)参照图3，从(1b1)构建的VGG-16网络结构中去除最后一个最大池化层和三个全连接层，并添加6个卷积层，每个卷积层分别使用38×38，19×19，10×10，5×5，3×3，1×1不同尺寸的特征图；对于每张特征图，采用3×3的卷积生成默认框的四个偏移位置和21个类别的置信度，同时在每张特征图中，按照不同的大小和长宽比生成k个默认框，每个默认框的大小sk通过以下公式计算：
其中，m为特征图数目，smin为最底层特征图的默认框大小，smax为最顶层特征图的默认框大小，k＝1,2,…,m；
每个默认框长宽比根据比例ar计算，ar取值分别为{1,2,3,1/2,1/3}，因此，每个默认框的宽为高为对于比例为1的默认框，额外添加一个大小为的默认框，最终用每张特征图中的每个点生成6个默认框，每个默认框的中心坐标设定为其中|fk|为第k个特征图尺寸，i,j＝1,2,…,6；
(1b3)在(1b2)中构建的网络结构之后再添加一个非极大值抑制，得到目标框坐标信息和类别置信度；
(1c)将步骤(1b)中搭建的深度神经网络中的权重和偏置参数分别初始化为1和0；
(1d)将步骤(1a)中标定好的图像数据输入到(1b)搭建好的神经网络中进行训练，迭代更新网络参数，当迭代次数达到600,000次时，得到训练好的目标检测深度神经网络模型，将更新后的网络参数保存并退出。
步骤2，使用摄像机采集行车过程中的视频数据，并对采集到的视频数据进行预处理和归一化。
本步骤的具体实现如下：
(2a)将原始的视频图像依次进行翻转、平移和随机旋转的操作处理；
(2b)将步骤(2a)处理后的视频图像数据缩放为300×300的分辨率；
(2c)将缩放后图像数据各个像素点的幅值归一到[0,1]的区间范围。
步骤3，使用训练好的目标检测深度神经网络模型对步骤(1b)中搭建的神经网络参数进行初始化，并用步骤(1d)更新后的网络参数替换原有网络参数。
步骤4，获取目标点坐标(uF，vF)。
(4a)将步骤2归一化后的视频数据输入到步骤3初始化后的网络中，获取障碍物目标框坐标和置信度信息；
(4b)将障碍物目标框坐标换算为一个目标点坐标(uF，vF)：
参照图4，所述障碍物目标框坐标到目标点坐标的换算规则如下：
定义目标检测深度神经网络给出的目标的边界框位置用向量r表示，它包含以下4个元素：
其中，xmin为边界框上沿距离图像顶端的像素数，xmax为边界框下沿距离图像顶端的像素数；ymin为边界框左沿距离图像左端的像素数，ymax为边界框右沿距离图像左端的像素数；
定义目标点为障碍物目标框的下边沿中点，计算按以下公式计算目标点坐标(uF，vF)：
vF＝(1-r2)H，
H，W分别为图像中像素的总行数和总列数。
步骤5，计算目标点与摄像机地面投影的纵向距离OoP，横向距离PF和直线距离OoF。
如图5所示，摄像机通过投影变换将世界坐标系的点映射到二维成像平面坐标系，这个投影变换通过针孔模型来描述：世界坐标系以相机在地面上的投影Oo为原点，成像平面坐标系以图像中心为原点，F是世界坐标系中的待测点，P为过F向世界坐标系YW轴作垂线的交点；OOc＝f为摄像机的有效焦距；α为相机光轴与水平面的夹角；h为摄像机镜头距地面的高度；在成像平面坐标系中取(0,0)为坐标系原点坐标,记为O(x0，y0)；P点在成像平面的投影坐标为A(xa，ya)；F在成像平面的投影坐标记为B(xb，yb)。
根据世界坐标系与成像平面坐标系的相互对应关系，目标点P与镜头中心的纵向距离OoP根据如下公式计算得到：
OoP＝h/tan(α+arctan(-vF-v0)/ay)，
目标点F与镜头中心的横向距离PF根据如下公式计算得到：
目标点与摄像机在地面投影的直线距离OoF通过如下公式计算得到：
其中，h为摄像机安装高度，α为摄像机安装角度，vF为目标点在像素点坐标系中的纵轴坐标，v0为图像中心点在像素点坐标系中的纵轴坐标，ay为图像单个像素高度，uF为目标点在像素点坐标系中的横轴坐标，u0为图像中心点在像素点坐标系中的横轴坐标，ax为图像单个像素宽度。
本发明的效果可通过以下实验进一步说明：
实验1，用本发明方法对单障碍物目标进行实验，得到如下两种结果：
第一种结果是：单障碍物目标识别效果，如图6，其中，图(6a)是障碍物目标距离为4.5m时的识别结果，图(6b)是障碍物目标距离为3.5m时的识别结果，图(6c)是障碍物目标距离为3m时的识别结果，图(6d)是障碍物目标距离为2.5m时的识别结果。
第二种结果是：得到的单障碍物目标测距数据结果如表1。
表1单目标测距结果
从图6可以看出，本发明方法对单障碍物目标具有较好的识别效果。
从表1可以看出，用本发明方法对单障碍物目标的测距结果具有较低的误差率。
为使单障碍物目标实验的结果更加直观，由表1的单目标测距结果数据绘制单目标测距结果的散点分布图，结果如图7，从图7可以看出，本发明方法的测距结果与障碍物真实距离较为接近。
实验2，用本发明方法对多目标障碍物目标进行实验，得到的多障碍物目标的识别效果如图8，得到的多目标测距数据结果如表2。
表2多目标测距结果
由图8可以看出，本发明方法对多障碍物目标具有较好的识别效果。
由表2可以看出，用本发明方法对多障碍物目标的测距结果具有较低的误差率。
综上所述，本发明克服了传统行车障碍物测距方法中对障碍物目标种类获知不足和对复杂行车环境适应性差的问题。该方法具有计算量小、快速准确、鲁棒性好等特点，能够在驾驶辅助领域广泛应用。
Claims (5)
1.基于计算机视觉的行车障碍物测距方法，其特征在于，包括
(1)训练模型；
(1a)使用摄像机采集行车过程中的视频图像，针对需要检测的障碍物目标，对视频图像进行标定，生成训练数据；
(1b)依据单通道目标框检测SSD算法和需要检测的障碍物目标种类搭建深度神经网络，并完成网络参数初始化；
(1c)将标定好的图像数据输入到(1b)搭建好的神经网络中进行训练，迭代更新网络参数，当迭代次数达到600,000次时，得到训练好的模型，将更新后的网络参数保存并退出。
(2)使用摄像机采集行车过程中的视频数据，并对采集到的视频数据进行预处理和归一化；
(3)使用训练好的模型对步骤(1b)中搭建的神经网络参数进行初始化；
(4)将步骤(2)归一化后的视频数据输入到步骤(3)初始化后的网络中获取障碍物目标框坐标和置信度信息，并将目标框坐标换算为一个目标点坐标(uF,vF)；
(5)计算目标点与摄像机地面投影的纵向距离OoP，横向距离PF和直线距离OoF：
OoP＝h/tan(α+arctan(-vF-v0)/ay)
其中，h为摄像机安装高度，α为摄像机安装角度，vF为目标点在像素点坐标系中的纵轴坐标，v0为图像中心点在像素点坐标系中的纵轴坐标，ay为图像单个像素高度，uF为目标点在像素点坐标系中的横轴坐标，u0为图像中心点在像素点坐标系中的横轴坐标，ax为图像单个像素宽度。
2.根据权利要求1所述的方法，其中，步骤(1b)中依据单通道目标框检测SSD算法和需要检测的障碍物目标种类，搭建深度神经网络，按如下步骤进行：
(1b1)构建经典的分类网络结构VGG-16作为基础网络；
(1b2)从(1b1)构建的VGG-16网络结构中去除最后一个最大池化层和三个全连接层，并添加6个卷积层，每个卷积层分别使用38×38，19×19，10×10，5×5，3×3，1×1不同尺寸的特征图；
(1b3)在(1b2)中构建的网络结构之后再添加一个非极大值抑制，得到目标框坐标信息和类别置信度。
3.根据权利要求1所述方法，其中，步骤2中对视频图像数据预处理和归一化，按如下步骤进行：
(2a)将原始的视频图像分别进行翻转、平移和随机旋转操作处理；
(2b)将步骤(2a)处理后的视频图像数据缩放为300×300的分辨率；
(2c)将缩放后图像数据各个像素点的幅值归一到[0,1]的区间范围。
4.根据权利要求1所述方法，其中，步骤4中的置信度信息，是指估计值与真实值在允许的误差范围以内，其相应的概率为在[0,1]区间范围的小数，表示目标框中的目标物体属于预测类别的可能性。
5.根据权利要求1所述方法，其中，步骤4中将目标框坐标换算为一个目标点坐标(uF,vF)，依据以下公式换算：
vF＝(1-r2)H
其中，xmin为边界框上沿距离图像顶端的像素数，ymin为边界框左沿距离图像左端的像素数，ymax为边界框右沿距离图像左端的像素数，H，W分别为图像中像素的总行数和总列数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810319786.1A CN108596058A (zh) | 2018-04-11 | 2018-04-11 | 基于计算机视觉的行车障碍物测距方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810319786.1A CN108596058A (zh) | 2018-04-11 | 2018-04-11 | 基于计算机视觉的行车障碍物测距方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108596058A true CN108596058A (zh) | 2018-09-28 |
Family
ID=63621935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810319786.1A Pending CN108596058A (zh) | 2018-04-11 | 2018-04-11 | 基于计算机视觉的行车障碍物测距方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108596058A (zh) |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109506628A (zh) * | 2018-11-29 | 2019-03-22 | 东北大学 | 一种基于深度学习的卡车环境下目标物测距方法 |
| CN109568093A (zh) * | 2018-11-27 | 2019-04-05 | 湖北经济学院 | 一种步行安全综合管理系统及方法 |
| CN109657638A (zh) * | 2018-12-28 | 2019-04-19 | 百度在线网络技术（北京）有限公司 | 障碍物定位方法、装置和终端 |
| CN109859216A (zh) * | 2019-02-16 | 2019-06-07 | 深圳市未来感知科技有限公司 | 基于深度学习的测距方法、装置、设备及存储介质 |
| CN110110702A (zh) * | 2019-05-20 | 2019-08-09 | 哈尔滨理工大学 | 一种基于改进ssd目标检测网络的无人机规避算法 |
| CN110322509A (zh) * | 2019-06-26 | 2019-10-11 | 重庆邮电大学 | 基于层级类激活图的目标定位方法、系统及计算机设备 |
| CN110334646A (zh) * | 2019-07-02 | 2019-10-15 | 朱恺晗 | 一种基于ssd的单类别障碍物识别的检测方法 |
| CN110956069A (zh) * | 2019-05-30 | 2020-04-03 | 初速度（苏州）科技有限公司 | 一种行人3d位置的检测方法及装置、车载终端 |
| CN110969064A (zh) * | 2018-09-30 | 2020-04-07 | 北京四维图新科技股份有限公司 | 一种基于单目视觉的图像检测方法、装置及存储设备 |
| CN111026106A (zh) * | 2019-11-07 | 2020-04-17 | 广东工业大学 | 一种无人车室外驾驶系统 |
| CN111179300A (zh) * | 2019-12-16 | 2020-05-19 | 新奇点企业管理集团有限公司 | 障碍物检测的方法、装置、系统、设备以及存储介质 |
| CN111368797A (zh) * | 2020-03-23 | 2020-07-03 | 福州视驰科技有限公司 | 一种基于路端单目摄像头的目标实时测距方法 |
| CN111402335A (zh) * | 2020-03-18 | 2020-07-10 | 东软睿驰汽车技术（沈阳）有限公司 | 深度学习模型的评价方法、装置、电子设备及存储介质 |
| CN111402326A (zh) * | 2020-03-13 | 2020-07-10 | 北京百度网讯科技有限公司 | 障碍物的检测方法、装置、无人车及存储介质 |
| CN111623776A (zh) * | 2020-06-08 | 2020-09-04 | 昆山星际舟智能科技有限公司 | 使用近红外视觉传感器和陀螺仪进行目标测距的方法 |
| CN112113536A (zh) * | 2020-08-10 | 2020-12-22 | 浙江吉利汽车研究院有限公司 | 一种车载摄像头测距方法及系统 |
| CN112462368A (zh) * | 2020-11-25 | 2021-03-09 | 中国第一汽车股份有限公司 | 一种障碍物检测方法、装置、车辆及存储介质 |
| CN112802092A (zh) * | 2021-01-29 | 2021-05-14 | 深圳一清创新科技有限公司 | 一种障碍物感知方法、装置以及电子设备 |
| CN112825136A (zh) * | 2019-11-21 | 2021-05-21 | 辉达公司 | 自主机器应用中使用radar传感器检测障碍物的深度神经网络 |
| CN112896045A (zh) * | 2021-01-26 | 2021-06-04 | 安信通科技（澳门）有限公司 | 一种车辆a柱盲区透视方法、系统及车辆 |
| CN113486837A (zh) * | 2021-07-19 | 2021-10-08 | 安徽江淮汽车集团股份有限公司 | 针对低通度障碍物的自动驾驶控制方法 |
| CN113924462A (zh) * | 2020-01-03 | 2022-01-11 | 移动眼视觉科技有限公司 | 用于确定物体尺寸的导航系统和方法 |
| US11338807B2 (en) * | 2019-01-30 | 2022-05-24 | Allstate Insurance Company | Dynamic distance estimation output generation based on monocular video |
| CN114793599A (zh) * | 2022-04-14 | 2022-07-29 | 宁波市华代科技有限公司 | 一种智能割草机用智能作业系统 |
| US12051206B2 (en) | 2019-07-25 | 2024-07-30 | Nvidia Corporation | Deep neural network for segmentation of road scenes and animate object instances for autonomous driving applications |
| US12050285B2 (en) | 2019-11-21 | 2024-07-30 | Nvidia Corporation | Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications |
| US12072443B2 (en) | 2019-11-15 | 2024-08-27 | Nvidia Corporation | Segmentation of lidar range images |
| US12080078B2 (en) | 2019-11-15 | 2024-09-03 | Nvidia Corporation | Multi-view deep neural network for LiDAR perception |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102661733A (zh) * | 2012-05-28 | 2012-09-12 | 天津工业大学 | 一种基于单目视觉的前方车辆测距方法 |
| CN105083278A (zh) * | 2015-07-31 | 2015-11-25 | 奇瑞汽车股份有限公司 | 车辆控制方法及装置 |
| CN106156725A (zh) * | 2016-06-16 | 2016-11-23 | 江苏大学 | 一种基于车辆前方的行人及骑车人的识别预警系统的工作方法 |
| CN106443650A (zh) * | 2016-09-12 | 2017-02-22 | 电子科技大学成都研究院 | 一种基于几何关系的单目视觉测距方法 |
| CN107609486A (zh) * | 2017-08-16 | 2018-01-19 | 中国地质大学（武汉） | 一种车辆前向防撞预警方法及系统 |
| CN107657237A (zh) * | 2017-09-28 | 2018-02-02 | 东南大学 | 基于深度学习的汽车碰撞检测方法及系统 |
| WO2018055378A1 (en) * | 2016-09-21 | 2018-03-29 | Oxford University Innovation Limited | Autonomous route determination |
-
2018
- 2018-04-11 CN CN201810319786.1A patent/CN108596058A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102661733A (zh) * | 2012-05-28 | 2012-09-12 | 天津工业大学 | 一种基于单目视觉的前方车辆测距方法 |
| CN105083278A (zh) * | 2015-07-31 | 2015-11-25 | 奇瑞汽车股份有限公司 | 车辆控制方法及装置 |
| CN106156725A (zh) * | 2016-06-16 | 2016-11-23 | 江苏大学 | 一种基于车辆前方的行人及骑车人的识别预警系统的工作方法 |
| CN106443650A (zh) * | 2016-09-12 | 2017-02-22 | 电子科技大学成都研究院 | 一种基于几何关系的单目视觉测距方法 |
| WO2018055378A1 (en) * | 2016-09-21 | 2018-03-29 | Oxford University Innovation Limited | Autonomous route determination |
| CN107609486A (zh) * | 2017-08-16 | 2018-01-19 | 中国地质大学（武汉） | 一种车辆前向防撞预警方法及系统 |
| CN107657237A (zh) * | 2017-09-28 | 2018-02-02 | 东南大学 | 基于深度学习的汽车碰撞检测方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| NOA GARNETT 等: "Real-time category-based and general obstacle detection for autonomous driving", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS》 * |
| SRIRAM GANAPATHI SUBRAMANIAN 等: "Decision Assist For Self-Driving Cars", 《CANADIAN AI 2018：ADVANCES IN ARTIFICIAL INTELLIGENCE》 * |
| 李峰: "智能监控中对运动目标的检测和测距技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110969064B (zh) * | 2018-09-30 | 2023-10-27 | 北京四维图新科技股份有限公司 | 一种基于单目视觉的图像检测方法、装置及存储设备 |
| CN110969064A (zh) * | 2018-09-30 | 2020-04-07 | 北京四维图新科技股份有限公司 | 一种基于单目视觉的图像检测方法、装置及存储设备 |
| CN109568093A (zh) * | 2018-11-27 | 2019-04-05 | 湖北经济学院 | 一种步行安全综合管理系统及方法 |
| CN109506628A (zh) * | 2018-11-29 | 2019-03-22 | 东北大学 | 一种基于深度学习的卡车环境下目标物测距方法 |
| CN109657638B (zh) * | 2018-12-28 | 2021-04-27 | 百度在线网络技术（北京）有限公司 | 障碍物定位方法、装置和终端 |
| CN109657638A (zh) * | 2018-12-28 | 2019-04-19 | 百度在线网络技术（北京）有限公司 | 障碍物定位方法、装置和终端 |
| US11338807B2 (en) * | 2019-01-30 | 2022-05-24 | Allstate Insurance Company | Dynamic distance estimation output generation based on monocular video |
| US12036979B2 (en) | 2019-01-30 | 2024-07-16 | Allstate Insurance Company | Dynamic distance estimation output generation based on monocular video |
| CN109859216A (zh) * | 2019-02-16 | 2019-06-07 | 深圳市未来感知科技有限公司 | 基于深度学习的测距方法、装置、设备及存储介质 |
| CN110110702A (zh) * | 2019-05-20 | 2019-08-09 | 哈尔滨理工大学 | 一种基于改进ssd目标检测网络的无人机规避算法 |
| CN110956069A (zh) * | 2019-05-30 | 2020-04-03 | 初速度（苏州）科技有限公司 | 一种行人3d位置的检测方法及装置、车载终端 |
| CN110956069B (zh) * | 2019-05-30 | 2022-06-21 | 魔门塔(苏州)科技有限公司 | 一种行人3d位置的检测方法及装置、车载终端 |
| CN110322509A (zh) * | 2019-06-26 | 2019-10-11 | 重庆邮电大学 | 基于层级类激活图的目标定位方法、系统及计算机设备 |
| CN110334646A (zh) * | 2019-07-02 | 2019-10-15 | 朱恺晗 | 一种基于ssd的单类别障碍物识别的检测方法 |
| US12051206B2 (en) | 2019-07-25 | 2024-07-30 | Nvidia Corporation | Deep neural network for segmentation of road scenes and animate object instances for autonomous driving applications |
| CN111026106A (zh) * | 2019-11-07 | 2020-04-17 | 广东工业大学 | 一种无人车室外驾驶系统 |
| US12080078B2 (en) | 2019-11-15 | 2024-09-03 | Nvidia Corporation | Multi-view deep neural network for LiDAR perception |
| US12072443B2 (en) | 2019-11-15 | 2024-08-27 | Nvidia Corporation | Segmentation of lidar range images |
| CN112825136A (zh) * | 2019-11-21 | 2021-05-21 | 辉达公司 | 自主机器应用中使用radar传感器检测障碍物的深度神经网络 |
| US12050285B2 (en) | 2019-11-21 | 2024-07-30 | Nvidia Corporation | Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications |
| CN112825136B (zh) * | 2019-11-21 | 2024-05-14 | 辉达公司 | 自主机器应用中使用radar传感器检测障碍物的深度神经网络 |
| CN111179300A (zh) * | 2019-12-16 | 2020-05-19 | 新奇点企业管理集团有限公司 | 障碍物检测的方法、装置、系统、设备以及存储介质 |
| CN113924462A (zh) * | 2020-01-03 | 2022-01-11 | 移动眼视觉科技有限公司 | 用于确定物体尺寸的导航系统和方法 |
| CN111402326B (zh) * | 2020-03-13 | 2023-08-25 | 北京百度网讯科技有限公司 | 障碍物的检测方法、装置、无人车及存储介质 |
| CN111402326A (zh) * | 2020-03-13 | 2020-07-10 | 北京百度网讯科技有限公司 | 障碍物的检测方法、装置、无人车及存储介质 |
| CN111402335A (zh) * | 2020-03-18 | 2020-07-10 | 东软睿驰汽车技术（沈阳）有限公司 | 深度学习模型的评价方法、装置、电子设备及存储介质 |
| CN111402335B (zh) * | 2020-03-18 | 2023-07-28 | 东软睿驰汽车技术（沈阳）有限公司 | 深度学习模型的评价方法、装置、电子设备及存储介质 |
| CN111368797A (zh) * | 2020-03-23 | 2020-07-03 | 福州视驰科技有限公司 | 一种基于路端单目摄像头的目标实时测距方法 |
| CN111623776A (zh) * | 2020-06-08 | 2020-09-04 | 昆山星际舟智能科技有限公司 | 使用近红外视觉传感器和陀螺仪进行目标测距的方法 |
| CN112113536B (zh) * | 2020-08-10 | 2022-10-04 | 浙江吉利汽车研究院有限公司 | 一种车载摄像头测距方法及系统 |
| CN112113536A (zh) * | 2020-08-10 | 2020-12-22 | 浙江吉利汽车研究院有限公司 | 一种车载摄像头测距方法及系统 |
| CN112462368B (zh) * | 2020-11-25 | 2022-07-12 | 中国第一汽车股份有限公司 | 一种障碍物检测方法、装置、车辆及存储介质 |
| CN112462368A (zh) * | 2020-11-25 | 2021-03-09 | 中国第一汽车股份有限公司 | 一种障碍物检测方法、装置、车辆及存储介质 |
| CN112896045A (zh) * | 2021-01-26 | 2021-06-04 | 安信通科技（澳门）有限公司 | 一种车辆a柱盲区透视方法、系统及车辆 |
| CN112802092B (zh) * | 2021-01-29 | 2024-04-09 | 深圳一清创新科技有限公司 | 一种障碍物感知方法、装置以及电子设备 |
| CN112802092A (zh) * | 2021-01-29 | 2021-05-14 | 深圳一清创新科技有限公司 | 一种障碍物感知方法、装置以及电子设备 |
| CN113486837A (zh) * | 2021-07-19 | 2021-10-08 | 安徽江淮汽车集团股份有限公司 | 针对低通度障碍物的自动驾驶控制方法 |
| CN114793599A (zh) * | 2022-04-14 | 2022-07-29 | 宁波市华代科技有限公司 | 一种智能割草机用智能作业系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108596058A (zh) | 基于计算机视觉的行车障碍物测距方法 | |
| CN109100741B (zh) | 一种基于3d激光雷达及图像数据的目标检测方法 | |
| CN110032949B (zh) | 一种基于轻量化卷积神经网络的目标检测与定位方法 | |
| CN110244322B (zh) | 基于多源传感器的路面施工机器人环境感知系统及方法 | |
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| CN107738612B (zh) | 基于全景视觉辅助系统的自动泊车停车位检测与识别系统 | |
| CN111046776B (zh) | 基于深度相机的移动机器人行进路径障碍物检测的方法 | |
| CN107462223B (zh) | 一种公路转弯前行车视距自动测量装置及测量方法 | |
| CN102999759B (zh) | 一种基于光流的车辆运动状态估计方法 | |
| TW201928290A (zh) | 三維感測器之動態地面偵測方法 | |
| CN102176243A (zh) | 一种基于可见光和红外摄像机的目标测距方法 | |
| CN103714538B (zh) | 道路边缘检测方法、装置及车辆 | |
| CN107796373B (zh) | 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法 | |
| CN110297232A (zh) | 基于计算机视觉的单目测距方法、装置及电子设备 | |
| CN113470090A (zh) | 基于sift-shot特征的多固态激光雷达外参标定方法 | |
| CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
| CN114549549B (zh) | 一种动态环境下基于实例分割的动态目标建模跟踪方法 | |
| CN113205604A (zh) | 一种基于摄像机和激光雷达的可行区域检测方法 | |
| CN114089330B (zh) | 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法 | |
| Lin et al. | Construction of fisheye lens inverse perspective mapping model and its applications of obstacle detection | |
| JP4344860B2 (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
| CN116486287A (zh) | 基于环境自适应机器人视觉系统的目标检测方法及系统 | |
| CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
| Lion et al. | Smart speed bump detection and estimation with kinect | |
| CN113850872A (zh) | 一种基于高位视频的服务区停车压线检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180928 |
|
| WD01 | Invention patent application deemed withdrawn after publication |