CN108399398A - 一种基于深度学习的无人驾驶汽车障碍物识别检测方法 - Google Patents
一种基于深度学习的无人驾驶汽车障碍物识别检测方法 Download PDFInfo
- Publication number
- CN108399398A CN108399398A CN201810240723.7A CN201810240723A CN108399398A CN 108399398 A CN108399398 A CN 108399398A CN 201810240723 A CN201810240723 A CN 201810240723A CN 108399398 A CN108399398 A CN 108399398A
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- convolutional layer
- handled
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本发明公开了一种基于深度学习的无人驾驶汽车障碍物识别检测方法，首先对传感器输出的图像进行预处理，将预处理后的图像送入卷积层进行处理，解析通过卷积层处理后的图像，获取目标类别、目标概率以及目标坐标，将目标类别和目标概率相乘计算出每个目标的各个类别对应的概率向量，根据概率向量中的元素与设定阈值的进行比较，根据比较结果获得目标对应的类别，以及获得目标对应的坐标。本发明通过深度卷积神经网络对图像特征进行提取分析，对图像中的目标进行深度学习，从而有效的识别检测出障碍物，使汽车更好的感知外界环境，提高汽车的安全性。
Description
技术领域
本发明属于计算机视觉领域，具体涉及一种基于深度学习的无人驾驶汽车障碍物识别检测方法，用于目标的检测。
背景技术
随着汽车保有量的越来越多，道路交通安全问题日渐严峻。据统计，90％以上的交通事故是由人为因素引起的，因此，如何减少和避免交通事故的发生，已成为交通安全领域亟待解决的问题。一直以来，汽车无人驾驶技术被视为最有效的解决方案，其发展备受瞩目。《中国制造2025》中明确提出，到2020年，掌握智能辅助驾驶总体技术及各项关键技术；到2025年，掌握自动驾驶总体技术及各项关键技术。汽车的自动化和智能化是汽车产业未来发展的重要方向。
无人驾驶汽车主要零部件包括激光雷达、单/双目摄像头、超声波雷达、毫米波雷达和主控系统等。作为无人驾驶汽车的“眼睛”，可以利用双目摄像头的成像视差来测算周围物体和汽车之间的距离，同时也被用来识别车道线、红绿灯和各种交通指示牌，以及周围的行人和车辆等物体。作为无人驾驶汽车感知外界环境的最主要途径之一，摄像头在无人驾驶中发挥着重要的作用，对摄像头采集的图像进行精确的识别和检测，是无人驾驶汽车安全的重要保证。
无人驾驶汽车障碍物识别检测算法的核心是如何精确的提取出图像中物体的特征，对提取出的物体进行分类和坐标回归。目前汽车上广泛使用的驾驶辅助系统(ADAS)中还没有利用摄像头对目标进行有效的识别检测，普遍的是利用超声波雷达和毫米波雷达对前方障碍物进行检测，而雷达的价格比摄像头的要高很多。即使使用摄像头对目标进行识别检测，大都采用的是传统的特征匹配算法，这种算法虽然对硬件的要求低，但是精度不高，无法胜任日益复杂的无人驾驶任务。国外的一些先进的基于计算机视觉的驾驶辅助系统可以利用摄像头对障碍物进行有效的识别检测，并且已经用于汽车上了，但该技术已被国外垄断，国内仍需对该技术进行探索。
发明内容
根据现有技术存在的上述问题，本发明提供了一种基于深度学习的无人驾驶汽车障碍物识别检测方法。
为了实现上述发明目的，本发明采用以下技术方案：
一种基于深度学习的无人驾驶汽车障碍物识别检测方法，包括以下步骤：
步骤1、预处理步骤，
对摄像头传感器采集的图像进行预处理，并将预处理之后的图像缩放成416×416的像素大小；
步骤2、进入第一卷积层处理，具体为：
步骤2.1、经过步骤1处理后的图像进入第一卷积层进行处理，第一卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为32，输出图像的维度为416×416×32；
步骤2.2、经过步骤2.1处理后的图像进入了第一池化层，第一池化层采用最大值池化方法，池化窗口大小为2×2，池化滑动窗口步长为2，故池化后输出的图像维度为208×208×32；
步骤3、进入第二卷积层处理，具体为：
步骤3.1、经过步骤2.2处理后的图像进入第二卷积层进行处理，第二卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为64，输出图像的维度为208×208×64；
步骤3.2、经过步骤3.1处理后的图像进入了第二池化层，第二池化层采用最大值池化方法，池化窗口大小为2×2，池化滑动窗口步长为2，故池化后输出的图像维度为104×104×64；
步骤4、进入第三卷积层和第四卷积层处理，具体为：
步骤4.1、经过步骤3.2处理后的图像进入了第三卷积层进行处理，第三卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为64，输出图像的维度为104×104×64；
步骤4.2、经过步骤4.1处理后的图像进入了第四卷积层进行处理，第四卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为128，输出图像的维度为104×104×128；
步骤4.3、经过步骤4.2处理后的图像进入了第三池化层进行处理，第三池化层采用最大值池化方法进行处理，池化窗口大小为2×2，池化滑动窗口步长为2，故池化后输出的图像维度为52×52×128；
步骤5、进入第五卷积层至第八卷积层处理，具体为：
步骤5.1、经过步骤4.3处理后的图像进入了第五卷积层进行处理，第五卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为128，输出图像的维度为52×52×128；
步骤5.2、经过步骤5.1处理后的图像进入了第六卷积层进行处理，第六卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为256，输出图像的维度为52×52×256；
步骤5.3、经过步骤5.2处理后的图像进入了第七卷积层进行处理，第七卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为128，输出图像的维度为52×52×128；
步骤5.4、经过步骤5.3处理后的图像进入了第八卷积层进行处理，第八卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为256，输出图像的维度为52×52×256；
步骤5.5、经过步骤5.4处理后的图像进入了第四池化层进行处理，第四池化层采用最大值池化方法进行处理，池化窗口大小为2×2，池化滑动窗口步长为2，故池化后输出的图像维度为26×26×256；
步骤6、进入第九卷积层至第十二卷积层处理，具体为：
步骤6.1、经过步骤5.5处理后的图像进入第九卷积层进行处理，第九卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为256，输出图像的维度为26×26×256；
步骤6.2、经过步骤6.1处理后的图像进入第十卷积层进行处理，第十卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为512，输出图像的维度为26×26×512；
步骤6.3、经过步骤6.2处理后的图像进入第十一卷积层进行处理，第十一卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为256，输出图像的维度为26×26×256；
步骤6.4、经过步骤6.3处理后的图像进入第十二卷积层进行处理，第十二卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为512，输出图像的维度为26×26×512；
步骤6.5、经过步骤6.4处理后的图像进入了第五池化层进行处理，第五池化层采用最大值池化方法进行处理，池化窗口大小为2×2，池化滑动窗口步长为2，故池化后输出的图像维度为13×13×512；
步骤7、进入第十三卷积层至第十八卷积层进行处理，具体为：
步骤7.1、经过步骤6.5处理后的图像进入第十三卷积层进行处理，第十三卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为512，输出图像的维度为13×13×512；
步骤7.2、经过步骤7.1处理后的图像进入第十四卷积层进行处理，第十四卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为1024，输出图像的维度为13×13×1024；
步骤7.3、经过步骤7.2处理后的图像进入第十五卷积层进行处理，第十五卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为512，输出图像的维度为13×13×512；
步骤7.4、经过步骤7.3处理后的图像进入第十六卷积层进行处理，第十六卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为1024，输出图像的维度为13×13×1024；
步骤7.5、经过步骤7.4处理后的图像进入第十七卷积层进行处理，第十七卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为512，输出图像的维度为13×13×512；
步骤7.6、经过步骤7.5处理后的图像进入第十八卷积层进行处理，第十八卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为1024，输出图像的维度为13×13×1024；
步骤8、进入第十九卷积层至第二十一卷积层进行处理，具体为：
步骤8.1、经过步骤7.6处理后的图像进入第十九卷积层进行处理，第十九卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为1024，输出图像的维度为13×13×1024；
步骤8.2、经过步骤8.1处理后的图像进入第二十卷积层进行处理，第二十卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为1024，输出图像的维度为13×13×1024；
步骤8.3、经过步骤8.2处理后的图像进入第二十一卷积层进行处理，第二十一卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为1024，输出图像的维度为13×13×1024；
步骤9、进入输出卷积层进行处理，
经过步骤8.3处理后的图像进入输出卷积层进行处理，输出卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为60，输出图像的维度为13×13×60，即13×13×(5×(7+1+4))，
其中，13×13为单元的维度，5为每个单元预测的候选窗口的维度，7为识别的目标类别维度，目标类别包括行人、自行车、摩托车、电动车、汽车、猫和狗，1为目标的概率维度，4为目标的坐标维度，
步骤10、步骤9输出的图像的维度为13×13×5×12，解析步骤9输出的图像中的目标类别、目标概率、以及目标坐标，将目标类别和目标概率相乘计算出每个目标的各个类别对应的概率向量，将概率向量中的元素与设定阈值的进行比较，根据比较结果获得目标对应的类别，以及获得目标对应的坐标。
发明与现有技术相比，具有以下优点和效果：
与现有技术相比，本发明全面分析摄像头采集的图像信息，从提高无人驾驶汽车感知能力的角度出发，通过深度卷积神经网络对图像特征进行提取分析，对图像中的物体(行人、机动车、非机动车等障碍物)进行深度学习，从而有效的识别检测出障碍物，使汽车更好的感知外界环境，提高汽车的安全性。
附图说明
图1是无人驾驶汽车主要零部件的示意图。
图2是本发明的深度卷积神经网络的架构图。
具体实施方式
以下结合附图对本发明的技术方案作进一步的详细描述。
如图2所示，一种基于深度学习的无人驾驶汽车障碍物识别检测方法，包括9个Section(按图中虚线划分)，具体步骤如下：
步骤1、预处理步骤。
摄像头传感器采集的图像进行预处理，预处理包括去均值处理和方差单位化处理。并将预处理之后的图像缩放成416×416的像素大小，因为图像是彩色图，具有RGB三个通道，故送入卷积神经网络的图像大小为416×416×3。
步骤2、进入第一卷积层处理。
步骤2.1、经过步骤1处理后的图像进入第一卷积层进行处理，第一卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为32，输出图像的维度为416×416×32。
步骤2.2、经过步骤2.1处理后的图像进入了第一池化层，第一池化层采用最大值池化方法，池化窗口大小为2×2，池化滑动窗口步长为2，故池化后输出的图像维度为208×208×32。
步骤3、进入第二卷积层处理。
步骤3.1、经过步骤2.2处理后的图像进入第二卷积层进行处理，第二卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为64，输出图像的维度为208×208×64。
步骤3.2、经过步骤3.1处理后的图像进入了第二池化层，第二池化层采用最大值池化方法，池化窗口大小为2×2，池化滑动窗口步长为2，故池化后输出的图像维度为104×104×64。
步骤4、进入第三卷积层和第四卷积层处理。
步骤4.1、经过步骤3.2处理后的图像进入了第三卷积层进行处理，第三卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为64，输出图像的维度为104×104×64。
步骤4.2、经过步骤4.1处理后的图像进入了第四卷积层进行处理，第四卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为128，输出图像的维度为104×104×128。
步骤4.3、经过步骤4.2处理后的图像进入了第三池化层进行处理，第三池化层采用最大值池化方法进行处理，池化窗口大小为2×2，池化滑动窗口步长为2，故池化后输出的图像维度为52×52×128。
步骤5、进入第五卷积层至第八卷积层处理。
步骤5.1、经过步骤4.3处理后的图像进入了第五卷积层进行处理，第五卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为128，输出图像的维度为52×52×128。
步骤5.2、经过步骤5.1处理后的图像进入了第六卷积层进行处理，第六卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为256，输出图像的维度为52×52×256。
步骤5.3、经过步骤5.2处理后的图像进入了第七卷积层进行处理，第七卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为128，输出图像的维度为52×52×128。
步骤5.4、经过步骤5.3处理后的图像进入了第八卷积层进行处理。第八卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为256，输出图像的维度为52×52×256。
步骤5.5、经过步骤5.4处理后的图像进入了第四池化层进行处理，第四池化层采用最大值池化方法进行处理，池化窗口大小为2×2，池化滑动窗口步长为2，故池化后输出的图像维度为26×26×256。
步骤6、进入第九卷积层至第十二卷积层处理。
步骤6.1、经过步骤5.5处理后的图像进入第九卷积层进行处理，第九卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为256，输出图像的维度为26×26×256。
步骤6.2、经过步骤6.1处理后的图像进入第十卷积层进行处理，第十卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为512，输出图像的维度为26×26×512。
步骤6.3、经过步骤6.2处理后的图像进入第十一卷积层进行处理，第十一卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为256，输出图像的维度为26×26×256。
步骤6.4、经过步骤6.3处理后的图像进入第十二卷积层进行处理，第十二卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为512，输出图像的维度为26×26×512。
步骤6.5、经过步骤6.4处理后的图像进入了第五池化层进行处理，第五池化层采用最大值池化方法进行处理，池化窗口大小为2×2，池化滑动窗口步长为2，故池化后输出的图像维度为13×13×512。
步骤7、进入第十三卷积层至第十八卷积层进行处理。
步骤7.1、经过步骤6.5处理后的图像进入第十三卷积层进行处理，第十三卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为512，输出图像的维度为13×13×512。
步骤7.2、经过步骤7.1处理后的图像进入第十四卷积层进行处理，第十四卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为1024，输出图像的维度为13×13×1024。
步骤7.3、经过步骤7.2处理后的图像进入第十五卷积层进行处理，第十五卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为512，输出图像的维度为13×13×512。
步骤7.4、经过步骤7.3处理后的图像进入第十六卷积层进行处理，第十六卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为1024，输出图像的维度为13×13×1024。
步骤7.5、经过步骤7.4处理后的图像进入第十七卷积层进行处理，第十七卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为512，输出图像的维度为13×13×512。
步骤7.6、经过步骤7.5处理后的图像进入第十八卷积层进行处理，第十八卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为1024，输出图像的维度为13×13×1024。
步骤8、进入第十九卷积层至第二十一卷积层进行处理。
步骤8.1、经过步骤7.6处理后的图像进入第十九卷积层进行处理，第十九卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为1024，输出图像的维度为13×13×1024。
步骤8.2、经过步骤8.1处理后的图像进入第二十卷积层进行处理，第二十卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为1024，输出图像的维度为13×13×1024。
步骤8.3、经过步骤8.2处理后的图像进入第二十一卷积层进行处理，第二十一卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为1024，输出图像的维度为13×13×1024。
步骤9、进入输出卷积层进行处理。
经过步骤8.3处理后的图像进入输出卷积层进行处理，输出卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为60，故输出图像的维度为13×13×60。
即经过步骤9处理后的图像的维度为13×13×(5×(7+1+4))，
其中，13×13为单元(cell)的维度，5为每个单元(cell)预测的候选窗口(anchorboxes)的维度，7为识别的目标(也即障碍物)类别维度，目标类别包括行人、自行车、摩托车、电动车、汽车、猫和狗，1为目标的概率维度，4为目标的坐标维度。
步骤10、步骤9输出的图像的维度为13×13×5×12，解析步骤9输出的图像中的目标类别(13×13×5×7)、目标概率(13×13×5×1)、以及目标坐标(13×13×5×4)，，将目标类别和目标概率相乘计算出每个目标的各个类别对应的概率向量，根据概率向量中的元素与设定阈值的进行比较，根据比较结果获得目标对应的类别，以及获得目标对应的坐标。
由此，本发明就可以识别出图像的目标的类别以及目标在图像中的相对位置。将识别出来的结果送入主控系统中综合分析，汽车就能够更好的感知外界环境，从而保障行车安全。
以上是对本发明的具体实施例进行了描述，仅仅是对本发明精神作举例说明。本发明所属领域的技术人员可以在权利要求的范围内对所描述的具体实施例做任何修改、补充或采用类似的方式替代，这并不影响本发明的实质内容。
Claims (1)
1.一种基于深度学习的无人驾驶汽车障碍物识别检测方法，其特征在于，包括以下步骤：
步骤1、预处理步骤，
对摄像头传感器采集的图像进行预处理，并将预处理之后的图像缩放成416×416的像素大小；
步骤2、进入第一卷积层处理，具体为：
步骤2.1、经过步骤1处理后的图像进入第一卷积层进行处理，第一卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为32，输出图像的维度为416×416×32；
步骤2.2、经过步骤2.1处理后的图像进入了第一池化层，第一池化层采用最大值池化方法，池化窗口大小为2×2，池化滑动窗口步长为2，故池化后输出的图像维度为208×208×32；
步骤3、进入第二卷积层处理，具体为：
步骤3.1、经过步骤2.2处理后的图像进入第二卷积层进行处理，第二卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为64，输出图像的维度为208×208×64；
步骤3.2、经过步骤3.1处理后的图像进入了第二池化层，第二池化层采用最大值池化方法，池化窗口大小为2×2，池化滑动窗口步长为2，故池化后输出的图像维度为104×104×64；
步骤4、进入第三卷积层和第四卷积层处理，具体为：
步骤4.1、经过步骤3.2处理后的图像进入了第三卷积层进行处理，第三卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为64，输出图像的维度为104×104×64；
步骤4.2、经过步骤4.1处理后的图像进入了第四卷积层进行处理，第四卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为128，输出图像的维度为104×104×128；
步骤4.3、经过步骤4.2处理后的图像进入了第三池化层进行处理，第三池化层采用最大值池化方法进行处理，池化窗口大小为2×2，池化滑动窗口步长为2，故池化后输出的图像维度为52×52×128；
步骤5、进入第五卷积层至第八卷积层处理，具体为：
步骤5.1、经过步骤4.3处理后的图像进入了第五卷积层进行处理，第五卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为128，输出图像的维度为52×52×128；
步骤5.2、经过步骤5.1处理后的图像进入了第六卷积层进行处理，第六卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为256，输出图像的维度为52×52×256；
步骤5.3、经过步骤5.2处理后的图像进入了第七卷积层进行处理，第七卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为128，输出图像的维度为52×52×128；
步骤5.4、经过步骤5.3处理后的图像进入了第八卷积层进行处理，第八卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为256，输出图像的维度为52×52×256；
步骤5.5、经过步骤5.4处理后的图像进入了第四池化层进行处理，第四池化层采用最大值池化方法进行处理，池化窗口大小为2×2，池化滑动窗口步长为2，故池化后输出的图像维度为26×26×256；
步骤6、进入第九卷积层至第十二卷积层处理，具体为：
步骤6.1、经过步骤5.5处理后的图像进入第九卷积层进行处理，第九卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为256，输出图像的维度为26×26×256；
步骤6.2、经过步骤6.1处理后的图像进入第十卷积层进行处理，第十卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为512，输出图像的维度为26×26×512；
步骤6.3、经过步骤6.2处理后的图像进入第十一卷积层进行处理，第十一卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为256，输出图像的维度为26×26×256；
步骤6.4、经过步骤6.3处理后的图像进入第十二卷积层进行处理，第十二卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为512，输出图像的维度为26×26×512；
步骤6.5、经过步骤6.4处理后的图像进入了第五池化层进行处理，第五池化层采用最大值池化方法进行处理，池化窗口大小为2×2，池化滑动窗口步长为2，故池化后输出的图像维度为13×13×512；
步骤7、进入第十三卷积层至第十八卷积层进行处理，具体为：
步骤7.1、经过步骤6.5处理后的图像进入第十三卷积层进行处理，第十三卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为512，输出图像的维度为13×13×512；
步骤7.2、经过步骤7.1处理后的图像进入第十四卷积层进行处理，第十四卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为1024，输出图像的维度为13×13×1024；
步骤7.3、经过步骤7.2处理后的图像进入第十五卷积层进行处理，第十五卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为512，输出图像的维度为13×13×512；
步骤7.4、经过步骤7.3处理后的图像进入第十六卷积层进行处理，第十六卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为1024，输出图像的维度为13×13×1024；
步骤7.5、经过步骤7.4处理后的图像进入第十七卷积层进行处理，第十七卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为512，输出图像的维度为13×13×512；
步骤7.6、经过步骤7.5处理后的图像进入第十八卷积层进行处理，第十八卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为1024，输出图像的维度为13×13×1024；
步骤8、进入第十九卷积层至第二十一卷积层进行处理，具体为：
步骤8.1、经过步骤7.6处理后的图像进入第十九卷积层进行处理，第十九卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为1024，输出图像的维度为13×13×1024；
步骤8.2、经过步骤8.1处理后的图像进入第二十卷积层进行处理，第二十卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为1024，输出图像的维度为13×13×1024；
步骤8.3、经过步骤8.2处理后的图像进入第二十一卷积层进行处理，第二十一卷积层的卷积核大小为3×3，卷积滑动窗口步长为1，卷积后的输出特征数为1024，输出图像的维度为13×13×1024；
步骤9、进入输出卷积层进行处理，
经过步骤8.3处理后的图像进入输出卷积层进行处理，输出卷积层的卷积核大小为1×1，卷积滑动窗口步长为1，卷积后的输出特征数为60，输出图像的维度为13×13×60，即13×13×（5×(7+1+4)），
其中，13×13为单元的维度，5为每个单元预测的候选窗口的维度，7为识别的目标类别维度，目标类别包括行人、自行车、摩托车、电动车、汽车、猫和狗，1为目标的概率维度，4为目标的坐标维度，
步骤10、步骤9输出的图像的维度为13×13×5×12，解析步骤9输出的图像中的目标类别、目标概率、以及目标坐标，将目标类别和目标概率相乘计算出每个目标的各个类别对应的概率向量，将概率向量中的元素与设定阈值的进行比较，根据比较结果获得目标对应的类别，以及获得目标对应的坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810240723.7A CN108399398A (zh) | 2018-03-22 | 2018-03-22 | 一种基于深度学习的无人驾驶汽车障碍物识别检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810240723.7A CN108399398A (zh) | 2018-03-22 | 2018-03-22 | 一种基于深度学习的无人驾驶汽车障碍物识别检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108399398A true CN108399398A (zh) | 2018-08-14 |
Family
ID=63091974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810240723.7A Pending CN108399398A (zh) | 2018-03-22 | 2018-03-22 | 一种基于深度学习的无人驾驶汽车障碍物识别检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108399398A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110058264A (zh) * | 2019-04-22 | 2019-07-26 | 福州大学 | 一种基于深度学习的实时检测及识别障碍物的方法 |
| CN110263628A (zh) * | 2019-05-09 | 2019-09-20 | 杭州飞步科技有限公司 | 障碍物检测方法、装置、电子设备以及存储介质 |
| CN111028542A (zh) * | 2019-04-10 | 2020-04-17 | 泰州阿法光电科技有限公司 | 定制对象预警控制装置 |
| WO2020097837A1 (en) * | 2018-11-15 | 2020-05-22 | Lingdong Technology (Beijing) Co.Ltd | System and method for real-time supervised machine learning in on-site environment |
| CN112021715A (zh) * | 2020-08-25 | 2020-12-04 | 佛山市顺德区蚬华多媒体制品有限公司 | 一种头盔 |
| CN113408325A (zh) * | 2020-03-17 | 2021-09-17 | 北京百度网讯科技有限公司 | 车辆周围环境的识别方法、装置及相关设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060013438A1 (en) * | 2004-07-13 | 2006-01-19 | Susumu Kubota | Obstacle detection apparatus and a method therefor |
| CN101231714A (zh) * | 2007-12-05 | 2008-07-30 | 中原工学院 | 机器人三维路径规划方法 |
| US20140035775A1 (en) * | 2012-08-01 | 2014-02-06 | GM Global Technology Operations LLC | Fusion of obstacle detection using radar and camera |
| CN105956608A (zh) * | 2016-04-21 | 2016-09-21 | 恩泊泰（天津）科技有限公司 | 一种基于深度学习的目标定位、分类算法 |
| CN106599773A (zh) * | 2016-10-31 | 2017-04-26 | 清华大学 | 用于智能驾驶的深度学习图像识别方法、系统及终端设备 |
| CN106934800A (zh) * | 2017-02-28 | 2017-07-07 | 北京科技大学 | 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置 |
| CN107169421A (zh) * | 2017-04-20 | 2017-09-15 | 华南理工大学 | 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法 |
-
2018
- 2018-03-22 CN CN201810240723.7A patent/CN108399398A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060013438A1 (en) * | 2004-07-13 | 2006-01-19 | Susumu Kubota | Obstacle detection apparatus and a method therefor |
| CN101231714A (zh) * | 2007-12-05 | 2008-07-30 | 中原工学院 | 机器人三维路径规划方法 |
| US20140035775A1 (en) * | 2012-08-01 | 2014-02-06 | GM Global Technology Operations LLC | Fusion of obstacle detection using radar and camera |
| CN105956608A (zh) * | 2016-04-21 | 2016-09-21 | 恩泊泰（天津）科技有限公司 | 一种基于深度学习的目标定位、分类算法 |
| CN106599773A (zh) * | 2016-10-31 | 2017-04-26 | 清华大学 | 用于智能驾驶的深度学习图像识别方法、系统及终端设备 |
| CN106934800A (zh) * | 2017-02-28 | 2017-07-07 | 北京科技大学 | 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置 |
| CN107169421A (zh) * | 2017-04-20 | 2017-09-15 | 华南理工大学 | 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020097837A1 (en) * | 2018-11-15 | 2020-05-22 | Lingdong Technology (Beijing) Co.Ltd | System and method for real-time supervised machine learning in on-site environment |
| US11092968B2 (en) | 2018-11-15 | 2021-08-17 | Lingdong Technology (Beijing) Co. Ltd | System and method for real-time supervised machine learning in on-site environment |
| US11682193B2 (en) | 2018-11-15 | 2023-06-20 | Lingdong Technology (Beijing) Co. Ltd. | System and method for real-time supervised machine learning in on-site environment |
| CN111028542A (zh) * | 2019-04-10 | 2020-04-17 | 泰州阿法光电科技有限公司 | 定制对象预警控制装置 |
| CN110058264A (zh) * | 2019-04-22 | 2019-07-26 | 福州大学 | 一种基于深度学习的实时检测及识别障碍物的方法 |
| CN110263628A (zh) * | 2019-05-09 | 2019-09-20 | 杭州飞步科技有限公司 | 障碍物检测方法、装置、电子设备以及存储介质 |
| CN110263628B (zh) * | 2019-05-09 | 2021-11-23 | 杭州飞步科技有限公司 | 障碍物检测方法、装置、电子设备以及存储介质 |
| CN113408325A (zh) * | 2020-03-17 | 2021-09-17 | 北京百度网讯科技有限公司 | 车辆周围环境的识别方法、装置及相关设备 |
| CN112021715A (zh) * | 2020-08-25 | 2020-12-04 | 佛山市顺德区蚬华多媒体制品有限公司 | 一种头盔 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108399398A (zh) | 一种基于深度学习的无人驾驶汽车障碍物识别检测方法 | |
| US11643076B2 (en) | Forward collision control method and apparatus, electronic device, program, and medium | |
| US11532151B2 (en) | Vision-LiDAR fusion method and system based on deep canonical correlation analysis | |
| CN108398672B (zh) | 基于前倾2d激光雷达移动扫描的路面与障碍检测方法 | |
| CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
| CN105260712A (zh) | 一种车辆前方行人检测方法及系统 | |
| CN112967283B (zh) | 基于双目摄像头的目标识别方法、系统、设备及存储介质 | |
| CN103034843B (zh) | 一种基于单目视觉的夜间车辆检测方法 | |
| CN113370977B (zh) | 一种基于视觉的智能车辆前向碰撞预警方法及系统 | |
| CN111967373B (zh) | 一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法 | |
| CN108960074B (zh) | 基于深度学习的小尺寸行人目标检测方法 | |
| Xu et al. | Real-time obstacle detection over rails using deep convolutional neural network | |
| CN112949633A (zh) | 一种基于改进YOLOv3的红外目标检测方法 | |
| CN117111055A (zh) | 一种基于雷视融合的车辆状态感知方法 | |
| CN109508673A (zh) | 一种基于棒状像素的交通场景障碍检测与识别方法 | |
| CN112001272A (zh) | 一种基于深度学习的激光雷达环境感知方法及系统 | |
| Zou et al. | KAM-Net: Keypoint-aware and keypoint-matching network for vehicle detection from 2-D point cloud | |
| Valeja et al. | Traffic sign detection using Clara and Yolo in python | |
| CN110472508A (zh) | 基于深度学习和双目视觉的车道线测距方法 | |
| Ju et al. | Vision-based moving objects detection for intelligent automobiles and a robustness enhancing method | |
| CN113298044B (zh) | 基于定位补偿的障碍物检测方法、系统、设备及存储介质 | |
| CN113392812B (zh) | 基于深度神经网络的道路车道线检测方法及系统 | |
| CN111626298B (zh) | 一种实时图像语义分割装置及分割方法 | |
| Saleh et al. | Towards robust perception depth information for collision avoidance | |
| CN111126338B (zh) | 一种融合视觉注意力机制的智能车辆环境感知方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180814 |