CN109828592B - 一种障碍物检测的方法及设备 - Google Patents
一种障碍物检测的方法及设备 Download PDFInfo
- Publication number
- CN109828592B CN109828592B CN201910323852.7A CN201910323852A CN109828592B CN 109828592 B CN109828592 B CN 109828592B CN 201910323852 A CN201910323852 A CN 201910323852A CN 109828592 B CN109828592 B CN 109828592B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- frame
- map
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003062 neural network model Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 12
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 45
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 36
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 9
- 230000004888 barrier function Effects 0.000 abstract 2
- 238000013519 translation Methods 0.000 description 15
- 238000006073 displacement reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明提供一种障碍物检测的方法及设备，用以解决现有技术中无人驾驶车辆在行驶过程中无法精确的进行障碍物检测的问题。本发明确定获取第N帧点云数据时车辆对应的位置信息；根据所述位置信息在局部地图中确定检测区域，其中所述局部地图为根据连续多帧点云数据确定的鸟瞰图；基于深度神经网络模型，根据所述检测区域确定所述检测区域中的障碍物的位置信息，其中所述深度神经网络模型是通过对根据连续多帧点云数据确定的局部地图进行特征标注后训练得到的。由于局部地图是根据连续多帧点云数据确定的，点云数据稠密，确定的局部地图精准，因此检测区域精准，进而根据检测区域基于深度神经网络模型精确的确定出障碍物的位置信息。
Description
技术领域
本发明涉及自动驾驶技术领域，特别涉及一种障碍物检测的方法及设备。
背景技术
随着科学技术的不断发展和进步，计算机技术、现代传感技术和人工智能技术等逐渐应用到了汽车领域中，具有环境感知、路径规划、障碍物检测等功能的智能车辆应运而生。通过对智能车辆进行控制，可以使智能车辆自动按照预先制定的路径行驶，实现无人驾驶，但是在行驶过程中会遇到固定障碍物比如围栏、停在路边的车辆等，或移动的障碍物比如行人、行驶的车辆等，因此在行驶过程中还需要检测周围的障碍物；
现有技术中，在进行障碍物检测时，检测方法有：单目视觉方法、激光雷达方法等；其中，单目视觉方法只考虑了场景的视觉信息，极易受光照条件，天气状况影响；激光雷达的方法只获取单帧的点云数据，存在点云数据稀疏的缺点，精确度不高。
综上，现有技术中无人驾驶车辆在行驶过程中无法精确的进行障碍物检测。
发明内容
本发明提供一种障碍物检测的方法及设备，用以解决现有技术中无人驾驶车辆在行驶过程中无法精确的进行障碍物检测的问题。
第一方面，本发明实施例提供一种障碍物检测的方法，该方法包括：
确定获取第N帧点云数据时车辆对应的位置信息，其中N为正整数；
根据所述位置信息在局部地图中确定检测区域，其中所述局部地图为根据连续多帧点云数据确定的鸟瞰图；
基于深度神经网络模型，根据所述检测区域确定所述检测区域中的障碍物的位置信息，其中所述深度神经网络模型是通过对根据连续多帧点云数据确定的局部地图进行特征标注后训练得到的。
上述方法，进行障碍物检测时的检测区域是根据车辆位置信息在局部地图中确定的，其中局部地图是根据连续多帧点云数据确定的鸟瞰图，并在确定障碍物的过程中是根据检测区域，基于已训练的深度神经网络模型确定检测区域中的障碍物位置信息，其中深度神经网络模型是利用人工在局部地图中进行标注的障碍物目标作为真值进行监督学习得到的，且训练时使用的局部地图是根据连续多帧点云数据确定的鸟瞰图，由于局部地图是根据连续多帧点云数据确定，点云数据比较稠密，确定的局部地图更加的精准，因此根据当前位置信息确定的检测区域更加的精准，进一步的根据检测区域基于深度神经网络模型确定的障碍物位置信息更加的精确。
在一种可能的实现方式中，通过下列方式构建所述局部地图：
根据通过激光雷达获取的连续多帧点云数据确定点云地图；
利用栅格化处理方式对所述点云地图进行处理生成鸟瞰图，并将所述鸟瞰图作为所述局部地图。
在一种可能的实现方式中，根据通过激光雷达获取的连续多帧点云数据确定点云地图时，利用惯性导航元件确定第N帧点云数据的相对位姿信息，其中所述第N帧点云数据是通过激光雷达扫描所述车辆周边事物确定的；
根据所述第N帧点云数据的相对位姿信息对所述第N帧点云数据进行坐标转换，得到所述第N帧点云数据对应的点云地图坐标；
按照获取每帧点云数据的顺序，根据每连续多帧点云数据对应的点云地图坐标确定点云地图。
在一种可能的实现方式中，所述利用栅格化处理方式对所述点云地图进行处理生成鸟瞰图，并将所述鸟瞰图作为所述局部地图时：
将所述点云地图划分成多个立方体；
针对任意一个立方体，将立方体中的所有点对应的强度值进行加权平均确定反射强度均值，及将所有点对应的高度值进行比较确定高度最大值；
将确定的反射强度均值及高度最大值对所述立方体对应的栅格中的点进行赋值；
根据所有栅格中赋值后的点形成鸟瞰图，将所述鸟瞰图作为局部地图。
上述方法，将根据激光雷达获取的连续多帧点云数据进行坐标转换，生成点云地图，并通过栅格化处理方式转换成二维的鸟瞰图，在转换成鸟瞰图的过程中确定栅格中的点对应的反射强度均值及对应的高度最大值，将转换后的鸟瞰图作为局部地图，激光雷达可以准确的获取周边的事物信息，因此可以准确的确定出点云地图，通过栅格化处理方式准确的将点云地图转换为局部地图，障碍物检测过程中对包含有反射强度均值和高度最大值特征的局部地图中的检测区域进行检测，使检测的过程更加的便捷，且可以精确的检测出障碍物的位置信息。
在一种可能的实现方式中，所述根据所述位置信息在局部地图中确定检测区域时，以所述位置信息对应的位置为中心，根据预设的范围阈值在所述局部地图中确定检测区域。
上述方法，给出确定检测区域的方式，准确的确定出需要进行障碍物检测的检测区域。
第二方面，本发明实施例提供一种障碍物检测的设备，该设备包括：至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，所述处理单元具体用于：
确定获取第N帧点云数据时车辆对应的位置信息，其中N为正整数；
根据所述位置信息在局部地图中确定检测区域，其中所述局部地图为根据连续多帧点云数据确定的鸟瞰图；
基于深度神经网络模型，根据所述检测区域确定所述检测区域中的障碍物的位置信息，其中所述深度神经网络模型是通过对根据连续多帧点云数据确定的局部地图进行特征标注后训练得到的。
第三方面，本发明实施例提供一种障碍物检测的设备，该设备包括：第一确定模块，第二确定模块，检测模块；
第一确定模块用于：确定获取第N帧点云数据时车辆对应的位置信息，其中N为正整数；
第二确定模块用于：根据所述位置信息在局部地图中确定检测区域，其中所述局部地图为根据连续多帧点云数据确定的鸟瞰图；
检测模块用于：基于深度神经网络模型，根据所述检测区域确定所述检测区域中的障碍物的位置信息，其中所述深度神经网络模型是通过对根据连续多帧点云数据确定的局部地图进行特征标注后训练得到的。
第四方面，本发明还提供一种计算机存储介质，其上存储有计算机程序，该程序被处理单元执行时实现第一方面所述方法的步骤。
另外，第二方面至第四方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种障碍物检测的方法流程图；
图2为本发明实施例提供的一种划分立方体的方法示意图；
图3为本发明实施例提供的一种障碍物检测的整体方法流程图；
图4为本发明实施例提供的第一种障碍物检测的设备结构图；
图5为本发明实施例提供的第二种障碍物检测的设备结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面对文中出现的一些词语进行解释：
1、本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系；
2、本发明实施例中“车辆”指的是在行驶过程中需要实时进行障碍物检测的车辆；
3、本发明实施例中术语“栅格化”，是将矢量图形转化为位图(栅格图像)。最基础的栅格化算法将多边形表示的三维场景渲染到二维表面，其中“栅格”表示像素；
4、本发明实施例中术语“鸟瞰图”指根据透视原理，用高视点透视法从高处某一点俯视地面起伏绘制成的立体图（二维图像）。简单地说，就是在空中俯视某一地区所看到的图像，比平面图更有真实感。在本发明实施例中的鸟瞰特征图中每个栅格中存储了激光雷达扫描得到的点云数据的反射强度和高度值数据等统计信息。
本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
如图1所示，本发明实施例的一种行驶区域检测的方法，具体包括以下步骤：
步骤100，确定获取第N帧点云数据时车辆对应的位置信息，其中N为正整数；
步骤110，根据所述位置信息在局部地图中确定检测区域，其中所述局部地图为根据连续多帧点云数据确定的鸟瞰图；
步骤120，基于深度神经网络模型，根据所述检测区域确定所述检测区域中的障碍物的位置信息，其中所述深度神经网络模型是通过对根据连续多帧点云数据确定的局部地图进行特征标注后训练得到的。
通过上述方案，进行障碍物检测时的检测区域是根据车辆位置信息在局部地图中确定的，其中局部地图是根据连续多帧点云数据确定的鸟瞰图，并在确定障碍物的过程中是根据检测区域，基于已训练的深度神经网络模型确定检测区域中的障碍物位置信息，其中深度神经网络模型是利用人工在局部地图中进行标注的障碍物目标作为真值进行监督学习得到的，且训练时使用的局部地图是根据连续多帧点云数据确定的鸟瞰图，由于局部地图是根据连续多帧点云数据确定，点云数据比较稠密，确定的局部地图更加的精准，因此根据当前位置信息确定的检测区域更加的精准，进一步的根据检测区域基于深度神经网络模型确定的障碍物位置信息更加的精确。
在本发明实施例中，首先需要实时构建点云地图，构建点云地图时是根据通过激光雷达获取的连续多帧点云数据确定的，具体的：
第一步：利用惯性导航元件确定第N帧点云数据的相对位姿信息，其中所述第N帧点云数据是通过激光雷达扫描所述车辆周边事物确定的；
第二步：根据所述第N帧点云数据的相对位姿信息对所述第N帧点云数据进行坐标转换，得到所述第N帧点云数据对应的点云地图坐标。
第三步：根据连续多帧点云数据对应的点云地图坐标确定点云地图。
在根据连续多帧点云地图坐标确定点云地图时，要按照获取的每帧点云数据的顺序，根据每连续多帧点云数据对应的点云地图坐标确定点云地图。
其中，点云数据是指在一个三维坐标系统中的一组向量的集合。这些向量通常以X，Y，Z三维坐标的形式表示，代表几何位置信息，而且一般主要用来代表一个物体的外表面形状。例如，Pi={Xi，Yi，Zi}表示空间中的一个点，（i=1，2，3，……，n)，则Point Cloud={P1，P2，P3，……，Pn}表示一组点云数据。
在本发明实施例中，点云数据由至少一个点组成的，其中点云数据的相对位姿信息包括但不限于下列的部分或全部：
位置信息、速度、加速度、航向角。
在利用惯性导航元件确定第N帧点云数据的相对位姿信息时，激光雷达在扫描车辆周边事物输出点云数据与惯性导航元件输出IMU数据存在时间差，因此在激光雷达输出一帧点云数据时，惯性导航元件对应输出多组IMU数据组成一个IMU数据集，即IMU数据集由至少一个IMU数据组成的，其中IMU数据包括但不限于下列的部分或全部：
速度、加速度、航向角。
例如，采用的装置是velodyne-32线激光雷达和诺瓦泰高精度组合惯性导航元件单元IMU，IMU可达到厘米级定位精度。通过激光雷达扫描车辆周边事物输出的就是第N帧点云数据，第N帧点云数据是通过激光雷达扫描车辆周围的事物得到的点组成的集合；在确定第N帧点云数据的同时通过惯性导航元件单元IMU测量得到IMU数据组成的集合，例如激光雷达数据输出频率是10赫兹，IMU输出的频率是100赫兹，则输出第N帧点云数据的时间内对应输出10组IMU数据（假设一组IMU数据包括一个加速度，一个速度以及一个航向角)，这10组IMU数据组成一个IMU数据集，即与第N帧点云数据对应的IMU数据集。
因此，利用惯性导航元件确定点云数据的相对位姿信息时：根据第N帧点云数据确定第一位移平移、第二位移平移及旋转量，并根据第一位移平移、第二位移平移及旋转量确定RT矩阵，并将RT矩阵作为相对位姿信息；其中，第一位移平移为第N帧点云数据对应的IMU数据集中所有东向速度的和与IMU数据测量时间间隔的乘积，第二位移平移为第N帧点云数据对应的IMU数据集中所有北向速度的和与IMU数据测量时间间隔的乘积，旋转量为根据第N帧点云数据对应的IMU数据集中的IMU数据的时间戳确定的最后一次测量得到的航向角，即根据IMU航向角和速度加速度信息得到相对位姿信息；
其中，所述东向速度与所述北向速度是对速度进行分解得到的。
例如，一个IMU数据集包含10组IMU数据；
{(V x 1，V y 1，yaw1)；(V x 2，V y 2，yaw2)；…；(V x 10，V y 10，yaw10)}。
其中，Vxi表示测量得到第N帧点云数据对应的IMU数据集时第i次测量的东向速度，Vyi表示测量得到第i次测量的北向速度，yawi表示第i次测量的航向角，i=1，2，…，10；(V x 1，V y 1，yaw1)的时间戳为t1，(V x 2，V y 2，yaw2)的时间戳为t2，…，(V x 10，V y 10，yaw10)的时间戳为t10，且t1<t2<…<t10，则(V x 10，V y 10，yaw10)即这一IMU数据集中最后一次测量输出的IMU数据，最后一次输出的航向角即yaw10，IMU数据测量时间间隔为T=t2-t1=t3-t2=t4-t3=…=t10-t9。
则第一位移平移为Offx=（V x 1+V x 2+V x 3+…+V x 10）*T；
第二位移平移为Offy=（V y 1+V y 2+V y 3+…+V y 10）*T；
旋转量为θ=yaw10。
根据第N帧点云数据对应的第一位移平移、第二位移平移及旋转量确定RT（Rotational translation，旋转平移)矩阵。
例如，根据旋转量θ确定旋转矩阵R，假设R为4*4矩阵：R=[cosθ，sinθ，0，0；-sinθ，cosθ，0，0；0，0，1，0；0，0，0，1]，即绕z轴旋转，将点P（x，y，z）绕z轴旋转θ角得到点P′(x′，y′，z′)：
x′= ysinθ+xcosθ；y′=ycosθ−xsinθ；z′=z。
用向量表示为P=[x；y；z；1]，P′=[x′；y′；z′；1]，RP=P′。
根据第一位移平移以及第二位移平移确定平移矩阵T，假设第N帧点云数据中某一点Q（x，y，z），则对Q进行平移变换后得到Q′（x′，y′，z′），三个坐标轴的移动分量分别为dx=Offx，dy=Offy，dz=0，则：
x′= x + Offx；y′= y + Offy；z′= z 。
用向量表示为Q=[x；y；z；1]，Q′=[x′；y′；z′；1]，则TQ=Q′，其中T=[1，0，0，Offx；0，1，0，Offy；0，0，1，0；0，0，0，1]。
在确定第N帧点云数据对应的相对位姿信息后，根据确定的相对位姿信息对第N帧点云数据中的点进行坐标转换，如对第N帧中的点P进行转换时，可以先旋转后平移，转换后的点P可以表示为：T*R*P。
确定第N帧点云数据进行坐标转换后得到的点云地图坐标；在确定连续多帧点云数据对应的点云地图坐标后，由连续多帧点云数据对应的点云地图坐标确定点云地图。
在确定点云地图后，可以对点云地图进行动态更新，具体的，按照每帧点云数据的生成顺序，根据每连续多帧点云数据对应的点云地图坐标确定一次点云地图；其中任意相邻两次确定的点云地图中，后一次确定的点云地图使用的连续多帧点云数据中的第一帧点云数据为前一次确定的点云地图使用的连续多帧点云数据中的第二帧点云数据。
在本发明实施例中，得到点云地图之后，利用栅格化处理方式对所述点云地图进行处理生成鸟瞰图，并将所述鸟瞰图作为所述局部地图；
具体的，利用栅格化处理方式对所述点云地图进行处理生成鸟瞰图，并将所述鸟瞰图作为所述局部地图，包括如下步骤：
步骤一，将所述点云地图划分成多个立方体；
具体的，如图2所示，将三维空间（X，Y，Z）的点云地图划分为多个立方体，在划分时在（X，Y）平面按照等比例方式将三维空间的点云地图划分成多个立方体。
步骤二，针对任意一个立方体，将立方体中的所有点对应的强度值进行加权平均确定反射强度均值，及将所有点对应的高度值进行比较确定高度最大值；
由于每个立方体中包含有多个通过激光雷达扫描得到的点，且每个点都具有反射强度和高度值等，根据每个立方体中的所有点确定反射强度均值和高度最大值；
具体的，反射强度均值是将立方体中的所有点对应的强度值进行加权平均得到的，比如一个立方体中有10个点，假设这10个点的反射强度分别为：10、23、14、15、13、25、10、9、8、10，这10个点的反射强度和为137，则反射强度均值为13.7。
高度最大值是将立方体中的所有点对应的高度值进行比较确定的，比如一个立方体中有10个点，假设这10个点的高度值分别为：13、11、10、9、8、7、5、4、2、1，这10个点中高度值最大的为13，因此高度最大值为13。
步骤三，将确定的反射强度均值及高度最大值对所述立方体对应的栅格中的点进行赋值；并根据所有栅格中赋值后的点形成鸟瞰图，将所述鸟瞰图作为局部地图。
如图2所示，在将空间三维的点云地图转换为二维的鸟瞰图时，每个立方体在（X，Y）平面上对应有一个栅格，每个栅格对应一个像素点，根据确定的反射强度均值和高度最大值对栅格中的点进行赋值；按照顺序，所有栅格对应的像素点将形成一个鸟瞰图，将所述鸟瞰图作为局部地图。
需要说明的是，本发明实施例中所列举的确定栅格的高度值及反射强度均值的方式只是举例说明，任何一种确定栅格的高度值及反射强度的方式都适用于本发明实施例。
在生成局部地图后，确定获取到的第N帧点云数据时车辆对应的位置信息，所述位置信息是车辆在行驶过程中，车辆上的激光雷达扫描每帧点云数据的同时就会确定车辆在扫描点云数据时的位置信息，其中所述位置信息是根据定位元件确定的，比如根据GPS（Global Positioning System，全球定位系统）确定车辆在扫描点云数据时的位置信息；
在确定位置信息后，根据确定的位置信息在更新后的局部地图中确定检测区域；
以所述车辆的当前位置为中心，根据预设的范围阈值在所述局部地图中确定检测区域，所述预设的范围阈值可以为长度值即半径，或区域范围。
需要说明的是，本发明实施例中所列举的确定检测区域的方式只是举例说明，任何一种确定检测区域的方式都适用于本发明实施例，比如在确定检测区域时，可以根据预设的区域范围选择包含车辆位置信息的检测区域，车辆位置可以在选择后的检测区域中的任意位置，只要选择后的检测区域内包含确定的车辆位置即可。
在确定检测区域后，基于深度神经网络模型，根据所述检测区域确定所述检测区域中的障碍物位置信息时，根据检测区域的反射强度均值和高度最大值，通过深度神经网络模型确定所述检测区域中的障碍物的位置信息，通过2个特征通道将所述检测区域输入深度神经网络模型中，其中2个特征通道分别为反射强度均值通道，和高度最大值通道，输出的即是检测区域中的障碍物的位置信息。
其中，所述深度神经网络模型是通过对根据连续多帧点云数据确定的局部地图进行特征标注后训练得到的。
具体的，通过监督学习的方式，利用人工在局部地图中进行标注的障碍物目标作为真值进行训练的深度神经网络模型，其中存在标注的局部地图也是根据连续多帧点云数据确定的。
具体的，如图3所示为本发明实施例提供的一种障碍物检测的整体方法流程图，具体包括如下步骤：
步骤300，根据连续多帧点云数据构建点云地图；
步骤310，将点云地图进行栅格化处理，确定栅格的平均反射强度值和高度最大值，得到具有反射强度均值和高度最大值的鸟瞰图，并将所述鸟瞰图作为局部地图；
步骤320，确定获取第N帧点云数据时车辆对应的位置信息；
步骤330，以确定的位置信息为中心，根据预设的范围值在所述局部地图中确定检测区域；
步骤340，基于深度神经网络模型，根据所述检测区域对应的反射强度均值和高度最大值确定所述检测区域中的障碍物位置信息。
基于同一发明构思，本发明实施例中还提供了一种障碍物检测的设备，由于该设备对应的是本发明实施例障碍物检测的方法对应的设备，并且该设备解决问题的原理与该原理相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。
具体的，如图4所示，为本发明实施例提供的一种障碍物检测的设备结构图，该设备包括：至少一个处理单元400以及至少一个存储单元410，其中，所述存储单元410存储有程序代码，当所述程序代码被所述处理单元400执行时，所述处理单元400具体用于：
确定获取第N帧点云数据时车辆对应的位置信息，其中N为正整数；
根据所述位置信息在局部地图中确定检测区域，其中所述局部地图为根据连续多帧点云数据确定的鸟瞰图；
基于深度神经网络模型，根据所述检测区域确定所述检测区域中的障碍物的位置信息，其中所述深度神经网络模型是通过对根据连续多帧点云数据确定的局部地图进行特征标注后训练得到的。
可选的，所述处理单元400通过下列方式构建所述局部地图：
根据通过激光雷达获取的连续多帧点云数据确定点云地图；
利用栅格化处理方式对所述点云地图进行处理生成鸟瞰图，并将所述鸟瞰图作为所述局部地图。
可选的，所述处理单元400具体用于：
利用惯性导航元件确定第N帧点云数据的相对位姿信息，其中所述第N帧点云数据是通过激光雷达扫描所述车辆周边事物确定的；
根据所述第N帧点云数据的相对位姿信息对所述第N帧点云数据进行坐标转换，得到所述第N帧点云数据对应的点云地图坐标；
按照获取每帧点云数据的顺序，根据每连续多帧点云数据对应的点云地图坐标确定点云地图。
可选的，所述处理单元400具体用于：
将所述点云地图划分成多个立方体；
针对任意一个立方体，将立方体中的所有点对应的强度值进行加权平均确定反射强度均值，及将所有点对应的高度值进行比较确定高度最大值；
将确定的反射强度均值及高度最大值对所述立方体对应的栅格中的点进行赋值；
根据所有栅格中赋值后的点形成鸟瞰图，将所述鸟瞰图作为局部地图。
可选的，所述处理单元400具体用于：
以所述位置信息对应的位置为中心，根据预设的范围阈值在所述局部地图中确定检测区域。
如图5所示，为本发明实施例提供的第二种障碍物检测的设备结构图，该设备包括：第一确定模块500，第二确定模块510，检测模块520；
所述第一确定模块500用于：确定获取第N帧点云数据时车辆对应的位置信息，其中N为正整数；
所述第二确定模块510用于：根据所述位置信息在局部地图中确定检测区域，其中所述局部地图为根据连续多帧点云数据确定的鸟瞰图；
所述检测模块520用于：基于深度神经网络模型，根据所述检测区域确定所述检测区域中的障碍物的位置信息，其中所述深度神经网络模型是通过对根据连续多帧点云数据确定的局部地图进行特征标注后训练得到的。
可选的，所述设备还包括构建模块，所述构建模块通过下列方式构建所述局部地图：
根据通过激光雷达获取的连续多帧点云数据确定点云地图；
利用栅格化处理方式对所述点云地图进行处理生成鸟瞰图，并将所述鸟瞰图作为所述局部地图。
可选的，所述构建模块具体用于：
利用惯性导航元件确定第N帧点云数据的相对位姿信息，其中所述第N帧点云数据是通过激光雷达扫描所述车辆周边事物确定的；
根据所述第N帧点云数据的相对位姿信息对所述第N帧点云数据进行坐标转换，得到所述第N帧点云数据对应的点云地图坐标；
按照获取每帧点云数据的顺序，根据每连续多帧点云数据对应的点云地图坐标确定点云地图。
可选的，所述构建模块具体用于：
将所述点云地图划分成多个立方体；
针对任意一个立方体，将立方体中的所有点对应的强度值进行加权平均确定反射强度均值，及将所有点对应的高度值进行比较确定高度最大值；
将确定的反射强度均值及高度最大值对所述立方体对应的栅格中的点进行赋值；
根据所有栅格中赋值后的点形成鸟瞰图，将所述鸟瞰图作为局部地图。
所述第二确定模块510具体用于：
以所述位置信息对应的位置为中心，根据预设的范围阈值在所述局部地图中确定检测区域。
以上参照示出根据本发明实施例的方法、装置（系统）和/或计算机程序产品的框图和/或流程图描述本发明。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置，以产生机器，使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。
相应地，还可以用硬件和/或软件（包括固件、驻留软件、微码等）来实施本发明。更进一步地，本发明可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本发明上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (6)
1.一种障碍物检测的方法，其特征在于，该方法包括：
确定获取第N帧点云数据时车辆对应的位置信息，其中N为正整数；
根据所述车辆对应的位置信息在局部地图中确定检测区域，其中所述局部地图为根据连续多帧点云数据确定的鸟瞰图；
基于深度神经网络模型，根据所述检测区域确定所述检测区域中的障碍物的位置信息，其中所述深度神经网络模型是通过对根据连续多帧点云数据确定的局部地图进行特征标注后训练得到的；
所述根据所述车辆对应的位置信息在局部地图中确定检测区域，包括：
以所述车辆的当前位置为中心，根据预设的范围阈值在所述局部地图中确定检测区域；
其中，通过下列方式构建所述局部地图：
根据通过激光雷达获取的连续多帧点云数据确定点云地图，且按照每帧点云数据的生成顺序动态进行更新；
利用栅格化处理方式对所述点云地图进行处理生成鸟瞰图，并将所述鸟瞰图作为所述局部地图；
所述按照每帧点云数据的生成顺序进行动态更新时，任意相邻两次确定的点云地图中，后一次确定的点云地图对应的连续多帧点云数据中的第一帧点云数据为前一次确定的点云地图对应的连续多帧点云数据中的第二帧点云数据。
2.如权利要求1所述的方法，其特征在于，根据通过激光雷达获取的连续多帧点云数据确定点云地图，包括：
利用惯性导航元件确定第N帧点云数据的相对位姿信息，其中所述第N帧点云数据是通过激光雷达扫描所述车辆周边事物确定的；
根据所述第N帧点云数据的相对位姿信息对所述第N帧点云数据进行坐标转换，得到所述第N帧点云数据对应的点云地图坐标；
按照获取每帧点云数据的顺序，根据每连续多帧点云数据对应的点云地图坐标确定点云地图。
3.如权利要求1所述的方法，其特征在于，利用栅格化处理方式对所述点云地图进行处理生成鸟瞰图，并将所述鸟瞰图作为所述局部地图，包括：
将所述点云地图划分成多个立方体；
针对任意一个立方体，将立方体中的所有点对应的强度值进行加权平均确定反射强度均值，及将所有点对应的高度值进行比较确定高度最大值；
将确定的强度平均值及高度最大值对所述立方体对应的栅格中的点进行赋值；
根据所有栅格中赋值后的点形成鸟瞰图，将所述鸟瞰图作为局部地图。
4.一种障碍物检测的设备，其特征在于，该设备包括：至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，所述处理单元具体用于：
确定获取第N帧点云数据时车辆对应的位置信息，其中N为正整数；
根据所述车辆对应的位置信息在局部地图中确定检测区域，其中所述局部地图为根据连续多帧点云数据确定的鸟瞰图；
基于深度神经网络模型，根据所述检测区域确定所述检测区域中的障碍物的位置信息，其中所述深度神经网络模型是通过对根据连续多帧点云数据确定的局部地图进行特征标注后训练得到的；
所述根据所述车辆对应的位置信息在局部地图中确定检测区域，包括：
以所述车辆的当前位置为中心，根据预设的范围阈值在所述局部地图中确定检测区域；
其中，所述处理单元通过下列方式构建所述局部地图：
根据通过激光雷达获取的连续多帧点云数据确定点云地图，且按照每帧点云数据的生成顺序动态进行更新；
利用栅格化处理方式对所述点云地图进行处理生成鸟瞰图，并将所述鸟瞰图作为所述局部地图；
所述按照每帧点云数据的生成顺序进行动态更新时，任意相邻两次确定的点云地图中，后一次确定的点云地图对应的连续多帧点云数据中的第一帧点云数据为前一次确定的点云地图对应的连续多帧点云数据中的第二帧点云数据。
5.如权利要求4所述的设备，其特征在于，所述处理单元具体用于：
利用惯性导航元件确定第N帧点云数据的相对位姿信息，其中所述第N帧点云数据是通过激光雷达扫描所述车辆周边事物确定的；
根据所述第N帧点云数据的相对位姿信息对所述第N帧点云数据进行坐标转换，得到所述第N帧点云数据对应的点云地图坐标；
按照获取每帧点云数据的顺序，根据每连续多帧点云数据对应的点云地图坐标确定点云地图。
6.如权利要求4所述的设备，其特征在于，所述处理单元具体用于：
将所述点云地图划分成多个立方体；
针对任意一个立方体，将立方体中的所有点对应的强度值进行加权平均确定反射强度均值，及将所有点对应的高度值进行比较确定高度最大值；
将确定的强度平均值及高度最大值对所述立方体对应的栅格中的点进行赋值；
根据所有栅格中赋值后的点形成鸟瞰图，将所述鸟瞰图作为局部地图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910323852.7A CN109828592B (zh) | 2019-04-22 | 2019-04-22 | 一种障碍物检测的方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910323852.7A CN109828592B (zh) | 2019-04-22 | 2019-04-22 | 一种障碍物检测的方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109828592A CN109828592A (zh) | 2019-05-31 |
| CN109828592B true CN109828592B (zh) | 2019-07-26 |
Family
ID=66875765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910323852.7A Active CN109828592B (zh) | 2019-04-22 | 2019-04-22 | 一种障碍物检测的方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109828592B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110345959B (zh) * | 2019-06-10 | 2023-11-03 | 同济人工智能研究院(苏州)有限公司 | 一种基于“门”点的路径规划方法 |
| CN112179360B (zh) * | 2019-06-14 | 2022-12-02 | 北京京东乾石科技有限公司 | 地图生成方法、装置、系统及介质 |
| CN110414374B (zh) * | 2019-07-08 | 2021-12-17 | 深兰科技（上海）有限公司 | 一种障碍物位姿的确定方法、装置、设备及介质 |
| CN110867132B (zh) * | 2019-10-15 | 2022-03-01 | 阿波罗智能技术(北京)有限公司 | 环境感知的方法、装置、电子设备和计算机可读存储介质 |
| CN110824495B (zh) * | 2019-11-20 | 2021-08-31 | 中国人民解放军国防科技大学 | 基于激光雷达的果蝇视觉启发的三维运动目标检测方法 |
| CN111079652B (zh) * | 2019-12-18 | 2022-05-13 | 北京航空航天大学 | 一种基于点云数据简易编码的3d目标检测方法 |
| CN111397611B (zh) * | 2020-03-05 | 2022-07-05 | 北京百度网讯科技有限公司 | 路径规划方法、装置以及电子设备 |
| CN111401182B (zh) * | 2020-03-10 | 2023-12-08 | 京东科技信息技术有限公司 | 针对饲喂栏的图像检测方法和装置 |
| CN111462072B (zh) * | 2020-03-30 | 2023-08-29 | 北京百度网讯科技有限公司 | 点云图质量检测方法、装置以及电子设备 |
| CN111583337B (zh) * | 2020-04-25 | 2023-03-21 | 华南理工大学 | 一种基于多传感器融合的全方位障碍物检测方法 |
| CN111912418A (zh) * | 2020-07-16 | 2020-11-10 | 知行汽车科技（苏州）有限公司 | 删除移动载体不可行驶区域内障碍物的方法、装置及介质 |
| CN112230242B (zh) * | 2020-09-30 | 2023-04-25 | 深兰人工智能(深圳)有限公司 | 位姿估计系统和方法 |
| CN112379674B (zh) * | 2020-11-26 | 2022-06-21 | 中国第一汽车股份有限公司 | 一种自动驾驶设备及系统 |
| CN113468941B (zh) * | 2021-03-11 | 2023-07-18 | 长沙智能驾驶研究院有限公司 | 障碍物检测方法、装置、设备及计算机存储介质 |
| CN113311833B (zh) * | 2021-05-20 | 2023-06-20 | 江苏图知天下科技有限公司 | 一种基于机器人的预制板的收面方法以及装置 |
| CN113252053B (zh) * | 2021-06-16 | 2021-09-28 | 中智行科技有限公司 | 高精度地图生成方法、装置和电子设备 |
| CN115205717B (zh) * | 2022-09-14 | 2022-12-20 | 广东汇天航空航天科技有限公司 | 障碍物点云数据处理方法以及飞行设备 |
| CN115880536B (zh) * | 2023-02-15 | 2023-09-01 | 北京百度网讯科技有限公司 | 数据处理方法、训练方法、目标对象检测方法及装置 |
| CN117557999A (zh) * | 2023-11-20 | 2024-02-13 | 镁佳(北京)科技有限公司 | 一种图像联合标注方法、计算机设备及介质 |
| CN117921622B (zh) * | 2024-03-25 | 2024-06-04 | 宁波昂霖智能装备有限公司 | 拾起垃圾的机器人的控制方法及拾起垃圾的机器人 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106951847B (zh) * | 2017-03-13 | 2020-09-29 | 百度在线网络技术（北京）有限公司 | 障碍物检测方法、装置、设备及存储介质 |
| CN108267748A (zh) * | 2017-12-06 | 2018-07-10 | 香港中文大学（深圳） | 一种全方位三维点云地图生成方法及系统 |
| CN108229366B (zh) * | 2017-12-28 | 2021-12-14 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
| CN109633665A (zh) * | 2018-12-17 | 2019-04-16 | 北京主线科技有限公司 | 交通场景稀疏激光点云拼接方法 |
-
2019
- 2019-04-22 CN CN201910323852.7A patent/CN109828592B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109828592A (zh) | 2019-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109828592B (zh) | 一种障碍物检测的方法及设备 | |
| CN110008851B (zh) | 一种车道线检测的方法及设备 | |
| CN109766878B (zh) | 一种车道线检测的方法和设备 | |
| CN109740604B (zh) | 一种行驶区域检测的方法和设备 | |
| US11145073B2 (en) | Computer vision systems and methods for detecting and modeling features of structures in images | |
| JP7204326B2 (ja) | 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム | |
| CN109710724B (zh) | 一种构建点云地图的方法和设备 | |
| Mancini et al. | Fast robust monocular depth estimation for obstacle detection with fully convolutional networks | |
| US20190051056A1 (en) | Augmenting reality using semantic segmentation | |
| Matthies et al. | Stereo vision-based obstacle avoidance for micro air vehicles using disparity space | |
| US20210327287A1 (en) | Uav path planning method and device guided by the safety situation, uav and storage medium | |
| EP3553752A1 (en) | Information processing apparatus, information processing method, and computer-readable medium for generating an obstacle map | |
| EP3686775B1 (en) | Method for detecting pseudo-3d bounding box based on cnn capable of converting modes according to poses of objects using instance segmentation | |
| KR20200046437A (ko) | 영상 및 맵 데이터 기반 측위 방법 및 장치 | |
| CN110705385B (zh) | 一种障碍物角度的检测方法、装置、设备及介质 | |
| CN111339876B (zh) | 用于识别场景中各区域类型的方法和装置 | |
| Fedorenko et al. | Global UGV path planning on point cloud maps created by UAV | |
| KR20200043005A (ko) | 이미지 인식 모델을 트레이닝시키는 장치 및 방법과 이미지 인식 장치 및 방법 | |
| Matthies et al. | Lunar rover localization using craters as landmarks | |
| CN112257668A (zh) | 主辅路判断方法、装置、电子设备及存储介质 | |
| CN110780325B (zh) | 运动对象的定位方法及装置、电子设备 | |
| KR102316818B1 (ko) | 도로 네트워크를 갱신하는 방법 및 장치 | |
| CN116386003A (zh) | 基于知识蒸馏的三维目标检测方法 | |
| CN115496873A (zh) | 一种基于单目视觉的大场景车道建图方法及电子设备 | |
| CN114723900A (zh) | 地面要素的轮廓绘制方法、电子设备及计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240508 Address after: Room 6227, No. 999, Changning District, Shanghai 200050 Patentee after: Shenlan robot (Shanghai) Co.,Ltd. Country or region after: China Address before: 213611 room 103, building 4, chuangyangang, Changzhou science and Education City, No. 18, changwuzhong Road, Wujin District, Changzhou City, Jiangsu Province Patentee before: SHENLAN ARTIFICIAL INTELLIGENCE CHIP RESEARCH INSTITUTE (JIANGSU) Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |