CN112528781B - 一种障碍物检测方法、装置、设备和计算机可读存储介质 - Google Patents
一种障碍物检测方法、装置、设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN112528781B CN112528781B CN202011373007.XA CN202011373007A CN112528781B CN 112528781 B CN112528781 B CN 112528781B CN 202011373007 A CN202011373007 A CN 202011373007A CN 112528781 B CN112528781 B CN 112528781B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud cluster
- detection frame
- obstacle
- characteristic information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 185
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000008569 process Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请公开了一种障碍物检测方法、装置、设备和计算机可读存储介质，其中方法包括：获取2D检测框的第一特征信息和所述2D检测框内点云簇的第二特征信息；根据所述第一特征信息和所述第二特征信息，得到所述2D检测框对应的目标点云簇；根据所述目标点云簇的第一位置信息，得到所述2D检测框内障碍物的第二位置信息。解决了障碍物检测结果准确度不高的技术问题。
Description
技术领域
本申请涉及目标检测领域，尤其涉及一种障碍物检测方法、装置、设备和计算机可读存储介质。
背景技术
随着科学技术的发展，计算机技术、现代传感技术和人工智能技术逐渐应用到了各种领域，如汽车领域。与此同时，具有环境感知、路径规划、障碍物检测等功能的无人驾驶汽车应运而生。
在无人驾驶汽车的行驶过程中，障碍物检测直接关系到无人驾驶汽车的行车安全。现有技术中的障碍物检测方法虽然可以取得一定的检测效果，但是检测结果的准确度不高。
发明内容
本申请提供了一种障碍物检测方法、装置、设备和计算机可读存储介质，解决了现有对无人驾驶汽车的障碍物检测结果准确度不高的技术问题。
有鉴于此，本申请第一方面提供了一种障碍物检测方法，包括：
获取2D检测框的第一特征信息和所述2D检测框内点云簇的第二特征信息；
根据所述第一特征信息和所述第二特征信息，得到所述2D检测框对应的目标点云簇；
根据所述目标点云簇的第一位置信息，得到所述2D检测框内障碍物的第二位置信息。
可选地，所述第二特征信息包括：点云簇的第一高度，其中，所述第一高度为点云簇相对基准面的高度。
可选地，所述第一高度的配置过程包括：
基于地图信息和点云簇的第一位置信息，计算点云簇相对基准面的第一高度。
可选地，所述第一高度为点云簇中最低点相对基准面的高度。
可选地，根据所述第一特征信息和所述第二特征信息，得到所述2D检测框对应的目标点云簇，具体包括：
获取所述2D检测框内点云簇的点云簇数量；
当所述点云簇数量为一个以上时，基于各点云簇和所述2D检测框内障碍物的匹配结果，从所述2D检测框内的所有点云簇中选取目标点云簇，其中，所述匹配结果是根据所述第一特征信息和所述第二特征信息计算得到的。
可选地，根据所述第一特征信息和所述第二特征信息，得到所述2D检测框对应的目标点云簇，还包括：
当所述点云簇数量为一个时，将所述2D检测框内的点云簇作为所述目标点云簇。
可选地，当所述2D检测框的数量为多个，且多个所述2D检测框内均有同一障碍物时，所述方法还包括：
根据各所述2D检测框内所述障碍物的第二位置信息，得到所述障碍物的目标位置信息。
可选地，所述第一特征信息包括：2D检测框对应的相机类别、2D检测框的宽度、2D检测框的高度和2D检测框的分类类别。
可选地，所述第二特征信息包括：点云簇和车辆之间的距离、点云簇的第二高度、点云簇对应的激光雷达点数、点云簇的第一判断结果和点云簇的第二判断结果，其中，所述第二高度为：该点云簇中最高点和最低点之间的高度差，所述第一判断结果为：点云簇是否为距离所述车辆最近的点云簇的判断结果，所述第二判断结果为：点云簇是否为点数最多的点云簇的判断结果。
本申请第二方面提供了一种障碍物检测装置，包括：
获取单元，用于获取2D检测框的第一特征信息和所述2D检测框内点云簇的第二特征信息；
确定单元，用于根据所述第一特征信息和所述第二特征信息，得到所述2D检测框对应的目标点云簇；
定位单元，用于根据所述目标点云簇的第一位置信息，得到所述2D检测框内障碍物的第二位置信息。
本申请第三方面提供了一种障碍物检测设备，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面所述的障碍物检测方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的障碍物检测方法。
从以上技术方法可以看出，本申请具有以下优点：
本申请中基于2D检测框的第一特征信息和该框内点云簇的第二特征信息，确定2D检测框对应的目标点云簇，然后基于该目标点云簇的第一位置信息得到2D检测框内障碍物的第二位置信息，本申请中不再只是单一地根据框内点云簇的特征进行障碍物检测，而是结合了2D检测框的特征和框内各点云簇的特征进行障碍物检测，得到的障碍物检测结果准确度较高，从而解决了现有对无人驾驶汽车的障碍物检测结果准确度不高的技术问题。
附图说明
为了更清楚地说明本申请实施例中的技术方法，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例中一种障碍物检测方法的实施例一的流程示意图；
图2为本申请实施例中点云簇的第二特征信息的配置流程示意图；
图3为本申请实施例中目标点云簇的配置流程示意图；
图4为本申请应用例中对激光点云进行点云聚类后的效果图；
图5为本申请应用例中对图4的点云簇进行筛选后确定的目标点云簇示意图；
图6为本申请实施例中一种障碍物检测装置的实施例的结构示意图。
具体实施方式
本申请实施例提供了一种障碍物检测方法、装置、设备和计算机可读存储介质，解决了现有对无人驾驶汽车的障碍物检测结果准确度不高的技术问题。
为了使本技术领域的人员更好地理解本申请方法，下面将结合本申请实施例中的附图，对本申请实施例中的技术方法进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以便于理解，请参阅图1，图1为本申请实施例中一种障碍物检测方法的实施例一的流程示意图。
本实施例中的一种障碍物检测方法，包括：
步骤101、获取2D检测框的第一特征信息和2D检测框内点云簇的第二特征信息。
本实施例中在对2D检测框内的障碍物进行检测时，是基于2D检测框的特征和该框内点云簇的特征进行的，因此，本实施例中不仅获取2D检测框内点云簇的第二特征信息，也获取该2D检测框的第一特征信息。
2D检测框为成像图片中的障碍物框。该2D检测框可以是对成像图片进行障碍物识别或障碍物标注后，对障碍物所处位置进行框选后得到的。2D检测框的第一特征信息是根据2D检测框的属性确定的，故第一特征信息的获取可以是对2D检测框进行属性分析后确定的。具体的分析方式本领域技术人员可以根据第一特征信息的具体信息进行相应的配置，在此不做具体限定和赘述。
在一个实施例中，点云簇是对2D检测框内的激光点云进行聚类后得到的，具体地，如图2所示，2D检测框内各点云簇的第二特征信息的配置流程具体包括：
步骤201、获取2D检测框内的激光点云。
需要说明的是，激光点云为3D数据，2D检测框为2D数据，因此要获取2D检测框内各点云簇的第二特征信息，首先要将3D的激光点云投射至2D的2D检测框内，具体投射步骤包括：
根据2D检测框对应的相机内参，以及相机和激光点云之间的坐标变换关系，将激光点云投射到2D检测框内，这样就获得了在2D检测框内的激光点云。
步骤202、将2D检测框内的激光点云进行聚类，得到若干点云簇。
在得到2D检测框内激光点云后，将2D检测框内的激光点云进行聚类，便可得到该框内的点云簇，在一个实施例中，具体聚类方式为：
将激光点云在鸟瞰图下栅格化，然后采用宽度优先搜索的算法将激光点云划分为若干点云簇。
栅格化可以是在以本车车辆为中心的极坐标系中做的，径向分辨率1m，横向分辨率1°。
可以理解的是，将激光点云进行聚类得到点云簇的聚类方式还可以是通过其他的方式实现的，在此不再一一赘述。
将激光点云聚类成点云簇的方式，对于空间上占据体积较小的障碍物，可以显著提升其对应的检测结果。
步骤203、对各点云簇进行特征提取，得到2D检测框内点云簇的第二特征信息。
可以理解的是，具体特征提取的方式，可以是预先配置有特征提取模型，将点云簇输入至特征提取模型后，特征提取模型输出对应的第二特征信息；还可以是根据具体特征提取算法，对点云簇进行特征提取，得到该特征提取算法对应的第二特征信息。也可以分别设置不同的第二特征信息对应采用不同的特征提取方式确定，具体选择本领域技术人员也可以根据分析需要自行设置，在此不做具体限定和赘述。
步骤102、根据第一特征信息和第二特征信息，得到2D检测框对应的目标点云簇。
本实施例中2D检测框内的障碍物图像已知，需要明确的是障碍物对应的位置，具体的根据3D点云簇的位置信息确定，故在获取到第一特征信息和第二特征信息后，结合第一特征信息、第二特征信息，便可得到2D检测框对应的目标点云簇。
步骤103、根据目标点云簇的第一位置信息，得到2D检测框内障碍物的第二位置信息。
在得到目标点云簇的第一位置信息后，便可根据目标点云簇的第一位置信息确定2D检测框内障碍物的第二位置信息，得到2D检测框内障碍物的第二位置信息，即得到了2D障碍物对应的3D位置信息，实现了2D检测到3D空间的转换。
在一种具体的实施方式中，当2D检测框的数量为一个时，可以直接根据该2D检测框内目标点云簇的第一位置信息得到障碍物的第二位置信息，具体为：将该2D检测框内目标点云簇的第一位置信息作为障碍物的第二位置信息。
在另一种具体的实施方式中，当多帧检测时，此时2D检测框的数量为多个(两个以上)，且多个所述2D检测框内均有同一障碍物，此时的障碍物检测方法还包括：根据各2D检测框内障碍物的第二位置信息，得到障碍物的目标位置信息，所述目标位置信息即为确定的障碍物的最终位置。上述目标位置信息的具体计算为：
统计各第二位置信息在所有第二位置信息中的重复频次；
基于重复频次，从所有第二位置信息中选取一个第二位置信息作为障碍物的目标位置信息。
通过重复频次的筛选，确定第二位置信息，具体地可以是将重复频次最多的第二位置信息作为目标位置信息。
可以理解的是，还可以将所有的第二位置信息标注在高精度地图中，当第二位置信息在同一位置处(例如同一栅格点)出现的频次最多时，该第二位置信息即为障碍物的目标位置信息。上述的多个2D检测框可以是由同一相机连续拍摄后得到的，也可以是由多个相机同时拍摄后得到的。
在2D检测框的数量为多个时目标点云簇也是多个。静态障碍物在多帧检测中的绝对位置是不变的，动态障碍物在同一时刻时，由多个相机拍摄定位后的绝对位置也是相同的。因此，可以根据各2D检测框内障碍物的第二位置信息，对障碍物进行跟踪校正，以减少数据异常、数据跳变等导致的障碍物位置信息的检测错误。
本实施例中基于2D检测框的第一特征信息和该框内点云簇的第二特征信息，确定2D检测框对应的目标点云簇，然后基于该目标点云簇的第一位置信息得到2D检测框内障碍物的第二位置信息，本实施例中不再只是单一地根据框内点云簇的特征进行障碍物检测，而是结合了2D检测框的特征和框内各点云簇的特征进行障碍物检测，得到的障碍物检测结果准确度较高，从而解决了现有对无人驾驶汽车的障碍物检测结果准确度不高的技术问题。
以上为本申请实施例提供的一种障碍物检测方法的实施例一，以下为本申请实施例提供的一种障碍物检测方法的实施例二，实施例二在实施例一的基础上，对第一特征信息和第二特征信息进行详细说明。
本实施例中，2D检测框的第一特征信息包括但不限于：2D检测框对应的相机类别、2D检测框的宽度、2D检测框的高度和2D检测框的分类类别。其中，2D检测框的相机类别可以是30度相机，也可以是60度相机等。2D检测框的分类类别，即障碍物对应的障碍物类别，例如，行人、汽车等。可以理解的是，本领域技术人员也可以根据自己的需要设置不同的第一特征信息，在此不再一一赘述。
在一种具体实施方式中，第二特征信息包括：点云簇和车辆之间的距离、点云簇的第二高度、点云簇对应的激光雷达点数、点云簇的第一判断结果和点云簇的第二判断结果，其中，第二高度为：该点云簇中最高点和最低点之间的高度差，第一判断结果为：点云簇是否为距离车辆最近的点云簇的判断结果，第二判断结果为：点云簇是否为点数最多的点云簇的判断结果。
可以理解的是，现有的障碍物检测方法没有考虑路面形貌的信息，在复杂路面情况下(如在陡坡上上下坡)检测结果不够鲁棒。然而影响汽车行驶的障碍物通常位于地面上，地面高度是一个很好的先验信息。故，在另一种具体实施方式中，第二特征信息包括点云簇的第一高度，其中，第一高度为点云簇相对基准面的高度，该基准面可以为地面所在的面，也可以为与地面平行的其他参考面。通过点云簇的第一高度考虑障碍物处的路面形貌，从而使得在复杂路面下检测结果鲁棒。
在另一种具体实施方式中，第二特征信息可以包括：点云簇和车辆之间的距离、点云簇的第二高度、点云簇对应的激光雷达点数、点云簇的第一判断结果、点云簇的第二判断结果和点云簇的第一高度。通过第二特征信息的多个数据确保目标点云簇的准确性，从而确保障碍物的第二位置信息的检测准确性。
可选地，前述的第一高度可以是点云簇中的最低点相对基准面的高度，也可以是点云簇中的中心点相对基准面的高度。本领域技术人员也可以根据需要设置其为其他的高度数据，在此不再一一赘述。具体地，第一高度的设置可以根据障碍物的类型确定，例如当障碍物为静态障碍物且基准面为地面时，第一高度为最低点相对地面的高度，由于障碍物大都位于地面上，则点云簇中最低点相对于地面高度应为0，后续通过该基准剔除异常的第一高度，也可以筛选第一高度，确保检测结果的准确性。
具体地，第一高度的配置过程包括：基于地图信息和点云簇的第一位置信息，计算点云簇相对基准面的第一高度。可以理解的是，地图信息为三维地图，该地图上不仅记录有物体(即点云簇)的位置信息，还记录有物体(即点云簇)的高度信息，因此当得知点云簇的第一位置信息后，将该点云簇的第一位置信息添加至地图中，便可获取该对应点云簇的第一高度。可以理解的是，当基准面为与地面平行时的其他参考面(例如车顶所在的面或车底所在的面)时，第一高度为地图中参考面和点云簇之间的高度差。
以上为本申请实施例提供的一种障碍物检测方法的实施例二，以下为本申请实施例提供的一种障碍物检测方法的实施例三，实施例三在实施例一的基础上，对2D检测框内目标点云簇的计算进行详细说明。
2D检测框内点云簇的数量可能为一个，也可能为多个，基于点云簇的不同数量确定目标点云簇的方式也不相同，下面结合图3进行具体说明。
如图3所示，根据第一特征信息和第二特征信息，得到2D检测框对应的目标点云簇包括：
步骤301、获取2D检测框内点云簇的点云簇数量。
获取2D检测框内的点云簇数量后，当点云簇数量为一个以上时，执行步骤302，当点云簇数量为一个时，执行步骤303。
步骤302、当点云簇数量为一个以上时，基于各点云簇和2D检测框内障碍物的匹配结果，从2D检测框内的所有点云簇中选取目标点云簇，其中，匹配结果是根据第一特征信息和第二特征信息计算得到的。
当点云簇数量为一个以上时，需要从2D检测框内的点云簇筛选出目标点云簇。具体筛选时，基于各点云簇和2D检测框内障碍物的匹配结果，从2D检测框内的所有点云簇中选取目标点云簇。
可以理解的是，从点云簇中选取目标点云簇可以是基于最优匹配结果的准则进行的，即将最优匹配结果的点云簇作为目标点云簇。当然也可以基于其他的方式从点云簇中选取目标点云簇，在此不再详述。
上述的匹配结果可以是匹配概率，即点云簇和障碍物点云簇的匹配概率，概率值越大，说明二者越匹配，反之则说明二者匹配的可能性越小；匹配结果还可以是匹配相似度，即点云簇和障碍物点云簇的匹配相似度，相似度值越大，说明二者越匹配，反之则说明二者匹配的可能性越小。
在一种具体的实施方式中，根据预设模型、第一特征信息、第二特征信息直接得到目标点云簇。将第一特征信息、各点云簇的第二特征信息输入至预设模型后，预设模型得到各点云簇的匹配结果，该预设模型进一步根据匹配结果进行目标点云簇的筛选。此时，预设模型是第一特征信息、第二特征信息和目标点云簇之间的映射关系模型，
在另一种具体的实施方式中，通过预设模型、第一特征信息、第二特征信息得到各点云簇的匹配结果，然后通过其他的工具或方式进行点云簇筛选得到目标点云簇。此时预设模型是第一特征信息、第二特征信息和点云簇匹配结果的映射关系模型，该实施方式时，具体步骤包括：
将第一特征信息和第二特征信息输入至预设模型，得到2D检测框内各点云簇对应的匹配结果，其中，匹配结果为：该点云簇和障碍物对应障碍物点云簇的匹配结果；
基于各点云簇对应的匹配结果，从2D检测框内的所有点云簇中选取目标点云簇。
可以理解的是，上述的预设模型可以是分类模型，通过分类模型确定2D检测框内的目标点云簇。也可以是其他具有筛选功能的模型，只要是能够实现2D检测框内目标点云簇的筛选确定即可，在此不做具体限定。
具体地，本实施例中的预设模型为神经网络模型，具体地该神经网络模型对应的神经网络结构可以为：
一个3层全连接的神经网络。输入层的神经元个数和输入的特征信息(包括第一特征信息和第二特征信息)个数相同，一个神经元对应一个特征信息，两层隐藏层的神经元个层数分别为(50,50)，最后一层(即输出层)的神经元个数为1(即输出结果)。除最后一层的激活函数为sigmoi激活函数外，其他层均用relu函数作为非线性激活函数。
在对神经网络进行训练得到预设模型的过程中，本实施例中使用标准的交叉熵损失函数进行训练。可以理解的是，也可以使用其他类型的损失函数进行训练。
在将特征信息(包括第一特征信息和第二特征信息)输入至预设模型之前，对各特征信息进行标准化操作，即统计训练数据中各个特征信息的统计分布，包括其平均值及标准差。将待输入的特征信息减去其对应的平均值后，再除以标准差，即标准化完成。
步骤303、当点云簇数量为一个时，将2D检测框内的点云簇作为目标点云簇。
当点云簇数量为一个时，直接将该2D检测框内的点云簇作为目标点云簇。
以上为本申请实施例提供的一种障碍物检测方法的实施例三，以下为本申请实施例提供的一种障碍物检测方法的应用例。
本应用例中，2D检测框的宽*高为w*h，分类类别为i，对应照相机类别为c，2D检测框内的每一个点云簇包含n个点(p0,p1,p2,…,pn)，其中每个点pk包含(xk,yk,zk)3个坐标。点云簇最低点pmin处根据高精地图可得到对应的地面高度zground。
本应用例中主要包括五个步骤，分别为：2D检测框点云投射、点云聚类、特征提取、分类和目标点云簇跟踪，各步骤具体为：
步骤一：2D检测框点云投射。在此步骤中，将激光点云投射到宽*高为w*h的2D检测框中。
步骤二：点云聚类。将步骤一中2D检测框内的激光点云进行聚类，得到如图4所示的点云簇。
步骤三：特征提取。对2D检测框和框内的每一个点云簇提取特征，得到的特征有：
1)2D检测框宽度w；2)2D检测框高度h；3)2D检测框分类类别i；4)相机类别c；5)点云簇和车辆之间的距离；6)点云簇的第一高度(最低点距离地面的高度)min(z0,…,zn)-zground；7)点云簇的第二高度max(z0,…,zn)-min(z0,…,zn)；8)激光雷达点数n；9)点云簇的第一判断结果：10)点云簇的第二判断结果。
步骤四：分类。将通过步骤三得到的特征输入全连接神经网络进行分类，通过该神经网络得到目标点云簇，具体为如图5中矩形框中所示的点云簇。
步骤五：目标点云簇跟踪。将多帧2D检测框的目标点云簇的第一位置信息添加至高精度地图中，将高精度地图中最多次出现的第一位置信息作为障碍物的第二位置信息。
与现有技术相比，本应用例具有如下优点：
1、利用2D检测框的特征和点云簇的特征进行障碍物检测，检测结果准确度较高；
2、利用了先验的路面高度信息，可增强算法在复杂地形场景的鲁棒性；
3、对微小静态物体进行了针对性设计，使得起能够充分利用障碍物的性质，提高检测效率和准确度。实测表明最远检测距离可达200m。
4、计算开销极小，在无人驾驶这种对实时性和计算开销很敏感的场景十分有利。
以上为本申请实施例提供的一种障碍物检测方法的应用例，以下为本申请实施例提供的一种障碍物检测装置的实施例。
请参阅图6，图6为本申请实施例中一种障碍物检测装置的实施例的结构示意图。
本实施例中的障碍物检测装置，包括：
获取单元601，用于获取2D检测框的第一特征信息和2D检测框内点云簇的第二特征信息；
确定单元602，用于根据第一特征信息和第二特征信息，得到2D检测框对应的目标点云簇；
定位单元603，用于根据目标点云簇的第一位置信息，得到2D检测框内障碍物的第二位置信息。
本实施例中基于2D检测框的第一特征信息和该框内点云簇的第二特征信息，确定2D检测框对应的目标点云簇，然后基于该目标点云簇的第一位置信息得到2D检测框内障碍物的第二位置信息，本实施例中不再只是单一地根据框内点云簇的特征进行障碍物检测，而是结合了2D检测框的特征和框内各点云簇的特征进行障碍物检测，得到的障碍物检测结果准确度较高，从而解决了现有对无人驾驶汽车的障碍物检测结果准确度不高的技术问题。
本申请实施例还提供了一种障碍物检测设备的实施例，本实施例中的检测设备包括处理器以及存储器；存储器用于存储程序代码，并将程序代码传输给处理器；处理器用于根据程序代码中的指令执行前述实施例中的障碍物检测方法。
本申请实施例还提供了一种计算机可读存储介质的实施例，本实施例中计算机可读存储介质用于存储程序代码，程序代码用于执行前述实施例中的障碍物检测方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，商品加载服务器和方法，可以通过其它的方式实现。例如，以上所描述的商品加载服务器实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，商品加载服务器或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种障碍物检测方法，其特征在于，包括：
获取2D检测框的第一特征信息和所述2D检测框内点云簇的第二特征信息；
根据所述第一特征信息和所述第二特征信息，得到所述2D检测框对应的目标点云簇；
根据所述目标点云簇的第一位置信息，得到所述2D检测框内障碍物的第二位置信息；
所述第二特征信息包括：点云簇的第一高度，其中，所述第一高度为点云簇相对基准面的高度；
根据所述第一特征信息和所述第二特征信息，得到所述2D检测框对应的目标点云簇，具体包括：
获取所述2D检测框内点云簇的点云簇数量；
当所述点云簇数量为一个以上时，基于各点云簇和所述2D检测框内障碍物的匹配结果，从所述2D检测框内的所有点云簇中选取目标点云簇，其中，所述匹配结果是根据所述第一特征信息和所述第二特征信息计算得到的。
2.根据权利要求1所述的障碍物检测方法，其特征在于，所述第一高度的配置过程包括：
基于地图信息和点云簇的第一位置信息，计算点云簇相对基准面的第一高度。
3.根据权利要求1所述的障碍物检测方法，其特征在于，所述第一高度为点云簇中最低点相对基准面的高度。
4.根据权利要求1所述的障碍物检测方法，其特征在于，根据所述第一特征信息和所述第二特征信息，得到所述2D检测框对应的目标点云簇，还包括：
当所述点云簇数量为一个时，将所述2D检测框内的点云簇作为所述目标点云簇。
5.根据权利要求1所述的障碍物检测方法，其特征在于，当所述2D检测框的数量为多个，且多个所述2D检测框内均有同一障碍物时，所述方法还包括：
根据各所述2D检测框内所述障碍物的第二位置信息，得到所述障碍物的目标位置信息。
6.根据权利要求1所述的障碍物检测方法，其特征在于，所述第一特征信息包括：2D检测框对应的相机类别、2D检测框的宽度、2D检测框的高度和2D检测框的分类类别。
7.根据权利要求1所述的障碍物检测方法，其特征在于，所述第二特征信息包括：点云簇和车辆之间的距离、点云簇的第二高度、点云簇对应的激光雷达点数、点云簇的第一判断结果和点云簇的第二判断结果，其中，所述第二高度为：该点云簇中最高点和最低点之间的高度差，所述第一判断结果为：点云簇是否为距离所述车辆最近的点云簇的判断结果，所述第二判断结果为：点云簇是否为点数最多的点云簇的判断结果。
8.一种障碍物检测装置，其特征在于，包括：
获取单元，用于获取2D检测框的第一特征信息和所述2D检测框内点云簇的第二特征信息；
确定单元，用于根据所述第一特征信息和所述第二特征信息，得到所述2D检测框对应的目标点云簇；所述第二特征信息包括：点云簇的第一高度，其中，所述第一高度为点云簇相对基准面的高度；
定位单元，用于根据所述目标点云簇的第一位置信息，得到所述2D检测框内障碍物的第二位置信息；
所述确定单元，具体用于获取所述2D检测框内点云簇的点云簇数量；当所述点云簇数量为一个以上时，基于各点云簇和所述2D检测框内障碍物的匹配结果，从所述2D检测框内的所有点云簇中选取目标点云簇，其中，所述匹配结果是根据所述第一特征信息和所述第二特征信息计算得到的。
9.一种障碍物检测设备，其特征在于，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1至7中任一项所述的障碍物检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1至7中任一项所述的障碍物检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011373007.XA CN112528781B (zh) | 2020-11-30 | 2020-11-30 | 一种障碍物检测方法、装置、设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011373007.XA CN112528781B (zh) | 2020-11-30 | 2020-11-30 | 一种障碍物检测方法、装置、设备和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112528781A CN112528781A (zh) | 2021-03-19 |
| CN112528781B true CN112528781B (zh) | 2024-04-26 |
Family
ID=74995144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011373007.XA Active CN112528781B (zh) | 2020-11-30 | 2020-11-30 | 一种障碍物检测方法、装置、设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112528781B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113076922B (zh) * | 2021-04-21 | 2024-05-10 | 北京经纬恒润科技股份有限公司 | 一种物体检测方法及装置 |
| CN114155557B (zh) * | 2021-12-07 | 2022-12-23 | 美的集团(上海)有限公司 | 定位方法、装置、机器人及计算机可读存储介质 |
| CN114596555B (zh) * | 2022-05-09 | 2022-08-30 | 新石器慧通（北京）科技有限公司 | 障碍物点云数据筛选方法、装置、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106951847A (zh) * | 2017-03-13 | 2017-07-14 | 百度在线网络技术（北京）有限公司 | 障碍物检测方法、装置、设备及存储介质 |
| CN109948448A (zh) * | 2019-02-20 | 2019-06-28 | 苏州风图智能科技有限公司 | 用于3d障碍物的检测方法、装置、系统及计算机存储介质 |
| CN110869974A (zh) * | 2018-11-19 | 2020-03-06 | 深圳市大疆创新科技有限公司 | 点云处理方法、设备及存储介质 |
| CN110988912A (zh) * | 2019-12-06 | 2020-04-10 | 中国科学院自动化研究所 | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 |
| CN111414848A (zh) * | 2020-03-19 | 2020-07-14 | 深动科技（北京）有限公司 | 一种全类别3d障碍物检测方法、系统和介质 |
| CN111487641A (zh) * | 2020-03-19 | 2020-08-04 | 福瑞泰克智能系统有限公司 | 一种利用激光雷达检测物体的方法、装置、电子设备及存储介质 |
| CN111611853A (zh) * | 2020-04-15 | 2020-09-01 | 宁波吉利汽车研究开发有限公司 | 一种传感信息融合方法、装置及存储介质 |
| CN111899299A (zh) * | 2020-06-16 | 2020-11-06 | 弗徕威智能机器人科技（上海）有限公司 | 地面障碍物地图标记方法、移动机器人和存储介质 |
-
2020
- 2020-11-30 CN CN202011373007.XA patent/CN112528781B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106951847A (zh) * | 2017-03-13 | 2017-07-14 | 百度在线网络技术（北京）有限公司 | 障碍物检测方法、装置、设备及存储介质 |
| CN110869974A (zh) * | 2018-11-19 | 2020-03-06 | 深圳市大疆创新科技有限公司 | 点云处理方法、设备及存储介质 |
| CN109948448A (zh) * | 2019-02-20 | 2019-06-28 | 苏州风图智能科技有限公司 | 用于3d障碍物的检测方法、装置、系统及计算机存储介质 |
| CN110988912A (zh) * | 2019-12-06 | 2020-04-10 | 中国科学院自动化研究所 | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 |
| CN111414848A (zh) * | 2020-03-19 | 2020-07-14 | 深动科技（北京）有限公司 | 一种全类别3d障碍物检测方法、系统和介质 |
| CN111487641A (zh) * | 2020-03-19 | 2020-08-04 | 福瑞泰克智能系统有限公司 | 一种利用激光雷达检测物体的方法、装置、电子设备及存储介质 |
| CN111611853A (zh) * | 2020-04-15 | 2020-09-01 | 宁波吉利汽车研究开发有限公司 | 一种传感信息融合方法、装置及存储介质 |
| CN111899299A (zh) * | 2020-06-16 | 2020-11-06 | 弗徕威智能机器人科技（上海）有限公司 | 地面障碍物地图标记方法、移动机器人和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112528781A (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110988912B (zh) | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 | |
| CN110032949B (zh) | 一种基于轻量化卷积神经网络的目标检测与定位方法 | |
| CN112528781B (zh) | 一种障碍物检测方法、装置、设备和计算机可读存储介质 | |
| CN107817496B (zh) | 适用于自动车辆的对象检测系统 | |
| US11556745B2 (en) | System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor | |
| CN110244322A (zh) | 基于多源传感器的路面施工机器人环境感知系统及方法 | |
| JP6650657B2 (ja) | フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム | |
| Vasile et al. | Pose-independent automatic target detection and recognition using 3D LADAR data | |
| CN114022830A (zh) | 一种目标确定方法以及目标确定装置 | |
| Ošep et al. | Multi-scale object candidates for generic object tracking in street scenes | |
| CN112883820B (zh) | 基于激光雷达点云的道路目标3d检测方法及系统 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| CN111079518A (zh) | 一种基于执法办案区场景下的倒地异常行为识别方法 | |
| CN110992424B (zh) | 基于双目视觉的定位方法和系统 | |
| CN111553946A (zh) | 用于去除地面点云的方法及装置、障碍物检测方法及装置 | |
| CN112166458A (zh) | 目标检测与跟踪方法、系统、设备及存储介质 | |
| CN106780551A (zh) | 一种三维运动目标检测方法和系统 | |
| CN115100741B (zh) | 一种点云行人距离风险检测方法、系统、设备和介质 | |
| CN114495045A (zh) | 感知方法、感知装置、感知系统及相关设备 | |
| CN116109047A (zh) | 一种基于三维智能检测的智能调度方法 | |
| US20220171975A1 (en) | Method for Determining a Semantic Free Space | |
| CN114241448A (zh) | 障碍物航向角的获取方法、装置、电子设备及车辆 | |
| CN110864670B (zh) | 目标障碍物位置的获取方法和系统 | |
| CN110287957B (zh) | 一种低慢小目标的定位方法及定位装置 | |
| Giosan et al. | Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |