CN112347986A - 样本生成、神经网络训练、智能行驶控制方法及装置 - Google Patents
样本生成、神经网络训练、智能行驶控制方法及装置 Download PDFInfo
- Publication number
- CN112347986A CN112347986A CN202011370374.4A CN202011370374A CN112347986A CN 112347986 A CN112347986 A CN 112347986A CN 202011370374 A CN202011370374 A CN 202011370374A CN 112347986 A CN112347986 A CN 112347986A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- point cloud
- cloud data
- sample
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 119
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 86
- 238000012549 training Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 65
- 238000002372 labelling Methods 0.000 claims abstract description 27
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004888 barrier function Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开提供了一种样本生成、神经网络训练、智能行驶控制方法及装置、计算机设备及存储介质，其中，样本生成方法包括：获取对目标场景进行扫描得到的点云数据；获取所述点云数据中标注的各个第一障碍物的第一障碍物位置信息、以及标注类别信息；以及，基于预设的障碍物检测算法，从所述点云数据中检测得到各个第二障碍物的第二障碍物位置信息；基于所述第一障碍物位置信息和所述第二障碍物位置信息，对所述第一障碍物和所述第二障碍物进行位置匹配，并基于所述位置匹配的结果、以及所述第一障碍物的标注类别信息，生成样本数据。该方法能够实现对障碍物的精确标注，提升生成的样本数据的精度。
Description
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种样本生成、神经网络训练、智能行驶控制方法及装置、计算机设备及存储介质。
背景技术
利用激光雷达的三维点云数据进行障碍物检测在自动驾驶中具有重要的作用；作为主动测距设备，激光雷达可以获取车辆周围物体的三维点坐标，将这些数据聚集起来所构成的点云数据，可以用来推测物体的大小、位置等信息。
在基于深度学习以及点云数据进行障碍物检测时，需要预先对样本点云数据进行障碍物类别标注；当前的样本标注方法生成的样本数据精度较低。
发明内容
本公开实施例至少提供一种样本生成、神经网络训练、智能行驶控制方法及装置、计算机设备及存储介质。
第一方面，本公开实施例提供一种样本生成方法，包括：获取对目标场景进行扫描得到的点云数据；获取所述点云数据中标注的各个第一障碍物的第一障碍物位置信息、以及标注类别信息；以及，基于预设的障碍物检测算法，从所述点云数据中检测得到各个第二障碍物的第二障碍物位置信息；基于所述第一障碍物位置信息和所述第二障碍物位置信息，对所述第一障碍物和所述第二障碍物进行位置匹配，并基于所述位置匹配的结果、以及所述第一障碍物的标注类别信息，生成样本数据。
这样，通过点云数据中标注的第一障碍物的第一障碍物位置信息、与通过障碍物检测算法检测到的第二障碍物的第二障碍物位置信息，对第一障碍物和第二障碍物进行位置匹配，并基于位置匹配的结果以及第一障碍物的标注类别信息生成样本数据，进而能够实现对障碍物的精确标注，提升生成的样本数据的精度。
一种可能的实施方式中，所述样本数据包括：多种障碍物下各个障碍物分别对应的样本点云数据和类别信息；其中，所述多种障碍物中，包括有类别障碍物和无类别障碍物；所述有类别障碍物的类别信息用于标识所述有类别障碍物的具体类别；所述无类别障碍物的类别信息用于标识所述无类别障碍物没有具体类别。
这样，通过将样本数据区分为由类别障碍物和无类别障碍物，使得训练得到的网络在能够识别出有类别障碍物的同时，能够将所有无法识别出具体类别的障碍物都归类于无类别障碍物中，进而能够更好的识别出检测空间内的障碍物，提升神经网络的泛化能力，降低自动驾驶的安全隐患。
一种可能的实施方式中，所述基于所述位置匹配的结果、以及所述第一障碍物的标注类别信息，生成样本数据，包括：从所述点云数据中确定位置匹配成功的目标障碍物的目标点云数据；基于所述目标障碍物的目标点云数据、以及与所述目标障碍物对应的第一点云数据的标注类别信息，生成所述样本数据。
这样，通过将第一障碍物和第二障碍物进行匹配，只有针对匹配成功的目标障碍物生成样本数据，进而能够以较高的精度得到样本数据。
一种可能的实施方式中，所述从所述点云数据中获取位置匹配成功的目标障碍物的目标点云数据，包括：基于第一障碍物位置信息和所述第二障碍物位置信息，确定位置匹配成功的目标障碍物；基于确定的位置匹配成功的目标障碍物的第二障碍物位置信息，从所述点云数据中获取所述目标障碍物的目标点云数据。
一种可能的实施方式中，障碍物位置信息包括：每帧所述点云数据中至少一个障碍物的包围盒信息；所述包围盒信息包括：所述包围盒的各个顶点在所述点云数据对应的场景中的位置坐标；其中，所述障碍物位置信息包括：所述第一障碍物位置信息以及所述第二障碍物位置信息；所述障碍物包括：所述第一障碍物以及所述第二障碍物。
一种可能的实施方式中，所述基于所述第一障碍物位置信息和所述第二障碍物位置信息，对所述第一障碍物和所述第二障碍物进行位置匹配，包括：基于所述点云数据中每个第一障碍物的第一障碍物位置信息，生成所述每个第一障碍物在基准平面的第一投影；以及基于所述点云数据中每个第二障碍物的第二障碍物位置信息，生成所述每个第二障碍物在所述基准平面的第二投影；基于所述第一障碍物在基准平面的第一投影、以及所述第二障碍物在所述基准平面的第二投影，进行位置匹配。
一种可能的实施方式中，所述基于所述第一障碍物在基准平面的第一投影、以及所述第二障碍物在所述基准平面的第二投影，进行位置匹配，包括：基于所述每个第二障碍物在所述基准平面的第二投影，确定与所述每个第二障碍物分别对应的最小包围矩形；基于所述每个第二障碍物的最小包围矩形在所述基准平面中的位置、以及各个所述第一障碍物的第一投影在所述基准平面中的位置，确定所述每个第二障碍物的障碍物匹配结果。
一种可能的实施方式中，所述基于所述每个第二障碍物的最小包围矩形在所述基准平面中的位置、以及各个所述第一障碍物的第一投影在所述基准平面中的位置，确定所述每个第二障碍物的障碍物匹配结果，包括：基于每个第二障碍物的所述最小包围矩形在所述基准平面中的位置、以及各个所述第一障碍物的第一投影在所述基准平面中的位置，判断是否存在对应的第一投影与所述每个第二障碍物的最小包围矩形之间的重叠度大于预设重叠度阈值的第一障碍物；若存在，则确定存在的该第一障碍物与该第二障碍物匹配。
这样，能够以较为简单的方式对第一障碍物和第二障碍物进行匹配，有利于快速生成样本数据。
一种可能的实施方式中，所述样本生成方法还包括：确定所述每个第二障碍物的最小包围矩形中能够包围的点云点的数量；针对点云点的数量小于预设数量阈值的第二障碍物，该第二障碍物对应的障碍物匹配结果为匹配失败。
这样，可以将误检测、或者体积较小的障碍物从样本中筛除。
第二方面，本公开实施例提供了一种神经网络的生成方法，所述神经网络用于障碍物检测；所述生成方法包括：利用第一方面中任一项所述的样本生成方法生成的样本数据，训练待训练的神经网络，得到用于检测障碍物的神经网络；所述样本数据包括：障碍物的样本点云数据、以及所述障碍物的类别信息。
这样，由于生成的样本数据具有更高的精度，因此基于更高精度的样本数据训练得到的用于检测障碍物的神经网络也具有更高的精度。
一种可选实施方式中，所述神经网络包括：编码网络、特征提取网络、以及分类网络；所述训练待训练的神经网络，得到用于检测障碍物的神经网络，包括：利用所述编码网络对所述样本点云数据进行编码，得到所述样本点云数据对应的体积元素数据；利用所述特征提取网络，对所述体积元素数据进行特征提取，得到与所述样本点云数据对应的特征数据；利用所述分类网络，对所述特征数据进行分类处理，得到所述样本数据对应的分类结果；基于所述类别信息、以及所述样本数据对应的分类结果，训练所述编码网络、所述特征提取网络、以及所述分类网络，得到用于检测障碍物的神经网络。
一种可选实施方式中，所述样本点云数据，包括：多个点云点分别在所述障碍物对应的点云空间中的位置信息；所述利用所述编码网络对所述样本点云数据进行编码，得到所述样本点云数据对应的体积元素数据之前，还包括：将所述点云空间划分为多个三维网格；根据所述多个点云点分别在所述障碍物对应的点云空间中的位置信息，为所述多个三维网格中的每个三维网格确定目标点云点；其中，所述每个三维网格中的目标点云点的数量小于预设数量；基于所述每个三维网格的目标点云点，构成所述每个三维网格的网格点云数据；所述利用所述编码网络对所述样本点云数据进行编码，得到所述样本点云数据对应的体积元素数据，包括：利用所述编码网络对所述每个三维网格的网格点云数据进行编码，得到所述每个三维网格分别对应的编码数据；基于各个三维网格分别对应的编码数据，构成该样本点云数据的体积元素数据。
这样，通过对不同三维网格中的目标点云点分别进行编码，更有利于对不同三维网格进行同步处理，提升数据处理的速度。
一种可选实施方式中，所述根据所述多个点云点分别在所述障碍物对应的点云空间中的位置信息，为所述多个三维网格中的每个三维网格确定目标点云点，包括：根据所述多个点云分别在所述点云空间中的位置信息，确定落入每个所述三维网格中的点云点的数量；在落入任一三维网格中的点云点的数量小于或者等于所述预设数量的情况下，将落入所述任一三维网格中的点云点确定为所述任一三维网格的目标点云点；在落入任一三维网格中的点云点的数量大于所述预设数量的情况下，从落入所述任一三维网络中的点云点中，确定预设数量的点云点，作为所述任一三维网格的目标点云点。
这样，能够有利于减少需要编码的样本数据的数据量，降低在对样本数据进行编码时的处理量，降低数据处理时间，提升数据处理速度，更有利于快速训练得到神经网络。
第三方面，本公开实施例还提供一种智能行驶控制方法，包括：获取道路点云数据；利用基于第二方面任一生成方法生成的神经网络处理所述道路点云数据，得到所述道路点云数据的障碍物检测结果；根据所述障碍物检测结果，对获取所述道路点云数据的智能行驶设备进行控制。
第四方面，本公开实施例还提供一种样本生成装置，包括：第一获取模块，用于获取对目标场景进行扫描得到的点云数据；第二获取模块，用于获取所述点云数据中标注的各个第一障碍物的第一障碍物位置信息、以及标注类别信息；以及，基于预设的障碍物检测算法，从所述点云数据中检测得到各个第二障碍物的第二障碍物位置信息；其中，每个第一障碍物对应的标注类别信息，用于表征所述每个第一障碍物有具体类别或者没有具体类别；匹配模块，用于基于所述第一障碍物位置信息和所述第二障碍物位置信息，对所述第一障碍物和所述第二障碍物进行位置匹配，并基于所述位置匹配的结果、以及所述第一障碍物的标注类别信息，生成样本数据。
第五方面，本公开实施例还提供一种神经网络的生成装置，所述神经网络用于障碍物检测；所述生成装置包括：训练模块，用于利用第一方面任一项所述的样本生成方法生成的样本数据，训练待训练的神经网络，得到用于检测障碍物的神经网络；所述样本数据包括：障碍物的样本点云数据、以及所述障碍物的类别信息。
第六方面，本公开实施例还提供一种智能行驶控制装置，包括：第二获取模块，用于获取道路点云数据；检测模块，用于利用基于第二方面任一生成方法生成的神经网络处理所述道路点云数据，得到所述道路点云数据的障碍物检测结果；控制模块，用于根据所述障碍物检测结果，对获取所述道路点云数据的智能行驶设备进行控制。
第七方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤；
或者，执行上述第二方面，或第二方面中任一种可能的实施方式中的步骤；
或者，执行上述第三方面的实施方式中的步骤。
第八方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤；
或者，执行上述第二方面，或第二方面中任一种可能的实施方式中的步骤；
或者，执行上述第三方面的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种样本生成方法的流程图；
图2示出了本公开实施例所提供的一种获取目标障碍物对应的类别信息的具体方法的流程图；
图3示出了本公开实施例所提供的一种将第一障碍物和第二障碍物进行位置匹配的具体方法的流程图；
图4示出了本公开实施例所提供的一种训练神经网络的具体方法的流程图；
图5示出了本公开实施例所提供的一种智能行驶控制方法的流程图；
图6示出了本公开实施例所提供的一种样本生成装置的示意图；
图7示出了本公开实施例所提供的一种智能行驶控制装置的示意图；
图8示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
障碍物检测关乎自动驾驶的安全性，在自动驾驶中具有举足轻重的地位。基于深度学习和三维点云数据的障碍物检测方法。该方法通过大量样本点云数据构成的训练集来训练深度学习模型，并基于训练得到的深度学习模型进行障碍物检测。该方法在对深度学习模型进行训练时，需要预先对样本点云数据进行障碍物类别标注；当前通常采用人工标注的方式对点云数据进行标注，生成样本数据，然后利用样本数据训练深度学习模型。然而人工标注得到的样本数据精度低，造成深度学习模型的精度也比较低，给自动驾驶造成较大的安全隐患。
另外，当前还可以基于雷达自由空间(Lidar Freespace)等无类别障碍物检测方法。该方法不需要对点云数据进行预先标注，能够直接基于点云数据，确定雷达扫描空间内各个障碍物的位置信息。该方法虽然能够全面的检测到各个障碍物，但无法识别出障碍物的具体类别；对于自动驾驶来说，需要针对不同类别的障碍物采取不同的驾驶策略，因此仅仅获知障碍物位置对于自动驾驶而言往往不够充分。
基于上述研究，本公开提供了一种样本生成方法，通过点云数据中标注的第一障碍物的第一障碍物位置信息、与通过障碍物检测算法检测到的第二障碍物的第二障碍物位置信息，对第一障碍物和第二障碍物进行位置匹配，并基于位置匹配的结果以及第一障碍物的标注类别信息生成样本数据，进而能够实现对障碍物的精确标注，提升生成的样本数据的精度。
另外，本公开示例将样本数据区分为由类别障碍物和无类别障碍物，使得训练得到的网络在能够识别出有类别障碍物的同时，能够将所有无法识别出具体类别的障碍物都归类于无类别障碍物中，进而能够更好的识别出检测空间内的障碍物，提升神经网络的泛化能力，降低自动驾驶的安全隐患。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
下面将结合本公开中附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种样本生成方法进行详细介绍，本公开实施例所提供的样本生成方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该样本生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面对本公开实施例提供的样本生成方法加以详细说明。
参见图1所示，为本公开实施例提供的样本生成方法的流程图，所述方法包括步骤S101～S103，其中：
S101：获取对目标场景进行扫描得到的点云数据。
此处，本公开实施例提供的样本生成方法所生成的样本数据，可以用于对自动驾驶领域中进行障碍物检测的神经网络的训练，也可以用于对其他场景中进行障碍物检测的神经网络的训练，其他场景例如包括智能仓储领域等需要基于点云数据进行障碍物检测的领域。
以将本公开实施例提供的样本生成方法应用于自动驾驶领域为例，目标场景可以包括道路场景；点云数据可以包括至少一帧点云数据；在点云数据有多帧的情况下，多帧点云数据中的不同点云数据，可以来源于同一道路场景，也可来源于不同道路场景。同一道路场景的点云数据，例如为在控制车辆在道路中行驶的过程中获取连续多帧点云数据。不同场景的点云数据，例如为控制车辆在不同时间，不同道路中行驶的过程中，所获取的点云数据。
在任一帧点云数据中，所包括的障碍物的数量和类别并不确定。
为了增加样本的多样性，可以在多个时段、多地区的不同道路获取多帧点云数据。
S102：获取所述点云数据中标注的各个第一障碍物的第一障碍物位置信息、以及标注类别信息；以及，基于预设的障碍物检测算法，从所述点云数据中检测得到各个第二障碍物的第二障碍物位置信息。
在具体实施中：
(1)点云数据中的各个第一障碍物的第一障碍物位置信息，例如可以采用人工标注的方式从点云数据中标注出来。
示例性的，在对第一障碍物进行标注的时候，标注例如可以是通过人工构建针对各个第一障碍物的包围盒，将各个第一障碍物从点云数据中标注出来；所标注的每一个包围盒中，包括组成第一障碍物的多个点云点。也即，构成第一障碍物的点云点被包围在由对应包围盒所确定的包围空间内；每一个第一障碍物对应一个包围盒。所生成的第一障碍物的第一障碍物位置信息，例如包括包围盒的各个顶点在点云数据所对应的点云空间中的坐标信息。
在另一实施例中，第一障碍物位置信息还可以包括包围盒的各个顶点之间的连接关系信息。
在从点云数据中标注第一障碍物的时候，还会确定第一障碍物的标注类别信息。
在本公开另一实施例中，生成的样本数据，包括：多种障碍物下各个障碍物分别对应的样本点云数据和类别信息。
其中，所述多种障碍物中，包括有类别障碍物和无类别障碍物；所述有类别障碍物的类别信息用于标识所述有类别障碍物的具体类别；所述无类别障碍物的类别信息用于标识所述无类别障碍物没有具体类别。
为了得到有类别障碍物和无类别障碍物，在对第一障碍物进行标注时，为第一障碍物确定的标注类别信息可以标识对应的第一障碍物有具体类别；若在后续S103中，将第一障碍物确定为目标障碍物，该目标障碍物为有类别障碍物，该目标障碍物对应的类别信息与对应第一障碍物的标注类别信息一致，能够标识该目标障碍物的具体类别。反之，对第一障碍物进行类别标注时，为第一障碍物确定的标注类别信息可以标识对应的第一障碍物无具体类别；若在后续S103中，将该第一障碍物确定为目标障碍物，则确定的目标障碍物为无类别障碍物，该目标障碍物对应的类别信息与对应第一障碍物的标注类别信息一致，能够标识该目标障碍物没有具体类别。
这样，将样本数据区分为由类别障碍物和无类别障碍物，使得训练得到的网络在能够识别出有类别障碍物的同时，能够将所有无法识别出具体类别的障碍物都归类于无类别障碍物中，进而能够更好的识别出检测空间内的障碍物，提升神经网络的泛化能力，降低自动驾驶的安全隐患。
(2)预设的障碍物检测算法，例如为Lidar Freespace等无类别障碍物检测方法中的任一种；通过障碍物检测算法，能够识别出点云数据中各个第二障碍物的第二障碍物位置信息。
这里，针对同一帧点云数据而言，通过人工确定的第一障碍物，和通过障碍物检测算法识别的第二障碍物，可以完全匹配，可以部分匹配，也可以完全不匹配。
这里，完全匹配，是指人工确定的任一第一障碍物，都有一个第二障碍物与之匹配；或对于任一第二障碍物，都有一个第一障碍物与之匹配。
部分匹配，是指人工确定的第一障碍物中，部分第一障碍物能够匹配到对应第二障碍物，部分第一障碍物不能匹配到对应的第二障碍物；或者，通过障碍物检测算法确定的第二障碍物中，部分第二障碍物能够匹配到第一障碍物，部分第二障碍物不能匹配到对应的第一障碍物。
完全不匹配，是指人工确定的第一障碍物中，任一第一障碍物都不存在匹配的第二障碍物；或通过障碍物检测算法确定的第二障碍物中，任一第二障碍物都不存在匹配的第一障碍物。
基于预设的障碍物检测算法，所确定的第二障碍物的第二障碍物位置信息，也可以是包围盒的形式。一般地，根据第二障碍物的具体外形，通过障碍物检测算法为第二障碍物确定的包围盒，例如是不规则的多面体。
其中，在基于预设的障碍物检测算法，从点云数据中检测得到各个第二障碍物的第二障碍物位置信息时，所得到的第二障碍物的第二障碍物位置信息，由于是基于点云数据来自动检测的，较之人工标注更为精细，因此具有更高的精细度。
例如，在对点云数据中的同一障碍物分别进行人工标注和基于预设的障碍物检测算法的标注时，人工标注一般只能粗略的为该障碍物确定一包围盒，在该人工标注的包围盒中，包括很多不属于障碍物的点云点；而基于障碍物检测算法的标注，则能够沿着该障碍物的轮廓，为该障碍物确定一包围盒，其中包括不属于障碍物的点云点更少。
S103：基于所述第一障碍物位置信息和所述第二障碍物位置信息，对所述第一障碍物和所述第二障碍物进行位置匹配，并基于所述位置匹配的结果、以及所述第一障碍物的标注类别信息，生成样本数据。
在具体实施中，基于第一障碍物的第一障碍物位置信息和第二障碍物的第二障碍物位置信息，将第一障碍物和第二障碍物进行位置匹配，目的是为了从点云数据中，确定属于同一障碍物的第一障碍物和第二障碍物。
在从点云数据中获取位置匹配成功的目标障碍物的目标本点云数据时，例如可以基于所述第一障碍物的第一障碍物位置信息和所述第二障碍物的第二障碍物位置信息，确定位置匹配成功的目标障碍物；然后基于确定的位置匹配成功的目标障碍物的第二障碍物位置信息，从点云数据中获取位置匹配成功的目标障碍物的目标本点云数据。
若某第一障碍物成功匹配到第二障碍物，则确定该第一障碍物和第二障碍物对应了点云数据中的同一障碍物；将第一障碍物和第二障碍物所对应的同一障碍物确定为目标障碍物，然后从该帧点云数据中，获取目标障碍物的目标本点云数据。
这里，需要注意的是，在获取目标障碍物的目标点云数据时，例如可以第二障碍物的第二障碍物位置信息，从点云数据中将目标障碍物对应的目标点云数据截取出来。
参见图2所示，本公开实施例还提供一种获取目标障碍物对应的类别信息的具体方法，包括：
S201：获取目标障碍物对应的第一障碍物的标注类别信息。
这里，标注类别信息例如为人工为点云数据中各个目标障碍物进行标注的标注类别信息。
具体地，在人工为点云数据中的第一障碍物标注第一障碍物位置信息的时候，可以为每个第一障碍物标记对应的标注类别信息。
示例性的，第一障碍物为有类别障碍物，则对应的标注类别信息为该第一障碍物所述类别的具体名称；若第一障碍物为无类别障碍物，则对应的标注类别信息为“其他”，表示将神经网络无法识别出具体类别的障碍物均归类为“其他”；或者也可以不为该第一障碍物标记标注类别信息。
在确定目标障碍物后，可以直接将为与目标障碍物对应的第一障碍物标注的标注类别信息，确定为对应目标障碍物的类别信息。
S202：若目标障碍物对应的第一障碍物的标注类别信息中存在该第一障碍物的具体类别，则将该具体类别作为该目标障碍物对应的类别信息。
这里，若目标障碍物对应得第一障碍物的标注类别信息中，不存在该第一障碍物的具体类别，则直接将该目标障碍物确定为无类别障碍物。在该种情况下，例如可以将其类别信息确定为“其他”。
示例性的，针对某帧点云数据，在对该帧点云数据进行人工标注时，确定的第一障碍物分别为a1、a2、a3、a4；生成第一障碍物a1、a2、a3、a4分别对应的障碍物位置信息；第一障碍物a1的标注类别信息为“小型车辆”；第一障碍物a2的标注类别信息为“大型车辆”：第一障碍物a3为掉落在道路上的物品，标注类别信息为“其他”；第一障碍物a4为在道路上行走的动物，并未对其标记标注类别信息。
在基于预设的障碍物检测算法，从该帧点云数据中确定的第二障碍物分别为：b1、b2、b3、b4、以及b5，并生成与第二障碍物b1、b2、b3、b4、以及b5分别对应的障碍物位置信息。
将a1依次和b1～b6进行匹配；若a1和b2匹配成功，则将a1和b2对应的同一障碍物确定为目标障碍物，且由于a1的标注类别信息为“大型车辆”，为基于a1和b2确定的目标障碍物的类别信息即为“大型车辆”。
将a2依次和b1～b6进行匹配；匹配失败。结束对a2的操作。
将a3依次和b1～b6进行匹配；若a3和b4匹配成功，则将a3和b4对应的同一障碍物确定为目标障碍物，且由于a3的标注类别信息为“其他”，为基于a3和b4确定的目标障碍物的类别信息即为“其他”。
将a4依次和b1～b6进行匹配；若a4和b5匹配成功，则将a3和b4对应的同一障碍物确定为目标障碍物，且由于不存在a4的标注类别信息，进而为基于a4和b5确定的目标障碍物的类别信息即为“其他”。
在该示例中，即使某些第二障碍物和第一障碍物匹配成功，也要将其再与其他的第一障碍物再次匹配，以降低匹配过程中由于障碍物距离过近导致的错误匹配。
在另一示例中，若某些第二障碍物和第一障碍物匹配成功，也可以不将其与其他的第一障碍物再次匹配，以提升匹配的效率。
参见图3，本公开实施例还提供一种基于所述第一障碍物位置信息和所述第二障碍物位置信息，对所述第一障碍物和所述第二障碍物进行位置匹配的具体方法，包括：
S301：基于所述点云数据中每个第一障碍物的第一障碍物位置信息，生成所述每个第一障碍物在基准平面的第一投影；
S302：基于所述点云数据中每个第二障碍物的第二障碍物位置信息，生成所述每个第二障碍物在所述基准平面的第二投影；
S303：基于所述第一障碍物在基准平面的第一投影、以及所述第二障碍物在所述基准平面的第二投影，进行位置匹配。
这里，基准平面具体可以根据实际的需要进行设置。
确定第一障碍物在基准平面的第一投影的方式，例如首先确定第一障碍物的障碍物位置信息对应的包围盒上的各个顶点在基准平面上的投影点；然后基于不同顶点之间的连接关系信息，确定投影点之间的连接关系；然后基于投影点之间的连接关系将投影点之间进行连接；将连接后的投影点所围成的区域，确定为对应投影。
第二投影的确定方式与上述第一投影的确定方式类似，在此不再赘述。
在确定了第一投影和第二投影后，基于第一投影和第二投影，进行障碍物匹配时，例如可以采用下述方式：
基于所述每个第二障碍物在所述基准平面的第二投影，确定与所述每个第二障碍物分别对应的最小包围矩形；基于所述每个第二障碍物的最小包围矩形在所述基准平面中的位置、以及各个所述第一障碍物的第一投影在所述基准平面中的位置，确定所述每个第二障碍物的障碍物匹配结果。
此处，通过雷达得到点云数据中，由于通过雷达所获取的点云数据中，障碍物上靠近雷达的一侧的详细点云会被雷达检测到；而障碍物上远离雷达的一侧则会丢失很多信息；为了对点云数据所缺失的信息进行补全，首先可以确定第二投影的最小包围矩形，然后通过最小包围矩形与第一投影之间的重合度，来确定第一障碍物和第二障碍物之间的匹配度。
具体地，例如可以基于每个第二障碍物的所述最小包围矩形在所述基准平面中的位置以及所述第一障碍物的第一投影在所述基准平面中的位置，判断是否存在对应的所述第一投影与该第二障碍物的最小包围矩形之间的重叠度大于预设重叠度阈值的第一障碍物。
这里，例如可以首先根据确定最小包围矩形和第一投影之间的重合面积；然后计算该重合面积与第一投影的面积之间的比值，将该比值确定为最小包围矩形和第一投影之间的重叠度。
若该重叠度大于预设重叠度阈值，则第一障碍物和第二障碍物匹配成功。若该重合度小于或者等于该预设重叠度阈值，则第一障碍物和第二障碍物匹配失败。
该预设重叠度阈值例如为0.5、0.6等。具体可以根据实际的需要进行具体设定。
另外，由于通过障碍物检测算法能够确定除点云数据中的大部分第二障碍物；其中很可能会包括一些对自动驾驶影响很小的小型障碍物。针对这些较小的障碍物而言，是不需要对其进行考虑的。因此，在本公开另一实施例中，还可以包括：确定每个第二障碍物的最小包围矩形中能够包围的点云点的数量；针对点云点的数量小于预设数量阈值的第二障碍物，该第二障碍物对应的障碍物匹配结果为匹配失败。从而通过该过程，将较小的第二障碍物过滤掉，提升进行第一障碍物和第二障碍物的匹配速度。
通过上述过程，即可实现基于位置匹配度的结果、以及第一障碍物的类别标注信息，生成样本数据。
本公开实施例通过获取所述点云数据中标注的各个第一障碍物的第一障碍物位置信息、以及标注类别信息，并基于预设的障碍物检测算法，从所述点云数据中检测得到各个第二障碍物的第二障碍物位置信息，然后基于第一障碍物位置信息和第二障碍物位置信息，对第一障碍物和第二障碍物进行位置匹配，并基于位置匹配的结果、以及第一障碍物的标注类别信息，生成样本数据，结合了人工标注时类型标注精度高，基于预设障碍物检测算法检测时，确定的点云数据精度高，进而能够实现对障碍物的类型和位置的精确标注，提升生成的样本数据的精度。
本公开实施例还提供一种神经网络的生成方法，所述神经网络用于障碍物检测；所述生成方法包括：
利用本公开任一实施例提供的样本生成方法生成的样本数据，训练待训练的神经网络，得到用于检测障碍物的神经网络；
其中，所述样本数据包括：障碍物的样本点云数据、以及所述障碍物的类别信息。
本公开示例以将该神经网络的生成方法应用于自动驾驶领域为例，障碍物的类别信息，为神经网络能够具体识别出的障碍物具体类别，例如包括：小型车辆(小轿车、小火车、越野车)、大型车辆(卡车、巴士)、行人、单车(自行车、摩托车)等。上述样本数据表征的障碍物为有类别障碍物，与有类别障碍物对应的类别信息，例如为障碍物所归属的类别的名称；
在本公开另一实施例中，样本数据中还包括无类别障碍物对应的样本数据。其中，无类别障碍物；例如可以将动物(猫、狗)、路障、车辆坠物等道路中不常存在的障碍物，均确定为无类别障碍物；无类别障碍物对应的类别信息，例如为“其他”，标识神经网络无法识别出该障碍物的具体类别。
本公开实施例提供一种神经网络的具体结构，神经网络例如包括：编码网络、特征提取网络、以及分类网络。
具体地，编码网络用于对样本数据中的样本点云数据进行编码，将样本点云数据转化为格式统一的体积元素数据。
特征提取网络，用于基于体积元素数据对各个样本点云数据进行特征提取，得到与所述样本点云数据对应的特征数据。
分类网络用于基于提取的特征数据，对样本数据表征的障碍物进行分类，得到与障碍物分别对应的分类结果。
具体地，参见图4所示，本公开实施例提供一种训练神经网络的具体方法，包括：
S401：利用所述编码网络对所述样本点云数据进行编码，得到所述样本点云数据对应的体积元素数据。
此处，所述样本点云数据，包括：多个点云点分别在所述障碍物对应的点云空间中的位置信息。
在利用编码网络对样本点云数据进行编码时，例如可以采用下述方式：
将所述点云空间划分为多个三维网格；根据所述多个点云点分别在所述障碍物对应的点云空间中的位置信息，为所述多个三维网格中的每个三维网格确定目标点云点；其中，所述每个三维网格中的目标点云点的数量小于预设数量；基于所述每个三维网格的目标点云点，构成所述每个三维网格的网格点云数据；利用所述编码网络对所述每个三维网格的网格点云数据进行编码，得到所述每个三维网格分别对应的编码数据；基于各个三维网格分别对应的编码数据，构成该点云数据的体积元素数据。
在具体实施中，在将不同的样本点云数据对应的点云空间划分为多个三维网格之前，还可以将样本点云数据对应的点云空间调整至相同大小。然后在将样本点云数据对应的点云空间划分为三维网格的时候，不同样本点云数据对应的三维网格数量相同，得到的三维网格的大小也相同。
针对不同的样本点云数据，各个点云点的分布也有所区别；因此，最终落入到不同网格中的点云点的数量也有所区别。为了进一步的减少后续的编码运算的计算量，根据所述多个点云分别在所述点云空间中的位置信息，确定落入每个所述三维网格中的点云点的数量；在落入任一三维网格中的点云点的数量小于或者等于所述预设数量的情况下，将落入所述任一三维网格中的点云点确定为所述任一三维网格的目标点云点；在落入任一三维网格中的点云点的数量大于所述预设数量的情况下，从落入所述任一三维网络中的点云点中，确定预设数量的点云点，作为所述任一三维网格的目标点云点。
在落入任一三维网格中的点云点的数量大于所述预设数量的情况下，从落入所述任意三维网络中的点云点中，确定预设数量的点云点，作为所述任一三维网格的目标点云点。这里，任意三维网格中的目标点云点，例如可以从落入到所述任意三维网格的点云点中随机确定，或者按照落入到所述任意三维网格中的各个点云点，在三维网格中的位置，尽量均匀的从中选取目标点云点。
在利用所述编码网络对每个障碍物对应的点云数据进行编码时，例如可以采用基于点云的三维对象检测的端到端学习模型(End-to-End Learning for Point CloudBased 3Dimensions Object Detection)VoxelNet模型中的编码网络来实现。
示例性的，将样本点云数据对应的点云空间划分为N×N×N个三维网格；每个三维网格中，最多分配P个目标点云点，构成每个三维网格的网格点云数据；利用编码网络对每个三维网格对应的网格点云数据进行编码，得到与每个三维网格对应的K维编码数据。N×N×N个三维网格，即能够得到N×N×N×K维的体积元素数据。
S402：利用所述特征提取网络，对所述体积元素数据进行特征提取，得到与所述样本点云数据对应的特征数据。
在具体实施中，特征提取网络例如包括堆叠的多级卷积层的卷积神经网络。在利用特征提取网络对每个障碍物对应的点云数据的体积元素数据进行特征提取时，例如为对点云数据的体积元素数据进行多级卷积操作。
例如，在利用特征提取网络对N×N×N×K维的体积元素数据进行特征提取操作后，得到M×M×M×K’维的特征数据。其中M表示卷积后的体积元素的边长。K’表示特征数据的长度。
S403：利用所述分类网络，对所述特征数据进行分类处理，得到所述样本数据对应的分类结果。
这里，分类网络例如包括堆叠的多级全连接层。多级全连接层对特征数据进行多级降维，然后再基于预设的激活函数对多级降维得到的数据进行激活处理，以得到点云数据的分类结果。
在另一实施例中，在使用分类网络对特征数据进行分类处理之前，可以先将M×M×M×K’维的特征数据的特征数据，转换为M3×K’维以为向量；然后将该一维向量输入至分类网路中，得到点云数据的分类结果。
S404：基于所述类别信息、以及所述样本数据对应的分类结果，训练所述编码网络、所述特征提取网络、以及所述分类网络，得到用于检测障碍物的神经网络。
这里，例如样本数据对应的分类结果、以及类别信息，确定分类的交叉熵损失；通过交叉熵损失函数计算梯度值，并使用随机梯度下降算法(Stochastic GradientDescent，SGD)得到反向传播的值，进行反向传播，以调整编码网络、所述特征提取网络、以及所述分类网络的参数。
重复多次参数的调整过程，直到交叉熵损失值无法再下降时，将得到的编码网络、所述特征提取网络、以及所述分类网络，确定为障碍物检测神经网络。
本公开实施例利用本公开实施例提供的样本生成方法生成的样本数据训练神经网络，样本数据的生成具有更高的精度，因此得到的神经网络也具有更高的精度。
另外，本公开实施例中的样本数据，包括了有类别障碍物的样本数据，也包括无类别障碍物的样本数据，使得训练得到的神经网络在能够识别出有类别障碍物的同时，能够将所有无法识别出具体类别的障碍物都归类于无类别障碍物中，进而能够更好的识别出检测空间内的障碍物，提升神经网络的泛化能力，降低自动驾驶的安全隐患。
参见图5所示，本公开实施例还提供一种智能行驶控制方法，包括：
S501：获取道路点云数据；
S502：利用本公开实施例任一神经网络生成方法生成的神经网络处理所述道路点云数据，得到所述道路点云数据的障碍物检测结果；
S503：根据所述障碍物检测结果，对获取所述道路点云数据的智能行驶设备进行控制。
在具体实施中，智能行驶设备例如包括：自动驾驶车辆、装有高级辅助驾驶系统的车辆、机器人等。
通过本公开实施例提供的神经网络生成方法生成的神经网络，既能够识别出有类别的障碍物，还能够识别出大量无类别障碍物，进而更适用于自动驾驶领域，提升自动驾驶的安全性。
同时，通过本公开实施例提供的神经网络生成方法生成的神经网络能够识别出不同障碍物的类别，从而使得通过本公开实施例提供的神经网络的生成方法训练得到的用于检测障碍物的神经网络能够很好的适用于自动驾驶领域。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与神经网络的生成方法对应的神经网络的生成装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述神经网络的生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参见图6所示，本公开实施例提供一种样本生成装置的示意图，该样本生成装置包括：
第一获取模块61，用于获取对目标场景进行扫描得到的点云数据；
第二获取模块62，用于获取所述点云数据中标注的各个第一障碍物的第一障碍物位置信息、以及标注类别信息；以及，基于预设的障碍物检测算法，从所述点云数据中检测得到各个第二障碍物的第二障碍物位置信息；其中，每个第一障碍物对应的标注类别信息，用于表征所述每个第一障碍物有具体类别或者没有具体类别；
匹配模块63，用于基于所述第一障碍物位置信息和所述第二障碍物位置信息，对所述第一障碍物和所述第二障碍物进行位置匹配，并基于所述位置匹配的结果、以及所述第一障碍物的标注类别信息，生成样本数据。
一种可能的实施方式中，所述样本数据包括：多种障碍物下各个障碍物分别对应的样本点云数据和类别信息；
其中，所述多种障碍物中，包括有类别障碍物和无类别障碍物；所述有类别障碍物的类别信息用于标识所述有类别障碍物的具体类别；所述无类别障碍物的类别信息用于标识所述无类别障碍物没有具体类别。
一种可能的实施方式中，所述匹配模块63，在基于所述位置匹配的结果、以及所述第一障碍物的标注类别信息，生成样本数据时，用于：
从所述点云数据中确定位置匹配成功的目标障碍物的目标点云数据；
基于所述目标障碍物的目标点云数据、以及与所述目标障碍物对应的第一点云数据的标注类别信息，生成所述样本数据。
一种可能的实施方式中，所述匹配模块63，在所述从所述点云数据中获取位置匹配成功的目标障碍物的目标点云数据时，用于：
基于第一障碍物位置信息和所述第二障碍物位置信息，确定位置匹配成功的目标障碍物；
基于确定的位置匹配成功的目标障碍物的第二障碍物位置信息，从所述点云数据中获取所述目标障碍物的目标点云数据。
一种可能的实施方式中，障碍物位置信息包括：每帧所述点云数据中至少一个障碍物的包围盒信息；所述包围盒信息包括：所述包围盒的各个顶点在所述点云数据对应的场景中的位置坐标；
其中，所述障碍物位置信息包括：所述第一障碍物位置信息以及所述第二障碍物位置信息；
所述障碍物包括：所述第一障碍物以及所述第二障碍物。
一种可能的实施方式中，所述匹配模块63，在基于所述第一障碍物位置信息和所述第二障碍物位置信息，对所述第一障碍物和所述第二障碍物进行位置匹配时，用于：
基于所述点云数据中每个第一障碍物的第一障碍物位置信息，生成所述每个第一障碍物在基准平面的第一投影；
以及基于所述点云数据中每个第二障碍物的第二障碍物位置信息，生成所述每个第二障碍物在所述基准平面的第二投影；
基于所述第一障碍物在基准平面的第一投影、以及所述第二障碍物在所述基准平面的第二投影，进行位置匹配。
一种可能的实施方式中，所述匹配模块63，在基于所述第一障碍物在基准平面的第一投影、以及所述第二障碍物在所述基准平面的第二投影，进行位置匹配时，用于：
基于所述每个第二障碍物在所述基准平面的第二投影，确定与所述每个第二障碍物分别对应的最小包围矩形；
基于所述每个第二障碍物的最小包围矩形在所述基准平面中的位置、以及各个所述第一障碍物的第一投影在所述基准平面中的位置，确定所述每个第二障碍物的障碍物匹配结果。
一种可能的实施方式中，所述匹配模块63，在基于所述每个第二障碍物的最小包围矩形在所述基准平面中的位置、以及各个所述第一障碍物的第一投影在所述基准平面中的位置，确定所述每个第二障碍物的障碍物匹配结果时，用于：
基于每个第二障碍物的所述最小包围矩形在所述基准平面中的位置、以及各个所述第一障碍物的第一投影在所述基准平面中的位置，判断是否存在对应的第一投影与所述每个第二障碍物的最小包围矩形之间的重叠度大于预设重叠度阈值的第一障碍物；
若存在，则确定存在的该第一障碍物与该第二障碍物匹配。
一种可能的实施方式中，所述匹配模块63，还用于：确定所述每个第二障碍物的最小包围矩形中能够包围的点云点的数量；
针对点云点的数量小于预设数量阈值的第二障碍物，该第二障碍物对应的障碍物匹配结果为匹配失败。
本公开实施例提供的一种神经网络的生成装置的示意图，所述神经网络用于障碍物检测；所述生成装置包括：
训练模块，用于利用本公开任一实施例所述的样本生成方法生成的样本数据，训练待训练的神经网络，得到用于检测障碍物的神经网络；
所述样本数据包括：障碍物的样本点云数据、以及所述障碍物的类别信息。
一种可能的实施方式中，所述神经网络包括：编码网络、特征提取网络、以及分类网络；
所述训练模块，在训练待训练的神经网络，得到用于检测障碍物的神经网络时，用于：
利用所述编码网络对所述样本点云数据进行编码，得到所述样本点云数据对应的体积元素数据；
利用所述特征提取网络，对所述体积元素数据进行特征提取，得到与所述样本点云数据对应的特征数据；
利用所述分类网络，对所述特征数据进行分类处理，得到所述样本数据对应的分类结果；
基于所述类别信息、以及所述样本数据对应的分类结果，训练所述编码网络、所述特征提取网络、以及所述分类网络，得到用于检测障碍物的神经网络。
一种可能的实施方式中，所述样本点云数据，包括：多个点云点分别在所述障碍物对应的点云空间中的位置信息；
所述训练模块，在利用所述编码网络对所述样本点云数据进行编码，得到所述样本点云数据对应的体积元素数据之前，还用于：
将所述点云空间划分为多个三维网格；
根据所述多个点云点分别在所述障碍物对应的点云空间中的位置信息，为所述多个三维网格中的每个三维网格确定目标点云点；其中，所述每个三维网格中的目标点云点的数量小于预设数量；
基于所述每个三维网格的目标点云点，构成所述每个三维网格的网格点云数据；
所述训练模块，在利用所述编码网络对所述样本点云数据进行编码，得到所述样本点云数据对应的体积元素数据时，用于：
利用所述编码网络对所述每个三维网格的网格点云数据进行编码，得到所述每个三维网格分别对应的编码数据；
基于各个三维网格分别对应的编码数据，构成该样本点云数据的体积元素数据。
所述训练模块，在根据所述多个点云点分别在所述障碍物对应的点云空间中的位置信息，为所述多个三维网格中的每个三维网格确定目标点云点时，用于：
根据所述多个点云分别在所述点云空间中的位置信息，确定落入每个所述三维网格中的点云点的数量；
在落入任一三维网格中的点云点的数量小于或者等于所述预设数量的情况下，将落入所述任一三维网格中的点云点确定为所述任一三维网格的目标点云点；
在落入任一三维网格中的点云点的数量大于所述预设数量的情况下，从落入所述任一三维网络中的点云点中，确定预设数量的点云点，作为所述任一三维网格的目标点云点。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
参见图7所示，本公开实施例还提供一种智能行驶控制装置，包括：
第三获取模块71，用于获取道路点云数据；
检测模块72，用于利用基于本公开实施例任一神经网络的生成方法生成的神经网络处理所述道路点云数据，得到所述道路点云数据的障碍物检测结果；
控制模块73，用于根据所述障碍物检测结果，对获取所述道路点云数据的智能行驶设备进行控制。
本公开实施例还提供了一种电子设备800，如图8所示，为本公开实施例提供的电子设备800结构示意图，包括：
处理器81、存储器82、和总线83；存储器82用于存储执行指令，包括内存821和外部存储器822；这里的内存821也称内存储器，用于暂时存放处理器81中的运算数据，以及与硬盘等外部存储器822交换的数据，处理器81通过内存821与外部存储器822进行数据交换，当所述电子设备800运行时，所述处理器81与所述存储器82之间通过总线83通信，使得所述处理器81在用户态执行以下指令：
获取对目标场景进行扫描得到的点云数据；
获取所述点云数据中标注的各个第一障碍物的第一障碍物位置信息、以及标注类别信息；以及，基于预设的障碍物检测算法，从所述点云数据中检测得到各个第二障碍物的第二障碍物位置信息；
基于所述第一障碍物位置信息和所述第二障碍物位置信息，对所述第一障碍物和所述第二障碍物进行位置匹配，并基于所述位置匹配的结果、以及所述第一障碍物的标注类别信息，生成样本数据；
或执行以下指令：
利用本公开任一实施例所述的样本生成方法生成的样本数据，训练待训练的神经网络，得到用于检测障碍物的神经网络；
所述样本数据包括：障碍物的样本点云数据、以及所述障碍物的类别信息；
或执行以下指令：
获取道路点云数据；
利用基于本公开实施例提供的神经网络的生成方法生成的神经网络处理所述道路点云数据，得到所述道路点云数据的障碍物检测结果；
根据所述障碍物检测结果，对获取所述道路点云数据的智能行驶设备进行控制。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的神经网络的生成方法的步骤，或执行上述方法实施例中所述的智能行驶控制方法的步骤。
本公开实施例所提供的路线规划方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的神经网络的生成的步骤，或用于执行上述方法实施例中所述的智能行驶控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (19)
1.一种样本生成方法，其特征在于，包括：
获取对目标场景进行扫描得到的点云数据；
获取所述点云数据中标注的各个第一障碍物的第一障碍物位置信息、以及标注类别信息；以及，基于预设的障碍物检测算法，从所述点云数据中检测得到各个第二障碍物的第二障碍物位置信息；
基于所述第一障碍物位置信息和所述第二障碍物位置信息，对所述第一障碍物和所述第二障碍物进行位置匹配，并基于所述位置匹配的结果、以及所述第一障碍物的标注类别信息，生成样本数据。
2.根据权利要求1所述的样本生成方法，其特征在于，所述样本数据包括：多种障碍物下各个障碍物分别对应的样本点云数据和类别信息；
其中，所述多种障碍物中，包括有类别障碍物和无类别障碍物；所述有类别障碍物的类别信息用于标识所述有类别障碍物的具体类别；所述无类别障碍物的类别信息用于标识所述无类别障碍物没有具体类别。
3.根据权利要求1或2所述的样本生成方法，其特征在于，所述基于所述位置匹配的结果、以及所述第一障碍物的标注类别信息，生成样本数据，包括：
从所述点云数据中确定位置匹配成功的目标障碍物的目标点云数据；
基于所述目标障碍物的目标点云数据、以及与所述目标障碍物对应的第一点云数据的标注类别信息，生成所述样本数据。
4.根据权利要求3所述的样本生成方法，其特征在于，所述从所述点云数据中获取位置匹配成功的目标障碍物的目标点云数据，包括：
基于第一障碍物位置信息和所述第二障碍物位置信息，确定位置匹配成功的目标障碍物；
基于确定的位置匹配成功的目标障碍物的第二障碍物位置信息，从所述点云数据中获取所述目标障碍物的目标点云数据。
5.根据权利要求1-4任一所述的样本生成方法，其特征在于，障碍物位置信息包括：每帧所述点云数据中至少一个障碍物的包围盒信息；所述包围盒信息包括：所述包围盒的各个顶点在所述点云数据对应的场景中的位置坐标；
其中，所述障碍物位置信息包括：所述第一障碍物位置信息以及所述第二障碍物位置信息；
所述障碍物包括：所述第一障碍物以及所述第二障碍物。
6.根据权利要求1-5任一项所述的样本生成方法，其特征在于，所述基于所述第一障碍物位置信息和所述第二障碍物位置信息，对所述第一障碍物和所述第二障碍物进行位置匹配，包括：
基于所述点云数据中每个第一障碍物的第一障碍物位置信息，生成所述每个第一障碍物在基准平面的第一投影；
以及基于所述点云数据中每个第二障碍物的第二障碍物位置信息，生成所述每个第二障碍物在所述基准平面的第二投影；
基于所述第一障碍物在基准平面的第一投影、以及所述第二障碍物在所述基准平面的第二投影，进行位置匹配。
7.根据权利要求6所述的样本生成方法，其特征在于，所述基于所述第一障碍物在基准平面的第一投影、以及所述第二障碍物在所述基准平面的第二投影，进行位置匹配，包括：
基于所述每个第二障碍物在所述基准平面的第二投影，确定与所述每个第二障碍物分别对应的最小包围矩形；
基于所述每个第二障碍物的最小包围矩形在所述基准平面中的位置、以及各个所述第一障碍物的第一投影在所述基准平面中的位置，确定所述每个第二障碍物的障碍物匹配结果。
8.根据权利要求7所述的样本生成方法，其特征在于，所述基于所述每个第二障碍物的最小包围矩形在所述基准平面中的位置、以及各个所述第一障碍物的第一投影在所述基准平面中的位置，确定所述每个第二障碍物的障碍物匹配结果，包括：
基于每个第二障碍物的所述最小包围矩形在所述基准平面中的位置、以及各个所述第一障碍物的第一投影在所述基准平面中的位置，判断是否存在对应的第一投影与所述每个第二障碍物的最小包围矩形之间的重叠度大于预设重叠度阈值的第一障碍物；
若存在，则确定存在的该第一障碍物与该第二障碍物匹配。
9.根据权利要求8所述的样本生成方法，其特征在于，所述样本生成方法还包括：
确定所述每个第二障碍物的最小包围矩形中能够包围的点云点的数量；
针对点云点的数量小于预设数量阈值的第二障碍物，该第二障碍物对应的障碍物匹配结果为匹配失败。
10.一种神经网络的生成方法，其特征在于，所述神经网络用于障碍物检测；所述生成方法包括：
利用权利要求1-9任一项所述的样本生成方法生成的样本数据，训练待训练的神经网络，得到用于检测障碍物的神经网络；
所述样本数据包括：障碍物的样本点云数据、以及所述障碍物的类别信息。
11.根据权利要求10所述的生成方法，其特征在于，所述神经网络包括：编码网络、特征提取网络、以及分类网络；
所述训练待训练的神经网络，得到用于检测障碍物的神经网络，包括：
利用所述编码网络对样本点云数据进行编码，得到所述样本点云数据对应的体积元素数据；
利用所述特征提取网络，对所述体积元素数据进行特征提取，得到与所述样本点云数据对应的特征数据；
利用所述分类网络，对所述特征数据进行分类处理，得到所述样本数据对应的分类结果；
基于所述类别信息、以及所述样本数据对应的分类结果，训练所述编码网络、所述特征提取网络、以及所述分类网络，得到用于检测障碍物的神经网络。
12.根据权利要求11所述的生成方法，其特征在于，所述样本点云数据，包括：多个点云点分别在所述障碍物对应的点云空间中的位置信息；
所述利用所述编码网络对所述样本点云数据进行编码，得到所述样本点云数据对应的体积元素数据之前，还包括：
将所述点云空间划分为多个三维网格；
根据所述多个点云点分别在所述障碍物对应的点云空间中的位置信息，为所述多个三维网格中的每个三维网格确定目标点云点；其中，所述每个三维网格中的目标点云点的数量小于预设数量；
基于所述每个三维网格的目标点云点，构成所述每个三维网格的网格点云数据；
所述利用所述编码网络对所述样本点云数据进行编码，得到所述样本点云数据对应的体积元素数据，包括：
利用所述编码网络对所述每个三维网格的网格点云数据进行编码，得到所述每个三维网格分别对应的编码数据；
基于各个三维网格分别对应的编码数据，构成该样本点云数据的体积元素数据。
13.根据权利要求12所述的生成方法，其特征在于，所述根据所述多个点云点分别在所述障碍物对应的点云空间中的位置信息，为所述多个三维网格中的每个三维网格确定目标点云点，包括：
根据所述多个点云分别在所述点云空间中的位置信息，确定落入每个所述三维网格中的点云点的数量；
在落入任一三维网格中的点云点的数量小于或者等于所述预设数量的情况下，将落入所述任一三维网格中的点云点确定为所述任一三维网格的目标点云点；
在落入任一三维网格中的点云点的数量大于所述预设数量的情况下，从落入所述任一三维网络中的点云点中，确定预设数量的点云点，作为所述任一三维网格的目标点云点。
14.一种智能行驶控制方法，其特征在于，包括：
获取道路点云数据；
利用基于权利要求10-13任一生成方法生成的神经网络处理所述道路点云数据，得到所述道路点云数据的障碍物检测结果；
根据所述障碍物检测结果，对获取所述道路点云数据的智能行驶设备进行控制。
15.一种样本生成装置，其特征在于，包括：
第一获取模块，用于获取对目标场景进行扫描得到的点云数据；
第二获取模块，用于获取所述点云数据中标注的各个第一障碍物的第一障碍物位置信息、以及标注类别信息；以及，基于预设的障碍物检测算法，从所述点云数据中检测得到各个第二障碍物的第二障碍物位置信息；其中，每个第一障碍物对应的标注类别信息，用于表征所述每个第一障碍物有具体类别或者没有具体类别；
匹配模块，用于基于所述第一障碍物位置信息和所述第二障碍物位置信息，对所述第一障碍物和所述第二障碍物进行位置匹配，并基于所述位置匹配的结果、以及所述第一障碍物的标注类别信息，生成样本数据。
16.一种神经网络的生成装置，其特征在于，所述神经网络用于障碍物检测；所述生成装置包括：
训练模块，用于利用权利要求1-9任一项所述的样本生成方法生成的样本数据，训练待训练的神经网络，得到用于检测障碍物的神经网络；
所述样本数据包括：障碍物的样本点云数据、以及所述障碍物的类别信息。
17.一种智能行驶控制装置，其特征在于，包括：
第三获取模块，用于获取道路点云数据；
检测模块，用于利用基于权利要求10-13任一生成方法生成的神经网络处理所述道路点云数据，得到所述道路点云数据的障碍物检测结果；
控制模块，用于根据所述障碍物检测结果，对获取所述道路点云数据的智能行驶设备进行控制。
18.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至14任一所述的方法的步骤。
19.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至14任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011370374.4A CN112347986A (zh) | 2020-11-30 | 2020-11-30 | 样本生成、神经网络训练、智能行驶控制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011370374.4A CN112347986A (zh) | 2020-11-30 | 2020-11-30 | 样本生成、神经网络训练、智能行驶控制方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112347986A true CN112347986A (zh) | 2021-02-09 |
Family
ID=74365214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011370374.4A Pending CN112347986A (zh) | 2020-11-30 | 2020-11-30 | 样本生成、神经网络训练、智能行驶控制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112347986A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990200A (zh) * | 2021-03-31 | 2021-06-18 | 上海商汤临港智能科技有限公司 | 一种数据标注方法、装置、计算机设备及存储介质 |
| CN112990293A (zh) * | 2021-03-10 | 2021-06-18 | 深圳一清创新科技有限公司 | 一种点云标注方法、装置和电子设备 |
| CN113052131A (zh) * | 2021-04-20 | 2021-06-29 | 深圳市商汤科技有限公司 | 点云数据处理、自动驾驶车辆控制方法及装置 |
| CN113344986A (zh) * | 2021-08-03 | 2021-09-03 | 深圳市信润富联数字科技有限公司 | 点云配准结果的评估方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106707293A (zh) * | 2016-12-01 | 2017-05-24 | 百度在线网络技术（北京）有限公司 | 用于车辆的障碍物识别方法和装置 |
| KR20190135144A (ko) * | 2018-05-28 | 2019-12-06 | 현대자동차주식회사 | 차량 및 장애물 검출 방법 |
| CN110927742A (zh) * | 2019-11-19 | 2020-03-27 | 杭州飞步科技有限公司 | 障碍物跟踪方法、装置、设备及存储介质 |
| CN110991489A (zh) * | 2019-11-11 | 2020-04-10 | 苏州智加科技有限公司 | 一种驾驶数据的标注方法、装置及系统 |
| CN111353512A (zh) * | 2018-12-20 | 2020-06-30 | 长沙智能驾驶研究院有限公司 | 障碍物分类方法、装置、存储介质和计算机设备 |
| CN111753765A (zh) * | 2020-06-29 | 2020-10-09 | 北京百度网讯科技有限公司 | 感知设备的检测方法、装置、设备及存储介质 |
-
2020
- 2020-11-30 CN CN202011370374.4A patent/CN112347986A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106707293A (zh) * | 2016-12-01 | 2017-05-24 | 百度在线网络技术（北京）有限公司 | 用于车辆的障碍物识别方法和装置 |
| KR20190135144A (ko) * | 2018-05-28 | 2019-12-06 | 현대자동차주식회사 | 차량 및 장애물 검출 방법 |
| CN111353512A (zh) * | 2018-12-20 | 2020-06-30 | 长沙智能驾驶研究院有限公司 | 障碍物分类方法、装置、存储介质和计算机设备 |
| CN110991489A (zh) * | 2019-11-11 | 2020-04-10 | 苏州智加科技有限公司 | 一种驾驶数据的标注方法、装置及系统 |
| CN110927742A (zh) * | 2019-11-19 | 2020-03-27 | 杭州飞步科技有限公司 | 障碍物跟踪方法、装置、设备及存储介质 |
| CN111753765A (zh) * | 2020-06-29 | 2020-10-09 | 北京百度网讯科技有限公司 | 感知设备的检测方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| ALIREZA ASVADI ET AL: "3D Lidar-based static and moving obstacle detection in driving environments An approach based on voxels and multi-region ground planes", 《ROBOTICS AND AUTONOMOUS SYSTEMS》, vol. 83, 11 July 2016 (2016-07-11), pages 299 - 311, XP029674186, DOI: 10.1016/j.robot.2016.06.007 * |
| 阳涵疆: "基于采样的采摘机器人机械臂避障算法研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》, vol. 2018, no. 01, 15 January 2018 (2018-01-15) * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990293A (zh) * | 2021-03-10 | 2021-06-18 | 深圳一清创新科技有限公司 | 一种点云标注方法、装置和电子设备 |
| CN112990293B (zh) * | 2021-03-10 | 2024-03-29 | 深圳一清创新科技有限公司 | 一种点云标注方法、装置和电子设备 |
| CN112990200A (zh) * | 2021-03-31 | 2021-06-18 | 上海商汤临港智能科技有限公司 | 一种数据标注方法、装置、计算机设备及存储介质 |
| CN113052131A (zh) * | 2021-04-20 | 2021-06-29 | 深圳市商汤科技有限公司 | 点云数据处理、自动驾驶车辆控制方法及装置 |
| CN113344986A (zh) * | 2021-08-03 | 2021-09-03 | 深圳市信润富联数字科技有限公司 | 点云配准结果的评估方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112347986A (zh) | 样本生成、神经网络训练、智能行驶控制方法及装置 | |
| CN112101066B (zh) | 目标检测方法和装置及智能驾驶方法、设备和存储介质 | |
| CN109541634B (zh) | 一种路径规划方法、装置和移动设备 | |
| JP7430277B2 (ja) | 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム | |
| US11922569B2 (en) | Generating realistic point clouds | |
| Yao et al. | Estimating drivable collision-free space from monocular video | |
| CN110889464B (zh) | 检测目标对象的神经网络训练、目标对象的检测方法及装置 | |
| CN110879994A (zh) | 基于形状注意力机制的三维目测检测方法、系统、装置 | |
| CN107688811B (zh) | 车牌识别方法及装置 | |
| CN110728295B (zh) | 半监督式的地貌分类模型训练和地貌图构建方法 | |
| US20230072731A1 (en) | System and method for panoptic segmentation of point clouds | |
| Wang et al. | SCNet: Subdivision coding network for object detection based on 3D point cloud | |
| CN113970922A (zh) | 点云数据的处理方法、智能行驶控制方法及装置 | |
| CN111191654A (zh) | 道路数据生成方法、装置、电子设备及存储介质 | |
| EP4174792A1 (en) | Method for scene understanding and semantic analysis of objects | |
| Yan et al. | Lidar-based multi-task road perception network for autonomous vehicles | |
| CN112926395A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| CN112166458A (zh) | 目标检测与跟踪方法、系统、设备及存储介质 | |
| CN114140758A (zh) | 一种目标检测方法、装置及计算机设备 | |
| CN114241448A (zh) | 障碍物航向角的获取方法、装置、电子设备及车辆 | |
| CN113971694A (zh) | 一种点云数据处理方法及装置 | |
| CN110969065B (zh) | 车辆检测方法、装置、前车防撞预警设备及存储介质 | |
| Saleem et al. | Stixel optimization: Representing challenging on-road scenes | |
| CN117037120B (zh) | 一种基于时序选择的目标感知方法及装置 | |
| CN115236696B (zh) | 确定障碍物的方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |