CN111160302A - 基于自动驾驶环境的障碍物信息识别方法和装置 - Google Patents
基于自动驾驶环境的障碍物信息识别方法和装置 Download PDFInfo
- Publication number
- CN111160302A CN111160302A CN201911420191.6A CN201911420191A CN111160302A CN 111160302 A CN111160302 A CN 111160302A CN 201911420191 A CN201911420191 A CN 201911420191A CN 111160302 A CN111160302 A CN 111160302A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- obstacle information
- coordinate system
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 21
- 238000013136 deep learning model Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及一种基于自动驾驶环境的障碍物信息识别方法、装置、计算机设备和存储介质。所述方法包括：利用雷达采集点云数据以及利用摄像头采集原始图像；将所述点云数据投影到所述原始图像，生成投影图像；对所述投影图像进行物体检测，通过识别框将感兴趣物体进行标记；提取所述识别框内的点云数据，根据提取到的点云数据识别被标记的障碍物信息；利用所述投影图像中的剩余点云数据进行聚类，识别对应的剩余障碍物信息；将所述被标记的障碍物信息与所述剩余障碍物信息进行融合，得到自动驾驶环境中的障碍物信息。采用本方法能够快速准确识别自动驾驶环境中障碍物。
Description
技术领域
本申请涉及人工智能技术领域，特别是涉及一种基于自动驾驶环境的障碍物信息识别方法、装置、计算机设备和存储介质。
背景技术
随着人工智能技术的发展，自动驾驶称为当下研究的任店。在自动驾驶中感知障碍物是一项重要内容。在自动驾驶车辆中，通常是采用激光雷达扫描环境中的物体信息，根据物体信息时报是否为障碍物。但是激光雷达采集到的物体信息是稀疏的，分辨率较低，直接用于障碍物识别可能会造成识别不准确的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够准确识别自动驾驶环境中障碍物的基于自动驾驶环境的障碍物信息识别方法、装置、计算机设备和存储介质。
一种基于自动驾驶环境的障碍物信息识别方法，所述方法包括：
利用雷达采集点云数据以及利用摄像头采集原始图像；
将所述点云数据投影到所述原始图像，生成投影图像；
对所述投影图像进行物体检测，通过识别框将感兴趣物体进行标记；
提取所述识别框内的点云数据，根据提取到的点云数据识别被标记的障碍物信息；
利用所述投影图像中的剩余点云数据进行聚类，识别对应的剩余障碍物信息；
将所述被标记的障碍物信息与所述剩余障碍物信息进行融合，得到自动驾驶环境中的障碍物信息。
在其中一个实施例中，所述将所述点云数据投影到所述原始图像包括：
获取摄像头坐标系与雷达坐标系之间的变换矩阵；
利用所述变换矩阵将所述雷达坐标系下的点云数据对齐到所述摄像头坐标系；
将对齐后的点云数据投影到所述摄像头坐标系下的原始图像，生成投影图像。
在其中一个实施例中，所述对所述投影图像进行物体检测，通过识别框将感兴趣物体进行标记包括：
将所述投影图像划分为多个网格，提取每个网格内的图像特征，根据所述图像特征生成对应的特征向量；
调用深度学习模型对所述特征向量进行运算，预测每个网格对应的感兴趣物体；
将属于同一感兴趣物体的多个网格用识别框进行标记。
在其中一个实施例中，所述提取所述识别框内的点云数据，根据提取到的点云数据识别被标记的障碍物包括：
对所述标识框内提取到的点云数据进行滤波；
对滤波后的点云数据进行聚类，得到多个聚类结果；
在多个聚类结果中选择最优的聚类结果作为与所述识别框对应的障碍物。
在其中一个实施例中，所述对所述标识框内提取到的点云数据进行滤波包括：
根据所述识别框在所述投影图像中的位置，在所述投影图像中提取所述识别框对应的点云数据；
在提取到的点云数据中计算每个点与临近点的平均距离；
当所述平均距离超过标准范围时，将相应的点标作为噪声点滤除。
在其中一个实施例中，所述利用所述投影图像中的剩余点云数据进行聚类包括：
在所述投影图像中的中的剩余点云数据中随机选取预设数量的类中心；
计算所述剩余点云数据中的每个点到每个类中心的距离，进行分组；
通过多次迭代计算，得到多个聚类结果。
一种基于自动驾驶环境的障碍物信息识别装置，所述装置包括：
采集模块，用于利用雷达采集点云数据以及利用摄像头采集原始图像；
投影模块，用于将所述点云数据投影到所述原始图像，生成投影图像；
第一检测模块，用于对所述投影图像进行物体检测，通过识别框将感兴趣物体进行标记；提取所述识别框内的点云数据，根据提取到的点云数据识别被标记的障碍物信息；
第二检测模块，用于利用所述投影图像中的剩余点云数据进行聚类，识别对应的剩余障碍物信息；
融合模块，用于将所述被标记的障碍物信息与所述剩余障碍物信息进行融合，得到自动驾驶环境中的障碍物信息。
在其中一个实施例中，所述投影模块还用于获取摄像头坐标系与雷达坐标系之间的变换矩阵；利用所述变换矩阵将所述雷达坐标系下的点云数据对齐到所述摄像头坐标系；将对齐后的点云数据投影到所述摄像头坐标系下的原始图像，生成投影图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
上述基于自动驾驶环境的障碍物信息识别方法、装置、计算机设备和存储介质，通过利用雷达采集点云数据以及利用摄像头采集原始图像，将点云数据投影到原始图像，生成投影图像。对投影图像进行物体检测后，可以将投影图像中的感兴趣物体通过识别框进行标记。通过提取识别框内的点云数据，能够对被标记的障碍物进行准确识别。通过对投影图像中的剩余点云数据进行聚类，由此可以对识别框之外的其他障碍物进行准确识别。在障碍物识别过程中，既采用了自动驾驶环境中较远距离的物体的信息，也采用了分辨率较高的原始图像，克服了单一点云数据不准确的问题，有效提高了障碍物识别的准确性。而且通过深度学习模型将投影图像中的感兴趣物体进行了标记，在提取每个标识框内的点云数据后，可以快速识别到每个识别框内的障碍物，有效提高了障碍物识别效率。
附图说明
图1为一个实施例中基于自动驾驶环境的障碍物信息识别方法的应用场景图；
图2为一个实施例中基于自动驾驶环境的障碍物信息识别方法的流程示意图；
图3为一个实施例中将所述点云数据投影到所述原始图像步骤的流程示意图；
图4为一个实施例中提取所述识别框内的点云数据，根据提取到的点云数据识别被标记的障碍物步骤的流程示意图；
图5为一个实施例中基于自动驾驶环境的障碍物信息识别装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于自动驾驶环境的障碍物信息识别方法，可以应用于如图1所示的应用环境中。其中，自动驾驶的车辆100中安装了车载雷达102、车载摄像头104和计算机设备106。其中车载雷达102可以是激光雷达，简称为雷达102。车载摄像头104简称为摄像头104。车辆100在自动驾驶环境中，可以通过雷达102采集点云数据，通过摄像头106采集原始图像。计算机设备106将点云数据投影到原始图像，生成投影图像。计算机设备106对投影图像进行物体检测，通过识别框将感兴趣物体进行标记，提取识别框内的点云数据，根据提取到的点云数据识别被标记的障碍物信息。计算机设备106利用投影图像中的剩余点云数据进行聚类，识别对应的剩余障碍物信息。计算机设备106将被标记的障碍物信息与剩余障碍物信息进行融合，得到自动驾驶环境中的障碍物信息。实现了在自动驾驶环境中快速准确的识别障碍物。
在一个实施例中，如图2所示，提供了一种基于自动驾驶环境的障碍物信息识别方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
步骤202，利用雷达采集点云数据以及利用摄像头采集原始图像。
车辆在自动驾驶环境中，可以通过雷达采集点云数据。其中，雷达可以发射探测信号，例如激光束，将反射的信号与探测信号进行比对，得到车辆周围的环境数据。环境数据具体可以是点云格式的数据。点云数据是指扫描物体以点的形式记录，物体表面多个点所对应点数据的集合。
车辆在自动驾驶环境中，还可以通过摄像头采集原始图像。摄像头可以实时采集行驶过程中的视频图像。车辆中安装的摄像头可以是一个，也可以是多个。每个摄像头具有一定的视野范围。不同的摄像头可以采集不同视野范围内的视频图像。摄像头采集到的视频图像可以统称为原始图像。
由于雷达的探测距离较远，能够准确获取到自动驾驶环境中车辆周围的物体信息。摄像头采集的原始图像与点云数据相比，数据稠密，分辨率高，能够克服单一依靠雷达扫描点云数据引起的数据系数分别率低的问题。
步骤204，将点云数据投影到原始图像，生成投影图像。
每一帧点云数据中包括多个点对应的点数据。点数据具体可以包括点对应的三维坐标、激光反射强度以及颜色信息等中的至少一种。其中，三维坐标可以是点在笛卡尔坐标系中的坐标，具体包括点在笛卡尔坐标系中的横轴坐标(x轴)、纵轴坐标(y轴)以及竖轴坐标(z轴)。笛卡尔坐标系是以车载雷达为原点建立的三维空间坐标系，也可以称为雷达坐标系。
原始图像是二维图像。该二维图像可以是基于摄像头坐标系下的平面图像。点云数据与原始图像分别位于不同的坐标系。为了将点云数据准确投影至原始图像中，计算机设备需要进行将雷达坐标系与摄像头坐标系之间的变换，使得变换后的点云数据能够对齐到摄像头坐标系下。计算机设备将对齐后的点云数据投影至原始图像。由此将雷达采集到的点云数据与摄像头采集的原始图像进行了有效结合。
步骤206，对投影图像进行物体检测，通过识别框将感兴趣物体进行标记。
计算机设备将投影图像划分为多个网格，提取每个网格内的图像特征，根据图像特征生成对应的特征向量。计算机设备调用预训练的深度学习模型，将多个网格对应的特征向量输入至深度学习模型，通过深度学习模型进行运算，预测每个网格对应的感兴趣物体，将属于同一感兴趣物体的多个网格用识别框进行标记。不同的感兴趣物体可以采用不同的识别框。感兴趣物体包括自动驾驶环境中可能出现的物体，包括车辆、行人、自动车等。计算机设备可以将感兴趣物体通过识别框进行标记。每个识别框内表示存在感兴趣物体。
步骤208，提取识别框内的点云数据，根据提取到的点云数据识别被标记的障碍物信息。
步骤210，利用投影图像中的剩余点云数据进行聚类，识别对应的剩余障碍物信息。
计算机设备在投影图像中提取每个识别框内的点云数据。通过对点云数据进行聚类，得到识别框内的感兴趣物体的轮廓和位置等。从而可以准确识别到被标记的障碍物。
由于深度学习模型在训练时无法针对所有障碍物进行训练，因此，在通过深度学习模型对投影图像进行检测之后，还可能存在未被识别到的遗漏的障碍物。为了能够更加全面准确的识别自动驾驶环境中的障碍物，计算机设备还会对识别框之外的点云数据进行再次识别。对于识别框之外的点云数据，可以称为剩余点云数据，计算机设备对剩余点云数据进行聚类，识别对应的剩余障碍物的轮廓和位置。
可以理解，如果存在遗漏的障碍物，在剩余点云数据中可以识别到剩余障碍物，如果不存在遗漏的障碍物，也可以识别不到剩余障碍物。
步骤202，将被标记的障碍物信息与剩余障碍物信息进行融合，得到自动驾驶环境中的障碍物信息。
计算机设备将识别框内的障碍物对应的点数据标记为第一集合。计算机设备将剩余障碍物对应的点数据标记为第二集合。计算机设备将第一集合与第二集合进行相加，由此可以得到一帧点云数据中所有与障碍物相关的点数据，进而可以识别出自动驾驶环境中在一帧点云数据中的所有障碍物。
本实施例中，通过利用雷达采集点云数据以及利用摄像头采集原始图像，将点云数据投影到原始图像，生成投影图像。对投影图像进行物体检测后，可以将投影图像中的感兴趣物体通过识别框进行标记。通过提取识别框内的点云数据，能够对被标记的障碍物进行准确识别。通过对投影图像中的剩余点云数据进行聚类，由此可以对识别框之外的其他障碍物进行准确识别。在障碍物识别过程中，既采用了自动驾驶环境中较远距离的物体的信息，也采用了分辨率较高的原始图像，克服了单一点云数据不准确的问题，有效提高了障碍物识别的准确性。而且通过深度学习模型将投影图像中的感兴趣物体进行了标记，在提取每个标识框内的点云数据后，可以快速识别到每个识别框内的障碍物，有效提高了障碍物识别效率。
在一个实施例中，如图3所示，将点云数据投影到原始图像的步骤，包括：
步骤302，获取摄像头坐标系与雷达坐标系之间的变换矩阵。
步骤304，利用变换矩阵将雷达坐标系下的点云数据对齐到摄像头坐标系。
步骤306，将对齐后的点云数据投影到摄像头坐标系下的原始图像，生成投影图像。
雷达坐标系与摄像头坐标系可以是三维坐标系。为了准确将雷达坐标系下的点云数据投影至摄像头坐标系下，需要利用变换矩阵对雷达坐标系进行变换处理。具体的，计算机设备获取摄像头坐标系与雷达坐标系之间的变换矩阵，变换矩阵也可以称为摄像头坐标系与雷达坐标系之间的外参。变换矩阵包括旋转矩阵和平移矩阵，其中旋转矩阵用于摄像头坐标系与雷达坐标系之间的旋转变换，平移矩阵用于摄像头坐标系与雷达坐标系之间的平移变换。通过变换矩阵进行旋转变换与平移变换，可以使得雷达坐标系的原点与摄像头坐标系的原地重合，从而将雷达坐标系下的点云数据对齐到摄像头坐标系。
通过变换矩阵，计算机设备将雷达坐标系下的点云数据对齐到摄像头坐标系下，使用摄像机的成像模型参数将对齐后的点云数据投影到摄像头坐标系下的原始图像，生成投影图像。通过将点云数据投影至原始图像中生成投影图像，由此能够将点云数据的三维信息映射至摄像头坐标系下的二维成像平面中，将雷达采集的点云数据与摄像机采集的原始图像进行有效结合，为全面准确的检测障碍物提供了基础。
在一个实施例中，如图4所示，提取识别框内的点云数据，根据提取到的点云数据识别被标记的障碍物的步骤包括：
步骤402，对标识框内提取到的点云数据进行滤波。
步骤404，对滤波后的点云数据进行聚类，得到多个聚类结果。
步骤406，在多个聚类结果中选择最优的聚类结果作为与识别框对应的障碍物。
由于深度学习模型对投影图像中的感兴趣物体进行标记时，是利用一个二维框进行标记，识别框内除了包括感兴趣物体之外，还包括投影图像中的其他区域，如地面等。为了准确识别标记框内的障碍物，需要对每个识别框内的点云数据进行滤波处理。
具体的，计算机设备根据识别框在投影图像中的位置，在投影图像中提取对应的点云数据。计算机设备可以针对每个识别框内提取到的点云数据分别进行滤波处理。为了有效提高滤波处理的效率，计算机设备可以调用多个线程并发执行滤波处理。在进行滤波处理时，计算机设备会选择预设的滤波器，通过滤波器计算每个点到所有临近点的平均距离。若平均距离在标准范围之外的点，被标记为噪声点。计算机设备将每个识别框中的噪声点去除，得到滤波后的点云数据。
计算机设备针对每个识别框对应的滤波后的点云数据进行聚类。每个识别框对应的滤波后的点云数据可以称为待聚类集合。聚类的方式可以有多种。其中，计算机设备可以确定聚类个数，在待聚类集合中随机选择相应数量的点作为初始类中心，计算每一个点分别计算其到各个类中心的距离，并选择距离最近的类中心作为该点的分组。对于每一个类，分别通过几何重心或均值重新计算聚类中心，经过多次迭代，直至聚类中心收敛。通过聚类处理，每个识别框内的可能存在多个聚类结果，不同的聚类结果对应的点的数量不同。计算机设备选择点的数量最多的聚类结果作为最优聚类结果，将该最优聚类结果对应的点云数据作为对识别框内的障碍物进行的直接数据。点云数据中包括精确的三维坐标信息，计算机设备根据三维坐标信息得到相应的深度信息，根据三维坐标与深度信息计算得到障碍物的轮廓信息与位置信息。由此能够在标识框中准确识别到相应的障碍物。由于通过深度学习模型将投影图像中的感兴趣物体进行了标记，在提取每个标识框内的点云数据后，可以快速识别到每个识别框内的障碍物，有效提高了障碍物识别效率。
在一个实施例中，利用投影图像中的剩余点云数据进行聚类，识别对应的剩余障碍物信息的步骤包括：在投影图像中的中的剩余点云数据中随机选取预设数量的类中心；计算剩余点云数据中的每个点到每个类中心的距离，进行分组；通过多次迭代计算，得到多个聚类结果。
由于深度学习模型在训练时无法针对所有障碍物进行训练，因此，在通过深度学习模型对投影图像进行检测之后，还可能存在未被识别到的遗漏的障碍物。此外，原始图像容易受到光照影响，在光照条件较差时，有可能存在训练过的物体深度学习模型识别不出来的情况。为了避免遗漏障碍物，计算机设备可以对识别框之外的点云数据进行识别。
具体的，计算机设备在投影图像中的中的剩余点云数据中随机选取预设数量的类中心，计算每一个点分别计算其到各个类中心的距离，并选择距离最近的类中心作为该点的分组。可以采用上述实施例中提供的聚类处理方式，得到多个聚类结果，不同的聚类结果对应的点的数量不同。计算机设备选择点的数量最多的聚类结果作为最优聚类结果，根据该最优聚类结果对应的点云数据识别剩余障碍物信息。其中，包括剩余障碍物的轮廓信息和位置信息等。
进一步的，通过将被标记的障碍物信息与剩余障碍物信息进行融合，由此可以得到一帧点云数据中所有与障碍物相关的点数据，进而可以识别出自动驾驶环境中在一帧点云数据中的所有障碍物。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种基于自动驾驶环境的障碍物信息识别装置，包括：采集模块502、投影模块504、第一检测模块506、第二检测模块508、融合模块510，其中：
采集模块502，用于利用雷达采集点云数据以及利用摄像头采集原始图像。
投影模块504，用于将点云数据投影到原始图像，生成投影图像。
第一检测模块506，用于对投影图像进行物体检测，通过识别框将感兴趣物体进行标记；提取识别框内的点云数据，根据提取到的点云数据识别被标记的障碍物信息。
第二检测模块508，用于利用投影图像中的剩余点云数据进行聚类，识别对应的剩余障碍物信息。
融合模块510，用于将被标记的障碍物信息与剩余障碍物信息进行融合，得到自动驾驶环境中的障碍物信息。
在一个实施例中，投影模块504还用于获取摄像头坐标系与雷达坐标系之间的变换矩阵；利用变换矩阵将雷达坐标系下的点云数据对齐到摄像头坐标系；将对齐后的点云数据投影到摄像头坐标系下的原始图像，生成投影图像。
在一个实施例中，第一检测模块506还用于将投影图像划分为多个网格，提取每个网格内的图像特征，根据图像特征生成对应的特征向量；调用深度学习模型对特征向量进行运算，预测每个网格对应的感兴趣物体；将属于同一感兴趣物体的多个网格用识别框进行标记。
在一个实施例中，第一检测模块506还用于对标识框内提取到的点云数据进行滤波；对滤波后的点云数据进行聚类，得到多个聚类结果；在多个聚类结果中选择最优的聚类结果作为与识别框对应的障碍物。
在一个实施例中，第一检测模块506还用于根据识别框在投影图像中的位置，在投影图像中提取识别框对应的点云数据；在提取到的点云数据中计算每个点与临近点的平均距离；当平均距离超过标准范围时，将相应的点标作为噪声点滤除。
在一个实施例中，第二检测模块508还用于在投影图像中的中的剩余点云数据中随机选取预设数量的类中心；计算剩余点云数据中的每个点到每个类中心的距离，进行分组；通过多次迭代计算，得到多个聚类结果。
关于基于自动驾驶环境的障碍物信息识别装置的具体限定可以参见上文中对于基于自动驾驶环境的障碍物信息识别方法的限定，在此不再赘述。上述基于自动驾驶环境的障碍物信息识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储点云数据和原始图像等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于自动驾驶环境的障碍物信息识别方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述各个方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于自动驾驶环境的障碍物信息识别方法，所述方法包括：
利用雷达采集点云数据以及利用摄像头采集原始图像；
将所述点云数据投影到所述原始图像，生成投影图像；
对所述投影图像进行物体检测，通过识别框将感兴趣物体进行标记；
提取所述识别框内的点云数据，根据提取到的点云数据识别被标记的障碍物信息；
利用所述投影图像中的剩余点云数据进行聚类，识别对应的剩余障碍物信息；
将所述被标记的障碍物信息与所述剩余障碍物信息进行融合，得到自动驾驶环境中的障碍物信息。
2.根据权利要求1所述的方法，其特征在于，所述将所述点云数据投影到所述原始图像包括：
获取摄像头坐标系与雷达坐标系之间的变换矩阵；
利用所述变换矩阵将所述雷达坐标系下的点云数据对齐到所述摄像头坐标系；
将对齐后的点云数据投影到所述摄像头坐标系下的原始图像，生成投影图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述投影图像进行物体检测，通过识别框将感兴趣物体进行标记包括：
将所述投影图像划分为多个网格，提取每个网格内的图像特征，根据所述图像特征生成对应的特征向量；
调用深度学习模型对所述特征向量进行运算，预测每个网格对应的感兴趣物体；
将属于同一感兴趣物体的多个网格用识别框进行标记。
4.根据权利要求1所述的方法，其特征在于，所述提取所述识别框内的点云数据，根据提取到的点云数据识别被标记的障碍物包括：
对所述标识框内提取到的点云数据进行滤波；
对滤波后的点云数据进行聚类，得到多个聚类结果；
在多个聚类结果中选择最优的聚类结果作为与所述识别框对应的障碍物。
5.根据权利要求4所述的方法，其特征在于，所述对所述标识框内提取到的点云数据进行滤波包括：
根据所述识别框在所述投影图像中的位置，在所述投影图像中提取所述识别框对应的点云数据；
在提取到的点云数据中计算每个点与临近点的平均距离；
当所述平均距离超过标准范围时，将相应的点标作为噪声点滤除。
6.根据权利要求1所述的方法，其特征在于，所述利用所述投影图像中的剩余点云数据进行聚类包括：
在所述投影图像中的中的剩余点云数据中随机选取预设数量的类中心；
计算所述剩余点云数据中的每个点到每个类中心的距离，进行分组；
通过多次迭代计算，得到多个聚类结果。
7.一种基于自动驾驶环境的障碍物信息识别装置，其特征在于，所述装置包括：
采集模块，用于利用雷达采集点云数据以及利用摄像头采集原始图像；
投影模块，用于将所述点云数据投影到所述原始图像，生成投影图像；
第一检测模块，用于对所述投影图像进行物体检测，通过识别框将感兴趣物体进行标记；提取所述识别框内的点云数据，根据提取到的点云数据识别被标记的障碍物信息；
第二检测模块，用于利用所述投影图像中的剩余点云数据进行聚类，识别对应的剩余障碍物信息；
融合模块，用于将所述被标记的障碍物信息与所述剩余障碍物信息进行融合，得到自动驾驶环境中的障碍物信息。
8.根据权利要求7所述的装置，其特征在于，所述投影模块还用于获取摄像头坐标系与雷达坐标系之间的变换矩阵；利用所述变换矩阵将所述雷达坐标系下的点云数据对齐到所述摄像头坐标系；将对齐后的点云数据投影到所述摄像头坐标系下的原始图像，生成投影图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911420191.6A CN111160302B (zh) | 2019-12-31 | 2019-12-31 | 基于自动驾驶环境的障碍物信息识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911420191.6A CN111160302B (zh) | 2019-12-31 | 2019-12-31 | 基于自动驾驶环境的障碍物信息识别方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111160302A true CN111160302A (zh) | 2020-05-15 |
| CN111160302B CN111160302B (zh) | 2024-02-23 |
Family
ID=70560440
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911420191.6A Active CN111160302B (zh) | 2019-12-31 | 2019-12-31 | 基于自动驾驶环境的障碍物信息识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111160302B (zh) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111583268A (zh) * | 2020-05-19 | 2020-08-25 | 北京数字绿土科技有限公司 | 点云虚拟选择与裁切方法、装置及设备 |
| CN111721281A (zh) * | 2020-05-27 | 2020-09-29 | 北京百度网讯科技有限公司 | 位置识别方法、装置和电子设备 |
| CN111739005A (zh) * | 2020-06-22 | 2020-10-02 | 北京百度网讯科技有限公司 | 图像检测方法、装置、电子设备及存储介质 |
| CN111860493A (zh) * | 2020-06-12 | 2020-10-30 | 北京图森智途科技有限公司 | 一种基于点云数据的目标检测方法及装置 |
| CN112001287A (zh) * | 2020-08-17 | 2020-11-27 | 禾多科技（北京）有限公司 | 障碍物的点云信息生成方法、装置、电子设备和介质 |
| CN112101092A (zh) * | 2020-07-31 | 2020-12-18 | 北京智行者科技有限公司 | 自动驾驶环境感知方法及系统 |
| CN112214026A (zh) * | 2020-10-26 | 2021-01-12 | 广州小鹏自动驾驶科技有限公司 | 一种行车障碍检测方法、装置、车辆、可读介质 |
| CN112348000A (zh) * | 2021-01-07 | 2021-02-09 | 知行汽车科技（苏州）有限公司 | 障碍物识别方法、装置、系统及存储介质 |
| CN112418003A (zh) * | 2020-11-05 | 2021-02-26 | 湖南中联重科智能高空作业机械有限公司 | 工作平台障碍物识别方法、系统及防撞方法、系统 |
| CN112446866A (zh) * | 2020-11-25 | 2021-03-05 | 上海联影医疗科技股份有限公司 | 血流参数的计算方法、装置、设备及存储介质 |
| CN112446867A (zh) * | 2020-11-25 | 2021-03-05 | 上海联影医疗科技股份有限公司 | 血流参数的确定方法、装置、设备及存储介质 |
| CN112464812A (zh) * | 2020-11-27 | 2021-03-09 | 西北工业大学 | 一种基于车辆的凹陷类障碍物检测方法 |
| CN112541416A (zh) * | 2020-12-02 | 2021-03-23 | 深兰科技（上海）有限公司 | 跨雷达障碍物跟踪方法、装置、电子设备和存储介质 |
| CN112560580A (zh) * | 2020-11-20 | 2021-03-26 | 腾讯科技（深圳）有限公司 | 障碍物识别方法、装置、系统、存储介质和电子设备 |
| CN112578405A (zh) * | 2020-10-29 | 2021-03-30 | 上汽大众汽车有限公司 | 一种基于激光雷达点云数据去除地面的方法及系统 |
| CN112613424A (zh) * | 2020-12-27 | 2021-04-06 | 盛视达(天津)科技有限公司 | 铁轨障碍物检测方法、装置、电子设备和存储介质 |
| CN112784799A (zh) * | 2021-02-01 | 2021-05-11 | 三一机器人科技有限公司 | Agv后向栈板及障碍物识别方法、装置及agv |
| CN112869969A (zh) * | 2021-01-14 | 2021-06-01 | 北京三角洲机器人科技有限公司 | 一种用于电动轮椅的全方位通行策略生成系统和方法 |
| CN113052131A (zh) * | 2021-04-20 | 2021-06-29 | 深圳市商汤科技有限公司 | 点云数据处理、自动驾驶车辆控制方法及装置 |
| CN113269168A (zh) * | 2021-07-19 | 2021-08-17 | 禾多阡陌科技(北京)有限公司 | 障碍物数据处理方法、装置、电子设备和计算机可读介质 |
| CN113420698A (zh) * | 2021-06-18 | 2021-09-21 | 北京盈迪曼德科技有限公司 | 一种基于机器人的环境识别方法及装置 |
| CN113537047A (zh) * | 2021-07-14 | 2021-10-22 | 广东汇天航空航天科技有限公司 | 障碍物检测方法、装置、交通工具及存储介质 |
| CN113673493A (zh) * | 2021-10-22 | 2021-11-19 | 浙江建木智能系统有限公司 | 一种基于工业车辆视觉的行人感知和定位的方法和系统 |
| CN113807184A (zh) * | 2021-08-17 | 2021-12-17 | 北京百度网讯科技有限公司 | 障碍物检测方法、装置、电子设备及自动驾驶车辆 |
| CN113848931A (zh) * | 2021-10-09 | 2021-12-28 | 上海联适导航技术股份有限公司 | 农机自动驾驶障碍物识别方法、系统、设备和存储介质 |
| CN113902927A (zh) * | 2021-12-09 | 2022-01-07 | 北京车网科技发展有限公司 | 一种融合了图像与点云信息的综合信息处理方法 |
| CN114627073A (zh) * | 2022-03-14 | 2022-06-14 | 一汽解放汽车有限公司 | 地形识别方法、装置、计算机设备和存储介质 |
| CN114663526A (zh) * | 2022-03-17 | 2022-06-24 | 深圳市优必选科技股份有限公司 | 障碍物检测方法、装置、机器人及计算机可读存储介质 |
| CN115236674A (zh) * | 2022-06-15 | 2022-10-25 | 北京踏歌智行科技有限公司 | 一种基于4d毫米波雷达的矿区环境感知方法 |
| CN115661366A (zh) * | 2022-12-05 | 2023-01-31 | 蔚来汽车科技(安徽)有限公司 | 用于构建三维场景模型的方法和图像处理装置 |
| CN117975419A (zh) * | 2024-03-29 | 2024-05-03 | 苏州元脑智能科技有限公司 | 障碍物识别方法、装置、设备、存储介质及程序产品 |
| CN115236674B (zh) * | 2022-06-15 | 2024-06-04 | 北京踏歌智行科技有限公司 | 一种基于4d毫米波雷达的矿区环境感知方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180260636A1 (en) * | 2017-03-13 | 2018-09-13 | Baidu Online Network Technology (Beijing) Co., Ltd. | Obstacle detecting method and apparatus, device and storage medium |
| US20190180467A1 (en) * | 2017-12-11 | 2019-06-13 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for identifying and positioning objects around a vehicle |
| CN109886997A (zh) * | 2019-01-23 | 2019-06-14 | 平安科技（深圳）有限公司 | 基于目标检测的识别框确定方法、装置及终端设备 |
| CN110096059A (zh) * | 2019-04-25 | 2019-08-06 | 杭州飞步科技有限公司 | 自动驾驶方法、装置、设备及存储介质 |
| CN110320531A (zh) * | 2018-03-30 | 2019-10-11 | 郑州宇通客车股份有限公司 | 基于激光雷达的障碍物识别方法、地图创建方法及装置 |
| CN110378942A (zh) * | 2018-08-23 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 基于双目相机的障碍物标识方法、系统、设备和存储介质 |
| CN110501719A (zh) * | 2019-08-27 | 2019-11-26 | 王玉娇 | 一种基于激光雷达的列车障碍物探测方法 |
-
2019
- 2019-12-31 CN CN201911420191.6A patent/CN111160302B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180260636A1 (en) * | 2017-03-13 | 2018-09-13 | Baidu Online Network Technology (Beijing) Co., Ltd. | Obstacle detecting method and apparatus, device and storage medium |
| US20190180467A1 (en) * | 2017-12-11 | 2019-06-13 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for identifying and positioning objects around a vehicle |
| CN110320531A (zh) * | 2018-03-30 | 2019-10-11 | 郑州宇通客车股份有限公司 | 基于激光雷达的障碍物识别方法、地图创建方法及装置 |
| CN110378942A (zh) * | 2018-08-23 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 基于双目相机的障碍物标识方法、系统、设备和存储介质 |
| CN109886997A (zh) * | 2019-01-23 | 2019-06-14 | 平安科技（深圳）有限公司 | 基于目标检测的识别框确定方法、装置及终端设备 |
| CN110096059A (zh) * | 2019-04-25 | 2019-08-06 | 杭州飞步科技有限公司 | 自动驾驶方法、装置、设备及存储介质 |
| CN110501719A (zh) * | 2019-08-27 | 2019-11-26 | 王玉娇 | 一种基于激光雷达的列车障碍物探测方法 |
Cited By (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111583268A (zh) * | 2020-05-19 | 2020-08-25 | 北京数字绿土科技有限公司 | 点云虚拟选择与裁切方法、装置及设备 |
| CN111583268B (zh) * | 2020-05-19 | 2021-04-23 | 北京数字绿土科技有限公司 | 点云虚拟选择与裁切方法、装置及设备 |
| CN111721281A (zh) * | 2020-05-27 | 2020-09-29 | 北京百度网讯科技有限公司 | 位置识别方法、装置和电子设备 |
| CN111721281B (zh) * | 2020-05-27 | 2022-07-15 | 阿波罗智联(北京)科技有限公司 | 位置识别方法、装置和电子设备 |
| CN111860493B (zh) * | 2020-06-12 | 2024-02-09 | 北京图森智途科技有限公司 | 一种基于点云数据的目标检测方法及装置 |
| CN111860493A (zh) * | 2020-06-12 | 2020-10-30 | 北京图森智途科技有限公司 | 一种基于点云数据的目标检测方法及装置 |
| CN111739005A (zh) * | 2020-06-22 | 2020-10-02 | 北京百度网讯科技有限公司 | 图像检测方法、装置、电子设备及存储介质 |
| CN111739005B (zh) * | 2020-06-22 | 2023-08-08 | 北京百度网讯科技有限公司 | 图像检测方法、装置、电子设备及存储介质 |
| WO2022022694A1 (zh) * | 2020-07-31 | 2022-02-03 | 北京智行者科技有限公司 | 自动驾驶环境感知方法及系统 |
| CN112101092A (zh) * | 2020-07-31 | 2020-12-18 | 北京智行者科技有限公司 | 自动驾驶环境感知方法及系统 |
| CN112001287B (zh) * | 2020-08-17 | 2023-09-12 | 禾多科技（北京）有限公司 | 障碍物的点云信息生成方法、装置、电子设备和介质 |
| CN112001287A (zh) * | 2020-08-17 | 2020-11-27 | 禾多科技（北京）有限公司 | 障碍物的点云信息生成方法、装置、电子设备和介质 |
| CN112214026A (zh) * | 2020-10-26 | 2021-01-12 | 广州小鹏自动驾驶科技有限公司 | 一种行车障碍检测方法、装置、车辆、可读介质 |
| CN112578405B (zh) * | 2020-10-29 | 2023-03-10 | 上汽大众汽车有限公司 | 一种基于激光雷达点云数据去除地面的方法及系统 |
| CN112578405A (zh) * | 2020-10-29 | 2021-03-30 | 上汽大众汽车有限公司 | 一种基于激光雷达点云数据去除地面的方法及系统 |
| CN112418003A (zh) * | 2020-11-05 | 2021-02-26 | 湖南中联重科智能高空作业机械有限公司 | 工作平台障碍物识别方法、系统及防撞方法、系统 |
| CN112418003B (zh) * | 2020-11-05 | 2023-09-29 | 湖南中联重科智能高空作业机械有限公司 | 工作平台障碍物识别方法、系统及防撞方法、系统 |
| CN112560580A (zh) * | 2020-11-20 | 2021-03-26 | 腾讯科技（深圳）有限公司 | 障碍物识别方法、装置、系统、存储介质和电子设备 |
| CN112446867A (zh) * | 2020-11-25 | 2021-03-05 | 上海联影医疗科技股份有限公司 | 血流参数的确定方法、装置、设备及存储介质 |
| CN112446866A (zh) * | 2020-11-25 | 2021-03-05 | 上海联影医疗科技股份有限公司 | 血流参数的计算方法、装置、设备及存储介质 |
| CN112464812B (zh) * | 2020-11-27 | 2023-11-24 | 西北工业大学 | 一种基于车辆的凹陷类障碍物检测方法 |
| CN112464812A (zh) * | 2020-11-27 | 2021-03-09 | 西北工业大学 | 一种基于车辆的凹陷类障碍物检测方法 |
| CN112541416A (zh) * | 2020-12-02 | 2021-03-23 | 深兰科技（上海）有限公司 | 跨雷达障碍物跟踪方法、装置、电子设备和存储介质 |
| CN112613424A (zh) * | 2020-12-27 | 2021-04-06 | 盛视达(天津)科技有限公司 | 铁轨障碍物检测方法、装置、电子设备和存储介质 |
| CN112348000A (zh) * | 2021-01-07 | 2021-02-09 | 知行汽车科技（苏州）有限公司 | 障碍物识别方法、装置、系统及存储介质 |
| CN112869969A (zh) * | 2021-01-14 | 2021-06-01 | 北京三角洲机器人科技有限公司 | 一种用于电动轮椅的全方位通行策略生成系统和方法 |
| CN112869969B (zh) * | 2021-01-14 | 2023-01-17 | 安徽金百合医疗器械有限公司 | 一种用于电动轮椅的全方位通行策略生成系统和方法 |
| CN112784799A (zh) * | 2021-02-01 | 2021-05-11 | 三一机器人科技有限公司 | Agv后向栈板及障碍物识别方法、装置及agv |
| CN113052131A (zh) * | 2021-04-20 | 2021-06-29 | 深圳市商汤科技有限公司 | 点云数据处理、自动驾驶车辆控制方法及装置 |
| CN113420698A (zh) * | 2021-06-18 | 2021-09-21 | 北京盈迪曼德科技有限公司 | 一种基于机器人的环境识别方法及装置 |
| CN113537047A (zh) * | 2021-07-14 | 2021-10-22 | 广东汇天航空航天科技有限公司 | 障碍物检测方法、装置、交通工具及存储介质 |
| CN113269168B (zh) * | 2021-07-19 | 2021-10-15 | 禾多阡陌科技(北京)有限公司 | 障碍物数据处理方法、装置、电子设备和计算机可读介质 |
| CN113269168A (zh) * | 2021-07-19 | 2021-08-17 | 禾多阡陌科技(北京)有限公司 | 障碍物数据处理方法、装置、电子设备和计算机可读介质 |
| CN113807184A (zh) * | 2021-08-17 | 2021-12-17 | 北京百度网讯科技有限公司 | 障碍物检测方法、装置、电子设备及自动驾驶车辆 |
| CN113848931A (zh) * | 2021-10-09 | 2021-12-28 | 上海联适导航技术股份有限公司 | 农机自动驾驶障碍物识别方法、系统、设备和存储介质 |
| WO2023056789A1 (zh) * | 2021-10-09 | 2023-04-13 | 上海联适导航技术股份有限公司 | 农机自动驾驶障碍物识别方法、系统、设备和存储介质 |
| CN113673493A (zh) * | 2021-10-22 | 2021-11-19 | 浙江建木智能系统有限公司 | 一种基于工业车辆视觉的行人感知和定位的方法和系统 |
| CN113673493B (zh) * | 2021-10-22 | 2022-02-01 | 浙江建木智能系统有限公司 | 一种基于工业车辆视觉的行人感知和定位的方法和系统 |
| CN113902927A (zh) * | 2021-12-09 | 2022-01-07 | 北京车网科技发展有限公司 | 一种融合了图像与点云信息的综合信息处理方法 |
| CN114627073A (zh) * | 2022-03-14 | 2022-06-14 | 一汽解放汽车有限公司 | 地形识别方法、装置、计算机设备和存储介质 |
| CN114627073B (zh) * | 2022-03-14 | 2024-06-04 | 一汽解放汽车有限公司 | 地形识别方法、装置、计算机设备和存储介质 |
| CN114663526A (zh) * | 2022-03-17 | 2022-06-24 | 深圳市优必选科技股份有限公司 | 障碍物检测方法、装置、机器人及计算机可读存储介质 |
| CN115236674A (zh) * | 2022-06-15 | 2022-10-25 | 北京踏歌智行科技有限公司 | 一种基于4d毫米波雷达的矿区环境感知方法 |
| CN115236674B (zh) * | 2022-06-15 | 2024-06-04 | 北京踏歌智行科技有限公司 | 一种基于4d毫米波雷达的矿区环境感知方法 |
| CN115661366A (zh) * | 2022-12-05 | 2023-01-31 | 蔚来汽车科技(安徽)有限公司 | 用于构建三维场景模型的方法和图像处理装置 |
| CN117975419A (zh) * | 2024-03-29 | 2024-05-03 | 苏州元脑智能科技有限公司 | 障碍物识别方法、装置、设备、存储介质及程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111160302B (zh) | 2024-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111160302B (zh) | 基于自动驾驶环境的障碍物信息识别方法和装置 | |
| CN110163904B (zh) | 对象标注方法、移动控制方法、装置、设备及存储介质 | |
| JP6464337B2 (ja) | シーン解析を使用する交通カメラキャリブレーション更新 | |
| US11556745B2 (en) | System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor | |
| CN113424079A (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
| WO2022016311A1 (zh) | 基于点云的三维重建方法、装置和计算机设备 | |
| CN110879994A (zh) | 基于形状注意力机制的三维目测检测方法、系统、装置 | |
| WO2022099530A1 (zh) | 点云数据运动分割方法、装置、计算机设备和存储介质 | |
| JP2007527569A (ja) | 立体視に基づく差し迫った衝突の検知 | |
| CN114981840A (zh) | 基于点云数据的地面分割方法、装置和计算机设备 | |
| CN114022830A (zh) | 一种目标确定方法以及目标确定装置 | |
| WO2021134285A1 (zh) | 图像跟踪处理方法、装置、计算机设备和存储介质 | |
| CN115917559A (zh) | 轨迹预测方法、装置、计算机设备和存储介质 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| CN111742344A (zh) | 图像语义分割方法、可移动平台及存储介质 | |
| WO2022133770A1 (zh) | 点云法向量的生成方法、装置、计算机设备和存储介质 | |
| CN114708583A (zh) | 目标物的检测方法、装置、设备及存储介质 | |
| JP2007011994A (ja) | 道路認識装置 | |
| WO2022226831A1 (zh) | 未定义类别障碍物的检测方法、装置和计算机设备 | |
| CN113219472A (zh) | 一种测距系统和方法 | |
| CN112578405A (zh) | 一种基于激光雷达点云数据去除地面的方法及系统 | |
| CN113536867A (zh) | 物体识别的方法、装置及系统 | |
| CN112364693B (zh) | 基于双目视觉的障碍识别方法、装置、设备及存储介质 | |
| CN112433193B (zh) | 一种基于多传感器的模位置定位方法及系统 | |
| CN113326715B (zh) | 一种目标关联方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |