CN113269168B - 障碍物数据处理方法、装置、电子设备和计算机可读介质 - Google Patents
障碍物数据处理方法、装置、电子设备和计算机可读介质 Download PDFInfo
- Publication number
- CN113269168B CN113269168B CN202110811438.8A CN202110811438A CN113269168B CN 113269168 B CN113269168 B CN 113269168B CN 202110811438 A CN202110811438 A CN 202110811438A CN 113269168 B CN113269168 B CN 113269168B
- Authority
- CN
- China
- Prior art keywords
- obstacle information
- obstacle
- information set
- target
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 62
- 239000011159 matrix material Substances 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000013136 deep learning model Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012216 screening Methods 0.000 claims description 48
- 238000004422 calculation algorithm Methods 0.000 claims description 32
- 238000005096 rolling process Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 18
- 238000010586 diagram Methods 0.000 description 18
- 240000004050 Pentaglottis sempervirens Species 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
- G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Game Theory and Decision Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Development Economics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开的实施例公开了障碍物数据处理方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括:获取目标车载激光雷达扫描得到的点云数据集合;对点云数据集合中的点云数据进行聚类处理,生成第一障碍物信息集合;根据目标深度学习模型和点云数据集合,生成第二障碍物信息集合;生成障碍物特征距离矩阵;得到第三障碍物信息集合;得到第四障碍物信息集合;得到第五障碍物信息集合;得到合并障碍物信息集合;将合并障碍物信息集合发送至目标终端以供显示。该实施方式提高了障碍物检测的准确率。
Description
技术领域
本公开的实施例涉及计算机技术领域,具体涉及障碍物数据处理方法、装置、电子设备和计算机可读介质。
背景技术
3D障碍物检测是自动驾驶环境感知中的重要一环,对于自动驾驶车辆的行驶安全性有着至关重要的作用。目前,在对障碍物进行检测时,通常采用的方式有:通过单一的聚类算法,对点云数据进行聚类,从而实现对障碍物的检测。
然而,当采用上述方式进行障碍物检测时,经常会存在如下技术问题:
由于不同时刻采集的点云数据的稀疏性和分布不同,采用单一的聚类算法,往往会造成障碍物的类别识别不够精准的情况出现,从而造成障碍物识别准确度不高,进而影响车辆行驶的安全性。
发明内容
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了障碍物数据处理方法、装置、电子设备和计算机可读介质,来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面,本公开的一些实施例提供了一种障碍物数据处理方法,该方法包括:获取目标车载激光雷达扫描得到的点云数据集合;通过目标点云聚类算法,对上述点云数据集合中的点云数据进行聚类处理,以生成第一障碍物信息集合;根据目标深度学习模型和上述点云数据集合,生成第二障碍物信息集合;根据上述第一障碍物信息集合和上述第二障碍物信息集合,生成障碍物特征距离矩阵;根据上述障碍物特征距离矩阵和上述第二障碍物信息集合,对上述第一障碍物信息集合中的第一障碍物信息进行聚类处理,以生成第三障碍物信息集合;根据上述第三障碍物信息集合,从上述第一障碍物信息集合筛选出满足第一筛选条件的第一障碍物信息作为第四障碍物信息,得到第四障碍物信息集合;根据上述第三障碍物信息集合,从上述第二障碍物信息集合筛选出满足第二筛选条件的第二障碍物信息作为第五障碍物信息,得到第五障碍物信息集合;分别将上述第四障碍物信息集合和上述第五障碍物信息集合中的第四障碍物信息和第五障碍物信息,确定为合并障碍物信息,得到合并障碍物信息集合;将上述合并障碍物信息集合发送至目标终端以供显示。
第二方面,本公开的一些实施例提供了一种障碍物数据处理装置,装置包括:获取单元,被配置成获取目标车载激光雷达扫描得到的点云数据集合;第一聚类单元,被配置成通过目标点云聚类算法,对上述点云数据集合中的点云数据进行聚类处理,以生成第一障碍物信息集合;第一生成单元,被配置成根据目标深度学习模型和上述点云数据集合,生成第二障碍物信息集合;第二生成单元,被配置成根据上述第一障碍物信息集合和上述第二障碍物信息集合,生成障碍物特征距离矩阵;第二聚类单元,被配置成根据上述障碍物特征距离矩阵和上述第二障碍物信息集合,对上述第一障碍物信息集合中的第一障碍物信息进行聚类处理,以生成第三障碍物信息集合;第一筛选单元,被配置成根据上述第三障碍物信息集合,从上述第一障碍物信息集合筛选出满足第一筛选条件的第一障碍物信息作为第四障碍物信息,得到第四障碍物信息集合;第二筛选单元,被配置成根据上述第三障碍物信息集合,从上述第二障碍物信息集合筛选出满足第二筛选条件的第二障碍物信息作为第五障碍物信息,得到第五障碍物信息集合;确定单元,被配置成分别将上述第四障碍物信息集合和上述第五障碍物信息集合中的第四障碍物信息和第五障碍物信息,确定为合并障碍物信息,得到合并障碍物信息集合;发送单元,被配置成将上述合并障碍物信息集合发送至目标终端以供显示。
第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
本公开的上述各个实施例中具有如下有益效果:通过本公开的一些实施例的障碍物数据处理方法提高了障碍物检测的准确率。具体来说,造成障碍物检测的准确率不高的原因在于:由于不同时刻采集的点云数据的稀疏性和分布不同,采用单一的聚类算法,往往会造成障碍物的类别识别不够精准的情况出现。基于此,本公开的一些实施例首先,获取目标车载激光雷达扫描得到的点云数据集合。为根据点云数据,确定障碍物信息提供数据支持。其次,通过目标点云聚类算法,对上述点云数据集合中的点云数据进行聚类处理,以生成第一障碍物信息集合。然后,根据目标深度学习模型和上述点云数据集合,生成第二障碍物信息集合。实际情况中,聚类算法对点云数据进行聚类,以生成的障碍物信息,受点云的分布和稀疏性的影响。此外,通过目标深度学习模型生成的障碍物信息,受训练样本的影响。因此通过目标点云聚类算法和目标深度学习模型分别对上述点云数据集合进行障碍物检测,能够互相弥补两种不同障碍物生成方式所存在的问题,从而,相比于采用单一的聚类算法进行障碍物检测,提高障碍物检测的准确率。然后,根据上述第一障碍物信息集合和上述第二障碍物信息集合,生成障碍物特征距离矩阵。实际情况中,不同方式检测得到的障碍物信息集合中可能存在多个障碍物信息对应一个障碍物的情况出现。因此,通过构建障碍物特征距离矩阵,能够很好地确定不同障碍信息之间的相关性,为后续的障碍物信息合并提供合并基础。然后,根据所述障碍物特征距离矩阵和所述第二障碍物信息集合,对所述第一障碍物信息集合中的第一障碍物信息进行聚类处理,以生成第三障碍物信息集合。通过以第二障碍物信息集合中的第二障碍物信息为聚类中心,以障碍物特征距离矩阵为聚类参照,对所述第一障碍物信息集合中的第一障碍物信息进行聚类处理,能够很好地确定第一障碍物信息集合和第二障碍信息集合中,对应相同障碍物的第一障碍物信息和第二障碍物信息。此外,根据上述第三障碍物信息集合,从上述第一障碍物信息集合筛选出满足第一筛选条件的第一障碍物信息作为第四障碍物信息,得到第四障碍物信息集合。通过筛选,能够很好地确定第一障碍物信息集合与第二障碍物集合中,对应不同障碍物的第一障碍物信息。根据上述第三障碍物信息集合,从上述第二障碍物信息集合筛选出满足第二筛选条件的第二障碍物信息作为第五障碍物信息,得到第五障碍物信息集合。通过筛选,能够很好地确定第一障碍物信息集合与第二障碍物集合中,对应相同障碍物的障碍物信息。同时,在实际情况中,由于深度学习模型受训练样本的影响,对于新出现的障碍物,不能够很好地确定对应的障碍物信息。因此需要从第二障碍物集合将异常的障碍物信息进行剔除。再然后,分别将上述第四障碍物信息集合和上述第五障碍物信息集合中的第四障碍物信息和第五障碍物信息,确定为合并障碍物信息,得到合并障碍物信息集合。从而,实现对两种算法的检测结果的融合。进而,提高了障碍物检测的准确率。同时,相对减少了生成的障碍物信息的总量,从而,减少了自动驾驶车辆对路径规划的数据处理量,提高了路径规划速度,以及提高了车辆的避障效率。最后,将上述合并障碍物信息集合发送至目标终端以供显示。以供驾驶员能够清晰的确定车辆周围的障碍物,使得驾驶员能够对自动驾驶车辆规划的路径进行合理的修改,保障了自动驾驶车辆行驶的安全性。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
图1是本公开的一些实施例的障碍物数据处理方法的一个应用场景的示意图;
图2是根据本公开的障碍物数据处理方法的一些实施例的流程图;
图3是根据本公开的障碍物数据处理方法的另一些实施例的流程图;
图4是根据本公开的障碍物数据处理装置的一些实施例的结构示意图;
图5是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1是本公开的一些实施例的障碍物数据处理方法的一个应用场景的示意图。
在图1的应用场景中,首先,计算设备101可以获取目标车载激光雷达扫描得到的点云数据集合102。其次,计算设备101可以通过目标点云聚类算法,对上述点云数据集合102中的点云数据进行聚类处理,以生成第一障碍物信息集合103。其次,计算设备101可以根据目标深度学习模型和上述点云数据集合102,生成第二障碍物信息集合104。然后,计算设备101可以根据上述第一障碍物信息集合103和上述第二障碍物信息集合104,生成障碍物特征距离矩阵105。进一步,计算设备101可以根据上述障碍物特征距离矩阵105和上述第二障碍物信息集合104,对上述第一障碍物信息集合103中的第一障碍物信息进行聚类处理,以生成第三障碍物信息集合106。此外,计算设备101可以根据上述第三障碍物信息集合106,从上述第一障碍物信息集合103筛选出满足第一筛选条件的第一障碍物信息作为第四障碍物信息,得到第四障碍物信息集合107。接着,计算设备101可以根据上述第三障碍物信息集合106,从上述第二障碍物信息集合104筛选出满足第二筛选条件的第二障碍物信息作为第五障碍物信息,得到第五障碍物信息集合108。再然后,计算设备101分别将上述第四障碍物信息集合107和上述第五障碍物信息集合108中的第四障碍物信息和第五障碍物信息,确定为合并障碍物信息,得到合并障碍物信息集合109。最后,计算设备101将上述合并障碍物信息集合109发送至目标终端110以供显示。
需要说明的是,上述计算设备101可以是硬件,也可以是软件。当计算设备为硬件时,可以实现成多个服务器或终端设备组成的分布式集群,也可以实现成单个服务器或单个终端设备。当计算设备体现为软件时,可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解,图1中的计算设备的数目仅仅是示意性的。根据实现需要,可以具有任意数目的计算设备。
继续参考图2,示出了根据本公开的障碍物数据处理方法的一些实施例的流程200。该障碍物数据处理方法,包括以下步骤:
步骤201,获取目标车载激光雷达扫描得到的点云数据集合。
在一些实施例中,障碍物数据处理方法的执行主体(例如图1所示的计算设备101)可以通过有线连接或无线连接的方式,获取上述目标车载激光雷达扫描得到的上述点云数据集合。其中,上述点云数据集合中的点云数据可以包括:点云横坐标,点云纵坐标和点云竖坐标。点云数据包括的点云横坐标、点云纵坐标和点云竖坐标可以是世界坐标系下的坐标。上述世界坐标系可以是以上述车载激光雷达所在位置为坐标原点,以目标车辆车头朝向为纵轴,以垂直纵轴且平行于目标车辆所在地面为横轴,以垂直横轴和纵轴所在平面为竖轴的坐标系。上述目标车载激光雷达可以是安装在目标车辆车顶的激光雷达。上述目标车辆可以是具有自动驾驶功能的车辆。上述目标车载激光雷达可以通过发射激光束,并根据反射回的激光束,以及激光束发射至返回对应的时间段,确定上述点云数据。上述目标车载激光雷达可以发射目标数量的激光束。上述目标数量可以是16,也可以是32。
作为示例,上述点云数据集合中的点云数据可以是(12,22,23)。
步骤202,通过目标点云聚类算法,对点云数据集合中的点云数据进行聚类处理,以生成第一障碍物信息集合。
在一些实施例中,上述执行主体可以通过上述目标点云聚类算法,对上述点云数据集合中的点云数据进行聚类处理,以生成上述第一障碍物信息集合。其中,上述目标点云聚类算法是用于对上述点云数据集合中的点云数据进行聚类处理的算法。上述目标点云聚类算法可以是但不限于以下至少一项:基于模型的聚类算法和基于层次的聚类算法。
步骤203,根据目标深度学习模型和点云数据集合,生成第二障碍物信息集合。
在一些实施例中,上述执行主体可以根据上述目标深度学习模型和上述点云数据集合,生成上述第二障碍物信息集合。其中,上述目标深度学习模型是用于根据上述点云数据集合,生成上述目标车辆围的障碍物对应的障碍物信息的模型。上述目标深度学习模型可以是但不限于以下至少一项:VoxelNet(基于点云的三维空间信息逐层次学习网络)模型和PointPillars(基于点云的快速目标检测)模型。
步骤204,根据第一障碍物信息集合和第二障碍物信息集合,生成障碍物特征距离矩阵。
在一些实施例中,上述执行主体可以根据上述第一障碍物信息集合和上述第二障碍物信息集合,生成上述障碍物特征距离矩阵。其中,上述障碍物特征距离矩阵是由特征距离值构成的矩阵。
上述执行主体,首先可以通过目标距离公式,确定上述第一障碍物信息集合中每个障碍物信息对应的障碍物的中心坐标和上述第二障碍物信息集合中每个障碍物信息对应的障碍物的中心坐标之间的特征距离值,以生成特征距离组,得到特征距离值组集合。然后,将上述特征距离值组集合中的特征距离值,确定为上述特征距离矩阵包括的特征距离值。上述目标距离公式可以是但不限于以下任意一项:欧氏距离计算公式、马氏距离计算公式和巴氏距离计算公式。
作为示例,上述目标距离公式可以是上述欧氏距离计算公式。其中,上述欧式距离计算公式可以是:
其中,表示上述第一障碍物信息集合中的第一障碍物信息对应的横坐标。表示上述第一障碍物信息集合中的第一障碍物信息对应的纵坐标。表示上述第一障碍物信息集合中的第一障碍物信息对应的竖坐标。表示上述第二障碍物信息集合中的第二障碍物信息对应的横坐标。表示上述第二障碍物信息集合中的第二障碍物信息对应的纵坐标。表示上述第二障碍物信息集合中的第二障碍物信息对应的竖坐标。表示的是上述第一障碍物信息和第二障碍物信息对应的坐标之间的距离。
例如,A障碍物信息是第一障碍物信息集合中的第一障碍物信息,A障碍物信息对应的坐标可以是(1,2,3),B障碍物信息是第二障碍物信息集合中的第二障碍物信息,B障碍物信息对应的坐标可以是(3,2,1)。其中(1,2,3)和(3,2,1)两点之间的距离可以是,计算过程如下式:
作为示例,上述第一障碍物信息集合可以是[A障碍物信息,B障碍物信息],上述第二障碍物信息集合可以是[C障碍物信息、D障碍物信息],则上述特征距离矩阵可以表示为:
其中表示上述A障碍物信息和C障碍物信息所对应的特征距离值。表示上述B障碍物信息和C障碍物信息所对应的特征距离值。表示上述A障碍物信息和D障碍物信息所对应的特征距离值。表示上述B障碍物信息和D障碍物信息所对应的特征距离值。
步骤205,根据障碍物特征距离矩阵和第二障碍物信息集合,对第一障碍物信息集合中的第一障碍物信息进行聚类处理,以生成第三障碍物信息集合。
在一些实施例中,上述执行主体可以根据上述特征距离矩阵和上述第二障碍物信息集合对上述第一障碍物信息集合中的第一障碍物信息进行聚类处理的,以生成上述第三障碍物信息集合。其中,上述聚类处理可以是,对于上述特征距离矩阵中小于指定阈值的特征距离值,将上述特征距离值对应第二障碍物信息,确定为第三障碍物信息。例如,上述指定阈值可以为0.1。
作为示例,上述第一障碍物信息集合可以是[A障碍物信息,B障碍物信息],上述第二障碍物信息集合可以是[C障碍物信息、D障碍物信息],特征距离矩阵可以表示为:
其中,表示的是A障碍物信息和C障碍物信息对应的特征距离值为1。表示的是B障碍物信息和C障碍物信息对应的特征距离值为2。表示的是A障碍物信息和D障碍物信息对应的特征距离值为0。表示的是B障碍物信息和D障碍物信息对应的特征距离值为3。小于0.1,则将对应D障碍物信息确定为第三障碍物信息,添加到第三障碍物信息集合中。
步骤206,根据第三障碍物信息集合,从第一障碍物信息集合筛选出满足第一筛选条件的第一障碍物信息作为第四障碍物信息,得到第四障碍物信息集合。
在一些实施例中,上述执行主体可以根据上述第三障碍物信息集合,从第上述一障碍物信息集合筛选出满足第一筛选条件的上述第一障碍物信息作为上述第四障碍物信息,得到上述第四障碍物信息集合,其中,上述第一筛选条件可以是:第四障碍物信息是上述第一障碍物信息集合中的未包含于上述第三障碍物信息集合中的第一障碍物信息。
步骤207,根据第三障碍物信息集合,从第二障碍物信息集合筛选出满足第二筛选条件的第二障碍物信息作为第五障碍物信息,得到第五障碍物信息集合。
在一些实施例中,上述执行主体可以根据上述第三障碍物信息集合,从上述第二障碍物信息集合筛选出满足第二筛选条件的上述第二障碍物信息作为上述第五障碍物信息,得到上述第五障碍物信息集合,其中,上述第二筛选条件可以是:第五障碍物信息是上述第二障碍物信息集合中的包含于上述第三障碍物信息集合中的第二障碍物信息。
步骤208,分别将第四障碍物信息集合和第五障碍物信息集合中的第四障碍物信息和第五障碍物信息,确定为合并障碍物信息,得到合并障碍物信息集合。
在一些实施例中,上述执行主体可以分别将上述第四障碍物信息集合和上述第五障碍物信息集合中的上述第四障碍物信息和上述第五障碍物信息,确定为上述合并障碍物信息,得到上述合并障碍物信息集合。
作为示例,上述第四障碍物信息集合可以是[A障碍物信息,B障碍物信息,C障碍物信息],上述第五障碍物信息集合可以是[D障碍物信息、E障碍物信息、F障碍物信息],则上述合并障碍物信息集合可以是[A障碍物信息、B障碍物信息、C障碍物信息、D障碍物信息、E障碍物信息、F障碍物信息]。
步骤209,将合并障碍物信息集合发送至目标终端以供显示。
在一些实施例中,上述执行主体可以通过有线连接或无线连接的方式将上述合并障碍物信息集合发送至目标终端显示,其中,上述车载显示终端可以是通过有线连接或无线连接的方式与上述执行主体进行通信的显示终端。例如,上述目标终端可以是上述目标车辆所携带的车载目标显示终端。
本公开的上述各个实施例中具有如下有益效果:通过本公开的一些实施例的障碍物数据处理方法提高了障碍物检测的准确率。具体来说,造成障碍物检测的准确率不高的原因在于:由于不同时刻采集的点云数据的稀疏性和分布不同,采用单一的聚类算法,往往会造成障碍物的类别识别不够精准的情况出现。基于此,本公开的一些实施例首先,获取目标车载激光雷达扫描得到的点云数据集合。为根据点云数据,确定障碍物信息提供数据支持。其次,通过目标点云聚类算法,对上述点云数据集合中的点云数据进行聚类处理,以生成第一障碍物信息集合。然后,根据目标深度学习模型和上述点云数据集合,生成第二障碍物信息集合。实际情况中,聚类算法对点云数据进行聚类,以生成的障碍物信息,受点云的分布和稀疏性的影响。此外,通过目标深度学习模型生成的障碍物信息,受训练样本的影响。因此通过目标点云聚类算法和目标深度学习模型分别对上述点云数据集合进行障碍物检测,能够互相弥补两种不同障碍物生成方式所存在的问题,从而,相比于采用单一的聚类算法进行障碍物检测,提高障碍物检测的准确率。然后,根据上述第一障碍物信息集合和上述第二障碍物信息集合,生成障碍物特征距离矩阵。实际情况中,不同方式检测得到的障碍物信息集合中可能存在多个障碍物信息对应一个障碍物的情况出现。因此,通过构建障碍物特征距离矩阵,能够很好地确定不同障碍信息之间的相关性,为后续的障碍物信息合并提供合并基础。然后,根据所述障碍物特征距离矩阵和所述第二障碍物信息集合,对所述第一障碍物信息集合中的第一障碍物信息进行聚类处理,以生成第三障碍物信息集合。通过以第二障碍物信息集合中的第二障碍物信息为聚类中心,以障碍物特征距离矩阵为聚类参照,对所述第一障碍物信息集合中的第一障碍物信息进行聚类处理,能够很好地确定第一障碍物信息集合和第二障碍信息集合中,对应相同障碍物的第一障碍物信息和第二障碍物信息。此外,根据上述第三障碍物信息集合,从上述第一障碍物信息集合筛选出满足第一筛选条件的第一障碍物信息作为第四障碍物信息,得到第四障碍物信息集合。通过筛选,能够很好地确定第一障碍物信息集合与第二障碍物集合中,对应不同障碍物的第一障碍物信息。根据上述第三障碍物信息集合,从上述第二障碍物信息集合筛选出满足第二筛选条件的第二障碍物信息作为第五障碍物信息,得到第五障碍物信息集合。通过筛选,能够很好地确定第一障碍物信息集合与第二障碍物集合中,对应相同障碍物的障碍物信息。同时,在实际情况中,由于深度学习模型受训练样本的影响,对于新出现的障碍物,不能够很好地确定对应的障碍物信息。因此需要从第二障碍物集合将异常的障碍物信息进行剔除。再然后,分别将上述第四障碍物信息集合和上述第五障碍物信息集合中的第四障碍物信息和第五障碍物信息,确定为合并障碍物信息,得到合并障碍物信息集合。从而,实现对两种算法的检测结果的融合。进而,提高了障碍物检测的准确率。同时,相对减少了生成的障碍物信息的总量,从而,减少了自动驾驶车辆对路径规划的数据处理量,提高了路径规划速度,以及提高了车辆的避障效率。最后,将上述合并障碍物信息集合发送至目标终端以供显示。以供驾驶员能够清晰的确定车辆周围的障碍物,使得驾驶员能够对自动驾驶车辆规划的路径进行合理的修改,保障了自动驾驶车辆行驶的安全性。
进一步参考图3,其示出了障碍物数据处理方法的另一些实施例的流程300。该障碍物数据处理的流程300,包括以下步骤:
步骤301,获取目标车载激光雷达扫描得到的点云数据集合。
步骤302,通过目标点云聚类算法,对点云数据集合中的点云数据进行聚类处理,以生成第一障碍物信息集合。
在一些实施例中,步骤301-302的具体实现方式及所带来的技术效果可以参考图2对应的那些实施例中的步骤201-202,在此不再赘述。
步骤303,根据目标深度学习模型和点云数据集合,生成第二障碍物信息集合。
在一些实施例中,上述执行主体根据目标深度学习模型和点云数据集合,生成第二障碍物信息集合,可以包括以下步骤:
第一步,对上述点云数据集合中的点云数据进行坐标映射处理,以生成上述点云数据集合对应的平面图像。
其中,上述目标深度学习模型可以包括:第一卷积块,第二卷积块,第三卷积块,第一反卷积块,第二反卷积块,第三反卷积块,特征拼接层和检测网络。其中,上述检测网络包括:第一子网络,第二子网络和第三子网络。其中,第一子网络包括第一卷积层和第二卷积层。第一卷积层的卷积核为3*3,步长为1。第二卷积层的卷积核为1*1,步长为1。第二子网络包括第三卷积层和第四卷积层。第三卷积层的卷积核为3*3,步长为1。第四卷积层的卷积核为1*1,步长为1。第三子网络包括第五卷积层和第六卷积层,第五卷积层的卷积核为3*3,步长为1。第六卷积层的卷积核为1*1,步长为1。
上述执行主体可以将上述点云数据集合中的每个点云数据投影至目标坐标系中的XoY面。其中,上述目标坐标系是目标世界坐标系。上述目标世界坐标系是以上述车载激光雷达所在位置为坐标原点,以目标车辆车头朝向为纵轴,以垂直纵轴且平行于目标车辆所在地面为横轴的坐标系。其中,上述XoY面是上述目标世界坐标系中的横轴与竖轴所在的平面。
作为示例,上述点云数据集合中的点云数据对应的坐标点可以是(1,2,4)。上述点云数据在上述平面图像中对应的点的坐标可以是(1,2,0)。
第二步,将上述平面图像输入上述第一卷积块以生成第一特征图。
其中,上述第一卷积块包括4个3*3的二维卷积层,步长为1,输出通道数量为64。
第三步,将上述第一特征图输入上述第二卷积块以生成第二特征图。
其中,上述第二卷积块包括6个3*3的二维卷积层,步长为2,输出通道数量为128,
第四步,将上述第二特征图输入上述第三卷积块以生成第三特征图。
其中,上述第三卷积块包括6个3*3的二维卷积层,步长为4,输出通道数量为256。
第五步,分别将上述第一特征图、上述第二特征图和上述第三特征图,输入上述第一反卷积块、上述第二反卷积块和上述第三反卷积块,以生成第四特征图,第五特征图和第六特征图。
其中,上述第一反卷积块包括1个3*3的二维卷积层,步长为1,输出通道数量为128。上述第二反卷积块包括1个3*3的二维卷积层,步长为2,输出通道数量为128。上述第三反卷积块包括1个3*3的二维卷积层,步长为4,输出通道数量为128。
第四步,通过上述特征拼接层,对上述第四特征图、上述第五特征图和上述第六特征图进行特征拼接,以生成拼接特征图。
其中,将上述第四特征图、上述第五特征图和上述第六特征图拼接到一起,生成通道为384的特征拼接图。
第五步,将上述拼接特征图输入上述检测网络,以生成上述第二障碍物信息集合。
步骤304,对于第一障碍物信息集合中的每个第一障碍物信息,确定第一障碍物信息与目标障碍物信息之间的特征距离,以生成特征距离值。
在一些实施例中,上述执行主体对于第一障碍物信息集合中的每个第一障碍物信息,确定第一障碍物信息与目标障碍物信息之间的特征距离,以生成特征距离值。其中,目标障碍物信息是上述第二障碍物信息集合中与上述第一障碍物信息对应的第二障碍物信息。
其中,上述执行主体确定第一障碍物信息与目标障碍物信息之间的特征距离,可以包括以下步骤:
第一步,确定上述第一障碍物信息对应的障碍物和上述目标障碍物信息对应的障碍物之间的空间距离值。
其中,上述执行主体可以通过目标距离公式,确定上述第一障碍物信息集合中每个障碍物信息对应的障碍物的中心坐标和上述第二障碍物信息集合中每个障碍物信息对应的障碍物的中心坐标之间的空间距离值。其中,目标距离公式可以是欧式距离公式。
第二步,确定第一检测框鸟瞰图和第二检测框鸟瞰图的交并比。
其中,上述第一检测框鸟瞰图是上述第一障碍物信息对应的检测框鸟瞰图,上述第二检测框鸟瞰图是上述第二障碍物信息对应的检测框鸟瞰图。上述交并比是第一目标值和第二目标值的比值。上述第一目标值是第一目标子图像对应的面积值。上述第二目标值是第二目标子图像对应的面积值。上述第一目标子图像是上述第一检测框鸟瞰图和上述第二检测框鸟瞰图的共有区域对应的图像。上述第二目标子图像是上述第一检测框鸟瞰图和上述第二检测框鸟瞰图对应的全部区域的图像。
第三步,响应于确定上述交并比大于目标阈值,将上述特征距离值确定为指定距离值。
其中,上述目标阈值可以是0.9。
作为示例,B障碍物信息为第一障碍物信息集合中的障碍物信息,C障碍物信息为第二障碍物信息集合中的障碍物信息,B障碍物信息对应的第一检测框鸟瞰图与C障碍物信息对应的第二检测框鸟瞰图交并比为0.95。响应于B障碍物信息对应的第一检测框鸟瞰图与C障碍物信息对应的第二检测框鸟瞰图的交并比大于上述目标阈值,将障碍物B和障碍物C所对应的特征距离值确定为指定距离值,例如0.1。
第四步,响应于确定上述交并比不大于上述目标阈值,且上述交并比大于0,根据上述空间距离值和上述交并比,生成上述特征距离值。
其中,上述执行主体可以通过以下公式:d=d3d*(1-diou),确定上述特征距离值。其中,d3d表示的是空间距离,diou表示的是交并比,d表示特征距离值。
作为示例,B障碍物信息为第一障碍物信息集合中的障碍物信息,C障碍物信息为第二障碍物信息集合中的障碍物信息,B障碍物信息对应的第一检测框鸟瞰图与C障碍物信息对应的第二检测框鸟瞰图交并比为0.6,B障碍物信息和C障碍物信息的空间距离为1。响应于B障碍物信息对应的第一检测框鸟瞰图与C障碍物信息对应的第二检测框鸟瞰图的交并比不大于上述目标阈值,且上述交并比大于0,根据上述空间距离值和上述交并比,生成上述特征距离值可以是0.4。
第五步,响应于确定上述交并比等于0,将上述空间距离值确定为上述特征距离值。
作为示例,B障碍物信息为第一障碍物信息集合中的障碍物信息,C障碍物信息为第二障碍物信息集合中的障碍物信息,B障碍物信息对应的第一检测框鸟瞰图与C障碍物信息对应的第二检测框鸟瞰图交并比为0,B障碍物信息和C障碍物信息的空间距离为10。响应于B障碍物信息对应的第一检测框鸟瞰图与C障碍物信息对应的第二检测框鸟瞰图的交并比等于0,将上述空间距离值确定为上述特征距离值,则上述特征距离值确定为10。
步骤305,根据得到的特征距离值集合,生成障碍物特征距离矩阵。
在一些实施例中,上述执行主体根据得到的特征距离值集合,生成上述障碍物特征距离矩阵。
作为示例,上述第一障碍物信息集合可以是[A障碍物信息,B障碍物信息],上述第二障碍物信息集合可以是[C障碍物信息,障碍物信息], A障碍物信息和B障碍物信息所生成的特征距离值为1,A障碍物信息和D障碍物信息所生成的特征距离值为0,B障碍物信息和C障碍物信息所生成的特征距离值为2,B障碍物信息和D障碍物信息所生成的特征距离值为3。特征距离矩阵可以表示为
其中,表示的是A障碍物信息和C障碍物信息对应的特征距离值为1。表示的是B障碍物信息和C障碍物信息对应的特征距离值为2。表示的是A障碍物信息和D障碍物信息对应的特征距离值为0。表示的是B障碍物信息和D障碍物信息对应的特征距离值为3。
步骤306,根据障碍物特征距离矩阵和第二障碍物信息集合,对第一障碍物信息集合中的第一障碍物信息进行聚类处理,以生成第三障碍物信息集合。
步骤307,根据第三障碍物信息集合,从第一障碍物信息集合筛选出满足第一筛选条件的第一障碍物信息作为第四障碍物信息,得到第四障碍物信息集合。
步骤308,根据第三障碍物信息集合,从第二障碍物信息集合筛选出满足第二筛选条件的第二障碍物信息作为第五障碍物信息,得到第五障碍物信息集合。
步骤309,分别将第四障碍物信息集合和第五障碍物信息集合中的第四障碍物信息和第五障碍物信息,确定为合并障碍物信息,得到合并障碍物信息集合
步骤310,将合并障碍物信息集合发送至目标终端以供显示。
在一些实施例中,步骤306-310的具体实现方式及所带来的技术效果可以参考图2对应的那些实施例中的步骤205-209,在此不再赘述。
从图3可以看出,与图2对应的一些实施例的描述相比,本公开首先,根据目标深度学习模型和点云数据集合,生成第二障碍物信息集合。其中,上述目标深度学习模型可以包括:第一卷积块,第二卷积块,第三卷积块,第一反卷积块,第二反卷积块,第三反卷积块,特征拼接层和检测网络。在实践中,障碍物检测往往采用基于锚点的检测算法。基于锚点的检测算法往往需要设置较多的锚点。因此,导致在进行障碍物检测时数据的处理量较大,计算时间较长。进一步,导致程序运行的时间较长,占用较多计算资源。同时,计算时间较长往往会影响自动驾驶车辆路径规划的及时性。进而,影响自动驾驶车辆行驶的安全性。因此,采用上述深度学习模型可以简化对障碍物检测步骤,进而缩短深度学习模型进行障碍物检测的时间。此外,实际情况中,不同算法确定的障碍物信息,可能存在不同障碍物信息对应同一个障碍物的情况。因此,需要对同一个障碍物对应不同障碍物信息进行合并。由此,本公开通过确定第一障碍物信息集合中的第一障碍物信息,和上述第一障碍物信息对应的第二障碍物信息对应的两个检测框鸟瞰图的交并比,可以很好地确定上述第一障碍物信息对应的第二障碍物信息之间的关联性。从而,提高了生成的障碍物特征距离矩阵的准确性。进一步,提高了对同一个障碍物对应不同障碍物信息进行合并的准确率。
进一步参考图4,作为对上述各图所示方法的实现,本公开提供了一种障碍物数据处理装置的一些实施例,这些装置实施例与图2所示的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图4所示,一些实施例的障碍物数据处理装置400包括:获取单元401、第一聚类单元402、第一生成单元403、第二生成单元404、第二聚类单元405、第一筛选单元406、第二筛选单元407、确定单元408和发送单元409。其中,获取单元401,被配置成获取目标车载激光雷达扫描得到的点云数据集合;第一聚类单元402,被配置成通过目标点云聚类算法,对上述点云数据集合中的点云数据进行聚类处理,以生成第一障碍物信息集合;第一生成单元403,被配置成根据目标深度学习模型和上述点云数据集合,生成第二障碍物信息集合;第二生成单元404,被配置成根据上述第一障碍物信息集合和上述第二障碍物信息集合,生成障碍物特征距离矩阵;第二聚类单元405,被配置成根据上述障碍物特征距离矩阵和上述第二障碍物信息集合,对上述第一障碍物信息集合中的第一障碍物信息进行聚类处理,以生成第三障碍物信息集合;第一筛选单元406,被配置成根据上述第三障碍物信息集合,从上述第一障碍物信息集合筛选出满足第一筛选条件的第一障碍物信息作为第四障碍物信息,得到第四障碍物信息集合;第二筛选单元407,被配置成根据上述第三障碍物信息集合,从上述第二障碍物信息集合筛选出满足第二筛选条件的第二障碍物信息作为第五障碍物信息,得到第五障碍物信息集合;确定单元408,被配置成分别将上述第四障碍物信息集合和上述第五障碍物信息集合中的第四障碍物信息和第五障碍物信息,确定为合并障碍物信息,得到合并障碍物信息集合;发送单元409,被配置成将上述合并障碍物信息集合发送至目标终端以供显示。
可以理解的是,该装置400中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置400及其中包含的单元,在此不再赘述。
下面参考图5,其示出了适于用来实现本公开的一些实施例的电子设备(如图1所示的计算设备101)500的结构示意图。图5示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图5所示,电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常,以下装置可以连接至I/O接口505:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507;包括例如磁带、硬盘等的存储装置508;以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图5中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置509从网络上被下载和安装,或者从存储装置508被安装,或者从ROM 502被安装。在该计算机程序被处理装置501执行时,执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是,本公开的一些实施例中记载的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取目标车载激光雷达扫描得到的点云数据集合;通过目标点云聚类算法,对上述点云数据集合中的点云数据进行聚类处理,以生成第一障碍物信息集合;根据目标深度学习模型和上述点云数据集合,生成第二障碍物信息集合;根据上述第一障碍物信息集合和上述第二障碍物信息集合,生成障碍物特征距离矩阵;根据上述障碍物特征距离矩阵和上述第二障碍物信息集合,对上述第一障碍物信息集合中的第一障碍物信息进行聚类处理,以生成第三障碍物信息集合;根据上述第三障碍物信息集合,从上述第一障碍物信息集合筛选出满足第一筛选条件的第一障碍物信息作为第四障碍物信息,得到第四障碍物信息集合;根据上述第三障碍物信息集合,从上述第二障碍物信息集合筛选出满足第二筛选条件的第二障碍物信息作为第五障碍物信息,得到第五障碍物信息集合;分别将上述第四障碍物信息集合和上述第五障碍物信息集合中的第四障碍物信息和第五障碍物信息,确定为合并障碍物信息,得到合并障碍物信息集合;将上述合并障碍物信息集合发送至目标终端以供显示。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、第一聚类单元、第一生成单元、第二生成单元、第二聚类单元、第一筛选单元、第二筛选单元、确定单元和发送单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取目标车载激光雷达扫描得到的点云数据集合的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (9)
1.一种障碍物数据处理方法,包括:
获取目标车载激光雷达扫描得到的点云数据集合;
通过目标点云聚类算法,对所述点云数据集合中的点云数据进行聚类处理,以生成第一障碍物信息集合;
根据目标深度学习模型和所述点云数据集合,生成第二障碍物信息集合;
根据所述第一障碍物信息集合和所述第二障碍物信息集合,生成障碍物特征距离矩阵;
根据所述障碍物特征距离矩阵和所述第二障碍物信息集合,对所述第一障碍物信息集合中的第一障碍物信息进行聚类处理,以生成第三障碍物信息集合,其中,聚类处理是通过以第二障碍物信息集合中的第二障碍物信息为聚类中心,以障碍物特征距离矩阵为聚类参照,对所述第一障碍物信息集合中的第一障碍物信息进行聚类处理;
根据所述第三障碍物信息集合,从所述第一障碍物信息集合筛选出满足第一筛选条件的第一障碍物信息作为第四障碍物信息,得到第四障碍物信息集合,其中,所述第一筛选条件是第四障碍物信息是所述第一障碍物信息集合中的未包含于所述第三障碍物信息集合中的第一障碍物信息;
根据所述第三障碍物信息集合,从所述第二障碍物信息集合筛选出满足第二筛选条件的第二障碍物信息作为第五障碍物信息,得到第五障碍物信息集合,其中,所述第二筛选条件是第五障碍物信息是所述第二障碍物信息集合中的包含于所述第三障碍物信息集合中的第二障碍物信息;
分别将所述第四障碍物信息集合和所述第五障碍物信息集合中的第四障碍物信息和第五障碍物信息,确定为合并障碍物信息,得到合并障碍物信息集合;
将所述合并障碍物信息集合发送至目标终端以供显示,其中,所述根据所述第一障碍物信息集合和所述第二障碍物信息集合,生成障碍物特征距离矩阵,包括:
对于所述第一障碍物信息集合中的每个第一障碍物信息,确定所述第一障碍物信息与目标障碍物信息之间的特征距离,以生成特征距离值,其中,所述目标障碍物信息是所述第二障碍物信息集合中与所述第一障碍物信息对应的第二障碍物信息;
根据得到的特征距离值集合,生成所述障碍物特征距离矩阵。
2.根据权利要求1所述的方法,其中,所述确定所述第一障碍物信息与目标障碍物信息之间的特征距离,以生成特征距离值,包括:
确定所述第一障碍物信息对应的障碍物和所述目标障碍物信息对应的障碍物之间的空间距离值;
确定第一检测框鸟瞰图和第二检测框鸟瞰图的交并比,其中,所述第一检测框鸟瞰图是所述第一障碍物信息对应的检测框鸟瞰图,所述第二检测框鸟瞰图是所述第二障碍物信息对应的检测框鸟瞰图。
3.根据权利要求2所述的方法,其中,所述确定所述第一障碍物信息与目标障碍物信息之间的特征距离,以生成特征距离值,还包括:
响应于确定所述交并比大于目标阈值,将所述特征距离值确定为指定距离值。
4.根据权利要求3所述的方法,其中,所述确定所述第一障碍物信息与目标障碍物信息之间的特征距离,以生成特征距离值,还包括:
响应于确定所述交并比不大于所述目标阈值,且所述交并比大于0,根据所述空间距离值和所述交并比,生成所述特征距离值。
5.根据权利要求4所述的方法,其中,所述确定所述第一障碍物信息与目标障碍物信息之间的特征距离,以生成特征距离值,还包括:
响应于确定所述交并比等于0,将所述空间距离值确定为所述特征距离值。
6.根据权利要求1-5之一所述的方法,其中,所述目标深度学习模型包括:第一卷积块,第二卷积块,第三卷积块,第一反卷积块,第二反卷积块,第三反卷积块,特征拼接层和检测网络;
所述根据目标深度学习模型和所述点云数据集合,生成第二障碍物信息集合,包括:
对所述点云数据集合中的点云数据进行坐标映射处理,以生成所述点云数据集合对应的平面图像;
将所述平面图像输入所述第一卷积块以生成第一特征图;
将所述第一特征图输入所述第二卷积块以生成第二特征图;
将所述第二特征图输入所述第三卷积块以生成第三特征图;
分别将所述第一特征图、所述第二特征图和所述第三特征图,输入所述第一反卷积块、所述第二反卷积块和所述第三反卷积块,以生成第四特征图,第五特征图和第六特征图;
通过所述特征拼接层,对所述第四特征图、所述第五特征图和所述第六特征图进行特征拼接,以生成拼接特征图;
将所述拼接特征图输入所述检测网络,以生成所述第二障碍物信息集合。
7.一种障碍物数据处理装置,包括:
获取单元,被配置成获取目标车载激光雷达扫描得到的点云数据集合;
第一聚类单元,被配置成通过目标点云聚类算法,对所述点云数据集合中的点云数据进行聚类处理,以生成第一障碍物信息集合;
第一生成单元,被配置成根据目标深度学习模型和所述点云数据集合,生成第二障碍物信息集合;
第二生成单元,被配置成根据所述第一障碍物信息集合和所述第二障碍物信息集合,生成障碍物特征距离矩阵;
第二聚类单元,被配置成根据所述障碍物特征距离矩阵和所述第二障碍物信息集合,对所述第一障碍物信息集合中的第一障碍物信息进行聚类处理,以生成第三障碍物信息集合,其中,聚类处理是通过以第二障碍物信息集合中的第二障碍物信息为聚类中心,以障碍物特征距离矩阵为聚类参照,对所述第一障碍物信息集合中的第一障碍物信息进行聚类处理;
第一筛选单元,被配置成根据所述第三障碍物信息集合,从所述第一障碍物信息集合筛选出满足第一筛选条件的第一障碍物信息作为第四障碍物信息,得到第四障碍物信息集合,其中,所述第一筛选条件是第四障碍物信息是所述第一障碍物信息集合中的未包含于所述第三障碍物信息集合中的第一障碍物信息;
第二筛选单元,被配置成根据所述第三障碍物信息集合,从所述第二障碍物信息集合筛选出满足第二筛选条件的第二障碍物信息作为第五障碍物信息,得到第五障碍物信息集合,其中,所述第二筛选条件是第五障碍物信息是所述第二障碍物信息集合中的包含于所述第三障碍物信息集合中的第二障碍物信息;
确定单元,被配置成分别将所述第四障碍物信息集合和所述第五障碍物信息集合中的第四障碍物信息和第五障碍物信息,确定为合并障碍物信息,得到合并障碍物信息集合;
发送单元,被配置成将所述合并障碍物信息集合发送至目标终端以供显示,其中,所述根据所述第一障碍物信息集合和所述第二障碍物信息集合,生成障碍物特征距离矩阵,包括:
对于所述第一障碍物信息集合中的每个第一障碍物信息,确定所述第一障碍物信息与目标障碍物信息之间的特征距离,以生成特征距离值,其中,所述目标障碍物信息是所述第二障碍物信息集合中与所述第一障碍物信息对应的第二障碍物信息;
根据得到的特征距离值集合,生成所述障碍物特征距离矩阵。
8.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1至6中任一所述的方法。
9.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1至6中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110811438.8A CN113269168B (zh) | 2021-07-19 | 2021-07-19 | 障碍物数据处理方法、装置、电子设备和计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110811438.8A CN113269168B (zh) | 2021-07-19 | 2021-07-19 | 障碍物数据处理方法、装置、电子设备和计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113269168A CN113269168A (zh) | 2021-08-17 |
CN113269168B true CN113269168B (zh) | 2021-10-15 |
Family
ID=77236925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110811438.8A Active CN113269168B (zh) | 2021-07-19 | 2021-07-19 | 障碍物数据处理方法、装置、电子设备和计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113269168B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113469159B (zh) * | 2021-09-06 | 2021-12-07 | 禾多科技(北京)有限公司 | 障碍物信息生成方法、装置、电子设备和计算机可读介质 |
CN114359707A (zh) * | 2021-12-03 | 2022-04-15 | 广州极飞科技股份有限公司 | 障碍物的识别方法及其识别装置、用户终端和无人设备 |
CN117011827A (zh) * | 2023-07-11 | 2023-11-07 | 禾多科技(北京)有限公司 | 障碍物纵向距离检测方法、装置、设备和计算机可读介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111160302A (zh) * | 2019-12-31 | 2020-05-15 | 深圳一清创新科技有限公司 | 基于自动驾驶环境的障碍物信息识别方法和装置 |
CN111583337A (zh) * | 2020-04-25 | 2020-08-25 | 华南理工大学 | 一种基于多传感器融合的全方位障碍物检测方法 |
CN112347999A (zh) * | 2021-01-07 | 2021-02-09 | 深圳市速腾聚创科技有限公司 | 障碍物识别模型训练方法、障碍物识别方法、装置及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106951847B (zh) * | 2017-03-13 | 2020-09-29 | 百度在线网络技术(北京)有限公司 | 障碍物检测方法、装置、设备及存储介质 |
-
2021
- 2021-07-19 CN CN202110811438.8A patent/CN113269168B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111160302A (zh) * | 2019-12-31 | 2020-05-15 | 深圳一清创新科技有限公司 | 基于自动驾驶环境的障碍物信息识别方法和装置 |
CN111583337A (zh) * | 2020-04-25 | 2020-08-25 | 华南理工大学 | 一种基于多传感器融合的全方位障碍物检测方法 |
CN112347999A (zh) * | 2021-01-07 | 2021-02-09 | 深圳市速腾聚创科技有限公司 | 障碍物识别模型训练方法、障碍物识别方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113269168A (zh) | 2021-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113269168B (zh) | 障碍物数据处理方法、装置、电子设备和计算机可读介质 | |
CN112598762B (zh) | 三维车道线信息生成方法、装置、电子设备和介质 | |
CN111859597B (zh) | 一种自动驾驶算法的评估方法和系统 | |
CN107941226B (zh) | 用于生成车辆的方向引导线的方法和装置 | |
CN113255619B (zh) | 车道线识别及定位方法、电子设备和计算机可读介质 | |
CN114399588B (zh) | 三维车道线生成方法、装置、电子设备和计算机可读介质 | |
CN114993328B (zh) | 车辆定位评估方法、装置、设备和计算机可读介质 | |
CN115326099A (zh) | 局部路径规划方法、装置、电子设备和计算机可读介质 | |
CN113190613A (zh) | 车辆路线信息显示方法、装置、电子设备和可读介质 | |
CN114550116A (zh) | 一种对象识别方法和装置 | |
CN110321854B (zh) | 用于检测目标对象的方法和装置 | |
CN112622923B (zh) | 用于控制车辆的方法和装置 | |
CN115817463A (zh) | 车辆避障方法、装置、电子设备和计算机可读介质 | |
CN112232451B (zh) | 多传感器数据融合方法、装置、电子设备和介质 | |
CN113673446A (zh) | 图像识别方法、装置、电子设备和计算机可读介质 | |
CN111965383B (zh) | 车速信息生成方法、装置、电子设备和计算可读介质 | |
CN116563818A (zh) | 障碍物信息生成方法、装置、电子设备和计算机可读介质 | |
CN114724116B (zh) | 车辆通行信息生成方法、装置、设备和计算机可读介质 | |
CN110634159A (zh) | 一种目标检测方法和装置 | |
CN111383337B (zh) | 用于识别对象的方法和装置 | |
CN110136181B (zh) | 用于生成信息的方法和装置 | |
CN110120075B (zh) | 用于处理信息的方法和装置 | |
CN113568997A (zh) | 点云地图更新方法、装置、电子设备和计算机可读介质 | |
CN118096558B (zh) | 沿布图生成方法、装置、电子设备和计算机可读介质 | |
CN111461982B (zh) | 用于拼接点云的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |