CN117496165A - 雨雪噪点过滤方法、装置、电子设备及存储介质 - Google Patents
雨雪噪点过滤方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117496165A CN117496165A CN202410004088.8A CN202410004088A CN117496165A CN 117496165 A CN117496165 A CN 117496165A CN 202410004088 A CN202410004088 A CN 202410004088A CN 117496165 A CN117496165 A CN 117496165A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- dimensional point
- points
- target
- point set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000001914 filtration Methods 0.000 title claims abstract description 55
- 238000013507 mapping Methods 0.000 claims abstract description 48
- 238000013145 classification model Methods 0.000 claims abstract description 25
- 238000009826 distribution Methods 0.000 claims description 39
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 29
- 238000002310 reflectometry Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 15
- 238000007689 inspection Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000009827 uniform distribution Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 241000533950 Leucojum Species 0.000 description 5
- 230000000750 progressive effect Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种雨雪噪点过滤方法、装置、电子设备及存储介质。通过确定并过滤原始三维点云中的地面点,获得第一三维点云;对第一三维点云进行鸟瞰视角投影,获得二维鸟瞰视角图像,并对二维鸟瞰视角图像进行栅格离散化和二值化,获得鸟瞰视角二值图像和目标栅格与三维点之间的映射关系;对目标栅格进行聚类获得各个目标栅格集合,并基于映射关系确定每个目标栅格集合对应的三维点集合以及对应的暗度、均匀度、线性度和稀疏度;基于预设分类模型、暗度、均匀度、线性度和稀疏度,确定属于雨雪噪点集合的目标三维点集合;将第一三维点云中的目标三维点集合中的三维点进行过滤,获得过滤雨雪噪点后的第二三维点云,从而实现雨雪噪点的准确过滤。
Description
技术领域
本发明涉及自动驾驶技术领域,尤其涉及一种雨雪噪点过滤方法、装置、电子设备及存储介质。
背景技术
在自动驾驶车辆行驶过程中,会利用激光雷达提供安全可靠的距离感知。但是在雨天或雪天等极端天气条件下,空气中的雨滴或雪花会被激光雷达发射的激光束扫描后也会返回点云,形成噪声点云聚类。这些噪声点云聚类会被感知模块错误检测为障碍物,从而造成自动驾驶车辆的规划与控制模块的错误决策。例如,将噪声点云聚类视为障碍物会使得自动驾驶汽车突然减速或停车,甚至无法启动。
发明内容
本发明提供了一种雨雪噪点过滤方法、装置、电子设备及存储介质,以解决将雨雪噪点视为障碍物导致的车辆无法正常行驶的问题。
根据本发明的一方面,提供了一种雨雪噪点过滤方法,该方法包括:
获取车辆前方区域对应的原始三维点云;
确定并过滤原始三维点云中的地面点,获得过滤地面点后的第一三维点云;
对第一三维点云进行鸟瞰视角投影,获得二维鸟瞰视角图像,并对二维鸟瞰视角图像进行栅格离散化和二值化,获得鸟瞰视角二值图像和鸟瞰视角二值图像中存在投影点的目标栅格与三维点之间的映射关系;
对鸟瞰视角二值图像中的目标栅格进行聚类,获得聚类后的各个目标栅格集合,并基于目标栅格与三维点之间的映射关系,确定每个目标栅格集合对应的三维点集合;
确定每个三维点集合对应的暗度、均匀度、线性度和稀疏度;
基于预设分类模型以及每个三维点集合对应的暗度、均匀度、线性度和稀疏度,确定属于雨雪噪点集合的目标三维点集合;
将第一三维点云中的目标三维点集合中的三维点进行过滤,获得过滤雨雪噪点后的第二三维点云。
根据本发明的另一方面,提供了一种雨雪噪点过滤装置,该装置包括:
原始三维点云获取模块,用于获取车辆前方区域对应的原始三维点云;
第一三维点云获取模块,用于确定并过滤原始三维点云中的地面点,获得过滤地面点后的第一三维点云;
映射关系确定模块,用于对第一三维点云进行鸟瞰视角投影,获得二维鸟瞰视角图像,并对二维鸟瞰视角图像进行栅格离散化和二值化,获得鸟瞰视角二值图像和鸟瞰视角二值图像中存在投影点的目标栅格与三维点之间的映射关系;
三维点集合确定模块,用于对鸟瞰视角二值图像中的目标栅格进行聚类,获得聚类后的各个目标栅格集合,并基于目标栅格与三维点之间的映射关系,确定每个目标栅格集合对应的三维点集合;
特征确定模块,用于确定每个三维点集合对应的暗度、均匀度、线性度和稀疏度;
目标三维点集合确定模块,用于基于预设分类模型以及每个三维点集合对应的暗度、均匀度、线性度和稀疏度,确定属于雨雪噪点集合的目标三维点集合;
第二三维点云确定模块,用于将第一三维点云中的目标三维点集合中的三维点进行过滤,获得过滤雨雪噪点后的第二三维点云。
根据本发明的另一方面,提供了一种电子设备,电子设备包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行本发明任一实施例的雨雪噪点过滤方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令用于使处理器执行时实现本发明任一实施例的雨雪噪点过滤方法。
本发明实施例的技术方案,通过获取车辆前方区域对应的原始三维点云;确定并过滤原始三维点云中的地面点,获得过滤地面点后的第一三维点云;对第一三维点云进行鸟瞰视角投影,获得二维鸟瞰视角图像,并对二维鸟瞰视角图像进行栅格离散化和二值化,获得鸟瞰视角二值图像和鸟瞰视角二值图像中存在投影点的目标栅格与三维点之间的映射关系;进一步的,对鸟瞰视角二值图像中的目标栅格进行聚类,获得聚类后的各个目标栅格集合,并基于目标栅格与三维点之间的映射关系,确定每个目标栅格集合对应的三维点集合;确定每个三维点集合对应的暗度、均匀度、线性度和稀疏度;进一步的,基于预设分类模型以及每个三维点集合对应的暗度、均匀度、线性度和稀疏度,确定属于雨雪噪点集合的目标三维点集合;将第一三维点云中的目标三维点集合中的三维点进行过滤,获得过滤雨雪噪点后的第二三维点云,从而实现了雨雪噪点的准确过滤,解决了将雨雪噪点视为障碍物导致车辆无法正常行驶的问题,保证车辆在特定环境条件下可以正常行驶。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例提供的一种雨雪噪点过滤方法的流程图;
图2是根据本发明实施例提供的雨雪噪点过滤方法的示例图;
图3是根据本发明实施例提供的一种雨雪噪点过滤方法的流程图;
图4是根据本发明实施例提供的雨雪噪点集合的空间分布直方图;
图5是根据本发明实施例提供的真实物体对应的三维点集合的空间分布直方图;
图6是根据本发明实施例提供的卡方分布概率密度曲线;
图7是根据本发明实施例提供的三维点集合对应的示例图;
图8是根据本发明实施例提供的向第一主成分方向投影的示例图;
图9是根据本发明实施例提供的二维投影视图的示例图;
图10是根据本发明实施例提供的行人对应的三维点集合对应的投影二值图像;
图11是根据本发明实施例提供的雨雪噪点集合对应的投影二值图像;
图12是根据本发明实施例提供的孤立目标栅格的示例图;
图13是根据本发明实施例提供的y、z坐标轴对应的视图;
图14是根据本发明实施例提供的一种雨雪噪点过滤装置的结构图;
图15是实现本发明实施例的雨雪噪点过滤方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供了一种雨雪噪点过滤方法的流程图,本实施例可适用于在雨雪天等特定环境条件下利用本实施例提供的技术方案对雨雪噪点进行过滤以保证自动驾驶汽车可以正常行驶的情况,该方法可以由雨雪噪点过滤装置来执行,该雨雪噪点过滤装置可以采用硬件和/或软件的形式实现,该雨雪噪点过滤装置可配置于手机、计算机或者服务器等的电子设备中。如图1所示,该方法包括:
S110、获取车辆前方区域对应的原始三维点云。
在自动驾驶车辆行驶过程中,可以利用激光雷达等传感器获取点云数据,其中,激光雷达可以是旋转式激光雷达和全固态激光雷达等,本实施例对激光雷达的种类不进行限制。原始三维点云可以是基于传感器获取到的车辆前方区域的点云数据。对于车辆前方区域可以是根据实际需求设定的前方区域。可选的,车辆前方区域可以是整个前方区域也可以是划定的ROI区域(Region of Interest,感兴趣区域)。
具体的,在车辆行驶过程中,利用激光雷达等传感器获取车辆前方区域对应的点云数据,即原始三维点云。其中,车辆前方区域可以是整个前方区域也可以是划定的ROI区域。另外,由于车辆前方区域对应的点云数据中可能会包括道路之外的建筑物、植被等非交通参与者类别,这些类别的点云数据不参与后续对点云数据对应的物体进行检测和跟踪感知任务。为了减少后续处理步骤的处理点云数据的数量,提高噪点过滤效率,可以在车辆前方划定一个长方体区域作为ROI区域,获取该区域内的点云数据作为原始三维点云。
S120、确定并过滤原始三维点云中的地面点,获得过滤地面点后的第一三维点云。
在本发明实施例中,地面点可以是在原始三维点云中明显位于地面或接近地面的点云。例如,可以将原始三维点云中高度贴近车辆底盘平面的点云作为地面点。第一三维点云可以是原始三维点云去除地面点之后的点云数据。
具体的,可以基于车辆前方区域对应的俯视图进行划分,将其划分为若干矩形区域,使得每个矩形区域近似为平面,进一步的,可以将每个矩形区域划分为细小的栅格。选取小栅格中高度贴近车辆底盘的原始三维点云数据作为候选地面点云集合。其中,可以根据实际需要设置相应的高度阈值,当贴近车辆底盘的原始点云数据对应的高度在高度阈值范围内,可以将其作为候选地面点云集合。在划分的每个矩形区域内,对候选地面点集合进行平面拟合,其中,可以利用RANSAC算法(Random Sample Consensus,随机抽样一致性算法)进行平面拟合,以获得车辆前方区域对应的原始三维点云中的地面点。进一步的,可以从原始三维点云中过滤地面点,以获得第一三维点云。相应的,若原始三维点云为ROI区域内的点云数据,则第一三维点云则对应于ROI区域内去除地面点的点云数据。
示例性的,如图2所示,图2为雨雪噪点过滤方法的示例图。即在图2中,3D原始点云对应于原始三维点云,则对3D原始点云进行地面拟合,即对3D原始点云中的地面点进行平面拟合,以从3D原始点云中去除地面点,获得去除地面点后的点云数据,其中,还可以将去除地面点后的点云数据进行ROI处理,确定ROI区域对应的点云,即去除地面点的ROI区域的点云数据,即上述提及的第一三维点云。
S130、对第一三维点云进行鸟瞰视角投影,获得二维鸟瞰视角图像,并对二维鸟瞰视角图像进行栅格离散化和二值化,获得鸟瞰视角二值图像和鸟瞰视角二值图像中存在投影点的目标栅格与三维点之间的映射关系。
在本发明实施例中,鸟瞰视角投影可以理解为是一种从高处俯瞰的透视投影方式。可选的,可以利用BEV(Bird's Eye View)视图实现鸟瞰视角投影。在进行上述投影后获得的图像即为二维鸟瞰视角图像。栅格离散化可以理解为将二维鸟瞰视角图像中的每个像素点的值离散化为一系列的整数值。二值化可以是将栅格离散化的二维鸟瞰视角图像进行二值化处理,将每个像素点的值限制在0和1之间。在二值化后获得的图像即为鸟瞰视角二值图像。需要说明的是,此处的栅格对应于像素。目标栅格可以是在鸟瞰视角二值图像中的栅格中存在像素点的栅格。三维点可以是基于激光雷达等传感器获取的点云数据。另外,在上述过程中,投影前的第一三维点云中的每个点云数据对应于鸟瞰视角二值图像中的投影点。
具体的,在获得第一三维点云后,可以将第一三维点云向BEV视图内投影,即进行鸟瞰视角投影,获得二维鸟瞰视角图像。之后,为方便后续处理,将二维鸟瞰视角图像进行栅格离散化和二值化。相应的,可以是按一定的步长进行离散,将被点云数据对应的投影点占据的栅格设置为1,没有被投影点占据的栅格设置为0,从而获得鸟瞰视角二值图像。另外,可以将鸟瞰视角二值图像中存在投影点的栅格作为目标栅格,将目标栅格和基于激光雷达等传感器获取的点云数据建立映射关系。其中,基于激光雷达等传感器获取的点云数据即为第一三维点云中的点云数据。
示例性的,结合上述示例,如图2所示,在获得ROI点云,即第一三维点云后,将ROI点云,也就是图2中的3D点云投影至BEV视图中,并离散坐标轴以实现栅格离散化。进一步的,将被投影点占据的栅格设置为1,没有被投影点占据的栅格设置为0,从而获得BEV二值占据图像,即鸟瞰视角二值图像。同时,利用哈希函数,如HashMap,建立每个占据栅格的索引,即目标栅格的索引。同时,将上述索引映射到占据该栅格的激光雷达点的索引集合,以建立占据栅格和三维点之间的映射关系。其中,激光雷达点即为三维点。
S140、对鸟瞰视角二值图像中的目标栅格进行聚类,获得聚类后的各个目标栅格集合,并基于目标栅格与三维点之间的映射关系,确定每个目标栅格集合对应的三维点集合。
在本发明实施例中,目标栅格集合可以是对存在投影点的目标栅格进行距离处理后获得的多个目标栅格,将这多个目标栅格作为目标栅格集合。三维点集合可以理解为与目标栅格集合中的所有目标栅格对应的多个三维点的集合。
具体的,由于在第一三维点云中的点云数据中可能存在相邻的点云数据,则其投影获得的鸟瞰视角二值图像中,三维点对应的目标栅格也相邻。因而,对鸟瞰视角二值图像中的目标栅格利用相关的聚类算法进行聚类,以获得聚类后的各个目标栅格集合。可选的,聚类算法可以是二值图聚类算法,也可以是其他聚类算法,本实施例对此不做限制。同时,根据目标栅格和三维点的映射关系,获得每个目标栅格集合对应的三维点聚合,其中,这些三维点集合可能是真实物体对应的点云数据的索引集合,也可能是雨雪噪点对应的点云数据的索引集合。
示例性的,结合上述示例,在获得BEV二值占据图像后,利用二值图聚类算法对BEV二值占据图像的占据栅格进行聚类,并根据占据栅格和三维点之间的映射关系,确定每个聚类对应的三维点的索引集合,即图2中的BEV聚类集合,相应的,就是上述提及的三维点集合。
S150、确定每个三维点集合对应的暗度、均匀度、线性度和稀疏度。
在本发明实施例中,暗度可以用于表征三维点集合对应的反射率。均匀度可以用以表征三维点集合中的三维点空间分布的均匀程度。线性度可以用于表征三维点集合对应的直线特征。稀疏度可以用于表征三维点集合中的三维点的稀疏程度。
具体的,在获得三维点集合后,可以对每个三维点集合进行暗度特征、均匀度特征、线性度特征以及稀疏度特征进行计算,以便后续基于计算获得的上述四个特征,判断三维点集合中的三维点是否为雨雪噪点。
S160、基于预设分类模型以及每个三维点集合对应的暗度、均匀度、线性度和稀疏度,确定属于雨雪噪点集合的目标三维点集合。
在本发明实施例中,预设分类模型可以是根据实际需求选择的分类器模型。利用预设分类模型可以判断三维点集合是否为雨雪噪点集合。可选的,预设分类模型可以是SVM(Support Vector Machine,支持向量机)、MLP (Multilayer Perceptrons,多层感知机)和决策树等。另外,当三维点集合中的三维点为雨雪噪点时,则该三维点集合为雨雪噪点集合。同时,将雨雪噪点集合记为目标三维点集合。
具体的,在获得每个三维点集合对应的暗度、均匀度、线性度和稀疏度这四个特征后,可以将上述四个特征组成一个四维特征向量,之后可以利用预设分类模型判断每个三维点集合是否为雨雪噪点集合,若是,则将其作为目标三维点集合。
其中,在利用预设分类模型对四维特征向量进行判断时,可以将其看成一个二分类问题。相应的,可以利用机器学习中的SVM、MLP和决策树等进行判断,并将其输出设置为三维点集合是否为雨雪噪点集合。另外,对于预设分类模型在利用其进行判断时,需要事先对预设分类模型进行训练。则,可以采集一定数量的晴天和雨雪天气条件下对应的点云数据,并经过上述步骤处理获得对应的四维特征向量。并设置标签0或1,其中,0代表真实物体对应的三维点集合,1代表雨雪噪点集合。基于此,获得训练数据集。利用该训练数据集对预设分类模型进行训练,若预设分类模型为SVM时,需要使用高斯核,并涉及指数运算,推理耗时较高。若预设分类模型为MLP时,该模型为黑盒模型,缺乏可解释性。若预设分类模型为决策树时,其对应的时间和空间复杂度均为常数,可以实现对雨雪噪点集合的实时判断。进一步的,可以将训练好的预设分类模型部署在车辆的车载嵌入平台,以便车辆在行驶过程中,根据预设分类模型对接收到的点云数据进行判断,并输出雨雪噪点集合。
S170、将第一三维点云中的目标三维点集合中的三维点进行过滤,获得过滤雨雪噪点后的第二三维点云。
在本发明实施例中,第二三维点云可以理解为将第一三维点云中的雨雪噪点过滤去除后获得的点云数据。
具体的,在获得雨雪噪点集合,即目标三维点集合后,可以将第一三维点云中的目标三维点云集合对应的雨雪噪点进行过滤,以获得第二三维点云数据。
本发明实施例的技术方案,通过获取车辆前方区域对应的原始三维点云;确定并过滤原始三维点云中的地面点,获得过滤地面点后的第一三维点云;对第一三维点云进行鸟瞰视角投影,获得二维鸟瞰视角图像,并对二维鸟瞰视角图像进行栅格离散化和二值化,获得鸟瞰视角二值图像和鸟瞰视角二值图像中存在投影点的目标栅格与三维点之间的映射关系;进一步的,对鸟瞰视角二值图像中的目标栅格进行聚类,获得聚类后的各个目标栅格集合,并基于目标栅格与三维点之间的映射关系,确定每个目标栅格集合对应的三维点集合;确定每个三维点集合对应的暗度、均匀度、线性度和稀疏度;进一步的,基于预设分类模型以及每个三维点集合对应的暗度、均匀度、线性度和稀疏度,确定属于雨雪噪点集合的目标三维点集合;将第一三维点云中的目标三维点集合中的三维点进行过滤,获得过滤雨雪噪点后的第二三维点云,从而实现了雨雪噪点的准确过滤,解决了将雨雪噪点视为障碍物导致车辆无法正常行驶的问题,保证车辆在特定环境条件下可以正常行驶。
实施例二
图3为本发明实施例二提供的一种雨雪噪点过滤方法的流程图,本实施例基于上述实施例提供的一种优选实施例。其具体的实施方式可以参见本实施例技术方案。其中,与上述实施例相同或者相应的技术术语在此不再赘述。如图3所示,该方法包括:
S210、获取车辆前方区域对应的原始三维点云。
S220、确定并过滤原始三维点云中的地面点,获得过滤地面点后的第一三维点云。
S230、对第一三维点云进行鸟瞰视角投影,获得二维鸟瞰视角图像。
S240、对二维鸟瞰视角图像进行栅格离散化,获得鸟瞰视角栅格图像。
在本发明实施例中,鸟瞰视角栅格图像可以是将二维鸟瞰视角图像进行栅格离散后获得的图像。
具体的,对第一三维点云进行鸟瞰视角投影获得二维鸟瞰视角图像,之后可以选择合适的栅格大小和步长,对二维鸟瞰视角图像进行离散化,从而获得鸟瞰视角栅格图像。
S250、基于鸟瞰视角栅格图像中每个栅格内是否存在三维点的投影点,对鸟瞰视角栅格图像进行二值化,获得鸟瞰视角二值图像,并建立鸟瞰视角二值图像中存在投影点的目标栅格与三维点之间的映射关系。
具体的,在获得鸟瞰视角栅格图像后,对每个栅格内是否存在三维点的投影点进行判断,同时对鸟瞰视角栅格图像进行二值化。其中,若存在投影点,则可以将目标栅格设置为1;若不存在投影点,则可以将没有投影点的栅格设置为0,基于此,获得鸟瞰视角二值图像。另外,在完成二值化后,可以将目标栅格和基于激光雷达等传感器获取的点云数据,即三维点建立映射关系,以便利用映射关系和鸟瞰视角二值图像进行后续图像分析处理。
S260、对鸟瞰视角二值图像中的目标栅格进行聚类,获得聚类后的各个目标栅格集合,并基于目标栅格与三维点之间的映射关系,确定每个目标栅格集合对应的三维点集合。
S270、确定每个三维点集合对应的暗度、均匀度、线性度和稀疏度。
可选的,确定每个三维点集合对应的暗度,包括:针对每个三维点集合而言,对该三维点集合中每个三维点的反射率进行归一化并映射到预设灰度值范围内,获得每个三维点对应的灰度值;基于灰度值小于预设灰度值的三维点数量和该三维点集合对应的三维点总数量,确定该三维点集合对应的暗度。
在本发明实施例中,反射率可以是相应物体在接收到激光雷达发出的激光辐射后,反射出去的部分所占的比例。在利用激光雷达获取点云数据时,同时可以获得对应点云数据的反射率,即三维点的反射率。预设灰度值范围可以是根据实际需求设定的灰度值范围,例如,预设灰度值范围可以是0~255。其中,对于真实物体与雨雪噪点对应的三维点的反射率是不同的,因而,可以根据实际需要设置预设灰度值,以此区分真实物体与雨雪噪点。
具体的,可以对三维点集合中的每个三维点的反射率进行归一化处理并映射到预设灰度值范围中,获得每个三维点对应的灰度值,以实现对反射率的可视化。其中,对于真实物体对应的三维点集合中,其三维点的灰度值相比于雨雪噪点集合中三维点的灰度值会较高,因而,可以设置预设灰度值,以此计算每个三维点集合中,灰度值小于预设灰度值的三维点数量与该三维点集合对应的三维点总数量,从而确定该三维点集合对应的暗度。需要说明的是,对于雨雪噪点集合,其对应的暗度值比真实物体的三维点集合对应的暗度值高。
示例性的,结合上述示例,如图2所示,在获得BEV聚类集合,即三维点集合后,可以计算其对应的暗度。在利用激光雷达获得点云数据时,还会获得相应的点云数据的反射率,即三维点的反射率。通过分析真实物体对应的三维点集合中每个三维点的反射率与雨雪噪点集合中三维点的反射率分布,可知,雨雪噪点集合中三维点的反射率往往较低,而真实物体对应的三维点集合中每个三维点的反射率相对较高。由于反射率通常是0~1之间的实数,为方便分析,可以将反射率归一并离散映射到整数0~255,即映射到预设灰度值范围。对于雨雪噪点集合中99%的三维点对应的反射率低于5(5为预设灰度值),而真实物体对应的三维点集合中的三维点的反射率远低于99%。因而,可以根据反射率对应的灰度值对三维点集合进行可视化。则,根据上述处理可知,雨雪噪点集合比真实物体对应的三维点集合会显得暗一些。进一步的,可以计算灰度值低于5的三维点数量占该三维点集合中三维点总数量的比例,即为该三维点集合的暗度。对于暗度的取值范围可以是0~1。相应的,可知,雨雪噪点集合对应的暗度值较高,真实物体的三维点集合对应的暗度值低。
可选的,确定每个三维点集合对应的均匀度,包括:针对每个三维点集合而言,对该三维点集合进行体素化,并确定存在三维点的目标体素;基于每个目标体素内的三维点数量进行卡方分布检验,确定该三维点集合对应的均匀度。
在本发明实施例中,体素化可以理解为三维空间划分为一系列相连的、不重叠的、固定大小的网格单元,称为体素。在体素化过程中,三维点集合中的每个三维点会被分配到相应的体素中,每个体素中可能包含一个或多个三维点。若在该体素中存在至少一个三维点,则认为该体素为目标体素。卡方分布检验可以是用于检验三维点集合对应的所有目标体素中的三维点数量分布是否均匀。
具体的,对于根据激光雷达获得的点云数据,会具有随着距离增加而逐渐变稀疏的特征。例如,对于沿着激光雷达发射方向有一定延伸的致密表面物体,如轿车和卡车等,其对应的三维点集合具有“近端稠密,远端稀疏”的特征,而对于雨滴和雪花,其在空间中分布相对随机,导致雨滴与雨滴、雪花与雪花之间的距离相对随机,因而,其对应的雨雪噪点集合不具有明显的“近端稠密,远端稀疏”的特征。可以理解为,雨雪噪点集合对应的三维点在三维空间内的分布相对真实物体的三维点集合中的三维点更加均匀。因而,可以对每个三维点集合进行体素化,确定存在三维点的目标体素。相应的,对于雨雪噪点集合体素化后,其目标体素内的三维点的数量会因为空间分布的均匀性而比较接近。例如,如图4和图5所示,图4为雨雪噪点集合的空间分布直方图。横坐标表示目标体素对应的索引,即图4中的占据体素索引。纵坐标表示目标体素中的三维点数量,即图4中的占据点数。相应的,图5为真实物体对应的三维点集合的空间分布直方图。根据直方图可知,雨雪噪点集合的空间分布更倾向于服从均匀分布,而真实物体对应的三维点集合的空间分布不服从于均匀分布。因此,可以对每个目标体素内的三维点数量进行卡方分布检验,以实现对每个三维点集合的均匀性进行检验。
可选的,基于每个目标体素内的三维点数量进行卡方分布检验,确定该三维点集合对应的均匀度,包括:基于每个目标体素内的三维点数量和目标体素数量,确定卡方分布的统计量和自由度;基于自由度下的卡方分布概率密度曲线和统计量,确定该三维点集合对应的均匀度。
在本发明实施例中,统计量和自由度是根据每个目标体素内的三维点数量和目标体素数量来确定的。统计量即卡方值,通常用于比较每个目标体素内的三维点数量与每个目标体素内的期望三维点数量之间的差异。自由度可以是卡方分布中,可以自由变化的变量个数。
具体的,基于每个目标体素内的三维点数量和目标体素数量,确定卡方分布的统计量和自由度,具体表示可以如下:
设置目标体素对应的一维线性索引,令该三维点集合中目标体素对应的一维线性索引为随机变量,/>表示目标体素/>被占据的概率,该概率值由目标体素内的三维点数量占目标体素数量的比例近似,即忽略所有没有包含三维点的体素。则判断三维点集合是否符合均匀度可以描述为:
记原假设服从均匀分布,对立假设/>不服从均匀分布,则问题等价于检验/>成立,还是/>成立。具体步骤如下:
首先,可以先确定三维点的统计量。即,可以先统计所有目标体素内的三维点的数量集合,其中/>表示该目标体素中的三维点的数量,/>表示目标体素的数量。所有目标体素内的三维点总数量为/>,目标体素的总数量/>,则/>。在三维点集合服从均匀分布的假设下,每个目标体素内的期望三维点数量相同,且为/>。则统计量可以是/>。
进一步的,可以计算卡方分布的自由度,近似服从卡方分布,即
其中,为卡方分布的自由度,/>为随机变量/>取值分组的总组数,即目标体素的总数量/>;/>为待检验分布中未知参数的数量,在均匀分布假设下概率,此时没有未知参数,则/>。相应的,卡方分布的自由度为
在获得自由度之后,可以确定自由度为的卡方分布概率密度曲线。如图6所示。其中,虚线所示阴影区域的面积为/>值,三维点集合的空间分布越接近于均匀分布,统计量/>越接近0,/>值越大。因此,/>值可以用以表征三维点集合的空间分布的均匀程度,即/>值是三维点集合对应的均匀度。/>值对应的取值范围为0~1。/>值的计算公式如下:
其中,表示服从自由度为/>的卡方分布的随机变量,其卡方分布概率密度曲线如图6所示。
可选的,确定每个三维点集合对应的线性度和稀疏度,包括:针对每个三维点集合而言,对该三维点集合进行高度方向投影和鸟瞰视角的第一主成分方向投影,获得二维投影视图;对二维投影视图进行栅格离散化和二值化,获得该三维点集合对应的投影二值图像;对投影二值图像中存在投影点的目标栅格进行直线检测,获得投影二值图像中的直线,并基于位于直线上的目标栅格数量和投影二值图像中的目标栅格总数量,确定该三维点集合对应的线性度;基于每个目标栅格的邻域内是否存在其他目标栅格,确定投影二值图像中的孤立目标栅格,并基于孤立目标栅格的数量和投影二值图像中的目标栅格总数量,确定该三维点集合对应的稀疏度。
在本发明实施例中,第一主成分方向可以理解为将三维点集合映射到二维空间中的方向,该第一主成分方向可以最大限度的保留三维点集合中三维点的信息,即表示方差最大的方向。将三维点集合第一主成分方向和高度方向进行投影后获得的视图即为二维投影视图。将该二维投影视图进行栅格离散化和二值化后获得的视图为投影二值图像。直线检测可以是利用直线检测方法对投影二值图像进行检测的方式。目标栅格的邻域可以是在目标栅格周围一定范围内的栅格,可选的,目标栅格的邻域可以是目标栅格左右位置的栅格和目标栅格对角线方向上的相邻栅格。孤立目标栅格即目标栅格周围不存在其他目标栅格。
具体的,在利用激光雷达获取点云数据时,点云数据会呈现分层特性,即当激光雷达扫描到表面致密的真实物体时,获得点云数据具有近水平平面的特征。而激光雷达扫描到雨滴、雪花等非实心且随机分布的物体时,获得的点云数据没有明显的平面的特征。但是,在三维空间中,对点云数据进行检测时,需要检测多个平面,其时间和空间复杂度都很高。因而,可以对三维点集合进行处理,在二维空间中进行判断。在考虑到分层特征是基于高度方向的,为提高识别分层特征的效率,可以将三维点集合沿着高度方向和鸟瞰视角的第一主成分方向进行投影。其中,以图7为例,高度方向可以是z坐标轴方向,鸟瞰视角的第一主成分方向可以是BEV视图中的第一主成分方向,BEV视图对应于x、y坐标轴对应的平面。其中,在向第一主成分方向投影可以如图8所示。基于此,可以获得二维投影视图,如图9所示。
在获得二维投影视图后,可以对二维投影视图进行栅格离散化和二值化,获得该三维点集合对应的投影二值图像,其中,可以将存在投影点的栅格作为目标栅格,将其目标栅格设置为1,不存在投影点的目标栅格设置为0。进一步的,对目标栅格进行直线检测,以获得投影二值图像中的直线。其中,进行直线检测的方法可以是渐进随机霍夫变换直线检测算法、霍夫变换直线检测算法以及其他直线检测方法,本实施例对此不做限制。需要说明的是,此时获得的直线即对应于三维点集合中的近水平平面。例如,若利用渐进随机霍夫变换直线检测算法进行直线检测,那么考虑到激光雷达安装的位置可能不完全水平以及在使用过程中激光雷达固定装置的松动,可以将渐进随机霍夫变换直线检测算法的直线法向量角度值设置为90°±5°,其中90°对应于完全水平的直线,5°为水平线对应角度的浮动范围。基于此,可以检测出投影二值图像中的近水平直线,其中,近水平直线通常为多条。
同时,根据位于直线上的目标栅格数量占据投影二值图像中目标栅格总数量的比例,确定该三维点集合对应的线性度。其中,线性度的取值范围是0~1。例如,如图10所示,图10为行人对应的三维点集合对应的投影二值图像,其中的线条为检测出的直线,可见,大部分目标栅格均位于直线上,则说明该三维点集合的线性度很高。图11是雨雪噪点集合对应的投影二值图像,其中,图11中的点对应于目标栅格,线条为检测出的近水平直线。可见,仅有极少数目标栅格位于近水平直线上,则说明雨雪噪点集合的线性度低。基于此,可以利用线性度判断是否为雨雪噪点集合,即线性度越大,则说明该三维点集合越可能是真实物体对应的三维点集合;反之,线性度越小,则说明该三维点集合越可能是雨雪噪点集合。
进一步的,根据目标栅格的邻域判断其邻域内是否存在其他目标栅格,若存在其他目标栅格,则该目标栅格不是孤立目标栅格,若不存在目标栅格,则该目标栅格为孤立目标栅格。从而,可以统计孤立目标栅格的数量占投影二值图像中目标栅格总数量的比例,以确定该三维点集合对应的稀疏度。其中,稀疏度的取值范围可以是0~1。例如,由图10和图11可以看出,雨雪噪点集合对应的投影二值图像中的目标栅格分布对于行人对应的三维点集合对应的投影二值图像中的目标栅格相对稀疏。则可以判断目标栅格的邻域内是否存在其他目标栅格,若没有其他目标栅格,则为孤立目标栅格。其中,对于孤立目标栅格的示例图可以如图12所示。在图12中,非占据像素对应于不存在投影点的栅格,占据像素对应于目标栅格,邻域像素即目标栅格邻域内存在的目标栅格,非孤立像素即对应于不是孤立目标栅格的目标栅格,孤立像素对应于孤立目标栅格。其中,考虑到激光雷达不完全水平等现实因素,可以将邻域设置为包括目标栅格左右相邻位置的栅格,以及目标栅格对角线方向上相邻的栅格。若在目标栅格邻域内没有其他目标栅格,则该目标栅格为孤立目标栅格,若目标栅格邻域内存在一个或多个其他目标栅格,则该目标栅格不是孤立目标栅格,基于此,统计所有孤立目标栅格,获得孤立目标栅格的数量,从而计算孤立目标栅格的数量和投影二值图像中的目标栅格总数量,确定该三维点集合对应的稀疏度。由图10和图11可以看出,相比真实物体的三维点集合,雨雪噪点集合对应的投影二值图像中的孤立目标栅格占比相对大很多,即雨雪噪点集合的稀疏度远大于真实物体的三维点集合的稀疏度。
可选的,对该三维点集合进行高度方向投影和鸟瞰视角的第一主成分方向投影,获得二维投影视图,包括:对该三维点集合进行高度方向投影,确定每个投影点在高度方向上的坐标值,并基于投影点与三维点的映射关系,确定该三维点集合中每个三维点在高度方向上的坐标值;对该三维点集合进行鸟瞰视角投影,获得二维鸟瞰视角图像,并将二维鸟瞰视角图像中的每个投影点再次向第一主成分方向进行投影,获得二维鸟瞰视角图像中的每个投影点在第一主成分方向上的坐标值;基于二维鸟瞰视角图像中的投影点与三维点的映射关系,确定该三维点集合中每个三维点在第一主成分方向上的坐标值;基于每个三维点在第一主成分方向上的坐标值和在高度方向上的坐标值,确定二维投影视图。
具体的,对当前三维点集合进行高度方向的投影,获得每个投影点在高度方向上的坐标值,同时,根据投影点和三维点之间的映射关系,确定每个三维点在高度方向上的坐标值,如图7上的z轴对应的坐标值。进一步的,对该三维点集合进行鸟瞰视角投影,获得二维鸟瞰视角图像,即图8中的x、y坐标轴对应的平面。之后,将二维鸟瞰视角图像中的每个投影点再次向第一主成分方向进行投影,该第一主成分方向中投影点对应的投影值方差最大,即第一主成分方向对投影点的区分度最大。因而,获得二维鸟瞰视角图像中的每个投影点在第一主成分方向上的坐标值。例如,可以将坐标为(x,y)的投影点向第一主成分方向进行投影,得到该投影点在第一主成分方向上的坐标值c。同时,根据二维鸟瞰视角图像中的投影点与三维点的映射关系,确定该三维点集合中每个三维点在第一主成分方向上的坐标值。在获得每个三维点在第一主成分方向上的坐标值和在高度方向上的坐标值,确定二维投影视图。例如,若该三维点在第一主成分方向上的坐标值为c, 在高度方向上的坐标值为z,则该三维点的坐标为(c,z),相应的,基于所有三维点的坐标,即可以获得对应的二维投影视图,如图9所示。
另外,需要说明的是,如图13所示,y、z坐标轴对应的视图也可以一定程度上体现近水平直线特征,但是y、z坐标轴对应的视图完全丢失了车辆前进方向x轴方向的三维点的信息,导致直线很短,低于渐进随机霍夫变换中的最短直线阈值,进一步降低该阈值容易将雨雪噪点集合中相邻三维点集合误检测成直线。而二维投影视图利用x 和y 两个方向以及高度方向的信息,将平面特征最大化地转化成直线特征,有效克服y、z坐标轴对应的视图的缺点。此外,y、z坐标轴对应的视图由于忽略了x轴方向的信息,无法体现致密表面物体对应的三维点分布“近端稠密、远端稀疏”的特征,故从y、z坐标轴对应的视图中无法提取三维点集合的稀疏度和均匀度特征,因而,在进行投影时是利用二维鸟瞰视角图像进行投影。
S280、基于预设分类模型以及每个三维点集合对应的暗度、均匀度、线性度和稀疏度,确定属于雨雪噪点集合的目标三维点集合。
示例性的,结合上述示例,如图2所示,在获得BEV聚类集合,即三维点集合后,可以计算每个聚类中的低反射率点的比例,即上述提及的计算灰度值低于5的三维点数量占该三维点集合中三维点总数量的比例,以获得三维点集合的暗度特征。同时,根据BEV聚类集合生成对应的PCA视图,即二维投影视图。从而对PCA视图进行近水平直线检测获得线性度特征,对PCA视图进行孤立像素搜索,即孤立目标栅格搜索,确定三维点集合的稀疏度特征。同时,体素化聚类点云,对点云空间分布作均匀分布假设检验,即上述提及的对三维点集合进行体素化,并确定存在三维点的目标体素,以基于每个目标体素内的三维点数量进行卡方分布检验,以获得均匀度特征。将上述获得的四种特征组成四维特征向量,输入至机器学习分类器中,即上述提及的预设分类模型,以获得雨雪聚类,即雨雪噪点集合。
S290、将第一三维点云中的目标三维点集合中的三维点进行过滤,获得过滤雨雪噪点后的第二三维点云。
示例性的,结合上述示例,在获得雨雪聚类后,可以将雨雪聚类对应的雨雪噪点进行去除,即获得图2中的过滤雨雪噪点后的3D点云,即第二三维点云。
本发明实施例的技术方案,通过获取车辆前方区域对应的原始三维点云;确定并过滤原始三维点云中的地面点,获得过滤地面点后的第一三维点云;对第一三维点云进行鸟瞰视角投影,获得二维鸟瞰视角图像,对二维鸟瞰视角图像进行栅格离散化,获得鸟瞰视角栅格图像。并且基于鸟瞰视角栅格图像中每个栅格内是否存在三维点的投影点,对鸟瞰视角栅格图像进行二值化,获得鸟瞰视角二值图像,并建立鸟瞰视角二值图像中存在投影点的目标栅格与三维点之间的映射关系;进一步的,对鸟瞰视角二值图像中的目标栅格进行聚类,获得聚类后的各个目标栅格集合,并基于目标栅格与三维点之间的映射关系,确定每个目标栅格集合对应的三维点集合;确定每个三维点集合对应的暗度、均匀度、线性度和稀疏度。在此过程中,将三维点集合投影成二维投影视图,可以大幅度降低直线检测的时间和空间复杂度。另外,二维投影视图保留了雨雪噪点集合在三维空间的稀疏特征,因而,可以高效快速地搜索孤立目标栅格,以获得稀疏度。进一步的,基于预设分类模型以及每个三维点集合对应的暗度、均匀度、线性度和稀疏度,确定属于雨雪噪点集合的目标三维点集合;将第一三维点云中的目标三维点集合中的三维点进行过滤,获得过滤雨雪噪点后的第二三维点云,从而实现了雨雪噪点的准确过滤,解决了将雨雪噪点视为障碍物导致车辆无法正常行驶的问题,保证车辆在特定环境条件下可以正常行驶。
实施例三
图14为本发明实施例三提供的一种雨雪噪点过滤装置的结构示意图。如图14所示,该装置包括:原始三维点云获取模块310、第一三维点云获取模块320、映射关系确定模块330、三维点集合确定模块340、特征确定模块350、目标三维点集合确定模块360以及第二三维点云确定模块370。
原始三维点云获取模块310,用于获取车辆前方区域对应的原始三维点云;第一三维点云获取模块320,用于确定并过滤原始三维点云中的地面点,获得过滤地面点后的第一三维点云;映射关系确定模块330,用于对第一三维点云进行鸟瞰视角投影,获得二维鸟瞰视角图像,并对二维鸟瞰视角图像进行栅格离散化和二值化,获得鸟瞰视角二值图像和鸟瞰视角二值图像中存在投影点的目标栅格与三维点之间的映射关系;三维点集合确定模块340,用于对鸟瞰视角二值图像中的目标栅格进行聚类,获得聚类后的各个目标栅格集合,并基于目标栅格与三维点之间的映射关系,确定每个目标栅格集合对应的三维点集合;特征确定模块350,用于确定每个三维点集合对应的暗度、均匀度、线性度和稀疏度;目标三维点集合确定模块360,用于基于预设分类模型以及每个三维点集合对应的暗度、均匀度、线性度和稀疏度,确定属于雨雪噪点集合的目标三维点集合;第二三维点云确定模块370,用于将第一三维点云中的目标三维点集合中的三维点进行过滤,获得过滤雨雪噪点后的第二三维点云。
可选的,映射关系确定模块,包括:鸟瞰视角栅格图像获取单元,用于对二维鸟瞰视角图像进行栅格离散化,获得鸟瞰视角栅格图像;映射关系确定单元,用于基于鸟瞰视角栅格图像中每个栅格内是否存在三维点的投影点,对鸟瞰视角栅格图像进行二值化,获得鸟瞰视角二值图像,并建立鸟瞰视角二值图像中存在投影点的目标栅格与三维点之间的映射关系。
可选的,特征确定模块,包括:灰度值获取单元,用于针对每个三维点集合而言,对该三维点集合中每个三维点的反射率进行归一化并映射到预设灰度值范围内,获得每个三维点对应的灰度值;暗度确定单元,用于基于灰度值小于预设灰度值的三维点数量和该三维点集合对应的三维点总数量,确定该三维点集合对应的暗度。
可选的,特征确定模块,包括:目标体素确定单元,用于针对每个三维点集合而言,对该三维点集合进行体素化,并确定存在三维点的目标体素;均匀度确定单元,用于基于每个目标体素内的三维点数量进行卡方分布检验,确定该三维点集合对应的均匀度。
可选的,均匀度确定单元,用于基于每个目标体素内的三维点数量和目标体素数量,确定卡方分布的统计量和自由度;基于自由度下的卡方分布概率密度曲线和统计量,确定该三维点集合对应的均匀度。
可选的,特征确定模块,包括:二维投影视图获取单元,用于针对每个三维点集合而言,对该三维点集合进行高度方向投影和鸟瞰视角的第一主成分方向投影,获得二维投影视图;投影二值图像获取单元,用于对二维投影视图进行栅格离散化和二值化,获得该三维点集合对应的投影二值图像;线性度确定单元,用于对投影二值图像中存在投影点的目标栅格进行直线检测,获得投影二值图像中的直线,并基于位于直线上的目标栅格数量和投影二值图像中的目标栅格总数量,确定该三维点集合对应的线性度;稀疏度确定单元,用于基于每个目标栅格的邻域内是否存在其他目标栅格,确定投影二值图像中的孤立目标栅格,并基于孤立目标栅格的数量和投影二值图像中的目标栅格总数量,确定该三维点集合对应的稀疏度。
可选的,二维投影视图获取单元,用于对该三维点集合进行高度方向投影,确定每个投影点在高度方向上的坐标值,并基于投影点与三维点的映射关系,确定该三维点集合中每个三维点在高度方向上的坐标值;对该三维点集合进行鸟瞰视角投影,获得二维鸟瞰视角图像,并将二维鸟瞰视角图像中的每个投影点再次向第一主成分方向进行投影,获得二维鸟瞰视角图像中的每个投影点在第一主成分方向上的坐标值;基于二维鸟瞰视角图像中的投影点与三维点的映射关系,确定该三维点集合中每个三维点在第一主成分方向上的坐标值;基于每个三维点在第一主成分方向上的坐标值和在高度方向上的坐标值,确定二维投影视图。
本发明实施例所提供的雨雪噪点过滤装置可执行本发明任意实施例所提供的雨雪噪点过滤方法,具备执行方法相应的功能模块和有益效果。
实施例四
图15示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图15所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如雨雪噪点过滤方法。
在一些实施例中,雨雪噪点过滤方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的雨雪噪点过滤方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行雨雪噪点过滤方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种雨雪噪点过滤方法,其特征在于,包括:
获取车辆前方区域对应的原始三维点云;
确定并过滤所述原始三维点云中的地面点,获得过滤地面点后的第一三维点云;
对所述第一三维点云进行鸟瞰视角投影,获得二维鸟瞰视角图像,并对所述二维鸟瞰视角图像进行栅格离散化和二值化,获得鸟瞰视角二值图像和所述鸟瞰视角二值图像中存在投影点的目标栅格与三维点之间的映射关系;
对所述鸟瞰视角二值图像中的目标栅格进行聚类,获得聚类后的各个目标栅格集合,并基于所述目标栅格与三维点之间的映射关系,确定每个目标栅格集合对应的三维点集合;
确定每个三维点集合对应的暗度、均匀度、线性度和稀疏度;
基于预设分类模型以及每个三维点集合对应的暗度、均匀度、线性度和稀疏度,确定属于雨雪噪点集合的目标三维点集合;
将所述第一三维点云中的所述目标三维点集合中的三维点进行过滤,获得过滤雨雪噪点后的第二三维点云。
2.根据权利要求1所述的方法,其特征在于,对所述二维鸟瞰视角图像进行栅格离散化和二值化,获得鸟瞰视角二值图像和所述鸟瞰视角二值图像中存在投影点的目标栅格与三维点之间的映射关系,包括:
对所述二维鸟瞰视角图像进行栅格离散化,获得鸟瞰视角栅格图像;
基于所述鸟瞰视角栅格图像中每个栅格内是否存在三维点的投影点,对所述鸟瞰视角栅格图像进行二值化,获得鸟瞰视角二值图像,并建立所述鸟瞰视角二值图像中存在投影点的目标栅格与三维点之间的映射关系。
3.根据权利要求1所述的方法,其特征在于,确定每个三维点集合对应的暗度,包括:
针对每个三维点集合而言,对该三维点集合中每个三维点的反射率进行归一化并映射到预设灰度值范围内,获得每个三维点对应的灰度值;
基于灰度值小于预设灰度值的三维点数量和该三维点集合对应的三维点总数量,确定该三维点集合对应的暗度。
4.根据权利要求1所述的方法,其特征在于,确定每个三维点集合对应的均匀度,包括:
针对每个三维点集合而言,对该三维点集合进行体素化,并确定存在三维点的目标体素;
基于每个目标体素内的三维点数量进行卡方分布检验,确定该三维点集合对应的均匀度。
5.根据权利要求4所述的方法,其特征在于,基于每个目标体素内的三维点数量进行卡方分布检验,确定该三维点集合对应的均匀度,包括:
基于每个目标体素内的三维点数量和目标体素数量,确定卡方分布的统计量和自由度;
基于所述自由度下的卡方分布概率密度曲线和所述统计量,确定该三维点集合对应的均匀度。
6.根据权利要求1所述的方法,其特征在于,确定每个三维点集合对应的线性度和稀疏度,包括:
针对每个三维点集合而言,对该三维点集合进行高度方向投影和鸟瞰视角的第一主成分方向投影,获得二维投影视图;
对所述二维投影视图进行栅格离散化和二值化,获得该三维点集合对应的投影二值图像;
对所述投影二值图像中存在投影点的目标栅格进行直线检测,获得所述投影二值图像中的直线,并基于位于直线上的目标栅格数量和所述投影二值图像中的目标栅格总数量,确定该三维点集合对应的线性度;
基于每个目标栅格的邻域内是否存在其他目标栅格,确定所述投影二值图像中的孤立目标栅格,并基于所述孤立目标栅格的数量和所述投影二值图像中的目标栅格总数量,确定该三维点集合对应的稀疏度。
7.根据权利要求6所述的方法,其特征在于,对该三维点集合进行高度方向投影和鸟瞰视角的第一主成分方向投影,获得二维投影视图,包括:
对该三维点集合进行高度方向投影,确定每个投影点在高度方向上的坐标值,并基于投影点与三维点的映射关系,确定该三维点集合中每个三维点在高度方向上的坐标值;
对该三维点集合进行鸟瞰视角投影,获得二维鸟瞰视角图像,并将二维鸟瞰视角图像中的每个投影点再次向第一主成分方向进行投影,获得二维鸟瞰视角图像中的每个投影点在第一主成分方向上的坐标值;
基于二维鸟瞰视角图像中的投影点与三维点的映射关系,确定该三维点集合中每个三维点在第一主成分方向上的坐标值;
基于每个三维点在第一主成分方向上的坐标值和在高度方向上的坐标值,确定二维投影视图。
8.一种雨雪噪点过滤装置,其特征在于,包括:
原始三维点云获取模块,用于获取车辆前方区域对应的原始三维点云;
第一三维点云获取模块,用于确定并过滤所述原始三维点云中的地面点,获得过滤地面点后的第一三维点云;
映射关系确定模块,用于对所述第一三维点云进行鸟瞰视角投影,获得二维鸟瞰视角图像,并对所述二维鸟瞰视角图像进行栅格离散化和二值化,获得鸟瞰视角二值图像和所述鸟瞰视角二值图像中存在投影点的目标栅格与三维点之间的映射关系;
三维点集合确定模块,用于对所述鸟瞰视角二值图像中的目标栅格进行聚类,获得聚类后的各个目标栅格集合,并基于所述目标栅格与三维点之间的映射关系,确定每个目标栅格集合对应的三维点集合;
特征确定模块,用于确定每个三维点集合对应的暗度、均匀度、线性度和稀疏度;
目标三维点集合确定模块,用于基于预设分类模型以及每个三维点集合对应的暗度、均匀度、线性度和稀疏度,确定属于雨雪噪点集合的目标三维点集合;
第二三维点云确定模块,用于将所述第一三维点云中的所述目标三维点集合中的三维点进行过滤,获得过滤雨雪噪点后的第二三维点云。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的雨雪噪点过滤方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的雨雪噪点过滤方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410004088.8A CN117496165B (zh) | 2024-01-03 | 2024-01-03 | 雨雪噪点过滤方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410004088.8A CN117496165B (zh) | 2024-01-03 | 2024-01-03 | 雨雪噪点过滤方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117496165A true CN117496165A (zh) | 2024-02-02 |
CN117496165B CN117496165B (zh) | 2024-03-12 |
Family
ID=89683414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410004088.8A Active CN117496165B (zh) | 2024-01-03 | 2024-01-03 | 雨雪噪点过滤方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117496165B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118172616A (zh) * | 2024-05-15 | 2024-06-11 | 安徽蔚来智驾科技有限公司 | 点云噪点分类方法、可读存储介质及智能设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070838A (zh) * | 2020-09-07 | 2020-12-11 | 洛伦兹(北京)科技有限公司 | 基于二维-三维融合特征的对象识别与定位方法及装置 |
CN113610143A (zh) * | 2021-08-02 | 2021-11-05 | 广州文远知行科技有限公司 | 一种点云噪点的分类方法、装置、设备及存储介质 |
CN114782787A (zh) * | 2022-05-17 | 2022-07-22 | 苏州轻棹科技有限公司 | 一种对点云与图像数据进行特征融合的处理方法和装置 |
CN115308746A (zh) * | 2022-08-12 | 2022-11-08 | 九识(苏州)智能科技有限公司 | 点云数据的滤噪方法、装置和自动驾驶车辆 |
-
2024
- 2024-01-03 CN CN202410004088.8A patent/CN117496165B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070838A (zh) * | 2020-09-07 | 2020-12-11 | 洛伦兹(北京)科技有限公司 | 基于二维-三维融合特征的对象识别与定位方法及装置 |
CN113610143A (zh) * | 2021-08-02 | 2021-11-05 | 广州文远知行科技有限公司 | 一种点云噪点的分类方法、装置、设备及存储介质 |
CN114782787A (zh) * | 2022-05-17 | 2022-07-22 | 苏州轻棹科技有限公司 | 一种对点云与图像数据进行特征融合的处理方法和装置 |
CN115308746A (zh) * | 2022-08-12 | 2022-11-08 | 九识(苏州)智能科技有限公司 | 点云数据的滤噪方法、装置和自动驾驶车辆 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118172616A (zh) * | 2024-05-15 | 2024-06-11 | 安徽蔚来智驾科技有限公司 | 点云噪点分类方法、可读存储介质及智能设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117496165B (zh) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117496165B (zh) | 雨雪噪点过滤方法、装置、电子设备及存储介质 | |
CN109993192B (zh) | 目标对象识别方法及装置、电子设备、存储介质 | |
CN113902897A (zh) | 目标检测模型的训练、目标检测方法、装置、设备和介质 | |
WO2021207954A1 (zh) | 一种目标识别的方法和装置 | |
CN110390706B (zh) | 一种物体检测的方法和装置 | |
CN113378760A (zh) | 训练目标检测模型和检测目标的方法及装置 | |
CN115100741B (zh) | 一种点云行人距离风险检测方法、系统、设备和介质 | |
CN114648654A (zh) | 一种融合点云语义类别和距离的聚类方法 | |
CN108074232A (zh) | 一种基于体元分割的机载lidar建筑物检测方法 | |
Ye et al. | Overhead ground wire detection by fusion global and local features and supervised learning method for a cable inspection robot | |
CN115147333A (zh) | 一种目标检测方法及装置 | |
CN117037103A (zh) | 一种道路检测方法和装置 | |
CN116503803A (zh) | 障碍物检测方法、装置、电子设备以及存储介质 | |
CN116547562A (zh) | 点云滤噪方法、系统和可移动平台 | |
CN116520353A (zh) | 基于激光点云的地面检测方法、装置、存储介质及设备 | |
CN114882198A (zh) | 一种目标确定方法、装置、设备及介质 | |
CN116524472B (zh) | 一种障碍物检测方法、装置、存储介质及设备 | |
CN117036457A (zh) | 一种屋顶面积的测量方法、装置、设备及存储介质 | |
CN115457496B (zh) | 自动驾驶的挡墙检测方法、装置及车辆 | |
CN113077473A (zh) | 三维激光点云路面分割方法、系统、计算机设备及介质 | |
CN114581890B (zh) | 确定车道线的方法、装置、电子设备和存储介质 | |
CN115527187A (zh) | 一种障碍物的分类方法以及装置 | |
CN115376106A (zh) | 基于雷达图的车型识别方法、装置、设备及介质 | |
CN115457282A (zh) | 一种点云数据处理方法及装置 | |
CN117392000B (zh) | 一种噪点去除方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |