CN114519400A - 分割结果评估方法、装置、电子设备和可读存储介质 - Google Patents
分割结果评估方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN114519400A CN114519400A CN202210162724.0A CN202210162724A CN114519400A CN 114519400 A CN114519400 A CN 114519400A CN 202210162724 A CN202210162724 A CN 202210162724A CN 114519400 A CN114519400 A CN 114519400A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- boundary information
- segmentation result
- category
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 165
- 238000011156 evaluation Methods 0.000 title claims abstract description 86
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000007405 data analysis Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 20
- 238000010586 diagram Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明的实施例提供了一种分割结果评估方法、装置、电子设备和可读存储介质,涉及数据处理技术领域,方法包括:获取目标区域的点云数据,对点云数据进行分割,以得到点云分割结果,基于目标区域对应的DOM数据的分割结果以及点云分割结果,确定出目标区域的边界信息,进而基于边界信息以及点云分割结果确定点云数据的分割评估参数,从而实现对分割结果的智能评估。
Description
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种分割结果评估方法、装置、电子设备和可读存储介质。
背景技术
随着数字化设备的不断发展,能够采集到的数据量也在不断地增加。例如,能够代表空间信息的三维数据,对于智能作业设备而言有着至关重要的作用,示例性地,将三维点云数据输入分割模型得到分割结果,基于分割结果检测出障碍物,从而能够有效地指导作业设备如无人机的飞行策略。但是,分割结果的准确性将直接影响障碍物识别的准确与否,进而影响飞行策略的可靠性,在分割结果不准确的情况下,将对无人机的飞行航线产生误指导,甚至造成撞机危险。因而,对分割结果的评估较为重要。
发明内容
本发明的目的之一包括,例如,提供了一种分割结果评估方法、装置、电子设备和可读存储介质,以自动化地实现对分割结果的评估。
本发明的实施例可以这样实现:
第一方面,本发明实施例提供一种分割结果评估方法,包括:
获取目标区域的点云数据,对所述点云数据进行分割,以得到点云分割结果;
基于所述目标区域对应的DOM数据的分割结果以及所述点云分割结果,确定出所述目标区域的边界信息;
基于所述边界信息以及所述点云分割结果确定所述点云数据的分割评估参数。
在可选的实施方式中,所述基于所述目标区域对应的DOM数据的分割结果以及所述点云分割结果,确定出所述目标区域的边界信息的步骤,包括:
基于所述目标区域对应的每一帧DOM数据的分割结果,基于边界生成算法得到所述目标区域对应的初始边界信息;
获取位于每一所述初始边界信息内的第一点云数据,以及基于所述点云分割结果确定所述第一点云数据的类别信息;
基于所述类别信息、不同类别的点云的数量信息,从所述初始边界信息中选取出满足于预设条件的初始边界信息,以作为所述目标区域的边界信息。
在可选的实施方式中,所述类别信息包括地面类别和障碍物类别;所述基于所述类别信息、不同类别的点云的数量信息,从所述初始边界信息中选取出满足于预设条件的初始边界信息,以作为所述目标区域的边界信息的步骤,包括:
基于所述地面类别的点云数量和所述第一点云数据中的点云数量的比值确定所述初始边界信息是否满足预设条件;
当所述比值大于预设阈值时,确定所述初始边界信息满足所述预设条件,将所述初始边界信息作为所述目标区域的边界信息。
在可选的实施方式中,所述点云分割结果包括所述点云数据中每个点云对应的类别为障碍物类别、地面类别的置信度;
所述基于所述边界信息以及所述点云分割结果确定所述点云数据的分割评估参数的步骤,包括:
基于每一点云的置信度从所述边界信息的点云中确定出类别模糊点;
获取所述类别模糊点与所述点云数据的数量占比,和\或获取每一边界信息内的点云集合以及每一边界信息外的点云集合,以确定所述点云数据的分割评估参数。
在可选的实施方式中,所述类别模糊点包括模糊障碍物类别的点云,所述模糊障碍物类别的点云为对应的类别为障碍物类别的各点云中、置信度位于预设范围的点云;
获取所述类别模糊点与所述点云数据的数量占比,以确定所述点云数据的分割评估参数的步骤,包括:
获取模糊障碍物类别的点云数量与所述点云数据中对应的类别为障碍物类别的点云数量的占比,以确定障碍物的误检率。
在可选的实施方式中,所述获取每一边界信息内的点云集合以及每一边界信息外的点云集合,以确定所述点云数据的分割评估参数的步骤,包括:
将每一边界信息扩大设定倍数得到目标信息;
基于所述置信度,针对每一边界信息,从所述边界信息内的点云集合中确定出对应的类别为模糊地面类别的点云集合g1;从所述边界信息和目标信息之间的区域中确定出对应的类别为模糊地面类别的点云集合g2;从所述目标信息之外的区域中确定出对应的类别为模糊地面类别的点云集合g3;
基于所述点云集合g1、点云集合g2和点云集合g3分析得到漏检率;
其中,所述模糊地面类别的点云为对应的类别为地面类别的各点云中、置信度位于预设范围的点云。
在可选的实施方式中,所述基于所述点云集合g1、点云集合g2和点云集合g3分析得到漏检率的步骤,包括:
确定出每一边界信息的中心点;
针对每一边界信息,基于所述边界信息的中心点,以及对应的点云集合g1、点云集合g2和点云集合g3,确定出所述边界信息的漏检率;
根据每个所述边界信息的漏检率,计算得到所有所述边界信息的整体漏检率;
根据所述整体漏检率和所述点云数据中对应的类别为障碍物类别的点云数量,分析得到有效漏检率。
在可选的实施方式中,所述点云数据中每个点云对应的类别为障碍物类别、地面类别的置信度基于二分类分割得到,每个所述点云对应的类别为障碍物类别的置信度与对应的类别为地面类别的置信度之和为1;每个所述点云所属类别为置信度大于0.5的类别。
在可选的实施方式中,所述获取目标区域的点云数据的步骤,包括:
基于特征匹配分析和三维重建算法对所述目标区域对应的DOM数据进行处理,得到所述目标区域的点云数据;
所述目标区域对应的DOM数据的分割结果基于图像分割技术对所述DOM数据进行语义分割得到。
第二方面,本发明实施例提供一种分割结果评估装置,包括:
数据获得模块,用于获取目标区域的点云数据,对所述点云数据进行分割,以得到点云分割结果;
数据分析模块,用于基于所述目标区域对应的DOM数据的分割结果以及所述点云分割结果,确定出所述目标区域的边界信息;基于所述边界信息以及所述点云分割结果确定所述点云数据的分割评估参数。
第三方面,本发明实施例提供一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现前述实施方式任一项所述的分割结果评估方法。
第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序,所述计算机程序运行时控制所述计算机可读存储介质所在电子设备执行前述实施方式任一项所述的分割结果评估方法。
本发明实施例的有益效果包括,例如:通过对分割结果的自动化评估,减少了人工审核所需的人力与时间,实现较为便捷,效率较高,且自动化评估避免了个人主观因素的影响,从而提高了评估可靠性,进而确保障碍物识别的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的一种应用场景示意图。
图2示出了本发明实施例提供的一种分割结果评估方法的流程示意图。
图3示出了本发明实施例提供的一种DOM数据中某一张图像的示例图。
图4示出了本发明实施例提供的一种点云数据的示例图。
图5示出了图3所示图像的语义分割结果的示例图。
图6示出了图4所示点云数据的分割结果的示例图。
图7示出了本发明实施例提供的一种整体分割结果的示例图。
图8示出了本发明实施例提供的一种多个初始边界信息的示例图。
图9示出了本发明实施例提供的一种各边界信息的示例图。
图10示出了本发明实施例提供的一种对应的类别为模糊障碍物类别的点云识别示例图。
图11示出了本发明实施例提供的一种对应的类别为模糊地面类别的点云识别示例图。
图12示出了本发明实施例提供的一种目标信息的示例图。
图13示出了本发明实施例提供的一种分割结果评估装置的示例性结构框图。
图标:100-电子设备;110-存储器;120-处理器;130-通信模块;140-分割结果评估装置;141-数据获得模块;142-数据分析模块。
具体实施方式
现今,随着数字化设备的不断发展,能够采集到的数据量也在不断地增加。例如,可以通过传感器采集三维点云数据,将三维点云数据输入分割模型得到分割结果,根据分割结果检测障碍物。然而,当分割结果准确性欠佳时,将直接影响障碍物识别的准确性。
经研究,现今主要采用人工审核的方法对障碍物识别的结果进行评估。人工审核需要大量的人力与时间,实现较为不便,且人为审核受个人主观因素较多,导致评估可靠性有待提升,效率较低。
基于上述研究,本发明实施例提供一种能够对分割结果进行自动化评估的方案,通过自动化评估,提高分割结果评估的可靠性和便捷性,从而确保障碍物识别的准确性。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是,在不冲突的情况下,本发明的实施例中的特征可以相互结合。
请参照图1,是本实施例提供的一种电子设备100的方框示意图,本实施例中的电子设备100可以为能够进行数据交互、处理的服务器、处理设备、处理平台等。所述电子设备100包括存储器110、处理器120及通信模块130。所述存储器110、处理器120以及通信模块130各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中,存储器110用于存储程序或者数据。所述存储器110可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(ErasableProgrammable Read-Only Memory,EPROM),电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory,EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序,并执行相应地功能。
通信模块130用于通过所述网络建立所述电子设备100与其它通信终端之间的通信连接,并用于通过所述网络收发数据。
应当理解的是,图1所示的结构仅为电子设备100的结构示意图,所述电子设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请结合参阅图2,为本发明实施例提供的一种分割结果评估方法的流程示意图,可以由图1所述电子设备100执行,例如可以由电子设备100中的处理器120执行。该分割结果评估方法包括S110、S120和S130。
S110,获取目标区域的点云数据,对所述点云数据进行分割,以得到点云分割结果。
S120,基于所述目标区域对应的DOM数据的分割结果以及所述点云分割结果,确定出所述目标区域的边界信息。
S130,基于所述边界信息以及所述点云分割结果确定所述点云数据的分割评估参数。
通过上述流程,实现了对分割结果的自动化评估,相较于人工审核,减少了所需的人力与时间,实现较为便捷,效率较高,且自动化评估避免了个人主观因素的影响,从而提高了评估可靠性,进而确保障碍物识别的准确性。
S110中,目标区域的点云数据可以基于目标区域对应的DOM数据得到。
其中,目标区域对应的DOM数据可以通过摄像装置拍摄得到。例如,若要针对某一目标区域进行障碍物识别,可以利用无人机拍摄的方式针对目标区域进行多张图像拍摄,得到目标区域待评估架次的DOM数据。
请参阅图3,为本实施例提供的在目标区域为农田的情况下,拍摄得到的其中一张图像。可以理解的是,在目标区域面积较大的情况下,为了实现对目标区域的完整识别,所拍摄的图像为多张,相应地,目标区域待评估架次的DOM数据为多帧。
基于目标区域对应的DOM数据,得到点云数据的方式可以包括:基于特征匹配分析和三维重建算法对目标区域对应的DOM数据进行处理,得到目标区域的点云数据。请参阅图4,为本实施例提供的一种点云数据的示例图(图4中为在目标区域为农田、DOM数据中的一张图像如图3所示的情况下,得到的点云数据)。
基于目标区域的DOM数据,得到分割结果的方式可以包括:基于图像分割技术对所述DOM数据进行语义分割,得到所述DOM数据中每张图像的分割结果。请参阅图5,为图3所示图像的分割结果。
在所拍摄的目标区域的图像为多张的情况下,针对每张图像分别进行语义分割,从而能够得到每张图像的分割结果(每一帧DOM数据的分割结果)。
对点云数据进行分割,以得到点云分割结果的方式可以包括:利用点云语义分割模型对点云数据进行分割处理,以得到点云分割结果。其中,点云分割结果包括每个点云对应的类别为障碍物类别、地面类别的置信度。基于置信度,便可分析出各点云的类别。请参阅图6,示出了图4所示点云数据的点云分割结果的示例图。
在一种实现方式中,点云数据中每个点云对应的类别为障碍物类别、地面类别的置信度可以基于二分类分割得到。在基于二分类分割得到每个点云对应的类别的情况下,在分割过程中,会生成每个所述点云对应的类别为障碍物类别的置信度与对应的类别为地面类别的置信度,两种类别的置信度之和为1。基于此,每个所述点云所属类别可以为置信度更高,即置信度大于0.5的类别。
例如,若基于二分类分割,某一点云对应的类别为障碍物类别的置信度为0.7,对应的类别为地面类别的置信度为0.3,由于该点云属于障碍物类别的置信度更高,因而,将障碍物类别作为该点云所属的类别。
S130中,基于目标区域对应的DOM数据的分割结果以及点云分割结果,确定出目标区域的边界信息的方式可以灵活设置。例如,可以基于所述目标区域对应的每一帧DOM数据的分割结果,基于边界生成算法得到所述目标区域对应的初始边界信息。获取位于每一所述初始边界信息内的第一点云数据,以及基于所述点云分割结果确定所述第一点云数据的类别信息。基于所述类别信息、不同类别的点云的数量信息,从所述初始边界信息中选取出满足于预设条件的初始边界信息,以作为所述目标区域的边界信息。
为了实现对目标区域的完整识别,可以将目标区域对应的每一帧DOM数据的分割结果进行拼接,得到整体分割结果。请参阅图7,为将图5所示分割结果与目标区域对应的DOM数据中其他图像的分割结果拼接得到的整体分割结果。进而对整体分割结果进行分析,获得整体分割结果的边界。
例如,可以利用图像拼接技术对DOM数据中多个图像的分割结果进行拼接,得到目标区域的整体分割结果,并通过opencv边界生成算法获得整体分割结果的边界。
在一种实现方式中,在获得整体分割结果的边界的情况下,可以基于瓦片坐标与经纬度坐标的转换关系,将所述边界转换为多个初始边界信息。请参阅图8,为将边界转换为的多个初始边界信息的示例图。如图8所示,每个初始边界信息分别形成一包围区域。
转换出的各初始边界信息中,所包围的区域内可能主要为作业对象,也可能为干扰物,针对不同场景、不同作业对象等的差异,可以从各初始边界信息中排除明显不满足条件的初始边界信息,得到满足预设条件的各初始边界信息,作为目标区域的边界信息,进而对筛选出的各边界信息进行后续识别评估处理。
其中,根据场景、作业对象等的不同,预设条件可以灵活设置,例如,可以根据作业对象不同阶段的生长情况、种植特点等确定预设条件。又例如,可以根据作业对象所处环境,如山地、丘陵、平原等中,干扰物的不同特性,分别确定预设条件。
示例性地,在某些场景中,满足条件的初始边界信息中作业对象应该占比较高,因而,可以基于第一点云数据中属于所述地面类别的点云数量和所述第一点云数据中的点云数量的比值确定所述初始边界信息是否满足预设条件。当所述比值大于预设阈值时,确定所述初始边界信息满足所述预设条件,将所述初始边界信息作为所述目标区域的边界信息。
通过获得每个所述初始边界信息所包围的点云数量,基于置信度,确定各点云的类别,并确定初始边界信息所包围的各点云中对应的类别为地面类别的点云的占有率。从各所述初始边界信息中查找出占有率满足预设条件的所有初始边界信息形成目标区域的边界信息。
以目标区域为农田为例,作业对象为农田中的农作物,各初始边界信息为各农田边界,目标区域的边界信息通过以下方式得到:计算每个农田边界所包围的点云个数p,通过点云类别筛选的方法,获得类别为地面的点云个数p1,则类别为地面的点云占有率rg=p1/p。由于在实际的农田中,障碍物在农田中的占比较少,经验证,当rg>0.7时可以避免房屋等数据被误检为农田边界的情况,因而,可以将预设条件确定为rg>0.7,针对各农田边界,确定是否满足rg>0.7,若是,则认为其为合法边界,若否,则认为其非合法边界,进而将所有满足rg>0.7的农田边界作为目标区域的边界信息,记为boundarys。
以上对于占有率的选择仅为举例,占有率可以灵活设定,本实施例对此不作限制。
请参阅图9,为从图8所示的多个初始边界信息中确定出的满足预设条件的边界信息的示例图。由于该举例中,图8所示各初始边界信息均检测在了农田上,因而确定出的各边界信息与图8中的各初始边界信息相同。在确定置信度和满足预设条件的各边界信息的情况下,可以采用多种方式得到S130中的分割评估参数。例如,可以基于每一点云的置信度从所述边界信息的点云中确定出类别模糊点。获取所述类别模糊点与所述点云数据的数量占比,以确定所述点云数据的分割评估参数。又例如,可以获取每一边界信息内的点云集合以及每一边界信息外的点云集合,以确定所述点云数据的分割评估参数。又例如,可以获取所述类别模糊点与所述点云数据的数量占比,并获取每一边界信息内的点云集合以及每一边界信息外的点云集合,以确定所述点云数据的分割评估参数。本实施例对此不作限制。
S130中的分割评估参数可以灵活选择,例如,可以为误检率、漏检率等。基于预设的各分割评估参数与各评估结果的对应关系,便可确定出分析得到的分割评估参数的评估结果。例如,在分割评估参数包括误检率、漏检率的情况下,可以根据预存的各误检率、漏检率与各评估结果的对应关系,确定出基于分割结果分析得到的障碍物的误检率和漏检率对应的评估结果。
鉴于误检率与点云所属类别的识别准确性直接相关,而点云所属类别的识别主要基于置信度实现,而置信度在“临界范围”内的情况下,是导致误识别的集中区域,因而,在一种实现方式中,误检率可以通过以下步骤分析得到:基于每一点云的置信度从所述边界信息的点云数据中确定出类别模糊点,获取所述类别模糊点与所述点云数据的数量占比,基于所述数量占比确定所述点云数据的分割评估参数。
在需要进行障碍物的误检率分析的情况下,类别模糊点可以包括模糊障碍物类别的点云,其中,模糊障碍物类别的点云为对应的类别为障碍物类别的各点云中、置信度位于预设范围的点云。相应地,通过获取模糊障碍物类别的点云数量与点云数据中对应的类别为障碍物类别的点云数量的占比,便可以确定障碍物的误检率。
其中,在每个点云对应的类别为障碍物类别、地面类别的置信度基于二分类分割得到的情况下,由于每个点云的置信度之和为1,因此,可以将置信度在0.5左右的点云作为类别模糊点。因而,可以将0.5浮动一定值得到“临界范围”。
可以理解的是,在利用点云语义分割模型对点云数据进行分割处理,得到每个点云对应的类别为障碍物类别、地面类别的置信度的情况下,置信度也可能由于点云语义分割模型自身的稳定性产生变化,因而,也可以通过点云语义分割模型的稳定性对所得到的置信度产生的影响,确定“临界范围”。
本实施例中,预设范围即上述可能导致误识别的“临界范围”。为了实现对模糊障碍物的识别,预设范围可以灵活设定。例如,可以为0.5~0.55、0.5~0.6、0.5~0.65等。
以预设范围为0.5~0.6为例,相应地,对应的类别为障碍物类别的置信度位于0.5~0.6之间的点云,为模糊障碍物类别的点云。请参阅图10,为针对图4所示点云数据,检测得到的、对应的类别为模糊障碍物类别的点云识别示例图。同理,模糊地面类别的点云为对应的类别为地面类别的各点云中、置信度位于预设范围的点云。在预设范围为0.5~0.6的情况下,对应的类别为地面类别的置信度位于0.5~0.6之间的点云,为模糊地面类别的点云。参阅图11,为针对图4所示点云数据,检测得到的、对应的类别为模糊地面类别的点云识别示例图。
计算目标区域的每个边界信息内为模糊障碍物类别的点云的个数,并将计算得到的、所有的为模糊障碍物类别的点云的个数相加,便可得到整个目标区域中、各边界信息内为模糊障碍物类别的点云的个数b。统计目标区域的点云数据中对应的类别为障碍物类别的所有点云的数量obs。计算b与obs的比值,便可得到用于衡量障碍物误检情况的误检率false Rate。
鉴于漏检将直接影响作业的可靠性,并且,在实际作业中,作业设备的运行区域往往不仅限于目标区域的各边界信息内,而是会超出一定范围,为了确保检测可靠性,可以获取每一边界信息内的点云集合以及每一边界信息外的点云集合,以确定所述点云数据的分割评估参数,得到障碍物的漏检率。
在确定漏检率时,可以将目标区域的每个边界信息扩大设定倍数,得到目标信息。
例如,可以采用多边形轮廓等比例扩大的方法,对boundarys中的每个边界信息进行扩大,通过设置比例参数来决定扩大的尺度,将boundarys中的每个边界信息扩大为原来的n倍。得到目标信息的集合boundarys1。示例性地,在比例参数设置为1.05~1.2的情况下,boundarys中的每个边界信息对应地扩大为原来的1.05~1.2倍。可以理解的是,比例参数还可以为其他,例如1.04~1.3、1.1~1.25等,本实施例对此不做一一说明。
请参阅图12,示出了将图9所示boundarys中各边界信息扩大后,得到的目标信息的示例图。
基于所述置信度,针对每一边界信息,从所述边界信息内的点云集合中确定出对应的类别为模糊地面类别的点云集合g1(boundarys内的模糊地面类别的点云集合g1)。从所述边界信息和目标信息之间的区域中确定出对应的类别为模糊地面类别的点云集合g2(boundary1与boundarys之间的边缘模糊地面类别的点云集合g2)。从所述目标信息之外的区域中确定出对应的类别为模糊地面类别的点云集合g3(boundarys1外的模糊地面类别的点云集合g3)。基于所述点云集合g1、点云集合g2和点云集合g3分析得到漏检率。
示例性地,确定出每一边界信息的中心点,针对每一边界信息,基于所述边界信息的中心点,以及对应的点云集合g1、点云集合g2和点云集合g3,确定出所述边界信息的漏检率。根据每个所述边界信息的漏检率,计算得到所有所述边界信息的整体漏检率,进而根据所述整体漏检率和所述点云数据中对应的类别为障碍物类别的点云数量,分析得到有效漏检率。
其中,可以利用多边形重心的计算方法获得每个边界信息对应的中心点。
在获得中心点的情况下,可以计算每个边界信息对应的点云集合g1、点云集合g2和点云集合g3到中心点的均值距离,将均值距离分别记为d1、d2和d3,进而通过以下公式计算得到每个边界信息的漏检率:
漏检率mi=g1中的点云个数/d1+g2中的点云个数/d2+g3中的点云个数/d3
根据计算得到的每个边界信息的漏检率,计算得到所有边界信息的整体漏检率。例如,将计算得到的每个边界信息的漏检率相加,得到整体漏检率m。
进而根据整体漏检率m和点云数据中对应的类别为障碍物类别的点云数量obs,分析得到有效漏检率。例如,有效漏检率missrate可以通过以下公式计算得到:
missrate=m/(m+obs)
在分析得到分割评估参数如上述误检率、漏检率的情况下,各分割评估参数与各评估结果的对应关系可以通过多种方式得到。例如,可以基于用户设定得到。又例如,可以基于大数据收集、分析,确定得到。本实施例对此不做限制。对应关系的表现形式可以灵活选择,例如,可以对各分割评估参数的数值作分段划分,各数值段分别对应一种评估结果。又例如,可以基于各识别信息进行等级划分。
示例性地,以分割评估参数包括误检率与漏检率为例,可以对障碍物的分割评估参数进行小批量评分,对比人为评分结果与误检率和漏检率的关系,对漏检率与误检率进行等级划分,生成障碍物识别等级评分表。基于障碍物识别等级评分表,在后续的障碍物识别评估中,通过计算误检率与漏检率,并通过对比障碍物识别等级评分表获得障碍物识别的好坏。
基于上述分割结果评估方法便可基于目标区域单次的DOM数据,基于分割结果实现对障碍物识别的可靠评估,可以理解的是,为了进一步提高评估可靠性,针对同一目标区域,可以多次获得DOM数据,基于每次的DOM数据分别进行评估,基于多次评估结果确定障碍物识别情况。
为了执行上述实施例及各个可能的方式中的相应步骤,下面给出一种分割结果评估装置的实现方式。请参阅图13,图13为本发明实施例提供的一种分割结果评估装置140的功能模块图,该分割结果评估装置140可以应用于图1所示电子设备100。需要说明的是,本实施例所提供的分割结果评估装置140,其基本原理及产生的技术效果和上述实施例相同,为简要描述,本实施例部分未提及之处,可参考上述的实施例中相应内容。该分割结果评估装置140包括数据获得模块141和数据分析模块142。
其中,数据获得模块141,用于获取目标区域的点云数据,对所述点云数据进行分割,以得到点云分割结果。
数据分析模块142,用于基于所述目标区域对应的DOM数据的分割结果以及所述点云分割结果,确定出所述目标区域的边界信息;基于所述边界信息以及所述点云分割结果确定所述点云数据的分割评估参数。
在上述基础上,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序,所述计算机程序运行时控制所述计算机可读存储介质所在电子设备执行上述的分割结果评估方法。
采用本发明实施例中的上述方案,可靠地实现了对分割结果的自动化评估,进而实现对障碍物识别的可靠评估,为后续合理的规划作业路线提供保障,避免作业设备如无人机发生撞机的危险。相较于人工审核,大大降低了人力消耗,提高了评估效率。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (12)
1.一种分割结果评估方法,其特征在于,包括:
获取目标区域的点云数据,对所述点云数据进行分割,以得到点云分割结果;
基于所述目标区域对应的DOM数据的分割结果以及所述点云分割结果,确定出所述目标区域的边界信息;
基于所述边界信息以及所述点云分割结果确定所述点云数据的分割评估参数。
2.根据权利要求1所述的分割结果评估方法,其特征在于,所述基于所述目标区域对应的DOM数据的分割结果以及所述点云分割结果,确定出所述目标区域的边界信息的步骤,包括:
基于所述目标区域对应的每一帧DOM数据的分割结果,基于边界生成算法得到所述目标区域对应的初始边界信息;
获取位于每一所述初始边界信息内的第一点云数据,以及基于所述点云分割结果确定所述第一点云数据的类别信息;
基于所述类别信息、不同类别的点云的数量信息,从所述初始边界信息中选取出满足于预设条件的初始边界信息,以作为所述目标区域的边界信息。
3.根据权利要求2所述的分割结果评估方法,其特征在于,所述类别信息包括地面类别和障碍物类别;所述基于所述类别信息、不同类别的点云的数量信息,从所述初始边界信息中选取出满足于预设条件的初始边界信息,以作为所述目标区域的边界信息的步骤,包括:
基于所述地面类别的点云数量和所述第一点云数据中的点云数量的比值确定所述初始边界信息是否满足预设条件;
当所述比值大于预设阈值时,确定所述初始边界信息满足所述预设条件,将所述初始边界信息作为所述目标区域的边界信息。
4.根据权利要求1所述的分割结果评估方法,其特征在于,所述点云分割结果包括所述点云数据中每个点云对应的类别为障碍物类别、地面类别的置信度;
所述基于所述边界信息以及所述点云分割结果确定所述点云数据的分割评估参数的步骤,包括:
基于每一点云的置信度从所述边界信息的点云中确定出类别模糊点;
获取所述类别模糊点与所述点云数据的数量占比,和\或获取每一边界信息内的点云集合以及每一边界信息外的点云集合,以确定所述点云数据的分割评估参数。
5.根据权利要求4所述的分割结果评估方法,其特征在于,所述类别模糊点包括模糊障碍物类别的点云,所述模糊障碍物类别的点云为对应的类别为障碍物类别的各点云中、置信度位于预设范围的点云;
获取所述类别模糊点与所述点云数据的数量占比,以确定所述点云数据的分割评估参数的步骤,包括:
获取模糊障碍物类别的点云数量与所述点云数据中对应的类别为障碍物类别的点云数量的占比,以确定障碍物的误检率。
6.根据权利要求4所述的分割结果评估方法,其特征在于,所述获取每一边界信息内的点云集合以及每一边界信息外的点云集合,以确定所述点云数据的分割评估参数的步骤,包括:
将每一边界信息扩大设定倍数得到目标信息;
基于所述置信度,针对每一边界信息,从所述边界信息内的点云集合中确定出对应的类别为模糊地面类别的点云集合g1;从所述边界信息和目标信息之间的区域中确定出对应的类别为模糊地面类别的点云集合g2;从所述目标信息之外的区域中确定出对应的类别为模糊地面类别的点云集合g3;
基于所述点云集合g1、点云集合g2和点云集合g3分析得到漏检率;
其中,所述模糊地面类别的点云为对应的类别为地面类别的各点云中、置信度位于预设范围的点云。
7.根据权利要求6所述的分割结果评估方法,其特征在于,所述基于所述点云集合g1、点云集合g2和点云集合g3分析得到漏检率的步骤,包括:
确定出每一边界信息的中心点;
针对每一边界信息,基于所述边界信息的中心点,以及对应的点云集合g1、点云集合g2和点云集合g3,确定出所述边界信息的漏检率;
根据每个所述边界信息的漏检率,计算得到所有所述边界信息的整体漏检率;
根据所述整体漏检率和所述点云数据中对应的类别为障碍物类别的点云数量,分析得到有效漏检率。
8.根据权利要求4至7任意一项所述的分割结果评估方法,其特征在于,所述点云数据中每个点云对应的类别为障碍物类别、地面类别的置信度基于二分类分割得到,每个所述点云对应的类别为障碍物类别的置信度与对应的类别为地面类别的置信度之和为1;每个所述点云所属类别为置信度大于0.5的类别。
9.根据权利要求1所述的分割结果评估方法,其特征在于,所述获取目标区域的点云数据的步骤,包括:
基于特征匹配分析和三维重建算法对所述目标区域对应的DOM数据进行处理,得到所述目标区域的点云数据;
所述目标区域对应的DOM数据的分割结果基于图像分割技术对所述DOM数据进行语义分割得到。
10.一种分割结果评估装置,其特征在于,包括:
数据获得模块,用于获取目标区域的点云数据,对所述点云数据进行分割,以得到点云分割结果;
数据分析模块,用于基于所述目标区域对应的DOM数据的分割结果以及所述点云分割结果,确定出所述目标区域的边界信息;基于所述边界信息以及所述点云分割结果确定所述点云数据的分割评估参数。
11.一种电子设备,其特征在于,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至9任一项所述的分割结果评估方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机程序,所述计算机程序运行时控制所述计算机可读存储介质所在电子设备执行权利要求1至9任一项所述的分割结果评估方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210162724.0A CN114519400A (zh) | 2022-02-22 | 2022-02-22 | 分割结果评估方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210162724.0A CN114519400A (zh) | 2022-02-22 | 2022-02-22 | 分割结果评估方法、装置、电子设备和可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114519400A true CN114519400A (zh) | 2022-05-20 |
Family
ID=81598901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210162724.0A Pending CN114519400A (zh) | 2022-02-22 | 2022-02-22 | 分割结果评估方法、装置、电子设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114519400A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117455936A (zh) * | 2023-12-25 | 2024-01-26 | 法奥意威(苏州)机器人系统有限公司 | 点云数据处理方法、装置及电子设备 |
-
2022
- 2022-02-22 CN CN202210162724.0A patent/CN114519400A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117455936A (zh) * | 2023-12-25 | 2024-01-26 | 法奥意威(苏州)机器人系统有限公司 | 点云数据处理方法、装置及电子设备 |
CN117455936B (zh) * | 2023-12-25 | 2024-04-12 | 法奥意威(苏州)机器人系统有限公司 | 点云数据处理方法、装置及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112526513B (zh) | 基于聚类算法的毫米波雷达环境地图构建方法及装置 | |
US7127107B2 (en) | Land partition data generating method and apparatus | |
CN111340012B (zh) | 一种地质灾害解译方法、装置、终端设备 | |
CN109087510A (zh) | 交通监测方法及装置 | |
CN114581855B (zh) | 一种基于大数据的信息收集方法与系统 | |
CN111666855B (zh) | 基于无人机的动物三维参数提取方法、系统及电子设备 | |
CN114677554A (zh) | 一种基于YOLOv5与Deepsort的统计滤波红外小目标检测跟踪方法 | |
CN111753610B (zh) | 天气识别方法及装置 | |
Panagiotidis et al. | Detection of fallen logs from high-resolution UAV images | |
CN113312508A (zh) | 一种车辆图像检索方法及装置 | |
JP2016099835A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
Brunner et al. | Rapid detection of stand density, tree positions, and tree diameter with a 2D terrestrial laser scanner | |
CN113011371A (zh) | 目标检测方法、装置、设备及存储介质 | |
CN117710756B (zh) | 一种目标检测及模型训练方法、装置、设备、介质 | |
CN114519400A (zh) | 分割结果评估方法、装置、电子设备和可读存储介质 | |
CN115331100A (zh) | 耕地种植属性的空间分布监测方法及系统 | |
CN114998746A (zh) | 一种耕地土壤环境质量分区方法及系统 | |
CN114675295A (zh) | 一种障碍物判定的方法、装置、设备及存储介质 | |
CN117152719B (zh) | 除草障碍物检测方法、设备、存储介质及装置 | |
Wardius et al. | Terrestrial laser scanning vs. manual methods for assessing complex forest stand structure: a comparative analysis on plenter forests | |
Prendes et al. | An algorithm for the automatic parametrization of wood volume equations from Terrestrial Laser Scanning point clouds: application in Pinus pinaster | |
Kukkonen et al. | Evaluation of UAS LiDAR data for tree segmentation and diameter estimation in boreal forests using trunk-and crown-based methods | |
US20240112462A1 (en) | Remote sensing for intelligent vegetation trim prediction | |
CN111428626A (zh) | 一种移动物体的识别方法、装置、及存储介质 | |
CN116413740A (zh) | 一种激光雷达点云地面检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |