CN113240009A - 一种点云数据标注方法、装置、存储介质及电子设备 - Google Patents

一种点云数据标注方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN113240009A
CN113240009A CN202110528422.6A CN202110528422A CN113240009A CN 113240009 A CN113240009 A CN 113240009A CN 202110528422 A CN202110528422 A CN 202110528422A CN 113240009 A CN113240009 A CN 113240009A
Authority
CN
China
Prior art keywords
point
type
point cloud
cloud data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110528422.6A
Other languages
English (en)
Inventor
杨若楠
伍宇明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xaircraft Technology Co Ltd
Original Assignee
Guangzhou Xaircraft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xaircraft Technology Co Ltd filed Critical Guangzhou Xaircraft Technology Co Ltd
Priority to CN202110528422.6A priority Critical patent/CN113240009A/zh
Publication of CN113240009A publication Critical patent/CN113240009A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种点云数据标注方法、装置、存储介质及电子设备。首先，将待标注的点云数据作为语义分割模型的输入，以获得第一标注结果，第一标注结果包括点云数据中每一个点的语义识别类型；获取正射影像中的目标物；将目标点的类型标注为目标类型，目标点为待标注的点云数据中与目标物对应的点，目标类型为目标物对应的类型；通过二维图像识别技术可以较为准确地从二维图像数据中识别出目标物，基于目标物的识别结果，将待标注的点云数据中与目标物对应的点的类型标注为目标类型，以获取第二标注结果，将第一标注结果与第二标注结果融合，快速准确地获取最终的点云标注数据，显著提升了标注的效率。

Description

一种点云数据标注方法、装置、存储介质及电子设备
技术领域
本申请涉及控制技术领域，具体而言，涉及一种点云数据标注方法、装置、存储介质及电子设备。
背景技术
随着各类自动化设备在农业中使用率越来越高，能够获得农业场景的数据种类也越来越多，为构建三维地图场景提供了必要数据。构建三维场景地图需要大量带有标注的点云数据，但是大量的具有标注的点云数据难以获得。
现有技术中，通常采用人工标注的方法对点云数据进行标注，标注工具无法承载大的点云，容易导致崩溃。并且利用人工标注的方法效率低下，无法在短时间内产生大量的点云标注信息，无法对大规模的数据进行全面标注。
发明内容
本申请的目的在于提供一种点云数据标注方法、装置、存储介质及电子设备，以至少部分改善上述问题。
为了实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供一种点云数据标注方法，所述方法包括：
将待标注的点云数据作为语义分割模型的输入，以获得第一标注结果，其中，所述第一标注结果包括所述点云数据中每一个点的语义识别类型；
获取正射影像中的目标物，其中，所述正射影像为与所述点云数据对应的二维图像数据；
将目标点的类型标注为目标类型，以获取第二标注结果，其中，所述目标点为所述待标注的点云数据中与所述目标物对应的点，所述目标类型为所述目标物对应的类型；
对所述第一标注结果与所述第二标注结果进行融合，以得到最终的点云标注数据。
第二方面，本申请实施例提供一种点云数据标注装置，所述装置包括：
处理单元，用于将待标注的点云数据作为语义分割模型的输入，以获得第一标注结果，其中，所述第一标注结果包括所述点云数据中每一个点的语义识别类型；
所述处理单元还用于获取正射影像中的目标物，其中，所述正射影像为与所述点云数据对应的二维图像数据；
所述处理单元还用于将目标点的类型标注为目标类型，以获取第二标注结果，其中，所述目标点为所述待标注的点云数据中与所述目标物对应的点，所述目标类型为所述目标物对应的类型；
融合单元，用于对所述第一标注结果与所述第二标注结果进行融合，以得到最终的点云标注数据。
第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法。
第四方面，本申请实施例提供一种电子设备，所述电子设备包括：处理器和存储器，所述存储器用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，实现上述的方法。
相对于现有技术，本申请实施例所提供的一种点云数据标注方法、装置、存储介质及电子设备中，首先，将待标注的点云数据作为语义分割模型的输入，以获得第一标注结果，其中，第一标注结果包括点云数据中每一个点的语义识别类型；获取正射影像中的目标物，其中，正射影像为与点云数据对应的二维图像数据；将目标点的类型标注为目标类型，以获取第二标注结果，其中，目标点为待标注的点云数据中与目标物对应的点，目标类型为目标物对应的类型；对第一标注结果与第二标注结果进行融合，以得到最终的点云标注数据。通过二维图像识别技术可以较为准确地从二维图像数据中识别出目标物，基于目标物的识别结果，将待标注的点云数据中与目标物对应的点的类型标注为目标类型，以获取第二标注结果，将第一标注结果与第二标注结果融合，快速准确地获取最终的点云标注数据，显著提升了标注的效率。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1为本申请实施例提供的电子设备的结构示意图；
图2为本申请实施例提供的点云数据标注方法的流程示意图；
图3为本申请实施例提供的点云数据标注方法的流程示意图之一；
图4为本申请实施例提供的S102的子步骤示意图；
图5为本申请实施例提供的S103的子步骤示意图；
图6为本申请实施例提供的S101的子步骤示意图；
图7为本申请实施例提供的S101-4的子步骤示意图；
图8为本申请实施例提供的点云数据标注方法的流程示意图之一；
图9为本申请实施例提供的点云数据标注装置的单元示意图。
图中：10-处理器；11-存储器；12-总线；13-通信接口；201-处理单元；202-融合单元。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
本申请实施例中的点云数据是指扫描资料以点的形式记录，每一个点包含有三维坐标，有些可能还含有颜色信息、反射强度信息、灰度值，深度或者返回次数等信息。
构建三维场景地图需要大量带有标注的点云数据，但是大量的具有标注的点云数据难以获得。发明人经过大量观察和总结发现，计算机视觉在二维图像的分析技术具有成熟稳定的发展，在农业场景中，田地与果树占有绝大所数，该两类数据能够通过图像技的准确的得到识别，因此可以通过三维点云与二维图像技术相结合的方法生成大量的带有标签的点云数据。从而克服现有技术中“通常采用人工标注的方法对点云数据进行标注，标注工具无法承载大的点云，容易导致崩溃，并且利用人工标注的方法效率低下，无法在短时间内产生大量的点云标注信息，无法对大规模的数据进行全面标注”的问题。
本申请实施例提供了一种电子设备，可以是计算机、服务器或者飞行设备。请参照图1，电子设备的结构示意图。电子设备包括处理器10、存储器11、总线12。处理器10、存储器11通过总线12连接，处理器10用于执行存储器11中存储的可执行模块，例如计算机程序。
处理器10可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，点云数据标注方法的各步骤可以通过处理器10中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器10可以是通用处理器，包括中央处理器(CentralProcessing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器11可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
总线12可以是ISA(Industry Standard Architecture)总线、PCI(PeripheralComponent Interconnect)总线或EISA(Extended Industry Standard Architecture)总线等。图1中仅用一个双向箭头表示，但并不表示仅有一根总线12或一种类型的总线12。
存储器11用于存储程序，例如点云数据标注装置对应的程序。点云数据标注装置包括至少一个可以软件或固件(firmware)的形式存储于存储器11中或固化在电子设备的操作系统(operating system，OS)中的软件功能模块。处理器10在接收到执行指令后，执行所述程序以实现点云数据标注方法。
可能地，本申请实施例提供的电子设备还包括通信接口13。通信接口13通过总线与处理器10连接。
应当理解的是，图1所示的结构仅为电子设备的部分的结构示意图，电子设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例提供的一种点云数据标注方法，可以但不限于应用于图1所示的电子设备，具体的流程，请参考图2：
S101，将待标注的点云数据作为语义分割模型的输入，以获得第一标注结果。
其中，第一标注结果包括点云数据中每一个点的语义识别类型。
可选地，语义识别类型例如为房屋、电线杆、车辆或未识别(其他)等。当语义分割模型确定点云数据中的某一个点属于房屋时，将该点的语义识别类型确定为房屋。
S102，获取正射影像中的目标物。
其中，正射影像为与点云数据对应的二维图像数据。
需要说明的是，正射影像是具有正射投影性质的遥感影像。可选地，由点云数据对应的视频所合成获得正射影像。目标物为比较成熟的二维图像识别技术的对象，可以为上述的田地和果树。
正如前文所述，正射影像为二维图像数据，二维图像识别技术经过多年的发展已经取得不错的成果，通过二维图像识别技术可以较为准确地从二维图像数据中识别出目标物，例如田地和果树。
S106，将目标点的类型标注为目标类型，以获取第二标注结果。
其中，目标点为待标注的点云数据中与目标物对应的点，目标类型为目标物对应的类型。
可选地，基于目标物的识别结果，将待标注的点云数据中与目标物对应的点的类型标注为目标类型，以获取第二标注结果。第二标注结果的准确度与二维图像识别技术的准确度息息相关，而二维图像识别技术已经较为成熟，所以可以保障第二标注结果的准确度。
S107，对第一标注结果与第二标注结果进行融合，以得到最终的点云标注数据。
可选地，基于二维图像确定目标物后，对应的第二标注结果更加准确，将第一标注结果与第二标注结果融合，从而提升点云标注数据的准确性。
综上所述，本申请实施例提供的点云数据标注方法中，首先，将待标注的点云数据作为语义分割模型的输入，以获得第一标注结果，其中，第一标注结果包括点云数据中每一个点的语义识别类型；获取正射影像中的目标物，其中，正射影像为与点云数据对应的二维图像数据；将目标点的类型标注为目标类型，以获取第二标注结果，其中，目标点为待标注的点云数据中与目标物对应的点，目标类型为目标物对应的类型；对第一标注结果与第二标注结果进行融合，以得到最终的点云标注数据。通过二维图像识别技术可以较为准确地从二维图像数据中识别出目标物，基于目标物的识别结果，将待标注的点云数据中与目标物对应的点的类型标注为目标类型，以获取第二标注结果，而二维图像识别技术已经较为成熟，所以可以保障第二标注结果的准确度，将第一标注结果与第二标注结果融合，从而提升点云标注数据的准确性。
在图2的基础上，关于如何确定目标点，本申请实施例还提供了一种可能的实现方式，请参考图3，点云数据标注方法还包括：
S103，获取目标物在正射影像中的像素坐标轮廓边界信息。
可选地，正射影像具有匹配的像素坐标系，正射影像中的每一个像素点都具有对应的像素坐标。目标物的边缘轮廓对应的像素点组成像素坐标轮廓边界信息，即像素坐标轮廓边界信息包括目标物的边缘轮廓对应的所有像素点的像素坐标。需要说明的是，正射影像无需进行人工标注。
S104，将像素坐标轮廓边界信息转换为世界坐标系中的三维边界信息。
其中，世界坐标系为点云数据对应的坐标系。世界坐标系可以为WGS84世界坐标系。
可选地，依据预先设定的映射关系将像素坐标轮廓边界信息转换为世界坐标系中的三维边界信息。映射关系为像素坐标系到世界坐标系的转换关系。三维边界信息包括目标物的边缘轮廓在点云数据中所对应的点。
S105，依据坐标区域值筛选法确定目标点。
其中，目标点位于三维边界信息内。
可选地，依据坐标区域值筛选法筛选出位于三维边界信息内的点，作为目标点。通过坐标边界区域值筛选的方法对三维空间中的点云数据进行筛选，获得目标物对应的点云数据，例如果树与田地对应的点云数据。
需要说明的是，S101和S102-S106的执行顺序并未限定，S101和S102-S106可以同步执行。
在图3的基础上，关于S102中的内容，本申请实施例还提供了一种可能的实现方式，请参考图4，S102包括：
S102-1，获取正射影像的瓦片数据。
可选地，瓦片数据为瓦片地图金字塔模型，是一种多分辨率层次模型，从瓦片金字塔的底层到顶层，分辨率越来越低，但表示的地理范围不变。基于正射影像可以获取对应的瓦片数据。
S102-2，获取瓦片数据中的目标物。
可选地，因为瓦片数据是一种多分辨率层次模型，获取瓦片数据中的目标物，相对于直接获取正射影像中的目标物，在保证获取目标物准确度的条件下，计算量更小。
请继续参考图4，在获取正射影像的瓦片数据之后，关于S103,本申请实施例还给出了一种可能的实现方式，请继续参考图4，S103包括：
S103-1，获取目标物在瓦片数据中的像素坐标轮廓边界信息。
可选地，本申请实施例中瓦片是像素256×256的图像，瓦片等级越高，所表示的地图信息也更加详细，瓦片坐标通常利用墨卡托投影的关系转换到世界坐标系中。
Figure BDA0003066183280000111
Figure BDA0003066183280000112
其中，(tileX，tileY)为瓦片索引，(pixelX,pixelY)为指定瓦片索引的图像的具体像素点坐标位置；(lng,lat)为世界坐标系中的经纬度信息。
在图3的基础上，当目标物为果树或田地时，关于S103中的内容，本申请实施例还提供了一种可能的实现方式，请参考图5，S103还包括：
S103-2，依据目标检测算法获取果树在正射影像中的半径和中心点坐标。
可选地，目标检测算法用于检测果树在正射影像中的半径和中心点坐标，在一种可能的实现方式中，目标检测算法还用于检测果树在正射影像的瓦片数据中的半径和中心点坐标。
S103-3，依据果树的半径和中心点坐标，确定果树的像素坐标轮廓边界信息。
可选地，以中心点为圆心，按照半径大小可以确定果树的像素坐标轮廓边界信息。
S103-4，依据图像分割算法获取田地在正射影像中的像素坐标轮廓边界信息。
在一种可能的实现方式中，图像分割算法还用于田地在正射影像的瓦片数据中的像素坐标轮廓边界信息，即田地的边缘轮廓对应的所有像素点的像素坐标。
在图2的基础上，关于S101中的内容，本申请实施例还提供了一种可能的实现方式，请参考图6，S101包括：
S101-1，将待标注的点云数据作为语义分割模型的输入，获得点云数据中每一个点的预识别类型和对应的置信度。
例如，点A的预识别类型为房屋，对应的置信度为90％。
S101-2，将第一类型点的预识别类型确定为语义识别类型。
其中，第一类型点为置信度大于或等于第一置信度阈值的点。
可选地，第一置信度阈值为75％。点A的预识别类型为房屋，对应的置信度为90％，大于75％，所以点A为第一类型点，点A语义识别类型可以确定为房屋。
S101-3，将第二类型点的预识别类型删除。
其中，第二类型点为置信度小于第一置信度阈值的点。
例如，点B的预识别类型为池塘，对应的置信度为60％，小于75％，所以点B为第二类型点，将点B的预识别类型删除。
S101-4，依据搜索区域内的第一类型点的语义识别类型，确定第二类型点的语义识别类型，以获得第一标注结果。
其中，搜索区域为第二类型点周围预设大小的区域。继续参考上例点B，搜索与点B的距离小于预设距离阈值的所有第一类型的点，搜索区域为以点B为中心，且与点B的距离小于预设距离阈值的范围。
在图6的基础上，对于S101-4中的内容，本申请实施例还提供了一种可能的实现方式，请参考图7，S101-4包括：
S101-4-A，判断搜索区域内语义识别类型相同的第一类型点的数量是否超过第二数量阈值。若是，则执行S101-4-B，若否，则执行S101-4-C。
假设待确定语义识别类型的第二类型点的为点B，点B对应的搜索区域内语义识别类型为房屋的点的数量为X，X大于第二数量阈值，则可执行S101-4-B，将点B对应的语义识别类型确定为房屋。反之，搜索区域内语义识别类型相同的第一类型点的数量均未超过第二数量阈值时，则将执行S101-4-C。
S101-4-B，将语义识别类型确定为第二类型点的语义识别类型。
S101-4-C，将第二类型点的语义识别类型标注为其他。
可选地，在点B对应的搜索区域内存在多种语义识别类型相同的第一类型点的数量超过第二数量阈值的情况下，例如当点B对应的搜索区域内语义识别类型为房屋的点的数量为X，当点B对应的搜索区域内语义识别类型为池塘的点的数量为Y，X大于第二数量阈值，Y大于第二数量阈值。依据语义识别类型相同的第一类型点的总数量和平均置信度筛选出最接近的类型，将最接近的类型确定为第二类型点的语义识别类型。例如，X大于Y，且搜索区域内语义识别类型为房屋的点的平均置信度大于搜索区域内语义识别类型为池塘的平均置信度，可将点B的语义识别类型确定为房屋。
需要说明的是，本申请实施例中，第一标注结果所包含的类型与第二标注结果所包含的类型可以重复，也可以不重复。例如，第二标注结果对应的目标物为果树和田地时，第二标注结果所包含的类型为果树和田地。语义分割模型在对点云数据进行语义分割时，可以将类型疑似为果树和田地的点标注为其他或未识别，也可以将类型疑似为果树和田地的点标注为果树和田地。
当语义分割模型在对点云数据进行语义分割时，可以将类型疑似为果树和田地的点标注为其他或未识别，简化了模型功能，降低了模型的运算量，从而提升语义分割模型的运算效率。
在一种可能的实现方式中，利用人工标注的方法获得少数带有N种类别的标注信息的点云数据，N种类别可以不包括果树与田地两种类别，也可以包括果树与田地两种类别；采用深度学习语义分割的方法对标注的数据进行训练，获得相应的语义分割模型。
本申请实施例中的点云数据，可以通过三维重建技术对应无人机或其他飞行设备所获取的视频图像进行处理，以获取点云数据。
在图2的基础上，关于如何优化语义分割模型进，本申请实施例还提供了一种可能的实现方式，请参考图8，点云数据标注方法还包括：
S108，依据点云标注数据对语义分割模型进行训练。
可选地，通过点云标注数据对语义分割模型进行训练，提升语义分割模型的类型识别的准确率，从而可以达到二维图像识别技术对目标物识别的准确程度，综合提升语义分割模型的类型识别的准确率。
请参阅图9，图9为本申请实施例提供的一种点云数据标注装置，可选的，该点云数据标注装置被应用于上文所述的电子设备。
点云数据标注装置包括：处理单元201和融合单元202。
处理单元201，用于将待标注的点云数据作为语义分割模型的输入，以获得第一标注结果，其中，第一标注结果包括点云数据中每一个点的语义识别类型。
处理单元201还用于获取正射影像中的目标物，其中，正射影像为与点云数据对应的二维图像数据。
处理单元201还用于将目标点的类型标注为目标类型，以获取第二标注结果，其中，目标点为待标注的点云数据中与目标物对应的点，目标类型为目标物对应的类型。
可选地，处理单元201可以执行上述的S101、S102和S106。
融合单元202，用于对第一标注结果与第二标注结果进行融合，以得到最终的点云标注数据。
可选地，融合单元202可以执行上述的S107。
处理单元201还用于获取目标物在正射影像中的像素坐标轮廓边界信息；将像素坐标轮廓边界信息转换为世界坐标系中的三维边界信息，其中，世界坐标系为点云数据对应的坐标系；依据坐标区域值筛选法确定目标点，其中，目标点位于三维边界信息内。可选地，处理单元201可以执行上述的S103-S105。
处理单元201还用于获取正射影像的瓦片数据；获取瓦片数据中的目标物。可选地，处理单元201可以执行上述的S102-1和S102-2。
处理单元201还用于获取目标物在瓦片数据中的像素坐标轮廓边界信息。可选地，处理单元201可以执行上述的S1013-1。
当目标物为果树时，处理单元201还用于依据目标检测算法获取果树在正射影像中的半径和中心点坐标；依据果树的半径和中心点坐标，确定果树的像素坐标轮廓边界信息。
当目标物为田地时，处理单元201还用于依据图像分割算法获取田地在正射影像中的像素坐标轮廓边界信息。
可选地，处理单元201可以执行上述的S103-2至S103-4。
处理单元还201用于将待标注的点云数据作为语义分割模型的输入，获得点云数据中每一个点的预识别类型和对应的置信度；将第一类型点的预识别类型确定为语义识别类型，其中，第一类型点为置信度大于或等于第一置信度阈值的点；将第二类型点的预识别类型删除，其中，第二类型点为置信度小于第一置信度阈值的点；依据搜索区域内的第一类型点的语义识别类型，确定第二类型点的语义识别类型，其中，搜索区域为第二类型点周围预设大小的区域。可选地，处理单元201可以执行上述的S101-1至S101-4。
处理单元201还用于判断搜索区域内语义识别类型相同的第一类型点的数量是否超过第二数量阈值；若是，则将语义识别类型确定为第二类型点的语义识别类型。可选地，处理单元201可以执行上述的S101-4-A至101-4-B。
处理单元201还用于依据点云标注数据对语义分割模型进行训练。可选地，处理单元201可以执行上述的S108。
需要说明的是，本实施例所提供的点云数据标注装置，其可以执行上述方法流程实施例所示的方法流程，以实现对应的技术效果。为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。
本申请实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机指令、程序，该计算机指令、程序在被读取并运行时执行上述实施例的点云数据标注方法。该存储介质可以包括内存、闪存、寄存器或者其结合等。
下面提供一种电子设备，可以是计算机设备或飞行设备，该电子设备如图1所示，可以实现上述的点云数据标注方法；具体的，该电子设备包括：处理器10，存储器11、总线12。处理器10可以是CPU。存储器11用于存储一个或多个程序，当一个或多个程序被处理器10执行时，执行上述实施例的点云数据标注方法。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种点云数据标注方法，其特征在于，所述方法包括：
将待标注的点云数据作为语义分割模型的输入，以获得第一标注结果，其中，所述第一标注结果包括所述点云数据中每一个点的语义识别类型；
获取正射影像中的目标物，其中，所述正射影像为与所述点云数据对应的二维图像数据；
将目标点的类型标注为目标类型，以获取第二标注结果，其中，所述目标点为所述待标注的点云数据中与所述目标物对应的点，所述目标类型为所述目标物对应的类型；
对所述第一标注结果与所述第二标注结果进行融合，以得到最终的点云标注数据。
2.如权利要求1所述的点云数据标注方法，其特征在于，在所述获取正射影像中的目标物之后，所述方法包括：
获取目标物在正射影像中的像素坐标轮廓边界信息；
将所述像素坐标轮廓边界信息转换为世界坐标系中的三维边界信息，其中，所述世界坐标系为所述点云数据对应的坐标系；
依据坐标区域值筛选法确定所述目标点，其中，所述目标点位于所述三维边界信息内。
3.如权利要求2所述的点云数据标注方法，其特征在于，所述获取正射影像中的目标物的步骤，包括：
获取所述正射影像的瓦片数据；
获取所述瓦片数据中的目标物；
所述获取目标物在正射影像中的像素坐标轮廓边界信息的步骤，包括；
所述获取目标物在所述瓦片数据中的像素坐标轮廓边界信息。
4.如权利要求2所述的点云数据标注方法，其特征在于，当所述目标物为果树时，所述获取目标物在正射影像中的像素坐标轮廓边界信息的步骤，包括：
依据目标检测算法获取所述果树在正射影像中的半径和中心点坐标；
依据所述果树的半径和中心点坐标，确定所述果树的像素坐标轮廓边界信息；
当所述目标物为田地时，所述获取目标物在正射影像中的像素坐标轮廓边界信息的步骤，包括：
依据图像分割算法获取田地在正射影像中的像素坐标轮廓边界信息。
5.如权利要求1所述的点云数据标注方法，其特征在于，所述将待标注的点云数据作为语义分割模型的输入，以获得第一标注结果的步骤，包括：
将待标注的点云数据作为语义分割模型的输入，获得所述点云数据中每一个点的预识别类型和对应的置信度；
将第一类型点的预识别类型确定为语义识别类型，其中，所述第一类型点为所述置信度大于或等于第一置信度阈值的点；
将第二类型点的预识别类型删除，其中，所述第二类型点为所述置信度小于第一置信度阈值的点；
依据搜索区域内的第一类型点的语义识别类型，确定所述第二类型点的语义识别类型，其中，所述搜索区域为所述第二类型点周围预设大小的区域。
6.如权利要求5所述的点云数据标注方法，其特征在于，依据搜索区域内的第一类型点的语义识别类型，确定所述第二类型点的语义识别类型的步骤，包括：
判断搜索区域内语义识别类型相同的第一类型点的数量是否超过第二数量阈值；
若是，则将所述语义识别类型确定为所述第二类型点的语义识别类型。
7.如权利要求1所述的点云数据标注方法，其特征在于，所述方法还包括：
依据所述点云标注数据对所述语义分割模型进行训练。
8.一种点云数据标注装置，其特征在于，所述装置包括：
处理单元，用于将待标注的点云数据作为语义分割模型的输入，以获得第一标注结果，其中，所述第一标注结果包括所述点云数据中每一个点的语义识别类型；
所述处理单元还用于获取正射影像中的目标物，其中，所述正射影像为与所述点云数据对应的二维图像数据；
所述处理单元还用于将目标点的类型标注为目标类型，以获取第二标注结果，其中，所述目标点为所述待标注的点云数据中与所述目标物对应的点，所述目标类型为所述目标物对应的类型；
融合单元，用于对所述第一标注结果与所述第二标注结果进行融合，以得到最终的点云标注数据。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，实现如权利要求1-7中任一项所述的方法。
CN202110528422.6A 2021-05-14 2021-05-14 一种点云数据标注方法、装置、存储介质及电子设备 Pending CN113240009A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110528422.6A CN113240009A (zh) 2021-05-14 2021-05-14 一种点云数据标注方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110528422.6A CN113240009A (zh) 2021-05-14 2021-05-14 一种点云数据标注方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN113240009A true CN113240009A (zh) 2021-08-10

Family

ID=77134294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110528422.6A Pending CN113240009A (zh) 2021-05-14 2021-05-14 一种点云数据标注方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113240009A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674287A (zh) * 2021-09-03 2021-11-19 阿波罗智能技术(北京)有限公司 高精地图的绘制方法、装置、设备以及存储介质
CN114168554A (zh) * 2022-02-14 2022-03-11 山东信通电子股份有限公司 一种基于输电线路的点云标注文件同步方法及设备
CN114298581A (zh) * 2021-12-30 2022-04-08 广州极飞科技股份有限公司 质量评估模型生成方法、质量评估方法、装置、电子设备和可读存储介质
CN114821248A (zh) * 2022-07-01 2022-07-29 深圳大学 面向点云理解的数据主动筛选标注方法和装置
CN114964210A (zh) * 2022-05-19 2022-08-30 中国第一汽车股份有限公司 地图绘制方法、装置、计算机设备及存储介质
CN115827906A (zh) * 2022-12-22 2023-03-21 深圳市镭神智能系统有限公司 目标标注方法、装置、电子设备及计算机可读存储介质
CN115965927A (zh) * 2023-03-16 2023-04-14 杭州枕石智能科技有限公司 一种路面信息提取方法、装置、电子设备及可读存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674287A (zh) * 2021-09-03 2021-11-19 阿波罗智能技术(北京)有限公司 高精地图的绘制方法、装置、设备以及存储介质
CN114298581A (zh) * 2021-12-30 2022-04-08 广州极飞科技股份有限公司 质量评估模型生成方法、质量评估方法、装置、电子设备和可读存储介质
CN114168554A (zh) * 2022-02-14 2022-03-11 山东信通电子股份有限公司 一种基于输电线路的点云标注文件同步方法及设备
CN114168554B (zh) * 2022-02-14 2022-05-20 山东信通电子股份有限公司 一种基于输电线路的点云标注文件同步方法及设备
CN114964210A (zh) * 2022-05-19 2022-08-30 中国第一汽车股份有限公司 地图绘制方法、装置、计算机设备及存储介质
CN114821248A (zh) * 2022-07-01 2022-07-29 深圳大学 面向点云理解的数据主动筛选标注方法和装置
CN115827906A (zh) * 2022-12-22 2023-03-21 深圳市镭神智能系统有限公司 目标标注方法、装置、电子设备及计算机可读存储介质
CN115827906B (zh) * 2022-12-22 2023-11-10 深圳市镭神智能系统有限公司 目标标注方法、装置、电子设备及计算机可读存储介质
CN115965927A (zh) * 2023-03-16 2023-04-14 杭州枕石智能科技有限公司 一种路面信息提取方法、装置、电子设备及可读存储介质
CN115965927B (zh) * 2023-03-16 2023-06-13 杭州枕石智能科技有限公司 一种路面信息提取方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN113240009A (zh) 一种点云数据标注方法、装置、存储介质及电子设备
Kakooei et al. Fusion of satellite, aircraft, and UAV data for automatic disaster damage assessment
WO2019214372A1 (zh) 地面标志提取的方法、模型训练的方法、设备及存储介质
CN106951830B (zh) 一种基于先验条件约束的图像场景多对象标记方法
Dai et al. Building segmentation and outline extraction from UAV image-derived point clouds by a line growing algorithm
CN112949366B (zh) 障碍物识别方法和装置
CN108986125B (zh) 物体边缘提取方法、装置及电子设备
Xiao et al. Treetop detection using convolutional neural networks trained through automatically generated pseudo labels
CN110969592B (zh) 图像融合方法、自动驾驶控制方法、装置和设备
CN110443242B (zh) 读数框检测方法、目标识别模型训练方法及相关装置
CN110390228B (zh) 基于神经网络的交通标志图片识别方法、装置及存储介质
WO2021088504A1 (zh) 路口检测、神经网络训练及智能行驶方法、装置和设备
CN113989744A (zh) 一种基于超大尺寸高分辨图像的行人目标检测方法及系统
CN107578003B (zh) 一种基于地理标记图像的遥感图像迁移学习方法
CN111967449B (zh) 文本检测方法、电子设备及计算机可读介质
CN114419599A (zh) 障碍物识别方法、装置及电子设备
Xi et al. Detecting individual-tree crown regions from terrestrial laser scans with an anchor-free deep learning model
Koc-San et al. A model-based approach for automatic building database updating from high-resolution space imagery
CN111860623A (zh) 基于改进ssd神经网络的统计树木数量的方法及系统
Beglov Object information based on marker recognition
CN112528918A (zh) 道路元素识别方法、地图标注方法及装置、车辆
CN113505653B (zh) 目标检测方法、装置、设备、介质及程序产品
CN112699711B (zh) 车道线检测方法、装置、存储介质及电子设备
CN112348876A (zh) 一种标志牌的空间坐标获取方法及装置
CN110826568A (zh) 基于路标的室内定位方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination