CN110751090A - 一种三维点云标注方法、装置及电子设备 - Google Patents

一种三维点云标注方法、装置及电子设备 Download PDF

Info

Publication number
CN110751090A
CN110751090A CN201910993091.6A CN201910993091A CN110751090A CN 110751090 A CN110751090 A CN 110751090A CN 201910993091 A CN201910993091 A CN 201910993091A CN 110751090 A CN110751090 A CN 110751090A
Authority
CN
China
Prior art keywords
point cloud
labeling
dimensional point
dimensional
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910993091.6A
Other languages
English (en)
Other versions
CN110751090B (zh
Inventor
赵捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Boden Intelligent Technology Co Ltd
Original Assignee
Ningbo Boden Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Boden Intelligent Technology Co Ltd filed Critical Ningbo Boden Intelligent Technology Co Ltd
Priority to CN201910993091.6A priority Critical patent/CN110751090B/zh
Publication of CN110751090A publication Critical patent/CN110751090A/zh
Application granted granted Critical
Publication of CN110751090B publication Critical patent/CN110751090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种三维点云标注方法、装置及电子设备，其中，所述标注方法包括以下步骤：获取三维点云数据，且将所述三维点云数据的格式转化为指定格式；对所述指定格式的所述三维点云数据进行预处理；将预处理后的所述三维点云数据输入指定的GPU服务器的指定微服务中，其中，所述微服务运行有预先训练好的点云标注网络模型，且根据所述微服务的所述点云标注网络模型对所述预处理后的所述三维点云数据进行标注；获取所述微服务反馈的关于所述三维点云数据的标注结果。本发明可自动对预处理后的三维点云数据进行标注，方便、快捷、准确且高效，且将标注的过程放置于GPU服务器中，减少本地的运行负荷。

Description

一种三维点云标注方法、装置及电子设备
技术领域
本发明涉及三维点云语义标注领域，特别是涉及一种三维点云标注方法、装置及电子设备。
背景技术
目前无人驾驶已经到了L3级落地的阶段，各个汽车主机厂，自动驾驶初创公司，以及汽车系统供应商和各大院校研发机构都已经将落地列为当前的工作重心。自动驾驶中最核心的功能模块是由感知层，决策层以及控制层组成。感知层主要组成部分有：激光雷达，毫米波雷达，视觉常感器等设备对于周边环境进行信息获取。无人驾驶上的检测系统根据采集进来的图像，三维点云等数据进行目标检测，场景分割等识别方法获得无人驾驶车对于周边环境的理解，从而可以实现诸如自主巡航、自动换道、交通标志识别、堵车自动驾驶、高速代驾等具体功能。不同于视觉传感器，激光雷达可以有效提升车辆对于外部环境感知建模的精准度。综合各种研究和实践操作，激光雷达在自动驾驶的关键技术主要分为点云分割、道路提取、环境建模、障碍物探测与追踪以及多种传感器的信息融合。由激光雷达生产的点云数据量每秒可达上百万个，普通的聚类算法无法满足数据实时性计算的要求。点云分割，是指为了快速提取有用的物体信息，根据点云分布的整体特征和局部特征，将点云进行分割，从而形成多个独立的子集。每个子集的期望是每个子集均对应将拥有物理意义的感知目标，并反映出目标物体的几何及位姿特征。点云分割，是保证激光雷达后续目标分类和跟踪性能的重要基础。目前基于深度学习的点云分割和物体检测的方法正在盛行。
一般情况下，深度神经网络要求输入信息具有规范化的格式，比如二维的图像，时序性的语音等。而原始的三维点云数据往往是空间中的一些无序点集，假设某一个点云中包含N个三维点，每一个点用(x,y,z)三维坐标表示，即使不考虑遮挡，视角等变化，单就这些点的先后顺序排列组合，就有N！种可能。因此，我们需要设计一个函数，使得函数值与输入数据的顺序无关。
而在实际的数据标注中，对于深度神经网络的训练需要大量标注过的数据。而目前市面上针对三维点云数据的标注大部分都是手动进行的。标注员工在操作时候会出现大量的错检、漏检、以及精度无法保证的情况。为了解决目前市面上的这个“痛点”，一种结合深度学习算法的自动标注工具就成了必须。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种三维点云标注方法、装置及电子设备，用于解决现有技术中不能自动且较为准确的对三维点云进行标注等的问题。
为实现上述目的及其他相关目的，本发明提供一种三维点云标注方法，所述标注方法包括以下步骤：获取三维点云数据，且将所述三维点云数据的格式转化为指定格式；对所述指定格式的所述三维点云数据进行预处理；将预处理后的所述三维点云数据输入指定的GPU服务器的指定微服务中，其中，所述微服务运行有预先训练好的点云标注网络模型，且根据所述微服务的所述点云标注网络模型对所述预处理后的所述三维点云数据进行标注；获取所述微服务反馈的关于所述三维点云数据的标注结果。
在一些实施例中，所述标注方法还包括对所述三维点云数据的标注结果进行可视化显示的步骤。
在一些实施例中，所述标注方法还包括对所述可视化显示的三维点云数据的标注结果进行调整的步骤。
在一些实施例中，所述对所述可视化显示的三维点云数据的标注结果进行调整的方式包括以下中的一种：方式一：对所述可视化显示的三维点云数据的标注结果中偏差的标注数据进行手动调整，以分配正确的类别；方式二：对所述点云标注网络模型的三维拉框的坐标和转向信息进行修正；方式三：对所述点云标注网络模型的漏检目标物体进行补漏或对所述点云标注网络模型的误检目标物体进行删除；
在一些实施例中，所述标注方法还包括：根据自动贴边算法对所述三维点云数据的标注结果进行调整。
在一些实施例中，将调整后获得的三维点云数据的标注结果反馈至所述点云标注网络模型，以对所述点云标注网络模型进行完善。
在一些实施例中，对所述点云标注网络模型的训练还包括：提取所述指定格式的所述三维点云数据中的三维拉框信息，其中，所述三维框信息包括三维拉框坐标信息和对应所述三维拉框坐标信息的左视二维框信息和右视二维框信息；读取所有的所述指定格式的所述三维点云数据，且将符合预设的分类种类的三维拉框信息进行配置。
在一些实施例中，预先根据获取的三维点云数据和预设的分类信息，训练获取所述点云标注网络模型，且将所述点云标注网络模型发送至指定的所述GPU服务器的指定所述微服务中。
为实现上述目的及其他相关目的，本发明还提供一种三维点云标注装置，所述标注装置包括：数据获取模块，用以获取三维点云数据，且将所述三维点云数据的格式转化为指定格式；预处理模块，用以对所述指定格式的所述三维点云数据进行预处理；发送模块，用以将预处理后的所述三维点云数据输入指定的GPU服务器的指定微服务中，其中，所述微服务运行有预先训练好的点云标注网络模型，且用以根据所述微服务的所述点云标注网络模型对所述预处理后的所述三维点云数据进行标注；标注结果获取模块，所述微服务反馈的关于所述三维点云数据的标注结果。
为实现上述目的及其他相关目的，本发明还提供一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行如上任一项所述三维点云标注方法。
如上所述，本发明提供一种三维点云标注方法、装置及电子设备，其中，所述标注方法包括以下步骤：获取三维点云数据，且将所述三维点云数据的格式转化为指定格式；对所述指定格式的所述三维点云数据进行预处理；将预处理后的所述三维点云数据输入指定的GPU服务器的指定微服务中，其中，所述微服务运行有预先训练好的点云标注网络模型，且根据所述微服务的所述点云标注网络模型对所述预处理后的所述三维点云数据进行标注；获取所述微服务反馈的关于所述三维点云数据的标注结果。本发明可自动对预处理后的三维点云数据进行标注，方便、快捷、准确且高效，且将标注的过程放置于GPU服务器中，减少本地的运行负荷。
附图说明
图1显示为本发明的三维点云标注方法在一具体实施例中的流程示意图。
图2显示为本发明的三维点云标注方法在一具体实施例中的流程示意图。
图3显示为本发明一具体实施例中三维框定位方法图。
图4显示为本发明一具体实施例中点云数据预处理前的效果图。
图5显示为本发明一具体实施例中点云数据预处理后的效果图。
图6显示为本发明的三维点云标注装置在一具体实施例中的组成示意图。
图7显示为本发明的电子设备在一具体实施例中的组成示意图。
元件标号说明
1 三维点云标注装置
11 数据获取模块
12 预处理模块
13 发送模块
14 标注结果获取模块
2 电子设备
21 处理器
22 存储器
S11～S14 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，显示为本发明的三维点云标注方法在一具体实施例中的流程示意图。所述三维点云标注方法S1包括以下步骤：
S11：获取三维点云数据，且将所述三维点云数据的格式转化为指定格式；所述指定格式例如为pcd格式。
S12：对所述指定格式的所述三维点云数据进行预处理；对所述三维点云数据进行预处理的步骤包括：当点过于稀疏时采用上采样的方法增加点数，当点数过于稠密时可以用下采样的方式减少相应的点云数，以求三维点云均匀分布在整个平面。
S13：将预处理后的所述三维点云数据输入指定的GPU服务器的指定微服务中，其中，所述微服务运行有预先训练好的点云标注网络模型，且根据所述微服务的所述点云标注网络模型对所述预处理后的所述三维点云数据进行标注；即在本发明中，将点云标注网络模型部署在GPU服务器中，且GPU服务器中的每个微服务可对应形成一种算法，形成一个docker算法配置模式。其中，docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。将算法部署在了GPU算法服务器上面，这样的好处是节省了每台标注电脑的硬件开销，只需要投入一台服务器，节省了几十台或者上百台的标注电脑的GPU支出，减轻每个标注员工电脑的负荷，我们将每一个算法都放入了微服务(docker)中，在每个微服务中，我们可以根据需求配置环境变量，这样的好处是解决了各种模型，各个版本中不同环境配置的问题。
S14：获取所述微服务反馈的关于所述三维点云数据的标注结果。
在一些实施例中，所述标注方法S1还包括对所述三维点云数据的标注结果进行可视化显示的步骤。例如，在一些实施例中，开发一套基于NET架构的可视化标注界面和点云数据可视化界面，可以将所述pcd格式的所述三维点云数据读取进来后，基于形成的所述标注结果进行可视化显示。
在一些实施例中，所述标注方法还可包括对所述可视化显示的三维点云数据的标注结果进行调整的步骤。
其中，所述对所述可视化显示的三维点云数据的标注结果进行调整的方式包括以下中的一种：
方式一：对所述可视化显示的三维点云数据的标注结果中偏差的标注数据进行手动调整，以分配正确的类别；
方式二：对所述点云标注网络模型的三维拉框的坐标和转向信息进行修正；
方式三：对所述点云标注网络模型的漏检目标物体进行补漏或对所述点云标注网络模型的误检目标物体进行删除。
在一些实施例中，所述标注方法S1还包括：根据自动贴边算法对所述三维点云数据的标注结果进行调整。
为了加强点云标注网络模型的鲁棒性，还可将调整后获得的三维点云数据的标注结果反馈至所述点云标注网络模型，以对所述点云标注网络模型进行完善。
对所述点云标注网络模型的训练包括提取所述三维点云数据的三维框的步骤；
其中，所述根据自动贴边算法对所述三维点云数据的标注结果进行调整的步骤还包括：
令原三维框里面所有框选的点为：χ1,χ2,...,χn∈Rd，其中，其中，Rd表示d维的实数空间；
根据最小二乘法方式结合下述公式获取关于所述三维点云数据的超平面，其中公式为：
Figure BDA0002238894030000051
其中，c为上述原三维框里面框选的各点的中心点，i为当前点的标号；m是各点到c点的最小值。
根据所述中心点和所述超平面，生成贴近所述原三维框内所有点云数据的新三维框，以根据所述新三维框对所述三维点云数据的标注结果进行完善。
在一些实施例中，所述点云标注网络模型的训练依次包括对RPN网络的训练和对RCNN网络的训练。所述点云标注网络模型训练出来后，被放置于GPU算法服务器的微服务容器中，用户只需要将点云数据发到相应服务器，服务器完成预测后将结果返回给客户端。
在一些实施例中，对所述点云标注网络模型的训练过程中对以下物体中的一种或多种进行分类和语义分割：小汽车、卡车、行人以及骑车的人。
在一些实施例中，对所述点云标注网络模型的训练还包括：
提取所述pcd格式的所述三维点云数据中的三维拉框信息，其中，所述三维框信息包括三维拉框坐标信息和对应所述三维拉框坐标信息的左视二维框信息和右视二维框信息；
读取所有的所述pcd格式的所述三维点云数据，且将符合预设的分类种类的三维拉框信息进行配置。
在一些实施例中，预先根据获取的三维点云数据和预设的分类信息，训练获取所述点云标注网络模型，且将所述点云标注网络模型发送至指定的所述GPU服务器的指定所述微服务中。
在一些实施例中，所述获取的所述三维点云数据根据3D激光雷达发射的多线束获得。其中，所述3D激光雷达发射的所述多线束的水平视野范围为360°，所述3D激光雷达发射的所述多线束的垂直视野范围为40°，所述3D激光雷达发射的射程可达300米。
在一些实施例中，对所述三维点云数据进行预处理的步骤还包括对所述三维点云数据进行前后景提取。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以下结合具体实例对本发明进行进一步的说明，本发明的目的在于提供一种针对三维点云的自动拉框标注方法，解决了目前自动驾驶行业中最棘手的数据标注问题。尤其是因为点云的弱可视性以及难可读性的问题，导致人工标注中产生的漏检、误检从而导致效率低下的问题。如图2所示，该具体实施例包括以下步骤：
步骤1、将生成的三维点云数据从bin格式转化为pcd格式，这样便于标注软件将其读入。该三维点云数据均来自于3D激光雷达的多线束，其中它的水平和垂直视野范围分别为：360°和40°，水平射程可以达到300米。
步骤2、对pcd里面的点云数据进行预处理，当点过于稀疏时采用上采样的方法增加点数，当点数过于稠密时可以用下采样的方式减少相应的点云数，以求点云均匀分布在整个平面。且将预处理后的数据发送到GPU服务器中。
其中，还可对所述三维点云数据进行前后景提取的预处理，其中的损失函数计算如(1)所示：
Lfore(pu)＝-αu(1-pu)βlog(pu) (1)
其中，
Figure BDA0002238894030000071
Lfore(pu)是(1)中的损失函数，αu和β分别是(1)中的权重系数，例如在一具体实施例中，αu可取0.25，β可取2。
如图3所示，显示为本发明一具体实施例中三维框定位方法图。该三维框定位运行于一激光雷达坐标系中。其中，包括目标bin、目标中心、前景点以及兴趣点。图3中，可看到，包括三个小汽车指示的目标中心，图3为俯视图，图中各目标中心均包括x轴和z轴的坐标。具体实现方法是：对于每一个目标物体的中心点，我们采取的是把前景点的周围划分到不同的盒子中，然后对每个前景点的x和z轴设置一个搜索域，通过结合每个盒子的标准长度估计不同物体的中心位置。最后结合交叉熵的方法，我们可以获得最佳的兴趣点的位置。
如图4显示为本发明一具体实施例中点云数据预处理前的效果图。在数据预处理前，点云数据没有经过算法识别，软件提供了对于原始点云数据的可视化效果。
如图5显示为本发明一具体实施例中点云数据预处理后的效果图。本图中，有三辆小汽车被三维矩形框框住，这是基于深度学习算法的结果，产生的结果如图所示，一个紧紧贴住小汽车的x y z三个方向的矩形框将其框住，并且记录下了该物体的中心点坐标。
步骤3、读取nuScenes中的pcd格式的点云数据，且对pcd格式的点云数据进行预处理，并且基于其数据集中的真值文件结合其对应的点云数据文件对PointRCNN的模型进行预训练，采用特定的损失函数作为目标直到其精度不再显著提升时，可以结束整个深度学习框架的训练，保存其相对应的最优神经网络参数。其中，nuScenes为nuTonomy与Scale发布的一款自动驾驶数据集，其数据集不论从容量还是精度上讲都非常强大，初创公司Scale为nuScenes提供注释。NuTonomy编译了1000多个场景，涵盖了140万张图片，经历了40万次激光雷达扫描。
其中，步骤3具体还包括：
步骤31：对于RPN(区域候选网络)，在训练中输入的是点云数据，包括了batch大小，点云数量和通道数；
步骤32：步骤31中的RPN(区域候选网络)输出是每个点的x，y，z坐标和每个框的分类结果以及其对应的框的回归结果；
步骤33：对于RPN中候选层，输入是每个点的回归和其分类，输出是每个batch中的512个框的roi(候选的区域)；
步骤34：对于R-CNN(候选区域的深度神经网络)网络结构，其输入是候选区域、三维框候选、三维坐标、分割的多边形框、深度和特征，输出结果是所有检测到的目标物体的分类和回归属性；
步骤35：因为该网络结构是两步式结构的网络，训练过程主要分成两步：第一步是先训练RPN网络，第二步是训练RCNN网络。
步骤4、在训练中，我们规定了诸如对于小汽车，卡车，行人，骑车的人等物体进行分类和语义分割，所以为了检验训练结果，我们使用了PCL(point cloud library)库对于其可视化在python中进行了开发，然后结合真值进行结果的可视化比对。
步骤4具体可包括：
步骤41：提取nuScenes数据集中的三维拉框坐标信息和其对应的左视和右视二维视图的二维框的信息，根据步骤4中分类的要求，提取相关分类信息；
步骤42：读取所有的点云数据，将符合要求的目标三维框信息和分类进行配置；
步骤43：所述分类类别包括了小汽车，卡车，行人，骑车的人以及地面；
步骤44：将模型部署到GPU服务器中的一个微服务当中(docker)；
步骤45：标注员工选择要标注的pcd文件，通过发送网络请求将文件发送到GPU服务器中对应的微服务中，微服务将pcd文件进行自动三维框的预测，并且将结果保存在json文件中返回到标注员工电脑。
步骤5、训练好的神经网络模型会被放置于GPU算法服务器中，在其中应用微服务的应用把算法放置进去形成一种算法，一个docker算法配置模式。
步骤6、本发明还开发了一套基于NET架构的可视化标注界面和点云数据可视化界面，可以将pcd数据读取进来后，基于生成的标注结果进行可视化显示。
步骤7、因为目前的模型精度最高只能达到90％，所以标注员工还需要在标注软件上进行精细地改进，已达到尽量100％的准确率。
步骤8、因为目前的模型还不完善，为了加强模型的鲁棒性，步骤6中所标注的数据可以为步骤3中的算法作为输入，进一步加强神经网络模型的预测能力，形成一个人机共生的标注回圈。
进一步的，该三维点云标注方法还包括人工检验和修正的步骤9，具体为：
步骤91：将模型预测中偏差的标注数据进行手动类别修正，给予其相应的类别标签；
步骤92：将模型预测中偏差的维拉框的坐标和转向信息进行修正；
步骤93：将模型预测中存在的漏检和误检的目标物体进行补漏或者删除。
在另一些实施例中，该三维点云标注方法的人工检验和修正的步骤还可包括以下所列：
通过模型预测的三维框选类别，可以更新预测的结果。
通过调整三维框的旋转方向，可以更新物体前进的方向。
通过调整三维框的顶点位置，可以更新检测物体的三维坐标大小。
通过调整三维框的顶点位置，可以过滤掉来自其他物体的杂点。
通过聚类算法的实现，可以过滤掉地面点。过滤地面点采取了聚类分析的方法，通过判断点与点之间的距离和高度信息来进行地面点的分割。
该三维点云标注方法还包括基于pcd的点云法向量估计步骤10，首先需要通过利用该点的近邻点估计出一个平面，然后就能计算出该点的法向量。具体包括：
步骤101：假设我们三维框里面所有框选的点：χ1,χ2,...,χn∈Rd，其中，其中，Rd表示d维的实数空间，c为上述各点的中心点；
步骤101：然后根据下述最小二乘法的方程(2)来找到其超平面：
Figure BDA0002238894030000091
，其中，方程(2)中，i为当前点的标号；m是各点到c点的最小值。这里就要根据主分量分析的方法来找到m的最小值。其所生成的中心点和三个超平面可以有效地将框内所有点框选在一个三维框中。
步骤102：计算的中心点和三个超平面，系统就能自动再次生成一个贴近框内所有点云的三维框，完善最后的标注结果。即根据自动贴别算法保证计算的精确度。该完善后的标注结果可以为步骤3中的算法作为输入，进一步加强神经网络模型的预测能力。
本发明的三维点云标注方法具有以下优点和益处：
1.本发明基于GPU服务器的运算方式，可以大幅减少标注员工对于本地电脑的依赖，降低因为引入深度学习算法而带来的成本上升。
2.本发明设计的PointRCNN针对各种目标物体的自动三维拉框检测和类别检测，在不同测试集KITTI和nuScenes都已经测试过，可以达到85％的准确率。
3.本发明设计的标注软件，可以有效地帮助标注员工进行类别增删，三维框的顶角进行调整以及转向角度的调整。
4.本发明设计的基于聚类分析的自动贴边算法，可以有效地对于标注员工进行手动操作后进行自动贴边，将框里面的点云在x，y，z方向上贴合到最紧密状态。
5.本发明设计的基于GPU服务器进行自动预标注的方法，可以支持多个标注员工同时标注的功能，实现真正的多并发，节省标注成本。
6.本发明设计的基于主分量分析的方法自动生成贴近所有框内点云的方法，可以有效帮助标注员工进行三维框框选和框的旋转方向。
参阅图6，显示为本发明的三维点云标注装置在一具体实施例中的组成示意图。所述三维点云标注装置1包括：数据获取模块11、预处理模块12、发送模块13以及标注结果获取模块14。
所述数据获取模块11用以获取三维点云数据，且将所述三维点云数据的格式转化为pcd格式；
所述预处理模块12用以对所述pcd格式的所述三维点云数据进行预处理；
所述发送模块13用以将预处理后的所述三维点云数据输入指定的GPU服务器的指定微服务中，其中，所述微服务运行有预先训练好的点云标注网络模型，且用以根据所述微服务的所述点云标注网络模型对所述预处理后的所述三维点云数据进行标注；
所述标注结果获取模块14用以获取所述微服务反馈的关于所述三维点云数据的标注结果。
所述三维点云标注装置1为与所述三维点云标注方法S1对应的装置项，所有关于所述三维点云标注方法S1的描述均可应用于本实施例中，在此不加赘述。
参阅图7，显示为本发明的电子设备在一具体实施例中的组成示意图。所述电子设备2包括处理器21及存储器22；
所述存储器22用于存储计算机程序，所述处理器21用于执行所述存储器22存储的计算机程序，以使所述电子设备2执行如三维点云标注方法S1，所述三维点云标注方法S1参阅图1及关于图1的相关描述。所述存储器22可包括高速随机存取存储器，并且还可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中，存储器22还可以包括远离一个或多个处理器21的存储器22，例如经由RF电路或外部端口以及通信网络访问的网络附加存储器，其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)等，或其适当组合。存储器控制器可控制设备的诸如CPU和外设接口之类的其他组件对存储器22的访问。
所述处理器21可操作地与存储器22和/或非易失性存储设备耦接。更具体地，处理器21可执行在存储器22和/或非易失性存储设备中存储的指令以在计算设备中执行操作，诸如生成图像数据和/或将图像数据传输到电子显示器。如此，处理器21可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个现场可编程逻辑阵列(FPGA)、或它们的任何组合。
所述电子设备2例如为台式电脑、平板电脑、智能手机等智能数据处理设备，在具体应用中，所述电子设备2可与GPU服务器通信，具体的，所述电子设备2可将预处理后的所述三维点云数据输入指定的GPU服务器的指定微服务中，其中，所述微服务运行有预先训练好的点云标注网络模型，且根据所述微服务的所述点云标注网络模型对所述预处理后的所述三维点云数据进行标注；且所述电子设备2接收所述微服务反馈的关于所述三维点云数据的标注结果。只需要投入一台服务器，节省了几十台或者上百台的标注电脑的GPU支出，减轻每个标注员工电脑的负荷，我们将每一个算法都放入了微服务(docker)中，在每个微服务中，我们可以根据需求配置环境变量，这样的好处是解决了各种模型，各个版本中不同环境配置的问题。
综上所述，本发明提供一种三维点云标注方法、装置及电子设备，其中，所述标注方法包括以下步骤：获取三维点云数据，且将所述三维点云数据的格式转化为指定格式；对所述指定格式的所述三维点云数据进行预处理；将预处理后的所述三维点云数据输入指定的GPU服务器的指定微服务中，其中，所述微服务运行有预先训练好的点云标注网络模型，且根据所述微服务的所述点云标注网络模型对所述预处理后的所述三维点云数据进行标注；获取所述微服务反馈的关于所述三维点云数据的标注结果。本发明可自动对预处理后的三维点云数据进行标注，方便、快捷、准确且高效，且将标注的过程放置于GPU服务器中，减少本地的运行负荷。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种三维点云标注方法，其特征在于，所述标注方法包括以下步骤：
获取三维点云数据，且将所述三维点云数据的格式转化为指定格式；
对所述指定格式的所述三维点云数据进行预处理；
将预处理后的所述三维点云数据输入指定的GPU服务器的指定微服务中，其中，所述微服务运行有预先训练好的点云标注网络模型，且根据所述微服务的所述点云标注网络模型对所述预处理后的所述三维点云数据进行标注；
获取所述微服务反馈的关于所述三维点云数据的标注结果。
2.根据权利要求1所述的三维点云标注方法，其特征在于，所述标注方法还包括对所述三维点云数据的标注结果进行可视化显示的步骤。
3.根据权利要求2所述的三维点云标注方法，其特征在于，所述标注方法还包括对所述可视化显示的三维点云数据的标注结果进行调整的步骤。
4.根据权利要求3所述的三维点云标注方法，其特征在于，所述对所述可视化显示的三维点云数据的标注结果进行调整的方式包括以下中的一种：
方式一：对所述可视化显示的三维点云数据的标注结果中偏差的标注数据进行手动调整，以分配正确的类别；
方式二：对所述点云标注网络模型的三维拉框的坐标和转向信息进行修正；
方式三：对所述点云标注网络模型的漏检目标物体进行补漏或对所述点云标注网络模型的误检目标物体进行删除。
5.根据权利要求1所述的三维点云标注方法，其特征在于，所述标注方法还包括：根据自动贴边算法对所述三维点云数据的标注结果进行调整。
6.根据权利要求3或5所述的三维点云标注方法，其特征在于，将调整后获得的三维点云数据的标注结果反馈至所述点云标注网络模型，以对所述点云标注网络模型进行完善。
7.根据权利要求1所述的三维点云标注方法，其特征在于，对所述点云标注网络模型的训练还包括：
提取所述指定格式的所述三维点云数据中的三维拉框信息，其中，所述三维框信息包括三维拉框坐标信息和对应所述三维拉框坐标信息的左视二维框信息和右视二维框信息；
读取所有的所述指定格式的所述三维点云数据，且将符合预设的分类种类的三维拉框信息进行配置。
8.根据权利要求1所述的三维点云标注方法，其特征在于，预先根据获取的三维点云数据和预设的分类信息，训练获取所述点云标注网络模型，且将所述点云标注网络模型发送至指定的所述GPU服务器的指定所述微服务中。
9.一种三维点云标注装置，其特征在于，所述标注装置包括：
数据获取模块，用以获取三维点云数据，且将所述三维点云数据的格式转化为指定格式；
预处理模块，用以对所述指定格式的所述三维点云数据进行预处理；
发送模块，用以将预处理后的所述三维点云数据输入指定的GPU服务器的指定微服务中，其中，所述微服务运行有预先训练好的点云标注网络模型，且用以根据所述微服务的所述点云标注网络模型对所述预处理后的所述三维点云数据进行标注；
标注结果获取模块，所述微服务反馈的关于所述三维点云数据的标注结果。
10.一种电子设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行如权利要求1至9中任一项所述三维点云标注方法。
CN201910993091.6A 2019-10-18 2019-10-18 一种三维点云标注方法、装置及电子设备 Active CN110751090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910993091.6A CN110751090B (zh) 2019-10-18 2019-10-18 一种三维点云标注方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910993091.6A CN110751090B (zh) 2019-10-18 2019-10-18 一种三维点云标注方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110751090A true CN110751090A (zh) 2020-02-04
CN110751090B CN110751090B (zh) 2022-09-20

Family

ID=69278872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910993091.6A Active CN110751090B (zh) 2019-10-18 2019-10-18 一种三维点云标注方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110751090B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310667A (zh) * 2020-02-18 2020-06-19 北京小马慧行科技有限公司 确定标注是否准确的方法、装置、存储介质与处理器
CN111338742A (zh) * 2020-05-19 2020-06-26 北京数字绿土科技有限公司 一种点云数据的批处理方法及处理装置
CN111626217A (zh) * 2020-05-28 2020-09-04 宁波博登智能科技有限责任公司 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN111915746A (zh) * 2020-07-16 2020-11-10 北京理工大学 一种基于弱标注的三维点云目标检测方法及标注工具
CN113591888A (zh) * 2020-04-30 2021-11-02 上海禾赛科技有限公司 用于激光雷达的点云数据标注网络系统及标注方法
CN111414848B (zh) * 2020-03-19 2023-04-07 小米汽车科技有限公司 一种全类别3d障碍物检测方法、系统和介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107093210A (zh) * 2017-04-20 2017-08-25 北京图森未来科技有限公司 一种激光点云标注方法及装置
CN107783818A (zh) * 2017-10-13 2018-03-09 北京百度网讯科技有限公司 深度学习任务处理方法、装置、设备及存储介质
CN107945198A (zh) * 2016-10-13 2018-04-20 北京百度网讯科技有限公司 用于标注点云数据的方法和装置
CN108108248A (zh) * 2017-12-28 2018-06-01 郑州云海信息技术有限公司 一种实现目标检测的cpu+gpu集群管理方法、装置及设备
CN108154560A (zh) * 2018-01-25 2018-06-12 北京小马慧行科技有限公司 激光点云标注方法、装置及可读存储介质
CN108280886A (zh) * 2018-01-25 2018-07-13 北京小马智行科技有限公司 激光点云标注方法、装置及可读存储介质
US20180227974A1 (en) * 2017-02-09 2018-08-09 Solfice Research, Inc. Systems and methods for shared mixed reality experiences using digital, physical, temporal or spatial discovery services
US10169680B1 (en) * 2017-12-21 2019-01-01 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
CN109509256A (zh) * 2018-06-21 2019-03-22 华南理工大学 基于激光雷达的建筑结构自动测量及3d模型生成方法
CN109635685A (zh) * 2018-11-29 2019-04-16 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
CN109886139A (zh) * 2019-01-28 2019-06-14 平安科技（深圳）有限公司 人体检测模型生成方法、排污口异常检测方法以及装置
CN110084895A (zh) * 2019-04-30 2019-08-02 上海禾赛光电科技有限公司 对点云数据进行标注的方法和设备
CN110147787A (zh) * 2019-05-16 2019-08-20 深圳市信联征信有限公司 基于深度学习的银行卡号自动识别方法及系统
CN110210398A (zh) * 2019-06-03 2019-09-06 宁波智能装备研究院有限公司 一种三维点云语义分割标注方法
CN110263652A (zh) * 2019-05-23 2019-09-20 杭州飞步科技有限公司 激光点云数据识别方法及装置
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备
CN110298926A (zh) * 2018-03-23 2019-10-01 英特尔公司 深度几何模型拟合

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945198A (zh) * 2016-10-13 2018-04-20 北京百度网讯科技有限公司 用于标注点云数据的方法和装置
US20180227974A1 (en) * 2017-02-09 2018-08-09 Solfice Research, Inc. Systems and methods for shared mixed reality experiences using digital, physical, temporal or spatial discovery services
CN107093210A (zh) * 2017-04-20 2017-08-25 北京图森未来科技有限公司 一种激光点云标注方法及装置
CN107783818A (zh) * 2017-10-13 2018-03-09 北京百度网讯科技有限公司 深度学习任务处理方法、装置、设备及存储介质
US10169680B1 (en) * 2017-12-21 2019-01-01 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
CN108108248A (zh) * 2017-12-28 2018-06-01 郑州云海信息技术有限公司 一种实现目标检测的cpu+gpu集群管理方法、装置及设备
CN108154560A (zh) * 2018-01-25 2018-06-12 北京小马慧行科技有限公司 激光点云标注方法、装置及可读存储介质
CN108280886A (zh) * 2018-01-25 2018-07-13 北京小马智行科技有限公司 激光点云标注方法、装置及可读存储介质
CN110298926A (zh) * 2018-03-23 2019-10-01 英特尔公司 深度几何模型拟合
CN109509256A (zh) * 2018-06-21 2019-03-22 华南理工大学 基于激光雷达的建筑结构自动测量及3d模型生成方法
CN109635685A (zh) * 2018-11-29 2019-04-16 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
CN109886139A (zh) * 2019-01-28 2019-06-14 平安科技（深圳）有限公司 人体检测模型生成方法、排污口异常检测方法以及装置
CN110084895A (zh) * 2019-04-30 2019-08-02 上海禾赛光电科技有限公司 对点云数据进行标注的方法和设备
CN110147787A (zh) * 2019-05-16 2019-08-20 深圳市信联征信有限公司 基于深度学习的银行卡号自动识别方法及系统
CN110263652A (zh) * 2019-05-23 2019-09-20 杭州飞步科技有限公司 激光点云数据识别方法及装置
CN110210398A (zh) * 2019-06-03 2019-09-06 宁波智能装备研究院有限公司 一种三维点云语义分割标注方法
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JING HUANG 等: "Point Cloud Labeling using 3D Convolutional Neural Network", 《ICPR 2016》 *
SHAOSHUAI SHI 等: "PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud", 《ARXIV》 *
李闪磊: "基于点云图像的电力设备标注研究", 《科学技术创新》 *
游向东 等: "基于 Docker 的大数据 AI 教学与实验系统", 《软件》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310667A (zh) * 2020-02-18 2020-06-19 北京小马慧行科技有限公司 确定标注是否准确的方法、装置、存储介质与处理器
CN111310667B (zh) * 2020-02-18 2023-09-01 北京小马慧行科技有限公司 确定标注是否准确的方法、装置、存储介质与处理器
CN111414848B (zh) * 2020-03-19 2023-04-07 小米汽车科技有限公司 一种全类别3d障碍物检测方法、系统和介质
CN113591888A (zh) * 2020-04-30 2021-11-02 上海禾赛科技有限公司 用于激光雷达的点云数据标注网络系统及标注方法
CN111338742A (zh) * 2020-05-19 2020-06-26 北京数字绿土科技有限公司 一种点云数据的批处理方法及处理装置
CN111338742B (zh) * 2020-05-19 2020-09-08 北京数字绿土科技有限公司 一种点云数据的批处理方法及处理装置
CN111626217A (zh) * 2020-05-28 2020-09-04 宁波博登智能科技有限责任公司 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN111626217B (zh) * 2020-05-28 2023-08-22 宁波博登智能科技有限公司 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN111915746A (zh) * 2020-07-16 2020-11-10 北京理工大学 一种基于弱标注的三维点云目标检测方法及标注工具
CN111915746B (zh) * 2020-07-16 2022-09-13 北京理工大学 一种基于弱标注的三维点云目标检测方法及标注工具

Also Published As

Publication number Publication date
CN110751090B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN110751090B (zh) 一种三维点云标注方法、装置及电子设备
Rahimian et al. On-demand monitoring of construction projects through a game-like hybrid application of BIM and machine learning
US11928866B2 (en) Neural networks for object detection and characterization
CN113366495B (zh) 搜索自主车辆传感器数据存储库
Dewi et al. Weight analysis for various prohibitory sign detection and recognition using deep learning
CN109870983B (zh) 处理托盘堆垛图像的方法、装置及用于仓储拣货的系统
Dimitrov et al. Vision-based material recognition for automated monitoring of construction progress and generating building information modeling from unordered site image collections
US20210326609A1 (en) Object classification using extra-regional context
US8811748B2 (en) Collaborative feature extraction system for three dimensional datasets
CN108122239A (zh) 使用深度分割的图像数据中的对象检测
US20150287211A1 (en) Method for classification and segmentation and forming 3d models from images
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
Mewada et al. Automatic room information retrieval and classification from floor plan using linear regression model
KR20220095169A (ko) 3차원 객체 감지를 위한 장치의 동작 방법 및 그 장치
KC Enhanced pothole detection system using YOLOX algorithm
Seraj et al. The implications of weather and reflectivity variations on automatic traffic sign recognition performance
Gouda et al. Traffic sign extraction using deep hierarchical feature learning and mobile light detection and ranging (LiDAR) data on rural highways
Peters et al. Conditional adversarial networks for multimodal photo-realistic point cloud rendering
KR102158967B1 (ko) 영상 분석 장치, 영상 분석 방법 및 기록 매체
Stäcker et al. RC-BEVFusion: A plug-in module for radar-camera bird’s eye view feature fusion
Diwate et al. Optimization in object detection model using yolo. v3
Bian et al. Real-time object detection for smart connected worker in 3d printing
Ahmed et al. Lane marking detection using LiDAR sensor
Hamledari Inpro: Automated indoor construction progress monitoring using unmanned aerial vehicles
US20220164350A1 (en) Searching an autonomous vehicle sensor data repository based on context embedding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 315048 room 5-1-1, building 22, East Zone, Ningbo new material innovation center, high tech Zone, Ningbo, Zhejiang Province

Applicant after: Ningbo Boden Intelligent Technology Co.,Ltd.

Address before: 315040 room 210-521, floor 2, building 003, No. 750, Chuangyuan Road, Ningbo high tech Zone, Ningbo, Zhejiang

Applicant before: NINGBO BODEN INTELLIGENT TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant