CN112329946A - 地面分割学习模型训练方法、地平面确定方法及相关装置 - Google Patents

地面分割学习模型训练方法、地平面确定方法及相关装置 Download PDF

Info

Publication number
CN112329946A
CN112329946A CN202011246136.2A CN202011246136A CN112329946A CN 112329946 A CN112329946 A CN 112329946A CN 202011246136 A CN202011246136 A CN 202011246136A CN 112329946 A CN112329946 A CN 112329946A
Authority
CN
China
Prior art keywords
ground
point cloud
learning model
sample
ground plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011246136.2A
Other languages
English (en)
Inventor
翁立宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xaircraft Technology Co Ltd
Original Assignee
Guangzhou Xaircraft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xaircraft Technology Co Ltd filed Critical Guangzhou Xaircraft Technology Co Ltd
Priority to CN202011246136.2A priority Critical patent/CN112329946A/zh
Publication of CN112329946A publication Critical patent/CN112329946A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提出一种地面分割学习模型训练方法、地平面确定方法及相关装置，其中，上述地面分割学习模型训练方法通过获取样本点云数据及对应的标准地表面；基于样本点云数据，拟合初始样本地平面；获取样本点云数据相对于初始样本地平面的样本距离分布；根据样本距离分布及标准地表面，对预先选择的网络学习模型进行迭代，得到地面分割学习模型，用于以识别地平面。本方案，考虑到距离较为可靠的初始样本地平面之间的距离，使训练得到的分割模型能够更加准确地从输入的点云数据中识别出真实的地表面，使得无人机能够更好的实现避障。

Description

地面分割学习模型训练方法、地平面确定方法及相关装置
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种地面分割学习模型训练方法、地平面确定方法及相关装置。
背景技术
随着农业机械化、智能化进程的推进，越来越多的自动化设备在农田中作业，近期无人机在农业中的应用也是引人瞩目。然而，农田内复杂的环境因素对农业的自动化进程造成严重的阻碍，其中树木、防风林、电线杆和斜拉线等障碍物危及到作业设备的安全性。特别是对于无人机这类作业设备，无法准确感知地表物体的位置，很容易使得无人机撞上障碍物，造成机毁断电的后果。
发明内容
有鉴于此，本发明的目的在于提供一种地面分割学习模型训练方法、地平面确定方法及相关装置。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供一种地面分割学习模型训练方法，所述地面分割学习模型训练方法包括：
获取样本点云数据及对应的标准地表面；
基于所述样本点云数据，拟合初始样本地平面；
获取所述样本点云数据相对于所述初始样本地平面的样本距离分布；
根据所述样本距离分布及所述标准地表面，对预先选择的网络学习模型进行迭代，得到地面分割学习模型，用于以识别地平面。
在可选的实施方式中，上述根据样本距离分布及所述标准地表面，对预先选择的网络学习模型进行迭代，以得到地面分割学习模型的步骤包括：
将样本距离分布输入所述网络学习模型，以得到样本输出地表；
获取所述样本输出地表和标准地表面的偏差评估值；
将所述偏差评估值作为损失值，反向传播调整所述网络学习模型的模型参数，以得到所述地面分割学习模型。
在可选的实施方式中，所述地面分割学习模型训练方法还包括：获取所述样本点云数据对应的样本颜色分布；
根据样本距离分布及所述标准地表面，对预先选择的网络学习模型进行迭代，得到地面分割学习模型，包括：
根据所述样本颜色分布、根据样本距离分布及所述标准地表面，对预先选择的网络学习模型进行迭代，得到地面分割学习模型。
第二方面，本发明实施例提供一种地平面确定方法，所述地平面确定方法包括：
基于用于表征真实世界场景的三维点云数据，获取初始地平面；
获取所述三维点云数据相对于所述初始地平面的距离分布；
根据所述距离分布及地面分割学习模型，得到最佳地平面；其中，所述地面分割学习模型为通过上述实施例所述的地面分割学习模型训练方法训练得到的模型。
在可选的实施方式中，所述地平面确定方法还包括：获取所述三维点云数据对应的颜色分布；根据所述距离分布及地面分割学习模型，得到最佳地平面的步骤包括：将所述距离分布和所述颜色分布输入所述地面分割学习模型，得到最佳地平面。
在可选的实施方式中，所述获取所述三维点云数据对应的颜色分布的步骤包括：
提取所述三维点云数据中每一个点云点所对应的颜色信息；
根据所有所述点云点的颜色信息，构建对应的所述颜色分布。
在可选的实施方式中，所述获取所述三维点云数据相对于所述初始地平面的距离分布的步骤包括：
计算每一个所述点云点与所述初始地平面之间的距离值；
根据所有的所述距离值，构建所述距离分布。
在可选的实施方式中，所述基于用于表征真实世界场景的三维点云数据，获取初始地平面的方式包括：
基于所述三维点云数据，利用预选算法，拟合出所述初始地平面。
第三方面，本发明实施例提供一种地面分割学习模型训练装置，所述地面分割学习模型训练装置包括：
生成模块，用于获取样本点云数据及对应的标准地表面；
第一拟合模块，用于基于所述样本点云数据，拟合初始样本地平面；
第一获取模块，用于获取所述样本点云数据相对于所述初始样本地平面的样本距离分布；
训练模块，用于根据样本距离分布及所述标准地表面，对预先选择的网络学习模型进行迭代，得到地面分割学习模型，用于识别地平面。
第四方面，本发明实施例提供一种地平面确定装置，所述地平面确定装置包括：
第二拟合模块，用于基于用于表征真实世界场景的三维点云数据，获取初始地平面；
第二获取模块，用于获取所述三维点云数据相对于所述初始地平面的距离分布；
处理模块，用于根据所述距离分布及地面分割学习模型，得到最佳地平面；其中，所述地面分割学习模型为利用上述实施例所述的地面分割学习模型训练方法训练得到的模型。
第五方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式所述的地面分割学习模型训练方法；或者所述处理器可执行所述机器可执行指令以实现前述实施方式所述的地平面确定方法。
在可选的实施方式中，所述电子设备为带有图像采集模块的植保无人机，所述植保无人机通过所述图像采集模块采集真实世界场景的真实图像，以得到所述三维点云数据。
第六方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式所述的地面分割学习模型训练方法；或者所述计算机程序被处理器执行时实现如前述实施方式任一项所述的地平面确定方法。
与现有技术相比，本发明实施例提供的一种地面分割学习模型训练方法通过获取样本点云数据及对应的标准地表面，然后，基于样本点云数据，拟合初始样本地平面；获取样本点云数据相对于初始样本地平面的样本距离分布，利用样本距离分布及标准地表面，对预先选择的网络学习模型进行迭代，得到地面分割学习模型，用于以识别地平面。也即，充分考虑到点云距离较为可靠的初始样本地平面之间的距离信息，使训练得到的分割模型能够更加准确地从输入的点云数据中识别出地表面，以根据该地表面更准确的分离出地平面与地表物体，使得无人机能够更好的实现避障。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的电子设备示意图。
图2示出了本发明实施例提供的地面分割学习模型训练方法的步骤流程图。
图3示出了本发明实施例提供的步骤S103的子步骤流程图。
图4示出了本发明实施例提供的步骤S104的子步骤流程图。
图5示出了本发明实施例提供的地平面确定方法的步骤流程图。
图6示出了本发明实施例提供的步骤S202的子步骤流程图。
图7示出了本发明实施例提供的地面分割学习模型训练装置的示意图。
图8示出了本发明实施例提供的地平面确定装置的示意图。
图标：100-电子设备；101-存储器；102-通信接口；103-处理器；104-总线；500-地面分割学习模型训练装置；501-生成模块；502-第一拟合模块；503-第一获取模块；504-训练模块；600-地平面确定装置；601-第二拟合模块；602-第二获取模块；603-处理模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
无人机自动飞行作业的前提是识别出飞行空间内的障碍物，比如，树木、电线杆、斜拉线等。
相关技术中，为了提高无人机的避障能力，主要包括以下几种方式实现：
其一，实时感知系统，直接通过机载传感器感知障碍物位置。然而，该方式避障准确性依赖于传感器的灵敏度。同时，该方式缺乏预判，容易出现识别到障碍物时已经来不及调整飞行位姿的情况。
其二，航测生成DSM，利用高层信息进行避障绕行。然而，DSM重建精度不高，高层信息简单，不适合精准避障。
其三，激光雷达点云，利用RANSAC拟合地面，分离地面与地表物体并进行障碍物聚类。该方式精度高，但是针对噪声较多的点云处理能力弱。
基于以上，可见能够准确的识别出地表面，对无人机实现精准而高效的避障而言非常重要。
为了改善上述问题，实现准确的地表面识别，从而提高无人机避障能力，本发明实施例提供了一种地面分割学习模型训练方法、地平面确定方法及相关装置。
请参照图1，图1示出了本发明实施例提供的电子设备100的方框示意图。电子设备100可以是，但不限于个人电脑(personal computer，PC)、服务器、分布式部署的计算机等等。可以理解的是，电子设备100也不限于物理设备，还可以是物理设备上布局的虚拟机、基于云平台上构建的虚拟机等能提供与所述服务器或者虚拟机有相同功能的计算机。
此外，一些实施例中，上述电子设备100为无人机。在另一实施例中，上述电子设备100可以是与无人机通信连接的设备。
在一些实施例中，所述电子设备还可以为带有图像采集模块的植保无人机，所述植保无人机通过所述图像采集模块采集真实世界场景的真实图像，以得到三维点云数据。
电子设备100的操作系统可以是，但不限于，Windows系统、Linux系统等。上述电子设备100包括存储器101、通信接口102、处理器103和总线104，所述存储器101、通信接口102和处理器103通过总线104连接，处理器103用于执行存储器101中存储的可执行模块，例如计算机程序。其中，存储器101可能包含高速随机存取存储器101(RAM：Random AccessMemory)，也可能还包括非不稳定的存储器101(non-volatile memory)，例如至少一个磁盘存储器101。通过至少一个通信接口102(可以是有线或者无线)实现该电子设备100与外部设备之间的通信连接。
总线104可以是ISA总线104、PCI总线104或EISA总线104等。图1中仅用一个双向箭头表示，但并不表示仅有一根总线104或一种类型的总线104。
在一些实施例中，存储器101用于存储程序，例如图7所示的地面分割学习模型训练装置500。该地面分割学习模型训练装置500包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器103在接收到执行指令后，执行所述程序以实现本发明上述实施例揭示的地面分割学习模型训练方法。
在一些实施例中，存储器101用于存储程序，例如图8所示的地平面确定装置600。该地平面确定装置600包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器103在接收到执行指令后，执行所述程序以实现本发明上述实施例揭示的地平面确定方法。
处理器103可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器103中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器103可以是通用处理器103，包括中央处理器103(Central Processing Unit，简称CPU)、网络处理器103(Network Processor，简称NP)等；还可以是数字信号处理器103(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
应当理解的是，图1所示的结构仅为电子设备100的结构示意图，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
第一实施例
请参考图2，图2示出了本发明实施例提供的一种地面分割学习模型训练方法。上述地面分割学习模型训练方法应用于上述电子设备100。如图2所示，上述地面分割学习模型训练方法可以包括以下步骤：
步骤S101，获取样本点云数据及对应的标准地表面。
上述样本点云数据为已知准确地表面的三维点云。可以理解地，上述三维点云是用于模拟呈现真实空间的模型，其由大量具有特征信息(比如，颜色信息、位置信息)的点(也即，点云点)组成。故，上述样本点云数据可以根据在真实空间内采集到的图像重建得到。为了得到足够多且多样的样本点云数据，可以分别采集不同真实空间的图像进行重建，得到多个样本点云数据。
上述标准地表面由样本点云数据中表征真实空间中的地表面的点云点组成。在一些实施例中，可以响应用户输入的标记指令，从样本点云数据中确定出属于真是空间中地表面的点云点，以组成标准地表面。
步骤S102，基于样本点云数据，拟合初始样本地平面。
上述初始样本地平面为基于样本点云数据通过运算拟合得到的地平面。
在一些实施例中，可以通过随机抽样一致算法(Random sample consensus，RANSAC)等方式，根据样本点云数据进行初始样本地平面拟合。
步骤S103，获取样本点云数据相对于初始样本地平面的样本距离分布。
上述样本距离分布用于表征样本点云数据中各个点云点与初始样本地平面之间的距离关系。
步骤S104，根据样本距离分布及标准地表面，对预先选择的网络学习模型进行迭代，得到地面分割学习模型，用于以识别地平面。
上述网络学习模型可以是但不限于是逻辑回归模型(Logistic Regression，LR)、支持向量机模型(Support Vector Machine，SVM)或者卷积神经网络模型(CNN)。
其中，上述LR模型是机器学习中的算法实现简单且高效的分类模型，应用场景非常广泛。上述SVM模型是在所有知名的数据挖掘算法中最健壮，最准确的方法之一，它属于二分类算法，可以支持线性和非线性的分类。上述CNN模型是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类。
故，在一些实施例中，本领域技术人员可以根据实际需求选择网络学习模型的类型，并进行训练。
可以理解地，本发明实施例所提供的地面分割学习模型训练方法进行模型训练时，将样本距离分布作为训练的因子。可以理解地，上述样本距离分布用于表征点云点与初始样本地平面之间的距离关系。虽然初始样本地平面容易受到噪声的影响，但也能相对准确地表征真实的地面。故，上述样本距离分布，从一定程度上能够用以区分地面和非地面，利用样本距离分布进行模型训练，能够提高训练后得到的模型对地面的识别能力。该方式相较于直接将拟合出的地面作为真实地面而言，更加准确，能够有效减少点云中存在的噪点对识别地面的影响。
下面对本发明实施例的实现细节进行描述：
在一些实施例中，上述步骤S101可以是利用无人机在不同真实空间分别采集多组航拍图像，其中，每组航拍图像对应一个真实空间。分别基于各组航拍图像，进行三维重建，以得到多个样本点云数据。然后，响应用户的标记操作从各个样本点云数据中确定出多个目标点云点，将各个样本点云数据中的目标点云点组成的点云区域作为对应的标准地表面。
在一些实施例中，上述步骤S102可以是利用RANSAC算法对上述样本点云数据进行处理，以得到用于表征地表面的表达式，也即初始样本地平面。
在另一些实施例中，上述步骤S102还可以是利用最小二成算法对上述样本点云数据进行处理，以得到用于表征地表面的表达式，即初始样本地平面。
当然，还可以采用其他能够拟合出地表面大致区域的算法进行初始样本地平面的拟合。
在一些实施例中，如图3所示，上述步骤S103可以包括以下步骤：
子步骤S103-1，计算样本点云数据中每一个点云点与初始样本地平面之间的距离值。
在一些实施例中，遍历样本点云数据中每一个点云点，获取遍历到的点云点与初始样本地平面之间的距离值。
子步骤S103-2，根据样本点云数据所对应的所有的距离值，构建距离分布。
在一些实施例中，可以直接根据样本点云数据所对应的所有的距离值，及各个点云点之间的相对位置关系，构建该样本点云数据所对应的距离分布。
在另一些实施例中，还可以间接根据样本点云数据所对应的所有的距离值构建距离分布。比如，可以根据所对应的所有的距离值，进行数值分布的统计，以得到距离分布。
在一些实施例中，上述地面分割学习模型训练方法还包括：获取样本点云数据对应的样本颜色分布。
在一些实施例中，上述获取样本点云数据对应的样本颜色分布可以包括以下步骤：
子步骤S1，提取样本点云数据中每一个点云点所对应的颜色信息。
在一些实施例中，可以遍历样本点云数据中每一个点云点，以获取每个点云点所对应的RGB值。
子步骤S2，根据点云点的颜色信息，构建对应的颜色分布。
在一些实施例中，可以直接根据样本点云数据中所有点云点的RGB值及各个点云点之间的相对位置关系，构建颜色分布。
在另一些实施例中，还可以间接根据样本点云数据中所有点云点的RGB值构建颜色分布。比如，可以根据所有点云点的RGB值，分别对不同颜色通道(R通道、G通道及B通道)进行数值分布统计，根据不同颜色通道所对应的数值分布统计结果，构建特征描述向量，以作为颜色分布。
在此基础上，如图4所示，上述步骤S104可以包括以下步骤：
子步骤S104-1，将样本颜色分布、样本距离分布输入网络学习模型，以得到样本输出地表。
在一些实施例中，可以将样本颜色分布和样本距离分布融合后输入网络学习模型。将上述网络学习模型对融合后的样本颜色分布和样本距离分布进行处理后的输出结果作为样本输出地表。
在一些实施例中，上述将样本颜色分布和样本距离分布融合的方式可以是将上述样本颜色分布和样本距离分布拼接。
子步骤S104-2，获取样本输出地表和标准地表面的偏差评估值。
在一些实施例中，可以将样本输出地表和标准地表面中重叠的点云点的数量与标准地表面中点云点的总数之间的比例作为偏差评估值。
子步骤S104-3，将偏差评估值作为损失值，反向传播调整网络学习模型的模型参数，以得到地面分割学习模型。
在一些实施例中，可以依次根据不同的样本点云数据所对应的样本颜色分布、样本距离分布及标准地表面，按照上述子步骤S104-1至子步骤S104-3对网络学习模型进行迭代训练，直至触发迭代终止条件，将此时的模型确定为地面分割学习模型。可以理解地，上述迭代终止条件可以是设置的迭代次数，也可以得到的偏差评估值满足预设要求。
可以理解地，该实施例所提供的地面分割学习模型训练方法进行模型训练时，考虑到真实空间中地面与非地面之间颜色存在差异，从一定程度上能够用以区分地面和非地面。故将其作为训练的一个样本因子，用以提高训练后得到的模型对地面的识别能力。
第二实施例
请参考图5，图5示出了本发明实施例提供的一种地平面确定方法。上述地平面确定方法应用于上述电子设备100。如图5所示，上述地平面确定方法可以包括以下步骤：
步骤S201，基于用于表征真实世界场景的三维点云数据，获取初始地平面。
在一些实施例中，上述三维点云数据可以根据待识别空间的航拍图像进行三维重建得到。上述待识别空间为需要进行地平面识别的真实空间(也即真实世界场景)。
在一些实施例中，上述步骤S201可以是基于三维点云数据，利用预选算法，拟合出所述初始地平面。
在一些实施例中，上述预选算法可以是RANSAC算法，换句话说，上述步骤S201可以是基于三维点云数据，利用RANSAC算法，拟合出初始地平面。
在另一些实施例中，上述预选算法可以是最小二乘算法，换句话说，上述步骤S201可以是基于三维点云数据，利用最小二乘算法，拟合出初始地平面。
步骤S202，获取三维点云数据相对于初始地平面的距离分布。
在一些实施例中，如图6所示，上述步骤S202还可以包括以下步骤：
子步骤S202-1，计算三维点云数据中每一个点云点与初始地平面之间的距离值。
在一些实施例中，遍历三维点云数据中每一个点云点，获取遍历到的点云点与初始地平面之间的距离值。
子步骤S202-2，根据三维点云数据所对应的所有的距离值，构建距离分布。
在一些实施例中，可以直接根据三维点云数据的所有的距离值，及各个点云点之间的相对位置关系，构建该三维点云数据所对应的距离分布。
在另一些实施例中，还可以间接根据三维点云数据的所有的距离值构建距离分布。比如，可以根据所有的距离值，进行数值分布的统计，以得到三维点云数据所对应的距离分布。
步骤S203，根据距离分布和地面分割学习模型，得到最佳地平面。
在一些实施例中，可以是将距离分布输入地面分割学习模型，得到最佳地平面。
在另一些实施例中，上述地平面确定方法还可以包括步骤：获取所述三维点云数据对应的颜色分布。
在一些实施例中，上述获取所述三维点云数据对应的颜色分布可以包括以下步骤：
子步骤S2-1，提取三维点云数据中每一个点云点所对应的颜色信息。
在一些实施例中，可以遍历三维点云数据中每一个点云点，以获取每个点云点所对应的RGB值。
子步骤S2-2，根据点云点的颜色信息，构建对应的颜色分布。
在一些实施例中，可以直接根据三维点云数据中所有点云点的RGB值及各个点云点之间的相对位置关系，构建三维点云数据所对应的颜色分布。
在另一些实施例中，还可以间接根据三维点云数据中所有点云点的RGB值构建颜色分布。比如，可以根据所有点云点的RGB值，分别对不同颜色通道(R通道、G通道及B通道)进行数值分布统计，根据不同颜色通道所对应的数值分布统计结果，构建特征描述向量，以作为三维点云数据所对应的颜色分布。
在此基础上，上述步骤S203可以是将所述距离分布和所述颜色分布输入所述地面分割学习模型，得到最佳地平面。比如，先根据距离分布和颜色分布进行融合，将融合后得到的数据输入上述地面分割学习模型。
上述地面分割学习模型可以是采用第一实施例所述的地面分割学习模型训练方法训练得到的模型。
可见，本发明实施例提供的地平面确定方法通过利用地面与分地面之间的颜色差异和三维点云数据中每一个点云点距离初始拟合地平面的距离差异，配合地面分割学习模型进行回归学习，得到准确的地平面。该方式能通过多角度区分地平面和非地平面，能够应对三维点云数据中噪点较多的场景，提高地平面分割的准确性和稳定性。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种地面分割学习模型训练装置500的实现方式，可选地，该地面分割学习模型训练装置500可以采用上述图1所示的电子设备100的器件结构。进一步地，请参阅图7，图7为本发明实施例提供的一种地面分割学习模型训练装置500的功能模块图。需要说明的是，本实施例所提供的地面分割学习模型训练装置500，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该地面分割学习模型训练装置500包括：生成模块501、第一拟合模块502、第一获取模块503及训练模块504。
生成模块501，用于获取样本点云数据及对应的标准地表面。
第一拟合模块502，用于基于所述样本点云数据，拟合初始样本地平面。
第一获取模块503，用于获取所述样本点云数据相对于所述初始样本地平面的样本距离分布。
训练模块504，用于根据样本距离分布及所述标准地表面，对预先选择的网络学习模型进行迭代，得到地面分割学习模型，用于识别地平面。
在一些实施例中，上述训练模块504用于：
将所述样本颜色分布、样本距离分布输入所述网络学习模型，以得到样本输出地表；
获取所述样本输出地表和标准地表面的偏差评估值；
将所述偏差评估值作为损失值，反向传播调整所述网络学习模型的模型参数，以得到所述地面分割学习模型。
在一些实施例中，上述地面分割学习模型训练模型中的第一获取模块503还用于获取所述样本点云数据对应的样本颜色分布。
上述训练模块504，还用于根据所述样本颜色分布、根据样本距离分布及所述标准地表面，对预先选择的网络学习模型进行迭代，得到地面分割学习模型。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种地平面确定装置600的实现方式，可选地，该地平面确定装置600可以采用上述图1所示的电子设备100的器件结构。进一步地，请参阅图8，图8为本发明实施例提供的一种地平面确定装置600的功能模块图。需要说明的是，本实施例所提供的地平面确定装置600，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该地平面确定装置600包括：第二拟合模块601、第二获取模块602及处理模块603。
第二拟合模块601，用于基于用于表征真实世界场景的三维点云数据，获取初始地平面。
第二获取模块602，用于获取所述三维点云数据对应的颜色分布；以及获取所述三维点云数据相对于所述初始地平面的距离分布。
处理模块603，用于根据所述距离分布和上述地面分割学习模型，得到最佳地平面。
在一些实施例中，上述第二获取模块602具体用于：
提取所述三维点云数据中每一个点云点所对应的颜色信息；
根据所有所述点云点的颜色信息，构建对应的所述颜色分布。
在一些实施例中，上述第二获取模块602具体用于：
计算每一个所述点云点与所述初始地平面之间的距离值；
根据所有的所述距离值，构建所述距离分布。
在一些实施例中，上述第二拟合模块601具体用于：基于三维点云数据，利用预选算法，拟合出初始地平面。
在一些实施例中，上述处理模块603还用于：将所述距离分布和所述颜色分布输入所述地面分割学习模型，得到最佳地平面。
可选地，上述模块可以软件或固件(Firmware)的形式存储于图1所示的存储器101中或固化于该电子设备100的操作系统(Operating System，OS)中，并可由图1中的处理器103执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器101中。
综上所述，本发明实施例提供的一种地面分割学习模型训练方法、地平面确定方法及相关装置，其中，上述地面分割学习模型训练方法通过获取样本点云数据及对应的标准地表面；基于所述样本点云数据，拟合初始样本地平面；获取所述样本点云数据对应的样本颜色分布；以及获取所述样本点云数据相对于所述初始样本地平面的样本距离分布；根据所述样本颜色分布、样本距离分布及所述标准地表面，对预先选择的网络学习模型进行迭代，得到地面分割学习模型，用于以识别地平面。也即，充分考虑到点云的颜色信息和距离较为可靠的初始样本地平面之间的距离，使训练得到的分割模型能够更加准确地从输入的点云数据中识别出真实的地表面，使得无人机能够更好的实现避障。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种地面分割学习模型训练方法，其特征在于，所述地面分割学习模型训练方法包括：
获取样本点云数据及对应的标准地表面；
基于所述样本点云数据，拟合初始样本地平面；
获取所述样本点云数据相对于所述初始样本地平面的样本距离分布；
根据样本距离分布及所述标准地表面，对预先选择的网络学习模型进行迭代，得到地面分割学习模型，用于以识别地平面。
2.根据权利要求1所述的地面分割学习模型训练方法，其特征在于，所述根据样本距离分布及所述标准地表面，对预先选择的网络学习模型进行迭代，以得到地面分割学习模型的步骤包括：
将样本距离分布输入所述网络学习模型，以得到样本输出地表；
获取所述样本输出地表和标准地表面的偏差评估值；
将所述偏差评估值作为损失值，反向传播调整所述网络学习模型的模型参数，以得到所述地面分割学习模型。
3.根据权利要求1所述的地面分割学习模型训练方法，其特征在于，所述地面分割学习模型训练方法还包括：获取所述样本点云数据对应的样本颜色分布；
根据样本距离分布及所述标准地表面，对预先选择的网络学习模型进行迭代，得到地面分割学习模型，包括：
根据所述样本颜色分布、根据样本距离分布及所述标准地表面，对预先选择的网络学习模型进行迭代，得到地面分割学习模型。
4.一种地平面确定方法，其特征在于，所述地平面确定方法包括：
基于用于表征真实世界场景的三维点云数据，获取初始地平面；
获取所述三维点云数据相对于所述初始地平面的距离分布；
根据所述距离分布及地面分割学习模型，得到最佳地平面；其中，所述地面分割学习模型为利用权利要求1-3任意一项所述的地面分割学习模型训练方法训练得到的模型。
5.根据权利要求4所述的地平面确定方法，其特征在于，所述地平面确定方法还包括：获取所述三维点云数据对应的颜色分布；根据所述距离分布及地面分割学习模型，得到最佳地平面的步骤包括：将所述距离分布和所述颜色分布输入所述地面分割学习模型，得到最佳地平面。
6.根据权利要求5所述的地平面确定方法，其特征在于，所述获取所述三维点云数据对应的颜色分布的步骤包括：
提取所述三维点云数据中每一个点云点所对应的颜色信息；
根据所有所述点云点的颜色信息，构建对应的所述颜色分布。
7.根据权利要求4所述的地平面确定方法，其特征在于，所述获取所述三维点云数据相对于所述初始地平面的距离分布的步骤包括：
计算所述三维点云数据中每一个点云点与所述初始地平面之间的距离值；
根据所有的所述距离值，构建所述距离分布。
8.根据权利要求4所述的地平面确定方法，其特征在于，所述基于用于表征真实世界场景的三维点云数据，获取初始地平面的方式包括：
基于所述三维点云数据，利用预选算法，拟合出所述初始地平面。
9.一种地面分割学习模型训练装置，其特征在于，所述地面分割学习模型训练装置包括：
生成模块，用于获取样本点云数据及对应的标准地表面；
第一拟合模块，用于基于所述样本点云数据，拟合初始样本地平面；
第一获取模块，用于获取所述样本点云数据相对于所述初始样本地平面的样本距离分布；
训练模块，用于根据所述样本距离分布及所述标准地表面，对预先选择的网络学习模型进行迭代，得到地面分割学习模型，用于识别地平面。
10.一种地平面确定装置，其特征在于，所述地平面确定装置包括：
第二拟合模块，用于基于用于表征真实世界场景的三维点云数据，获取初始地平面；
第二获取模块，用于获取所述三维点云数据相对于所述初始地平面的距离分布；
处理模块，用于根据所述距离分布及地面分割学习模型，得到最佳地平面；其中，所述地面分割学习模型为利用权利要求1-3任意一项所述的地面分割学习模型训练方法训练得到。
11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-3任一所述的地面分割学习模型训练方法；或者所述处理器可执行所述机器可执行指令以实现权利要求4-8任一所述的地平面确定方法。
12.根据权利要求11所述的电子设备，其特征在于，所述电子设备为带有图像采集模块的植保无人机，所述植保无人机通过所述图像采集模块采集真实世界场景的真实图像，以得到所述三维点云数据。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3任一项所述的地面分割学习模型训练方法；或者所述计算机程序被处理器执行时实现如权利要求4-8任一项所述的地平面确定方法。
CN202011246136.2A 2020-11-10 2020-11-10 地面分割学习模型训练方法、地平面确定方法及相关装置 Pending CN112329946A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011246136.2A CN112329946A (zh) 2020-11-10 2020-11-10 地面分割学习模型训练方法、地平面确定方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011246136.2A CN112329946A (zh) 2020-11-10 2020-11-10 地面分割学习模型训练方法、地平面确定方法及相关装置

Publications (1)

Publication Number Publication Date
CN112329946A true CN112329946A (zh) 2021-02-05

Family

ID=74318076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011246136.2A Pending CN112329946A (zh) 2020-11-10 2020-11-10 地面分割学习模型训练方法、地平面确定方法及相关装置

Country Status (1)

Country Link
CN (1) CN112329946A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240678A (zh) * 2021-05-10 2021-08-10 青岛小鸟看看科技有限公司 平面信息检测方法及系统
US11741621B2 (en) 2021-05-10 2023-08-29 Qingdao Pico Technology Co., Ltd. Method and system for detecting plane information

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240678A (zh) * 2021-05-10 2021-08-10 青岛小鸟看看科技有限公司 平面信息检测方法及系统
WO2022237026A1 (zh) * 2021-05-10 2022-11-17 青岛小鸟看看科技有限公司 平面信息检测方法及系统
US11741621B2 (en) 2021-05-10 2023-08-29 Qingdao Pico Technology Co., Ltd. Method and system for detecting plane information

Similar Documents

Publication Publication Date Title
CN110297483B (zh) 待作业区域边界获取方法、装置，作业航线规划方法
US10002416B2 (en) Inventory, growth, and risk prediction using image processing
Zhou et al. On detecting road regions in a single UAV image
CN111213155A (zh) 图像处理方法、设备、可移动平台、无人机及存储介质
CN112949366B (zh) 障碍物识别方法和装置
Röder et al. Application of optical unmanned aerial vehicle-based imagery for the inventory of natural regeneration and standing deadwood in post-disturbed spruce forests
CN112329946A (zh) 地面分割学习模型训练方法、地平面确定方法及相关装置
CN113240009A (zh) 一种点云数据标注方法、装置、存储介质及电子设备
Gleason et al. A fusion approach for tree crown delineation from lidar data.
CN112001403A (zh) 一种图像轮廓检测方法及系统
WO2020061648A1 (en) Apparatus and method for three-dimensional object recognition
CN113907663A (zh) 障碍物地图构建方法、清洁机器人及存储介质
KR20230171966A (ko) 이미지 프로세싱 방법 및 장치 및 컴퓨터 판독 가능 저장 매체
Cho et al. Multi-task self-supervised visual representation learning for monocular road segmentation
CN107578003A (zh) 一种基于地理标记图像的遥感图像迁移学习方法
Zhang et al. A tree detection method based on trunk point cloud section in dense plantation forest using drone LiDAR data
Santos et al. Vineyard segmentation from satellite imagery using machine learning
CN112270671B (zh) 图像检测方法、装置、电子设备及存储介质
CN111696147B (zh) 一种基于改进YOLOv3模型的深度估计方法
Koc-San et al. A model-based approach for automatic building database updating from high-resolution space imagery
Dasilva et al. Unmanned aerial vehicle-based automobile license plate recognition system for institutional parking lots
CN115240168A (zh) 感知结果获取方法、装置、计算机设备、存储介质
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
CN114359599A (zh) 图像处理方法、存储介质及计算机终端
CN112396107B (zh) 重建图像选取方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province

Applicant after: Guangzhou Jifei Technology Co.,Ltd.

Address before: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province

Applicant before: Guangzhou Xaircraft Technology Co.,Ltd.

CB02 Change of applicant information