CN110770791A - 一种基于点云地图的图像边界获取方法、设备及飞行器 - Google Patents

一种基于点云地图的图像边界获取方法、设备及飞行器 Download PDF

Info

Publication number
CN110770791A
CN110770791A CN201880038404.6A CN201880038404A CN110770791A CN 110770791 A CN110770791 A CN 110770791A CN 201880038404 A CN201880038404 A CN 201880038404A CN 110770791 A CN110770791 A CN 110770791A
Authority
CN
China
Prior art keywords
point cloud
data
image
semantics
cloud map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880038404.6A
Other languages
English (en)
Inventor
王涛
马东东
张明磊
刘政哲
李鑫超
闫光
杨志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN110770791A publication Critical patent/CN110770791A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种基于点云地图的图像边界获取方法、设备、飞行器及存储介质，其中，方法包括：获取包含语义的点云地图(S201)；根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域(S202)。通过这种方式，可实现自动划分图像区域，满足了对图像区域进行分类的自动化和智能化需求，以及提高了图像分割的准确性。

Description

一种基于点云地图的图像边界获取方法、设备及飞行器
技术领域
本发明涉及控制技术领域，尤其涉及一种基于点云地图的图像边界获取方法、设备及飞行器。
背景技术
随着飞行器技术的发展，目前飞行器(如无人机)已经广泛地应用于执行各种类型的作业任务(例如航拍、农业植保、勘测等)，其中，以飞行器上的航拍技术的应用最为广泛。以挂载有拍摄装置的飞行器为例，传统的飞行器的航拍技术在拍摄过程中无法自动对拍摄图像中不同类别的图像区域进行划分，这在一定程度上影响了飞行器执行作业任务。因此如何更有效地对图像区域进行分类成为研究的重点。
发明内容
本发明实施例提供了一种基于点云地图的图像边界获取方法、设备及飞行器，可自动划分图像区域，满足了对图像区域进行分类的自动化和智能化需求。
第一方面，本发明实施例提供了一种基于点云地图的图像边界获取方法，所述方法包括：
获取包含语义的点云地图；
根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
第二方面，本发明实施例提供了一种基于点云地图的航线规划方法，所述方法包括：
获取包含语义的点云地图；
根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域；
根据所述点云地图上各图像区域的语义，规划飞行航线；
控制所述飞行器按照所述飞行航线飞行。
第三方面，本发明实施例提供了一种基于点云地图的图像边界获取设备，包括存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，执行所述存储器存储的程序指令，当程序指令被执行时，所述处理器用于执行如下步骤：
获取包含语义的点云地图；
根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
第四方面，本发明实施例提供了一种基于点云地图的航线规划设备，包括存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，执行所述存储器存储的程序指令，当程序指令被执行时，所述处理器用于执行如下步骤：
获取包含语义的点云地图；
根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域；
根据所述点云地图上各图像区域的语义，规划飞行航线；
控制所述飞行器按照所述飞行航线飞行。
第五方面，本发明实施例提供了一种飞行器，包括：
机身；
设置于所述机身的动力系统，用于提供飞行动力；
处理器，用于获取包含语义的点云地图；根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
第六方面，本发明实施例提供了另一种飞行器，包括：
机身；
设置于所述机身的动力系统，用于提供飞行动力；
处理器，用于获取包含语义的点云地图；根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域；根据所述点云地图上各图像区域的语义，规划飞行航线；控制所述飞行器按照所述飞行航线飞行。
第七方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的基于点云地图的图像边界获取方法或第二方面所述的基于点云地图的航线规划方法。
本发明实施例中，基于点云地图的图像边界获取设备可以获取包含语义的点云地图；根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域，通过这种方式可自动划分图像区域，满足了对图像区域进行分类的自动化和智能化需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于点云地图的图像边界获取系统的工作场景示意图；
图2是本发明实施例提供的一种基于点云地图的图像边界获取方法的流程示意图；
图3.1是本发明实施例提供的一种腐蚀操作的示意图；
图3.2是本发明实施例提供的一种膨胀操作的示意图；
图4是本发明实施例提供的一种基于点云地图的航线规划方法的流程示意图；
图5是本发明实施例提供的一种点云地图的界面示意图；
图6.1是本发明实施例提供的一种正射影像的界面示意图；
图6.2是本发明实施例提供的另一种点云地图的界面示意图；
图6.3是本发明实施例提供的一种标记障碍物的点云地图的界面示意图；
图7是本发明实施例提供的一种基于点云地图的图像边界获取设备的结构示意图；
图8是本发明实施例提供的一种基于点云地图的航线规划设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
本发明实施例提供的基于点云地图的图像边界获取方法可以由一种基于点云地图的图像边界获取系统执行，所述基于点云地图的图像边界获取系统包括基于点云地图的图像边界获取设备和飞行器，所述基于点云地图的图像边界获取设备和飞行器之间可以建立双向通信连接，以进行双向通信。在某些实施例中，所述基于点云地图的图像边界获取设备可以设置在配置有负载(如拍摄装置、红外探测装置、测绘仪等)的飞行器(如无人机)上。在其他实施例中，所述基于点云地图的图像边界获取设备还可以设置在其他可移动设备上，如能够自主移动的机器人、无人车、无人船等可移动设备。在某些实施例中，所述基于点云地图的图像边界获取设备可以是飞行器的部件，即所述飞行器包括所述基于点云地图的图像边界获取设备；在其他实施例中，所述基于点云地图的图像边界获取设备还可以在空间上独立于飞行器。下面结合附图对应用于飞行器的基于点云地图的图像边界获取方法的实施例进行举例说明。
本发明实施例中，基于点云地图的图像边界获取设备可以通过获取包含语义的点云地图，并根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
在一个实施例中，所述基于点云地图的图像边界获取设备在根据所述点云地图上的语义确定所述点云地图上不同语义的各个图像区域时，可以根据所述点云地图上的语义，确定所述点云地图上具有连续相同语义的图像区域，并对所述具有连续相同语义的各图像区域进行边沿处理操作，以得到所述点云地图上不同语义的各图像区域。在一些实施例中，所述边沿处理操作包括：正向边沿处理操作和/或逆向边沿处理操作。
在一些实施例中，所述正向边沿处理操作和/或逆向边沿处理操作可以消除噪声，分割出独立的图像元素，在图像中连接相邻的元素，寻找图像中的明显的极大值区域或极小值区域，求出图像的梯度，以实现对图像的分割。在某些实施例中，所述正向边沿处理操作可以是原图中的高亮部分被腐蚀即“领域被蚕食”，通过正向边沿处理操作可以得到的图像拥有比原图更小的高亮区域。在某些实施例中，所述逆向边沿处理操作可以是对图像中的高亮部分进行的膨胀操作，即“领域扩张”，通过所述逆向边沿处理操作得到的图像拥有比原图更大的高亮区域。
在一个实施例中，所述基于点云地图的图像边界获取设备在对所述具有连续相同语义的各图像区域进行边沿处理操作时，可以对所述点云地图上所有的图像区域进行全局正向边沿处理操作，确定出伪黏连的图像边界，以对伪黏连的各图像区域进行分割；和/或，对所述点云地图上联通的各图像区域进行局部正向边沿处理操作，确定出半黏连的图像边界，以对所述联通的各图像区域中的半黏连的图像区域进行分割。通过对点云地图的图像进行边沿处理操作，可以将伪黏连和半黏连的区域进行分割以及将重叠区域进行分割，提高了对图像区域进行分割的准确性。
例如，假设所述点云地图为大田的点云地图，则所述基于点云地图的图像边界获取设备可以对所述点云地图上所有的图像区域进行全局正向边沿处理操作，确定出伪黏连的图像边界，以对伪黏连的各图像区域进行分割。所述基于点云地图的图像边界获取设备还可以根据所述点云地图的语义，确定出所述点云地图上联通的各图像区域，并对所述点云地图上联通的各图像区域进行局部正向边沿处理操作，确定出半黏连的图像边界，以对所述联通的各图像区域中的半黏连的图像区域进行分割。所述基于点云地图的图像边界获取设备在对所述点云地图进行腐蚀操作之后，还可以对所述点云地图进行逆向边沿处理操作，从而将所述大田分割为不同语义的多个图像区域。
具体请参见图1，图1是本发明实施例提供的一种基于点云地图的图像边界获取系统的工作场景示意图，如图1所示的基于点云地图的图像边界获取系统包括：基于点云地图的图像边界获取设备11和飞行器12，所述基于点云地图的图像边界获取设备11可以为飞行器12的控制终端，具体地可以为遥控器、智能手机、平板电脑、膝上型电脑、地面站、穿戴式设备(手表、手环)中的任意一种或多种。所述飞行器12可以是旋翼型飞行器，例如四旋翼飞行器、六旋翼飞行器、八旋翼飞行器，也可以是固定翼飞行器。飞行器12包括动力系统121，动力系统用于为飞行器12提供飞行动力，其中，动力系统121包括螺旋桨、电机、电子调速器中的任意一种或多种，飞行器12还可以包括云台122以及摄像装置123，摄像装置123通过云台122搭载于飞行器12的主体上。摄像装置123用于在飞行器12的飞行过程中进行图像或视频拍摄，包括但不限于多光谱成像仪、高光谱成像仪、可见光相机及红外相机等，云台122为多轴传动及增稳系统，云台122电机通过调整转动轴的转动角度来对成像设备的拍摄角度进行补偿，并通过设置适当的缓冲机构来防止或减小成像设备的抖动。
本发明实施例中，所述基于点云地图的图像边界获取系统可以通过所述基于点云地图的图像边界获取设备11获取包含语义的点云地图，并根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
请参见图2，图2是本发明实施例提供的一种基于点云地图的图像边界获取方法的流程示意图，所述方法可以由基于点云地图的图像边界获取设备执行，其中，所述基于点云地图的图像边界获取设备的具体解释如前所述。具体地，本发明实施例的所述方法包括如下步骤。
S201：获取包含语义的点云地图。
本发明实施例中，基于点云地图的图像边界获取设备可以获取包含语义的点云地图。在某些实施例中，所述点云地图是根据摄像装置拍摄到的图像上的各像素点的语义生成的。在某些实施例中，所述点云地图包含复数个点数据，且每个点数据包括位置数据、高度数据和不同置信度的多个语义。
在一个实施例中，所述基于点云地图的图像边界获取设备在获取包含语义的点云地图之前，可以通过飞行器的摄像装置采集样本图像数据，并对所述样本图像数据对应的样本图像进行语义标注，得到包括语义标注信息的样本图像数据，以及根据预设的语义识别算法生成初始语义识别模型，从而将所述包括语义标注信息的样本图像数据作为输入数据，输入该初始语义识别模型中进行训练，生成语义识别模型。
在一些实施例中，所述样本图像数据可以包括彩色图像或正射影像；或者，所述样本图像可以包括彩色图像和所述彩色图像对应的景深数据；或者，所述样本图像可以包括正射影像和所述正射影像对应的景深数据。在某些实施例中，所述正射影像是一种经过几何纠正(比如使之拥有统一的比例尺)的航拍图像，与没有纠正过的航拍图像不同的是，正射影像量可用于测实际距离，因为它是通过几何纠正后得到的地球表面的真实描述，所述正射影像具有信息量丰富、直观、可量测的特性。在某些实施例中，所述彩色图像是根据RGB值确定的图像。在某些实施例中，所述景深数据反映所述摄像装置到被拍摄物的距离。
在一个实施例中，所述基于点云地图的图像边界获取设备在获取包含语义的点云地图时，可以在飞行器的飞行过程中获取挂载在飞行器上的摄像装置采集到的第一图像数据，并将所述第一图像数据输入所述语义识别模型中进行处理，识别得到所述第一图像数据中每个像素点所具有的语义，以及根据识别得到的所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据，从而使用所述包含语义的第一点云数据生成点云地图。
在一个实施例中，本方案使用的所述语义识别模型可以为卷积神经网络(Convolutional Neural Networks，CNN)模型，所述CNN模型的架构主要包括输入层、卷积层、激励层、池化层。在神经网络模型中，可以包括多个子网，所述子网被布置在从最低到最高的序列中，并且，通过所述序列中的子网中的每一个来处理输入的图像数据。序列中的子网包括多个模块子网以及可选地包括一个或多个其它子网，所述其它子网均由一个或者多个常规神经网络层组成，例如最大池化层、卷积层、全连接层、正则化层等。每个子网接收由序列中的前子网生成的在前输出表示；通过直通卷积来处理所述在前输出表示，以生成直通输出；通过神经网络层的一个或者多个群组来处理在前输出表示，以生成一个或者多个群组，连接所述直通输出和所述群组输出，以生成所述模块子网的输出表示。
在某些实施例中，所述输入层用于输入图像数据，所述卷积层用于对所述图像数据进行运算，所述激励层用于对卷积层输出的结果做非线性映射，所述池化层用于压缩数据和参数的量，减少过拟合，提高性能。本方案采用进行语义标注后的样本图像数据作为输入数据，输入CNN模型的输入层，经过卷积层计算之后，通过多个通道输出不同语义的置信度，例如，农田通道(置信度)、果树通道(置信度)、河流通道(置信度)等。作为CNN的输出结果，可以表示为一个张量数值，例如对于某一个像素点{经纬度，高度，K1,K2,…,Kn}，该张量数值表示了像素点的三维点云信息和n个通道的语义信息，其中，K1,K2,…,Kn表示置信度，张量数据中置信度最大的语义通道被作为该像素点的语义。例如，第i个语义通道的置信度Ki＝0.8，是最高的置信度，则该第i个通道对应的语义被作为该像素点的语义。
S202：根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
本发明实施例中，基于点云地图的图像边界获取设备可以根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
在一个实施例中，所述基于点云地图的图像边界获取设备在根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域时，可以根据所述点云地图上的语义，确定所述点云地图上具有连续相同语义的图像区域，并对所述具有连续相同语义的各图像区域进行边沿处理操作，以得到所述点云地图上不同语义的各图像区域。在某些实施例中，所述边沿处理操作包括：正向边沿处理操作和/或逆向边沿处理操作。在某些实施例中，所述正向边沿处理操作可以包括腐蚀操作，所述逆向边沿处理操作可以包括膨胀操作。在某些实施例中，所述腐蚀操作的公式如公式(1)所示：
dst(x,y)＝min src(x+x',y+y')
(x',y'):element(x',y')≠0(1)
其中，上述公式(1)中，dst(x,y)表示腐蚀操作的目标像素值，(x,y)、(x',y')表示像素坐标位置，src(x+x',y+y')表示取值操作。
在某些实施例中，所述膨胀操作的公式如公式(2)所示：
dst(x,y)＝max src(x+x',y+y')
(x',y'):element(x',y')≠0(2)
其中，上述公式(2)中，dst(x,y)表示膨胀操作的目标像素值，(x,y)、(x',y')表示像素坐标位置，src(x+x',y+y')表示取值操作。
在一个实施例中，所述正向边沿处理操作，包括：对所述点云地图上所有的图像区域进行全局正向边沿处理操作，确定出伪黏连的图像边界，以对伪黏连的各图像区域进行分割；和/或，对所述点云地图上联通的各图像区域进行局部正向边沿处理操作，确定出半黏连的图像边界，以对所述联通的各图像区域中的半黏连的图像区域进行分割。
在一个实施例中，所述全局正向边沿处理操作包括：将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。在一些实施例中，所述局部正向边沿处理操作包括：将所述点云地图中的具有连通域的语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。在某些实施例中，所述预设计算核为带有参考点的预定图形。
具体可以图3.1为例进行说明，图3.1是本发明实施例提供的一种腐蚀操作的示意图。如图3.1所示，假设所述点云地图的图像区域为语义集合图像311，则所述基于点云地图的图像边界获取设备可以将所述点云地图中的每一个语义集合图像311与作为预设计算核的带有参考点的预定图形312进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点，得到如图3.1中的腐蚀图像313。
在一些实施例中，所述逆向边沿处理操作包括：将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最大值，并将所述最大值赋值给指定的像素点。在某些实施例中，所述预设计算核为带有参考点的预定图形。
具体可以图3.2为例进行说明，图3.2是本发明实施例提供的一种膨胀操作的示意图。如图3.2所示，假设所述点云地图的图像区域为语义集合图像321，则所述基于点云地图的图像边界获取设备可以将所述点云地图中的每一个语义集合图像321与作为预设计算核的带有参考点的预定图形322进行卷积，以求得计算核覆盖的区域的像素点的最大值，并将所述最大值赋值给指定的像素点，并将所述最小值赋值给指定的像素点，得到如图3.2中的膨胀图像323。
通过正向边沿处理操作可以得到比原图更小的高亮区域，通过所述逆向边沿处理操作可以得到比原图更大的高亮区域。通过这种实施方式可以增强图像效果，为后续图像处理过程中的计算提供更有效的数据，以便提高计算的准确率。
本发明实施例中，基于点云地图的图像边界获取设备可以获取包含语义的点云地图，并根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域，通过这种方式可以自动划分图像区域，满足了对图像区域进行分类的自动化和智能化需求，以及提高了图像划分的准确性。
请参见图4，图4是本发明实施例提供的一种基于点云地图的航线规划方法的流程示意图，所述方法可以由基于点云地图的航线规划设备执行，其中，所述基于点云地图的航线规划设备可以设置在飞行器上，或者设置在与飞行器建立通信连接的其他可移动设备上，如能够自主移动的机器人、无人车、无人船等可移动设备。在某些实施例中，所述基于点云地图的航线规划设备可以是飞行器的部件；在其他实施例中，所述基于点云地图的航线规划设备还可以在空间上独立于飞行器。具体地，本发明实施例的所述方法包括如下步骤。
S401：获取包含语义的点云地图。
本发明实施例中，基于点云地图的航线规划设备可以获取包含语义的点云地图。
在一个实施例中，基于点云地图的航线规划设备在获取包含语义的点云地图时，可以获取飞行器上挂载的摄像装置拍摄的第一图像数据，并基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义，以及根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据，从而使用所述包含语义的第一点云数据生成点云地图。
在一个实施例中，基于点云地图的航线规划设备在基于语义识别模型处理所述第一图像数据之前，可以训练生成所述语义识别模型。在训练生成所述语义识别模型时，所述基于点云地图的航线规划设备可以通过飞行器的摄像装置采集样本图像数据，并对所述样本图像数据对应的样本图像进行语义标注，得到包括语义标注信息的样本图像数据。所述基于点云地图的航线规划设备可以根据预设的语义识别算法生成初始语义识别模型，并将所述包括语义标注信息的样本图像数据作为输入数据，输入该初始语义识别模型中进行训练，得到训练结果，其中，所述训练结果包括所述样本图像数据对应的位置数据、高度数据以及所述样本图像中每个像素点的语义。在某些实施例中，所述样本图像数据对应的位置数据包括所述样本图像的经度和纬度，所述样本图像数据对应的高度数据为所述样本图像的高度。在得到训练结果之后，所述基于点云地图的航线规划设备可以将所述训练结果中样本图像中每个像素点的语义与所述样本图像的语义标注信息进行对比，如果不匹配，则可以调整所述初始语义识别模型中的参数，直至训练结果样本图像中每个像素点的语义与所述语义标注信息相匹配时，生成所述语义识别模型。
在一些实施例中，所述样本图像数据可以包括彩色图像或正射影像；或者，所述样本图像可以包括彩色图像和所述彩色图像对应的景深数据；或者，所述样本图像可以包括正射影像和所述正射影像对应的景深数据。在某些实施例中，所述正射影像是一种经过几何纠正(比如使之拥有统一的比例尺)的航拍图像，与没有纠正过的航拍图像不同的是，正射影像量可用于测实际距离，因为它是通过几何纠正后得到的地球表面的真实描述，所述正射影像具有信息量丰富、直观、可量测的特性。在某些实施例中，所述彩色图像是根据RGB值确定的图像。在某些实施例中，所述景深数据反映所述摄像装置到被拍摄物的距离。
在某些实施例中，所述第一点云数据与所述第一图像数据中每个像素点相对应，所述点云地图上不同点云数据的语义可以用不同的显示方式进行标记，如通过不同的颜色进行标记。如图5所示，图5是本发明实施例提供的一种点云地图的界面示意图，如图5为通过不同的颜色对点云地图上不同语义的点云数据进行标记得到示意图，图5中显示的不同的颜色代表不同类别。
在一个实施例中，当所述第一图像数据包括正射影像时，所述基于点云地图的航线规划设备可以对所述正射影像进行语义标注(即对地物的类别进行标记，以便识别地物类别)，得到包含语义标注信息的正射影像，并将所述包含语义标注信息的正射影像输入训练好的所述语义识别模型中进行处理，识别得到所述正射影像上的每个像素点对应的语义，并输出所述正射影像上的每个像素点所具有的语义的置信度、位置数据和高度数据。在某些实施例中，所述位置数据包括所述第一图像数据中第一图像的经度和纬度，所述高度数据包括所述第一图像数据中第一图像的高度。
在一个实施例中，当所述第一图像数据包括正射影像和所述正射影像对应的景深数据时，所述基于点云地图的航线规划设备可以通过训练好的语义识别模型对所述正射影像和所述正射影像对应的景深数据进行识别，识别出所述正射影像上每个像素点对应的语义。所述基于点云地图的航线规划设备可以根据所述正射影像对应的位置数据、高度数据、景深数据和所述正射影像上每个像素点对应的语义，生成包含语义的第一点云数据，从而生成包含语义的点云地图。在某些实施例中，所述景深数据可以通过深度图来显示，所述深度图是指从摄像装置中读取到的带有深度信息的一帧数据(即景深数据)，由于深度图不适合直观查看，因此可以根据预设规则将深度图转化为点云数据，以便根据所述点云数据生成点云地图，方便用户查看。
在一些实施例中，所述第一图像数据包括正射影像，由于不同时刻获取到的正射影像可能具有较大的重叠，在不同的两个时刻采集到的两张正射影像中可能会出现具有相同位置数据的多个像素点，且识别出的两张正射影像具有相同位置数据的多个像素点的语义可能存在不一致。因此，为了更加可靠的对具有相同位置数据的多个像素点进行语义识别，所述基于点云地图的航线规划设备可以根据语义识别模型输出的具有相同位置数据的多个像素点的语义的置信度的高低，来确定置信度较高的语义为具有相同位置数据的多个像素点的语义。
在某些实施例中，所述基于点云地图的航线规划设备还可以采用人工投票的方式确定具有相同位置数据的多个像素点的语义；在某些实施例中，所述基于点云地图的航线规划设备还可以将具有相同位置数据的多个像素点被标记次数最多的语义，确定为具有相同位置数据的多个像素点的语义；在其他实施例中，具有相同位置数据的多个像素点的语义同样还可以根据其他规则确定，例如根据预设的语义的优先级来确定，本发明实施例在此不做具体限定。
在一个实施例中，本方案使用的所述语义识别模型可以为CNN模型，所述CNN模型的架构主要包括输入层、卷积层、激励层、池化层。在神经网络模型中，可以包括多个子网，所述子网被布置在从最低到最高的序列中，并且，通过所述序列中的子网中的每一个来处理输入的图像数据。序列中的子网包括多个模块子网以及可选地包括一个或多个其它子网，所述其它子网均由一个或者多个常规神经网络层组成，例如最大池化层、卷积层、全连接层、正则化层等。每个子网接收由序列中的前子网生成的在前输出表示；通过直通卷积来处理所述在前输出表示，以生成直通输出；通过神经网络层的一个或者多个群组来处理在前输出表示，以生成一个或者多个群组，连接所述直通输出和所述群组输出，以生成所述模块子网的输出表示。
在某些实施例中，所述输入层用于输入图像数据，所述卷积层用于对所述图像数据进行运算，所述激励层用于对卷积层输出的结果做非线性映射，所述池化层用于压缩数据和参数的量，减少过拟合，提高性能。本方案采用进行语义标注后的样本图像数据作为输入数据，输入CNN模型的输入层，经过卷积层计算之后，通过多个通道输出不同语义的置信度。具体实施例举例如前所述，此处不再赘述。
在一个实施例中，所述位置数据包括经度和纬度；所述第一点云数据包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义，且所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点相对应。在某些实施例中，所述不同置信度的多个语义是通过语义识别模型识别之后从多个通道输出得到的；在某些实施例中，与一般神经网络输出的结果不同的是，在神经网络的输出通道后增加分段输出函数，若通道置信度结果为负值，则将通道置信度结果置为零，保证神经网络输出的置信度为正浮点数据。使用正浮点数据作为语义通道的置信度，可以直接通过两个像素点数据的减法运算获得较大的置信度，由于张量的减法运算只需要对数组对应的数值内容进行减法操作，其运算量非常小，在同等算力的情况下，可以大大提高运算速度。尤其适合高精度地图绘制过程中，由于高精度地图需要大量运算，而造成的算力紧张问题。
在一个实施例中，基于点云地图的航线规划设备可以获取飞行器上挂载的摄像装置拍摄的第二图像数据，并基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义，以及根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据，从而使用所述第二点云数据更新所述点云地图。
在一个实施例中，所述第一点云数据、第二点云数据和所述点云地图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义；所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点对应，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。在某些实施例中，所述置信度为正浮点数据。
在一个实施例中，所述基于点云地图的航线规划设备在更新所述点云地图之前，可以检测根据所述第一点云数据生成的点云地图中是否存在与所述第二点云数据具有相同的位置数据的点数据(即重叠的像素点)；如果检测到根据所述第一点云数据生成的点云地图中存在与所述第二点云数据具有相同位置数据的点数据，则可以比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义的置信度，并保留所述两个点数据中具有较高置信度的点数据的语义。
在一个实施例中，所述基于点云地图的航线规划设备在使用所述第二点云数据更新所述点云地图时，可以将所述两个点数据中具有较高置信度的点数据的语义确定为所述点云地图中与所述第二点数据位置数据相同的点数据的语义，以及将所述第二点云数据中与所述点云地图中位置数据不相同的点数据与所述点云地图进行叠加，从而实现对所述点云地图的更新。
在某些实施例中，所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。
在一个实施例中，所述基于点云地图的航线规划设备在比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据时，可以对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。在某些实施例中，所述减法运算是去掉两个点数据中置信度较低的语义，保留置信度较高的语义。
例如，假设基于点云地图的航线规划设备在更新所述点云地图之前，检测到根据所述第一点云数据生成的点云地图中存在与所述第二点云数据具有相同的位置数据的点数据，如果根据所述第一点云数据生成的点云地图中所述相同的位置数据的点数据的语义为果树，且置信度为50％，以及所述第二点云数据中所述相同的位置数据的点数据的语义为水稻，且置信度为80％，则可以比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义的置信度，由于置信度80％大于50％，则可以去掉两个点数据中置信度较低的语义即果树，将所述点云地图中的语义更新为水稻。
在一个实施例中，所述基于点云地图的航线规划设备在使用所述第二点云数据更新所述点云地图时，还可以通过统计根据所述第一点云数据生成的点云地图中和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记的各语义的个数，并将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义。
在一个实施例中，所述基于点云地图的航线规划设备在使用所述第二点云数据更新所述点云地图时，还可以根据所述第二点云数据和根据所述第一点云数据生成的点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。
S402：根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
本发明实施例中，基于点云地图的航线规划设备可以根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。在某些实施例中，所述点云地图包括的各图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域可以通过不同的显示标记方式进行显示，例如，通过不同的颜色对不同语义的各图像区域进行标记。具体实施例如前所述，此处不再赘述。
S403：根据所述点云地图上各图像区域的语义，规划飞行航线。
本发明实施例中，基于点云地图的航线规划设备可以根据所述点云地图上各图像区域的语义，规划飞行航线。
在一个实施例中，基于点云地图的航线规划设备生成点云地图之后，可以根据所述点云地图上各图像区域对应的像素点的语义，规划飞行航线。所述基于点云地图的航线规划设备可以根据所述点云地图上各图像区域对应的像素点的语义，确定出所述点云地图上的障碍区域，并将该障碍区域通过特定的标记方式自动的标记出来，例如，农田中的电线杆、农田中孤立的树木等。将障碍区域自动标记之后，基于点云地图的航线规划设备可以根据预设的航线生成算法生成自动规避标记的障碍区域的飞行航线。
通过这种根据带有语义的点云图像进行航线规划的实施方式，可以自动化的将指定为障碍物或障碍区域的语义所对应的区域标记为航线需要规避的障碍区域，这在很大程度减少了依赖人工判读障碍物的工作量；通过对包含语义的点云地图进行实时更新，使得点云地图融合了对多张正射影像中识别的结果，降低了对地物的误判或遗漏的概率，提高了识别地物类别的效率。
具体可结合图6.1、图6.2和图6.3进行举例说明，图6.1是本发明实施例提供的一种正射影像的界面示意图，图6.2是本发明实施例提供的另一种点云地图的界面示意图，图6.3是本发明实施例提供的一种标记障碍物的点云地图的界面示意图。基于点云地图的图像边界获取设备可以根据获取到的如图6.1所示的正射影像，将图6.1所示的正射影像输入训练好的语义识别模型中，识别出所述图6.1所示的正射影像对应的像素点的语义。由于不同的语义对应不同类型的地物，假设不同的语义用不同的颜色代表，且每种颜色代表一种类型的地物，则所述基于点云地图的图像边界获取设备可以对包含语义的点云地图进行渲染，得到如图6.2所示的点云地图，其中，图6.2中的区域601中的灰色点代表需要标记的障碍物如电线杆。因此，可以通过对图6.2中的区域601中的灰色点进行标记，如用图6.3中所示的圆圈对区域601中的灰色点进行标记，可以得到如图6.3所示的标记障碍物的示意图。在其他实施例中，对障碍物的标记方式可以是其他标记方式，本发明实施例不做具体限定。
在一个实施例中，基于点云地图的航线规划设备可以基于不同语义的各图像区域对航拍场景的类别进行划分。所述基于点云地图的航线规划设备在对所述航拍场景的类别进行划分时，可以根据所述点云地图中对应各像素点的语义的置信度、位置数据、高度数据对所述航拍场景的类别进行划分。
具体可举例说明，假设所述航拍场景为大田，所述大田中的类别包括树、道路、地面、电线杆、建筑物、水面、水稻田、其他农作物等，则所述基于点云地图的航线规划设备可以根据所述点云地图对应各像素点的语义的置信度、位置数据、高度数据中的任意一种或多种，确定语义为树，且高度数据大于第一预设高度阈值的像素点所对应的区域为树的区域；确定语义为水泥和/或柏油的像素点所对应的区域为道路；确定语义置信度为水泥、柏油对应的像素点为道路；确定语义为杆状物，且高度数据大于第二预设高度阈值像素点所对应的区域为电线杆；确定语义为水、河流等被水覆盖的像素点所对应的区域为水面；确定语义为楼房，亭子，蓄水池(不包括水面)，厂房，塑料大棚等为建筑物；确定语义为水稻的像素点所对应的区域确定为水稻田；确定空白区域或高度数据小于第三预设高度阈值的其他语义的像素点所对应的区域为地面。根据识别出的大田中包括的各个类别，实现对所述大田所对应的各个区域进行划分。
在一个实施例中，所述包含语义的点云地图还可以应用于违章建筑的检测，所述基于点云地图的航线规划设备可以基于带有语义标注信息的正射影像(即第一图像数据)，通过语义识别模型识别两个不同时刻采集的正射影像对应像素点的语义，并根据两个不同时刻采集的正射影像对应的位置数据、高度数据以及每个像素点所具有的语义，生成包含语义的点云数据，以及使用点云数据生成各自包含语义的点云地图。如果检测到两个点云地图上具有相同位置数据的像素点，则可以通过对比具有相同位置数据的像素点的语义的置信度(即地物类别)，来确定具有相同位置数据的像素点的语义，从而根据语义判断具有相同位置数据的像素点区域是否出现了违章建筑；或判断具有相同位置数据的像素点区域是否发生变化。通过这种结合带有语义的点云地图的实施方式，能够更加可靠的检测变化区域，并且提供更为详尽的变化信息。
在一个实施例中，所述包含语义的点云地图还可以应用于地物分类。具体可以根据点云地图上对应各像素点的语义、所述点云地图上对应各像素点的位置数据、高度数据，对所述点云地图上的地物进行分类，和/或对所述点云地图上的地物按类别进行划分或分割等操作。
在一个实施例中，所述包含语义的点云地图还可以应用于农机的喷洒任务，对于农机喷洒任务的飞行航线的规划，可以通过判断农机飞行的区域是否为需要喷洒的作物来控制农药喷洒开关，以避免浪费农药的使用。
S404：控制所述飞行器按照所述飞行航线飞行。
本发明实施例中，基于点云地图的航线规划设备可以控制所述飞行器按照所述飞行航线飞行。
在一个实施例中，基于点云地图的航线规划设备在控制所述飞行器按照所述飞行航线飞行时，可以判断所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义是否与目标任务的语义相匹配，如果判断出所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义与目标任务的语义相匹配，则可以控制所述飞行器执行所述目标任务；如果判断出所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义与目标任务的语义不匹配，则可以控制所述飞行器停止执行所述目标任务。在某些实施例中，所述目标任务可以是农药喷洒任务、障碍物检测任务、对场景目标进行分类等任意一种或多种任务。
在一个实施例中，如果所述目标任务为对场景目标进行分类，则所述基于点云地图的航线规划设备在控制所述飞行器执行所述目标任务时，可以对航拍场景的目标进行识别，并根据识别结果生成包含语义的点云地图，以及根据所述包含语义的点云地图对航拍场景的类别进行划分。
本发明实施例中，基于点云地图的航线规划设备可以获取包含语义的点云地图，并根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域，以及根据所述点云地图上各图像区域的语义规划飞行航线，从而控制所述飞行器按照所述飞行航线飞行。通过这种实施方式可以实现根据不同语义规划飞行航线，以避免障碍区域以及提高飞行器的飞行安全。
请参见图7，图7是本发明实施例提供的一种基于点云地图的图像边界获取设备的结构示意图。具体的，所述基于点云地图的图像边界获取设备包括：存储器701、处理器702以及数据接口703。
所述存储器701可以包括易失性存储器(volatile memory)；存储器701也可以包括非易失性存储器(non-volatile memory)；存储器701还可以包括上述种类的存储器的组合。所述处理器702可以是中央处理器(central processing unit，CPU)。所述处理器702还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。具体例如可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)或其任意组合。
进一步地，所述存储器701用于存储程序指令，当程序指令被执行时所述处理器702可以调用存储器701中存储的程序指令，用于执行如下步骤：
获取包含语义的点云地图；
根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
进一步地，所述处理器702根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域时，具体用于：
根据所述点云地图上的语义，确定所述点云地图上具有连续相同语义的图像区域；
对所述具有连续相同语义的各图像区域进行边沿处理操作，以得到所述点云地图上不同语义的各图像区域。
进一步地，所述边沿处理操作包括：正向边沿处理操作和/或逆向边沿处理操作。
进一步地，述正向边沿处理操作，包括：
对所述点云地图上所有的图像区域进行全局正向边沿处理操作，确定出伪黏连的图像边界，以对伪黏连的各图像区域进行分割；和/或，
对所述点云地图上联通的各图像区域进行局部正向边沿处理操作，确定出半黏连的图像边界，以对所述联通的各图像区域中的半黏连的图像区域进行分割。
进一步地，所述全局边沿处理操作包括：
将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
进一步地，所述局部正向边沿处理操作包括：
将所述点云地图中的具有连通域的语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
进一步地，所述逆向边沿处理操作包括：
将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最大值，并将所述最大值赋值给指定的像素点。
进一步地，所述预设计算核为带有参考点的预定图形。
本发明实施例中，基于点云地图的图像边界获取设备可以获取包含语义的点云地图，并根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域，通过这种方式可以自动划分图像区域，满足了对图像区域进行分类的自动化和智能化需求，以及提高了图像划分的准确性。
请参见图8，图8是本发明实施例提供的一种基于点云地图的航线规划设备的结构示意图。具体的，所述基于点云地图的航线规划设备包括：存储器801、处理器802以及数据接口803。
所述存储器801可以包括易失性存储器(volatile memory)；存储器801也可以包括非易失性存储器(non-volatile memory)；存储器801还可以包括上述种类的存储器的组合。所述处理器802可以是中央处理器(central processing unit，CPU)。所述处理器802还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。具体例如可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)或其任意组合。
进一步地，所述存储器801用于存储程序指令，当程序指令被执行时所述处理器802可以调用存储器801中存储的程序指令，用于执行如下步骤：
获取包含语义的点云地图；
根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域；
根据所述点云地图上各图像区域的语义，规划飞行航线；
控制所述飞行器按照所述飞行航线飞行。
进一步地，所述处理器802获取包含语义的点云地图时，具体用于：
获取飞行器上挂载的摄像装置拍摄的第一图像数据；
基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；
根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；
使用所述包含语义的第一点云数据生成点云地图。
进一步地，所述处理器802获取包含语义的点云地图时，具体用于：
获取飞行器上挂载的摄像装置拍摄的第二图像数据；
基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义；
根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据；
使用所述第二点云数据更新所述点云地图。
进一步地，所述第一点云数据、第二点云数据和所述点云地图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义；
所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点对应，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。
进一步地，所述置信度为正浮点数据。
进一步地，所述处理器802在使用所述第二点云数据更新所述点云地图时，具体用于：
比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，保留所述两个点数据中具有较高置信度的点数据。
进一步地，所述处理器802在比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据时，具体用于：
对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。
进一步地，所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。
进一步地，所述处理器802在使用所述第二点云数据更新所述点云地图时，具体用于：
统计所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记为相同语义的个数；
将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义。
进一步地，所述处理器802在使用所述第二点云数据更新所述点云地图时，具体用于：
根据所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。
进一步地，所述第一图像数据包括彩色图像；或者，
所述第一图像数据包括彩色图像和所述彩色图像对应的景深数据；或者，
所述第一图像数据包括正射影像；或者，
所述第一图像数据包括正射影像和所述正射影像对应的景深数据。
进一步地，所述处理器802在基于语义识别模型处理所述第一图像数据之前，还用于：
获取样本数据库，所述样本数据库包括样本图像数据；
根据预设的语义识别算法生成初始语义识别模型；
基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型；
其中，所述样本图像数据包括样本图像和语义标注信息；或者，所述样本图像数据包括样本图像、所述样本图像中各个像素点对应的景深数据和语义标注信息。
进一步地，所述处理器802在基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型时，具体用于：
调用所述初始语义识别模型对所述样本图像数据包括的所述样本图像以及所述样本图像中各个像素点对应的景深数据进行识别，得到识别结果；
若所述识别结果与所述样本图像数据包括的语义标注信息相匹配，则对所述初始语义识别模型的模型参数进行优化，以得到所述语义识别模型。
进一步地，所述点云地图包括多个图像区域，所述图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域通过不同的显示标记方式进行显示。
进一步地，所述处理器802根据所述点云地图上各图像区域的语义，规划飞行航线时，具体用于：
根据所述点云地图上各图像区域对应的语义，确定所述点云地图上的障碍区域；
在规划航线时绕过所述障碍区域规划所述飞行航线。
进一步地，所述处理器802在控制所述飞行器按照所述飞行航线飞行时，具体用于：
在控制所述飞行器按照所述飞行航线飞行的过程中，判断所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义是否与目标任务的语义相匹配；
如果判断结果为是，则控制所述飞行器执行所述目标任务；
如果判断结果为否，则控制所述飞行器停止执行所述目标任务。
本发明实施例中，基于点云地图的航线规划设备可以获取包含语义的点云地图，并根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域，以及根据所述点云地图上各图像区域的语义规划飞行航线，从而控制所述飞行器按照所述飞行航线飞行。通过这种实施方式可以实现根据不同语义规划飞行航线，以避免障碍区域以及提高飞行器的飞行安全。
本发明实施例提供了一种飞行器，包括：机身；设置于所述机身上的动力系统，用于提供飞行动力；所述动力系统包括：桨叶、电机，用于驱动桨叶转动；处理器，用于获取包含语义的点云地图；根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
进一步地，所述处理器根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域时，具体用于：
根据所述点云地图上的语义，确定所述点云地图上具有连续相同语义的图像区域；
对所述具有连续相同语义的各图像区域进行边沿处理操作，以得到所述点云地图上不同语义的各图像区域。
进一步地，所述边沿处理操作包括：正向边沿处理操作和/或逆向边沿处理操作。
进一步地，所述正向边沿处理操作，包括：
对所述点云地图上所有的图像区域进行全局正向边沿处理操作，确定出伪黏连的图像边界，以对伪黏连的各图像区域进行分割；和/或，
对所述点云地图上联通的各图像区域进行局部正向边沿处理操作，确定出半黏连的图像边界，以对所述联通的各图像区域中的半黏连的图像区域进行分割。
进一步地，所述全局边沿处理操作包括：
将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
进一步地，所述局部正向边沿处理操作包括：
将所述点云地图中的具有连通域的语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
进一步地，所述逆向边沿处理操作包括：
将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最大值，并将所述最大值赋值给指定的像素点。
进一步地，所述预设计算核为带有参考点的预定图形。
本发明实施例中，基于点云地图的图像边界获取设备可以获取包含语义的点云地图，并根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域，通过这种方式可以实现自动划分图像区域，满足了对图像区域进行分类的自动化和智能化需求，以及提高了图像划分的准确性。
本发明实施例还提供了一种飞行器，包括：机身；设置于所述机身上的动力系统，用于提供飞行动力；所述动力系统包括：桨叶、电机，用于驱动桨叶转动；处理器，用于获取包含语义的点云地图；根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域；根据所述点云地图上各图像区域的语义，规划飞行航线；控制所述飞行器按照所述飞行航线飞行。
进一步地，所述处理器获取包含语义的点云地图时，具体用于：
获取飞行器上挂载的摄像装置拍摄的第一图像数据；
基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；
根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；
使用所述包含语义的第一点云数据生成点云地图。
进一步地，所述处理器还用于：
获取飞行器上挂载的摄像装置拍摄的第二图像数据；
基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义；
根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据；
使用所述第二点云数据更新所述点云地图。
进一步地，所述第一点云数据、第二点云数据和所述点云地图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义；
所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点对应，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。
进一步地，所述置信度为正浮点数据。
进一步地，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，保留所述两个点数据中具有较高置信度的点数据。
进一步地，所述处理器在比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据时，具体用于：
对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。
进一步地，所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。
进一步地，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
统计所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记为相同语义的个数；
将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义。
进一步地，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
根据所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。
进一步地，所述第一图像数据包括彩色图像；或者，
所述第一图像数据包括彩色图像和所述彩色图像对应的景深数据；或者，
所述第一图像数据包括正射影像；或者，
所述第一图像数据包括正射影像和所述正射影像对应的景深数据。
进一步地，所述处理器在基于语义识别模型处理所述第一图像数据之前，还用于：
获取样本数据库，所述样本数据库包括样本图像数据；
根据预设的语义识别算法生成初始语义识别模型；
基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型；
其中，所述样本图像数据包括样本图像和语义标注信息；或者，所述样本图像数据包括样本图像、所述样本图像中各个像素点对应的景深数据和语义标注信息。
进一步地，所述处理器在基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型时，具体用于：
调用所述初始语义识别模型对所述样本图像数据包括的所述样本图像以及所述样本图像中各个像素点对应的景深数据进行识别，得到识别结果；
若所述识别结果与所述样本图像数据包括的语义标注信息相匹配，则对所述初始语义识别模型的模型参数进行优化，以得到所述语义识别模型。
进一步地，所述点云地图包括多个图像区域，所述图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域通过不同的显示标记方式进行显示。
进一步地，所述处理器根据所述点云地图上各图像区域的语义，规划飞行航线时，具体用于：
根据所述点云地图上各图像区域对应的语义，确定所述点云地图上的障碍区域；
在规划航线时绕过所述障碍区域规划所述飞行航线。
进一步地，所述处理器在控制所述飞行器按照所述飞行航线飞行时，具体用于：
在控制所述飞行器按照所述飞行航线飞行的过程中，判断所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义是否与目标任务的语义相匹配；
如果判断结果为是，则控制所述飞行器执行所述目标任务；
如果判断结果为否，则控制所述飞行器停止执行所述目标任务。
本发明实施例中，基于点云地图的航线规划设备可以获取包含语义的点云地图，并根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域，以及根据所述点云地图上各图像区域的语义规划飞行航线，从而控制所述飞行器按照所述飞行航线飞行。通过这种实施方式可以实现根据不同语义规划飞行航线，以避免障碍区域以及提高飞行器的飞行安全。
在本发明的实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明图2所对应实施例中描述的基于点云地图的图像边界获取方法方式或图3所对应实施例中描述的基于点云地图的航线规划方法方式，也可实现图6所述本发明所对应实施例的基于点云地图的图像边界获取设备或图7所述本发明所对应实施例的基于点云地图的航线规划设备，在此不再赘述。
所述计算机可读存储介质可以是前述任一项实施例所述的设备的内部存储单元，例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (73)

1.一种基于点云地图的图像边界获取方法，其特征在于，所述方法包括：
获取包含语义的点云地图；
根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
2.根据权利要求1所述的方法，其特征在于，所述根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域，包括：
根据所述点云地图上的语义，确定所述点云地图上具有连续相同语义的图像区域；
对所述具有连续相同语义的各图像区域进行边沿处理操作，以得到所述点云地图上不同语义的各图像区域。
3.根据权利要求2所述的方法，其特征在于，所述边沿处理操作包括：正向边沿处理操作和/或逆向边沿处理操作。
4.根据权利要求3所述的方法，其特征在于，所述正向边沿处理操作，包括：
对所述点云地图上所有的图像区域进行全局正向边沿处理操作，确定出伪黏连的图像边界，以对伪黏连的各图像区域进行分割；和/或，
对所述点云地图上联通的各图像区域进行局部正向边沿处理操作，确定出半黏连的图像边界，以对所述联通的各图像区域中的半黏连的图像区域进行分割。
5.根据权利要求4所述的方法，其特征在于，所述全局正向边沿处理操作包括：
将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
6.根据权利要求4所述的方法，其特征在于，所述局部正向边沿处理操作包括：
将所述点云地图中的具有连通域的语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
7.根据权利要求3所述的方法，其特征在于，所述逆向边沿处理操作包括：
将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最大值，并将所述最大值赋值给指定的像素点。
8.根据权利要求5-7任一项所述的方法，其特征在于，所述预设计算核为带有参考点的预定图形。
9.一种基于点云地图的航线规划方法，其特征在于，所述方法包括：
获取包含语义的点云地图；
根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域；
根据所述点云地图上各图像区域的语义，规划飞行航线；
控制所述飞行器按照所述飞行航线飞行。
10.根据权利要求9所述的方法，其特征在于，所述获取包含语义的点云地图，包括：
获取飞行器上挂载的摄像装置拍摄的第一图像数据；
基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；
根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；
使用所述包含语义的第一点云数据生成点云地图。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
获取飞行器上挂载的摄像装置拍摄的第二图像数据；
基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义；
根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据；
使用所述第二点云数据更新所述点云地图。
12.根据权利要求11所述的方法，其特征在于，
所述第一点云数据、第二点云数据和所述点云地图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义；
所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点对应，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。
13.根据权利要求12所述的方法，其特征在于，所述置信度为正浮点数据。
14.根据权利要求11所述的方法，其特征在于，使用所述第二点云数据更新所述点云地图，包括：
比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，保留所述两个点数据中具有较高置信度的点数据。
15.根据权利要求14所述的方法，其特征在于，比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，包括：
对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。
16.根据权利要求15所述的方法，其特征在于，
所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。
17.根据权利要求14所述的方法，其特征在于，所述使用所述第二点云数据更新所述点云地图，包括：
统计所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记为相同语义的个数；
将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义。
18.根据权利要求14所述的方法，其特征在于，使用所述第二点云数据更新所述点云地图，包括：
根据所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。
19.根据权利要求10所述的方法，其特征在于，
所述第一图像数据包括彩色图像；或者，
所述第一图像数据包括彩色图像和所述彩色图像对应的景深数据；或者，
所述第一图像数据包括正射影像；或者，
所述第一图像数据包括正射影像和所述正射影像对应的景深数据。
20.根据权利要求10所述的方法，其特征在于，所述基于语义识别模型处理所述第一图像数据之前，包括：
获取样本数据库，所述样本数据库包括样本图像数据；
根据预设的语义识别算法生成初始语义识别模型；
基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型；
其中，所述样本图像数据包括样本图像和语义标注信息；或者，所述样本图像数据包括样本图像、所述样本图像中各个像素点对应的景深数据和语义标注信息。
21.根据权利要求20所述的方法，其特征在于，所述基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型，包括：
调用所述初始语义识别模型对所述样本图像数据包括的所述样本图像以及所述样本图像中各个像素点对应的景深数据进行识别，得到识别结果；
若所述识别结果与所述样本图像数据包括的语义标注信息相匹配，则对所述初始语义识别模型的模型参数进行优化，以得到所述语义识别模型。
22.根据权利要求11所述的方法，其特征在于，
所述点云地图包括多个图像区域，所述图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域通过不同的显示标记方式进行显示。
23.根据权利要求22所述的方法，其特征在于，所述根据所述点云地图上各图像区域的语义，规划飞行航线，包括：
根据所述点云地图上各图像区域的语义，确定所述点云地图上的障碍区域；
在规划航线时绕过所述障碍区域规划所述飞行航线。
24.根据权利要求23所述的方法，其特征在于，所述控制所述飞行器按照所述飞行航线飞行，包括：
在控制所述飞行器按照所述飞行航线飞行的过程中，判断所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义是否与目标任务的语义相匹配；
如果判断结果为是，则控制所述飞行器执行所述目标任务；
如果判断结果为否，则控制所述飞行器停止执行所述目标任务。
25.一种基于点云地图的图像边界获取设备，其特征在于，所述设备包括：存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，调用存储器中存储的程序指令，用于执行如下步骤：
获取包含语义的点云地图；
根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
26.根据权利要求25所述的设备，其特征在于，所述处理器根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域时，具体用于：
根据所述点云地图上的语义，确定所述点云地图上具有连续相同语义的图像区域；
对所述具有连续相同语义的各图像区域进行边沿处理操作，以得到所述点云地图上不同语义的各图像区域。
27.根据权利要求26所述的设备，其特征在于，所述边沿处理操作包括：正向边沿处理操作和/或逆向边沿处理操作。
28.根据权利要求27所述的设备，其特征在于，所述正向边沿处理操作，包括：
对所述点云地图上所有的图像区域进行全局正向边沿处理操作，确定出伪黏连的图像边界，以对伪黏连的各图像区域进行分割；和/或，
对所述点云地图上联通的各图像区域进行局部正向边沿处理操作，确定出半黏连的图像边界，以对所述联通的各图像区域中的半黏连的图像区域进行分割。
29.根据权利要求28所述的设备，其特征在于，所述全局正向边沿处理操作包括：
将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
30.根据权利要求28所述的设备，其特征在于，所述局部正向边沿处理操作包括：
将所述点云地图中的具有连通域的语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
31.根据权利要求27所述的设备，其特征在于，所述逆向边沿处理操作包括：
将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最大值，并将所述最大值赋值给指定的像素点。
32.根据权利要求29-31任一项所述的设备，其特征在于，所述预设计算核为带有参考点的预定图形。
33.一种基于点云地图的航线规划设备，其特征在于，所述设备包括：存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，调用存储器中存储的程序指令，用于执行如下步骤：
获取包含语义的点云地图；
根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域；
根据所述点云地图上各图像区域的语义，规划飞行航线；
控制所述飞行器按照所述飞行航线飞行。
34.根据权利要求33所述的设备，其特征在于，所述处理器获取包含语义的点云地图时，具体用于：
获取飞行器上挂载的摄像装置拍摄的第一图像数据；
基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；
根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；
使用所述包含语义的第一点云数据生成点云地图。
35.根据权利要求34所述的设备，其特征在于，所述处理器获取包含语义的点云地图时，具体用于：
获取飞行器上挂载的摄像装置拍摄的第二图像数据；
基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义；
根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据；
使用所述第二点云数据更新所述点云地图。
36.根据权利要求35所述的设备，其特征在于，
所述第一点云数据、第二点云数据和所述点云地图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义；
所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点对应，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。
37.根据权利要求36所述的设备，其特征在于，所述置信度为正浮点数据。
38.根据权利要求35所述的设备，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，保留所述两个点数据中具有较高置信度的点数据。
39.根据权利要求38所述的设备，其特征在于，所述处理器在比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据时，具体用于：
对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。
40.根据权利要求39所述的设备，其特征在于，
所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。
41.根据权利要求38所述的设备，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
统计所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记为相同语义的个数；
将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义。
42.根据权利要求38所述的设备，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
根据所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。
43.根据权利要求34所述的设备，其特征在于，
所述第一图像数据包括彩色图像；或者，
所述第一图像数据包括彩色图像和所述彩色图像对应的景深数据；或者，
所述第一图像数据包括正射影像；或者，
所述第一图像数据包括正射影像和所述正射影像对应的景深数据。
44.根据权利要求34所述的设备，其特征在于，所述处理器在基于语义识别模型处理所述第一图像数据之前，还用于：
获取样本数据库，所述样本数据库包括样本图像数据；
根据预设的语义识别算法生成初始语义识别模型；
基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型；
其中，所述样本图像数据包括样本图像和语义标注信息；或者，所述样本图像数据包括样本图像、所述样本图像中各个像素点对应的景深数据和语义标注信息。
45.根据权利要求44所述的设备，其特征在于，所述处理器在基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型时，具体用于：
调用所述初始语义识别模型对所述样本图像数据包括的所述样本图像以及所述样本图像中各个像素点对应的景深数据进行识别，得到识别结果；
若所述识别结果与所述样本图像数据包括的语义标注信息相匹配，则对所述初始语义识别模型的模型参数进行优化，以得到所述语义识别模型。
46.根据权利要求35所述的设备，其特征在于，
所述点云地图包括多个图像区域，所述图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域通过不同的显示标记方式进行显示。
47.根据权利要求46所述的设备，其特征在于，所述处理器根据所述点云地图上各图像区域的语义，规划飞行航线时，具体用于：
根据所述点云地图上各图像区域对应的语义，确定所述点云地图上的障碍区域；
在规划航线时绕过所述障碍区域规划所述飞行航线。
48.根据权利要求47所述的设备，其特征在于，所述处理器在控制所述飞行器按照所述飞行航线飞行时，具体用于：
在控制所述飞行器按照所述飞行航线飞行的过程中，判断所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义是否与目标任务的语义相匹配；
如果判断结果为是，则控制所述飞行器执行所述目标任务；
如果判断结果为否，则控制所述飞行器停止执行所述目标任务。
49.一种飞行器，其特征在于，包括：
机身；
设置于所述机身上的动力系统，用于提供飞行动力；
处理器，用于获取包含语义的点云地图；根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域。
50.根据权利要求49所述的飞行器，其特征在于，所述处理器根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域时，具体用于：
根据所述点云地图上的语义，确定所述点云地图上具有连续相同语义的图像区域；
对所述具有连续相同语义的各图像区域进行边沿处理操作，以得到所述点云地图上不同语义的各图像区域。
51.根据权利要求50所述的飞行器，其特征在于，所述边沿处理操作包括：正向边沿处理操作和/或逆向边沿处理操作。
52.根据权利要求51所述的飞行器，其特征在于，所述正向边沿处理操作，包括：
对所述点云地图上所有的图像区域进行全局正向边沿处理操作，确定出伪黏连的图像边界，以对伪黏连的各图像区域进行分割；和/或，
对所述点云地图上联通的各图像区域进行局部正向边沿处理操作，确定出半黏连的图像边界，以对所述联通的各图像区域中的半黏连的图像区域进行分割。
53.根据权利要求52所述的飞行器，其特征在于，所述全局正向边沿处理操作包括：
将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
54.根据权利要求52所述的飞行器，其特征在于，所述局部正向边沿处理操作包括：
将所述点云地图中的具有连通域的语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最小值，并将所述最小值赋值给指定的像素点。
55.根据权利要求51所述的飞行器，其特征在于，所述逆向边沿处理操作包括：
将所述点云地图中的每一个语义集合图像与预设计算核进行卷积，以求得计算核覆盖的区域的像素点的最大值，并将所述最大值赋值给指定的像素点。
56.根据权利要求53-55任一项所述的飞行器，其特征在于，所述预设计算核为带有参考点的预定图形。
57.一种飞行器，其特征在于，包括：
机身；
设置于所述机身上的动力系统，用于提供飞行动力；
处理器，用于获取包含语义的点云地图；根据所述点云地图上的语义，确定所述点云地图上不同语义的各个图像区域；根据所述点云地图上各图像区域的语义，规划飞行航线；控制所述飞行器按照所述飞行航线飞行。
58.根据权利要求57所述的飞行器，其特征在于，所述处理器获取包含语义的点云地图时，具体用于：
获取飞行器上挂载的摄像装置拍摄的第一图像数据；
基于语义识别模型处理所述第一图像数据，以获得所述第一图像数据中每个像素点所具有的语义；
根据所述第一图像数据对应的位置数据、高度数据以及所述第一图像数据中每个像素点所具有的语义，生成包含语义的第一点云数据；
使用所述包含语义的第一点云数据生成点云地图。
59.根据权利要求58所述的飞行器，其特征在于，所述处理器还用于：
获取飞行器上挂载的摄像装置拍摄的第二图像数据；
基于所述语义识别模型处理所述第二图像数据，以获得所述第二图像数据中每个像素点所具有的语义；
根据所述第二图像数据对应的位置数据、高度数据以及所述第二图像数据中每个像素点所具有的语义，生成包含语义的第二点云数据；
使用所述第二点云数据更新所述点云地图。
60.根据权利要求59所述的飞行器，其特征在于，
所述第一点云数据、第二点云数据和所述点云地图均包含复数个点数据，每个点数据包括位置数据、高度数据和不同置信度的多个语义；
所述第一点云数据包含的每个点数据与所述第一图像数据中的每个像素点对应，所述第二点云数据包含的每个点数据与所述第二图像数据中的每个像素点对应。
61.根据权利要求60所述的飞行器，其特征在于，所述置信度为正浮点数据。
62.根据权利要求59所述的飞行器，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据，保留所述两个点数据中具有较高置信度的点数据。
63.根据权利要求62所述的飞行器，其特征在于，所述处理器在比较所述第二点云数据和所述点云地图中位置数据相同的两个点数据时，具体用于：
对所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据中不同置信度的多个语义进行减法运算。
64.根据权利要求63所述的飞行器，其特征在于，
所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据与所述第一图像数据和所述第二图像数据中重叠的两个像素点对应。
65.根据权利要求62所述的飞行器，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
统计所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义在历史记录中被标记为相同语义的个数；
将个数最大的语义作为所述第一点云数据和所述第二点云数据中位置数据相同的两个点数据的语义。
66.根据权利要求62所述的飞行器，其特征在于，所述处理器在使用所述第二点云数据更新所述点云地图时，具体用于：
根据所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义所对应的优先级，确定所述优先级最大的语义为所述第二点云数据和所述点云地图中位置数据相同的两个点数据的语义。
67.根据权利要求58所述的飞行器，其特征在于，
所述第一图像数据包括彩色图像；或者，
所述第一图像数据包括彩色图像和所述彩色图像对应的景深数据；或者，
所述第一图像数据包括正射影像；或者，
所述第一图像数据包括正射影像和所述正射影像对应的景深数据。
68.根据权利要求58所述的飞行器，其特征在于，所述处理器在基于语义识别模型处理所述第一图像数据之前，还用于：
获取样本数据库，所述样本数据库包括样本图像数据；
根据预设的语义识别算法生成初始语义识别模型；
基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型；
其中，所述样本图像数据包括样本图像和语义标注信息；或者，所述样本图像数据包括样本图像、所述样本图像中各个像素点对应的景深数据和语义标注信息。
69.根据权利要求68所述的飞行器，其特征在于，所述处理器在基于所述样本数据库中的各个样本图像数据对所述初始语义识别模型进行训练优化，得到所述语义识别模型时，具体用于：
调用所述初始语义识别模型对所述样本图像数据包括的所述样本图像以及所述样本图像中各个像素点对应的景深数据进行识别，得到识别结果；
若所述识别结果与所述样本图像数据包括的语义标注信息相匹配，则对所述初始语义识别模型的模型参数进行优化，以得到所述语义识别模型。
70.根据权利要求59所述的飞行器，其特征在于，
所述点云地图包括多个图像区域，所述图像区域是根据所述点云地图中每个像素点的语义划分的，各个图像区域通过不同的显示标记方式进行显示。
71.根据权利要求70所述的飞行器，其特征在于，所述处理器根据所述点云地图上各图像区域的语义，规划飞行航线时，具体用于：
根据所述点云地图上各图像区域对应的语义，确定所述点云地图上的障碍区域；
在规划航线时绕过所述障碍区域规划所述飞行航线。
72.根据权利要求71所述的飞行器，其特征在于，所述处理器在控制所述飞行器按照所述飞行航线飞行时，具体用于：
在控制所述飞行器按照所述飞行航线飞行的过程中，判断所述飞行器的当前飞行位置在所述点云地图中所对应的图像区域的语义是否与目标任务的语义相匹配；
如果判断结果为是，则控制所述飞行器执行所述目标任务；
如果判断结果为否，则控制所述飞行器停止执行所述目标任务。
73.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至24任一项所述方法。
CN201880038404.6A 2018-11-22 2018-11-22 一种基于点云地图的图像边界获取方法、设备及飞行器 Pending CN110770791A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/117038 WO2020103110A1 (zh) 2018-11-22 2018-11-22 一种基于点云地图的图像边界获取方法、设备及飞行器

Publications (1)

Publication Number Publication Date
CN110770791A true CN110770791A (zh) 2020-02-07

Family

ID=69328789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880038404.6A Pending CN110770791A (zh) 2018-11-22 2018-11-22 一种基于点云地图的图像边界获取方法、设备及飞行器

Country Status (2)

Country Link
CN (1) CN110770791A (zh)
WO (1) WO2020103110A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310765A (zh) * 2020-02-14 2020-06-19 北京经纬恒润科技有限公司 激光点云语义分割方法和装置
WO2022016942A1 (zh) * 2020-07-22 2022-01-27 商汤集团有限公司 一种目标检测方法、装置、电子设备及存储介质
WO2022134842A1 (zh) * 2020-12-24 2022-06-30 广东博智林机器人有限公司 一种建筑特征的识别方法及装置
CN116310189A (zh) * 2023-05-22 2023-06-23 浙江大华技术股份有限公司 地图模型构建方法及终端

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258474A (zh) * 2020-10-22 2021-01-22 深圳集智数字科技有限公司 一种墙面异常检测方法和装置
CN112396699A (zh) * 2020-11-30 2021-02-23 常州市星图测绘科技有限公司 一种基于无人机影像进行地块自动勾画的方法
CN112991487B (zh) * 2021-03-11 2023-10-17 中国兵器装备集团自动化研究所有限公司 一种多线程实时构建正射影像语义地图的系统
CN114089787A (zh) * 2021-09-29 2022-02-25 航天时代飞鸿技术有限公司 基于多机协同飞行的地面三维语义地图及其构建方法
CN114298581A (zh) * 2021-12-30 2022-04-08 广州极飞科技股份有限公司 质量评估模型生成方法、质量评估方法、装置、电子设备和可读存储介质
CN115330985B (zh) * 2022-07-25 2023-09-08 埃洛克航空科技（北京）有限公司 用于三维模型优化的数据处理方法和装置
CN115661664B (zh) * 2022-12-08 2023-04-07 东莞先知大数据有限公司 一种边界遮挡检测及补偿方法、电子设备和存储介质
CN116051681B (zh) * 2023-03-02 2023-06-09 深圳市光速时代科技有限公司 一种基于智能手表生成图像数据的处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105492985A (zh) * 2014-09-05 2016-04-13 深圳市大疆创新科技有限公司 多传感器环境地图构建
CN107933921A (zh) * 2017-10-30 2018-04-20 广州极飞科技有限公司 飞行器及其喷洒路线生成和执行方法、装置、控制终端
CN108564874A (zh) * 2018-05-07 2018-09-21 腾讯大地通途（北京）科技有限公司 地面标志提取的方法、模型训练的方法、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036506A (zh) * 2014-06-09 2014-09-10 北京拓维思科技有限公司 结合面片特征与gps位置的地面激光点云拼接方法
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
CN108415032B (zh) * 2018-03-05 2021-06-25 中山大学 一种基于深度学习与激光雷达的点云语义地图构建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105492985A (zh) * 2014-09-05 2016-04-13 深圳市大疆创新科技有限公司 多传感器环境地图构建
CN107933921A (zh) * 2017-10-30 2018-04-20 广州极飞科技有限公司 飞行器及其喷洒路线生成和执行方法、装置、控制终端
CN108564874A (zh) * 2018-05-07 2018-09-21 腾讯大地通途（北京）科技有限公司 地面标志提取的方法、模型训练的方法、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
浦石等: "融合语义特征与GPS位置的地面激光点云拼接方法" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310765A (zh) * 2020-02-14 2020-06-19 北京经纬恒润科技有限公司 激光点云语义分割方法和装置
WO2022016942A1 (zh) * 2020-07-22 2022-01-27 商汤集团有限公司 一种目标检测方法、装置、电子设备及存储介质
WO2022134842A1 (zh) * 2020-12-24 2022-06-30 广东博智林机器人有限公司 一种建筑特征的识别方法及装置
CN116310189A (zh) * 2023-05-22 2023-06-23 浙江大华技术股份有限公司 地图模型构建方法及终端
CN116310189B (zh) * 2023-05-22 2023-09-01 浙江大华技术股份有限公司 地图模型构建方法及终端

Also Published As

Publication number Publication date
WO2020103110A1 (zh) 2020-05-28

Similar Documents

Publication Publication Date Title
CN110770791A (zh) 一种基于点云地图的图像边界获取方法、设备及飞行器
CN111213155A (zh) 图像处理方法、设备、可移动平台、无人机及存储介质
CN110832494A (zh) 一种语义生成方法、设备、飞行器及存储介质
CN110799983A (zh) 一种地图生成方法、设备、飞行器及存储介质
US10614562B2 (en) Inventory, growth, and risk prediction using image processing
AU2015404215B2 (en) Vegetation management for power line corridor monitoring using computer vision
CN109324337B (zh) 无人飞行器的航线生成及定位方法、装置及无人飞行器
CA2994511C (en) Condition detection using image processing
CN112596071A (zh) 无人机自主定位方法、装置及无人机
Mazzia et al. Deepway: a deep learning waypoint estimator for global path generation
CN114077249B (zh) 一种作业方法、作业设备、装置、存储介质
Rojas-Perez et al. Real-time landing zone detection for UAVs using single aerial images
Volkova et al. More Robust Features for Adaptive Visual Navigation of UAVs in Mixed Environments: A Novel Localisation Framework
Bhattacharya et al. IDeA: IoT-based autonomous aerial demarcation and path planning for precision agriculture with UAVs
CN112380933A (zh) 无人机识别目标的方法、装置及无人机
KR102289752B1 (ko) Gps 음영 지역에서 경로 비행을 수행하는 드론 및 그 방법
Subramanian et al. Integrating Computer Vision and Photogrammetry for Autonomous Aerial Vehicle Landing in Static Environment
CN114355378B (zh) 无人机的自主导航方法、装置、无人机及存储介质
US20230069829A1 (en) Method and device for determining altitude obstacles
Lawrence Early detection of Heacleum Mantegazzianum (Giant Hogweed) based on leaf spectral characteristics from UAV images SVM and OBIA Techniques
Fan Identifying Illegal Buildings Using UAV Images and Faster R-CNN Based on Deep Learning
Rognlien et al. Detecting Location of Free Range Sheep-Using Unmanned Aerial Vehicles and Forward Looking Infrared Images
MISRA et al. IDeAL: IoT-Based Autonomous Aerial Demarcation and Path-planning for Traversing Agricultural Lands
CN116501054A (zh) 一种无人机辅助无人车全局环境探索路线规划方法
Aguilar Results of the drone survey for Ngaitupoto Ki Motokaraka Trust

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200207

WD01 Invention patent application deemed withdrawn after publication