CN115496930A - 一种图像处理方法、装置、存储介质及电子设备 - Google Patents

一种图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN115496930A
CN115496930A CN202211390935.6A CN202211390935A CN115496930A CN 115496930 A CN115496930 A CN 115496930A CN 202211390935 A CN202211390935 A CN 202211390935A CN 115496930 A CN115496930 A CN 115496930A
Authority
CN
China
Prior art keywords
image
landing
image area
point
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211390935.6A
Other languages
English (en)
Other versions
CN115496930B (zh
Inventor
汪婷
谢安桓
项森伟
门泽华
朱世强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202211390935.6A priority Critical patent/CN115496930B/zh
Publication of CN115496930A publication Critical patent/CN115496930A/zh
Application granted granted Critical
Publication of CN115496930B publication Critical patent/CN115496930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本说明书公开了一种图像处理方法、装置、存储介质及电子设备，本说明书实施例先在环境图像中识别出可降落的目标图像区域，再对目标图像区域内的各像素点进行聚类，并将每个聚类簇的聚类中心标记为候选降落点。针对每个候选降落点，根据包含该候选降落点的子图像区域的地形类型的类型数量、子图像区域的图像面积、子图像区域包含的地形类型对应的降落危险系数中的至少一种，确定针对该候选降落点的综合降落危险系数。从各候选降落点中标记出目标降落点，得到环境图像对应的处理后图像，处理后图像用于控制无人机降落。在此方法中，对可降落区域内的每个降落点进行降落危险评估，以选择出能够安全降落的降落点，可以提高无人机降落的安全性。

Description

一种图像处理方法、装置、存储介质及电子设备
技术领域
本说明书涉及图像处理领域，尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
近年来，无人机广泛应用于各种任务场景，比如：物流配送、地形勘测、地图采集等任务场景。
无人机在执行任务过程中，可能会出现天气突变、通信异常等问题，在这些情况下，无人机可能需要紧急降落。现有技术中，无人机可以根据无人机自身的剩余电量在无人机周围的可降落区域进行紧急降落。但是，无人机可能会降落到可降落区域内不合适的位置，造成无人机损坏，从而降低了无人机降落的安全性。
发明内容
本说明书实施例提供一种图像处理方法、装置、存储介质及电子设备，以部分解决上述现有技术存在的问题。
本说明书实施例采用下述技术方案：
本说明书提供的一种图像处理方法，包括：
采集无人机预设范围内的环境图像；
对所述环境图像进行图像识别，识别出用于确定所述无人机的降落点的图像区域，作为目标图像区域；
对所述目标图像区域内的各像素点进行聚类，得到至少一个聚类簇，并在所述目标图像区域内将每个聚类簇的聚类中心标记为各候选降落点；
针对每个候选降落点，确定该候选降落点在所述目标图像区域中所对应的子图像区域；
根据确定出的所述子图像区域包含的地形类型的类型数量、所述子图像区域包含的不同地形类型对应的降落危险系数以及所述子图像区域的图像面积中的至少一种，确定针对该候选降落点的综合降落危险系数；
根据针对每个候选降落点的综合降落危险系数，从所述目标图像区域内的各候选降落点中标记出用于降落的目标降落点，以得到所述环境图像对应的处理后图像，所述处理后图像用于控制所述无人机进行降落。
可选地，对所述环境图像进行图像识别，识别出用于确定所述无人机的降落点的图像区域，作为目标图像区域，具体包括：
对所述环境图像进行语义分割，得到语义分割图；
对所述语义分割图进行二值化处理，得二值化图；
根据所述无人机的翼展、图像采集设备的视觉参数以及所述无人机距离地面的高度，确定所述无人机安全降落时针对所述二值化图的安全图像距离；
基于所述安全图像距离的矩形核，对所述二值化图进行形态学操作，得到用于确定所述无人机的降落点的图像区域，作为目标图像区域。
可选地，对所述目标图像区域内的各像素点进行聚类，得到至少一个聚类簇，具体包括：
基于密度聚类算法，对所述目标图像区域内的各像素点进行聚类，得到至少一个聚类簇，作为初始聚类簇；
根据每个初始聚类簇包含的像素点数量、所述目标图像区域内的所有像素点数量以及预设降落点数量，对各初始聚类簇进行聚类，得到预设降落点数量的聚类簇。
可选地，针对每个候选降落点，确定该候选降落点在所述目标图像区域中所对应的子图像区域，具体包括：
从所述环境图像中确定出除所述目标图像区域之外的剩余图像区域；
针对每个候选降落点，根据该候选降落点的图像位置，从所述剩余图像区域中确定出距离该候选降落点最近的像素点，作为目标像素点，并确定该候选降落点与所述目标像素点之间的距离，作为目标距离；
以该候选降落点为圆心，所述目标距离为半径，从所述目标图像区域中确定出包含该候选降落点的至少部分图像区域，作为该候选降落点对应的子图像区域。
可选地，根据确定出的所述子图像区域包含的地形类型的类型数量、所述子图像区域包含的不同地形类型对应的降落危险系数以及所述子图像区域的面积中的至少一种，确定针对该候选降落点的综合降落危险系数，具体包括：
对所述子图像区域内各像素点进行语义分割，确定所述子图像区域内各像素点对应的地形类型以及确定每种地形类型对应的像素点数量；
根据所述子图像区域包含的地形类型的类型数量、所述子图像区域中归属同一地形类型最多的像素点数量以及所述子图像区域中归属同一地形类型次多的像素点数量，确定针对该候选降落点的综合降落危险系数。
可选地，根据所述子图像区域包含的地形类型的类型数量、所述子图像区域包含的各像素点对应的降落危险系数以及所述子图像区域的面积中的至少一种，确定针对该候选降落点的综合降落危险系数，具体包括：
对所述子图像区域内各像素点进行语义分割，确定所述子图像区域内各像素点对应的地形类型；
根据每种地形类型对应的降落危险系数，对所述子图像区域内所有像素点对应的降落危险系数进行加权求和，得到针对该候选降落点的综合降落危险系数。
可选地，根据所述子图像区域包含的地形类型的类型数量、所述子图像区域包含的各像素点对应的降落危险系数以及所述子图像区域的图像面积中的至少一种，确定针对该候选降落点的综合降落危险系数，具体包括：
判断所述子图像区域的图像面积是否大于预设面积阈值；
若是，将最低的综合降落危险系数作为针对该候选降落点的综合降落危险系数；
若否，从所述环境图像中除所述目标图像区域之外的剩余图像区域中，确定距离所述子图像区域最近的像素点，作为目标像素点，并根据所述目标像素点对应的地形类型的降落危险系数，确定针对该候选降落点的综合降落危险系数。
本说明书提供的一种图像处理装置，包括：
采集模块，用于采集无人机预设范围内的环境图像；
识别模块，用于对所述环境图像进行图像识别，识别出用于确定所述无人机的降落点的图像区域，作为目标图像区域；
聚类模块，用于对所述目标图像区域内的各像素点进行聚类，得到至少一个聚类簇，并在所述目标图像区域内将每个聚类簇的聚类中心标记为各候选降落点；
第一确定模块，用于针对每个候选降落点，确定该候选降落点在所述目标图像区域中所对应的子图像区域；
第二确定模块，用于根据确定出的所述子图像区域包含的地形类型的类型数量、所述子图像区域包含的不同地形类型对应的降落危险系数以及所述子图像区域的图像面积中的至少一种，确定针对该候选降落点的综合降落危险系数；
标记模块，用于根据针对每个候选降落点的综合降落危险系数，从所述目标图像区域内的各候选降落点中标记出用于降落的目标降落点，以得到所述环境图像对应的处理后图像，所述处理后图像用于控制所述无人机进行降落。
本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像处理方法。
本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的图像处理方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
本说明书实施例中无人机可以先从采集到的环境图像中识别出可降落的目标图像区域，然后，对目标图像区域内的各像素点进行聚类，得到至少一个聚类簇，并在目标图像区域内将每个聚类簇的聚类中心标记为各候选降落点。针对每个候选降落点，确定包含该候选降落点的子图像区域，并根据子图像区域包含的地形类型的类型数量、子图像区域的面积以及子图像区域包含的各地形类型对应的降落危险系数中的至少一种，确定针对该候选降落点的综合降落危险系数。最后，从目标图像区域内的各候选降落点中标记出目标降落点，以得到环境图像对应的处理后图像。其中，处理后图像用于控制无人机进行降落。在此方法中，对可降落区域内的每个降落点进行降落危险评估，以选择出能够安全降落的降落点，可以提高无人机降落的安全性。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书实施例提供的图像处理方法的流程示意图；
图2为本说明书实施例提供的环境图像的示意图；
图3为本说明书实施例提供的语义分割图的示意图；
图4为本说明书实施例提供的二值化图的示意图；
图5为本说明书实施例提供的处理后二值化图的示意图；
图6为本说明书实施例提供的确定安全图像距离的示意图；
图7为本说明书实施例提供的确定目标降落点的示意图；
图8为本说明书实施例提供的图像处理装置结构示意图；
图9为本说明书实施例提供的电子设备的结构示意图。
具体实施方式
本说明书提供的图像处理方法旨在对可降落的图像区域内的每个降落点进行危险评估，然后，选择出降落时的危险系数最低的降落点进行降落。
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书实施例提供的图像处理方法的流程示意图，该图像处理方法可以适用于无人机或控制无人机的服务器，包括：
S100：采集无人机预设范围内的环境图像。
在本说明书实施例中，在无人机在执行任务的过程中，若无人机监测到自身通信存在异常、电量不足、系统局部出现故障或天气突变时，可以进行紧急降落。其中，无人机执行的任务可以包括：物流配送、地形勘测等。
无人机在紧急降落过程中，可以通过设置于无人机上的图像采集设备，采集无人机当前预设范围内的图像，作为环境图像。如图2所示。其中，图像采集设备设置于无人机的不同位置，图像采集设备的采集方向可以包括：无人机的正下方、左下方、右下方、前下方、后下方等任意采集方向。因此，采集到的环境图像可以是无人机正下方的环境图像，也可以是无人机斜下方的环境图像。其中，环境图像可以包含有地形图像、天空图像等。
另外，图像采集设备采集环境图像时，可以按照预设时间间隔采集，也可以按照图像重叠率进行采集。
S102：对所述环境图像进行图像识别，识别出用于确定所述无人机的降落点的图像区域，作为目标图像区域。
在本说明书实施例中，在采集到环境图像之后，可以对环境图像进行图像识别，得到用于确定无人机降落点的图像区域，作为目标图像区域，以及得到不可降落无人机的图像区域。其中，目标图像区域可以是指无人机能够降落的图像区域。即，目标图像区域可以是指只包含安全地形类型的图像区域，安全地形类型可以包括：草地、裸土、平地等地形类型，平地可以是指平整的宽阔地面，比如：小广场、操场等。不可降落无人机的图像区域可以是指包含危险地形类型以及影响无人机安全降落的非地形类型的图像区域，危险地形类型可以包括：水体、建筑、林地、道路等，影响无人机安全降落的非地形类型可以包括：人、车辆等。
具体的，可以对环境图像进行图像分割，确定出环境图像中包含不同地形类型的图像区域。然后，从包含不同地形类型的图像区域中筛选出能够降落无人机的图像区域，作为目标图像区域。对环境图像进行图像分割的方法可以包括：基于阈值、基于区域、基于边缘、基于聚类、基于图论和基于深度学习等任意方法，在此不作限制。基于阈值的图像分割方法可以包括：根据环境图像中每个像素点对应的灰度值以及预设的灰度值，对环境图像进行图像分割。基于区域的图像分割方法可以包括：区域生长等。
在本说明书实施例中，可以采用基于深度学习的方法，对环境图像进行图像分割。其中，图像分割可以包括：语义分割。即，可以基于深度学习的方法，对环境图像进行语义分割，得到针对环境图像的语义分割图。
具体的，可以将环境图像输入到预先训练的语义分割网络中，以通过语义分割网络，对环境图像进行语义分割，得到针对环境图像的语义分割图。如图3所示。其中，针对环境图像的语义分割图可以表示出环境图像中每个像素点对应的地形类型。
为了提高无人机进行语义分割的实时性，在本说明书中预先训练的语义分割网络可以是：深度双分辨率网络（Deep Dual-resolution Network，DDRNet）、双边分割网络（Bilateral Segmentation Network，BISENet）等任意一个。
在得到针对环境图像的语义分割图之后，为了将环境图像分成可降落无人机的图像区域和不可降落无人机的图像区域，可以根据安全地形类型以及危险地形类型，对语义分割图进行二值化处理，得到二值化图。如图4所示。其中，二值化图中可以采用0和1分别表示可降落无人机的图像区域内像素点的像素值和不可降落无人机的图像区域内像素点的像素值。或者，二值化图中还可以采用0和255分别表示可降落无人机的图像区域内像素点的像素值和不可降落无人机的图像区域内像素点的像素值。
在图4中，将1作为无人机可降落图像区域内的像素值，将0作为无人机不可降落图像区域内的像素值。即，白色区域可以用于降落无人机，黑色区域不可降落无人机。
在得到二值化图之后，为了避免无人机降落到可降落区域中不合适的位置，可以根据无人机的翼展或轴距，对二值化图进行形态学操作，得到用于确定无人机的降落点的图像区域，作为目标图像区域。
具体的，以翼展为例，可以根据无人机的翼展、图像采集设备的视觉参数以及无人机距离地面的高度，确定无人机安全降落时针对二值化图的安全图像距离。然后，基于安全图像距离的矩形核，对二值化图进行形态学操作，得到形态学操作后的二值化图，作为处理后二值化图。如图5所示。然后，从处理后二值化图中确定出用于确定无人机的降落点的图像区域，作为目标图像区域。其中，无人机距离地面的高度可以通过气压计、无线电高度表、差分GPS、激光雷达或毫米波雷达等至少一种高度传感器测量得到。
在图5中，可以将处理后二值化图中的白色区域作为目标图像区域。
其中，确定安全图像距离的方法，可以包括：根据无人机的翼展，确定无人机降落时的安全空间距离。然后，基于安全空间距离、图像采集设备的视觉参数以及无人机距离地面的高度，确定无人机安全降落时针对二值化图的安全图像距离。其中，图像采集设备的视觉参数可以包括：焦距等。安全空间距离可以是安全空间半径，安全图像距离可以是指安全图像半径。
以图像采集设备朝正下方采集的环境图像为例，如图6所示。在图6中，确定安全图 像距离的公式为：
Figure 387047DEST_PATH_IMAGE001
，
Figure 601384DEST_PATH_IMAGE002
。其中，
Figure 964232DEST_PATH_IMAGE003
可以表示无人机的翼展或轴距，
Figure 78950DEST_PATH_IMAGE004
可以表 示不确定度，
Figure 501841DEST_PATH_IMAGE004
可以根据适航标准进行设定，比如：2。
Figure 200544DEST_PATH_IMAGE005
可以表示无人机降落时的安全空间 距离。
Figure 101504DEST_PATH_IMAGE006
可以表示图像采集设备的视觉参数，即，焦距。
Figure 70728DEST_PATH_IMAGE007
可以表示无人机距离地面的高 度，
Figure 664521DEST_PATH_IMAGE008
可以表示无人机安全降落时针对二值化图的安全图像距离。
另外，若未从环境图像中识别出（或分割出）用于降落无人机的目标图像区域，可以对下一帧的环境图像进行图像识别。
S104：对所述目标图像区域内的各像素点进行聚类，得到至少一个聚类簇，并在所述目标图像区域内将每个聚类簇的聚类中心标记为各候选降落点。
在本说明书实施例中，在确定用于降落无人机的目标图像区域之后，由于目标图像区域内的降落点（即，像素点）比较多，所以，可以通过聚类方法，在目标图像区域中快速得到均匀分布且最大程度覆盖目标图像区域的候选降落点。
具体的，可以基于密度聚类算法，对目标图像区域内的各像素点进行聚类，得到至少一个聚类簇，并在目标图像区域内将每个聚类簇的聚类中心标记为无人机降落时的各候选降落点。其中，密度聚类算法可以包括：具有噪声的基于密度的聚类方法（Density-BasedSpatial Clustering of Applications with Noise，DBSCAN）、密度最大值聚类算法（Maximum Density Clustering Application，MDCA）、用于确定聚类结构的排序点的聚类算法(Ordering Points To Identify the Clustering Structure ，OPTICS)、基于密度分布函数的聚类（DENsity based CLUstEring ，DENCLUE）等任意一种。
另外，在确定候选降落点的总数量的情况下，可以对基于密度聚类算法聚类后得到的各聚类簇进行聚类，得到预设数量的聚类簇，并将预设数量的聚类簇中每个聚类簇的聚类中心标记为候选降落点。
具体的，基于密度聚类算法，对目标图像区域内的各像素点进行聚类，得到至少一个聚类簇，作为初始聚类簇。然后，根据每个初始聚类簇包含的像素点数量、目标图像区域内的所有像素点数量以及预设降落点数量，对各初始聚类簇进行聚类，得到预设降落点数量的聚类簇，并将预设降落点数量的聚类簇中的每个聚类簇的聚类中心标记为候选降落点。其中，对各初始聚类簇进行聚类的方法可以包括：K-means聚类、DBSCAN聚类等。
进一步，针对每个初始聚类簇，根据该初始聚类簇包含的像素点数量、目标图像区域内的所有像素点数量以及候选降落点的预设数量，确定该初始聚类簇对应的降落点数量。然后，可以采用K-means聚类，对该初始聚类簇中包含的各像素点进行聚类，得到满足该初始聚类簇对应的降落点数量的聚类簇。
其中，确定该初始聚类簇对应的降落点数量的公式为：
Figure 248256DEST_PATH_IMAGE009
。
Figure 795650DEST_PATH_IMAGE010
可以表示第i个初始聚类簇对应的降落点数量，
Figure 603069DEST_PATH_IMAGE011
可以表示预设降落点数量，
Figure 384074DEST_PATH_IMAGE012
可以是表示第i个初始聚类簇包含的像素点数量，
Figure 542523DEST_PATH_IMAGE013
可 以表示目标图像区域内所有像素点数量，w可以表示目标图像区域内总有w个初始聚类簇。
比如：针对某个初始聚类簇，目标图像区域内所有像素点数量为100，该初始聚类簇包含的像素点的数量为20，预设降落点数量为10个，则该初始聚类簇对应的降落点数量为2个。即，对该初始聚类簇包含的各像素点进行聚类，得到针对该初始聚类簇的两个聚类簇。
此外，针对每个初始聚类簇，若确定出该初始聚类簇对应的降落点数量为零，可以确定距离该初始聚类簇最近的初始聚类簇，作为匹配聚类簇，然后，可以将该初始聚类簇与匹配聚类簇进行合并，得到合并后聚类簇。之后，根据合并后聚类簇包含的像素点数量、目标图像区域内的所有像素点数量以及候选降落点的预设数量，确定合并后聚类簇对应的降落点数量。最后，可以采用K-means聚类，对合并后聚类簇中包含的各像素点进行聚类，得到满足合并后聚类簇对应的降落点数量的聚类簇。
另外，除了采用聚类的方法，确定出无人机的候选降落点之外，还可以将目标图像区域的最大内接圆的圆心作为无人机的候选降落点。
S106：针对每个候选降落点，确定该候选降落点在所述目标图像区域中所对应的子图像区域。
在本说明书实施例中，在得到目标图像区域内的各候选降落点之后，为了便于对每个候选降落点进行安全评估，可以针对每个候选降落点，确定出该候选降落点在目标图像区域中所对应的子图像区域。然后，基于该候选降落点在目标图像区域中所对应的子图像区域，对无人机在该候选降落点进行降落时的安全性进行评估。
在确定该候选降落点在所述目标图像区域中所对应的子图像区域时，可以先从所述环境图像中确定出除目标图像区域之外的剩余图像区域。然后，针对每个候选降落点，根据该候选降落点的图像位置，从剩余图像区域中确定出距离该候选降落点最近的像素点，作为目标像素点。之后，确定该候选降落点与目标像素点之间的距离，作为目标距离。最后，以该候选降落点为圆心，目标距离为半径，从目标图像区域中确定出包含该候选降落点的至少部分图像区域，作为该候选降落点对应的子图像区域。
S108：根据确定出的所述子图像区域包含的地形类型的类型数量、所述子图像区域包含的不同地形类型对应的降落危险系数以及所述子图像区域的图像面积中的至少一种，确定针对该候选降落点的综合降落危险系数。
在本说明书实施例中，在确定出每个候选降落点对应的子图像区域之后，针对每个候选降落点，可以根据确定出的该候选降落点对应的子图像区域包含的地形类型的类型数量、该候选降落点对应的子图像区域包含的不同地形类型对应的降落危险系数以及该候选降落点对应的子图像区域的图像面积中的至少一种，确定针对该候选降落点的综合降落危险系数。其中，降落危险系数或综合降落危险系数越大，该候选降落点越不安全，相反，降落危险系数或综合降落危险系数越小，该候选降落点越安全。
在确定每个候选降落点对应的子图像区域包含的地形类型时，针对每个候选降落点，可以根据不同的地形类型，对该候选降落点对应的子图像区域进行语义分割，得到针对子图像区域的语义分割图，其中，针对子图像区域的语义分割图可以表示出子图像区域中每个像素点对应的地形类型。另外，每种地形类型对应不同的降落危险系数。比如：林地对应的降落危险系数为：7；草地对应的降落危险系数为：2；裸土对应的降落危险系数为：1；平地对应的降落危险系数为：0；道路对应的降落危险系数为：5；水体对应的降落危险系数为：9；建筑对应的降落危险系数为：8；天空对应的降落危险系数为：6。
另外，若在对环境图像进行图像识别时，已对环境图像进行语义分割，确定出针对环境图像的语义分割图。那么，可以根据针对环境图像的语义分割图，直接确定出每个候选降落点对应的子图像区域中每个像素点的地形类型。
接下来，分别根据确定出的该候选降落点对应的子图像区域包含的地形类型的类型数量、该候选降落点对应的子图像区域包含的不同地形类型对应的降落危险系数以及该候选降落点对应的子图像区域的图像面积中的一种，确定针对候选降落点的综合降落危险系数。
在根据确定出的该候选降落点对应的子图像区域包含的地形类型的类型数量，确定候选降落点的综合降落危险系数时，针对每个候选降落点，先确定出该候选降落点对应的子图像区域中各像素点对应的地形类型以及确定每种地形类型对应的像素点数量。然后，根据该候选降落点对应的子图像区域包含的地形类型的类型数量、该候选降落点对应的子图像区域中归属同一地形类型最多的像素点数量以及该候选降落点对应的子图像区域中归属同一地形类型次多的像素点数量，确定针对该候选降落点的综合降落危险系数，作为第一综合降落危险系数。
其中，确定针对该候选降落点的综合降落危险系数的公式为：
Figure 37483DEST_PATH_IMAGE014
。
Figure 309195DEST_PATH_IMAGE015
可以表示针对该候选降落点的综合降落危险系数。
Figure 979211DEST_PATH_IMAGE016
可以 表示子图像区域包含的地形类型的类型数量，类型数量越多，综合降落危险系数越大。
Figure 874223DEST_PATH_IMAGE017
可以表示子图像区域中归属同一地形类型最多的像素点数量，
Figure 186256DEST_PATH_IMAGE018
可以表示子 图像区域中归属同一地形类型次多的像素点数量。
在根据该候选降落点对应的子图像区域包含的不同地形类型对应的降落危险系数，确定针对该候选降落点的综合降落危险系数时，针对每个候选降落点，可以确定该候选降落点对应的子图像区域内各像素点对应的地形类型。然后，可以根据每种地形类型对应的降落危险系数，对该候选降落点对应的子图像区域内所有像素点对应的降落危险系数进行加权求和，得到针对该候选降落点的综合降落危险系数，作为第二综合降落危险系数。
其中，确定针对该候选降落点的综合降落危险系数的公式为：
Figure 984579DEST_PATH_IMAGE019
。
Figure 622234DEST_PATH_IMAGE020
可以表示针对该候选降落点的综合降落危险系数，
Figure 7472DEST_PATH_IMAGE021
可 以表示子图像区域内的像素点的数量，
Figure 388775DEST_PATH_IMAGE022
可以表示子图像区域内每个像素点对应的地形 类型的降落危险系数。
在根据该候选降落点对应的子图像区域的图像面积，确定针对该候选降落点的综合降落危险系数时，针对每个候选降落点，可以确定该候选降落点对应的子图像区域的图像面积，然后，判断图像面积是否大于预设面积阈值。若是，可以将最低的综合降落危险系数作为针对该候选降落点的综合降落危险系数，作为第三综合降落危险系数。其中，最低的综合降落危险系数可以是0。预设面积阈值可以是以该候选降落点为圆心，三倍安全图像距离为半径所覆盖的圆形面积。
若否，可以先从环境图像中确定出除目标图像区域之外的剩余图像区域，然后，从剩余图像区域中，确定距离该候选降落对应的子图像区域最近的像素点，作为目标像素点。最后，根据目标像素点对应的地形类型的降落危险系数，确定针对该候选降落点的综合降落危险系数，作为第三综合降落危险系数。也就是，确定距离该候选降落点对应的子图像区域比较近的非安全区域，对无人机在该候选降落点进行降落时所构成的危险影响。
其中，确定针对该候选降落点的综合降落危险系数的公式为：
Figure 307183DEST_PATH_IMAGE023
。
Figure 850160DEST_PATH_IMAGE024
可以表示目标像素 点对应的地形类型的降落危险系数，
Figure 188606DEST_PATH_IMAGE025
可以表示目标像素点与该候选降落点之间的距 离。
Figure 655491DEST_PATH_IMAGE026
可以表示安全图像距离。
另外，除了上述分别根据子图像区域包含的地形类型的类型数量、子图像区域包含的各像素点对应的降落危险系数以及子图像区域的图像面积中的一种，确定综合降落危险系数之外，还可以根据子图像区域包含的地形类型的类型数量、子图像区域包含的各像素点对应的降落危险系数以及子图像区域的图像面积中的任意两种或三种，确定最终综合降落危险系数。
具体的，针对每个候选降落点，可以确定针对该候选降落点的第一综合降落危险系数对应的第一权重，确定针对该候选降落点的第二综合降落危险系数对应的第二权重，确定针对该候选降落点的第三综合降落危险系数对应的第三权重。其中，第一权重、第二权重和第三权重之和为1。然后，根据针对该候选降落点的第一综合降落危险系数、第一权重、针对该候选降落点的第二综合降落危险系数、第二权重、针对该候选降落点的第三综合降落危险系数以及第三权重，确定针对该候选降落点的综合降落危险系数，作为最终综合降落危险系数。
其中，确定最终综合降落危险系数的公式为：
Figure 412094DEST_PATH_IMAGE027
。
Figure 378170DEST_PATH_IMAGE028
可以表示最终综合降落 危险系数，
Figure 220224DEST_PATH_IMAGE029
为第一综合降落危险系数对应的第一权重，
Figure 756378DEST_PATH_IMAGE030
为第一综合降落危险系数，
Figure 210231DEST_PATH_IMAGE031
为第二综合降落危险系数对应的第二权重，
Figure 111322DEST_PATH_IMAGE020
为第二综合降落危险系数，
Figure 175093DEST_PATH_IMAGE032
为 第三综合降落危险系数对应的第三权重，
Figure 169068DEST_PATH_IMAGE033
为第三综合降落危险系数。
Figure 447734DEST_PATH_IMAGE029
和
Figure 768993DEST_PATH_IMAGE031
可以是0。
S110：根据针对每个候选降落点的综合降落危险系数，从所述目标图像区域内的各候选降落点中标记出用于降落的目标降落点，以得到所述环境图像对应的处理后图像，所述处理后图像用于控制所述无人机进行降落。
在本说明书实施例中，在确定每个候选降落点的综合降落危险系数之后，可以根据各候选降落点的综合降落危险系数，从目标图像区域内的各候选降落点中标记出用于降落的目标降落点，以得到环境图像对应的处理后图像。其中，处理后图像用于控制无人机进行降落。
具体的，可以根据各候选降落点的综合降落危险系数，对各候选降落点按照综合降落危险系数从小到大排列，得到排列后的各候选降落点，然后，从排列后的各候选降落点中选择出前N个用于降落的候选降落点，作为目标降落点，并将目标降落点在目标图像区域内或环境图像中标记出来，得到环境图像对应的处理后图像。其中，N为正整数。标记的方式可以是采用指定大小的线框圈出来，也可以是采用加粗圆点表示目标降落点。
进一步，可以根据各目标降落点的综合降落危险系数，从各目标降落点中选择出综合降落危险系数最小的候选降落点，作为最终降落点，并在目标图像区域内标记出最终降落点，以得到环境图像对应的处理后图像。如图7所示。
在图7中，在处理后图像中，白色圆圈所覆盖的图像区域可以是最终降落点所在的区域，黑色圆圈所覆盖的图像区域可以是其他综合降落危险系数比较小的目标降落点所在的区域。
在得到环境图像对应的处理后图像之后，可以根据目标降落点在环境图像对应的处理后图像中的图像位置以及无人机当前的位姿，确定目标降落点对应的空间位置。然后，控制无人机飞往目标降落点对应的空间位置进行降落。其中，可以通过定位装置获取无人机当前的位姿，定位装置可以包括：惯性测量单元（Inertial measurement unit，IMU）、GPS和高度传感器等至少一种装置。
需要说明的是，本申请中所有获取信号、信息或图像数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
通过上述图1所示的方法可见，本说明书在无人机可以先从采集到的环境图像中确定可降落的目标图像区域，然后，对目标图像区域内的各像素点进行聚类，得到至少一个聚类簇，并在目标图像区域内将每个聚类簇的聚类中心标记为各候选降落点。针对每个候选降落点，确定包含该候选降落点的子图像区域，并根据子图像区域包含的地形类型的类型数量、子图像区域的面积以及子图像区域包含的各像素点对应的降落危险系数中的至少一种，确定针对该候选降落点的综合降落危险系数。最后，从目标图像区域内的各候选降落点中标记出目标降落点，以得到环境图像对应的处理后图像。其中，处理后图像用于控制无人机进行降落。在此方法中，对可降落区域内的每个降落点进行降落危险评估，以选择出能够安全降落的降落点，可以提高无人机降落的安全性。
以上为本说明书实施例提供的图像处理方法，基于同样的思路，本说明书还提供了相应的装置、存储介质和电子设备。
图8为本说明书实施例提供的一种图像处理装置的结构示意图，所述装置包括：
采集模块801，用于采集无人机预设范围内的环境图像；
识别模块802，用于对所述环境图像进行图像识别，识别出用于确定所述无人机的降落点的图像区域，作为目标图像区域；
聚类模块803，用于对所述目标图像区域内的各像素点进行聚类，得到至少一个聚类簇，并在所述目标图像区域内将每个聚类簇的聚类中心标记为各候选降落点；
第一确定模块804，用于针对每个候选降落点，确定该候选降落点在所述目标图像区域中所对应的子图像区域；
第二确定模块805，用于根据确定出的所述子图像区域包含的地形类型的类型数量、所述子图像区域包含的不同地形类型对应的降落危险系数以及所述子图像区域的图像面积中的至少一种，确定针对该候选降落点的综合降落危险系数；
标记模块806，用于根据针对每个候选降落点的综合降落危险系数，从所述目标图像区域内的各候选降落点中标记出用于降落的目标降落点，以得到所述环境图像对应的处理后图像，所述处理后图像用于控制所述无人机进行降落。
可选地，所述识别模块802具体用于，对所述环境图像进行语义分割，得到语义分割图；对所述语义分割图进行二值化处理，得二值化图；根据所述无人机的翼展、图像采集设备的视觉参数以及所述无人机距离地面的高度，确定所述无人机安全降落时针对所述二值化图的安全图像距离；基于所述安全图像距离的矩形核，对所述二值化图进行形态学操作，得到用于确定所述无人机的降落点的图像区域，作为目标图像区域。
可选地，所述聚类模块803具体用于，基于密度聚类算法，对所述目标图像区域内的各像素点进行聚类，得到至少一个聚类簇，作为初始聚类簇；根据每个初始聚类簇包含的像素点数量、所述目标图像区域内的所有像素点数量以及预设降落点数量，对各初始聚类簇进行聚类，得到预设降落点数量的聚类簇。
可选地，所述第一确定模块804具体用于，从所述环境图像中确定出除所述目标图像区域之外的剩余图像区域；针对每个候选降落点，根据该候选降落点的图像位置，从所述剩余图像区域中确定出距离该候选降落点最近的像素点，作为目标像素点，并确定该候选降落点与所述目标像素点之间的距离，作为目标距离；以该候选降落点为圆心，所述目标距离为半径，从所述目标图像区域中确定出包含该候选降落点的至少部分图像区域，作为该候选降落点对应的子图像区域。
可选地，所述第二确定模块805具体用于，对所述子图像区域内各像素点进行语义分割，确定所述子图像区域内各像素点对应的地形类型以及确定每种地形类型对应的像素点数量；根据所述子图像区域包含的地形类型的类型数量、所述子图像区域中归属同一地形类型最多的像素点数量以及所述子图像区域中归属同一地形类型次多的像素点数量，确定针对该候选降落点的综合降落危险系数。
可选地，所述第二确定模块805具体用于，对所述子图像区域内各像素点进行语义分割，确定所述子图像区域内各像素点对应的地形类型；根据每种地形类型对应的降落危险系数，对所述子图像区域内所有像素点对应的降落危险系数进行加权求和，得到针对该候选降落点的综合降落危险系数。
可选地，所述第二确定模块805具体用于，判断所述子图像区域的图像面积是否大于预设面积阈值；若是，将最低的综合降落危险系数作为针对该候选降落点的综合降落危险系数；若否，从所述环境图像中除所述目标图像区域之外的剩余图像区域中，确定距离所述子图像区域最近的像素点，作为目标像素点，并根据所述目标像素点对应的地形类型的降落危险系数，确定针对该候选降落点的综合降落危险系数。
本说明书还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可用于执行上述图1提供的图像处理方法。
基于图1所示的图像处理方法，本说明书实施例还提供了图9所示的电子设备的结构示意图。如图9，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的图像处理方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
采集无人机预设范围内的环境图像；
对所述环境图像进行图像识别，识别出用于确定所述无人机的降落点的图像区域，作为目标图像区域；
对所述目标图像区域内的各像素点进行聚类，得到至少一个聚类簇，并在所述目标图像区域内将每个聚类簇的聚类中心标记为各候选降落点；
针对每个候选降落点，确定该候选降落点在所述目标图像区域中所对应的子图像区域；
根据确定出的所述子图像区域包含的地形类型的类型数量、所述子图像区域包含的不同地形类型对应的降落危险系数以及所述子图像区域的图像面积中的至少一种，确定针对该候选降落点的综合降落危险系数；
根据针对每个候选降落点的综合降落危险系数，从所述目标图像区域内的各候选降落点中标记出用于降落的目标降落点，以得到所述环境图像对应的处理后图像，所述处理后图像用于控制所述无人机进行降落。
2.如权利要求1所述的方法，其特征在于，对所述环境图像进行图像识别，识别出用于确定所述无人机的降落点的图像区域，作为目标图像区域，具体包括：
对所述环境图像进行语义分割，得到语义分割图；
对所述语义分割图进行二值化处理，得二值化图；
根据所述无人机的翼展、图像采集设备的视觉参数以及所述无人机距离地面的高度，确定所述无人机安全降落时针对所述二值化图的安全图像距离；
基于所述安全图像距离的矩形核，对所述二值化图进行形态学操作，得到用于确定所述无人机的降落点的图像区域，作为目标图像区域。
3.如权利要求1所述的方法，其特征在于，对所述目标图像区域内的各像素点进行聚类，得到至少一个聚类簇，具体包括：
基于密度聚类算法，对所述目标图像区域内的各像素点进行聚类，得到至少一个聚类簇，作为初始聚类簇；
根据每个初始聚类簇包含的像素点数量、所述目标图像区域内的所有像素点数量以及预设降落点数量，对各初始聚类簇进行聚类，得到预设降落点数量的聚类簇。
4.如权利要求1所述的方法，其特征在于，针对每个候选降落点，确定该候选降落点在所述目标图像区域中所对应的子图像区域，具体包括：
从所述环境图像中确定出除所述目标图像区域之外的剩余图像区域；
针对每个候选降落点，根据该候选降落点的图像位置，从所述剩余图像区域中确定出距离该候选降落点最近的像素点，作为目标像素点，并确定该候选降落点与所述目标像素点之间的距离，作为目标距离；
以该候选降落点为圆心，所述目标距离为半径，从所述目标图像区域中确定出包含该候选降落点的至少部分图像区域，作为该候选降落点对应的子图像区域。
5.如权利要求1所述的方法，其特征在于，根据确定出的所述子图像区域包含的地形类型的类型数量、所述子图像区域包含的不同地形类型对应的降落危险系数以及所述子图像区域的面积中的至少一种，确定针对该候选降落点的综合降落危险系数，具体包括：
对所述子图像区域内各像素点进行语义分割，确定所述子图像区域内各像素点对应的地形类型以及确定每种地形类型对应的像素点数量；
根据所述子图像区域包含的地形类型的类型数量、所述子图像区域中归属同一地形类型最多的像素点数量以及所述子图像区域中归属同一地形类型次多的像素点数量，确定针对该候选降落点的综合降落危险系数。
6.如权利要求1所述的方法，其特征在于，根据所述子图像区域包含的地形类型的类型数量、所述子图像区域包含的各像素点对应的降落危险系数以及所述子图像区域的面积中的至少一种，确定针对该候选降落点的综合降落危险系数，具体包括：
对所述子图像区域内各像素点进行语义分割，确定所述子图像区域内各像素点对应的地形类型；
根据每种地形类型对应的降落危险系数，对所述子图像区域内所有像素点对应的降落危险系数进行加权求和，得到针对该候选降落点的综合降落危险系数。
7.如权利要求1所述的方法，其特征在于，根据所述子图像区域包含的地形类型的类型数量、所述子图像区域包含的各像素点对应的降落危险系数以及所述子图像区域的图像面积中的至少一种，确定针对该候选降落点的综合降落危险系数，具体包括：
判断所述子图像区域的图像面积是否大于预设面积阈值；
若是，将最低的综合降落危险系数作为针对该候选降落点的综合降落危险系数；
若否，从所述环境图像中除所述目标图像区域之外的剩余图像区域中，确定距离所述子图像区域最近的像素点，作为目标像素点，并根据所述目标像素点对应的地形类型的降落危险系数，确定针对该候选降落点的综合降落危险系数。
8.一种图像处理装置，其特征在于，包括：
采集模块，用于采集无人机预设范围内的环境图像；
识别模块，用于对所述环境图像进行图像识别，识别出用于确定所述无人机的降落点的图像区域，作为目标图像区域；
聚类模块，用于对所述目标图像区域内的各像素点进行聚类，得到至少一个聚类簇，并在所述目标图像区域内将每个聚类簇的聚类中心标记为各候选降落点；
第一确定模块，用于针对每个候选降落点，确定该候选降落点在所述目标图像区域中所对应的子图像区域；
第二确定模块，用于根据确定出的所述子图像区域包含的地形类型的类型数量、所述子图像区域包含的不同地形类型对应的降落危险系数以及所述子图像区域的图像面积中的至少一种，确定针对该候选降落点的综合降落危险系数；
标记模块，用于根据针对每个候选降落点的综合降落危险系数，从所述目标图像区域内的各候选降落点中标记出用于降落的目标降落点，以得到所述环境图像对应的处理后图像，所述处理后图像用于控制所述无人机进行降落。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-7任一项所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-7任一项所述的方法。
CN202211390935.6A 2022-11-08 2022-11-08 一种图像处理方法、装置、存储介质及电子设备 Active CN115496930B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211390935.6A CN115496930B (zh) 2022-11-08 2022-11-08 一种图像处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211390935.6A CN115496930B (zh) 2022-11-08 2022-11-08 一种图像处理方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN115496930A true CN115496930A (zh) 2022-12-20
CN115496930B CN115496930B (zh) 2023-03-21

Family

ID=85115807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211390935.6A Active CN115496930B (zh) 2022-11-08 2022-11-08 一种图像处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN115496930B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721118A (zh) * 2023-08-11 2023-09-08 之江实验室 一种基于点云的飞行器安全降落点的选择方法及装置
CN118012120A (zh) * 2024-02-27 2024-05-10 山东电友电力科技有限公司 一种无人机自主降落控制方法及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106054903A (zh) * 2016-07-27 2016-10-26 中南大学 一种多旋翼无人机自适应降落方法及系统
CN107291093A (zh) * 2017-07-04 2017-10-24 西北工业大学 基于视觉slam的复杂环境下无人机自主降落区域选择方法
CN107444665A (zh) * 2017-07-24 2017-12-08 长春草莓科技有限公司 一种无人机自主降落方法
CN107563373A (zh) * 2017-07-28 2018-01-09 飞智控（天津）科技有限公司 基于立体视觉的无人机降落区域主动安全检测方法及应用
CN107943090A (zh) * 2017-12-25 2018-04-20 广州亿航智能技术有限公司 一种无人机的降落方法及系统
US20190248487A1 (en) * 2018-02-09 2019-08-15 Skydio, Inc. Aerial vehicle smart landing
CN110402421A (zh) * 2017-12-26 2019-11-01 深圳市道通智能航空技术有限公司 一种飞行器降落保护方法、装置及飞行器
CN111123964A (zh) * 2019-12-24 2020-05-08 浙江大学 一种无人机降落方法、设备以及计算机可读介质
CN111670417A (zh) * 2019-07-05 2020-09-15 深圳市大疆创新科技有限公司 语义地图的构建方法、系统、可移动平台和存储介质
CN112567307A (zh) * 2019-12-31 2021-03-26 深圳市大疆创新科技有限公司 无人机降落控制方法、装置、无人机基站及无人机系统
CN113050664A (zh) * 2021-03-24 2021-06-29 北京三快在线科技有限公司 一种无人机降落方法及装置
CN113359782A (zh) * 2021-05-28 2021-09-07 福建工程学院 一种融合lidar点云与图像数据的无人机自主选址降落方法
CN113392723A (zh) * 2021-05-25 2021-09-14 珠海市亿点科技有限公司 基于人工智能的无人机迫降区域筛选方法、装置及设备
CN113468287A (zh) * 2021-09-03 2021-10-01 广东汇天航空航天科技有限公司 飞行数据处理方法、计算设备、飞行器及其降落系统
US20220270495A1 (en) * 2019-07-01 2022-08-25 Uavia Method for determining the path of an unmanned aerial device and other associated methods

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106054903A (zh) * 2016-07-27 2016-10-26 中南大学 一种多旋翼无人机自适应降落方法及系统
CN107291093A (zh) * 2017-07-04 2017-10-24 西北工业大学 基于视觉slam的复杂环境下无人机自主降落区域选择方法
CN107444665A (zh) * 2017-07-24 2017-12-08 长春草莓科技有限公司 一种无人机自主降落方法
CN107563373A (zh) * 2017-07-28 2018-01-09 飞智控（天津）科技有限公司 基于立体视觉的无人机降落区域主动安全检测方法及应用
CN107943090A (zh) * 2017-12-25 2018-04-20 广州亿航智能技术有限公司 一种无人机的降落方法及系统
CN110402421A (zh) * 2017-12-26 2019-11-01 深圳市道通智能航空技术有限公司 一种飞行器降落保护方法、装置及飞行器
US20190248487A1 (en) * 2018-02-09 2019-08-15 Skydio, Inc. Aerial vehicle smart landing
US20220270495A1 (en) * 2019-07-01 2022-08-25 Uavia Method for determining the path of an unmanned aerial device and other associated methods
CN111670417A (zh) * 2019-07-05 2020-09-15 深圳市大疆创新科技有限公司 语义地图的构建方法、系统、可移动平台和存储介质
CN111123964A (zh) * 2019-12-24 2020-05-08 浙江大学 一种无人机降落方法、设备以及计算机可读介质
CN112567307A (zh) * 2019-12-31 2021-03-26 深圳市大疆创新科技有限公司 无人机降落控制方法、装置、无人机基站及无人机系统
CN113050664A (zh) * 2021-03-24 2021-06-29 北京三快在线科技有限公司 一种无人机降落方法及装置
WO2022199344A1 (zh) * 2021-03-24 2022-09-29 北京三快在线科技有限公司 无人机降落
CN113392723A (zh) * 2021-05-25 2021-09-14 珠海市亿点科技有限公司 基于人工智能的无人机迫降区域筛选方法、装置及设备
CN113359782A (zh) * 2021-05-28 2021-09-07 福建工程学院 一种融合lidar点云与图像数据的无人机自主选址降落方法
CN113468287A (zh) * 2021-09-03 2021-10-01 广东汇天航空航天科技有限公司 飞行数据处理方法、计算设备、飞行器及其降落系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
WENLONG ZHENG ET AL: "A Study for UAV Autonomous Safe Landing-Site Selection on Rough Terrain", 《CONF-CDS 2021: THE 2ND INTERNATIONAL CONFERENCE ON COMPUTING AND DATA SCIENCE》 *
刘飞等: "基于多传感器融合的无人机可降落区域识别方法研究", 《航空科学技术》 *
张传江等: "基于视觉的煤矿输电线巡检无人机自主降落系统", 《现代信息科技》 *
张松松: "基于视觉的无人机自主着陆设计", 《中国优秀硕士学位论文全文数据库》 *
陈侠等: "基于改进进化算法的无人机航迹规划", 《科学技术与工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721118A (zh) * 2023-08-11 2023-09-08 之江实验室 一种基于点云的飞行器安全降落点的选择方法及装置
CN116721118B (zh) * 2023-08-11 2024-01-09 之江实验室 一种基于点云的飞行器安全降落点的选择方法及装置
CN118012120A (zh) * 2024-02-27 2024-05-10 山东电友电力科技有限公司 一种无人机自主降落控制方法及系统

Also Published As

Publication number Publication date
CN115496930B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN115496930B (zh) 一种图像处理方法、装置、存储介质及电子设备
CN111311709B (zh) 一种生成高精地图的方法及装置
WO2020181870A1 (en) Systems and methods for lane detection
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
KR101896357B1 (ko) 객체를 검출하는 방법, 디바이스 및 프로그램
CN112766241B (zh) 一种目标物识别方法以及装置
CN112733812A (zh) 三维车道线检测方法、装置及存储介质
CN112036462B (zh) 一种模型训练以及目标检测的方法及装置
CN111797711A (zh) 一种模型训练的方法及装置
CN113642620B (zh) 一种障碍物检测模型训练以及障碍物检测方法及装置
CN112327864A (zh) 一种无人驾驶设备的控制方法及控制装置
CN112861831A (zh) 一种目标物的识别方法、装置、存储介质及电子设备
CN115600157A (zh) 一种数据处理的方法、装置、存储介质及电子设备
CN114495065A (zh) 一种目标物识别的方法及装置
Yuan et al. High Speed Safe Autonomous Landing Marker Tracking of Fixed Wing Drone Based on Deep Learning
CN114332808A (zh) 一种预测转向意图的方法及装置
CN112883871B (zh) 一种模型训练以及确定无人车运动策略方法及装置
CN113095220B (zh) 交通信号灯数字识别方法及数字识别系统
CN112818968A (zh) 一种目标物分类方法及装置
US12094124B2 (en) Method for measuring the boundary performance of a semantic segmentation network
CN117237675A (zh) 一种无人机自主定位的方法、装置、存储介质及电子设备
CN111292331B (zh) 图像处理的方法与装置
CN112990099A (zh) 一种车道线检测的方法以及装置
CN117197781A (zh) 一种交通标志识别的方法、装置、存储介质及电子设备
CN115984154A (zh) 一种图像融合的方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant