CN110796633A - 无人机降落安全检测方法、装置、计算机设备和存储介质 - Google Patents

无人机降落安全检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110796633A
CN110796633A CN201910853111.XA CN201910853111A CN110796633A CN 110796633 A CN110796633 A CN 110796633A CN 201910853111 A CN201910853111 A CN 201910853111A CN 110796633 A CN110796633 A CN 110796633A
Authority
CN
China
Prior art keywords
frame image
image
current frame
unmanned aerial
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910853111.XA
Other languages
English (en)
Inventor
陈挺任
马子昂
卢维
林辉
殷俊
张兴明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910853111.XA priority Critical patent/CN110796633A/zh
Publication of CN110796633A publication Critical patent/CN110796633A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种无人机降落安全检测方法、装置、计算机设备和存储介质。所述方法包括：获取无人机拍摄的当前帧图像和模板帧图像；根据所述当前帧图像和所述模板帧图像，得到所述当前帧图像和模板帧图像的相似度；根据所述相似度，确定无人机能否安全降落。采用本方法能够无人机降落过程中，准确检测突然闯入的障碍物，提高无人机降落的安全性，降低意外发生率。

Description

无人机降落安全检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及飞行器技术领域，特别是涉及一种无人机降落安全检测方法、装置、计算机设备和存储介质。
背景技术
随着技术的发展，各式各样的飞行器已经被制造出来用于满足不同的用户需求。目前无人机技术的日趋成熟，越来越多的场景都有无人机参与进来，军事上有侦查监视，服务消费上有摄影测量、消防、环境检测、城市规划等。由于无人机在各个领域发挥着越来越重要的作用，大众对无人机的智能化需求也越来越高。
在返航降落时，现有的无人机一般是由操作人员通过控制器操纵降落到指定位置。随着技术的不断发展，逐渐出现了可以进行检测障碍物的无人机。
但是，目前的降落方式只能检测固定的障碍物，无法监测移动的障碍物，特别是无法准确检测突然闯入的障碍物，在目前的降落方式中，降落过程中当有突然闯入的障碍物时，无人机的降落容易出现意外情况。
发明内容
基于此，有必要针对上述技术问题，提供一种能够准确检测突然闯入的障碍物的无人机降落安全检测方法、装置、计算机设备和存储介质。
一种无人机降落安全检测方法，所述方法包括：
获取无人机拍摄的当前帧图像和模板帧图像；
根据所述当前帧图像和所述模板帧图像，得到所述当前帧图像和模板帧图像的相似度；
根据所述相似度，确定无人机能否安全降落。
在其中一个实施例中，所述根据所述当前帧图像和所述模板帧图像，得到所述当前帧图像和模板帧图像的相似度包括：
根据所述当前帧图像和所述模板帧图像，计算获得单应性矩阵；
根据所述当前帧图像、所述模板帧图像以及所述单应性矩阵，得到二值化图像；
将所述二值化图像进行图像处理，获取候选区域；
将当前帧图像中的候选区域作为第一候选区域图像，将模板帧图像中的候选区域作为第二候选区域图像；
根据第一候选区域图像和第二候选区域图像，得到所述第一候选区域图像和第二候选区域图像的相似度。
在其中一个实施例中，所述根据所述当前帧图像、模板帧图像以及单应性矩阵，得到二值化图像包括：
根据所述单应性矩阵，对所述当前帧图像和模板帧图像进行图像映射；
计算所述当前帧图像和所述模板帧图像中所有映射像素点的灰度差值；
根据所述灰度差值，生成所述二值化图像。
在其中一个实施例中，所述根据所述灰度差值，生成所述二值化图像包括：
若所述灰度差值小于灰度阈值，则生成第一类像素点；
若所述灰度差值大于等于预设的灰度阈值，则生成第二类像素点；
根据所述第一类像素点和所述第二类像素点，生成二值化图像。
在其中一个实施例中，所述将所述二值化图像进行图像处理，获取候选区域包括：
将所述二值化图像进行腐蚀处理，再进行膨胀处理，获取处理后的二值化图像中第二类像素点联通的最大面积；
滤除处理后的二值化图像中第二类像素点联通的面积小于预设面积阈值的第二类像素点，获取候选区域。
在其中一个实施例中，所述根据所述相似度，确定无人机能否安全降落包括：
检测所述当前帧图像和所述模板帧图像的候选区域的相似度是否大于预设的相似阈值；
若所述当前帧图像和所述模板帧图像的候选区域的相似度小于等于预设的相似阈值，则为存在异常，提示无人机降落不安全；
若所述当前帧图像和所述模板帧图像的候选区域的相似度大于预设的相似阈值，则不存在异常，提示无人机降落安全。
在其中一个实施例中，所述根据所述相似度，确定无人机能否安全降落之后包括：
若不存在异常，则根据所述当前帧图像更新所述模板帧图像；
若存在异常，则将所述模板帧图像更换为上一张模板帧图像，直至不存在异常时重新更新所述模板帧图像。
在其中一个实施例中，所述获取当前帧图像和模板帧图像之前包括：
获取无人机拍摄的当前图像、模板图像以及无人机的飞行高度；
根据所述飞行高度划定所述当前图像和所述模板图像的安全区域，获取安全区域内的当前帧图像和模板帧图像。
一种无人机降落安全检测装置，所述装置包括：
图像获取模块，用于获取无人机拍摄的当前帧图像和模板帧图像；
图像处理模块，用于根据所述当前帧图像和所述模板帧图像，得到所述当前帧图像和模板帧图像的相似度；
相似度检测模块，用于根据所述相似度，确定无人机能否安全降落。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取无人机拍摄的当前帧图像和模板帧图像；
根据所述当前帧图像和所述模板帧图像，得到所述当前帧图像和模板帧图像的相似度；
根据所述相似度，确定无人机能否安全降落。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取无人机拍摄的当前帧图像和模板帧图像；
根据所述当前帧图像和所述模板帧图像，得到所述当前帧图像和模板帧图像的相似度；
根据所述相似度，确定无人机能否安全降落。
上述无人机降落安全检测方法、装置、计算机设备和存储介质，无人机降落过程中，通过检测当前帧图像和模板帧图像的相似度，准确检测突然闯入的障碍物，提高无人机降落的安全性，降低意外发生率。
附图说明
图1为一个实施例中无人机降落安全检测方法的流程示意图；
图2为另一个实施例中无人机降落安全检测方法的流程示意图；
图3为一个实施例中无人机降落安全检测装置的结构框图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的无人机降落安全检测方法，可应用于无人机中，所述无人机包括摄像装置，所述摄像装置采集当前帧图像和模板帧图像。
在一个实施例中，如图1所示，提供了一种无人机降落安全检测方法，包括以下步骤：
步骤102，获取无人机拍摄的当前帧图像和模板帧图像。
其中，所述当前帧图像为无人机实时采集的图像，所述模板帧图像为无人机进入降落检测时，采集的当前帧图像的上一帧图像或之前的图像。
所述步骤之前还包括：获取无人机拍摄的当前图像、模板图像以及无人机的飞行高度；根据所述飞行高度划定所述当前图像和所述模板图像的安全区域，获取安全区域内的当前帧图像和模板帧图像。
具体地，所述无人机的飞行高度越高，则所述当前图像和所述模板图像中的所述安全区域的图像面积占整体图像的比值越小；反之，所述无人机的飞行高度越低，则所述当前图像和所述模板图像中的所述安全区域的图像面积占整体图像的比值越大。
步骤104，根据所述当前帧图像和所述模板帧图像，得到所述当前帧图像和模板帧图像的相似度。
所述步骤包括：根据所述当前帧图像和所述模板帧图像，计算获得单应性矩阵；根据所述当前帧图像、所述模板帧图像以及所述单应性矩阵，得到二值化图像；将所述二值化图像进行图像处理，获取候选区域；将当前帧图像中的候选区域作为第一候选区域图像，将模板帧图像中的候选区域作为第二候选区域图像；根据第一候选区域图像和第二候选区域图像，得到所述第一候选区域图像和第二候选区域图像的相似度。
具体地，对所述当前帧图像和所述模板帧图像进行ORB特征点提取，并对提取出的特征点进行匹配，基于匹配的特征点对，计算获得单应性矩阵。其中，所述单应性矩阵描述处于共同平面上的一些点在两张图像之间的变换关系。具体方式如下：
因模板帧图像I1和当前帧图像I2有一对匹配好的特征点p1和p2。这些特征点落在平面P上，设这个平面满足方程：
nTP+d＝0
整理得：
Figure BDA0002197482790000051
根据相机成像公式推出：
Figure BDA0002197482790000052
其中P为特征点p1的世界坐标系；n和d为常量；R，t为相机的旋转矩阵和平移矩阵。K为相机的内参，H为单应性矩阵，它是一个3x3的矩阵，可以通过多对匹配点计算得出。把上式展开，公式为：
在实际处理过程中乘以一个非零因子使得h9＝1。推出以下公式：
Figure BDA0002197482790000062
Figure BDA0002197482790000063
整理得：
h1u1+h2v1+h3-h7u1u2-h8v1u2＝u2
h4u1+h5v1+h6-h7u1v2-h8v1v2＝v2
一组匹配点构造出两项约束，于是自由度为8的单应性矩阵可以通过4对匹配特征点求出。
使用所述单应性矩阵将所述模板帧图像映射至所述当前帧图像，将映射后的图像与当前帧图像做像素相减处理并进行二值化处理得到二值化图像。将所述二值化图像进行图像处理，过滤所述二值化图像中部分色块，获得候选区域。将当前帧图像中的候选区域作为第一候选区域图像，将模板帧图像中的候选区域作为第二候选区域图像，通过计算第一候选区域图像和第二候选区域图像两个图像的颜色直方图、平均哈希以及感知哈希的差异，得到所述第一候选区域图像和第二候选区域图像的相似度。
所述根据所述当前帧图像、模板帧图像以及单应性矩阵，得到二值化图像包括：根据所述单应性矩阵，对所述当前帧图像和模板帧图像进行图像映射；计算所述当前帧图像和所述模板帧图像中所有映射像素点的灰度差值；根据所述灰度差值，生成所述二值化图像。其中，所述映射像素点为所述当前帧图像的像素点以及所述模板帧图像与所述当前帧图像的像素点对应的像素点。
具体地，根据计算得到的单应性矩阵，将所述模板帧图像上的像素点逐一映射到所述当前帧图像上的像素点，计算所述当前帧图像的像素点与所述模板帧图像中对应的像素点之间的灰度差值，判断各个映射像素点的灰度差值，生成所述二值化图像。
所述根据所述灰度差值，生成二值化图像包括：若所述灰度差值小于灰度阈值，则生成第一类像素点；若所述灰度差值大于等于预设的灰度阈值，则生成第二类像素点；根据所述第一类像素点和所述第二类像素点，生成二值化图像。
具体地，将所述模板帧图像的像素点逐一映射到所述当前帧图像中对应的像素点，并计算对应像素点间的灰度差值。若所述灰度差值小于预先设定的灰度阈值，则认为所述映射像素点上所述当前帧图像与所述模板帧图像无明显差异，作为第一类像素点；若所述灰度差值大于预先设定的灰度阈值，则认为所述映射像素点上所述当前帧图像与所述模板帧图像有明显差异，作为第二类像素点；将所述第一类像素点在所述二值化图像上标记为黑色，将所述第二类像素点在所述二值化图像上标记为白色，生成二值化图像。
所述将所述二值化图像进行图像处理，获取候选区域包括：将所述二值化图像进行腐蚀处理，再进行膨胀处理，获取处理后的二值化图像中第二类像素点联通的最大面积；滤除处理后的二值化图像中第二类像素点联通的面积小于预设面积阈值的第二类像素点，获取候选区域。
具体地，对二值化后的图像进行先腐蚀后膨胀的形态学操作，断开狭窄的间断和消除细的突出物，使联通区域的轮廓变得光滑，统计最大白色联通区域的面积，并表示为S；滤除面积小于0.3S的白色联通区域，并将滤除后的一个或多个白色联通区域用最小外接矩形框进行表示，该白色联通区域即为候选区域。能够实时检测异常闯入物的位置，检测小体积闯入物，具有同时检测多个闯入物的优点。
步骤106，根据所述相似度，确定无人机能否安全降落。
所述步骤包括检测所述当前帧图像和所述模板帧图像的候选区域的相似度是否大于预设的相似阈值；若所述当前帧图像和所述模板帧图像的候选区域的相似度小于等于预设的相似阈值，则为存在异常，提示无人机降落不安全；若所述当前帧图像和所述模板帧图像的候选区域的相似度大于预设的相似阈值，则不存在异常，提示无人机降落安全。
具体地，若所述当前帧图像与所述模板帧图像的候选区域的相似度大于预先设定的相似阈值，则认为所述候选区域中没有异常闯入物，允许所述无人机进行降落；若所述当前帧图像与所述模板帧图像的候选区域的相似度小于等于预先设定的相似阈值，则认为所述候选区域中具有异常闯入物。若在所述当前帧图像上检测出有异常闯入物，则不允许所述无人机进行降落，反馈给无人机控制平台执行悬停操作。通过计算颜色直方图、平均哈希以及感知哈希的相似度，多个相似度结合提升了检测异常闯入物的准确率。
所述步骤还包括：若不存在异常，则根据所述当前帧图像更新所述模板帧图像；若存在异常，则将所述模板帧图像更换为上一张模板帧图像，直至不存在异常时重新更新所述模板帧图像。
具体地，若所述当前帧图像和所述模板帧图像的候选区域的相似度大于预设的相似阈值，则不存在异常，提示无人机降落安全之后；若接收到所述无人机的着陆指令，则不更新所述模板帧图像；若未接收到所述无人机的着陆指令，则更新所述模板帧。在本实施例中，若在所述当前帧图像上未检测到有异常闯入物，则将所述模板帧图像替换为当前帧的当前帧图像。若在当前帧图像上检测到有异常闯入物时，则将所述模板帧图像替换为上一帧的当前帧图像后停止更新模板帧图像，直到当前帧图像内没有异常闯入物后再继续更新模板帧图像。模板帧图像的更新策略提升了无人机在降落中环境变化的鲁棒性。
在一个实施例中，如图2所示，提供了一种无人机降落安全检测方法，包括以下步骤：
当无人机切换到自动降落模式时，开始降落安全检测，获取无人机拍摄的当前图像、模板图像以及无人机的飞行高度；根据所述飞行高度划定所述当前图像和所述模板图像的安全区域，获取所述安全区域内的当前帧图像和模板帧图像。在所述当前帧图像与所述模板帧图像之间做ORB特征点提取与匹配操作，计算获得单应性矩阵。然后通过所述单应性矩阵将所述模板帧图像中的像素点映射到所述当前帧图像中对应的像素点，并将各个像素点求取灰度差值，根据所述灰度差值得到二值化图像。通过将所述二值化图像进行形态学处理，获得候选区域，最后通过所述模板帧图像的候选区域内的图像与所述当前帧图像的候选区域内的图像进行相似度比较，检测出是否有异常闯入物。若有异常闯入物进入，则使所述无人机进行悬停操作；若无异常闯入物进入，则检测所述无人机是否进行着陆。若所述无人机进行着陆，则结束本次无人机降落安全监测；若所述无人机不进行着陆，则更新所述模板帧图像。若在所述当前帧图像上未检测到有异常闯入物，则将所述模板帧图像替换为当前帧的当前帧图像。若在当前帧图像上检测到有异常闯入物时，则将所述模板帧图像替换为上一帧的当前帧图像后停止更新模板帧图像，直到当前帧图像内没有异常闯入物后再继续更新模板帧图像。在本实施例中，采用的CPU为Intel Core i5-6500(3.2GHz)的硬件平台上，每秒可处理10帧左右的图像序列，满足无人机智能化实时性需求。
上述无人机降落安全检测方法中，无人机降落过程中，通过检测当前帧图像和模板帧图像的相似度，准确检测突然闯入的障碍物，提高无人机降落的安全性，降低意外发生率。
应该理解的是，虽然图1～2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1～2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图3所示，提供了一种无人机降落安全检测装置，包括：图像获取模块310、图像处理模块320和相似度检测模块330，其中：
所述图像获取模块310，用于获取无人机拍摄的当前帧图像和模板帧图像；
所述图像处理模块320，用于根据所述当前帧图像和所述模板帧图像，得到所述当前帧图像和模板帧图像的相似度；
所述相似度检测模块330，用于根据所述相似度，确定无人机能否安全降落。
所述图像获取模块310还用于获取无人机拍摄的当前图像、模板图像以及无人机的飞行高度；根据所述飞行高度划定所述当前图像和所述模板图像的安全区域，获取安全区域内的当前帧图像和模板帧图像。
所述图像处理模块320还用于根据所述当前帧图像和所述模板帧图像，计算获得单应性矩阵；根据所述当前帧图像、所述模板帧图像以及所述单应性矩阵，得到二值化图像；将所述二值化图像进行图像处理，获取候选区域；将当前帧图像中的候选区域作为第一候选区域图像，将模板帧图像中的候选区域作为第二候选区域图像；根据第一候选区域图像和第二候选区域图像，得到所述第一候选区域图像和第二候选区域图像的相似度。
所述图像处理模块320还用于根据所述单应性矩阵，对所述当前帧图像和模板帧图像进行图像映射；计算所述当前帧图像和所述模板帧图像中所有映射像素点的灰度差值；根据所述灰度差值，生成所述二值化图像。
所述图像处理模块320还用于若所述灰度差值小于灰度阈值，则生成第一类像素点；若所述灰度差值大于等于预设的灰度阈值，则生成第二类像素点；根据所述第一类像素点和所述第二类像素点，生成二值化图像。
所述图像处理模块320还用于将所述二值化图像进行腐蚀处理，再进行膨胀处理，获取处理后的二值化图像中第二类像素点联通的最大面积；滤除处理后的二值化图像中第二类像素点联通的面积小于预设面积阈值的第二类像素点，获取候选区域。
所述相似度检测模块330还用于检测所述当前帧图像和所述模板帧图像的候选区域的相似度是否大于预设的相似阈值；若所述当前帧图像和所述模板帧图像的候选区域的相似度小于等于预设的相似阈值，则为存在异常，提示无人机降落不安全；若所述当前帧图像和所述模板帧图像的候选区域的相似度大于预设的相似阈值，则不存在异常，提示无人机降落安全。
所述相似度检测模块330还用于若不存在异常，则根据所述当前帧图像更新所述模板帧图像；若存在异常，则将所述模板帧图像更换为上一张模板帧图像，直至不存在异常时重新更新所述模板帧图像。
关于无人机降落安全检测装置的具体限定可以参见上文中对于无人机降落安全检测方法的限定，在此不再赘述。上述无人机降落安全检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储无人机降落安全检测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种无人机降落安全检测方法。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取无人机拍摄的当前帧图像和模板帧图像；
根据所述当前帧图像和所述模板帧图像，得到所述当前帧图像和模板帧图像的相似度；
根据所述相似度，确定无人机能否安全降落。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据所述当前帧图像和所述模板帧图像，计算获得单应性矩阵；
根据所述当前帧图像、所述模板帧图像以及所述单应性矩阵，得到二值化图像；
将所述二值化图像进行图像处理，获取候选区域；
将当前帧图像中的候选区域作为第一候选区域图像，将模板帧图像中的候选区域作为第二候选区域图像；
根据第一候选区域图像和第二候选区域图像，得到所述第一候选区域图像和第二候选区域图像的相似度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据所述单应性矩阵，对所述当前帧图像和模板帧图像进行图像映射；
计算所述当前帧图像和所述模板帧图像中所有映射像素点的灰度差值；
根据所述灰度差值，生成所述二值化图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若所述灰度差值小于灰度阈值，则生成第一类像素点；
若所述灰度差值大于等于预设的灰度阈值，则生成第二类像素点；
根据所述第一类像素点和所述第二类像素点，生成二值化图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述二值化图像进行腐蚀处理，再进行膨胀处理，获取处理后的二值化图像中第二类像素点联通的最大面积；
滤除处理后的二值化图像中第二类像素点联通的面积小于预设面积阈值的第二类像素点，获取候选区域。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
检测所述当前帧图像和所述模板帧图像的候选区域的相似度是否大于预设的相似阈值；
若所述当前帧图像和所述模板帧图像的候选区域的相似度小于等于预设的相似阈值，则为存在异常，提示无人机降落不安全；
若所述当前帧图像和所述模板帧图像的候选区域的相似度大于于预设的相似阈值，则不存在异常，提示无人机降落安全。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若不存在异常，则根据所述当前帧图像更新所述模板帧图像；
若存在异常，则将所述模板帧图像更换为上一张模板帧图像，直至不存在异常时重新更新所述模板帧图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取无人机拍摄的当前图像、模板图像以及无人机的飞行高度；
根据所述飞行高度划定所述当前图像和所述模板图像的安全区域，获取安全区域内的当前帧图像和模板帧图像。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取无人机拍摄的当前帧图像和模板帧图像；
根据所述当前帧图像和所述模板帧图像，得到所述当前帧图像和模板帧图像的相似度；
根据所述相似度，确定无人机能否安全降落。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据所述当前帧图像和所述模板帧图像，计算获得单应性矩阵；
根据所述当前帧图像、所述模板帧图像以及所述单应性矩阵，得到二值化图像；
将所述二值化图像进行图像处理，获取候选区域；
将当前帧图像中的候选区域作为第一候选区域图像，将模板帧图像中的候选区域作为第二候选区域图像；
根据第一候选区域图像和第二候选区域图像，得到所述第一候选区域图像和第二候选区域图像的相似度。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据所述单应性矩阵，对所述当前帧图像和模板帧图像进行图像映射；
计算所述当前帧图像和所述模板帧图像中所有映射像素点的灰度差值；
根据所述灰度差值，生成所述二值化图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若所述灰度差值小于灰度阈值，则生成第一类像素点；
若所述灰度差值大于等于预设的灰度阈值，则生成第二类像素点；
根据所述第一类像素点和所述第二类像素点，生成二值化图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述二值化图像进行腐蚀处理，再进行膨胀处理，获取处理后的二值化图像中第二类像素点联通的最大面积；
滤除处理后的二值化图像中第二类像素点联通的面积小于预设面积阈值的第二类像素点，获取候选区域。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
检测所述当前帧图像和所述模板帧图像的候选区域的相似度是否大于预设的相似阈值；
若所述当前帧图像和所述模板帧图像的候选区域的相似度小于等于预设的相似阈值，则为存在异常，提示无人机降落不安全；
若所述当前帧图像和所述模板帧图像的候选区域的相似度大于预设的相似阈值，则不存在异常，提示无人机降落安全。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若不存在异常，则根据所述当前帧图像更新所述模板帧图像；
若存在异常，则将所述模板帧图像更换为上一张模板帧图像，直至不存在异常时重新更新所述模板帧图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取无人机拍摄的当前图像、模板图像以及无人机的飞行高度；
根据所述飞行高度划定所述当前图像和所述模板图像的安全区域，获取安全区域内的当前帧图像和模板帧图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种无人机降落安全检测方法，其特征在于，所述方法包括：
获取无人机拍摄的当前帧图像和模板帧图像；
根据所述当前帧图像和所述模板帧图像，得到所述当前帧图像和模板帧图像的相似度；
根据所述相似度，确定无人机能否安全降落。
2.根据权利要求1所述的方法，其特征在于，所述根据所述当前帧图像和所述模板帧图像，得到所述当前帧图像和模板帧图像的相似度包括：
根据所述当前帧图像和所述模板帧图像，计算获得单应性矩阵；
根据所述当前帧图像、所述模板帧图像以及所述单应性矩阵，得到二值化图像；
将所述二值化图像进行图像处理，获取候选区域；
将当前帧图像中的候选区域作为第一候选区域图像，将模板帧图像中的候选区域作为第二候选区域图像；
根据第一候选区域图像和第二候选区域图像，得到所述第一候选区域图像和第二候选区域图像的相似度。
3.根据权利要求2所述的方法，其特征在于，所述根据所述当前帧图像、模板帧图像以及单应性矩阵，得到二值化图像包括：
根据所述单应性矩阵，对所述当前帧图像和模板帧图像进行图像映射；
计算所述当前帧图像和所述模板帧图像中所有映射像素点的灰度差值；
根据所述灰度差值，生成所述二值化图像。
4.根据权利要求3所述的方法，其特征在于，所述根据所述灰度差值，生成所述二值化图像包括：
若所述灰度差值小于灰度阈值，则生成第一类像素点；
若所述灰度差值大于等于灰度阈值，则生成第二类像素点；
根据所述第一类像素点和所述第二类像素点，生成二值化图像。
5.根据权利要求2～4任意一项所述的方法，其特征在于，所述将所述二值化图像进行图像处理，获取候选区域包括：
将所述二值化图像进行腐蚀处理，再进行膨胀处理，获取处理后的二值化图像中第二类像素点联通的最大面积；
滤除处理后的二值化图像中第二类像素点联通的面积小于预设面积阈值的第二类像素点，获取候选区域。
6.根据权利要求1所述的方法，其特征在于，所述根据所述相似度，确定无人机能否安全降落包括：
检测所述当前帧图像和所述模板帧图像的候选区域的相似度是否大于预设的相似阈值；
若所述当前帧图像和所述模板帧图像的候选区域的相似度小于等于预设的相似阈值，则为存在异常，提示无人机降落不安全；
若所述当前帧图像和所述模板帧图像的候选区域的相似度大于预设的相似阈值，则不存在异常，提示无人机降落安全。
7.根据权利要求6所述的方法，其特征在于，所述根据所述相似度，确定无人机能否安全降落之后包括：
若不存在异常，则根据所述当前帧图像更新所述模板帧图像；
若存在异常，则将所述模板帧图像更换为上一张模板帧图像，直至不存在异常时重新更新所述模板帧图像。
8.根据权利要求1所述的方法，其特征在于，所述获取当前帧图像和模板帧图像之前包括：
获取无人机拍摄的当前图像、模板图像以及无人机的飞行高度；
根据所述飞行高度划定所述当前图像和所述模板图像的安全区域，获取安全区域内的当前帧图像和模板帧图像。
9.一种无人机降落安全检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取无人机拍摄的当前帧图像和模板帧图像；
图像处理模块，用于根据所述当前帧图像和所述模板帧图像，得到所述当前帧图像和模板帧图像的相似度；
相似度检测模块，用于根据所述相似度，确定无人机能否安全降落。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN201910853111.XA 2019-09-10 2019-09-10 无人机降落安全检测方法、装置、计算机设备和存储介质 Pending CN110796633A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910853111.XA CN110796633A (zh) 2019-09-10 2019-09-10 无人机降落安全检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910853111.XA CN110796633A (zh) 2019-09-10 2019-09-10 无人机降落安全检测方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN110796633A true CN110796633A (zh) 2020-02-14

Family

ID=69427335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910853111.XA Pending CN110796633A (zh) 2019-09-10 2019-09-10 无人机降落安全检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110796633A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447888A (zh) * 2015-11-16 2016-03-30 中国航天时代电子公司 一种基于有效目标判断的无人机机动目标检测方法
CN106325299A (zh) * 2016-09-13 2017-01-11 上海顺砾智能科技有限公司 基于视觉的无人机返航着陆方法
US20170076616A1 (en) * 2015-09-11 2017-03-16 Qualcomm Incorporated Unmanned aerial vehicle obstacle detection and avoidance
US20180012367A1 (en) * 2015-09-18 2018-01-11 Qualcomm Incorporated Systems and methods for non-obstacle area detection
CN108762298A (zh) * 2018-05-30 2018-11-06 佛山市神风航空科技有限公司 一种水上无人机起降自主控制系统
CN109573029A (zh) * 2018-12-17 2019-04-05 江苏蒲公英无人机有限公司 一种植保无人机返航降落避障的方法
CN109716255A (zh) * 2016-09-18 2019-05-03 深圳市大疆创新科技有限公司 用于操作可移动物体以规避障碍物的方法和系统
CN109934131A (zh) * 2019-02-28 2019-06-25 南京航空航天大学 一种基于无人机的小目标检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170076616A1 (en) * 2015-09-11 2017-03-16 Qualcomm Incorporated Unmanned aerial vehicle obstacle detection and avoidance
US20180012367A1 (en) * 2015-09-18 2018-01-11 Qualcomm Incorporated Systems and methods for non-obstacle area detection
CN105447888A (zh) * 2015-11-16 2016-03-30 中国航天时代电子公司 一种基于有效目标判断的无人机机动目标检测方法
CN106325299A (zh) * 2016-09-13 2017-01-11 上海顺砾智能科技有限公司 基于视觉的无人机返航着陆方法
CN109716255A (zh) * 2016-09-18 2019-05-03 深圳市大疆创新科技有限公司 用于操作可移动物体以规避障碍物的方法和系统
CN108762298A (zh) * 2018-05-30 2018-11-06 佛山市神风航空科技有限公司 一种水上无人机起降自主控制系统
CN109573029A (zh) * 2018-12-17 2019-04-05 江苏蒲公英无人机有限公司 一种植保无人机返航降落避障的方法
CN109934131A (zh) * 2019-02-28 2019-06-25 南京航空航天大学 一种基于无人机的小目标检测方法

Similar Documents

Publication Publication Date Title
CN108446585B (zh) 目标跟踪方法、装置、计算机设备和存储介质
US11887064B2 (en) Deep learning-based system and method for automatically determining degree of damage to each area of vehicle
CN111680746B (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
KR101640998B1 (ko) 화상 처리 장치 및 화상 처리 방법
US10043090B2 (en) Information processing device, information processing method, computer-readable recording medium, and inspection system
CN111178245A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN109658454B (zh) 一种位姿信息确定方法、相关装置及存储介质
CN112560722B (zh) 一种飞机目标识别方法、装置、计算机设备和存储介质
CN111199523B (zh) 电力设备识别方法、装置、计算机设备和存储介质
CN113302619B (zh) 目标区域评估和特征点评估的系统和方法
CN112364715A (zh) 核电作业异常监控方法、装置、计算机设备和存储介质
CN112884782B (zh) 生物对象分割方法、装置、计算机设备和存储介质
CN110751040B (zh) 一种三维物体的检测方法和装置、电子设备、存储介质
CN109886122B (zh) 车道线检测方法、装置、计算机设备和存储介质
CN116168351B (zh) 电力设备巡检方法及装置
CN113490965A (zh) 图像跟踪处理方法、装置、计算机设备和存储介质
CN112001378B (zh) 基于特征空间的车道线处理方法、装置、车载终端和介质
CN103810696A (zh) 一种目标对象图像检测方法及装置
CN112989910A (zh) 电力目标检测方法、装置、计算机设备和存储介质
CN112364740A (zh) 一种基于计算机视觉的无人机房监控方法及系统
CN111325773A (zh) 运动目标的检测方法、装置、设备及可读存储介质
CN111191482B (zh) 一种刹车灯识别方法、装置及电子设备
CN112241705A (zh) 基于分类回归的目标检测模型训练方法和目标检测方法
CN109785343B (zh) 基于清晰度的人脸抠图图片的优选方法及装置
CN112001336A (zh) 行人越界报警方法、装置、设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200214

RJ01 Rejection of invention patent application after publication