CN108474658A - 地面形态检测方法及系统、无人机降落方法和无人机 - Google Patents

地面形态检测方法及系统、无人机降落方法和无人机 Download PDF

Info

Publication number
CN108474658A
CN108474658A CN201780004468.XA CN201780004468A CN108474658A CN 108474658 A CN108474658 A CN 108474658A CN 201780004468 A CN201780004468 A CN 201780004468A CN 108474658 A CN108474658 A CN 108474658A
Authority
CN
China
Prior art keywords
unmanned plane
acquisition device
ground
image acquisition
structure light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780004468.XA
Other languages
English (en)
Other versions
CN108474658B (zh
Inventor
崔健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Priority to CN202011528344.1A priority Critical patent/CN112710284A/zh
Publication of CN108474658A publication Critical patent/CN108474658A/zh
Application granted granted Critical
Publication of CN108474658B publication Critical patent/CN108474658B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • G01C11/34—Aerial triangulation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/042—Control of altitude or depth specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种基于无人机的地面形态检测方法和系统、无人机自主降落方法、无人机和用于无人机的电子设备。其中，无人机(30)上搭载用于投射结构光的投影装置(32)和用于获取图像的影像采集装置(34)。该方法包括：(S1102)投影装置(32)将预定的结构光投射到无人机(30)降落的地面上；(S11041)影像采集装置(34)采集地面上调制的结构光图像；(S1106、S1108)基于所述结构光图像，确定地面的形态。

Description

地面形态检测方法及系统、无人机降落方法和无人机
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者专利披露。
技术领域
本公开涉及飞行器技术领域，更具体地涉及基于无人机的地面形态检测方法及系统、无人机自主降落方法和无人机。
背景技术
随着技术的发展，各式各样的飞行器已经被制造出来用于满足不同的用户需求。各种带成像功能的飞行器，例如旋翼式无人机，已经被广泛应用，以执行各种航拍、地理测绘等工作。
在返航降落时，现有的无人机一般是由操作人员通过控制器操纵降落到指定位置。随着技术的不断发展，逐渐出现了可以进行自主返航降落的无人机。目前的自主返航降落方式主要是采用GPS卫星定位，并使用惯性测量单元以及指南针等模块进行辅助降落。
但是，目前的自主返航降落方式无法检测待降落地面的形态，特别是无法准确检测待降落地面是否平整，这样，在目前的自主返航降落方式中，可能出现无人机降落在不适合降落的地面上的情况。
发明内容
根据本公开的第一方面，提出了一种基于无人机的地面形态检测方法，其中，所述无人机上搭载用于投射结构光的投影装置和用于获取图像的影像采集装置，所述方法包括：所述投影装置将预定的结构光投射到所述无人机待降落的地面上；所述影像采集装置采集所述地面上调制的结构光图像；基于所述结构光图像，确定所述地面的形态。
根据本公开的第二方面，提出了一种基于无人机的地面形态检测系统，所述地面形态检测系统包括：搭载在所述无人机上的投影装置，用于朝向地面投射预定的结构光；搭载在所述无人机上的影像采集装置，用于采集所述地面上调制的结构光图像；以及数据处理装置，所述数据处理装置用于：基于所述结构光图像，确定所述地面的形态。
根据本公开的第三方面，提出了一种无人机自主降落方法，其中，所述无人机上搭载用于投射结构光的投影装置和用于获取图像的影像采集装置，所述方法包括：所述投影装置将预定的结构光投射到所述无人机待降落的地面上；所述影像采集装置采集所述地面上调制的结构光图像；基于所述结构光图像，确定所述地面的形态；以及当所述地面的形态不满足预定的平整度要求时，禁止所述无人机降落到所述地面，和/或自主确定与所述地面邻近的邻近地面的形态。
根据本公开的第四方面，提出了一种无人机，所述无人机包括：搭载在所述无人机上的投影装置，用于朝向地面投射预定的结构光；搭载在所述无人机上的影像采集装置，用于采集所述地面上调制的结构光图像；以及控制装置，所述控制装置用于：基于所述结构光图像，确定所述地面的形态；以及当所述地面的形态不满足预定的平整度要求时，禁止所述无人机降落到所述地面，和/或自主确定与所述地面邻近的邻近地面的形态。
根据本公开的第五方面，提出了一种用于无人机的电子设备，包括：处理器；和存储器，其中存储有指令，所述指令在由所述处理器执行时使得所述处理器：获取结构光图像；基于所述结构光图像，确定所述地面的形态。
在根据本公开的多个方面的实施例中，能够基于结构光图像，准确确定出地面的形态，提高了地面形态检测的准确性和可靠性。
附图说明
为了更完整地理解本公开实施例及其优势，现在将参考结合附图的以下描述，其中：
图1是根据本公开实施例的基于双目立体视觉测量技术的无人机检测地面形态的系统的示意图；
图2是根据本公开实施例的基于双目立体视觉测量技术的无人机检测地面形态的方法的流程图；
图3是根据本公开的另一实施例的基于结构光3D视觉测量技术的无人机检测地面形态的系统的示意图；
图4是根据本公开的另一实施例的基于结构光3D视觉测量技术的无人机检测地面形态的方法的流程图；
图5A～5D是分别示出了点结构光、线结构光、多线结构光和网格结构光的示意图；
图6是根据本公开的一个示例性实施例的调制的结构光图像的示意图；
图7是示出图3中的检测地面系统的形态用于检测地面的示意图；
图8是根据本公开实施例的图像像素坐标系和成像坐标系的关系示意图；
图9是根据本公开实施例的影像采集装置坐标系和无人机坐标系的关系示意图；
图10是根据本公开实施例的影像采集装置成像模型的示意图；
图11A和图11B是根据本公开实施例的基于结构光3D视觉测量技术的无人机自主降落方法的流程图；
图12是根据本公开实施例的能够自主降落的无人机的示意图；和
图13是示出了根据本公开实施例的数据处理装置或控制装置的示例硬件布置的框图。
此外，各附图并不一定按比例来绘制，而是仅以不影响读者理解的示意性方式示出。
具体实施方式
根据结合附图对本公开示例性实施例的以下详细描述，本公开的其它方面、优势和突出特征对于本领域技术人员将变得显而易见。
在本公开中，术语“包括”和“含有”及其派生词意为包括而非限制。
在本公开中，下述用于描述本公开原理的各种实施例只是说明，不应该以任何方式解释为限制公开的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本公开的示例性实施例。下述描述包括多种具体细节来帮助理解，但这些细节应认为仅仅是示例性的。因此，本领域普通技术人员应认识到，在不脱离本公开的范围和精神的情况下，可以对本文中描述的实施例进行多种改变和修改。此外，为了清楚和简洁起见，省略了公知功能和结构的描述。此外，贯穿附图，相同附图标记用于相同或相似的功能和操作。此外，尽管可能在不同实施例中描述了具有不同特征的方案，但是本领域技术人员应当意识到：可以将不同实施例的全部或部分特征相结合，以形成不脱离本公开的精神和范围的新的实施例。
在本公开中，在建立三维重构的计算模型和标定计算模型的参数时，为了方便阐述，需要建立五个坐标系，这五个坐标系包括无人机坐标系(也可以称为“飞机坐标系”)、影像采集装置坐标系、投影装置坐标系、图像像素坐标系和成像坐标系。需要说明的是，在本公开的一些实施例中，以相机、摄像头或摄像机作为影像采集装置的示例，相应地，所述影像采集装置坐标系可以被描述为相机坐标系、摄像头坐标系或摄像机坐标系；而且，在本公开的一些实施例中，以投影仪作为投影装置的示例，相应地，所述投影装置坐标系可以被描述为投影仪坐标系。飞机坐标系或无人机坐标系以无人机的中心为坐标系原点、以垂直于地面的轴为Z轴，用来表示空间内的任意一点(例如，三维地面上的某点)与无人机的相对空间位置关系。影像采集装置坐标系以影像采集装置的光心为中心、以影像采集装置的主光轴为Z轴，用来表示空间内的任意一点与影像采集装置的相对空间位置关系。投影装置坐标系以投影装置的光心为中心、以投射光平面为X、Y坐标轴所在的平面，用来表示空间内的任意一点与投影装置的相对空间位置关系。图像像素坐标系是图像坐标系，像素在数组中的行数和列数为每一像素点的坐标。成像坐标系也是图像坐标系，单位通常用毫米表示，由于图像像素坐标系没有与物理长度关联，所以要建立以实际长度为单位的成像坐标系。在下文中，将进一步结合附图描述各个坐标系。
根据本公开的一个示例性实施例，在无人机返航降落时，可以基于双目立体视觉测量技术来检测地面形态，以检测地面是否平整，从而确定是否适合无人机降落。
图1是根据本公开实施例的基于双目立体视觉测量技术的无人机检测地面形态的系统的示意图。如图1所示，无人机10上搭载有两个影像采集装置12、14，例如摄像机、摄像头、数码相机或其它任何具有摄像或拍照功能的装置中的一种。两个影像采集装置12、14之间间隔一预定的距离。
图2是根据本公开实施例的基于双目立体视觉测量技术的无人机检测地面形态的方法的流程图。在图1和2示出的实施例中，双目立体视觉测量技术可以利用两台影像采集装置12、14来模拟人的双眼进行深度测量，从而获得地面的深度图。
在步骤S202中，标定影像采集装置12、14。
在本实施例中，所述两个影像采集装置12、14均是相机，在该步骤中，可以标定影像采集装置12、14的内部参数，还可以标定影像采集装置12、14的外部参数。在某些实施例中，所述内部参数可以包括与所述影像采集装置12、14的自身特性相关的参数，例如影像采集装置的焦距、像素大小和/或镜头畸变参数。所述外部参数可以包括所述影像采集装置12、14在无人机坐标系中的参数，例如所述影像采集装置12、14相对于所述无人机10的空间位置和/或旋转方向。
在步骤S204中，利用两个影像采集装置12、14分别从不同方位获取被测地面的同一位置的图像。
在某些实施例中，参照图1，利用左影像采集装置12和右影像采集装置14分别从不同方位记录被测地面的同一位置P的图像，得到两幅二维图像。
在步骤S206中，提取特征点。
在某些实施例中，提取特征点的方法包括边缘提取法、兴趣算子法、最小灰度差法等。在某些实施例中，在提取特征点之前，还可以对获取的图像进行预处理，以使图像中的特征点更加突出。
在步骤S208中，匹配两幅二维图像中的特征点。
在某些实施例中，所述匹配两幅二维图像中的特征点包括寻找左影像采集装置12获取的图像中的每个特征点在右影像采集装置14获取的图像中的对应点。例如，可以根据匹配基元的不同，使用区域匹配、特征匹配或相位匹配等匹配算法来匹配两幅二维图像中的特征点。
在步骤S210中，基于标定得到的两个影像采集装置的内部参数和外部参数，根据匹配的特征点，计算该点在无人机坐标系中的三维坐标。
在某些实施例中，在完成了标定影像采集装置、获取图像、提取特征点和匹配特征点的步骤之后，就得到了任一被测点在两个图像中的对应的齐次坐标和两个影像采集装置的参数矩阵，然后利用所述齐次坐标和参数矩阵，可以对空间点进行三维重建。例如，计算所述空间点相对于所述无人机10的位置，即所述空间点在无人机坐标系中的三维坐标。
在本公开的实施例中，根据计算出的一系列点在无人机坐标系中的三维坐标，可以确定出所述地面的形态，从而确定所述地面是否适合降落。
在根据本公开实施例的基于双目立体视觉测量技术的无人机检测地面形态的方法中，“匹配”步骤是该方法比较关键的一个步骤。在无人机返航降落时，待降落的地面形态比较复杂，例如，地面可能没有纹理，或者地面具有重复的纹理，此时，由于没有比较明显的特征点，所以匹配两幅二维图像中的特征点的匹配难度会增大。这样，准确检测待降落地面是否平整以及准确确定是否适合降落带来极大的困难。
为了更准确地检测地面形态，以准确确定地面是否适合降落，本公开的实施例还提供一种基于结构光3D视觉测量技术的无人机检测地面形态的系统和方法。结构光3D视觉测量技术是一种主动式光学测量技术，具体地，由结构光投影装置向被测物体表面投射可控制的光点、光条或光面结构，并由图像传感器(例如影像采集装置)采集图像，通过系统几何关系，利用三角原理计算得到被测物体的三维坐标。
图3是根据本公开的另一实施例的基于结构光3D视觉测量技术的无人机检测地面形态的系统的示意图。如图3所示，无人机30上搭载有投影装置32和影像采集装置34。其中，投影装置32和影像采集装置34间隔一定的距离。投影装置32用于投射预定的结构光至待降落的地面上，投影装置32可以包括投影仪。影像采集装置34用于采集所述地面上的调制的结构光图像，影像采集装置34可以包括摄像机、摄像头、例如数码相机等的相机或其它任何具有摄像或拍照功能的装置。在某些实施例中，投影装置32可以投射可见光、红外光等各种波长范围的光至所述地面上，相应地，影像采集装置34可以是感应可见光、红外光等各种波长范围的光的影像采集装置。投影装置32投射的光的波长范围需要与影像采集装置34感应的光的波长范围相匹配，例如，投影装置32可以是投射红外光的投影仪，影像采集装置34可以是红外摄像头。无人机30包括数据处理装置36，用于处理影像采集装置34采集的图像、计算三维信息以及进行三维重构。
在某些实施例中，投影装置32的闪光频率与影像采集装置34的拍摄频率可以相同或大致相同。这样，影像采集装置34获得的图像不会出现闪烁或变色的画面，从而有利于使所述影像采集装置获取清晰且稳定的图像。
图4是根据本公开的另一实施例的基于结构光3D视觉测量技术的无人机检测地面形态的方法的流程图。
在步骤S402中，标定投影装置32和影像采集装置34。
本实施例中，所述投影装置32可以为投影仪，所述影像采集装置34可以为相机。
在某些实施例中，可以标定影像采集装置34的内部参数，还可以标定影像采集装置34的外部参数。所述内部参数可以包括与所述影像采集装置的自身特性相关的参数，例如所述影像采集装置的焦距、像素大小、镜头畸变参数等参数。所述外部参数可以包括所述影像采集装置在无人机坐标系中的参数，例如所述影像采集装置的位置、旋转方向等参数。在某些实施例中，标定投影装置32可以包括标定投影装置投射的结构光的结构光平面与影像采集装置34的位置关系，例如，所述结构光平面在影像采集装置坐标系下的平面方程。通过标定投影装置32和影像采集装置34的上述参数，可以建立例如无人机坐标系的预定的三维坐标系与影像采集装置坐标系之间的映射关系。关于标定的参数以及标定的详细步骤将在下文中更详细地阐述。
在步骤S404中，所述投影装置32将预定的结构光投射至无人机30下方的待降落地面P上。
根据结构光的不同形态，可以将其划分为点结构光、线结构光、多线结构光和网格结构光。
对于点结构光，如图5A所示，将一束结构光投射到被测物体表面上，在其表面产生一个光点。例如，投影装置32可以是投射点结构光的激光头。影像采集装置的光轴和该束光在空间中于光点处相交，投影装置和影像采集装置的连线成为基线，相交点和基线构成一个三角形。通过标定可知该三角形的约束关系，并可以唯一确定所述光点在无人机坐标系下的空间位置。在该点结构光的实施例中，一次拍摄只能采集到被测物体表面上一个可测点的坐标信息，所以，点结构光测量需要对被测物体进行逐点扫描，测量时间较长，可能无法满足无人机实时检测地面形态的要求。
对于线结构光，如图5B所示，将点光束换成线光束，影像采集装置采集一幅图像就可以获得光条上的所有点的空间位置信息。具体地，当线光束投射到表面不平整的物体上，光条会扭曲或断续，经过特定的标定后，可以把光条上每一点在无人机坐标系下的三维坐标求出来。通过使用线结构光，在没有增加复杂度的同时增大了一次拍摄获得的信息量，从而可以加快无人机检测地面形态的速度。
对于多线结构光，如图5C所示，在面结构光的光路中增加一个条纹投射器，例如光栅。投射至待测物体表面上的光条变成多条，此时，影像采集装置采集的一幅图像中可以采集到多条光条。
对于网格结构光，如图5D所示，在面结构光的光路中增加一个网栅。投射至待测物体表面上的光束变成网格状，此时，影像采集装置采集的一幅图像中可以采集到被测物体表面上网格所在的区域的所有点的三维位置信息。
在下面的描述中，除非另有说明，均以结构光为线结构光为例对本公开的实施例进行阐述。
在步骤S406中，所述影像采集装置34采集所述地面P上调制的结构光图像。
根据本公开的实施例，当投影装置32将线结构光投射至所述地面P上时，由于地面P可能高低起伏或不平整，所以在地面P上会形成调制的结构光图像。该结构光图像由处于另一位置的影像采集装置34采集，从而获得调制的结构光图像，即结构光的畸变图像，如图6所示。结构光图像中光条的畸变程度依赖于投影装置32与影像采集装置34之间的相对位置关系以及地面的形态。
在获取所述结构光图像之后，可以基于所述结构光图像，确定出所述地面P的形态。根据本公开的一些实施例，基于所述结构光图像确定出所述地面P的形态的步骤可以包括下面的步骤S408和步骤S410。
在步骤S408中，解算三维信息。
在某些实施例中，所述解算三维信息包括基于所述结构光图像和三维重构的计算模型，计算与所述结构光图像中的点(如图6中的P1)对应的所述地面上的点(如图7中的P1’)在无人机坐标系中的三维坐标。例如，可以基于步骤S406中采集的结构光图像、步骤S402中标定的影像采集装置34的影像采集装置参数以及标定的投影装置32投射的所述线结构光平面与所述影像采集装置34的位置关系，计算与所述结构光图像中的点对应的所述地面上的点在无人机坐标系中的三维坐标。
在步骤S410中，重构所述地面的三维形态。
在某些实施例中，所述重构所述地面的三维形态包括根据所述地面上的一系列点在无人机坐标系中的三维坐标，确定所述地面的三维形态。
另外，在某些实施例中，所述基于结构光3D视觉测量技术的无人机检测地面形态的方法还可以包括处理图像的步骤。图像处理可以减少图像中的噪声信号，增大数字图像数据中信噪比、抑制背景，这样，可以方便后续进行的数据处理，更加满足实时性的要求。例如，可以采用图像增强、图像平滑和图像锐化等方法，对步骤S406中采集的结构光图像进行处理。
上面结合附图描述了根据本公开实施例的基于结构光3D视觉测量技术的无人机检测地面形态的方法的主要步骤，在下文中，将更详细地阐述根据本公开实施例的基于结构光3D视觉测量技术的无人机检测地面形态的方法中所标定和使用的三维重构的计算模型。
[三维重构的计算模型的建立]
首先，需要建立各个坐标系。
图像的表述形式实际上是二维矩阵，图像中每个像素点映射到矩阵中的每一个元素，若图像为灰度图像，则矩阵中每一个元素对应图像中该点像素值。如图8所示，定义一个直角坐标系O0uv，一般以图像左上角起始点O0作为原点，该坐标系即为图像像素坐标系。像素在数组中的行数和列数为每一像素点的坐标，即(u，v)为图像像素坐标系下以像素为单位的坐标。
在图像像素坐标系的基础上，设置成像平面坐标系O1xy，如图8所示。由于像素坐标系没有与物理长度关联，所以要建立以实际长度为单位的成像坐标系。设dx，dy分别为单位像素在x轴和y轴的物理间距。该成像坐标系的原点为成像平面与影像采集装置中心光轴的交点O1(u0，v0)，则图像像素坐标系中坐标和成像坐标系中坐标的关系可表示为
依据上述定义，可以得到图像像素坐标系和成像坐标系的转换关系式为
以影像采集装置光心位置OC设置为原点，ZC轴对应影像采集装置光轴，XC、YC则与成像坐标系的x轴和y轴分别平行。焦距.f表示影像采集装置光心到成像平面之间的距离，由此建立影像采集装置坐标系OCXCYCZC，如图9所示。
影像采集装置在空间中的摆放位置是任意的，需要设定一定的标准来对其姿态进行统一的描述，因此我们引入飞机坐标系或无人机坐标系，作为所有坐标系最终的基准。无人机坐标系OWXWYWZW的建立如图9中所不。
其次，需要建立影像采集装置成像模型。
影像采集装置成像模型可近似为针孔成像模型，如图10所示，假设空间中任意一点在影像采集装置坐标系下的坐标为P(XC，YC，ZC)，像平面上的像点在成像坐标系下的坐标为P′(x，y)，f表示的影像采集装置的焦距。依据投影关系与相似三角形定理，可推出
转换为矩阵表示为
上式(4)将影像采集装置坐标系下坐标与成像坐标系下坐标建立起联系，若要将任意成像坐标系下坐标转换到无人机坐标系下，还需要知道影像采集装置坐标系与无人机坐标系的关系，即影像采集装置在无人机坐标系下的摆放位置。
接下来，需要建立影像采集装置与无人机的相对位置关系。
影像采集装置在无人机坐标系下的位置变换关系包括摆放的角度，和摆放位置偏离原点的远近。从矩阵变换的角度，可以用一个正交旋转变换矩阵R和一个平移变换矩阵T来表示两者位置关系，即
其中R为3×3旋转矩阵，记为T为平移矩阵，可以整理出如下公式
根据式(2)、(4)和(6)整理可得
式中，u0，v0表示影像采集装置光轴线同图像平面之间的交点在图像像素坐标系下对应的坐标，设fx，fy的单位是像素，分别表示u轴和v轴的尺度因子。矩阵中所有参数均与影像采集装置内部结构有关，故称为影像采集装置内部参数矩阵，为了描述方便，可以将该矩阵记为矩阵A。矩阵[R T]仅与影像采集装置在无人机坐标系下的位置有关，故称为影像采集装置外部参数矩阵。
最后，建立三维重构的计算模型。
由式(7)推导所得的最终模型可知，若要从图像中的坐标得到无人机坐标系下的坐标，(u，v)已知，ZC、(XW，YW，ZW)均未知，4个未知数，3个方程，并不能将对应无人机坐标系下的坐标(XW，YW，ZW)求出，故还需要一个约束条件。
光条纹上的点不仅满足影像采集装置的投影变换关系，而且还在线结构光所在平面上。因此，确定结构光所在平面的平面方程，与(7)得到的3个方程联立，即可求出无人机坐标系下的坐标(XW，YW，ZW)。设线结构光所在平面的平面方程为aXW+bYW+cZW+d＝0，其中，a、b、c和d分别表示所述平面方程的系数，则(XW，YW，ZW)的解法为：
在标定出其中的参数(例如矩阵A、矩阵R、矩阵T以及平面方程的系数a、b、c和d)的情况下，通过式(8)的方程，可以通过图像像素坐标系下的坐标(u，v)计算出无人机坐标系下的坐标(XW，YW，ZW)，从而实现三维重构。
[计算模型中各个参数的标定]
首先，需要说明的是，下面描述的标定方法仅是为了说明如何标定上述计算模型中的各个参数提出的示例性标定方法，本公开并不限于所述标定方法，本领域技术人员应理解，本公开的实施例还可以采用任何其它合适的标定方法来标定三维重构的计算模型的各个参数。
(1)标定影像采集装置的内部参数和外部参数
在一个示例中，利用张正友平面标定方法，对影像采集装置进行2D平面靶标的标定。假设空间内有一点P，其在无人机坐标下的齐次坐标表示为PW(xW，yW，zW，1)，在图像像素坐标系下的齐次坐标为p(u，v，1)，根据式(7)可得
sp＝A[R T]PW (9)
式中s为深度因子，A为内部参数矩阵，R为3×3的旋转矩阵，T为3×1的平移矩阵。
假设2D靶标位于xW-yW平面上，则有
令H＝[h1 h2 h3]，λ为常数因子，则可得：
H＝[h1 h2 h3]＝λA[r1 r2 T] (11)
由R的正交性可得
令
因为B为对称矩阵，
则可以表示为六维向b＝[B11 B12 B22 B13 B23 B33]T，再令H矩阵中第i列向量为h＝[hi1 hi2 hi3]T，因此可以得到
其中
由式(14)可写成齐次方程
对n张不同位置图像可得到如下方程
简写为
V·b＝0 (17)
上式中V为2n×6的矩阵，当n＞3时，b的解可以唯一确定，是矩阵VTV最小特征值对应的特征向量。求出b后，根据Cholesky矩阵分解算法解出矩阵A，再构造出矩阵B，可以进一步求解出上述内部参数和外部参数。
(2)标定线结构光的平面方程
线结构光的标定，即线结构光在无人机坐标系下的平面方程的求解，其表达式为
aWxW+bWyW+cWzW+dW＝0 (18)
通过若干已知无人机坐标系下特征点的坐标，即可拟合该平面方程。但由于此时结构光方程是未知的，所以可以转换为求解影像采集装置坐标系下的结构光平面方程，参见下式：
aCxC+bCyC+cCzC+dC＝0 (19)
通过求出的影像采集装置坐标系下特征点的坐标，再利用外部参数矩阵把影像采集装置坐标系下特征点转换到无人机坐标系下特征点的坐标，此时进行拟合即可得到无人机坐标系下线结构光的平面方程。
在上述实施例中，描述了根据本公开的实施例的基于结构光3D视觉测量技术的无人机检测地面形态的系统和方法。在某些实施例中，除上述步骤S404、S406之外的其它步骤都可以由所述数据处理装置36执行。
在根据本公开的上述实施例的基于结构光3D视觉测量技术的无人机检测地面心态的系统和方法中，通过使投影装置发出预定的结构光、采集结构光图像并且进行三维重构，能够准确匹配结构光图像中的点和地面上的点，这样，可以准确确定出地面的三维形态，提高地面形态检测的准确性和可靠性。进一步地，可以判断地面是否平整，有利于准确判断所述地面是否适合降落。
根据本公开的又一实施例，还提供一种基于结构光3D视觉测量技术的无人机自主降落方法。所述无人机上搭载用于投射结构光的投影装置和用于获取图像的影像采集装置。其中，所述投影装置和所述影像采集装置间隔一定的距离。图11A示出了所述无人机自主降落方法的流程图，参照图11A，所述自主降落方法可以包括如下步骤：
S1102.所述投影装置将预定的结构光投射到所述无人机待降落的地面上；在某些实施例中，所述预定的结构光可以为线结构光；
S1104.所述影像采集装置采集所述地面上调制的结构光图像；
S1106.基于所述结构光图像和三维重构的计算模型，计算与所述结构光图像中的点对应的所述地面上的点在无人机坐标系中的三维坐标；
S1108.根据所述地面上的一系列点在无人机坐标系中的三维坐标，确定所述地面的形态；以及
S1110.当所述地面的形态不满足预定的平整度要求时，禁止所述无人机降落到所述地面，和/或自主确定与所述地面邻近的邻近地面的形态。
在某些实施例中，所述自主降落方法还可以包括：当所述地面的形态满足预定的平整度要求时，所述无人机降落在所述地面上。
在某些实施例中，当所述地面的形态不满足预定的平整度要求时，可以禁止所述无人机降落在所述地面上，和/或控制无人机飞行至与所述地面邻近的邻近地面上方，然后针对所述邻近地面重复执行上述步骤S1102至步骤S1108，直至寻找到满足所述预定的平整度要求的地面，然后控制所述无人机自主降落在所述满足所述预定的平整度要求的地面上。作为一个示例，所述禁止所述无人机降落在所述地面上可以包括控制所述无人机悬停在所述地面上方。
参照图11B所示，所述无人机自主降落方法可以包括如下步骤：
S1102.所述投影装置将预定的结构光投射到所述无人机待降落的地面上；在某些实施例中，所述预定的结构光可以为线结构光；
S1104.所述影像采集装置采集所述地面上调制的结构光图像；
S1106.基于所述结构光图像和三维重构的计算模型，计算与所述结构光图像中的点对应的所述地面上的点在无人机坐标系中的三维坐标；
S1108.根据所述地面上的一系列点在无人机坐标系中的三维坐标，确定所述地面的形态；
S1109.判断确定出的所述地面的形态是否满足预定的平整度要求；以及
当所述地面的形态满足预定的平整度要求时，执行步骤S1112，即控制所述无人机自主降落在所述地面上；
或者，当所述地面的形态不满足预定的平整度要求时，执行下面的步骤S1114和/或步骤S1116。
在步骤S1114中，禁止所述无人机降落在所述地面上，例如，控制所述无人机悬停在所述地面上方。
在步骤S1116中，控制无人机飞行至与所述地面邻近的邻近地面上方。然后可以重复执行上述步骤S1102至步骤S1108，以确定所述邻近地面的形态，并判断所述邻近地面的形态是否满足预定的平整度要求。直至寻找到满足所述预定的平整度要求的地面，然后控制所述无人机自主降落在所述满足所述预定的平整度要求的地面上。
在某些实施例中，所述自主降落方法还可以包括：标定所述投影装置和所述影像采集装置，以确定所述计算模型的参数。
在一个示例中，所述标定所述投影装置和所述影像采集装置，以确定所述计算模型的参数可以包括：标定所述影像采集装置的内部参数和/或外部参数；标定所述投影装置投射的结构光与所述影像采集装置的位置关系；以及基于所述内部参数、所述外部参数和所述位置关系，确定所述计算模型。例如，所述内部参数包括与所述影像采集装置的自身特性相关的参数，和/或所述外部参数包括所述影像采集装置在无人机坐标系中的参数。在某些实施例中，所述内部参数包括所述影像采集装置的焦距、像素大小和/或镜头畸变参数，所述外部参数包括所述影像采集装置相对于所述无人机的空间位置和/或旋转方向。例如，所述结构光与所述影像采集装置的位置关系包括线结构光平面在影像采集装置坐标系下的平面方程。
在某些实施例中，所述计算模型可以是由上式(8)表示的模型。在这些实施例中，所述标定所述影像采集装置的内部参数包括标定所述u0，v0，f，dx和dy，和/或标定所述影像采集装置的外部参数包括标定所述平移变换矩阵T和正交旋转变换矩阵R，和/或标定所述投影装置投射的结构光与所述影像采集装置的位置关系包括标定所述系数a、b、c和d。
在某些实施例中，所述自主降落方法还可以包括：在所述影像采集装置采集所述地面上调制的结构光图像之后，处理所述结构光图像。
在某些实施例中，所述步骤S1102可以包括：当所述无人机的高度小于预定高度时，所述投影装置将预定的结构光投射到所述无人机待降落的地面上。在一个示例中，所述预定高度可以是距地面2～3米范围内的高度。
在一个示例中，所述预定的平整度要求可以包括：所述地面上的一系列点在无人机坐标系中的三维坐标中Z坐标值的差值的最大值小于预定的阈值，例如10厘米。应该理解的是，该预定的阈值可以与无人机的机型和/或无人机所使用的脚架相关。
根据本公开的实施例，还提供一种无人机，该无人机在返航时可以自主降落。如图12所示，所述无人机1200可以包括：
搭载在所述无人机上的投影装置1202，用于朝向地面投射预定的结构光，
搭载在所述无人机上的影像采集装置1204，用于采集所述地面上调制的结构光图像，以及
控制装置1206，所述控制装置至少可以用于：基于所述结构光图像，确定所地面的形态。在某些实施例中，所述基于所述结构光图像，确定所地面的形态可以包括：基于所述结构光图像和三维重构的计算模型，计算与所述结构光图像中的点对应的所述地面上的点在无人机坐标系中的三维坐标；和根据所述地面上的一系列点在无人机坐标系中的三维坐标，确定所述地面的形态。
在根据本公开的上述实施例的基于结构光3D视觉测量技术的无人机自主降落方法和无人机中，由于能够准确匹配结构光图像中的点和地面上的点，所以可以准确确定出地面的三维形态，从而可以准确判断地面是否平整。这样，能够准确控制无人机降落在平整度较高的地面上，提高无人机自主返航降落的安全性。
在某些实施例中，所述自主降落方法的除上述步骤S1102、S1104之外的其它步骤都可以由所述控制装置1206执行。
图13是示出了根据本公开实施例的所述数据处理装置36或所述控制装置1206的示例硬件布置1300的框图。硬件布置1300可包括处理器1306(例如，中央处理器(CPU)、数字信号处理器(DSP)、微控制器单元(MCU)等)。处理器1306可以是用于执行本文描述的流程的不同动作的单一处理单元或者是多个处理单元。硬件布置1300还可以包括用于从其他实体接收信号的输入单元1302、以及用于向其他实体提供信号的输出单元1304。输入单元1302和输出单元1304可以被布置为单一实体或者是分离的实体。
此外，硬件布置1300可以包括具有非易失性或易失性存储器形式的至少一个可读存储介质1308，例如是电可擦除可编程只读存储器(EEPROM)、闪存、和/或硬盘驱动器。可读存储介质1308包括计算机程序指令1310，该计算机程序指令1310包括代码/计算机可读指令，其在由硬件布置1300中的处理器1306执行时使得硬件布置1300和/或包括硬件布置1300在内的数据处理装置或控制装置可以执行例如上述方法的流程及其任何变形。
在某些实施例中，计算机程序指令1310可被配置为具有例如计算机程序指令模块1310A～1310B架构的计算机程序指令代码。因此，在例如数据处理装置中使用硬件布置1300时的示例实施例中，布置1300的计算机程序指令中的代码包括：模块1310B，用于基于所述结构光图像和三维重构的计算模型，计算与所述结构光图像中的点对应的所述地面上的点在无人机坐标系中的三维坐标。计算机程序指令中的代码还包括：模块1310B，用于根据所述地面上的一系列点在无人机坐标系中的三维坐标，确定所述地面的形态。
尽管上面结合图13所公开的实施例中的代码手段被实现为计算机程序指令模块，其在处理器1306中执行时使得硬件布置1300执行上述方法的流程或动作，然而在备选实施例中，该代码手段中的至少一项可以至少被部分地实现为硬件电路。
处理器可以是单个CPU(中央处理单元)，但也可以包括两个或更多个处理单元。例如，处理器可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))。处理器还可以包括用于缓存用途的板载存储器。计算机程序指令可以由连接到处理器的计算机程序指令产品来承载。计算机程序指令产品可以包括其上存储有计算机程序指令的计算机可读介质。例如，计算机程序指令产品可以是闪存、随机存取存储器(RAM)、只读存储器(ROM)、EEPROM，且上述计算机程序指令模块在备选实施例中可以用UE内的存储器的形式被分布到不同计算机程序指令产品中。
需要注意的是，在本文中被描述为通过纯硬件、纯软件和/或固件来实现的功能，也可以通过专用硬件、通用硬件与软件的结合等方式来实现。例如，被描述为通过专用硬件(例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)来实现的功能，可以由通用硬件(例如，中央处理单元(CPU)、数字信号处理器(DSP))与软件的结合的方式来实现，反之亦然。
在本公开的上述实施例中，主要基于所述影像采集装置采集到的结构光图像和标定的三维重构的计算模型，确定地面的三维形态，但是，本领域技术人员应理解，这样的方式是为了详细地阐述本公开的发明构思而作出的示例性实施方式，其并不是唯一的实施方式。在本公开的其它实施例中，可以采用其它实施方式，以基于所述结构光图像，确定地面的形态。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (50)

1.一种基于无人机的地面形态检测方法，其中，所述无人机上搭载用于投射结构光的投影装置和用于获取图像的影像采集装置，其特征在于，所述方法包括：
所述投影装置将预定的结构光投射到所述无人机待降落的地面上；
所述影像采集装置采集所述地面上调制的结构光图像；
基于所述结构光图像，确定所述地面的形态。
2.根据权利要求1所述的方法，其特征在于，所述投影装置的闪光频率与所述影像采集装置的拍摄频率相同。
3.根据权利要求1所述的方法，其特征在于，所述基于所述结构光图像，确定所述地面的形态包括：
基于所述结构光图像和三维重构的计算模型，确定所述地面的形态。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
标定所述影像采集装置的内部参数和/或外部参数；
标定所述投影装置投射的结构光与所述影像采集装置的位置关系；以及
基于所述内部参数、所述外部参数和所述位置关系，确定所述计算模型。
5.根据权利要求4所述的方法，其特征在于，所述内部参数包括所述影像采集装置的焦距、像素大小和/或镜头畸变参数，和/或所述外部参数包括所述影像采集装置相对于所述无人机的空间位置和/或旋转方向。
6.根据权利要求4或5所述的方法，其特征在于，所述预定的结构光包括线结构光。
7.根据权利要求6所述的方法，其特征在于，所述结构光与所述影像采集装置的位置关系包括线结构光平面在影像采集装置坐标系下的平面方程。
8.根据权利要求3-7中任一项所述的方法，其特征在于，所述计算模型由下式表示：
其中，u，v分别表示所述结构光图像中的点在像素坐标系下的坐标，u0，v0分别表示所述影像采集装置的光轴线与所述结构光图像平面之间的交点在像素坐标系下的坐标，f表示的所述影像采集装置的焦距，dx，dy分别表示单位像素在成像坐标系下x轴和y轴的物理间距，平移变换矩阵T表示所述影像采集装置在无人机坐标系下的相对位置，正交旋转变换矩阵R表示所述影像采集装置在无人机坐标系下的相对旋转方向，a、b、c、d分别表示无人机坐标系下的结构光平面方程的系数，ZC表示所述地面上的点在影像采集装置坐标系下的Z轴坐标，(XW，YW，ZW)分别表示所述地面上的点在无人机坐标系下的坐标。
9.根据权利要求1-8中任一项所述的方法，其特征在于，所述方法还包括：
在所述影像采集装置采集所述地面上调制的结构光图像之后，处理所述结构光图像。
10.一种基于无人机的地面形态检测系统，其特征在于，所述地面形态检测系统包括：
搭载在所述无人机上的投影装置，用于朝向地面投射预定的结构光；
搭载在所述无人机上的影像采集装置，用于采集所述地面上调制的结构光图像；以及
数据处理装置，所述数据处理装置用于：基于所述结构光图像，确定所述地面的形态。
11.根据权利要求10所述的系统，其特征在于，所述投影装置的闪光频率与所述影像采集装置的拍摄频率相同。
12.根据权利要求10所述的系统，其特征在于，所述基于所述结构光图像，确定所述地面的形态包括：
基于所述结构光图像和三维重构的计算模型，确定所述地面的形态。
13.根据权利要求12所述的系统，其特征在于，所述数据处理装置还用于：
标定所述影像采集装置的内部参数和/或外部参数；
标定所述投影装置投射的结构光与所述影像采集装置的位置关系；以及
基于所述内部参数、所述外部参数和所述位置关系，确定所述计算模型。
14.根据权利要求13所述的系统，其特征在于，所述内部参数包括所述影像采集装置的焦距、像素大小和/或镜头畸变参数，和/或所述外部参数包括所述影像采集装置相对于所述无人机的空间位置和/或旋转方向。
15.根据权利要求13或14所述的系统，其特征在于，所述预定的结构光包括线结构光。
16.根据权利要求15所述的系统，其特征在于，所述结构光与所述影像采集装置的位置关系包括线结构光平面在影像采集装置坐标系下的平面方程。
17.根据权利要求12-16中任一项所述的系统，其特征在于，所述计算模型由下式表示：
其中，u，v分别表示所述结构光图像中的点在像素坐标系下的坐标，u0，v0分别表示所述影像采集装置的光轴线与所述结构光图像平面之间的交点在像素坐标系下的坐标，f表示的所述影像采集装置的焦距，dx，dy分别表示单位像素在成像坐标系下x轴和y轴的物理间距，平移变换矩阵T表示所述影像采集装置在无人机坐标系下的相对位置，正交旋转变换矩阵R表示所述影像采集装置在无人机坐标系下的相对旋转方向，a、b、c、d分别表示无人机坐标系下的结构光平面方程的系数，ZC表示所述地面上的点在影像采集装置坐标系下的Z轴坐标，(XW，YW，ZW)分别表示所述地面上的点在无人机坐标系下的坐标。
18.根据权利要求10-17中任一项所述的系统，其特征在于，所述数据处理装置还用于：
在所述影像采集装置采集所述地面上调制的结构光图像之后，处理所述结构光图像。
19.一种无人机自主降落方法，其中，所述无人机上搭载用于投射结构光的投影装置和用于获取图像的影像采集装置，其特征在于，所述方法包括：
所述投影装置将预定的结构光投射到所述无人机待降落的地面上；
所述影像采集装置采集所述地面上调制的结构光图像；
基于所述结构光图像，确定所述地面的形态；以及
当所述地面的形态不满足预定的平整度要求时，禁止所述无人机降落到所述地面，和/或自主确定与所述地面邻近的邻近地面的形态。
20.根据权利要求19所述的方法，其特征在于，所述方法还包括：
当所述地面的形态满足预定的平整度要求时，所述无人机降落在所述地面上。
21.根据权利要求19所述的方法，其特征在于，所述方法还包括：
当所述邻近地面的形态满足所述预定的平整度要求时，所述无人机降落在所述邻近地面上。
22.根据权利要求19所述的方法，其特征在于，所述投影装置的闪光频率与所述影像采集装置的拍摄频率相同。
23.根据权利要求19所述的方法，其特征在于，所述基于所述结构光图像，确定所述地面的形态包括：
基于所述结构光图像和三维重构的计算模型，确定所述地面的形态。
24.根据权利要求23所述的方法，其特征在于，所述方法还包括：
标定所述影像采集装置的内部参数和/或外部参数；
标定所述投影装置投射的结构光与所述影像采集装置的位置关系；以及
基于所述内部参数、所述外部参数和所述位置关系，确定所述计算模型。
25.根据权利要求24所述的方法，其特征在于，所述内部参数包括所述影像采集装置的焦距、像素大小和/或镜头畸变参数，和/或所述外部参数包括所述影像采集装置相对于所述无人机的空间位置和/或旋转方向。
26.根据权利要求24或25所述的方法，其特征在于，所述预定的结构光包括线结构光。
27.根据权利要求26所述的方法，其特征在于，所述结构光与所述影像采集装置的位置关系包括线结构光平面在影像采集装置坐标系下的平面方程。
28.根据权利要求19-27中任一项所述的方法，其特征在于，所述计算模型由下式表示：
其中，u，v分别表示所述结构光图像中的点在像素坐标系下的坐标，u0，v0分别表示所述影像采集装置的光轴线与所述结构光图像平面之间的交点在像素坐标系下的坐标，f表示的所述影像采集装置的焦距，dx，dy分别表示单位像素在成像坐标系下x轴和y轴的物理间距，平移变换矩阵T表示所述影像采集装置在无人机坐标系下的相对位置，正交旋转变换矩阵R表示所述影像采集装置在无人机坐标系下的相对旋转方向，a、b、c、d分别表示无人机坐标系下的结构光平面方程的系数，ZC表示所述地面上的点在影像采集装置坐标系下的Z轴坐标，(XW，YW，ZW)分别表示所述地面上的点在无人机坐标系下的坐标。
29.根据权利要求19-28中任一项所述的方法，其特征在于，所述方法还包括：
在所述影像采集装置采集所述地面上调制的结构光图像之后，处理所述结构光图像。
30.根据权利要求19-29中任一项所述的方法，其特征在于，所述投影装置将预定的结构光投射到所述无人机待降落的地面上包括：
当所述无人机的高度小于预定高度时，所述投影装置将预定的结构光投射到所述无人机待降落的地面上。
31.一种无人机，其特征在于，所述无人机包括：
搭载在所述无人机上的投影装置，用于朝向地面投射预定的结构光；
搭载在所述无人机上的影像采集装置，用于采集所述地面上调制的结构光图像；以及
控制装置，所述控制装置用于：
基于所述结构光图像，确定所述地面的形态；以及
当所述地面的形态不满足预定的平整度要求时，禁止所述无人机降落到所述地面，和/或自主确定与所述地面邻近的邻近地面的形态。
32.根据权利要求31所述的无人机，其特征在于，所述控制装置还用于：
当所述地面的形态满足预定的平整度要求时，控制所述无人机降落在所述地面上。
33.根据权利要求31所述的无人机，其特征在于，所述控制装置还用于：
当所述邻近地面的形态满足所述预定的平整度要求时，控制所述无人机降落在所述邻近地面上。
34.根据权利要求31所述的无人机，其特征在于，所述投影装置的闪光频率与所述影像采集装置的拍摄频率相同。
35.根据权利要求31所述的无人机，其特征在于，所述基于所述结构光图像，确定所述地面的形态包括：
基于所述结构光图像和三维重构的计算模型，确定所述地面的形态。
36.根据权利要求35所述的无人机，其特征在于，所述控制装置还用于：
标定所述影像采集装置的内部参数和/或外部参数；
标定所述投影装置投射的结构光与所述影像采集装置的位置关系；以及
基于所述内部参数、所述外部参数和所述位置关系，确定所述计算模型。
37.根据权利要求36所述的无人机，其特征在于，所述内部参数包括所述影像采集装置的焦距、像素大小和/或镜头畸变参数，和/或所述外部参数包括所述影像采集装置相对于所述无人机的空间位置和/或旋转方向。
38.根据权利要求36或37所述的无人机，其特征在于，所述预定的结构光包括线结构光。
39.根据权利要求38所述的无人机，其特征在于，所述结构光与所述影像采集装置的位置关系包括线结构光平面在影像采集装置坐标系下的平面方程。
40.根据权利要求35-39中任一项所述的无人机，其特征在于，所述计算模型由下式表示：
其中，u，v分别表示所述结构光图像中的点在像素坐标系下的坐标，u0，v0分别表示所述影像采集装置的光轴线与所述结构光图像平面之间的交点在像素坐标系下的坐标，f表示的所述影像采集装置的焦距，dx，dy分别表示单位像素在成像坐标系下x轴和y轴的物理间距，平移变换矩阵T表示所述影像采集装置在无人机坐标系下的相对位置，正交旋转变换矩阵R表示所述影像采集装置在无人机坐标系下的相对旋转方向，a、b、c、d分别表示无人机坐标系下的结构光平面方程的系数，ZC表示所述地面上的点在影像采集装置坐标系下的Z轴坐标，(XW，YW，ZW)分别表示所述地面上的点在无人机坐标系下的坐标。
41.根据权利要求31-40中任一项所述的无人机，其特征在于，所述控制装置还用于：
在所述影像采集装置采集所述地面上调制的结构光图像之后，处理所述结构光图像。
42.根据权利要求31-41中任一项所述的无人机，其特征在于，所述控制装置还用于：
检测所述无人机的高度，以及
当所述无人机的高度小于预定高度时，控制所述投影装置将预定的结构光投射到所述无人机待降落的地面上。
43.一种用于无人机的电子设备，包括：
处理器；和
存储器，其中存储有指令，所述指令在由所述处理器执行时使得所述处理器：
获取结构光图像；以及
基于所述结构光图像，确定地面的形态。
44.根据权利要求43所述的电子设备，其特征在于，所述基于所述结构光图像，确定地面的形态包括：
基于所述结构光图像和三维重构的计算模型，确定所述地面的形态。
45.根据权利要求44所述的电子设备，其特征在于，所述指令在由所述处理器执行时还使得所述处理器：
标定所述影像采集装置的内部参数和/或外部参数；
标定所述投影装置投射的结构光与所述影像采集装置的位置关系；以及
基于所述内部参数、所述外部参数和所述位置关系，确定所述计算模型。
46.根据权利要求45所述的电子设备，其特征在于，所述内部参数包括所述影像采集装置的焦距、像素大小和/或镜头畸变参数，和/或所述外部参数包括所述影像采集装置相对于所述无人机的空间位置和/或旋转方向。
47.根据权利要求45或46所述的电子设备，其特征在于，所述预定的结构光包括线结构光。
48.根据权利要求47所述的电子设备，其特征在于，所述结构光与所述影像采集装置的位置关系包括线结构光平面在影像采集装置坐标系下的平面方程。
49.根据权利要求44-48中任一项所述的电子设备，其特征在于，所述计算模型由下式表示：
其中，u，v分别表示所述结构光图像中的点在像素坐标系下的坐标，u0，v0分别表示所述影像采集装置的光轴线与所述结构光图像平面之间的交点在像素坐标系下的坐标，f表示的所述影像采集装置的焦距，dx，dy分别表示单位像素在成像坐标系下x轴和y轴的物理间距，平移变换矩阵T表示所述影像采集装置在无人机坐标系下的相对位置，正交旋转变换矩阵R表示所述影像采集装置在无人机坐标系下的相对旋转方向，a、b、c、d分别表示无人机坐标系下的结构光平面方程的系数，ZC表示所述地面上的点在影像采集装置坐标系下的Z轴坐标，(XW，YW，ZW)分别表示所述地面上的点在无人机坐标系下的坐标。
50.根据权利要求43-49中任一项所述的电子设备，其特征在于，所述指令在由所述处理器执行时还使得所述处理器：在获取结构光图像之后，处理所述结构光图像。
CN201780004468.XA 2017-06-16 2017-06-16 地面形态检测方法及系统、无人机降落方法和无人机 Expired - Fee Related CN108474658B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011528344.1A CN112710284A (zh) 2017-06-16 2017-06-16 地面形态检测方法、系统和无人机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/088710 WO2018227576A1 (zh) 2017-06-16 2017-06-16 地面形态检测方法及系统、无人机降落方法和无人机

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011528344.1A Division CN112710284A (zh) 2017-06-16 2017-06-16 地面形态检测方法、系统和无人机

Publications (2)

Publication Number Publication Date
CN108474658A true CN108474658A (zh) 2018-08-31
CN108474658B CN108474658B (zh) 2021-01-12

Family

ID=63266530

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780004468.XA Expired - Fee Related CN108474658B (zh) 2017-06-16 2017-06-16 地面形态检测方法及系统、无人机降落方法和无人机
CN202011528344.1A Withdrawn CN112710284A (zh) 2017-06-16 2017-06-16 地面形态检测方法、系统和无人机

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011528344.1A Withdrawn CN112710284A (zh) 2017-06-16 2017-06-16 地面形态检测方法、系统和无人机

Country Status (2)

Country Link
CN (2) CN108474658B (zh)
WO (1) WO2018227576A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242918A (zh) * 2018-11-15 2019-01-18 中国直升机设计研究所 一种直升机机载双目立体视觉标定方法
CN109556578A (zh) * 2018-12-06 2019-04-02 成都天睿特科技有限公司 一种无人机旋扫式测量拍摄方法
CN109945847A (zh) * 2019-03-20 2019-06-28 武汉建工集团股份有限公司 一种基于标线仪的墙面监测方法及系统
CN110297498A (zh) * 2019-06-13 2019-10-01 暨南大学 一种基于无线充电无人机的轨道巡检方法及系统
CN110502022A (zh) * 2019-09-09 2019-11-26 厦门精益远达智能科技有限公司 一种实现无人机稳定悬停的方法、装置、设备和存储介质
WO2020107248A1 (zh) * 2018-11-28 2020-06-04 深圳市大疆创新科技有限公司 一种无人机的安全降落方法、装置、无人机及介质
CN111324139A (zh) * 2018-12-13 2020-06-23 顺丰科技有限公司 无人机降落方法、装置、设备及存储介质
CN112106008A (zh) * 2019-09-27 2020-12-18 深圳市大疆创新科技有限公司 一种无人飞行器的降落控制方法及相关设备
CN112306083A (zh) * 2019-07-30 2021-02-02 广州极飞科技有限公司 无人机降落区域的确定方法、装置、无人机和存储介质
CN112344877A (zh) * 2020-11-11 2021-02-09 东北大学 无人机测量大型岩体结构面三维形貌参数的装置及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3191056A1 (en) 2020-05-18 2021-11-25 Chirag Shah Method and system to ascertain location of drone box for landing and charging drones

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424630A (zh) * 2013-08-20 2015-03-18 华为技术有限公司 三维重建方法及装置、移动终端
CN104656669A (zh) * 2015-03-10 2015-05-27 无锡桑尼安科技有限公司 基于图像处理的无人机着陆位置搜索系统
CN105203084A (zh) * 2015-07-02 2015-12-30 汤一平 一种无人机3d全景视觉装置
CN106371281A (zh) * 2016-11-02 2017-02-01 辽宁中蓝电子科技有限公司 基于结构光多模块360度空间扫描和定位的3d相机

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107690840B (zh) * 2009-06-24 2013-07-31 中国科学院自动化研究所 无人机视觉辅助导航方法及系统
US8913783B2 (en) * 2009-10-29 2014-12-16 Sri International 3-D model based method for detecting and classifying vehicles in aerial imagery
CN102538763B (zh) * 2012-02-14 2014-03-12 清华大学 一种河工模型试验三维地形的量测方法
CN104296681B (zh) * 2014-10-16 2016-12-07 浙江大学 基于激光点阵标识的三维地形传感方法
US20160349746A1 (en) * 2015-05-29 2016-12-01 Faro Technologies, Inc. Unmanned aerial vehicle having a projector and being tracked by a laser tracker
CN105120257B (zh) * 2015-08-18 2017-12-15 宁波盈芯信息科技有限公司 一种基于结构光编码的垂直深度感知装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424630A (zh) * 2013-08-20 2015-03-18 华为技术有限公司 三维重建方法及装置、移动终端
CN104656669A (zh) * 2015-03-10 2015-05-27 无锡桑尼安科技有限公司 基于图像处理的无人机着陆位置搜索系统
CN105203084A (zh) * 2015-07-02 2015-12-30 汤一平 一种无人机3d全景视觉装置
CN106371281A (zh) * 2016-11-02 2017-02-01 辽宁中蓝电子科技有限公司 基于结构光多模块360度空间扫描和定位的3d相机

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242918A (zh) * 2018-11-15 2019-01-18 中国直升机设计研究所 一种直升机机载双目立体视觉标定方法
CN111615677B (zh) * 2018-11-28 2024-04-12 深圳市大疆创新科技有限公司 一种无人机的安全降落方法、装置、无人机及介质
CN111615677A (zh) * 2018-11-28 2020-09-01 深圳市大疆创新科技有限公司 一种无人机的安全降落方法、装置、无人机及介质
WO2020107248A1 (zh) * 2018-11-28 2020-06-04 深圳市大疆创新科技有限公司 一种无人机的安全降落方法、装置、无人机及介质
CN109556578A (zh) * 2018-12-06 2019-04-02 成都天睿特科技有限公司 一种无人机旋扫式测量拍摄方法
CN111324139A (zh) * 2018-12-13 2020-06-23 顺丰科技有限公司 无人机降落方法、装置、设备及存储介质
CN109945847B (zh) * 2019-03-20 2021-01-29 武汉建工集团股份有限公司 一种基于标线仪的墙面监测方法及系统
CN109945847A (zh) * 2019-03-20 2019-06-28 武汉建工集团股份有限公司 一种基于标线仪的墙面监测方法及系统
CN110297498A (zh) * 2019-06-13 2019-10-01 暨南大学 一种基于无线充电无人机的轨道巡检方法及系统
CN112306083A (zh) * 2019-07-30 2021-02-02 广州极飞科技有限公司 无人机降落区域的确定方法、装置、无人机和存储介质
CN112306083B (zh) * 2019-07-30 2023-12-05 广州极飞科技股份有限公司 无人机降落区域的确定方法、装置、无人机和存储介质
CN110502022A (zh) * 2019-09-09 2019-11-26 厦门精益远达智能科技有限公司 一种实现无人机稳定悬停的方法、装置、设备和存储介质
CN110502022B (zh) * 2019-09-09 2022-09-13 厦门精益远达智能科技有限公司 一种实现无人机稳定悬停的方法、装置、设备和存储介质
CN112106008A (zh) * 2019-09-27 2020-12-18 深圳市大疆创新科技有限公司 一种无人飞行器的降落控制方法及相关设备
WO2021056432A1 (zh) * 2019-09-27 2021-04-01 深圳市大疆创新科技有限公司 一种无人飞行器的降落控制方法及相关设备
CN112344877B (zh) * 2020-11-11 2022-02-01 东北大学 无人机测量大型岩体结构面三维形貌参数的装置及方法
CN112344877A (zh) * 2020-11-11 2021-02-09 东北大学 无人机测量大型岩体结构面三维形貌参数的装置及方法

Also Published As

Publication number Publication date
WO2018227576A1 (zh) 2018-12-20
CN112710284A (zh) 2021-04-27
CN108474658B (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN108474658A (zh) 地面形态检测方法及系统、无人机降落方法和无人机
US9269188B2 (en) Densifying and colorizing point cloud representation of physical surface using image data
CN104596502B (zh) 一种基于cad模型与单目视觉的物体位姿测量方法
CN110462686B (zh) 用于从场景获得深度信息的设备和方法
AU2011312140B2 (en) Rapid 3D modeling
Hoppe et al. Photogrammetric camera network design for micro aerial vehicles
CN106780712B (zh) 联合激光扫描和影像匹配的三维点云生成方法
US10930062B2 (en) 3D view model generation of an object utilizing geometrically diverse image clusters
US10645365B2 (en) Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
KR20110120317A (ko) 3ｄ 포인트 클라우드 데이터를 2ｄ 전자광학 영상 데이터로 등록
CN113359782B (zh) 一种融合lidar点云与图像数据的无人机自主选址降落方法
CN109242855A (zh) 基于多分辨率三维统计信息的屋顶分割方法、系统及设备
CN112862966B (zh) 地表三维模型构建方法、装置、设备及存储介质
Özdemir et al. A multi-purpose benchmark for photogrammetric urban 3D reconstruction in a controlled environment
CN113052974A (zh) 物体三维表面的重建方法和装置
CN113129422A (zh) 一种三维模型构建方法、装置、存储介质和计算机设备
CN113421332B (zh) 一种三维重建方法、装置、电子设备及存储介质
US11747141B2 (en) System and method for providing improved geocoded reference data to a 3D map representation
Geyer et al. The recursive multi-frame planar parallax algorithm
Kang et al. Improving 3D mesh quality using multi-directional UAV images
Silvestrou et al. Multi-parametric Performance Evaluation of Drone-based Surveying for Disaster Risk Management.
Wujanz et al. Fusion of point clouds from TLS and MVS for the generation of a 3D ship model
Xiaojun et al. High accurate 3D reconstruction method using binocular stereo based on multiple constraints
Ahmadabadian Photogrammetric multi-view stereo and imaging network design
JP2004030460A (ja) 画像処理方法、画像処理プログラム及びそれを記録した記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210112