CN105225241A - 无人机深度图像的获取方法及无人机 - Google Patents

无人机深度图像的获取方法及无人机 Download PDF

Info

Publication number
CN105225241A
CN105225241A CN201510628505.7A CN201510628505A CN105225241A CN 105225241 A CN105225241 A CN 105225241A CN 201510628505 A CN201510628505 A CN 201510628505A CN 105225241 A CN105225241 A CN 105225241A
Authority
CN
China
Prior art keywords
unmanned plane
overlapping region
pixel
coordinates system
camera coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510628505.7A
Other languages
English (en)
Other versions
CN105225241B (zh
Inventor
陈有生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xaircraft Technology Co Ltd
Original Assignee
GUANGZHOU XAIRCRAFT ELECTRONIC TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU XAIRCRAFT ELECTRONIC TECHNOLOGY Co Ltd filed Critical GUANGZHOU XAIRCRAFT ELECTRONIC TECHNOLOGY Co Ltd
Priority to CN201510628505.7A priority Critical patent/CN105225241B/zh
Publication of CN105225241A publication Critical patent/CN105225241A/zh
Priority to AU2016327918A priority patent/AU2016327918B2/en
Priority to PCT/CN2016/099925 priority patent/WO2017050279A1/zh
Priority to KR1020177034364A priority patent/KR101886013B1/ko
Priority to JP2017566134A priority patent/JP6484729B2/ja
Priority to US15/565,582 priority patent/US10198004B2/en
Priority to ES16848160T priority patent/ES2798798T3/es
Priority to EP16848160.4A priority patent/EP3264364B1/en
Application granted granted Critical
Publication of CN105225241B publication Critical patent/CN105225241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提出一种无人机深度图像的获取方法及无人机，该方法包括：通过机载相机采集预定场景的图像序列，图像序列中第N帧图像和第N+1帧图像具有重叠区域且重叠区域的面积与第N帧图像或第N+1帧图像的面积之比高于预设比例；利用基于特征匹配的光流法得到重叠区域中第N帧图像的每个像素点在第N+1帧图像中的位置信息的变化情况，并据此得到重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度；获取无人机在世界坐标系下的实际飞行速度；根据上述的像素移动速度、实际飞行速度及机载相机的参数得到每个重叠区域的深度图像，并据此整合得到预定场景的深度图像。本发明的方法能够准确地获取深度图像，具有适用范围广、成本低、易于实现的优点。

Description

无人机深度图像的获取方法及无人机
技术领域
本发明涉及图像处理技术领域，特别涉及一种无人机深度图像的获取方法及无人机。
背景技术
传统的成像方案是将三维的图像模型转换为二维的灰度图像，在成像过程中损失了图像的深度信息，然而图像的深度信息对于后续应用是十分重要的(例如三维重建、地理测绘等)，获取深度图无论对于理论研究还是对于工程实践都具有重要的意义。
现有的获取深度图像的方法一般是主动式获取方法，主动的发出能量，例如激光、电磁波，超声波等，此能量经过障碍物反射从而被接收到；被动式测量有基于机器视觉的方法，例如双目视觉等。
目前无人机获取深度图像的方法一般是主动式的发出能量束，然后检测返回的能量，最后据此计算深度图。然而，此方法容易受到周围环境的影响，例如光线对激光的影响；其次该方法要求被测物体必须能够反射能量，如果大部分发射能量被吸收掉，那么就会导致此方法的失效；最后该方法的可测量范围有限，因为发射的能量在大气中会被衰减，如果距离太远，衰减就会严重，从而不能够准确测量出深度信息。另一方面，基于双目视觉的方法需要两个相机，且两个相机之间必须要求有一定的距离，测量的距离越远两个相机间的间距就要越大，对于小型无人机而言其增加了载荷，另外由于小型无人机的空间有限，从而限制了两个相机间的最大距离。
发明内容
本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种无人机深度图像的获取方法，该方法能够准确地获取无人机的深度图像，具有适用范围广、成本低、易于实现的优点。
本发明的另一个目的在于提供一种无人机。
为了实现上述目的，本发明第一方面的实施例提出了一种无人机深度图像的获取方法，包括以下步骤：S1：通过无人机的机载相机采集预定场景的图像序列，其中，所述图像序列中第N帧图像和第N+1帧图像具有重叠区域且所述重叠区域的面积与所述第N帧图像或第N+1帧图像的面积之比高于预设比例；S2：利用基于特征匹配的光流法得到所述重叠区域中第N帧图像的每个像素点在第N+1帧图像中的位置信息的变化情况，并根据所述位置信息的变化情况得到所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度；S3：获取所述无人机在世界坐标系下的实际飞行速度；以及S4：根据每个所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞行速度以及所述机载相机的参数得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到所述预定场景的深度图像。
根据本发明实施例的无人机深度图像的获取方法，通过无人机机载相机拍摄连续的图像，通过计算两帧连续的图像重叠区域中每个像素点的位置变化情况得到无人机在相机坐标系下各像素点的像素移动速度，再利用如无人机机载GPS等设备测量出无人机在世界坐标系下的实际飞行速度，最后通过无人机在相机坐标系下各像素点的像素移动速度、无人机在世界坐标系下的实际飞行速度及飞行高度之间的关系，计算得到无人机的深度图像，该方法能够准确获取深度图像，且操作流程简单、易于实现。同时，对被测物体是否能够反射能量没有特定要求，可测距离足够远，不存在能量的衰减问题，适用范围广。另外，该方法的实现都是利用现有无人机上的设备，不需要增加额外的设备，从而减小无人机的载荷，也降低了测量成本，避免了由于能量衰减，或者被测物体表面吸收等问题导致的主动式测量失败等问题。
另外，根据本发明上述实施例的无人机深度图像的获取方法还可以具有如下附加的技术特征：
在一些示例中，所述S2，进一步包括：利用基于特征匹配的光流法得到所述重叠区域中无人机的每个像素点在所述相机坐标系下的移动距离，具体包括：根据同一个像素点在第N帧图像中的位置信息和第N+1帧图像中的位置信息，得到该像素点的位置信息变化情况，根据所述位置信息变化情况得到该像素点在所述相机坐标系下的移动距离；对所述重叠区域中无人机的每个像素点在所述相机坐标系下的移动距离进行求导，得到所述重叠区域中无人机的每个像素点在所述相机坐标系下的像素移动速度。，为所述像素点在所述相机坐标系下的移动距离；进行求导，得到所述无人机在所述相机坐标系下各像素点的像素移动速度。
在一些示例中，所述S4，进一步包括：根据小孔成像原理建立所述重叠区域中无人机的每个像素点在所述相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞行速度和所述无人机的飞行高度之间的关联关系，其中，所述关联关系为：
v m = v Z f ,
其中，所述vm为所述无人机在世界坐标系下的实际飞行速度，v为所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度，Z为所述无人机的飞行高度，f为所述机载相机的焦距；
根据所述关联关系得到所述重叠区域中无人机的每个像素点的深度值：
Z i = v i v m * 1 f ( 0 < i < s u m ( p i x e l s ) ) ,
其中，Zi为所述重叠区域中第i个像素点的深度值，vi为第i个像素点在相机坐标系下的像素移动速度；
根据每个所述重叠区域中无人机的每个像素点的深度值得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到预定场景的深度图像。
在一些示例中，判断所述相机坐标系和所述世界坐标系的方向是否一致；如果所述相机坐标系和所述世界坐标系的方向不一致，则对所述相机坐标系的方向进行调整，以使所述相机坐标系的方向与所述世界坐标系的方向一致。
在一些示例中，所述机载相机的视野角度低于预设角度，所述预设角度为60度。
在一些示例中，在所述S2之前，还包括：对所述图像序列中的图像的畸变进行校正。
在一些示例中，所述预设比例为60％。
本发明第二发明的实施例还提供了一种无人机，包括：机载相机，所述机载相机用于采集预定场景的图像序列，其中，所述图像序列中第N帧图像和第N+1帧图像具有重叠区域且所述重叠区域的面积与所述第N帧图像或第N+1帧图像的面积之比高于预设比例；计算模块，所述计算模块利用基于特征匹配的光流法得到所述重叠区域中第N帧图像的每个像素点在第N+1帧图像中的位置信息的变化情况，并根据所述位置信息的变化情况得到所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度；测量模块，所述测量模块用于获取所述无人机在世界坐标系下的实际飞行速度；以及获取模块，所述获取模块用于根据每个所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞行速度以及所述机载相机的参数得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到所述预定场景的深度图像。
根据本发明实施例的无人机，通过机载相机拍摄连续的图像，通过计算两帧连续的图像重叠区域中每个像素点的位置变化情况得到无人机在相机坐标系下各像素点的像素移动速度，再利用如无人机机载GPS等设备测量出无人机在世界坐标系下的实际飞行速度，最后通过无人机在相机坐标系下各像素点的像素移动速度、无人机在世界坐标系下的实际飞行速度及飞行高度之间的关系，计算得到无人机的深度图像，因此该无人机能够准确获取深度图像。同时，对被测物体是否能够反射能量没有特定要求，可测距离足够远，不存在能量的衰减问题，适用范围广。另外，该无人机的实现都是利用现有无人机上的设备，不需要增加额外的设备，从而减小无人机的载荷，也降低了测量成本，避免了由于能量衰减，或者被测物体表面吸收等问题导致的主动式测量失败等问题。
另外，根据本发明上述实施例的无人机还可以具有如下附加的技术特征：
在一些示例中，所述计算模块用于：利用基于特征匹配的光流法得到所述重叠区域中无人机的每个像素点在所述相机坐标系下的移动距离，具体包括：根据同一个像素点在第N帧图像中的位置信息和第N+1帧图像中的位置信息，得到该像素点的位置信息的变化情况，根据所述位置信息的变化情况得到该像素点在所述相机坐标系下的移动距离；以及对所述重叠区域中无人机的每个像素点在所述相机坐标系下的移动距离进行求导，得到所述重叠区域中无人机的每个像素点在所述相机坐标系下的像素移动速度。
在一些示例中，所述获取模块用于根据小孔成像原理建立所述重叠区域中无人机的每个像素点在所述相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞行速度和所述无人机的飞行高度之间的关联关系，其中，所述关联关系为：
v m = v Z f ,
其中，所述vm为所述无人机在世界坐标系下的实际飞行速度，v为所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度，Z为所述无人机的飞行高度，f为所述机载相机的焦距；
根据所述关联关系得到所述重叠区域中无人机的每个像素点的深度值：
Z i = v i v m * 1 f ( 0 < i < s u m ( p i x e l s ) ) ,
其中，Zi为所述重叠区域中第i个像素点的深度值，vi为第i个像素点在相机坐标系下的像素移动速度；
根据每个所述重叠区域中无人机的每个像素点的深度值得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到预定场景的深度图像。在一些示例中，还包括：调整模块，所述调整模块用于判断所述相机坐标系和所述世界坐标系的方向是否一致，并在所述相机坐标系和所述世界坐标系的方向不一致时，对所述相机坐标系的方向进行调整，以使所述相机坐标系的方向与所述世界坐标系的方向一致。
在一些示例中，所述机载相机通过自稳云台安装在所述无人机上。
在一些示例中，所述机载相机的视野角度低于预设角度，所述预设角度为60度。
在一些示例中，所述机载相机还用于对所述图像序列中的图像的畸变进行校正。
在一些示例中，所述预设比例为60％。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一个实施例的无人机深度图像的获取方法的流程图；
图2是根据本发明一个实施例的无人机获取深度图像的具体模型示意图；以及
图3是根据本发明一个实施例的无人机的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
以下结合附图描述根据本发明实施例的无人机深度图像的获取方法及无人机。
图1是根据本发明一个实施例的无人机深度图像的获取方法的流程图。如图1所示，该方法包括以下步骤：
步骤S1：通过无人机的机载相机采集预定场景的图像序列，其中，图像序列中第N帧图像和第N+1帧图像具有重叠区域且重叠区域的面积与第N帧图像或第N+1帧图像的面积之比高于预设比例。换言之，即通过无人机的机载相机拍摄得到被测物体的图像序列，并从中提取两帧连续的图像，例如分别为第N帧图像和第N+1帧图像，并且，第N帧图像和第N+1帧图像之间必须具有重叠区域。为了保证后续光流计算的准确性，该重叠区域的面积与第N帧图像或第N+1帧图像的面积之比高于预设比例。更为具体地，在本发明的一个实施例中，预设比例例如为60％，也即重叠区域的面积高于第N帧图像或第N+1帧图像面积的60％。
进一步地，在本发明的一个实施例中，为了保证机载相机拍摄图像的质量，并且消除由无人机自身抖动给后续光流法计算带来的干扰，例如将机载相机通过自稳云台安装在无人机上，例如图2所示。同时，为了减小相机拍摄的图像本身畸变影响，机载相机的视野角度不能太大，在本发明的一个实施例中，选取的机载相机的视野角度低于预设角度，更为具体地，预设角度例如为60度，例如图2所示。当然，预设角度的值不限于此，可以根据实际场景需求而选定，此处仅是以示例性为目的的描述。
进一步地，在一些示例中，如上所述，如果机载相机拍摄图像的畸变比较严重，则需要对图像序列中的图像畸变进行校正，使图像的畸变在可用范围内后再执行后续操作。
步骤S2：利用基于特征匹配的光流法得到重叠区域中第N帧图像的每个像素点在第N+1帧图像中的位置信息的变化情况，并根据位置信息的变化情况得到重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度。
在本发明的一个实施例中，该步骤S2进一步包括：
步骤S21：利用基于特征匹配的光流法得到重叠区域中无人机的每个像素点在相机坐标系下的移动距离，具体包括：根据同一个像素点在第N帧图像中的位置信息和第N+1帧图像中的位置信息，得到该像素点的位置信息变化情况，根据该位置信息变化情况得到该像素点在相机坐标系下的移动距离。作为具体的示例，例如，重叠区域中无人机的每个像素点在相机坐标系下的移动距离的计算公式为：
(ux,uy)＝(x2-x1,y2-y1)，
其中，(x1，y1)为像素点在第N帧图像中的位置信息，(x2，y2)为像素点在第N+1帧图像中的位置信息，(ux,uy)为像素点在相机坐标系下的移动距离。
步骤S22：对重叠区域中无人机的每个像素点在相机坐标系下的移动距离进行求导，得到重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度。
换言之，以具体示例进行说明：基于特征匹配的光流法即通过匹配第N帧图像中各个像素点在第N+1帧图像中的位置，从而计算出第N帧图像中各像素点到第N+1帧图像的移动距离，进而通过该移动距离得到无人机的每个像素点在相机坐标系下的像素移动速度。其中，基于特征匹配的光流法包括稠密算法和稀疏算法。稠密算法是图像中的每一个像素点都参与计算，从而计算得到图像中每一个像素点的像素移动速度；稀疏光流法是在图像中选取一部分易于跟踪的像素点，对选取的这部分易于跟踪的像素点进行光流运算，得到这些易于跟踪的像素点的像素移动速度。其中，在本发明的一个实施例中，使用的基于特征匹配的光流法例如为稠密光流法。需要说明的是，使用基于特征匹配的光流法计算无人机的各像素点在相机坐标系下的像素移动速度仅是本发明的一种实施方式，并不能理解为对本发明的限制，其它可以计算无人机各像素点在相机坐标系下的像素移动速度的方法也适用于本发明，也属于本发明的保护范围之内。
步骤S3：获取无人机在世界坐标系下的实际飞行速度。在具体实施过程中，例如通过GPS、北斗卫星、空速管、雷达等方式获取无人机在世界坐标系下的实际飞行速度。
步骤S4：根据每个重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度、无人机在世界坐标系下的实际飞行速度以及机载相机的参数得到每个重叠区域的深度图像，根据每个重叠区域的深度图像整合得到预定场景的深度图像。其中，在本发明的一个实施例中，机载相机的参数例如包括机载相机的焦距。
具体地说，由于机载相机安装在自稳云台上，所以可认为机载相机拍摄照片时角速度始终为0，则步骤S4进一步包括：
步骤S41：根据小孔成像原理建立重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度、无人机在世界坐标系下的实际飞行速度和无人机的飞行高度之间的关联关系，其中，该关联关系为：
v m = v Z f ,
其中，vm为无人机在世界坐标系下的实际飞行速度，v为重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度，Z为无人机的飞行高度，f为机载相机的焦距。
步骤S42：对上述步骤S41中所述的关联关系的表述公式进行变换后得到重叠区域中无人机的每个像素点的深度值：
Z i = v i v m * 1 f ( 0 < i < s u m ( p i x e l s ) ) ,
其中，Zi为重叠区域中第i个像素点的深度值，vi为第i个像素点在相机坐标系下的像素移动速度，vm为无人机在世界坐标系下的实际飞行速度，f为机载相机的焦距大小，其为一个已知常量。
步骤S43：根据上述步骤S42中得到的每个重叠区域中无人机的每个像素点的深度值得到每个重叠区域的深度图像，根据每个重叠区域的深度图像整合得到预定场景(被测物体)的深度图像。
其中，在本发明的一个实施例中，在上述过程中，例如还包括：判断相机坐标系和世界坐标系的方向是否一致，如果相机坐标系的和世界坐标系的方向不一致，则对相机坐标系的方向进行调整，以使相机坐标系的方向与世界坐标系的方向一致。
综上，本发明是利用无人机在相机坐标系下各像素点的像素速度和无人机本身的实际飞行速度相结合，计算得到图像深度数据，进而获取深度图像。因此，任何利用图像速度(无人机在相机坐标系下各像素点的像素移动速度)和无人机本身实际飞行速度相结合得到深度图像的方法都应在本发明的保护范围之内。
综上，根据本发明实施例的无人机深度图像的获取方法，通过无人机机载相机拍摄连续的图像，通过计算两帧连续的图像重叠区域中每个像素点的位置变化情况得到无人机在相机坐标系下各像素点的像素移动速度，再利用如无人机机载GPS等设备测量出无人机在世界坐标系下的实际飞行速度，最后通过无人机在相机坐标系下各像素点的像素移动速度、无人机在世界坐标系下的实际飞行速度及飞行高度之间的关系，计算得到无人机的深度图像，该方法能够准确获取深度图像，且操作流程简单、易于实现。同时，对被测物体是否能够反射能量没有特定要求，可测距离足够远，不存在能量的衰减问题，适用范围广。另外，该方法的实现都是利用现有无人机上的设备，不需要增加额外的设备，从而减小无人机的载荷，也降低了测量成本，避免了由于能量衰减，或者被测物体表面吸收等问题导致的主动式测量失败等问题。
本发明的进一步实施例还提供了一种无人机。
图3是根据本发明一个实施例的无人机的结构框图。如图3所示，无人机100包括：记载相机110、计算模块120、测量模块130和获取模块140。
具体地，机载相机110用于采集预定场景的图像序列，其中，图像序列中第N帧图像和第N+1帧图像具有重叠区域且重叠区域的面积与第N帧图像或第N+1帧图像的面积之比高于预设比例。换言之，即机载相机110拍摄得到被测物体的图像序列，并从中提取两帧连续的图像，例如分别为第N帧图像和第N+1帧图像，并且，第N帧图像和第N+1帧图像之间必须具有重叠区域。为了保证后续光流计算的准确性，该重叠区域的面积与第N帧图像或第N+1帧图像的面积之比高于预设比例，预设比例例如为60％，也即重叠区域的面积高于第N帧图像或第N+1帧图像面积的60％。
进一步地，在本发明的一个实施例中，为了保证机载相机110拍摄图像的质量，并且消除由无人机100自身抖动给后续光流法计算带来的干扰，机载相机110例如通过自稳云台安装在无人机100上。同时，为了减小相机拍摄110的图像本身畸变影响，机载相机110的视野角度不能太大，在本发明的一个实施例中，选取的机载相机110的视野角度低于预设角度，更为具体地，预设角度例如为60度。当然，预设角度的值不限于此，可以根据实际场景需求而选定，此处仅是以示例性为目的的描述。
在本发明的一个实施例中，如果机载相机110拍摄图像的畸变比较严重，则机载相机110还用于对图像序列中的图像畸变进行校正，使图像的畸变在可用范围内后再执行后续操作。
计算模块120利用基于特征匹配的光流法得到重叠区域中第N帧图像的每个像素点在第N+1帧图像中的位置信息的变化情况，并根据位置信息的变化情况得到重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度。
在本发明的一个实施例中，计算模块120用于利用基于特征匹配的光流法得到重叠区域中无人机的每个像素点在相机坐标系下的移动距离，具体包括：根据同一个像素点在第N帧图像中的位置信息和第N+1帧图像中的位置信息，得到该像素点的位置信息的变化情况，根据位置信息的变化情况得到该像素点在相机坐标系下的移动距离；然后对重叠区域中无人机的每个像素点在相机坐标系下的移动距离进行求导，得到重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度。
作为具体的示例，例如，重叠区域中无人机的每个像素点在相机坐标系下的移动距离的计算公式为：
(ux,uy)＝(x2-x1,y2-y1)，
其中，(x1，y1)为像素点在第N帧图像中的位置信息，(x2，y2)为像素点在第N+1帧图像中的位置信息，(ux,uy)为像素点在相机坐标系下的移动距离。
其中，基于特征匹配的光流法即通过匹配第N帧图像中各个像素点在第N+1帧图像中的位置，从而计算出第N帧图像中各像素点到第N+1帧图像的移动距离，进而通过该移动距离得到无人机的每个像素点在相机坐标系下的像素移动速度。其中，基于特征匹配的光流法包括稠密算法和稀疏算法。稠密算法是图像中的每一个像素点都参与计算，从而计算得到图像中每一个像素点的像素移动速度；稀疏光流法是在图像中选取一部分易于跟踪的像素点，对选取的这部分易于跟踪的像素点进行光流运算，得到这些易于跟踪的像素点的像素移动速度。其中，在本发明的一个实施例中，使用的基于特征匹配的光流法例如为稠密光流法。需要说明的是，使用基于特征匹配的光流法计算无人机的各像素点在相机坐标系下的像素移动速度仅是本发明的一种实施方式，并不能理解为对本发明的限制，其它可以计算无人机各像素点在相机坐标系下的像素移动速度的方法也适用于本发明，也属于本发明的保护范围之内。
测量模块130用于获取无人机在世界坐标系下的实际飞行速度。在具体实施过程中，例如通过GPS、北斗卫星、空速管、雷达等方式获取无人机在世界坐标系下的实际飞行速度。
获取模块140用于根据每个重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度、无人机在世界坐标系下的实际飞行速度以及机载相机的参数得到每个重叠区域的深度图像，根据每个重叠区域的深度图像整合得到预定场景的深度图像。其中，在本发明的一个实施例中，机载相机的参数例如包括机载相机的焦距。
具体地说，由于机载相机110安装在自稳云台上，所以可认为机载相机110拍摄照片时角速度始终为0。则在本发明的一个实施例中，获取模块140用于根据小孔成像原理建立重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度、无人机在世界坐标系下的实际飞行速度和无人机的飞行高度之间的关联关系，其中，该关联关系为：
v m = v Z f ,
其中，vm为无人机在世界坐标系下的实际飞行速度，v为重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度，Z为无人机的飞行高度，f为机载相机的焦距。
然后根据上述的关联关系得到重叠区域中无人机的每个像素点的深度值：
Z i = v i v m * 1 f ( 0 < i < s u m ( p i x e l s ) ) ,
其中，Zi为重叠区域中第i个像素点的深度值，vi为第i个像素点在相机坐标系下的像素移动速度，vm为无人机在世界坐标系下的实际飞行速度，f为机载相机的焦距大小，其为一个已知常量。
最后根据每个重叠区域中无人机的每个像素点的深度值得到每个重叠区域的深度图像，并根据每个重叠区域的深度图像整合得到预定场景(被测物体)的深度图像。
在本发明的一个实施例中，无人机100例如还包括调整模块150(图中未示出)。调整模块150用于判断相机坐标系和世界坐标系的方向是否一致，并在相机坐标系和世界坐标系的方向不一致时，对相机坐标系的方向进行调整，以使相机坐标系的方向与世界坐标系的方向一致。
综上，本发明是利用无人机在相机坐标系下各像素点的像素速度和无人机本身的实际飞行速度相结合，计算得到图像深度数据，进而获取深度图像。因此，任何利用图像速度(无人机在相机坐标系下各像素点的像素移动速度)和无人机本身实际飞行速度相结合得到深度图像的方法都应在本发明的保护范围之内。
根据本发明实施例的无人机，通过机载相机拍摄连续的图像，通过计算两帧连续的图像重叠区域中每个像素点的位置变化情况得到无人机在相机坐标系下各像素点的像素移动速度，再利用如无人机机载GPS等设备测量出无人机在世界坐标系下的实际飞行速度，最后通过无人机在相机坐标系下各像素点的像素移动速度、无人机在世界坐标系下的实际飞行速度及飞行高度之间的关系，计算得到无人机的深度图像，因此该无人机能够准确获取深度图像。同时，对被测物体是否能够反射能量没有特定要求，可测距离足够远，不存在能量的衰减问题，适用范围广。另外，该无人机的实现都是利用现有无人机上的设备，不需要增加额外的设备，从而减小无人机的载荷，也降低了测量成本，避免了由于能量衰减，或者被测物体表面吸收等问题导致的主动式测量失败等问题。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (15)

1.一种无人机深度图像的获取方法，其特征在于，包括以下步骤：
S1：通过无人机的机载相机采集预定场景的图像序列，其中，所述图像序列中第N帧图像和第N+1帧图像具有重叠区域且所述重叠区域的面积与所述第N帧图像或第N+1帧图像的面积之比高于预设比例；
S2：利用基于特征匹配的光流法得到所述重叠区域中第N帧图像的每个像素点在第N+1帧图像中的位置信息的变化情况，并根据所述位置信息的变化情况得到所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度；
S3：获取所述无人机在世界坐标系下的实际飞行速度；以及
S4：根据每个所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞行速度以及所述机载相机的参数得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到所述预定场景的深度图像。
2.根据权利要求1所述的无人机深度图像的获取方法，其特征在于，所述S2，进一步包括：
利用基于特征匹配的光流法得到所述重叠区域中无人机的每个像素点在所述相机坐标系下的移动距离，具体包括：根据同一个像素点在第N帧图像中的位置信息和第N+1帧图像中的位置信息，得到该像素点的位置信息变化情况，根据所述位置信息变化情况得到该像素点在所述相机坐标系下的移动距离；
对所述重叠区域中无人机的每个像素点在所述相机坐标系下的移动距离进行求导，得到所述重叠区域中无人机的每个像素点在所述相机坐标系下的像素移动速度。
3.根据权利要求1所述的无人机深度图像的获取方法，其特征在于，所述S4，进一步包括：
根据小孔成像原理建立所述重叠区域中无人机的每个像素点在所述相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞行速度和所述无人机的飞行高度之间的关联关系，其中，所述关联关系为：
v m = v Z f ,
其中，所述vm为所述无人机在世界坐标系下的实际飞行速度，v为所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度，Z为所述无人机的飞行高度，f为所述机载相机的焦距；
根据所述关联关系得到所述重叠区域中无人机的每个像素点的深度值：
Z i = v i v m * 1 f , ( 0 < i < s u m ( p i x e l s ) ) ,
其中，Zi为所述重叠区域中第i个像素点的深度值，vi为第i个像素点在相机坐标系下的像素移动速度；
根据每个所述重叠区域中无人机的每个像素点的深度值得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到预定场景的深度图像。
4.根据权利要求3所述的无人机深度图像的获取方法，其特征在于，还包括：
判断所述相机坐标系和所述世界坐标系的方向是否一致；
如果所述相机坐标系和所述世界坐标系的方向不一致，则对所述相机坐标系的方向进行调整，以使所述相机坐标系的方向与所述世界坐标系的方向一致。
5.根据权利要求1-4任一项所述的无人机深度图像的获取方法，其特征在于，所述机载相机的视野角度低于预设角度，所述预设角度为60度。
6.根据权利要求5所述的无人机深度图像的获取方法，其特征在于，在所述S2之前，还包括：对所述图像序列中的图像的畸变进行校正。
7.根据权利要求1所述的无人机深度图像的获取方法，其特征在于，所述预设比例为60％。
8.一种无人机，其特征在于，包括：
机载相机，所述机载相机用于采集预定场景的图像序列，其中，所述图像序列中第N帧图像和第N+1帧图像具有重叠区域且所述重叠区域的面积与所述第N帧图像或第N+1帧图像的面积之比高于预设比例；
计算模块，所述计算模块利用基于特征匹配的光流法得到所述重叠区域中第N帧图像的每个像素点在第N+1帧图像中的位置信息的变化情况，并根据所述位置信息的变化情况得到所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度；
测量模块，所述测量模块用于获取所述无人机在世界坐标系下的实际飞行速度；以及
获取模块，所述获取模块用于根据每个所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞行速度以及所述机载相机的参数得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到所述预定场景的深度图像。
9.根据权利要求8所述的无人机，其特征在于，所述计算模块用于：
利用基于特征匹配的光流法得到所述重叠区域中无人机的每个像素点在所述相机坐标系下的移动距离，具体包括：根据同一个像素点在第N帧图像中的位置信息和第N+1帧图像中的位置信息，得到该像素点的位置信息的变化情况，根据所述位置信息的变化情况得到该像素点在所述相机坐标系下的移动距离；以及
对所述重叠区域中无人机的每个像素点在所述相机坐标系下的移动距离进行求导，得到所述重叠区域中无人机的每个像素点在所述相机坐标系下的像素移动速度。
10.根据权利要求8所述的无人机，其特征在于，所述获取模块用于根据小孔成像原理建立所述重叠区域中无人机的每个像素点在所述相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞行速度和所述无人机的飞行高度之间的关联关系，其中，所述关联关系为：
v m = v Z f ,
其中，所述vm为所述无人机在世界坐标系下的实际飞行速度，v为所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度，Z为所述无人机的飞行高度，f为所述机载相机的焦距；
根据所述关联关系得到所述重叠区域中无人机的每个像素点的深度值：
Z i = v i v m * 1 f , ( 0 < i < s u m ( p i x e l s ) ) ,
其中，Zi为所述重叠区域中第i个像素点的深度值，vi为第i个像素点在相机坐标系下的像素移动速度；
根据每个所述重叠区域中无人机的每个像素点的深度值得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到预定场景的深度图像。
11.根据权利要求10所述的无人机，其特征在于，还包括：
调整模块，所述调整模块用于判断所述相机坐标系和所述世界坐标系的方向是否一致，并在所述相机坐标系和所述世界坐标系的方向不一致时，对所述相机坐标系的方向进行调整，以使所述相机坐标系的方向与所述世界坐标系的方向一致。
12.根据权利要求8所述的无人机，其特征在于，所述机载相机通过自稳云台安装在所述无人机上。
13.根据权利要求8-12所述的无人机，其特征在于，所述机载相机的视野角度低于预设角度，所述预设角度为60度。
14.根据权利要求13所述的无人机，其特征在于，所述机载相机还用于对所述图像序列中的图像的畸变进行校正。
15.根据权利要求8所述的无人机，其特征在于，所述预设比例为60％。
CN201510628505.7A 2015-09-25 2015-09-25 无人机深度图像的获取方法及无人机 Active CN105225241B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201510628505.7A CN105225241B (zh) 2015-09-25 2015-09-25 无人机深度图像的获取方法及无人机
JP2017566134A JP6484729B2 (ja) 2015-09-25 2016-09-23 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機
PCT/CN2016/099925 WO2017050279A1 (zh) 2015-09-25 2016-09-23 无人机深度图像的获取方法、装置及无人机
KR1020177034364A KR101886013B1 (ko) 2015-09-25 2016-09-23 무인기의 심도 이미지 획득 방법, 장치 및 무인기
AU2016327918A AU2016327918B2 (en) 2015-09-25 2016-09-23 Unmanned aerial vehicle depth image acquisition method, device and unmanned aerial vehicle
US15/565,582 US10198004B2 (en) 2015-09-25 2016-09-23 Method and apparatus for obtaining range image with UAV, and UAV
ES16848160T ES2798798T3 (es) 2015-09-25 2016-09-23 Procedimiento y aparato para obtener imágenes de determinación de distancia con un UAV, y UAV
EP16848160.4A EP3264364B1 (en) 2015-09-25 2016-09-23 Method and apparatus for obtaining range image with uav, and uav

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510628505.7A CN105225241B (zh) 2015-09-25 2015-09-25 无人机深度图像的获取方法及无人机

Publications (2)

Publication Number Publication Date
CN105225241A true CN105225241A (zh) 2016-01-06
CN105225241B CN105225241B (zh) 2017-09-15

Family

ID=54994190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510628505.7A Active CN105225241B (zh) 2015-09-25 2015-09-25 无人机深度图像的获取方法及无人机

Country Status (8)

Country Link
US (1) US10198004B2 (zh)
EP (1) EP3264364B1 (zh)
JP (1) JP6484729B2 (zh)
KR (1) KR101886013B1 (zh)
CN (1) CN105225241B (zh)
AU (1) AU2016327918B2 (zh)
ES (1) ES2798798T3 (zh)
WO (1) WO2017050279A1 (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809687A (zh) * 2016-03-08 2016-07-27 清华大学 一种基于图像中边沿点信息的单目视觉测程方法
WO2017050279A1 (zh) * 2015-09-25 2017-03-30 广州极飞科技有限公司 无人机深度图像的获取方法、装置及无人机
CN106708081A (zh) * 2017-03-17 2017-05-24 北京思比科微电子技术股份有限公司 多旋翼无人飞行器控制系统
CN106771329A (zh) * 2016-12-27 2017-05-31 歌尔科技有限公司 一种无人机减速过程中运行速度的检测方法
CN107329490A (zh) * 2017-07-21 2017-11-07 歌尔科技有限公司 无人机避障方法及无人机
CN108804161A (zh) * 2018-06-21 2018-11-13 北京字节跳动网络技术有限公司 应用的初始化方法、装置、终端和存储介质
CN109076206A (zh) * 2017-12-22 2018-12-21 深圳市大疆创新科技有限公司 基于无人机的立体成像方法和装置
CN109211185A (zh) * 2017-06-30 2019-01-15 北京臻迪科技股份有限公司 一种飞行设备、获取位置信息的方法及装置
CN109961395A (zh) * 2017-12-22 2019-07-02 展讯通信（上海）有限公司 深度图像的生成及显示方法、装置、系统、可读介质
WO2019126930A1 (zh) * 2017-12-25 2019-07-04 深圳市道通智能航空技术有限公司 测距方法、装置以及无人机
CN109978947A (zh) * 2019-03-21 2019-07-05 广州极飞科技有限公司 一种监控无人机的方法、装置、设备和存储介质
WO2019144281A1 (zh) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 表面图形确定方法和装置
WO2019161813A1 (zh) * 2018-02-23 2019-08-29 清华-伯克利深圳学院筹备办公室 动态场景的三维重建方法以及装置和系统、服务器、介质
CN110414392A (zh) * 2019-07-15 2019-11-05 北京天时行智能科技有限公司 一种障碍物距离的确定方法及装置
CN110880184A (zh) * 2019-10-03 2020-03-13 上海淡竹体育科技有限公司 一种基于光流场进行摄像头自动巡检的方法及装置
CN111192318A (zh) * 2018-11-15 2020-05-22 杭州海康机器人技术有限公司 确定无人机位置和飞行方向的方法、装置及无人机
WO2020103023A1 (zh) * 2018-11-21 2020-05-28 广州极飞科技有限公司 一种测绘系统、测绘方法、装置、设备及介质
CN111344644A (zh) * 2018-08-01 2020-06-26 深圳市大疆创新科技有限公司 用于基于运动的自动图像捕获的技术
CN111340840A (zh) * 2020-02-28 2020-06-26 浙江大华技术股份有限公司 确定目标物体相对运动速度的方法、设备和装置
CN112364796A (zh) * 2020-11-18 2021-02-12 合肥湛达智能科技有限公司 一种基于深度学习的目标速度检测方法及系统
CN113177984A (zh) * 2021-06-30 2021-07-27 湖北亿咖通科技有限公司 基于稀疏直接法的语义要素测距方法、装置和电子设备
CN113759944A (zh) * 2021-08-19 2021-12-07 深圳市鑫疆基业科技有限责任公司 基于指定高度飞行的自动巡检方法、系统和设备

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11461912B2 (en) 2016-01-05 2022-10-04 California Institute Of Technology Gaussian mixture models for temporal depth fusion
US10665115B2 (en) * 2016-01-05 2020-05-26 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
US10939055B2 (en) * 2016-03-02 2021-03-02 Sony Corporation Imaging control apparatus and image control method
WO2018195869A1 (en) * 2017-04-27 2018-11-01 SZ DJI Technology Co., Ltd. Systems and methods for generating real-time map using movable object
CN107610212B (zh) * 2017-07-25 2020-05-12 深圳大学 场景重建方法、装置、计算机设备以及计算机存储介质
CN113329182A (zh) * 2017-08-31 2021-08-31 深圳市大疆创新科技有限公司 一种图像处理方法、无人机及系统
WO2019070839A1 (en) 2017-10-05 2019-04-11 California Institute Of Technology SIMULTANEOUS REPRESENTATION OF MOBILE AND STATIC OBSTACLES FOR AUTOMATICALLY CONTROLLED VEHICLES
US11127202B2 (en) * 2017-12-18 2021-09-21 Parthiv Krishna Search and rescue unmanned aerial system
WO2019183789A1 (zh) * 2018-03-27 2019-10-03 深圳市大疆创新科技有限公司 无人机的控制方法、装置和无人机
CN109084733A (zh) * 2018-09-12 2018-12-25 朱光兴 一种智能遥感测绘系统
WO2020065719A1 (ja) * 2018-09-25 2020-04-02 株式会社エアロネクスト 飛行体
US11151737B1 (en) 2018-12-20 2021-10-19 X Development Llc Automatic field of view detection
CN110487184A (zh) * 2019-09-17 2019-11-22 河北唐银钢铁有限公司 无人机测量料场物料的系统及方法
CN112198891B (zh) * 2020-04-22 2021-12-07 北京理工大学 多旋翼机自主回收方法
CN111506112A (zh) * 2020-05-09 2020-08-07 中海油能源发展装备技术有限公司 基于海上油气田设备设施的无人机倾斜摄影方法
CN114782525B (zh) * 2022-06-22 2022-09-20 中国地质大学（武汉） 基于全局几何约束的无人机影像定位定向方法及设备
CN117724532B (zh) * 2023-12-18 2024-06-21 青岛九天国际飞行学院股份有限公司 一种基于LTE Cat1技术的飞行数据无线传输系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202075794U (zh) * 2011-05-24 2011-12-14 段连飞 一种无人机航摄立体成像处理设备
CN102749071A (zh) * 2012-04-24 2012-10-24 北京林业大学 一种基于无人机航空摄影监测土壤侵蚀的方法
CN103426200A (zh) * 2013-08-26 2013-12-04 天津大学 基于无人机航拍序列图像的树木三维重建方法
EP2849150A1 (en) * 2013-09-17 2015-03-18 Thomson Licensing Method for capturing the 3D motion of an object, unmanned aerial vehicle and motion capture system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2697917B2 (ja) * 1989-09-28 1998-01-19 日本電信電話株式会社 三次元座標計測装置
JPH0696208A (ja) * 1991-04-26 1994-04-08 Nippon Telegr & Teleph Corp <Ntt> カメラ移動による奥行測定方法
JPH05141930A (ja) * 1991-11-19 1993-06-08 Nippon Telegr & Teleph Corp <Ntt> ３次元形状計測装置
JP4970296B2 (ja) 2008-01-21 2012-07-04 株式会社パスコ オルソフォト画像の生成方法、および撮影装置
US20090201380A1 (en) * 2008-02-12 2009-08-13 Decisive Analytics Corporation Method and apparatus for streamlined wireless data transfer
EP2538298A1 (en) * 2011-06-22 2012-12-26 Sensefly Sàrl Method for acquiring images from arbitrary perspectives with UAVs equipped with fixed imagers
US9798928B2 (en) * 2013-07-17 2017-10-24 James L Carr System for collecting and processing aerial imagery with enhanced 3D and NIR imaging capability
CN105225241B (zh) * 2015-09-25 2017-09-15 广州极飞科技有限公司 无人机深度图像的获取方法及无人机

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202075794U (zh) * 2011-05-24 2011-12-14 段连飞 一种无人机航摄立体成像处理设备
CN102749071A (zh) * 2012-04-24 2012-10-24 北京林业大学 一种基于无人机航空摄影监测土壤侵蚀的方法
CN103426200A (zh) * 2013-08-26 2013-12-04 天津大学 基于无人机航拍序列图像的树木三维重建方法
EP2849150A1 (en) * 2013-09-17 2015-03-18 Thomson Licensing Method for capturing the 3D motion of an object, unmanned aerial vehicle and motion capture system

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017050279A1 (zh) * 2015-09-25 2017-03-30 广州极飞科技有限公司 无人机深度图像的获取方法、装置及无人机
AU2016327918B2 (en) * 2015-09-25 2019-01-17 Guangzhou Xaircraft Technology Co., Ltd. Unmanned aerial vehicle depth image acquisition method, device and unmanned aerial vehicle
US10198004B2 (en) 2015-09-25 2019-02-05 Guangzhou Xaircraft Technology Co., Ltd. Method and apparatus for obtaining range image with UAV, and UAV
CN105809687B (zh) * 2016-03-08 2019-09-27 清华大学 一种基于图像中边沿点信息的单目视觉测程方法
CN105809687A (zh) * 2016-03-08 2016-07-27 清华大学 一种基于图像中边沿点信息的单目视觉测程方法
CN106771329A (zh) * 2016-12-27 2017-05-31 歌尔科技有限公司 一种无人机减速过程中运行速度的检测方法
CN106708081A (zh) * 2017-03-17 2017-05-24 北京思比科微电子技术股份有限公司 多旋翼无人飞行器控制系统
CN106708081B (zh) * 2017-03-17 2019-06-04 北京思比科微电子技术股份有限公司 多旋翼无人飞行器控制系统
CN109211185A (zh) * 2017-06-30 2019-01-15 北京臻迪科技股份有限公司 一种飞行设备、获取位置信息的方法及装置
CN107329490A (zh) * 2017-07-21 2017-11-07 歌尔科技有限公司 无人机避障方法及无人机
CN107329490B (zh) * 2017-07-21 2020-10-09 歌尔科技有限公司 无人机避障方法及无人机
CN109076206B (zh) * 2017-12-22 2021-01-26 深圳市大疆创新科技有限公司 基于无人机的立体成像方法和装置
CN109961395A (zh) * 2017-12-22 2019-07-02 展讯通信（上海）有限公司 深度图像的生成及显示方法、装置、系统、可读介质
WO2019119426A1 (zh) * 2017-12-22 2019-06-27 深圳市大疆创新科技有限公司 基于无人机的立体成像方法和装置
CN109076206A (zh) * 2017-12-22 2018-12-21 深圳市大疆创新科技有限公司 基于无人机的立体成像方法和装置
WO2019126930A1 (zh) * 2017-12-25 2019-07-04 深圳市道通智能航空技术有限公司 测距方法、装置以及无人机
US10621456B2 (en) 2017-12-25 2020-04-14 Autel Robotics Co., Ltd. Distance measurement method and apparatus, and unmanned aerial vehicle
WO2019144281A1 (zh) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 表面图形确定方法和装置
CN110300991A (zh) * 2018-01-23 2019-10-01 深圳市大疆创新科技有限公司 表面图形确定方法和装置
US11954870B2 (en) 2018-02-23 2024-04-09 Tsinghua University Dynamic scene three-dimensional reconstruction method, apparatus and system, server, and medium
WO2019161813A1 (zh) * 2018-02-23 2019-08-29 清华-伯克利深圳学院筹备办公室 动态场景的三维重建方法以及装置和系统、服务器、介质
CN108804161B (zh) * 2018-06-21 2022-03-04 北京字节跳动网络技术有限公司 应用的初始化方法、装置、终端和存储介质
CN108804161A (zh) * 2018-06-21 2018-11-13 北京字节跳动网络技术有限公司 应用的初始化方法、装置、终端和存储介质
CN111344644A (zh) * 2018-08-01 2020-06-26 深圳市大疆创新科技有限公司 用于基于运动的自动图像捕获的技术
CN111344644B (zh) * 2018-08-01 2024-02-20 深圳市大疆创新科技有限公司 用于基于运动的自动图像捕获的技术
CN111192318A (zh) * 2018-11-15 2020-05-22 杭州海康机器人技术有限公司 确定无人机位置和飞行方向的方法、装置及无人机
CN111192318B (zh) * 2018-11-15 2023-09-01 杭州海康威视数字技术股份有限公司 确定无人机位置和飞行方向的方法、装置及无人机
WO2020103023A1 (zh) * 2018-11-21 2020-05-28 广州极飞科技有限公司 一种测绘系统、测绘方法、装置、设备及介质
CN109978947B (zh) * 2019-03-21 2021-08-17 广州极飞科技股份有限公司 一种监控无人机的方法、装置、设备和存储介质
CN109978947A (zh) * 2019-03-21 2019-07-05 广州极飞科技有限公司 一种监控无人机的方法、装置、设备和存储介质
CN110414392A (zh) * 2019-07-15 2019-11-05 北京天时行智能科技有限公司 一种障碍物距离的确定方法及装置
CN110880184B (zh) * 2019-10-03 2023-07-21 上海淡竹体育科技有限公司 一种基于光流场进行摄像头自动巡检的方法及装置
CN110880184A (zh) * 2019-10-03 2020-03-13 上海淡竹体育科技有限公司 一种基于光流场进行摄像头自动巡检的方法及装置
CN111340840A (zh) * 2020-02-28 2020-06-26 浙江大华技术股份有限公司 确定目标物体相对运动速度的方法、设备和装置
CN112364796B (zh) * 2020-11-18 2023-08-01 合肥湛达智能科技有限公司 一种基于深度学习的目标速度检测方法及系统
CN112364796A (zh) * 2020-11-18 2021-02-12 合肥湛达智能科技有限公司 一种基于深度学习的目标速度检测方法及系统
CN113177984B (zh) * 2021-06-30 2021-09-17 湖北亿咖通科技有限公司 基于稀疏直接法的语义要素测距方法、装置和电子设备
CN113177984A (zh) * 2021-06-30 2021-07-27 湖北亿咖通科技有限公司 基于稀疏直接法的语义要素测距方法、装置和电子设备
CN113759944A (zh) * 2021-08-19 2021-12-07 深圳市鑫疆基业科技有限责任公司 基于指定高度飞行的自动巡检方法、系统和设备

Also Published As

Publication number Publication date
CN105225241B (zh) 2017-09-15
JP6484729B2 (ja) 2019-03-13
WO2017050279A1 (zh) 2017-03-30
AU2016327918A1 (en) 2017-10-12
EP3264364B1 (en) 2020-04-22
KR101886013B1 (ko) 2018-08-06
EP3264364A1 (en) 2018-01-03
AU2016327918B2 (en) 2019-01-17
ES2798798T3 (es) 2020-12-14
EP3264364A4 (en) 2018-06-20
KR20170137934A (ko) 2017-12-13
US20180120847A1 (en) 2018-05-03
WO2017050279A9 (zh) 2018-01-25
US10198004B2 (en) 2019-02-05
JP2018527554A (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
CN105225241A (zh) 无人机深度图像的获取方法及无人机
US10378905B2 (en) Auxiliary berthing method and system for vessel
EP3792660B1 (en) Method, apparatus and system for measuring distance
CN105424006A (zh) 基于双目视觉的无人机悬停精度测量方法
CN103065323B (zh) 一种基于单应性变换矩阵的分段空间对准方法
US20140267415A1 (en) Road marking illuminattion system and method
CN104392435A (zh) 鱼眼相机标定方法及标定装置
CN102239421B (zh) 基于望远镜的三维光学扫描仪校准
CN109444916B (zh) 一种无人驾驶可行驶区域确定装置及方法
CN101603812A (zh) 一种超高速实时三维视觉测量装置及方法
CN103424112A (zh) 一种基于激光平面辅助的运动载体视觉导航方法
CN104459183A (zh) 一种基于物联网的单相机车辆测速系统及方法
CN103149558A (zh) 基于望远镜的三维光学扫描仪校准
CN102519434A (zh) 一种用于立体视觉三维恢复数据精度测量的试验验证方法
CN110645960A (zh) 测距方法、地形跟随测距方法、避障测距方法及装置
CN110750153A (zh) 一种无人驾驶车辆的动态虚拟化装置
CN103901430A (zh) 双基前视sar俯冲段雷达发射机轨道设计方法
Crispel et al. All-sky photogrammetry techniques to georeference a cloud field
CN104535078A (zh) 一种基于标志点的光电设备对飞行目标的测量方法
CN113340272B (zh) 一种基于无人机微群的地面目标实时定位方法
CN101441065A (zh) 微小位移变形高精度、非接触式测量系统及测量方法
Wang et al. The human-height measurement scheme by using image processing techniques
CN104251994B (zh) 长基线激光测距实现无控制点卫星精确定位系统及方法
CN106353756A (zh) 基于图像匹配的下降轨聚束合成孔径雷达定位方法
CN105403886A (zh) 一种机载sar定标器图像位置自动提取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 510000 Guangdong, Guangzhou, Tianhe District Cheng Cheng Road, No. 3A01, 1

Applicant after: GUANGZHOU XAIRCRAFT TECHNOLOGY Co.,Ltd.

Address before: 510000 Guangdong, Guangzhou, Tianhe District Cheng Cheng Road, No. 3A01, 1

Applicant before: GUANGZHOU XAIRCRAFT ELECTRONIC TECHNOLOGY Co.,Ltd.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province

Patentee after: XAG Co., Ltd.

Address before: 510000 3A01, Cheng Cheng Road, 1, Guangdong, Guangzhou, Tianhe District

Patentee before: Guangzhou Xaircraft Technology Co.,Ltd.