CN110892354A - 图像处理方法和无人机 - Google Patents

图像处理方法和无人机 Download PDF

Info

Publication number
CN110892354A
CN110892354A CN201880042469.8A CN201880042469A CN110892354A CN 110892354 A CN110892354 A CN 110892354A CN 201880042469 A CN201880042469 A CN 201880042469A CN 110892354 A CN110892354 A CN 110892354A
Authority
CN
China
Prior art keywords
feature points
successfully matched
directions
value
depth value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880042469.8A
Other languages
English (en)
Inventor
叶长春
周游
杨振飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN110892354A publication Critical patent/CN110892354A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种图像处理方法和无人机。其中，图像处理方法应用于无人机，无人机在至少两个方向上设置有成像设备，图像处理方法包括：获取至少两个方向中每个方向的待处理图像；根据至少两个方向中每个方向的待处理图像，在至少两个方向中确定第一方向，并获取第一方向的参考值；第一方向的参考值用于确定是否更新至少两个方向分别对应的关键参考帧；若第一方向的参考值满足预设条件，则更新至少两个方向分别对应的关键参考帧。简化了更新关键参考帧的复杂度，提升了处理效率。

Description

图像处理方法和无人机
技术领域
本发明涉及可移动平台技术领域，尤其涉及一种图像处理方法和无人机。
背景技术
计算机视觉技术是使用计算机及各种成像设备对生物视觉的一种模拟，通过对成像设备采集的图片或者视频进行处理，可以获得相应场景的三维信息。
无人机是计算机视觉技术的一个重要应用领域。无人机通过对成像设备采集的图像提取特征点，再进行多帧图像的特征点跟随匹配，可以计算成像设备的位姿，进而可以测算自身的移动距离以及图像中点的三维位置。目前，无人机的多个方向上均可以设置有成像设备，例如，无人机的前后均设置有视觉传感器。在每个方向上，按照视觉传感器各自的位姿来选取关键参考帧，根据各自的关键参考帧计算出各自的计算结果，最后再对多个方向的计算结果融合使用。
但是，由于每个方向各自选取关键参考帧，并且各自更新关键参考帧，导致计算量巨大，计算资源的耗费很大，降低了无人机的处理效率。
发明内容
本发明提供一种图像处理方法和无人机，简化了更新关键参考帧的复杂度，提升了处理效率。
第一方面，本发明提供一种图像处理方法，应用于无人机，所述无人机在至少两个方向上设置有成像设备，所述方法包括：
获取所述至少两个方向中每个方向的待处理图像；
根据所述至少两个方向中每个方向的待处理图像，在所述至少两个方向中确定第一方向，并获取所述第一方向的参考值；所述第一方向的参考值用于确定是否更新所述至少两个方向分别对应的关键参考帧；
若所述第一方向的参考值满足预设条件，则更新所述至少两个方向分别对应的关键参考帧。
第二方面，本发明提供一种无人机，无人机在至少两个方向上设置有成像设备，无人机包括存储器和处理器。
存储器用于存储指令。
处理器用于运行指令以实现：
获取至少两个方向中每个方向的待处理图像。
根据至少两个方向中每个方向的待处理图像，在至少两个方向中确定第一方向，并获取第一方向的参考值。第一方向的参考值用于确定是否更新至少两个方向分别对应的关键参考帧。
若第一方向的参考值满足预设条件，则更新至少两个方向分别对应的关键参考帧。
第三方面，本发明提供一种存储介质，包括：可读存储介质和计算机程序，所述计算机程序用于实现上述第一方面任一实施方式提供的图像处理方法。
第四方面，本发明提供一种程序产品，该程序产品包括计算机程序(即执行指令)，该计算机程序存储在可读存储介质中。处理器可以从可读存储介质读取该计算机程序，处理器执行该计算机程序用于执行上述第一方面任一实施方式提供的图像处理方法。
本发明提供一种图像处理方法和无人机。图像处理方法应用于在多个方向设置成像设备的无人机。通过获取至少两个方向中每个方向的待处理图像，根据至少两个方向中每个方向的待处理图像，在至少两个方向中确定第一方向，并获取第一方向的参考值，若第一方向的参考值满足预设条件，则更新至少两个方向分别对应的关键参考帧。由于仅在一个方向上判断是否满足更新关键参考帧的条件。如果满足，则同时切换所有方向上各自对应的关键参考帧。降低了计算量，简化了更新关键参考帧的复杂度，提升了处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明的实施例的无人飞行系统的示意性架构图；
图2为本发明实施例一提供的图像处理方法的流程图；
图3为本发明实施例二提供的图像处理方法的流程图；
图4为本发明实施例涉及的三角化算法的原理示意图；
图5为本发明实施例三提供的图像处理方法的流程图；
图6为本发明实施例一提供的无人机的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了图像处理方法和无人机。需要说明，本发明实施例提供的图像处理方法，不仅适用于无人机，还可以适用于其他在至少两个方向上带有成像设备的可移动平台。例如，无人驾驶的汽车。以下对本发明的描述以无人机为示例进行说明。可选的，所述至少两个方向可以包括无人机的前方、后方、下方、左侧和右侧中的至少两个方向。可选的，成像设备可以包括下列中的至少一种：单目视觉传感器、双目视觉传感器和主拍摄相机。
例如，在一个示例中，无人机的前端设置两个视觉传感器。这两个视觉传感器形成双目视觉系统。相似的，无人机的后端和下方分别设置两个视觉传感器，分别形成双目视觉系统。无人机的左侧和右侧可以分别设置一个视觉传感器，分别形成单目视觉系统。无人机上还可以设置主拍摄相机，形成单目视觉系统。
图1为根据本发明的实施例的无人飞行系统的示意性架构图。本实施例以旋翼无人飞行器为例进行说明。
无人飞行系统100可以包括无人飞行器110。无人飞行器110可以包括动力系统150、飞行控制系统160和机架。可选的，无人飞行系统100还可以包括云台120。可选的，无人飞行系统100还可以包括显示设备130。无人飞行器110可以与显示设备130进行无线通信。
机架可以包括机身和脚架(也称为起落架)。机身可以包括中心架以及与中心架连接的一个或多个机臂，一个或多个机臂呈辐射状从中心架延伸出。脚架与机身连接，用于在无人飞行器110着陆时起支撑作用。
动力系统150可以包括一个或多个电子调速器(简称为电调)151、一个或多个螺旋桨153以及与一个或多个螺旋桨153相对应的一个或多个电机152，其中电机152连接在电子调速器151与螺旋桨153之间，电机152和螺旋桨153设置在无人飞行器110的机臂上；电子调速器151用于接收飞行控制系统160产生的驱动信号，并根据驱动信号提供驱动电流给电机152，以控制电机152的转速。电机152用于驱动螺旋桨旋转，从而为无人飞行器110的飞行提供动力，该动力使得无人飞行器110能够实现一个或多个自由度的运动。在某些实施例中，无人飞行器110可以围绕一个或多个旋转轴旋转。例如，上述旋转轴可以包括横滚轴(Roll)、偏航轴(Yaw)和俯仰轴(pitch)。应理解，电机152可以是直流电机，也可以交流电机。另外，电机152可以是无刷电机，也可以是有刷电机。
飞行控制系统160可以包括飞行控制器161和传感系统162。传感系统162用于测量无人飞行器的运动信息，例如无人飞行器110在空间的位置信息、姿态信息和速度信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统162例如可以包括陀螺仪、超声传感器、电子罗盘、惯性测量单元(Inertial Measurement Unit，IMU)、视觉传感器、全球导航卫星系统和气压计等传感器中的至少一种。例如，全球导航卫星系统可以是全球定位系统(Global Positioning System，GPS)。飞行控制器161用于控制无人飞行器110的飞行，例如，可以根据传感系统162测量的姿态信息控制无人飞行器110的飞行。应理解，飞行控制器161可以按照预先编好的程序指令对无人飞行器110进行控制，也可以通过拍摄画面对无人飞行器110进行控制。
云台120可以包括电机122。云台用于携带拍摄装置123。飞行控制器161可以通过电机122控制云台120的运动。可选地，作为另一实施例，云台120还可以包括控制器，用于通过控制电机122来控制云台120的运动。应理解，云台120可以独立于无人飞行器110，也可以为无人飞行器110的一部分。应理解，电机122可以是直流电机，也可以是交流电机。另外，电机122可以是无刷电机，也可以是有刷电机。还应理解，云台可以位于无人飞行器的顶部，也可以位于无人飞行器的底部。
拍摄装置123例如可以是照相机或摄像机等用于捕获图像的设备，拍摄装置123可以与飞行控制器通信，并在飞行控制器的控制下进行拍摄，飞行控制器也可以根据拍摄装置123拍摄的图像控制无人飞行器110。本实施例的拍摄装置123至少包括感光元件，该感光元件例如为互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)传感器或电荷耦合元件(Charge-coupled Device，CCD)传感器。可以理解，拍摄装置123也可直接固定于无人飞行器110上，从而云台120可以省略。
显示设备130位于无人飞行系统100的地面端，可以通过无线方式与无人飞行器110进行通信，并且可以用于显示无人飞行器110的姿态信息。另外，还可以在显示设备130上显示拍摄装置拍摄的图像。应理解，显示设备130可以是独立于无人飞行器110的设备。
应理解，上述对于无人飞行系统各组成部分的命名仅是出于标识的目的，并不应理解为对本发明的实施例的限制。
下面对本发明实施例涉及的坐标系进行介绍。
1)图像坐标系
图像坐标系是一个二维平面，又称为像平面，可以理解为拍摄装置中传感器的表面。每个传感器都有一定的尺寸，也有一定的分辨率，这就确定了毫米与像素点之间的转换关系。图像坐标系中一个点的坐标可以以像素为单位表示为(u,v)，也可以为毫米为单位表示为(x,y)。或者说，图像坐标系可以分为图像像素坐标系和图像物理坐标系。图像像素坐标系的单位可以为像素，两个坐标轴可以分别称为U轴和V轴。图像物理坐标系的单位可以为毫米，两个坐标轴可以分别称为X轴和Y轴。
2)相机坐标系
相机坐标系为三维坐标系。相机坐标系的原点为相机(透镜)的光心，相机坐标系的X轴(也称为U轴)与Y轴(也称为V轴)分别与图像坐标系的X轴(U轴)与Y轴(V轴)平行，Z轴为相机的光轴。
3)大地坐标系(ground坐标系)
大地坐标系为三维坐标系，也可以称为世界坐标系、导航坐标系、当地水平坐标系或者“北东地”坐标系(North-East-DownCoordinateSystem，NED)，通常用于导航计算时使用。
在大地坐标系中，X轴指向北方(North)，Y轴指向东方(East)，Z轴指向地心(Down)。X轴与Y轴与地球表面相切。
图2为本发明实施例一提供的图像处理方法的流程图。本实施例提供的图像处理方法，执行主体可以为无人机。无人机在至少两个方向上设置有成像设备。本实施例对于每个方向上设置的成像设备的数量不做限定。如图2所示，本实施例提供的图像处理方法，可以包括：
S201、获取至少两个方向中每个方向的待处理图像。
其中，每个方向的待处理图像，可以包括该方向上至少一个成像设备采集的图像。
S202、根据至少两个方向中每个方向的待处理图像，在至少两个方向中确定第一方向，并获取第一方向的参考值。
其中，第一方向的参考值用于确定是否更新至少两个方向分别对应的关键参考帧。
具体的，每个方向上的每个成像设备都各自对应有关键参考帧。关键参考帧是成像设备在当前时刻之前采集的多帧图像中的一帧。关键参考帧作为比较基准，通过关键参考帧可以获得成像设备在关键参考帧之后采集的图像的位置信息。因此，关键参考帧是否合适，将直接影响图像的位置信息的准确性，进而影响到获取的无人机位置、姿态或速度信息的准确性。无人机在飞行过程中，无人机的位姿以及各个成像设备的位姿是变化的。因此，需要对成像设备的关键参考帧进行更新。
在现有方式中，每个方向基于该方向的变化情况，各自更新关键参考帧。各个方向上更新关键参考帧的时间可能不同。由于每个方向分别判断是否更新关键参考帧，导致运算量巨大，处理效率很低。
在本实施例中，在至少两个方向中先确定第一方向。基于第一方向的参考值，确定是否需要同时更新每个方向各自对应的关键参考帧。由于只需要在第一方向这一个方向上进行判断，因此降低了计算量，简化了更新关键参考帧的复杂度，提升了处理效率。
S203、若第一方向的参考值满足预设条件，则更新至少两个方向分别对应的关键参考帧。
需要说明的是，第一方向的参考值不同，其对应的预设条件可以不同。本实施例对于预设条件不做限定。
可见，本实施例提供的图像处理方法，应用于在多个方向设置成像设备的无人机。通过在多个方向中确定第一方向，仅在一个方向上判断是否满足更新关键参考帧的条件。如果满足，则同时切换所有方向上各自对应的关键参考帧。降低了计算量，简化了更新关键参考帧的复杂度，提升了处理效率。
图3为本发明实施例二提供的图像处理方法的流程图。本实施例提供的图像处理方法，在图2所示实施例的基础上，提供了图像处理方法的另一种实现方式。主要提供了S202中，根据至少两个方向中每个方向的待处理图像，在至少两个方向中确定第一方向的实现方式。
如图3所示，S202中，根据至少两个方向中每个方向的待处理图像，在至少两个方向中确定第一方向，可以包括：
S301、对于至少两个方向中的每个方向，对每个方向的待处理图像进行特征点提取和特征点匹配，获取匹配成功的特征点。对于匹配成功的特征点，获取匹配成功的特征点数和每个方向的深度值。
其中，每个方向的深度值是根据匹配成功的特征点分别对应的深度值确定的。
S302、在至少两个方向中，根据特征点数和深度值确定第一方向。
具体的，每个方向上匹配成功的特征点的数量，可以反映出该方向发生变化的大小。特征点的数量越多，说明该方向发生的变化越小。反之，特征点的数量越小，说明该方向发生的变化越大。每个方向的深度值，反映了无人机距离的远近。深度值越大，说明无人机越远。反之，深度值越小，说明无人机越近。
通过综合考虑匹配成功的特征点数和深度，提升了确定第一方向的准确性。
需要说明的是，本实施例对于特征点提取和特征点匹配的方法不做限定。例如，特征点匹配可以采用卡纳德-卢卡斯-托马西特征跟踪器(Kanade–Lucas–Tomasi featuretracker，KLT)。
可选的，S302中，根据特征点数和深度值确定第一方向，可以包括：
获取特征点数与每个方向的深度值的比值，并对比值进行排序，比值的最大值对应的方向确定为第一方向。
具体的，在每个方向上，根据匹配成功的特征点数和该方向的深度值，可以计算出两者的比值。例如，可以用N表示三角化成功的特征点的数量，d0表示每个方向的深度值，比较匹配成功的特征点数N和该方向的深度值d0的比值N/d0。对于一个比值，比值越大，说明分子越大，和/或，分母越小。特征点的数量越多，说明该方向发生的变化越小。深度值越小，说明无人机越近。
可见，将特征点数与深度值之间的比值的最大值对应的方向，确定为第一方向，进一步提升了确定第一方向的准确性和合理性。
下面对每个方向的深度值进行说明。
可选的，在一种实现方式中，S301中，每个方向的深度值是根据匹配成功的特征点分别对应的深度值确定的，可以包括：
每个方向的深度值为根据匹配成功的特征点分别对应的深度值的平均值。
例如，匹配成功的特征点为10个。那么，该方向的深度值为10个匹配成功的特征点分别对应的深度值的平均值。
可选的，在另一种实现方式中，S301中，每个方向的深度值是根据匹配成功的特征点分别对应的深度值确定的，可以包括：
每个方向的深度值为根据匹配成功的特征点的深度值的直方图统计值。
其中，直方图是数值数据分布的精确图像表示，可以归一化的显示“相对频率”。将直方图统计值作为每个方向的深度值，考虑了频率分布，进一步提升了每个方向深度值的准确度。
下面根据不同场景对如何获取每个方向的深度值进行说明。
可选的，在一种实现方式中，无人机的成像设备包括设置有两个成像设备的双目视觉系统，每个方向的待处理图像包括两个成像设备分别采集的图像。
S301中，对每个方向的待处理图像进行特征点提取和特征点匹配，获取匹配成功的特征点，可以包括：
对两个成像设备分别采集的图像进行特征点提取和特征点匹配，获取匹配成功的特征点数。
S301中，若特征点数大于或者等于第一预设阈值，则获取每个方向的深度值，可以包括：
采用双目匹配算法获取匹配成功的特征点的深度值，并根据获取的匹配成功的特征点的深度值确定每个方向的深度值。
具体的，该种实现方式应可以用于形成双目视觉系统的方向上。当匹配成功的特征点数大于或者等于第一预设阈值，采用双目匹配算法获得该方向的深度值。
可选的，若特征点数小于第一预设阈值，则S301中，获取每个方向的深度值，可以包括：
对于两个成像设备中的至少一个成像设备，若根据至少一个成像设备采集的多个图像采用三角化算法获取至少一个匹配成功的特征点的深度值，则根据获取的至少一个匹配成功的特征点的深度值确定每个方向的深度值。可选地，根据至少一个成像设备采集的两个图像采用三角化算法获取至少一个匹配成功的特征点的深度值，则根据获取的至少一个匹配成功的特征点的深度值确定每个方向的深度。
具体的，该种实现方式应可以用于形成双目视觉系统的方向上。当匹配成功的特征点数小于第一预设阈值，采用三角化算法获得该方向的深度值。
下面对三角化算法进行简单说明。
图4为本发明实施例涉及的三角化算法的原理示意图。如图4所示，G代表世界坐标系下的原点。C0，C1，C2是三个不同的相机位姿，从不同角度来拍摄同一个蜜蜂。可以看到，蜜蜂蛰在不同角度采集的图像上的点的位置不同，分别是p0，p1，p2。在已知C0，C1，C2的相机位姿(通过R表示旋转变换，通过t表示位移变换)的情况下，可以求解出蜜蜂蛰P的真实三维位置。可以看出，这个和GPS定位是很类似的，都是从多个角度观测，并且已知位姿，求解某一点的三维位置。
理论上，P(x,y,z)投影到C0机位的归一化平面上是：
Figure BDA0002334218390000091
实际可以测得p0＝[u0,v0]T。理想情况下，p0′＝p0。但是实际上并不会完美相等，这里所产生的的误差就是重投影误差。我们要使误差最小化，所以需要用多个机位的图像观测，转化为最优化问题：
Figure BDA0002334218390000092
可见，通过三角化算法，通过至少两个角度的观测，在已知位姿变化时，可以获得某一点的三维位置。
需要说明的是，本实施例对于三角化算法中需要观测的角度数量，或者说，同一个成像设备需要采集的图像的数量不做限定。可以大于或者等于2。
可选的，在另一种实现方式中，无人机的成像设备包括设置一个成像设备的单目视觉系统，每个方向的待处理图像包括该成像设备采集的多个图像。可选地，每个方向的待处理图像包括该单目视觉系统采集的两个图像。
S301中，对每个方向的待处理图像进行特征点提取和特征点匹配，获取匹配成功的特征点，可以包括：
对两个图像进行特征点提取和特征点匹配，获取匹配成功的特征点数。
S301中，获取每个方向的深度值，可以包括：
若采用三角化算法获取至少一个匹配成功的特征点的深度值，则根据获取的至少一个匹配成功的特征点的深度值确定每个方向的深度值。
具体的，该种实现方式可以应用于形成单目视觉系统的方向上。当采用三角化算法至少成功一次，获得至少一个匹配成功的特征点的深度值时，通过三角化算法获得该方向的深度值。
可选的，S301中，获取每个方向的深度值，还可以包括：
若采用三角化算法无法获取任意一个匹配成功的特征点的深度值，则将预设深度值确定为每个方向的深度值。
具体的，该种实现方式可以应用于采用三角化算法的场景中。例如，在形成单目视觉系统的方向上。又例如，虽然该方向形成双目视觉系统，但是仅通过其中一个成像设备采集的图像采用三角化算法。而且，当采用三角化算法一次都没有成功，无法获得匹配成功的特征点的深度值时，将预设深度值确定为该方向的深度值。
需要说明的是，本实施例对于预设深度值的具体取值不做限定。例如，500米。
下面通过具体场景对第一方向进行说明。
可选的，在一个示例中，无人机从高楼的窗户飞出。此时，无人机的高度发生跳变。
原来的第一方向：刚飞出窗户时，第一方向仍然认为是位于无人机的下方的成像设备，即下视方向。因为在下视方向，三角化算法成功的特征点点数最多。但实际上由于高度跳变，下视方向的深度值很大，此时下视方向已不再适合作为第一方向了。
重新确定的第一方向：因为下视方向的点深度很大，所以，即使三角化算法成功的点数比较大，通过综合考虑三角化成功的点数和深度，比较各个方向的N/d0，将第一方向修改为除下视之外的其他方向，例如后视方向。其中，N表示三角化成功的特征点的数量。d0表示每个方向的深度值。
可选的，在另一个示例中，无人机在低空运动档位大姿态飞行时刹车回荡。
原来的第一方向：下视方向的视角(Field of Vision，FoV)大，看到的特征点点数最多，此时第一方向仍然认为是下视。
重新确定的第一方向：当无人机的姿态很大时，无人机向前倾斜，此时前视方向距离地面更近。比较各个方向的N/d0，此时将第一方向修改为前视方向。
本实施例提供一种图像处理方法，在确定第一方向时，对于至少两个方向中的每个方向，对每个方向的待处理图像进行特征点提取和特征点匹配，获取匹配成功的特征点。对于匹配成功的特征点，获取匹配成功的特征点数和每个方向的深度值，在至少两个方向中，根据特征点数和深度值确定第一方向。本实施例提供的图像处理方法，通过综合考虑匹配成功的特征点数和深度值，提升了确定第一方向的准确性。
图5为本发明实施例三提供的图像处理方法的流程图。本实施例提供的图像处理方法，在图2所示实施例的基础上，提供了图像处理方法的另一种实现方式。主要提供了S202中，获取第一方向的参考值的实现方式。
如图5所示，S202中，获取第一方向的参考值，可以包括：
S501、在第一方向对应的待处理图像中获取两个图像。
S502、根据两个图像获取第一方向的参考值。
具体的，在确定第一方向后，可以从第一方向的待处理图像中选取两个图像，以获取第一方向的参考值。
可选的，获取的两个图像可以包括第一方向上同一个成像设备采集的两个图像。
其中，同一个成像设备采集的两个图像之间可以存在时间间隔。为了提升第一方向的参考值的准确性，所述时间间隔小于或者等于预设时间间隔。本实施例对于预设时间间隔的具体取值不做限定。
可选的，同一个成像设备采集的两个图像包括同一个成像设备采集的相邻两帧图像。
下面，对第一方向的参考值的实现方式进行说明。
可选的，在一种实现方式中，第一方向的参考值包括两个图像之间进行特征点匹配的成功率。
其对应的预设条件为：特征点匹配的成功率小于或者等于第二预设阈值。
相应的，S203中，若第一方向的参考值满足预设条件，则更新至少两个方向对应的关键参考帧，可以包括：
若特征点匹配的成功率小于或者等于第二预设阈值，则更新至少两个方向分别对应的关键参考帧。
具体的，特征点匹配的成功率越高，说明第一方向上发生的变化越小。反之，特征点匹配的成功率越低，说明第一方向上发生的变化越大。如果特征点匹配的成功率小于或等于一定数值，发生的变化足够大时，当前的关键参考帧已经不准确了，因此，更新至少两个方向分别对应的关键参考帧。
需要说明的是，本实施例对于第二预设阈值的具体取值不做限定。例如，50％。
可选的，在另一种实现方式中，第一方向的参考值包括两个图像之间匹配成功的特征点的视差。
其对应的预设条件为：两个图像之间匹配成功的特征点的视差大于或者等于第三预设阈值。
相应的，S203中，若第一方向的参考值满足预设条件，则更新至少两个方向对应的关键参考帧，可以包括：
若两个图像之间匹配成功的特征点的视差大于或者等于第三预设阈值，则更新至少两个方向分别对应的关键参考帧。
具体的，匹配成功的特征点的视差越大，说明第一方向上发生的变化越大。反之，匹配成功的特征点的视差越小，说明第一方向上发生的变化越小。如果匹配成功的特征点的视差大于或等于一定数值，发生的变化足够大时，当前的关键参考帧已经不准确了，因此，更新至少两个方向分别对应的关键参考帧。
需要说明的是，本实施例对于第三预设阈值的具体取值不做限定。例如，10个像素。
需要说明的是，第一方向的参考值包括两个图像之间匹配成功的特征点的视差时，该视差可以根据两个图像之间所有匹配成功的特征点的视差确定。
可选的，第一方向的参考值可以为两个图像之间所有匹配成功的特征点的视差的平均值。
可选的，第一方向的参考值可以为两个图像之间所有匹配成功的特征点的视差的直方图统计值。
可选地，在一种实现方式中，第一方向的参考值包括两个图像之间进行特征点匹配的成功率和两个图像之间匹配成功的特征点的视差。具体地，若特征点匹配的成功率大于第二预设阈值时，进一步判断两个图像之间匹配成功的特征点的视差。若两个图像之间匹配成功的特征点的视差大于或者等于第三预设阈值，则更新至少两个方向分别对应的关键参考帧。
本实施例提供一种图像处理方法，通过在第一方向对应的待处理图像中获取两个图像，根据两个图像可以获取第一方向的参考值。如果第一方向的参考值满足关键参考帧的更新条件，则同时切换所有方向上各自对应的关键参考帧。降低了计算量，简化了更新关键参考帧的复杂度，提升了处理效率。
本发明实施例四还提供一种图像处理方法。本实施例在图2～图5所示实施例的基础上，提供了图像处理方法的另一种实现方式。
本实施例提供的图像处理方法，还可以包括：
根据至少两个方向中每个方向分别对应的深度值，在至少两个方向中确定第二方向。
具体的，每个方向分别对应的深度值，反映了无人机在每个方向上的距离远近。深度值越大，说明无人机在该方向上越远。反之，深度值越小，说明无人机在该方向上越近。通过至少两个方向中每个方向分别对应的深度值，在至少两个方向中确定第二方向。第二方向用于后续获取无人机的位置、姿态和速度信息时为选择数据来源提供主要依据。提升了确定无人机的位置、姿态和速度信息的准确性。
可选的，根据至少两个方向中每个方向分别对应的深度值，在至少两个方向中确定第二方向，可以包括：
在至少两个方向中，将深度值的最小值对应的方向确定为第二方向。
通过将深度值最小的方向，即无人机距离最近的方向确定为第二方向，提升了选择数据来源的准确性。
可选的，本实施例提供的图像处理方法，还可以包括：
对于至少两个方向中的每个方向，获取待处理的当前帧图像。
根据每个方向当前对应的关键参考帧，获取当前帧图像中与对应的关键参考帧匹配成功的特征点。
根据每个方向上与对应的关键参考帧匹配成功的特征点，获取第二方向上第一数值个特征点，以及除第二方向之外的其他方向上预设数值个特征点。其中，第一数值均大于其他方向分别对应的预设数值。
下面通过示例进行说明。
假设，至少两个方向包括无人机的前方(前视)、后方(后视)、下方(下视)、左侧(左视)和右侧(右视)。第二方向为下视。在选择数据来源时，以下视为主要数据来源。例如，在下视方向上选择50个匹配成功的特征点。在其他的每个方向上，各选取30个匹配成功的特征点。这样，一共选取50+4*30＝170个特征点。而且，由于第二方向为主要数据来源，提升了选择数据来源的准确性。
需要说明的是，本实施例对于第一数值和其他每个方向分别对应的预设数值的具体取值不做限定。其他各个方向分别对应的预设数值可以相同，也可以不同。
可选的，本实施例提供的图像处理方法，还可以包括：
根据至少两个方向上的当前帧图像中与对应的关键参考帧匹配成功的特征点获取特征点的三维位置信息。
根据三维位置信息获取无人机的运动信息。可选的，三维位置信息可以为在无人机坐标系中的三维位置信息或者成像设备坐标系中的三维位置信息或者在世界坐标系中的三维位置信息。
可选地，获取特征点的三维位置信息后，可以通过诸如卡尔曼滤波器(KalmanFilter)等算法，获取无人机的运动信息。
可选的，无人机的运动信息可以包括下列中的至少一项：无人机的位置信息、无人机的姿态信息和无人机的速度信息。
本实施例提供的图像处理方法，通过根据至少两个方向中每个方向分别对应的深度值，在至少两个方向中确定第二方向。第二方向用于后续获取无人机的位置、姿态和速度信息时为选择数据来源提供主要依据。提升了确定无人机的位置、姿态和速度信息的准确性。
本发明实施例五还提供一种图像处理方法。本实施例在上述方法实施例一～实施例四的基础上，提供了图像处理方法的另一种实现方式。
本实施例提供的图像处理方法，还可以包括：
剔除匹配成功的特征点中的离群点(outlier)。
具体的，通过剔除匹配成功的特征点中的离群点，可以使得获得匹配成功的特征点更加准确，进而提升了关键参考帧更新的准确率，提升了确定无人机运动信息的准确性。
需要说明的是，本实施例对于执行剔除匹配成功的特征点中的离群点的执行位置不做限定，只要输出了匹配成功的特征点，均可以剔除其中的离群点。例如，S301中，获取匹配成功的特征点之后，可以执行剔除匹配成功的特征点中离群点的步骤。
相应的，根据至少两个方向上的当前帧图像中与对应的关键参考帧匹配成功的特征点获取特征点的三维位置信息，根据三维位置信息获取无人机的运动信息，可以包括：
根据至少两个方向上已经执行剔除离群点操作的特征点获取特征点的三维位置信息，根据三维位置信息获取无人机的运动信息，
可选的，在一种实现方式中，剔除匹配成功的特征点中的离群点，可以包括：
采用极线约束算法剔除匹配成功的特征点中的离群点。
可选的，在另一种实现方式中，剔除匹配成功的特征点中的离群点，可以包括：
对于至少两个方向中的每个方向，获取每个方向当前对应的关键参考帧中特征点的三维位置信息、获取每个方向上待处理的当前帧图像中与对应的关键参考帧匹配成功的特征点的二维位置信息，以及获取关键参考帧与当前帧图像的第一外参。
根据三维位置信息、二维位置信息和第一外参，获取关键参考帧与当前帧图像的第二外参。
获取多个第二外参，将获取的多个第二外参相互校验，其中，校验不通过的特征点为匹配成功的特征点中的离群点。
剔除匹配成功的特征点中的离群点。
其中，第一外参可以包括旋转矩阵和/或位移矩阵，是指通过惯性测量单元(Inertial measurement unit，IMU)等传感器测量获得的数据。第二外参可以包括旋转矩阵和/或位移矩阵，是根据每个方向当前对应的关键参考帧中特征点的三维位置信息、每个方向上待处理的当前帧图像中与对应的关键参考帧匹配成功的特征点的二维位置信息，以及第一外参获得数据。可选的，可以采用PNP(Perspective-n-Point)透视n点算法获得第二外参。然后，获取当前帧图像中的多个特征点对应的第二外参，通过对多个特征点对应的第二外参相互校验，可以剔除校验不通过的特征点，即离群点。
通过PNP算法结合校验算法剔除离群点，进一步提升了剔除离群点的准确率。
需要说明的是，本实施例对于校验算法的实现方式不做限定。例如，可以为随机抽样一致性(Random sample consensus，RANSAC)算法。
可选的，获取每个方向当前对应的关键参考帧中特征点的三维位置信息，可以包括：
采用双目匹配算法或者三角化算法，获取每个方向当前对应的关键参考帧中特征点的三维位置信息。
可选的，在又一种实现方式中，若匹配成功的特征点是通过双目视觉系统中两个成像设备分别采集的图像获得的，剔除匹配成功的特征点中的离群点，还可以包括：
获取每个匹配成功的特征点的视差值。
若在所有匹配成功的特征点中，视差值大于或者等于第四预设阈值的特征点的占比大于或者等于第五预设阈值，则针对每个视差值大于或者等于第四预设阈值的特征点，比较分别采用双目匹配算法和三角化算法获得的每个特征点的深度值之间的差值。
若差值大于或者等于第六预设阈值，则剔除每个特征点。
具体的，首先获取每个匹配成功的特征点的视差值。对所有视差值进行概率统计。假设，80％的特征点的视差值都小于1.5像素。此时，第四预设阈值为1.5像素。第五预设阈值为20％。那么，需要进一步检查剩下的20％的特征点的视差值为什么取值较大。此时，针对剩下的20％的每个特征点，分别采用双目匹配算法和三角化算法获得的每个特征点的深度值，并比较深度值之间的差值。如果差值大于或者等于第六预设阈值，则剔除该特征点。
通过概率统计先区分出一部分特征点，再通过双目匹配算法和三角化算法继续在这部分特征点中筛选离群点，从而剔除离群点。进一步提升了剔除离群点的准确率。
可选的，在又一种实现方式中，剔除匹配成功的特征点中的离群点，还可以包括：
针对至少两个方向中每个方向上待处理的当前帧图像中与对应的关键参考帧匹配成功的每个特征点，根据每个特征点的三维位置信息获得每个特征点在当前帧图像中的重投影二维位置信息。
根据每个特征点在当前帧图像中的二维位置信息以及重投影二维位置信息，获得每个特征点的重投影误差。
若重投影误差大于或者等于第七预设阈值，则剔除每个特征点。
具体的，对于每个方向上待处理的当前帧图像中与对应的关键参考帧匹配成功的每个特征点，先通过三维位置信息与二维位置信息之间的转换关系，根据特征点的三维位置信息获得进行重投影后的重投影二维位置信息。之后，根据当前帧图像获得特征点在当前帧图像中的二维位置信息。将这两个二维位置信息进行重投影比较。如果重投影误差大于或者等于第七预设阈值，则剔除每个特征点。
通过示例进行说明。
假设，在无人机前视方向上的当前帧图像中，存在特征点A。特征点A与前视方向的关键参考帧匹配成功。通过计算，可以获得特征点A的三维位置信息。现在，根据特征点A的三维位置信息对特征点A在当前帧图像中进行重投影，得到重投影二维位置信息，假设对应的点为A’。理论上，A与A’应该重合，或者两者之间的重投影误差小于很小的值。相反的，如果两者之间的重投影误差很大，大于第七预设阈值了，则说明特征点A为离群点，需要删除。
需要说明的是，本实施例对于三维位置信息与二维位置信息之间的转换关系不做限定。例如，根据相机模型方程获得。
下面对相机模型进行简单说明。
Figure BDA0002334218390000171
其中，[u,v,1]T表示图像坐标系(Homogeneous image coordinates)中的2D点。
[xw,yw,zw]T表示世界坐标系(World coordinates)中的3D点。
矩阵K称为摄像机标定矩阵(Camera calibration matrix)，即，相机的内参(Intrinsic Parameters)。
对于有限投影相机(Finite projective camera)来说，矩阵K包含了5个内参。
具体如下：
Figure BDA0002334218390000172
其中，αx＝fmx，αy＝fmy，为焦距(focal length)，mx和my为x、y方向上，单位距离的像素数(scale factors)。γ为x、y轴之间的畸变参数(skew parameters)(CCD相机，像素不为正方形)。μ0，v0为光心位置(principal point)。
矩阵R称为旋转矩阵(Rotation Matrix)，矩阵T称为位移矩阵(TranslationMatrix)。R和T为相机的外参(Extrinsic Matrix)，用于表达三维空间中，世界坐标系到相机坐标系的旋转与位移变换。
可见，通过相机模型，可以根据三维位置信息获得二维位置信息。
下面通过具体场景对剔除离群点的效果进行说明。
可选的，在一个示例中，无人机悬停，下方为纹理场景。例如，下方物体为纯白色桌子。
原来的第一方向：无人机悬停的时候，由于纯白色桌子纹理很弱，特征点匹配错误的数量较多。由于不能有效剔除匹配错误的特征点，导致第一方向仍然认为是下视方向。
重新确定的第一方向：将错误匹配的特征点剔除后，三角化成功点的数量最多的方向不再是下视方向。此时，可以根据前述方法将第一方向修改为前视方向或者后视方向等其他更为合适的方向。
本实施例提供的图像处理方法，通过剔除匹配成功的特征点中的离群点，可以使得获得匹配成功的特征点更加准确，进而提升了关键参考帧更新的准确率，提升了确定无人机运动信息的准确性。
图6为本发明实施例一提供的无人机的结构示意图。如图6所示，本实施例提供的无人机，用于执行上述方法实施例提供的图像处理方法。如图6所示，本实施例提供的无人机，无人机在至少两个方向上设置有成像设备，无人机包括存储器62和处理器61。
存储器62用于存储指令。
处理器61用于运行指令以实现：
获取至少两个方向中每个方向的待处理图像。
根据至少两个方向中每个方向的待处理图像，在至少两个方向中确定第一方向，并获取第一方向的参考值。第一方向的参考值用于确定是否更新至少两个方向分别对应的关键参考帧。
若第一方向的参考值满足预设条件，则更新至少两个方向分别对应的关键参考帧。
可选的，处理器61具体用于：
对于至少两个方向中的每个方向，对每个方向的待处理图像进行特征点提取和特征点匹配，获取匹配成功的特征点。对于匹配成功的特征点，获取匹配成功的特征点数和每个方向的深度值。其中，每个方向的深度值是根据匹配成功的特征点分别对应的深度值确定的。
在至少两个方向中，根据特征点数和深度值确定第一方向。
可选的，处理器61具体用于：
获取特征点数与每个方向的深度值的比值，并对比值进行排序，比值的最大值对应的方向确定为第一方向。
可选的，每个方向的深度值是根据匹配成功的特征点分别对应的深度值确定的，包括：
每个方向的深度值为根据匹配成功的特征点分别对应的深度值的平均值。或者，
每个方向的深度值为根据匹配成功的特征点的深度值的直方图统计值。
可选的，成像设备包括设置有两个成像设备的双目视觉系统，每个方向的待处理图像包括两个成像设备分别采集的图像。
处理器61具体用于：
对两个成像设备分别采集的图像进行特征点提取和特征点匹配，获取匹配成功的特征点数。
若特征点数大于或者等于第一预设阈值，则采用双目匹配算法获取匹配成功的特征点的深度值，并根据获取的匹配成功的特征点的深度值确定每个方向的深度值。
可选的，处理器61还用于：
若特征点数小于第一预设阈值，则对于两个成像设备中的至少一个成像设备，若根据至少一个成像设备采集的多个图像采用三角化算法获取至少一个匹配成功的特征点的深度值，则根据获取的至少一个匹配成功的特征点的深度值确定每个方向的深度值。
可选的，成像设备包括设置一个成像设备的单目视觉系统，每个方向的待处理图像包括该成像设备采集的多个图像。
处理器61具体用于：
对多个图像进行特征点提取和特征点匹配，获取匹配成功的特征点数。
若采用三角化算法获取至少一个匹配成功的特征点的深度值，则根据获取的至少一个匹配成功的特征点的深度值确定每个方向的深度值。
可选的，处理器61还用于：
若采用三角化算法无法获取任意一个匹配成功的特征点的深度值，则将预设深度值确定为每个方向的深度值。
可选的，处理器61具体用于：
在第一方向对应的待处理图像中获取两个图像。
根据两个图像获取第一方向的参考值。
可选的，第一方向的参考值包括两个图像之间进行特征点匹配的成功率。
预设条件为特征点匹配的成功率小于或者等于第二预设阈值。
处理器61具体用于：
若特征点匹配的成功率小于或者等于第二预设阈值，则更新至少两个方向分别对应的关键参考帧。
可选的，第一方向的参考值还包括两个图像之间匹配成功的特征点的视差。
预设条件为两个图像之间匹配成功的特征点的视差大于或者等于第三预设阈值。
处理器61具体用于：
若两个图像之间匹配成功的特征点的视差大于或者等于第三预设阈值，则更新至少两个方向分别对应的关键参考帧。
可选的，第一方向的参考值为两个图像之间所有匹配成功的特征点的视差的平均值。
可选的，两个图像包括第一方向上同一个成像设备采集的两个图像。
可选的，同一个成像设备采集的两个图像包括同一个成像设备采集的相邻两帧图像。
可选的，处理器61还用于：
根据至少两个方向中每个方向分别对应的深度值，在至少两个方向中确定第二方向。
可选的，处理器61具体用于：
在至少两个方向中，将深度值的最小值对应的方向确定为第二方向。
可选的，处理器61还用于：
对于至少两个方向中的每个方向，获取待处理的当前帧图像。
根据每个方向当前对应的关键参考帧，获取当前帧图像中与对应的关键参考帧匹配成功的特征点。
根据每个方向上与对应的关键参考帧匹配成功的特征点，获取第二方向上第一数值个特征点，以及除第二方向之外的其他方向上预设数值个特征点。其中，第一数值均大于其他方向分别对应的预设数值。
可选的，处理器61还用于：
根据至少两个方向上的当前帧图像中与对应的关键参考帧匹配成功的特征点获取特征点的三维位置信息。
根据三维位置信息获取无人机的运动信息。
可选的，三维位置信息为在无人机坐标系中的三维位置信息或者成像设备坐标系中的三维位置信息或者在世界坐标系中的三维位置信息。
可选的，无人机的运动信息包括下列中的至少一项：无人机的位置信息、无人机的姿态信息和无人机的速度信息。
可选的，处理器61还用于：
剔除匹配成功的特征点中的离群点。
可选的，处理器61具体用于：
采用极线约束算法剔除匹配成功的特征点中的离群点。
可选的，处理器61具体用于：
对于至少两个方向中的每个方向，获取每个方向当前对应的关键参考帧中特征点的三维位置信息、获取每个方向上待处理的当前帧图像中与对应的关键参考帧匹配成功的特征点的二维位置信息，以及获取关键参考帧与当前帧图像的第一外参。
根据三维位置信息、二维位置信息和第一外参，获取关键参考帧与当前帧图像的第二外参。
获取多个第二外参，将获取的多个第二外参相互校验，其中，校验不通过的特征点为匹配成功的特征点中的离群点。
剔除匹配成功的特征点中的离群点。
可选的，处理器61具体用于：
采用双目匹配算法或者三角化算法，获取每个方向当前对应的关键参考帧中特征点的三维位置信息。
可选的，若匹配成功的特征点是通过双目视觉系统中两个成像设备分别采集的图像获得的，处理器61还用于：
获取每个匹配成功的特征点的视差值。
若在所有匹配成功的特征点中，视差值大于或者等于第四预设阈值的特征点的占比大于或者等于第五预设阈值，则针对每个视差值大于或者等于第四预设阈值的特征点，比较分别采用双目匹配算法和三角化算法获得的每个特征点的深度值之间的差值。
若差值大于或者等于第六预设阈值，则剔除每个特征点。
可选的，处理器61还用于：
针对至少两个方向中每个方向上待处理的当前帧图像中与对应的关键参考帧匹配成功的每个特征点，根据每个特征点的三维位置信息获得每个特征点在当前帧图像中的重投影二维位置信息；
根据每个特征点在当前帧图像中的二维位置信息以及重投影二维位置信息，获得每个特征点的重投影误差。
若重投影误差大于或者等于第七预设阈值，则剔除每个特征点。
可选的，至少两个方向包括无人机的前方、后方、下方、左侧和右侧中的至少两个方向。
可选的，成像设备包括下列中的至少一种：单目视觉传感器、双目视觉传感器和主拍摄相机。
本实施例提供的无人机，用于执行上述方法实施例提供的图像处理方法。技术原理和技术效果相似，此处不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (58)

1.一种图像处理方法，其特征在于，应用于无人机，所述无人机在至少两个方向上设置有成像设备，所述方法包括：
获取所述至少两个方向中每个方向的待处理图像；
根据所述至少两个方向中每个方向的待处理图像，在所述至少两个方向中确定第一方向，并获取所述第一方向的参考值；所述第一方向的参考值用于确定是否更新所述至少两个方向分别对应的关键参考帧；
若所述第一方向的参考值满足预设条件，则更新所述至少两个方向分别对应的关键参考帧。
2.根据权利要求1所述的方法，其特征在于，所述根据所述至少两个方向中每个方向的待处理图像，在所述至少两个方向中确定第一方向，包括：
对于所述至少两个方向中的每个方向，对所述每个方向的待处理图像进行特征点提取和特征点匹配，获取匹配成功的特征点；对于匹配成功的特征点，获取匹配成功的特征点数和所述每个方向的深度值；其中，所述每个方向的深度值是根据匹配成功的特征点分别对应的深度值确定的；
在所述至少两个方向中，根据特征点数和深度值确定所述第一方向。
3.根据权利要求2所述的方法，其特征在于，所述根据特征点数和深度值确定所述第一方向，包括：
获取特征点数与所述每个方向的深度值的比值，并对所述比值进行排序，所述比值的最大值对应的方向确定为所述第一方向。
4.根据权利要求2所述的方法，其特征在于，所述每个方向的深度值是根据匹配成功的特征点分别对应的深度值确定的，包括：
所述每个方向的深度值为根据匹配成功的特征点分别对应的深度值的平均值；或者，
所述每个方向的深度值为根据匹配成功的特征点的深度值的直方图统计值。
5.根据权利要求2所述的方法，其特征在于，所述成像设备包括设置有两个成像设备的双目视觉系统，所述每个方向的待处理图像包括所述两个成像设备分别采集的图像；
所述对所述每个方向的待处理图像进行特征点提取和特征点匹配，获取匹配成功的特征点，包括：
对所述两个成像设备分别采集的图像进行特征点提取和特征点匹配，获取匹配成功的特征点数；
若特征点数大于或者等于第一预设阈值，则获取所述每个方向的深度值，包括：
采用双目匹配算法获取匹配成功的特征点的深度值，并根据获取的所述匹配成功的特征点的深度值确定所述每个方向的深度值。
6.根据权利要求5所述的方法，其特征在于，还包括：
若所述特征点数小于所述第一预设阈值，则获取所述每个方向的深度值，包括：
对于所述两个成像设备中的至少一个成像设备，若根据所述至少一个成像设备采集的多个图像采用三角化算法获取至少一个匹配成功的特征点的深度值，则根据获取的所述至少一个匹配成功的特征点的深度值确定所述每个方向的深度值。
7.根据权利要求2所述的方法，其特征在于，所述成像设备包括设置有一个成像设备的单目视觉系统，所述每个方向的待处理图像包括所述成像设备采集的多个图像；
所述对所述每个方向的待处理图像进行特征点提取和特征点匹配，获取匹配成功的特征点，包括：
对所述多个图像进行特征点提取和特征点匹配，获取匹配成功的特征点数；
获取所述每个方向的深度值，包括：
若采用三角化算法获取至少一个匹配成功的特征点的深度值，则根据获取的所述至少一个匹配成功的特征点的深度值确定所述每个方向的深度值。
8.根据权利要求6或7所述的方法，其特征在于，获取所述每个方向的深度值，还包括：
若采用三角化算法无法获取任意一个匹配成功的特征点的深度值，则将预设深度值确定为所述每个方向的深度值。
9.根据权利要求1所述的方法，其特征在于，所述获取所述第一方向的参考值，包括：
在所述第一方向对应的待处理图像中获取两个图像；
根据所述两个图像获取所述第一方向的参考值。
10.根据权利要求9所述的方法，其特征在于，所述第一方向的参考值包括所述两个图像之间进行特征点匹配的成功率；
所述预设条件为特征点匹配的成功率小于或者等于第二预设阈值；
其中，所述若所述第一方向的参考值满足预设条件，则更新所述至少两个方向对应的关键参考帧，包括：
若所述特征点匹配的成功率小于或者等于第二预设阈值，则更新所述至少两个方向分别对应的关键参考帧。
11.根据权利要求9所述的方法，其特征在于，所述第一方向的参考值包括所述两个图像之间匹配成功的特征点的视差；
所述预设条件为所述两个图像之间匹配成功的特征点的视差大于或者等于第三预设阈值；
其中，所述若所述第一方向的参考值满足预设条件，则更新所述至少两个方向对应的关键参考帧，包括：
若所述两个图像之间匹配成功的特征点的视差大于或者等于第三预设阈值，则更新所述至少两个方向分别对应的关键参考帧。
12.根据权利要求11所述的方法，其特征在于，所述第一方向的参考值为所述两个图像之间所有匹配成功的特征点的视差的平均值。
13.根据权利要求9所述的方法，其特征在于，所述两个图像包括所述第一方向上同一个成像设备采集的两个图像。
14.根据权利要求13所述的方法，其特征在于，所述同一个成像设备采集的两个图像包括所述同一个成像设备采集的相邻两帧图像。
15.根据权利要求2所述的方法，其特征在于，还包括：
根据所述至少两个方向中每个方向分别对应的深度值，在所述至少两个方向中确定第二方向。
16.根据权利要求15所述的方法，其特征在于，所述根据所述至少两个方向中每个方向分别对应的深度值，在所述至少两个方向中确定第二方向，包括：
在所述至少两个方向中，将深度值的最小值对应的方向确定为所述第二方向。
17.根据权利要求15所述的方法，其特征在于，还包括：
对于所述至少两个方向中的每个方向，获取待处理的当前帧图像；
根据所述每个方向当前对应的关键参考帧，获取所述当前帧图像中与对应的关键参考帧匹配成功的特征点；
根据每个方向上与对应的关键参考帧匹配成功的特征点，获取所述第二方向上第一数值个特征点，以及除所述第二方向之外的其他方向上预设数值个特征点；其中，所述第一数值均大于所述其他方向分别对应的预设数值。
18.根据权利要求17所述的方法，其特征在于，还包括：
根据所述至少两个方向上的所述当前帧图像中与对应的关键参考帧匹配成功的特征点获取所述特征点的三维位置信息；
根据所述三维位置信息获取所述无人机的运动信息。
19.根据权利要求18所述的方法，其特征在于，所述三维位置信息为在无人机坐标系中的三维位置信息或者成像设备坐标系中的三维位置信息或者在世界坐标系中的三维位置信息。
20.根据权利要求18所述的方法，其特征在于，所述无人机的运动信息包括下列中的至少一项：所述无人机的位置信息、所述无人机的姿态信息和所述无人机的速度信息。
21.根据权利要求2所述的方法，其特征在于，还包括：
剔除匹配成功的特征点中的离群点。
22.根据权利要求21所述的方法，其特征在于，所述剔除匹配成功的特征点中的离群点，包括：
采用极线约束算法剔除匹配成功的特征点中的离群点。
23.根据权利要求21所述的方法，其特征在于，所述剔除匹配成功的特征点中的离群点，包括：
对于所述至少两个方向中的每个方向，获取所述每个方向当前对应的关键参考帧中特征点的三维位置信息、获取所述每个方向上待处理的当前帧图像中与对应的关键参考帧匹配成功的特征点的二维位置信息，以及获取所述关键参考帧与所述当前帧图像的第一外参；
根据所述三维位置信息、所述二维位置信息和所述第一外参，获取所述关键参考帧与所述当前帧图像的第二外参；
获取多个所述第二外参，将获取的多个所述第二外参相互校验，其中，校验不通过的特征点为所述匹配成功的特征点中的离群点；
剔除所述匹配成功的特征点中的离群点。
24.根据权利要求23所述的方法，所述获取所述每个方向当前对应的关键参考帧中特征点的三维位置信息，包括：
采用双目匹配算法或者三角化算法，获取所述每个方向当前对应的关键参考帧中特征点的三维位置信息。
25.根据权利要求21或23所述的方法，其特征在于，若匹配成功的特征点是通过双目视觉系统中两个成像设备分别采集的图像获得的，所述剔除匹配成功的特征点中的离群点，还包括：
获取每个匹配成功的特征点的视差值；
若在所有匹配成功的特征点中，视差值大于或者等于第四预设阈值的特征点的占比大于或者等于第五预设阈值，则针对每个视差值大于或者等于第四预设阈值的特征点，比较分别采用双目匹配算法和三角化算法获得的所述每个特征点的深度值之间的差值；
若所述差值大于或者等于第六预设阈值，则剔除所述每个特征点。
26.根据权利要求21所述的方法，其特征在于，所述剔除匹配成功的特征点中的离群点，还包括：
针对所述至少两个方向中每个方向上待处理的当前帧图像中与对应的关键参考帧匹配成功的每个特征点，根据所述每个特征点的三维位置信息获得所述每个特征点在所述当前帧图像中的重投影二维位置信息；
根据所述每个特征点在所述当前帧图像中的二维位置信息以及重投影二维位置信息，获得所述每个特征点的重投影误差；
若所述重投影误差大于或者等于第七预设阈值，则剔除所述每个特征点。
27.根据权利要求1所述的方法，其特征在于，所述至少两个方向包括无人机的前方、后方、下方、左侧和右侧中的至少两个方向。
28.根据权利要求1所述的方法，其特征在于，所述成像设备包括下列中的至少一种：单目视觉传感器、双目视觉传感器和主拍摄相机。
29.一种无人机，其特征在于，所述无人机在至少两个方向上设置有成像设备，所述无人机包括存储器和处理器；
所述存储器用于存储指令；
所述处理器用于运行所述指令以实现：
获取所述至少两个方向中每个方向的待处理图像；
根据所述至少两个方向中每个方向的待处理图像，在所述至少两个方向中确定第一方向，并获取所述第一方向的参考值；所述第一方向的参考值用于确定是否更新所述至少两个方向分别对应的关键参考帧；
若所述第一方向的参考值满足预设条件，则更新所述至少两个方向分别对应的关键参考帧。
30.根据权利要求29所述的无人机，其特征在于，所述处理器具体用于：
对于所述至少两个方向中的每个方向，对所述每个方向的待处理图像进行特征点提取和特征点匹配，获取匹配成功的特征点；对于匹配成功的特征点，获取匹配成功的特征点数和所述每个方向的深度值；其中，所述每个方向的深度值是根据匹配成功的特征点分别对应的深度值确定的；
在所述至少两个方向中，根据特征点数和深度值确定所述第一方向。
31.根据权利要求30所述的无人机，其特征在于，所述处理器具体用于：
获取特征点数与所述每个方向的深度值的比值，并对所述比值进行排序，所述比值的最大值对应的方向确定为所述第一方向。
32.根据权利要求30所述的无人机，其特征在于，所述每个方向的深度值是根据匹配成功的特征点分别对应的深度值确定的，包括：
所述每个方向的深度值为根据匹配成功的特征点分别对应的深度值的平均值；或者，
所述每个方向的深度值为根据匹配成功的特征点的深度值的直方图统计值。
33.根据权利要求30所述的无人机，其特征在于，所述成像设备包括设置有两个成像设备的双目视觉系统，所述每个方向的待处理图像包括所述两个成像设备分别采集的图像；
所述处理器具体用于：
对所述两个成像设备分别采集的图像进行特征点提取和特征点匹配，获取匹配成功的特征点数；
若特征点数大于或者等于第一预设阈值，则采用双目匹配算法获取匹配成功的特征点的深度值，并根据获取的所述匹配成功的特征点的深度值确定所述每个方向的深度值。
34.根据权利要求33所述的无人机，其特征在于，所述处理器还用于：
若所述特征点数小于所述第一预设阈值，则对于所述两个成像设备中的至少一个成像设备，若根据所述至少一个成像设备采集的多个图像采用三角化算法获取至少一个匹配成功的特征点的深度值，则根据获取的所述至少一个匹配成功的特征点的深度值确定所述每个方向的深度值。
35.根据权利要求30所述的无人机，其特征在于，所述成像设备包括设置有一个成像设备的单目视觉系统，所述每个方向的待处理图像包括该成像设备采集的多个图像；
所述处理器具体用于：
对所述多个图像进行特征点提取和特征点匹配，获取匹配成功的特征点数；
若采用三角化算法获取至少一个匹配成功的特征点的深度值，则根据获取的所述至少一个匹配成功的特征点的深度值确定所述每个方向的深度值。
36.根据权利要求34或35所述的无人机，其特征在于，所述处理器还用于：
若采用三角化算法无法获取任意一个匹配成功的特征点的深度值，则将预设深度值确定为所述每个方向的深度值。
37.根据权利要求29所述的无人机，其特征在于，所述处理器具体用于：
在所述第一方向对应的待处理图像中获取两个图像；
根据所述两个图像获取所述第一方向的参考值。
38.根据权利要求37所述的无人机，其特征在于，所述第一方向的参考值包括所述两个图像之间进行特征点匹配的成功率；
所述预设条件为特征点匹配的成功率小于或者等于第二预设阈值；
所述处理器具体用于：
若所述特征点匹配的成功率小于或者等于第二预设阈值，则更新所述至少两个方向分别对应的关键参考帧。
39.根据权利要求37所述的无人机，其特征在于，所述第一方向的参考值还包括所述两个图像之间匹配成功的特征点的视差；
所述预设条件为所述两个图像之间匹配成功的特征点的视差大于或者等于第三预设阈值；
所述处理器具体用于：
若所述两个图像之间匹配成功的特征点的视差大于或者等于第三预设阈值，则更新所述至少两个方向分别对应的关键参考帧。
40.根据权利要求39所述的无人机，其特征在于，所述第一方向的参考值为所述两个图像之间所有匹配成功的特征点的视差的平均值。
41.根据权利要求37所述的无人机，其特征在于，所述两个图像包括所述第一方向上同一个成像设备采集的两个图像。
42.根据权利要求41所述的无人机，其特征在于，所述同一个成像设备采集的两个图像包括所述同一个成像设备采集的相邻两帧图像。
43.根据权利要求30所述的无人机，其特征在于，所述处理器还用于：
根据所述至少两个方向中每个方向分别对应的深度值，在所述至少两个方向中确定第二方向。
44.根据权利要求43所述的无人机，其特征在于，所述处理器具体用于：
在所述至少两个方向中，将深度值的最小值对应的方向确定为所述第二方向。
45.根据权利要求43所述的无人机，其特征在于，所述处理器还用于：
对于所述至少两个方向中的每个方向，获取待处理的当前帧图像；
根据所述每个方向当前对应的关键参考帧，获取所述当前帧图像中与对应的关键参考帧匹配成功的特征点；
根据每个方向上与对应的关键参考帧匹配成功的特征点，获取所述第二方向上第一数值个特征点，以及除所述第二方向之外的其他方向上预设数值个特征点；其中，所述第一数值均大于所述其他方向分别对应的预设数值。
46.根据权利要求45所述的无人机，其特征在于，所述处理器还用于：
根据所述至少两个方向上的所述当前帧图像中与对应的关键参考帧匹配成功的特征点获取所述特征点的三维位置信息；
根据所述三维位置信息获取所述无人机的运动信息。
47.根据权利要求46所述的无人机，其特征在于，所述三维位置信息为在无人机坐标系中的三维位置信息或者成像设备坐标系中的三维位置信息或者在世界坐标系中的三维位置信息。
48.根据权利要求46所述的无人机，其特征在于，所述无人机的运动信息包括下列中的至少一项：所述无人机的位置信息、所述无人机的姿态信息和所述无人机的速度信息。
49.根据权利要求30所述的无人机，其特征在于，所述处理器还用于：
剔除匹配成功的特征点中的离群点。
50.根据权利要求49所述的无人机，其特征在于，所述处理器具体用于：
采用极线约束算法剔除匹配成功的特征点中的离群点。
51.根据权利要求49所述的无人机，其特征在于，所述处理器具体用于：
对于所述至少两个方向中的每个方向，获取所述每个方向当前对应的关键参考帧中特征点的三维位置信息、获取所述每个方向上待处理的当前帧图像中与对应的关键参考帧匹配成功的特征点的二维位置信息，以及获取所述关键参考帧与所述当前帧图像的第一外参；
根据所述三维位置信息、所述二维位置信息和所述第一外参，获取所述关键参考帧与所述当前帧图像的第二外参；
获取多个所述第二外参，将获取的多个所述第二外参相互校验，其中，校验不通过的特征点为所述匹配成功的特征点中的离群点；
剔除所述匹配成功的特征点中的离群点。
52.根据权利要求51所述的无人机，所述处理器具体用于：
采用双目匹配算法或者三角化算法，获取所述每个方向当前对应的关键参考帧中特征点的三维位置信息。
53.根据权利要求49或51所述的无人机，其特征在于，若匹配成功的特征点是通过双目视觉系统中两个成像设备分别采集的图像获得的，所述处理器还用于：
获取每个匹配成功的特征点的视差值；
若在所有匹配成功的特征点中，视差值大于或者等于第四预设阈值的特征点的占比大于或者等于第五预设阈值，则针对每个视差值大于或者等于第四预设阈值的特征点，比较分别采用双目匹配算法和三角化算法获得的所述每个特征点的深度值之间的差值；
若所述差值大于或者等于第六预设阈值，则剔除所述每个特征点。
54.根据权利要求49所述的无人机，其特征在于，所述处理器还用于：
针对所述至少两个方向中每个方向上待处理的当前帧图像中与对应的关键参考帧匹配成功的每个特征点，根据所述每个特征点的三维位置信息获得所述每个特征点在所述当前帧图像中的重投影二维位置信息；
根据所述每个特征点在所述当前帧图像中的二维位置信息以及重投影二维位置信息，获得所述每个特征点的重投影误差；
若所述重投影误差大于或者等于第七预设阈值，则剔除所述每个特征点。
55.根据权利要求29所述的无人机，其特征在于，所述至少两个方向包括无人机的前方、后方、下方、左侧和右侧中的至少两个方向。
56.根据权利要求29所述的无人机，其特征在于，所述成像设备包括下列中的至少一种：单目视觉传感器、双目视觉传感器和主拍摄相机。
57.一种计算机存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行如权利要求1-28任一项的图像处理方法。
58.一种计算机程序，其特征在于，当所述计算机程序被计算机执行时，用于实现如权利要求1-28任一项的图像处理方法。
CN201880042469.8A 2018-11-30 2018-11-30 图像处理方法和无人机 Pending CN110892354A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/118787 WO2020107487A1 (zh) 2018-11-30 2018-11-30 图像处理方法和无人机

Publications (1)

Publication Number Publication Date
CN110892354A true CN110892354A (zh) 2020-03-17

Family

ID=69746140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880042469.8A Pending CN110892354A (zh) 2018-11-30 2018-11-30 图像处理方法和无人机

Country Status (3)

Country Link
US (1) US20210256732A1 (zh)
CN (1) CN110892354A (zh)
WO (1) WO2020107487A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862848B (zh) * 2022-07-05 2022-10-21 江苏顺联工程建设有限公司 一种市政施工用吊装设备的智能控制方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421622B1 (en) * 1998-06-05 2002-07-16 Crossbow Technology, Inc. Dynamic attitude measurement sensor and method
CN1834878A (zh) * 2005-03-18 2006-09-20 安捷伦科技有限公司 光学导航系统
CN101163940A (zh) * 2005-04-25 2008-04-16 株式会社吉奥技术研究所 摄影位置分析方法
CN102104775A (zh) * 2009-12-18 2011-06-22 华为技术有限公司 一种帧率调整方法和装置
WO2015194864A1 (ko) * 2014-06-17 2015-12-23 (주)유진로봇 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
CN106558063A (zh) * 2015-09-16 2017-04-05 韩华泰科株式会社 估计视频中的运动的方法和设备及稳定视频的方法和设备
CN106559605A (zh) * 2016-11-17 2017-04-05 天津大学 基于改进的块匹配算法的数字视频稳像方法
CN106688017A (zh) * 2016-11-28 2017-05-17 深圳市大疆创新科技有限公司 生成点云地图的方法、计算机系统和装置
CN106934827A (zh) * 2015-12-31 2017-07-07 杭州华为数字技术有限公司 三维场景的重建方法和装置
CN107197121A (zh) * 2017-06-14 2017-09-22 长春欧意光电技术有限公司 一种基于舰载设备的电子稳像方法
CN107850436A (zh) * 2015-05-23 2018-03-27 深圳市大疆创新科技有限公司 使用惯性传感器和图像传感器的传感器融合
CN108121764A (zh) * 2016-11-26 2018-06-05 星克跃尔株式会社 图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质
US20180197307A1 (en) * 2017-01-06 2018-07-12 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same
CN108597036A (zh) * 2018-05-03 2018-09-28 三星电子（中国）研发中心 虚拟现实环境危险感知方法及装置
CN108805908A (zh) * 2018-06-08 2018-11-13 浙江大学 一种基于时序网格流叠加的实时视频稳像方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045276B (zh) * 2015-07-03 2019-01-11 深圳一电航空技术有限公司 无人机飞行控制方法及装置
US10377483B2 (en) * 2016-03-01 2019-08-13 Amazon Technologies, Inc. Six degree of freedom aerial vehicle with offset propulsion mechanisms
WO2018010097A1 (en) * 2016-07-12 2018-01-18 SZ DJI Technology Co., Ltd. Systems and methods for multi-orientation flight
CN106516140B (zh) * 2016-10-14 2019-05-07 北京小米移动软件有限公司 一种具有航拍功能的飞行器
CN108616738A (zh) * 2017-01-16 2018-10-02 翔升（上海）电子技术有限公司 用于无人机的图像处理方法、装置和系统
WO2018214078A1 (zh) * 2017-05-24 2018-11-29 深圳市大疆创新科技有限公司 拍摄控制方法及装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421622B1 (en) * 1998-06-05 2002-07-16 Crossbow Technology, Inc. Dynamic attitude measurement sensor and method
CN1834878A (zh) * 2005-03-18 2006-09-20 安捷伦科技有限公司 光学导航系统
CN101163940A (zh) * 2005-04-25 2008-04-16 株式会社吉奥技术研究所 摄影位置分析方法
CN102104775A (zh) * 2009-12-18 2011-06-22 华为技术有限公司 一种帧率调整方法和装置
US20170153647A1 (en) * 2014-06-17 2017-06-01 Yujin Robot Co., Ltd. Apparatus of updating key frame of mobile robot and method thereof
WO2015194864A1 (ko) * 2014-06-17 2015-12-23 (주)유진로봇 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
CN107850436A (zh) * 2015-05-23 2018-03-27 深圳市大疆创新科技有限公司 使用惯性传感器和图像传感器的传感器融合
CN106558063A (zh) * 2015-09-16 2017-04-05 韩华泰科株式会社 估计视频中的运动的方法和设备及稳定视频的方法和设备
CN106934827A (zh) * 2015-12-31 2017-07-07 杭州华为数字技术有限公司 三维场景的重建方法和装置
CN106559605A (zh) * 2016-11-17 2017-04-05 天津大学 基于改进的块匹配算法的数字视频稳像方法
CN108121764A (zh) * 2016-11-26 2018-06-05 星克跃尔株式会社 图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质
CN106688017A (zh) * 2016-11-28 2017-05-17 深圳市大疆创新科技有限公司 生成点云地图的方法、计算机系统和装置
US20180197307A1 (en) * 2017-01-06 2018-07-12 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same
CN107197121A (zh) * 2017-06-14 2017-09-22 长春欧意光电技术有限公司 一种基于舰载设备的电子稳像方法
CN108597036A (zh) * 2018-05-03 2018-09-28 三星电子（中国）研发中心 虚拟现实环境危险感知方法及装置
CN108805908A (zh) * 2018-06-08 2018-11-13 浙江大学 一种基于时序网格流叠加的实时视频稳像方法

Also Published As

Publication number Publication date
US20210256732A1 (en) 2021-08-19
WO2020107487A1 (zh) 2020-06-04

Similar Documents

Publication Publication Date Title
US20210012520A1 (en) Distance measuring method and device
JP7252943B2 (ja) 航空機のための対象物検出及び回避
EP3825954A1 (en) Photographing method and device and unmanned aerial vehicle
WO2020113423A1 (zh) 目标场景三维重建方法、系统及无人机
EP3531375B1 (en) Method and apparatus for measuring distance, and unmanned aerial vehicle
WO2020024185A1 (en) Techniques for motion-based automatic image capture
US11057604B2 (en) Image processing method and device
TW201832185A (zh) 利用陀螺儀的相機自動校準
WO2016053438A2 (en) STRUCTURE FROM MOTION (SfM) PROCESSING FOR UNMANNED AERIAL VEHICLE (UAV)
WO2019144300A1 (zh) 目标检测方法、装置和可移动平台
WO2021035731A1 (zh) 无人飞行器的控制方法、装置及计算机可读存储介质
CN108450032B (zh) 飞行控制方法和装置
US20210264666A1 (en) Method for obtaining photogrammetric data using a layered approach
WO2019183789A1 (zh) 无人机的控制方法、装置和无人机
JP2024072827A (ja) 制御装置、撮像システム及び撮像方法
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
KR102475790B1 (ko) 지도제작플랫폼장치 및 이를 이용한 지도제작방법
US20210256732A1 (en) Image processing method and unmanned aerial vehicle
CN111433819A (zh) 目标场景三维重建方法、系统及无人机
WO2021035746A1 (zh) 图像处理方法、装置和可移动平台
CN113011212B (zh) 图像识别方法、装置及车辆
JP2022095408A (ja) 処理システム、飛行体、処理方法及びプログラム
JP2020095519A (ja) 形状推定装置、形状推定方法、プログラム、及び記録媒体
WO2023272524A1 (zh) 双目拍摄装置及确定其观测深度的方法、装置、可移动平台
WO2020107480A1 (zh) 图像特征点的评价方法和可移动平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200317