CN110800023A - 图像处理方法和设备、摄像装置以及无人机 - Google Patents

图像处理方法和设备、摄像装置以及无人机 Download PDF

Info

Publication number
CN110800023A
CN110800023A CN201880039085.0A CN201880039085A CN110800023A CN 110800023 A CN110800023 A CN 110800023A CN 201880039085 A CN201880039085 A CN 201880039085A CN 110800023 A CN110800023 A CN 110800023A
Authority
CN
China
Prior art keywords
image frame
depth information
pixel point
pixel
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880039085.0A
Other languages
English (en)
Inventor
林毅
周游
朱振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN110800023A publication Critical patent/CN110800023A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种图像处理方法，包括：图像处理设备获取拍摄第一图像帧和第二图像帧时摄像头的相对距离(210)；基于拍摄第一图像帧和第二图像帧时摄像头的相对距离，图像处理设备确定多个候选深度信息(220)；基于拍摄第一图像帧和第二图像帧时摄像头的位姿关系，从多个候选深度信息中，图像处理设备为第一图像帧中的像素点选择深度信息(230)。还涉及一种计算机可读介质、图像处理设备、摄像装置和无人机。

Description

图像处理方法和设备、摄像装置以及无人机
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本申请涉及图像处理领域，并且更具体地，涉及一种图像处理方法、图像处理设备、计算机可读存储介质、摄像装置和无人机。
背景技术
随着现代科技的发展，无人机被应用在越来越多的场景中。要达到自动化操作，无人机需要具备一定的定位能力和环境感知能力。
目前无人机可以采用摄像头进行定位和环境感知，例如，可以对摄像头拍摄的图片进行分析来进行定位和感知。
无人机的计算平台能力有限，如何在利用摄像头进行定位和环境感知方面，减少计算量是一项亟待解决的问题。
发明内容
本申请实施例提供一种图像处理方法、图像处理设备、计算机可读存储介质、摄像装置和无人机，可以在利用摄像头进行定位和环境感知方面，减少计算量。
第一方面，提供了一种图像处理方法，包括：获取拍摄第一图像帧和第二图像帧时摄像头的相对距离；基于所述相对距离，确定多个候选深度信息；基于拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，从所述多个候选深度信息中，为所述第一图像帧中的像素点选择深度信息。
第二方面，提供了一种图像处理设备，包括：获取单元，用于获取拍摄第一图像帧和第二图像帧时摄像头的相对距离；确定单元，用于基于所述相对距离，确定多个候选深度信息；选择单元，用于基于拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，从所述多个候选深度信息中，为所述第一图像帧中的像素点选择深度信息。
第三方面，提供了一种图像处理设备，包括存储器和处理器；所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的指令，执行权利要求第一方面所述的方法。
第四方面，提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序使得计算机执行第一方面所述的方法。
第五方面，提供了一种摄像装置，包括摄像头和处理器；所述摄像头用于获取图像帧，所述处理器用于基于所述摄像头获取的图像帧，执行以下操作：获取拍摄第一图像帧和第二图像帧时所述摄像头的相对距离；基于所述相对距离，确定多个候选深度信息；基于拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，从所述多个候选深度信息中，为所述第一图像帧中的像素点选择深度信息。
第六方面，提供了一种无人机，包括动力系统、传感系统和处理器；其中，所述动力系统用于为所述无人机提供动力；所述传感系统包括摄像头，用于拍摄图像帧；所述处理器用于基于所述摄像头拍摄的图像帧计算深度信息，以控制所述无人机的飞行，其中，所述处理器具体用于：获取拍摄第一图像帧和第二图像帧时所述摄像头的相对距离；基于所述相对距离，确定多个候选深度信息；基于拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，从所述多个候选深度信息中，为所述第一图像帧中的像素点选择深度信息。
因此，在本申请实施例中，基于拍摄第一图像帧和第二图像帧时摄像头的相对距离，确定多个候选深度信息，并基于拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，从所述多个候选深度信息中，为所述第一图像帧中的像素点选择深度信息，由于采用的是第一图像帧和第二图像帧的位姿关系来计算深度信息，可以简化深度信息的计算，避免采用集束调整(Bundle Adjustment，BA)算法或时定位与地图构建(simultaneouslocalization and mapping，SLAM)进行定位或环境感知所带来的资源耗费较大的问题。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的无人飞行系统的示意性图。
图2是根据本申请实施例的图像处理方法的示意性流程图。
图3是根据本申请实施例的候选深度信息对应的虚拟平面的示意性图。
图4是根据本申请实施例的插值运算的示意性图。
图5是根据本申请实施例的深度信息验证方法的示意性图。
图6是根据本申请实施例的图像处理设备的示意性框图。
图7是根据本申请实施例的图像处理设备的示意性框图。
图8是根据本申请实施例的摄像装置的示意性框图。
图9是根据本申请实施例的无人机的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中当一组件与另一组件“固定连接”或“连接”，或者，一组件“固定于”另一组件时，它可以直接在另一组件上，或者也可以存在居中的组件。
应理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本公开实施例，而非限制本公开实施例的范围。
本发明实施例可以应用于各种类型的可移动设备。本发明实施例中的可移动设备可以在任何合适的环境下移动，例如，空气中(例如，定翼飞机、旋翼飞机，或既没有定翼也没有旋翼的飞机)、水中(例如，轮船或潜水艇)、陆地上(例如，汽车或火车)、太空(例如，太空飞机、卫星或探测器)，以及以上各种环境的任何组合。可移动设备可以是飞机，例如无人机(Unmanned Aerial Vehicle，简称为“UAV”)。在一些实施例中，可移动设备可以承载生命体，例如，人或动物。
以下将结合图1对包含无人机的无人飞行系统进行说明。本实施例以旋翼飞行器为例进行说明。
无人飞行系统100可以包括UAV 110、载体120、显示设备130和遥控装置140。其中，UAV 110可以包括动力系统150、飞行控制系统160和机架170。UAV 110可以与遥控装置140和显示设备130进行无线通信。
机架170可以包括机身和脚架(也称为起落架)。机身可以包括中心架以及与中心架连接的一个或多个机臂，一个或多个机臂呈辐射状从中心架延伸出。脚架与机身连接，用于在UAV 110着陆时起支撑作用。
动力系统150可以包括电子调速器(简称为电调)151、一个或多个螺旋桨153以及与一个或多个螺旋桨153相对应的一个或多个电机152，其中电机152连接在电子调速器151与螺旋桨153之间，电机152和螺旋桨153设置在对应的机臂上；电子调速器151用于接收飞行控制器160产生的驱动信号，并根据驱动信号提供驱动电流给电机152，以控制电机152的转速。电机152用于驱动螺旋桨旋转，从而为UAV 110的飞行提供动力，该动力使得UAV 110能够实现一个或多个自由度的运动。应理解，电机152可以是直流电机，也可以交流电机。另外，电机152可以是无刷电机，也可以有刷电机。
飞行控制系统160可以包括飞行控制器161和传感系统162。传感系统162用于测量UAV的姿态信息。传感系统162例如可以包括陀螺仪、电子罗盘、IMU(惯性测量单元，Inertial Measurement Unit)、视觉传感器(例如，单目摄像头或双/多目摄像头等)、GPS(全球定位系统，Global Positioning System)、气压计和视觉惯导里程计等传感器中的至少一种。飞行控制器161用于控制UAV 110的飞行，例如，可以根据传感系统162测量的姿态信息控制UAV 110的飞行。
载体120可以用来承载负载180。例如，当载体120为云台设备时，负载180可以为拍摄设备(例如，相机、摄像机等)，本申请的实施例并不限于此，例如，载体也可以是用于承载武器或其它负载的承载设备。
显示设备130位于无人飞行系统100的地面端，可以通过无线方式与UAV 110进行通信，并且可以用于显示UAV 110的姿态信息。另外，当负载123为拍摄设备时，还可以在显示设备130上显示拍摄设备拍摄的图像。应理解，显示设备130可以是独立的设备，也可以设置在遥控装置140中。
遥控装置140位于无人飞行系统100的地面端，可以通过无线方式与UAV 110进行通信，用于对UAV 110进行远程操纵。遥控装置例如可以是遥控器或者安装有控制UAV的APP(应用程序，Application)的遥控装置，例如，智能手机、平板电脑等。本申请的实施例中，通过遥控装置接收用户的输入，可以指通过遥控器上的拔轮、按钮、按键、摇杆等输入装置或者遥控装置上的用户界面(UI)对UAV进行操控。
除了上述提到的可移动设备，本发明实施例可以应用于其它具有摄像头的载具，例如虚拟现实(Virtual Reality，VR)/增强现实(Augmented Reality，AR)眼镜等设备。
图2是根据本申请实施例的图像处理方法200的示意性流程图。
可选地，方法200中的第一图像帧和第二图像帧可以是由单目摄像头在不同位置拍摄的。
其中，利用拍摄图像帧时单目摄像头之间的相对距离等位姿关系来进行图像帧的深度图的计算，能够在提高定位和环境感知的精度的同时，可以降低资源耗费以及节约成本。
这是由于如果无人机使用结构光摄像头进行定位和环境感知，这种摄像头能够直接获取到图像帧的像素点的深度信息，但是这种摄像头在强光环境下表现很差，容易受到干扰，价格也较为昂贵。另外，如果使用双/多目视觉模块进行定位和环境感知，由间隔一定距离的两个以上摄像头组成，靠着两个摄像头同一时刻拍摄的照片的差异，来计算三维深度信息，但是双/多目摄像头之间的旋转和位置，直接影响了其测量有效的范围和精度，故双/多目视觉模块对于结构要求比较高。因此，在无人机越来越小型化和便携化的今天，结构光摄像头在户外强光环境下易受到干扰，而双/多目视觉模块对结构要求较高，且需要一定的间隔，还需要无遮挡，并不是所有无人机都能够适用。
而非结构光的单目摄像头同时兼有重量轻、体积小、价格低廉和功耗低的特点，如果使用单目摄像头拍摄的图像做即时定位与地图构建(simultaneous localization andmapping，SLAM)，则造成资源耗费比较大，在无人机上难以实现。
因此，在方法200中，可以利用单目摄像头拍摄的图像帧之间的位姿关系来进行图像帧的深度图的计算，可以在提高定位和环境感知的精度的同时，降低资源耗费以及节约成本。
当然，方法200中的该第一图像帧和该第二图像帧也可以是双目或多目摄像头在相同时刻或不同时刻拍摄的，本申请实施例对此不作具体限定。
可选地，本申请实施例提到的位姿关系可以由摄像头拍摄图像帧时的位置关系(可以称为平移变换和位置变换等)和/或旋转关系(也可以称为旋转变换等)来表征。
其中，上述提到的位置关系可以通过相对距离来表征，其中可以通过以下公式1来计算相对距离||t||2：
其中，t＝(tx,ty,tz)T，tx、ty和tz可以分别表示三维的三个方向的移动距离。
以及，上述提到的旋转关系可以通过旋转角度来表征，可以结合四元数通过以下公式1来计算旋转角度θ：
Figure BDA0002314830170000062
其中，q＝(q0,q1,q2,q3)，其中，q0是四元数中实部对应的数值，q1、q2和q3分别表示四元数中虚部对应的数值。
应理解，式1和式2所表现的位姿关系仅仅是一种可选的实现方式，本申请实施例的位姿关系还可以存在其他的实现方式，例如，旋转角度可以通过欧拉角来计算，本申请实施例对此不作具体限定。
可选地，在本申请实施例中，本申请实施例提到的位姿关系可以是由摄像头的承载设备上的视觉惯性里程计(Visual–Inertial Odometry，VIO)的输出数据得到的。其中，VIO算法采用了多目融合方案解算拍摄不同图像帧时的位姿关系，其结果相对于对摄像头(例如，单目摄像头)拍摄的图像帧进行集束调整算法(Bundle Adjustment，BA)计算位姿关系更加稳定可靠，鲁棒性更好。
在110中，图像处理设备获取拍摄第一图像帧和第二图像帧时摄像头的相对距离。
可选地，在本申请实施例中，在摄像头拍摄到第一图像帧之后，可以从已拍摄的图像帧中获取第二图像帧，用于后续结合第二图像帧，来得到第一图像帧中的像素的深度信息，以生成第一图像帧的深度信息。
具体地，在对摄像头(例如，单目摄像头)拍摄的第一图像帧进行深度计算时，需要选择第二图像帧，此时可以从已拍摄的图像帧中进行筛选，作为计算深度信息的图像序列，如果将所有已拍摄的图像帧都用来计算第一图像帧的深度信息则一是会导致计算量很大，二是错误的可能性很高，反而会把正确的结果带偏，这是由于第一图像帧与选择的第二图像帧之间的运动合适，才能计算出比较好的结果。
从而，图像处理设备可以基于拍摄第一图像帧和其他已拍摄的图像帧时摄像头的位姿关系，从已拍摄的图像帧中选择第二图像帧。
可选地，在本申请实施例中，拍摄该第一图像帧和该第二图像帧时该摄像头的位姿关系满足以下条件：
旋转角度变化小于或等于第一阈值；和/或，
位置变化大于或等于第二阈值。
具体地，针对拍摄第一图像帧和第二图像帧时摄像头的位姿关系可以满足以下式3和式4表达的条件：
Figure BDA0002314830170000071
Figure BDA0002314830170000072
其中，tth为距离阈值以及θth为角度阈值，这里表达的是，拍摄第一图像帧和第二图像帧时摄像头之间的位移大于一定值以及旋转角度小于一定值。
应理解，本申请实施例提到的变化量小于或等于特定值，或某值的绝对值小于或等于特定值，可以是指该变化量或某值的二范数小于或等于特定值。
应理解，除了按照式3和式4表征的条件来选择第二图像帧之外，还可以利用其他的实现方式来选择图像帧。
例如，存在一个参考图像帧，在拍摄第一图像帧和该参考图像帧时摄像头之间的位移大于一定值，以及旋转角度小于一定值，则可以基于该参考图像帧选择第二图像帧，其中，该第二图像帧与参考图像帧之间满足以下条件：在拍摄第二图像帧和该参考图像帧时摄像头之间的位移大于一定值，以及旋转角度小于一定值。
其中，此处提到的已拍摄的多个图像帧可以是与第一图像帧采用同一单目摄像头在不同的时间拍摄的。
例如，对于单目摄像头的传感器(sensor)设定为20Hz固定曝光，所以每50ms将会得到一个图像帧，可以将该图像帧称为原始图像序列，VIO将会计算拍摄该图像帧与其他图像帧(例如，前一图像帧或某一特定的图像帧)时单目摄像头的位姿关系，从而可以基于计算的位姿关系，来选择用于计算当前图像帧的深度信息的图像帧。
具体地，图像处理设备在获取到单目摄像头拍摄的一个新的图像帧(也即上述第一图像帧)之后，可以根据VIO输出的数据获取该图像帧的位姿(其中，该位姿是该图像帧相对于某一图像帧的位姿)，向之前已经拍摄的图像帧查找符合条件(例如，满足以上式3和式4表现的条件)的图像帧，即上述提到的第二图像帧，其中，可以将距离该新的图像帧时间上最近的满足条件的图像帧选择作为第二图像帧，或者，可以从多个符合条件的图像帧中随机选择一个图像帧作为第二图像帧。
可选地，在本申请实施例中，摄像头拍摄该第一图像帧和第二图像帧时的曝光参数可以是相同的，例如，曝光时间和曝光增益可以是相同的。
在120中，基于拍摄第一图像帧和第二图像帧时摄像头的相对距离，图像处理设备确定多个候选深度信息。
可选地，在本申请实施例中，该多个(n个)候选深度信息中第i个候选深度信息zi通过以下式5得到：
Figure BDA0002314830170000081
其中，i＝0,1,2,...,n-1，f为该摄像头的焦距，l为该相对距离。
可选地，拍摄第一图像帧和第二图像帧时，摄像头的焦距是一致的。
应理解，在以上式5中，在i＝0时，分母为0，对应的是z0＝∞，这里不是表示可以除0。
其中，式5可以做以下理解，也即假设如图3所示，可以存在n个虚拟平面，每个虚拟平面可以对应一个深度信息。
可选地，在本申请实施例中，候选深度信息的数量(也可以理解为图3所示的虚拟平面的数量)可以是可调的，具体可以与所需的深度图的精度有关，如果需要较高精度的深度图，则可以将该数量设的大些，也即上述n的取值较大，如果需要较低精度的深度图，则可以将该数量设的小些，也即上述n的取值较小。
其中，在拍摄第一图像帧和第二图像帧的摄像头为单目摄像头时，可以将拍摄第一图像帧和第二图像帧时单目摄像头的相对距离称为单目摄像头的虚拟基线(baseline)。
在130中，基于拍摄该第一图像帧和该第二图像帧时该摄像头的位姿关系，从该多个候选深度信息中，图像处理设备为该第一图像帧中的像素点选择深度信息。
可选地，在本申请实施例中，图像处理设备在为第一图像帧的各个像素点选择深度信息之后，可以生成和/或输出该第一图像帧的深度图，以用于无人机的避障和/或环境感知等。
可选地，图像处理设备可以基于拍摄该第一图像帧和该第二图像帧时该摄像头的位姿关系，以及分别结合该多个候选深度信息，将该第一图像帧中的像素点向该第二图像帧进行投影；基于该第一图像帧中的第一像素点(可以为第一图像帧中的任一像素点)的像素信息，以及分别结合不同候选深度信息进行投影时相应位置的像素点的像素信息，从该多个候选深度信息中，为该第一像素点选择该深度信息。
具体地，可以采用用于表征拍摄第一图像帧和第二图像帧时摄像头的位姿关系构建Hik，构建Hik的方式可以如下式6所示：
Figure BDA0002314830170000091
其中，在式6中，R＝[ri.1,ri.2,ri.3]表示拍摄第一图像帧和第二图像帧时摄像头在三维空间的三个方向的旋转向量,t＝[ti,1,ti,2,ti,3]表示拍摄第一图像帧和第二图像帧时摄像头在三维空间的三个方向的平移向量,wk＝1/zi；K表示相机内部参数矩阵。
此时，图像处理设备可以利用Hik将第一图像帧的像素向第二图像帧进行投影，第一图像帧中的每个像素点可以在第二图像帧中对应一个像素位置，在计算第一图像帧的一个像素点的深度信息时，可以利用该像素点的像素信息与利用候选深度信息zi进行投影时相应位置的像素点的像素信息的差异，在计算了多个候选深度信息对应的差异之后，并从该多个候选深度信息中，为该第一像素点选择深度信息。
可选地，上述提到的像素信息可以是像素值、灰度信息(此时图像帧可以为灰度图，其中，该灰度信息具体可以为亮度值)或色彩信息(此时图像帧可以为彩色图)等。
可选地，在本申请实施例中，图像处理设备可以使用平均绝对差算法(MeanAbsolute Differences，MAD)、误差平方和算法(Sum of Squared Differences，SSD)、绝对误差和算法(Sum of Absolute Difference，SAD)、归一化积相关算法(Normalized CrossCorrelation，NCC)、序贯相似性检测算法(Sequential Similiarity DetectionAlgorithm，SSDA)或者绝对变换误差和算法(Sum of Absolute Transformed Difference，SATD)，来计算各个候选深度信息对应的匹配分数值，找出每个像素点最匹配的Hi，则用于计算该Hi的Zi即为该像素点的深度信息。
可选地，在本申请实施例中，图像处理设备可以基于该第一像素点的像素信息分别与利用不同候选深度信息进行投影时相应位置的像素点的像素信息的差异，为该第一像素点构建第一代价函数；基于该多个候选深度信息分别对应的该第一代价函数，从该多个候选深度信息中，为该第一像素点选择该深度信息。
例如，对于SSD而语言，可以利用以下式7计算第一代价函数：
Figure BDA0002314830170000101
其中，k＝0,1,2,…,n-1，pu、pv表示图像帧上某一点p的横坐标u和纵坐标v，f(i,j)表示第一图像帧中第一像素点的像素信息对应的值，以及g(i,j)表示第二图像帧中相应位置的像素点的像素信息对应的值。
可选地，在本申请实施例中，基于该多个候选深度信息分别对应的该第一代价函数以及基于第二代价函数，从该多个候选深度信息中，为该第一像素点选择该深度信息，其中，该第二代价函数是为该第一图像帧中的第二像素点构建的代价函数；其中，在该第二像素点为该摄像头的固定遮挡区域对应的像素点时，该第二代价函数的取值大于或等于预设值。
具体地，在无人机的应用场景中，对于机臂等固定遮挡区域，图像处理设备可以预先获知其所在区域(机臂，浆叶会出现的区域，由于飞行器结构固定，所以会出现在图像帧的固定区域)在图像帧中对应像素点，可以将该像素点对应的代价置为一个较大的值(例如，cost[pu][pv][k]＝Cmax,k＝0,1,2,...,n-1)，让其无法影响周围的区域的像素点的深度信息的计算。
可选地，在本申请实施例中，可以采用半全局块匹配(semi-global blockmatching，SGBM)算法计算像素点的深度信息。
例如，可以利用以下式8进行计算：
其中，p-r指在指向当前像素点p的某个方向上，像素点p在该方向的相邻像素点。
Lr(p，d)表示沿着当前方向，当当前像素点p的视差(与深度信息呈反比)取值为d时，其最小代价值。
其中，这个最小值可以从4种可能的候选值中选取的最小值：
第1种可能是当前像素点与前一个像素点视差值相等时，其最小的代价值。
第2和3种可能是当前像素点与前一个像素视差值差1(多1或少1)时，其最小的代价值+惩罚系数P1。
第4种可能是当前像素点与前一个像素视差值的差大于1时，其最小的代价值+惩罚系数P2。
在分别计算了每个方向的代价值时，可以将该多个方向，例如8个方向的代价值累计值，选取累加代价值最小的深度信息作为该像素的深度信息，例如，可以通过以下公式9进行累加：
Figure BDA0002314830170000111
可选地，在本申请实施例中，图像处理设备可以将该第一图像帧中天空对应的像素点的深度信息设置为无穷远，或者将该天空对应的像素点设置为无效点。
可选地，在本申请实施例中，为了保证第一图像帧的深度信息的准确，可以对第一图像帧中至少部分像素点的深度信息进行验证。
具体地，图像处理设备可以获取该第二图像帧的像素点的深度信息；利用该第二图像帧的像素点的深度信息，对该第一图像帧的像素点的深度信息进行验证。
其中，以上介绍了以第二图像帧为参照帧，来计算第一图像帧的各个像素点的深度信息，此处可以以第一图像帧为参照帧，来计算第二图像帧的各个像素点的深度信息，具体的实现方式可以参照上文的描述，为了简洁，在此不再赘述。
因此，利用第二图像帧的深度信息，对第一图像帧的深度信息进行验证，可以保证深度信息的准确性。
在本申请实施例中，受限制于机载计算资源有限，可以采用第一图像帧和第二图像帧两个图像帧进行深度信息的计算，避免采用较多的图像帧进行深度信息的计算，这是由于特别对于单目摄像头来说，图像帧之间间隔的时间越长不确定性越大，但是为了进一步提升采用两个图像帧进行深度计算的准确性，可以对深度信息进行验证。
可选地，在本申请实施例中，图像处理设备利用拍摄该第一图像帧和该第二图像帧时该摄像头的位姿关系，以及该第二图像帧的像素点的深度信息，对该第一图像帧的像素点的深度信息进行验证。
可选地，本申请实施例的深度信息的验证可以排除第一图像帧中的动态物体对应的像素点。
具体地，可以将第一图像帧上某一像素点投影变换到第二图像帧上，其中，式10和11示出了投影变换的数学关系：
Figure BDA0002314830170000121
Figure BDA0002314830170000122
其中，p是第一图像帧的像素坐标系上的一个像素点，p'是投影变换后的点，也即第二图像帧的像素坐标系上与p对应的点，Pc为相机坐标系的与p对应的三维(3D)点(也可以称为3D位置)。
d为p点对应的深度信息，R为第二图像帧相对于第一图像帧的旋转关系矩阵，t为第二图像帧相对于第一图像帧的位移关系矩阵。[x,y,z]T为相机平面物理坐标系上的与p对应的3D点，降维后可以得到像素坐标系的点p'。
其中，相机模型可以表征为以下式12：
其中，[u,v,1]T表示像素坐标中的2D点；[xw,yw,zw]T表示世界坐标系中的3D点；矩阵K表示相机校正矩阵(Camera calibration matrix)，即标识每个相机的内参(IntrinsicParameters)；R表示旋转矩阵，T表示位移矩阵R和T为相机的外参Extrinsic Matrix，表达的是三维空间中，世界坐标系到相机坐标系的旋转与位移变换。
可选地，对于有限投影相机(Finite projective camera)而言，矩阵K可以表示5个内参，即K可以如下式13所示：
Figure BDA0002314830170000131
其中，αx＝fmx，αy＝fmy，f为焦距(focal length)，mx和my分别为x，y方向上，单位距离的像素数(scale factors)，γ为x，y轴之间的畸变参数(skew parameters)，μ0，v0为光心位置(principal point)。
在理想情况下，即图像帧的深度信息以及两个图像帧间的位姿关系均正确，且物体静止的情况下，式10和11才会成立，即第一图像帧上的像素点，才能通过公式10和11，对应在第二图像帧上的位置。
式10和11考虑了两个图像帧拍摄时，摄像头的相对位置和旋转关系，如果物体自身发生了移动，那式10和11就不成立。动态物体上的特征由于匹配错误，会导致计算的深度错误，但由于第一图像帧和第二图像帧深度图错的一样的概率很低，所以可以通过反证法，假设第一图像帧和第二图像帧的深度信息和位姿关系均正确，并基于式10和11，则可以对第一图像帧的深度信息进行验证。
具体地，图像处理设备可以根据该第一图像帧中的第三像素点(可以为第一图像帧中的像素点)的像素坐标以及该第三像素点的深度信息，确定该第一像素点的3D位置；根据该第三像素点的3D位置，以及拍摄该第一图像帧和该第二图像帧时该摄像头的位姿关系，得到该第三像素点在该第二图像帧对应的第四像素点；根据该第四像素位置的深度信息，以及该第四像素点的像素坐标，确定该第四像素位置的3D位置；根据该第四像素点的3D位置，以及拍摄该第一图像帧和该第二图像帧时该摄像头的位姿关系，得到该第四像素点在该第一图像帧对应的第五像素点；比较该第三像素点和该第五像素点的差异；根据比较结果，确定该第三像素点的深度信息的准确性。
其中，第四像素点的像素坐标不是整像素坐标时，可以利用周围像素进行插值运算的方式得到该第四像素点的深度信息。
例如，如图4所示，对于像素点(x，y)的深度信息可以通过对像素点(x1，y1)，(x1，y2)，(x2，y1)和(x2，y2)的深度信息进行插值运算得到。
可选地，在本申请实施例中，如果图像帧为灰度图，则比较第三像素点和第五像素点的灰度信息，具体地，可以为亮度值，在该第三像素点的亮度值(intensity)与该第五像素点的亮度值对应的差值的绝对值大于或等于第三阈值时，确定该第三像素点的深度信息不准确。
其中，在该第三像素点的深度信息不准确时，放弃得到的该第三像素点的深度信息，也可以将该第三像素点置为无效点。
可选地，在本申请实施例中，在第一图像帧的深度信息不准确的像素点的数量超过一定数量时，也可以放弃该第一图像帧的深度信息。
为了更加清楚地理解本申请提到的验证方法。以下将结合图5进行详细说明。
在图5中的方法300中，假设需要对图像帧K1的深度信息进行验证，其中，K1的深度信息可以是以K2为参照进行获取的，K2的深度信息也可以是以图像帧K1为参照进行获取的。具体的验证的流程可以如下所示。
301、取图像帧K1的像素坐标系上任意一像素点p，在深度图上获取p对应的深度d。
302、根据相机内参K以及该p的深度d，得到像素点p在K1所在的相机坐标系下对应的3D位置为d·K-1·p。
303、通过拍摄图像帧K1和K2时相机的位姿关系，将p对应的3D位置转到图像帧K2所在的相机坐标系下，得到R(d·K-1p)+t。
304，结合相机内参，计算得到上述3D点对应到图像帧K2的相机平面物理坐标系的点[x,y,z]T＝K(R(d·K-1·p)+t)。
305、计算出p点投影变换到图像帧K2的像素坐标系的点p1。
306、获取像素点p1的深度信息。
此时，p1的像素坐标很有可能是小数，但是对应的像素坐标系上并无小数，只有整数，这里获取点的深度信息的时候，可以采用双线性差值(Bilinear Interpolation)，取亚像素。通过双线性插值，计算出p1点在图像帧K2上的深度信息d1。
307，再通过类似上述301-305的操作，求出图像帧K2上p1在K1对应的像素点p2。
308、根据p2与p的亮度值，判断p的深度信息是否准确。
理论上，采用p推导出p1，再用p1推导出p2，p和p2应当是一个像素点，但如果二者差异过大，则认为此点不相符。例如，可以采用式14所示的判断方式。
||p-p2||>Eth 式14
其中，Eth为阈值。
此处采用的像素点的亮度值，在其它实施方式中，图像帧为彩色图时，也可以使用色彩信息进行比较。
可选地，在本申请实施例中，针对要使用的深度图(一般是最新的图像算出来的深度图，在本发明中是图像帧k1帧的深度图，虽然图像帧k2也算了深度图，可以仅用于对图像帧K1的深度信息进行验证)，其中的每个像素点可用方法300中的方法进行验证，如果某一像素点满足式17表现的条件，就认为此像素点的深度信息计算有误，此处像素点可能是动态物体，可以排除在外，再深度图上将其深度置为无穷远(一般给一个很大的值，比如10000m)或是置为无效点。由此，对获取的深度信息进行验证，可以避免由于深度信息不准确，所造成的定位和环境感知不精确地的问题。
因此，在本申请实施例中，基于拍摄第一图像帧和第二图像帧时摄像头的相对距离，确定多个候选深度信息，并基于拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，从所述多个候选深度信息中，为所述第一图像帧中的像素点选择深度信息，由于采用的是第一图像帧和第二图像帧的位姿关系来计算深度信息，可以简化深度信息的计算，避免采用BA算法或SLAM进行定位或环境感知所带来的资源耗费较大的问题。
图6是根据本申请实施例的图像处理设备400的示意性框图。如图6所示，该图像处理设备400包括：
获取单元410，用于获取拍摄第一图像帧和第二图像帧时摄像头的相对距离；
确定单元420，用于基于该相对距离，确定多个候选深度信息；
选择单元430，用于基于拍摄该第一图像帧和该第二图像帧时该摄像头的位姿关系，从该多个候选深度信息中，为该第一图像帧中的像素点选择深度信息。
可选地，在本申请实施例中，拍摄该第一图像帧和该第二图像帧时该摄像头的位姿关系和相对距离是基于以下数据得到的：该摄像头的承载设备上的视觉惯导里程计的输出数据。
可选地，在本申请实施例中，该获取单元410进一步用于：
从拍摄该第一图像帧之前已拍摄的多个图像帧中，选择该第二图像帧。
可选地，在本申请实施例中，拍摄该第一图像帧和该第二图像帧时该摄像头的位姿关系满足以下条件：
旋转角度变化小于或等于第一阈值；和/或，
位置变化大于或等于第二阈值。
可选地，在本申请实施例中，该多个候选深度信息中第i个候选深度信息zi通过以下公式得到：
Figure BDA0002314830170000161
其中，i＝0,1,2,...,n-1，f为该摄像头的焦距，l为该相对距离。
可选地，在本申请实施例中，该选择单元430进一步用于：
基于拍摄该第一图像帧和该第二图像帧时该摄像头的位姿关系，以及分别结合该多个候选深度信息，将该第一图像帧中的像素点向该第二图像帧进行投影；
基于该第一图像帧中的第一像素点的像素信息，以及分别结合不同候选深度信息进行投影时相应位置的像素点的像素信息，从该多个候选深度信息中，为该第一像素点选择该深度信息。
可选地，在本申请实施例中，该选择单元430进一步用于：
基于该第一的像素点的像素信息分别与不同候选深度信息进行投影时相应位置的像素点的像素信息的差异，为该第一像素点构建第一代价函数；
基于该多个候选深度信息分别对应的该第一代价函数，从该多个候选深度信息中，为该第一像素点选择该深度信息。
可选地，在本申请实施例中，该选择单元430进一步用于：
基于该多个候选深度信息分别对应的该第一代价函数以及基于第二代价函数，从该多个候选深度信息中，为该第一像素点选择该深度信息，其中，该第二代价函数是为该第一图像帧中的第二像素点构建的代价函数；
在该第二像素点为该摄像头的固定遮挡区域对应的像素点时，该第二代价函数的取值大于或等于预设值。
可选地，在本申请实施例中，设备400还包括验证单元440，用于：
获取该第二图像帧的像素点的深度信息；
利用该第二图像帧的像素点的深度信息，对该第一图像帧的像素点的深度信息进行验证。
可选地，在本申请实施例中，该验证单元440进一步用于：
利用拍摄该第一图像帧和该第二图像帧时该摄像头的位姿关系，以及该第二图像帧的像素点的深度信息，对该第一图像帧的像素点的深度信息进行验证。
可选地，在本申请实施例中，该验证单元440进一步用于：
根据该第一图像帧中的第三像素点的像素坐标以及该第三像素点的深度信息，确定该第一像素点的3D位置；
根据该第三像素点的3D位置，以及拍摄该第一图像帧和该第二图像帧时该摄像头的位姿关系，得到该第三像素点在该第二图像帧对应的第四像素点；
根据该第四像素点的深度信息，以及该第四像素点的像素坐标，确定该第四像素点的3D位置；
根据该第四像素点的3D位置，以及拍摄该第一图像帧和该第二图像帧时该摄像头的位姿关系，得到该第四像素点在该第一图像帧对应的第五像素点；
比较该第三像素点和该第五像素点的差异；
根据比较结果，确定该第三像素点的深度信息的准确性。
可选地，在本申请实施例中，第一图像帧为灰度图，该验证单元440进一步用于：
在该第三像素点的表征灰度信息的值与该第五像素点的表征灰度信息的值之间的差值的绝对值大于或等于第三阈值时，确定该第三像素点的深度信息不准确。
可选地，在本申请实施例中，设备400还包括放弃单元450，用于：
在该第三像素点的深度信息不准确时，放弃得到的该第三像素点的深度信息。
可选地，在本申请实施例中，设备400还包括设置单元460，用于：
将该第一图像帧中天空对应的像素点的深度信息设置为无穷远，或者将该天空对应的像素点设置为无效点。
可选地，在本申请实施例中，该摄像头为单目摄像头。
应理解，该设备400可以实现方法200中的相应操作，为了简洁，在此不再赘述。
图7是根据本申请实施例的图像处理设备500的示意性框图
可选地，该图像处理设备500可以包括多个不同的部件，这些部件可以作为集成电路(integrated circuits，ICs)，或集成电路的部分，离散的电子设备，或其它适用于电路板(诸如主板，或附加板)的模块，也可以作为并入计算机系统的部件。
可选地，该图像处理设备可以包括处理器510和与处理器510耦合的存储器520。
处理器510可以包括一个或多个通用处理器，诸如中央处理单元(centralprocessing unit，CPU)，或处理设备等。具体地，该处理器510可以是复杂指令集处理(complex instruction set computing，CISC)微处理器，超长指令字(very longinstruction word，VLIW)微处理器，实现多个指令集组合的微处理器。该处理器也可以是一个或多个专用处理器，诸如应用专用集成电路(application specific integratedcircuit，ASIC),现场可编程门阵列(field programmable gate array，FPGA),数字信号处理器(digital signal processor，DSP)。
处理器510可以与存储器520通信。该存储器520可以为磁盘、光盘、只读存储器(read only memory,ROM)，闪存，相变存储器。该存储器520可以存储有处理器存储的指令，和/或，可以缓存一些从外部存储设备存储的信息。可选地，存储器520可以独立于处理器510，也可以为处理器510中的一部分。
可选地，除了处理器520和存储器520，图像处理设备可以包括显示控制器和/或显示设备单元530，收发器540，视频输入输出单元550，音频输入输出单元560，其他输入输出单元570。图像处理设备500包括的这些部件可以通过总线或内部连接互联。
可选地，该收发器540可以是有线收发器或无线收发器，诸如，WIFI收发器，卫星收发器，蓝牙收发器，无线蜂窝电话收发器或其组合等。
可选地，视频输入输出单元550可以包括诸如摄像机的图像处理子系统，其包括光传感器，电荷耦合器件(charged coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide semiconductor，CMOS)光传感器，以用于实现拍摄功能。
可选地，该音频输入输出单元560可以包括扬声器，话筒，听筒等。
可选地，其他输入输出设备570可以包括存储设备，universal serial bus(USB)端口，串行端口，并行端口，打印机，网络接口等。
可选地，该图像处理设备500可以执行方法200所示的操作，为了简洁，在此不再赘述。
可选地，图像处理设备400-500可以位于可移动设备中。可移动设备可以在任何合适的环境下移动，例如，空气中(例如，定翼飞机、旋翼飞机，或既没有定翼也没有旋翼的飞机)、水中(例如，轮船或潜水艇)、陆地上(例如，汽车或火车)、太空(例如，太空飞机、卫星或探测器)，以及以上各种环境的任何组合。可移动设备可以是飞机，例如无人机(UnmannedAerial Vehicle，简称为“UAV”)(此时，图像处理设备400-500可以是无人机中的飞行控制器)。在一些实施例中，可移动设备可以承载生命体，例如，人或动物。
图8是根据本申请实施例的摄像装置600的示意性框图。该摄像装置600包括摄像头610和处理器620；所述摄像头610用于获取图像帧，所述处理器620用于基于所述摄像头获取的图像帧，执行以下操作：获取拍摄第一图像帧和第二图像帧时所述摄像头的相对距离；基于所述相对距离，确定多个候选深度信息；基于拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，从所述多个候选深度信息中，为所述第一图像帧中的像素点选择深度信息。
其中，该摄像头610还可以称为摄像组件，或者摄像头610可以为摄像装置600包括的用于获取图像帧的摄像组件的一部分。
该处理器620可以用于实现上述方法实施例中的图像处理方法，为了简洁，在此不再赘述。
进一步地，该摄像装置600还可以包括存储器，处理器620可以调用存储器中的程序，执行上述方法实施例中的图像处理方法，为了简洁，在此不再赘述。
其中，该存储器可以独立于处理器620，也可以是处理器620中的一部分。
图9是根据本申请实施例的无人机700的示意性框图。该无人机700可以包括动力系统710、传感系统720和处理器730。
其中，该动力系统710在处理器730的控制下为该无人机700提供动力；该传感系统720包括摄像头722，用于拍摄图像帧；该处理器730用于基于该摄像头722拍摄的图像帧计算深度信息，以控制该无人机700的飞行，其中，该处理器730具体用于：获取拍摄第一图像帧和第二图像帧时该摄像头的相对距离；基于该相对距离，确定多个候选深度信息；基于拍摄该第一图像帧和该第二图像帧时该摄像头的位姿关系，从该多个候选深度信息中，为该第一图像帧中的像素点选择深度信息。
进一步地，该传感系统720还包括视觉惯导里程计724，其中，拍摄该第一图像帧和该第二图像帧时该摄像头722的位姿关系和相对距离是基于该视觉惯导里程计724的输出数据得到的。
其中，该摄像头722还可以称为摄像组件，或者摄像头可以为无人机包括的用于获取图像帧的摄像组件的一部分。
其中，该处理器730可以用于实现上述方法实施例中的图像处理方法，为了简洁，在此不再赘述。
可选地，该处理器730可以置于飞行控制器中，或者也可以为飞行控制器，或者也可以置于摄像头中。
可选地，该无人机700的具体描述可以参考飞行控制系统100中的描述，为了简洁，在此不再赘述。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (61)

1.一种图像处理方法，其特征在于，包括：
获取拍摄第一图像帧和第二图像帧时摄像头的相对距离；
基于所述相对距离，确定多个候选深度信息；
基于拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，从所述多个候选深度信息中，为所述第一图像帧中的像素点选择深度信息。
2.根据权利要求1所述的方法，其特征在于，拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系和相对距离是基于以下数据得到的：所述摄像头的承载设备上的视觉惯导里程计的输出数据。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
从拍摄所述第一图像帧之前已拍摄的多个图像帧中，选择所述第二图像帧。
4.根据权利要求3所述的方法，其特征在于，拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系满足以下条件：
旋转角度变化小于或等于第一阈值；和/或，
位置变化大于或等于第二阈值。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述多个候选深度信息中第i个候选深度信息zi通过以下公式得到：
Figure FDA0002314830160000011
其中，i＝0,1,2,...,n-1，f为所述摄像头的焦距，l为所述相对距离。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述从所述多个候选深度信息中，为所述第一图像帧中的像素点选择深度信息，包括：
基于拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，以及分别结合所述多个候选深度信息，将所述第一图像帧中的像素点向所述第二图像帧进行投影；
基于所述第一图像帧中的第一像素点的像素信息，以及分别结合不同候选深度信息进行投影时相应位置的像素点的像素信息，从所述多个候选深度信息中，为所述第一像素点选择所述深度信息。
7.根据权利要求6所述的方法，其特征在于，所述从所述多个候选深度信息中，为所述第一像素点选择所述深度信息，包括：
基于所述第一的像素点的像素信息分别与不同候选深度信息进行投影时相应位置的像素点的像素信息的差异，为所述第一像素点构建第一代价函数；
基于所述多个候选深度信息分别对应的所述第一代价函数，从所述多个候选深度信息中，为所述第一像素点选择所述深度信息。
8.根据权利要求7所述的方法，其特征在于，所述从所述多个候选深度信息中，为所述第一像素点选择所述深度信息，包括：
基于所述多个候选深度信息分别对应的所述第一代价函数以及基于第二代价函数，从所述多个候选深度信息中，为所述第一像素点选择所述深度信息，其中，所述第二代价函数是为所述第一图像帧中的第二像素点构建的代价函数；
在所述第二像素点为所述摄像头的固定遮挡区域对应的像素点时，所述第二代价函数的取值大于或等于预设值。
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述方法还包括：
获取所述第二图像帧的像素点的深度信息；
利用所述第二图像帧的像素点的深度信息，对所述第一图像帧的像素点的深度信息进行验证。
10.根据权利要求9所述的方法，其特征在于，所述利用所述第二图像帧的像素点的深度信息，对所述第一图像帧的像素点的深度信息进行验证，包括：
利用拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，以及所述第二图像帧的像素点的深度信息，对所述第一图像帧的像素点的深度信息进行验证。
11.根据权利要求10所述的方法，其特征在于，所述利用拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，以及所述第二图像帧的像素点的深度信息，对所述第一图像帧的像素点的深度信息进行验证，包括：
根据所述第一图像帧中的第三像素点的像素坐标以及所述第三像素点的深度信息，确定所述第一像素点的3D位置；
根据所述第三像素点的3D位置，以及拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，得到所述第三像素点在所述第二图像帧对应的第四像素点；
根据所述第四像素点的深度信息，以及所述第四像素点的像素坐标，确定所述第四像素点的3D位置；
根据所述第四像素点的3D位置，以及拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，得到所述第四像素点在所述第一图像帧对应的第五像素点；
比较所述第三像素点和所述第五像素点的差异；
根据比较结果，确定所述第三像素点的深度信息的准确性。
12.根据权利要求11所述的方法，其特征在于，所述第一图像帧为灰度图，所述根据所述比较结果，确定所述第三像素点的深度信息的准确性，包括：在所述第三像素点的表征灰度信息的值与所述第五像素点的表征灰度信息的值之间的差值的绝对值大于或等于第三阈值时，确定所述第三像素点的深度信息不准确。
13.根据权利要求11或12所述的方法，其特征在于，所述方法还包括：
在所述第三像素点的深度信息不准确时，放弃得到的所述第三像素点的深度信息。
14.根据权利要求1至13中任一项所述的方法，其特征在于，所述方法还包括：
将所述第一图像帧中天空对应的像素点的深度信息设置为无穷远，或者将所述天空对应的像素点设置为无效点。
15.根据权利要求1至14中任一项所述的方法，其特征在于，所述摄像头为单目摄像头。
16.一种图像处理设备，其特征在于，包括：
获取单元，用于获取拍摄第一图像帧和第二图像帧时摄像头的相对距离；
确定单元，用于基于所述相对距离，确定多个候选深度信息；
选择单元，用于基于拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，从所述多个候选深度信息中，为所述第一图像帧中的像素点选择深度信息。
17.根据权利要求16所述的设备，其特征在于，拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系和相对距离是基于以下数据得到的：所述摄像头的承载设备上的视觉惯导里程计的输出数据。
18.根据权利要求16或17所述的设备，其特征在于，所述获取单元进一步用于：
从拍摄所述第一图像帧之前已拍摄的多个图像帧中，选择所述第二图像帧。
19.根据权利要求18所述的设备，其特征在于，拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系满足以下条件：
旋转角度变化小于或等于第一阈值；和/或，
位置变化大于或等于第二阈值。
20.根据权利要求16至19中任一项所述的设备，其特征在于，所述多个候选深度信息中第i个候选深度信息zi通过以下公式得到：
Figure FDA0002314830160000041
其中，i＝0,1,2,...,n-1，f为所述摄像头的焦距，l为所述相对距离。
21.根据权利要求16至20中任一项所述的设备，其特征在于，所述选择单元进一步用于：
基于拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，以及分别结合所述多个候选深度信息，将所述第一图像帧中的像素点向所述第二图像帧进行投影；
基于所述第一图像帧中的第一像素点的像素信息，以及分别结合不同候选深度信息进行投影时相应位置的像素点的像素信息，从所述多个候选深度信息中，为所述第一像素点选择所述深度信息。
22.根据权利要求21所述的设备，其特征在于，所述选择单元进一步用于：
基于所述第一的像素点的像素信息分别与不同候选深度信息进行投影时相应位置的像素点的像素信息的差值，为所述第一像素点构建第一代价函数；
基于所述多个候选深度信息分别对应的所述第一代价函数，从所述多个候选深度信息中，为所述第一像素点选择所述深度信息。
23.根据权利要求22所述的设备，其特征在于，所述选择单元进一步用于：
基于所述多个候选深度信息分别对应的所述第一代价函数以及基于第二代价函数，从所述多个候选深度信息中，为所述第一像素点选择所述深度信息，其中，所述第二代价函数是为所述第一图像帧中的第二像素点构建的代价函数；
在所述第二像素点为所述摄像头的固定遮挡区域对应的像素点时，所述第二代价函数的取值大于或等于预设值。
24.根据权利要求16至23中任一项所述的设备，其特征在于，还包括验证单元，用于：
获取所述第二图像帧的像素点的深度信息；
利用所述第二图像帧的像素点的深度信息，对所述第一图像帧的像素点的深度信息进行验证。
25.根据权利要求24所述的设备，其特征在于，所述验证单元进一步用于：
利用拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，以及所述第二图像帧的像素点的深度信息，对所述第一图像帧的像素点的深度信息进行验证。
26.根据权利要求25所述的设备，其特征在于，所述验证单元进一步用于：
根据所述第一图像帧中的第三像素点的像素坐标以及所述第三像素点的深度信息，确定所述第一像素点的3D位置；
根据所述第三像素点的3D位置，以及拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，得到所述第三像素点在所述第二图像帧对应的第四像素点；
根据所述第四像素点的深度信息，以及所述第四像素点的像素坐标，确定所述第四像素点的3D位置；
根据所述第四像素点的3D位置，以及拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，得到所述第四像素点在所述第一图像帧对应的第五像素点；
比较所述第三像素点和所述第五像素点的差异；
根据比较结果，确定所述第三像素点的深度信息的准确性。
27.根据权利要求26所述的设备，其特征在于，所述第一图像帧为灰度图，所述验证单元进一步用于：
在所述第三像素点的表征灰度信息的值与所述第五像素点的表征灰度信息的值之间的差值的绝对值大于或等于第三阈值时，确定所述第三像素点的深度信息不准确。
28.根据权利要求26或27所述的设备，其特征在于，还包括放弃单元，用于：
在所述第三像素点的深度信息不准确时，放弃得到的所述第三像素点的深度信息。
29.根据权利要求16至28中任一项所述的设备，其特征在于，还包括设置单元，用于：
将所述第一图像帧中天空对应的像素点的深度信息设置为无穷远，或者将所述天空对应的像素点设置为无效点。
30.根据权利要求16至29中任一项所述的设备，其特征在于，所述摄像头为单目摄像头。
31.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至15中任一项所述的方法。
32.一种摄像装置，其特征在于，包括摄像头和处理器；所述摄像头用于获取图像帧，所述处理器用于基于所述摄像头获取的图像帧，执行以下操作：
获取拍摄第一图像帧和第二图像帧时所述摄像头的相对距离；
基于所述相对距离，确定多个候选深度信息；
基于拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，从所述多个候选深度信息中，为所述第一图像帧中的像素点选择深度信息。
33.根据权利要求32所述的装置，其特征在于，拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系和相对距离是基于以下数据得到的：所述摄像头的承载设备上的视觉惯导里程计的输出数据。
34.根据权利要求32或33所述的装置，其特征在于，所述处理器进一步用于：
从拍摄所述第一图像帧之前已拍摄的多个图像帧中，选择所述第二图像帧。
35.根据权利要求34所述的装置，其特征在于，拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系满足以下条件：
旋转角度变化小于或等于第一阈值；和/或，
位置变化大于或等于第二阈值。
36.根据权利要求32至35中任一项所述的装置，其特征在于，所述多个候选深度信息中第i个候选深度信息zi通过以下公式得到：
Figure FDA0002314830160000071
其中，i＝0,1,2,...,n-1，f为所述摄像头的焦距，l为所述相对距离。
37.根据权利要求32至36中任一项所述的装置，其特征在于，所述处理器进一步用于：
基于拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，以及分别结合所述多个候选深度信息，将所述第一图像帧中的像素点向所述第二图像帧进行投影；
基于所述第一图像帧中的第一像素点的像素信息，以及分别结合不同候选深度信息进行投影时相应位置的像素点的像素信息，从所述多个候选深度信息中，为所述第一像素点选择所述深度信息。
38.根据权利要求37所述的装置，其特征在于，所述处理器进一步用于：
基于所述第一的像素点的像素信息分别与不同候选深度信息进行投影时相应位置的像素点的像素信息的差异，为所述第一像素点构建第一代价函数；
基于所述多个候选深度信息分别对应的所述第一代价函数，从所述多个候选深度信息中，为所述第一像素点选择所述深度信息。
39.根据权利要求38所述的装置，其特征在于，所述处理器进一步用于：
基于所述多个候选深度信息分别对应的所述第一代价函数以及基于第二代价函数，从所述多个候选深度信息中，为所述第一像素点选择所述深度信息，其中，所述第二代价函数是为所述第一图像帧中的第二像素点构建的代价函数；
在所述第二像素点为所述摄像头的固定遮挡区域对应的像素点时，所述第二代价函数的取值大于或等于预设值。
40.根据权利要求32至39中任一项所述的装置，其特征在于，所述处理器进一步用于：
获取所述第二图像帧的像素点的深度信息；
利用所述第二图像帧的像素点的深度信息，对所述第一图像帧的像素点的深度信息进行验证。
41.根据权利要求40所述的装置，其特征在于，所述处理器进一步用于：
利用拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，以及所述第二图像帧的像素点的深度信息，对所述第一图像帧的像素点的深度信息进行验证。
42.根据权利要求41所述的装置，其特征在于，所述处理器进一步用于：
根据所述第一图像帧中的第三像素点的像素坐标以及所述第三像素点的深度信息，确定所述第一像素点的3D位置；
根据所述第三像素点的3D位置，以及拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，得到所述第三像素点在所述第二图像帧对应的第四像素点；
根据所述第四像素点的深度信息，以及所述第四像素点的像素坐标，确定所述第四像素点的3D位置；
根据所述第四像素点的3D位置，以及拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，得到所述第四像素点在所述第一图像帧对应的第五像素点；
比较所述第三像素点和所述第五像素点的差异；
根据比较结果，确定所述第三像素点的深度信息的准确性。
43.根据权利要求42所述的装置，其特征在于，所述第一图像帧为灰度图，所述处理器进一步用于：
在所述第三像素点的表征灰度信息的值与所述第五像素点的表征灰度信息的值之间的差值的绝对值大于或等于第三阈值时，确定所述第三像素点的深度信息不准确。
44.根据权利要求42或43所述的装置，其特征在于，所述处理器进一步用于：
在所述第三像素点的深度信息不准确时，放弃得到的所述第三像素点的深度信息。
45.根据权利要求32至44中任一项所述的装置，其特征在于，所述处理器进一步用于：
将所述第一图像帧中天空对应的像素点的深度信息设置为无穷远，或者将所述天空对应的像素点设置为无效点。
46.根据权利要求32至45中任一项所述的装置，其特征在于，所述摄像头为单目摄像头。
47.一种无人机，其特征在于，包括动力系统、传感系统和处理器；
其中，所述动力系统用于为所述无人机提供动力；
所述传感系统包括摄像头，用于拍摄图像帧；
所述处理器用于基于所述摄像头拍摄的图像帧计算深度信息，以控制所述无人机的飞行，其中，所述处理器具体用于：
获取拍摄第一图像帧和第二图像帧时所述摄像头的相对距离；
基于所述相对距离，确定多个候选深度信息；
基于拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，从所述多个候选深度信息中，为所述第一图像帧中的像素点选择深度信息。
48.根据权利要求47所述的无人机，其特征在于，所述传感系统还包括视觉惯导里程计，其中，拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系和相对距离是基于所述视觉惯导里程计的输出数据得到的。
49.根据权利要求47或48所述的无人机，其特征在于，所述处理器进一步用于：
从拍摄所述第一图像帧之前已拍摄的多个图像帧中，选择所述第二图像帧。
50.根据权利要求49所述的无人机，其特征在于，拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系满足以下条件：
旋转角度变化小于或等于第一阈值；和/或，
位置变化大于或等于第二阈值。
51.根据权利要求47至50中任一项所述的无人机，其特征在于，所述多个候选深度信息中第i个候选深度信息zi通过以下公式得到：
Figure FDA0002314830160000091
其中，i＝0,1,2,...,n-1，f为所述摄像头的焦距，l为所述相对距离。
52.根据权利要求47至51中任一项所述的无人机，其特征在于，所述处理器进一步用于：
基于拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，以及分别结合所述多个候选深度信息，将所述第一图像帧中的像素点向所述第二图像帧进行投影；
基于所述第一图像帧中的第一像素点的像素信息，以及分别结合不同候选深度信息进行投影时相应位置的像素点的像素信息，从所述多个候选深度信息中，为所述第一像素点选择所述深度信息。
53.根据权利要求52所述的无人机，其特征在于，所述处理器进一步用于：
基于所述第一的像素点的像素信息分别与不同候选深度信息进行投影时相应位置的像素点的像素信息的差异，为所述第一像素点构建第一代价函数；
基于所述多个候选深度信息分别对应的所述第一代价函数，从所述多个候选深度信息中，为所述第一像素点选择所述深度信息。
54.根据权利要求53所述的无人机，其特征在于，所述处理器进一步用于：
基于所述多个候选深度信息分别对应的所述第一代价函数以及基于第二代价函数，从所述多个候选深度信息中，为所述第一像素点选择所述深度信息，其中，所述第二代价函数是为所述第一图像帧中的第二像素点构建的代价函数；
在所述第二像素点为所述摄像头的固定遮挡区域对应的像素点时，所述第二代价函数的取值大于或等于预设值。
55.根据权利要求47至54中任一项所述的无人机，其特征在于，所述处理器进一步用于：
获取所述第二图像帧的像素点的深度信息；
利用所述第二图像帧的像素点的深度信息，对所述第一图像帧的像素点的深度信息进行验证。
56.根据权利要求55所述的无人机，其特征在于，所述处理器进一步用于：
利用拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，以及所述第二图像帧的像素点的深度信息，对所述第一图像帧的像素点的深度信息进行验证。
57.根据权利要求56所述的无人机，其特征在于，所述处理器进一步用于：
根据所述第一图像帧中的第三像素点的像素坐标以及所述第三像素点的深度信息，确定所述第一像素点的3D位置；
根据所述第三像素点的3D位置，以及拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，得到所述第三像素点在所述第二图像帧对应的第四像素点；
根据所述第四像素点的深度信息，以及所述第四像素点的像素坐标，确定所述第四像素点的3D位置；
根据所述第四像素点的3D位置，以及拍摄所述第一图像帧和所述第二图像帧时所述摄像头的位姿关系，得到所述第四像素点在所述第一图像帧对应的第五像素点；
比较所述第三像素点和所述第五像素点的差异；
根据比较结果，确定所述第三像素点的深度信息的准确性。
58.根据权利要求57所述的无人机，其特征在于，所述第一图像帧为灰度图，所述处理器进一步用于：
在所述第三像素点的表征灰度信息的值与所述第五像素点的表征灰度信息的值之间的差值的绝对值大于或等于第三阈值时，确定所述第三像素点的深度信息不准确。
59.根据权利要求57或58所述的无人机，其特征在于，所述处理器进一步用于：
在所述第三像素点的深度信息不准确时，放弃得到的所述第三像素点的深度信息。
60.根据权利要求47至59中任一项所述的无人机，其特征在于，所述处理器进一步用于：
将所述第一图像帧中天空对应的像素点的深度信息设置为无穷远，或者将所述天空对应的像素点设置为无效点。
61.根据权利要求47至60中任一项所述的无人机，其特征在于，所述摄像头为单目摄像头。
CN201880039085.0A 2018-07-24 2018-07-24 图像处理方法和设备、摄像装置以及无人机 Pending CN110800023A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/096905 WO2020019175A1 (zh) 2018-07-24 2018-07-24 图像处理方法和设备、摄像装置以及无人机

Publications (1)

Publication Number Publication Date
CN110800023A true CN110800023A (zh) 2020-02-14

Family

ID=69181113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880039085.0A Pending CN110800023A (zh) 2018-07-24 2018-07-24 图像处理方法和设备、摄像装置以及无人机

Country Status (2)

Country Link
CN (1) CN110800023A (zh)
WO (1) WO2020019175A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021185036A1 (zh) * 2020-03-18 2021-09-23 广州极飞科技有限公司 点云数据的生成及实时显示方法、装置、设备及介质
US11841921B2 (en) 2020-06-26 2023-12-12 Beijing Baidu Netcom Science And Technology Co., Ltd. Model training method and apparatus, and prediction method and apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563934B (zh) * 2020-06-10 2020-12-22 浙江欣奕华智能科技有限公司 单目视觉里程计尺度确定方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903096A (zh) * 2012-07-04 2013-01-30 北京航空航天大学 一种基于单目视频的对象深度提取方法
CN107025666A (zh) * 2017-03-09 2017-08-08 广东欧珀移动通信有限公司 基于单摄像头的深度检测方法及装置和电子装置
CN107749069A (zh) * 2017-09-28 2018-03-02 联想(北京)有限公司 图像处理方法、电子设备和图像处理系统
DE102017100062A1 (de) * 2017-01-03 2018-07-05 Connaught Electronics Ltd. Visuelle Odometrie

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345301B (zh) * 2013-06-18 2016-08-10 华为技术有限公司 一种深度信息获取方法和装置
CN105989590B (zh) * 2015-02-09 2019-09-17 北京三星通信技术研究有限公司 立体匹配方法和装置
CN105809681A (zh) * 2016-03-04 2016-07-27 清华大学 基于单相机的人体rgb-d数据恢复与三维重建方法
CN107123142B (zh) * 2017-05-09 2020-05-01 北京京东尚科信息技术有限公司 位姿估计方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903096A (zh) * 2012-07-04 2013-01-30 北京航空航天大学 一种基于单目视频的对象深度提取方法
DE102017100062A1 (de) * 2017-01-03 2018-07-05 Connaught Electronics Ltd. Visuelle Odometrie
CN107025666A (zh) * 2017-03-09 2017-08-08 广东欧珀移动通信有限公司 基于单摄像头的深度检测方法及装置和电子装置
CN107749069A (zh) * 2017-09-28 2018-03-02 联想(北京)有限公司 图像处理方法、电子设备和图像处理系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021185036A1 (zh) * 2020-03-18 2021-09-23 广州极飞科技有限公司 点云数据的生成及实时显示方法、装置、设备及介质
CN113496503A (zh) * 2020-03-18 2021-10-12 广州极飞科技股份有限公司 点云数据的生成及实时显示方法、装置、设备及介质
US11841921B2 (en) 2020-06-26 2023-12-12 Beijing Baidu Netcom Science And Technology Co., Ltd. Model training method and apparatus, and prediction method and apparatus

Also Published As

Publication number Publication date
WO2020019175A1 (zh) 2020-01-30

Similar Documents

Publication Publication Date Title
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
US10594941B2 (en) Method and device of image processing and camera
CN105959625B (zh) 控制无人机追踪拍摄的方法及装置
JP2020030204A (ja) 距離測定方法、プログラム、距離測定システム、および可動物体
CN109073407B (zh) 惯性测量单元的漂移标定方法、设备及无人飞行器
WO2019104571A1 (zh) 图像处理方法和设备
WO2019080052A1 (zh) 姿态标定方法、设备及无人飞行器
TWI649721B (zh) 無人飛行機之全景拍照方法與使用其之無人飛行機
WO2019144300A1 (zh) 目标检测方法、装置和可移动平台
WO2018120350A1 (zh) 对无人机进行定位的方法及装置
WO2018193574A1 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
CN112634370A (zh) 一种无人机打点方法、装置、设备及存储介质
WO2020014987A1 (zh) 移动机器人的控制方法、装置、设备及存储介质
CN113875222B (zh) 拍摄控制方法和装置、无人机及计算机可读存储介质
CN113256718B (zh) 定位方法和装置、设备及存储介质
CN110800023A (zh) 图像处理方法和设备、摄像装置以及无人机
CN112837207A (zh) 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
CN111652933B (zh) 基于单目相机的重定位方法、装置、存储介质与电子设备
CN112204946A (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
CN113361365A (zh) 定位方法和装置、设备及存储介质
US20210185235A1 (en) Information processing device, imaging control method, program and recording medium
KR20220069541A (ko) 지도제작플랫폼장치 및 이를 이용한 지도제작방법
CN110799801A (zh) 基于无人机的测距方法、装置及无人机
CN111581322B (zh) 视频中兴趣区域在地图窗口内显示的方法和装置及设备
JP2020050261A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200214