CN110720113A - 一种参数处理方法、装置及摄像设备、飞行器 - Google Patents

Abstract

一种基于影像的控制方法、装置及摄像设备、飞行器，所述方法应用于摄像设备，所述摄像设备包括视觉传感器和运动传感器，所述方法包括：确定所述视觉传感器采集的目标图像上的目标特征点；获取用于确定所述目标特征点在所述目标图像上的二维信息的观测特征参数；基于所述观测特征参数以及所述运动传感器感测的运动数据，优化所述摄像设备的图像映射参数，所述图像映射参数包括所述视觉传感器的位姿参数。本发明实施例可使得图像上的特征点能够更准确的映射到机身坐标系甚至世界坐标系，更好地保证了后续基于视觉的处理结果的准确性。

Description

一种参数处理方法、装置及摄像设备、飞行器

技术领域

本发明涉及电子技术领域，尤其涉及一种参数处理方法、装置及摄像设备、飞行器。

背景技术

随着电子技术和通信技术的不断发展，产生了一批能够智能地为用户执行不同任务的可移动平台，例如无人机、智能机器人等能够为用户完成诸如影像拍摄、区域巡查、地质监测、电力巡检等任务，甚至一些危险的爆破任务。

诸如无人机、智能机器人等可移动平台已得到了广泛的应用，对这些可移动平台的安全性和任务完成的准确性有着更高的要求。计算机视觉算法的引入相当于给这些设备赋予了观察环境的眼睛，可以更好地确保这些设备执行任务过程中的安全性和准确性。

计算机视觉算法技术依赖于摄像头获取的图片，来感知周围的环境特征，进而可以根据这些环境特征来实现定位等处理。对于图片上的特征点，直接的输出结果是该特征点在相机坐标系上的位置。在基于图片进行定位等处理时，还需要根据相机与机身坐标系之间的关系，来将相机坐标系上的位置转换到机身坐标系乃至世界坐标系下的位置。

一般而言，无人机、机器人等可移动平台上的摄像设备都是使用默认的出厂参数作为相机与机身之间的旋转位移，但随着使用以及冷热变化，移动平台的机械结构会发生一定程度的弯曲变化，至少会导致相机与机身之间的结构偏差发生了变化。此时，如果继续使用默认的图像映射参数就会造成观测误差，导致在做图像坐标系与机身坐标系等坐标系转换来计算图像中特征点的相关信息时，计算结果不够准确。

发明内容

本发明实施例提供了一种参数处理方法、装置及摄像设备、飞行器，能够优化摄像设备上视觉传感器与机身之间位姿，可使得在做坐标系映射时较好地保证计算结果的准确性。

一方面，本发明实施例提供了一种参数处理方法，所述方法应用于摄像设备，所述摄像设备包括视觉传感器和运动传感器，所述方法包括：

确定所述视觉传感器采集的目标图像上的目标特征点；

获取用于确定所述目标特征点在所述目标图像上的二维信息的观测特征参数；

基于所述观测特征参数以及所述运动传感器感测的运动数据，优化所述摄像设备的图像映射参数，所述图像映射参数包括所述视觉传感器的位姿参数。

另一方面，本发明实施例还提供了一种参数处理装置，所述参数处理装置与摄像设备相连，所述摄像设备包括视觉传感器和运动传感器，所述参数处理装置包括：

确定模块，用于确定所述视觉传感器采集的目标图像上的目标特征点；

获取模块，用于获取用于确定所述目标特征点在所述目标图像上的二维信息的观测特征参数；

处理模块，用于基于所述观测特征参数以及所述运动传感器感测的运动数据，优化所述摄像设备的图像映射参数，所述图像映射参数包括所述视觉传感器的位姿参数。

相应地，本发明实施例还提供了一种摄像设备，所述摄像设备包括机身、视觉传感器和运动传感器，所述摄像设备还包括处理器；

所述视觉传感器，用于采集环境图像；

所述运动传感器，用于采集运动数据；

所述处理器，用于执行如下步骤：

确定所述视觉传感器采集的目标图像上的目标特征点；

获取用于确定所述目标特征点在所述目标图像上的二维信息的观测特征参数；

基于所述观测特征参数以及所述运动传感器感测的运动数据，优化所述摄像设备的图像映射参数，所述图像映射参数包括所述视觉传感器的位姿参数。

相应地，本发明实施例还提供了一种飞行器，所述飞行器包括动力组件、机身、视觉传感器、运动传感器以及控制器；

所述控制器，用于执行如下步骤：

确定所述视觉传感器采集的目标图像上的目标特征点；

获取用于确定所述目标特征点在所述目标图像上的二维信息的观测特征参数；

基于所述观测特征参数以及所述运动传感器感测的运动数据，优化所述摄像设备的图像映射参数，所述图像映射参数包括所述视觉传感器的位姿参数。

本发明实施例能够基于图像和运动数据来完成视觉传感器的位姿参数的优化，方便后续能够更准确进行坐标系映射，使得图像上的特征点能够更准确的映射到机身坐标系甚至世界坐标系，更好地保证了后续基于视觉的处理结果的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的可移动平台上视觉传感器的一种位置结构示意图；

图2是本发明实施例的关于卡尔曼滤波模型的一个示意图；

图3是本发明实施例的一种参数处理方法的流程示意图；

图4是本发明实施例的另一种参数处理方法的流程示意图；

图5是本发明实施例的进行相对位姿参数异常检测的方法的流程示意图；

图6a是本发明实施例的相对位姿参数异常判定的关于特征点的一个示意图；

图6b是本发明实施例的相对位姿参数异常判定的关于特征点的另一个示意图；

图6c是本发明实施例的相对位姿参数异常判定的关于特征点的再一个示意图；

图7a是本发明实施例的关于像素误差统计结果的一个示意图；

图7b是本发明实施例的关于像素误差统计结果的另一个示意图；

图8是本发明实施例的一种参数处理装置的结构示意图；

图9是本发明实施例的一种摄像设备的结构示意图；

图10是本发明实施例的一种飞行器的结构示意图。

具体实施方式

本发明实施例涉及的摄像设备上设置了视觉传感器和运动传感器，视觉传感器用来采集环境图像，可以包括两个摄像头或者更多的摄像头，每一个摄像头能够分别采集环境图像，以执行计算机视觉处理。而运动传感器主要用来采集摄像设备机身的运动数据，例如在世界坐标系下摄像设备的旋转参数和位置参数。所说的摄像设备可以是指无人机、智能机器人、自动驾驶的汽车等具有图像采集功能的可移动平台，还可以是各种摄影器材、带双摄像头的智能手机、VR(Virtual Reality，虚拟现实)/AR(Augmented Reality，增强现实)眼镜等能够基于环境图像进行视觉处理的图像处理设备。在本发明实施例中，主要涉及到对摄像设备中的图像映射参数进行优化，特别是视觉传感器的位姿参数进行优化，以便于基于优化后的图像映射参数来完成计算机视觉处理，进而更为准确地完成摄像设备对当前环境中一些对象进行视觉测距、定位等处理。本发明实施例所说的优化主要是指对已有的图像映射参数进行优化，例如对原始标定的视觉传感器的位姿参数进行优化，得到当前的位姿参数；或者对上次优化得到的视觉传感器的位姿参数进行优化，得到当前的位姿参数。

本发明实施例的摄像设备可以包括两个摄像头，根据该两个摄像头在摄像设备机身上的排列位置，可以分别称之为左目摄像头、右目摄像头，或者还可以称之为上目摄像头或下目摄像头，为了方便描述，摄像设备包括的两个摄像头分别为第一相机和第二相机。

如图1所示的示意图，针对带第一相机和第二相机的摄像设备，需要优化的位姿参数包括：第一相机相对于机身(或相对于设置于机身的运动传感器)的位姿变换参数，例如第一相机相对于机身的旋转变换参数和平移变换参数。基于优化后的第一相机相对于机身的位姿变换参数，能够将第一相机采集的图像上的特征点在相机坐标系下的位置，转换到机身坐标系下。可以理解的是，运动传感器可以固设在机身上，因此第一相机相对于机身的位姿变换参数也可以认为是相对于运动传感器的位姿变换参数。其中，本发明实施例中，以第一相机相对于机身的位姿变换参数为例进行说明，如相对于机身重心的位姿变换参数。

需要优化的位姿参数还可以包括：第一相机和第二相机之间的相对位姿参数，例如第一相机和第二相机之间的旋转调整参数、在第一相机坐标系下第二相机相对于第一相机的位置调整参数。其中，可以先基于优化后的相对位姿参数，将第二相机采集的图像上的特征点从第二相机坐标系转换到第一相机坐标系，再基于第一相机相对于机身之间的位姿变换参数，将该特征点从第一相机坐标系转换到机身坐标系下，从而实现通过第一相机来完成第二相机采集的图像的特征点映射。

以下结合图1的示意，再以数学公式推导的方式来对本发明实施例中视觉传感器的位姿参数优化的原理和优化的过程进行描述。

1、目标图像为第一相机采集得到。此时，优化后的位姿参数包括：第一相机相对于机身或相对于运动传感器的位姿变换参数。描述如下：

根据视觉传感器所对应的相机坐标系、与摄像设备机身所在的世界坐标系之间的位置转换关系，对于空间中的一个空间三维点，有如下计算公式：

表示视觉传感器的第一相机采集到的目标图像中的目标特征点在第一相机的相机坐标系下的三维位置参数，R_cw表示世界坐标系到第一相机的相机坐标系的旋转变换参数，

表示目标特征点在世界坐标系下的三维位置参数，

表示第一相机在世界坐标系下的三维位置参数。

由于：

所以：

对公式1按照公式2进行变换得到的公式3中存在5个变量，分别为：

R_ic是视觉传感器中的第一相机到机身重心的旋转变换参数，由第一相机的安装位置结构决定。由于第一相机可能存在结构变化，因此在使用过程中会微小变化；

是视觉传感器的第一相机到机身重心的平移变换参数，由第一相机的安装位置结构决定。由于第一相机可能存在结构变化，因此使用过程中会微小变化；

R_wi是摄像设备的机身坐标系到世界坐标系的旋转参数，由摄像设备当前的姿态决定；

是摄像设备在世界坐标系下的位置参数，由摄像设备当前的位置决定；

是目标特征点所对应的环境物体上的对应点在世界坐标系下的三维位置，由该目标特征点所对应的环境物体本身的位置决定。

需要说明的是，上述各公式中参数以及上述的变量仅是用来说明本申请的位置参数优化的原理，并不是实际都需要获取具体的值，例如上述提及的变量

的具体值可以不用确定。另外，在上述公式中的各个上标和下标的字母中，f表示目标特征点，w表示世界坐标系，c表示第一相机或是第一相机的相机坐标系，i表示机身重心或是机身坐标系。

进一步地，目标特征点在第一相机的相机坐标系下的三维位置还可用以下公式表示：

经过二维转换后得到下述公式：

其中，p_f表示目标图像上目标特征点的二维预测信息。上面整个公式1至公式5描述的是从一个空间中的三维点(用

表示)最终映射到第一相机采集的目标图像上的二维点的过程，表示二维预测信息的p_f是通过诸如针孔模型(物理模型)数学推导出来的理论位置，即预测的结果。如此，在确定目标图像上的目标特征点后，可以基于该目标特征点在世界坐标下的三维位置，利用诸如针孔模型确定目标特征点在目标图像上的二维预测信息。

而实际观测还存在目标特征点对应的二维点观测值，该二维点观测值实际是指从目标图像上基于特征点跟踪算法匹配的目标特征点的二维信息，如KLT(Kanade-Lucas-Tomasi Tracking)算法。

其中，如上公式6，(u，v)^T是利用诸如KLT算法匹配得到的目标特征点(如，根据目标特征点在第一相机采集的前一张图像上的图像位置坐标，找出在当前目标图像上的位置)。(u₀，v₀)^T是光心的图像位置坐标，(u₀，v₀)^T与焦距f一起称为相机内参，是每个相机固有的属性参数，一般不会变化，可以通过出厂默认设置。

结合公式5和公式6，将关于目标特征点的上述二维信息和二维预测信息的重投影误差记为：

在本发明实施例中，可以优化上述的重投影误差，如最小化重投影误差。可以结合上述的公式1、公式2以及公式3，将公式7写成增量形式，以令残差residual表示：

将公式8写成矩阵形式：

同理可以得到residual_y。

本发明实施例中，可以不需要优化目标特征点在世界坐标系下的三维位置，从而可以通过Marginalization(忽视)算法去除residual_x和residual_y中的

并结合residual_x和residual_y得到新的残差记为r，并写成矩阵形式：

如此，通过求取argmin(r)，即可得到优化后的摄像设备的图像映射参数。其中，图像映射参数可以包括视觉传感器的位姿参数，例如位姿变换参数R_ic和

基于上述的argmin(r)，优化后的位姿参数包括：第一相机相对于机身或相对于运动传感器的旋转变换参数R_ic和平移变换参数

同时，在需要时也可以得到优化后的摄像设备的空间位姿参数，即得到机身或运动传感器在世界坐标系中的位置参数

和旋转参数R_wi。

其中，需要说明的是，在公式10中记录的是ΔR_ic表示的是：R_ic与原始标定(或者说出厂设置)的R_ic0之间的差值，R_ic0为已知。表示的是：

与原始标定(或者说出厂设置)的之间的差值，

为已知。ΔR_wi表示的是：R_wi与上一次记录的R_wi之间的差值。

表示的是：

与上一次记录的

之间的差值。argmin(r)优化计算则可以是指对R_ic0和

上一次记录的R_wi和上一次记录的

的优化计算，从而达到优化视觉传感器的位姿参数(如，位姿变换参数)和/或空间位姿参数的目的。

当然，可以理解的是，ΔR_ic也可以表示的是：R_ic与上一次标定的R_ic之间的差值，上一次标定的R_ic可以为通过记录得到。表示的是：

与上一次标定的之间的差值，上一次标定的

可以为通过记录得到。argmin(r)优化计算则可以是指对上一次标定的R_ic和上一次标定的

的优化计算，从而达到优化视觉传感器的位姿参数(如，位姿变换参数)的目的。

同样的，ΔR_wi也可以表示的是：R_wi与其对应的初始记录值R_wi0之间的差值。

也可以表示的是：

与其对应的初始记录值

之间的差值。其中，以R_wi为例，其对应的初始记录值的初始时刻可以是指：例如，在当前图像采集过程中的起始时刻。argmin(r)优化计算则可以是指对R_wi0和

的优化计算，从而达到优化机身的空间位姿参数的目的。

其中，摄像设备的运动传感器可以包括但不限于IMU(inertial measurementunit，惯性测量单元)，本发明实施例中以运动传感器为IMU为例进行说明。

通过上述第1点中所描述的方式可以直接优化视觉传感器相对于机身的位姿变换参数。在实际情况中，由于第一相机和第二相机之间还可能存在结构偏差的变化，因此，还可以根据需要对第一相机和第二相机之间的相对位姿参数进行优化。优化的推导过程如下第2点所述：

2、由第二相机采集得到目标图像，并在目标图像上确定出目标特征点，对于该目标特征点在第二相机采集采集的目标图像所对应环境空间中的三维点，可以得到如下公式：

公式11中l代表left左视摄像头，即第一相机，r代表right右视摄像头，即第二相机，

代表目标特征点在第二相机的相机坐标系下的三维位置，R_rl为旋转调整参数，用于表示第一相机到第二相机之间的旋转关系；

为位置调整参数，用于代表在第一相机的相机坐标系下，第二相机相对于第一相机的位置关系。也即是说，第一相机和第二相机之间的相对位姿参数可以包括R_rl和

在公式11中，

对应于上述提及的公式3。也就是说，需要通过将空间中的三维点

先映射到第一相机坐标系下，然后再从第一相机坐标系转换到第二相机坐标系，以此引出需要优化的第一相机和第二相机之间的相对位姿参数R_rl和

进一步地再参照公式4的方法，可以得到第二相机采集的目标图像中的目标特征点的三维位置为：

将公式12进行二维转换得到：

同上所述，可以计算得到在第二相机采集的目标图像上目标特征点的图像位置：

结合公式11、公式12、公式13、公式14，并在公式11引入前述的关于

的公式3，将关于目标特征点在目标图像上的二维信息(由公式14得到)和在目标图像上的二维预测信息(由公式13得到)的重投影误差记为：

这里的p′用于表示第二相机采集的目标图像上目标特征点的二维信息。p_f′用于表示第二相机采集的目标图像上目标特征点的二维预测信息，error′是第二相机的重投影误差。在本发明实施例中，可以优化上述的重投影误差，如最小化重投影误差。结合公式11、公式12、公式13以及公式14，并引入上述的公式3，将公式15写成增量形式，以令残差residual表示：

将residual′_x转换为矩阵形式可以得到：

同理可以得到residual′_y的表达式。

本发明实施例中，可以不需要优化目标特征点在世界坐标系下的三维位置，可以通过Marginalization(忽视)算法去除

得到：

如此，通过求取argmin(r′)，即可得到优化后的相对位姿参数，即优化后的R_rl和

同样，ΔR_rl表示的是：R_rl与上一次记录的R_rl或原始标定的R_rl0之间的差值。

表示的是：

与上一次记录的

或与原始标定的

之间的差值。argmin(r′)优化计算则可以是指对上一次记录的R_rl(或R_rl0)和上一次记录的

(或

)的优化计算，从而达到优化视觉传感器的位姿参数(相对位姿参数)的目的。

另外，可以在相机与机身之间的坐标系转换存在较大的误差等原因而导致相机之间的相对位姿参数异常时，基于公式18和argmin(r′)，同时优化得到R_rl和

以及R_ic和

基于上述的推导过程可以看出，对视觉传感器的位姿参数的优化原理是：基于视觉传感器采集的图像上目标特征点的二维信息、与该目标特征点基于运动数据预测得到的二维预测信息之间的误差最小化，误差最小化得到的相关参数值就是优化后的摄像设备的图像映射参数。其中，图像映射参数可以包括视觉传感器的位姿参数，优化后的视觉传感器的位姿参数包括上述的：R_ic和

R_rl和进一步的，根据需要，图像映射参数还可以包括摄像设备的空间位姿参数，即R_wi和

在一个实施例中，还可以在得到上述的视觉传感器的位姿参数后，可以再进一步地通过滤波法，如卡尔曼滤波法，来对计算得到的视觉传感器的位姿参数进行进一步的优化，得到最终的优化结果。

在本发明实施例中涉及的Kalman Filter(卡尔曼滤波)模型以及更新如图2所示。针对图2所示的模型以及更新，可以忽略空气阻力，最初初始化的时候，目标是一个基本固定不动的位置，但会受到随机的冲击，可以每隔Δt秒测量目标的位置，但是这个测量并非是精确的。因此，可以建立一个关于其位置以及速度的模型。

由于观测间隔较短，则可以直接使用最简单的运动模型。因此，在本发明实施例使用卡尔曼滤波模型时，可以忽略掉Kalman Filter中原本所需的B_k和u_k。并且，KalmanFilter中原本所需的F、H、R和Q是常数，所以在生成本发明实施例的卡尔曼滤波模型时，对应的时间下标也可以去掉。

目标位置以及速度可以使用线性状态空间描述，下面参考图2对卡尔曼滤波模型进行描述。

假设在(k-1)时刻与k时刻之间。根据牛顿运动定律，可以推出卡尔曼滤波模型中的A_k＝F_d，而F_d的表达式如下：

μ_k-1、∑_k-1是上一次的卡尔曼滤波模型优化输出的结果，R_k、Q_k均当做高斯分布的噪声，R_k、Q_k分别记为：P_k～N(0，σ_R)、Q_k～N(0，σ_Q)。

F_d中的I表示Identity matrix单位矩阵，b_ω表示陀螺仪的零轴偏差，b_a表示加速度计零轴偏差，a_m表示加速度计的读数，ω_m表示陀螺仪的读数，R表示运动传感器感测的机身相对于世界坐标系的旋转参数，△t表示运动传感器的数据采集间隔。

C_k是Jacobian matrix雅克比矩阵。Z_k为观测量，即上述提及的目标特征点在目标图像上的二维信息，

是观测余量，可以对应于上述提及的r或者r′。基于该卡尔曼滤波模型，可以进一步地根据需要完成对R_ic和

R_rl和

R_wi和

三组参数中的任意一组或多组参数的优化。也就是说，在通过上述的argmin(r)和/或argmin(r′)得到的R_ic和R_rl和

R_wi和

中的任意一组或多组参数后，可以再将得到的参数作为图2提及的卡尔曼滤波模型的输入继续进行优化，输出最终优化后对应的R_ic和

R_rl和R_wi和

中的任意一组或多组。

在一个实施例中，可以检测视觉传感器中包括的相机之间的相对位姿参数是否异常，如果异常，可以使用r′作为观测余量，并可以估算ΔR_rl与

即相机之间的当前相对位姿参数需要调整的量。相对位姿参数正常时，使用r作为观测余量，不需要优化ΔR_rl与

有效减少计算量。而无论相对位姿参数是否异常，都可以优化R_ic和

当然，R_wi和

可以一直都进行优化，或者，也可以不进行优化，或者，也可以根据需要有选择性地优化。相对位姿参数是否异常的检测在后续实施例中进行描述。

基于上述的推导过程，在无人机、智能机器人、智能手机、VR/AR设备中具体处理时，只需要采集相应的图像数据和运动数据，再基于公式10和argmin(r)，和/或基于上述的公式18和argmin(r′)，即可进行视觉传感器的位姿参数的优化。并进一步可选地，还可以对摄像设备的空间位姿参数进行优化。

基于上述的推导过程，在本发明实施例中，可以产生三种对视觉传感器的位姿参数进行优化的方式，分别为：

方式一，可以参考上述的第1点，基于上述的公式10和argmin(r)来优化得到R_ic和

即直接计算argmin(r)。

方式二，可以参考上述的第2点，直接基于上述的公式18和argmin(r′)来优化得到R_ic和

R_rl和

可以理解的是，在基于公式18和argmin(r′)进行视觉传感器的位姿参数优化时，一方面，可以不需要考虑第一相机采集到的图像，而是直接采用第二相机采集到的图像作为目标图像；另一方面，对于第二相机采集的目标图像上的目标特征点对应的三维点，可以先将该三维点从世界坐标系映射到机身坐标系，再从机身坐标系映射到第一相机坐标系，进而从第一相机坐标系再映射到第二相机坐标系，得到该三维点在目标图像上的二维预测信息(即预测位置)，映射过程可以参考上述的公式11。基于观测位置和预测位置，采用最小化重投影误差的方式即argmin(r′)，即可完成R_ic和

R_rl和

等视觉传感器的位姿参数的优化。也就是说，直接计算argmin(r′)。

方式三，可以先基于公式10和argmin(r)来优化得R_ic和

然后在优化得到的R_ic和的基础上，基于公式18和argmin(r′)来优化得到R_rl和

此时，目标图像为由第一相机采集，第二相机在目标图像的采集时刻采集有参考图像，同时，在基于公式18和argmin(r′)的计算过程中，公式18和argmin(r′)中所涉及的第二相机的目标图像均替换为参考图像，且第二相机的目标特征点均替换为参考特征点。实质上来说，方式三在将第二相机的目标图像均替换为参考图像、第二相机的目标特征点均替换为参考特征点后，可以直接采用如方式二涉及的公式的推导过程，只是在由方式三涉及的公式的推导过程中，可以利用方式一优化得到的R_ic和

作为已知参数。也就是说，在计算argmin(r)后，再利用参考图像以及参考特征点再argmin(r)的基础上，再计算argmin(r′)。具体可以参考后续说明。

请参见图3，是本发明实施例的一种参数处理方法的流程示意图，本发明实施例的方法可以在一个单独的关于图像的参数处理装置来执行，该参数处理装置与摄像设备中视觉传感器的第一相机和第二相机数据通信连接，从第一相机和第二相机获取其采集到的图像，并与摄像设备中的用于感测该摄像设备机身的运动数据的运动传感器相连，从运动传感器中获取其采集到的运动数据。该参数处理装置基于第一相机和/或第二相机采集到的环境图像，并根据运动传感器采集到的运动数据，来完成对第一相机和第二相机的相关位姿参数的优化。该参数处理装置也可以设置在摄像设备中，例如，摄像设备为飞行器时，参数处理装置设置在飞行器中，并且该参数处理装置可以为该飞行器的飞行控制器等。

S301：确定视觉传感器采集的目标图像上的目标特征点。可以将视觉传感器当前采集到的环境图像作为目标图像，当然也可以从视觉传感器采集到的环境图像中选择一个图像作为目标图像，例如选择最清晰的环境图像作为目标图像，或者选择纹理更丰富的图像作为目标图像。基于清晰的、纹理丰富的目标图像，能够获取到大量的特征点，并能够将每一个相应的特征点作为目标特征点进行本发明实施例的参数处理。

在一个实施例中，目标特征点为对目标图像和目标图像的相邻图像(如目标图像的上一帧图像)进行特征点匹配计算确定的特征点，例如通过KLT匹配得到的特征点，目标图像和目标图像的相邻图像为由同一相机采集；目标特征点的二维信息包括：目标特征点在目标图像上的位置信息。

在一个实施例中，视觉传感器可以仅包括一个相机，也可以由上述提及的第一相机和第二相机构成。当仅包括第一相机时，可以优化第一相机到机身之间的位姿变换参数，如果包括第一相机和第二相机，则可以优化第一相机到机身之间的位姿变换参数，并同时优化第二相机和第一相机之间的相对位姿参数。当然，也可以根据需要，同时优化机身空间位姿参数，例如机身在在世界坐标系下的旋转参数和位置参数。

可以理解，当目标特征点存在多个时，可以根据所有目标特征点的优化结果来最终优化视觉传感器的位姿参数，例如，融合所有目标特征点的优化结果。

S302：获取用于确定目标特征点在目标图像上的二维信息的观测特征参数。在目标图像上的二维信息主要是指目标特征点在目标图像上的位置信息，当然还可以包括其他的例如目标特征点的图像位移速度等信息。

其中，参考前述用于描述推导过程的实施例，观测特征参数具体可以为公式6中的关于目标特征点在目标图像上的坐标(u、v)、光心在目标图像上对应的坐标(u₀、v₀)、以及相机的f，经过转换后会体现在公式10的矩阵H中。

S303：基于观测特征参数以及运动传感器感测的运动数据，优化摄像设备的图像映射参数，图像映射参数包括视觉传感器的位姿参数。

运动数据可以为：在采集目标图像时，由设置在机身上的运动传感器感测到的数据。其中，运动传感器可以为IMU，运动数据可以包括加速度传感器当前的读数、陀螺仪当前的读数、姿态四元数、重力加速度等运动数据。

在进行视觉传感器的位姿参数优化时，结合上述公式10或公式18，基于这些运动数据至少可以求取摄像设备在采集目标图像时未被优化的空间位姿参数即R_wi和

如果引入卡尔曼滤波模型继续进行优化，则基于运动数据还可以获取上述提及的卡尔曼滤波模型中F_d的所需参数，即：ω_m、b_ω、a_m、b_a等相关参数。其中，可以基于采集前后两帧图像(目标图像的前一图像以及目标图像)的过程中机身的运动数据，使用预积分计算方式来计算得到采集目标图像时的R_wi和

在一个实施例中，当目标图像为由第一相机采集的情况下；优化后的位姿参数包括：第一相机相对于机身或相对于运动传感器的位姿变换参数，即第一相机相对于机身或相对于运动传感器的R_ic和

参考上述推导过程中的第1点的描述，具体可以基于上述的公式10和argmin(r)完成的优化得到R_ic和

或者是基于上述的公式10和argmin(r)完成初步优化后，基于图2所示的卡尔曼滤波模型继续进行优化以得到最终优化后的R_ic和

基于优化后的位姿变换参数R_ic和可以将视觉传感器上的第一相机所采集图像中的特征点较为准确地映射到机身坐标系下，进而映射到世界坐标系下。

在另一个实施例中，当目标图像为由第二相机采集的情况下；优化后的位姿参数包括：第一相机相对于机身或相对于运动传感器的位姿变换参数，即第一相机相对于机身或相对于运动传感器的R_ic和

和/或，第一相机和第二相机之间的相对位姿参数即R_rl和

同样参考前述的推导过程中的第2点的描述，直接基于公式18和argmin(r′)，可以优化得到R_ic和

和/或R_rl和

或者是基于上述的公式18和argmin(r′)完成初步优化后，基于图2所示的卡尔曼滤波模型继续将得到的R_ic和

R_rl和作为卡尔曼滤波模型的输入继续优化，得到最终优化后的R_ic和

R_rl和

基于优化后的相对位姿参数，可以将第二相机所采集图像上的特征点较为准确地映射到第一相机坐标系下，基于优化后的位姿变换参数可以较为准确地再从第一相机坐标系映射到机身坐标系下，进而映射到世界坐标系下。

在一个实施例中，可以设置一个触发条件，当第一相机和第二相机之间的相对位姿参数异常时，则利用第二相机采集的图像作为目标图像，在执行S301时，具体确定第二相机采集的目标图像上的目标特征点，进而基于确定目标特征点执行后续步骤，优化得到R_ic、

R_rl、

或者仅优化得到R_rl、

如果第一相机和第二相机之间的相对位姿参数正常，则利用第一相机采集的图像作为目标图像，在执行S301时，具体确定第一相机采集的目标图像上的目标特征点，进而基于目标特征点执行后续步骤，优化得到R_ic、

另外，在上述两种情况中，R_wi和

均可以根据实际的需求选择优化或者不优化。基于该触发条件，可以选择性地确定是否仅优化R_ic、

还是需要进一步优化R_rl、

这样既能满足对相机与机身之间、相机与相机之间的相关位姿参数优化需求，也可以在相机之间的相对位姿参数不存在问题时，不用优化相机之间的相对位姿参数，节省了系统的软硬件资源，并且能够保证相机与机身之间的位姿参数能够及时优化。

在一个实施例中，S303具体可以包括获取预测特征参数，预测特征参数包括：基于运动传感器感测的运动数据得到的机身或运动传感器的空间位姿参数，预测特征参数用于确定目标特征点在目标图像上的二维预测信息；根据观测特征参数和预测特征参数，优化视觉传感器的位姿参数。其中，空间位姿参数可以包括：机身或运动传感器在世界坐标系中的位置参数R_wi和旋转参数

如上述，可以基于加速度传感器当前的读数、陀螺仪当前的读数、姿态四元数、重力加速度等运动数据，通过预积分计算来得到机身的空间位姿参数。二维预测信息是指上述提及的p_f，基于空间位姿参数能够得到

因此，如上述的公式3、公式4以及公式5，基于空间位姿参数也能够转换得到p_f。

在一个实施例中，根据观测特征参数和预测特征参数，优化视觉传感器的位姿参数包括：根据观测特征参数和预测特征参数，优化二维信息和二维预测信息之间的误差；根据误差的优化结果得到视觉传感器的位姿参数。其中，误差的优化结果可以为误差的最小化结果。优化二维信息和二维预测信息之间的误差就是优化的error或者error′，误差的优化结果即是argmin(r)或argmin(r′)的结果，基于优化的结果，可以直接优化得到视觉传感器的位姿参数。

在一个实施例中，根据误差的优化结果得到视觉传感器的位姿参数，包括：基于观测特征参数、运动数据及误差的优化结果，利用滤波法优化视觉传感器的位姿参数。也就是说，不仅仅基于argmin(r)或argmin(r′)进行最小化优化，还进一步地利用滤波法对最小化优化的结果(误差的优化结果)再进一步进行优化，得到优化后的视觉传感器的位姿参数。该滤波法可以采用上述提到的卡尔曼滤波。具体是将argmin(r)或argmin(r′)进行最小化优化后得到的R_ic和

R_rl和

R_wi和

三组参数中的任意一组或多组参数，作为卡尔曼滤波模型的输入继续进行优化，输出最终优化后对应的R_ic和

R_rl和

R_wi和中的任意一组或多组。

对于R_ic和

R_rl和

R_wi和

这三组图像映射参数中的任意一组或者多组的组合，均可以实时进行优化；也可以在一个预设的周期到来时进行优化；还可以在检测到碰撞认为可能会导致相对位姿参数异常后，可以触发进行优化，其中，检测到的碰撞主要是指可能导致视觉传感器与机身之间，视觉传感器内的第一相机和第二相机之间可能产生相对于形变，导致原有的图像映射参数不再准确，例如两台智能机器人之间发生了较为激烈的对撞，无人机坠机、无人机失控撞上障碍物等等情况。

在一个实施例中，优选的，相对位姿参数中第一相机和第二相机的旋转调整参数的可修正偏差为不大于3度。也即，通过优化第一相机和第二相机的相对位姿参数，可以较为准确地修正第一相机和第二相机之间的正常旋转调整参数以外的3度以内的偏差，例如，0.5度、1度、2度、2.5度、3度。

在完成图像映射参数的优化后，在后续的图像处理过程中即使用优化后的图像因素参数进行处理，从而使得第一相机、第二相机上的特征点均能够较为准确地映射到世界坐标系下，确定这些特征点在世界坐标系下的位置，进而基于这些位置完成无人机、机器人等可移动平台的精确定位处理等功能。

再请参见图4，是本发明实施例的一种参数处理方法的流程示意图，该方法同样可以由上述图3所对应实施例中提及的参数处理装置来执行。本发明实施例的方法包括如下步骤。

S401：确定视觉传感器采集的目标图像上的目标特征点。在本发明实施例中，目标图像是视觉传感器中的第一相机采集得到的，以便于后续从第一相机采集到的目标图像出发，优化第一相机到机身之间的位姿参数，进而对后续的第一相机和第二相机之间的相对位姿参数进行优化。

S402：获取用于确定目标特征点在目标图像上的二维信息的观测特征参数；

S403：基于观测特征参数以及运动传感器感测的运动数据，优化摄像设备的图像映射参数，在S403中优化的图像映射参数包括视觉传感器的位姿参数，而优化的视觉传感器的位姿参数包括位姿变换参数，即上述提及的R_ic和

该优化后的R_ic和

能够作为后续优化相对位姿参数的输入。可选地，在S403中也可以同时优化得到R_wi和

作为后续优化相对位置参数的输入。

需要说明的是，所述S401、S402和S403的具体实现可参考前述实施例中相关内容的描述，在本发明实施例中不再赘述。

S404：从第二相机采集的参考图像中确定参考特征点，参考特征点与目标特征点相关联，参考图像和目标图像为在相同时刻采集；视觉传感器的第一相机和第二相机拍摄到的关联图像(例如同一时刻拍摄到的目标图像和参考图像)中，如果在第一相机的目标图像中确定出目标特征点，那么可以在第二相机的参考图像中找到该目标特征点的匹配特征点(Corresponding Point)，即参考特征点，例如，结合附图中的图6a所示，在第一相机拍摄到的目标图像上检测到一棵树的树顶部分存在一个特征点(目标特征点)，那么也能够在第二相机拍摄到的参考图像上找到同一棵树，在该同一棵树的树顶部分找到匹配特征点(参考特征点)。在本发明实施例中对相对位姿参数进行优化时，可以基于参考图像和参考特征点来进行优化计算。

S405：获取用于确定参考特征点在参考图像上的二维信息的参考观测特征参数。在参考图像上确定参考特征点的二维信息主要也包括参考特征点在参考图像上的位置信息。同样可以结合上述公式进行说明，如公式14，类似的，参考观测特征参数也包括：参考特征点在参考图像上的参考特征点在参考图像上的坐标(u′、v′)、参考图像的中心点坐标(u₀、v₀)，以及第二相机的f′，并可以根据这些参数得到参考特征点在参考图像上的二维信息。该二维信息经过转换后会体现在公式18的矩阵H中。

S406：基于参考观测特征参数以及优化后的位姿参数，优化第一相机和第二相机之间的相对位姿参数，相对位姿参数用于表示：第一相机和第二相机之间的相对位姿。优化后的相对位姿参数包括：第一相机和第二相机之间的旋转调整参数，和在第一相机坐标系下第二相机相对于第一相机的位置调整参数。

在一个实施例中，在确定是否优化相对位姿参数之前，还可以包括判断第一相机和第二相机之间的相对位姿参数是否存在异常，若相对位姿参数存在异常，则执行所述S406中优化第一相机和第二相机之间的相对位姿参数，也就是说，只有在确定相对位姿参数存在异常时，才会基于上述的公式18以及argmin(r′)进行计算。在其他实施例中，也可以在检测到相对位姿参数存在异常后，再触发执行S404至S406，如果相对位姿参数正常，不存在异常，那么只需要执行上述的S401到S403即可，并不需要继续执行S404至S406。后续将对如何判断第一相机和第二相机之间的相对位姿参数是否异常进行描述。

在本发明实施例中，同样基于运动数据能够得到R_wi和基于上述公式18的r′和argmin(r′)，能够得到参考特征点在参考图像上的二维信息以及二维预测信息的重投影误差的优化结果，并得到R_rl和

其中，在此时公式18中的ΔR_ic和

是根据在S403中优化得到的R_ic和得到，也就是说，在求取argmin(r′)时，ΔR_ic和

为已知。同样，在S403中如果优化得到了R_wi和

那么公式18中的ΔR_wi和

也为已知，不需要再基于运动数据来计算得到当前的R_wi和

可以理解，在基于参考观测特征参数以及优化后的位姿参数，优化第一相机和第二相机之间的相对位姿参数时，已经优化后的位姿参数以及已经优化后的摄像设备的空间位姿参数作为已知数据，可以在优化第一相机和第二相机之间的相对位姿参数的过程中得到进一步的优化，如通过求取argmin(r′)时重优化。

在一个实施例中，S406具体可以包括：根据预测特征参数、相对位姿参数，获取用于确定参考特征点在参考图像上的二维预测信息的参考预测特征参数；根据参考观测特征参数、参考预测特征参数以及优化后的位姿参数，优化相对位姿参数。也就是说，可以基于公式18和argmin(r′)直接优化得到R_rl和

在一个实施例中，根据参考观测特征参数、参考预测特征参数以及优化后的位姿参数，优化相对位姿参数，包括：根据参考观测特征参数、参考预测特征参数以及优化后的位姿参数，优化参考特征点的二维信息和参考特征点的二维预测信息之间的相对误差；根据相对误差的优化结果优化相对位姿参数。优化所述的相对误差可以认为是计算argmin(r′)，即最小化重投影误差。

在一个实施例中，根据相对误差的优化结果优化相对位姿参数，包括：基于参考观测特征参数、运动数据及相对误差的优化结果，利用滤波法优化相对位姿参数。其中，相对误差的优化结果可以为相对误差的最小化结果。进一步可选地，滤波法包括卡尔曼滤波法，卡尔曼滤波的模型可以参考图2的描述。在本发明实施例中，在通过argmin(r′)得到的R_rl和

可以认为是初始R_rl和初始可以将初始R_rl和初始

作为诸如图2所示卡尔曼滤波器的输入，输出得到最终优化的R_rl和

再请参见图5，是本发明实施例的进行相对位姿参数异常检测的方法的流程示意图，本发明实施例中相对位姿参数异常检测的结果可以用来作为是否触发是否对相机之间的相对位姿参数进行优化的条件。本发明实施例的方法同样可以由上述提及的参数处理装置来执行。在一个实施例中，参数处理装置所执行的步骤可以是在上述的S404或S406之前执行。

S501：判断第一相机和第二相机在相同时刻采集的图像之间的匹配特征点是否满足异常条件。异常条件主要用来判断两个图像中匹配特征点之间的位置差异程度，匹配特征点在各自的图像中的图像位置差异越大，越能表明第一相机和第二相机之间的可能存在的形变越大，满足异常条件需要进行图像映射参数的优化处理。从两幅图像之间找到匹配特征点为现有技术，本发明实施例主要涉及到对检测出来的匹配特征点所作的利用。

在S501的判断结果为是时，执行下述的S502。在S501的判断结果为否时，继续执行S501。

在一个实施例中，满足异常条件是指：第一相机和第二相机在相同时刻采集的图像之间，像素误差在预设误差范围内的匹配特征点的数量大于数量阈值。多个相机之间的相对位姿一般来说是相对稳定的，不需要一直估算。本发明实施例可以实时或周期性地在线监测相机之间的相对位姿参数(也就是上述提及的：旋转调整参数Rotation，以及位姿调整参数Translation)，如果发现存在异常需要纠正，则再开始优化相对位姿参数，如果恢复正常，则再次转为相对位姿参数是否异常的监测。

如图6a和图6b所示，根据当前的相对位姿参数校正图像，检测图6a到图6b的变化，第一相机采集到的图像601和第二相机采集到的图像602上，对应的匹配特征点(Corresponding Point)603(图6a中的树顶)应该在平行的极线(Epipolar Line)上(如图6b的平行线604环绕)。当然理想情况下才会出现如图6b那样的完全平行，实际使用过程中，不同图像601和图像602上的匹配特征点603并不在同一行上，存在误差。

如图6c所示，在特征点匹配时，可以允许一定的误差，第一相机和第二相机的图像上对应的实际匹配特征点605，其误差记为(Δu，Δv)^T。其中，Δu是指视差，由摄像设备上第一相机和第二相机之间的相对位置关系来确定，可以根据设置第一相机和第二相机之间的相对位置来得到想要的视差。Δv理论上应该趋近于0，但两个相机之间的相对位姿参数变化会造成Δv误差，即像素误差，该像素误差是指匹配特征点之间在垂直于拍摄基线(拍摄基线是指第一相机所拍摄图像和第二相机所拍摄图像之间的图像中心点连接线，例如图6c所示)方向上的像素位置误差，例如在垂直于拍摄基线方向上即v方向上，会存在N个像素点的误差，例如，存在相差1个像素点的像素误差、1.2个像素点的像素误差、0.8个像素点的像素误差等等。

在一个实施例中，对所有完成匹配的实际匹配特征点，做一个Δv的误差统计，图7a是统计得到的一个柱状图，按照Δv误差的实际匹配特征点的点数，按照需求分组，横坐标可以按照0.3像素，0.5像素，0.8像素，1.2像素，1.5像素等进行划分，而纵坐标则为相应像素误差的对应的匹配特征点的点数，比如100个、200个、300个匹配特征点等等。基于图7a的统计结果，可以得到图7b所示的占比示意图，在图7b中示出了像素误差Δv＝1的匹配特征点的点数占总的实际匹配特征点数量的30％。换之而言，Δv的误差大于1个像素的匹配特征点占总数的70％。在一个实施例中，在所有的实际匹配特征点中，Δv>T_m(例如T_m＝1)的个数大于总体的70％(70％仅为举例，还可以为根据准确度的要求设置其他值。一般来说，阈值越低，判决越准确)，就认为匹配特征点满足异常条件，确定第一相机和第二相机之间的相对位姿参数异常，需要优化图像映射参数，例如图7b中的像素误差大于1个像素的数量大于70％，则认为满足异常条件。在所有的实际匹配特征点中，Δv≤T_n(例如T_m＝1)的个数，多于总体70％，则认为其相对位姿参数正常，不需要优化图像映射参数。

S502：确定相对位姿参数异常。在确定相对位姿参数异常后，即可执行上述的S404或S406。以便于根据优化后的视觉传感器的位姿参数、视觉传感器中第一相机和第二相机之间的相对位姿参数来进行更准确的坐标系映射，使得图像上的特征点能够更准确的映射到机身坐标系甚至世界坐标系，更好地保证了后续基于视觉的处理结果的准确性。

在研究过程中发现，基于像素点误差可以更好地反映出视觉传感器中相机之间的相对位姿参数是否异常，更好地反映出相机之间是否产生相对形变，可以较为准确地触发摄像设备的图像映射参数的优化。在其他实施例中，判断第一相机和第二相机之间的相对位姿参数是否存在异常还可以采用其他的判断方式，例如可以基于对第一相机和第二相机的运动感测数据来判断第一相机和第二相机之间是否产生了相对位移，如果根据运动感测数据判断第一相机和第二相机之间产生了相对位移，两者的相对位置发生了变化，则可以确定第一相机和第二相机之间的相对位姿参数异常。

在其他实施例中，判断第一相机和第二相机之间的相对位姿参数是否存在异常还可以通过判断相机与机身之间是否产生相对位移来进行判定。具体可以获取第一相机和/或第二相机上的运动感测数据；根据运动感测数据判断第一相机和/或第二相机与机身之间的相对位置是否发生变化；若是，则确定相对位姿参数异常。

再请参见图8，是本发明实施例的一种参数处理装置的结构示意图，该参数处理装置可以设置在诸如带双摄像头的智能手机、飞行器等摄像设备中。在一个实施例中该参数处理装置可以由一个处理器来实现，所述装置可以包括如下模块。

确定模块801，用于确定视觉传感器采集的目标图像上的目标特征点；获取模块802，用于获取用于确定目标特征点在目标图像上的二维信息的观测特征参数；处理模块803，用于基于观测特征参数以及运动传感器感测的运动数据，优化摄像设备的图像映射参数，图像映射参数包括视觉传感器的位姿参数。

在一个实施例中，处理模块803，具体用于获取预测特征参数，预测特征参数包括：基于运动数据得到的机身或运动传感器的空间位姿参数，预测特征参数用于确定目标特征点在目标图像上的二维预测信息；根据观测特征参数和预测特征参数，优化视觉传感器的位姿参数。

在一个实施例中，机身或运动传感器的空间位姿参数包括：机身或运动传感器在世界坐标系中的位姿参数。

在一个实施例中，处理模块803，具体用于根据观测特征参数和预测特征参数，优化二维信息和二维预测信息之间的误差；根据误差的优化结果得到视觉传感器的位姿参数。

在一个实施例中，处理模块803，具体用于基于观测特征参数、运动数据及误差的优化结果，利用滤波法优化视觉传感器的位姿参数。

在一个实施例中，误差的优化结果为误差的最小化结果。

在一个实施例中，视觉传感器包括第一相机和第二相机。

在一个实施例中，目标图像为由第一相机采集；优化后的视觉传感器的位姿参数包括：第一相机相对于机身或相对于运动传感器的位姿变换参数。

在一个实施例中，目标图像为由第二相机采集；优化后的位姿参数包括：第一相机相对于机身或相对于运动传感器的位姿变换参数，和/或，第一相机和第二相机之间的相对位姿参数。

在一个实施例中，目标特征点为对目标图像和目标图像的相邻图像进行特征点匹配计算确定的特征点，目标图像和目标图像的相邻图像为由同一相机采集；目标特征点的二维信息包括：目标特征点在目标图像上的位置信息。

在一个实施例中，确定模块801，用于判断第一相机和第二相机之间的相对位姿参数是否存在异常；若是，则确定第二相机采集的目标图像上的目标特征点；若否，则确定第一相机采集的目标图像上的目标特征点。

在一个实施例中，目标图像为由第一相机采集，确定模块801，还用于从第二相机采集的参考图像中确定参考特征点，参考特征点与目标特征点相关联，参考图像和目标图像为在相同时刻采集；获取模块802，还用于获取用于确定参考特征点在参考图像上的二维信息的参考观测特征参数；处理模块803，还用于基于参考观测特征参数以及优化后的位姿参数，优化第一相机和第二相机之间的相对位姿参数。

在一个实施例中，处理模块803，具体用于判断第一相机和第二相机之间的相对位姿参数是否存在异常；若是，则执行优化第一相机和第二相机之间的相对位姿参数。

在一个实施例中，处理模块803，具体用于根据预测特征参数、相对位姿参数，获取用于确定参考特征点在参考图像上的二维预测信息的参考预测特征参数；根据参考观测特征参数、参考预测特征参数以及优化后的位姿参数，优化第一相机和第二相机之间的相对位姿参数。

在一个实施例中，处理模块803，具体用于根据参考观测特征参数、参考预测特征参数以及优化后的位姿参数，优化参考特征点的二维信息和参考特征点的二维预测信息之间的相对误差；根据相对误差的优化结果得到第一相机和第二相机之间的相对位姿参数。

在一个实施例中，处理模块803，具体用于基于参考观测特征参数、运动数据及相对误差的优化结果，利用滤波法优化第一相机和第二相机之间的相对位姿参数。

在一个实施例中，相对误差的优化结果为相对误差的最小化结果。

在一个实施例中，滤波法包括卡尔曼滤波法。

在一个实施例中，处理模块803，具体用于判断第一相机和第二相机在相同时刻采集的图像之间的匹配特征点是否满足异常条件；若是，则确定相对位姿参数异常。

在一个实施例中，满足异常条件是指：第一相机和第二相机在相同时刻采集的图像之间，像素误差在预设误差范围内的匹配特征点的数量大于数量阈值。

在一个实施例中，像素误差是指匹配特征点之间在垂直于拍摄基线方向上的像素位置误差。

在一个实施例中，处理模块803，具体用于获取第一相机和第二相机上的运动感测数据；根据运动感测数据判断第一相机和第二相机之间的相对位置是否发生变化；若是，则确定相对位姿参数异常。在另一个实施例中，第一相机和第二相机上的运动感测数据也可以由获取模块802来获取得到，由获取模块802获取得到运动感测数据并传输给处理模块803进行判断处理。

在一个实施例中，处理模块803，具体用于获取第一相机和/或第二相机上的运动感测数据；根据运动感测数据判断第一相机和/或第二相机与机身之间的相对位置是否发生变化；若是，则确定相对位姿参数异常。在另一个实施例中，第一相机和第二相机上的运动感测数据也可以由获取模块802来获取得到，由获取模块802获取得到运动感测数据并传输给处理模块803进行判断处理。

在一个实施例中，处理模块803，具体用于实时优化摄像设备的图像映射参数。

在一个实施例中，处理模块803，还用于利用优化后的图像映射参数进行图像处理。

在一个实施例中，图像映射参数还包括：摄像设备的空间位姿参数。

在一个实施例中，相对位姿参数中第一相机和第二相机的旋转调整参数的可修正偏差为不大于3度。

在一个实施例中，摄像设备包括可可移动平台。

需要说明的是，本发明实施例中确定模块801、获取模块802以及处理模块803的具体实现可参考前述各个实施例中相关内容的描述，在此不赘述。

本发明实施例能够基于图像和运动数据来完成视觉传感器的位姿参数的优化，方便后续能够更准确进行坐标系映射，使得图像上的特征点能够更准确的映射到机身坐标系甚至世界坐标系，更好地保证了后续基于视觉的处理结果的准确性。

再请参见图9，是本发明实施例的一种摄像设备的结构示意图，摄像设备例如可以智能手机、飞行器、自动驾驶汽车等带双摄像头的设备。在本发明实施例中，以带双摄像头的智能手机为图例对摄像设备的结构进行说明。摄像设备主要包括机身901、视觉传感器902和运动传感器903，摄像设备还包括处理器904，其中，由于视觉传感器902、运动传感器903以及处理器904一般是设置在智能手机的内部，因此，采用虚线的形式描述。当然还可以根据实际的功能需要包括其他的结构，比如与遥控器或者互联网通信的通信接口、与用户进行交互的用户接口、以及供电电源等等。可以理解的是，图9仅为示例，仅用来表示本发明实施例中摄像设备的一个主体结构，例如机身901、视觉传感器902等结构。

其中，视觉传感器902，用于采集环境图像；运动传感器903，用于采集运动数据；处理器904，用于执行如下步骤：

确定视觉传感器902采集的目标图像上的目标特征点；

获取用于确定目标特征点在目标图像上的二维信息的观测特征参数；

基于观测特征参数以及运动传感器903感测的运动数据，优化摄像设备的图像映射参数，图像映射参数包括视觉传感器902的位姿参数。

在一个实施例中，处理器904，用于执行如下步骤：

获取预测特征参数，预测特征参数包括：基于运动数据得到的机身901或运动传感器903的空间位姿参数，预测特征参数用于确定目标特征点在目标图像上的二维预测信息；

根据观测特征参数和预测特征参数，优化视觉传感器902的位姿参数。

在一个实施例中，机身901或运动传感器903的空间位姿参数包括：机身901或运动传感器903在世界坐标系中的位姿参数。

在一个实施例中，处理器904，用于执行如下步骤：

根据观测特征参数和预测特征参数，优化二维信息和二维预测信息之间的误差；

根据误差的优化结果得到视觉传感器902的位姿参数。

在一个实施例中，处理器904，用于执行如下步骤：

基于观测特征参数、运动数据及误差的优化结果，利用滤波法优化视觉传感器902的位姿参数。

在一个实施例中，误差的优化结果为误差的最小化结果。

在一个实施例中，视觉传感器902包括第一相机和第二相机。

在一个实施例中，目标图像为由第一相机采集；优化后的视觉传感器902的位姿参数包括：第一相机相对于机身901或相对于运动传感器903的位姿变换参数。

在一个实施例中，目标图像为由第二相机采集；优化后的位姿参数包括：第一相机相对于机身901或相对于运动传感器903的位姿变换参数，和/或，第一相机和第二相机之间的相对位姿参数。

在一个实施例中，目标特征点为对目标图像和目标图像的相邻图像进行特征点匹配计算确定的特征点，目标图像和目标图像的相邻图像为由同一相机采集；目标特征点的二维信息包括：目标特征点在目标图像上的位置信息。

在一个实施例中，处理器904，用于执行如下步骤：

判断第一相机和第二相机之间的相对位姿参数是否存在异常；

若是，则确定第二相机采集的目标图像上的目标特征点；

若否，则确定第一相机采集的目标图像上的目标特征点。

在一个实施例中，目标图像为由第一相机采集，处理器904，还用于执行如下步骤：

从第二相机采集的参考图像中确定参考特征点，参考特征点与目标特征点相关联，参考图像和目标图像为在相同时刻采集；

获取用于确定参考特征点在参考图像上的二维信息的参考观测特征参数；

基于参考观测特征参数以及优化后的位姿参数，优化第一相机和第二相机之间的相对位姿参数。

在一个实施例中，处理器904，还用于执行如下步骤：

判断第一相机和第二相机之间的相对位姿参数是否存在异常；

若是，则执行优化第一相机和第二相机之间的相对位姿参数。

在一个实施例中，处理器904，用于执行如下步骤：

根据预测特征参数、相对位姿参数，获取用于确定参考特征点在参考图像上的二维预测信息的参考预测特征参数；

根据参考观测特征参数、参考预测特征参数以及优化后的位姿参数，优化第一相机和第二相机之间的相对位姿参数。

在一个实施例中，处理器904，还用于执行如下步骤：

根据参考观测特征参数、参考预测特征参数以及优化后的位姿参数，优化参考特征点的二维信息和参考特征点的二维预测信息之间的相对误差；

根据相对误差的优化结果得到第一相机和第二相机之间的相对位姿参数。

在一个实施例中，处理器904，还用于执行如下步骤：

基于参考观测特征参数、运动数据及相对误差的优化结果，利用滤波法优化第一相机和第二相机之间的相对位姿参数。

在一个实施例中，相对误差的优化结果为相对误差的最小化结果。

在一个实施例中，滤波法包括卡尔曼滤波法。

在一个实施例中，处理器904，用于执行如下步骤：

判断第一相机和第二相机在相同时刻采集的图像之间的匹配特征点是否满足异常条件；

若是，则确定相对位姿参数异常。

在一个实施例中，满足异常条件是指：第一相机和第二相机在相同时刻采集的图像之间，像素误差在预设误差范围内的匹配特征点的数量大于数量阈值。

在一个实施例中，像素误差是指匹配特征点之间在垂直于拍摄基线方向上的像素位置误差。

在一个实施例中，处理器904，用于执行如下步骤：

获取第一相机和第二相机上的运动感测数据；

根据运动感测数据判断第一相机和第二相机之间的相对位置是否发生变化；

若是，则确定相对位姿参数异常。

在一个实施例中，处理器904，用于执行如下步骤：

获取第一相机和/或第二相机上的运动感测数据；

根据运动感测数据判断第一相机和/或第二相机与机身901之间的相对位置是否发生变化；

若是，则确定相对位姿参数异常。

在一个实施例中，处理器904，用于执行如下步骤：

实时优化摄像设备的图像映射参数。

在一个实施例中，处理器904，还用于执行如下步骤：

利用优化后的图像映射参数进行图像处理。

在一个实施例中，图像映射参数还包括：摄像设备的空间位姿参数。

在一个实施例中，相对位姿参数中第一相机和第二相机的旋转调整参数的可修正偏差为不大于3度。

需要说明的是，本发明实施例中的控制器的具体实现可参考前述各个实施例中相关内容的描述，在此不赘述。

本发明实施例能够基于图像和运动数据来完成视觉传感器的位姿参数的优化，方便后续能够更准确进行坐标系映射，使得图像上的特征点能够更准确的映射到机身坐标系甚至世界坐标系，更好地保证了后续基于视觉的处理结果的准确性。

再请参见图10，是本发明实施例的一种飞行器的结构示意图，飞行器可以是旋翼飞行器，例如四旋翼、六旋翼等无人机，飞行器也可以为固定翼无人机。飞行器主要包括动力组件1001、机身1002、视觉传感器1003、运动传感器1004以及控制器1005，在本发明实施例的图10中，由于动力组件1001、运动传感器1004设置在机身1002的内部，因此，以虚线的形式表示。在其他实施例中，这些结构也可以设置在机身的外部，比如运动传感器1004可以设置的机身的外侧。当然还可以根据实际的功能需要包括其他的结构，比如与遥控器通信的通信接口、与用户进行交互的用户接口、以及供电电源等等。可以理解的是，图10仅为示例，仅用来表示本发明实施例中摄像设备的一个主体结构，例如机身1002、视觉传感器1003等结构。

控制器1005可以是中央处理器(central processing unit，CPU)。控制器1005还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)等。上述PLD可以是现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)等。控制器1005可以是一个单独的用于优化图像映射参数的器件，在一个实施例中，控制器1005也可以是飞行器中的飞行控制器，不仅可以用于优化图像映射参数，还可以用于基于优化后的图像映射参数对视觉传感器的数据进行处理，以对飞行器的动力组件进行控制，从而控制飞行器的飞行。

在一个实施例中，控制器1005，用于执行如下步骤：

确定视觉传感器1003采集的目标图像上的目标特征点；

获取用于确定目标特征点在目标图像上的二维信息的观测特征参数；

基于观测特征参数以及运动传感器1004感测的运动数据，优化摄像设备的图像映射参数，图像映射参数包括视觉传感器1003的位姿参数。

在一个实施例中，控制器1005，用于执行如下步骤：

获取预测特征参数，预测特征参数包括：基于运动数据得到的机身1002或运动传感器1004的空间位姿参数，预测特征参数用于确定目标特征点在目标图像上的二维预测信息；

根据观测特征参数和预测特征参数，优化视觉传感器1003的位姿参数。

在一个实施例中，机身1002或运动传感器1004的空间位姿参数包括：机身1002或运动传感器1004在世界坐标系中的位姿参数。

在一个实施例中，控制器1005，用于执行如下步骤：

根据观测特征参数和预测特征参数，优化二维信息和二维预测信息之间的误差；

根据误差的优化结果得到视觉传感器1003的位姿参数。

在一个实施例中，控制器1005，用于执行如下步骤：

基于观测特征参数、运动数据及误差的优化结果，利用滤波法优化视觉传感器1003的位姿参数。

在一个实施例中，误差的优化结果为误差的最小化结果。

在一个实施例中，视觉传感器1003包括第一相机和第二相机。

在一个实施例中，目标图像为由第一相机采集；

优化后的视觉传感器1003的位姿参数包括：第一相机相对于机身1002或相对于运动传感器1004的位姿变换参数。

在一个实施例中，目标图像为由第二相机采集；优化后的位姿参数包括：第一相机相对于机身1002或相对于运动传感器1004的位姿变换参数，和/或，第一相机和第二相机之间的相对位姿参数。

在一个实施例中，目标特征点为对目标图像和目标图像的相邻图像进行特征点匹配计算确定的特征点，目标图像和目标图像的相邻图像为由同一相机采集；目标特征点的二维信息包括：目标特征点在目标图像上的位置信息。

在一个实施例中，控制器1005，用于执行如下步骤：

判断第一相机和第二相机之间的相对位姿参数是否存在异常；

若是，则确定第二相机采集的目标图像上的目标特征点；

若否，则确定第一相机采集的目标图像上的目标特征点。

在一个实施例中，目标图像为由第一相机采集，控制器1005，还用于执行如下步骤：

从第二相机采集的参考图像中确定参考特征点，参考特征点与目标特征点相关联，参考图像和目标图像为在相同时刻采集；

获取用于确定参考特征点在参考图像上的二维信息的参考观测特征参数；

基于参考观测特征参数以及优化后的位姿参数，优化第一相机和第二相机之间的相对位姿参数。

在一个实施例中，控制器1005，还用于执行如下步骤：

判断第一相机和第二相机之间的相对位姿参数是否存在异常；

若是，则执行优化第一相机和第二相机之间的相对位姿参数。

在一个实施例中，控制器1005，用于执行如下步骤：

根据预测特征参数、相对位姿参数，获取用于确定参考特征点在参考图像上的二维预测信息的参考预测特征参数；

根据参考观测特征参数、参考预测特征参数以及优化后的位姿参数，优化第一相机和第二相机之间的相对位姿参数。

在一个实施例中，控制器1005，还用于执行如下步骤：

根据参考观测特征参数、参考预测特征参数以及优化后的位姿参数，优化参考特征点的二维信息和参考特征点的二维预测信息之间的相对误差；

根据相对误差的优化结果得到第一相机和第二相机之间的相对位姿参数。

在一个实施例中，控制器1005，还用于执行如下步骤：

基于参考观测特征参数、运动数据及相对误差的优化结果，利用滤波法优化第一相机和第二相机之间的相对位姿参数。

在一个实施例中，相对误差的优化结果为相对误差的最小化结果。

在一个实施例中，滤波法包括卡尔曼滤波法。

在一个实施例中，控制器1005，用于执行如下步骤：

判断第一相机和第二相机在相同时刻采集的图像之间的匹配特征点是否满足异常条件；

若是，则确定相对位姿参数异常。

在一个实施例中，满足异常条件是指：第一相机和第二相机在相同时刻采集的图像之间，像素误差在预设误差范围内的匹配特征点的数量大于数量阈值。

在一个实施例中，像素误差是指匹配特征点之间在垂直于拍摄基线方向上的像素位置误差。

在一个实施例中，控制器1005，用于执行如下步骤：

获取第一相机和第二相机上的运动感测数据；

根据运动感测数据判断第一相机和第二相机之间的相对位置是否发生变化；

若是，则确定相对位姿参数异常。

在一个实施例中，控制器1005，用于执行如下步骤：

获取第一相机和/或第二相机上的运动感测数据；

根据运动感测数据判断第一相机和/或第二相机与机身1002之间的相对位置是否发生变化；

若是，则确定相对位姿参数异常。

在一个实施例中，控制器1005，用于执行如下步骤：

实时优化摄像设备的图像映射参数。

在一个实施例中，控制器1005，还用于执行如下步骤：

利用优化后的图像映射参数进行图像处理。

在一个实施例中，图像映射参数还包括：摄像设备的空间位姿参数。

在一个实施例中，相对位姿参数中第一相机和第二相机的旋转调整参数的可修正偏差为不大于3度。

需要说明的是，本发明实施例中的控制器1005的具体实现可参考前述各个实施例中相关内容的描述，在此不赘述。

本发明实施例能够基于图像和运动数据来完成视觉传感器的位姿参数的优化，方便后续能够更准确进行坐标系映射，使得图像上的特征点能够更准确的映射到机身坐标系甚至世界坐标系，更好地保证了后续基于视觉的处理结果的准确性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (83)

1.一种参数处理方法，其特征在于，所述方法应用于摄像设备，所述摄像设备包括视觉传感器和运动传感器，所述方法包括：

确定所述视觉传感器采集的目标图像上的目标特征点；

获取用于确定所述目标特征点在所述目标图像上的二维信息的观测特征参数；

基于所述观测特征参数以及所述运动传感器感测的运动数据，优化所述摄像设备的图像映射参数，所述图像映射参数包括所述视觉传感器的位姿参数。

2.如权利要求1所述的方法，其特征在于，所述基于所述观测特征参数以及所述运动传感器感测的运动数据，优化所述摄像设备的图像映射参数，包括：

获取预测特征参数，所述预测特征参数包括：基于所述运动数据得到的所述机身或所述运动传感器的空间位姿参数，所述预测特征参数用于确定所述目标特征点在所述目标图像上的二维预测信息；

根据所述观测特征参数和所述预测特征参数，优化所述视觉传感器的位姿参数。

3.如权利要求2所述的方法，其特征在于，所述机身或所述运动传感器的空间位姿参数包括：所述机身或所述运动传感器在世界坐标系中的位姿参数。

4.如权利要求2所述的方法，其特征在于，所述根据所述观测特征参数和所述预测特征参数，优化所述视觉传感器的位姿参数包括：

根据所述观测特征参数和所述预测特征参数，优化所述二维信息和所述二维预测信息之间的误差；

根据所述误差的优化结果得到所述视觉传感器的位姿参数。

5.如权利要求4所述的方法，其特征在于，所述根据所述误差的优化结果得到所述视觉传感器的位姿参数，包括：

基于所述观测特征参数、所述运动数据及所述误差的优化结果，利用滤波法优化所述视觉传感器的位姿参数。

6.如权利要求4所述的方法，其特征在于，所述误差的优化结果为所述误差的最小化结果。

7.如权利要求2所述的方法，其特征在于，所述视觉传感器包括第一相机和第二相机。

8.如权利要求7所述的方法，其特征在于，

所述目标图像为由所述第一相机采集；

优化后的所述视觉传感器的位姿参数包括：所述第一相机相对于所述机身或相对于所述运动传感器的位姿变换参数。

9.如权利要求7所述的方法，其特征在于，

所述目标图像为由所述第二相机采集；

优化后的位姿参数包括：所述第一相机相对于所述机身或相对于所述运动传感器的位姿变换参数，和/或，所述第一相机和所述第二相机之间的相对位姿参数。

10.如权利要求7所述的方法，其特征在于，

所述目标特征点为对所述目标图像和所述目标图像的相邻图像进行特征点匹配计算确定的特征点，所述目标图像和所述目标图像的相邻图像为由同一相机采集；

所述目标特征点的二维信息包括：所述目标特征点在所述目标图像上的位置信息。

11.如权利要求7所述的方法，其特征在于，所述确定所述视觉传感器采集的目标图像上的目标特征点，包括：

判断所述第一相机和所述第二相机之间的相对位姿参数是否存在异常；

若是，则确定所述第二相机采集的目标图像上的目标特征点；

若否，则确定所述第一相机采集的目标图像上的目标特征点。

12.如权利要求8所述的方法，其特征在于，所述方法还包括：

从所述第二相机采集的参考图像中确定参考特征点，所述参考特征点与所述目标特征点相关联，所述参考图像和所述目标图像为在相同时刻采集；

获取用于确定所述参考特征点在所述参考图像上的二维信息的参考观测特征参数；

基于所述参考观测特征参数以及优化后的位姿参数，优化所述第一相机和所述第二相机之间的相对位姿参数。

13.如权利要求12所述的方法，其特征在于，在所述优化所述第一相机和所述第二相机之间的相对位姿参数之前，所述方法还包括：

判断所述第一相机和所述第二相机之间的相对位姿参数是否存在异常；

若是，则执行所述优化所述第一相机和所述第二相机之间的相对位姿参数。

14.如权利要求12所述的方法，其特征在于，所述基于所述参考观测特征参数以及优化后的位姿参数，优化所述第一相机和所述第二相机之间的相对位姿参数，包括：

根据所述预测特征参数、所述相对位姿参数，获取用于确定所述参考特征点在所述参考图像上的二维预测信息的参考预测特征参数；

根据所述参考观测特征参数、所述参考预测特征参数以及优化后的位姿参数，优化所述第一相机和所述第二相机之间的相对位姿参数。

15.如权利要求14所述的方法，其特征在于，所述根据所述参考观测特征参数、所述参考预测特征参数以及优化后的位姿参数，优化所述第一相机和所述第二相机之间的相对位姿参数，包括：

根据所述参考观测特征参数、所述参考预测特征参数以及优化后的位姿参数，优化所述参考特征点的二维信息和所述参考特征点的二维预测信息之间的相对误差；

根据所述相对误差的优化结果得到所述第一相机和所述第二相机之间的相对位姿参数。

16.如权利要求15所述的方法，其特征在于，所述根据所述相对误差的优化结果得到所述第一相机和所述第二相机之间的相对位姿参数，包括：

基于所述参考观测特征参数、所述运动数据及所述相对误差的优化结果，利用滤波法优化所述第一相机和所述第二相机之间的相对位姿参数。

17.如权利要求16所述的方法，其特征在于，所述相对误差的优化结果为所述相对误差的最小化结果。

18.如权利要求5或16所述的方法，其特征在于，所述滤波法包括卡尔曼滤波法。

19.如权利要求11或13所述的方法，其特征在于，所述判断所述第一相机和所述第二相机之间的相对位姿参数是否存在异常，包括：

判断所述第一相机和所述第二相机在相同时刻采集的图像之间的匹配特征点是否满足异常条件；

若是，则确定所述相对位姿参数异常。

20.如权利要求19所述的方法，其特征在于，所述满足异常条件是指：所述第一相机和所述第二相机在相同时刻采集的图像之间，像素误差在预设误差范围内的匹配特征点的数量大于数量阈值。

21.如权利要求20所述的方法，其特征在于，像素误差是指所述匹配特征点之间在垂直于拍摄基线方向上的像素位置误差。

22.如权利要求11或13所述的方法，其特征在于，所述判断第一相机和第二相机之间的相对位姿参数是否存在异常，包括：

获取所述第一相机和所述第二相机上的运动感测数据；

根据所述运动感测数据判断所述第一相机和所述第二相机之间的相对位置是否发生变化；

若是，则确定所述相对位姿参数异常。

23.如权利要求11或13所述的方法，其特征在于，所述判断第一相机和第二相机之间的相对位姿参数是否存在异常，包括：

获取所述第一相机和/或所述第二相机上的运动感测数据；

根据所述运动感测数据判断所述第一相机和/或所述第二相机与所述机身之间的相对位置是否发生变化；

若是，则确定所述相对位姿参数异常。

24.如权利要求1所述的方法，其特征在于，所述优化所述摄像设备的图像映射参数，包括：

实时优化所述摄像设备的图像映射参数。

25.如权利要求1所述的方法，其特征在于，在所述优化所述摄像设备的图像映射参数之后，所述方法还包括：

利用优化后的图像映射参数进行图像处理。

26.如权利要求1所述的方法，其特征在于，所述图像映射参数还包括：所述摄像设备的空间位姿参数。

27.根据权利要求9或12所述的方法，其特征在于，所述相对位姿参数中所述第一相机和所述第二相机的旋转调整参数的可修正偏差为不大于3度。

28.根据权利要求1所述的方法，其特征在于，所述摄像设备包括可可移动平台。

29.一种参数处理装置，其特征在于，所述参数处理装置与摄像设备相连，所述摄像设备包括视觉传感器和运动传感器，所述参数处理装置包括：

确定模块，用于确定所述视觉传感器采集的目标图像上的目标特征点；

获取模块，用于获取用于确定所述目标特征点在所述目标图像上的二维信息的观测特征参数；

处理模块，用于基于所述观测特征参数以及所述运动传感器感测的运动数据，优化所述摄像设备的图像映射参数，所述图像映射参数包括所述视觉传感器的位姿参数。

30.一种摄像设备，其特征在于，所述摄像设备包括机身、视觉传感器和运动传感器，所述摄像设备还包括处理器；

所述视觉传感器，用于采集环境图像；

所述运动传感器，用于采集运动数据；

所述处理器，用于执行如下步骤：

确定所述视觉传感器采集的目标图像上的目标特征点；

获取用于确定所述目标特征点在所述目标图像上的二维信息的观测特征参数；

基于所述观测特征参数以及所述运动传感器感测的运动数据，优化所述摄像设备的图像映射参数，所述图像映射参数包括所述视觉传感器的位姿参数。

31.如权利要求30所述的摄像设备，其特征在于，所述处理器，用于执行如下步骤：

获取预测特征参数，所述预测特征参数包括：基于所述运动数据得到的所述机身或所述运动传感器的空间位姿参数，所述预测特征参数用于确定所述目标特征点在所述目标图像上的二维预测信息；

根据所述观测特征参数和所述预测特征参数，优化所述视觉传感器的位姿参数。

32.如权利要求31所述的摄像设备，其特征在于，所述机身或所述运动传感器的空间位姿参数包括：所述机身或所述运动传感器在世界坐标系中的位姿参数。

33.如权利要求31所述的摄像设备，其特征在于，所述处理器，用于执行如下步骤：

根据所述观测特征参数和所述预测特征参数，优化所述二维信息和所述二维预测信息之间的误差；

根据所述误差的优化结果得到所述视觉传感器的位姿参数。

34.如权利要求33所述的摄像设备，其特征在于，所述处理器，用于执行如下步骤：

基于所述观测特征参数、所述运动数据及所述误差的优化结果，利用滤波法优化所述视觉传感器的位姿参数。

35.如权利要求33所述的摄像设备，其特征在于，所述误差的优化结果为所述误差的最小化结果。

36.如权利要求31所述的摄像设备，其特征在于，所述视觉传感器包括第一相机和第二相机。

37.如权利要求36所述的摄像设备，其特征在于，

所述目标图像为由所述第一相机采集；

优化后的所述视觉传感器的位姿参数包括：所述第一相机相对于所述机身或相对于所述运动传感器的位姿变换参数。

38.如权利要求36所述的摄像设备，其特征在于，

所述目标图像为由所述第二相机采集；

优化后的位姿参数包括：所述第一相机相对于所述机身或相对于所述运动传感器的位姿变换参数，和/或，所述第一相机和所述第二相机之间的相对位姿参数。

39.如权利要求36所述的摄像设备，其特征在于，

所述目标特征点为对所述目标图像和所述目标图像的相邻图像进行特征点匹配计算确定的特征点，所述目标图像和所述目标图像的相邻图像为由同一相机采集；

所述目标特征点的二维信息包括：所述目标特征点在所述目标图像上的位置信息。

40.如权利要求36所述的摄像设备，其特征在于，所述处理器，用于执行如下步骤：

判断所述第一相机和所述第二相机之间的相对位姿参数是否存在异常；

若是，则确定所述第二相机采集的目标图像上的目标特征点；

若否，则确定所述第一相机采集的目标图像上的目标特征点。

41.如权利要求37所述的摄像设备，其特征在于，所述处理器，还用于执行如下步骤：

从所述第二相机采集的参考图像中确定参考特征点，所述参考特征点与所述目标特征点相关联，所述参考图像和所述目标图像为在相同时刻采集；

获取用于确定所述参考特征点在所述参考图像上的二维信息的参考观测特征参数；

基于所述参考观测特征参数以及优化后的位姿参数，优化所述第一相机和所述第二相机之间的相对位姿参数。

42.如权利要求41所述的摄像设备，其特征在于，所述处理器，还用于执行如下步骤：

判断所述第一相机和所述第二相机之间的相对位姿参数是否存在异常；

若是，则执行所述优化所述第一相机和所述第二相机之间的相对位姿参数。

43.如权利要求41所述的摄像设备，其特征在于，所述处理器，用于执行如下步骤：

根据所述预测特征参数、所述相对位姿参数，获取用于确定所述参考特征点在所述参考图像上的二维预测信息的参考预测特征参数；

根据所述参考观测特征参数、所述参考预测特征参数以及优化后的位姿参数，优化所述第一相机和所述第二相机之间的相对位姿参数。

44.如权利要求43所述的摄像设备，其特征在于，所述处理器，还用于执行如下步骤：

根据所述参考观测特征参数、所述参考预测特征参数以及优化后的位姿参数，优化所述参考特征点的二维信息和所述参考特征点的二维预测信息之间的相对误差；

根据所述相对误差的优化结果得到所述第一相机和所述第二相机之间的相对位姿参数。

45.如权利要求44所述的摄像设备，其特征在于，所述处理器，还用于执行如下步骤：

基于所述参考观测特征参数、所述运动数据及所述相对误差的优化结果，利用滤波法优化所述第一相机和所述第二相机之间的相对位姿参数。

46.如权利要求45所述的摄像设备，其特征在于，所述相对误差的优化结果为所述相对误差的最小化结果。

47.如权利要求34或45所述的摄像设备，其特征在于，所述滤波法包括卡尔曼滤波法。

48.如权利要求40或42所述的摄像设备，其特征在于，所述处理器，用于执行如下步骤：

判断所述第一相机和所述第二相机在相同时刻采集的图像之间的匹配特征点是否满足异常条件；

若是，则确定所述相对位姿参数异常。

49.如权利要求48所述的摄像设备，其特征在于，所述满足异常条件是指：所述第一相机和所述第二相机在相同时刻采集的图像之间，像素误差在预设误差范围内的匹配特征点的数量大于数量阈值。

50.如权利要求49所述的摄像设备，其特征在于，像素误差是指所述匹配特征点之间在垂直于拍摄基线方向上的像素位置误差。

51.如权利要求40或42所述的摄像设备，其特征在于，所述处理器，用于执行如下步骤：

获取所述第一相机和所述第二相机上的运动感测数据；

根据所述运动感测数据判断所述第一相机和所述第二相机之间的相对位置是否发生变化；

若是，则确定所述相对位姿参数异常。

52.如权利要求40或42所述的摄像设备，其特征在于，所述处理器，用于执行如下步骤：

获取所述第一相机和/或所述第二相机上的运动感测数据；

根据所述运动感测数据判断所述第一相机和/或所述第二相机与所述机身之间的相对位置是否发生变化；

若是，则确定所述相对位姿参数异常。

53.如权利要求30所述的摄像设备，其特征在于，所述处理器，用于执行如下步骤：

实时优化所述摄像设备的图像映射参数。

54.如权利要求30所述的摄像设备，其特征在于，所述处理器，还用于执行如下步骤：

利用优化后的图像映射参数进行图像处理。

55.如权利要求30所述的摄像设备，其特征在于，所述图像映射参数还包括：所述摄像设备的空间位姿参数。

56.根据权利要求38或41所述的摄像设备，其特征在于，

所述相对位姿参数中所述第一相机和所述第二相机的旋转调整参数的可修正偏差为不大于3度。

57.一种飞行器，其特征在于，所述飞行器包括动力组件、机身、视觉传感器、运动传感器以及控制器；

所述控制器，用于执行如下步骤：

确定所述视觉传感器采集的目标图像上的目标特征点；

获取用于确定所述目标特征点在所述目标图像上的二维信息的观测特征参数；

基于所述观测特征参数以及所述运动传感器感测的运动数据，优化所述摄像设备的图像映射参数，所述图像映射参数包括所述视觉传感器的位姿参数。

58.如权利要求57所述的飞行器，其特征在于，所述控制器，用于执行如下步骤：

获取预测特征参数，所述预测特征参数包括：基于所述运动数据得到的所述机身或所述运动传感器的空间位姿参数，所述预测特征参数用于确定所述目标特征点在所述目标图像上的二维预测信息；

根据所述观测特征参数和所述预测特征参数，优化所述视觉传感器的位姿参数。

59.如权利要求58所述的飞行器，其特征在于，所述机身或所述运动传感器的空间位姿参数包括：所述机身或所述运动传感器在世界坐标系中的位姿参数。

60.如权利要求58所述的飞行器，其特征在于，所述控制器，用于执行如下步骤：

根据所述观测特征参数和所述预测特征参数，优化所述二维信息和所述二维预测信息之间的误差；

根据所述误差的优化结果得到所述视觉传感器的位姿参数。

61.如权利要求60所述的飞行器，其特征在于，所述控制器，用于执行如下步骤：

基于所述观测特征参数、所述运动数据及所述误差的优化结果，利用滤波法优化所述视觉传感器的位姿参数。

62.如权利要求60所述的飞行器，其特征在于，所述误差的优化结果为所述误差的最小化结果。

63.如权利要求58所述的飞行器，其特征在于，所述视觉传感器包括第一相机和第二相机。

64.如权利要求63所述的飞行器，其特征在于，

所述目标图像为由所述第一相机采集；

优化后的所述视觉传感器的位姿参数包括：所述第一相机相对于所述机身或相对于所述运动传感器的位姿变换参数。

65.如权利要求63所述的飞行器，其特征在于，

所述目标图像为由所述第二相机采集；

优化后的位姿参数包括：所述第一相机相对于所述机身或相对于所述运动传感器的位姿变换参数，和/或，所述第一相机和所述第二相机之间的相对位姿参数。

66.如权利要求63所述的飞行器，其特征在于，

所述目标特征点为对所述目标图像和所述目标图像的相邻图像进行特征点匹配计算确定的特征点，所述目标图像和所述目标图像的相邻图像为由同一相机采集；

所述目标特征点的二维信息包括：所述目标特征点在所述目标图像上的位置信息。

67.如权利要求63所述的飞行器，其特征在于，所述控制器，用于执行如下步骤：

判断所述第一相机和所述第二相机之间的相对位姿参数是否存在异常；

若是，则确定所述第二相机采集的目标图像上的目标特征点；

若否，则确定所述第一相机采集的目标图像上的目标特征点。

68.如权利要求64所述的飞行器，其特征在于，所述控制器，还用于执行如下步骤：

从所述第二相机采集的参考图像中确定参考特征点，所述参考特征点与所述目标特征点相关联，所述参考图像和所述目标图像为在相同时刻采集；

获取用于确定所述参考特征点在所述参考图像上的二维信息的参考观测特征参数；

基于所述参考观测特征参数以及优化后的位姿参数，优化所述第一相机和所述第二相机之间的相对位姿参数。

69.如权利要求68所述的飞行器，其特征在于，所述控制器，还用于执行如下步骤：

判断所述第一相机和所述第二相机之间的相对位姿参数是否存在异常；

若是，则执行所述优化所述第一相机和所述第二相机之间的相对位姿参数。

70.如权利要求68所述的飞行器，其特征在于，所述控制器，用于执行如下步骤：

根据所述预测特征参数、所述相对位姿参数，获取用于确定所述参考特征点在所述参考图像上的二维预测信息的参考预测特征参数；

根据所述参考观测特征参数、所述参考预测特征参数以及优化后的位姿参数，优化所述第一相机和所述第二相机之间的相对位姿参数。

71.如权利要求70所述的飞行器，其特征在于，所述控制器，还用于执行如下步骤：

根据所述参考观测特征参数、所述参考预测特征参数以及优化后的位姿参数，优化所述参考特征点的二维信息和所述参考特征点的二维预测信息之间的相对误差；

根据所述相对误差的优化结果得到所述第一相机和所述第二相机之间的相对位姿参数。

72.如权利要求71所述的飞行器，其特征在于，所述控制器，还用于执行如下步骤：

基于所述参考观测特征参数、所述运动数据及所述相对误差的优化结果，利用滤波法优化所述第一相机和所述第二相机之间的相对位姿参数。

73.如权利要求72所述的飞行器，其特征在于，所述相对误差的优化结果为所述相对误差的最小化结果。

74.如权利要求61或72所述的飞行器，其特征在于，所述滤波法包括卡尔曼滤波法。

75.如权利要求67或69所述的飞行器，其特征在于，所述控制器，用于执行如下步骤：

判断所述第一相机和所述第二相机在相同时刻采集的图像之间的匹配特征点是否满足异常条件；

若是，则确定所述相对位姿参数异常。

76.如权利要求75所述的飞行器，其特征在于，所述满足异常条件是指：所述第一相机和所述第二相机在相同时刻采集的图像之间，像素误差在预设误差范围内的匹配特征点的数量大于数量阈值。

77.如权利要求76所述的飞行器，其特征在于，像素误差是指所述匹配特征点之间在垂直于拍摄基线方向上的像素位置误差。

78.如权利要求67或69所述的飞行器，其特征在于，所述控制器，用于执行如下步骤：

获取所述第一相机和所述第二相机上的运动感测数据；

根据所述运动感测数据判断所述第一相机和所述第二相机之间的相对位置是否发生变化；

若是，则确定所述相对位姿参数异常。

79.如权利要求67或69所述的飞行器，其特征在于，所述控制器，用于执行如下步骤：

获取所述第一相机和/或所述第二相机上的运动感测数据；

根据所述运动感测数据判断所述第一相机和/或所述第二相机与所述机身之间的相对位置是否发生变化；

若是，则确定所述相对位姿参数异常。

80.如权利要求57所述的飞行器，其特征在于，所述控制器，用于执行如下步骤：

实时优化所述摄像设备的图像映射参数。

81.如权利要求57所述的飞行器，其特征在于，所述控制器，还用于执行如下步骤：

利用优化后的图像映射参数进行图像处理。

82.如权利要求57所述的飞行器，其特征在于，所述图像映射参数还包括：所述摄像设备的空间位姿参数。

83.根据权利要求64或68所述的飞行器，其特征在于，所述相对位姿参数中所述第一相机和所述第二相机的旋转调整参数的可修正偏差为不大于3度。

Images