CN114812558A - 一种结合激光测距的单目视觉无人机自主定位方法 - Google Patents

Abstract

本申请涉及一种结合激光测距的单目视觉无人机自主定位方法。所述方法包括：通过获取机载相机采集的图像信息以及对应时刻激光测距提供的高度信息，利用采集的图像数据进行单目视觉位姿估计，再结合激光测距的高度信息计算位姿变化的缩放参数，进而解算无人机真实的位置姿态，实现无人机自主定位。本方法不受无线信号的限制，与双目及多目视觉定位相比对无人机的负载要求较低，涉及的整体计算量小，且激光测距弥补了深度相机测量距离短的缺陷，方便室外适用，是一种普适性与灵活性较强的自主定位方法。

Description

一种结合激光测距的单目视觉无人机自主定位方法

技术领域

本申请涉及无人机自主定位技术领域，特别是涉及一种结合激光测距的单目视觉无人机自主定位方法。

背景技术

目前，基于视觉的无人机自主定位方式具有定位精度高、采集信息丰富、成本低以及适用范围广等特点，已成为无人机自主定位系统研究与应用的主流趋势。

视觉定位的基本原理是利用机载相机采集图像数据，通过图像处理和位姿估计解算无人机的位置姿态，实现无人机自主定位。这种定位方式不依赖外界的无线信号，适用范围更广。

现阶段视觉定位技术主要有基于双目视觉、基于多目视觉以及基于深度相机的定位方法。采用双目相机或多目相机定位对无人机负载要求高，且涉及的整体计算流程复杂，计算量大。采用深度相机定位由于相机测量的深度距离有限，难以在室外使用。因此，现有技术存在计算复杂、适应性不佳的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够不依赖无线信号，操作简单灵活，且适用范围广的结合激光测距的单目视觉无人机自主定位方法。

一种结合激光测距的单目视觉无人机自主定位方法，所述方法包括：

获取无人机运动时机载单目相机采集的序列图像，以及激光测距装置采集的对应时刻所述单目相机光心到地面的高度数据；

通过图像匹配算法对所述序列图像中的相邻两帧图像进行处理，得到所述相邻两帧图像的同名点匹配点对；

根据对极几何约束原理由所述同名点匹配点对进行位姿估计，得到无人机姿态变化信息和具有尺度不确定性的位置变化信息；

根据所述相邻两帧图像在对应时刻的高度数据，以及所述具有尺度不确定性的位置变化信息，得到无人机实际位置变化信息；

根据所述无人机姿态变化信息和所述无人机实际位置变化信息完成无人机自主定位。

在其中一个实施例中，还包括：从所述序列图像中获取相邻两帧图像；

对所述相邻两帧图像进行特征提取和特征描述，并通过最近邻匹配法得到所述相邻两帧图像的单应变换矩阵；

以所述相邻两帧图像中的前一帧图像的特征点为中心，分割出子图像；

将后一帧图像对应的子图像重投影，与所述前一帧图像的子图像进行模板匹配，实现特征点精准匹配；

将匹配的特征点通过所述单应变换矩阵进行变换，得到前后两帧图像中的同名点匹配点对。

在其中一个实施例中，还包括：获取N组所述同名点匹配点对的坐标；其中，N不小于8；

根据对极几何约束原理，根据所述N组同名点匹配点对的坐标构建线性方程组；

求解所述线性方程组得到本质矩阵；

对所述本质矩阵进行奇异值分解，得到旋转矩阵和平移向量；

根据所述旋转矩阵确定无人机姿态变化信息，根据所述平移矩阵确定无人机具有尺度不确定性的位置变化信息。

在其中一个实施例中，还包括：当N＝8时，根据对极几何约束原理，根据所述N组同名点匹配点对的坐标构建线性方程组为：

其中，

为前一帧图像上同名点坐标，

为后一帧图像上同名点坐标，e＝[e₁，e₂，e₃，e₄，e₅，e₆，e₇，e₈，e₉]^T为所述本质矩阵。

在其中一个实施例中，还包括：根据所述相邻两帧图像在对应时刻的高度数据，以及所述具有尺度不确定性的位置变化信息，确定尺度参数；

根据所述具有尺度不确定性的位置变化信息和所述尺度参数，确定无人机实际位置变化信息。

在其中一个实施例中，还包括：获取所述相邻两帧图像在对应时刻的高度数据分别为h₁和h₂；

获取所述具有尺度不确定性的位置变化信息为t＝[x，y，z]^T；其中，x，y，z分别为无人机在x方向、y方向和z方向上的距离变化量；

确定尺度参数为：

在其中一个实施例中，还包括：根据所述具有尺度不确定性的位置变化信息t＝[x，y，z]^T和所述尺度参数s，确定无人机实际位置变化信息为：

上述结合激光测距的单目视觉无人机自主定位方法，通过获取机载相机采集的图像信息以及对应时刻激光测距提供的高度信息，利用采集的图像数据进行单目视觉位姿估计，再结合激光测距的高度信息计算位姿变化的缩放参数，进而解算无人机真实的位置姿态，实现无人机自主定位。本方法不受无线信号的限制，与双目及多目视觉定位相比对无人机的负载要求较低，涉及的整体计算量小，且激光测距弥补了深度相机测量距离短的缺陷，方便室外适用，是一种普适性与灵活性较强的自主定位方法。

附图说明

图1为一个实施例中结合激光测距的单目视觉无人机自主定位方法的流程示意图；

图2为一个实施例中无人机图像采集与激光测距示意图；

图3为一个实施例中序列图像同名点精确配准流程图；

图4为另一个实施例中结合激光测距的单目视觉无人机自主定位方法的流程示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种结合激光测距的单目视觉无人机自主定位方法，包括以下步骤：

步骤102，获取无人机运动时机载单目相机采集的序列图像，以及激光测距装置采集的对应时刻单目相机光心到地面的高度数据。

如图2所示，假设无人机在布有标志点的平面上运动，运动过程机载相机的镜头始终垂直向下。在无人机上搭载单目相机，当无人机处于运动状态时，利用机载相机采集周围环境的图像数据。同时，利用激光测距获得对应时刻相机光心到地面的距离数据，即无人机的高度数据。在地面布置标志点是为了使无人机采集的图像数据中包含充足的特征，便于在同名点配对环节进行SIFT特征匹配与模板匹配处理，保证获得配对同名点的精度，进而保证最终的定位精度。

步骤104，通过图像匹配算法对序列图像中的相邻两帧图像进行处理，得到相邻两帧图像的同名点匹配点对。

机载相机采集的序列图像数据具有时间连续性，本实施例中按照图3所示的流程对序列图像进行处理。首先，利用SIFT特征提取算法对相邻两帧图像进行特征提取、特征描述，并通过最近邻匹配法则初步计算两幅图像间的单应变换。然后两幅图像中以前一帧图像特征点为中心分割出子图像，并将后一帧图像对应的子图像重投影，与前一帧图像对应子图像进行模板匹配，实现特征点精确配准。最后将配准的特征点通过单应变换，得到前后两帧图像中精确配准的同名点。

步骤106，根据对极几何约束原理由同名点匹配点对进行位姿估计，得到无人机姿态变化信息和具有尺度不确定性的位置变化信息。

单目位姿估计的原理是对极几何约束。假设需要求解图像I₁与图像I₂间的位姿变化，设I₁到I₂的运动为R，t。经过同名点配对后，图像I₁中有一个特征点p₁，在图像I₂中对应特征点p₂，则p₁和p₂是同一个空间点在两个成像平面上的投影，满足对极几何约束。定义x₁，x₂为两个像素点在归一化平面上的坐标，本质矩阵E＝t^R，则有以下关系式：

因此，基于单目视觉的位姿估计方法主要包含两个步骤，根据配对点的像素坐标求解本质矩阵E，对本质矩阵E进行分解得到旋转矩阵R和平移向量t。

根据本质矩阵的线性性质，最少可以利用八对匹配点计算求得。考虑一对匹配点的归一化坐标为x1＝[u₁，v₁，1]^T，x₂＝[u₂，v₂，1]^T，根据对极约束，有：

将本质矩阵E展开，e＝[e₁，e₂，e₃，e₄，e₅，e₆，e₇，e₈，e₉]^T，则有：

[u₂u₁，u₂v₁，u₂，v₂u₁，v₂v₁，v₂，u₁，v₁，1]·e＝0

同理，八对匹配点可构成如下线性方程组：

若八对匹配点组成的矩阵符合满秩的条件，则根据上述方程组可求解本质矩阵E。

求得本质矩阵E后，通过奇异值分解得到旋转矩阵R和平移向量t。假设E的SDV值为E＝U∑V^T，根据本质矩阵E的内在性质，分解时存在4种可能的解。将任意一点代入4种解，检测该点在两个相机下的深度，深度均为正的解是正确的解。由于本质矩阵具有尺度等价性，分解后只能获得图像I₁到图像I₂对应时间段相机的旋转变化矩阵R和具有尺度不确定性的平移变化向量t。

按照上述单目位姿估计步骤，利用匹配的同名特征点求解具有尺度不确定性的无人机位置姿态。

步骤108，根据相邻两帧图像在对应时刻的高度数据，以及具有尺度不确定性的位置变化信息，得到无人机实际位置变化信息。

具体地，由单目位姿估计求得的旋转矩阵R为无人机实际姿态变化R_z，即：R_z＝R

平移向量t具有尺度不确定性，与无人机实际位置变化间相差尺度参数s。假设图像I₁和图像I₂对应时刻激光测距数据的高度分别为h₁和h₂，对应时间段无人机的平移向量为t＝[x，y，z]^T。则当h₁≠h₂时，有以下关系式：

s·z＝h₂-h₁

结合激光测距求得尺度参数s后即可获得无人机实际的位置变化t_z

步骤110，根据无人机姿态变化信息和无人机实际位置变化信息完成无人机自主定位。

无人机的实际位置姿态参数R_z，t_z均已求出，利用无人机单目相机拍摄的序列图像和激光测距获得的高度数据，可实现无人机自主定位。

上述结合激光测距的单目视觉无人机自主定位方法中，通过获取机载相机采集的图像信息以及对应时刻激光测距提供的高度信息，利用采集的图像数据进行单目视觉位姿估计，再结合激光测距的高度信息计算位姿变化的缩放参数，进而解算无人机真实的位置姿态，实现无人机自主定位。本方法不受无线信号的限制，与双目及多目视觉定位相比对无人机的负载要求较低，涉及的整体计算量小，且激光测距弥补了深度相机测量距离短的缺陷，方便室外适用，是一种普适性与灵活性较强的自主定位方法。

在其中一个实施例中，还包括：从序列图像中获取相邻两帧图像；对相邻两帧图像进行特征提取和特征描述，并通过最近邻匹配法得到相邻两帧图像的单应变换矩阵；以相邻两帧图像中的前一帧图像的特征点为中心，分割出子图像；将后一帧图像对应的子图像重投影，与前一帧图像的子图像进行模板匹配，实现特征点精准匹配；将匹配的特征点通过单应变换矩阵进行变换，得到前后两帧图像中的同名点匹配点对。

在其中一个实施例中，还包括：获取N组同名点匹配点对的坐标；其中，N不小于8；根据对极几何约束原理，根据N组同名点匹配点对的坐标构建线性方程组；求解线性方程组得到本质矩阵；对本质矩阵进行奇异值分解，得到旋转矩阵和平移向量；根据旋转矩阵确定无人机姿态变化信息，根据平移矩阵确定无人机具有尺度不确定性的位置变化信息。

在其中一个实施例中，还包括：当N＝8时，根据对极几何约束原理，根据N组同名点匹配点对的坐标构建线性方程组为：

其中，

为前一帧图像上同名点坐标，

为后一帧图像上同名点坐标，e＝[e₁，e₂，e₃，e₄，e₅，e₆，e₇，e₈，e₉]^T为本质矩阵。

在其中一个实施例中，还包括：根据相邻两帧图像在对应时刻的高度数据，以及具有尺度不确定性的位置变化信息，确定尺度参数；根据具有尺度不确定性的位置变化信息和尺度参数，确定无人机实际位置变化信息。

在其中一个实施例中，还包括：获取相邻两帧图像在对应时刻的高度数据分别为h₁和h₂；

获取具有尺度不确定性的位置变化信息为t＝[x，y，z]^T；其中，x，y，z分别为无人机在x方向、y方向和z方向上的距离变化量；

确定尺度参数为：

在其中一个实施例中，还包括：根据具有尺度不确定性的位置变化信息t＝[x，y，z]^T和尺度参数s，确定无人机实际位置变化信息为：

应该理解的是，虽然图1、3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在另一个实施例中，如图4所示，提供了一种结合激光测距的单目视觉无人机自主定位方法，通过激光测距采集高度数据得到的高度变化信息和机载相机采集图像数据得到的无尺度无人机位姿信息，进行尺度参数的估计，进而得到有尺度的无人机位姿信息。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种结合激光测距的单目视觉无人机自主定位方法，其特征在于，所述方法包括：

获取无人机运动时机载单目相机采集的序列图像，以及激光测距装置采集的对应时刻所述单目相机光心到地面的高度数据；

通过图像匹配算法对所述序列图像中的相邻两帧图像进行处理，得到所述相邻两帧图像的同名点匹配点对；

根据对极几何约束原理由所述同名点匹配点对进行位姿估计，得到无人机姿态变化信息和具有尺度不确定性的位置变化信息；

根据所述相邻两帧图像在对应时刻的高度数据，以及所述具有尺度不确定性的位置变化信息，得到无人机实际位置变化信息；

根据所述无人机姿态变化信息和所述无人机实际位置变化信息完成无人机自主定位。

2.根据权利要求1所述的方法，其特征在于，通过图像匹配算法对所述序列图像中的相邻两帧图像进行处理，得到所述相邻两帧图像的同名点匹配点对，包括：

从所述序列图像中获取相邻两帧图像；

对所述相邻两帧图像进行特征提取和特征描述，并通过最近邻匹配法得到所述相邻两帧图像的单应变换矩阵；

以所述相邻两帧图像中的前一帧图像的特征点为中心，分割出子图像；

将后一帧图像对应的子图像重投影，与所述前一帧图像的子图像进行模板匹配，实现特征点精准匹配；

将匹配的特征点通过所述单应变换矩阵进行变换，得到前后两帧图像中的同名点匹配点对。

3.根据权利要求2所述的方法，其特征在于，根据对极几何约束原理由所述同名点匹配点对进行位姿估计，得到无人机姿态变化信息和具有尺度不确定性的位置变化信息，包括：

获取N组所述同名点匹配点对的坐标；其中，N不小于8；

根据对极几何约束原理，根据所述N组同名点匹配点对的坐标构建线性方程组；

求解所述线性方程组得到本质矩阵；

对所述本质矩阵进行奇异值分解，得到旋转矩阵和平移向量；

根据所述旋转矩阵确定无人机姿态变化信息，根据所述平移矩阵确定无人机具有尺度不确定性的位置变化信息。

4.根据权利要求3所述的方法，其特征在于，根据对极几何约束原理，根据所述N组同名点匹配点对的坐标构建线性方程组，包括：

当N＝8时，根据对极几何约束原理，根据所述N组同名点匹配点对的坐标构建线性方程组为：

其中，

为前一帧图像上同名点坐标，

为后一帧图像上同名点坐标，e＝[e₁，e₂，e₃，e₄，e₅，e₆，e₇，e₈，e₉]^T为所述本质矩阵。

5.根据权利要求4所述的方法，其特征在于，根据所述相邻两帧图像在对应时刻的高度数据，以及所述具有尺度不确定性的位置变化信息，得到无人机实际位置变化信息，包括：

根据所述相邻两帧图像在对应时刻的高度数据，以及所述具有尺度不确定性的位置变化信息，确定尺度参数；

根据所述具有尺度不确定性的位置变化信息和所述尺度参数，确定无人机实际位置变化信息。

6.根据权利要求5所述的方法，其特征在于，根据所述相邻两帧图像在对应时刻的高度数据，以及所述具有尺度不确定性的位置变化信息，确定尺度参数，包括：

获取所述相邻两帧图像在对应时刻的高度数据分别为h₁和h₂；

获取所述具有尺度不确定性的位置变化信息为t＝[x，y，z]^T；其中，x，y，z分别为无人机在x方向、y方向和z方向上的距离变化量；

确定尺度参数为：

7.根据权利要求6所述的方法，其特征在于，根据所述具有尺度不确定性的位置变化信息和所述尺度参数，确定无人机实际位置变化信息，包括：

根据所述具有尺度不确定性的位置变化信息t＝[x，y，z]^T和所述尺度参数s，确定无人机实际位置变化信息为：

Images