CN109658461A

CN109658461A - 一种基于虚拟仿真环境的合作二维码的无人机定位方法

Info

Publication number: CN109658461A
Application number: CN201811579235.5A
Authority: CN
Inventors: 高嘉瑜; 李斌; 李阳; 景鑫
Original assignee: CETC 20 Research Institute
Current assignee: CETC 20 Research Institute
Priority date: 2018-12-24
Filing date: 2018-12-24
Publication date: 2019-04-19
Anticipated expiration: 2038-12-24
Also published as: CN109658461B

Abstract

本发明提供了一种基于虚拟仿真环境的合作二维码的无人机定位方法，通过在虚拟场景中放置棋盘格，进行摄像机标定准确获取虚拟摄像机参数；识别场景中AprilTag二维码并通过AprilTag二维码进行无人机准确定位，并在虚拟场景中验证摄像机标定的准确性以及基于AprilTag二维码定位定姿算法的可行性。本发明在虚拟场景中，放置棋盘格，利用坐标系转换关系求取虚拟摄像机参数，对摄像机进行标定，为虚拟场景下无人机视觉导航验证算法提供摄像机内参，解决了虚拟摄像机内参无法获取问题，并利用标定得到的摄像机参数及AprilTag二维码定位算法来求取摄像机的位置参数，解决了复杂环境下无人机快速、鲁棒定位问题。

Description

一种基于虚拟仿真环境的合作二维码的无人机定位方法

技术领域

本发明涉及一种无人机定位方法，属于视觉导航领域。

背景技术

近年来，无人机系统能力不断提升，在城市反恐侦察、灾害监测、物流配送、交通疏导等军事和民用领域崭露头角，应用前景尤为广阔。无人机定位是无人机遂行动态任务的必要环节，也是无人机自主能力的重要体现。针对城市建筑群/森林/室内弱 GPS(卫星导航)作战区域伪GPS等环境下的应用需求，深入研究无GPS依赖的无人机定位方法，视觉导航技术具有高自主性、无源性、低成本性等特点，近年来被成功应用。

视觉传感器一般通过摄像机采集的图像序列来估计机体的运动，相机的优势是每一帧图像包含的信息丰富、硬件成本低且质量小。现有的视觉定位技术分为基于自然场景识别和基于人工地标识别两种。基于人工地标识别的方式通常具有更高的识别率以及更好的鲁棒性，人工标识设置通常有H型、T型等。

本发明选用基于合作二维码的无人机定位方法，利用AprilTag(合作二维码标签)进行识别定位。采用单目相机对旋翼飞行器进行位姿估计，该系统能够适应不同的环境、不同光照条件，使无人机更加稳定地自主飞行。

AprilTag是由密西根大学April实验室开发的一个鲁棒灵活的基准系统。虽然与其他的2D图标(例如二维码)类似，但它有着更明确的目标和应用。相较于传统的视觉地标识别系统，AprilTag增加了对图标的识别编码，因此具有更好的鲁棒性，并且在快速识别的同时能够有效处理遮挡、翘曲和透镜变形等情况。AprilTag具有良好开源特性，通过对AprilTag核心算法进行修改，满足基于图标坐标系的相机定位要求并进行实验。

实验在虚拟场景中进行，本发明选用的是场景提供的虚拟摄像机。没有办法得到不同视场角下的摄像机内参。给视觉导航仿真带来很大的影响。之前在仿真中通常用已知的摄像机定位反推得到摄像机的参数，但是在实际应用中，修改完算法没有办法验证算法的准确性，因此得到的摄像机参数也无法验证；再次在视觉导航仿真中，在不同距离观测着陆标志，为了获取清晰的着陆标志，在过程中我们需要不断的调整摄像机焦距，通过改变场景的视场角来获取标志，在不同视场角下摄像机的内参是变化的；

因此迫切需要解决虚拟仿真场景中，摄像机参数标定问题，为视觉导航提供虚拟场景验证环境。考虑到在应用领域对摄像机标定的精度、操作性和实时性等方面的要求，本发明提出了一种快速精确的标定方法。该方法比较全面地考虑了摄像机的各个参数，以OpenCV库与Visual Studio 2015平台为联合开发工具实现摄像机标定。

得到虚拟摄像机标定参数后，在场景中放置AprilTag标签，基于AprilTag二维码进行定位。虽然AprilTag系统支持定位，但是其定位方法是基于相机坐标系的，这与大多数情况需要得到相机相对于图标的定位要求不符。因此，基于AprilTag图标的相机定位需要对其算法进一步改进。

发明内容

为了克服现有技术的不足，本发明提供一种基于虚拟仿真环境的合作二维码的无人机定位方法，通过在虚拟场景中放置棋盘格，进行摄像机标定准确获取虚拟摄像机参数；识别场景中AprilTag二维码并通过AprilTag二维码进行无人机准确定位，并在虚拟场景中验证摄像机标定的准确性以及基于AprilTag二维码定位定姿算法的可行性。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1，使用Unity3D 5.0开发工具构建无人机着陆场景；构建虚拟摄像机；在场景中放置棋盘格构建平面模板，放置视觉导航着陆地标，记录着陆地标中心的水平、垂直、高度坐标；

步骤2，调整虚拟摄像机视场角，对放置的棋盘格进行拍摄，记录获取图像组时的摄像机视场角；变换方向角度再次拍摄棋盘格获取图像，采集多角度观测景象；

步骤3，读取获取的棋盘格场景图，检测图像HARRIS角点；将景象平面坐标转化为世界坐标；对所有平面特征点计算最小二乘解，得到内参矩阵；通过至少3个平面来构建至少6个等式方程，联立方程计算得到内参矩阵K中每个参数的闭合解，进一步解得各个平面的外参闭合解，即旋转向量R和平移向量T；将上述的闭合解作为求解过程的初始值，通过最大似然估计求解内参矩阵K；

步骤4，在场景中设置AprilTag图标；记录图标的大小尺寸，以及放置在场景中位置；调整摄像机位置拍摄AprilTag图标，记录此时的摄像机位置坐标；用此时摄像机视场角对应的内参值，通过基于AprilTag图标摄像机定位算法解算摄像机当前位置调整摄像机位置用获取的标定参数解算得到相机位置坐标；对AprilTag图标中的二维码进行检测和解码；利用EPNP算法进行摄像机位姿解算，迭代求解得到旋转矩阵R 和平移矩阵t。

本发明的有益效果是：在虚拟场景中，放置棋盘格，利用坐标系转换关系求取虚拟摄像机参数，对摄像机进行标定，为虚拟场景下无人机视觉导航验证算法提供摄像机内参，解决了虚拟摄像机内参无法获取问题，并利用标定得到的摄像机参数及 AprilTag二维码定位算法来求取摄像机的位置参数，解决了复杂环境下无人机快速、鲁棒定位问题。

附图说明

图1是本发明步骤流程示意图；

图2是本发明摄像机标定过程图；

图3是地标检测识别效果图；

图4是视觉导航自主着陆算法精度图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明通过获取环境中合作二维码图像来解算无人机位置参数并在虚拟环境中验证算法的可用性，解决旋翼无人机在复杂飞行环境下定位问题。

视觉导航定位的主要任务是根据景象像素间的匹配结果将三维相机坐标系映射至世界坐标系中，基本过程可以简化为如何将景象平面坐标转化为惯性坐标，而这一过程可以用下式进行描述：

其中，u、v为景象平面坐标，x_w、y_w、z_w为惯性坐标，由惯性测量单元提供，矩阵R、T表示如何将世界坐标系转化至相机坐标系(即以相机中心为原点的坐标系)，也称为相机的外参，矩阵K表示如何将相机坐标系转化至景象的平面坐标系，也称为相机的内参。

从景象坐标至相机坐标的转换，依赖于精确的K矩阵，即相机内参。因此，为了实现精确的视觉导航定位，需要进行相机标定来计算相机内参。

P＝[k₁ k₂ p₁ p₂]

通过标定可以得到相机的内参矩阵K和畸变向量P。

式中：f_x和f_y为x和y方向上的焦距；c_x和c_y为相机像素坐标系中原点在x和y 方向上的平移；k₁和k₂为径向畸变系数；p₁和p₂为切向畸变系数。

本发明使用Unity3D 5.0开发工具，在此基础上完成二次开发，构建无人机着陆场景，构建虚拟摄像机。并在场景中着陆位置放置二维码标签。首先利用平面模板作为标定物，并用待标定相机从至少三个不同的角度观测该标定物(可以通过移动相机或标定物实现，移动方式无特定限制)，最后利用拍摄得到的图以OpenCV库与Visual Studio 2015平台为联合开发工具实现摄像机标定，获取虚拟相机参数。其次通过获取场景中的AprilTag二维码图像，通过二维码检测、二维码解码最终得到二维码检测结果，然后通过PnP(Perspectire-n-Point)解算得到无人机位置姿态参数。

具体实施步骤如下：

步骤1)：使用Unity3D 5.0开发工具构建虚拟仿真场景包括1.1)～1.5)；

1.1)使用Unity3D 5.0开发工具构建无人机着陆场景；

1.2)构建虚拟摄像机；

1.3)在场景中放置棋盘格构建平面模板；

1.4)在场景中放置视觉导航着陆地标；

1.5)记录着陆地标中心的水平、垂直、高度坐标；

步骤2)；采集多角度观测景象包括步骤2.1)～2.5)；

2.1)调整虚拟摄像机视场角并进行固定；

2.2)记录获取图像组时的摄像机视场角；

2.3)虚拟摄像机位置及方向对放置的棋盘格进行拍摄；

2.4)变换方向角度再次拍摄棋盘格获取图像；

2.5)对获取的图像进行保存；

步骤3)；进行虚拟摄像机标定包括步骤3.1)～3.7)；

3.1)利用vc++配置opencv库；

3.2)读取获取的棋盘格场景图，检测图像HARRIS角点，并储存；

3.3)将景象平面坐标转化为世界坐标；

3.5)通过Levenberg-Marquardt算法对所有平面特征点计算最小二乘解，在一个平面下可以得到内参矩阵；

3.6)由于内参矩阵有5个待估计参数，因此至少需要三个平面来构建6个等式方程，联立这些方程从而可以计算得到K(内参矩阵)矩阵中每个参数的闭合解，进一步可以解得各个平面的外参闭合解，即R旋转向量和T平移向量。

3.7)求解K矩阵，如果给定的平面数量大于3，那么可以联立多组不同的3平面来估计出K矩阵。为了求解得到更精确的内参，可以通过最大似然估计来求解K矩阵，并将上述的闭合解作为求解过程的初始值。

步骤4)；基于二维码的摄像机位置姿态解算包括步骤4.1)～3.7)；

4.1)在场景中设置标识，这里选用AprilTag图标；记录图标的大小尺寸，以及放置在场景中位置；调整摄像机位置拍摄AprilTag图标，记录此时的摄像机位置坐标；用此时摄像机视场角对应的内参值，通过基于AprilTag图标摄像机定位算法解算摄像机当前位置调整摄像机位置用获取的标定参数解算得到相机位置坐标；

4.2)二维码检测：二维码的检测工作的思路是提取一块四边形的区域，这个区域具有比周围亮度更低的特点。利用降采样方法进行线段检测，然后对检测到的线段进行分组，每一组线段都可以构成四边形的候选者，通过筛选检测四边形，后进行单应矩阵和外参的估计；

4.3)二维码的解码与编码：在二维码的解码过程中，首先将二维码中每一块的坐标通过单应性矩阵映射到图像平面，判断图像平面上映射后的点的像素值是否大于某一个阈值，若大于该阈值，二维码这个坐标上为1，相反，小于该阈值则判定为0。解码完成后进行二维码的编码检测结果如下：

4.4)利用EPNP算法进行摄像机位姿解算：

EPnP算法(PnP算法的一种)可以处理所有n≥4的情况，且算法复杂度达到了 O(n)，其算法的核心思想是用四个虚拟控制点坐标的加权表示空间内的点，这样就将 PnP问题转化为了在摄像机坐标下求这四个控制点的问题。过迭代求解可以得到旋转矩阵R和平移矩阵t。

4.5)相机坐标系与图标坐标系转换

主要涉及两种坐标系，即相机坐标系和图标坐标系其转化关系如下：

其中R为旋转矩阵，t为平移向量。对于AprilTag系统，可以得到r和t，其中t与式中平移向量一致，而r为AprilTag系统旋转向量，通过罗德里格斯变换，可以将其转换为R。

本发明的实施例如图1所示，提供一种基于虚拟仿真环境的合作二维码的无人机定位方法。本发明的相对导航方法是在以下步骤1至步骤5的基础上循环运行：

1.1使用Unity3D 5.0开发工具构建无人机着陆场景；

1.2)构建虚拟摄像机；

1.3)在场景中放置棋盘格构建平面模板；

1.4)在场景中放置视觉导航着陆地标；

1.5)记录着陆地标中心的水平、垂直、高度坐标

步骤2)；采集多角度观测景象包括步骤2.1)～2.5)；

2.1)调整虚拟摄像机视场角并进行固定

2.2)记录获取图像组时的摄像机视场角

2.3)虚拟摄像机位置及方向对放置的棋盘格进行拍摄；

2.4)变换方向角度再次拍摄棋盘格获取图像；

2.5)对获取的图像进行保存；

步骤3)；进行虚拟摄像机标定包括步骤3.1)～3.7)；

3.1)利用vc++配置opencv库

3.2)读取获取的棋盘格场景图，检测图像HARRIS角点，并储存；

3.3)将景象平面坐标转化为世界坐标过程简化为

m＝K[R T]M

其中，m为景象平面坐标，M为m＝[u v 1]^T，M＝[x y z 1]^T。

3.4)只考虑对世界坐标系中一个平面上的点进行上述变化，即考虑z＝0的情况，则上述转换过程可以表示为

其中，H＝[h₁ h₂ h₃]＝K[r₁ r₂ T]，为m矩阵中z＝0值的矩阵。为M矩阵中z＝0值的矩阵。

3.5)由于r₁，r₂正交，矩阵H可以通过Levenberg-Marquardt算法对所有平面特征点计算最小二乘解得到，在一个平面下可以得到对内参矩阵K的两个约束方程

3.6)由于矩阵K有5个待估计参数，因此至少需要三个平面来构建6个等式方程，联立这些方程从而可以计算得到K矩阵中每个参数的闭合解，进一步可以解得各个平面的外参闭合解，即R和T。

3.7)求解K矩阵，如果给定的平面数量大于3，那么可以联立多组不同的3平面来估计出K矩阵。为了求解得到更精确的内参，可以通过最大似然估计来求解K矩阵，并将上述的闭合解作为求解过程的初始值。对于n张不同视角拍摄的平面景象，每张景象检测有m个特征点，则有如下方程

其中，f(K，R_i，T_i，M_j)方程描述了z＝0的过程。上式可以通过Levenberg-Marquardt算法进行求解。得到内参矩阵K的每个值；

4.2)二维码检测：二维码的检测工作的思路是提取一块四边形的区域，这个区域具有比周围亮度更低的特点。利用降采样方法线段检测、然后对检测到的线段进行分组，每一组线段都可以构成四边形的候选者，通过筛选检测四边形，最后进行单应矩阵和外参的估计；

4.4)利用EPNP算法进行摄像机位姿解算：

EPnP算法(PnP算法的一种)可以处理所有特征点个数n≥4的情况，且算法的时间复杂度达到了O(n)，其算法的核心思想是用四个虚拟控制点坐标的加权表示空间内的点，这样就将PnP问题转化为了在摄像机坐标下求这四个控制点的问题。令世界坐标系内n个点表示为p_i,i＝1,…n，四个控制点表示为c_i,i＝1,…n，有

其中，α_ij为齐次质心坐标，还可得到

假设A为摄像机的内参数矩阵，w_i是对应的视场深度。根据前面建立的摄像机投影的数学模型有，

可以进一步表示为

这样上式中的未知数就只是和{w_i}_i＝1,...,4，消去{w_i}_i＝1,...,4有

这样就得到了一个线性系统，可以简化为：Mx＝0，其中是一个12维的未知向量，M是2n×12的矩阵。这样的解就属于零空间，可以表示为其中是对应于M的N个零奇异值的右奇异向量。可以比较方便的由 M^TM的零特征向量求得。得到β_i的初值后，就可以使用高斯一牛顿法去优化这些参数。最后得到最终的和通过迭代求解可以得到旋转矩阵R和t。

4.5)相机坐标系与图标坐标系转换

其中R为旋转矩阵，t为平移向量。对于AprilTag系统，可以得到r和t，其中t与式中平移向量一致，而r为旋转向量，通过罗德里格斯变换，可以将其转换为R，且有：

RR^T＝I

即有：

R^T＝R^-1

对上式变形，可以得到：

代入并且由将图标原点设为图标中心，可以得到相机相对于图标的坐标值：

X＝-R^Tt

这就是以图标坐标系得到的相机坐标值，若已知相机相对于图标的姿态信息，可以将其代入旋转向量r，进一步求得在此基础上的相机坐标值。

仿真选用Unity3D 5.0开发工具，在此基础上完成二次开发。设计模拟无人机模型，搭载模拟摄像机，飞机着陆场景。通过软件与Visual Studio C++软件完成的图像处理算法结合，完成实时图像与数据交互，验证仿真系统的可行性。

创建无人机视觉着陆仿真场景，在场景中放入棋盘格。将仿真摄像机放置在棋盘格前。不断调整摄像机角度。获取30张图像，进行标定。标定结果如下：

P＝[k₁ k₂ p₁ p₂]＝[0.0082 0.3167 0 0]

再进行AprilTag二维码进行定位，得到位置误差不超过0.2米，误差值较小，可以满足一定的定位需求。

以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims

1.一种基于虚拟仿真环境的合作二维码的无人机定位方法，其特征在于包括下述步骤：

步骤4，在场景中设置AprilTag图标；记录图标的大小尺寸，以及放置在场景中位置；调整摄像机位置拍摄AprilTag图标，记录此时的摄像机位置坐标；用此时摄像机视场角对应的内参值，通过基于AprilTag图标摄像机定位算法解算摄像机当前位置调整摄像机位置用获取的标定参数解算得到相机位置坐标；对AprilTag图标中的二维码进行检测和解码；利用EPNP算法进行摄像机位姿解算，迭代求解得到旋转矩阵R和平移矩阵t。