CN108711166B - 一种基于四旋翼无人机的单目相机尺度估计方法 - Google Patents
一种基于四旋翼无人机的单目相机尺度估计方法 Download PDFInfo
- Publication number
- CN108711166B CN108711166B CN201810324883.XA CN201810324883A CN108711166B CN 108711166 B CN108711166 B CN 108711166B CN 201810324883 A CN201810324883 A CN 201810324883A CN 108711166 B CN108711166 B CN 108711166B
- Authority
- CN
- China
- Prior art keywords
- camera
- coordinate system
- image
- imu
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 239000011159 matrix material Substances 0.000 claims abstract description 74
- 230000001133 acceleration Effects 0.000 claims description 26
- 230000000007 visual effect Effects 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 238000000354 decomposition reaction Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000011161 development Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000010276 construction Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种基于四旋翼无人机的单目相机尺度估计方法，包括以下步骤：1)获取图像及IMU参数信息；2)提取二维图像特征点并进行特征匹配；3)求解相机的外参矩阵；4)融合IMU信息，估计单目相机的尺度，本发明提出一种针对四旋翼飞行器的地图构建问题的简单且运算量低的单目摄像机尺度估计方法，为四旋翼无人机地图构建提供了有效的尺度因子。
Description
技术领域
本发明涉及四旋翼无人机的单目视觉领域，尤其是针对四旋翼无人机的单目相机和惯性传感器(Inertial measurement unit，IMU)的运动信息来获取单目相机的尺度方法。
背景技术
近年来，随着计算机技术，自动控制理论，嵌入式开发，芯片设计以及传感器技术的迅速发展，让无人飞行器能够在更加小型化的同时，拥有更强的处理能力，无人机上的相关技术也受到越来越多的关注；小型无人机拥有操控灵活，续航能力强等优势，从而能够在狭小环境中处理复杂任务，在军事上能够执行军事打击，恶劣环境下搜索，情报收集，等高风险环境下替代士兵的工作；在民用上，为各行各业从业人员提供航拍，远程设备巡检，环境监测，抢险救灾等功能；
四旋翼为常见旋翼无人飞行器，通过调节电机转速实现飞行器的俯仰，横滚以及偏航动作；相对于固定翼无人机，旋翼无人机拥有明显的优势：首先，机身结构简单、体积小，单位体积可产生更大升力；其次，动力系统简单，只需调整各旋翼驱动电机转速即可完成空中姿态的控制，可实现垂直起降、空中悬停等多种特有的飞行模式，且系统智能度高，飞行器空中姿态保持能力强；
在四旋翼飞行器的诸多应用当中，最为核心的应用是其搭载的视觉系统，促进了许多移动视觉的应用，例如视觉里程计、移动增强现实、三维重建和即时定位与地图构建等。但是由于单目相机缺少尺度信息，在三维重建和即时定位与地图构建等领域不能得到等尺度的空间结构，因此，需要一种基于四旋翼无人机的单目相机尺度估计方法。
发明内容
为了克服现有的四旋翼无人机的无法有效实现单目相机尺度估计的不足，本发明提出在无人机上搭载高清摄像头和惯性传感单元，无人机拥有灵活的视角，能帮助人们捕获一些地面移动摄像机难以捕捉到的图像，如果将轻量级摄像头嵌入到小型四旋翼无人机上，还能提供丰富并廉价的信息；而惯性传感单元能够提供无人机飞行的速度和方向信息。添加的IMU信息不仅能够有助于单目相机确定尺度，还能在相机被遮挡是亦能提供短时间的位姿估计。基于视觉和惯性传感器的单目相机估计方法是指通过的图片获取相机运动的位姿(旋转矩阵和平移向量)，将相机运动的位姿和IMU获取的加速度计和陀螺仪参数进行对准，实现单目相机的尺度估计。可应用于地图构建、三维重建等领域。基于这样的思路，本发明提出一种基于四旋翼无人机的单目相机尺度估计方法。
本发明解决其技术问题所采用的技术方案是：
一种基于四旋翼无人机的单目相机尺度估计方法，所述方法包括以下步骤：
1)获取图像及IMU参数信息；
2)提取二维图像特征点并且进行特征匹配；
3)求解相机的外参矩阵；
4)融合IMU信息，估计单目相机的尺度，过程如下：
首先根据采集到的IMU参数信息和通过视觉计算得到的无人机的运动姿态，即位置P和旋转矩阵R，根据两者参数估计步骤4)中单目相机的尺度因子，包括以下步骤：
4.1)视觉和IMU参数时域上的同步
比较陀螺仪的参时间戳和由视觉获取的角速度时间戳，选取最小平方差的偏移值为最优的时间偏移量to，将较小的时间戳加上获取的最优的时间偏移量，实现视觉和IMU在时间上的同步；
其中，由视觉获取的角速度是根据相机的外参矩阵中的旋转矩阵
变换而来。角速度由ωx、ωy和ωz组成，其变换关系为：
其中，
表示世界坐标系到相机坐标系的旋转矩阵；
表示在相机标系下的视觉角速度。
4.2)视觉和IMU参数频域上的同步
由4.1)获取的基于视觉的角速度与从陀螺仪读出的角速度分别在两个坐标系下，即相机坐标系和IMU坐标系。因此，需要求解相机坐标系与IMU坐标系的旋转矩阵
用于视觉与IMU参数在频域上的同步。
的计算公式如下：
其中，
为在相机坐标系下的陀螺仪零偏；to为最优的时间戳偏移量。
4.3)相机坐标系下重力加速度的估计
采用比较视觉和IMU获取的加速度值进行尺度的估计，由于地球的重力加速度gw不能直接通过相机观测到，所以不能直接比较视觉和IMU的加速度值，进而需要估计相机坐标系下的gw：
其中，
表示相机坐标系下的加速度，由视觉获取的位置坐标二次积分获取；
表示IMU坐标系下加速度计的读数；
表示经过旋转变换后的在相机坐标系下的加速度；s表示单目相机的初始尺度因子；
表示加速度计的零偏，s和
的计算公式如下：
4.4)单目相机尺度因子的估计
将在频域中估计单目的尺度，通过傅里叶变换将时域中的相机坐标系下的视觉和IMU的加速度变换到频域中AV(f)，AI(f)：
其中，F{.}表示傅立叶变化。通过最小化视觉和IMU加速度的幅值估计在频域中的单目相机尺度：
其中，fmax设置为默认值1.2。至此，即可估计出单目相机的尺度。
进一步，所述步骤1)中，获取图像及IMU参数信息的过程包括以下步骤：
1.1)采集图像
基于四旋翼飞行器平台的Linux开发环境，使用机器人操作系统ROS订阅图像主题的方式获取图像的，相机驱动由ROS和openCV实现；包括时间戳和图片；
1.2)获取IMU参数
基于四旋翼飞行器平台的Linux开发环境，使用机器人操作系统ROS订阅图像主题的方式获取IMU参数，包括时间戳、加速度计读数和陀螺仪读数。
再进一步，所述步骤2)中，提取二维图像特征点并且进行特征匹配的步骤如下：
2.1)SIFT提取特征点
实现尺度不变的高斯变换核，高斯核定义为：
其中，σ表示正态分布方差，从而尺度空间表示为图像与高斯核的卷积结果如式为：
其值越小代表图像经过的平滑处理越小，也就是相应的尺度越小；其中大尺度代表图像的轮廓，而小尺度代表图像的细节部分；描述特征算子中加上一个方向向量作为算子置信度的评价标准，SIFT算子采用一个向量算子作为描述；
2.2)SURF特征描述符建立
在过滤特征点时，如式(13)，先采用Hessian矩阵获取图像的局部特征值，利用图像灰度性质的算法积分图像这种方法：
首先计算图像的Hessian矩阵，其中Hessian是SURF算子的核心，在计算图像Hessian矩阵前需先对其高斯滤波，使其具有尺度无关性；引入图像每个像素计算出其Hessian矩阵行列式作为评价值来判断，通过这种方法，为了旋转一个值来判别特征点；图像尺度变化与加权值有对应关系，即真实值与近似值之间的差异关系，则Hessian矩阵判别如式(14)：
det(Happrox)＝DxxDyy-(0.9Dxy)2 (14)
随后，把高斯函数作为处理因子对图像函数进行多次的卷积并且获得二次抽样结果，最终生成图像金字塔。匹配度根据特征点及特征值的相似度来计算。
2.3)特征描述符匹配
当得到两幅图像的SURF描述符后，对两幅图像的描述符进行匹配，采用了K最临近法来对两个描述符进行匹配；KNN的思想是假设每一个类包含多个样本数据，而且每个数据都有一个唯一的类标记表示这些样本是属于哪个分类，计算每个样本数据到待分类数据的距离，取和待分类数据最近的K个样本数据，这K个样本数据中哪个类别的样本数据占多数，则待分类数据就属于该类别；对于目标模板图像中的每个特征点，在输入图像中查找该点的最近邻的两个匹配，比较这两个匹配之间的距离，如果模板图像中一点的匹配距离小于0.8倍输入图像的匹配距离，认为模板中的点和输入图像对应的点为有效匹配，记录下相应的坐标值，当两幅图像间的匹配点多于4个，认为在输入图像中找到了目标物体，对应的坐标信息即为二维特征信息。
所述步骤3)中，求解相机外参矩阵方法为：
3.1)三个坐标系的变换
3.1.1)图像坐标系与像平面坐标系的转换
图像坐标系是以左上角为原点的图像像素坐标系[u,v]T，该坐标系没有物理单位，因此引入原点OI在光轴上的像平面坐标系I＝[xI,yI]T，像平面是相机根据小孔成像模型构建出来的具有物理意义的平面，假设每一个像素在u轴和v轴方向上的物理尺寸为dx和dy，其含义是感光芯片上像素的实际大小，是连接图像坐标系和真实尺寸坐标系的桥梁，dx和dy与摄像机焦距f有关，则像平面坐标系上的点(x1,y1)与像素坐标系中点(u1,v1)对应关系如下：
其中，(u0,v0)为图像坐标系中的中心点，即像平面坐标系的原点所对应的像素点，令
包含四个与相机内部结构有关的参数，称为相机的内参矩阵；
3.1.2)像平面坐标系与相机坐标系的转换
假设相机坐标系中一点PC1＝(xC,yC,zC)，连接光心在图像坐标系中的投影点为PI1＝(xI,yI)，则这两点之间的坐标转换关系如下：
可以转换成矩阵形式如下：
其中f为相机焦距；
3.1.3)相机坐标系与世界坐标系的转换
首先，由于飞行器与相机存在安装误差，这里用[α,β,γ]T表示安装固定的三维误差角，用[xe,ye,ze]T表示摄像机到机身坐标原点的空间距离，则相机坐标系和机体坐标系的关系可以用
来表示，即
C＝TB (18)
其中C表示相机坐标系，B表示机体坐标系；
3.2)对极约束、基本矩阵、本质矩阵
在立体视觉中两个相机拍摄所成的图片平面之间存在约束关系，成为对极约束，要想获取两张图片I1和I2之间的运动，假设第一帧到第二帧的运动为R，t，两个相机中心分别为O1和O2，在图I1中的一个p1，它在I2中对应着特征点p2，其中，p1和p2是在步骤2.3)中获取的匹配点集，二者是同一个空间点在两个两个成像平面上的投影，根据3.1)坐标系的变化，假设空间一点P＝[XYZ]，可知两个像素点p1和p2的像素位置为：
s1p1＝KP，s2p2＝K(RP+t) (19)
其中K为相机的内参矩阵，R，t为两个相平面的相机运动。根据对极约束可得：
这两个式子都称为对极约束，x1和x2是两个像素点的归一化平面上的坐标：x1＝K- 1p1，x2＝K-1p2。基础举证F和本质矩阵E，简化对极约束：
3.3)相机外参数的求解
在求解出相机的本质矩阵和已知相机内参数，可以通过奇异值分解SVD分解方法对本质矩阵进行分解求出旋转矩阵R和平移向量t。过程为：
3.3.1)通过SVD分解方法对本质矩阵进行分解为E＝UDVT，这里先假设奇异值矩阵为：
3.3.2)由E性质，修改上式D的值，得到E为：
3.3.3)得到R，t
R＝UGVT或R＝UGTVTt∧＝VZVT (24)其中，
所述步骤4)融合视觉和IMU的参数信息，进而估计单目相机尺度方法：
通过对相机拍摄图片进行处理，可获取运动相机的姿态：旋转矩阵R和平移向量t。将旋转矩阵变化得到基于视觉的角速度；对平移向量进行二次积分得到基于视觉的加速度。融合IMU参数提供的加速度计和陀螺仪读数，估计出单目相机的尺度信息。
本发明的技术构思为：随着四旋翼飞行器技术的成熟与稳定并且大量地在民用市场上推广，越来越多的人着眼于四旋翼飞行器上可以搭载的轻便的传感器，诸如：摄像机、IMU等。本发明就是在四旋翼飞行器进行三维重建缺少单目相机尺度信息的研究背景下提出的。
本方法的有益效果主要表现在：针对单目相机缺少尺度信息的问题，提出一种基于视觉和惯性传感器的单目相机尺度估计方法，为地图构建、三维建模等领域提供单目相机的尺度信息。
四旋翼飞行器若要实现等尺度的三维重建，最大真实地还原场景结构，首先需要获取单目相机的尺度信息。但是，在无人机上仅搭载单目摄像头，不足以获取尺度因子，因此，本发明提出融合相机和IMU的参数，以实现近似的单目相机尺度估计。
基于四旋翼无人机的单目相机尺度估计方法主要包括：获取图像和IMU信息，进一步将提取图像中的二维特征信息，并进行匹配，然后求解相机外参矩阵，得到运动相机的位姿，最终融合基于视觉和IMU的加速度和角速度，获取单目相机尺度信息。
附图说明
图1为一种基于视觉和惯性传感器的单目相机尺度估计方法流程图；
图2为三维特征提取过程中的各坐标系间的关系，其中[xc,yc,zc]T是摄像机坐标系，[xI,yI,zI]T是像平面坐标系，[xE,yE,zE]T是世界坐标系。
图3为空间中一点P在两个相机的成像平面中的投影信息，表示对极几何约束。
具体实施方式
下面结合附图对本发明做进一步描述：
参照图1～图3，一种基于四旋翼无人机的单目相机尺度估计方法，包括以下步骤：
1)获取图像及IMU参数信息，过程如下：
1.1)采集图像
一般而言，采集图像的方法有非常多中，本发明是基于四旋翼飞行器平台的Linux开发环境，使用机器人操作系统ROS订阅图像主题的方式获取图像的，相机驱动由ROS和openCV实现；包括：时间戳、图片；
1.2)获取IMU参数
同图像采集方法，IMU的采集也是基于四旋翼飞行器平台的Linux开发环境，使用机器人操作系统ROS订阅图像主题的方式获取IMU参数，包括：时间戳、加速度计读数、陀螺仪读数。
2)提取二维图像特征点并且进行特征匹配，过程如下：
2.1)SIFT提取特征点
SIFT全称为scale Invariant Transfrom,即尺度不变特征变换是一种基于尺度不变特性的图像局部特征算子，对图像的旋转，放缩和仿射变换都具有良好的不变特性。其主要操作为在尺度空间内部寻找局部极值点，并且提取其旋转、平移、位置等不变量，最后总结得出描述该特征点的特征量，然后根据这些得到的特征量进行特征点匹配。由于SIFT算子具有尺度不变等特性，因此它的运用范围较为广泛，并且匹配能力相比较Harris算法较强，有良好的鲁棒性能。为了实现模拟图像数据的多尺度特征，可以用实现尺度不变的高斯变换核，高斯核定义为：
其中σ表示正态分布方差，从而尺度空间表示为图像与高斯核的卷积结果如式为：
其值越小代表图像经过的平滑处理越小，也就是相应的尺度越小。其中大尺度代表图像的轮廓，而小尺度代表图像的细节部分，一般为了运行的效率，通常用与高斯核具有相似功能的高斯差分算子(DoG)代替，特征点提取的过程中主要是依据图像的边缘以及具有对比度差异的特征值计算。描述特征算子中加上一个方向向量作为算子置信度的评价标准，通常SIFT算子采用一个向量算子作为描述。
2.2)SURF特征描述符建立
SURF是根据SIFT算子尺度不变性特征改进而来，但是主要的提取的方法不同于SIFT的方法，在生成特征向量的时候采用积分图像，而非SIFT采用的高斯算子，通过降低特征点中反复计算其特征向量过程，在一定程度降低了计算量。并且在过滤特征点时，如式(13)，先采用Hessian矩阵获取图像的局部特征值，利用图像灰度性质的算法积分图像这种方法，这大大加快了程序的运行速度，降低了运行时间。
首先计算图像的Hessian矩阵，其中Hessian是SURF算子的核心，在计算图像Hessian矩阵前需先对其高斯滤波，使其具有尺度无关性。引入图像每个像素计算出其Hessian矩阵行列式作为评价值来判断，通过这种方法，为了旋转一个值来判别特征点。图像尺度变化与加权值有对应关系，即真实值与近似值之间的差异关系，则Hessian矩阵判别如式(14)：
det(Happrox)＝DxxDyy-(0.9Dxy)2 (14)
随后，把高斯函数作为处理因子对图像函数进行多次的卷积并且获得二次抽样结果，最终生成图像金字塔。匹配度根据特征点及特征值的相似度来计算。
2.3)特征描述符匹配
当得到两幅图像的SURF描述符后，就可以对两幅图像的描述符进行匹配。本发明采用了K最临近法(k Nearest Neighbors)来对两个描述符进行匹配；KNN的思想是假设每一个类包含多个样本数据，而且每个数据都有一个唯一的类标记表示这些样本是属于哪个分类，计算每个样本数据到待分类数据的距离，取和待分类数据最近的K个样本数据，这K个样本数据中哪个类别的样本数据占多数，则待分类数据就属于该类别；对于目标模板图像中的每个特征点，在输入图像中查找该点的最近邻的两个匹配，比较这两个匹配之间的距离，如果模板图像中一点的匹配距离小于0.8倍输入图像的匹配距离，认为模板中的点和输入图像对应的点为有效匹配，记录下相应的坐标值，当两幅图像间的匹配点多于4个，本文认为在输入图像中找到了目标物体，对应的坐标信息即为二维特征信息。
3)求解相机外参矩阵，包括以下步骤：
3.1)三个坐标系的变换，过程如下：
3.1.1)图像坐标系与像平面坐标系的转换
图像坐标系是以左上角为原点的图像像素坐标系[u,v]T，该坐标系没有物理单位，因此引入原点OI在光轴上的像平面坐标系I＝[xI,yI]T，像平面是相机根据小孔成像模型构建出来的具有物理意义的平面，假设每一个像素在u轴和v轴方向上的物理尺寸为dx和dy，其含义是感光芯片上像素的实际大小，是连接图像坐标系和真实尺寸坐标系的桥梁，dx和dy与摄像机焦距f有关，则像平面坐标系上的点(x1,y1)与像素坐标系中点(u1,v1)对应关系如下：
其中，(u0,v0)为图像坐标系中的中心点，即像平面坐标系的原点所对应的像素点，令
包含四个与相机内部结构有关的参数，称为相机的内参矩阵；
3.1.2)像平面坐标系与相机坐标系的转换
假设相机坐标系中一点PC1＝(xC,yC,zC)，连接光心在图像坐标系中的投影点为PI1＝(xI,yI)，则这两点之间的坐标转换关系如下：
可以转换成矩阵形式如下：
其中f为相机焦距；
3.1.3)相机坐标系与世界坐标系的转换
首先，由于飞行器与相机存在安装误差，这里用[α,β,γ]T表示安装固定的三维误差角，用[xe,ye,ze]T表示摄像机到机身坐标原点的空间距离，则相机坐标系和机体坐标系的关系可以用
来表示，即
C＝TB (18)
其中C表示相机坐标系，B表示机体坐标系；
3.2)对极约束、基本矩阵、本质矩阵
在立体视觉中两个相机拍摄所成的图片平面之间存在约束关系，成为对极约束。如附图2所示，要想获取两张图片I1和I2之间的运动，假设第一帧到第二帧的运动为R，t。两个相机中心分别为O1和O2。在图I1中的一个p1，它在I2中对应着特征点p2。其中，p1和p2是在步骤2.3)中获取的匹配点集，二者是同一个空间点在两个两个成像平面上的投影。根据3.1)坐标系的变化，假设空间一点P＝[XYZ]，可知两个像素点p1和p2的像素位置为：
s1p1＝KP，s2p2＝K(RP+t) (19)
其中K为相机的内参矩阵，R，t为两个相平面的相机运动。根据对极约束可得：
这两个式子都成为对极约束，x1和x2是两个像素点的归一化平面上的坐标：x1＝K- 1p1，x2＝K-1p2。基础举证F和本质矩阵E，简化对极约束：
3.3)相机外参数的求解
在求解出相机的本质矩阵和已知相机内参数，可以通过奇异值分解SVD分解方法对本质矩阵进行分解求出旋转矩阵R和平移向量t。过程为：
3.3.1)通过SVD分解方法对本质矩阵进行分解为E＝UDVT，这里先假设奇异值矩阵为：
3.3.2)由E性质，修改上式D的值，得到E为：
3.3.3)得到R，t
R＝UGVT或R＝UGTVTt∧＝VZVT (24)
其中，
4)融合IMU信息，估计单目相机的尺度，过程如下：
4.1)视觉和IMU参数时域上的同步
由于相机和IMU是两种不同的传感器，其获取的图片时间戳和IMU时间戳可能不在同一个时钟，即使同时采集图片的IMU信息也会存在未知的时间偏移量。因此需要将视觉和IMU两者的时间戳进行同步处理。本方法时间同步的方案是比较陀螺仪的参数和由视觉获取的角速度时间戳，选取最小平方差的偏移值为最优的时间偏移量td。将较小的时间戳加上获取的最优的时间偏移量，实现视觉和IMU在时间上的同步。
其中，由视觉获取的角速度是根据相机的外参矩阵中的旋转矩阵
变换而来。角速度由ωx、ωy和ωz组成，其变换关系为：
其中，
表示世界坐标系到相机坐标系的旋转矩阵；
表示在相机标系下的视觉角速度。
4.2)视觉和IMU参数频域上的同步
由4.1)获取的基于视觉的角速度与从陀螺仪读出的角速度分别在两个坐标系下，即相机坐标系和IMU坐标系。因此，需要求解相机坐标系与IMU坐标系的旋转矩阵RS，用于视觉与IMU参数在频域上的同步。RS的计算公式如下：
其中，
为在相机坐标系下的陀螺仪零偏；td为最优的时间戳偏移量。
4.3)相机坐标系下重力加速度的估计
单目相机尺度因子估计的目的是求解出一个相对精确的尺度来修正重建目标的尺度。本方法采用比较视觉和IMU获取的加速度值进行尺度的估计。由于地球的重力加速度gw不能直接通过相机观测到，所以不能直接比较视觉和IMU的加速度值，进而需要估计相机坐标系下的gw：
其中，
表示相机坐标系下的加速度，可由视觉获取的位置坐标二次积分获取；
表示IMU坐标系下加速度计的读数；
表示经过旋转变换后的在相机坐标系下的加速度；s表示单目相机的初始尺度因子；
表示加速度计的零偏。s和
的计算公式如下：
4.4)单目相机尺度因子的估计
上一步中估计的单目尺度是在时域获取，但是相机和IMU观测的时间戳偏移量可能会随着时间的变化而略有变化，在时域中估计的单目相机尺度存在不准确性。接下来将在频域中估计单目的尺度，通过傅里叶变换将时域中的相机坐标系下的视觉和IMU的加速度变换到频域中AV(f)，AI(f)：
其中，F{.}表示傅立叶变化。通过最小化视觉和IMU加速度的幅值估计在频域中的单目相机尺度：
其中，fmax设置为默认值1.2。
至此，即可估计出单目相机的尺度。
Claims (4)
1.一种基于四旋翼无人机的单目相机尺度估计方法，其特征在于：所述方法包括以下步骤：
1)获取图像及IMU参数信息；
2)提取二维图像特征点并且进行特征匹配；
3)求解相机外参矩阵；
4)融合IMU信息，估计单目相机的尺度，过程如下：
首先根据采集到的IMU参数信息和通过视觉计算得到的无人机的运动姿态，即位置P和旋转矩阵R，根据两者参数估计步骤4)中单目相机的尺度因子，包括以下步骤：
4.1)视觉和IMU参数时域上的同步
比较陀螺仪的参时间戳和由视觉获取的角速度时间戳，选取最小平方差的偏移值为最优的时间偏移量to，将较小的时间戳加上获取的最优的时间偏移量，实现视觉和IMU在时间上的同步；
其中，由视觉获取的角速度是根据相机的外参矩阵中的旋转矩阵
变换而来，角速度由ωx、ωy和ωz组成，其变换关系为：
其中，
表示世界坐标系到相机坐标系的旋转矩阵；
表示在相机标系下的视觉角速度；
4.2)视觉和IMU参数频域上的同步
由4.1)获取的基于视觉的角速度与从陀螺仪读出的角速度分别在两个坐标系下，即相机坐标系和IMU坐标系，因此，需要求解相机坐标系与IMU坐标系的旋转矩阵
用于视觉与IMU参数在频域上的同步，
的计算公式如下：
其中，
为在相机坐标系下的陀螺仪零偏；to为最优的时间戳偏移量；
4.3)相机坐标系下重力加速度的估计
采用比较视觉和IMU获取的加速度值进行尺度的估计，由于地球的重力加速度gw不能直接通过相机观测到，所以不能直接比较视觉和IMU的加速度值，进而需要估计相机坐标系下的gw：
其中，
表示相机坐标系下的加速度，可由视觉获取的位置坐标二次积分获取；
表示IMU坐标系下加速度计的读数；
表示经过旋转变换后的在相机坐标系下的加速度；s表示单目相机的初始尺度因子；
表示加速度计的零偏，s和
的计算公式如下：
4.4)单目相机尺度因子的估计
在频域中估计单目的尺度，通过傅里叶变换将时域中的相机坐标系下的视觉和IMU的加速度变换到频域中AV(f)，AI(f)：
其中，F{.}表示傅立叶变化，通过最小化视觉和IMU加速度的幅值估计在频域中的单目相机尺度：
||gw||2＝9.8 (10)
其中，fmax设置为默认值1.2，至此，即可估计出单目相机的尺度；
所述步骤4)融合视觉和IMU的参数信息，进而估计单目相机尺度的过程为：通过对相机拍摄图片进行处理，可获取运动相机的姿态：旋转矩阵R和平移向量t，将旋转矩阵变化得到基于视觉的角速度；对平移向量进行二次积分得到基于视觉的加速度，融合IMU参数提供的加速度计和陀螺仪读数，估计出单目相机的尺度信息。
2.如权利要求1所述的一种基于四旋翼无人机的单目相机尺度估计方法，其特征在于：所述步骤1)中，获取图像及IMU参数信息的过程包括以下步骤：
1.1)采集图像
基于四旋翼飞行器平台的Linux开发环境，使用机器人操作系统ROS订阅图像主题的方式获取图像的，相机驱动由ROS和openCV实现；包括：时间戳和图片；
1.2)获取IMU参数
基于四旋翼飞行器平台的Linux开发环境，使用机器人操作系统ROS订阅图像主题的方式获取IMU参数，包括：时间戳、加速度计读数、陀螺仪读数。
3.如权利要求1或2所述的一种基于四旋翼无人机的单目相机尺度估计方法，其特征在于：所述步骤2)中，提取二维图像特征点并且进行特征匹配的方法，步骤如下：
2.1)SIFT提取特征点
采用实现尺度不变的高斯变换核，高斯核定义为：
其中σ表示正态分布方差，从而尺度空间表示为图像与高斯核的卷积结果如式为：
其值越小代表图像经过的平滑处理越小，也就是相应的尺度越小，其中大尺度代表图像的轮廓，而小尺度代表图像的细节部分；描述特征算子中加上一个方向向量作为算子置信度的评价标准，SIFT算子采用一个向量算子作为描述；
2.2)SURF特征描述符建立
在过滤特征点时，如式(13)，先采用Hessian矩阵获取图像的局部特征值，利用图像灰度性质的算法积分图像这种方法，这大大加快了程序的运行速度，降低了运行时间；
首先计算图像的Hessian矩阵，其中Hessian是SURF算子的核心，在计算图像Hessian矩阵前需先对其高斯滤波，使其具有尺度无关性，引入图像每个像素计算出其Hessian矩阵行列式作为评价值来判断，通过这种方法，为了旋转一个值来判别特征点，图像尺度变化与加权值有对应关系，即真实值与近似值之间的差异关系，则Hessian矩阵判别如式(14)：
det(Happrox)＝DxxDyy-(0.9Dxy)2 (14)
随后，把高斯函数作为处理因子对图像函数进行多次的卷积并且获得二次抽样结果，最终生成图像金字塔，匹配度根据特征点及特征值的相似度来计算；
2.3)特征描述符匹配
当得到两幅图像的SURF描述符后，对两幅图像的描述符进行匹配，采用了K最临近法来对两个描述符进行匹配；KNN的思想是假设每一个类包含多个样本数据，而且每个数据都有一个唯一的类标记表示这些样本是属于哪个分类，计算每个样本数据到待分类数据的距离，取和待分类数据最近的K个样本数据，这K个样本数据中哪个类别的样本数据占多数，则待分类数据就属于该类别；对于目标模板图像中的每个特征点，在输入图像中查找该点的最近邻的两个匹配，比较这两个匹配之间的距离，如果模板图像中一点的匹配距离小于0.8倍输入图像的匹配距离，认为模板中的点和输入图像对应的点为有效匹配，记录下相应的坐标值，当两幅图像间的匹配点多于4个，本文认为在输入图像中找到了目标物体，对应的坐标信息即为二维特征信息。
4.如权利要求1所述的一种基于四旋翼无人机的单目相机尺度估计方法，其特征在于：所述步骤3)中，求解相机外参矩阵的步骤如下：
3.1)三个坐标系的变换，过程如下：
3.1.1)图像坐标系与像平面坐标系的转换
图像坐标系是以左上角为原点的图像像素坐标系[u，v]T，该坐标系没有物理单位，因此引入原点OI在光轴上的像平面坐标系I＝[xI，yI]T，像平面是相机根据小孔成像模型构建出来的具有物理意义的平面，假设每一个像素在u轴和v轴方向上的物理尺寸为dx和dy，其含义是感光芯片上像素的实际大小，是连接图像坐标系和真实尺寸坐标系的桥梁，dx和dy与摄像机焦距f有关，则像平面坐标系上的点(x1，y1)与像素坐标系中点(u1，v1)对应关系如下：
其中，(u0，v0)为图像坐标系中的中心点，即像平面坐标系的原点所对应的像素点，令
包含四个与相机内部结构有关的参数，称为相机的内参矩阵；
3.1.2)像平面坐标系与相机坐标系的转换
假设相机坐标系中一点PC1＝(xC，yC，zC)，连接光心在图像坐标系中的投影点为PI1＝(xI，yI)，则这两点之间的坐标转换关系如下：
转换成矩阵形式如下：
其中，f为相机焦距；
3.1.3)相机坐标系与世界坐标系的转换
首先，由于飞行器与相机存在安装误差，这里用[α，β，γ]T表示安装固定的三维误差角，用[xe，ye，ze]T表示摄像机到机身坐标原点的空间距离，则相机坐标系和机体坐标系的关系可以用
来表示，即
C＝TB (18)
其中C表示相机坐标系，B表示机体坐标系；
3.2)对极约束、基本矩阵、本质矩阵
在立体视觉中两个相机拍摄所成的图片平面之间存在约束关系，成为对极约束，要想获取两张图片I1和I2之间的运动，假设第一帧到第二帧的运动为R，t，两个相机中心分别为O1和O2，在图I1中的一个p1，它在I2中对应着特征点p2，其中，p1和p2是在步骤2.3)中获取的匹配点集，二者是同一个空间点在两个两个成像平面上的投影，根据3.1)坐标系的变化，假设空间一点P＝[X Y Z]，可知两个像素点p1和p2的像素位置为：
s1p1＝KP，s2p2＝K(RP+t) (19)
其中K为相机的内参矩阵，R，t为两个相平面的相机运动，根据对极约束得：
这两个式子都称为对极约束，x1和x2是两个像素点的归一化平面上的坐标：x1＝K-1p1，x2＝K-1p2，基础举证F和本质矩阵E，简化对极约束：
3.3)相机外参数的求解
在求解出相机的本质矩阵和已知相机内参数，通过奇异值分解SVD分解方法对本质矩阵进行分解求出旋转矩阵R和平移向量t，过程为：
3.3.1)通过SVD分解方法对本质矩阵进行分解为E＝UDVT，这里先假设奇异值矩阵为：
3.3.2)由E性质，修改上式D的值，得到E为：
3.3.3)得到R，t
R＝UGVT或R＝UGTVT t^＝VZVT (24)
其中，
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810324883.XA CN108711166B (zh) | 2018-04-12 | 2018-04-12 | 一种基于四旋翼无人机的单目相机尺度估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810324883.XA CN108711166B (zh) | 2018-04-12 | 2018-04-12 | 一种基于四旋翼无人机的单目相机尺度估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108711166A CN108711166A (zh) | 2018-10-26 |
| CN108711166B true CN108711166B (zh) | 2022-05-03 |
Family
ID=63867214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810324883.XA Active CN108711166B (zh) | 2018-04-12 | 2018-04-12 | 一种基于四旋翼无人机的单目相机尺度估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108711166B (zh) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544638B (zh) * | 2018-10-29 | 2021-08-03 | 浙江工业大学 | 一种用于多传感器融合的异步在线标定方法 |
| CN109544615B (zh) * | 2018-11-23 | 2021-08-24 | 深圳市腾讯信息技术有限公司 | 基于图像的重定位方法、装置、终端及存储介质 |
| CN109766784A (zh) * | 2018-12-21 | 2019-05-17 | 北京理工大学 | 基于单目图像的胶囊机器人交互控制方法 |
| WO2020124517A1 (zh) * | 2018-12-21 | 2020-06-25 | 深圳市大疆创新科技有限公司 | 拍摄设备的控制方法、拍摄设备的控制装置及拍摄设备 |
| CN110111387B (zh) * | 2019-04-19 | 2021-07-27 | 南京大学 | 一种基于表盘特征的指针表定位及读数方法 |
| CN110415344A (zh) * | 2019-06-24 | 2019-11-05 | 武汉大学 | 基于事件相机的运动补偿方法 |
| CN110470298B (zh) * | 2019-07-04 | 2021-02-26 | 浙江工业大学 | 一种基于滚动时域的机器人视觉伺服位姿估计方法 |
| CN110487249A (zh) * | 2019-07-17 | 2019-11-22 | 广东工业大学 | 一种用于结构三维振动测量的无人机标定方法 |
| CN112238304B (zh) * | 2019-07-18 | 2023-01-06 | 山东淄博环宇桥梁模板有限公司 | 一种基于图像视觉识别焊缝的机械臂自动焊接小批量定制异型桥梁钢模板方法 |
| CN110728716B (zh) * | 2019-09-04 | 2023-11-17 | 深圳市道通智能航空技术股份有限公司 | 一种标定方法、装置及飞行器 |
| CN110617813B (zh) * | 2019-09-26 | 2021-06-08 | 中国科学院电子学研究所 | 单目视觉信息和imu信息相融合的尺度估计系统及方法 |
| CN110617814A (zh) * | 2019-09-26 | 2019-12-27 | 中国科学院电子学研究所 | 单目视觉和惯性传感器融合的远距离测距系统及方法 |
| CN110908401B (zh) * | 2019-12-06 | 2021-03-30 | 电子科技大学 | 一种针对未知杆塔结构的无人机自主巡检方法 |
| CN110991360B (zh) * | 2019-12-06 | 2023-07-04 | 合肥科大智能机器人技术有限公司 | 一种基于视觉算法的机器人巡检点位智能配置方法 |
| CN111637837B (zh) * | 2020-06-03 | 2022-04-08 | 龙永南 | 一种单目摄像头测量物体尺寸及距离的方法和系统 |
| CN113167577A (zh) * | 2020-06-22 | 2021-07-23 | 深圳市大疆创新科技有限公司 | 用于可移动平台的测绘方法、可移动平台和存储介质 |
| CN111784775B (zh) * | 2020-07-13 | 2021-05-04 | 中国人民解放军军事科学院国防科技创新研究院 | 一种标识辅助的视觉惯性增强现实注册方法 |
| CN112308900B (zh) * | 2020-10-22 | 2022-10-21 | 大连理工大学 | 一种基于led圆环检测的四旋翼无人机相对位姿估计方法 |
| CN112797912B (zh) * | 2020-12-24 | 2023-04-07 | 中国航天空气动力技术研究院 | 一种基于双目视觉的大柔性无人机机翼翼尖变形测量方法 |
| CN112668505A (zh) * | 2020-12-30 | 2021-04-16 | 北京百度网讯科技有限公司 | 基于路侧相机的外参的三维感知信息获取方法和路侧设备 |
| CN113031648A (zh) * | 2021-02-26 | 2021-06-25 | 华南理工大学 | 一种基于实感深度相机的旋翼无人机避障的方法 |
| CN113139575B (zh) * | 2021-03-18 | 2022-03-01 | 杭州电子科技大学 | 一种基于条件嵌入预训练语言模型的图像标题生成方法 |
| CN113436249B (zh) * | 2021-06-01 | 2023-04-11 | 中国人民解放军63628部队 | 一种快速稳健的单目相机位姿估计算法 |
| CN116704047B (zh) * | 2023-08-01 | 2023-10-27 | 安徽云森物联网科技有限公司 | 一种基于行人ReID的监控摄像设备位置的标定方法 |
| CN118135526B (zh) * | 2024-05-06 | 2024-07-30 | 南京信息工程大学 | 基于双目相机的四旋翼无人机视觉目标识别与定位方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106570820A (zh) * | 2016-10-18 | 2017-04-19 | 浙江工业大学 | 一种基于四旋翼无人机的单目视觉三维特征提取方法 |
| CN106709223A (zh) * | 2015-07-29 | 2017-05-24 | 中国科学院沈阳自动化研究所 | 基于惯性引导采样的视觉imu方向估计方法 |
| CN107341814A (zh) * | 2017-06-14 | 2017-11-10 | 宁波大学 | 基于稀疏直接法的四旋翼无人机单目视觉测程方法 |
-
2018
- 2018-04-12 CN CN201810324883.XA patent/CN108711166B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709223A (zh) * | 2015-07-29 | 2017-05-24 | 中国科学院沈阳自动化研究所 | 基于惯性引导采样的视觉imu方向估计方法 |
| CN106570820A (zh) * | 2016-10-18 | 2017-04-19 | 浙江工业大学 | 一种基于四旋翼无人机的单目视觉三维特征提取方法 |
| CN107341814A (zh) * | 2017-06-14 | 2017-11-10 | 宁波大学 | 基于稀疏直接法的四旋翼无人机单目视觉测程方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108711166A (zh) | 2018-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108711166B (zh) | 一种基于四旋翼无人机的单目相机尺度估计方法 | |
| CN109360240B (zh) | 一种基于双目视觉的小型无人机定位方法 | |
| CN109029433B (zh) | 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法 | |
| CN108428255B (zh) | 一种基于无人机的实时三维重建方法 | |
| CN108759826B (zh) | 一种基于手机和无人机多传感参数融合的无人机运动跟踪方法 | |
| CN101598556B (zh) | 一种未知环境下无人机视觉/惯性组合导航方法 | |
| CN109708649B (zh) | 一种遥感卫星的姿态确定方法及系统 | |
| CN106529538A (zh) | 一种飞行器的定位方法和装置 | |
| US20190161186A1 (en) | Unmanned aerial vehicle, control system for unmanned aerial vehicle and control method thereof | |
| WO2019104571A1 (zh) | 图像处理方法和设备 | |
| CN102538782B (zh) | 一种基于计算机视觉的直升机着陆引导方法 | |
| CN111324145B (zh) | 一种无人机自主着陆方法、装置、设备及存储介质 | |
| CN110675453B (zh) | 一种已知场景中运动目标的自定位方法 | |
| CN116989772B (zh) | 一种空地多模态多智能体协同定位与建图方法 | |
| WO2020198963A1 (zh) | 关于拍摄设备的数据处理方法、装置及图像处理设备 | |
| CN113624231A (zh) | 基于异源图像匹配的惯性视觉组合导航定位方法及飞行器 | |
| CN114387341A (zh) | 通过单张航拍观测图像计算飞行器六自由度位姿的方法 | |
| CN113807435A (zh) | 一种基于多传感器的遥感图像特征点高程获取方法 | |
| CN117173238A (zh) | 一种无人机编队相对定位方法 | |
| Zhang et al. | An UAV navigation aided with computer vision | |
| CN110136168A (zh) | 一种基于特征点匹配和光流法的多旋翼速度测量方法 | |
| CN115830116A (zh) | 一种鲁棒视觉里程计方法 | |
| CN113239936A (zh) | 一种基于深度学习与特征点提取的无人机视觉导航方法 | |
| Corke et al. | Sensing and control on the sphere | |
| Gomez-Balderas et al. | Vision-based autonomous hovering for a miniature quad-rotor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |