CN110992487B - 手持式飞机油箱快速三维地图重建装置及重建方法 - Google Patents

Abstract

本发明公开了手持式飞机油箱快速三维地图重建装置及重建方法，包括包括工业摄像头、惯导传感器、手持握把、电池、微型工控机以及无线模块，本发明先针对单目相机在油箱内部所拍摄的当前帧照片提取角点特征；再对当前帧提取的角点利用光流法实现下一帧的特征跟踪；然后得到相邻两帧间的位姿变换；三维重建出一个初始特征点三维地图；选择满足一定条件的帧为整个油箱三维重建过程中的关键帧，针对所选的关键帧进行局部的稀疏集束调整，然后与惯性模块测量所得绝对尺度的位姿进行整合滤波，对飞机整体油箱内部进行快速三维稠密重建。本发明具有效率高、成本低、具有实时性而且可以保证在狭小飞机整机内部实现高精度稠密三维重建的优点。

Description

手持式飞机油箱快速三维地图重建装置及重建方法

技术领域

本发明涉及图像信息学科科学领域，特别涉及一种手持式飞机油箱快速三维地图重建装置及重建方法。

背景技术

随着智能制造在航空领域的发展，制造过程中对于制造质量的检测手段也更加多元化和智能化。针对飞机整体油箱作为油密区域，是飞机结构密封中要求十分严格的部位，其良好的密封性是实现“安全、经济、舒适、环保”目标的必然要求。而目前在型号研制中整体油箱的泄露情况反复出现，导致制造时的气密试验和油密试验周期远高于同类竞争机型，同时由于油箱属于封闭式狭小空间，且内部结构较为复杂，不方便人员进入油箱内部进行气密性检查，因此为了实现高效地油箱内部气密性检查，考虑采用基于单目视觉的油箱内部快速稠密三维重建，从重建的结果上较为方便地检测密封情况。

为了实现低成本、高效、实时的油箱内部三维重建，采用单目相机在整机油箱内部进行移动完成实时定位和内部三维重建。传统的相机位姿估计和三维重建通过提取相邻帧间图像的特征点和描述子，基于描述子匹配提取的特征点进而确定相邻两帧间相机的位移，然而由于油箱内部场景高度重复，基于描述子的特征点跟踪容易产生追踪失误，而且仅重建出提取到的特征点产生的是油箱内部的稀疏重建无法满足密封性检查的需求，同时单目相机重建存在尺度不确定性，无法支持箱内部的高精度稠密三维重建。

发明内容

针对背景技术中提到的问题，本发明提出了一种手持式飞机油箱快速三维地图重建装置及重建方法，不仅效率高、成本低、具有实时性而且可以保证在狭小飞机整机内部实现高精度稠密三维重建。

为实现上述技术目的，本发明采取的技术方案为：

手持式飞机油箱快速三维地图重建装置，其中：包括工业摄像头、惯导传感器、手持握把、电池、微型工控机以及无线模块，工业摄像头和惯导传感器固定在手持握把前端，工业摄像头和惯导传感器共同组成视觉里程计，用于获取精确的空间运动信息，电池固定于手持握把中，用于为工业摄像头、惯导传感器、微型工控机以及无线模块供电，手持握把、工业摄像头以及惯导传感器能伸入飞机油箱中，由工业摄像头以及惯导传感器采集飞机油箱内的图像信息，微型工控机固定在手持握把后部，工业摄像头、惯导传感器、无线模块均与微型工控机连接，工业摄像头和惯导传感器能将采集到的数据发送至微型工控机，再由微型工控机经无线模块发送至工作站。

为优化上述技术方案，采取的具体措施还包括：

上述的工业摄像头和惯导传感器通过法兰组件与手持握把固定连接，电池为锂电池组；工业摄像头为工业单目相机。

飞机油箱快速三维地图重建方法，包括以下步骤：

步骤一、作业人员携带手持式飞机油箱快速三维地图重建装置进入飞机整体油箱内部，将外部光源放置在固定位置并打开光源，然后启动手持式飞机油箱快速三维地图重建装置，移动手持式飞机油箱快速三维地图重建装置对飞机整体油箱内部进行连续拍照，数据经微型工控机发送至工作站，

步骤二、工作站针对拍照数据的上一帧与当前帧提取到的特征点利用光流法进行特征跟踪，完成相邻帧间图像的匹配关系；

步骤三、求解初始两帧间的位姿变换关系：求解利用特征跟踪实现匹配的初始第一帧和第二帧间的本质矩阵或者单应矩阵，再利用SVD分解即可得到初始两帧间的位姿变换T；

步骤四、基于初始两帧建立初始特征点三维地图；假设第一帧工业摄像头的相机位姿为原点，通过初始两帧间的位姿变换T获取到第二帧的位姿，利用三角化测量方法重建出两帧间匹配的特征点初始三维点坐标；

步骤五、求解新到来帧相机位姿；利用光流法跟踪当前帧二维特征点在下一帧二维图像的位置，进而形成下一帧二维特征点与上一帧三维重建出的三维特征点的匹配，利用高斯牛顿法优化PnP问题实现对下一帧相机位姿的求解和优化；PnP问题指通过世界中的N个特征点与图像成像中的N个像点，计算出其投影关系，从而获得相机或物体位姿。

步骤六、在获取当前帧相机位姿并在当前帧跟踪到上一帧特征点后继续利用三角化测量方法得出新匹配的帧特征点的深度信息，并且删掉之前建立的而现在不在当前帧视野范围内的三维特征点，实现局部三维特征地图的更新，作为求解后续到来帧位姿的三维特征点；

步骤七、局部优化相机位姿和三维特征点地图；针对工业摄像头获得的连续帧，挑选满足一定条件的帧为关键帧，对重建出的在关键帧视野范围内的三维特征点坐标和与关键帧共同观测特征点的相邻帧位姿进行局部稀疏集束优化，实现三维特征点坐标和相机位姿的共同优化；

步骤八、基于惯导传感器数据确定相机位姿和三维特征点地图尺度；由于利用工业摄像头实现相机定位和三维建图，存在尺度不确定性，进而融合惯导传感器数据基于EKF滤波实现定位与建图的尺度确定；

步骤九、基于优化后的相机位姿进行油箱内部稠密三维重建，获得飞机油箱的三维建图。

步骤二中，拍照数据的上一帧与当前帧提取到的特征点为FAST特征点，工作站针对上一帧与当前帧提取到的特征点，建立两帧间图像金子塔，利用Lucas光流法进行两帧特征匹配，具体为：

基于两帧之间灰度不变以及特征点相邻像素具有相同运动的假设，优化误差：

其中x为第一帧图像某一个特征点在像素坐标系u向、v向分量坐标，T(x)为该特征点在第一帧图像像素坐标处像素灰度值，

表示第一帧特征点在第二帧像素坐标系下的位置，其中p₁、p₂为第一帧特征点在像素坐标系中的沿着u向v向的平移分量，y为：x,y为某一个特征点像素坐标系u向、v向分量，I(·)表示追踪到特征点在第二帧像素坐标系下位置的灰度值，基于特征点相邻像素具有相同运动假设：

表示对追踪到的某个特征点领域内对所有像素灰度误差进行求和；

通过高斯牛顿迭代优化

求解出p即可获知第一帧特征点在第二帧像素坐标系下的位置，实现特征跟踪完成相邻两帧的特征匹配。

步骤三中，位姿变换T的具体算法为：

若一、二两帧间拍摄到的特征点都并非共面且两帧间保证有一定平移量，此时对极约束为：

其中x₁为第一帧提取到的特征点，x₂为第二帧跟踪到的特征点，E为本质矩阵，通过最少8对匹配点即可求解出E，

本质矩阵E＝t^{^}R，

其中t^{^}表示把平移三维向量

转换为反对称矩阵

实现线性运算，利用SVD分解即可从本质矩阵E中分解出旋转矩阵R和平移向量t；

若一、二两帧间拍摄到的特征点都落在同一平面上此时对极约束为：

p₂＝Hp₁

其中p₁为第一帧提取特征点，p₂为第二帧追踪到特征点，H为单应矩阵，通过至少4对点即可求解出H，此时该式描述的是两个平面上特征点之间对应的关系；

单应矩阵

K为相机内参，n^T为场景平面的法向量理论值为1^T,d为距离场景平面一定的平移量，最终利用数值法或者解析法将H分解可得旋转矩阵R和平移向量t。

步骤七中，关键帧的挑选满足以下条件：(a)距离上帧关键帧经过了至少20帧图像；(b)该帧至少提取了30个特征点；(c)该帧跟踪到的上一关键帧的特征点至少小于90％；满足以上条件的帧可以被视为关键帧插入建图中。

步骤七中，在确定关键帧后，对关键帧进行局部BA优化(即光束平差优化)，优化当前关键帧位姿和通过当前帧进行建图的特征点三维坐标，具体为优化误差：

其中i表示为相机关键帧第i帧，j表示建图过程中第j个三维特征点，m为相机关键帧数量，n为三维特征点数量，z_ij表示观测到第j个三维特征点在相机在第i帧相机像素坐标系下的位置，ξ_i表示第i帧相机位姿，p_j表示第j个三维坐标点，h(ξ_i,p_j)表示将第i个三维特征点投射在第j帧像素坐标系下的位置，||ei_j||为：观测像素坐标与实际p_j三维坐标经过计算投影至像素坐标系下的差值，通过进行局部BA优化可得到相机关键帧较为鲁棒和准确的位姿，为后续稠密建图进行准备。

步骤八中，基于惯导传感器数据确定相机位姿和三维特征点地图尺度的具体方法为：基于惯导传感器数据引入一个尺度因子λ表征求得的计算求解位移与传感器实际测得位移比例关系，实现三维重建的尺度还原，计算相机坐标系与惯导传感器坐标系间的关系，将视觉里程计得到的位姿用于滤波更新，更新数据用于与惯导传感器数据融合，最终基于惯导传感器数据确定相机位姿和三维特征点地图尺度。

步骤九中，油箱内部稠密三维重建的具体方法为：将连续帧图像中的每个像素值都采用深度滤波器技术进行稠密三维重建，即采用多次三角测量方法让估计出的像素深度值收敛，具体为：当新帧数据产生时，通过极线搜索和块匹配确定投影点位置，其中评价块匹配差异采用NCC相关性：

假设在待匹配两张图像上的第一张取某个p₁像素周围的小块，记为A(i,j)，并且第二张与其匹配的极线上P₂像素周围也取很多个小块，记为B(i,j)。把p₁像素周围的小块像素值记成A∈R^w×w，把极线P₂像素周围上的n个小块像素值记成B_i，i＝1,…,n，那么这两个小块像素值的相关性即由上式所述。

假设所有像素的深度满足某初始高斯分布即d服从P(d)＝N(u,σ²)u表示像素深度服从的均值，σ²表示像素深度服从的方差，每当新的数据到来时观测新深度值d仍然服从一个高斯分布

u_new表示新的像素深度服从的均值，

表示新的像素深度服从的方差，根据几何关系计算三角化后的深度及不确定性，将当前观测融合进上一次的估计中，若收敛则停止计算，否则继续进行搜索。

与现有技术相比，本发明具有的有益效果是：

1、采用光流法对相邻帧间拍摄到的图像提取的特征进行跟踪，确保相邻帧间图像匹配的鲁棒性。

2、三维重建结果融入了惯导传感器数据，避免了单目相机三维重建的尺度的不确定性。

3、采用深度滤波方法进行油箱内部稠密建图，而非只建立特征点的稀疏地图，便于后续在油箱内部三维重建的结果上进行密封性检查。

附图说明

图1是手持式飞机油箱快速重建装置的结构示意图；

图2是手持式飞机油箱快速重建方法流程图。

附图标记为：工业摄像头1、惯导传感器2、法兰组件3、手持握把4、电池5、无线模块6、微型工控机7。

具体实施方式

以下结合附图对本发明的实施例作进一步详细描述。

如图1所示，本发明的手持式飞机油箱快速三维地图重建装置，其中：包括工业摄像头1、惯导传感器2、手持握把4、电池5、微型工控机7以及无线模块6，工业摄像头1和惯导传感器2固定在手持握把4前端，工业摄像头1和惯导传感器2共同组成视觉里程计，用于获取精确的空间运动信息，电池5固定于手持握把4中，用于为工业摄像头1、惯导传感器2、微型工控机7以及无线模块6供电，手持握把4、工业摄像头1以及惯导传感器2能伸入飞机油箱中，由工业摄像头1以及惯导传感器2采集飞机油箱内的图像信息，微型工控机7固定在手持握把4后部，工业摄像头1、惯导传感器2、无线模块6均与微型工控机7连接，工业摄像头1和惯导传感器2能将采集到的数据发送至微型工控机7，再由微型工控机7经无线模块6发送至工作站。工作站在接收到微型工控机发来的数据后开始进行特征点提取，跟踪，轨迹及位姿估计等一系列运算，最后根据滤波后的绝对尺度轨迹，位姿及当前图像帧来进行实时重建。

工业摄像头1和惯导传感器2通过法兰组件3与手持握把4固定连接，电池5为锂电池组；工业摄像头1为工业单目相机。

飞机油箱快速三维地图重建方法，包括以下步骤：

步骤一、一种手持式飞机油箱快速重建装置及方法，其作业步骤具体为：作业人员携带手持式飞机油箱快速重建装置进入飞机整体油箱内部，将外部光源放置在固定位置并打开光源(需额自行准备照明设备或装置)，然后启动设备并进行必要的初始化过程，最后移动装置进行连续拍照和快速重建，数据经微型工控机7发送至工作站，

步骤二、工作站在单目相机获得的每一帧图像，对图像提取FAST特征点，因为FAST特征点提取数量多，速度快可以加速帧间特征跟踪的速度，工作站针对拍照数据的上一帧与当前帧提取到的特征点利用Lucas光流法进行特征跟踪，完成相邻帧间图像的匹配关系；拍照数据的上一帧与当前帧提取到的特征点为FAST特征点，工作站针对上一帧与当前帧提取到的特征点，建立两帧间图像金子塔，利用Lucas光流法进行两帧特征匹配，具体为：

基于两帧之间灰度不变以及特征点相邻像素具有相同运动的假设，优化误差：

其中x为第一帧图像某一个特征点在像素坐标系u向、v向分量坐标，T(x)为该特征点在第一帧图像像素坐标处像素灰度值，

表示第一帧特征点在第二帧像素坐标系下的位置，其中p₁、p₂为第一帧特征点在像素坐标系中的沿着u向v向的平移分量，y为：x,y为某一个特征点像素坐标系u向、v向分量，I(·)表示追踪到特征点在第二帧像素坐标系下位置的灰度值，基于特征点相邻像素具有相同运动假设：

表示对追踪到的某个特征点领域内对所有像素灰度误差进行求和；

通过高斯牛顿迭代优化

求解出p即可获知第一帧特征点在第二帧像素坐标系下的位置，实现特征跟踪完成相邻两帧的特征匹配。

步骤三、求解初始两帧间的位姿变换关系：求解利用特征跟踪实现匹配的初始第一帧和第二帧间的本质矩阵或者单应矩阵，再利用SVD分解即可得到初始两帧间的位姿变换T；

位姿变换T的具体算法为：

若一、二两帧间拍摄到的特征点都并非共面且两帧间保证有一定平移量，此时对极约束为：

其中x₁为第一帧提取到的特征点，x₂为第二帧跟踪到的特征点，E为本质矩阵，通过最少8对匹配点即可求解出E，

本质矩阵E＝t^{^}R，

其中t^表示把平移三维向量

转换为反对称矩阵

实现线性运算，利用SVD分解即可从本质矩阵E中分解出旋转矩阵R和平移向量t；

若一、二两帧间拍摄到的特征点都落在同一平面上此时对极约束为：

p₂＝Hp₁

其中p₁为第一帧提取特征点，p₂为第二帧追踪到特征点，H为单应矩阵，通过至少4对点即可求解出H，此时该式描述的是两个平面上特征点之间对应的关系；

单应矩阵

K为相机内参，n^T为场景平面的法向量理论值为1^T,d为距离场景平面一定的平移量，最终利用数值法或者解析法将H分解可得旋转矩阵R和平移向量t。

步骤四、基于初始两帧建立初始特征点三维地图；假设第一帧工业摄像头1的相机位姿为原点，通过初始两帧间的位姿变换T获取到第二帧的位姿，利用三角化测量方法重建出两帧间匹配的特征点初始三维点坐标；

步骤五、求解新到来帧相机位姿；利用光流法跟踪当前帧二维特征点在下一帧二维图像的位置，进而形成下一帧二维特征点与上一帧三维重建出的三维特征点的匹配，利用高斯牛顿法优化PnP问题PnP问题指通过世界中的N个特征点与图像成像中的N个像点，计算出其投影关系，从而获得相机或物体位姿实现对下一帧相机位姿的求解和优化；

步骤六、在获取当前帧相机位姿并在当前帧跟踪到上一帧特征点后继续利用三角化测量方法得出新匹配的帧特征点的深度信息，并且删掉之前建立的而现在不在当前帧视野范围内的三维特征点，实现局部三维特征地图的更新，作为求解后续到来帧位姿的三维特征点；

步骤七、局部优化相机位姿和三维特征点地图；针对工业摄像头1获得的连续帧，挑选满足一定条件的帧为关键帧，对重建出的在关键帧视野范围内的三维特征点坐标和与关键帧共同观测特征点的相邻帧位姿进行局部稀疏集束优化，实现三维特征点坐标和相机位姿的共同优化；

关键帧的挑选满足以下条件：(a)距离上帧关键帧经过了至少20帧图像；(b)该帧至少提取了30个特征点；(c)该帧跟踪到的上一关键帧的特征点至少小于90％；满足以上条件的帧可以被视为关键帧插入建图中。

在确定关键帧后，对关键帧进行局部BA优化(即光束平差优化)，优化当前关键帧位姿和通过当前帧进行建图的特征点三维坐标，具体为优化误差：

其中i表示为相机关键帧第i帧，j表示建图过程中第j个三维特征点，m为相机关键帧数量，n为三维特征点数量，z_ij表示观测到第j个三维特征点在相机在第i帧相机像素坐标系下的位置，ξ_i表示第i帧相机位姿，p_j表示第j个三维坐标点，h(ξ_i,p_j)表示将第i个三维特征点投射在第j帧像素坐标系下的位置，||ei_j||为：观测像素坐标与实际p_j三维坐标经过计算投影至像素坐标系下的差值，通过进行局部BA优化可得到相机关键帧较为鲁棒和准确的位姿，为后续稠密建图进行准备。

步骤八、基于惯导传感器2数据确定相机位姿和三维特征点地图尺度；由于利用工业摄像头1实现相机定位和三维建图，存在尺度不确定性，进而融合惯导传感器2数据基于EKF滤波实现定位与建图的尺度确定；基于惯导传感器2数据确定相机位姿和三维特征点地图尺度的具体方法为：基于惯导传感器2数据引入一个尺度因子λ表征求得的计算求解位移与传感器实际测得位移比例关系，实现三维重建的尺度还原，计算相机坐标系与惯导传感器坐标系间的关系，将视觉里程计得到的位姿用于滤波更新，更新数据用于与惯导传感器数据融合，最终基于惯导传感器数据确定相机位姿和三维特征点地图尺度。

步骤九、基于优化后的相机位姿进行油箱内部稠密三维重建，获得飞机油箱的三维建图，油箱内部稠密三维重建的具体方法为：将连续帧图像中的每个像素值都采用深度滤波器技术进行稠密三维重建，即采用多次三角测量方法让估计出的像素深度值收敛，具体为：当新帧数据产生时，通过极线搜索和块匹配确定投影点位置，其中评价块匹配差异采用NCC相关性：

假设在待匹配两张图像上的第一张取某个p₁像素周围的小块，记为A(i,j)，并且第二张与其匹配的极线上P₂像素周围也取很多个小块，记为B(i,j)，把p₁像素周围的小块像素值记成A∈R^w×w，把极线P₂像素周围上的n个小块像素值记成B_i，i＝1,…,n，那么这两个小块像素值的相关性即由上式所述，

假设所有像素的深度满足某初始高斯分布即d服从P(d)＝N(u,σ²)，u表示像素深度服从的均值，σ²表示像素深度服从的方差，每当新的数据到来时观测新深度值d仍然服从一个高斯分布

u_new表示新的像素深度服从的均值，

表示新的像素深度服从的方差，根据几何关系计算三角化后的深度及不确定性，将当前观测融合进上一次的估计中。若收敛则停止计算，否则继续进行搜索。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.飞机油箱快速三维地图重建方法，其特征是：该方法基于手持式飞机油箱快速三维地图重建装置来实现，手持式飞机油箱快速三维地图重建装置包括工业摄像头(1)、惯导传感器(2)、手持握把(4)、电池(5)、微型工控机(7)以及无线模块(6)，所述的工业摄像头(1)和惯导传感器(2)固定在手持握把(4)前端，工业摄像头(1)和惯导传感器(2)共同组成视觉里程计，用于获取精确的空间运动信息，所述的电池(5)固定于手持握把(4)中，用于为工业摄像头(1)、惯导传感器(2)、微型工控机(7)以及无线模块(6)供电，所述的手持握把(4)、工业摄像头(1)以及惯导传感器(2)能伸入飞机油箱中，由工业摄像头(1)以及惯导传感器(2)采集飞机油箱内的图像信息，所述的微型工控机(7)固定在手持握把(4)后部，工业摄像头(1)、惯导传感器(2)、无线模块(6)均与微型工控机(7)连接，所述的工业摄像头(1)和惯导传感器(2)能将采集到的数据发送至微型工控机(7)，再由微型工控机(7)经无线模块(6)发送至工作站，飞机油箱快速三维地图重建方法具体包括以下步骤：

步骤一、作业人员携带手持式飞机油箱快速三维地图重建装置进入飞机整体油箱内部，将外部光源放置在固定位置并打开光源，然后启动手持式飞机油箱快速三维地图重建装置，移动手持式飞机油箱快速三维地图重建装置对飞机整体油箱内部进行连续拍照，数据经微型工控机(7)发送至工作站，

步骤二、工作站针对拍照数据的上一帧与当前帧提取到的特征点利用光流法进行特征跟踪，完成相邻帧间图像的匹配关系；

步骤三、求解初始两帧间的位姿变换关系：求解利用特征跟踪实现匹配的初始第一帧和第二帧间的本质矩阵或者单应矩阵，再利用SVD分解即可得到初始两帧间的位姿变换T；

步骤四、基于初始两帧建立初始特征点三维地图；假设第一帧工业摄像头(1)的相机位姿为原点，通过初始两帧间的位姿变换T获取到第二帧的位姿，利用三角化测量方法重建出两帧间匹配的特征点初始三维点坐标；

步骤五、求解新到来帧相机位姿；利用光流法跟踪当前帧二维特征点在下一帧二维图像的位置，进而形成下一帧二维特征点与上一帧三维重建出的三维特征点的匹配，利用高斯牛顿法优化PnP问题实现对下一帧相机位姿的求解和优化；PnP问题指通过世界中的N个特征点与图像成像中的N个像点，计算出其投影关系，从而获得相机或物体位姿；

步骤六、在获取当前帧相机位姿并在当前帧跟踪到上一帧特征点后继续利用三角化测量方法得出新匹配的帧特征点的深度信息，并且删掉之前建立的而现在不在当前帧视野范围内的三维特征点，实现局部三维特征地图的更新，作为求解后续到来帧位姿的三维特征点；

步骤七、局部优化相机位姿和三维特征点地图；针对工业摄像头(1)获得的连续帧，挑选满足一定条件的帧为关键帧，对重建出的在关键帧视野范围内的三维特征点坐标和与关键帧共同观测特征点的相邻帧位姿进行局部稀疏集束优化，实现三维特征点坐标和相机位姿的共同优化；

步骤八、基于惯导传感器(2)数据确定相机位姿和三维特征点地图尺度；由于利用工业摄像头(1)实现相机定位和三维建图，存在尺度不确定性，进而融合惯导传感器(2)数据基于EKF滤波实现定位与建图的尺度确定；

步骤九、基于优化后的相机位姿进行油箱内部稠密三维重建，获得飞机油箱的三维建图。

2.根据权利要求1所述的飞机油箱快速三维地图重建方法，其特征是：所述的工业摄像头(1)和惯导传感器(2)通过法兰组件(3)与手持握把(4)固定连接，所述的电池(5)为锂电池组；所述的工业摄像头(1)为工业单目相机。

3.根据权利要求2所述的飞机油箱快速三维地图重建方法：其特征是：步骤二中，拍照数据的上一帧与当前帧提取到的特征点为FAST特征点，工作站针对上一帧与当前帧提取到的特征点，建立两帧间图像金子塔，利用Lucas光流法进行两帧特征匹配，具体为：

基于两帧之间灰度不变以及特征点相邻像素具有相同运动的假设，优化误差：

其中x为第一帧图像某一个特征点在像素坐标系u向、v向分量坐标，T(x)为该特征点在第一帧图像像素坐标处像素灰度值，

表示第一帧特征点在第二帧像素坐标系下的位置，其中p₁、p₂为第一帧特征点在像素坐标系中的沿着u向v向的平移分量，x,y为某一个特征点像素坐标系u向、v向分量，I(·)表示追踪到特征点在第二帧像素坐标系下位置的灰度值，基于特征点相邻像素具有相同运动假设：

表示对追踪到的某个特征点领域内对所有像素灰度误差进行求和；

通过高斯牛顿迭代优化

求解出p即可获知第一帧特征点在第二帧像素坐标系下的位置，实现特征跟踪完成相邻两帧的特征匹配。

4.根据权利要求3所述的飞机油箱快速三维地图重建方法：其特征是：步骤三中，位姿变换T的具体算法为：

若一、二两帧间拍摄到的特征点都并非共面且两帧间保证有一定平移量，此时对极约束为：

其中x₁为第一帧提取到的特征点，x₂为第二帧跟踪到的特征点，E为本质矩阵，通过最少8对匹配点即可求解出E，

本质矩阵E＝t^R，

其中t^表示把平移三维向量

转换为反对称矩阵

实现线性运算，利用SVD分解即可从本质矩阵E中分解出旋转矩阵R和平移向量t；

若一、二两帧间拍摄到的特征点都落在同一平面上此时对极约束为：

p₂＝Hp₁

其中p₁为第一帧提取特征点，p₂为第二帧追踪到特征点，H为单应矩阵，通过至少4对点即可求解出H，此时该式描述的是两个平面上特征点之间对应的关系；

单应矩阵

K为相机内参，n^T为场景平面的法向量，理论值为1^T,d为距离场景平面一定的平移量，最终利用数值法或者解析法将H分解可得旋转矩阵R和平移向量t。

5.根据权利要求4所述的飞机油箱快速三维地图重建方法：其特征是：步骤七中，关键帧的挑选满足以下条件：(a)距离上帧关键帧经过了至少20帧图像；(b)该帧至少提取了30个特征点；(c)该帧跟踪到的上一关键帧的特征点至少小于90％；满足以上条件的帧可以被视为关键帧插入建图中。

6.根据权利要求5所述的飞机油箱快速三维地图重建方法：其特征是：步骤七中，在确定关键帧后，对关键帧进行局部光束平差优化，优化当前关键帧位姿和通过当前帧进行建图的特征点三维坐标，具体为优化误差：

其中i表示为相机关键帧第i帧，j表示建图过程中第j个三维特征点，m为相机关键帧数量，n为三维特征点数量，z_ij表示观测到第j个三维特征点在相机在第i帧相机像素坐标系下的位置，ξ_i表示第i帧相机位姿，p_j表示第j个三维坐标点，h(ξ_i,p_j)表示将第i个三维特征点投射在第j帧像素坐标系下的位置，||ei_j||为：观测像素坐标与实际p_j三维坐标经过计算投影至像素坐标系下的差值，通过进行局部BA优化可得到相机关键帧较为鲁棒和准确的位姿，为后续稠密建图进行准备。

7.根据权利要求6所述的飞机油箱快速三维地图重建方法：其特征是：步骤八中，基于惯导传感器(2)数据确定相机位姿和三维特征点地图尺度的具体方法为：基于惯导传感器(2)数据引入一个尺度因子λ表征求得的计算求解位移与传感器实际测得位移比例关系，实现三维重建的尺度还原，计算相机坐标系与惯导传感器坐标系间的关系，将视觉里程计得到的位姿用于滤波更新，更新数据用于与惯导传感器数据融合，最终基于惯导传感器数据确定相机位姿和三维特征点地图尺度。

8.根据权利要求7所述的飞机油箱快速三维地图重建方法：其特征是：步骤九中，油箱内部稠密三维重建的具体方法为：将连续帧图像中的每个像素值都采用深度滤波器技术进行稠密三维重建，即采用多次三角测量方法让估计出的像素深度值收敛，具体为：当新帧数据产生时，通过极线搜索和块匹配确定投影点位置，其中评价块匹配差异采用NCC相关性：

假设在待匹配两张图像上的第一张取某个p₁像素周围的小块，记为A(i,j)，并且第二张与其匹配的极线上P₂像素周围也取很多个小块，记为B(i,j)，把p₁像素周围的小块像素值记成A∈R^w×w，把极线P₂像素周围上的n个小块像素值记成B_i，i＝1,…,n，那么这两个小块像素值的相关性即由上式所述，

假设所有像素的深度满足某初始高斯分布即d服从P(d)＝N(u,σ²)，u表示像素深度服从的均值，σ²表示像素深度服从的方差，每当新的数据到来时观测新深度值d仍然服从一个高斯分布

u_new表示新的像素深度服从的均值，

表示新的像素深度服从的方差，根据几何关系计算三角化后的深度及不确定性，将当前观测融合进上一次的估计中，若收敛则停止计算，否则继续进行搜索。

Images