CN105825518A

CN105825518A - 基于移动平台拍摄的序列图像快速三维重建方法

Info

Publication number: CN105825518A
Application number: CN201610195877.XA
Authority: CN
Inventors: 孙伟; 赵春宇; 陈许蒙; 陈龙; 李大健
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2016-03-31
Filing date: 2016-03-31
Publication date: 2016-08-03
Anticipated expiration: 2036-03-31
Also published as: CN105825518B

Abstract

本发明公开了一种基于移动平台拍摄的序列图像快速三维重建方法，主要解决了现有三维重建方法处理速度慢的问题，其实现方案是：1.利用移动平台拍摄场景目标的序列图像，在拍摄图像的同时记录移动平台中微惯性传感器输出的数据；2.对序列图像进行SIFT特征点检测与匹配得到序列图像特征点匹配集合；3.利用微惯性传感器数据计算移动平台拍摄图像时姿态矩阵与位置信息；4.由姿态矩阵与位置信息求解图像序列对应的投影矩阵；5.根据序列图像特征点匹配集合与对应的投影矩阵计算场景中三维点坐标，完成序列图像三维重建。本发明提高了运动恢复结构SFM三维重建的速度，可用于室内外场景三维重建。

Description

基于移动平台拍摄的序列图像快速三维重建方法

技术领域

本发明属于图像处理技术领域，具体的说是一种对序列图像的快速三维重建方法，可用与室内外场景的三维重建。

背景技术

近年来随着微机电系统的快速发展，微惯性传感器普遍应用于移动平台中，常见的移动平台有智能手机、无人机、机器人等，此类移动平台共有的特点为搭载有较高分辨率的摄像头，并于自身中集成由检测自身运动状态的微型传感器。

同时，随着人们认知水平和获取信息能力的提高，二维图像已经不能满足工作和生活的需要。相对于二维图像，三维模型对于处在常规尺度下的人类是最直观的结构，我们最习惯的方式就是从三维的角度去观察物体、环境，因此三维重建就成了计算机视觉和虚拟现实等领域的主要研究热点之一。三维重建是指为三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对物体进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实环境的关键技术。因此，物体三维重建是计算机辅助几何设计(CAGD)、计算机图形学(CG)、医学影像处理、虚拟与增强现实(VR&AR)和数字媒体创作等领域的共性科学问题和核心技术，具有非常高的研究价值。

目前，三维重建的方法可以分为三类：第一，直接利用数字模型或三维建模软件，如AutoCAD、3Dmax等建立模型，此方法需要专业的技术人员进行处理，并且建模周期长，相应建模成本比较高；第二，利用机械或非接触性扫描设备对真实物体进行扫描，如Kinect等，进而重构出模型，其结果比较准确，但是由于采用结构光进行深度估计,不能适用于室外场景目标的重建；第三，利用运动恢复结构SFM的方法重建物体三维模型，SFM是指通过分析序列图像来寻找场景中物体的三维结构的过程，具有低成本、方便、灵活的特点。然而，在SFM三维重建方法的初始重构和增量式重构过程中，需要利用匹配的特征点计算相机之间的位姿关系，该方法是一种以暴力循环的方式寻找最优解的过程，耗时较高且受图像误匹配点影响很大；同时，在利用本质矩阵计算相机平移向量时，丢失真实比例因子，因此基于运动恢复结构(SFM)的三维重建结果是尺度模糊的。

发明内容

本发明的目的在于针对上述已有技术的问题，提出一种基于移动平台拍摄的序列图像快速三维重建方法，将序列图像与移动平台中微惯性传感器的输出信息相结合，简化运动恢复结构SFM中计算相机位姿的过程，并恢复三维模型的真实尺度。

为实现上述目的，本发明的技术方案包括如下：

(1)利用移动平台拍摄场景目标序列图像，并对采集的序列图像进行编号，分别记为{I₁,I₂...I_j...I_M}，其中I_j为第j幅图像的编号，1≤j≤M，M为拍摄图像的总个数；

(2)在拍摄目标序列图像的过程中，记录第i个采样点时移动平台的微惯性传感器中加速度计输出数据a_i、磁力计输出数据m_i和陀螺仪输出数据ω_i，其中i＝1,2...N，为总的采样点数，H为拍摄序列图像时所用的总时间，Δt为移动平台微惯性传感器的采样间隔；

(3)对移动平台采集的序列图像{I₁,I₂...I_j...I_M}通过尺度不变特征变换SIFT进行特征点检测与匹配，得到序列图像的特征点匹配集合NA＝{NA_1,2,NA_1,3...NA_k, _l...NA_M-1,M}，其中NA_k,l表示第k幅图像与第l幅图像之间的匹配特征点集；

(4)恢复移动平台拍摄图像时的位姿信息：

(4a)利用记录的传感器数据a_i,m_i,ω_i通过互补滤波算法计算移动平台在第i个采样点时的姿态矩阵R(i)；

(4b)利用加速度输出数据a_i检测移动平台拍摄图像时所对应的采样点，分别记为t₁,t₂...t_j...t_M，其中t_j为拍摄第j幅图像时所对应的采样点；

(4c)利用移动平台的姿态矩阵R(i)与其拍摄图像时所对应的采样点t₁,t₂...t_j...t_M，得出移动平台在拍摄图像时所对应的姿态矩阵R(t₁),R(t₂)...R(t_j)...R(t_M)，其中R(t_j)表示移动平台在拍摄第j幅图像时对应的姿态矩阵；

(4d)利用移动平台拍摄图像时所对应的采样点t₁,t₂...t_j...t_M、姿态矩阵R(i)和记录的加速度数据a_i通过零速修正算法恢复移动平台拍摄图像时的位置信息S(t₁),S(t₂)....S(t_j)...S(t_M)，其中S(t_j)表示移动平台拍摄第j幅图像时的位置信息；

(5)场景目标三维重建：

(5a)以编号为I₁的图像所对应的相机坐标系作为三维重建过程中的参考坐标系；

(5b)利用移动平台的姿态矩阵R(t₁),R(t₂)...R(t_j)...R(t_M)与位置信息S(t₁),S(t₂)....S(t_j)...S(t_M)计算编号为I_j的图像在参考坐标系下的相机投影矩阵φ_j,1≤j≤M；

(5c)根据相机投影矩阵φ_j，利用三角化方法重建出图像对{I₁,I₂}的匹配特征点集NA_1,2所对应的三维点，并将图像I₁,I₂标记为已使用；

(5d)选择未使用图像中编号最小的一幅图像，并从特征点匹配集合NA中找出该图像与已使用的图像中编号最大的图像的匹配特征点集，根据相机投影矩阵φ_j，利用三角化方法重建该匹配点集对应的三维点，并将该图像标记为已使用；

(5e)重复步骤(5d)直到所有的图像序列都已经使用，完成序列图像的三维重建。

本发明具有如下优点：

1)本发明由于利用移动平台的微惯性传感器输出信息恢复移动平台拍摄图像时的位姿信息，简化了SFM中计算相机位姿的过程；

2)本发明计算出的移动平台拍摄图像时的位置信息S(t₁),S(t₂)....S(t_j)...S(t_M)具有真实的比例因子，消除了SFM三维重建结果的尺度模糊。

3)本发明由于利用零速修正法计算移动平台拍摄图像时的位置信息，较好的抑制了加速度计的累积积分误差。

附图说明

图1是本发明的实现流程图；

图2是本发明中进行互补滤波的子流程图；

图3是本发明仿真中使用的利用移动平台拍摄的序列图像；

图4是用本发明对移动平台加速度计输出数据进行巴特沃斯低通滤波的仿真结果图；

图5是本发明仿真中移动平台拍摄图像时的位姿信息示意图；

图6是本发明仿真中利用序列图像进行三维重建的结果示意图。

具体实施方式

本发明中，利用移动平台围绕场景中待重建目标运动，在运动的过程中每隔一段时间拍摄一幅场景目标的图像，并且在拍摄图像的时刻使移动平台处于静止状态，同时在移动平台围绕场景目标运动的整个过程中记录移动平台的微惯性传感器中加速度计、磁力计和陀螺仪的输出数据，利用微惯性传感器中输出信息与场景目标的序列图像，进行场景目标的三维重建。

参照图1，本发明的实现步骤如下：

步骤1，获取场景目标的序列图像。

利用移动平台拍摄场景目标序列图像，并将采集的序列图像按拍摄的先后顺序进行编号，分别记为{I₁,I₂...I_j...I_M}，其中I_j为第j幅图像的编号，1≤j≤M，M为拍摄图像的总个数。

步骤2，记录移动平台微惯性传感器输出信息。

在拍摄目标序列图像的过程中，记录第i个采样点时移动平台的微惯性传感器中加速度计输出数据a_i、磁力计输出数据m_i和陀螺仪输出数据ω_i，其中i＝1,2...N，为总的采样点数，H为拍摄序列图像时所用的总时间，Δt为移动平台微惯性传感器的采样间隔。

步骤3，对采集的序列图像{I₁,I₂...I_j...I_M}进行尺度不变特征变换SIFT特征检测与匹配。

尺度不变特征变换SIFT是一种计算机视觉算法，用来检测与描述图像中的局部性特征，该算法具有对图像旋转、缩放和光照变换保持不变性的特点，能够满足本发明中对移动平台拍摄的具有旋转和缩放属性的序列图像进行特征检测与匹配的需求，其实现步骤如下：

(3.1)对序列图像进行SIFT特征检测：

对序列图像{I₁,I₂...I_j...I_M}中的每一幅图像，在其高斯差分尺度空间DOG中检测极值点作为图像的特征点，其中DOG尺度空间定义为两个不同尺度的高斯核的差分，DOG尺度空间表示为：D(u,v,σ)＝(G(u,v,kσ)-G(u,v,σ))*I(u,v)，D(u,v,σ)表示高斯差分函数，G(u,v,σ)表示尺度可变的高斯核函数，σ为尺度参数，I(u,v)表示需要进行特征点检测的图像，(u,v)表示图像像素点的横纵坐标，k表示比例因子；

(3.2)对序列图像进行特征匹配：

在对序列图像{I₁,I₂...I_j...I_M}中每一幅图像进行SIFT特征点检测之后，利用最近邻算法查找序列图像中每幅图像的SIFT特征点在除该幅图像之外的其他图像中的匹配特征点，得到序列图像的特征点匹配集合NA＝{NA_1,2,NA_1,3...NA_k,l...NA_M-1,M}，其中NA_k,l表示第k幅图像与第l幅图像之间的匹配特征点集。

步骤4，恢复移动平台拍摄图像时的位姿信息。

本发明在移动平台拍摄图像的同时，采集其微惯性传感器的输出信息，利用微惯性传感器输出信息恢复移动平台在拍摄图像时的相对位姿，即拍摄图像时的姿态矩阵与位置信息，具体计算过程如下：

(4.1)计算移动平台在第i个采样点时的姿态矩阵R(i)：

移动平台的姿态矩阵R(i)即地理坐标系到载体坐标系的旋转矩阵，本发明中载体坐标系的定义与移动平台中微惯性传感器PCB板规定的自身坐标系重合，地理坐标系的定义为：平行于地面指向东方为X_e轴，平行于地面指向北方为Y_e轴，Z_e轴垂直于地面指向地心，移动平台的姿态矩阵R(i)计算步骤如下：

(4.1.1)将第i个采样点时陀螺仪输出数据ω_i代入四元数微分方程中，计算第i个采样点时由地理坐标系到载体坐标系的角速度旋转四元数q_ω,i，其中q_ω,i-1为第i-1个采样点时角速度旋转四元数的值，矩阵[0ω_i]是陀螺仪输出数据ω_i的四元数表示形式；

(4.1.2)利用在第i个采样点的加速度计输出数据a_i和磁力计输出数据m_i，计算第i个采样点时由地理坐标系到载体坐标系的梯度旋转四元数q_Λ,i：其中q_Λ,i-1为第i-1个采样点时梯度旋转四元数的值，μ_i为收敛因子，是函数的梯度，为q_Λ,i-1的共轭四元数，g＝[001]^T，b＝[010]^T，T表示矩阵的转置，为梯度的二范数；

(4.1.3)利用互补滤波算法融合角速度旋转四元数q_ω,i和梯度旋转四元数q_Λ,i得到由地理坐标系到载体坐标系的融合旋转四元数q_i：

如图2所示，将角速度旋转四元数q_ω,i和梯度旋转四元数q_Λ,i通过互补滤波算法进行融合，滤除加速度计和磁力计因受到干扰等因素引起的输出数据的高频噪声，同时消除陀螺仪积分累积的低频噪声，得到表示移动平台准确姿态的融合旋转四元数q_i：

q_i＝γq_Λ,i+(1-γ)q_ω,i,0≤γ≤1<3>

其中γ为比例因子，0≤γ≤1；

(4.1.4)由融合旋转四元数q_i计算移动平台姿态矩阵R(i)，在求出第i个采样点时融合旋转四元数q_i之后，利用融合四元数q_i计算移动平台在第i个采样点时的姿态矩阵R(i)：

R_{t} = [\begin{matrix} q_{0}^{2} + q_{1}^{2} - q_{2}^{2} - q_{3}^{2} & 2 (q_{1} q_{2} + q_{3} q_{0}) & 2 (q_{1} q_{3} - q_{2} q_{0}) \\ 2 (q_{1} q_{2} - q_{3} q_{0}) & q_{0}^{2} - q_{1}^{2} + q_{2}^{2} - q_{3}^{2} & 2 (q_{2} q_{3} + q_{1} q_{0}) \\ 2 (q_{1} q_{3} + q_{2} q_{0}) & 2 (q_{2} q_{3} - q_{1} q_{0}) & q_{0}^{2} - q_{1}^{2} - q_{2}^{2} + q_{3}^{2} \end{matrix}] - - - < 4 >

其中，q₀为融合旋转四元数q_i的实部，q₁,q₂,q₃为融合旋转四元数q_i的虚部；

(4.2)检测移动平台拍摄图像时所对应的采样点t₁,t₂...t_j...t_M，为了后续计算移动平台拍摄图像时的姿态矩阵与位置信息，需要检测移动平台拍摄图像时所对应的采样点，具体步骤如下：

(4.2.1)令t_M所对应的采样点为第N个采样点，N为总的采样点数；

(4.2.2)将加速度计输出数据a_i输入到巴特沃斯低通滤波器中，将滤波器输出的方波中第α个下降沿所对应的采样点赋值给t_α，1≤α≤M-1；

(4.3)将移动平台拍摄图像时所对应的采样点t₁,t₂...t_j...t_M代入到移动平台的姿态矩阵R(i)中得到移动平台拍摄图像时的姿态矩阵R(t₁),R(t₂)....R(t_M)；

(4.4)计算移动平台拍摄图像时的位置信息，利用移动平台拍摄图像时所对应的采样点t₁,t₂...t_j...t_M，姿态矩阵R(i)和记录的加速度数据a_i通过零速修正算法恢复移动平台拍摄图像时的位置信息S(t₁),S(t₂)....S(t_j)...S(t_M)：

(4.4.1)将加速度计输出数据a_i转换到地理坐标系下：

记录的加速度计输出数据a_i是基于载体坐标系的，由于载体坐标系是固定在移动平台上的，当移动平台的姿态发生变化时，载体坐标系姿态也在发生变化，无法根据载体坐标系下加速度计输出数据a_i直接计算出移动平台的位置信息，需要将加速度计输出数据a_i转换到姿态固定的地理坐标系下，其转换公式如下：

Acc_i＝R(i)^T·a_i<5>

其中Acc_i表示第i个采样点时地理坐标系下加速度的值，R(i)^T表示在第i个采样点时姿态矩阵R(i)的转置；

(4.4.2)利用地理坐标系下加速度的值Acc_i计算在第i个采样点时移动平台的速度：v(i)＝v(i-1)+Acc_i·Δt，其中v(i-1)为第i-1个采样点时移动平台的速度，Δt为移动平台微惯性传感器的采样间隔；

(4.4.3)修正第i个采样点时的速度v(i)，若直接利用v(i)计算移动平台的位置信息，会产生巨大的累积误差，本发明利用移动平台拍摄图像时所对应的采样点t₁,t₂...t_j...t_M将拍摄目标序列图像的过程分为M个子过程，修正第i个采样点时的速度v(i)，使每个子过程结束时移动平台的速度为零，当第i个采样点属于第j个子过程时，第i个采样点修正后的速度v_c(i)为：

\begin{matrix} v_{c} (i) = v (i) - \frac{v (t_{j})}{t_{j} - t_{j - 1}} \cdot (i - t_{j - 1}) \\ t_{j - 1} < i < t_{j}, 1 \leq j \leq M \end{matrix}; - - - < 6 >

(4.4.4)利用修正后的速度v_c(i)计算拍摄目标序列图像过程中第i个采样点时移动平台的位置：S(i)＝S(i-1)+v_c(i)·Δt，其中S(i-1)为第i-1个采样点时移动平台的位置；

(4.4.5)将移动平台拍摄图像时所对应的采样点t₁,t₂...t_j...t_M代入到移动平台的位置S(i)中，得到移动平台拍摄图像时的位置信息S(t₁),S(t₂)....S(t_j)...S(t_M)，其中S(t_j)表示移动平台拍摄第j幅图像时的位置信息；

步骤5，场景目标三维重建。

根据二维图像中的像素点恢复出该点的空间三维坐标的过程称为三维重建，对于移动平台拍摄的序列图像的三维重建，本发明采用增量式的重建过程，先重建出图像对{I₁,I₂}的匹配特征点集NA_1,2所对应的三维点，再添加未使用的图像进行多幅图像的目标三维重建，具体过程如下：

(5.1)以编号为I₁的图像所对应的相机坐标系作为三维重建过程中的参考坐标系；

(5.2)计算编号为I_j的图像在参考坐标系下的相机投影矩阵φ_j,1≤j≤M，投影矩阵表征了三维空间点投影到二维平面点的运算过程，投影矩阵φ_j的计算步骤如下：

(5.2.1)从序列图像的可交换图像文件EXIF中提取相机焦距的物理长度f_m，利用相机焦距的物理长度f_m计算相机焦距的像素长度：f＝W_im·f_m/W_CCD，其中W_CCD为移动平台中电荷耦合元件CCD的宽度，W_im为移动平台拍摄的图像的宽度；

(5.2.2)利用相机焦距的像素长度f计算相机内参矩阵其中H_im为移动平台拍摄的图像的高度；

(5.2.3)利用移动平台拍摄图像时所对应的姿态矩阵R(t₁),R(t₂)...R(t_j)...R(t_M)，计算编号为I_j的图像在参考坐标系下的相机旋转矩阵Rot_j：

{Rot}_{j} = R_{t r a} \cdot R (t_{j}) \cdot R {(t_{1})}^{- 1} \cdot R_{t r a}^{- 1}, 1 \leq j \leq M - - - < 7 >

其中R_tra表示由载体坐标系到相机坐标系的转换矩阵，R(t₁)^-1表示姿态矩阵R(t₁)的逆矩阵，表示R_tra的逆矩阵；

(5.2.4)利用移动平台拍摄图像时所对应的位置信息S(t₁),S(t₂)....S(t_j)...S(t_M)，计算编号为I_j的图像在参考坐标系下的相机平移向量T_j：

T_j＝-Rot_j·R(t₁)·R_tra[S(t_j)-S(t₁)],1≤j≤M<8>

(5.2.5)利用相机内参矩阵K、相机旋转矩阵Rot_j和相机平移向量T_j，计算编号为I_j的图像在参考坐标系下的相机投影矩阵φ_j：

φ_j＝K·[Rot_jT_j],1≤j≤M；<9>

(5.3)根据相机投影矩阵φ_j，利用三角化方法重建出图像对{I₁,I₂}的匹配特征点集NA_1,2所对应的三维点，并将图像I₁,I₂标记为已使用，重建图像对{I₁,I₂}的匹配特征点集NA_1,2所对应的三维点：

(5.3.1)根据相机投影矩阵φ_j,1≤j≤M，得到图像对{I₁,I₂}所对应的投影矩阵分别记为

(5.3.2)将图像对{I₁,I₂}的匹配特征点集NA_1,2中第d个匹配特征点在第一幅图像I₁上的像素坐标设为(u_d,v_d)^T，在第二幅图像I₂上的像素坐标设为(u′_d,v′_d)^T，其中(u_d,v_d)表示第d个匹配特征点在第一幅图像中的像素点横纵坐标，(u′_d,v′_d)表示第d个匹配特征点在第二幅图像中的像素点横纵坐标；

(5.3.3)将第d个匹配特征点像素坐标(u_d,v_d)^T与(u′_d,v′_d)^T代入到矩阵方程：中，计算出匹配特征点集NA_1,2中第d个匹配特征点的空间三维坐标X_d，其中P₁₁,P₁₂,P₁₃表示投影矩阵P₁的行向量，P₂₁,P₂₂,P₂₃表示投影矩阵P₂的行向量，(u,v)表示第一幅图像中像素点的横纵坐标，(u′,v′)表示第二幅图像中像素点的横纵坐标，X表示像素点的空间三维坐标；

(5.3.4)利用步骤(5.3.3)中的矩阵方程计算出匹配特征点集NA_1,2中所有的匹配特征点所对应的空间三维坐标，即重建出图像对{I₁,I₂}的匹配特征点集NA_1,2所对应的三维点；

(5.4)选择未使用图像中编号最小的一幅图像，并从特征点匹配集合NA中找出该图像与已使用的图像中编号最大的图像的匹配特征点集，根据相机投影矩阵φ_j，利用三角化方法重建该匹配点集对应的三维点，并将该图像标记为已使用；

(5.5)重复步骤(5.4)直到所有的图像序列都已经使用，完成序列图像的三维重建。

本发明的效果可以通过以下实验进一步说明。

本发明在移动平台围绕待重建目标运动的过程中拍摄了9幅图像用于序列图像的三维重建，移动平台拍摄的序列图像如图3所示。

实验1，用本发明对移动平台加速度计输出数据进行巴特沃斯低通滤波的仿真，结果如图4所示。

由图4的结果可以看出，本发明对加速度计输出数据进行巴特沃斯低通滤波之后可以检测出移动平台拍摄图像时所对应的采样点。

实验2，用本发明对移动平台的微惯性传感器输出信息进行处理，得到的移动平台拍摄图像时的位姿信息，结果如图5所示。

由图5可以看出，本发明利用移动平台的微惯性传感器输出信息能够恢复移动平台拍摄图像时的位姿信息，简化了运动恢复结构SFM方法中求解相机位姿的过程。

实验3，用本发明中利用移动平台拍摄的9幅序列图像进行三维重建的结果如图6所示。

由图6可以看出，本发明利用移动平台拍摄的序列图像与移动平台的微惯性传感器信息能够重建出场景目标的三维点。

实验4，用本发明的方法与运动恢复结构SFM方法对图3中的序列图像进行三维重建，重建结果的比较如表1所示：

表1本发明的方法与SFM方法的重建结果比较

由表1所示的实验结果可以看出，由于本发明简化了SFM方法中求解相机位姿的过程，减少了三维重建过程的时间。

Claims

1.基于移动平台拍摄的序列图像快速三维重建方法，包括：

(3)对移动平台采集的序列图像{I₁,I₂...I_j...I_M}通过尺度不变特征变换SIFT进行特征点检测与匹配，得到序列图像的特征点匹配集合NA＝{NA_1,2,NA_1,3...NA_k,l...NA_M-1,M}，其中NA_k,l表示第k幅图像与第l幅图像之间的匹配特征点集；

(4)恢复移动平台拍摄图像时的位姿信息：

(5)重建三维场景目标：

2.根据权利要求1所述的三维重建方法，其中所述步骤(4a)中计算移动平台在第i个采样点时的姿态矩阵R(i)，按如下步骤进行：

(4a1)将第i个采样点时陀螺仪输出数据ω_i代入四元数微分方程中，计算第i个采样点时由地理坐标系到载体坐标系的角速度旋转四元数q_ω,i，其中q_ω,i-1为第i-1个采样点时角速度旋转四元数的值，矩阵[0ω_i]是陀螺仪输出数据ω_i的四元数表示，地理坐标系的定义为：平行于地面指向东方为X_e轴，平行于地面指向北方为Y_e轴，Z_e轴垂直于地面指向地心，载体坐标系的定义与移动平台中微惯性传感器PCB板规定的自身坐标系重合；

(4a2)利用在第i个采样点的加速度计输出数据a_i和磁力计输出数据m_i，计算第i个采样点时由地理坐标系到载体坐标系的梯度旋转四元数q_Λ,i：其中q_Λ,i-1为第i-1个采样点时梯度旋转四元数的值，μ_i为收敛因子，是函数的梯度，为q_Λ,i-1的共轭四元数，g＝[001]^T，b＝[010]^T，T表示矩阵的转置，为梯度的二范数；

(4a3)利用在第i个采样点的角速度旋转四元数q_ω,i和梯度旋转四元数q_Λ,i，计算第i个采样点时由地理坐标系到载体坐标系的融合旋转四元数q_i：q_i＝γq_Λ,i+(1-γ)q_ω,i，其中γ为比例因子，0≤γ≤1；

(4a4)利用融合旋转四元数q_i计算出移动平台在第i个采样点时的姿态矩阵R(i)：

R (i) = [\begin{matrix} q_{0}^{2} + q_{1}^{2} - q_{2}^{2} - q_{3}^{2} & 2 (q_{1} q_{2} + q_{3} q_{0}) & 2 (q_{1} q_{3} - q_{2} q_{0}) \\ 2 (q_{1} q_{2} - q_{3} q_{0}) & q_{0}^{2} - q_{1}^{2} + q_{2}^{2} - q_{3}^{2} & 2 (q_{2} q_{3} + q_{1} q_{0}) \\ 2 (q_{1} q_{3} + q_{2} q_{0}) & 2 (q_{2} q_{3} - q_{1} q_{0}) & q_{0}^{2} - q_{1}^{2} - q_{2}^{2} + q_{3}^{2} \end{matrix}],

其中q₀为融合旋转四元数q_i的实部，q₁,q₂,q₃为融合旋转四元数q_i的虚部。

3.根据权利要求1所述的三维重建方法，其中所述步骤(4b)中检测移动平台拍摄图像时所对应的采样点t₁,t₂...t_j...t_M，按如下步骤进行：

(4b1)令t_M所对应的采样点为第N个采样点，N为总的采样点数；

(4b2)将加速度计输出数据a_i输入到巴特沃斯低通滤波器中，将滤波器输出的方波中第α个下降沿所对应的采样点赋值给t_α，1≤α≤M-1。

4.根据权利要求1所述的三维重建方法，其中所述步骤(4d)中通过零速修正算法恢复移动平台拍摄图像时的位置信息S(t₁),S(t₂)....S(t_j)...S(t_M)，按如下步骤进行：

(4d1)将加速度计输出数据a_i代入到由载体坐标系下加速度到地理坐标系下加速度的转换公式：Acc_i＝R(i)^Ta_i中，得到在第i个采样点时地理坐标系下加速度的值Acc_i，1≤i≤N，R(i)^T表示在第i个采样点姿态矩阵R(i)的转置；

(4d2)利用地理坐标系下加速度的值Acc_i计算在第i个采样点时移动平台的速度：v(i)＝v(i-1)+Acc_i·Δt，其中v(i-1)为第i-1个采样点时移动平台的速度，Δt为移动平台微惯性传感器的采样间隔；

(4d3)利用移动平台拍摄图像时所对应的采样点t₁,t₂...t_j...t_M将拍摄目标序列图像的过程分为M个子过程，修正第i个采样点时的速度v(i)，使每个子过程结束时移动平台的速度为零，当第i个采样点属于第j个子过程时，第i个采样点修正后的速度v_c(i)为：

\begin{matrix} v_{c} (i) = v (i) - \frac{v (t_{j})}{t_{j} - t_{j - 1}} \cdot (i - t_{j - 1}) \\ t_{j - 1} < i < t_{j}, 1 \leq j \leq M \end{matrix};

(4d4)利用修正后的速度v_c(i)计算拍摄目标序列图像过程中第i个采样点时移动平台的位置：S(i)＝S(i-1)+v_c(i)·Δt，其中S(i-1)为第i-1个采样点时移动平台的位置；

(4d5)将移动平台拍摄图像时所对应的采样点t₁,t₂...t_j...t_M代入到移动平台的位移S(i)中得到移动平台拍摄图像时的位置信息S(t₁),S(t₂)....S(t_j)...S(t_M)。

5.根据权利要求1所述的三维重建方法，其中所述步骤(5b)中计算编号为I_j的图像在参考坐标系下的相机投影矩阵φ_j,1≤j≤M，按如下步骤进行：

(5b1)从序列图像的可交换图像文件EXIF中提取相机焦距的物理长度f_m，利用相机焦距的物理长度f_m计算相机焦距的像素长度：f＝W_im·f_m/W_CCD，其中W_CCD为移动平台中电荷耦合元件CCD的宽度，W_im为移动平台拍摄的图像的宽度；

(5b2)利用相机焦距的像素长度f计算相机内参矩阵其中H_im为移动平台拍摄的图像的高度；

(5b3)利用移动平台拍摄图像时所对应的姿态矩阵R(t₁),R(t₂)...R(t_j)...R(t_M)，计算编号为I_j的图像在参考坐标系下的相机旋转矩阵Rot_j：

{Rot}_{j} = R_{t r a} \cdot R (t_{j}) \cdot R {(t_{1})}^{- 1} \cdot R_{t r a}^{- 1}, 1 \leq j \leq M

(5b4)利用移动平台拍摄图像时所对应的位置信息S(t₁),S(t₂)....S(t_j)...S(t_M)，计算编号为I_j的图像在参考坐标系下的相机平移向量T_j：

T_j＝-Rot_j·R(t₁)·R_tra[S(t_j)-S(t₁)],1≤j≤M

(5b5)利用相机内参矩阵K、相机旋转矩阵Rot_j和相机平移向量T_j，计算编号为I_j的图像在参考坐标系下的相机投影矩阵φ_j：

φ_j＝K·[Rot_jT_j],1≤j≤M。

6.根据权利要求1所述的三维重建方法，其中所述步骤(5c)中利用三角化方法重建出图像对{I₁,I₂}的匹配特征点集NA_1,2所对应的三维点，按如下步骤进行：

(5c1)根据相机投影矩阵φ_j,1≤j≤M，得到图像对{I₁,I₂}所对应的投影矩阵分别记为

(5c2)将图像对{I₁,I₂}的匹配特征点集NA_1,2中第d个匹配特征点在第一幅图像I₁上的像素坐标设为(u_d,v_d)^T，在第二幅图像I₂上的像素坐标设为(u′_d,v′_d)^T，其中(u_d,v_d)表示第d个匹配特征点在第一幅图像中的像素点横纵坐标，(u′_d,v′_d)表示第d个匹配特征点在第二幅图像中的像素点横纵坐标；

(5c3)将第d个匹配特征点像素坐标(u_d,v_d)^T与(u′_d,v′_d)^T代入到矩阵方程：中，计算出匹配特征点集NA_1,2中第d个匹配特征点的空间三维坐标X_d，其中P₁₁,P₁₂,P₁₃表示投影矩阵P₁的行向量，P₂₁,P₂₂,P₂₃表示投影矩阵P₂的行向量，(u,v)表示第一幅图像中像素点的横纵坐标，(u′,v′)表示第二幅图像中像素点的横纵坐标，X表示像素点的空间三维坐标；

(5c4)利用步骤(5c3)中的矩阵方程计算出匹配特征点集NA_1,2中所有的匹配特征点所对应的空间三维坐标，即重建出图像对{I₁,I₂}的匹配特征点集NA_1,2所对应的三维点。