CN104333675B

CN104333675B - 一种基于球面投影的全景电子稳像方法

Info

Publication number: CN104333675B
Application number: CN201410556402.XA
Authority: CN
Inventors: 方明; 徐晶; 付飞蚺; 司书哲; 田野; 邵桢
Original assignee: Changchun University of Science and Technology
Current assignee: Changchun University of Science and Technology
Priority date: 2014-10-20
Filing date: 2014-10-20
Publication date: 2017-09-05
Anticipated expiration: 2034-10-20
Also published as: CN104333675A

Abstract

本发明涉及一种基于球面投影的全景电子稳像方法，其特征在于电子稳像实现步骤如下：全景电子稳像预处理，基于高斯投影的球面图像映射与展开，基于SFM算法的欧拉角，转动3D球体空间达到稳像效果，该方法是基于高斯投影的球面图像映射/展开与基于SFM算法的欧拉角求解相结合的一种稳像技术，该技术采用的全景影像的球面投影方式，有效地解决了全景成像平面和球体曲面间的坐标转换；并且，该技术中将全景相机系统中每个相机的坐标系统统一到一个坐标系统，有效解决了由于全景相机系统中每个相机因为运动变化不同无法准确定位整体运动的问题。

Description

一种基于球面投影的全景电子稳像方法

技术领域

本发明涉及一种基于球面投影的全景电子稳像方法，是针对全景成像系统的电子稳像，属于图像处理技术中的电子稳像领域。

背景技术

电子稳像技术就是要隔离外部对成像系统、瞄准系统以及定位系统等的扰动。其基本思想是可以通过各种机械的、光学的或者电子的处理方法，获知摄像载体的运动偏移，从而在成像输出前，去除这部分运动偏移，使其在监视器上显示稳定的视频序列，提高所获取图像信息的质量。

由于全景成像系统的结构特殊性，很多全景成像系统并非由单个相机组成。本发明以多相机同步全景采集系统为例，由6个相机构成，嵌入面为6边形，侧面分别由1号，2号，3号，4号，5号，6号相机构成。侧面相邻相机的夹角为60°，由于受到相机装配工艺限制，全景摄像机的6个相机的光轴是无法交于一点，即该摄像系统是不共心的。但该系统中6个相机的光轴共面。

传统的电子稳像技术大部分是基于单个相机的运动估计，通过帧间图像的运动估计来计算成像平面的运动矢量，再将图像帧沿运动矢量的反方向补偿达到稳像效果。然而，对于本全景成像系统，由于6个摄像机的摄像机坐标系统各自独立，同一个运动在各自所获得的图像中将表现出不同的运动特征。因此，传统的电子稳像技术无法直接应用到该系统。

发明内容

本发明的目的在于提供一种基于球面投影的全景电子稳像方法，该方法是基于高斯投影的球面图像映射/展开与基于SFM算法的欧拉角求解相结合的一种稳像技术，该技术采用的全景影像的球面投影方式，有效地解决了全景成像平面和球体曲面间的坐标转换；并且，该技术中将全景相机系统中每个相机的坐标系统统一到一个坐标系统，有效解决了由于全景相机系统中每个相机因为运动变化不同无法准确定位整体运动的问题。

本发明的技术方案是这样实现的：一种基于球面投影的全景电子稳像方法，其特征在于电子稳像实现步骤如下：

一、全景电子稳像预处理阶段包括如下步骤：

(1)基于经纬度坐标系（大地坐标系）的3D球体模型建立

1)为了表示球面上点的位置，必须建立相应的坐标系统——经纬度坐标系，P 点的子午面 NPS 与起始子午面 NGS 所构成的二面角 L，叫做 P 点的大地经度。由起始子午面起算，向东为正，叫东经(0°～180°)；向西为负，叫做西经(0°～180°)，P 点的法线 Pn 与赤道面的夹角 B，叫做 P 点的大地纬度。由赤道面起算，向北为正，叫北纬(0°～90°)；向南为负，叫南纬(0°～90°)。在该坐标系中，P 点的位置用 L，B 表示；

2)高斯直角坐标系的建立，在投影面上，中央子午线和赤道投影都是直线，且以中央子午线和赤道的交点 O 作为坐标原点，以中央子午线的投影为纵坐标轴，以赤道的投影为横坐标轴，这样便形成了高斯平面直角坐标系；

3)高斯直角坐标系与图像坐标系的映射关系，因为图像坐标系与高斯坐标系都是二维坐标系；并且不包含旋转，所以仅存在位移向量t；

(2)基于张正友标定方法来标定全景相机，该方法的具体内容如下：

1)对于全景相机的每个相机假设其没有畸变，求解标定参数，对于每一张棋盘影像，根据标定控制点的模板坐标和图像坐标可以得到一个单应性矩阵H(由旋转、平移和相机内参数组成)，大小为3×3，令,每个是的列向量；

2)，旋转矩阵是一个正交阵，那么根据和相互正交易得：

3)令来描述二次曲线。B是对称阵，那么可以有上三角或下三角6个元素表示。这样可得，其中：

根据上一个约束条件可得：，简化为。

4)如果有n幅标定板影像，则V是2n ×6的矩阵；当n>2时，就可以获得线性唯一解b，这样就可以求解出摄像机的内外参数；

5)上文所述为未考虑透视畸变的系统，如果理想系统满足针孔透视模型，令为理想点的坐标，为对应点的畸变位置坐标，那么可得：

，其中由前面4步解得，为标定板角点的世界坐标，这样可以求得；

，其中，这样可由和对应点对求解出5个畸变系数；

(3)根据畸变系数对各影像进行畸变矫正，使其满足相机透视投影；

求出畸变系数后，可以用来矫正张正友法标定出的相机内外参数；矫正过程是用Levenberg-Marquardt (LM) 算法来实现一个非线性优化。令代价函数为：

，其中为标定板上第j个点在第i幅影像上的经过畸变矫正的投影点；使用LM将该代价函数最小化，这样经过校正的各参数，将极大减少畸变；

(4)选取参考帧；

二、基于高斯投影的球面图像映射与展开包括如下步骤：

(1)通过高斯投影坐标反算公式:将图像坐标点映射到球面坐标上；对应的展开式为：

(2)通过高斯投影坐标正算公式:将球面坐标点映射到图像坐标上；公式展开式为：

三、基于SFM算法的欧拉角求解步骤

(1)将处理帧与参考帧进行SIFT特征点提取（兴趣点），选取最优点进行匹配，来获得匹配点（同名点）图像坐标；

1)定义图像尺度空间：，其中，当尺度参数连续变化，构成图像的尺度空间；

2)空间极值点检测：

为了在尺度空间中检测稳定的关键点，构造高斯差分尺度空间为了寻找尺度空间的极值点，每一个采样点与其所有的相邻点比较，检测其图像域和尺度域的相邻点大小关系，若该点为局部极值点，则保存为候选关键点。

3）特征点描述子的构造

以关键点为中心，在关键点所在的图像中取8×8的窗口，一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。为增强后续匹配环节的稳定性，在实际计算中，对每个关键点可以使用4×4的16个种子来描述，这样对于一个关键点就可以产生128个梯度信息，最后形成128维的SIFT特征向量；

4）最近邻匹配算法

用特征向量的最近邻距离与次近邻距离的比值作为匹配约束条件，过程为：对图像I中的特征向量，找到图像J中的所有特征向量中与距离最近的两个向量和（与的距离最小）。若，（阈值一般为0.6），则为的匹配，否则在J中没有匹配；

(2)根据同名点存在的对极几何关系（，为一对同名点），采用RANSAC 8点算法线性求解基本矩阵F；

1)RANSAC鲁棒估计：重复N次采样，N随机采样自适应地确定：

a)选择8组对应构成的一个随机样本并按8点算法来计算基本矩阵F，其结果得到一个或三个实解。

b)对每组假设对应点计算距离d，d=重投影误差和是待估计的真对应点，和是测量得到的对应；

c)计算与F一致的内点数，它等于d<t个像素的对应的数目；

d)如果F有三个实解，计算每一个解的内点数并保留具有最多内点数的解，选择具有最多内点数的F，在数目相等时，选择内点标准方差最小的那个解；

2)非线性估计：由划为内点的所有对应重新估计F；

3)引导匹配：用估计的F去定义对极线附近的搜索区域,以便进一步确定兴趣点的对应，最后两步可以反复迭代直到对应的数目稳定为止；

(3)根据本质矩阵与基本矩阵的关系，由内参矩阵和基础矩阵可以求出本质矩阵（，分别为第一、第二影像的内参矩阵）；

(4)对E进行奇异值分解，，令，可得旋转矩阵，平移向量即矩阵的最后一列；

(5)由旋转矩阵与欧拉角之间的关系，

，按z-y-x恢复出对应欧拉角；

四、转动3D球体空间达到稳像效果，处理步骤如下：

(1)将3D球体分别按照z-y-x空间坐标轴反向旋转上文所求得的欧拉角；

(2)将球体按照高斯坐标正投影展开，放回视频序列。

本发明的积极效果是有效地解决了每个独立的全景成像平面到球体曲面的坐标映射，其将全景相机系统中每个相机的独立摄像机坐标系统统一到一个坐标系统，通过求解虚拟球体的旋转欧拉角，对虚拟球体进行反向运动补偿、图像展开，进而达到全景图像电子稳像的效果。

附图说明

图1是本发明的整体流程示意图。

图2是本发明在预处理阶段建立的3D球体模型图。

图3是本发明基于高斯反投影的球面图像映射示意图。

图4是本发明将球体模型反向转动基于SFM算法的欧拉角示意图。

图5是本发明基于高斯正投影的球面图像展开示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步的详细描述：一种基于球面投影的全景电子稳像方法，其特征在于电子稳像实现步骤如下：

一、全景电子稳像预处理阶段包括如下步骤：

(1)基于经纬度坐标系（大地坐标系）的3D球体模型建立

1)为了表示球面上点的位置，必须建立相应的坐标系统——经纬度坐标系。P 点的子午面 NPS 与起始子午面 NGS 所构成的二面角 L，叫做 P 点的大地经度。由起始子午面起算，向东为正，叫东经(0°～180°)；向西为负，叫做西经(0°～180°)。P 点的法线 Pn 与赤道面的夹角 B，叫做 P 点的大地纬度。由赤道面起算，向北为正，叫北纬(0°～90°)；向南为负，叫南纬(0°～90°)。在该坐标系中，P 点的位置用 L，B 表示。

2)高斯直角坐标系的建立。在投影面上，中央子午线和赤道投影都是直线，且以中央子午线和赤道的交点 O 作为坐标原点，以中央子午线的投影为纵坐标轴，以赤道的投影为横坐标轴，这样便形成了高斯平面直角坐标系。

3)高斯直角坐标系与图像坐标系的映射关系。因为图像坐标系与高斯坐标系都是二维坐标系。并且不包含旋转，所以仅存在位移向量t。

(2)基于张正友标定方法来标定全景相机。该方法的具体内容如下：

1)对于全景相机的每个相机假设其没有畸变，求解标定参数。对于每一张棋盘影像，根据标定控制点的模板坐标和图像坐标可以得到一个单应性矩阵H(由旋转、平移和相机内参数组成)，大小为3×3。令,每个是的列向量。

2),旋转矩阵是一个正交阵，那么根据和相互正交易得：

根据上一个约束条件可得：，简化为。

4)如果有n幅标定板影像，则V是2n×6的矩阵。当n>2时，就可以获得线性唯一解b，这样就可以求解出摄像机的内外参数。

5)上文所述为未考虑透视畸变的系统。如果理想系统满足针孔透视模型，令为理想点的坐标，为对应点的畸变位置坐标，那么可得：

，其中由前面4步解得，为标定板角点的世界坐标，这样可以求得。

，其中，这样可由和对应点对求解出5个畸变系数。

(3)根据畸变系数对各影像进行畸变矫正，使其满足相机透视投影。

求出畸变系数后，可以用来矫正张正友法标定出的相机内外参数。矫正过程是用Levenberg-Marquardt (LM) 算法来实现一个非线性优化。令代价函数为：

，其中为标定板上第j个点在第i幅影像上的经过畸变矫正的投影点。使用LM将该代价函数最小化，这样经过校正的各参数，将极大减少畸变。

(4)选取参考帧。

二、基于高斯投影的球面图像映射与展开包括如下步骤：

(1)通过高斯投影坐标反算公式：将图像坐标点映射到球面坐标上。对应的展开式为：

(2)通过高斯投影坐标正算公式:将球面坐标点映射到图像坐标上。公式展开式为：

三、基于SFM算法的欧拉角求解步骤

(1)将处理帧与参考帧进行SIFT特征点提取（兴趣点），选取最优点进行匹配，来获得匹配点（同名点）图像坐标。

1)定义图像尺度空间：，其中，当尺度参数连续变化，构成图像的尺度空间。

2)空间极值点检测：

3)特征点描述子的构造

以关键点为中心，在关键点所在的图像中取8×8的窗口，一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。为增强后续匹配环节的稳定性，在实际计算中，对每个关键点可以使用4×4的16个种子来描述，这样对于一个关键点就可以产生128个梯度信息，最后形成128维的SIFT特征向量。

4)最近邻匹配算法

用特征向量的最近邻距离与次近邻距离的比值作为匹配约束条件，过程为：对图像I中的特征向量，找到图像J中的所有特征向量中与距离最近的两个向量和（与的距离最小）。若，（阈值一般为0.6），则为的匹配，否则在J中没有匹配。

(2)根据同名点存在的对极几何关系（，为一对同名点），采用RANSAC 8点算法线性求解基本矩阵F。

1)RANSAC鲁棒估计：重复N次采样，N随机采样自适应地确定：

a)选择8组对应构成的一个随机样本并按8点算法来计算基本矩阵F。其结果得到一个或三个实解。

b)对每组假设对应点计算距离d，d=重投影误差和是待估计的真对应点，和是测量得到的对应。

c)计算与F一致的内点数，它等于d<t个像素的对应的数目。

d)如果F有三个实解，计算每一个解的内点数并保留具有最多内点数的解。选择具有最多内点数的F。在数目相等时，选择内点标准方差最小的那个解。

2)非线性估计：由划为内点的所有对应重新估计F。

3)引导匹配：用估计的F去定义对极线附近的搜索区域,以便进一步确定兴趣点的对应。最后两步可以反复迭代直到对应的数目稳定为止。

(3)根据本质矩阵与基本矩阵的关系，由内参矩阵和基础矩阵可以求出本质矩阵（，分别为第一、第二影像的内参矩阵）。

(4)对E进行奇异值分解，，令，可得旋转矩阵，平移向量即矩阵的最后一列。

(5)由旋转矩阵与欧拉角之间的关系，

，按z-y-x恢复出对应欧拉角。

四、转动3D球体空间达到稳像效果，处理步骤如下：

(1)将3D球体分别按照z-y-x空间坐标轴反向旋转上文所求得的欧拉角。

(2)将球体按照高斯坐标正投影展开，放回视频序列。

实施例1

如图1所示，首先建立3D球体模型轮廓，之后对全景相机进行标定，获取相应的内参矩阵和畸变系数，之后对全景图像进行畸变矫正。将矫正后的图像通过高斯投影映射到球体表面。通过将每一帧的图像与设定的参考帧相匹配，求解相对于参考帧的旋转矩阵，并由此旋转矩阵求解出欧拉角。最后通过将3D球体模型反向转动上述所求得的角度，达到稳像的效果。

步骤1，全景稳像预处理阶段。

（1a）参照图2，利用OpenGL提供的函数绘制球体，并建立基于大地坐标系的3D球体模型，球面上一点p的坐标表示为（L，B），L表示经度，B表示纬度。使球体在x-y-z三坐标轴方向上可以转动任意角度。

（1b）通过全景相机所拍摄的全景图像对摄像系统进行标定。

（1c）根据畸变系数对各影像进行畸变校正，使其满足相机透视投影模型。

（1d）选取稳定状态下的单帧图像作为预处理视频序列的参考帧。

步骤2，全景稳像处理过程

（2a）参照图3，首先获取视频序列中的第一帧图像。

（2b）将这帧图像通过高斯反投影映射到球面将图像坐标系的点映射到高斯坐标系中，图像的高度为h，宽度为w，需要将图像坐标系平移（w/2,h/2）得到高斯坐标系。通过高斯投影坐标反算公式：将图像坐标点映射到球面坐标上。其中所代表的是预处理图像中像素的坐标。B，L表示的是球面上的经纬度坐标。公式展开式为：

（2c）将这帧图像与步骤1中（1d）所选取的参考帧图像进行基于SFM算法的欧拉角求解。将处理帧与参考帧进行SIFT特征点提取（兴趣点），选取最优点进行匹配，来获得匹配点（同名点）图像坐标。根据同名点存在的对极几何关系（，为一对同名点），采用RANSAC 8点算法线性求解基本矩阵F。根据本质矩阵与基本矩阵的关系，由内参矩阵和基础矩阵可以求出本质矩阵（，分别为第一、第二影像的内参矩阵）。对E进行奇异值分解，，令，可得旋转矩阵，平移向量，即矩阵的最后一列。由旋转矩阵与欧拉角之间的关系，按z-y-x恢复出对应欧拉角。

（2d）参照图4，对球体模型进行反向的欧拉角旋转。

（2e）参照图5，将转动后的投影球面通过高斯正投影展开，之后生成稳像后的视频序列。通过高斯投影坐标正算公式: 将球面坐标点映射到图像坐标上。公式展开式为：

Claims

1.一种基于球面投影的全景电子稳像方法，其特征在于电子稳像实现步骤如下：

一、全景电子稳像预处理阶段包括如下步骤：

(1)基于经纬度坐标系即大地坐标系的3D球体模型建立

1)为了表示球面上点的位置，必须建立相应的坐标系统——经纬度坐标系，P点的子午面NPS与起始子午面NGS所构成的二面角L，叫做P点的大地经度；由起始子午面起算，向东为正，叫东经0°～180°；向西为负，叫做西经0°～180°，P点的法线Pn与赤道面的夹角B，叫做P点的大地纬度；由赤道面起算，向北为正，叫北纬0°～90°；向南为负，叫南纬0°～90°；在该坐标系中，P点的位置用L，B表示；

2)高斯直角坐标系的建立，在投影面上，中央子午线和赤道投影都是直线，且以中央子午线和赤道的交点O作为坐标原点，以中央子午线的投影为纵坐标轴，以赤道的投影为横坐标轴，这样便形成了高斯平面直角坐标系；

3)高斯直角坐标系与图像坐标系的映射关系，因为图像坐标系与高斯坐标系都是二维坐标系；并且不包含旋转，所以仅存在平移向量t；

1)对于全景相机的每个相机假设其没有畸变，求解标定参数，对于每一张棋盘影像，根据标定控制点的模板坐标和图像坐标可以得到一个单应性矩阵H，由旋转、平移和相机内参数组成，大小为3×3，令H＝[h₁ h₂ h₃],每个h是H的列向量；

2)H＝[h₁ h₂ h₃]＝sK[r₁ r₂ t]，旋转矩阵是一个正交阵，那么根据r₁和r₂相互正交易得：

3)令B＝K^-TK^-1来描述二次曲线；B是对称阵，那么可以有上三角或下三角6个元素表示b；这样可得其中：

v_ij＝[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i3h_j1+h_i1h_j3 h_i2h_j2 h_i2h_j3+h_i3h_j2 h_i3h_j3]^T根据上一个约束条件可得：简化为Vb＝0；

4)如果有n幅标定板影像，则V是2n×6的矩阵；当n>2时，就可以获得线性唯一解b，这样就可以求解出摄像机的内外参数；

5)上文所述为未考虑透视畸变的系统，如果理想系统满足针孔透视模型，令为理想点的坐标，(x，y)为对应点的畸变位置坐标，那么可得：

其中f_x f_y c_x c_y由前面4步解得，(X^w，Y^w，Z^w)为标定板角点的世界坐标，这样可以求得

其中r²＝x²+y²，这样可由和(x，y)对应点对求解出5个畸变系数；

求出畸变系数后，可以用来矫正张正友法标定出的相机内外参数；矫正过程是用Levenberg-Marquardt(LM)算法来实现一个非线性优化；令代价函数为：

其中为标定板上第j个点在第i幅影像上的经过畸变矫正的投影点；使用LM将该代价函数最小化，这样经过校正的各参数，将极大减少畸变；

(4)选取参考帧；

二、基于高斯投影的球面图像映射与展开包括如下步骤：

基于SFM算法的欧拉角求解步骤

(1)将处理帧与参考帧进行SIFT特征点提取兴趣点，选取最优点进行匹配，来获得匹配点即同名点图像坐标；

1)定义图像I(x，y)尺度空间：L(x，y，σ)＝G(x，y，σ)*I(x，y)，其中当尺度参数σ连续变化，G(x，y，σ)构成图像的尺度空间；

2)空间极值点检测：

为了在尺度空间中检测稳定的关键点，构造高斯差分尺度空间D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)为了寻找尺度空间的极值点，每一个采样点与其所有的相邻点比较，检测其图像域和尺度域的相邻点大小关系，若该点为局部极值点，则保存为候选关键点；

3)特征点描述子的构造

以关键点为中心，在关键点所在的图像中取8×8的窗口，一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息；为增强后续匹配环节的稳定性，在实际计算中，对每个关键点可以使用4×4的16个种子来描述，这样对于一个关键点就可以产生128个梯度信息，最后形成128维的SIFT特征向量；

4)最近邻匹配算法

用特征向量的最近邻距离与次近邻距离的比值作为匹配约束条件，过程为：对图像I中的特征向量V_I，找到图像J中的所有特征向量中与V_I距离最近的两个向量v_J和v_J(v_J与V_I的距离最小)；若d(v_I，v_J)/d(v_I，v_J′)＜T，阈值一般为0.6，则v_J为V_I的匹配，否则V_I在J中没有匹配；

(2)根据同名点存在的对极几何关系m′^TFm^T＝0，m′，m为一对同名点，采用RANSAC 8点算法线性求解基本矩阵F；

1)RANSAC鲁棒估计：重复N次采样，N随机采样自适应地确定：

a)选择8组对应构成的一个随机样本并按8点算法来计算基本矩阵F，其结果得到一个或三个实解；

b)对每组假设对应点计算距离d，重投影误差和是待估计的真对应点，X_i和X′_i是测量得到的对应；

c)计算与F一致的内点数，它等于d<t个像素的对应的数目；

2)非线性估计：由划为内点的所有对应重新估计F；

(3)根据本质矩阵与基本矩阵的关系，由内参矩阵和基础矩阵可以求出本质矩阵E＝K^TFK^T，K，K′分别为第一、第二影像的内参矩阵；

(4)对E进行奇异值分解，E＝USV^T，令可得旋转矩阵R＝UWV^T，平移向量t＝u₃即矩阵U的最后一列；

(5)由旋转矩阵与欧拉角之间的关系，

按z-y-x恢复出对应欧拉角；

四、转动3D球体空间达到稳像效果，处理步骤如下：

(2)将球体按照高斯坐标正投影展开，放回视频序列。