CN106157246B - 一种全自动的快速柱面全景图像拼接方法 - Google Patents

Abstract

本发明公开一种全自动的快速柱面全景图像拼接方法。针对现有的算法中无法自动完成焦距估计的问题，本发明首先使用Harris特征点检测算法和HOG描述子得到平面图像的特征点，并使用一种基于预测的快速特征点匹配算法高效的计算出匹配特征点，使用RANSAC算法提纯匹配特征点，然后使用一种基于纯旋转运动的快速焦距估计算法估计出焦距，把平面图像投影至圆柱平面，并进行图像拼接，合成全景图像。该方法能够快速的合成高质量的全景图像，具有较高的实用价值。

Description

一种全自动的快速柱面全景图像拼接方法

技术领域

本发明属于图像拼接技术领域，涉及一种基于圆柱面的全景图像拼接方法。

背景技术

全景图像拼接就是同一地点、时间拍摄的多张具有一定重合度的图像经过配准、融合，合成一幅包含全部图像序列信息的大视场成像技术。该技术可以获取较大场，同时不会降低图像分辨率。现在全景图像拼接技术被广泛应用于医学图像分析、虚拟现实技术、超分辨率重构、安防监控等领域。

全景图像拼接主要需要解决图像配准与图像融合两个关键问题，图像配准可分为基于区域的配准算法和基于特征点的图像配准算法。基于特征点的图像配准算法具有计算量小、鲁棒性强、精度高的优点，得到了广泛的研究和应用。基于特征点的图像配准需要解决特征点检测与特征点匹配两个问题。特征点检测算法主要是提取图像的明显特征，根据不同的使用场景可选择多种不同的算法。特征点匹配算法是图像配准的关键部分，匹配精度直接影响着图像拼接效果，而且匹配算法效率也很大程度上影响着图像拼接算法效率。

全景图像依据映射的平面形式不同可以分为球面、正方体面、和圆柱面三种形式。由于柱面全景图像能够实现360°水平视角，垂直方向也有一定的视角，不需要非常准确的摄像机标定，而且可以方便的使用传统的图像处理方法，因此得到了广泛应用。圆柱全景图像拼接需要已知摄像机焦距，目前的计算方法是：使用摄像机拍摄一周，根据拍摄图像张数粗略估计出圆柱面周长，进而估计出摄像机焦距。但该方法无法自动完成焦距估计，而且当摄像机旋转角度小于360度时，无法进行焦距估计。

发明内容

本发明的目的是为了解决圆柱面全景图像拼接无法自动完成焦距估计问题，提出一种针对视觉转台的基于纯旋转运动的自动焦距估计算法，本方法能够快速的完成摄像机焦距自动估计，能够满足圆柱全景图像拼接需求。

为解决上述技术问题，本发明采用的技术方案包括以下步骤：

步骤(1).提取图像中明显的特征，本发明使用Harris算法检测两帧待拼接图像的特征点，并使用方向梯度直方图(Histogram of Oriented Gradient，HOG)建立特征点的HOG描述符；

所述的明显的特征并非是指代某一个具体的图像特征，而是图像中具有独特性的点，例如角点、交叉点等。

步骤(2).使用一种基于预测的快速特征点匹配算法快速完成特征点粗匹配，然后使用随机采样一致算法(Random Sample Consensus，RANSAC)对匹配特征点提纯。

步骤(3).判断图像焦距是否已知，如果焦距未知，则使用基于纯旋转运动的自动焦距估计算法估计摄像机焦距，如果焦距已知，则直接跳转至步骤(4)；

步骤(4).根据步骤(3)获得的焦距对平面图像映射至圆柱面图像，并进行图像融合，获得全景图像。

本发明首先采用基于预测的快速特征点匹配算法获得粗匹配特征点，并使用RANSAC提纯特征点，然后使用基于纯旋转运动的全自动焦距估计算法自动完成焦距估计，最后经过图像映射和融合完成全景图像拼接。本发明与现有技术相比，其显著优点为：(1)无需人为操作，自动完成焦距估计，而且计算速度较快，因此自动完成平面图像映射至圆柱面图像。(2)基于预测的快速特征点匹配算法较大的缩短了特征点匹配耗时，实时性较高。

附图说明

图1为基于圆柱面全景图像拼接算法流程图；

图2为基于预测的快速匹配算法原理图；

图3为Geyer等提出的小孔摄像机模型；

图4为4幅平面图像直接拼接的结果；

图5为使用本发明进行拼接的结果。

具体实施方式

以下结合附图对本发明作进一步说明。

由图1所示，本发明具体实施步骤如下：

步骤(1).使用Harris算法检测两帧待拼接图像检测的特征点，并使用HOG描述子建立HOG描述符；

步骤(2).使用一种基于预测的快速特征点匹配算法快速完成特征点粗匹配，然后使用RANSAC算法对匹配特征点提纯。

特征点粗匹配具体如下：

对于使用视觉转台等设备进行图像拍摄时，如果转台以恒定速度旋转，待拼接的序列图像的重合度基本保持不变，相邻两幅图像的匹配特征点对的相对位置变化较小，因此特征点匹配可以使用前一次匹配的数据进行特征点位置预测，在特征点预测位置附近进行匹配特征点搜索，减少了特征点匹配的搜索次数，从而较大的提高特征点匹配速度。

如图2所示，首先对图像进行网格划分，每个网格宽度、高度可以根据预测误差进行修正，使得匹配特征点落入以预测点P′为中心的9个网格内的概率η＞95％。设有n帧待拼接图像，对k-1帧图像(k表示n帧图像中任意一帧，且1≤k≤n)上一点P，使用式(1)预测P点的匹配点P′位置：

P′(x,y,1)＝H_k-1P(x,y,1) 式(1)

其中H_k-1为k-1帧图像的投影变换矩阵。然后在P′所在的网格以及周围8个网格内搜索点P的匹配特征点，完成特征点粗匹配。

这里的特征点是指Harris特征点。

步骤(3).判断焦距是否已知，如果焦距未知，使用基于纯旋转运动的自动焦距估计算法估计摄像机焦距。具体如下：

3.1基于纯旋转运动的自动焦距估计

在获取全景图像的初始图像时，焦距一般保持不变，即图像间基本无缩放变化，因此本发明利用该特点，设计了一种基于纯旋转运动的焦距估计算法。

本发明采用Geyer等提出的小孔成像模型以及简化后的摄像机内参矩阵进行自动焦距估计。

Geyer的小孔成像模型由虚拟球面S(O,m)、虚平面成像平面π组成。虚拟球面S(O,m)以摄像机所在位置O点为圆心以m＝1为半径，O-xyz为摄像机坐标系，z轴与摄像机光轴一致，x轴、y轴与成像平面π的横轴U纵轴V一致，虚拟平面与成像平面π相平行，与z轴垂直，且与虚拟球面S(O,m)相切。成像平面π与点O的距离为摄像机焦距f(为方便图像的映射，以像素为单位)。对于空间中一静止点P，其在虚球面S(O,m)上的投影点为s，经过点P与点O的直线交虚平面于点交成像平面π于点p。如图3所示。

对于摄像机内参矩阵，假设扭曲参数ε＝0，摄像机像素横纵比为1，即则简化后的内参矩阵如式(2)所示。

设点p的齐次坐标为[u,v,1]^T，T表示矩阵的转置，其中u，v分别表示点p在U，V坐标轴上的坐标，则的坐标为：

式中f_u，f_v分别为摄像机在U，V方向的焦距(单位为像素)，(u₀,v₀)为摄像机主点。

根据式(3)，点s的坐标可表示为：

当摄像机作纯旋转运动时，球面投影点间的距离保持不变，即

||s_i-s_j||₂＝||s′_i-s′_j||₂ 式(5)

式中，s_i、s_j与s′_i、s′_j分别表示空间任意两点在虚球面S(O,m)上的投影点以及与之对应的在摄像机旋转后的投影点。

将式(3)～(4)代入式(5)中，整理并化简后可得摄像机内参的约束方程：

a_iλ_ia_jλ_j+b_iλ_ib_jλ_j+λ_iλ_j＝a′_iλ′_ia′_jλ′_j+b′_iλ′_ib′_jλ′_j+λ′_iλ′_j 式(6)

式中，a_i、b_i、λ_i与a_j、b_j、λ_j表示空间任意两点P_i、P_j在虚球面投影的坐标参数，a′_i、b′_i、λ′_j与a′_j、b′_j、λ′_j表示P_i、P_j在摄像机旋转后的投影坐标参数。

若设摄像机主点为图像中心，即W、H’分别为图像宽度和高度(单位为像素)。则式(6)是焦距f的方程，式(4)、式(5)代入式(6)中，整理并化简可得：

A₆f⁶+A₄f⁴+A₂f²+A₀＝0 式(7)

其中

式中，u_i、v_i与u_j、v_j表示空间任意一点P_i与点P_j在图像中的横坐标、纵坐标，u′_i、v′_i与u′_j、v′_j表示点P_i与点P_j在摄像机旋转后的图像中的横坐标、纵坐标。

根据式(7)～(9)，任取两对匹配特征点即可估计出一个焦距值f。由于该自动焦距估计算法中假设摄像机主点为图像中心、摄像机扭曲值为0、匹配特征点存在误差等原因，最终估计的焦距存在一定的误差，且估计结果方差较大。本发明采用1500次采样，并舍弃不合理的焦距值，选取平均值作为估计值得方法估计的焦距值f₀。

上述不合理的焦距是指：焦距估计的结果有较小的可能出现负值或者过大的数值(如100000像素以上等)，这些估计值会严重影响最终估计准确度，因此需要舍弃。

3.2基于单应矩阵的焦距修正

上面介绍焦距估计方法，虽然使用采样多次并取平均值的方法使得估计结果较为稳定可靠，但是，由于假设摄像机主点为图像中心、摄像机扭曲值为0，求取平均值的方法无法消除这两个假设所带来的估计误差，因此需要一个焦距修正算法，消除上述误差。

图像拼接常使用8参数的透视变换矩阵进行图像投影：

式(10)中h₁、h₂、h₄、h₅与图像旋转、尺度变化相关，h₃、h₆与图像平移相关，h₇、h₈与图像在x轴方向、y轴方向形变相关。

假设焦距保持不变，即图像间不存在缩放问题，如果焦距估计准确，通过式(11)把平面投影到圆柱平面后，各个图像将位于同一个圆柱平面，那么图像之间就只存在旋转和平移变换，图像间的透视变换将会退化为仿射变换，即透视变换的矩阵H的h₇、h₈为0。

式中：(x,y)为平面图像中任意一点，(x″,y″)为点(x,y)映射至圆柱面图像后的位置。

在实际图像拼接中，摄像机沿着x轴方向运动，y轴方向运动相对可以忽略。实际上|h₈|一般在10^-6～10^-7以内，与焦距f无关。h₇的值随着焦距f的变化而变化。因此只需要修正焦距f，使得|h₇|达到最小即可。

自动焦距修正步骤：

3.2.1首先使用3.1节给出的焦距估计算法得到焦距估计值f₀，使用f₀通过式(11)把精确匹配特征点集Ω变换为圆柱图像匹配特征点集Ω′，然后通过Ω′计算投影变换矩阵H₀,并得到并记录的正负符号设定焦距初始修正值g₀，f＝f₀，设(表示第i次计算得到透视变换矩阵参数h₇的值，SI_i表示第i焦距修正的正负符号，1≤i≤M，M为焦距修正需要迭代的次数，取 表示向下取整，g₀是一个经验值，一般取g₀＝-50)；

3.2.2把焦距值f_i-1代入式(11)中(f_i-1表示第i-1次焦距修正后的焦距)，对精确匹配特征点集Ω进行坐标变换(平面坐标变换为圆柱坐标)，得到新的匹配特征点集Ω′；

3.2.3使用Ω′计算新的投影变换矩阵H_i，并得到新的矩阵参数值，的符号为SI_i；

3.2.4如果则f_i＝f_i-1+g_i；如果则f＝f_i-1，直至循环次数i>M，则终止循环，否则返回3.2.2，进行下一次焦距修正。

步骤(4).使用式(11)把平面图像映射至圆柱面图像后，使用加权平均算法对拼接图像进行融合，得到最终的全景图像。

为验证本发明的有效性，测试使用I5-3470CPU、4G内存的台式机，系统为Win1064位企业版，使用Visual Studio 2010实现图像拼接算法。使用手机放在三脚架上近似匀速旋转，模拟视觉转台运动，拍摄不同焦距的测试视频作为测试视频，手机水平旋转角度在120°～170°，视频每幅图像的大小为1280×720像素。特征点检测算法采用Harris角点检测算法，特征点描述子使用HOG描述符。

表1自动计算焦距与手动标定焦距值比较

表1给出了部分测试结果，从表中可以看出自动估计的焦距值经过焦距修正后与手动标定的误差较小，能够满足圆柱图像拼接的需要。

表2特征点检测、匹配耗时比较

	线性匹配	BBF	本发明方法
				匹配特征点数量	325	309	301
耗时(秒)	3.36	1.05	0.05

表2中设定SIFT与Harris算法参数，使得检测2000个特征点，从表中可以看出：本发明特征点匹配算法匹配速度较蛮力法提高了60～70倍，较BBF算法提高了20倍。但是本发明算法要求摄像机旋转速度基本保持不变。

图4是4张平面图像直接进行拼接的结果，从图中可以看出：由于图像并不在同一投影平面上，投影存在一定的夹角，直接对图像进行拼接，得到的拼接图像发生严重的扭曲，无法继续进行拼接。图5是上面测试测试中第8组的测试结果，图像畸变较小，拼接质量更好。表4给出了图4、图5左右两侧高度对比。

表3图4～5图像左右两侧高度对比(像素)

序号	左侧高度	右侧高度	偏差
				图4	714	2036	1322
图5	694	531	163

从图4、图5和表3中对比可知：使用本发明的圆柱图像拼接算法的拼接结果基本无扭曲，图像配准较为准确，无错误配准，能够满足实际需求。

本发明在柱面全景图像拼接时，加入了基于纯旋转运动的摄像机自动焦距估计算法，克服了传统柱面全景图像拼接无法自动进行焦距估计的缺陷。新设计的特征点加速匹配较大的提高了特征点匹配速度，虽然要求摄像机恒速转动，仍具有一定的实际应用意义。本发明实现了水平方向旋转任意角度的柱面全景图像快速合成，合成结果较为理想。

Claims (1)

1.一种全自动的快速柱面全景图像拼接方法，其特征在于该方法包括以下步骤：

步骤(1)、使用Harris算法检测两帧待拼接图像的特征点，并使用方向梯度直方图建立特征点的HOG描述符；

步骤(2)、使用一种基于预测的快速特征点匹配算法快速完成特征点粗匹配，然后使用随机采样一致算法对上述粗匹配特征点进行提纯；

步骤(3)、判断图像焦距是否已知，若焦距未知，则使用提纯后的匹配特征点利用基于纯旋转运动的自动焦距估计算法估计摄像机焦距，若焦距已知，则直接跳转至步骤(4)；

步骤(4)、根据步骤(3)获得的焦距将平面图像映射至圆柱面图像，并进行图像融合，获得全景图像；

步骤(2)所述的特征点粗匹配过程具体如下：

首先对图像进行网格划分，每个网格宽度、高度可根据预测误差进行修正，使得匹配特征点落入以预测点P′为中心的9个网格内的概率η＞95％；设有n帧待拼接图像，对k-1帧图像上一点P，1≤k≤n，使用式(1)预测P点的匹配点P′位置；然后在P′所在的网格以及周围8个网格内搜索点P的匹配特征点，完成特征点粗匹配；

P′(x,y,1)＝H_k-1P(x,y,1) 式(1)

其中H_k-1为k-1帧图像的投影变换矩阵；

步骤(3)所述的使用提纯后的匹配特征点利用基于纯旋转运动的自动焦距估计算法估计摄像机焦距过程具体如下：

3.1基于纯旋转运动的自动焦距估计，具体是采用特定的小孔成像模型以及简化后的摄像机内参矩阵进行自动焦距估计：

所述的小孔成像模型由虚拟球面S(O,m)、虚平面成像平面π组成；虚拟球面S(O,m)以摄像机所在位置O点为圆心以m＝1为半径，O-xyz为摄像机坐标系，z轴与摄像机光轴一致，x轴、y轴与成像平面π的横轴U纵轴V一致，虚拟平面与成像平面π相平行，与z轴垂直，且与虚拟球面S(O,m)相切；成像平面π与点O的距离为摄像机焦距f；对于空间中一静止点P，其在虚球面S(O,m)上的投影点为s，经过点P与点O的直线交虚平面于点交成像平面π于点p；

假设扭曲参数ε＝0，摄像机横纵比为1，即则简化后的摄像机内参矩阵见式(2)：

设点p的齐次坐标为[u,v,1]^T，T表示矩阵的转置，其中u，v分别表示点p在U，V坐标轴上的坐标，则的坐标为：

式中f_u，f_v分别为摄像机在U，V方向的焦距，(u₀,v₀)为摄像机主点；

根据(4)式，点s的坐标表示为：

当摄像机作纯旋转运动时，球面投影点间的距离保持不变，即

||s_i-s_j||₂＝||s′_i-s′_j||₂ 式(5)

式中，s_i、s_j与s′_i、s′_j分别表示空间任意两点在虚球面S(O,m)上的投影点以及与之对应的在摄像机旋转后的投影点；

将式(3)～(4)代入式(5)中，整理并化简后得摄像机内参的约束方程：

a_iλ_ia_jλ_j+b_iλ_ib_jλ_j+λ_iλ_j＝a′_iλ′_ia′_jλ′_j+b′_iλ′_ib′_jλ′_j+λ′_iλ′_j 式(6)

式中，a_i、b_i、λ_i与a_j、b_j、λ_j表示空间任意两点P_i、P_j在虚球面投影的坐标参数，a′_i、b′_i、λ′_i与a′_j、b′_j、λ′_j表示P_i、P_j在摄像机旋转后的投影坐标参数；

若设摄像机主点为图像中心，即W、H’分别为图像宽度和高度；则式(6)是焦距f的方程，式(4)、式(5)代入式(6)中，整理并化简得：

A₆f⁶+A₄f⁴+A₂f²+A₀＝0 式(7)

其中

式中，u_i、v_i与u_j、v_j表示空间任意一点P_i与点P_j在图像中的横坐标、纵坐标，u′_i、v′_i与u′_j、v′_j表示点P_i与点P_j在摄像机旋转后的图像中的横坐标、纵坐标；

根据式(7)～(9)，任取两对匹配特征点即可估计出一个焦距值f；采用多次采样方法，并舍弃不合理的焦距值，选取平均值得到估计的焦距值f₀；

3.2基于单应矩阵的焦距修正

图像拼接使用8参数的透视变换矩阵进行图像投影：

式(10)中h₁、h₂、h₄、h₅与图像旋转、尺度变化相关，h₃、h₆与图像平移相关，h₇、h₈与图像在x轴方向、y轴方向形变相关；

假设焦距保持不变，即图像间不存在缩放问题，如果焦距估计准确，通过式(11)把平面投影到圆柱平面后，各个图像将位于同一个圆柱平面，那么图像之间就只存在旋转和平移变换，图像间的透视变换将会退化为仿射变换，即透视变换的矩阵H的h₇、h₈为0；

式中：(x,y)为平面图像中任意一点，(x″,y″)为点(x,y)映射至圆柱面图像后的位置；

在实际图像拼接中，摄像机沿着x轴方向运动，y轴方向运动相对可以忽略；修正焦距f，使得|h₇|达到最小；

所述的自动焦距修正具体是：

3.2.1首先使用3.1节给出的焦距估计算法得到焦距估计值f₀，使用f₀通过式(11)把精确匹配特征点集Ω变换为圆柱图像匹配特征点集Ω′，然后通过Ω′计算投影变换矩阵H₀,并得到并记录的正负符号设定焦距初始修正值g₀，f＝f₀，设其中表示第i次计算得到透视变换矩阵参数h₇的值，SI_i表示第i焦距修正的正负符号，1≤i≤M，M为焦距修正需要迭代的次数，取 表示向下取整，g₀是一个经验值；

3.2.2把焦距值f_i-1代入式(11)中，f_i-1表示第i-1次焦距修正后的焦距，对匹配特征点集Ω进行坐标变换，即平面坐标变换为圆柱坐标，得到新的匹配特征点集Ω′；

3.2.3使用Ω′计算新的投影变换矩阵H_i，并得到新的矩阵参数值，的符号为SI_i；

3.2.4如果则f_i＝f_i+g_i；如果则f＝f_i-1，直至循环次数i>M，则终止循环，否则返回3.2.2，进行下一次焦距修正。