CN105069750B - 一种基于图像特征点的最优投影柱面半径确定方法 - Google Patents

Abstract

本文公开了一种基于图像特征点的最优投影柱面半径确定方法，属于图像拼接技术领域。本发明首先提取并匹配待拼接图像的图像特征点对；剔除不稳定的匹配关系，获得稳定的匹配特征点对集合，求取几何变换矩阵；根据匹配特征点对集合，列出观测方程和几何约束方程；对焦距参数进行优化调整，得到最优焦距值集合，计算最优投影柱面半径。本发明计算简便，克服了传统柱面图像拼接需要知道拍摄时相机的焦距来做投影柱面半径的弊端，极大地扩展了全景柱面图像拼接的使用范围，有效地改善了拼接图像的视觉质量。

Description

一种基于图像特征点的最优投影柱面半径确定方法

技术领域

本发明属于图像拼接技术领域，特别涉及一种基于图像特征点的柱面变换半径确定方法。

背景技术

图像拼接技术从出现以来一直是图像处理领域的研究热点，是获得大视角图像的主要技术手段之一，通过数幅甚至数十幅以上有重叠的小视角，小分辨率图像，配准拼接融合出一幅保留原来所有图像信息的高分辨广角图像，广泛应用在航空航天，医学技术，军事领域。图像拼接技术不仅能有效避免广角镜头因为物理原因造成的图像边缘畸变，还具有成本低，效果好，视觉质量高的巨大优势。

柱面图像拼接作为图像拼接技术一个很重要的方法，是当今全景图像拼接的主要手段。其原理是将一系列的待拼接图像投影到一个统一的圆柱面上，对投影完成的柱面图像再进行图像拼接操作，可以有效的避免图像拼接过程中产生的偏折错位问题，而且柱面拼接更加符合人眼的特性，视觉质量有很大的提高。但是该过程必须知道拍摄一系列待拼接图像时摄像机的焦距值，才能确定投影圆柱面的半径。因此，传统意义上的柱面图像拼接应用范围受到了极大地限制。在不清楚相机焦距的情况下如何确定柱面变换半径，对于整个柱面图像拼接过程，起着至关重要的作用。

目前可以确定图像焦距的方法主要有两种，一种是基于模糊判定的方法，另外一种是基于多视点几何的方法。前者通过模拟相机镜头的特性，基于概率，通过对图像进行多尺度的比对，优化选出一个合适的焦距值。但是该方法计算效率差，在复杂场景下，计算结果并不理想。基于多视几何的方法，是现在主要的方法，根据序列图像中某些特征，通过几何关系，列出一系列方程组，求解出相应的参数变量。这种方法的优点是计算精确度高，缺点是理论复杂，计算量非常巨大，对误差十分敏感且对摄像机设备要求较高。

发明内容

本发明的发明目的在于：针对传统柱面图像拼接中必须知道拍摄时的焦距来做柱面变换半径的弊端，提供了一种在图像拼接处中，基于图像特征点的柱面变换半径确定方法应来扩展柱面全景图像的应用范围，提高摄像机焦距未知情况下拼接图像的视觉效果。

本发明的基于图像特征点的柱面变换半径确定方法，包括下列步骤：

步骤1：输入待拼接图像序列；

步骤2：提取待拼接图像序列中有重叠区域的两幅，提取并匹配该组图像的图像特征点对。为了提高对复杂场景的适应性，本方法采用SIFT特征点作为图像特征点。即首先提取两幅图像的SIFT特征点，通过两幅图像特征点描述子之间的欧式距离匹配图像特征点(基于预设的阈值，通常设置为0.5)，得到匹配完成的SIFT特征点对集合；

步骤3：剔除不稳定的错误的匹配，计算两幅图像间的几何变换矩阵。由于采用阈 值方法匹配的特征点对会存在不稳定的错配现象，因此，需要剔除不稳定的匹配。为了进一 步提高剔除效果，本文采用随机抽样一致性算法来对匹配的特征点对进行筛选，得到及其 稳定的匹配特征点对集合。在该点对集合的基础上，我们定义图像几何变换矩阵来表示两幅有重叠区域图像之间的几何变换关系。其中a,b,c,d,e,f,g,h 均为图像几何变换参数。利用已经匹配的特征点对坐标，根据x＝Hy，列出方程组计算该几 何变换矩阵。x＝[x y 1]^T,y＝[u v 1]^T,分别为已经匹配的特征点对几何中的一组匹配点。

步骤4：列出观测方程：为了进一步提高焦距值计算效率，本文采用中心成像模型 来对观测方程进行几何描述。首先定义相机参数矩阵f为相机焦距。中心成 像模型可以用下式描述：

u＝K(RX+t)

其中，u＝[u v 1]^T为相机投影成像点(u,v)的增广矩阵,X＝[x y z 1]^T为实际点(x,y,z)的增广矩阵。R，t分别为旋转矩阵与平移矩阵。

设两幅图像拍摄时相机焦距参数矩阵分别是 对应的旋转矩阵分别为R_u,R_v,平移矩阵分别为t_u，t_v。

针对某个世界坐标下的实际点x＝(x,y,z),由于在两幅图像上其对应的是一对匹配特征点u＝(u_x,u_y),v＝(v_x,v_y)。其对应的增广矩阵分别为：X＝[x y z 1]^T，u＝[u_x u_y 1]^T，v＝[v_x v_y 1]^T。

根据中心成像模型，上述变量符合方程组：

由多视几何外极线约束原理，可以推导出观测方程：

约束方程为：

步骤5：求解优化焦距参数，计算最佳柱面半径值：由步骤4得出的观测方程和约束 方程均为含有大量未知参数的非线性问题，并不存在一个特定的精确解向量。因此，本方法 采用捆绑调整策略，求解符合预设条件的最优解向量。首先定义误差函数e＝∑_i∑_jf(m_ij- u_ij)²；其中m_ij是世界坐标系中某点在图像上的测量点，u_ij为计算后的投影点。设观测方程约束方程根据捆绑调 整策略，求解的最优解向量应满足误差函数小于预设值。首先，为焦距设定初值f⁰。初值的 设定是可以根据每幅图像的视角宽度θ而大体估算，其与焦距的对应关系为其中d为图片对角线长度。

将初值代入观测方程Φ(f)＝Φ(f⁰)+Bδ_f＝L+δ_L；

将初值代入约束方程Ψ(f)＝Ψ(f⁰)+Cδ_f＝0。

其中δ_f为优化参数f的修正值，δ_L为观测修正值，

求解观测方程与约束方程，计算优化参数f的修正值δ_f。

对优化参数f进行更新：f¹＝f⁰+δ_f。将更新过的f¹再次代入观测方程和约束方程进行求解，并继续更新优化参数f，直至误差函数e的值小于预设条件，此时的优化参数，就是我们要求取的每个相机的焦距值f。

设参与拼接的图像有n张，重复上述步骤，求解出最优的相机焦距值集合{f₁,f₂,f₃,…f_n}，最终投影柱面的最佳半径值

综上所述，由于采用了上述技术方案，本发明的有益效果是：本发明在柱面图像拼接处理中，基于图像特征点实现了对未知焦距的待拼接图像的焦距确定，从而极大地扩展了全景柱面图像拼接的应用范围，提高了全景拼接图像的观赏质量。

附图说明

图1是本发明具体实施方式的处理流程图；

图2是本发明具体实施方式中，观测方程和约束方程的几何示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

实施例

参见图1，基于本发明的柱面变换半径确定方法对待拼接图像序列(image1，image2,image3，…，image n)进行处理的具体过程为：

步骤S100：输入一系列待拼接图像序列(image1，image2,image3，…，image n)。

步骤S200：从待拼接图像序列中提取两幅有重合区域的图像image_s和Image_t。提取并匹配Image_s与Image_t的图像特征点，本步骤可以采用现有的任何方式实现，本实施例中，基于SIFT特征点和抽样随机一致性的算法(RANSAC算法)完成该步骤计算，具体处理为：对两幅图像Image_s与Image_t提取SIFT特征点，并且找出匹配的图像特征点对集合{(s1,t1),(s2,t2),(s3,t3)...}；

步骤S300：基于Image_s和Image_t的图像特征点对集合{(s1,t1),(s2,t2),(s3, t3)...}，利用RANSAC算法，剔除不稳定的匹配特征点对，获得具有稳定关系的SIFT图像特 征点对集合{(S1,T1),(S2,T2),(S3,T3)...}。选择该集合其中任意4个元素，计算Image_s 与image_t的几何变换矩阵

步骤S400：参见图2所示，针对Image_s与image_t,根据中心成像模型列出透视方程：

其中两幅图像拍摄时相机焦距参数矩阵分别是 对应的旋转矩阵分别为R_u,R_v,平移矩阵分别为t_u，t_v。列出两幅图像观测方程与约束方程：

步骤S500：求解优化焦距参数，计算最佳柱面半径值，本步骤可以采用现有的任何方式实现，本实施例中，采用捆绑调整策略来优化待求参数f，具体处理为：

步骤S501：定义误差函数e＝∑_i∑_jf(m_ij-u_ij)²；其中m_ij是世界坐标系中某点在图 像上的测量点，u_ij为计算后的投影点。设观测方程 约束方程

首先，为焦距设定初值f⁰。初值的设定是可以根据每幅图像的视角宽度θ而大体估算，其与焦距的对应关系为其中d为图片对角线长度。

将初值代入观测方程Φ(f)＝Φ(f⁰)+Bδ_f＝L+δ_L；

将初值代入约束方程Ψ(f)＝Ψ(f⁰)+Cδ_f＝0。

其中δ_f为优化参数f的修正值，δ_L为观测修正值，

求解观测方程与约束方程，计算优化参数f的修正值δ_f。

对优化参数f进行更新：f¹＝f⁰+δ_f。将更新过的f¹再次代入观测方程和约束方程进行求解，并继续更新优化参数f，直至误差函数e的值小于预设条件，此时的优化参数，就是我们要求取的每个相机的焦距值f。

步骤S502：对于输入图像序列剩余的图像，继续执行步骤S100，求解出参与拼接的n张图像最优的相机焦距值集合{f₁,f₂,f₃,…f_n}，最终投影柱面的最佳半径值f由如下公式计算得出：

经过上述输入图像序列的处理之后，利用求解出的柱面半径值进行柱面全景图像拼接处理，可以得到视觉效果非常出色的柱面拼接图片。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (5)

1.一种基于图像特征点的最优投影柱面半径确定方法，其特征在于，包括下列步骤：

步骤1：输入待拼接图像序列；

步骤2：提取并匹配图像特征点对；

步骤3：剔除不稳定的匹配关系，求解图像几何变换矩阵；

步骤4：根据多视几何外极线约束原理，列出观测方程和约束方程；

设置两幅图像拍摄时相机焦距参数矩阵分别是对应的旋转矩阵分别为R_u，R_v，平移矩阵分别为t_u，t_v，；针对某个世界坐标下的实际点由于在两幅图像上其对应的是一对匹配特征点其对应的增广矩阵分别为：X＝[x y z 1]^T，U＝[u_x u_y 1]^T，V＝[v_x v_y 1]^T；

根据中心投影成像模型，上述变量符合方程组：

由多视几何外极线约束原理，推导出观测方程：

约束方程为：

步骤5：优化焦距参数，求解最优柱面变换半径值。

2.如权利要求1所述的方法，其特征在于，所述步骤2中，提取两幅有重叠区域的图像特征点，利用欧式距离阈值匹配，计算出初步的匹配特征点对集合。

3.如权利要求1所述的方法，其特征在于，步骤5中，优化焦距参数，求解最优柱面变换半径值为：

利用捆绑调整策略，定义误差函数e＝∑_i∑_jf(m_ij-u_ij)²；其中m_ij是世界坐标系中某点在图像上的测量点，u_ij为计算后的投影点；

设方程方程

为焦距设定初值f⁰，将初值代入方程Φ(f)，得到Φ(f)＝Φ(f⁰)+Bδ_f＝L+δ_L；将初值f⁰代入方程Ψ(f)，得到Ψ(f)＝Ψ(f⁰)+Cδ_f＝0；其中δ_f为优化参数f的修正值，δ_L为观测修正值，L为使得等式Φ(f⁰)+Bδ_f＝L+δ_L成立的数值；

求解方程Φ(f)与方程Ψ(f)，计算优化参数f的修正值δ_f；对优化参数f进行更新：f¹＝f⁰+δ_f；将更新过的f¹再次代入方程Φ(f)与方程Ψ(f)进行求解，并继续更新优化参数f，直至误差函数e的值小于预设条件。

4.如权利要求3所述的方法，其特征在于，初值的设定根据每幅图像的视角宽度θ而估算，其与焦距的对应关系为其中d为图像对角线长度。

5.如权利要求1、3或4所述的方法，其特征在于，所述步骤5还包括，基于计算得到输入图像序列最优的相机焦距值集合{f₁,f₂,f₃,…f_n}，最终投影柱面的最佳半径值f^*计算公式为：