CN102034235B - 基于旋转模型的鱼眼图像准稠密对应点匹配扩散方法 - Google Patents

Abstract

本发明公开一种基于旋转模型的准稠密对应点匹配扩散方法；该方法主要包括以下几个步骤：对于同一场景从不同位置拍摄的一对鱼眼图像，首先提取和匹配图像中的特征点，然后对这些特征点进行精确定位，并把这些特征点作为初始种子点；接着从最优种子点开始向其邻域进行准稠密对应点扩散，扩散的对应点作为新的种子点用于后续的继续扩散。在本发明中，对应点的视差约束采用旋转变换模型，相比已有的仿射变换模型而言，该模型计算简单，模型自由参数只有一个，因此整个扩散过程稳定可靠，并且可满足大多数的应用需求。另外，该方法是一种非约束的扩散方法，无需对摄像机的运动参数进行事先标定，具有较大的灵活性。实验结果也验证了该方法的可行性，具有很强的实用性。

Description

基于旋转模型的鱼眼图像准稠密对应点匹配扩散方法

技术领域

本发明属于计算机视觉领域，具体涉及两幅或多幅图像之间的对应点匹配方法。

背景技术

对应点匹配是计算机视觉及其相关领域中的一个基本问题。以前的相关研究大多集中于普通透视图像，然而由于鱼眼图像具有较大的视场范围，在现实中具有重要的应用价值，因此研究鱼眼图像对应点匹配问题具有重要的意义。

准稠密匹配是介于稀疏匹配和稠密匹配之间的一类对应点匹配方法，为了满足三维建模和基于图像的渲染等应用中所需大量对应点的需要，同时尽可能提高对应点匹配的可靠性，这类方法的对应点匹配只在纹理丰富的区域进行，而对均质区域不进行对应点匹配。这类方法的基本思想可概括为：首先检测和匹配图像中的稀疏特征点，然后从这些稀疏特征点开始，逐步向其邻域进行匹配扩散。

在这类方法中，不同方法之间最主要的区别是匹配扩散过程中对应点视差限制模型的选择问题。Lhuillier等人[1]Lhuillier M and Quan L.Matchpropagation for image-based modeling and rendering.IEEE Transactions onPattern Analysis and Machine Intelligence，2002，24(8)：1140-1146，所采用的视差模型是二维视差梯度约束，该模型假设图像的局部变形近似为二维平移变换，这种假设只适用于短基线平行配置的立体透视图像对；为了将这类方法拓展到宽基线透视图像，Kannala等人[2]Kannala J and Brandt S S.Quasi-dense wide baseline matching using match propagation.In Proceedingof Computer Vision and Pattern Recognition，2007，1-8，采用仿射模型来近似局部视差；类似地，许等人[3]许振辉，张峰，孙凤梅，胡占义.基于邻域传递的鱼眼图像的准稠密匹配.自动化学报，200935(9)：1159-1167，也采用仿射模型来近似鱼眼图像对应点的局部视差。但是，文献[1]采用的模型不适合鱼眼图像的局部变形，而仿射模型由于自由度较多，在计算和更新仿射模型参数时，由于有效数据样本点较少，搜索空间较大等原因，使得计算得到的模型很不稳定，导致最终的扩散结果不可靠。另外，文献[3]中的方法只适用于摄像机已经标定的情况(即摄像机内外参数都已知)，这在某些应用中也是很不方便的。

发明内容

本发明的目的是解决仿射模型不稳定而导致最终的扩散结果不可靠的问题，为此，本发明提供一种基于旋转模型的鱼眼图像准稠密对应点匹配扩散方法。

本发明所述的一种基于旋转模型的鱼眼图像准稠密对应点匹配扩散方法，步骤如下：

S1：从不同位置拍摄两幅待匹配场景的鱼眼图像I，I′，并提取和匹配两幅图像的特征点；

S2：对匹配的特征点进行精确定位，并计算这些特征点的相似性大小和旋转变换模型，然后将相似性大于某一阈值C_T的特征点作为后续准稠密对应点扩散的初始种子点，并把这些种子点存入集合S；

S3：根据相似性大小从种子点集合S中选出相似性最大的种子点作为最优种子点，同时从种子点集合中去除该种子点；然后从当前最优种子点开始，在其邻域实现无极几何约束的准稠密对应点扩散；

S4：将扩散的对应点作为新的种子点，保存到种子点集合S，并且计算这些新种子点的旋转变换模型和相似性大小。

S5：如果当前种子点集合S不为空，那么转步骤S1；

S6：利用已得到的准稠密对应点估计极几何约束，然后利用此约束重新进行带极几何约束的准稠密对应点扩散。

在S3和S6的准稠密对应点扩散过程中，局部视差约束采用旋转变换模型，具体讲，已知图像I，I′中的一对种子点为x，x′，x和x′邻域象素点分别为N(x)和N(x′)，假设将种子点设为对应邻域的局部坐标系原点，且种子点邻域对应的旋转矩阵为R，那么在当前种子点邻域进行对应点扩散过程中，对任意一点p₁∈N(x)，其在I′中可能的匹配点视差限制条件为{p₂：p₂∈N(x′)且||p₂-Rp₁||≤ε}。

本发明中，对应点的视差约束采用旋转变换模型，相比已有的仿射变换模型而言，该模型计算简单，模型自由参数只有一个，因此整个扩散过程稳定可靠，并且可满足大多数的应用需求。

所述的的步骤S2中的精确定位的方法是：

S21：将I₁，I₂中以对应特征点为中心，邻域半径为r的子图像分别转换到极坐标系，得到两个子图像I′₁，I′₂；

S22：对子图像I′₁，I′₂，采用相位相关法，求得两子图像的相对旋转角度θ₀；

S23：以对应特征点的初始对应坐标和S22计算得到的相对旋转角度θ₀为初值，灰度相关性为代价函数，采用Levenberg-Marquat算法在原图像I₁，I₂中通过迭代优化，得到对应特征点的精确对应位置和相对旋转角度的精确值θ，同时也可得到对应特征的相对旋转变换矩阵：

$R=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)$

精确定位保证初始种子点尽可能定位精确，并且可以求得更准确的初始旋转模型，使得后续扩散更准确，因为点的扩散是以种子点为基础的。

稠密对应点扩散是在归一化的图像中进行的。归一化后可以直接用文献[1]中的经典方法进行扩散，即采用基于二维视差梯度约束的方法进行扩散，使得扩散过程简单化。

本发明的有益效果：本发明提出的方法较好地解决了现有准稠密匹配方法中存在的不足。由于二维旋转变换模型仅有一个自由度，即相对旋转角度，因此模型简单，计算结果可靠，鲁棒性强；其次，对绝大多数应用来讲，局部变形采用旋转变换模型可以得到所要求的精度；第三，本发明无需事先标定摄像机的外参数，因此，使用灵活。通过和已有的其他方法相比，该发明是一种切实可行的准稠密匹配方法。

附图说明

图1是本发明基于旋转模型的鱼眼图像准稠密对应点匹配扩散方法的流程图；

图2是本发明种子点邻域采用旋转变换模型的归一化示意图，图中W＝2，N＝1，x，x′为当前种子点图3是本发明实例中用到的两幅鱼眼图像；

图4是本发明实例中的对应的初始种子点；

图5是本发明准稠密对应点扩散结果的局部结果图；

图6是现有技术基于仿射模型的对应点扩散局部结果图。

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

本发明假设摄像机首先从不同位置拍摄两幅鱼眼图像，然后通过以下步骤实现准稠密对应点的匹配扩散，整个流程可参看图1。

1、提取和匹配两幅图像的特征点

在这一步，可采用文献中很多经典的方法来自动实现特征提取和匹配，如基于仿射不变量的特征提取方法[4]Mikolajczyk K，Tuytelaars T，Schmid C，Zisserman A，Matas J，Schaffalitzky F，Kadir T and Van Gool L.A comparisonof affine region detectors.International Journal of Computer Vision，2005，65(1-2)：43-72，基于仿射不变描述子的匹配方法[5]Mikolajczyk K andSchmid C.A performance evaluation of local descriptors.IEEE Trans.Pattern Analysis and Machine Intelligence，2005，27(10)：1615-1630，也可采用基于鲁棒策略的匹配方法[6]Fischler M A and Bolles R C.Randomsample consensus：A paradigm for model fitting with applications to imageautomated cartography.Communication of the ACM，1981，24(6)：381-395，还可以采用人工选取特征点的方法来实现初始特征提取和匹配。

2、特征点的精确定位及初始种子点的确定

设原始图像I，I′中的一对特征点为x，x′，这一步的目的是在图像I′中x′的邻域搜索x的精确对应点，或者在图像I中x的邻域搜索x′的精确对应点。以第一种情况为例，特征点的精确定位步骤可描述为：

分别将图像I和I′中以x和x′为中心，半径为r的图像面片转换到极坐标系，得到子图像I′₁和I′₂，然后采用相位相关法[7]Kuglin C D and Hines D C.：Thephase correlation image alignment method.In Proceedings of the IEEE 1975International Conference on Cybernetics and Society，163-165(1975)，求得I′₁和I′₂的相对旋转角度θ₀，通过校正两个子图像的相对旋转，可计算得到这两个子图像的相关系数。

以x₂，θ₀为初始值，相关系数c为目标函数，采用Levenberg-Marquat算法迭代调整x₂的位置和相对旋转角度，最终收敛到最大相关值c_max对应的位置x′₂即为x1的精确对应点，同时可得到最大相关值c_max对应的旋转角度θ，相应地也可计算出这对特征点的相对旋转矩阵R，即：

$R=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)$

对所有特征点都重复以上过程，然后将相关值大于某一阈值C_T的特征点作为初始种子点，并将这些种子点存入一个集合S。

3、从最优种子点开始，实现无极几何约束的准稠密对应点扩散

从当前种子点集合S中选出相关值最大的种子点作为当前最优种子点，并且把该种子点从集合S中剔除，然后在种子点邻域开始对应点扩散过程。这一过程可进一步分为两部分：第一部分是种子点邻域的几何归一化，第二部分是种子点邻域的准稠密对应点扩散。

3.1种子点邻域的几何归一化

在扩散之前，每对最优种子点不仅包括对应点的坐标信息，还包括对应点的局部旋转变换矩阵R。假设当前最优种子点为x和x′，对应的旋转矩阵为R，根据这个变换矩阵，可以在归一化的图像中进行对应点扩散。其归一化过程为：(1)在图像I中以当前种子点x为中心提取一个方形图像面片s，其大小为(2(W+N)+1)×(2(W+N)+1)，其中，W是计算相关性分数所要用到的窗口半径大小，N是后续搜索对应点的邻域半径大小；(2)图像I′中与之对应的区域可以通过当前种子点的旋转矩阵R将图像I中方形窗口映射过去来获得，然后将该区域通过插值的方法变换为(2(W+N)+1)×(2(W+N)+1)的方形图像s′，具体过程可参考图2。

3.2种子点邻域的准稠密对应点扩散

种子点邻域的准稠密对应点扩散是在归一化的图像s和s′中进行的。其扩散过程和文献[1]类似，其最终扩散的对应点同时保存在种子点集合S和最终的对应点集合M中。

与文献[1]不同的是，由于扩散点在归一化的图像s′中位于整数象素坐标，这些坐标通常对应于原始图像I′中的子象素坐标。因此，扩散过程中新产生的种子点对应于子象素级精度。另外，为了便于扩散过程中的唯一性约束检验，对应点集合M保存取整后的坐标。

在准稠密对应点扩散过程中，局部视差约束采用旋转变换模型，具体讲，已知图像I，I′中的一对种子点为x，x′，x和x′邻域象素点分别为N(x)和N(x′)，假设将种子点设为对应邻域的局部坐标系原点，且种子点邻域对应的旋转矩阵为R，那么在当前种子点邻域进行对应点扩散过程中，对任意一点p₁∈N(x)，其在I′中可能的匹配点视差限制条件为{p₂：p₂∈N(x′)且||p₂-Rp₁||≤ε}。

4、计算新产生种子点的局部变换模型

除了最初的种子点外，在对应点扩散过程中会产生新的对应点，这些对应点作为新产生的种子点用于后续的继续扩散。这一步的目的是确定这些新产生种子点的局部旋转变换矩阵。

新产生的种子点是在当前种子点邻域扩散得到的，假设当前种子点的旋转角度为θ，那么这些新产生的种子点的旋转角度和当前种子点的旋转角度应该非常接近，据此，我们可通过如下方式确定新产生种子点的旋转矩阵。

假设当前种子点的旋转角度为θ，该种子点邻域新产生的种子点的旋转角度为θ±Δθ，那么可以在[-Δθ，+Δθ]范围内以一定的步长搜索，其最大相关性对应的旋转角度作为新产生种子点的旋转角度，同时也可求出该种子点相应的旋转矩阵。

重复执行步骤3和4，直到种子点集合为空，那么无约束准稠密对应点扩散过程结束。

5、极几何约束下的准稠密对应点扩散

根据前面步骤得到的准稠密对应点不可避免地存在一些错误扩散点，尤其是纹理重复的区域，另外，这些扩散点的分布也很不均匀。针对这些问题，在这一步，首先根据无极几何约束下得到的扩散点来估计极几何约束，这种估计方法已经被证明比传统的基于稀疏匹配点的估计方法更精确和鲁棒[7]Lhuillier Mand Quan L.A quasi-dense approach to surface reconstruction fromuncalibrated images.IEEE Transactions on Pattern Analysis and MachineIntelligence，2005，27(3)：418-433.其次，在求得极几何约束(即本质矩阵)后，重新从第一步得到的初始种子点开始，重复前面的扩散过程，不同的是，在这次扩散中用到的几何约束除了二维视差梯度约束外，还增加了极几何约束，局部视差约束采用旋转变换模型。

这里给出一个具体的实施例，本实例中用到的鱼眼相机由Nikon D90相机和Sigma鱼眼镜头(SIGMA 4.5mm f2.8EX DC)组成，镜头视角180度，分辨率为4288×2848.

图3是一对鱼眼图像，为方便显示，后续图4和图5仅截取了原始图像的一部分。可以看出，这对图像具有较大的非线性变形，局部变形直接采用文献[1]中的二维视差梯度约束来近似显然是不妥当的。

图4是21对初始种子点。这些种子点首先通过手工选取，然后进行精确定位，并计算出这些种子点的局部旋转变换模型。这里种子点的相关性度量采用ZNCC(Zero-mean Normalized Cross Correlation)，并把ZNCC＞C_T＝0.8的那些点作为初始种子点。

图5是本发明非约束扩散得到的结果，这里所有参数和文献[1]相同。从结果可以看出，无论是平面区域、重复纹理区域、深度不连续区域还是遮挡区域，结果都是令人满意的，这体现在扩散结果精确，可靠，对重复纹理区域、深度不连续区域和遮挡区域，错误扩散可以很快停止，避免了过扩散的后果。

为了便于比较，我们还对基于仿射模型[3]的扩散方法进行了实验，结果见图6。可以看出，对于纹理丰富的平面区域，这类方法具有较好的扩散效果，但是对重复纹理区域、深度不连续区域和遮挡区域，出现了大量的过扩散，造成扩散结果不稳定和不可靠。正像我们前面所述的，基于仿射模型的扩散方法，由于模型复杂，自由度较大，尽管采用该模型从理论上来说能更好地近似图像的局部变形，但是由于有效数据较少，导致最终的计算结果很不可靠。

上面描述仅仅是用于实现本发明及其实施例，因此，本发明的范围不应由该描述来限定。根据本领域技术人员的理解，在不脱离本发明的范围的任何修改或局部替换，均属于本发明权利要求限定的范围。

Claims (2)

1.一种基于旋转模型的鱼眼图像准稠密对应点匹配扩散方法，其特征在于步骤如下：

S1：从不同位置拍摄两幅待匹配场景的鱼眼图像 

,，并提取和匹配两幅图像的特征点；

S2：对匹配的特征点进行精确定位，并计算这些特征点的相似性大小和旋转变换模型，然后将相似性大于某一阈值的特征点作为后续准稠密对应点扩散的初始种子点，并把这些种子点存入集合

； 

精确定位的方法是：

S21：将

_,

中以对应特征点为中心，邻域半径为

的子图像分别转换到极坐标系，得到两个子图像

，；

S22：对子图像

，

，采用相位相关法，求得两子图像的相对旋转角度

；

S23：以对应特征点的初始对应坐标和S22计算得到的相对旋转角度

为初值，灰度相关性为代价函数，采用Levenberg-Marquat算法在原图像

,

中通过迭代优化，得到对应特征点的精确对应位置和相对旋转角度的精确值

，同时也可得到对应特征点的相对旋转变换矩阵:

；

S3：根据相似性大小从种子点集合

中选出相似性最大的种子点作为最优种子点，同时从种子点集合中去除该种子点；然后从当前最优种子点开始，在其邻域实现无极几何约束的准稠密对应点扩散；

S4：将扩散的对应点作为新的种子点，保存到种子点集合

，并且计算这些新种子点的旋转变换模型和相似性大小；

S5：如果当前种子点集合

不为空，那么转步骤S3；

S6：利用已得到的准稠密对应点估计极几何约束，然后利用此约束重新进行带极几何约束的准稠密对应点扩散；

在S3和S6的准稠密对应点扩散过程中，局部视差约束采用旋转变换模型，具体讲，已知图像

,

中的一对种子点为

,和

邻域象素点分别为

和

，假设将种子点设为对应邻域的局部坐标系原点，且种子点邻域对应的旋转矩阵为

，那么在当前种子点邻域进行对应点扩散过程中，对任意一点，其在中可能的匹配点视差限制条件为

。

2.根据权利要求1所述的基于旋转模型的鱼眼图像准稠密对应点匹配扩散方法，其特征在于：准稠密对应点扩散是在归一化的图像中进行的。

Images