CN103700105A - 一种用于深度图计算的最优邻域图像组选择方法 - Google Patents

Abstract

本发明公开了一种用于深度图计算的最优邻域图像组选择方法，其特征在于，包括以下步骤：步骤1，提取参考图像与其他图像上的仿射不变特征点，对检测到的特征点进行匹配，并计算特征点空间位置；步骤2，在除参考图像外的所有图像中随机选取给定数量的图像构成候选邻域图像组，计算参考图像与候选邻域图像组的一致性程度；步骤3，使用量子进化算法对候选邻域图像组进行迭代调整，使一致性程度不断提高，并将迭代结束时得到的图像组作为最优邻域图像组。利用本发明提出的方法，能够在大量的图像中高效的选取最优邻域图像组，从而达到在参考图像上获得高精度深度图的目的。

Description

一种用于深度图计算的最优邻域图像组选择方法

技术领域

本发明涉及一种计算机视觉领域的邻域图像选择方法，具体是一种用于深度图计算的最优邻域图像组选择方法。

背景技术

对于一副参考图像，通过与其相邻的多幅图像获得深度图是计算机视觉的重要研究方向之一，其在三维重建、视觉导航、场景理解等方面有着广泛的应用。在参考图像的深度图计算过程中，如何从大量的图像中选择最优的邻域图像组对于深度图计算的完整性和准确度具有重要影响，现有方法尚无法有效选择最优的邻域图像组。

经对现有技术的文献检索发现，M.Goesele等于2007年在《2007International Conference on Computer Vision》（2007年计算机视觉国际会议）上发表的论文“Multiview stereo for community photo collections”（用于社区图像的多视图立体重建）提出计算每幅相邻图像与参考图像的匹配得分，并通过贪心算法求得一组邻域图像组。该方法具有较高的计算效率，但无法保证结果为全局最优解。C.Bailer等于2012年在《2012EuropeanConference on Computer Vision》（2012年欧洲计算机视觉会议）上发表的论文“Scale robust multi view stereo”（具有尺度鲁棒性的多视图立体重建）提出通过光轴夹角、尺度比值、空间覆盖度等三项指标衡量邻域图像匹配质量，并通过局部优化算法求取邻域图像组。该方法对图像尺度变化有一定鲁棒性，但仍然无法保证结果为全局最优解。

发明内容

（一）要解决的技术问题

为了克服现有技术存在的缺陷，本发明提出了一种用于深度图计算的最优邻域图像组选择方法。

（二）技术方案

本发明的用于深度图计算的最优邻域图像组选择方法包括步骤：步骤1，提取参考图像与其他图像上的仿射不变特征点，对检测到的特征点进行匹配，并计算特征点空间位置；步骤2，在除参考图像外的所有图像中随机选取给定数量的图像构成候选邻域图像组，计算参考图像与候选邻域图像组的一致性程度；步骤3，使用量子进化算法对候选邻域图像组进行迭代调整，使一致性程度不断提高，并将迭代结束时得到的图像组作为最优邻域图像组。

优选地，所述步骤1进一步包括：使用具有仿射不变性的检测子提取参考图像和其他图像中的特征点，对提取出的特征点进行匹配，并根据相机内外参数通过最小化特征点的图像重投影误差求取特征点空间位置。

优选地，所述步骤2进一步包括：从除参考图像外的所有图像中随机选取给定数量的图像构成候选邻域图像组，给定所有图像的相机光心位置，计算参考图像与候选邻域图像组的一致性程度，一致性程度由参考图像上所有特征点一致性求和得到，公式表示如下：

$f(R,N)=\underset{p\∈F\left(R\right)}{\mathrm{\Σ}}{W}_b(p,R)W_q(p,R)W_c(p,R)$

其中R表示参考图像；N表示候选邻域图像组；f(R,N)表示图像与候选邻域图像组的一致性程度；p表示R中的一个特征点；F(R)表示R中所有特征点构成的集合；W_b(p,R)表示特征点p的数量权重；W_q(p,R)表示特征点p的角度权重；W_c(p,R)表示特征点p的覆盖度权重。

优选地，所述3进一步包括：在获得参考图像与候选邻域图像组的一致性程度后，使用量子进化算法对候选邻域图像组进行迭代调整，在迭代开始时，所有图像被选为邻域图像的概率均相等，之后从初始候选邻域图像组开始，每次迭代随机选择一组新图像构成当前的候选邻域图像组，如果当前邻域图像组与参考图像的一致性大于上一次迭代的一致性，则保留当前图像组，并增加当前图像组内图像的观测概率，反之则舍弃当前的图像组，这一迭代过程重复给定的次数，并将迭代结束时得到的图像组作为最优邻域图像组。

（三）有益效果

利用本发明提出的用于深度图计算的最优邻域图像组选择方法，使其能够在大量的图像中高效的选取最优邻域图像组，从而达到在参考图像上获得高精度深度图的目的。

附图说明

图1是为本发明用于深度图计算的最优邻域图像组选择方法流程图。

图2是特征点在参考图像和其他图像中的匹配示意图；

图3是一处建筑物场景以及一组不同视角的相机示意图；

图4是指在一具体应用场景中根据本发明的方法迭代300次后获得的最优邻域图像组；

图5为使用最优邻域图像组计算得到的深度图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明提出了一种用于深度图计算的最优邻域图像组选择方法，使其能够在大量的图像中高效的选取最优邻域图像组，从而达到在参考图像上获得高精度深度图的目的。

图1为本发明用于深度图计算的最优邻域图像组选择方法的流程图。

对于给定一幅参考图像，为了计算这幅参考图像上的深度图，需要在这幅图像的相邻图像中选择给定数量的邻域图像构成立体图像组进行深度计算。本发明用于在参考图像的相邻图像中选择最优的邻域图像组，如图1所示，最顶端为本发明的输入，包括一幅参考图像、除参考图像外的其他图像、以及拍摄这些图像的相机参数；最底端为本发明的输出结果，即参考图像的最优邻域图像组。

参照图1，该方法包括以下各步骤：

步骤1，提取参考图像与其他图像上的仿射不变特征点，对检测到的特征点进行匹配，并计算特征点空间位置。

在该步骤，使用具有仿射不变性的检测子提取参考图像和其他图像中的特征点，对提取出的特征点进行匹配，并根据相机内外参数通过最小化特征点的图像重投影误差求取特征点空间位置。

具有仿射不变性的检测子以及其特征点匹配方法属于本领域的公知技术。

如图2所示，R为参考图像，p为R中的一个特征点，p在参考图像R及其他图像I₁和I₂中有匹配，则p的空间位置通过最小化的如下目标函数获取：

$\min \underset{i\∈C}{\mathrm{\Σ}}{\left|\right|\mathrm{Pro}{j}_i\left\{p\right\}-m_i\left|\right|}^2$

其中p表示特征点的空间位置，C表示所有与p有匹配的图像组成的集合，在图2中C={R I₁I₂}，Proj_i{p}表示将特征点p投影到第i幅图像上，m_i表示第i幅图像上的p所对应的图像特征点坐标。

对于参考图像中的每一个特征点，均使用上述重投影误差最小化方法计算特征点空间位置。

步骤2，在获得参考图像上所有特征点的空间位置后，在除参考图像外的所有图像中随机选取给定数量的图像构成候选邻域图像组，并根据特征点的空间位置以及参考图像和候选邻域图像的相机光心位置，计算参考图像与候选邻域图像组的一致性程度。

图3所示为一处建筑物场景以及一组不同视角的相机，图中三角锥表示相机空间位置，R表示参考图像。一致性程度由参考图像上所有特征点一致性求和得到，公式表示如下：

$f(R,N)=\underset{p\∈F\left(R\right)}{\mathrm{\Σ}}{W}_b(p,R)W_q(p,R)W_c(p,R)$

其中R表示参考图像；N表示候选邻域图像组；f(R,N)表示图像与候选邻域图像组的一致性程度；p表示R中的一个特征点；F(R)表示R中所有特征点构成的集合；W_b(p,R)表示特征点p的数量权重；W_q(p,R)表示特征点p的角度权重；W_c(p,R)表示特征点p的覆盖度权重。

数量权重W_b(p,R)公示表示如下：

其中Q={I|p∈F(R)∩F(I),I∈N}，Q表示N中所有包含特征点p的图像组成的集合；|Q|表示集合Q的势。

角度权重W_q(p,R)公式表示如下：

$W_q(p,R)=\frac{{\mathrm{\Σ}}_{I\∈Q}\mathrm{\α}(p,R,I)s(p,R,I)}{\left|Q\right|}$

其中α(p,R,I)表示特征点p与图像R和I光心夹角的比例，s(p,R,I)表示特征点p到图像R和I光心距离的比例。

覆盖度权重W_c(p,R)公式表示如下：

$W_c(p,R)=\frac{{\mathrm{\Σ}}_{I,J\∈Q}\mathrm{\β}(p,I,J)}{{\left|Q\right|}^2\left(\right|Q|-1)}$

其中β(p,I,J)表示特征点p与图像I和J光心夹角的比例。

步骤3，在获得参考图像与候选邻域图像组的一致性程度后，使用量子进化算法对候选邻域图像组进行迭代调整，使一致性程度不断提高，并将迭代结束时得到的图像组作为最优邻域图像组。

在迭代开始时，所有图像被选为邻域图像的观测概率均相等。给定邻域图像组中图像的数量，初始候选邻域图像组通过等概率随机方式从所有图像中选择。之后从初始候选邻域图像组开始，每次迭代根据图像的观测概率随机选择给定数量的新图像构成当前的候选邻域图像组，如果当前邻域图像组与参考图像的一致性大于上一次迭代的一致性，则保留当前候选邻域图像组，并增加当前候选邻域图像组内图像的观测概率，反之则舍弃当前的图像组。这一迭代过程重复给定的次数，并将迭代结束时得到的图像组作为最优邻域图像组。

图4为根据本实施例的方法在迭代300次后获得的最优邻域图像组，图4中R表示参考图像，I₁-I₆为最优邻域图像组中的6幅图像。图5所示为使用最优邻域图像组计算得到的深度图，图5中左图为参考图像，右图为计算得到的深度图。

由结果可见，本实施例获得的最优邻域图像组均匀分布在参考图像周围，同时在尺度、覆盖度、分辨率等方面均与参考图像具有较好的一致性。通过最优邻域图像组计算得到的深度图在精度和完整性方面均具有较好的效果。

与现有技术相比，本发明能够从大量图像中高效的选择出具有最优一致性的邻域图像组。它的关键在于构造邻域图像组与参考图像的一致性程度度量，这一度量包含数量、角度和覆盖度三项权重。这三项权重越高，图像组与参考图像的一致性越好，使用这样的图像组重建出的深度图精度越高、完整性越好。由于一致性最优化是一个高维非线性优化过程，本发明使用量子进化算法对其进行高效求解。本发明特别适合大场景三维重建系统中深度图计算时的邻域图像组选择。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种用于深度图计算的最优邻域图像组选择方法，其特征在于，包括以下步骤：

步骤1，提取参考图像与其他图像上的仿射不变特征点，对检测到的特征点进行匹配，并计算特征点空间位置；

步骤2，在除参考图像外的所有图像中随机选取给定数量的图像构成候选邻域图像组，计算参考图像与候选邻域图像组的一致性程度；

步骤3，使用量子进化算法对候选邻域图像组进行迭代调整，使一致性程度不断提高，并将迭代结束时得到的图像组作为最优邻域图像组。

2.根据权利要求1所述的用于深度图计算的最优邻域图像组选择方法，其特征是，所述步骤1进一步包括：使用具有仿射不变性的检测子提取参考图像和其他图像中的特征点，对提取出的特征点进行匹配，并根据相机内外参数通过最小化特征点的图像重投影误差求取特征点空间位置。

3.根据权利要求1所述的用于深度图计算的最优邻域图像组选择方法，其特征是，所述步骤2进一步包括：从除参考图像外的所有图像中随机选取给定数量的图像构成候选邻域图像组，给定所有图像的相机光心位置，计算参考图像与候选邻域图像组的一致性程度，一致性程度由参考图像上所有特征点一致性求和得到，公式表示如下：

$f(R,N)=\underset{p\∈F\left(R\right)}{\mathrm{\Σ}}{W}_b(p,R)W_q(p,R)W_c(p,R)$

其中R表示参考图像；N表示候选邻域图像组；f(R,N)表示图像与候选邻域图像组的一致性程度；p表示R中的一个特征点；F(R)表示R中所有特征点构成的集合；W_b(p,R)表示特征点p的数量权重；W_q(p,R)表示特征点p的角度权重；W_c(p,R)表示特征点p的覆盖度权重。

4.根据权利要求1所述的用于深度图计算的最优邻域图像组选择方法，其特征是，所述步骤3进一步包括：在获得参考图像与候选邻域图像组的一致性程度后，使用量子进化算法对候选邻域图像组进行迭代调整，在迭代开始时，所有图像被选为邻域图像的概率均相等，之后从初始候选邻域图像组开始，每次迭代随机选择一组新图像构成当前的候选邻域图像组，如果当前邻域图像组与参考图像的一致性大于上一次迭代的一致性，则保留当前图像组，并增加当前图像组内图像的观测概率，反之则舍弃当前的图像组，这一迭代过程重复给定的次数，并将迭代结束时得到的图像组作为最优邻域图像组。

Images