CN101877143A - 一种二维图像组的三维场景重建方法 - Google Patents

Abstract

本发明公开一种二维图像组的三维场景重建方法，该方法包括以下步骤：步骤S1：输入图像组中每幅图像计算各像素的视觉关注度评价；步骤S2：在输入图像组的各幅图像上提取尺度不变特征变换特征点，并且对图像组中两两图像上的特征点进行匹配和选择，获得的匹配特征点，匹配和选择的原则包括特征点对的特征空间相似度以及获得的特征点相对应的视觉关注度；步骤S3：利用获得的匹配特征点对对摄像机参数进行估计；步骤S4：用选取的匹配特征点对、相应特征点的关注度评价以及估计得到的摄像机参数求取优化的三维场景模型。

Description

一种二维图像组的三维场景重建方法

技术领域

本发明涉及一种从二维图像组到三维场景模型的三维重建方法。

背景技术

三维场景重建是计算机视觉领域的一项核心内容，在计算机动画、电子娱乐、虚拟显示等领域都有着广泛的应用价值。国内外研究机构和学者对此展开了广泛研究。

80年代美国麻省理工学院人工智能实验室的Marr提出了一种视觉计算理论并应用在双目匹配上，使两张有视差的平面图产生在深度的立体图形，奠定了双目立体视觉发展理论基础。早期的三维场景重建主要是以同一场景不同角度拍摄的多幅图像为基础恢复场景的三维信息。从二维图像到三维场景生成通常需要经过图像获取、预处理、模型恢复和模型渲染等步骤。其中核心的三维模型恢复环节又可由特征提取与匹配、结构运动恢复、立体匹配和三维模型计算四部分组成。

特征提取与匹配意在将同一时间不同视角视频帧中对应相同三维目标的点或线对进行匹配，是三维重建过程中最基础的一步，直接影响到后续步骤的效果。结构运动恢复的任务是标定摄像机参数，主要方法分为离线标定和在线自标定两大类。立体匹配是在恢复摄像机运动和投影结构之后，通过生成场景的深度图来建立场景的三维模型，这一过程通常分为校正和匹配两步完成。三维模型计算是在以上得到的各点匹配图的基础上，通过三角关系可以计算得到场景的深度图。当存在多视角的情况下，需要对同一场景获取到的多幅深度图进行有效的融合。在融合过程中引入空间连续性等先验知识对提高融合效果具有重要影响。

从二维图像到三维立体的三维重建过程不但是把点状图像信息变换成整体描述的一个聚集过程，还可以通过加入某些先验信息改善和提高信息的聚集。现有的三维重建利用的先验信息均为客观信息，尚缺乏利用人类主观感知改善局部三维重建效果的有效方法。

发明内容

本发明的目的是在二维图像序组到三维场景模型的重建问题中引入人类视觉感知机理，利用视觉关注度模型对特征进行选择与匹配、并将视觉关注度引入三维模型的计算，对现有三维重建关键技术进行改进和补充，为提高受关注局部区域重建的精度、使三维重建结果更加符合人类的视觉感知、本发明提供一种二维图像组的三维场景重建方法。

为了实现以上目的，本发明提供的二维图像组的三维场景重建方法包括以下步骤：

步骤S1：输入图像组中每幅图像计算各像素的关注度评价；

步骤S2：在输入图像组的各幅图像上提取尺度不变特征变换特征点，并且对图像组中两两图像上的特征点进行匹配和选择，获得的匹配特征点，匹配和选择的原则包括特征点对的特征空间相似度以及获得的特征点相对应的视觉关注度；

步骤S3：利用获得的匹配特征点对对摄像机参数进行估计；

步骤S4：用选取的匹配特征点对、相应特征点的关注度评价以及估计得到的摄像机参数求取优化的三维场景模型。

其中，各点视觉关注度的权值按以下方法确定：某像素的视觉关注度由该像素与周围邻域内像素的颜色对比度经归一化描述，此关注度描述对应于该点在特征点选择和匹配、三维表面模型优化过程中的关注度权值。

其中，在特征点匹配和选择过程中，将特征点的视觉关注度以加权形式引入特征点匹配度的衡量，在选择匹配点时，优先选择视觉关注度高的匹配点对用于后期重建。

其中，在三维场景模型优化过程中，在优化函数的特征点投影一致性项中引入特征点关注度加权，优先提高受关注度点附近重建模型的精度。

本发明的优点在于：本发明在二维图像序组到三维场景模型的重建问题中引入人类视觉感知机理，利用视觉关注度模型对特征进行选择与匹配、并将视觉关注度引入三维模型的计算，对现有三维重建关键技术进行改进和补充，提高受关注局部区域重建的精度，使三维重建结果更加符合人类的视觉感知，为虚拟现实等应用提供支持。根据人类视觉认知特性，为用于重建的图像中各点确定其视觉关注度评价。在二维图像上提取特征点，并在图像间进行特征点匹配，匹配中用特征点的视觉关注度对匹配度进行加权，优先选择视觉关注度高的特征点进行匹配。用匹配点对计算优化的三维模型。在优化目标中的各向投影一致性评价中引入视觉关注度加权，减小关注度高的区域的模型误差。考虑了人类关注度在三维重建质量评价中的作用，在重建中优先提高关注度高的区域的三维模型精度，相对传统三维重建方法，能够获得更好的感官认知效果。本发明方法可被运用于虚拟现实等实际应用中。

附图说明

图1本发明基于视觉关注度的三维重建基本流程

图2本发明感兴趣度加权的特征点

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

根据人类视觉认知特性，为用于重建的图像中各点确定其视觉关注度评价。在二维图像上提取特征点，并在图像间进行特征点匹配，匹配中用特征点的视觉关注度对匹配度进行加权，优先选择视觉关注度高的特征点进行匹配。用匹配点对计算优化的三维模型。在优化目标中的各向投影一致性评价中引入视觉关注度加权，减小关注度高的区域的模型误差。基本重建流程如图1所示。

将人类认知中的关注度引入了传统的三维重建，将两者进行有效整合，提高受关注度高的区域的三维重建效果；

视觉关注度和三维重建的结合主要通过特征点匹配和三维表面模型优化这两个三维重建的关键步骤体现；

视觉关注度以加权的形式参与特征点选择和匹配、三维表面模型优化的决策过程。

各点视觉关注度的权值按以下方法确定：某像素的视觉关注度由该像素与周围邻域内像素的颜色对比度经归一化描述，此关注度描述对应于该点在特征点选择和匹配、三维表面模型优化过程中的关注度权值。

在特征点匹配和选择过程中，将特征点的视觉关注度以加权形式引入特征点匹配度的衡量，在选择匹配点时，优先选择视觉关注度高的匹配点对用于后期重建。

在三维表面模型优化过程中，在优化函数的特征点投影一致性项中引入特征点关注度加权，从而优先提高受关注度点附近重建模型的精度。

1.关注度评价

1)定义M×N像素点的图像上某点p_ij的关注度评价为该点与周围邻域内点之间的颜色对比度C_ij： $C_{\mathrm{ij}}=\underset{q\∈\mathrm{\Θ}}{\mathrm{\Σ}}d(p_{\mathrm{ij}},q),$ 其中q为p_ij的邻域Θ内的点，d为点p_ij和q颜色空间的高斯距离。

2)将图像上各点的对比度归一化到[0，255]区间作为该点的关注度评价η。

2.二维特征点匹配

在取得各点的视觉关注度之后，三维重建工作从寻找多视角采集的图像组中各图像上二维特征点的提取和匹配开始。本发明采用尺度不变特征变换(SIFT)特征作为二维图像特征点的特征描述，建立16组每组8维共128维的SIFT特征向量[1](Lowe，David G.，″Object recognition fromlocal scale-invariant features″.Proceedings of the International Conference onComputer Vision.pp.1150-1157.)作为特征点的描述子，参与匹配(如附图2所示)。令图像A和图像B中的SIFT特征集S^A和S^B分别为 $S^A=\{S_1^A,S_2^A,...,S_m^A\}$ 和 $S^B=\{S_1^B,S_2^B,...,S_n^B\},$ m，n分别为图像A和图像B提取的特征点数量，则特征点对(S_i ^A，S_j ^B)间的相似距离d_ij定义为：

$d_{\mathrm{ij}}=\underset{k=1}{\overset{16}{\mathrm{\Σ}}}{\left|\right|S_{i,k}^A-S_{j,k}^B\left|\right|}_2,$

其中角标k代表16组8维向量的组序号，相似距离d_ij为16组8维向量按组欧氏距离的加和，由d_ij组成距离度量矩阵D^AB＝[d_ij]，并按如下步骤进行特征点匹配：

1)在D^AB的基础上定义距离度量矩阵D^AB＝[d_ij]，其中：

${\stackrel{\‾}{d}}_{\mathrm{ij}}=\left\{\begin{array}{cc}{d}_{\mathrm{ij}}& d_{\mathrm{ij}}>{\mathrm{thre}}_d\\ \∞& d_{\mathrm{ij}}\≤{\mathrm{thre}}_d\end{array}\right.,$

2)将视觉关注度引入特征点匹配度的描述中，定义特征点匹配度矩阵M^AB为：

M^AB＝[m_ij]，其中 $m_{\mathrm{ij}}=\frac{{\mathrm{\η}}_i{\mathrm{\η}}_j}{{\stackrel{\‾}{d}}_{\mathrm{ij}}},$

m_ij是图像A中第i个特征点和图像B中第j个特征点的匹配度，η_i是图像A中第i个特征点所对应的视觉关注度，η_j是图像B中第j个特征点所对应的视觉关注度，由步骤1的关注度评价方法得到。

3)将矩阵M^AB＝[m_ij]中元素从大到小排列，依次选择前p个元素组成匹配点对集合 $\mathrm{MP}=\{({\mathrm{mp}}_{i_1},{\mathrm{mp}}_{j_1}),({\mathrm{mp}}_{i_2},{\mathrm{mp}}_{j_2}),...,({\mathrm{mp}}_{i_p},{\mathrm{mp}}_{j_p})\},$ 其中当k≠l时，匹配点对间满足 ${\mathrm{mp}}_{i_k}\≠{\mathrm{mp}}_{i_l},$ ${\mathrm{mp}}_{j_k}\≠{\mathrm{mp}}_{j_l},$ 以保证所有匹配点对为一对一的唯一匹配，k，l是特征点的序数。

图2是上述特征点匹配方法应用在两幅图像匹配中的实例示意图。

3.摄像机参数获取

利用以上提取的匹配点对，各视角间的视角坐标转换矩阵可由下式用最小二乘法估计

$\left[\begin{array}{c}{x}^B\\ y^B\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}{x}^A\\ y^A\\ 1\end{array}\right],$

其中(x^A，y^A)和(x^B，y^B)是两个视角的匹配特征点对，x，y是二维图像空间坐标，h是视角转换参数。

像机参数和度量矩阵利用以上匹配点对通过文献[2](M.Pollefeys，R.Koch and L.Van Gool，“Self-Calibration and Metric Reconstruction in spite ofVarying and Unknown Internal Camera Parameters，”International Journal ofComputer Vision，32(1)，7-25，1999.)中描述的摄像机自标定方法确定，主要过程如下：

1)在已知主点坐标和纵横比为1∶1的情况下利用线性模型算法粗略估计摄像机的焦距，并用非线性模型对焦距参数的估计值进行修正。

2)利用估计的摄像机参数求计算得到的二次曲面以及射影变换矩阵求取相应的度量变换矩阵T。

4.三维场景模型优化

本发明采用参数化表示三维场景模型，令三维表面X表示为X(u，v)≡(x(u，v)，y(u，v)，z(u，v))，三维重建的目标即为寻找一个最优的表面函数X，使其能够最小化以下代价函数p(X)＝∫∫(c(X)+τs(X))dudv。代价函数由两项的积分表示，其中c(X)描述三维表面X在各视角上投影与所对应的二维图像的匹配度，定义为 $c\left(X\right)=\underset{i,j}{\mathrm{\Σ}}{\mathrm{\β}}_j^i\left|\right|T_{j}Q-q_j^i\left|\right|,$ 其中T_j是三维表面模型到二维视角j的度量变换矩阵，由摄像机自标定获得，Q是三维表面上的特征点的三维空间坐标，q_j ⁱ是第j个视角的二维图像中第i个特征点的二维坐标，为了将视觉关注度引入三维重建，提高高关注度区域的重建精度，本发明在描述匹配度的c(X)函数中加入关注度加权β_j ⁱ，β_j ⁱ是第j个视角的二维图像中第i个特征点的视觉关注度系数，s(X)是平滑项，τ是平滑系数，平滑项s(X)定义为 $s\left(X\right)=a\left|\frac{\∂X}{\∂u}\right|+b\left|\frac{\∂X}{\∂v}\right|,$ 其中a和b分别是u和v方向平滑惩罚系数，u，v是二维空间坐标。通过全局Graph-Cut[3](S.Paris，F.Sillion，and L.Quan，“A surface reconstruction method using global graphcut optimization，”In ACCV，2004.)可求解最优的p(X)的作为重建的三维表面模型。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种二维图像组的三维场景重建方法，其特征在于，包括以下步骤：

步骤S1：输入图像组中每幅图像计算各像素的关注度评价；

步骤S2：在输入图像组的各幅图像上提取尺度不变特征变换特征点，并且对图像组中两两图像上的特征点进行匹配和选择，获得的匹配特征点，匹配和选择的原则包括特征点对的特征空间相似度以及获得的特征点相对应的视觉关注度；

步骤S3：利用获得的匹配特征点对对摄像机参数进行估计；

步骤S4：用选取的匹配特征点对、相应特征点的关注度评价以及估计得到的摄像机参数求取优化的三维场景模型。

2.根据权利要求1所述二维图像组的三维场景重建方法，其特征在于：各点视觉关注度的权值按以下方法确定：某像素的视觉关注度由该像素与周围邻域内像素的颜色对比度经归一化描述，此关注度描述对应于该点在特征点选择和匹配、三维表面模型优化过程中的关注度权值。

3.根据权利要求1所述二维图像组的三维场景图像重建方法，其特征在于：在特征点匹配和选择过程中，将特征点的视觉关注度以加权形式引入特征点匹配度的衡量，在选择匹配点时，优先选择视觉关注度高的匹配点对用于后期重建。

4.根据权利要求1所述二维图像组的三维场景重建方法，其特征在于：在三维场景模型优化过程中，在优化函数的特征点投影一致性项中引入特征点关注度加权，优先提高受关注度点附近重建模型的精度。

Images