CN107170042A

CN107170042A - 一种无序图像的多视立体匹配的三维重建方法

Info

Publication number: CN107170042A
Application number: CN201710465218.8A
Authority: CN
Inventors: 李纯明; 郭悦
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2017-06-19
Filing date: 2017-06-19
Publication date: 2017-09-15
Anticipated expiration: 2037-06-19
Also published as: CN107170042B

Abstract

本发明属于三维重建技术领域，涉及一种无序图像的多视立体匹配的三维重建方法。本发明的方法在视图选择算法部分，1)针对全局视图选择过程，首先引入判决条件，并自适应候选视图集中视图数目，不在是固定值的视图集。算法中对不满足条件的视图不进行打分。随着应用范围的不断扩大，实验数据集的视图数越来越多，因此减少视图选择的时间至关重要。2)对于局部视图算法本发明改进邻域视图与基准视图极平面夹角的权重影响因子，使得选择的邻域视图更加精确和有代表性。在视图匹配区域增长过程中3)本发明提出自适应形状空间平面片算法，自适应形状可以自适应的适应边界信息，得到更好地匹配结果。

Description

一种无序图像的多视立体匹配的三维重建方法

技术领域

本发明属于三维重建技术领域，涉及一种无序图像的多视立体匹配的三维重建方法。

背景技术

无序图形的多视立体匹配的三维重建过程是相机在多视角下采集场景的视图集，然后通过多视立体匹配获取场景深度的信息，重建场景的三维模型。目前根据深度获取方式主要有基于主动式的和基于被动式的方法。基于主动式方法是指利用现阶段比较成熟的设备直接获得深度信息，如结构光扫描仪，是通过编解码投影条纹得到图像像素点的同名点，然后通过三角测量等技术估计深度信息；又如微软的Kinect-V2深度相机或激光扫描仪是利用TOF技术获取深度信息。这些设备在一些特定场景下可以获取比较准确的深度信息，但是设备比较复杂不易携带，对自然光照要求较高，场景适用范围有限，而且成本较高。基于被动式的获取深度信息是传统获取深度信息的方式，通过相机采集图像数据，根据相机的成像原理和摄影几何相关理论知识估计场景的深度信息。根据匹配的图像数目分类又可分为三类，对单张图像的理解、基于双目立体匹配以及多个视角的多视图立体匹配，这个过程没有光照限制，是在自然光照下完成图像采集，设备方便懈怠、操作简单、成本低且自动化程度高等优点被广泛的应用在很多领域。多视立体图像的研究具有重要的应用价值，其应用包括移动机器人的自主导航系统，航空及遥感测量，工业自动化系统等。

发明内容

本发明所要解决的是，就是提出一种融合上述传统技术方案的用于无序图像的多视立体匹配的三维重建方法。

本发明的技术方案是：如图1所示，包括以下步骤：

(1)自然环境中采集多视角下的图像集。根据相机的出厂参数获取相机的内部参数。

(2)提取图像的特征点，进行图像特征匹配，估计相机的位置关系(选准矩阵和平移矩阵)，也称为相机外参数。

(3)利用全局视图选择算法确定基准视图的邻域视图候选集，本发明加入视图选择的判决条件，并自适应的确定邻域视图选择候选集中的视图，不是固定数。

(4)利用局部视图选择算法在邻域视图候选集中选择基准视图的4邻域视图集。

(5)计算种子点的匹配置信度，构建置信度优先队列。迭代增长种子点并优化其深度和法线信息，本发明利用自适应窗口空间平面片模板优化种子点的深度信息，对满足条件的种子点将其四邻域点中没有重建的点加入队列中，再将该种子点在队列中删掉，直到优先队列中为空停止迭代。最终得到空间点云。

(6)泊松建面，步骤(5)中得到点云信息，通过泊松建面得到完整的三维模型。

进一步的，所述步骤(2)具体包括的具体过程如下：

(2.1)多视图集是在自然环境下采集的，存在分辨率、光照以及视图分布不规则等不确定因素，因此本发明提取了SIFT和SURF特征，并结合两特征进行图像的两两匹配，记录两视图间的匹配特征点对。

(2.2)通过SFM算法得到相机的位置参数(旋转矩阵和平移矩阵)，另外SFM算法会得到空间稀疏的空间点。

进一步的，所述步骤(3)具体包括的子步骤：

(3.1)对于包含N幅图像的大规模图像集，没幅视图都作为基准视图，利用基于图像级的全局视图选择算法选择基准视图的邻域视图候选集。首先构建打分函数，将除基准视图和已选入邻域视图候选集外的视图与基准视图计算打分值，将最高打分值的视图加入邻域视图候选集中。

(3.2)在计算打分值之前引入判决函数，对满足条件的视图才计算打分值，判决函数形式如式1所示，

其中，其中R表示基准视图，V是待选视图，ftrace_i表示在视图i中可视的特征空间点，实验中定义τ_min＝0.05,τ_max＝0.97。本发明中自适应确定邻域视图候选集中的视图数目，不在是固定值，但是定义候选视图数目的最大值。

(3.3)计算打分值，打分函数形式如式2所示，

计算待选视图与基准视图之间的相机光心射线夹角的权重w_N'(f)，并且计算待选视图与已选入视图候选集中视图的光心射线夹角的权重，具体形式如式3所示，

其中α表示两视图的相机光心射线夹角，实验中定义α_max＝10，w_α的形式为w_α(f,V_i,V_j)＝min((α/α_max)²,1)

(3.4)w_s(f)是匹配待选视图与基准视图的分辨率。

(3.5)选择打分值最高的视图加入该基准视图的邻域视图候选集中，然后再将剩余的视图(除去基准视图和已经选入邻域视图候选集的视图)重新计算打分值，选择打分值最高的加入候选集，不断地循环该过程，遍历所有的满足判决条件的视图。

全局视图选择算法流程图如图2所示。

进一步的，所述步骤(4)具体包括的子步骤：

(4.1)对基准视图的每个特征点利用局部视图选择算法选择4邻域视图，选择其中一个特征点，构建打分函数，筛选出与基准视图的可视特征点相似性较大的4邻域视图。局部视图选择打分函数的形式为式(4)所示，

(4.2)遍历邻域视图候选集中的视图，分别计算待选视图与基准视图中该特征点匹配的像素点的光度一致性，用NCC值表征，具体如式(5)所示，

(4.3)计算待选视图与基准视图的之间的相机光心射线夹角α_rv的权重，如式(6)所示，并且计算待选视图与已选入邻域视图集中视图的空间关系w(V,V')，

w(V,V')＝w_e(V,V')·w_v(V,V') (7)

其中w_e(V,V')表征视图V,V'分别与基准视图极平面的夹角权重，w_v(V,V')表征视图V,V'相机光心射线夹角的关系，其形式分别为(8)(9)：

其中β_vv'是视图v,v'与基准视图的极平面的夹角，一般β取锐角形式。本文参数选择σ_β设置形式为：

(4.4)同全局视图选择算法相同，选择打分值最高的视图加入邻域视图集中，循环计算打分值，直到选择出4邻域视图。局部视图选择打分函数的构建算法框图如图3所示。

进一步的，所述步骤(5)具体包括的子步骤：

(5.1)构建匹配置信度优先队列，选择SFM算法得到的稀疏的空间点作为初始种子点，计算该点与其邻域视图的匹配置信度。

(5.2)每次选择队列中置信度最高的点进行增长和优化，匹配算法流程图如图6所示。将该种子点投影到基准视图计算该点n×n邻域图像块的初始空间平面片，初始深度均为1，形式为式(10)所示：

其中h(s,t)是初始深度，表征可视点的相机光心射线。

(5.3)本发明提出一种自适应形状空间平面片算法，将n×n的矩形窗变成自适应的窗形状，使得投影到空间的空间平面片也是自适应形状的，可以自适应边界信息。形式为式(11)所示：

P_k ^*＝w*P_k (11)

其中P_k是可视点在基准视图中对应的图像块，w^*是自适应窗形状模板，因此P_k ^*是自适应形状的图像块，投影到空间的平面片也是自适应形状的。具体投影过程如图4所示。

(5.4)计算自适应窗模板形状。自适应窗形状模板是应用正交积分算法得到的，如图5所示，以可视投影像素点p为中心的n×n的窗内，定义p邻域窗中垂直线集X_c和水平线集Y_c，并且定义自适应窗口的四个臂长为如图中两条正交线vp＝{vp^-,vp⁺}和hp＝{hp^-,hp⁺}，依据局部图像块的颜色相似性特征自适应改变四个臂长。以vp^-为例，在p垂直向下依次判断与邻域像素点的颜色相似性，指示函数为式(12)所示，

φ是指示函数用来估计窗内点p_i与p间颜色的相似性，p_i＝(x_p,y_p-i)，τ是阈值参数控制颜色相似程度。因此p点的最长向下跨度l^*如公式(13)所示，

其中L是初始臂长，则下臂长度为vp^-＝max(l^*,1)。同理可以得到其他三个臂的长度hp^-,hp⁺,vp⁺，依据{hp^-,hp⁺,vp^-,vp⁺}计算投影点p的正交垂直集V(p)和水平线集Y如式(14)所示，

如上图所示的阴影部分为投影点p两条正交线，对于其邻域像素点都可以自适应的表示正交线，因此可以构建自适应窗区域X，如式(15)所示，

同样，自适应窗模板也可以表示为

(5.5)自适应形状空间平面片投影到邻域视图上，计算像素点的方向导数矩阵，估计深度的优化步进长度和方向，重新投影计算置信度，迭代该优化过程；如果在迭代收敛后置信度满足要求则增长该点，将该可视点的4邻域像素点中没有深度信息的点以相同的深度信息存入优先对列中；否则在该队列中直接删除该点。

(5.6)循环增长队列中所有的种子点，直到队列为空。

本发明的有益效果为：相对于传统技术，本发明的方法在视图选择算法部分，1)针对全局视图选择过程，首先引入判决条件，并自适应候选视图集中视图数目，不在是固定值的视图集。算法中对不满足条件的视图不进行打分。随着应用范围的不断扩大，实验数据集的视图数越来越多，因此减少视图选择的时间至关重要。2)对于局部视图算法本发明改进邻域视图与基准视图极平面夹角的权重影响因子，使得选择的邻域视图更加精确和有代表性。在视图匹配区域增长过程中3)本发明提出自适应窗形状空间平面片算法，自适应形状可以自适应的适应边界信息，得到更好地破匹配结果。

附图说明

图1为本发明总的流程示意图；

图2为全局视图选择算法流程图；

图3为局部视图选择构建打分函数流程图；

图4为自适应窗空间平面片；

图5为自适应窗模板；

图6为多视图匹配算法流程图。

具体实施方式

发明内容部分已经对本发明的技术方案进行了详细描述，在此不再赘述。

Claims

1.无序图像的多视立体匹配的三维重建方法，其特征在于，包括以下步骤：

S1、自然环境中采集多视角下的图像集；

S2、提取图像集的特征点，进行图像特征匹配，估计相机的位置关系；

S3、利用全局视图选择算法确定基准视图的邻域视图候选集；

S4、利用局部视图选择算法在邻域视图候选集中选择基准视图的4邻域视图集；

S5、计算种子点的匹配置信度，构建置信度优先队列，对满足条件的种子点将其四邻域点中没有重建的点加入队列中，再将该种子点在队列中删掉，直到优先队列中为空停止迭代；最终得到空间点云；

S6、根据步骤5中得到点云信息，通过泊松建面得到完整的三维模型。

2.根据权利要求1所述的无序图像的多视立体匹配的三维重建方法，其特征在于，所述步骤S2的具体方法为：

S21、提取图像集的SIFT和SURF特征，并结合两特征进行图像的两两匹配，记录两视图间的匹配特征点对；

S22、通过SFM算法得到相机的位置参数和空间稀疏的空间点。

3.根据权利要求2所述的无序图像的多视立体匹配的三维重建方法，其特征在于，所述步骤S3的具体方法为：对于包含N幅图像的大规模图像集，每幅视图都作为基准视图，利用基于图像级的全局视图选择算法选择基准视图的邻域视图候选集，包括：

S31、通过如下公式1判断除基准视图和已选入邻域视图候选集外的视图是否满足计算打分值的判决条件：

公式1中，其中R表示基准视图，V是待选视图，ftrace_i表示在视图i中可视的特征空间点，定义τ_min＝0.05,τ_max＝0.97；

通过公式1获得基准视图的所有满足打分条件的视图；

S32、通过如下公式2所示的打分函数对满足步骤S31中条件的视图打分：

公式2中，视图V是待选视图，其中V∈N，N'是R和邻域视图集N的并集，F_X表示视图X的特征点集合，f∈F_V∩F_R表示f是基准视图R和待选视图V的匹配特征点的集合；w_N'(f)为待选视图与基准视图以及与已选入视图候选集中视图之间的相机光心射线夹角的权重，如下公式3：

其中，α表示两视图的相机光心射线的夹角，相机光心射线是指空间点与相机光心的连线，w_α的形式为：

w_α(f,V_i,V_j)＝min((α/α_max)²,1)；

设置α_max＝10°；

S33、w_s(f)是匹配待选视图与基准视图的分辨率，w_s(f)的形式为：

其中，r＝s_R(f)/s_V(f)，s_V(f)表示以空间点f为中心的球体的直径，w_s(f)值越大表示该视图与R的采样率相似；

S34、选择打分值最高的视图加入该基准视图的邻域视图候选集中，然后再将剩余的视图重新计算打分值，选择打分值最高的加入候选集，不断地循环该过程，直至遍历所有满足判决条件的视图。

4.根据权利要求3所述的无序图像的多视立体匹配的三维重建方法，其特征在于，所述步骤S4的具体方法为：对基准视图中的每个特征点利用局部视图选择算法选择其4邻域视图；首先选择其中一个特征点，构建打分函数，筛选出与基准视图的可视特征点相似性较大的4邻域视图，包括：

S41、构建局部视图的打分函数如下公式4所示：

S42、遍历邻域视图候选集中的视图，分别计算待选视图与基准视图中该特征点匹配的像素点的光度一致性，用NCC值表征，如下公式5：

其中，v₀,v₁是n×n的图像块，和表示图像块中所有像素值的平均值；可视点在R中对应的图像块和在邻域视图V上对应的图像块的NCC越大，表明两视图越匹配，因此忽略候选视图集中NCC<0.3的视图；

S43、通过如下公式6计算待选视图与基准视图的之间的相机光心射线夹角α_rv的权重：

通过如下公式7计算待选视图与已选入邻域视图集中视图的空间关系w(V,V')：

w(V,V')＝w_v(V,V')·w_e(V,V') (公式7)

其中，w_v(V,V')表征视图V,V'相机光心射线夹角α_vv'的关系：

w_e(V,V')表征视图V,V'分别与基准视图构成的极平面的夹角权重：

其中β_vv'是视图v,v'与基准视图的极平面的夹角，一般β取锐角形式；设置σ_β设置形式为：

S44、选择打分值最高的视图加入邻域视图集中，循环计算打分值，直到选择出4邻域视图；如果迭代中没有找到4邻域视图，则将该点删除。

5.根据权利要求4所述的无序图像的多视立体匹配的三维重建方法，其特征在于，所述步骤S5的具体方法为：

S51、构建匹配置信度优先队列，选择SFM算法得到的稀疏的空间点作为初始种子点，计算该点与其邻域视图的匹配置信度，置信度为该点在基准视图以及在4邻域视图NCC的平均值；

S52、每次选择队列中置信度最高的点进行增长和优化，将该种子点投影到基准视图计算该点n×n的邻域图像块的初始空间平面片，初始深度均为1，如下公式10所示：

其中h(s,t)是初始深度，表征可视点的相机光心射线；

S53、将上述n×n的矩形窗变成自适应的窗形状，使得投影到空间的空间平面片也是自适应形状的，可以自适应边界信息，如下公式11所示：

P_k ^*＝w*P_k (公式11)

其中P_k是可视点在基准视图中对应的图像块，w^*是自适应窗形状模板，因此P_k ^*是自适应形状的图像块，投影到空间的平面片也是自适应形状的；

S54、计算自适应窗模板形状：自适应窗形状模板是应用正交积分算法得到的，以投影像素点p为中心的n×n的窗内，定义p邻域窗中垂直线集X_c和水平线集Y_c，并且定义自适应窗口的四个臂长为如图中两条正交线vp＝{vp^-,vp⁺}和hp＝{hp^-,hp⁺}，依据局部图像块的颜色相似性特征自适应改变四个臂长，以vp^-为例，在p垂直向下依次判断与邻域像素点的颜色相似性，指示函数如公式12所示：

φ是指示函数用来估计窗内点p_i与p间颜色的相似性，p_i＝(x_p,y_p-i)，τ是阈值参数控制颜色相似程度，因此p点的最长向下跨度l^*如公式13所示：

其中L是初始臂长，则下臂长度为vp^-＝max(l^*,1)，同理可以得到其他三个臂的长度hp^-,hp⁺,vp⁺，依据{hp^-,hp⁺,vp^-,vp⁺}计算投影点p的正交垂直集V(p)和水平线集Y如公式14所示，

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>H</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>{</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>|</mo> <mi>x</mi> <mo>&Element;</mo> <mo>{</mo> <msub> <mi>x</mi> <mi>p</mi> </msub> <mo>-</mo> <msup> <mi>hp</mi> <mo>-</mo> </msup> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>x</mi> <mi>p</mi> </msub> <mo>+</mo> <msup> <mi>hp</mi> <mo>+</mo> </msup> <mo>}</mo> <mo>,</mo> <mi>y</mi> <mo>=</mo> <msub> <mi>y</mi> <mi>p</mi> </msub> <mo>}</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>V</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>{</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>|</mo> <mi>x</mi> <mo>=</mo> <msub> <mi>x</mi> <mi>p</mi> </msub> <mo>,</mo> <mi>y</mi> <mo>&Element;</mo> <mo>{</mo> <msub> <mi>y</mi> <mi>p</mi> </msub> <mo>-</mo> <msup> <mi>vp</mi> <mo>-</mo> </msup> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>y</mi> <mi>p</mi> </msub> <mo>+</mo> <msup> <mi>vp</mi> <mo>+</mo> </msup> <mo>}</mo> <mo>}</mo> </mrow> </mtd> </mtr> </mtable> </mfenced>

因此可以构建自适应窗区域X，如公式15所示：

同样，自适应窗模板也可以表示为

S55、自适应形状空间平面片投影到邻域视图上，计算像素点的方向导数矩阵，估计深度的优化步进长度和方向，重新投影计算匹配置信度，迭代该优化过程；如果在迭代结束后置信度满足要求则增长该点，即将该可视点的4邻域像素点中没有被重建的点以相同的深度信息存入优先对列中；否则在该队列中直接删除该点；

S56、循环增长队列中所有的种子点，直到队列为空。