CN104809478A - 一种面向大规模三维重建的图像分块方法及装置 - Google Patents

Abstract

本发明涉及一种面向大规模三维重建的图像分块方法，属于图像处理技术领域；包括以下步骤：首先利用图像间的特征匹配关系进行图像整体相似性度量，生成图像间相似度矩阵；然后引入谱聚类思想：首先利用谱分析将图像集中的每一个元素映射到利于聚类分析的高维空间，然后利用模糊聚类算法将整个图像集合分成若干个簇，同时对每张图像计算属于各簇的隶属度；最后通过对分类结果的分析处理，在自动生成一系列三维重建效率较高的图像子集合的同时，将与其它图像相似性较低的图像以噪声的形式予以剔除。对比现有技术，应用本发明方法能够有效降低三维重建的计算量，提高三维重建效率；同时，还能够有效剔除噪声图像，降低噪声图像对三维重建时的干扰。

Description

一种面向大规模三维重建的图像分块方法及装置

技术领域：

本发明涉及一种图像分块方法及装置，特别涉及一种面向大规模三维重建的图像分块方法及装置，属于图像处理技术领域。

背景技术：

物体或者环境的三维重建多年以来一直是计算机视觉的研究重点和热点之一，三维重建的目标是将二维图像转化为三维的立体图像，目前用摄像机等仪器记录下来的一般是二维的信息，而我们日常所处的环境是三维的，仅保留二维信息已经不能满足现代化生产的快速发展和需求，物体或者场景的三维重建技术变得越来越重要，高度仿真的三维建模技术正逐渐适用于各种可视化和模拟场景之中，它能够应用在减少设计费用和缩短设计周期等各个方面，并且能够为社会生活创造出巨大的经济效益。因此，三维建模前景十分有趣又诱人，可以应用到很多领域，有着很高的研究和利用价值。目前比较流行的一种三维重建技术是基于二维图像的，当某一场景的大量图像数据用于三维重建时，我们主要面临两个问题：首先是图像的质量问题，不同设备和条件下拍摄的图像质量各异，存在不少噪声过大或者与其他图像相关性不高，对整个重建并无意义的图像，强行加入重建序列只会增加整个重建过程的计算量，而且可能会重建出大量噪声点，从而影响重建精度；另一个问题是三维重建算法本身固有的难题，就是随着图像数目的增加，重建算法的计算量呈现指数级别增长，过多的图像加入重建可能会导致重建时间相当长，难以在实际系统中进行应用。

发明内容：

本发明的目的是针对以上问题，提出一种面向大规模三维重建的图像分块方法，在进行三维重建前将图像进行分块预处理，形成一系列质量和重建效率 都能有显著改善的图像子集合。

根据测试，图像数目在大约50张的时候重建效率和效果能够达到较好的状态，即可用较少的时间代价重建出效果不错的三维模型。而图像在太少的时候根本不能重建出模型，可以直接视为噪声图像。当图像太多时重建效果虽然好，但是重建效率低下。因此，本发明的思想就是将整个图像集合进行自适应聚类，生成一系列数量较小的子集，当集合中图像数目过少时视为噪声图像，可以直接丢弃；当图像数目过大时，迭代分割，直至满足能够快速重建的条件。这样得出的每个图像聚类可以理解为某一场景的图像序列，能够将当前覆盖的场景重建出来。只要满足图像集合间有重叠区域的条件，后续便可将整个大场景整合成一个整体的场景。

本发明是通过以下技术方案实现的：

一种面向大规模三维重建的图像分块方法，包括以下步骤：

步骤一、对于输入的图像集合根据图像间的匹配程度求出相似度矩阵；

步骤二、根据相似度矩阵通过以下步骤进行谱聚类：

步骤2.1根据相似度矩阵通过下述过程进行谱聚类：

步骤2.1.1利用相似度矩阵C根据下式计算对应的Graph Laplaction矩阵L，并对L做特征分解：

L＝I-D^-1C,D＝diag(d₁,d₂,...d_n),

其中，I表示单位矩阵，D^-1表示矩阵D的逆矩阵，diag表示对角矩阵；

步骤2.1.2根据输入图像数目以及以下原则确定分类数m：如果是首次谱聚类，分类数通过谱间隙确定，如果是递归进行的谱聚类，分类数由公式m＝(n+20)/50确定，其中m为分类数，n为当前图像集中图像数目；

步骤2.1.3嵌入映射：将矩阵L的特征值按照升序排列，取前k个最大的特征d₁,d₂,...,d_k，得到对应的k个特征向量构成的特征矩阵X＝(x₁,x₂,...,x_k)， 该特征矩阵的每一行可以视为每张图像映射到R^n×k空间的一个像；其中，k为预设的值；

步骤2.1.4将特征矩阵X的行向量归一化为单位向量，得到归一化后的矩阵Y；

步骤2.1.5对映射的像根据分类数m使用聚类方法将n个图像划分到m个类中；

步骤2.2、迭代谱聚类：对经过步骤2.1得到的聚类结果进行如下判定：

假设当前子类中的图像数目为α，THR₁和THR₂分别为预设的图像数目阈值，则：

i.如果α＜THR₁，则将当前子类中的所有图像归入不确定集合中；

ii.如果THR₁≤α＜THR₂，则当前子类为一个分好类的集合；

iii.如果α＞THR₂，则当前子类过大，对当前子类所有图像根据步骤一结果抽取对应图像间相似度值构成新的相似度矩阵C，然后对当前子类继续执行步骤2.1进行递归谱聚类；

步骤三对不确定集合中的每一个图像I_i搜索其与已经分好类集合中图像I_j的最大相似度C_ij，如果C_ij大于预设的阈值THR₃，则将I_i纳入图像I_j所在的集合中，反之直接丢弃。

通过以上步骤便可将离散的多源图像数据根据相互之间的相似性划分为一系列子集合，集合内部可以视为视觉连续的一块区域。

一种面向大规模三维重建的图像分块装置，包括相似度矩阵计算模块、图像聚类模块。相似度矩阵计算模块与图像聚类模块相连接。

相似度矩阵计算模块用于计算图像集中任意两张图像的相似度，然后得到相似度矩阵；

图像聚类模块用于自适应地将图像分为若干类；

作为优选，图像聚类模块中包含了谱聚类单元和不确定图像归类单元，谱聚类单元通过谱聚类算法对图像集合进行归类，同时将不确定图像归入不确定集合中，然后由不确定图像归类单元对这些图像按照步骤三的规则进行进一步的分类。

有益效果： 

对比现有技术，应用本发明方法能够有效降低三维重建的计算量，提高三维重建效率；同时，本发明方法还能够有效剔除噪声图像。

附图说明：

图1为本发明实施例一种面向大规模三维重建的图像分块方法流程示意图；

图2为本发明实施例一种面向大规模三维重建的图像分块装置结构示意图。

具体实施方式

下面将结合附图和实施例对本发明加以详细说明，同时也叙述了本发明技术方案解决的技术问题及有益效果，需要指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

实施例1

如图1所示为本发明实施例一种面向大规模三维重建的图像分块方法流程示意图，下面对流程中的步骤进行详细描述：

步骤一、对于输入的图像集合根据图像间的匹配程度求出相似度矩阵；

相似度矩阵可以由图像间的匹配程度得到，在本方法中使用相同区域的面积衡量不同图像的相似度，举例如下：

输入图像集合，对所有图像进行SIFT特征提取、匹配，求出所有不同图像对之间的仿射矩阵，然后求出N×N维图像间相似度矩阵C，N为图像数目；图 像对I_i和I_j之间的相似性由下面公式得到

其中，C_ij为相似度矩阵C中第i行第j列元素值，S_i表示图像I_i的大小，S_ij表示图像对I_i和I_j之间的相似区域面积，通过图像I_i关于图像I_j的仿射矩阵H_ij将I_i映射到图像I_j上，然后求出相似面积S_ij。

步骤二、根据相似度矩阵对图像集合进行谱聚类：

步骤2.1根据相似度矩阵通过下述过程进行谱聚类

步骤2.1.1利用相似度矩阵C计算对应的Graph Laplaction矩阵L，并对L做特征分解，L的计算公式为L＝I-D^-1C,D＝diag(d₁,d₂,...d_n),

步骤2.1.2确定分类数m：如果是首次谱聚类，分类数通过谱间隙确定，如果是递归进行的谱聚类，分类数由公式m＝(n+20)/50确定，其中m为分类数，n为当前图像集中图像数目；

步骤2.1.3嵌入映射：将矩阵L的特征值按照升序排列，取前k个最大的特征d₁,d₂,...,d_k，得到对应的k个特征向量(n维列向量)构成的特征矩阵X＝(x₁,x₂,...,x_k)，作为优选k在本方法中取值为10，X的每一行可以视为每张图像映射到R^n×k空间的一个像；

步骤2.1.4将特征矩阵X的行向量归一化为单位向量，得到归一化后的矩阵Y；

作为优选，可以采用下式进行归一化：

$Y_{\mathrm{ij}}=\frac{X_{\mathrm{ij}}}{\sqrt{{\mathrm{\Σ}}_{l=1}^k{X}_{i1}^2}}$

将矩阵Y中每一行视为图像集中每张图像新映射的向量，即每张图像由一个归一化k维行向量表示；

步骤2.1.5对映射的像(n个k维数据)采用模糊聚类法进行聚类，目标是将向量集Y＝(y₁,y₂,...,y_n)^T(y_i为k维行向量，i∈[1,n])划分为一系列的簇A＝(A₁,A₂,...,A_m)(A_j为n维列向量，j∈[1,m])，每个向量y_i对于A_j的隶属度记为u_ij(i∈[1,n]，j∈[1,m])；作为优选，本实施例采用模糊C均值聚类法进行聚类，具体聚类过程可以通过以下过程完成：

步骤2.1.5.1在区间(0,1)随机初始化向量集Y＝(y₁,y₂,...,y_n)^T的隶属度矩阵U，使其满足

$\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{u}_{\mathrm{ij}}=1,\∀i=1,...,n;$

步骤2.1.5.2通过下面的公式算出整个向量集的m个聚类中心 

$\left\{\begin{array}{c}{c}_i=\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{u}_{\mathrm{ji}}^{\mathrm{\σ}}{y}_j}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{u}_{\mathrm{ji}}^{\mathrm{\σ}}}\\ u_{\mathrm{ij}}=\frac{1}{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\left(\frac{d_{\mathrm{ij}}}{d_{\mathrm{kj}}}\right)}^{2/(\mathrm{\σ}-1)}}\end{array}\right.;$

其中，u_ij∈[0,1]，c_i＝[c_1i,c_2i,…,c_ki]为第i个聚类簇A_i的中心，i∈[1,m]，y_j＝[y_j1,y_j2,…,y_jk]为向量集Y的第j个行向量，d_ij＝||c_j-y_i||为第j个聚类中心到第i个归一化特征向量的距离，如欧氏距离，σ∈[1,∞)是一个加权系数，作为优选，σ＝1.5；

步骤2.1.5.3对下面公式中的能量函数进行计算，如果能量函数值小于预设阈值THR_d，或者相对于上一次计算得到的能量值的变化小于预设阈值THR_c，则停止计算，这时候可以得到聚类的结果，作为优选，THR_d＝0.02，THR_c＝0.0001；否则，转到步骤2.1.5.4；

$J(U,c_1,...,c_m)=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{J}_i=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\underset{i}{\overset{n}{\mathrm{\Σ}}}{u}_{\mathrm{ij}}^{\mathrm{\σ}}{d}_{\mathrm{ij}}^2;$

步骤2.1.5.4用步骤2.1.5.2里的公式重新计算初始化向量集Y＝(y₁,y₂,...,y_n)^T的隶属度矩阵U，然后返回步骤2.1.5.2；

步骤2.2、迭代谱聚类：对首次谱聚类生成的聚类结果，进行递归聚类

设定图像数目阈值为THR₁＝30，THR₂＝80，通过求每个图像对应的向量y_i到每个聚类中心的距离c_j可以得到每个分类中的图像数目，假设当前子类中的图像数目为α；

iv.如果α＜THR₁，则当前子类中的所有图像归入不确定集合中

v.如果THR₁≤α＜THR₂，则当前子类为一个分类好的集合

vi.如果α＞THR₂，则当前子类过大，为当前子类指定分类数k'＝(n+20)/50，进行递归谱聚类,即重复步骤2.1

步骤三对不确定集合中图像进行归类

对于步骤二中被纳入不确定集合中的图像I_i，根据图像相似度矩阵C在已经分好类集合中搜索相似度最大的图像I_j，如果对应的相似度C_ij大于预设阈值THR₃，则将I_i纳入图像I_j所在的集合中，反之直接丢弃I_i，作为优选，THR₃＝0.4。

通过以上步骤便可将离散的多源图像数据根据相互之间的相似性划分为一系列子集合，集合内部可以视为视觉连续的一块区域。

实施例2

如图2所示为一种面向大规模三维重建的图像分块装置示意图，由图中可以看出该装置包括相似度矩阵计算模块、图像聚类模块。相似度矩阵计算模块与图像聚类模块相连接。

相似度矩阵计算模块用于计算图像集中任意两张图像的相似度，然后得到相似度矩阵；

图像聚类模块用于自适应地将图像分为若干类；

作为优选，推向聚类模块中包含了谱聚类单元和不确定图像归类单元，谱聚类单元通过谱聚类算法对图像集合进行归类，同时将不确定图像归入不确定集合中，然后由不确定图像归类单元对这些图像按照步骤三的规则进行进一步的分类。

试验结果

对于含有114张分辨率为1920*1080的图像集合，对其进行直接三维重建耗时57分39秒，而通过本实施例分块预处理将其分为两块之后需要的总时间为19分58秒，同时图像集预处理时间并没有显著增长，由原来的9分22秒变为了9分56秒；对于含有361张分辨率为7312*5474的图像集合，对其直接进行三维重建的时间为78小时，而通过本实施例分块预处理将其分为7块之后只需要6小时40分钟，同时预处理时间并没有显著增长，由5小时51分变为了5小时52分；综上所述，可以得出本发明方法对于加速三维重建有非常好的效果。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种面向大规模三维重建的图像分块方法，其特征在于，包括以下步骤：

步骤一、对于输入的图像集合根据图像间的匹配程度求出相似度矩阵；

步骤二、根据相似度矩阵通过以下步骤进行谱聚类：

步骤2.1根据相似度矩阵通过下述过程进行谱聚类：

步骤2.1.1利用相似度矩阵C通过下式计算对应的Graph Laplaction矩阵L，并对L做特征分解：

L＝I-D^-1C,D＝diag(d₁,d₂,...d_n),

其中，I表示单位矩阵，D^-1表示D的逆矩阵，diag表示对角矩阵；

步骤2.1.2根据输入图像数目以及以下原则确定分类数m：如果是首次谱聚类，分类数通过谱间隙确定，如果是递归进行的谱聚类，分类数由公式m＝(n+20)/50确定，其中m为分类数，n为当前图像集中图像数目；

步骤2.1.3嵌入映射：将矩阵L的特征值按照升序排列，取前k个最大的特征d₁,d₂,...,d_k，得到对应的k个特征向量构成的特征矩阵X＝(x₁,x₂,...,x_k)，该特征矩阵的每一行可以视为每张图像映射到R^n×k空间的一个像；其中，k为预设的值；

步骤2.1.4将特征矩阵X的行向量归一化为单位向量，得到归一化后的矩阵Y；

步骤2.1.5对映射的像根据分类数m使用聚类方法将n个图像划分到m个类中；

步骤2.2迭代谱聚类：对经过步骤2.1得到的聚类结果进行如下判定：

假设当前子类中的图像数目为α，THR₁和THR₂分别为预设的图像数目阈值，则：

i.如果α＜THR₁，则将当前子类中的所有图像归入不确定集合中；

ii.如果THR₁≤α＜THR₂，则当前子类为一个分好类的集合；

iii.如果α＞THR₂，则当前子类过大，对当前子类所有图像根据步骤一结果抽取对应图像间相似度值构成新的相似度矩阵C，然后对当前子类继续执行步骤2.1进行递归谱聚类；

步骤三、对不确定集合中的每一个图像I_i搜索其与已经分好类集合中图像I_j的最大相似度C_ij，如果C_ij大于预设的阈值THR₃，则将I_i纳入图像I_j所在的集合中，反之直接丢弃。

2.根据权利要求1所述的一种面向大规模三维重建的图像分块方法，其特征在于：所述步骤一进一步通过以下过程得到相似度矩阵：

首先，对所有图像进行SIFT特征提取、匹配，求出所有不同图像对之间的仿射矩阵；

然后，根据仿射矩阵求出N×N维图像间的相似度矩阵C，N为图像数目；矩阵元素C_ij表示图像对I_i和I_j之间的相似性，其值通过下述公式计算：

其中S_i表示图像I_i的大小，S_ij表示图像对I_i和I_j之间的相似区域面积，通过图像I_i关于图像I_j的仿射矩阵H_ij将I_i映射到图像I_j上，然后求出相似面积S_ij。

3.根据权利要求1所述的一种面向大规模三维重建的图像分块方法，其特征在于：所述步骤2.1.4对特征矩阵X进行归一化得到矩阵Y，矩阵Y中元素的值通过下述公式进行计算：

其中，i∈[1，n]，j∈[1，k]，X_ij和Y_ij分别表示特征矩阵X和矩阵Y的第i行第j列元素的值。

4.根据权利要求1所述的一种面向大规模三维重建的图像分块方法，其特征在于：所述步骤2.1.5采用模糊C均值聚类法进行聚类，具体过程如下：

步骤2.1.5.1在区间(0，1)随机初始化向量集Y＝(y₁,y₂,...,y_n)^T的隶属度矩阵U，使其满足

步骤2.1.5.2通过下面的公式算出整个向量集的m个聚类中心：

其中，u_ij∈[0,1]，c_i＝[c_1i,c_2i,…,c_ki]为第i个聚类簇A_i的中心，i∈[1,m]，y_j＝[y_j1,y_j2,…,y_jk]为向量集Y的第j个行向量，d_ij＝||c_j-y_i||为第j个聚类中心到第i个归一化特征向量的距离，σ∈[1,∞)是一个加权系数；

步骤2.1.5.3对下面公式中的能量函数进行计算，如果能量函数值小于预设阈值THR_d，或者相对于上一次计算得到的能量值的变化小于预设阈值THR_c，则结束；否则，转到步骤2.1.5.2根据更新的隶属度矩阵U更新聚类中心；

5.根据权利要求4所述的一种面向大规模三维重建的图像分块方法，其特征在于：σ＝1.5。

6.根据权利要求4所述的一种面向大规模三维重建的图像分块方法，其特征在于：THR_d＝0.02，THR_c＝0.0001。

7.根据权利要求1-6任一所述的一种面向大规模三维重建的图像分块方法，其特征在于：THR₁＝30，THR₂＝80。

8.一种面向大规模三维重建的图像分块装置，其特征在于：包括直接相连的相似度矩阵计算模块和图像聚类模块；所述相似度矩阵计算模块用于计算图像集中任意两张图像的相似度，然后得到相似度矩阵，所述图像聚类模块用于根据相似度矩阵自适应地将图像分类。

9.根据权利要求8所述的一种面向大规模三维重建的图像分块装置，其特征在于：所述图像聚类模块由谱聚类单元和不确定图像归类单元，谱聚类单元通过谱聚类算法对图像集合进行归类，同时将不确定图像归入不 确定集合中，然后由不确定图像归类单元对这些图像按照权利要求1所述步骤三的规则进行进一步的分类。