CN107123119B - 一种针对多结构数据的指导性采样方法 - Google Patents

Abstract

一种针对多结构数据的指导性采样方法，涉及计算机视觉技术。1)准备输入数据；2)如果当前总采样次数c小于M，那么执行步骤3)～7)；否则，结束采样且输出模型假设集Θ；3)如果当前总采样次数c小于b，那么使用随机采样方法采样一个数据子集S；否则使用提出的指导性采样方法采样一个数据子集S；4)使用采样到的数据子集S估计一个模型假设θ；5)对每一个x_i∈χ，计算x_i与θ的绝对残差到；6)如果当前总采样次数c大于等于b且c是b的整数倍，那么更新窗口大小w且排序得到残差索引的重排列7)把模型假设添加到模型假设集中。

Description

一种针对多结构数据的指导性采样方法

技术领域

本发明涉及计算机视觉技术，尤其是涉及一种针对多结构数据的指导性采样方法。

背景技术

视觉是人类感知世界的一种重要手段。研究表明，人类获取的外界信息中超过80％的信息由视觉获得的。计算机视觉的主要任务就是希望让计算机模拟人类视觉功能。鲁棒模型拟合是计算机视觉中一项重要的基础性研究任务，它已经广泛应用于三维数据分割、识别、图像配准、运动分割和人脸聚类等领域。采样到一组干净最小数据子集对于大多数鲁棒模型拟合方法的成功起到至关重要的作用。许多最近提出的模型拟合方法使用随机采样来生成模型假设。然而，随机采样的缺点是，随着几何模型维度的增加或输入数据内点比例的降低，采样到干净最小数据子集的概率会指数地减少。因此，随机采样不是一种理想的采样方法。

为了提高采样到干净最小数据子集的效率，一些最近提出的指导性采样方法(比如[1,2])通过使用从关键点匹配分数计算得到的先验概率来指导采样过程。这些方法可以为单结构数据快速地采样到干净最小数据子集(即使单结构数据包含了超过90％的离群点)。然而，对于多结构数据，这些方法可能无法在合理的时间内获得一个干净的解(即，为多结构数据中的每个模型实例至少采样到一个干净最小数据子集)。由于这些方法通常会采样到交叉结构的最小数据子集，尤其是对于高阶几何模型。在这种情况下，交叉结构的最小数据子集中的数据可能具有高的匹配分数，但是它们来自多结构数据中的不同模型实例。

若干种指导性采样方法(例如，[3,4])被提出用于为两阶段模型拟合方法(比如，[5,6])加速采样干净最小数据子集。这些指导性采样方法的两阶段模型拟合方法先采样一组数据子集并生成模型假设，然后执行模型选择。然而这两个步骤被分开执行。因此，如果在所采样的数据子集中没有获得一个干净解，那么这些方法将失败。同时这些指导性采样方法从具有高离群点比率的多结构数据中获取干净解是耗时的，因为这些指导性采样方法的模型假设生成过程是耗时的。

参考文献：

[1]O.Chum and J.Matas,“Matching with PROSAC-progressive sampleconsensus,”Proc.IEEE Conf.Computer Vision and Pattern Recognition,2005.

[2]A.S.Brahmachari and S.Sarkar,“Hop-diffusion monte carlo forepipolar geometry estimation between very wide-baseline images,”IEEETrans.Pattern Anal.Mach.Intell.,vol.35,no.3,pp.755–762,2013.

[3]T.-J.Chin,J.Yu,and D.Suter,“Accelerated hypothesis generation formultistructure data via preference analysis,”IEEE Trans.PatternAnal.Mach.Intell.,vol.34,no.4,pp.625–638,2012.

[4]H.S.Wong,T.-J.Chin,J.Yu,and D.Suter,“Mode seeking overpermutations for rapid geometric model fitting,”Pattern Recognit.,vol.46,no.1,pp.257–271,2013.

[5]H.Wang,T.-J.Chin,and D.Suter,“Simultaneously fitting andsegmenting multiple-structure data with outliers,”IEEE Trans.PatternAnal.Mach.Intell.,vol.34,no.6,pp.1177–1192,2012.

[6]T.Lai,H.Wang,Y.Yan,T.-J.Chin,and W.-L.Zhao,“Motion segmentationvia a sparsity constraint,”IEEE Transactions on Intelligent TransportationSystems,2016.

发明内容

本发明的目的在于提供一种针对多结构数据的指导性采样方法。

本发明包括以下步骤：

1)准备输入数据χ＝{x₁,x₂,...,x_N}及相应的匹配分数ψ＝{ψ₁,ψ₂,...,ψ_N}，其中N为输入数据的个数，N为自然数，x_i表示两幅输入图像对之间第i个特征匹配对，指定最大采样次数M及每组模型假设集中所包含的模型假设个数b，b和M均为自然数，初始化模型假设集Θ为空；

2)如果当前总采样次数c小于M，那么执行步骤3)～7)；否则，结束采样且输出模型假设集Θ；

3)如果当前总采样次数c小于b，那么使用随机采样方法采样一个数据子集S；否则使用提出的指导性采样方法采样一个数据子集S；

4)使用采样到的数据子集S估计一个模型假设θ；

5)对每一个x_i∈χ，计算x_i与θ的绝对残差到

6)如果当前总采样次数c大于等于b且c是b的整数倍，那么更新窗口大小w且排序得到残差索引的重排列

7)把模型假设添加到模型假设集中。

所述步骤3)中，所述使用提出的指导性采样方法采样一个数据子集S包括以下步骤：

(1)从输入数据χ中随机选取一个数据其中s₁是一个数据索引且s₁∈{1,2,...,N}，N为输入数据的个数，N为自然数；

(2)与χ中第j个数据x_j的相关系数计算如下：

其中表示与之间相同元素的数目；是残差索引的重排列，即：的前w个元素；残差索引向量κ是通过非降序地排列残差向量得到，r^j是x_j与c次迭代生成模型假设之间的残差向量；

(3)由于s₁是固定的，为简单起见，设

首先，通过C2计算与χ中N个数据的相关系数得到一个相关系数向量D＝[D₁,D₂,...,D_N]。接着，D中最大元素的平方和D中的第j个元素的平方的间隔定义为：

然后，φ_j的概率计算为：

最后，D的熵计算为：

(4)从输入数据χ中选择满足下面公式的有意义的数据：

χ^*＝{x_j|E+logη(φ_j)＜0} (公式5)

(5)用一组数据索引来表示出现在χ^*中的χ的数据；

(6)先从相关系数向量D中选取χ^*和之间的相关系数从匹配分数ψ中选取与χ^*对应的匹配分数接着，归一化选取的相关系数和匹配分数如下：

及

然后，χ^*的采样权重Ω计算为：

Ω(l)＝μ_l*v_l (公式8)

最后，使用采样权重Ω从χ^*采样一个最小数据子集S。

所述步骤6)中，所述更新窗口大小w且排序得到残差索引的重排列包括以下步骤：

(1)窗口大小w被设为w＝α*c，其中C为当前采样次数，C为自然数，α为比率因子，被设为0.1；

(2)排序得到残差索引的重排列包含以下步骤：

首先，对于数据x_i的残差向量非降序地排列(g个排序靠前的残差和b个x_i与b个新生成的模型假设之间的残差)来获得排序残差向量

接着，更新g为：

其中c＝c+b且w＝α*c；

然后，只保留中排序靠前的g个元素，即且得到相应的残差索引的重排列用替换C2中κ^j来更高效地计算相关系数

本发明提出一种针对多结构数据的指导性采样方法。该方法可以快速为多结构数据采样获得干净最小数据子集。本发明提出的指导性采样方法可应用于单应性矩阵估计、基本矩阵估计、两视图运动分割和平面分割等。

本发明首先计算输入数据与已生成的模型假设之间的残差；然后通过排列残差来获得残差索引；最后高效地计算用于指导采样数据子集的相关系数，从而为多结构数据快速采样到干净最小数据子集；本发明提出的指导性采样方法可应用于单应性矩阵估计、基本矩阵估计、两视图运动分割和平面分割等计算机视觉任务。

附图说明

图1为本发明实施例的流程图。

图2为本发明与其它几种采样方法在AdelaideRMF数据集的部分图像对上进行两视图运动分割定性对比(仅显示其中的一个视图)的结果图。(a)显示真实模型实施例的输入数据，而(b)～(g)分别显示由方法1、方法2、方法3、方法4、方法5和本发明所提出的方法获得的分割结果。

图3为本发明与其它几种采样方法在AdelaideRMF数据集的部分图像对上进行两视图平面分割定性对比(仅显示其中的一个视图)的结果图。(a)显示真实模型实例的输入数据，而(b)～(g)分别显示由方法1、方法2、方法3、方法4、方法5和本发明所提出的方法获得的分割结果。

方法1对应为Y.Kanazawa等人提出的方法(Y.Kanazawa and H.Kawakami,“Detection of planar regions with uncalibrated stereo using distributions offeature points.”in Proceedings of British Machine Vision Conference,2004,pp.247–256.)；

方法2对应为O.Chum等人提出的方法(O.Chum,J.Matas,and J.Kittler,“Locallyoptimized RANSAC,”in DAGM-Symp,2003,pp.236–243.)；

方法3对应为O.Chum等人提出的方法(O.Chum and J.Matas,“Matching withPROSAC-progressive sample consensus,”in Proceedings of IEEE Conference onComputer Vision and Pattern Recognition,2005,pp.220–226.)；

方法4对应为T.-J.Chin等人提出的方法(T.-J.Chin,J.Yu,and D.Suter,“Accelerated hypothesis generation for multistructure data via preferenceanalysis,”IEEE Trans.Pattern Anal.Mach.Intell.,vol.34,no.4,pp.625–638,2012.)；

方法5对应为R.Tennakoon等人提出的方法(R.Tennakoon,A.Bab-Hadiashar,Z.Cao,R.Hoseinnezhad,and D.Suter,“Robust model fitting using higher thanminimal subset sampling,”IEEE Trans.Pattern Anal.Mach.Intell.,vol.38,no.2,pp.350–362,2016)。

具体实施方式

下面结合附图和实施例对本发明的方法作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了实施方式和具体操作过程，但本发明的保护范围不限于下述的实施例。

参见图1，本发明实施例的实施方式包括以下步骤：

S1.准备输入数据χ＝{x₁,x₂,...,x_N}及相应的匹配分数ψ＝{ψ₁,ψ₂,...,ψ_N}，其中N为输入数据的个数，N为自然数。x_i表示两幅输入图像对之间第i个特征匹配对。指定最大采样次数M及每组模型假设集中所包含的模型假设个数b，b和M均为自然数。初始化模型假设集Θ为空。

S2.如果当前总采样次数c小于M，那么执行步骤S3至S10；否则，结束采样且输出模型假设集Θ。

S3.如果当前总采样次数c小于b，使用步骤S4随机采样方法采样一个数据子集S；否则使用步骤S5提出的指导性采样方法采样一个数据子集S。

S4.随机采样方法采样一个数据子集S。

S5.本发明提出的指导性采样方法采样一个数据子集S具体包括：

S5-1.从输入数据χ中随机选取一个数据其中s₁是一个数据索引且s₁∈{1,2,...,N}。N为输入数据的个数，N为自然数。

S5-2.与χ中第j个数据x_j的相关系数计算如下：

其中表示与之间相同元素的数目。是残差索引的重排列，即：的前w个元素。残差索引向量κ是通过非降序地排列残差向量得到。r^j是x_j与c次迭代生成模型假设之间的残差向量。

S5-3.由于s₁是固定的，为简单起见，设首先，通过C2计算与χ中N个数据的相关系数得到一个相关系数向量D＝[D₁,D₂,...,D_N]。接着，D中最大元素的平方和D中的第j个元素的平方的间隔定义为：

然后，φ_j的概率计算为：

最后，D的熵计算为：

S5-4.从输入数据χ中选择满足下面公式的有意义的数据：

χ^*＝{x_j|E+logη(φ_j)＜0} (公式5)

S5-5.用一组数据索引来表示出现在χ^*中的χ的数据。

S5-6.先从相关系数向量D中选取χ^*和之间的相关系数从匹配分数ψ中选取与χ^*对应的匹配分数接着，归一化选取的相关系数和匹配分数如下：

及

然后，χ^*的采样权重Ω计算为：

Ω(l)＝μ_l*v_l (公式8)

最后，使用采样权重Ω从χ^*采样一个最小数据子集S。

S6.使用采样到的数据子集S估计一个模型假设θ。

S7.对每一个x_i∈χ，计算x_i与θ的绝对残差到

S8.如果当前总采样次数c大于等于b且c是b的整数倍，那么使用步骤S9更新窗口大小w且排序得到残差索引的重排列

S9.排序得到残差索引的重排列具体包括：

S9-1.窗口大小w被设为w＝α*c，其中C为当前采样次数，C为自然数，α为比率因子，被设为0.1。

S9-2.排序得到残差索引的重排列包含以下步骤：首先，对于数据x_i的残差向量非降序地排列(g个排序靠前的残差和b个x_i与b个新生成的模型假设之间的残差)来获得排序残差向量接着，更新g为：

其中c＝c+b且w＝α*c。然后，只保留中排序靠前的g个元素，即且得到相应的残差索引的重排列用替换C2中κ^j来更高效地计算相关系数

S10.把模型假设添加到模型假设集中，即：模型假设集Θ＝模型假设集Θ∪模型假设θ。

S11.输出模型假设集Θ。

采样结束后，方法5利用其自己模型选择方法进行模型选择，而所有其它的采样方法包括本发明所提出的采样方法均使用J-Linkage(R.Toldo and A.Fusiello,“Robustmultiple structures estimation with J-linkage,”in Proceedings of EuropeanConference on Computer Vision,2008,pp.537–547)进行模型选择。

本发明所提出的方法应用于两视图运动分割和平面分割在AdelaideRMF数据集上的定性比较如图2和3所示。

由实验结果所示，本发明所提出的采样方法较其它采样方法获得了较准确的分割结果。

Claims (2)

1.一种针对多结构数据的指导性采样方法，其特征在于包括以下步骤：

1)准备输入数据及相应的匹配分数ψ＝{ψ₁,ψ₂,...,ψ_N}，其中N为输入数据的个数，N为自然数，x_i表示两幅输入图像对之间第i个特征匹配对，指定最大采样次数M及每组模型假设集中所包含的模型假设个数b，b和M均为自然数，初始化模型假设集Θ为空；

2)如果当前总采样次数c小于M，那么执行步骤3)～7)；否则，结束采样且输出模型假设集Θ；

3)如果当前总采样次数c小于b，那么使用随机采样方法采样一个数据子集S；否则使用提出的指导性采样方法采样一个数据子集S；

所述使用提出的指导性采样方法采样一个数据子集S包括以下步骤：

(1)从输入数据中随机选取一个数据其中s₁是一个数据索引且s₁∈{1,2,...,N}，N为输入数据的个数，N为自然数；

(2)与中第j个数据x_j的相关系数计算如下：

其中表示与之间相同元素的数目；是残差索引的重排列，即：的前w个元素；残差索引向量κ是通过非降序地排列残差向量得到，r^j是x_j与c次迭代生成模型假设之间的残差向量；

(3)由于s₁是固定的，为简单起见，设

首先，通过公式1计算与中N个数据的相关系数得到一个相关系数向量D＝[D₁,D₂,...,D_N]接着，D中最大元素的平方和D中的第j个元素的平方的间隔定义为：

然后，φ_j的概率计算为：

最后，D的熵计算为：

(4)从输入数据中选择满足下面公式的有意义的数据：

(5)用一组数据索引来表示出现在中的的数据；

(6)先从相关系数向量D中选取和之间的相关系数从匹配分数ψ中选取与对应的匹配分数接着，归一化选取的相关系数和匹配分数如下：

及

然后，的采样权重Ω计算为：

Ω(l)＝μ_l*ν_l (公式8)

最后，使用采样权重Ω从采样一个最小数据子集S；

4)使用采样到的数据子集S估计一个模型假设θ；

5)对每一个计算x_i与θ的绝对残差到

6)如果当前总采样次数c大于等于b且c是b的整数倍，那么更新窗口大小w且排序得到残差索引的重排列

7)把模型假设添加到模型假设集中。

2.如权利要求1所述一种针对多结构数据的指导性采样方法，其特征在于所述步骤6)中，所述更新窗口大小w且排序得到残差索引的重排列包括以下步骤：

(1)窗口大小w被设为w＝α*c，其中c为当前采样次数，c为自然数，α为比率因子，被设为0.1；

(2)排序得到残差索引的重排列包含以下步骤：

首先，对于数据x_i的残差向量非降序地排列来获得排序残差向量其中包含g个排序靠前的残差和b个x_i与b个新生成的模型假设之间的残差；

接着，更新g为：

其中c＝c+b且w＝α*c；

然后，只保留中排序靠前的g个元素，即且得到相应的残差索引的重排列用替换公式1中κ^j来更高效地计算相关系数