CN111639691B - 一种基于特征匹配和贪婪搜索的图像数据采样方法 - Google Patents

Abstract

本发明涉及一种基于特征匹配和贪婪搜索的图像数据采样方法，包括步骤S1：给定包含N个图像数据的输入数据

，令一个模型实例应包含的最少数据点个数为k，总采样次数为H；步骤S2：使用特征匹配方法来移除S中的离群点并获得约简匹配对集

；步骤S3：使用近邻采样获取初始模型假设的图像数据子集；步骤S4：使用贪婪搜索寻找更准确的模型假设

；步骤S5：完成获取到模型假设

后的处理，得到矩阵R；步骤S6：判断当前采样次数h是否小于H，如果当前采样次数h小于H，那么执行步骤S3至步骤S5；否则，执行步骤S7；步骤S7：在步骤S5获得的矩阵R上使用谱聚类来获取输入图像数据的聚类簇标签，然后结束程序。本发明可高效地采样有效数据子集。

Description

一种基于特征匹配和贪婪搜索的图像数据采样方法

技术领域

本发明涉及计算机视觉技术领域，特别是一种基于特征匹配和贪婪搜索的图像数据采样方法。

背景技术

模型拟合是计算机视觉中一项关键的基础性研究任务，它已被广泛地应用于多个计算机视觉领域中，比如：三维重建、可视化跟踪，室内导航和运动分割等领域。鲁棒模型拟合的目标是从输入数据中估计出感兴趣模型的参数。具体地，给定一种几何模型(例如：直线、圆或基础矩阵)，通过模型拟合方法来估计数据中模型实例的参数。

绝大多数模型拟合方法包括RANSAC[1]及其变种(例如[2])的成功取决于这些方法能否至少采样到一个干净最小数据子集[3]。其中，一个干净最小数据子集是一个包含了估计一个模型假设所需要的最少数据点的数据子集(比如，估计一个单应矩阵至少需要4个数据点)，并且这些数据点都是来自同一个结构。

数据采样方法可分为随机采样和指导性采样。在随机采样中，输入数据中所有数据点被选择的概率是相同的；而在指导性样中，每个数据点被选择的概率是不相同的。指导性采样方法中的数据采样概率是通过使用不同的信息来计算得到的(比如匹配分数或空间位置)。具体而言，一次随机采样就是从输入数据中随机地选取数据点来组成一个数据子集，并用该数据子集来生成一个模型假设。由于这种方法简单且易于实现，使其成为一种被广泛使用的采样方法。然而，随机采样并不是一种理想的采样方法。随着模型维数的增加或输入数据中内点比例的减小，成功采样到干净最小数据子集的概率会指数地下降[3]。为了提高数据采样的性能，许多指导性采样方法(比如[2,3])被提出。下面概述比较高效的一类指导性采样方法：基于贪婪搜索的采样方法。

基于贪婪搜索的采样方法：由于其贪婪属性，该类方法(比如HMSS[2]和CBS[4])通常能给鲁棒标准评分较高(比如内点比例高)的结构快速地采样到干净数据子集。然而，对于包含低内点比例的多结构数据，传统的基于贪婪搜索的采样方法易陷入局部最优，从而采样不到准确的模型假设。传统的基于贪婪搜索的采样方法使用随机采样从输入数据中选取用于生成初始模型假设的数据点，与之不同的是，文献[5]提出的采样方法通过从当前获得的内点中选取用于生成更准确初始模型假设的数据点。然而，在前人提出的采样方法中，用于初始化模型假设的内点是通过传统的基于贪婪搜索的采样方法来获得的，这使得采样的效率偏低。我们查阅文献发现，与模型拟合相关的特征匹配领域，有众多特征匹配方法(比如LPM[6])能快速地去除大部分错误匹配，其速度比模型拟合方法高出好几个数量级，但它们却不能用于估计模型参数。不同于HMSS的贪婪采样方法从数据中随机选取数据子集来生成一个初始模型假设，本发明提出的数据采样方法先使用特征匹配方法从输入数据中选取内点，然后用近邻采样方法[7]从内点中选取数据子集来生成更准确的初始模型假设。即，本发明首次将特征匹配、空间局部信息和贪婪搜索等多项技术进行融合以较大程度地提高数据采样的效率。本发明提出的采样方法可以用于绝大多数模型拟合方法包括RANSAC[1]及其变种(例如[2])中，从而应用于三维重建、基本矩阵估计、室内导航和运动分割等计算机视觉任务。

[1]M.A.Fischler and R.C.Bolles,“Random sample consensus:Aparadigm formodel fitting with applications to image analysis and automated cartography,”Commun.ACM.,vol.24,no.6,pp.381–395,1981.

[2]R.Tennakoon,A.Bab-Hadiashar,Z.Cao,R.Hoseinnezhad,and D.Suter,“Robust model fitting using higher than minimal subset sampling,”IEEETrans.PatternAnal.Mach.Intell.,vol.38,no.2,pp.350–362,2016.

[3]T.-J.Chin,J.Yu and D.Suter,Accelerated hypothesis generation formulti-structure data via preference analysis.IEEE Transactions on PatternAnalysis and Machine Intelligence.2012,34(4):625–638.

[4]R.Tennakoon,A.Sadri,R.Hoseinnezhad,et al.,Effective sampling:Fastsegmentation using robust geometric model fitting.IEEE Transactions on ImageProcessing.2018,27(9):4182--4194.

[5]T.Lai,R.Chen,C.Yang,et al.,Efficient robust model fitting formulti-structure data using global greedy search.IEEE Transactions onCybernetics.DOI:10.1109/TCYB.2019.2900096.

[6]J.Ma,J.Zhao,J.Jiang,et al.,Locality preservingmatching.International Journal ofComputerVision.2019,127(5):512–531.

[7]Y.Kanazawa and H.Kawakami,Detection of planar regions withuncalibrated stereo using distributions of feature points.British MachineVision Conference.2004,247–256.

发明内容

有鉴于此，本发明的目的是提供一种基于特征匹配和贪婪搜索的图像数据采样方法，可高效地采样有效数据子集。

本发明采用以下方案实现：一种基于特征匹配和贪婪搜索的图像数据采样方法，包括以下步骤：

步骤S1：给定包含N个图像数据的输入数据

其中N为自然数，令一个模型实例应包含的最少数据点个数为k，总采样次数为H；

步骤S2：使用特征匹配方法来移除S中的离群点并获得约简匹配对集S′；在获得S′之后，让S′_γ←S′，令

其中N'是S′_γ的元素数量而S′_γ初始时等于S′，是一个中间变量；

步骤S3：使用近邻采样获取初始模型假设的图像数据子集；

步骤S4：使用贪婪搜索寻找更准确的模型假设θ_best；

步骤S5：完成获取到模型假设θ_best后的处理，得到矩阵R；

步骤S6：判断当前采样次数h是否小于H，如果当前采样次数h小于H，那么执行步骤S3至步骤S5；否则，执行步骤S7；

步骤S7：在步骤S5获得的矩阵R上使用谱聚类来获取输入图像数据的聚类簇标签，结束程序，完成采样。

进一步地，所述步骤S3具体包括以下步骤：

步骤S31：从S′_γ中随机地选择一个匹配对，记为

然后S′_γ中第j个匹配对/>

与/>

的采样权重计算为：

其中

是归一化常量，而‖·-·‖表示欧几里德距离；这里σ表示内点噪声尺度；

步骤S32：通过使用采样权重

从S′_γ中采样图像数据子集Ω。

进一步地，所述步骤S4具体包括以下步骤：

步骤S41：用采样到的图像数据子集Ω生成一个模型假设θ_ι；接着，计算第i个匹配对

与θ_ι的残差r′_i(θ_ι)；然后，S′_γ与θ_ι的残差记为r′(θ_ι)＝[r′₁(θ_ι),r′₂(θ_ι),...,r′_N′(θ_ι)]；非降序地排列残差r′(θ_ι)，得到一个排序残差集

其中[x₁,x₂,...,x_N′]是S′_γ中索引[1,2,...,N']的重排列，根据已排序的残差索引来采样新的数据子集

步骤S42：HMSS拟合方法，计算θ_ι的代价函数f(θ_ι)；f(θ_ι)用于判断当前模型假设是否最准确：如果f(θ_ι)的值是所有已生成模型假设代价函数中值最小的，那么θ_ι即是所有已生成模型假设中最准确的模型假设并且让θ_best＝θ_ι；

步骤S43：HMSS拟合方法，计算停止标准F_stop用于判断数据采样过程是否产生了准确的模型假设；当F_stop为真时，表示已采样到了准确的模型假设，那么此次采样过程停止，其中，至少在采样三个模型假设后才执行此步计算；反之，重新执行步骤S41至步骤S43。

进一步地，所述步骤S5具体包括以下步骤：

步骤S51：使用尺度估计子估计θ_best的内点噪声尺度

和内点I_inx；然后，将I_inx从S′_γ中移除，并且判断S′_γ是否小于k；如果小于k，那么重置S′_γ，即S′_γ←S′；

步骤S52：计算输入数据S与θ_best的残差，并记为r(θ_best)；在获得残差r(θ_best)和内点噪声尺度

之后，r(θ_best)和/>

被用来计算矩阵R的元素，如下：

其中h是迭代次数且1≤h≤H。

与现有技术相比，本发明具有以下有益效果：本发明首次将特征匹配、空间局部信息和贪婪搜索等多项技术进行融合以较大程度地提高数据采样的效率。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例的分别使用本实施例所提方法与CBS进行模型拟合时获得的分割错误率对比图。

图3为本发明实施例的进行两视图运动分割的示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供一种基于特征匹配和贪婪搜索的图像数据采样方法，包括以下步骤：

步骤S1：给定包含N个图像数据的输入数据

其中N为自然数，令一个模型实例应包含的最少数据点个数为k，总采样次数为H；

步骤S2：使用特征匹配方法(比如LPM)来移除S中的离群点并获得约简匹配对集S′；在获得S′之后，让S′_γ←S′，令

其中N'是S′_γ的元素数量而S′_γ初始时等于S′，是一个中间变量；

步骤S3：使用近邻采样获取初始模型假设的图像数据子集；

步骤S4：使用贪婪搜索寻找更准确的模型假设θ_best；

步骤S5：完成获取到模型假设θ_best后的处理，得到矩阵R；

步骤S6：判断当前采样次数h是否小于H，如果当前采样次数h小于H，那么执行步骤S3至步骤S5；否则，执行步骤S7；

步骤S7：在步骤S5获得的矩阵R上使用谱聚类来获取输入图像数据的聚类簇标签，结束程序，完成采样。即使用聚类方法在距离矩阵上进行聚类，来获取输入图像数据的聚类簇标签。

在本实施例中，所述步骤S3具体包括以下步骤：

步骤S31：从S′_γ中随机地选择一个匹配对，记为

然后S′_γ中第j个匹配对s_γj与

的采样权重(空间局部信息)计算为：

其中

是归一化常量，而‖·-·‖表示欧几里德距离；这里σ表示内点噪声尺度；本文中我们手动指定σ的值并且在采样过程中使用同一个值。

步骤S32：通过使用采样权重

从S′_γ中采样图像数据子集Ω。

在本实施例中，所述步骤S4具体包括以下步骤：

步骤S41：用采样到的图像数据子集Ω生成一个模型假设θ_ι；接着，计算第i个匹配对

与θ_ι的残差r_i′(θ_ι)；然后，S′_γ与θ_ι的残差记为r′(θ_ι)＝[r′₁(θ_ι),r′₂(θ_ι),...,r′_N′(θ_ι)]；非降序地排列残差r′(θ_ι)，得到一个排序残差集

其中[x₁,x₂,...,x_N′]是S′_γ中索引[1,2,...,N']的重排列，根据已排序的残差索引来采样新的数据子集

步骤S42：HMSS拟合方法，计算θ_ι的代价函数f(θ_ι)；f(θ_ι)用于判断当前模型假设是否最准确：如果f(θ_ι)的值是所有已生成模型假设代价函数中值最小的，那么θ_ι即是所有已生成模型假设中最准确的模型假设并且让θ_best＝θ_ι；

步骤S43：HMSS拟合方法，计算停止标准F_stop用于判断数据采样过程是否产生了准确的模型假设；当F_stop为真时，表示已采样到了准确的模型假设，那么此次采样过程停止，其中，至少在采样三个模型假设后才执行此步计算；反之，重新执行步骤S41至步骤S43。

在本实施例中，所述步骤S5具体包括以下步骤：

步骤S51：使用尺度估计子(比如HMSS使用的MSSE)估计θ_best的内点噪声尺度

和内点I_inx；然后，将I_inx从S′_γ中移除，并且判断S′_γ是否小于k；如果小于k，那么重置S′_γ，即S′_γ←S′；

步骤S52：计算输入数据S与θ_best的残差，并记为r(θ_best)；在获得残差r(θ_best)和内点噪声尺度

之后，r(θ_best)和/>

被用来计算矩阵R的元素，如下：

其中h是迭代次数且1≤h≤H。

在本实施例中，如图2所示，分别使用本实施例所提方法与CBS进行模型拟合时获得的分割错误率。输入Biscuitbook(Gamebiscuit)图像对，本实施例拟提出的数据采样方法获得的拟合错误仅为CBS中的数据采样方法的1/6(1/3)。

特别的，将图3作为本实施例方法的图像输入数据，指定图像中模型实例所包含的最少数据点个数k和总采样次数H，不同的模型实例表示不同的物体(比如魔方和书本)，采用本实施例的方法从图中能够把属于不同模型实例的数据以及离群点分割开，即将图3中的数据分割为属于不同物体的点和离群点，其中离群点用十字架标识，物体用不同形状的点标识。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (2)

1.一种基于特征匹配和贪婪搜索的图像数据采样方法，其特征在于：包括以下步骤：

步骤S1：给定包含N个图像数据的输入数据

其中N为自然数，令一个模型实例应包含的最少数据点个数为k，总采样次数为H；

步骤S2：使用特征匹配方法来移除S中的离群点并获得约简匹配对集S′；在获得S′之后，让S′_γ←S′，令

其中N'是S′_γ的元素数量而S′_γ初始时等于S′，是一个中间变量；

步骤S3：使用近邻采样获取初始模型假设的图像数据子集；

步骤S4：使用贪婪搜索寻找更准确的模型假设θ_best；

步骤S5：完成获取到模型假设θ_best后的处理，得到矩阵R；

步骤S6：判断当前采样次数h是否小于H，如果当前采样次数h小于H，那么执行步骤S3至步骤S5；否则，执行步骤S7；

步骤S7：在步骤S5获得的矩阵R上使用谱聚类来获取输入图像数据的聚类簇标签，结束程序，完成采样；

所述步骤S3具体包括以下步骤：

步骤S31：从S′_γ中随机地选择一个匹配对，记为

然后S′_γ中第j个匹配对/>

与/>

的采样权重计算为：

其中

是归一化常量，而‖·-·‖表示欧几里德距离；这里σ表示内点噪声尺度；

步骤S32：通过使用采样权重

从S′_γ中采样图像数据子集Ω；

所述步骤S4具体包括以下步骤：

步骤S41：用采样到的图像数据子集Ω生成一个模型假设θ_ι；接着，计算第i个匹配对

与θ_ι的残差r_i′(θ_ι)；然后，/>

与θ_ι的残差记为r′(θ_ι)＝[r′₁(θ_ι),r′₂(θ_ι),...,r′_N′(θ_ι)]；非降序地排列残差r′(θ_ι)，得到一个排序残差集

其中[x₁,x₂,...,x_N′]是S′_γ中索引[1,2,...,N']的重排列，根据已排序的残差索引来采样新的数据子集

步骤S42：如HMSS拟合方法，计算θ_ι的代价函数f(θ_ι)；f(θ_ι)用于判断当前模型假设是否最准确：如果f(θ_ι)的值是所有已生成模型假设代价函数中值最小的，那么θ_ι即是所有已生成模型假设中最准确的模型假设并且让θ_best＝θ_ι；

步骤S43：如HMSS拟合方法，计算停止标准F_stop用于判断数据采样过程是否产生了准确的模型假设；当F_stop为真时，表示已采样到了准确的模型假设，那么此次采样过程停止，其中，至少在采样三个模型假设后才执行此步计算；反之，重新执行步骤S41至步骤S43。

2.根据权利要求1所述的一种基于特征匹配和贪婪搜索的图像数据采样方法，其特征在于：所述步骤S5具体包括以下步骤：

步骤S51：使用尺度估计子估计θ_best的内点噪声尺度

和内点I_inx；然后，将I_inx从S′_γ中移除，并且判断S′_γ是否小于k；如果小于k，那么重置S′_γ，即S′_γ←S′；

步骤S52：计算输入数据S与θ_best的残差，并记为r(θ_best)；在获得残差r(θ_best)和内点噪声尺度

之后，r(θ_best)和/>

被用来计算矩阵R的元素，如下：

其中h是迭代次数且1≤h≤H。/>

Images