CN112132204B - 一种基于偏好概率加权采样的鲁棒模型拟合方法 - Google Patents

Abstract

一种基于偏好概率加权采样的鲁棒模型拟合方法，涉及计算机视觉。A.准备数据集；B.赋予数据集中每个数据点权重，循环执行步骤C‑D，生成模型假设；C.从数据点中以权重采样数据点子集，进行模型更新策略，在数据集中通过随机采样生成初始模型假设，并通过迭代方式更新模型假设，直到满足停止标准停止迭代，通过更新选取得到最佳模型假设并加入模型假设集；D.根据偏好概率公式和模型假设集计算各数据点的偏好概率，通过增大偏好概率在一定阈值区间的数据点权重，增加采样小结构模型实例内点概率，减少大结构模型实例和离群点对采样干扰；E.用模型假设集的残差向量集，构建相似度矩阵，应用谱聚类技术对数据聚类，估计多结构模型实例。

Description

一种基于偏好概率加权采样的鲁棒模型拟合方法

技术领域

本发明涉及计算机视觉技术，具体是涉及一种基于偏好概率加权采样的鲁棒模型拟合方法。

背景技术

在计算机视觉领域中，鲁棒模型拟合是一个基础性的研究任务。在实际应用中，视觉数据会受噪声和离群点的污染，鲁棒模型拟合的任务是在包含噪声和离群点的数据中估计真实模型参数。RANSAC(M.A.Fischler,R.C.Bolles.Random sample consensus:aparadigm for model fitting with applications to image analysis and automatedcartography.Comm.ACM,1981,24(6):381–395.)是一种广泛应用的经典鲁棒估计技术。它采用“假设-验证”框架，通常包含两个步骤：(1)随机抽取最小数据子集生成模型假设集；(2)验证有效的模型假设。RANSAC及其变种已经成功地应用于许多鲁棒拟合任务中，包括运动分割、图像配准等。尽管这些方法简单有效，但仅限于处理单结构数据。然而，在现实场景中，多结构数据更为常见。因此，这项任务的主要挑战是需要同时处理离群点和伪离群点。离群点是在数据预处理中错误产生的噪声数据。而属于一个结构的内点则是其他结构的伪离群点。在多结构模型拟合中，存在结构内点数量的不平衡，其中一些小结构的伪离群点的数目可能比它自身的内点更为显著。

近几十年来，学者们提出了一系列针对多结构数据的模型拟合方法。基于参数空间分析的方法与基于数据聚类的方法。基于参数空间分析的方法研究模型假设的共识点集(Consensusset)，以提取真实的模型结构。例如AKSWH(H.Wang,T.J.Chin,D.Suter.Simultaneously fitting and segmenting multiple-structure data withoutliers.IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(6):1177–1192.)、MSHF(H.Wang,G.Xiao,Y.Yan,D.Suter.Searching forrepresentative modes on hypergraphs for robust geometric model fitting.IEEETransactions on Pattern Analysis and Machine Intelligence,2018,41(3):697–711.)，此类方法常在模型假设集上搜索模型实例。但是生成有效的模型假设集需要大量采样，这导致此类方法的计算效率较低。另一个解决方案是基于数据聚类的方法。这类方法将拟合问题转化为聚类问题。例如：CBS(R.Tennakoon,A.Sadri,R.Hoseinnezhad,A.B.Hadiashar.Effective sampling:Fast segmentation using robust geometricmodel fitting.IEEE Transactions on Image Processing,2018,27(9):4182–4194.)其主要思想是利用一组模型假设到点的残差来编码每个数据点之间的相似度，从而对同一结构的点进行聚类。这些方法的聚类性能取决于点对之间的相似性度量的有效性。然而相似度的度量容易受到包含离群点的低质量的模型假设的干扰。此外，如果生成的模型假设集不能平衡地描述每个结构，则可能导致最终的拟合性能变差。

发明内容

本发明的目的在于针对现有技术存在的上述不足，提供可缓解数据不平衡的干扰，提高对小结构模型实例的采样精度，从而生成高质量模型假设的一种基于偏好概率加权采样的鲁棒模型拟合方法。

本发明包括以下步骤：

A.准备数据集；

B.赋予数据集中每个数据点权重，循环执行步骤C-D，生成模型假设；

C.从数据点中以权重采样数据点子集，并进行模型更新策略，在数据集中通过随机采样生成一个初始模型假设，并通过迭代方式更新模型假设，直到满足停止标准停止迭代，通过更新，选取得到最佳模型假设并加入模型假设集；

D.根据偏好概率公式和模型假设集计算各数据点的偏好概率，通过增大偏好概率在一定阈值区间的数据点的权重，来增加采样小结构模型实例内点的概率，进而减少大结构模型实例和离群点对采样的干扰；

E.用模型假设集的残差向量集，构建相似度矩阵，应用谱聚类技术对数据进行聚类，进而估计多结构模型实例。

在步骤A中，所述准备数据集的具体方法可为：输入N个数据点

模型实例数量M，内点噪声尺度σ。

在步骤B中，所述赋予数据集中每个数据点权重，循环执行步骤C-D，生成模型假设的具体方法可为：赋予每个数据点权重

循环执行步骤C-D，共n_H次，以生成n_H个模型假设

其中，n_H为所需的模型假设个数，其值根据所需结果的精度，由手工指定。

在步骤C中，所述从数据点中以权重采样数据点子集，并进行模型更新策略的具体方法可为：从输入数据X中以权重w采样

个点X_s，对于数据点子集X_s进行模型更新策略：在数据集中通过随机采样生成一个初始模型假设θ₀，并通过迭代方式更新模型假设，直到满足停止标准停止迭代，通过更新，可以得到一个良好的模型假设；

迭代步骤表示如下：

设θ_t是第t次迭代得到的模型假设，输入数据点

到θ_t的绝对残差

可用残差向量表示为：

将模型假设θ_t的残差向量r(θ_t)中的元素按升序排序以获得排序后的残差向量：

其中，{τ₁，...τ_N}是数据点对应的残差的排序标号，满足

接着，使用残差排序在第k位的数据点周围的点集来更新第t次迭代得到的模型假设θ_t，更新后的模型假设θ_t+1可以表示为：

其中，F(·)表示最小二乘拟合函数，p表示模型参数空间的维数，k表示待估计的模型实例的内点集最小基数。

重复执行公式(1)、(2)和(3)，直到满足停止标准，其计算方法如下：

其中，∈为步长，t为迭代次数的计数，II(·)为指示函数，α(·)表示评估模型假设质量的度量函数，鲁棒度量函数为：

其中，σ是内点噪声尺度，

是θ_t的内点集的基数，通过

计算获得，其中II(·)为指示函数。

公式(4)表示若获取当前最优模型假设后，在一定步长迭代内没有更好的模型假设，则迭代停止；由此，生成了一系列候选的模型假设

其中T为停止标准确定的迭代次数，将具有最高评估值的模型假设选取为最佳模型假设

并将其表示为：

其中，

是在模型假设更新中获得的最佳模型假设。

利用以上迭代步骤，选取到了最佳模型假设

后，将

加入模型假设集

在步骤C中，定义的参数k＝12；∈＝5。

在步骤D中，所述根据偏好概率公式和模型假设集计算各数据点的偏好概率，通过增大偏好概率在一定阈值区间的数据点的权重，来增加采样小结构模型实例内点的概率，进而减少大结构模型实例和离群点对采样的干扰的具体步骤可为：

引入偏好概率，数据点x_i的偏好概率写为：

其中，

表示模型假设集中的第j个模型假设，

表示点x_i到

的绝对残差，m表示假设更新轮数，归一化系数

首先，利用公式(7)与当前的模型假设集

计算各点的偏好概率；之后，通过增大偏好概率在一定阈值区间的数据点的权重，来增加采样小结构模型实例内点的概率，进而减少大结构模型实例和离群点对采样的干扰；采用EM算法(A.P.Dempster,N.M.Laird,D.B.Rubin.Maximum likelihood from incomplete data via the EMalgorithm.Journal of the Roya Statistical Society:Series B,1977,39(1):1–22.)来自动估计用于调整数据点权重的阈值，以取代手动的阈值设定；将偏好概率拟合为一维混合高斯模型，可表示为：

其中，第v个分量由具有权重π_v、均值μ_v和标准差σ_v的正态分布

表示；阈值β₁与β₂由下式计算：

其中，q∈{1，2}。

最后，提高偏好概率介于[β₁，β₂]的数据点的权重，并减少此区间外的数据点的权重，再进行加权采样以获得新的数据点子集，即调整偏好概率在[β₁，β₂]区间内的数据点X_w的权重

并对于点的权重w进行归一化。

在步骤E中，所述用模型假设集的残差向量集，构建相似度矩阵，应用谱聚类技术对数据进行聚类，进而估计多结构模型实例的具体方法可为：用模型假设集

的残差向量集

构建相似度矩阵G＝[g_uv]_N×N。其中，

最后，根据谱聚类技术，利用相似度矩阵G估计模型实例的参数

本发明提出一种基于偏好概率加权采样的模型拟合方法。提出一个模型假设更新策略以选取有效的模型假设。此外，提出一个偏好概率加权采样策略。根据数据点的偏好概率，利用内点与离群点呈现不同偏好概率模型来区分数据点，以动态调整数据点的权重来指导后续采样。该方法利用模型假设更新与偏好概率加权采样结合的方式来生成一系列模型假设。然后根据模型假设对应的残差集所构成的点与点的相似度矩阵，应用谱聚类技术对数据进行聚类，进而估计多结构模型实例。

相比现有的模型拟合方法，本发明的优点在于：(1)提出了一个模型假设更新策略，通过在更新过程中均衡评估模型假设的质量来选取有效的模型假设，以缓解数据不平衡的干扰。(2)提出了一个偏好概率加权采样策略。该策略有效利用了假设集的表征信息指导后续的采样过程。与以往的子采样策略不同，该策略通过引入偏好概率的统计信息以有效地区分内点与离群点，从而生成高质量的模型假设。

附图说明

图1为本发明在AdelaideRMF数据集中的Breadtoycar与Cube图像对进行基础矩阵估计的示例。这里只显示双视图中的一张。第一行的图片为真实的模型实例标签，第二行的图片为本发明所拟合的模型实例标签。

图2为本发明在SNU数据集中的Books与Jigsaws图像对进行仿射变换矩阵估计的示例。这里只显示双视图中的一张。第一行的图片为真实的模型实例标签，第二行的图片为本发明所拟合的模型实例标签。

具体实施方式

以下实施例将结合附图对本发明的方法作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了实施方式和具体操作过程，但本发明的保护范围不限于下述的实施例。

本发明实施例的实施方式包括以下步骤：

A.准备数据集；输入N个数据点

模型实例数量M，内点噪声尺度σ。

B.赋予每个数据点权重

循环执行步骤C-D，共n_H次，以生成n_H个模型假设

其中n_H为所需的模型假设个数，其值根据所需结果的精度，由手工指定。

C.从输入数据X中以权重w采样

个点X_s，对于数据点子集X_s进行模型更新策略：在数据集中通过随机采样生成一个初始模型假设θ₀，并通过迭代方式更新模型假设，直到满足停止标准停止迭代。通过更新，可以得到一个良好的模型假设。迭代步骤表示如下：

设θ_t是第t次迭代得到的模型假设，输入数据点

到θ_t的绝对残差

可用残差向量表示为：

将模型假设θ_t的残差向量r(θ_t)中的元素按升序排序以获得排序后的残差向量：

其中，{τ₁，...τ_N}是数据点对应的残差的排序标号，满足

接着，使用残差排序在第k位的数据点周围的点集来更新模型假设θ_t。更新后的模型假设θ_t+1可以表示为：

其中，F(·)表示最小二乘拟合函数，p表示模型参数空间的维数，k表示待估计的模型实例的内点集最小基数。

重复执行公式(1)、(2)和(3)，直到满足停止标准。其计算方法如下：

其中，∈为步长，t为迭代次数的计数，II(·)为指示函数。其中，α(·)表示评估模型假设质量的度量函数。本发明提出了一个新的鲁棒度量函数，该函数可表示为：

其中，σ是内点噪声尺度，

是θ_t的内点集的基数，通过

计算获得，其中II(·)为指示函数。

公式(4)表示若获取当前最优模型假设后，在一定步长迭代内没有更好的模型假设，则迭代停止。由此，生成了一系列候选的模型假设

其中T为停止标准确定的迭代次数。因此，将具有最高评估值的模型假设选取为最佳模型假设

并将其表示为：

其中，

是在模型假设更新中获得的最佳模型假设。

利用以上迭代步骤，选取到了最佳模型假设

后，将

加入模型假设集

D.引入偏好概率，数据点x_i的偏好概率可以写为：

其中，

表示模型假设集中的第j个模型假设，

表示点x_i到

的绝对残差，m表示假设更新轮数，归一化系数

首先，利用公式(7)与当前的模型假设集

计算各点的偏好概率。之后，通过增大偏好概率在一定阈值区间的数据点的权重，来增加采样小结构模型实例内点的概率，进而减少大结构模型实例和离群点对采样的干扰。采用EM算法(A.P.Dempster,N.M.Laird,D.B.Rubin.Maximum likelihood from incomplete data via the EMalgorithm.Journal of the Roya Statistical Society:Series B,1977,39(1):1–22.)来自动估计用于调整数据点权重的阈值，以取代手动的阈值设定。将偏好概率拟合为一维混合高斯模型，可表示为：

其中，第v个分量由具有权重π_v、均值μ_v和标准差σ_v的正态分布

表示。阈值β₁与β₂可由下式计算：

其中，q∈{1，2}。

最后，提高偏好概率介于[β₁，β₂]的数据点的权重，并减少此区间外的数据点的权重，再进行加权采样以获得新的数据点子集，即调整偏好概率在[β₁，β₂]区间内的数据点X_w的权重

并对于点的权重w进行归一化。

E.用模型假设集

的残差向量集

构建相似度矩阵G＝[g_uv]_N×N。其中，

最后，根据谱聚类技术，利用相似度矩阵G估计模型实例的参数

图1是本发明在AdelaideRMF数据集中的Breadtoycar与Cube图像对进行基础矩阵估计的示例。这里只显示双视图中的一张。第一行的图片为真实的模型实例标签，第二行的图片为本发明所拟合的模型实例标签。

图2是本发明在SNU数据集中的Books与Jigsaws图像对进行仿射变换矩阵估计的示例。这里只显示双视图中的一张。第一行的图片为真实的模型实例标签，第二行的图片为本发明所拟合的模型实例标签。

本发明与其它几种流行的模型拟合方法在AdelaideRMF数据集上进行基础矩阵估计拟合的平均误差与耗时对比见表1。参与对比的方法为：KF、T-Linkage、RCMSA与CBS。本发明(Ours)在实验中获得了最低的平均拟合误差与耗时。

表1

本发明与其它几种流行的模型拟合方法在SNU数据集上进行仿射变换矩阵估计拟合的平均误差与耗时对比见表2。参与对比的方法为：KF、T-Linkage、RCMSA与CBS。本发明(Ours)在实验中获得了最低的平均拟合误差与耗时。

表2

KF对应于T.J.Chin,H.Wang,D.Suter.Robust fitting of multiplestructures:The statistical learning approach.IEEE International Conference onComputer Vision,2009,413–420.

RCMSA对应于T.T.Pham,T.J.Chin,J.Yu,D.Suter.The random cluster modelfor robust geometric fitting.IEEE Transactions on Pattern Analysis andMachine Intelligence,2014,36(8):1658–1671.

T-Linkage对应于L.Magri,A.Fusiello.T-linkage:A continuous relaxationof J-linkage for multi-model fitting,IEEE Conference on Computer Vision andPattern Recognition,2014,3954–3961.

CBS对应于R.Tennakoon,A.Sadri,R.Hoseinnezhad,A.B.Hadiashar.Effectivesampling:Fast segment-ationusing robust geometric model fitting.IEEETransactions on Image Processing,2018,27(9):4182–4194。

综上，与当前主流的模型拟合方法相比，本发明的拟合精度与速度上的性能有所提升。本发明提出一种基于偏好概率加权采样的鲁棒模型拟合方法。该发明首先提出了一个模型假设更新策略，通过在更新过程中均衡评估模型假设的质量来选取有效的模型假设，以缓解数据不平衡的干扰。然后提出了一个偏好概率加权采样策略。该策略有效利用了假设集的表征信息指导后续的采样过程。与以往的子采样策略不同，该策略通过引入偏好概率的统计信息以有效地区分内点与离群点，提高对小结构模型实例的采样精度，缓解数据不平衡的干扰，从而生成高质量的模型假设。

Claims (6)

1.一种基于偏好概率加权采样的鲁棒模型拟合方法，其特征在于包括以下步骤：

A.准备AdelaideRMF和SNU数据集；

B.赋予数据集中每个数据点权重，循环执行步骤C-D，生成模型假设；

C.从数据点中以权重采样数据点子集，并进行模型更新策略，在数据集中通过随机采样生成一个初始模型假设，并通过迭代方式更新模型假设，直到满足停止标准停止迭代，通过更新，选取得到最佳模型假设并加入模型假设集；

D.根据偏好概率公式和模型假设集计算各数据点的偏好概率，通过增大偏好概率在一定阈值区间的数据点的权重，来增加采样小结构模型实例内点的概率，进而减少大结构模型实例和离群点对采样的干扰，具体步骤为：

引入偏好概率，数据点x_i的偏好概率写为：

其中，

表示模型假设集中的第j个模型假设，

表示点x_i到

的绝对残差，m表示假设更新轮数，归一化系数

σ表示内点噪声尺度；

首先，利用公式(7)与当前的模型假设集

计算各点的偏好概率；之后，通过增大偏好概率在一定阈值区间的数据点的权重，来增加采样小结构模型实例内点的概率，进而减少大结构模型实例和离群点对采样的干扰；采用EM算法来自动估计用于调整数据点权重的阈值，以取代手动的阈值设定；将偏好概率拟合为一维混合高斯模型，表示为：

其中，第v个分量由具有权重π_v、均值μ_v和标准差σ_v的正态分布

表示；

接下来定义两个阈值β₁与β₂，由下式计算：

其中，q∈{1，2}；

最后，提高偏好概率介于[β₁，β₂]的数据点的权重，并减少此区间外的数据点的权重，再进行加权采样以获得新的数据点子集，即调整偏好概率在[β₁，β₂]区间内的数据点X_w的权重

并对于点的权重w进行归一化；

E.用模型假设集的残差向量集，构建相似度矩阵，应用谱聚类技术对数据进行聚类，进而估计多结构模型实例。

2.如权利要求1所述一种基于偏好概率加权采样的鲁棒模型拟合方法，其特征在于在步骤A中，所述准备数据集的具体方法为：输入N个数据点

模型实例数量M，内点噪声尺度σ。

3.如权利要求2所述一种基于偏好概率加权采样的鲁棒模型拟合方法，其特征在于在步骤B中，所述赋予数据集中每个数据点权重，循环执行步骤C-D，生成模型假设的具体方法为：赋予每个数据点权重

循环执行步骤C-D，共n_H次，以生成n_H个模型假设

其中，n_H为所需的模型假设个数，其值根据所需结果的精度，由手工指定。

4.如权利要求3所述一种基于偏好概率加权采样的鲁棒模型拟合方法，其特征在于在步骤C中，所述从数据点中以权重采样数据点子集，并进行模型更新策略的具体方法为：从输入数据X中以权重w采样

个点X_s，对于数据点子集X_s进行模型更新策略：在数据集中通过随机采样生成一个初始模型假设θ₀，并通过迭代方式更新模型假设，直到满足停止标准停止迭代，通过更新，得到一个良好的模型假设；

迭代步骤表示如下：

设θ_t是第t次迭代得到的模型假设，输入数据点

到θ_t的绝对残差

用残差向量表示为：

将模型假设θ_t的残差向量r(θ_t)中的元素按升序排序以获得排序后的残差向量：

其中，{τ₁，...τ_N}是数据点对应的残差的排序标号，满足

a∈[1，2，...，N]，b∈[1，2，...，N]；

接着，使用残差排序在第k位的数据点周围的点集来更新第t次迭代得到的模型假设θ_t，更新后的模型假设θ_t+1表示为：

其中，F(·)表示最小二乘拟合函数，p表示模型参数空间的维数，k表示待估计的模型实例的内点集最小基数；

重复执行公式(1)、(2)和(3)，直到满足停止标准，其计算方法如下：

其中，∈为步长，t为迭代次数的计数，II(·)为指示函数，α(·)表示评估模型假设质量的度量函数，鲁棒度量函数为：

其中，σ是内点噪声尺度，

是θ_t的内点集的基数，通过

计算获得，其中

为指示函数；

公式(4)表示若获取当前最优模型假设后，在一定步长迭代内没有更好的模型假设，则迭代停止；由此，生成了一系列候选的模型假设

其中T为停止标准确定的迭代次数，将具有最高评估值的模型假设选取为最佳模型假设

并将其表示为：

其中，

是在模型假设更新中获得的最佳模型假设；

利用以上迭代步骤，选取到了最佳模型假设

后，将

加入模型假设集

5.如权利要求4所述一种基于偏好概率加权采样的鲁棒模型拟合方法，其特征在于在步骤C中，定义的参数k＝12；∈＝5。

6.如权利要求5所述一种基于偏好概率加权采样的鲁棒模型拟合方法，其特征在于在步骤E中，所述用模型假设集的残差向量集，构建相似度矩阵，应用谱聚类技术对数据进行聚类，进而估计多结构模型实例的具体方法为：用模型假设集

的残差向量集

构建相似度矩阵G＝[g_uv]_N×N；其中：

根据谱聚类技术，利用相似度矩阵G估计模型实例的参数

Images