CN104835174A - 基于超图模式搜索的鲁棒模型拟合方法 - Google Patents

Abstract

基于超图模式搜索的鲁棒模型拟合方法，涉及计算机视觉技术。准备数据集；建立超图模型G＝(V,E)，一个模型假设对应于超图中的一个顶点v，数据点则对应一条超边e：让每个顶点连接相应模型假设的内点，即超边；采用无参核密度估计方法评估每个顶点v的权重分数w(v)，自此，模型拟合问题便转化为在超图中模式搜索问题；提出通过在超图中搜索权重波峰进行模式搜索；通过搜索到的模式和超图模型，确定每个结构的内点和参数；根据每个结构的参数和内点，对图像进行分割，完成模型拟合。能够缓解对数据分布的敏感性，建立的超图不需要任何的转化，可以直接被应用于模式搜索。

Description

基于超图模式搜索的鲁棒模型拟合方法

技术领域

本发明涉及计算机视觉技术，具体是涉及一种基于超图模式搜索的鲁棒模型拟合方法。

背景技术

随着科学技术的发展，我们的生活越来越离不开计算机视觉的理论和算法的发展。如何从图像中提取有效的信息，即计算机识别图像，对计算机视觉的发展有非常重要的影响。参数模型是图像信息的有效表示方式，而模型拟合方法能够有效地从观测数据中估计恰当的模型参数。

在近10年中，模型拟合方法已经被广泛应用于计算机视觉领域中，如，运动分割、图像拼接、光流计算、单应估计、基础矩阵估计等。在模型拟合方法中，其中一种比较流行的方法是Random Sample Consensus(RANSAC)(M.A.Fischler and R.C.Bolles.Random sampleconsensus:a paradigm for model fitting with applications to image analysis andautomated cartography.Comm.ACM,24(6):381–395,1981)。RANSAC方法能够从含有高比例野点的数据中有效地拟合出模型，其主要步骤包括如下：1)通过随机采样生成一定数目的模型假设；2)统计生成的模型假设的内点数目，认为内点数最高的为拟合的模型。然而，RANSAC方法对内点尺度估计比较敏感，并且每次只能拟合单一模型。许多高效的模型拟合方法被提出用于估计多结构模型，如J-linkage(R.Toldo and A.Fusiello.Robust multiplestructures estimation with j-linkage.In ECCV,pages 537–547.2008)，KF(T.-J.Chin,H.Wang,and D.Suter.Robust fitting of multiple structures:The statistical learningapproach.In ICCV,pages 413–420,2009)，AKSWH(H.Wang,T.-J.Chin,and D.Suter.Simultaneously fitting and segmenting multiple-structure data with outliers.IEEETrans.PAMI,34(6):1177–1192,2012)，T-linkage(L.Magri and A.Fusiello.T-linkage:A continuous relaxation of j-linkage for multi-model fitting.In CVPR,pages3954–3961,2014)，等等。

鉴于超图能够有效表示复杂关系，最近基于超图的方法也被用于解决模型拟合问题，如H.Liu等人提出使用随机一致性超图RCG来拟合多结构模型(H.Liu and S.Yan.Efficientstructure detection via random consensus graph.In CVPR,pages 574–581,2012)，P.Purkait等人提出使用含有大超边的超图处理人脸聚类和运动分割问题(P.Purkait,T.-J.Chin,H.Ackermann,and D.Suter.Clustering with hypergraphs:the case for largehyperedges.In ECCV,pages 672–687,2014)，等等。

当前存在的模型拟合方法在处理真实数据中还存在着大量的问题：基于聚类的拟合方法(如KF和J-linkage)对数据分布比较敏感，因而不适合处理不平衡数据问题。此外该类方法无法有效地处理那些处于两个模型交接出的数据点。基于超图的拟合方法(如RCG)经常需要将超图映射到简单图中，而这将会造成信息损失。其他方法(如AKSWH和T-linkage)同样存在一些问题，如AKSWH在选择一些有意义的模型假设时经常把对应真实结构中的假设去除，T-linkage通过层次聚类往往会造成时间复杂度偏高，不适合处理大数据。

发明内容

本发明的目的在于提供一种基于超图模式搜索的鲁棒模型拟合方法。

本发明包括以下步骤：

A.准备数据集；

B.建立超图模型G＝(V,E)(一个模型假设对应于超图中的一个顶点v，数据点则对应一条超边e)：让每个顶点连接相应模型假设的内点，即超边；

C.采用无参核密度估计方法评估每个顶点v的权重分数w(v)，自此，模型拟合问题便转化为在超图中模式搜索问题；

D.提出通过在超图中搜索“权重波峰”进行模式搜索；

E.通过搜索到的模式和超图模型，确定每个结构的内点和参数；

F.根据每个结构的参数和内点，对图像进行分割，完成模型拟合。

在步骤A中，所述准备数据集的具体方法可为：采用SIFT特征提取算法提取图像的特征，得到X＝{x_i}_{i＝1,2,...,N}，N为数据总数，N为自然数。

在步骤B中，所述建立超图模型G＝(V,E)的具体方法可为：

B1.从数据集中随机采样一定数目的最小子集，其中，一个最小子集是指估计一个模型所需的最小数据集，如估计平面需要四个点，估计基础矩阵需要7个或8个点等；

B2.评估每个最小子集的模型假设参数；

B3.采用内点尺度估计子估计每个模型假设θ的内点尺度s

B4.根据每个模型假设θ的内点尺度估算属于该假设的内点数据：数据点x满足即为该假设θ的内点，其中r_x(θ)为数据点x到假设θ的距离(可用sampson距离来度量)；

B5.根据一个模型假设θ对应于超图中的一个顶点v和一个数据点x则对应一条超边e，建立超图模型G＝(V,E)，使得每个顶点连接到多条超边(对应各自的内点数据)，并用关联矩阵H来表示顶点与超边之间的关系，若v∈e，则h(v,e)＝1；反之，h(v,e)＝0。

在步骤C中，所述评估每个顶点v的权重分数w(v)的方法可为：利用无参核密度估计方法评估每个顶点v的权重，为了减弱野点对权重的影响，提高权重评估的鲁棒性，提出只考虑每个假设的内点数据的残差信息，权重公式如下：

式中，δ(v)＝∑_e∈Eh(v,e)为顶点v的度，为核函数(如Epanechnikov核)，b(v)为宽度。

在步骤D中，所述在超图中搜索“权重波峰”进行模式搜索的具体方法可为：

D1.基于每个顶点v的权重分数w(v)，通过在超图G＝(V,E)采样顶点生成新的超图G′＝(V′,E′),即每个顶点被采样的概率为w(v)/∑_v∈Vw(v)；

D2.计算超图G′中每个顶点v的偏好函数：

式中，T为阈值(T一般被设为2.5来包含高斯分布的98％的内点)，根据超图框架，该式可被重写：

$C\left(v\right)=h(v,e)\exp \{-\frac{r_e\left(v\right)}{\hat{s}\left(v\right)}\},\∀e\∈E^{\′}$

D3.基于偏好函数，计算超图G′中任意两个顶点(v_p和v_q)之间的相似性：

$D\left(v_{p,}{v}_q\right)=1=\frac{<C\left(v_p\right),C\left(v_q\right)>}{{\left|\right|C\left(v_p\right)\left|\right|}^2+{\left|\right|C\left(v_q\right)\left|\right|}^2-<C\left(v_p\right),C\left(v_q\right)>}$

式中，||·||和<·,·>分别表示相应的规范范式和标准内积；

D4.评估超图G′中每个顶点v的独特性分数：

${\mathrm{\&eta;}}_{\min }^v=\underset{v_i\&Element;\mathrm{\&Omega;}\left(v\right)}{\min }\left\{D(v,v_i)\right\}$

式中，Ω(v)＝{v_i|v_i∈V′,w(v_i)＞w(v)}包含所有权重比顶点v大的顶点集；

D5.根据顶点的独特性分数对超图G′中每个顶点进行排序，即满足：

D6.通过排序后的独特性分数寻找超图G′的“权重波峰”(我们定义超图中拥有局部或者全局权重分数最大值的顶点为权重波峰)，即找到满足到为最大落差的顶点v_i，然后去除独特性分数小于的所有顶点；

D7.剩下的顶点即为检测到的模式。

在步骤E中，所述确定每个结构的内点和参数的具体方法可为：通过检测到的模式即可得到其相应的顶点(也是模型假设)，而通过超图模型可以得到与该顶点相连接的超边(也是内点)。

本发明首先通过采样方法生成一定数目的模型假设并估计每个假设的内点尺度估计，然后基于生成的模型假设和相应内点数据建立超图模型，接着在超图模型中进行模式搜索，最后通过检测到的模式选择模型及其内点，完成模型拟合。

本发明通过建立一种超图模型有效地表示数据点和模型假设之间的复杂关系，将模型拟合问题看作成在超图中模式搜索问题。此外，本发明还包括一种有效的模式搜索算法。该搜索算法通过分析顶点之间的相似性寻找权重波峰，能够直观地有效地检测出模式。最后通过超图模型和检测到的模式鉴别数据中真实结构和内点数据。本发明提出的鲁棒模型拟合方法是一种基于参数空间的拟合方法，能够缓解对数据分布的敏感性。本发明建立的超图不需要任何的转化，可以直接被应用于模式搜索。另外，本发明中的模式搜索算法能够处理大尺度问题，可以被推广并应用于其他领域。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例的超图示意图(包含三条超边和八个顶点，其中正方形表示超边，圆表示顶点)。

图3为本发明在H.S.Wong提供的AdelaideRMF数据集(H.S.Wong,T.-J.Chin,J.Yu,and D.Suter.Dynamic and hierarchical multi-structure geometric model fitting.In ICCV,pages 1044–1051,2011)进行单应性估计(其中D1～D7分别表示Elderhalla，Elderhallb,Hartley,Library,Sene,Neem and Johnsona)。第一排为真实结构分割结果，第二排为本发明的分割结果。

具体实施方式

下面结合附图和实施例对本发明的方法作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了实施方式和具体操作过程，但本发明的保护范围不限于下述的实施例。

参见图1，本发明实施例的实施方式包括以下步骤：

S1.准备数据集。

具体包括：采用SIFT特征提取算法提取图像的特征，得到X＝{x_i}_{i＝1,2,...,N}，N为数据总数，N为自然数。

S2.建立超图模型G＝(V,E)(如图2，一个模型假设对应于超图中的一个顶点v，数据点则对应一条超边e，超图关联矩阵参见表1。)：让每个顶点连接相应模型假设的内点，即超边。

具体包括：从数据集中随机采样一定数目的最小子集，其中，一个最小子集是指估计一个模型所需的最小数据集，如估计平面需要四个点，估计基础矩阵需要七个或八个点，等等。

评估每个最小子集的模型假设参数。

表1

	e1	e2	e3
				v1	1	0	0
v2	1	1	0
				v3	0	1	0
v4	0	1	1
				v5	0	0	1
v6	0	0	1
				v7	1	0	1
v8	1	0	0

采用内点尺度估计子估计每个模型假设θ的内点尺度

根据每个模型假设θ的内点尺度估算属于该假设的内点数据：数据点x满足即为该假设θ的内点，其中r_x(θ)为数据点x到假设θ的距离(可用sampson距离来度量)。

根据一个模型假设θ对应于超图中的一个顶点v和一个数据点x则对应一条超边e，建立超图模型G＝(V,E)，使得每个顶点连接到多条超边(对应各自的内点数据)，并用关联矩阵H来表示顶点与超边之间的关系，即h(v,e)＝1若v∈e；反之，h(v,e)＝0。

S3.采用无参核密度估计方法评估每个顶点v的权重分数w(v)。自此，模型拟合问题便转化为在超图中模式搜索问题。

具体包括：利用无参核密度估计方法评估每个顶点v的权重，为了减弱野点对权重的影响，提高权重评估的鲁棒性，提出只考虑每个假设的内点数据的残差信息，权重公式如下：

式中，δ(v)＝∑_e∈Eh(v,e)为顶点v的度，为核函数(如Epanechnikov核)，b(v)为宽度。

S4.提出通过在超图中搜索“权重波峰”进行模式搜索。

具体包括：基于每个顶点v的权重分数w(v)，通过在超图G＝(V,E)采样顶点生成新的超图G′＝(V′,E′),即每个顶点被采样的概率为w(v)/∑_v∈Vw(v)。

计算超图G′中每个顶点v的偏好函数：

式中，T为阈值(T一般被设为2.5来包含高斯分布的98％的内点)。根据超图框架，该式可被重写：

$C\left(v\right)=h(v,e)\exp \{-\frac{r_e\left(v\right)}{\hat{s}\left(v\right)}\},\&ForAll;e\&Element;E^{\&prime;}$

基于偏好函数，计算超图G′中任意两个顶点(v_p和v_q)之间的相似性：

$D\left(v_{p,}{v}_q\right)=1=\frac{<C\left(v_p\right),C\left(v_q\right)>}{{\left|\right|C\left(v_p\right)\left|\right|}^2+{\left|\right|C\left(v_q\right)\left|\right|}^2-<C\left(v_p\right),C\left(v_q\right)>}$

式中，||·||和<·,·>分别表示相应的规范范式和标准内积。

评估超图G′中每个顶点v的独特性分数:

${\mathrm{\&eta;}}_{\min }^v=\underset{v_i\&Element;\mathrm{\&Omega;}\left(v\right)}{\min }\left\{D(v,v_i)\right\}$

式中，Ω(v)＝{v_i|v_i∈V′,w(v_i)＞w(v)}包含所有权重比顶点v大的顶点集。

根据顶点的独特性分数对超图G′中每个顶点进行排序，即满足：

通过排序后的独特性分数寻找超图G′的“权重波峰”(我们定义超图中拥有局部或者全局权重分数最大值的顶点为权重波峰)，即找到满足到为最大落差的顶点v_i，然后去除独特性分数小于的所有顶点。

剩下的顶点即为检测到的模式。

S5.通过搜索到的模式和超图模型，确定每个结构的内点和参数。

具体包括：通过检测到的模式即可得到其相应的顶点(也是模型假设)，而通过超图模型可以得到与该顶点相连接的超边(也是内点)。

S6.根据每个结构的参数和内点，对图像进行分割，完成模型拟合。

图3给出本发明在H.S.Wong提供的AdelaideRMF数据集(H.S.Wong,T.-J.Chin,J.Yu,and D.Suter.Dynamic and hierarchical multi-structure geometric model fitting.In ICCV,pages 1044–1051,2011)进行单应性估计(其中D1～D7分别表示Elderhalla，Elderhallb,Hartley,Library,Sene,Neem and Johnsona)。第一排为真实结构分割结果，第二排为本发明的分割结果。

本发明与其它几种模型拟合方法在AdelaideRMF数据集对比的平均错误率参见表2。

表2

其中，M1、M2、M3、M4和M5共五个方法分别对应的是T.-J.Chin等提出的方法(T.-J.Chin,H.Wang,and D.Suter.Robust fitting of multiple structures:The statisticallearning approach.In ICCV,pages 413–420,2009)、H.Liu等提出的方法(H.Liu andS.Yan.Efficient structure detection via random consensus graph.In CVPR,pages574–581,2012.)、H.Wang等提出的方法(H.Wang,T.-J.Chin,and D.Suter.Simultaneously fitting and segmenting multiple-structure data with utliers.IEEETrans.PAMI,34(6):1177–1192,2012)、L.Magri等提出的方法(L.Magri and A.Fusiello.T-linkage:A continuous relaxation of j-linkage for multi-model fitting.In CVPR,pages 3954–3961,2014)和本发明的方法。

Claims (7)

1.基于超图模式搜索的鲁棒模型拟合方法，其特征在于包括以下步骤：

A.准备数据集；

B.建立超图模型G＝(V,E)：让每个顶点连接相应模型假设的内点，即超边；所述超图模型G＝(V,E)中一个模型假设对应于超图中的一个顶点v，数据点则对应一条超边e；

C.采用无参核密度估计方法评估每个顶点v的权重分数w(v)，自此，模型拟合问题便转化为在超图中模式搜索问题；

D.提出通过在超图中搜索“权重波峰”进行模式搜索；

E.通过搜索到的模式和超图模型，确定每个结构的内点和参数；

F.根据每个结构的参数和内点，对图像进行分割，完成模型拟合。

2.如权利要求1所述基于超图模式搜索的鲁棒模型拟合方法，其特征在于在步骤A中，所述准备数据集的具体方法为：采用SIFT特征提取算法提取图像的特征，得到X＝{x_i}_{i＝1,2,...,N}，N为数据总数，N为自然数。

3.如权利要求1所述基于超图模式搜索的鲁棒模型拟合方法，其特征在于在步骤B中，所述建立超图模型G＝(V,E)的具体方法为：

B1.从数据集中随机采样一定数目的最小子集，其中，一个最小子集是指估计一个模型所需的最小数据集，如估计平面需要四个点，估计基础矩阵需要7个或8个点；

B2.评估每个最小子集的模型假设参数；

B3.采用内点尺度估计子估计每个模型假设θ的内点尺度

B4.根据每个模型假设θ的内点尺度估算属于该假设的内点数据：数据点x满足即为该假设θ的内点，其中r_x(θ)为数据点x到假设θ的距离，所述r_x(θ)用sampson距离度量；

B5.根据一个模型假设θ对应于超图中的一个顶点v和一个数据点x则对应一条超边e，建立超图模型G＝(V,E)，使得每个顶点连接到多条超边，并用关联矩阵H来表示顶点与超边之间的关系，若v∈e，则h(v,e)＝1；反之，h(v,e)＝0。

4.如权利要求1所述基于超图模式搜索的鲁棒模型拟合方法，其特征在于在步骤C中，所述评估每个顶点v的权重分数w(v)的方法为：利用无参核密度估计方法评估每个顶点v的权重，为了减弱野点对权重的影响，提高权重评估的鲁棒性，提出只考虑每个假设的内点数据的残差信息，权重公式如下：

式中，δ(v)＝Σ_e∈Eh(v,e)为顶点v的度，为核函数，b(v)为宽度。

5.如权利要求4所述基于超图模式搜索的鲁棒模型拟合方法，其特征在于所述核函数为Epanechnikov核。

6.如权利要求1所述基于超图模式搜索的鲁棒模型拟合方法，其特征在于在步骤D中，所述在超图中搜索“权重波峰”进行模式搜索的具体方法为：

D1.基于每个顶点v的权重分数w(v)，通过在超图G＝(V,E)采样顶点生成新的超图G′＝(V′,E′),即每个顶点被采样的概率为w(v)/Σ_v∈Vw(v)；

D2.计算超图G′中每个顶点v的偏好函数：

式中，T为阈值，根据超图框架，该式被重写为：

$C\left(v\right)=h(v,e)\exp \{-\frac{r_e\left(v\right)}{\hat{s}\left(v\right)}\},\&ForAll;e\&Element;E^{\&prime;}$

所述T被设为2.5来包含高斯分布的98％的内点；

D3.基于偏好函数，计算超图G′中任意两个顶点(v_p和v_q)之间的相似性：

$D(v_p,v_q)=1-\frac{<C\left(v_p\right),C\left(v_q\right)>}{{\left|\right|C\left(v_p\right)\left|\right|}^2+{\left|\right|C\left(v_q\right)\left|\right|}^2-<C\left(v_p\right),C\left(v_q\right)>}$

式中，||·||和<·，·>分别表示相应的规范范式和标准内积；

D4.评估超图G′中每个顶点v的独特性分数：

${\mathrm{\&eta;}}_{\min }^v=\underset{v_i\&Element;\mathrm{\&Omega;}\left(v\right)}{\min }\left\{D(v,v_i)\right\}$

式中，Ω(v)＝{v_i|v_i∈V′,w(v_i)＞w(v)}包含所有权重比顶点v大的顶点集；

D5.根据顶点的独特性分数对超图G′中每个顶点进行排序，即满足：

D6.通过排序后的独特性分数寻找超图G′的“权重波峰”，即找到满足到为最大落差的顶点v_i，然后去除独特性分数小于的所有顶点；

D7.剩下的顶点即为检测到的模式。

7.如权利要求1所述基于超图模式搜索的鲁棒模型拟合方法，其特征在于在步骤E中，所述确定每个结构的内点和参数的具体方法为：通过检测到的模式即可得到其相应的顶点，而通过超图模型可以得到与该顶点相连接的超边。