CN105913423B - 一种基于超像素的确定性模型拟合方法 - Google Patents
一种基于超像素的确定性模型拟合方法 Download PDFInfo
- Publication number
- CN105913423B CN105913423B CN201610214978.7A CN201610214978A CN105913423B CN 105913423 B CN105913423 B CN 105913423B CN 201610214978 A CN201610214978 A CN 201610214978A CN 105913423 B CN105913423 B CN 105913423B
- Authority
- CN
- China
- Prior art keywords
- model
- super
- pixel
- hypothesis
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000011218 segmentation Effects 0.000 claims abstract description 15
- 238000010187 selection method Methods 0.000 claims abstract description 8
- 238000005070 sampling Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 abstract description 5
- 239000000284 extract Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于超像素的确定性模型拟合方法，涉及计算机视觉技术。包括以下步骤：A.准备数据集；B.对图片进行超像素分割；C.通过分析超像素信息，对输入的数据进行预分组，以降低算法搜索时间复杂度；D.在数据集的分组信息基础上，提出一种确定性生成假设方法；E.提出一种模型选择方法，每次选取最佳模型假设，同时去除多余模型假设；F.根据选取的每个模型实例，区分内点与野点，完成模型拟合。能提取超像素分割的有效信息，以确定性地生成高质量的模型假设。有效避免当前模型选择方法对内点尺度的敏感性。能确定地处理多结构模型数据，而且不需大量的迭代优化，从而保证方法高效性。
Description
技术领域
本发明涉及计算机视觉技术，具体是涉及一种基于超像素的确定性模型拟合方法。
背景技术
计算机视觉是计算机重要的组成部分，它的发展与我们的生活已息息相关。如何让计算机快速有效地获取场景信息，显然是一个基础任务。而模型拟合是基于观测数据拟合参数，将场景信息提炼成数字信息传送到计算机中。
当前，模型拟合方法在很多方面都有了比较成功的运用，比如，运动分割、图像拼接、光流计算、单应估计、基础矩阵估计等。在这些方法中，比较典型的例子是RandomSample Consensus(RANSAC)(M.A.Fischler and R.C.Bolles.Random sample consensus:a paradigm for model fitting with applications to image analysis andautomated cartography.Comm.ACM,24(6):381–395,1981)。RANSAC拟合方法能够处理含有高比例野点的数据，其主要步骤包括：1)通过随机采样生成大量模型假设；2)通过人工设定内点尺度，计算每个模型假设的内点数目，并选择内点数最多的模型假设为模型实例。基于随机采样，大量的鲁棒拟合方法被提出来，如，gpbM(S.Mittal,S.Anand,andP.Meer.Generalized projection-based m-estimator.IEEE Trans.PAMI,34(12):2351–2364,2012)，SCAMS(Z.Li,L.-F.Cheong,and S.Z.Zhou.Scams:simultaneous clusteringand model selection.In CVPR,pages 264–271.IEEE,2014)，RCG(H.Liu andS.Yan.Efficient structure detection via random consensus graph.In CVPR,pages574–581,2012)，PEaRL(H.Isack and Y.Boykov.Energy based multi-model fitting&matching for 3d reconstruction.In CVPR,pages 1146–1153.IEEE,2014)，等。
然而，随机算法需要大量的样本，否则，对过程和结果是不可预测的，无规律可寻的。当前有些研究者提出了全局性优化来保证结果的确定性，如，Li(H.Li.Consensus setmaximization with guaranteed global optimality for robust geometryestimation.In ICCV,pages 1074–1080.IEEE,2009)提出将拟合问题转化成一个混合整数规划问题，然后用松弛化来确定性地解决模型拟合问题；Lee等(K.H.Lee andS.W.Lee.Deterministic fitting of multiple structures using iterative maxfswith inlier scale estimation.In ICCV,pages 41–48.IEEE,2013)提出使用最大可行性子系统框架来确定性生产模型假设；Litman等(R.Litman,S.Korman,A.Bronstein,andS.Avidan.Inverting ransac:Global model detection via inlier rateestimation.In CVPR,pages 5243–5251,2015)提出基于内点尺度的全局优化转换来确定性处理拟合问题；Chin等(T.-J.Chin,P.Purkait,A.Eriksson,and D.Suter.Efficientglobally optimal consensus maximisation with tree search.In CVPR,pages 2413–2421,2015)提出将拟合问题转化为树搜索问题，并用Astar搜索来全局优化问题。
当前的确定性算法初步保证了结果的确定性，然而，全局性优化存在的时间复杂度太高的问题依然存在，尤其是内点数目比较稀少或者整体数据点较高时，时间复杂度问题会更加突出。此外，当前的确定性算法大部分是针对单结构数据。
发明内容
本发明的目的在于提供一种基于超像素的确定性模型拟合方法。
本发明包括以下步骤：
A.准备数据集；
B.对图片进行超像素分割；
C.通过分析超像素信息，对输入的数据进行预分组，以降低算法搜索时间复杂度；
D.在数据集的分组信息基础上，提出一种确定性生成假设方法；
E.提出一种模型选择方法，每次选取最佳模型假设，同时去除多余模型假设；
F.根据选取的每个模型实例，区分内点与野点，完成模型拟合。
在步骤A中，所述准备数据集的具体方法如下：
A1.采用SIFT特征提取算法和匹配算法获取图像的匹配对，得到 为数据总数，为自然数。
在步骤B中，所述对图片进行超像素分割的具体方法为：
B1.使用当前流行的超像素分割方法，对输入的两张图片均做超像素分割，得到区域一致性信息。
在步骤C中，所述对输入的数据进行预分组的具体方法为：
C1.处于同一个超像素的每个匹配对被分在同一组中，认为他们比较大的概率来自同一个模型实例。
在步骤D中，所述确定性生成假设方法的具体方法为：
D1.根据以下公式，合并相邻的分组以扩大采样区域：
Gi＝{Gj|Gj∈N(Gi)}∪Gi
式中，N(Gi)是Gi的所有邻居分组，即在2S′×2S′区域内所有分组；其中，S′是一个网格间隔，设定为其中，N和M分别表示像素和超像素的数量，均为自然数；
D2.通过SIFT匹配计算每个数据点(即匹配对)的匹配分数；
D3.根据匹配分数对每个分组内的所有数据集(ni为第i个分组内的匹配对数目，ni为自然数)进行排序，得到一组排序号排序规则如下：
式中，和分别表示第i个分组xiu和xiv的排序索引；
D4.根据最小采样子集原则，对于每个分组，提取排序最前面的p+2数据点，即其中p表示生成一个模型假设所需的最小子集数目；
D5.根据采样到的子集，评估每个子集的模型假设参数，生成模型假设集θ。
在步骤E中，所述模型选择方法的具体步骤为：
E1.在模型假设集θ，选取含有内点数目最大的模型假设θi；
E2.根据模型假设θi，根据以下公式判定是否为多余模型假设：
式中，b(θj)为模型假设θj的采样子集，d(θi)为模型假设θi的内点集合，b(θj)∩d(θi)用于判定模型假设θj的采样子集是否有成员属于模型假设θi的内点集合，若属于，则被认为是多余的模型假设；
E3.去除多余的模型假设
E4.回到步骤E1，直到找到所有数据集中模型实例。
本发明针对确定性算法，提出一种基于超像素的模型拟合方法。本发明首先用超像素分割图片，然后利用超像素的分组信息提出一种确定性模型假设生成方法，接着提出一种新型的模型选择框架，最后通过选择的模型实例分割图像，完成模型拟合。超像素能够根据区域一致性的分组信息来刻画匹配对。该拟合方法能够提取超像素分割的有效信息，以确定性地生成高质量的模型假设。此外，本发明还包含一种新型的模型选择框架，能够快速高效地提取有效的模型实例。该模型选择框架有效避免了当前模型选择方法对内点尺度的敏感性。整体上，本发明能够确定地处理多结构模型数据，而且不需要大量的迭代优化，从而保证了算法的高效性。相对当前的确定性模型拟合方法，本发明在时间和精度上提高了一个比较大的档次，促进了科学的发展和进步。
附图说明
图1为本发明实施例的流程图。
图2为本发明在BLOGS数据集(http://www.cse.usf.edu/～sarkar/BLOGS/)、OXford VGG数据集(http://www.robots.ox.ac.uk/～vgg/data/)和AdelaideRMF数据集(http://cs.adelaide.edu.au/～dsuter/code and data/和http://cs.adelaide.edu.au/～hwong/doku.php？id＝data)进行单结构估计的效果。其中，(a)～(e)为单应性拟合结果，(f)～(j)为基础矩阵拟合结果。
具体实施方式
下面结合附图和实施例对本发明的方法作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了实施方式和具体操作过程，但本发明的保护范围不限于下述的实施例。
参见图1，本发明实施例的实施方式包括以下步骤：
S1.准备数据集。
具体包括：采用SIFT特征提取算法和匹配算法获取图像的匹配对，得到 为数据总数，为自然数。
S2.对图片进行超像素分割。
具体包括：使用当前流行的超像素分割方法，对输入的两张图片均做超像素分割，得到区域一致性信息。
S3.通过分析超像素信息，对输入的数据进行预分组，以降低算法搜索时间复杂度。
具体包括：处于同一个超像素的每个匹配对被分在同一组中，认为他们比较大的概率来自同一个模型实例。
S4.在数据集的分组信息基础上，提出一种确定性生成假设方法。
具体包括：
根据以下公式，合并相邻的分组以扩大采样区域：
Gi＝{Gj|Gj∈N(Gi)}∪Gi
式中，N(Gi)是Gi的所有邻居分组，也就是在2S′×2S′区域内所有分组。这里的S′是一个网格间隔，我们设定为其中，N和M分别表示像素和超像素的数量，均为自然数。
通过SIFT匹配计算每个数据点(即匹配对)的匹配分数。
根据匹配分数对每个分组内的所有数据集(ni为第i个分组内的匹配对数目，ni为自然数)进行排序，得到一组排序号排序规则如下：
式中，和分别表示第i个分组xiu和xiv的排序索引。
根据最小采样子集原则，对于每个分组，我们提取排序最前面的p+2数据点，即其中p表示生成一个模型假设所需的最小子集数目。
根据采样到的子集，评估每个子集的模型假设参数，生成模型假设集θ。
S5.提出一种新型模型选择方法，每次选取最佳模型假设，同时去除多余模型假设。
具体包括：
在模型假设集θ，选取含有内点数目最大的模型假设θi；
根据模型假设θi，根据以下公式判定是否为多余模型假设：
式中，b(θj)为模型假设θj的采样子集，d(θi)为模型假设θi的内点集合。b(θj)∩d(θi)用于判定模型假设θj的采样子集是否有成员属于模型假设θi的内点集合，若属于，即被认为是多余的模型假设。
去除多余的模型假设
回到步骤E1，直到找到所有数据集中模型实例。
S6.根据选取的每个模型实例，区分内点与野点，完成模型拟合。
本发明在BLOGS数据集(http://www.cse.usf.edu/～sarkar/BLOGS/)、OXfordVGG数据集(http://www.robots.ox.ac.uk/～vgg/data/)和AdelaideRMF数据集(http://cs.adelaide.edu.au/～dsuter/code and data/和http://cs.adelaide.edu.au/～hwong/doku.php？id＝data)进行单结构估计的效果参见图2。图2中，(a)～(e)为单应性拟合结果，(f)～(j)为基础矩阵拟合结果。
本发明与其他几种模型拟合方法进行单结构估计的错误率和时间效率分析对比参见表3。
表3
其中，对比方法有M.A.Fischler等提出的方法RANSAC(M.A.Fischler andR.C.Bolles.Random sample consensus:a paradigm for model fitting withapplications to image analysis and automated cartography.Comm.ACM,24(6):381–395,1981)，O.Chum等提出的方法PROSAC(O.Chum and J.Matas.Matching with prosac-progressive sample consensus.In CVPR,pages 220–226,2005)，H.Li提出的方法BnB(H.Li.Consensus set maximization with guaranteed global optimality for robustgeometry estimation.In ICCV,pages 1074–1080.IEEE,2009)和T.-J.Chin等提出的方法AStar(T.-J.Chin,P.Purkait,A.Eriksson,and D.Suter.Efficient globally optimalconsensus maximisation with tree search.In CVPR,pages 2413–2421,2015)。
Claims (4)
1.一种基于超像素的确定性模型拟合方法，其特征在于包括以下步骤：
A.准备数据集；
B.对图片进行超像素分割；
C.通过分析超像素信息，对输入的数据进行预分组，以降低算法搜索时间复杂度；
D.在数据集的分组信息基础上，提出一种确定性生成假设方法，所述确定性生成假设方法的具体方法为：
D1.根据以下公式，合并相邻的分组以扩大采样区域：
Gi＝{Gj|Gj∈N(Gi)}∪Gi
式中，N(Gi)是Gi的所有邻居分组，即在2S′×2S′区域内所有分组；其中，S′是一个网格间隔，设定为其中，N和M分别表示像素和超像素的数量，均为自然数；
D2.通过SIFT匹配计算每个数据点的匹配分数；
D3.根据匹配分数对每个分组内的所有数据集进行排序，其中，ni为第i个分组内的匹配对数目，ni为自然数，得到一组排序号排序规则如下：
式中，和分别表示第i个分组xiu和xiv的排序索引；
D4.根据最小采样子集原则，对于每个分组，提取排序最前面的p+2数据点，即其中p表示生成一个模型假设所需的最小子集数目；
D5.根据采样到的子集，评估每个子集的模型假设参数，生成模型假设集θ；
E.提出一种模型选择方法，每次选取最佳模型假设，同时去除多余模型假设，所述模型选择方法的具体步骤为：
E1.在模型假设集θ，选取含有内点数目最大的模型假设θi；
E2.根据模型假设θi，根据以下公式判定是否为多余模型假设：
式中，b(θj)为模型假设θj的采样子集，d(θi)为模型假设θi的内点集合，b(θj)∩d(θi)用于判定模型假设θj的采样子集是否有成员属于模型假设θi的内点集合，若属于，则被认为是多余的模型假设；
E3.去除多余的模型假设
E4.回到步骤E1，直到找到所有数据集中模型实例；
F.根据选取的每个模型实例，区分内点与野点，完成模型拟合。
2.如权利要求1所述一种基于超像素的确定性模型拟合方法，其特征在于在步骤A中，所述准备数据集的具体方法如下：
采用SIFT特征提取算法和匹配算法获取图像的匹配对，得到 为数据总数，为自然数。
3.如权利要求1所述一种基于超像素的确定性模型拟合方法，其特征在于在步骤B中，所述对图片进行超像素分割的具体方法为：
使用超像素分割方法，对输入的两张图片均做超像素分割，得到区域一致性信息。
4.如权利要求1所述一种基于超像素的确定性模型拟合方法，其特征在于在步骤C中，所述对输入的数据进行预分组的具体方法为：
处于同一个超像素的每个匹配对被分在同一组中，认为他们比较大的概率来自同一个模型实例。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610214978.7A CN105913423B (zh) | 2016-04-08 | 2016-04-08 | 一种基于超像素的确定性模型拟合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610214978.7A CN105913423B (zh) | 2016-04-08 | 2016-04-08 | 一种基于超像素的确定性模型拟合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105913423A CN105913423A (zh) | 2016-08-31 |
| CN105913423B true CN105913423B (zh) | 2018-08-07 |
Family
ID=56744875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610214978.7A Expired - Fee Related CN105913423B (zh) | 2016-04-08 | 2016-04-08 | 一种基于超像素的确定性模型拟合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105913423B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163865A (zh) * | 2019-05-28 | 2019-08-23 | 闽江学院 | 一种针对模型拟合中不平衡数据的采样方法 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107123119B (zh) * | 2017-04-27 | 2019-12-17 | 厦门大学 | 一种针对多结构数据的指导性采样方法 |
| CN108921871B (zh) * | 2018-07-27 | 2022-02-01 | 福建农林大学 | 一种基于全局贪婪搜索的鲁棒模型拟合方法 |
| CN109614933B (zh) * | 2018-12-11 | 2020-05-05 | 闽江学院 | 一种基于确定性拟合的运动分割方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103400375A (zh) * | 2013-07-15 | 2013-11-20 | 浙江大学 | 一种检测场景特征点与图像点特征间匹配中误匹配的方法 |
| CN103824287A (zh) * | 2014-02-14 | 2014-05-28 | 同济大学 | 一种基于稳健平面拟合的相位相关亚像素匹配方法 |
| US8837839B1 (en) * | 2010-11-03 | 2014-09-16 | Hrl Laboratories, Llc | Method for recognition and pose estimation of multiple occurrences of multiple objects in visual images |
| CN104616247A (zh) * | 2015-02-10 | 2015-05-13 | 天津大学 | 一种用于基于超像素sift航拍地图拼接的方法 |
| CN104835174A (zh) * | 2015-05-25 | 2015-08-12 | 厦门大学 | 基于超图模式搜索的鲁棒模型拟合方法 |
-
2016
- 2016-04-08 CN CN201610214978.7A patent/CN105913423B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8837839B1 (en) * | 2010-11-03 | 2014-09-16 | Hrl Laboratories, Llc | Method for recognition and pose estimation of multiple occurrences of multiple objects in visual images |
| CN103400375A (zh) * | 2013-07-15 | 2013-11-20 | 浙江大学 | 一种检测场景特征点与图像点特征间匹配中误匹配的方法 |
| CN103824287A (zh) * | 2014-02-14 | 2014-05-28 | 同济大学 | 一种基于稳健平面拟合的相位相关亚像素匹配方法 |
| CN104616247A (zh) * | 2015-02-10 | 2015-05-13 | 天津大学 | 一种用于基于超像素sift航拍地图拼接的方法 |
| CN104835174A (zh) * | 2015-05-25 | 2015-08-12 | 厦门大学 | 基于超图模式搜索的鲁棒模型拟合方法 |
Non-Patent Citations (2)
| Title |
|---|
| Consensus Set Maximization with Guaranteed Global Optimality for Robust Geometry Estimation;Hongdong Li;《2009 IEEE 12th International Conference on Computer Vision (ICCV)》;20091002;1074-1080 * |
| 一种基于曲线拟合的柱面图像匹配算法;田健飞;《电子测量技术》;20160215;第39卷(第2期);61-63、68 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163865A (zh) * | 2019-05-28 | 2019-08-23 | 闽江学院 | 一种针对模型拟合中不平衡数据的采样方法 |
| CN110163865B (zh) * | 2019-05-28 | 2021-06-01 | 闽江学院 | 一种针对模型拟合中不平衡数据的采样方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105913423A (zh) | 2016-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Select, supplement and focus for RGB-D saliency detection | |
| Tu et al. | RGBT salient object detection: A large-scale dataset and benchmark | |
| Sankaranarayanan et al. | Learning from synthetic data: Addressing domain shift for semantic segmentation | |
| Liu et al. | A simple pooling-based design for real-time salient object detection | |
| Liu et al. | Densepoint: Learning densely contextual representation for efficient point cloud processing | |
| Li et al. | Factorizable net: an efficient subgraph-based framework for scene graph generation | |
| Xue et al. | Learning attraction field representation for robust line segment detection | |
| Zhang et al. | Detection of co-salient objects by looking deep and wide | |
| Fan et al. | Salient objects in clutter: Bringing salient object detection to the foreground | |
| Zhen et al. | Smap: Single-shot multi-person absolute 3d pose estimation | |
| Wang et al. | Two-Stream SR-CNNs for Action Recognition in Videos. | |
| Pan et al. | Shallow and deep convolutional networks for saliency prediction | |
| Li et al. | Salient object detection with purificatory mechanism and structural similarity loss | |
| Xiao et al. | Deep salient object detection with dense connections and distraction diagnosis | |
| Brendel et al. | Learning spatiotemporal graphs of human activities | |
| CN105913423B (zh) | 一种基于超像素的确定性模型拟合方法 | |
| CN111625667A (zh) | 一种基于复杂背景图像的三维模型跨域检索方法及系统 | |
| Geng et al. | Gated path selection network for semantic segmentation | |
| Zhong et al. | T-net: Effective permutation-equivariant network for two-view correspondence learning | |
| Xiao et al. | Deterministic model fitting by local-neighbor preservation and global-residual optimization | |
| Zhou et al. | Sampling-attention deep learning network with transfer learning for large-scale urban point cloud semantic segmentation | |
| Wang et al. | Adaptive nonlocal random walks for image superpixel segmentation | |
| Hou et al. | Large scale shadow annotation and detection using lazy annotation and stacked CNNs | |
| Wang et al. | Single-stage instance shadow detection with bidirectional relation learning | |
| Zhang et al. | Human parsing with pyramidical gather-excite context |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180807 |