CN103400375A - 一种检测场景特征点与图像点特征间匹配中误匹配的方法 - Google Patents

Abstract

本发明公开了一种检测场景特征点与图像点特征间匹配中误匹配的方法，该方法可处理存在动态物体的场景，首先对图像进行基于先验的随机抽样，获得样本数据，然后使用给定的假设将样本点区分为内点和外点，并使用内点的数量和分布对假设进行评价，直到假设满足给定的终止条件，最后利用获得的最佳假设和最佳样本获得具体应用所需的模型或数据；即使在存在大量误匹配或动态匹配点的情况下，本发明仍能实时地检测正确的静态匹配点；本发明在检测精度和运行效率两方面明显优于现有误匹配检测方法。

Description

一种检测场景特征点与图像点特征间匹配中误匹配的方法

技术领域

本发明涉及一种随机抽样一致（RANSAC）的方法，尤其涉及一种检测场景特征点与图像点特征间匹配中误匹配的方法。

背景技术

随机抽样一致（RANSAC）技术在计算机视觉中是处理鲁棒估计问题的一个非常有用的工具，近些年来，很多研究者都在不断地尝试着提高随机抽样一致方法的效率。

随机抽样一致方法的过程可以概括为假设提出和假设评价。在提出假设阶段，通过随机抽样获得一个最小样本集，从最小样本集中拟合一个假设模型。在假设评价阶段，用所有样本对提出的假设进行评估，将符合该假设的样本标记为内点（inlier），不符合的标记为外点（outlier）。重复这两个阶段直至满足某一终止条件位置，选取评估分值最高的假设及相应的内点/外点的划分作为最终结果。随机抽样一致技术的难点在于：1）如何有效的进行数据抽样提高最小样本集中内点的命中率，以更快的获得一个更加有用的假设。传统方法完全随机的采样最小样本集，因此在内点比例较少的情况下很难采样到一个只包含内点的最小样本集，从而很难得到一个正确的假设模型。2）如何可靠地评价假设的优劣。传统方法通过符合假设的内点数量评价假设的优略。在存在动态物体的场景中检测场景点误匹配的应用中，方法通常需要过剔除动态点和误匹配，获得静态匹配点及静态点对应的模型参数，如摄像机运动参数、基础矩阵等。如果完全以内点数量作为假设评价的依据，那么当场景动态点数多于静态点数时，必然会导致估计失败。3）如何确定方法终止条件。传统方法中，当符合当前最优假设的内点在样本中的比例足够高时终止方法，然而当实际内点比例较低时，即使已经得到一个正确的假设模型，方法仍无法终止。

1.现有的样本采集方法

在标准随机抽样一致方法中，通常认为没有可用的数据先验信息，但是在实际应用中，往往存在着可用的先验信息，使用先验信息可以得到更好的假设。该类方法比较典型的有Chum和Matas在05年提出的ProSAC方法：Ondrej Chum，Jiri Matas:Matching with PROSAC‐Progressive Sample Consensus.CVPR(1)2005:220‐226；Tordoff和Murray在02年提出的Guided Sampling方法：Ben Tordoff，David W.Murray:Guided Sampling and Consensus for Motion Estimation.ECCV(1)2002:82‐98；Chum等人在03年提出的LoSAC方法：Ondrej Chum，Jiri Matas，Josef Kittler:Locally Optimized RANSAC.DAGM‐Symposium2003:236‐243。这些方法都考虑了数据的先验信息，利用数据的可靠程度和数据间的相关性优先采样更为可靠的样本。但是，这些方法的先验信息都未能充分利用图像之间的相关性，因而得到的先验信息也不够充分，例如ProSAC方法通过对相邻图像的对应点（匹配点）进行相似性排序来获得先验信息，由于相邻图像之间的对应点很难做到精确的匹配，同时只选取匹配度高的对应点，可能会导致抽样点的稀疏和分布不均衡。

2.现有的假设评价方法

该类方法比较典型的有Matas和Chum在04年提出的Td，d Test方法：JiriMatas，Ondrej Chum:Randomized RANSAC with Td，d test.Image Vision Comput.22(10):837‐842(2004)；Capel在05年提出的Bail‐out Test方法：David P.Capel:AnEffective Bail‐out Test for RANSAC Consensus Scoring.BMVC 2005；Matas和Chum在05年提出的WaldSAC方法：Jiri Matas，Ondrej Chum:Randomized RANSAC withSequential Probability Ratio Test.ICCV2005:1727‐1732。这些方法加速了假设的评价过程，提前过滤较差的假设，然而仍无法可靠选择正确的假设。MultiGS（（Tat-Jun Chin，Jin Yu，David Suter:Accelerated Hypothesis Generation forMultistructure Data via Preference Analysis.IEEE Trans.Pattern Anal.Mach.Intell.34(4):625-638(2012)））针对存在多个正确假设的情况，提出一种能同时选出若干假设的方法。在本发明针对的应用中，该方法能将静态匹配点和动态匹配点分别提取出来，然而却不能区分那组匹配点为方法最终需要获得的静态匹配点。

3.现有的实时随机抽样一致方法

该类方法比较典型的有Nister在03年提出的Preemptive方法：David Nistér:Preemptive RANSAC for Live Structure and Motion Estimation.ICCV 2003:199‐206。该方法较之于传统的随机抽样一致方法的区别在于，开始时就生成了一定数量的模型假设，紧接着并行地进行假设的验证，对每个验证都进行评分，并根据评分结果进行排序，去掉得分较低的假设，从而减少了下一次验证的假设数量，不断重复这个过程，直到只剩下一个假设或者所有数据都已经使用过为止。该方法能在规定的时间能终止并获得一个最优假设，然而在本发明针对的应用中，当静态点数量较少时，同样无法可靠选择出静态匹配点。

发明内容

本发明的目的在于针对现有技术的不足，提供一种检测场景特征点与图像点特征间匹配中误匹配的方法，该方法可处理存在动态物体的场景。

本发明的目的是通过以下技术方案来实现的：一种检测场景特征点与图像点特征间匹配中误匹配的方法，它包括以下步骤：

（1）对图像进行基于先验的随机抽样，获得样本数据；

（2）使用给定的假设将样本点区分为内点和外点，并使用内点的数量和分布对假设进行评价；

（3）重复步骤1和步骤2，直到假设满足给定的终止条件；

（4）利用步骤1，步骤2和步骤3获得的最佳假设和最佳样本获得具体应用所需的模型或数据。

本发明的有益效果是：

1、本发明通过对图像进行分块抽样，充分利用了图像之间的相关性来获得先验信息，确保获得的抽样点分布比较均衡，减小最小样本集包含误匹配或动态匹配点的概率；

2、本发明的假设评价方法同时考虑了内点数量和内点分布信息，提高了获得最佳假设的可靠性；

3、针对静态点较少的应用，本发明仍然可以正确可靠的选择出静态匹配点；

4、最后，本发明在针对检测场景特征点与图像点特征间匹配中误匹配的应用中，无论时间性能还是检测精度都要优于现有的方法。

具体实施方式

本发明涉及一种在存在动态物体的场景中检测场景点误匹配的随机抽样一致方法，该方法对传统的随机抽样一致方法（RANSAC）进行了如下三个方面的改进：1）一种基于先验的随机抽样方法，减小最小样本集包含误匹配或动态匹配点的概率；2）一种综合了内点（inlier）数量和内点（inlier）分布的假设评价标准，提高方法选出最优假设的可靠性；3）一种基于分块的方法终止条件。本发明的实施步骤如下：

1.对图像进行基于先验的随机抽样，获得样本数据，具体实施步骤包括：

1.1.将图像均分成a*b的块（bin），其中a表示图像高度的均分数，b表示图像宽度的均分数目，例如a=b=10，表示将图像分成10*10个大小相同的块；

1.2.针对单张图像，规定最小样本集中的m个采样点取自m个不同分块，先随机选择m个分块，再在每个分块随机选择一个匹配点加入最小样本集中；

1.3.针对图像序列，利用相邻帧图像内容相似的特性，对当前帧进行数据抽样时，利用前一帧图像的内点（inlier）的分布情况，将前一帧第i个分块中的内点比例标记为

将该数值截断到[low，high]之间（其中low和high分别表示截断的下限和上限值，例如low取0.2，high取1，则表示将数据截断在[0.2，1]范围之内），以确保当前帧中的每一块都有一定概率被选中，将当前帧第i个分块被选中的概率设为

规定最小样本集中的m个采样点取自m个不同分块，先根据p_i选择选择m个分块，再在每个分块随机选择一个匹配点加入最小样本集中。

2.使用给定的假设将样本点区分为内点和外点，并使用内点的数量和分布对假设进行评价，具体实施步骤包括：

2.1.用给定的假设参数拟合所有匹配点，根据拟合误差区分内点（inlier）和外点（outlier）；

2.2.根据2.1得到的内点（inlier），使用如下两种方法计算内点（inlier）的分布：第一种使用标准协方差矩阵

N是内点（inlier）数目，x_i是第i个内点（inlier）的位置，

是所有内点（inlier）的平均位置；第二种使用加权协方差矩阵

ε_i为当前帧第i个分块中的内点比例，x_i是第i个分块的位置，

是所有分块的加权平均位置；

2.3对评估假设进行评分

$s=\left(\underset{i}{\mathrm{\Σ}}{\mathrm{\ϵ}}_i\right)\frac{\mathrm{\π}\sqrt{\det \left(C\right)}}{A}$

其中，A是图像面积，∑_iε_i为个分块内点（inlier）比例之和，det(C)表示2.2所得到的协方差矩阵的行列式，

为内点（inlier）分布椭圆的面积。

3.重复步骤1和步骤2，直到假设满足给定的终止条件，本发明的终止条件为：

3.1针对单张图像，将当前最佳假设下的第i个分块的内点（inlier）比例标记为

定义如下终止条件

${(1-{\left({\mathrm{\&Sigma;}}_i\frac{1}{B}{\widehat{\mathrm{\&epsiv;}}}_i\right)}^m)}^{K_S}<\mathrm{\&eta;}$

其中，K_S为最大迭代次数，B为分块总数，m是样本大小，η为用户定义的置信度参数，

为选择一个分块的概率，

为选择一个内点（inlier）的概率，

为最小样本集中存在动态点或外点（outlier）的概率，

为K_s次采样后仍没有得到一个只包含内点（inlier）的最小样本集的概率；

3.2针对视频序列，定义如下终止条件

${(1-{\left({\mathrm{\&Sigma;}}_i{p}_i{\widehat{\mathrm{\&epsiv;}}}_i\right)}^m)}^{K_S}<\mathrm{\&eta;}$

其中参数含义与步骤3.1相同，

为选择一个内点（inlier）的概率，

为最小样本集中存在动态点或外点（outlier）的概率，

为K_s次采样后仍没有得到一个只包含内点（inlier）的最小样本集的概率。

4.利用步骤1，步骤2和步骤3获得的最佳假设和最佳样本获得具体应用所需的模型或数据，具体包括：

4.1通过1，2，3步操作获得最佳假设和最佳样本；

4.2利用所有内点信息对最佳假设和样本进行进一步的优化；

4.2利用最终的样本获得具体应用所需的模型或数据。

实施例

将本专利中所提及的改进的随机抽样一致方法分别实施在摄像机参数（camera pose，Richard Hartley，Andrew Zisserman.Multiple View Geometry inComputer Vision，second.Cambridge University Press，ISBN:0521540518.(2004)）和极线估计中。

一、摄像机参数估计需要采集6个样本来估计投影矩阵，步骤如下：

1.基于先验的随机抽样，包括如下步骤：

1.1.将图像均分成10*10的块（bin）；

1.2.针对单张图像，规定最小样本集中的6个采样点取自6个不同分块，先随机选择6个分块，再在每个分块随机选择一个匹配点加入最小样本集中；

1.3.针对图像序列，利用相邻帧图像内容相似的特性，对当前帧进行数据抽样时，利用前一帧图像的内点（inlier）的分布情况，将前一帧第i个分块中的内点比例标记为

将该数值截断到[0.2，1]之间，以确保当前帧中的每一块都有一定概率被选中，将当前帧第i个分块被选中的概率设为

规定最小样本集中的6个采样点取自6个不同分块，先根据p_i选择选择6个分块，再在每个分块随机选择一个匹配点加入最小样本集中。

2.综合内点（inlier）数量和内点（inlier）分布的假设进行标准评价，包括如下步骤：

2.1.用给定的假设参数拟合所有匹配点，根据拟合误差区分内点（inlier）和外点（outlier）；

2.2.根据2.1得到的内点（inlier），使用如下两种方法计算内点（inlier）的分布：第一种使用标准协方差矩阵

N是内点（inlier）数目，x_i是第i个内点（inlier）的位置，

是所有内点（inlier）的平均位置；第二种使用加权协方差矩阵ε_i为当前帧第i个分块中的内点比例，x_i是第i个分块的位置，是所有分块的加权平均位置；

2.3.对评估假设进行评分

其中，A是图像面积，∑_iε_i为个分块内点（inlier）比例之和，det(C)表示2.2所得到的协方差矩阵的行列式，

为内点（inlier）分布椭圆的面积。

3.重复1和2直到满足终止条件，终止条件为：

3.1.针对单张图像，将当前最佳假设下的第i个分块的内点（inlier）比例标记为

定义如下终止条件

${(1-{\left({\mathrm{\&Sigma;}}_i\frac{1}{B}{\widehat{\mathrm{\&epsiv;}}}_i\right)}^6)}^{K_S}<\mathrm{\&eta;}$

其中，K_S为最大迭代次数，B为分块总数，η为用户定义的置信度参数，

为选择一个分块的概率，

为选择一个内点（inlier）的概率，

为最小样本集中存在动态点或外点（outlier）的概率，为K_s次采样后仍没有得到一个只包含内点（inlier）的最小样本集的概率；

3.2.针对视频序列，定义如下终止条件

${(1-{\left({\mathrm{\&Sigma;}}_i{p}_i{\widehat{\mathrm{\&epsiv;}}}_i\right)}^6)}^{K_S}<\mathrm{\&eta;}$

其中参数含义同3.1相同，

为选择一个内点（inlier）的概率，

为最小样本集中存在动态点或外点（outlier）的概率，

为K_s次采样后仍没有得到一个只包含内点（inlier）的最小样本集的概率。

4.摄像机参数求解。

4.1.通过1，2，3三步操作，获得估计投影矩阵的最佳样本；

4.2.利用所有有效点对投影矩阵样本进行进一步的优化，并获得投影矩阵；

4.3.将投影矩阵进行分解，获得摄像机旋转矩阵R和平移向量t；

4.4.通过使用摄像机参数估计的方法对旋转矩阵R和平移向量t进行进一步的优化。

针对一幅合成的图像（包含一个静态背景和刚性运动的物体），本专利所提出的改进方法同其他随机抽样一致方法针对该实施例的运行时间及成功率分别如表1和表2所示，可以看出RANSAC和LoSAC方法无妨识别静态点，因此不能精确的估计摄像机参数，Multi-GS方法可以区别静态点和动态点，但是却无法判别什么假设更好，但是本专利的方法（PARSAC和ARSAC）不仅仅可以区别静态点和动态点，同时还可以准确的估计摄像机的参数，并且计算时间和成功率都要优越于其他方法。

表1

	RANSAC	LoSAC	Multi‐GS	PARSAC	ARSAC
						运行时间	0.121s	0.224s	2.974s	0.055s	0.423s
迭代次数	4314	4798	7672	1270	9892

表2

迭代次数	RANSAC	LoSAC	Multi‐GS	PARSAC	ARSAC
						1000	3.60%	4.40%	100.00%/35.00%	89.00%	18.20%

2000	4.60%	9.00%	100.00%/37.80%	98.20%	34.80%
						5000	1.00%	11.40%	100.00%/34.00%	100.00%	61.60%
10000	0.40%	9.80%	100.00%/42.40%	100.00%	87.40%
						20000	0.00%	9.20%	100.00%/39.20%	100.00%	99.20%

二、极线估计需要采集8个样本来估计基础矩阵（Richard I.Hartley:In Defense ofthe Eight-Point Algorithm.IEEE Trans.Pattern Anal.Mach.Intell.19(6):580-593(1997)），其步骤同摄像机参数估计类似，分别是：

1.基于先验的随机抽样；

1.1.将图像均分成10*10的块（bin）；

1.2.针对单张图像，规定最小样本集中的8个采样点取自8个不同分块，先随机选择8个分块，再在每个分块随机选择一个匹配点加入最小样本集中；

1.3.针对图像序列，利用相邻帧图像内容相似的特性，对当前帧进行数据抽样时，利用前一帧图像的内点（inlier）的分布情况，将前一帧第i个分块中的内点比例标记为

将该数值截断到[0.2，1]之间，以确保当前帧中的每一块都有一定概率被选中，将当前帧第i个分块被选中的概率设为

规定最小样本集中的8个采样点取自8个不同分块，先根据p_i选择选择8个分块，再在每个分块随机选择一个匹配点加入最小样本集中。

2.综合内点（inlier）数量和内点（inlier）分布的假设进行标准评价，包括如下步骤：

2.1.用给定的假设参数拟合所有匹配点，根据拟合误差区分内点（inlier）和外点（outlier）；

2.2.根据2.1.得到的内点（inlier），使用如下两种方法计算内点（inlier）的分布：第一种使用标准协方差矩阵

N是内点（inlier）数目，x_i是第i个内点（inlier）的位置，

是所有内点（inlier）的平均位置；第二种使用加权协方差矩阵

ε_i为当前帧第i个分块中的内点比例，x_i是第i个分块的位置，

是所有分块的加权平均位置；

2.3.对评估假设进行评分

其中，A是图像面积，∑_iε_i为个分块内点（inlier）比例之和，det(C)表示2.2所得到的协方差矩阵的行列式，为内点（inlier）分布椭圆的面积。

3.重复1和2直到满足终止条件，终止条件为：

3.1.针对单张图像，将当前最佳假设下的第i个分块的内点（inlier）比例标记为

定义如下终止条件

${(1-{\left({\mathrm{\&Sigma;}}_i\frac{1}{B}{\widehat{\mathrm{\&epsiv;}}}_i\right)}^8)}^{K_S}<\mathrm{\&eta;}$

其中，K_S为最大迭代次数，B为分块总数，η为用户定义的置信度参数，

为选择一个分块的概率，

为选择一个内点（inlier）的概率，

为最小样本集中存在动态点或外点（outlier）的概率，

为K_s次采样后仍没有得到一个只包含内点（inlier）的最小样本集的概率；

3.2.针对视频序列，定义如下终止条件

${(1-{\left({\mathrm{\&Sigma;}}_i{p}_i{\widehat{\mathrm{\&epsiv;}}}_i\right)}^8)}^{K_S}<\mathrm{\&eta;}$

其中参数含义同3.1相同，

为选择一个内点（inlier）的概率，

为最小样本集中存在动态点或外点（outlier）的概率，

为K_s次采样后仍没有得到一个只包含内点（inlier）的最小样本集的概率。

4.极线估计，包括若下步骤：

4.1.通过1，2，3三步操作，获得估计基础矩阵的最佳样本；

4.2.利用所有有效点对基础矩阵样本进行进一步的优化，并获得基础矩阵；

4.3.将基础矩阵进行分解，获得极线估计；

4.4.通过使用极线估计的方法进行进一步的优化。

针对两幅不同视角的真实图像，图像中的五叶屏发生了较大的刚性运动。通过使用RANSAC，LoSAC，ProSAC以及本专利的方法估计这两幅图像的基础矩阵，其中RANSAC，LoSAC和ProSAC获得的识别结果都是错误的，只有本专利的方法能够正确地识别出图像中的静态点。

Claims (1)

1.一种检测场景特征点与图像点特征间匹配中误匹配的方法，其特征在于，它包括以下步骤：

（1）对图像进行基于先验的随机抽样，获得样本数据；该步骤通过以下子步骤来实现：

（1.1）将图像均分成a*b的块，其中a表示图像高度的均分数，b表示宽度的均分数；

（1.2）针对单张图像，规定最小样本集中的m个采样点取自m个不同分块，先随机选择m个分块，再在每个分块随机选择一个匹配点加入最小样本集中；

（1.3）针对图像序列，利用相邻帧图像内容相似的特性，对当前帧进行数据抽样时，利用前一帧图像的内点的分布情况，将前一帧第i个分块中的内点比例标记为

将该数值截断到[low，high]之间（其中low和high分别表示截断的下限和上限值），以确保当前帧中的每一块都有一定概率被选中，将当前帧第i个分块被选中的概率设为

规定最小样本集中的m个采样点取自m个不同分块，先根据p_i选择选择m个分块，再在每个分块随机选择一个匹配点加入最小样本集中。

（2）使用给定的假设将样本点区分为内点和外点，并使用内点的数量和分布对假设进行评价，该步骤通过以下子步骤来实现：

（2.1）用给定的假设参数拟合所有匹配点，根据拟合误差区分内点和外点；

（2.2）根据步骤2.1得到的内点，使用如下两种方法计算内点的分布：第一种使用标准协方差矩阵

N是内点数目，x_i是第i个内点的位置，

是所有内点的平均位置；第二种使用加权协方差矩阵

ε_i为当前帧第i个分块中的内点比例，x_i是第i个分块的位置，

是所有分块的加权平均位置；

（2.3）对评估假设进行评分

$s=\left(\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&epsiv;}}_i\right)\frac{\mathrm{\&pi;}\sqrt{\det \left(C\right)}}{A}$

其中，A是图像面积，∑_iε_i为个分块内点比例之和，det(C)表示步骤2.2所得到的协方差矩阵的行列式，

为内点分布椭圆的面积。

（3）重复步骤1和步骤2，直到假设满足给定的终止条件，终止条件为：

（3.1）针对单张图像，将当前最佳假设下的第i个分块的内点比例标记为

定义如下终止条件

${(1-{\left({\mathrm{\&Sigma;}}_i\frac{1}{B}{\widehat{\mathrm{\&epsiv;}}}_i\right)}^m)}^{K_S}<\mathrm{\&eta;}$

其中，K_S为最大迭代次数，B为分块总数，m是样本大小，η为用户定义的置信度参数，

为选择一个分块的概率，

为选择一个内点的概率，为最小样本集中存在动态点或外点的概率，

为K_s次采样后仍没有得到一个只包含内点的最小样本集的概率；

（3.2）针对视频序列，定义如下终止条件

${(1-{\left({\mathrm{\&Sigma;}}_i{p}_i{\widehat{\mathrm{\&epsiv;}}}_i\right)}^m)}^{K_S}<\mathrm{\&eta;}$

其中，参数含义同步骤（3.1），

为选择一个内点的概率，为最小样本集中存在动态点或外点的概率，

为K_s次采样后仍没有得到一个只包含内点的最小样本集的概率。

（4）利用步骤1，步骤2和步骤3获得的最佳假设和最佳样本获得具体应用所需的模型或数据，具体包括：

（4.1）通过步骤1-3步操作获得最佳假设和最佳样本；

（4.2）利用所有内点信息对最佳假设和样本进行进一步的优化；

（4.2）利用最终的样本获得具体应用所需的模型或数据。