CN107305691A - 基于图像匹配的前景分割方法及装置 - Google Patents
基于图像匹配的前景分割方法及装置 Download PDFInfo
- Publication number
- CN107305691A CN107305691A CN201610244730.5A CN201610244730A CN107305691A CN 107305691 A CN107305691 A CN 107305691A CN 201610244730 A CN201610244730 A CN 201610244730A CN 107305691 A CN107305691 A CN 107305691A
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- point
- msup
- match
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像匹配的前景分割方法及装置，涉及多媒体领域图像匹配技术和图像分割技术。一种基于图像匹配的前景分割方法，其特征在于，包括：分别取两幅输入图像的局部特征，根据提取的局部特征信息进行关键点的匹配；从得到的关键点的匹配点中筛除错误匹配点得到所有正确的匹配点；使用聚类分析从所有正确的匹配点中得出前景目标上的特征点群组；根据所得出的特征点群组，利用图片分割算法得出图片中的前景目标。本发明还公开了一种基于图像匹配的前景分割装置。采用本申请技术方案可以客观的得出图片中的前景目标，使得结果更加准确直观，能够替代传统的人机交互方法，减少了整体时间，提高效率。
Description
技术领域
本发明涉及多媒体领域图像匹配技术和图像分割技术，尤其涉及一种创新图像局部特征提取方案。
背景技术
前景提取(Foreground Extraction)指的是从一幅静态图像或者一阵视频图像中提取出任意形状的前景对象，传统的前景提取技术需要用户标注前景像素点或区域，通过对区域的像素分析，得出图像中目标的大致轮廓。
目前,最常用的前景提取方案包括如下几种：
1)显著性检测
通过对图像的颜色、亮度、方向等全局特征提取图像的显著图模型，可以反映图像中最能引起用户兴趣，最能表现图像内容的区域。
显著性特征检测问题来源于计算机模拟人类视觉，以期达到人眼对物体选择的能力。在显著性检测模型中低级视觉起到了十分重要的作用，比如颜色、方向、亮度、纹理和边缘等等。
相对于其他视觉特征，人眼对图像的颜色信息更加敏感，所以颜色特征的统计在计算机视觉中尤其重要。有两种颜色特征计算的方法被广泛的应用到显著性检测中:第一类是建立颜色直方图，然后对比直方图之间的差异，第二类是对图像进行分块，把每块图像内部的颜色平均值与其他色块进行比较，以此得到颜色显著度；亮度也是图像中最基本的视觉特征，在显著图检测模型中，计算亮度特征的时，通过提取局部特征区域亮度分量的统计值来表示该区域整体的亮度特征，然后通过与其他区域的对比得到图像的亮度显著度；方向特征反应物体表面的本质特征，在图像的显著检测中的方向特征计算主要是Gabor能量法，可以很好地模拟人类视觉系统的多通道和多分辨率的特征。
显著图的特征基于图像的全局特征，能够很好的模拟人眼感兴趣区的特征，但是存在以下不足：首先，显著区域的选择是非常主观的，由于不同用户的需求，同一幅图像的感兴趣区域可能有较大的差异性；其次，显著性特征基于图像的全局特征，对目标的局部变化鲁棒性较低。并且在应用中，该方法需要人工干预标记目标区域的全局特征块，在简单地少数图像处理的情况下，该方法还有实用空间。但是随着搜索引擎以及网络的发展，数据的容量以爆炸式增长，少数图像的处理方法已经远无法满足用户的急切需求，然而传统的方法因为人工干预很难在庞大的图像数据库中展现出合格的结果。因此自动的前景匹配算法是现当代图像处理领域急切需求的方法。
2)帧差分方法
通常利用图像序列中相邻的帧图像之间做差来提取出图像中的运动区域。将相邻两帧的图像序列进行灰度化处理，然后矫正在同一坐标系当中，在进行差分运算，灰度不发生变化的背景部分将被剪除掉。由于感兴趣区域大多为运动目标，所以经过差分运算可以得到灰度发生变化的区域轮廓，也就是感兴趣区域的大致轮廓。从而确定前景图像。
相邻的帧差分方法能够很好地解决在简单场景视频序列中的前景提取问题，但是由于相邻的帧差分方法需求输入连续的视频相邻的帧序列，因此很难应用到静态图像的处理中。其次对于复杂的背景或者变化的背景，帧差分方法的鲁棒性较低。
从上述内容可以看出，针对静态图像提出的基于图像显著特征图来获取大致前景区域的方法利用图像的全局特征，无法考虑到图像的局部细节，鲁棒性较差。而由于背景的复杂程度，和图像的相似程度等原因，对象的前景轮廓可能会有细小的瑕疵，因此需要再次提高算法的精确程度。
发明内容
本发明公开了一种基于图像匹配的前景分割方法，可以解决现有图像匹配的自动前景分割中准确性低的问题。
本发明公开了一种基于图像匹配的前景分割方法，包括：
分别取两幅输入图像的局部特征，根据提取的局部特征信息进行关键点的匹配；
从得到的关键点的匹配点中筛除错误匹配点得到所有正确的匹配点；
使用聚类分析从所有正确的匹配点中得出前景目标上的特征点群组；
根据所得出的特征点群组，利用图片分割算法得出图片中的前景目标。
可选地，上述方法中，取两幅输入图像的局部特征的过程包括：
将用户输入的两幅图片进行灰度化处理，使用SURF特征提取图片的局部特征信息。
可选地，上述方法中，根据提取的局部特征信息进行关键点的匹配的过程包括：
使用近邻算法确定两幅输入图像中第一输入图像中的关键点在第二输入图像中对应的匹配点。
可选地，上述方法中，从得到的关键点的匹配点中筛除错误匹配点得到所有正确的匹配点的过程包括：
配置尺度比例SR和方向OA，根据之前匹配所得到的结果，计算两幅输入图像中第一输入图像中的关键点与第二输入图像中的匹配点的尺度比例以及方向比例，并以此构建如下二维数组：
P＝{〈SR1,OA1〉,〈SR2,OA2〉…〈SRn,OAn〉}
其中，
进行匹配点的筛选。
可选地，上述方法中，使用聚类分析从所有正确的匹配点中得出前景目标上的特征点群组的过程包括：
采用如下算法随机选取k个聚类之心点(cluster centroids)为
对于每一个样例i，计算到k个种子点的距离，距离种子点μn最近的点属于μn点群，其中，按照如下公式计算128维SIFT特征空间中的欧氏距离；
将每一个点群的μn种子点移动到该点群的中心，
重复计算各种点的距离，直到每一个类的中心逐渐稳定，得到前景点群和背景种子点群。
本发明还公开了一种基于图像匹配的前景分割装置，包括：
第一单元，分别取两幅输入图像的局部特征，根据提取的局部特征信息进行关键点的匹配；
第二单元，从得到的关键点的匹配点中筛除错误匹配点得到所有正确的匹配点；
第三单元，使用聚类分析从所有正确的匹配点中得出前景目标上的特征点群组；
第四单元，根据所得出的特征点群组，利用图片分割算法得出图片中的前景目标。
可选地，上述装置中，所述第一单元取两幅输入图像的局部特征包括：
将用户输入的两幅图片进行灰度化处理，使用SURF特征提取图片的局部特征信息。
可选地，上述装置中，所述第一单元根据提取的局部特征信息进行关键点的匹配包括：
使用近邻算法确定两幅输入图像中第一输入图像中的关键点在第二输入图像中对应的匹配点。
可选地，上述装置中，所述第二单元从得到的关键点的匹配点中筛除错误匹配点得到所有正确的匹配点包括：
配置尺度比例SR和方向OA，根据之前匹配所得到的结果，计算两幅输入图像中第一输入图像中的关键点与第二输入图像中的匹配点的尺度比例以及方向比例，并以此构建如下二维数组：
P＝{〈SR1,OA1〉,〈SR2,OA2〉…〈SRn,OAn〉}
其中，
进行匹配点的筛选。
可选地，上述装置中，所述第三单元使用聚类分析从所有正确的匹配点中得出前景目标上的特征点群组包括：
采用如下算法随机选取k个聚类之心点(cluster centroids)为
对于每一个样例i，计算到k个种子点的距离，距离种子点μn最近的点属于μn点群，其中，按照如下公式计算128维SIFT特征空间中的欧氏距离；
将每一个点群的μn种子点移动到该点群的中心，
重复计算各种点的距离，直到每一个类的中心逐渐稳定，得到前景点群和背景种子点群。
与显著图方法相比，采用本申请技术方案可以客观的得出图片中的前景目标，使得结果更加准确直观，能够替代传统的人机交互方法，减少了整体时间，提高效率，并且在实验数据集中可以得到较好的实验结果。同时解决了图像中的局部特征信息丢失的问题，提高了方法的鲁棒性。相比相邻的帧差分方法，尤其适用静态图片，提高了前景分割轮廓的准确性。
附图说明
图1是本发明实施例提供的自动前景提取技术的总流程图；
图2是本发明实施例中采用的图像分割原理示意图；
图3是采用本发明实施例测试图片及前景分割结果示意图；
图4是本发明聚类分析实例示意图；
图5(a)、图5(b)、图5(c)和图5(d)是本发明实施例中输入的四幅图的特征点提取示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文将结合具体实施方式对本发明技术方案作进一步详细说明。需要说明的是，在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
实施例1
本申请发明人发现目前的自动前景分割方案主要着眼于视频连续帧的特征提取，又或者联合用户干预及全局特征的静态图像前景提取。而本申请提出可以采用双图像联合自动前景提取手段，即提取图片的局部特征，通过特征点匹配，聚类分析，得到前景区域，再使用图片分割算法，实现对前景图像的自动分割方法。其中，局部特征，指一些局部才会出现的特征，其能够稳定出现并且具有良好的可区分性的一些点。与方差、颜色等全局特征不同，局部特征能够更好地总结图像所携带的信息，减少计算量并且提升算法的抗干扰能力。
基于上述思想，本实施例提供一种基于图像匹配的前景分割方法，主要包括如下操作：
步骤100：特征匹配；
该步骤主要包括两部分操作，首先，分别取两幅输入图像的局部特征；
然后根据提取的局部特征进行关键点的匹配；
本实施例中所涉及的图像局部特征(local features)，不同于图像的全局特征(global features)，是一些局部才会出现的特征。在物体受到遮挡的情况下，仍然稳定存在的一些特征点，能够简单、准确的描述衣服图像的特征，如Harris、SIFT、SURF、FAST。
步骤200：匹配点筛选；
其中，可以根据匹配点的尺度比例和旋转方向比例筛选掉错误匹配点；
步骤300：前景图像提取。
其中，先使用聚类分析得出前景目标上的特征点群组；
再根据所得出的特征点群组，利用图片分割算法得出图片中的前景目标。
要说明的是，本实施例所涉及的聚类分析：指将数据分类到不同的类或簇的一个过程，同一个簇中的数据具有很高的相似性；而在不同的簇之间，数据有很大的向异性。是一种无监督式学习的过程，不依赖事先定义的类或带标记的训练实例，如k-means。
本实施例所涉及的图像分割：是将图像分割成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。如基于阀值分割、基于区域分割、基于边缘分割以及基于特定的理论分割。
而本实施例采用聚类分析，是因为此分析可以将抽象的关键点信息转换成前景区域，从而给接下来的图像分割技术提供了支持，使得图像匹配技术与分割技术的联合应用，实现对传统的人工交互的图像分割技术的提升。
下面结合附图说明上述方法的具体实施。
上述方法的具体实现原理如图1所示。通过对原有输入图像的原始特征进行聚类算法，得出前景物体的建议区域，最后通过图割方法对图像进行整体的前景分割。操作过程包括：
第一步：输入图片特征匹配；
局部特征提取
将用户输入的图片进行灰度化处理。使用SURF(Speed Up RobustFeature)特征提取图片的局部特征信息，如图5。
关键点的匹配
在关键点的匹配中，我们使用近邻算法来确定输入图像A中的关键点在图像B中对应的匹配点。以K最近邻(K-Nearest Neighbor,KNN)分类算法为例，首先设定一个参数K。计算图像A中的关键点特征与B中的欧氏距离，维持一个大小为K的按照距离由大到小排列的队列，用于存储最近邻训练元祖。遍历该训练元祖，计算当前元祖的关键点与A关键点的距离，将所得距离与最大距离Lmax进行比较。若L>＝Lmax，则舍弃这个元祖，遍历下一个元祖。若L<＝Lmax，则删除最大距离的元祖，加入该元祖进入k队列。遍历完毕，可得到与A中关键点同一类别的B图中的匹配点。
第二步：匹配点的筛选；
经过初步匹配的关键点存在很多的误差，因为涉及到目标背景的复杂性、多样性以及和前景目标的相似性，我们对第一步所得的结果要进行筛选，以求得到更好的前景目标匹配点区域。
在这一步中，我们提出了独有的关键点筛选方法，在该方法中我们设定两个衡量参数：尺度比例SR(Scale Rate)和方向OA(Orientation Rate)。根据之前匹配所得到的结果，计算图A中的关键点与图B中的匹配点的尺度比例以及方向比例，并以此构建一个二维数组
P＝{〈SR1,OA1〉,〈SR2,OA2〉…〈SRn,OAn〉}
来进行匹配点的筛选。在图像特征点的匹配过程中，经过观察，我们发现：在同一物体上的特征点往往维持同一尺度变化及方向变化，因此，通过对P的处理，可得到该二维数组分布较大的区域，即为前景目标上的匹配点所在区域，以此方法来对背景的干扰点进行去除。
第三步前景图像提取；
首先，进行匹配点的聚类分析。
此步骤是本发明的核心步骤，本方法创新性的将数据聚类分析的方法应用到关键点的同质性分析中去，可以很好地将图像特征匹配方法和图像分割的方法有机的结合。通过上一步的筛选，我们得到了图片A中的匹配关键点的组合c(i)，由于图片背景的复杂性，匹配的关键点中极有可能含有与前景目标关键点相似的干扰匹配点，此外为了给下一步的图片分割自动提供前景像素种子，本发明采用K-means聚类分析算法，对上一步所得到的关键点进行分组归类，以求得前景目标的关键点，提升图片分割的准确程度。与原始的K-means分析算法不同的是，我们的聚类方法并不是根据点的距离特征，而是采用的关键点128维sift特征，分析关键点在SIFT特征空间的欧氏距离。这种创新性的方法能够更好地分析特征点的同属性，从而得出更加精确的前景建议区域。以下介绍原始K-means的分析步骤：
K-means算法是将样本x(i)聚类成k个簇(cluster)，聚类属于无监督式学习，无需用户提供样本的类别标注，具体算法描述如下：
随机选取k个聚类之心点(cluster centroids)为
对于每一个样例i，计算到这k个种子店的距离，假如点c(n)距离种子点μn最近，那么c(n)属于μn点群。在本发明中需要计算128维SIFT特征空间中的欧氏距离。
接下来将每一个点群的μn种子点移动到该点群的中心。
Sn为匹配点的尺度信息。
重复第2、3步，直到每一个类的中心逐渐稳定。
经过聚类分析后，我们可以得到前景点群和背景种子点群，用来标记图像中的前景区域和背景区域，如图4。
然后进行前景提取。
本实施例使用现有的图片分割的算法对有前景和背景区域标识的图像进行目标轮廓的切割及提取。
首先用一个无向图G＝<V,E>表示要分割的图像A，V和E分别是顶点(vertex)和边(edge)的集合。在这个无向图中分为两类边和顶点：第一类是对应图像中每一个像素的普通定点。每两个领域定点(对应图中的两个邻域像素)的连接就是一条边，即为n-links。除普通顶点外，还另外有两个终端顶点，叫做S(source：源点)和T(sink：汇点)。这类顶点与每一个普通顶点之间都有连接，这种边叫做t-links。
接下来给每一条边分配权重，假设图像的分割为L时，图像的能量可以表示为：E(L)＝αR(L)+B(L)，其中R(L)为区域项，B(L)为边界项。E(L)表示的是权值，也叫能量函数，图像分割的目标就是优化能量函数使其达到最小值。
区域项的权值如下：
R(L)＝Rx(lx)
区域的项权值代表t-links边的权值。该点属于S或者T的可能性越高，那么它的权值就越大，反之则越小。
边界项的权值如下：
B(L)＝B<x,y〉·δ(lx,ly)
边界项代表n-links边的权值。当相邻的两个像素的相似度越高，这两点相连的边的权值也就越高。
再对每一条边的权重进行赋值以后，使用min cut算法来找到最小的割，这些边的断开正好可以使得目标和背景被分开，如图2。
下面结合实验进行数据说明如下：
1、数据集：在实验中可以随机从CMU-Cornell的数据集中选择成对的图片作为方法的测试集,同时因为CMU-Cornell的数据集中开源了图片所包含目标的真值图，所以以提供的真值轮廓图作为方法准确度的测试集。
2、实验设置：在实验中，以交并比作为实验结果的评价参数。交并比(Intersection Rate)如下：
其中P′是本实施例取出的前景图像，P是该图像的真实轮廓，可通过将实验得到的结果和开源数据集的同一对象的Truth_ground进行对比，求得正确像素点的比率，即可评价该方法的准确程度。
3、实验结果：实验结果如图3所示，可以得出前景图像的大致轮廓。
4、结果分析：如图所示，大部分的前景轮廓可以得到保证，但是由于背景与目标的相似性，前景目标的轮廓含有细小的瑕疵，但整体的准确度可以达到约85％。
实施例2
本实施例提供一种基于图像匹配的前景分割装置，主要包括如下各单元。
第一单元，分别取两幅输入图像的局部特征，根据提取的局部特征信息进行关键点的匹配；
其中，第一单元取两幅输入图像的局部特征包括：
将用户输入的两幅图片进行灰度化处理，使用SURF特征提取图片的局部特征信息。
第一单元根据提取的局部特征信息进行关键点的匹配包括：
使用近邻算法确定两幅输入图像中第一输入图像中的关键点在第二输入图像中对应的匹配点。
第二单元，从得到的关键点的匹配点中筛除错误匹配点得到所有正确的匹配点；
具体地，第二单元从得到的关键点的匹配点中筛除错误匹配点得到所有正确的匹配点包括：
配置尺度比例SR和方向OA，根据之前匹配所得到的结果，计算两幅输入图像中第一输入图像中的关键点与第二输入图像中的匹配点的尺度比例以及方向比例，并以此构建一个如下二维数组：
P＝{<SR1,OA1>,<SR2,OA2>…<SRn,OAn>}
其中，
进行匹配点的筛选。
第三单元，使用聚类分析从所有正确的匹配点中得出前景目标上的特征点群组；
具体地，第三单元使用聚类分析从所有正确的匹配点中得出前景目标上的特征点群组包括：
采用如下算法随机选取k个聚类之心点(cluster centroids)为
对于每一个样例i，计算到k个种子点的距离，距离种子点μn最近的点属于μn点群，其中，按照如下公式计算128维SIFT特征空间中的欧氏距离；
将每一个点群的μn种子点移动到该点群的中心，
重复计算各种点的距离，直到每一个类的中心逐渐稳定，得到前景点群和背景种子点群。
第四单元，根据所得出的特征点群组，利用图片分割算法得出图片中的前景目标。
由于上述装置可实现上述实施例1的方法，故上述装置中各单元的其他详细操作可参见实施例1的相应内容，在此不再赘述。
从上述实施例可以看出，本申请技术方案利用图像特征，并应用于静态图像的自动前景提取的核心问题。相比现有技术，提出了利用两幅图像的特征点，通过特征点的匹配，经过聚类分析得出感兴趣区域的轮廓，最后使用图像分割算法自动提取出静态图片的前景目标。尤其适用于静态图片数据，具有较高的准确性。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。
以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于图像匹配的前景分割方法，其特征在于，包括：
分别取两幅输入图像的局部特征，根据提取的局部特征信息进行关键点的匹配；
从得到的关键点的匹配点中筛除错误匹配点得到所有正确的匹配点；
使用聚类分析从所有正确的匹配点中得出前景目标上的特征点群组；
根据所得出的特征点群组，利用图片分割算法得出图片中的前景目标。
2.如权利要求1所述的方法，其特征在于，取两幅输入图像的局部特征的过程包括：
将用户输入的两幅图片进行灰度化处理，使用SURF特征提取图片的局部特征信息。
3.如权利要求2所述的方法，其特征在于，根据提取的局部特征信息进行关键点的匹配的过程包括：
使用近邻算法确定两幅输入图像中第一输入图像中的关键点在第二输入图像中对应的匹配点。
4.如权利要求2或3所述的方法，其特征在于，从得到的关键点的匹配点中筛除错误匹配点得到所有正确的匹配点的过程包括：
配置尺度比例SR和方向OA，根据之前匹配所得到的结果，计算两幅输入图像中第一输入图像中的关键点与第二输入图像中的匹配点的尺度比例以及方向比例，并以此构建如下二维数组：
P＝{<SR1,OA1>,<SR2,OA2>…<SRn,OAn>}
其中，OAn＝θn-θn′
进行匹配点的筛选。
5.如权利要求4所述的方法，其特征在于，使用聚类分析从所有正确的匹配点中得出前景目标上的特征点群组的过程包括：
采用如下算法随机选取k个聚类之心点为
<mrow>
<msub>
<mi>&mu;</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>&mu;</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>&mu;</mi>
<mi>k</mi>
</msub>
<mo>&Element;</mo>
<msup>
<mi>R</mi>
<mi>n</mi>
</msup>
<mo>,</mo>
<msub>
<mi>&mu;</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mo>{</mo>
<msub>
<mi>s</mi>
<msub>
<mi>i</mi>
<mn>1</mn>
</msub>
</msub>
<mo>,</mo>
<msub>
<mi>s</mi>
<msub>
<mi>i</mi>
<mn>2</mn>
</msub>
</msub>
<mo>...</mo>
<msub>
<mi>s</mi>
<msub>
<mi>i</mi>
<mn>128</mn>
</msub>
</msub>
<mo>}</mo>
<mo>,</mo>
<mi>i</mi>
<mo>&Element;</mo>
<mi>k</mi>
</mrow>
对于每一个样例i，计算到k个种子点的距离，距离种子点μn最近的点属于μn点群，其中，按照如下公式计算128维SIFT特征空间中的欧氏距离；
<mrow>
<msup>
<mi>c</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</msup>
<mo>:</mo>
<mo>=</mo>
<mi>arg</mi>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mi>j</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</msup>
<mo>{</mo>
<msub>
<mi>s</mi>
<msub>
<mi>i</mi>
<mn>1</mn>
</msub>
</msub>
<mo>,</mo>
<msub>
<mi>s</mi>
<msub>
<mi>i</mi>
<mn>2</mn>
</msub>
</msub>
<mo>...</mo>
<msub>
<mi>s</mi>
<msub>
<mi>i</mi>
<mn>128</mn>
</msub>
</msub>
<mo>}</mo>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>j</mi>
</msub>
<mo>{</mo>
<msub>
<mi>s</mi>
<msub>
<mi>j</mi>
<mn>1</mn>
</msub>
</msub>
<mo>,</mo>
<msub>
<mi>s</mi>
<msub>
<mi>j</mi>
<mn>2</mn>
</msub>
</msub>
<mo>...</mo>
<msub>
<mi>s</mi>
<msub>
<mi>j</mi>
<mn>128</mn>
</msub>
</msub>
<mo>}</mo>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
将每一个点群的μn种子点移动到该点群的中心，
<mrow>
<msub>
<mi>&mu;</mi>
<mi>j</mi>
</msub>
<mo>:</mo>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</msubsup>
<mn>1</mn>
<mo>{</mo>
<msup>
<mi>c</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</msup>
<mo>=</mo>
<mi>j</mi>
<mo>}</mo>
<msup>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</msup>
</mrow>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</msubsup>
<mo>{</mo>
<msup>
<mi>c</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</msup>
<mo>=</mo>
<mi>j</mi>
<mo>}</mo>
</mrow>
</mfrac>
</mrow>
重复计算各种点的距离，直到每一个类的中心逐渐稳定，得到前景点群和背景种子点群。
6.一种基于图像匹配的前景分割装置，其特征在于，包括：
第一单元，分别取两幅输入图像的局部特征，根据提取的局部特征信息进行关键点的匹配；
第二单元，从得到的关键点的匹配点中筛除错误匹配点得到所有正确的匹配点；
第三单元，使用聚类分析从所有正确的匹配点中得出前景目标上的特征点群组；
第四单元，根据所得出的特征点群组，利用图片分割算法得出图片中的前景目标。
7.如权利要求6所述的装置，其特征在于，所述第一单元取两幅输入图像的局部特征包括：
将用户输入的两幅图片进行灰度化处理，使用SURF特征提取图片的局部特征信息。
8.如权利要求7所述的装置，其特征在于，所述第一单元根据提取的局部特征信息进行关键点的匹配包括：
使用近邻算法确定两幅输入图像中第一输入图像中的关键点在第二输入图像中对应的匹配点。
9.如权利要求7或8所述的装置，其特征在于，所述第二单元从得到的关键点的匹配点中筛除错误匹配点得到所有正确的匹配点包括：
配置尺度比例SR和方向OA，根据之前匹配所得到的结果，计算两幅输入图像中第一输入图像中的关键点与第二输入图像中的匹配点的尺度比例以及方向比例，并以此构建如下二维数组：
P＝{<SR1,OA1>,<SR2,OA2>…<SRn,OAn>}
其中，OAn＝θn-θn′
进行匹配点的筛选。
10.如权利要求9所述的装置，其特征在于，所述第三单元使用聚类分析从所有正确的匹配点中得出前景目标上的特征点群组包括：
采用如下算法随机选取k个聚类之心点为
<mrow>
<msub>
<mi>&mu;</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>&mu;</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>&mu;</mi>
<mi>k</mi>
</msub>
<mo>&Element;</mo>
<msup>
<mi>R</mi>
<mi>n</mi>
</msup>
<mo>,</mo>
<msub>
<mi>&mu;</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mo>{</mo>
<msub>
<mi>s</mi>
<msub>
<mi>i</mi>
<mn>1</mn>
</msub>
</msub>
<mo>,</mo>
<msub>
<mi>s</mi>
<msub>
<mi>i</mi>
<mn>2</mn>
</msub>
</msub>
<mo>...</mo>
<msub>
<mi>s</mi>
<msub>
<mi>i</mi>
<mn>128</mn>
</msub>
</msub>
<mo>}</mo>
<mo>,</mo>
<mi>i</mi>
<mo>&Element;</mo>
<mi>k</mi>
</mrow>
对于每一个样例i，计算到k个种子点的距离，距离种子点μn最近的点属于μn点群，其中，按照如下公式计算128维SIFT特征空间中的欧氏距离；
<mrow>
<msup>
<mi>c</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</msup>
<mo>:</mo>
<mo>=</mo>
<mi>arg</mi>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mi>j</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</msup>
<mo>{</mo>
<msub>
<mi>s</mi>
<msub>
<mi>i</mi>
<mn>1</mn>
</msub>
</msub>
<mo>,</mo>
<msub>
<mi>s</mi>
<msub>
<mi>i</mi>
<mn>2</mn>
</msub>
</msub>
<mo>...</mo>
<msub>
<mi>s</mi>
<msub>
<mi>i</mi>
<mn>128</mn>
</msub>
</msub>
<mo>}</mo>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>j</mi>
</msub>
<mo>{</mo>
<msub>
<mi>s</mi>
<msub>
<mi>j</mi>
<mn>1</mn>
</msub>
</msub>
<mo>,</mo>
<msub>
<mi>s</mi>
<msub>
<mi>j</mi>
<mn>2</mn>
</msub>
</msub>
<mo>...</mo>
<msub>
<mi>s</mi>
<msub>
<mi>j</mi>
<mn>128</mn>
</msub>
</msub>
<mo>}</mo>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
3
将每一个点群的μn种子点移动到该点群的中心，
<mrow>
<msub>
<mi>&mu;</mi>
<mi>j</mi>
</msub>
<mo>:</mo>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</msubsup>
<mn>1</mn>
<mo>{</mo>
<msup>
<mi>c</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</msup>
<mo>=</mo>
<mi>j</mi>
<mo>}</mo>
<msup>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</msup>
</mrow>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</msubsup>
<mo>{</mo>
<msup>
<mi>c</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</msup>
<mo>=</mo>
<mi>j</mi>
<mo>}</mo>
</mrow>
</mfrac>
</mrow>
重复计算各种点的距离，直到每一个类的中心逐渐稳定，得到前景点群和背景种子点群。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610244730.5A CN107305691A (zh) | 2016-04-19 | 2016-04-19 | 基于图像匹配的前景分割方法及装置 |
| PCT/CN2017/080274 WO2017181892A1 (zh) | 2016-04-19 | 2017-04-12 | 前景分割方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610244730.5A CN107305691A (zh) | 2016-04-19 | 2016-04-19 | 基于图像匹配的前景分割方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107305691A true CN107305691A (zh) | 2017-10-31 |
Family
ID=60115618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610244730.5A Pending CN107305691A (zh) | 2016-04-19 | 2016-04-19 | 基于图像匹配的前景分割方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107305691A (zh) |
| WO (1) | WO2017181892A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612824A (zh) * | 2020-05-26 | 2020-09-01 | 天津市微卡科技有限公司 | 一种用于机器人控制的意识跟踪识别算法 |
| CN112001939A (zh) * | 2020-08-10 | 2020-11-27 | 浙江大学 | 基于边缘知识转化的图像前景分割算法 |
| CN112150512A (zh) * | 2020-09-30 | 2020-12-29 | 中国科学院上海微系统与信息技术研究所 | 融合背景差分法和聚类法的弹着点定位方法 |
| CN112287193A (zh) * | 2020-10-30 | 2021-01-29 | 腾讯科技（深圳）有限公司 | 数据聚类方法、装置、计算机设备及存储介质 |
| CN112347899A (zh) * | 2020-11-03 | 2021-02-09 | 广州杰赛科技股份有限公司 | 一种运动目标图像提取方法、装置、设备及存储介质 |
| CN112862829A (zh) * | 2019-11-27 | 2021-05-28 | 武汉Tcl集团工业研究院有限公司 | 标签图片的分割方法、装置及存储介质 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110555444B (zh) * | 2018-06-01 | 2022-09-20 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于局部聚类的特征匹配筛选算法 |
| CN109977809A (zh) * | 2019-03-08 | 2019-07-05 | 上海电力学院 | 一种自适应人群分群检测方法 |
| CN112601029B (zh) * | 2020-11-25 | 2023-01-03 | 上海卫莎网络科技有限公司 | 一种已知背景先验信息的视频分割方法、终端和存储介质 |
| CN117692649B (zh) * | 2024-02-02 | 2024-04-19 | 广州中海电信有限公司 | 基于图像特征匹配的船舶远程监控视频高效传输方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101686338B (zh) * | 2008-09-26 | 2013-12-25 | 索尼株式会社 | 分割视频中的前景和背景的系统和方法 |
| CN101859436B (zh) * | 2010-06-09 | 2011-12-14 | 王巍 | 一种大幅规律运动背景智能分析管控系统 |
| CN102184550B (zh) * | 2011-05-04 | 2013-02-13 | 华中科技大学 | 一种动平台地面运动目标检测方法 |
| CN102663776B (zh) * | 2012-03-31 | 2014-10-29 | 北京智安邦科技有限公司 | 基于特征点分析的剧烈运动检测的方法及装置 |
| CN102708370B (zh) * | 2012-05-17 | 2015-04-15 | 北京交通大学 | 一种多视角图像前景目标提取方法及装置 |
| CN102819835A (zh) * | 2012-07-26 | 2012-12-12 | 中国航天科工集团第三研究院第八三五七研究所 | 一种图像拼接中筛选特征点匹配对的方法 |
| CN103714544B (zh) * | 2013-12-27 | 2016-08-17 | 苏州盛景空间信息技术有限公司 | 一种基于sift特征点匹配的优化方法 |
-
2016
- 2016-04-19 CN CN201610244730.5A patent/CN107305691A/zh active Pending
-
2017
- 2017-04-12 WO PCT/CN2017/080274 patent/WO2017181892A1/zh active Application Filing
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862829A (zh) * | 2019-11-27 | 2021-05-28 | 武汉Tcl集团工业研究院有限公司 | 标签图片的分割方法、装置及存储介质 |
| CN112862829B (zh) * | 2019-11-27 | 2024-03-12 | 武汉Tcl集团工业研究院有限公司 | 标签图片的分割方法、装置及存储介质 |
| CN111612824A (zh) * | 2020-05-26 | 2020-09-01 | 天津市微卡科技有限公司 | 一种用于机器人控制的意识跟踪识别算法 |
| CN112001939A (zh) * | 2020-08-10 | 2020-11-27 | 浙江大学 | 基于边缘知识转化的图像前景分割算法 |
| CN112001939B (zh) * | 2020-08-10 | 2021-03-16 | 浙江大学 | 基于边缘知识转化的图像前景分割算法 |
| CN112150512A (zh) * | 2020-09-30 | 2020-12-29 | 中国科学院上海微系统与信息技术研究所 | 融合背景差分法和聚类法的弹着点定位方法 |
| CN112150512B (zh) * | 2020-09-30 | 2023-12-15 | 中国科学院上海微系统与信息技术研究所 | 融合背景差分法和聚类法的弹着点定位方法 |
| CN112287193A (zh) * | 2020-10-30 | 2021-01-29 | 腾讯科技（深圳）有限公司 | 数据聚类方法、装置、计算机设备及存储介质 |
| CN112287193B (zh) * | 2020-10-30 | 2022-10-04 | 腾讯科技（深圳）有限公司 | 一种图像分割方法、装置、计算机设备及存储介质 |
| CN112347899A (zh) * | 2020-11-03 | 2021-02-09 | 广州杰赛科技股份有限公司 | 一种运动目标图像提取方法、装置、设备及存储介质 |
| CN112347899B (zh) * | 2020-11-03 | 2023-09-19 | 广州杰赛科技股份有限公司 | 一种运动目标图像提取方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017181892A1 (zh) | 2017-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107305691A (zh) | 基于图像匹配的前景分割方法及装置 | |
| CN109961049B (zh) | 一种复杂场景下香烟品牌识别方法 | |
| Han et al. | Two-stage learning to predict human eye fixations via SDAEs | |
| Martin | An empirical approach to grouping and segmentation | |
| Zheng et al. | Fusion of block and keypoints based approaches for effective copy-move image forgery detection | |
| CN106446933B (zh) | 基于上下文信息的多目标检测方法 | |
| CN101667245B (zh) | 基于支持向量新颖检测分类器级联的人脸检测方法 | |
| CN103714181B (zh) | 一种层级化的特定人物检索方法 | |
| CN107103326A (zh) | 基于超像素聚类的协同显著性检测方法 | |
| CN104572804A (zh) | 一种视频物体检索的方法及其系统 | |
| CN106778852A (zh) | 一种修正误判的图像内容识别方法 | |
| CN112818862A (zh) | 基于多源线索与混合注意力的人脸篡改检测方法与系统 | |
| CN104850822B (zh) | 基于多特征融合的简单背景下的叶片识别方法 | |
| CN108596098A (zh) | 人体部件的解析方法、系统、设备和存储介质 | |
| CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| Bak et al. | Two-stream convolutional networks for dynamic saliency prediction | |
| Naqvi et al. | Feature quality-based dynamic feature selection for improving salient object detection | |
| CN104680189A (zh) | 基于改进词袋模型的不良图像检测方法 | |
| Shen et al. | Gestalt rule feature points | |
| Rahman et al. | Contextual-based top-down saliency feature weighting for target detection | |
| Chen et al. | An improved local descriptor and threshold learning for unsupervised dynamic texture segmentation | |
| Seychell et al. | Ranking regions of visual saliency in rgb-d content | |
| Boroujerdi et al. | Deep interactive region segmentation and captioning | |
| David et al. | Authentication of Vincent van Gogh’s work | |
| Putri et al. | Artistic Style Characterization of Vincent Van Gogh’s Paintings using Extracted Features from Visible Brush Strokes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171031 |
|
| WD01 | Invention patent application deemed withdrawn after publication |