CN113298821A - 一种基于Nystrom谱聚类的超像素抠图方法 - Google Patents

一种基于Nystrom谱聚类的超像素抠图方法 Download PDF

Info

Publication number
CN113298821A
CN113298821A CN202110434415.XA CN202110434415A CN113298821A CN 113298821 A CN113298821 A CN 113298821A CN 202110434415 A CN202110434415 A CN 202110434415A CN 113298821 A CN113298821 A CN 113298821A
Authority
CN
China
Prior art keywords
matrix
nystrom
points
pixel
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110434415.XA
Other languages
English (en)
Inventor
贾洪杰
毛启容
王良君
宋和平
马忠臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202110434415.XA priority Critical patent/CN113298821A/zh
Publication of CN113298821A publication Critical patent/CN113298821A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Nystrom谱聚类的超像素抠图方法，针对传统的谱聚类超像素分割方法计算复杂度过高，不适合大尺寸图像处理的问题，利用Nystrom近似技术改进谱聚类，提高超像素分割的效率和质量。本发明首先在待分割图像上随机抽样，选取少量像素点样本；然后计算样本相似性矩阵，并对矩阵归一化；接着利用Nystrom近似技术，计算Laplacian矩阵的近似正交特征向量；再使用k‑means算法对特征空间中的代表点聚类，生成多个超像素；最后根据目标物体的轮廓，通过超像素分离前景目标与背景。本发明为Nystrom谱聚类设计了新的特征求解方法，使所得的近似特征向量满足正交条件，用于产生贴合物体形状的超像素。本发明可以降低超像素分割的计算复杂度，实现更高效、更精确的图像抠图。

Description

一种基于Nystrom谱聚类的超像素抠图方法
技术领域
本发明属于图像处理领域，具体涉及一种基于Nystrom谱聚类的超像素抠图方法
背景技术
随着数字摄影技术的发展，相机变得越来越小，越来越智能，功能也越来越强大。人们可以方便地使用相机记录生活中的精彩瞬间，并通过社交网络分享给亲朋好友。但是受拍照环境和照相设备的限制，很多时候我们获得的照片存在一些瑕疵，希望利用数字图像处理技术对照片进行修补。图像抠图就是数字图像处理的一种重要技术，其目的是将图像中的前景人物或物体提取出来，合成到新场景中，满足用户的需要。如今，抠图技术已经在照片编辑、影视特效、虚拟现实、游戏动画、在线会议等领域广泛应用。用户可以使用抠图技术来美化自己的照片，例如修改照片的背景图案，或者在照片中添加新的元素进行修饰，弥补拍照时留下的遗憾。另外，很多电影和广告的后期制作也会用到抠图技术。甚至有的影视剧为了节省制作成本，主要录制过程全部在摄影棚内，然后使用图像抠图和合成技术添加背景，产生特殊的视觉效果。可见，图像抠图技术应用前景广阔，具有重要的研究意义和实用价值。图像抠图得到的前景层主要用于图像合成，前景层的好坏对后期图像合成的效果有直接影响。虽然已经有很多针对不同任务的抠图算法，但是图像中的前景对象往往形状各异、特征复杂，而且存在物体遮挡、相似背景等干扰，这些都增加了抠图的难度，如何在复杂场景中精确地提取图像的前景对象依然值得深入研究。
近年来，超像素抠图方法引起很大关注。超像素的基本思想是对图像中的像素进行局部分割，分割结果中的每一类像素具有相似的颜色、纹理等信息，使得到的超像素可以贴合图像中物体的形状。超像素抠图可保持物体的大部分边界，并且超像素比单个像素点包含更多的局部信息。为了得到超像素可以采用谱聚类方法对像素点聚类，把图像分割成不同的区域。谱聚类基于谱图理论生成超像素，通常由三个阶段组成：预处理、谱表示和聚类。假设图像中包含n个像素点，首先计算所有像素点之间的成对相似性，得到一个n×n的相似性矩阵W；然后计算Laplacian矩阵L＝D-1/2WD-1/2(其中D是度矩阵)，并对Laplacian矩阵特征分解，用特征向量组成新的数据空间；最后对特征空间中的代表点进行聚类，并把聚类结果还原到原始像素点，形成超像素块，更好地识别前景物体的细节特征。
尽管谱聚类有很多优势，但是传统的谱聚类方法只适用于小尺寸的图像分割。因为谱聚类需要计算相似性矩阵和Laplacian矩阵，并对Laplacian矩阵特征分解，算法的空间复杂度一般是O(n2)，时间复杂度为O(n3)。如果待分割的图像尺寸很大，像素点的规模n也很大，使用谱聚类划分超像素时将消耗大量的计算和内存资源。所以如何降低谱聚类的时间和空间复杂度，提高超像素生成的效率，一直是理论研究和实践应用的难点。
解决谱聚类计算和内存难题的常用方法是，使相似性矩阵的一些元素归零，将矩阵稀疏化。然后根据稀疏的相似性矩阵，计算对应的Laplacian矩阵，并调用稀疏的特征分解方法计算特征向量。稀疏表示可以有效解决内存瓶颈，但是一些稀疏化方法仍然需要计算相似性矩阵的全部元素。另一个加速谱聚类的重要方法是Nystrom近似技术，利用少量的抽样点构造近似的相似性矩阵，对连续空间中的Laplacian算子进行逼近，求解近似的特征向量。假设使用均匀不重复抽样方法，从相似性矩阵W中随机选取m列(m<<n)，得到一个n×m的矩阵H，A表示由这m列与对应的W的m行的交集组成的m×m的矩阵，则矩阵H和W可以写成式(1)：
Figure BDA0003032522790000021
其中，B是一个m×(n-m)的矩阵，由m个样本点和n-m个剩余点之间的成对相似性构成；C是一个(n-m)×(n-m)的矩阵，由n-m个剩余点之间的成对相似性构成，当m<<n时，C通常很大。
Nystrom近似技术使用式(1)中的矩阵A和H来逼近相似性矩阵W，得到矩阵
Figure BDA0003032522790000022
Figure BDA0003032522790000023
其中，A-1是A的逆。可以证明随着m的增加，近似的相似性矩阵
Figure BDA0003032522790000024
会收敛于W。
对比式(2)和式(1)可知，Nystrom近似实际上是用BTA-1B来逼近W的子矩阵C。由于m<<n，所以抽样后剩余点的数目n-m通常是很大的。Nystrom谱聚类可以避免计算剩余点的相似度，虽然会牺牲部分准确的相似性值，但是换来了更短的计算时间，能够有效提高超像素分割的效率。
发明内容
针对上述背景技术的问题，本发明实现了一种基于Nystrom谱聚类的超像素抠图方法，利用Nystrom谱聚类技术将图像划分成不同区域，相同颜色的区域构成超像素块，然后根据目标物体的形状选择对应的超像素块，将前景物体与背景分离，实现图像抠图。本发明可以快速将图像划分成多个超像素块，而且超像素的轮廓贴合物体的形状，便于通过超像素分离目标物体，实现更高效、更精确的图像抠图。
本发明首先在待分割的图像上随机均匀抽样，选取少量像素点样本；然后分别计算样本点之间的相似性矩阵，以及样本点与剩余点之间的相似性矩阵，并对矩阵归一化；接着利用Nystrom近似技术，基于样本相似性矩阵计算Laplacian矩阵的近似正交特征向量；再使用k-means算法对特征空间中的代表点聚类，生成多个超像素块；最后，根据超像素块对图像中的目标物体抠图。具体技术方案如下：
基于Nystrom谱聚类的超像素抠图方法，包括下列步骤：
步骤1，构造样本相似性矩阵：设原图像包含n个像素点，从中随机均匀选取m个样本点(m<<n)，分别计算样本点之间的相似性矩阵A，以及样本点与剩余点之间的相似性矩阵B，构造矩阵H＝[A B]T；
步骤2，相似性矩阵归一化：构造度矩阵D，并利用矩阵D对矩阵H归一化处理，得到矩阵
Figure BDA0003032522790000031
步骤3，Nystrom近似特征向量计算：利用Nystrom近似技术，计算Laplacian矩阵的前k个近似正交特征向量，这些向量组成矩阵U⊥，对矩阵U⊥归一化处理，得到矩阵
Figure BDA0003032522790000032
步骤4，超像素生成：将矩阵
Figure BDA0003032522790000033
的每一行看作像素点在特征空间中的代表点，使用k-means算法把这些代表点聚成k类，根据聚类结果分割图像，属于相同类的像素点组成超像素；
步骤5，超像素抠图：根据目标物体的轮廓，选择物体中包含的超像素，并记录它们的标签，用户确认后合并这些超像素，并输出超像素构成的物体图像。
对于所述Nystrom近似技术，是一种矩阵近似技术，通过抽样构造样本子矩阵，使用较小的样本子矩阵的特征向量逼近理想的Laplacian矩阵的特征向量。但是采用传统方法计算的近似特征向量不是正交的，不满足谱聚类的约束条件。针对该问题，本发明定义了特殊的样本子矩阵，并设计了新的特征求解方法，使所得的近似特征向量满足正交条件。通常样本数远小于像素点的总数，样本子矩阵也远小于理想的Laplacian矩阵，所以样本子矩阵占用的内存空间更小，特征分解也更容易。Nystrom近似技术只需使用样本相似性矩阵，避免了计算所有像素点的相似度，可以大幅降低超像素抠图的计算复杂度。
进一步，所述步骤1中，矩阵A为m×m的对称矩阵，由m个样本点之间的成对相似性构成；矩阵B为m×(n-m)的矩阵，由m个样本点和n-m个剩余点之间的成对相似性构成；
进一步，所述步骤1中，两个像素点xi和xj之间相似性wij由式(3)计算：
Figure BDA0003032522790000041
其中，exp()是以自然常数e为底的指数函数，||·||表示2-范数，σ为尺度参数。
进一步，所述步骤2中，所述度矩阵D为n×n的对角矩阵，由式(4)计算：
Figure BDA0003032522790000042
其中，diag()表示由矢量参数构成的对角矩阵，向量a＝A1m，向量b1＝B1n-m，向量b2＝BT1m，1m表示m个1组成的列向量。
进一步，所述步骤2中，利用矩阵D对矩阵H归一化处理得到矩阵
Figure BDA0003032522790000043
的计算公式为：
Figure BDA0003032522790000044
进一步，所述步骤3中的矩阵U⊥的计算过程包括：
步骤3.1，定义样本子矩阵M：
首先根据式(6)分解近似的Laplacian矩阵L：
Figure BDA0003032522790000051
设
Figure BDA0003032522790000052
表示Laplacian矩阵的近似正交特征向量，即
Figure BDA0003032522790000053
其中I是单位矩阵，所以得出样本子矩阵M的计算表达式为：
Figure BDA0003032522790000054
步骤3.2，根据式(8)对样本子矩阵M特征分解：
Figure BDA0003032522790000055
其中，UM是M的特征向量组成的矩阵；ΛM是M的特征值组成的对角矩阵，对角线元素按特征值大小降序排列；
步骤3.3，根据式(9)计算Laplacian矩阵的前k个近似正交特征向量，这些向量组成矩阵U⊥：
Figure BDA0003032522790000056
其中，(UM):,1:k表示矩阵UM的第1至k列构成的子矩阵，
Figure BDA0003032522790000057
表示矩阵
Figure BDA0003032522790000058
的第1至k行和第1至k列的交集构成的子矩阵，k≤m。
进一步，所述步骤3中对矩阵U⊥归一化得到矩阵
Figure BDA0003032522790000059
的方法为：
根据式(10)将U⊥的每个元素uij归一化，得到矩阵
Figure BDA00030325227900000510
Figure BDA00030325227900000511
其中，i∈{1,...,n}，j∈{1,...,k}。
进一步，所述步骤4中使用k-means算法将代表点聚成k类的具体过程如下：
步骤4.1，聚类中心初始化：在矩阵
Figure BDA00030325227900000512
包含的n个代表点中，随机选取k个不同的点作为初始聚类中心；
步骤4.2，类标签分配：计算每个点xi与k个聚类中心的距离，将xi与最近的类中心归为一类，xi的类标签labeli可由式(11)计算：
Figure BDA0003032522790000061
其中，mc表示第c类的中心。
步骤4.3，聚类中心更新：将每个类中所有点的均值作为新的类中心，类中心mc的更新表达式为式(12)：
Figure BDA0003032522790000062
其中，Clusterc表示第c类，|Clusterc|是第c类包含的代表点的数目；
步骤4.4，重复步骤4.2和步骤4.3，直到所有类的中心不再变化。
进一步，所述步骤4中组成超像素是指：聚类结果中具有相同类标签的像素点形成的图像块即为超像素。
本发明的有益效果：
(1)本发明使用Nystrom近似技术改善谱聚类分割图像的性能，Nystrom近似技术利用样本子矩阵与Laplacian矩阵的关系，求解Laplacian矩阵的近似特征向量。在对像素点聚类过程中，只需对较小的样本子矩阵特征分解，避免了计算并分解很大的Laplacian矩阵，可以降低谱聚类的时间和空间复杂度。
(2)本发明定义了一个特殊的样本子矩阵M，并设计了新的特征求解方法，利用矩阵M的特征值和特征向量，计算Laplacian矩阵的近似正交特征向量，满足谱聚类对特征向量正交性的要求，使Nystrom近似技术与谱聚类更好地融合，改善生成超像素的质量。
(3)本发明使用Nystrom谱聚类方法将图像划分成多个超像素块，可以在保证超像素质量的前提下，提高超像素分割的效率。然后基于生成的超像素块进行图像抠图，使抠出的目标物体与背景充分分离，并保留完整细节。
附图说明
图1是基于Nystrom谱聚类的超像素生成方法的流程图。
图2是用户交互的超像素抠图方法的流程图。
具体实施方式
下面结合附图对本发明作进一步说明。
本发明为了实现更高效、更精确的图像抠图，采用Nystrom谱聚类方法将图像分割成超像素块，然后根据超像素块对图像中的目标物体抠图。本发明主要包含五个步骤：构造样本相似性矩阵、相似性矩阵归一化、Nystrom近似特征向量计算、超像素生成、超像素抠图。本发明首先在待分割的图像上随机均匀抽样，选取少量像素点样本；然后分别计算样本点之间的相似性矩阵，以及样本点与剩余点之间的相似性矩阵，并对矩阵归一化；接着利用Nystrom近似技术，基于样本相似性矩阵计算Laplacian矩阵的近似正交特征向量；再使用k-means算法对特征空间中的代表点聚类，生成多个超像素块，使超像素的轮廓贴合物体的形状；最后通过超像素块进行图像抠图，分离前景目标与背景。具体步骤如下：
步骤1，构造样本相似性矩阵：设原图像包含n个像素点，从中随机均匀选取m个样本点(m<<n)，分别计算样本点之间的相似性矩阵A，以及样本点与剩余点之间的相似性矩阵B，构造矩阵H＝[A B]T。矩阵A是一个m×m的对称矩阵，由m个样本点之间的成对相似性构成；矩阵B是一个m×(n-m)的矩阵，由m个样本点和n-m个剩余点之间的成对相似性构成。两个像素点xi和xj之间相似性wij可由式(3)计算：
Figure BDA0003032522790000071
其中，exp()是以自然常数e为底的指数函数，||·||表示2-范数，σ为尺度参数。
步骤2，相似性矩阵归一化：首先构造度矩阵D，D是一个n×n的对角矩阵，可由式(4)计算：
Figure BDA0003032522790000072
其中，diag()表示由矢量参数构成的对角矩阵，向量a＝A1m，向量b1＝B1n-m，向量b2＝BT1m，1m表示m个1组成的列向量。
然后利用度矩阵D对矩阵H归一化处理，得到矩阵
Figure BDA0003032522790000073
步骤3，Nystrom近似特征向量计算：利用Nystrom近似技术，计算Laplacian矩阵的前k个近似正交特征向量，这些向量组成矩阵U⊥。
设Laplacian矩阵L＝D-1/2WD-1/2可以分解为L＝UΛUT，其中，W是一个n×n的相似性矩阵，由所有n个像素点之间的成对相似性构成，U是L的特征向量组成的矩阵，Λ是L的特征值组成的对角矩阵。Nystrom近似技术通过对矩阵A特征分解来计算近似的U和Λ。设矩阵A可以分解为
Figure BDA0003032522790000081
其中，UA是指A的特征向量组成的矩阵，ΛA是矩阵A的特征值组成的对角矩阵，由式(2)可得近似的Laplacian矩阵为：
Figure BDA0003032522790000082
若令
Figure BDA0003032522790000083
则
Figure BDA0003032522790000084
传统的Nystrom近似技术使用UL作为Laplacian矩阵的近似特征向量，但是UL并不能直接用于谱聚类，因为谱聚类要求组成特征空间的特征向量是正交的，而UL不满足这一条件。
为了计算Laplacian矩阵的近似正交特征向量，本发明定义了一个特殊的样本子矩阵M，并设计了新的特征求解方法。设M可以分解为
Figure BDA0003032522790000085
其中，UM是指M的特征向量组成的矩阵，ΛM是矩阵M的特征值组成的对角矩阵，根据式(6)重新分解近似的Laplacian矩阵：
Figure BDA0003032522790000086
设
Figure BDA0003032522790000087
表示Laplacian矩阵的近似正交特征向量，即
Figure BDA0003032522790000088
其中I是单位矩阵，所以矩阵M的计算表达式为式(7)：
Figure BDA0003032522790000089
综上，本发明利用Nystrom近似技术，计算Laplacian矩阵的前k个近似正交特征向量的过程如下：
步骤3.1，根据式(7)计算样本子矩阵
Figure BDA00030325227900000810
步骤3.2，根据式(8)对矩阵M特征分解：
Figure BDA00030325227900000811
其中，UM是M的特征向量组成的矩阵；ΛM是M的特征值组成的对角矩阵，对角线元素按特征值大小降序排列；
步骤3.3，根据式(9)计算Laplacian矩阵的前k个近似正交特征向量，这些向量组成矩阵U⊥：
Figure BDA0003032522790000091
其中，(UM):1:k表示矩阵UM的第1至k列构成的子矩阵，
Figure BDA0003032522790000092
表示矩阵
Figure BDA0003032522790000093
的第1至k行和第1至k列的交集构成的子矩阵，k≤m。
然后对矩阵U⊥归一化处理，根据式(10)将U⊥的每个元素uij归一化，得到矩阵
Figure BDA0003032522790000094
Figure BDA0003032522790000095
其中，i∈{1,...,n}，j∈{1,...,k}。
步骤4，超像素生成：将矩阵
Figure BDA0003032522790000096
的每一行看作像素点在特征空间中的代表点，使用k-means算法把这些代表点聚成k类，k-means算法的聚类过程如下：
步骤4.1，聚类中心初始化：在矩阵
Figure BDA0003032522790000097
包含的n个代表点中，随机选取k个不同的点作为初始聚类中心；
步骤4.2，类标签分配：计算每个点xi与k个聚类中心的距离，将xi与最近的类中心归为一类，xi的类标签labeli可由式(11)计算：
Figure BDA0003032522790000098
其中，mc表示第c类的中心。
步骤4.3，聚类中心更新：将每个类中所有点的均值作为新的类中心，类中心mc的更新表达式为式(12)：
Figure BDA0003032522790000099
其中，Clusterc表示第c类，|Clusterc|是第c类包含的代表点的数目。
步骤4.4，重复步骤4.2和步骤4.3，直到所有类的中心不再变化。
然后根据k-means算法的聚类结果分割图像，聚类结果中具有相同类标签的像素点形成的图像块即为超像素。步骤1至步骤4所述基于Nystrom谱聚类的超像素生成过程如图1所示。
步骤5，超像素抠图：根据目标物体的轮廓，选择物体中包含的超像素，并记录它们的标签，用户确认后合并这些超像素，并输出超像素构成的物体图像。用户交互的超像素抠图过程如图2所示。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于Nystrom谱聚类的超像素抠图方法，其特征在于，包括如下步骤：
步骤1，构造样本相似性矩阵：设原图像包含n个像素点，从中随机均匀选取m个样本点(m<<n)，分别计算样本点之间的相似性矩阵A，以及样本点与剩余点之间的相似性矩阵B，构造矩阵H＝[A B]T；
步骤2，相似性矩阵归一化：构造度矩阵D，并利用矩阵D对矩阵H归一化处理，得到矩阵
Figure FDA0003032522780000011
步骤3，Nystrom近似特征向量计算：利用Nystrom近似技术，基于样本相似性矩阵计算Laplacian矩阵的前k个近似正交特征向量，这些向量组成矩阵U⊥，对矩阵U⊥归一化处理，得到矩阵
Figure FDA0003032522780000012
步骤4，超像素生成：将矩阵
Figure FDA0003032522780000013
的每一行看作像素点在特征空间中的代表点，使用k-means算法把这些代表点聚成k类；根据聚类结果分割图像，属于相同类的像素点组成超像素；
步骤5，超像素抠图：根据目标物体的轮廓，选择物体中包含的超像素，并记录它们的标签，用户确认后合并这些超像素，并输出超像素构成的物体图像。
2.根据权利要求1所述的一种基于Nystrom谱聚类的超像素抠图方法，其特征在于，所述步骤1中，矩阵A为m×m的对称矩阵，由m个样本点之间的成对相似性构成；矩阵B为m×(n-m)的矩阵，由m个样本点和n-m个剩余点之间的成对相似性构成。
3.根据权利要求1所述的一种基于Nystrom谱聚类的超像素抠图方法，其特征在于，所述步骤1中，两个像素点xi和xj之间相似性wij由式(3)计算：
Figure FDA0003032522780000014
其中，exp()是以自然常数e为底的指数函数，||·||表示2-范数，σ为尺度参数。
4.根据权利要求1所述的一种基于Nystrom谱聚类的超像素抠图方法，其特征在于，所述步骤2中，所述度矩阵D为n×n的对角矩阵，由式(4)计算：
Figure FDA0003032522780000021
其中，diag()表示由矢量参数构成的对角矩阵，向量a＝A1m，向量b1＝B1n-m，向量b2＝BT1m，1m表示m个1组成的列向量。
5.根据权利要求4所述的一种基于Nystrom谱聚类的超像素抠图方法，其特征在于，所述步骤2中，利用矩阵D对矩阵H归一化处理得到矩阵
Figure FDA0003032522780000022
的计算公式为：
Figure FDA0003032522780000023
6.根据权利要求1所述的一种基于Nystrom谱聚类的超像素抠图方法，其特征在于，所述步骤3中的矩阵U⊥的计算过程包括：
步骤3.1，定义样本子矩阵M：
首先根据式(6)分解近似的Laplacian矩阵L：
Figure FDA0003032522780000024
设
Figure FDA0003032522780000025
表示Laplacian矩阵的近似正交特征向量，即
Figure FDA0003032522780000026
其中I是单位矩阵，所以得出样本子矩阵M的计算表达式为：
Figure FDA0003032522780000027
步骤3.2，根据式(8)对样本子矩阵M特征分解：
Figure FDA0003032522780000028
其中，UM是M的特征向量组成的矩阵；ΛM是M的特征值组成的对角矩阵，对角线元素按特征值大小降序排列；
步骤3.3，根据式(9)计算Laplacian矩阵的前k个近似正交特征向量，这些向量组成矩阵U⊥：
Figure FDA0003032522780000031
其中，(UM):,1:k表示矩阵UM的第1至k列构成的子矩阵，
Figure FDA0003032522780000032
表示矩阵
Figure FDA0003032522780000033
的第1至k行和第1至k列的交集构成的子矩阵，k≤m。
7.根据权利要求1所述的一种基于Nystrom谱聚类的超像素抠图方法，其特征在于，所述步骤3中对矩阵U⊥归一化得到矩阵
Figure FDA0003032522780000034
的方法为：
根据式(10)将U⊥的每个元素uij归一化，得到矩阵
Figure FDA0003032522780000035
Figure FDA0003032522780000036
其中，i∈{1,...,n}，j∈{1,...,k}。
8.根据权利要求1所述的一种基于Nystrom谱聚类的超像素抠图方法，其特征在于，所述步骤4中使用k-means算法将代表点聚成k类的具体过程如下：
步骤4.1，聚类中心初始化：在矩阵
Figure FDA0003032522780000037
包含的n个代表点中，随机选取k个不同的点作为初始聚类中心；
步骤4.2，类标签分配：计算每个点xi与k个聚类中心的距离，将xi与最近的类中心归为一类，xi的类标签labeli可由式(11)计算：
Figure FDA0003032522780000038
其中，mc表示第c类的中心。
步骤4.3，聚类中心更新：将每个类中所有点的均值作为新的类中心，类中心mc的更新表达式为式(12)：
Figure FDA0003032522780000039
其中，Clusterc表示第c类，|Clusterc|是第c类包含的代表点的数目；
步骤4.4，重复步骤4.2和步骤4.3，直到所有类的中心不再变化。
9.根据权利要求8所述的一种基于Nystrom谱聚类的超像素抠图方法，其特征在于，所述步骤4中组成超像素是指：聚类结果中具有相同类标签的像素点形成的图像块即为超像素。
CN202110434415.XA 2021-04-22 2021-04-22 一种基于Nystrom谱聚类的超像素抠图方法 Pending CN113298821A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110434415.XA CN113298821A (zh) 2021-04-22 2021-04-22 一种基于Nystrom谱聚类的超像素抠图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110434415.XA CN113298821A (zh) 2021-04-22 2021-04-22 一种基于Nystrom谱聚类的超像素抠图方法

Publications (1)

Publication Number Publication Date
CN113298821A true CN113298821A (zh) 2021-08-24

Family

ID=77321675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110434415.XA Pending CN113298821A (zh) 2021-04-22 2021-04-22 一种基于Nystrom谱聚类的超像素抠图方法

Country Status (1)

Country Link
CN (1) CN113298821A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114818681A (zh) * 2022-06-24 2022-07-29 西南财经大学 一种实体识别方法及系统、计算机可读存储介质及终端
CN116883431A (zh) * 2023-07-12 2023-10-13 大连交通大学 一种基于余弦相似度的图像分割方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070239764A1 (en) * 2006-03-31 2007-10-11 Fuji Photo Film Co., Ltd. Method and apparatus for performing constrained spectral clustering of digital image data
CN102436645A (zh) * 2011-11-04 2012-05-02 西安电子科技大学 基于mod字典学习采样的谱聚类图像分割方法
CN102622756A (zh) * 2012-03-14 2012-08-01 西安电子科技大学 基于全变分谱聚类的sar图像分割方法
CN108921853A (zh) * 2018-06-22 2018-11-30 西安电子科技大学 基于超像素和免疫稀疏谱聚类的图像分割方法
US20190347767A1 (en) * 2018-05-11 2019-11-14 Boe Technology Group Co., Ltd. Image processing method and device
CN111340697A (zh) * 2020-02-16 2020-06-26 西安工程大学 一种基于聚类回归的图像超分辨方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070239764A1 (en) * 2006-03-31 2007-10-11 Fuji Photo Film Co., Ltd. Method and apparatus for performing constrained spectral clustering of digital image data
CN102436645A (zh) * 2011-11-04 2012-05-02 西安电子科技大学 基于mod字典学习采样的谱聚类图像分割方法
CN102622756A (zh) * 2012-03-14 2012-08-01 西安电子科技大学 基于全变分谱聚类的sar图像分割方法
US20190347767A1 (en) * 2018-05-11 2019-11-14 Boe Technology Group Co., Ltd. Image processing method and device
CN108921853A (zh) * 2018-06-22 2018-11-30 西安电子科技大学 基于超像素和免疫稀疏谱聚类的图像分割方法
CN111340697A (zh) * 2020-02-16 2020-06-26 西安工程大学 一种基于聚类回归的图像超分辨方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张权;胡玉兰;: "谱聚类图像分割算法研究", 沈阳理工大学学报, vol. 31, no. 06, 15 December 2012 (2012-12-15), pages 87 - 91 *
王贝贝等: "基于改进谱聚类算法在图像分割中的应用", 河北工业科技, vol. 35, no. 01, 31 January 2018 (2018-01-31), pages 55 - 60 *
赵静: "基于超像素和谱聚类的交互式彩色图像分割算法研究", 硕士电子期刊, 15 May 2018 (2018-05-15), pages 19 - 25 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114818681A (zh) * 2022-06-24 2022-07-29 西南财经大学 一种实体识别方法及系统、计算机可读存储介质及终端
CN114818681B (zh) * 2022-06-24 2022-10-11 西南财经大学 一种实体识别方法及系统、计算机可读存储介质及终端
CN116883431A (zh) * 2023-07-12 2023-10-13 大连交通大学 一种基于余弦相似度的图像分割方法
CN116883431B (zh) * 2023-07-12 2024-02-09 大连交通大学 一种基于余弦相似度的图像分割方法

Similar Documents

Publication Publication Date Title
Lazova et al. Control-nerf: Editable feature volumes for scene rendering and manipulation
Li et al. A closed-form solution to photorealistic image stylization
US10424087B2 (en) Systems and methods for providing convolutional neural network based image synthesis using stable and controllable parametric models, a multiscale synthesis framework and novel network architectures
Zhang et al. Multimodal style transfer via graph cuts
Svoboda et al. Two-stage peer-regularized feature recombination for arbitrary image style transfer
US20210383242A1 (en) Joint unsupervised object segmentation and inpainting
CN110866896B (zh) 基于k-means与水平集超像素分割的图像显著性目标检测方法
CN106815842B (zh) 一种改进的基于超像素的图像显著性检测方法
WO2023000895A1 (zh) 图像风格转换方法、装置、电子设备和存储介质
CN108596919B (zh) 一种基于深度图的自动图像分割方法
Chen et al. Face sketch synthesis with style transfer using pyramid column feature
CN113298821A (zh) 一种基于Nystrom谱聚类的超像素抠图方法
CN112419477B (zh) 一种面部图像风格转换方法、装置、存储介质和电子设备
CN110569859B (zh) 一种服装图像的颜色特征提取方法
WO2024131565A1 (zh) 服装图像提取方法及其装置、设备、介质、产品
CN108875751A (zh) 图像处理方法和装置、神经网络的训练方法、存储介质
CN110084136A (zh) 基于超像素crf模型的上下文优化室内场景语义标注方法
Tan et al. Rethinking spatially-adaptive normalization
Li et al. High-resolution network for photorealistic style transfer
Wang et al. Overview of image colorization and its applications
Wu et al. Color transfer with salient features mapping via attention maps between images
CN116681986A (zh) 人脸预测模型的训练及多任务预测方法、装置和直播系统
CN106296740B (zh) 一种基于低秩稀疏表达的目标精细轮廓跟踪方法
CN113538456B (zh) 基于gan网络的图像软分割及背景替换系统
Cao et al. Automatic motion-guided video stylization and personalization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination