CN107527054B - 基于多视角融合的前景自动提取方法 - Google Patents

基于多视角融合的前景自动提取方法 Download PDF

Info

Publication number
CN107527054B
CN107527054B CN201710844379.8A CN201710844379A CN107527054B CN 107527054 B CN107527054 B CN 107527054B CN 201710844379 A CN201710844379 A CN 201710844379A CN 107527054 B CN107527054 B CN 107527054B
Authority
CN
China
Prior art keywords
image
pixel
extracted
foreground
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710844379.8A
Other languages
English (en)
Other versions
CN107527054A (zh
Inventor
杨淑媛
焦李成
马宏斌
王敏
余亚萍
刘红英
刘志
吕文聪
赵慧
刘振
马晶晶
马文萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Electronic Science and Technology
Original Assignee
Xian University of Electronic Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Electronic Science and Technology filed Critical Xian University of Electronic Science and Technology
Priority to CN201710844379.8A priority Critical patent/CN107527054B/zh
Publication of CN107527054A publication Critical patent/CN107527054A/zh
Application granted granted Critical
Publication of CN107527054B publication Critical patent/CN107527054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于多视角融合的前景自动提取方法，用于解决现有基于图切割的前景提取方法中，提取过程比较繁琐和提取的前景边缘不精确的技术问题。本发明首先对SVM分类器进行训练，然后对待提取图像进行灰度化，得到灰度图像，通过训练的SVM分类器，在灰度图像中检测包含前景的子图像，并将子图像在待提取图像中的位置坐标，作为GrabCut算法的输入，对待提取图像进行前景提取，得到待提取图像的像素视角下的提取结果，以SLIC算法对待提取图像生成超像素图像，通过融合超像素图像和像素视角下的提取结果，得到待提取图像的精确的前景提取结果。本发明可用于立体视觉、图像语义识别，三维重建、图像搜索等的应用与研究。

Description

基于多视角融合的前景自动提取方法
技术领域
本发明属于图像处理技术领域，更进一步涉及一种基于多视角融合的前景自动提取方法方法，本发明可用于立体视觉、图像语义识别，图像搜索等的应用与研究。
背景技术
前景提取是一种在图像中提取感兴趣目标的手段。它把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程，并且已经成为从图像处理到图像分析的关键步骤。具体解释为根据灰度、颜色、纹理和形状等特征把图像划分成若干互补交叠的区域，并使这些特征在同一区域内呈现出相似性，而在不同区域间呈现出明显的差异。经过了几十年的发展与变化，前景提取逐步形成了自己的科学体系，新的提取方法层出不穷，已然成为了一个跨学科的领域，并且引起了各个领域的研究人员和应用人士的广泛关注，如医学领域，航空航天遥感领域，工业检测，安防与军事领域等。
当前前景提取方法主要包括基于阈值的前景提取方法、基于边缘的前景提取方法、基于区域的前景提取方法、基于图切割的前景提取方法、基于能量泛函的前景提取方法和基于深度学习的图像前景提取方法等。其中基于图切割的前景提取方法因为提取精度高，操作简单而受到青睐，基于图切割的前景提取方法是一种基于图论的组合优化方法,根据用户的交互信息，它将一幅图像映射成一个网络图，并建立关于标号的能量函数，运用最大流最小割算法对网络图进行有限次的迭代切割，得到网络图的最小割，作为图像的前景提取结果。但是因为人机交互的存在，对多幅图像进行提取时，人工操作量太大，限制了其在工程中的应用。例如，Meng Tang等人2013年在2013IEEE International Conference onComputer Vision上发表的《GrabCut in One Cut》，通过用户选择前景区域，然后将前景所在区域映射为图，通过One Cut对映射图进行有限次迭代切割，获得图像的前景提取结果，但是需要人机交互标定前景所在区域，导致前景提取过程比较繁琐，而且有限次的能量迭代优化只能获得较优解的最小割，难以得到精确的前景边缘。
发明内容
本发明的目的在于针对上述已有技术的不足，提出了一种基于多视角融合的前景自动提取方法，用于解决现有基于图切割的前景提取方法中，因为人机交互的存在导致的前景提取过程比较繁琐和有限次的能量迭代优化导致的前景边缘不精确的技术问题。
为实现上述目的，本发明采取的技术方案包括以下步骤：
(1)对SVM分类器进行训练；
(1a)采集含有前景类别的样本图像集，并对其中的所有样本图像进行灰度化，得到样本灰度图像集；
(1b)提取样本灰度图像集中各图像的HOG特征，得到样本HOG特征集；
(1c)采用样本HOG特征集中所有的HOG特征对SVM分类器进行训练，得到训练的SVM分类器；
(2)对待提取图像进行灰度化，得到灰度图像；
(3)通过训练的SVM分类器，在灰度图像中检测包含前景目标的子图像pi，得到子图像pi左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)；
(3a)采用多尺度窗口，按照设定的间隔在灰度图像中进行逐行滑动，得到由多个子图像组成的图像集P＝{p1,p2,...pi,...,pq}，其中，pi为第i个子图像，q为子图像的数量；
(3b)提取图像集P中各子图像pi的HOG特征，并将其输入到训练的SVM分类器中进行分类，得到子图像pi的标签lpi；
(3c)判断子图像pi的标签lpi是否为正，若是，记录子图像pi左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)，执行步骤(4)，否则，丢弃图像pi；
(4)采用GrabCut算法，对待提取图像进行前景提取：
采用子图像pi左上角和右下角的像素在待提取图像的相应位置(xmin,ymin)和(xmax,ymax)对GrabCut算法的人机交互进行替换，并利用替换结果对待提取图像进行前景提取，得到待提取图像的像素视角下的提取结果S1(x,y)；
(5)采用SLIC算法计算待提取图像的超像素，得到超像素图像B，B＝{b1,b2,...,bh,...,bo}，bh为第h个超像素，o为超像素的数量；
(6)通过融合超像素图像和待提取图像的像素视角下的提取结果S1(x,y)，获取待提取图像的最终提取结果S2(x,y)：
(6a)对超像素图像B的超像素bi包含的所有像素在像素视角下的提取结果S1(x,y)中的标签lhj进行加权，得到超像素bh的标签置信度Scorebh；
(6b)设定置信度阈值gate，并将置信度阈值gate与超像素bh的标签置信度Scorebh进行比较，得到超像素bh视角下lbh；
(6c)将属于超像素bi的像素点(xi,yi)的标签S2(xh,yh)＝lbh作为最终的前景提取结果S2(x,y)。
本发明与现有技术相比，具有如下优点：
(1)本发明采用训练的SVM分类器获得待提取图像中前景所在的子图像，并采用子图像在待提取图像中的位置坐标替换GrabCut算法的人机交互获得的矩形区域作为算法输入，实现对待提取图像的前景提取，充分结合了SVM分类器和GrabCut算法，可以自动完成图像前景提取过程，解决了现有基于图切割的前景提取方法中，因为人机交互的存在导致的前景提取过程比较繁琐的问题，有效地提高了图像前景提取的效率。
(2)本发明采用SLIC算法对待提取图像进行超像素提取，充分利用了超像素块内一致性较好的特点，通过对超像素图像的融合，对GrabCut算法输出的像素视角下的提取结果的边缘进行修补，得到待提取图像的前景精确提取结果，通过引入超像素，使前景提取结果更加精确，平滑，解决了现有基于图切割的前景提取方法中，因为有限次的能量迭代优化导致的前景边缘不精确的问题，提高了图像前景提取的精度。
附图说明
图1是本发明的实现流程图；
图2是本发明中样本图像集的结构图；
图3是本发明中HOG特征提取的实现流程图；
图4是本发明中HOG特征的可视化展示图；
图5是本发明对行人、树叶的提取实验结果图。
具体实施方式
以下结合附图和具体实施例，对本发明作进一步详细描述。
参照图1，基于多视角融合的前景自动提取方法，包括以下步骤：
步骤1)对SVM分类器进行训练；
(1a)采集含有前景类别的样本图像集，并对其中的所有样本图像进行灰度化，得到样本灰度图像集；
样本图像集的结构图如图2所示，所述的含有前景的样本图像集包含正样本、负样本和样本标签文件，其中正样本为包含前景的图像，负样本为不包含前景的图像，样本标签文件对正样本和负样本的类别和存储位置进行说明；
所述的对样本图像集中的所有样本图像进行灰度化，具体为：
将样本图像中的三通道的红色分量R，绿色分量G，蓝色分量B，进行加权平均得到灰度图像的灰度值Gray，加权平均公式为：
Gray＝R×0.299+G×0.587+B×0.114；
(1b)提取样本灰度图像集中各图像的HOG特征，HOG特征提取的实现流程图如图3所示：
(1b1)将输入图像分为连通相邻、又不重叠的若干个单元，在每个单元内计算像素的梯度幅值G(x,y)和梯度方向α(x,y)，计算公式分别为：
其中，Gx(x,y)＝H(x+1,y)-H(x-1,y)，Gy(x,y)＝H(x,y+1)-H(x,y-1)分别表示输入图像中像素点(x,y)处的水平方向梯度和垂直方向梯度，H(x,y)表示输入图像中像素点(x,y)处的像素值；
(1b2)将所有梯度方向α(x,y)划分为9个角度，作为直方图的横轴，每个角度范围所对应的梯度值累加作为直方图的纵轴，得到梯度直方图；
(1b3)统计每个单元的梯度直方图，得到每个单元的特征描述子；
(1b4)将8×8个单元组成一个块，串联一个块内所有单元的特征描述子，得到该块的HOG特征描述子；
(1b5)串联输入图像内所有块的HOG特征描述子，得到该输入图像的HOG特征，其中HOG特征的可视化展示图如图4所示，HOG特征通过梯度或边缘方向密度很好的描述局部目标的表象和形状；
(1b6)串联样本灰度图像集中所有输入图像的HOG特征，得到该样本灰度图像集的HOG特征集，得到样本HOG特征集。
(1c)采用样本HOG特征集中所有的HOG特征对SVM分类器进行训练，得到训练的SVM分类器；
步骤2)对待提取图像进行灰度化，得到灰度图像；
步骤3)通过训练的SVM分类器，在灰度图像中检测包含前景目标的子图像pi，得到子图像pi左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)；
(3a)采用多尺度窗口，按照设定的间隔在灰度图像中进行逐行滑动，得到由多个子图像组成的图像集P＝{p1,p2,...pi,...,pq}，其中，pi为第i个子图像，q为子图像的数量；
(3b)提取图像集P中各子图像pi的HOG特征，并将其输入到训练的SVM分类器中进行分类，得到子图像pi的标签lpi；
(3c)判断子图像pi的标签lpi是否为正，若是，记录子图像pi左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)，执行步骤4)，否则，丢弃图像pi；
所述的子图像pi左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)，组成包含前景的矩形区域
步骤4)采用GrabCut算法，对待提取图像进行前景提取：
采用子图像pi左上角和右下角的像素在待提取图像的相应位置(xmin,ymin)和(xmax,ymax)对GrabCut算法的人机交互进行替换，并利用替换结果对待提取图像进行前景提取，得到待提取图像的像素视角下的提取结果S1(x,y)；
所述的采用子图像pi左上角和右下角的像素在待提取图像的相应位置(xmin,ymin)和(xmax,ymax)对GrabCut算法的人机交互进行替换，其中GrabCut算法通过人机交互在待提取图像上获取前景目标的所在矩形区域R1作为算法输入，以(xmin,ymin)和(xmax,ymax)分别作为矩形区域R2的左上点坐标和右下点坐标在待提取图像中组成矩形区域R2，并替换R1作为GrabCut算法的输入；
(4a)将待提取图像从RGB颜色空间转换到CIE-Lab颜色空间，得到CIE-Lab图像；
所述的待提取图像从RGB颜色空间转换到CIE-Lab颜色空间，其中在RGB和LAB之间没有直接的转换公式，其必须用XYZ颜色空间作为中间层，转换公式为：
其中，
X,Y,Z三通道为：
其中，
则CIE-Lab颜色空间中，L，a，b三通道的值为：
L＝116f(Y/Yn)
b＝500(f(X/XN)-f(Y/Yn))
a＝200(f(Y/YN)-f(Z/Zn))
其中，XN，YN，Zn一般默认为95.047，100.0，108.883；
(4b)初始化超像素的聚类中心：设定超像素个数o＝200，在CIE-Lab图像内按照超像素个数均匀的分配超像素的聚类中心，得到聚类中心集其中，为第d次迭代后的第h个聚类中心；
(4c)对CIE-Lab图像的每一个像素pixel，设置标签l(pixel)＝-1和距离d(pixel)＝∞；
(4d)分别计算聚类中心集Cd中聚类中心的n×n领域内所有像素点的梯度值，将聚类中心移到该领域内梯度最小的像素点上，获得新的聚类中心集Cd+1；
(4e)对于聚类中心集Cd中每一个聚类中心的2S×2S内的每一个像素pixel＝[lp,ap,bp,xp,yp]计算和pixel的距离D(pixel)，计算公式为：
其中，m为dc的最大值；
(4f)比较d(pixel)和D(pixel)的大小，如果D(pixel)＜d(pixel)，则d(pixel)＝D(pixel)，l(pixel)＝h，得到新的超像素bh；
(4g)不断执行步骤(4d)(4e)(4f)，更新聚类中心，直到残余误差收敛，得到超像素图像B＝{b1,b2,...,bh,...,b200}。
步骤5)采用SLIC算法计算待提取图像的超像素，得到超像素图像B，B＝{b1,b2,...,bh,...,b200}，bh为第h个超像素；
步骤6)通过融合超像素图像和待提取图像的像素视角下的提取结果S1(x,y)，获取待提取图像的最终提取结果S2(x,y)：
(6a)对超像素图像B的超像素bh的所有的像素在像素视角下的提取结果S1(x,y)标签lhj进行加权，得到超像素bh的标签置信度Scorebh；
上述的对超像素图像B中的超像素bh的所有的像素在像素视角下的提取结果S1(x,y)标签lhj进行加权，加权公式为：
Scorebh＝∑lhj
其中，Scorebh为超像素bh的标签置信度。
(6b)设定置信度阈值gate，并将置信度阈值gate与超像素bh的标签置信度Scorebh进行比较，得到超像素bh的标签lbh；
所述的设定置信度gate，gate越小，超像素bh判为前景的概率越小，gate越大，超像素bh判为前景的概率越大，但是gate过大时，前景提取结果中会有过多的噪声存在。
所述的将置信度阈值gate与超像素bh的标签置信度Scorebh进行比较，得到超像素bh的标签lbh，比较公式为：
其中，lbh为超像素bh的标签，numbh为超像素bh中像素的数量，gate为置信度阈值，1为前景标签，0为背景标签。
(6c)将属于超像素bh的像素点(xh,yh)的标签S2(xh,yh)＝lbh作为最终的前景提取结果S2(x,y)；
所述的将属于超像素bh的像素点(xh,yh)的标签S2(xh,yh)＝lbh，超像素bh内的所有像素的标签和超像素的标签相同。
以下通过前景提取实验，对本发明的技术效果作进一步说明：
1、实验条件和内容：
本发明的实验分别对行人、树叶目标进行提取，训练数据为网络随机找的行人、树叶图像集，图像数量分别为736张、186张，对每幅图片分别取正负样本，然后制作标签，分别形成含行人类别的样本图像集、含树叶类别的样本图像集。仿真实验都是在MATLAB R2017a中编程实现。对行人、树叶目标进行前景提取实验的结果如图5所示。
2、实验结果分析：
实验结果如图5所示，对两类数据分别测试4幅图像。对于输出的前景提取结果，不存在噪声，并且提取的前景边缘较好，如对树叶类别的4幅图像的前景提取结果，提取的前景边缘极为准确。对于输入图像中含有的前景完整度有较好的兼容性，如对行人类别的输入图像3，以半身像作为输入图像，仍然能获得较好的前景提取效果。
本发明在SVM分类器完成训练后，本方法可以自动完成对待提取图像的前景自动过程，获得待提取图像的前景提取结果，解决了现有基于图切割的前景提取方法中，需要人机交互辅助提取的问题，但是因为SVM分类器的存在，算法的运行时间略长于GrabCut算法。同时本发明充分利用了超像素块内一致性较好的特点，对GrabCut算法输出的像素视角下的提取结果的边缘进行修补，使前景提取结果更加准确，平滑，得到精确的前景提取结果，提高了前景提取精度。

Claims (7)

1.一种基于多视角融合的前景自动提取方法，其特征在于：包括以下步骤：
(1)对SVM分类器进行训练；
(1a)采集含有前景类别的样本图像集，并对其中的所有样本图像进行灰度化，得到样本灰度图像集；
(1b)提取样本灰度图像集中各图像的HOG特征，得到样本HOG特征集；
(1c)采用样本HOG特征集中所有的HOG特征对SVM分类器进行训练，得到训练的SVM分类器；
(2)对待提取图像进行灰度化，得到灰度图像；
(3)通过训练的SVM分类器，在灰度图像中检测包含前景目标的子图像pi，得到子图像pi左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)；
(3a)采用多尺度窗口，按照设定的间隔在灰度图像中进行逐行滑动，得到由多个子图像组成的图像集P＝{p1,p2,...pi,...,pq}，其中，pi为第i个子图像，q为子图像的数量；
(3b)提取图像集P中各子图像pi的HOG特征，并将其输入到训练的SVM分类器中进行分类，得到子图像pi的标签lpi；
(3c)判断子图像pi的标签lpi是否为正，若是，记录子图像pi左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)，执行步骤(4)，否则，丢弃图像pi；
(4)采用GrabCut算法，对待提取图像进行前景提取：
采用子图像pi左上角和右下角的像素在待提取图像的相应位置(xmin,ymin)和(xmax,ymax)对GrabCut算法的人机交互进行替换，并利用替换结果对待提取图像进行前景提取，得到待提取图像的像素视角下的提取结果S1(x,y)；
(5)采用SLIC算法计算待提取图像的超像素，得到超像素图像B，B＝{b1,b2,...,bh,...,bo}，bh为第h个超像素，o为超像素的数量；
(6)通过融合超像素图像和待提取图像的像素视角下的提取结果S1(x,y)，获取待提取图像的最终提取结果S2(x,y)：
(6a)对超像素图像B的超像素bh包含的所有像素在像素视角下的提取结果S1(x,y)中的标签lhj进行加权，得到超像素bh的标签置信度Scorebh；
(6b)设定置信度阈值gate，并将置信度阈值gate与超像素bh的标签置信度Scorehi进行比较，得到超像素bh视角下lbh；
(6c)将属于超像素bh的像素点(xh,yh)的标签S2(xh,yh)＝lbh作为最终的前景提取结果S2(x,y)。
2.根据权利要求1所述的基于多视角融合的前景自动提取方法，其特征在于：步骤(1a)中所述的对样本图像集中的所有样本图像进行灰度化，具体为：
将样本图像中的三通道的红色分量R，绿色分量G，蓝色分量B，进行加权平均得到灰度图像的灰度值Gray，加权平均公式为：
Gray＝R×0.299+G×0.587+B×0.114。
3.根据权利要求1所述的基于多视角融合的前景自动提取方法，其特征在于：步骤(1b)中所述的提取样本灰度图像集中每个图像的HOG特征，按照如下步骤进行：
(1b1)将输入图像分为连通相邻、又不重叠的若干个单元，在每个单元内计算像素的梯度幅值G(x,y)和梯度方向α(x,y)，计算公式分别为：
其中，Gx(x,y)＝H(x+1,y)-H(x-1,y)，Gy(x,y)＝H(x,y+1)-H(x,y-1)分别表示输入图像中像素点(x,y)处的水平方向梯度和垂直方向梯度，H(x,y)表示输入图像中像素点(x,y)处的像素值；
(1b2)将所有梯度方向α(x,y)划分为9个角度，作为直方图的横轴，每个角度范围所对应的梯度值累加作为直方图的纵轴，得到梯度直方图；
(1b3)统计每个单元的梯度直方图，得到每个单元的特征描述子；
(1b4)将n×n个单元组成一个块，串联一个块内所有单元的特征描述子，得到该块的HOG特征描述子；
(1b5)串联输入图像内所有块的HOG特征描述子，得到该输入图像的HOG特征；
(1b6)串联样本灰度图像集中所有输入图像的HOG特征，得到该样本灰度图像集的HOG特征集。
4.根据权利要求1所述的基于多视角融合的前景自动提取方法，其特征在于：步骤(3b)所述的输入到训练的SVM分类器中，子图像的标签lpi可从以下公式得到：
其中，为SVM分类器的超平面的法向量，φ为SVM分类器的超平面的位移项。
5.根据权利要求1所述的基于多视角融合的前景自动提取方法，其特征在于：步骤(4)中所述的计算待提取图像的超像素，实现步骤为：
(4a)将待提取图像从RGB颜色空间转换到CIE-Lab颜色空间，得到CIE-Lab图像；
(4b)初始化超像素的聚类中心：设定超像素个数，在CIE-Lab图像内按照超像素个数均匀的分配超像素的聚类中心，得到聚类中心集其中，为第d次迭代后的第h个聚类中心，共o个；
(4c)对CIE-Lab图像的每一个像素pixel，设置标签l(pixel)＝-1和距离d(pixel)＝∞；
(4d)分别计算聚类中心集Cd中聚类中心的n×n领域内所有像素点的梯度值，将聚类中心移到该领域内梯度最小的像素点上，获得新的聚类中心集Cd+1；
(4e)对于聚类中心集Cd中每一个聚类中心的2S×2S内的每一个像素pixel＝[lp,ap,bp,xp,yp]计算和pixel的距离D(pixel)，计算公式为：
其中，m为dc的最大值；
(4f)比较d(pixel)和D(pixel)的大小，如果D(pixel)＜d(pixel)，则d(pixel)＝D(pixel)，l(pixel)＝h，得到新的超像素bh；
(4g)不断执行步骤(4d)(4e)(4f)，更新聚类中心，直到残余误差收敛，得到超像素图像B＝{b1,b2,...,bh,...,bo}。
6.根据权利要求1所述的基于多视角融合的前景自动提取方法，其特征在于：步骤(6a)所述的对超像素图像B中的超像素bh的所有的像素在像素视角下的提取结果S1(x,y)标签lhj进行加权，加权公式为：
Scorebh＝∑lhj
其中，Scorebh为超像素bh的标签置信度。
7.根据权利要求1所述的基于多视角融合的前景自动提取方法，其特征在于：步骤(6b)所述的将置信度阈值gate与超像素bh的标签置信度Scorebh进行比较，得到超像素bh的标签lbh，比较公式为：
其中，lbh为超像素bh的标签，numbh为超像素bh中像素的数量，gate为置信度阈值，1为前景标签，0为背景标签。
CN201710844379.8A 2017-09-19 2017-09-19 基于多视角融合的前景自动提取方法 Active CN107527054B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710844379.8A CN107527054B (zh) 2017-09-19 2017-09-19 基于多视角融合的前景自动提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710844379.8A CN107527054B (zh) 2017-09-19 2017-09-19 基于多视角融合的前景自动提取方法

Publications (2)

Publication Number Publication Date
CN107527054A CN107527054A (zh) 2017-12-29
CN107527054B true CN107527054B (zh) 2019-12-24

Family

ID=60736925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710844379.8A Active CN107527054B (zh) 2017-09-19 2017-09-19 基于多视角融合的前景自动提取方法

Country Status (1)

Country Link
CN (1) CN107527054B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324791A (zh) * 2020-03-02 2020-06-23 北京工业大学 一种多视数据子空间聚类方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090485A (zh) * 2017-11-28 2018-05-29 西安电子科技大学昆山创新研究院 基于多视角融合的图像前景自动提取方法
CN108520259B (zh) * 2018-04-13 2021-05-25 国光电器股份有限公司 一种前景目标的提取方法、装置、设备及存储介质
CN108564528A (zh) * 2018-04-17 2018-09-21 福州大学 一种基于显著性检测的肖像照片自动背景虚化方法
CN108985292A (zh) * 2018-05-23 2018-12-11 中国地质大学（武汉） 一种基于多尺度分割的sar图像cfar目标检测方法与系统
CN110008844B (zh) * 2019-03-12 2023-07-21 华南理工大学 一种融合slic算法的kcf长期手势跟踪方法
CN111967526B (zh) * 2020-08-20 2023-09-22 东北大学秦皇岛分校 基于边缘映射和深度学习的遥感图像变化检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984953A (zh) * 2014-04-23 2014-08-13 浙江工商大学 基于多特征融合与Boosting决策森林的街景图像的语义分割方法
CN104346620A (zh) * 2013-07-25 2015-02-11 佳能株式会社 对输入图像中的像素分类的方法和装置及图像处理系统
CN104951765A (zh) * 2015-06-18 2015-09-30 北京航空航天大学 基于形状先验信息和视觉对比度的遥感图像目标分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346620A (zh) * 2013-07-25 2015-02-11 佳能株式会社 对输入图像中的像素分类的方法和装置及图像处理系统
CN103984953A (zh) * 2014-04-23 2014-08-13 浙江工商大学 基于多特征融合与Boosting决策森林的街景图像的语义分割方法
CN104951765A (zh) * 2015-06-18 2015-09-30 北京航空航天大学 基于形状先验信息和视觉对比度的遥感图像目标分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automatic foreground extraction for images and videos;Zhang Tang等;《2010 IEEE International Conference on Image Processing》;20101203;第2993-2996页 *
基于SLIC的GrabCut减小姿态搜索空间算法;朱珏钰 等;《计算机工程》;20160815;第42卷(第8期);第266-270页 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324791A (zh) * 2020-03-02 2020-06-23 北京工业大学 一种多视数据子空间聚类方法
CN111324791B (zh) * 2020-03-02 2021-08-17 北京工业大学 一种多视数据子空间聚类方法

Also Published As

Publication number Publication date
CN107527054A (zh) 2017-12-29

Similar Documents

Publication Publication Date Title
CN107527054B (zh) 基于多视角融合的前景自动提取方法
CN108648233B (zh) 一种基于深度学习的目标识别与抓取定位方法
CN108492343B (zh) 一种扩充目标识别的训练数据的图像合成方法
CN104134234B (zh) 一种全自动的基于单幅图像的三维场景构建方法
CN108090485A (zh) 基于多视角融合的图像前景自动提取方法
CN103886619B (zh) 一种融合多尺度超像素的目标跟踪方法
CN107316031A (zh) 用于行人重识别的图像特征提取方法
CN113408584B (zh) Rgb-d多模态特征融合3d目标检测方法
CN105931241B (zh) 一种自然场景图像的自动标注方法
CN103903013A (zh) 一种无标记平面物体识别的优化算法
CN105069466A (zh) 基于数字图像处理的行人服饰颜色识别方法
CN110717896A (zh) 基于显著性标签信息传播模型的板带钢表面缺陷检测方法
CN110096961B (zh) 一种超像素级别的室内场景语义标注方法
CN103729885A (zh) 多视角投影与三维注册联合的手绘场景三维建模方法
CN107944459A (zh) 一种rgb‑d物体识别方法
CN105574545B (zh) 街道环境图像多视角语义切割方法及装置
CN102521616A (zh) 基于稀疏表示的行人检测方法
CN112396655B (zh) 一种基于点云数据的船舶目标6d位姿估计方法
CN113705579A (zh) 一种视觉显著性驱动的图像自动标注方法
CN106203448A (zh) 一种基于非线性尺度空间的场景分类方法
Sun et al. A click-based interactive segmentation network for point clouds
CN108022245A (zh) 基于面线基元关联模型的光伏面板模板自动生成方法
CN108664968B (zh) 一种基于文本选取模型的无监督文本定位方法
CN113012167A (zh) 一种细胞核与细胞质的联合分割方法
Zhang et al. Omni6DPose: A Benchmark and Model for Universal 6D Object Pose Estimation and Tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant