CN105678309A - 一种基于多示例包特征学习的图像多标签标注算法 - Google Patents

一种基于多示例包特征学习的图像多标签标注算法 Download PDF

Info

Publication number
CN105678309A
CN105678309A CN201610076444.2A CN201610076444A CN105678309A CN 105678309 A CN105678309 A CN 105678309A CN 201610076444 A CN201610076444 A CN 201610076444A CN 105678309 A CN105678309 A CN 105678309A
Authority
CN
China
Prior art keywords
image
bag
training
projection
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610076444.2A
Other languages
English (en)
Other versions
CN105678309B (zh
Inventor
丁昕苗
郭文
刘延武
张帅
曲衍怀
范丽杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Technology and Business University
Original Assignee
Shandong Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Technology and Business University filed Critical Shandong Technology and Business University
Priority to CN201610076444.2A priority Critical patent/CN105678309B/zh
Publication of CN105678309A publication Critical patent/CN105678309A/zh
Application granted granted Critical
Publication of CN105678309B publication Critical patent/CN105678309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/192Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194References adjustable by an adaptive method, e.g. learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/513Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多示例包特征学习的图像多标签标注算法,包括:得到所有训练图像的图像分块的集合;对训练图像的图像分块的集合中的每个图像分块提取颜色直方图特征和方向梯度直方图特征;将一个训练图像看作一个图像包,得到多示例学习框架所需的图像包结构;将训练图像集合中所有图像包中的示例组成投影示例集合,每个图像包通过向该投影示例集合投影得到图像包的投影特征;选择出判别性高的特征作为图像包的分类特征;将学习出的训练图像集合的图像包的分类特征送入SVM分类器进行训练,得到训练模型的参数,用训练好的SVM分类器对测试图像标签进行预测。本发明的标注算法实现简单,训练器成熟可靠,预测快捷,更好的完成图像多标签。

Description

一种基于多示例包特征学习的图像多标签标注算法
技术领域
本发明涉及多媒体内容理解和计算机网络内容检索领域,特别涉及一种基于多示例包特征学习的图像多标签标注算法。
背景技术
随着计算机技术、通信技术和多媒体技术的飞速发展,Internet已成为一个浩瀚的海量多媒体信息源,人们迫切希望可以利用计算机对规模急剧增长的数字化图像/视频信息加以自动理解,从而方便用户选择有效的技术手段对这些视觉信息进行有效的组织、管理和查找。基于内容的图像检索成为了一个重要的研究课题。
传统的监督学习假设一个图像被表示为一个示例并被标注一个标签。虽然这些方法已有成功的应用案例,但是随着网络图像种类和语义复杂性的增高,单示例单标签的图像标注方法已经不能适应实际需求,因此多示例多标签的方法开始被应用于图像多标签的标注中。Zhou等首先提出了MIMIL-BOOST和MIML-SVM分别将多示例多标签退化为多示例单标签和单示例多标签方法来解决多示例多标签问题。随着这两种方法在图像多标签标注领域的成功应用,继而又出现了基于排序损失的多示例多标签学习算法,基于迭代度量的多示例多标签学习算法,快速多示例多标签学习算法,基于隐狄利克雷方法的多示例多标签学习算法等。
这些算法虽然已经较好的应用于图像多标签标注中,但仍存在各种问题。其中较突出的一个问题是,由于图像包内包含的示例标签不确定性,导致与标签无关的示例带来了诸多的干扰,使得图像包特征的判别性降低,如何通过学习选择更优的图像包特征是一个亟待解决的问题。
发明内容
为解决现有技术存在的不足,本发明公开了一种基于多示例包特征学习的图像多标签标注算法,本发明的包特征学习算法可以提高图像包的判别性,继而提高分类器的识别精度,使图像标签的预测更准确,标注更全面可靠。
为实现上述目的,本发明的具体方案如下:
一种基于多示例包特征学习的图像多标签标注算法,包括以下步骤:
步骤一:获得训练图像集合并对其中的所有训练图像进行分割,得到所有训练图像的图像分块的集合;
步骤二:对训练图像的图像分块的集合中的每个图像分块提取颜色直方图特征和方向梯度直方图特征;
步骤三:将一个训练图像看作一个图像包,该训练图像的颜色直方图特征和方向梯度直方图特征看作图像包内的示例,则得到多示例学习框架所需的图像包结构;
步骤四:将训练图像集合中所有图像包中的示例组成投影示例集合,每个图像包通过向该投影示例集合投影得到图像包的投影特征;
步骤五:将图像包的投影特征经过范式约束的稀疏表示模型进行特征学习,选择出判别性高的特征作为图像包的分类特征;
步骤六:将学习出的训练图像集合的图像包的分类特征送入SVM分类器进行训练,得到训练模型的参数,用训练好的SVM分类器对未知标签信息的测试图像标签进行预测。
进一步的,所述步骤一中,对训练图像进行分割时,以像素RGB颜色值作为聚类目标,采用模糊C均值聚类算法进行图像分割。
进一步的,所述步骤二中,颜色直方图特征和方向梯度直方图特征的提取具体步骤如下:
步骤2.1:分别提取图像分块中每个像素的R,G,B颜色值;
步骤2.2:将颜色值平均分为16组,以16作为组距,分别统计R,G,B三种颜色值在每组颜色值范围内的像素数,并采用最大值归一化后,得到R,G,B三种颜色的直方图;
步骤2.3:将R,G,B三种颜色直方图首尾相接得到48维的分块图像的颜色直方图特征列向量,继而得到颜色直方图;
步骤2.4:将图像分块进行灰度化,并提取每个像素灰度值;
步骤2.5:采用Gamma校正法对输入图像分块进行颜色空间的标准化;
步骤2.6:计算图像分块每个像素的梯度;
步骤2.7:将梯度方向360度分为12组,组距30度,来统计每个图像分块的方向梯度直方图;
步骤2.8:将颜色直方图与方向梯度直方图首尾相接,则得到图像分块的特征值向量,用列向量表示。
进一步的,步骤2.6中,在计算图像分块每个像素的梯度时具体的计算步骤如下:
步骤2.6.1:计算每个像素点(x,y)的梯度如下:
G1(x,y)=H(x+1,y)-H(x-1,y)
G2(x,y)=H(x,y+1)-H(x,y-1)
式中,G1(x,y),G2(x,y),H(x,y),分别表示像素点(x,y)处的水平方向梯度、垂直方向梯度和像素灰度值;
步骤2.6.2:计算每个像素点(x,y)处的梯度幅值和梯度方向如下:
G ( x , y ) = G 1 ( x , y ) 2 + G 2 ( x , y ) 2 α ( x , y ) = tan - 1 ( G 1 ( x , y ) G 2 ( x , y ) ) .
进一步的,所述步骤2.7中,所述统计过程为:如果一个像素的梯度方向在直方图某组梯度方向数值范围内,则该组统计计数根据该像素梯度大小增加相应的计数;统计好的方向梯度直方图进行最大值归一化后,则得到维数为12维的图像分块方向梯度直方图,用列向量表示。
进一步的,所述步骤三中,用一个矩阵表示一个图像包,矩阵的每列为步骤2.8中所得到的每个图像分块示例的特征向量。
进一步的,所述步骤四中,具体步骤为:
步骤4.1:收集所有训练图像集合的所有示例,组成投影示例集合P={p1,…,pm,…,pM},其中,M表示所有示例数,pm为投影示例集合的第m个示例;
步骤4.2:计算图像包到每个投影示例的距离,其计算如下:
d ( X i , p m ) = min x i , j ∈ x i s ( x i , j , p m )
s ( x i , j , p m ) = exp ( - | | x i , j - p m | | 2 2 σ 2 )
其中,Xi为第i个图像包,xi,j为第i个图像包的第j个示例,pm为投影示例集合中的第m个示例,σ为高斯距离参数,取1~2之间的值,s(xi,j,pm)所求的是包内示例到投影示例的高斯距离,图像包到投影示例的距离d(Xi,pm)所求为图像包内所有示例到投影示例高斯距离中的最小距离;
步骤4.3:将图像包到所有投影示例的距离值排成一列,得到图像包的投影特征。
进一步的,所述步骤五中的具体步骤为:
步骤5.1:将训练图像集合中每个图像包的投影特征作为矩阵的列,得到训练集投影特征矩阵Z=[z1,…,zi,…zN],其中,N为训练集图像包的数量,将训练图像集中每个图像包的标签值作为列,得到训练集合图像包标签矩阵Y=[y1,…,yi,…yN],其中每个图像包的标签值yi为一个列向量,其维度为图像集的标签总数,其元素数取值为[0,1],如果元素值为1,则对应的标签被标注到该图像,否则,该标签不被标注到该图像;
步骤5.2:构造l2,1范式约束稀疏表示模型如下:
min w Σ i = 1 N | | Z T W - Y T | | 2 , 1 + γ | | W | | 2 , 1
其中,W为l2,1范式约束稀疏表示模型要求解的特征选择系数;
步骤5.3:采用增广拉格朗日算法求解出l2,1范式约束稀疏表示模型中的特征选择系数W;
步骤5.4:记录W中的非零行序号集合为IX,选取训练集投影特征矩阵Z中序号为IX的行则得到学习的图像包分类特征。
进一步的,所述步骤六中,具体步骤为:
步骤6.1:将步骤五中学习到的训练图像集合图像包分类特征分别送入不同标签对应的SVM分类器进行训练,则每一个标签学习得到一个SVM分类器;
步骤6.2:用模糊C均值聚类算法将测试图像进行图像分割,得到测试图像分块;
步骤6.3:对每个测试图像分块提取颜色直方图特征和方向梯度直方图特征,并首尾相接排成一列,所有图像分块特征按列排成一个矩阵,得到测试图像包的特征矩阵,矩阵每列看作测试图像包的一个示例特征;
步骤6.4:计算测试图像包与投影示例的距离,排成一列得到测试图像包的投影特征向量;
步骤6.5:依据步骤五学习得到的特征选择系数W的非零行序号集合IX,对应选择出测试图像包投影向量的行,得到测试图像包的分类特征;
步骤6.6:将测试图像包的分类特征分别输入步骤6.1得到的训练好的SVM分类器,分别得到每个标签的预测概率,如果概率值大于等于设定值则该标签被标注于测试图像,反之,则该标签不被标注于测试图像,如此便得到最终的测试图像标注结果。
进一步的,该设定值为0.5。
本发明的有益效果:
(1)本发明在学习包分类特征的同时剔除了干扰示例,选择出了判别性高的图像包特征。
(2)本发明在学习包分类特征时兼顾了训练图像集合的多标签之间的关系,增加了包分类特征所包含的语义信息。
(3)本发明提出了一种新的基于多示例包特征学习的图像多标签标注算法,该技术具有重要的学术意义和社会意义,并具有广阔的应用前景。
具体实施方式:
下面对本发明进行详细说明:
一种基于多示例包特征学习的图像多标签标注算法,该方法具体包括以下步骤:
步骤1:获得训练图像集合并对其中的图像进行分割,得到所有图像的分块图像集合;图像分割算法以像素RGB颜色值作为聚类目标,采用模糊C均值聚类(FCM)算法进行图像分割。
步骤2:对训练集合中的每个图像分块提取颜色直方图特征和方向梯度直方图特征(HOG特征)。具体步骤如下:
步骤2.1:分别提取图像分块每个像素的R,G,B颜色值;
步骤2.2:将颜色值平均分为16组,以16作为组距,分别统计R,G,B三种颜色值在每组颜色值范围内的像素数,并采用最大值归一化后,得到R,G,B三种颜色的直方图;
步骤2.3:将R,G,B三种颜色直方图首尾相接得到48维的图像分块颜色直方图特征列向量;
步骤2.4:将图像块进行灰度化,并提取每个像素灰度值;
步骤2.5:采用Gamma校正法对输入图像块进行颜色空间的标准化;
步骤2.6:计算图像每个像素的梯度(包括大小和方向);计算步骤如下:
步骤2.6.1:计算每个像素点(x,y)的梯度如下:
G1(x,y)=H(x+1,y)-H(x-1,y)
G2(x,y)=H(x,y+1)-H(x,y-1)
式中,G1(x,y),G2(x,y),H(x,y),分别表示像素点(x,y)处的水平方向梯度、垂直方向梯度和像素灰度值。
步骤2.6.2:计算每个像素点(x,y)处的梯度幅值和梯度方向如下:
G ( x , y ) = G 1 ( x , y ) 2 + G 2 ( x , y ) 2
α ( x , y ) = tan - 1 ( G 1 ( x , y ) G 2 ( x , y ) )
步骤2.7:将梯度方向360度分为12组,组距30度,来统计每个图像块的方向梯度直方图。统计过程为:如果一个像素的梯度方向在直方图某组梯度方向数值范围内,则该组统计计数根据该像素梯度大小增加相应的计数。如:一个像素梯度方向为40度,大小为2,则需在方向梯度直方图31-60这个数值区间的组上增加计数2。统计好的方向梯度直方图进行最大值归一化后,则得到维数为12维的图像分块方向梯度直方图,用列向量表示;
步骤2.8:将颜色直方图与方向梯度直方图首尾相接,则得到图像分块的特征值向量,用列向量表示;
步骤3:将一个图像看作一个包,该图像的分块特征看作包内的示例,则得到多示例学习框架所需的图像包结构;用一个矩阵表示一个图像包,矩阵的每列为步骤2中所得到的每个图分块示例的特征向量;
步骤4:将训练集合中所有图像包中的示例组成投影示例集合,每个图像包通过向该集合投影得到图像包的投影特征,具体步骤如下:
步骤4.1:收集所有训练图像包集合的所有示例,组成投影示例集合其中,M表示所有示例数,pm为投影示例集合的第m个示例;
步骤4.2:计算图像包到每个投影示例的距离,其计算如下:
d ( X i , p m ) = min x i , j ∈ x i s ( x i , j , p m )
s ( x i , j , p m ) = exp ( - | | x i , j - p m | | 2 2 σ 2 )
其中,Xi为第i个图像包,xi,j为第i个图像包的第j个示例,pm为投影示例集合中的第m个示例,σ为高斯距离参数,取1~2之间的值。s(xi,j,pm)所求的是包内示例到投影示例的高斯距离。图像包到投影示例的距离d(Xi,pm)所求为图像包内所有示例到投影示例高斯距离中的最小距离。
步骤4.3:将图像包到所有投影示例的距离值排成一列,得到图像包的投影特征;
步骤5:将图像包投影特征经过l2,1范式约束的稀疏表示模型进行特征学习,选择出判别性高的特征作为图像包的分类特征,具体步骤如下:
步骤5.1:将训练集中每个图像包的投影特征作为矩阵的列,得到训练集投影特征矩阵Z=[z1,…,zi,…zN],其中,N为训练集图像包的数量。将训练集中每个图像包的标签值作为列,得到训练集图像包标签矩阵Y=[y1,…,yi,…yN],其中每个图像包的标签值yi为一个列向量,其维度为图像集的标签总数,其元素数取值为[0,1]。如果元素值为1,则对应的标签被标注到该图像,否则,该标签不被标注到该图像;
步骤5.2:构造l2,1范式约束稀疏表示模型如下:
min w Σ i = 1 N | | Z T W - Y T | | 2 , 1 + γ | | W | | 2 , 1
其中,Z为训练集投影特征矩阵,其列向量为每个图像包的投影特征,W为l2,1范式约束稀疏表示模型要求解的特征选择系数。Y为训练集图像包标签矩阵,其每列对应一个图像包的标签向量,每个标签向量的元素数对应图像标签数,非零元素表示其对应标签被标注于该图像。N为训练集图像包的数量。在优化求解出l2,1范式约束稀疏表示模型的W后,根据W的非零行序号则可对应选择出相应包特征矩阵Z的行,所选择出的行组成的矩阵即为图像包分类特征矩阵,其每列为每个训练图像包的分类特征。
步骤5.3:采用增广拉格朗日算法求解出l2,1范式约束稀疏表示模型中的特征选择系数W。
步骤5.4:记录W中的非零行序号集合为IX,选取训练集投影特征矩阵Z中序号为IX的行则得到学习的图像包分类特征;
步骤6:将学习出的训练集图像包分类特征送入SVM分类器进行训练,得到训练模型的参数,用训练好的SVM分类器对未知标签信息的测试图像标签进行预测,具体步骤如下:
步骤6.1:将步骤5中学习到的训练集图像包分类特征分别送入不同标签对应的SVM分类器进行训练,则每一个标签学习得到一个SVM分类器;
步骤6.2:用模糊C均值聚类(FCM)算法将测试图像进行图像分割,得到测试图像分块;
步骤6.3:对每个测试图像分块提取颜色直方图特征和方向梯度直方图特征,并首尾相接排成一列,所有图像分块特征按列排成一个矩阵,得到测试图像包的特征矩阵,矩阵每列看作测试图像包的一个示例特征;
步骤6.4:依据步骤4的方法,计算测试图像包与投影示例的距离,排成一列得到测试图像包的投影特征向量;
步骤6.5:依据步骤5学习得到的特征选择系数W的非零行序号集合IX,对应选择出测试图像包投影向量的行,得到测试图像包的分类特征;
步骤6.6:将测试图像包的分类特征分别输入步骤6.1得到的训练好的SVM分类器,分别得到每个标签的预测概率,如果概率值≥0.5则该标签被标注于测试图像,反之,则该标签不被标注于测试图像,如此便得到最终的测试图像标注结果。
上述虽然对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于多示例包特征学习的图像多标签标注算法,其特征是,包括以下步骤:
步骤一:获得训练图像集合并对其中的所有训练图像进行分割,得到所有训练图像的图像分块的集合;
步骤二:对训练图像的图像分块的集合中的每个图像分块提取颜色直方图特征和方向梯度直方图特征;
步骤三:将一个训练图像看作一个图像包,该训练图像的颜色直方图特征和方向梯度直方图特征看作图像包内的示例,则得到多示例学习框架所需的图像包结构;
步骤四:将训练图像集合中所有图像包中的示例组成投影示例集合,每个图像包通过向该投影示例集合投影得到图像包的投影特征;
步骤五:将图像包的投影特征经过范式约束的稀疏表示模型进行特征学习,选择出判别性高的特征作为图像包的分类特征;
步骤六:将学习出的训练图像集合的图像包的分类特征送入SVM分类器进行训练,得到训练模型的参数,用训练好的SVM分类器对未知标签信息的测试图像标签进行预测。
2.如权利要求1所述的一种基于多示例包特征学习的图像多标签标注算法,其特征是,所述步骤一中,对训练图像进行分割时,以像素RGB颜色值作为聚类目标,采用模糊C均值聚类算法进行图像分割。
3.如权利要求1所述的一种基于多示例包特征学习的图像多标签标注算法,其特征是,所述步骤二中,颜色直方图特征和方向梯度直方图特征的提取具体步骤如下:
步骤2.1:分别提取图像分块中每个像素的R,G,B颜色值;
步骤2.2:将颜色值平均分为16组,以16作为组距,分别统计R,G,B三种颜色值在每组颜色值范围内的像素数,并采用最大值归一化后,得到R,G,B三种颜色的直方图;
步骤2.3:将R,G,B三种颜色直方图首尾相接得到48维的分块图像的颜色直方图特征列向量,继而得到颜色直方图;
步骤2.4:将图像分块进行灰度化,并提取每个像素灰度值;
步骤2.5:采用Gamma校正法对输入图像分块进行颜色空间的标准化;
步骤2.6:计算图像分块每个像素的梯度;
步骤2.7:将梯度方向360度分为12组,组距30度,来统计每个图像分块的方向梯度直方图;
步骤2.8:将颜色直方图与方向梯度直方图首尾相接,则得到图像分块的特征值向量,用列向量表示。
4.如权利要求3所述的一种基于多示例包特征学习的图像多标签标注算法,其特征是,步骤2.6中,在计算图像分块每个像素的梯度时具体的计算步骤如下:
步骤2.6.1:计算每个像素点(x,y)的梯度如下:
G1(x,y)=H(x+1,y)-H(x-1,y)
G2(x,y)=H(x,y+1)-H(x,y-1)
式中,G1(x,y),G2(x,y),H(x,y),分别表示像素点(x,y)处的水平方向梯度、垂直方向梯度和像素灰度值;
步骤2.6.2:计算每个像素点(x,y)处的梯度幅值和梯度方向如下:
G ( x , y ) = G 1 ( x , y ) 2 + G 2 ( x , y ) 2 α ( x , y ) = tan - 1 ( G 1 ( x , y ) G 2 ( x , y ) ) .
5.如权利要求3所述的一种基于多示例包特征学习的图像多标签标注算法,其特征是,所述步骤2.7中,所述统计过程为:如果一个像素的梯度方向在直方图某组梯度方向数值范围内,则该组统计计数根据该像素梯度大小增加相应的计数;统计好的方向梯度直方图进行最大值归一化后,则得到维数为12维的图像分块方向梯度直方图,用列向量表示。
6.如权利要求3所述的一种基于多示例包特征学习的图像多标签标注算法,其特征是,所述步骤三中,用一个矩阵表示一个图像包,矩阵的每列为步骤2.8中所得到的每个图像分块示例的特征向量。
7.如权利要求1所述的一种基于多示例包特征学习的图像多标签标注算法,其特征是,所述步骤四中,具体步骤为:
步骤4.1:收集所有训练图像集合的所有示例,组成投影示例集合P={p1,…,pm,…,pM},其中,M表示所有示例数,pm为投影示例集合的第m个示例;
步骤4.2:计算图像包到每个投影示例的距离,其计算如下:
d ( X i , p m ) = m i n x i , j ∈ X i s ( x i , j , p m )
s ( x i , j , p m ) = exp ( - | | x i , j - p m | | 2 2 σ 2 )
其中,Xi为第i个图像包,xi,j为第i个图像包的第j个示例,pm为投影示例集合中的第m个示例,σ为高斯距离参数,取1~2之间的值,s(xi,j,pm)所求的是包内示例到投影示例的高斯距离,图像包到投影示例的距离d(Xi,pm)所求为图像包内所有示例到投影示例高斯距离中的最小距离;
步骤4.3:将图像包到所有投影示例的距离值排成一列,得到图像包的投影特征。
8.如权利要求1所述的一种基于多示例包特征学习的图像多标签标注算法,其特征是,所述步骤五中的具体步骤为:
步骤5.1:将训练图像集合中每个图像包的投影特征作为矩阵的列,得到训练集投影特征矩阵Z=[z1,…,zi,…zN],其中,N为训练集图像包的数量,将训练图像集中每个图像包的标签值作为列,得到训练集合图像包标签矩阵Y=[y1,…,yi,…yN],其中每个图像包的标签值yi为一个列向量,其维度为图像集的标签总数,其元素数取值为[0,1],如果元素值为1,则对应的标签被标注到该图像,否则,该标签不被标注到该图像;
步骤5.2:构造l2,1范式约束稀疏表示模型如下:
min w Σ i = 1 N | | Z T W - Y T | | 2 , 1 + γ | | W | | 2 , 1
其中,W为l2,1范式约束稀疏表示模型要求解的特征选择系数;
步骤5.3:采用增广拉格朗日算法求解出l2,1范式约束稀疏表示模型中的特征选择系数W;
步骤5.4:记录W中的非零行序号集合为IX,选取训练集投影特征矩阵Z中序号为IX的行则得到学习的图像包分类特征。
9.如权利要求1所述的一种基于多示例包特征学习的图像多标签标注算法,其特征是,所述步骤六中,具体步骤为:
步骤6.1:将步骤五中学习到的训练图像集合图像包分类特征分别送入不同标签对应的SVM分类器进行训练,则每一个标签学习得到一个SVM分类器;
步骤6.2:用模糊C均值聚类算法将测试图像进行图像分割,得到测试图像分块;
步骤6.3:对每个测试图像分块提取颜色直方图特征和方向梯度直方图特征,并首尾相接排成一列,所有图像分块特征按列排成一个矩阵,得到测试图像包的特征矩阵,矩阵每列看作测试图像包的一个示例特征;
步骤6.4:计算测试图像包与投影示例的距离,排成一列得到测试图像包的投影特征向量;
步骤6.5:依据步骤五学习得到的特征选择系数W的非零行序号集合IX,对应选择出测试图像包投影向量的行,得到测试图像包的分类特征;
步骤6.6:将测试图像包的分类特征分别输入步骤6.1得到的训练好的SVM分类器,分别得到每个标签的预测概率,如果概率值大于等于设定值则该标签被标注于测试图像,反之,则该标签不被标注于测试图像,如此便得到最终的测试图像标注结果。
10.如权利要求9所述的一种基于多示例包特征学习的图像多标签标注算法,其特征是,所述步骤6.6中的设定值为0.5。
CN201610076444.2A 2016-02-03 2016-02-03 一种基于多示例包特征学习的图像多标签标注算法 Active CN105678309B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610076444.2A CN105678309B (zh) 2016-02-03 2016-02-03 一种基于多示例包特征学习的图像多标签标注算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610076444.2A CN105678309B (zh) 2016-02-03 2016-02-03 一种基于多示例包特征学习的图像多标签标注算法

Publications (2)

Publication Number Publication Date
CN105678309A true CN105678309A (zh) 2016-06-15
CN105678309B CN105678309B (zh) 2019-01-01

Family

ID=56303558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610076444.2A Active CN105678309B (zh) 2016-02-03 2016-02-03 一种基于多示例包特征学习的图像多标签标注算法

Country Status (1)

Country Link
CN (1) CN105678309B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742099A (zh) * 2017-09-30 2018-02-27 四川云图睿视科技有限公司 一种基于全卷积网络的人群密度估计、人数统计的方法
CN109101922A (zh) * 2018-08-10 2018-12-28 广东电网有限责任公司 作业人员着装分析方法、装置及电子设备
CN110175657A (zh) * 2019-06-05 2019-08-27 广东工业大学 一种图像多标签标记方法、装置、设备及可读存储介质
CN110210412A (zh) * 2019-06-04 2019-09-06 河海大学 一种基于深度学习和多示例学习的高光谱影像分类方法
WO2019184471A1 (zh) * 2018-03-27 2019-10-03 北京达佳互联信息技术有限公司 图像标签确定方法、装置及终端
CN111368917A (zh) * 2020-03-04 2020-07-03 西安邮电大学 一种用于刑侦图像分类的多示例集成学习方法
WO2021179484A1 (zh) * 2020-03-09 2021-09-16 平安科技(深圳)有限公司 多标签多示例的图像检测方法、装置、设备及存储介质
CN113887652A (zh) * 2021-10-20 2022-01-04 西安电子科技大学 基于形态和多示例学习的遥感图像弱小目标检测方法
CN115797340A (zh) * 2023-02-03 2023-03-14 西南石油大学 一种基于多示例学习的工业表面缺陷检测方法
CN116309647A (zh) * 2023-04-27 2023-06-23 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 颅脑病灶图像分割模型构建方法、图像分割方法及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839042A (zh) * 2012-11-27 2014-06-04 腾讯科技(深圳)有限公司 人脸识别方法和人脸识别系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839042A (zh) * 2012-11-27 2014-06-04 腾讯科技(深圳)有限公司 人脸识别方法和人脸识别系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FEIPING NIE等: "Efficient and Robust Feature Selection via Joint L2,1-Norms Minimization", 《NIPS》 *
周志华等: "MIML:多示例多标记学习", 《百度文库》 *
潘夏英: "图像边缘检测技术的研究", 《中国优秀硕士学位论文全文数据库》 *
陈涛: "多示例学习算法及其应用研究", 《中国博士学位论文全文数据库》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742099A (zh) * 2017-09-30 2018-02-27 四川云图睿视科技有限公司 一种基于全卷积网络的人群密度估计、人数统计的方法
WO2019184471A1 (zh) * 2018-03-27 2019-10-03 北京达佳互联信息技术有限公司 图像标签确定方法、装置及终端
US11436449B2 (en) 2018-03-27 2022-09-06 Beijing Dajia Internet Information Tech. Co., Ltd. Method and electronic apparatus for processing image and training image tag classification model
CN109101922A (zh) * 2018-08-10 2018-12-28 广东电网有限责任公司 作业人员着装分析方法、装置及电子设备
CN110210412A (zh) * 2019-06-04 2019-09-06 河海大学 一种基于深度学习和多示例学习的高光谱影像分类方法
CN110175657B (zh) * 2019-06-05 2021-10-01 广东工业大学 一种图像多标签标记方法、装置、设备及可读存储介质
CN110175657A (zh) * 2019-06-05 2019-08-27 广东工业大学 一种图像多标签标记方法、装置、设备及可读存储介质
CN111368917A (zh) * 2020-03-04 2020-07-03 西安邮电大学 一种用于刑侦图像分类的多示例集成学习方法
WO2021179484A1 (zh) * 2020-03-09 2021-09-16 平安科技(深圳)有限公司 多标签多示例的图像检测方法、装置、设备及存储介质
CN113887652A (zh) * 2021-10-20 2022-01-04 西安电子科技大学 基于形态和多示例学习的遥感图像弱小目标检测方法
CN115797340A (zh) * 2023-02-03 2023-03-14 西南石油大学 一种基于多示例学习的工业表面缺陷检测方法
CN116309647A (zh) * 2023-04-27 2023-06-23 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 颅脑病灶图像分割模型构建方法、图像分割方法及设备
CN116309647B (zh) * 2023-04-27 2023-07-25 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 颅脑病灶图像分割模型构建方法、图像分割方法及设备

Also Published As

Publication number Publication date
CN105678309B (zh) 2019-01-01

Similar Documents

Publication Publication Date Title
CN105678309A (zh) 一种基于多示例包特征学习的图像多标签标注算法
CN102968637B (zh) 一种复杂背景图像文字分割方法
CN104376105B (zh) 一种社会媒体中图像低层视觉特征与文本描述信息的特征融合系统及方法
CN112016605B (zh) 一种基于边界框角点对齐和边界匹配的目标检测方法
CN109919002B (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
CN109657715B (zh) 一种语义分割方法、装置、设备及介质
CN107943856A (zh) 一种基于扩充标记样本的文本分类方法及系统
CN106919910B (zh) 一种基于hog-cth组合特征的交通标志识别方法
CN102867183B (zh) 一种车辆遗撒物检测方法、装置及智能交通监控系统
CN108875727B (zh) 图文标识的检测方法及装置、存储介质、处理器
CN112580657B (zh) 一种自学习字符识别方法
CN114169381A (zh) 图像标注方法、装置、终端设备及存储介质
CN114511718B (zh) 一种建筑施工用物料智能管理方法及系统
CN104951791A (zh) 数据分类方法和装置
CN110728307A (zh) 自生成数据集与标签实现x光影像图小样本字符识别方法
CN104751175A (zh) 基于增量支持向量机的sar图像多类标场景分类方法
CN110751195A (zh) 一种基于改进YOLOv3的细粒度图像分类方法
CN104268552A (zh) 一种基于部件多边形的精细类别分类方法
CN110991442A (zh) 一种高速公路车牌云端高精准识别方法
CN102609891B (zh) 一种基于纹理特征的数字图像被动盲取证方法
CN108304588A (zh) 一种基于k近邻和模糊模式识别的图像检索方法及系统
CN109190451B (zh) 基于lfp特征的遥感图像车辆检测方法
CN111401466A (zh) 一种交通标志检测与识别标注方法、装置和计算机设备
CN110909645A (zh) 一种基于半监督流形嵌入的人群计数方法
CN112417961B (zh) 一种基于场景先验知识的海面目标检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant