CN107578069B - 图像多尺度自动标注方法 - Google Patents

图像多尺度自动标注方法 Download PDF

Info

Publication number
CN107578069B
CN107578069B CN201710838787.2A CN201710838787A CN107578069B CN 107578069 B CN107578069 B CN 107578069B CN 201710838787 A CN201710838787 A CN 201710838787A CN 107578069 B CN107578069 B CN 107578069B
Authority
CN
China
Prior art keywords
image
global
label
local
training set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710838787.2A
Other languages
English (en)
Other versions
CN107578069A (zh
Inventor
赵海英
贾耕云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Century College Beijing University Of Posts And Telecommunications
Original Assignee
Century College Beijing University Of Posts And Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Century College Beijing University Of Posts And Telecommunications filed Critical Century College Beijing University Of Posts And Telecommunications
Priority to CN201710838787.2A priority Critical patent/CN107578069B/zh
Publication of CN107578069A publication Critical patent/CN107578069A/zh
Application granted granted Critical
Publication of CN107578069B publication Critical patent/CN107578069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种图像多尺度自动标注方法，步骤包括：在训练集中寻找待标注图像的K近邻图像；全局标注在K近邻图像中出现的频率作为第一权重；选择匹配度最高的M个K近邻图像加入候选集；依据候选集图像的每个全局标注出现的频率更新第一权重获得第二权重；利用候选集图像对待标注图像进行局部标注；计算待标注图像的每个局部标注在训练集图像中与训练集图像的所有全局标注的平均相关度系数，与第一权重和第二权重加权求和得到第三权重，取第三权重最大的t个全局标注作为待标注图像的全局标注。本发明方法实现了图像的局部语义与全局语义的多尺度标注。在进行全局标注时，利用了局部标注与全局标注间的关联度信息，提高了全局标注的准确性。

Description

图像多尺度自动标注方法
技术领域
本发明涉及机器学习技术领域，特别是涉及一种图像的自动标注技术。
背景技术
图像自动标注技术是机器学习和计算机视觉中的研究热点之一，图像自动标注就是以单词、词汇的形式，自动地给图像赋予语义信息。图像的自动标注在多个领域都有巨大的应用价值，其基本的思想在于利用已有标注的图像训练一个模型，然后将模型应用在无标注的待标注图像上，进而推理出待标注图像的语义。
图像的语义可分为局部语义和全局语义两种尺度，其中局部语义指图像中某一部分呈现的语义，它能够与图像中某些位置的像素建立映射；全局语义是指图像整体反映出的语义，它很难与具体的像素建立联系，而往往是图像中多个特征联合表达出的语义。
在现有的技术中，对图像局部语义的自动标注，语义分割是一种有效的方法，它通过给图像中每个像素一个语义标签，实现了局部语义的标注，与不建立像素和语义对应关系的普通图像标注技术相比，语义分割能够更精确的实现局部语义标注，但是无法实现全局语义的标注。目前还缺乏在语义分割基础上进行多尺度语义标注的方法研究。
发明内容
本发明所要解决的技术问题是，克服现有技术的上述缺点，提供一种图像多尺度自动标注方法，在语义分割实现精确局部语义标注的基础上，进一步实现全局语义标注。
为了解决以上技术问题，本发明提供的图像多尺度自动标注方法，其特征在于，包括以下步骤：
第1步、在训练集中寻找待标注图像的K近邻图像，所述训练集包含N个图像，每个图像对应若干全局标注，每个图像的每个像素对应一个局部标注；
第2步、每个全局标注在K近邻图像中出现的频率作为该全局标注的第一权重；
第3步、对待标注图像和每个K近邻图像建立逐像素的密集匹配，选择匹配度最高的M个K近邻图像加入候选集；
第4步、计算候选集中图像的每个全局标注出现的频率，与对应全局标注的第一权重加权求和得到该全局标注的第二权重；
第5步、利用候选集图像的局部标注信息对待标注图像进行逐像素的局部标注赋值；
第6步、计算待标注图像的每个局部标注在训练集图像中与训练集图像的所有全局标注的平均相关度系数，与对应全局标注的第一权重和第二权重加权求和得到对应全局标注的第三权重，训练集图像的全局标注根据第三权重从大到小进行排序，取前t个全局标注作为待标注图像的全局标注。
本发明方法实现了图像的局部语义(局部标注)与全局语义(全局标注)的多尺度标注。在进行全局标注时，利用了每个全局标注在K近邻图像中出现的频率、在候选集中图像中出现的频率以及局部标注与全局标注间的关联度信息、提高了全局标注的准确性(全局标注排序更准确)。相对于传统互相孤立的局部标注方法和全局标注方法，本发明将两者结合在一起，通过建立一个统一的模型，实现局部标注和全局标注的一步实现，提高了图像标注效率。
附图说明
下面结合附图对本发明作进一步的说明。
图1本发明图像多尺度自动标注方法的流程图。
具体实施方式
如图1所示，本实施例图像多尺度自动标注方法，其特征在于，包括以下步骤：
第1步、在训练集中寻找待标注图像的K近邻图像，所述训练集包含N个图像，每个图像对应若干全局标注，每个图像的每个像素对应一个局部标注。
本步骤中，提取待标注图像和训练集中所有图像的GIST特征向量，计算待标注图像的GIST特征向量与训练集中所有图像的GIST特征向量之间的欧氏距离，选取欧氏距离最小的K个图像，作为待标注图像的K近邻图像。本实施例提取GIST特征向量，除此之外，还可以是HOG特征向量或视觉词包特征向量。
第2步、每个全局标注在K近邻图像中出现的频率作为该全局标注的第一权重。使用计算机来进行自动处理时，借助对K近邻图像建立关于全局标注的索引，对索引进行统计，来计算所述的频率，当然也不排除使用其他的统计方式。具体的，本实施例中，全局标注的第一权重计算方法如下：
设训练集图像的全局标注全集为{y1,y2,...,yL}，L为训练集图像的全局标注种类数；对K近邻图像集合中每个图像的全局标注进行提取和排列并建立索引，获得与所述训练集图像的全局标注全集对应的L维向量Yi，Yi∈{0,1}L，向量Yi的第l维个元素Yi(l)＝1，则表示第i个训练集图像含有全局标注yl，向量Yi的第l维个元素Yi(l)＝0，则表示第i个训练集图像不含有全局标注yl，对于待标注图像的K近邻图像集合{X1,X2,...,XK}，建立其全局标注的索引，用{Y1,Y2,...,YK}进行表示，令
Figure BDA0001410244590000031
为K近邻图像集中的全局标注的总数，令
Figure BDA0001410244590000032
为K近邻图像集合中第l个全局标注yl的总数，则第l个全局标注的第一权重为
Figure BDA0001410244590000033
第3步、对待标注图像和每个K近邻图像建立逐像素的密集匹配，选择匹配度最高的M个K近邻图像加入候选集。
本步骤使用SIFT流方法，通过最小化两图间SIFT流能量，对待标注图像和每个K近邻图像之间建立逐像素的密集匹配。选择SIFT流能量最小的M个K近邻图像组成候选集。两幅图像之间，SIFT流能量越小，代表匹配度越高。
本步骤中的SIFT流方法为现有成熟算法，参见论文《SIFT Flow:DenseCorrespondence across Scenes and its Applications》。
第4步、计算候选集中图像的每个全局标注出现的频率，与对应全局标注的第一权重加权求和得到该全局标注的第二权重。使用计算机来进行自动处理时，借助对候选集图像建立关于全局标注的索引，对索引进行统计，来计算所述的频率。本步骤方法与第2步原理相同。具体的，本实施例中，全局标注的第二权重计算方法如下：
对候选集中每个图像的全局标注进行提取和排列并建立索引，获得与所述训练集图像的全局标注全集对应的L维向量Zi，Zi∈{0,1}L，向量Zi的第l维个元素Zi(l)＝1，则表示第i个候选集图像含有全局标注yl，向量Zi的第l维个元素Zi(l)＝0，则表示第i个候选集图像不含有全局标注yl，对于待标注图像的候选集{X1,X2,...,XM}，建立其全局标注的索引，用{Z1,Z2,...,ZM}进行表示，令
Figure BDA0001410244590000041
为候选集中所有图像的全局标注的总数，令
Figure BDA0001410244590000042
为第l个全局标注在候选集中的总数，则第l个全局标注的第二权重
Figure BDA0001410244590000043
α∈(0,1)，权重参数α的取值建议为0.8,取值可用验证集图像进行验证，一般应取大于0.5的值。
第5步、利用候选集图像的局部标注信息对待标注图像进行逐像素的局部标注赋值。本步骤为现有成熟方法。本实施例中选用的是Label Transfer方法，参见论文《Nonparametric Scene Parsing via Label Transfer》。除此之外，还可以采用全卷积神经网络、二阶池化、图模型等方法来进行逐像素标注。
本实施例所采用的局部标注方法，简要来说，建立Markov随机场模型，根据待标注图像与候选集图像的匹配信息，计算待标注图像所有的像素点的每种局部标注的后验概率，取后验概率最大的局部标注作为对应像素的局部标注。
第6步、计算待标注图像的每个局部标注在训练集图像中与训练集图像的所有全局标注的平均相关度系数，与对应全局标注的第一权重和第二权重加权求和得到对应全局标注的第三权重，训练集图像的全局标注根据第三权重从大到小进行排序，取前t个全局标注作为待标注图像的全局标注。
本实施例中，相关度系数使用余弦相似度进行计算，当然也可以使用其他算法来获得相似度。相似度系数越大，代表相关性越高，对第三权重的贡献则越大。具体的，本步骤中全局标注的第三权重的计算方法如下：
设训练集图像的局部标注全集为ly＝{ly1,ly2,...,lyP}，P为训练集图像的局部标注种类数；对训练集中每个图像的局部标注进行提取、去重和排列并建立索引，获得与所述局部标注全集对应的P维向量LYi，LYi∈{0,1}P，向量LYi的第p维个元素LYi(p)＝1，则表示第i个训练集图像含有局部标注lyp，向量LYi的第p维个元素LYi(p)＝0，则表示第i个训练集图像不含有局部标注lyp，用{LY1,LY2,...,LYN}表示训练集图像局部标注的索引，计算训练集图像的局部标注索引{LY1,LY2,...,LYN}和训练集图像的全局标注索引{Y1,Y2,...,YN}的关联矩阵W，Wij表示第i个局部标注lyi和第j个全局标注yj在训练集中的相关度系数，相关度系数使用余弦相似度计算，关联矩阵W中第i行第j列的元素
Figure BDA0001410244590000051
其中，LYi为矩阵[LY1,LY2,...,LYN]中第i行的行向量，Yj为矩阵[Y1,Y2,...,YN]中第j行的行向量；
对待测图像的局部标注进行提取、去重和排列并建立索引，获得与所述局部标注全集对应的P维向量LY，LY∈{0,1}P，向量LY的第p维个元素LY(p)＝1，则表示待测图像含有局部标注lyp，向量LY的第p维个元素LY(p)＝0，则表示待测图像不含有局部标注lyp，则l个全局标注的第三权重
Figure BDA0001410244590000061
其中，v∈{v|LY(v)＝1}，|LY|表示待测图像的局部标注的种类数，α1+α2+α3＝1。权重参数α1、α2、α3的取值一般建议为0.6,0.35,0.05，取值可用验证集图像进行验证，一般应取α1>α2>α3。
除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。

Claims (7)

1.一种图像多尺度自动标注方法，其特征在于，包括以下步骤：
第1步、在训练集中寻找待标注图像的K近邻图像，所述训练集包含N个图像，每个图像对应若干全局标注，每个图像的每个像素对应一个局部标注；
第2步、每个全局标注在K近邻图像中出现的频率作为该全局标注的第一权重；
第3步、对待标注图像和每个K近邻图像建立逐像素的密集匹配，选择匹配度最高的M个K近邻图像加入候选集；
第4步、计算候选集中图像的每个全局标注出现的频率，与对应全局标注的第一权重加权求和得到该全局标注的第二权重；
第5步、利用候选集图像的局部标注信息对待标注图像进行逐像素的局部标注赋值；
第6步、计算待标注图像的每个局部标注在训练集图像中与训练集图像的所有全局标注的平均相关度系数，与对应全局标注的第一权重和第二权重加权求和得到对应全局标注的第三权重，训练集图像的全局标注根据第三权重从大到小进行排序，取前t个全局标注作为待标注图像的全局标注。
2.根据权利要求1的图像多尺度自动标注方法，其特征在于：所述第1步中，提取待标注图像和训练集中所有图像的特征向量，计算待标注图像的特征向量与训练集中所有图像的特征向量之间的欧氏距离，选取欧氏距离最小的K个图像为所述的K近邻图像，所述特征向量为GIST特征向量、或HOG特征向量、或视觉词包特征向量。
3.根据权利要求1的图像多尺度自动标注方法，其特征在于：所述第2步中，全局标注的第一权重计算方法如下：
设训练集图像的全局标注全集为{y1,y2,...,yL}，L为训练集图像的全局标注种类数；对K近邻图像集合中每个图像的全局标注进行提取和排列并建立索引，获得与所述训练集图像的全局标注全集对应的L维向量Yi，Yi∈{0,1}L，向量Yi的第l维个元素Yi(l)＝1，则表示第i个训练集图像含有全局标注yl，向量Yi的第l维个元素Yi(l)＝0，则表示第i个训练集图像不含有全局标注yl，对于待标注图像的K近邻图像集合{X1,X2,...,XK}，建立其全局标注的索引，用{Y1,Y2,...,YK}进行表示，令
Figure FDA0002618605200000021
为K近邻图像集中的全局标注的总数，令
Figure FDA0002618605200000022
为K近邻图像集合中第l个全局标注yl的总数，则第l个全局标注的第一权重为
Figure FDA0002618605200000023
4.根据权利要求1的图像多尺度自动标注方法，其特征在于：所述第3步中使用SIFT流方法，通过最小化两图间SIFT流能量，对待标注图像和每个K近邻图像之间建立逐像素的密集匹配。
5.根据权利要求1的图像多尺度自动标注方法，其特征在于：所述第4步中，全局标注的第二权重计算方法如下：
对候选集中每个图像的全局标注进行提取和排列并建立索引，获得与所述训练集图像的全局标注全集对应的L维向量Zi，Zi∈{0,1}L，向量Zi的第l维个元素Zi(l)＝1，则表示第i个候选集图像含有全局标注yl，向量Zi的第l维个元素Zi(l)＝0，则表示第i个候选集图像不含有全局标注yl，对于待标注图像的候选集{X1,X2,...,XM}，建立其全局标注的索引，用{Z1,Z2,...,ZM}进行表示，令
Figure FDA0002618605200000024
为候选集中所有图像的全局标注的总数，令
Figure FDA0002618605200000025
为第l个全局标注在候选集中的总数，则第l个全局标注的第二权重
Figure FDA0002618605200000026
α为权重参数，α∈(0,1)。
6.根据权利要求1的图像多尺度自动标注方法，其特征在于：第5步中，建立Markov随机场模型，根据待标注图像与候选集图像的匹配信息，计算待标注图像所有的像素点的每种局部标注的后验概率，取后验概率最大的局部标注作为对应像素的局部标注。
7.根据权利要求1的图像多尺度自动标注方法，其特征在于：第6步中，全局标注的第三权重的计算方法如下：
设训练集图像的局部标注全集为ly＝{ly1,ly2,...,lyP}，P为训练集图像的局部标注种类数；对训练集中每个图像的局部标注进行提取、去重和排列并建立索引，获得与所述局部标注全集对应的P维向量LYi，LYi∈{0,1}P，向量LYi的第p维个元素LYi(p)＝1，则表示第i个训练集图像含有局部标注lyp，向量LYi的第p维个元素LYi(p)＝0，则表示第i个训练集图像不含有局部标注lyp，用{LY1,LY2,...,LYN}表示训练集图像局部标注的索引，计算训练集图像的局部标注索引{LY1,LY2,...,LYN}和训练集图像的全局标注索引{Y1,Y2,...,YN}的关联矩阵W，Wij表示第i个局部标注lyi和第j个全局标注yj在训练集中的相关度系数，相关度系数使用余弦相似度计算，关联矩阵W中第i行第j列的元素
Figure FDA0002618605200000031
其中，LYi为矩阵[LY1,LY2,...,LYN]中第i行的行向量，Yj为矩阵[Y1,Y2,...,YN]中第j行的行向量；
对待测图像的局部标注进行提取、去重和排列并建立索引，获得与所述局部标注全集对应的P维向量LY，LY∈{0,1}P，向量LY的第p维个元素LY(p)＝1，则表示待测图像含有局部标注lyp，向量LY的第p维个元素LY(p)＝0，则表示待测图像不含有局部标注lyp，则第l个全局标注的第三权重
Figure FDA0002618605200000032
其中，v∈{v|LY(v)＝1}，|LY|表示待测图像的局部标注的种类数，α1、α2、α3为权重参数，α1+α2+α3＝1。
CN201710838787.2A 2017-09-18 2017-09-18 图像多尺度自动标注方法 Active CN107578069B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710838787.2A CN107578069B (zh) 2017-09-18 2017-09-18 图像多尺度自动标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710838787.2A CN107578069B (zh) 2017-09-18 2017-09-18 图像多尺度自动标注方法

Publications (2)

Publication Number Publication Date
CN107578069A CN107578069A (zh) 2018-01-12
CN107578069B true CN107578069B (zh) 2020-12-29

Family

ID=61036132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710838787.2A Active CN107578069B (zh) 2017-09-18 2017-09-18 图像多尺度自动标注方法

Country Status (1)

Country Link
CN (1) CN107578069B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018214979A1 (de) 2018-09-04 2020-03-05 Robert Bosch Gmbh Verfahren und System zur verbesserten Objektmarkierung in Sensordaten
EP4064124A4 (en) * 2019-11-19 2022-11-23 Shenzhen Institutes of Advanced Technology Chinese Academy of Sciences INTELLIGENT DIAGNOSTIC SUPPORT METHOD AND TERMINAL BASED ON MEDICAL IMAGES

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808752A (zh) * 2016-03-10 2016-07-27 大连理工大学 一种基于cca和2pknn的自动图像标注方法
CN105931241A (zh) * 2016-04-22 2016-09-07 南京师范大学 一种自然场景图像的自动标注方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8065313B2 (en) * 2006-07-24 2011-11-22 Google Inc. Method and apparatus for automatically annotating images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808752A (zh) * 2016-03-10 2016-07-27 大连理工大学 一种基于cca和2pknn的自动图像标注方法
CN105931241A (zh) * 2016-04-22 2016-09-07 南京师范大学 一种自然场景图像的自动标注方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
图像语义自动标注及其粒度分析方法;张素兰、郭平 等;《自动化学报》;20120531;第38卷(第5期);全文 *

Also Published As

Publication number Publication date
CN107578069A (zh) 2018-01-12

Similar Documents

Publication Publication Date Title
CN111126360B (zh) 基于无监督联合多损失模型的跨域行人重识别方法
CN106682233B (zh) 一种基于深度学习与局部特征融合的哈希图像检索方法
CN106767812B (zh) 一种基于语义信息提取的室内语义地图更新方法与系统
An et al. Fast and incremental loop closure detection with deep features and proximity graphs
WO2017075939A1 (zh) 一种图像内容识别方法及装置
CN111339975B (zh) 基于中心尺度预测与孪生神经网络的目标检测识别跟踪方法
JP7131195B2 (ja) 物体認識装置、物体認識学習装置、方法、及びプログラム
Xia et al. Loop closure detection for visual SLAM using PCANet features
CN110399895A (zh) 图像识别的方法和装置
CN106557728B (zh) 查询图像处理和图像检索方法和装置以及监视系统
Shetty et al. Segmentation and labeling of documents using conditional random fields
Ye et al. Scene text detection via integrated discrimination of component appearance and consensus
CN111241326B (zh) 基于注意力金字塔图网络的图像视觉关系指代定位方法
Gao et al. Group-pair convolutional neural networks for multi-view based 3d object retrieval
CN110942471A (zh) 一种基于时空约束的长时目标跟踪方法
CN110490236A (zh) 基于神经网络的自动图像标注方法、系统、装置和介质
CN112364747B (zh) 一种有限样本下的目标检测方法
CN113065409A (zh) 一种基于摄像分头布差异对齐约束的无监督行人重识别方法
CN110751027A (zh) 一种基于深度多示例学习的行人重识别方法
CN107578069B (zh) 图像多尺度自动标注方法
CN110442736B (zh) 一种基于二次判别分析的语义增强子空间跨媒体检索方法
Sadique et al. Content-based image retrieval using color layout descriptor, gray-level co-occurrence matrix and k-nearest neighbors
CN111523586A (zh) 一种基于噪声可知的全网络监督目标检测方法
CN107291813B (zh) 基于语义分割场景的示例搜索方法
CN111144469B (zh) 基于多维关联时序分类神经网络的端到端多序列文本识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant