CN108009279B - 一种基于空间位置关系图匹配的图像区域标签修正方法 - Google Patents

一种基于空间位置关系图匹配的图像区域标签修正方法 Download PDF

Info

Publication number
CN108009279B
CN108009279B CN201711387394.0A CN201711387394A CN108009279B CN 108009279 B CN108009279 B CN 108009279B CN 201711387394 A CN201711387394 A CN 201711387394A CN 108009279 B CN108009279 B CN 108009279B
Authority
CN
China
Prior art keywords
label
image
spatial position
graph
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711387394.0A
Other languages
English (en)
Other versions
CN108009279A (zh
Inventor
张静
王振坤
穆亚昆
陈志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China University of Science and Technology
Original Assignee
East China University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China University of Science and Technology filed Critical East China University of Science and Technology
Priority to CN201711387394.0A priority Critical patent/CN108009279B/zh
Publication of CN108009279A publication Critical patent/CN108009279A/zh
Application granted granted Critical
Publication of CN108009279B publication Critical patent/CN108009279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于空间位置关系图匹配的图像区域标签修正方法。该方法通过构建图像区域标签的空间位置关系图，并在其基础上实现图像区域标签的修正。空间位置关系图以图像区域标签为顶点，并将图像区域标签的语义相关性以及区域标签的空间位置关系设置为边的权重。图像区域标签修正通过利用迭代的随机游走算法在空间位置关系图的基础上生成区域关系图实现图像区域待修正标签的确定。最后通过空间位置关系图计算候选标签的综合匹配度，并将匹配度最高的标签置为待修正区域的标签。实验表明，该方法可以有效地对自动图像区域标注算法产生的错误标签进行修正，提升图像自动区域标注的准确性。

Description

一种基于空间位置关系图匹配的图像区域标签修正方法
技术领域
本发明主要涉及图像语义标注领域，具体涉及一种基于空间位置关系图匹配的图像区域标签修正方法。
背景技术
图像区域标注是对图像的局部区域信息匹配相应语义关键词的过程。由于“语义鸿沟”的存在，严重影响了传统图像区域标注算法的准确性，本发明提出了一种基于图像区域的标签修正方法。
图像区域标签之间具有语义相关性、位置相邻性以及方向位置关联性，这些信息有助于图像区域语义理解与标注，因而本发明提出一种能够有效描述上述关系的空间位置关系图，并以此图为基础实现增量迭代的随机游走算法对图像区域标签进行修正。
发明内容
本发明的目的在于提出一种基于空间位置关系图匹配的图像区域标签修正方法，通过分析图像区域的不同语义标签之间的共现关系以及空间位置关系，构造空间位置关系图，提出增量迭代的随机游走算法对图像区域标签进行修正。
本发明的技术方案如下：
(1)计算图像区域标签语义相关性：语义相关性由不同标签之间的语义共现度表示，语义共现度根据语义标签在图像训练集中共现概率计算；
(2)计算图像区域标签空间位置关系：空间位置关系通过分析图像区域标签的相邻关系以及方向位置关系获取；
(3)待修正图像区域初始置信标签获取：置信标签的初始值将空间位置关系图与待修正图像的区域关系图进行子图匹配，得到关联边权重累积值作为对应顶点的初始置信值；
(4)增量迭代的随机游走：以初始置信标签为种子标签，采用增量的方式产生待修正图像新的区域关系图，并迭代进行随机游走来更新其置信值；
(5)待修正图像的非置信区域的标签重预测：将带有重预测新标签的候选区域关系图与空间位置关系图进行子图匹配，得到其综合匹配度，选取匹配度最高的标签作为待预测区域的置信标签。
附图说明
图1基于空间位置关系图的标签修正流程图
图2空间位置关系示意图
图3区域方向位置关系示意图
图4空间位置关系度量算法
图5非置信标签预测算法
图6非置信标签预测实例图
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明所述的基于空间位置关系图的标签修正流程图如图1所示，图1包括5个单元。
单元100为计算标签的语义相关性。Ttrain＝{I1,I2,...,IM}表示训练图像集，M代表训练图像集大小；计算两个标签之间的语义关系ω1,ij即计算语义标签li和lj在图像中共现的频率，计算方法为：
Figure GDA0003878173960000021
其中
Figure GDA0003878173960000022
表示在图像Ik中，标签li和lj是否共现，即同时出现：
Figure GDA0003878173960000023
单元101为度量标签空间位置关系。区域标签的空间位置可以反映图像区域的布局，隐含着更深层次的标签语义关联。空间位置关系分为相邻关系和方向位置关系来表示。
区域标签li和区域标签lj之间的空间位置的相邻关系ω2,ij计算如下：
Figure GDA0003878173960000031
其中
Figure GDA0003878173960000032
表示在图像Ik中，标签li和lj所标注的区域是否相邻：
Figure GDA0003878173960000033
区域ri和区域rj的关系可以定义为“上方”关系μabo(ri,rj)、“下方”关系μbel(ri,rj)和“旁边”关系μbes(ri,rj)，具体区域的方向位置关系如图3所示。
区域标签li和区域标签lj之间空间位置关系中“上方”关系ω3,ij计算如下：
Figure GDA0003878173960000034
其中
Figure GDA0003878173960000035
表示在图像Ik中，区域ri和区域rj是否满足“上方”关系。
区域标签li和区域标签lj之间空间位置关系中“下方”关系ω3,ji计算如下：
Figure GDA0003878173960000036
其中
Figure GDA0003878173960000037
表示在图像Ik中，区域ri和区域rj是否满足“下方”关系。
区域标签li和区域标签lj之间空间位置关系中“旁边”关系ω4,ij计算如下：
Figure GDA0003878173960000038
其中
Figure GDA0003878173960000039
表示在图像Ik中，区域ri和区域rj是否满足“旁边”关系。
单元102为获取置信标签初始值。置信标签的初始值由如下方案获取：将空间位置关系图与待修正图像的区域关系图进行子图匹配，得到关联边权重累积值作为对应顶点的初始置信值；
单元103为基于随机游走的标签修正。在得到初始置信标签后，需要依次加入其他标签进入置信集，标签的顺序是通过将各个标签与置信集标签进行匹配得到的。当在得到新的置信标签后，加入到原置信集。采用随机游走的方式更新置信标签集对应的标签置信值，得到新的标签置信值。
单元104为计算候选标签的综合匹配度。候选标签lτ放在非置信标签位置上与置信标签ln的综合匹配度pmatch(τ,n)计算如下：
Figure GDA0003878173960000041
其中p表示置信标签的个数，χ(τ,n)表示候选集标签lτ与置信标签ln的关联度，最终选择综合匹配度最高的标签作为标签预测的结果。
单元105为相邻关系表示。空间位置关系图的边的权重由相邻关系和方向位置关系组成，相邻关系由区域标签的共现性表示。
单元106为方向位置。方向位置关系由三部分组成：“上方”、“下方”和“旁边”。区域ri和区域rj的关系可以定义为μabo(ri,rj)、μbel(ri,rj)和μbes(ri,rj)。
单元107为“上方”关系。区域ri和区域rj的“上方”关系μabo(ri,rj)可以定义为：
Figure GDA0003878173960000042
其中θij表示区域ri和区域rj的质心连线和水平线的夹角。
单元108为“旁边”关系。区域ri和区域rj的“旁边”关系μbes(ri,rj)可以定义为：
Figure GDA0003878173960000043
单元109为“下方”关系。区域ri和区域rj的“下方”关系μbel(ri,rj)可以定义为：
Figure GDA0003878173960000051
单元110构成向量。空间位置关系图中边的权重向量由共现性、“上方”关系、“旁边”关系以及“下方”关系构成。
单元111把候选标签放入非置信区域形成新区域关系图。
单元112将新图与空间位置关系图进行子图匹配。Ttest＝{I1,I2,...,IN}表示测试图像集，N代表测试图像集大小,在测试图像Iλ中将新图中每条与标签lτ相连的边匹配空间位置关系图，得到匹配度矩阵，χ(τ,n)表示候选集标签lτ与置信标签ln的关联度：
Figure GDA0003878173960000052
其中β表示相邻关系的在空间位置关系中的比重，1-β表示方向关系的在空间位置关系中的比重。
单元113为选择最高综合匹配度的候选标签作为最终重预测标签。

Claims (6)

1.一种基于空间位置关系图匹配的图像区域标签修正方法，其特征包括以下步骤：
(1)计算图像区域标签的语义相关性；
(2)分析度量图像区域标签的空间位置关系，包括相邻关系、方向位置关系；
(3)根据空间位置关系图与待修正图像的区域关系图进行子图匹配后，得到的关联边的权重累积值作为对应顶点的初始置信值；
(4)基于空间位置关系图并且以初始置信标签为种子标签，采用增量的方式产生待修正图像新的区域关系图，并迭代进行随机游走更新标签的置信值；
(5)将带有重新预测标签的候选区域关系图与空间位置关系图进行子图匹配，计算候选标签和置信标签之间的关联度，多个关联度的总和即候选标签的综合匹配度，选取综合匹配度最高的作为标签预测的结果。
2.根据权利要求1所述的方法，其特征在于步骤(1)中，语义相关性是计算不同区域标签在图像中的共现度。
3.根据权利要求1所述的方法，其特征在于步骤(2)中的提取空间位置关系度量，需要分别计算相邻关系和方向位置关系，其具体步骤如下：
(21)区域标签的相邻关系是对标签对应的区域在图像中是否相邻进行描述；
(22)方向位置关系包括：“上方”“下方”“旁边”三种，其定义根据两个区域的质心连线和水平线的夹角进行定义：当夹角在30度到150度之间时，表示为“上方”；当夹角在-30度到-150度之间时，表示为“下方”；否则，表示为“旁边”，若区域方向位置满足某一位置定义，则进行相关描述。
4.根据权利要求1所述的方法，其特征在于步骤(3)中，置信标签的初始值由如下方案获取：将空间位置关系图与待修正图像的区域关系图进行子图匹配，得到关联边的权重累积值作为对应顶点的初始置信值。
5.根据权利要求1所述的方法，其特征在于步骤(4)中，通过随机游走的多次迭代更新待修正图像的区域关系图中每个区域标签的置信值，同时减小噪声标签置信值，最终使得所有标签置信值趋于稳定。
6.根据权利要求1所述的方法，其特征在于步骤(5)中，依据非置信标签与置信标签的共现关系以及相对空间位置关系实现对非置信区域进行标签重预测，将带有重预测新标签的候选区域关系图与空间位置关系图进行子图匹配，采用随机游走的方式更新置信标签集对应的标签置信值，更新后的置信值用于计算候选标签和置信标签之间的综合 匹配度，选取匹配度最高的标签作为待预测区域的置信标签。
CN201711387394.0A 2017-12-20 2017-12-20 一种基于空间位置关系图匹配的图像区域标签修正方法 Active CN108009279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711387394.0A CN108009279B (zh) 2017-12-20 2017-12-20 一种基于空间位置关系图匹配的图像区域标签修正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711387394.0A CN108009279B (zh) 2017-12-20 2017-12-20 一种基于空间位置关系图匹配的图像区域标签修正方法

Publications (2)

Publication Number Publication Date
CN108009279A CN108009279A (zh) 2018-05-08
CN108009279B true CN108009279B (zh) 2023-02-17

Family

ID=62060161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711387394.0A Active CN108009279B (zh) 2017-12-20 2017-12-20 一种基于空间位置关系图匹配的图像区域标签修正方法

Country Status (1)

Country Link
CN (1) CN108009279B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875591B (zh) * 2018-05-25 2021-06-29 厦门智融合科技有限公司 文本图片匹配分析方法、装置、计算机设备和存储介质
CN109271539B (zh) * 2018-08-31 2020-11-24 华中科技大学 一种基于深度学习的图像自动标注方法及装置
CN110298228A (zh) * 2019-04-25 2019-10-01 西北大学 一种多目标图像检索方法
CN112734804B (zh) * 2021-01-07 2022-08-26 支付宝(杭州)信息技术有限公司 图像数据标注的系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298606A (zh) * 2011-06-01 2011-12-28 清华大学 基于标签图模型随机游走的图像自动标注方法及装置
CN105205501A (zh) * 2015-10-04 2015-12-30 北京航空航天大学 一种多分类器联合的弱标注图像对象检测方法
EP2963564A1 (en) * 2014-07-04 2016-01-06 Gottfried Wilhelm Leibniz Universität Hannover Method for determining the relevance of a tag
US9495614B1 (en) * 2015-02-27 2016-11-15 Google Inc. Verifying labels for images using image recognition
CN106355628A (zh) * 2015-07-16 2017-01-25 中国石油化工股份有限公司 图文知识点标注方法和装置、图文标注的修正方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298606A (zh) * 2011-06-01 2011-12-28 清华大学 基于标签图模型随机游走的图像自动标注方法及装置
EP2963564A1 (en) * 2014-07-04 2016-01-06 Gottfried Wilhelm Leibniz Universität Hannover Method for determining the relevance of a tag
US9495614B1 (en) * 2015-02-27 2016-11-15 Google Inc. Verifying labels for images using image recognition
CN106355628A (zh) * 2015-07-16 2017-01-25 中国石油化工股份有限公司 图文知识点标注方法和装置、图文标注的修正方法和系统
CN105205501A (zh) * 2015-10-04 2015-12-30 北京航空航天大学 一种多分类器联合的弱标注图像对象检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Novel Region-based Image Annotation Using Multi-instance Learning;Xiaohong Hu等;《2009 Second International Workshop on Knowledge Discovery and Data Mining》;20090202;602-605 *
Image annotation using bi-relational graph of images and semantic labels;Hua Wang等;《CVPR 2011》;20110822;793-800 *
基于上下文的图像标注研究;周全;《中国博士学位论文全文数据库 (信息科技辑)》;20140215(第2期);I138-25 *

Also Published As

Publication number Publication date
CN108009279A (zh) 2018-05-08

Similar Documents

Publication Publication Date Title
CN108009279B (zh) 一种基于空间位置关系图匹配的图像区域标签修正方法
US11537719B2 (en) Deep neural network system for similarity-based graph representations
US7720773B2 (en) Partitioning data elements of a visual display of a tree using weights obtained during the training state and a maximum a posteriori solution for optimum labeling and probability
WO2020192013A1 (zh) 定向广告投放方法和装置、设备及存储介质
EP3217334A1 (en) System and method for visual bayesian data fusion
US11663282B2 (en) Taxonomy-based system for discovering and annotating geofences from geo-referenced data
CN110347940A (zh) 用于优化兴趣点标签的方法和装置
Naghibi et al. Urban growth modeling using cellular automata with multi-temporal remote sensing images calibrated by the artificial bee colony optimization algorithm
US11875512B2 (en) Attributionally robust training for weakly supervised localization and segmentation
US20130151536A1 (en) Vertex-Proximity Query Processing
Liu et al. An adaptive detection of multilevel co-location patterns based on natural neighborhoods
CN112905801A (zh) 基于事件图谱的行程预测方法、系统、设备及存储介质
Mena et al. On the Bayesian mixture model and identifiability
CN110033097A (zh) 基于多个数据域确定用户与物品的关联关系的方法及装置
US20220405455A1 (en) Methods and systems for congestion prediction in logic synthesis using graph neural networks
CN109241442B (zh) 基于预测值填充的项目推荐方法、可读存储介质和终端
CN104077765B (zh) 图像分割装置、图像分割方法
CN115631008A (zh) 商品推荐方法、装置、设备及介质
Zhang et al. An improved probabilistic relaxation method for matching multi-scale road networks
CN114580794A (zh) 数据处理方法、装置、程序产品、计算机设备和介质
CN109739869A (zh) 模型运行报告生成方法及系统
CN117992805A (zh) 基于张量积图融合扩散的零样本跨模态检索方法、系统
US9202130B2 (en) Image processing apparatus and image processing method
CN114782752A (zh) 基于自训练的小样本图像集成分类方法及装置
CN109543114A (zh) 异构信息网络链接预测方法、可读存储介质和终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant