CN106021250A - 一种基于关键词的影像语义信息检索方法 - Google Patents

一种基于关键词的影像语义信息检索方法 Download PDF

Info

Publication number
CN106021250A
CN106021250A CN201510588931.2A CN201510588931A CN106021250A CN 106021250 A CN106021250 A CN 106021250A CN 201510588931 A CN201510588931 A CN 201510588931A CN 106021250 A CN106021250 A CN 106021250A
Authority
CN
China
Prior art keywords
image
key word
vision
semantic information
yardstick
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510588931.2A
Other languages
English (en)
Inventor
张树坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vision Network (beijing) Technology Co Ltd
Original Assignee
Vision Network (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vision Network (beijing) Technology Co Ltd filed Critical Vision Network (beijing) Technology Co Ltd
Priority to CN201510588931.2A priority Critical patent/CN106021250A/zh
Publication of CN106021250A publication Critical patent/CN106021250A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于关键词的影像语义信息检索方法，主要包括以下步骤：设定描述影像库中影像内容的视觉关键词；从影像库中选取训练影像，通过聚类算法的聚类中心得到关键模式；采用高斯混合模型建立视觉关键词层次模型，提取影像库中所有影像的显著视觉特征；构建描述该影像语义的视觉关键词特征向量；接收待检索影像并计算上述接收的影像的语义信息与影像库中影像的语义距离；依据语义距离以及影像相似度，由近及远排序，并输出检索结果。本发明有效提高影像检索的查全率和查准率，具有良好的扩展性。

Description

一种基于关键词的影像语义信息检索方法
技术领域
本发明涉及影像处理与影像识别领域，更具体地说，涉及一种基于关键词的影像语义信息检索方法。
背景技术
影像数据应用正面临着“数据又多又少”的矛盾。一方面，随着航空航天及各类传感器技术、计算机网络技术、数据库技术等的飞速发展，可获取的各种遥感影像数据产品；另一方面，在如此浩瀚的遥感影像数据仓库中，人们却普遍感觉到要想快速查找到感兴趣的目标并非易事。这是由于遥感影像数据本身具有空间性、多样性、复杂性和海量性等特点，使得目前缺乏对海量遥感影像数据的有效检索方法，已经阻碍到遥感影像数据的应用。
在影像检索研究所涉及的各项关键技术中，目前的研究重点主要集中在影像的可视化特征提取及其相似性匹配算法上，其中对纹理特征的研究和应用最为广泛和深入，目标形状特征的描述和提取相对光谱特征、纹理特征而言是一个非常复杂的问题，至今还没有“形状”的确切数学定义。在基于组合特征的影像检索方面，主要有基于色调和纹理组合特征的检索。数据预处理(自动分块组织或预处理)和可视化特征相结合的算法也是以纹理特征为主。
由于低层可视化特征不能直观地反映影像的语义信息，在没有专家库或者领域知识库的辅助下，通常都会产生“所求非所得”的检索结果。要解决这一问题，提高检索效率和检索准确率，在检索方法上必须突破对可视化特征的依赖。影像高层语义特征包含了人们对影像内容的理解，基于语义的检索方法不仅顾及颜色、纹理、形状等视觉特征，而且注重对影像内容的语义描述，因此语义检索比基于视觉特征的内容检索更加充分、准确，智能性更高。然而，目前基于语义的遥感影像检索仍停留在探索阶段。
发明内容
本发明的目的在于，提供一种基于关键词的影像语义信息检索方法，通过符合人类视觉感知特性的影像分析方法，将复杂的影像特征抽象为具有语义信息的视觉关键词，通过视觉关键词建立底层特征、中层对象及高层语义信息之间的关联，提供的方法能适用于各种不同类型影像检索领域。
本发明所采用的技术方案是一种基于关键词的影像语义信息检索方法，包括以下步骤：
设置能够描述影像库中影像类型的视觉关键词，并从影像库中分别选出能反映各视觉关键词的若干幅影像，作为训练影像；
提取所有训练影像的各类显著视觉特征；
对所有训练影像，将得到的显著视觉特征分别采用聚类算法进行聚类，得到与视觉关键词个数相等的聚类中心，将每个聚类中心映射为一个关键模式；
采用高斯混合模型建立视觉关键词层次模型，构建影像的高斯尺度空间；然后分别建立包括同一尺度下的影像不同空间区域和同一影像空间区域下的不同尺度的二维高斯尺度树形层次结构；基于两个不同类型的高斯尺度树形层次结构分别构建非结构性语义和结构性语义，完成基于高斯尺度空间构建影像语义；
针对影像库中的每一幅影像，若属于某类视觉关键词的概率最大，则认为显著视觉特征属于该类视觉关键词，从而实现显著视觉特征到视觉关键词的映射；
针对影像库中的每一幅影像，根据预设的设定权重参数，统计每类视觉关键词在该影像中出现的频率，进而构建描述该影像语义的视觉关键词特征向量；
接收待检索影像；
采用预设的相似性度量准则，计算上述接收的影像的语义信息与影像库中影像的语义距离；
依据语义距离以及影像相似度，由近及远排序，并输出检索结果。
进一步地，其提取的显著视觉特征包括显著点、对象驱动的主色调和纹理。
进一步地，对所有训练影像进行基于Quick Shift算法的过分割，对过分割结果进行区域合并，然后对一致性对象区域采用HSV模型，根据其色调通道的量化结果提取出各区域的主色调，从而获取影像的主色调特征，每一个对象区域的主色调特征用一个特征向量来表示。
进一步地，在设置权重参数时，显著点特征赋以均值权重，主色调特征和纹理特征以自身对象区域的面积为权重。
进一步地，构建影像的高斯尺度空间的步骤如下，
分别建立包括同一尺度下的影像不同空间区域和同一影像空间区域下的不同尺度的二维高斯尺度树形层次结构；
基于两个不同类型的高斯尺度树形层次结构分别构建非结构性语义和结构性语义，完成基于高斯尺度空间构建影像语义，从而建立起视觉关键词层次模型。
进一步地，划分同一高斯尺度下影像的影像空间区域，提取该高斯尺度下影像的稳定特征点，包括提取该高斯尺度下影像的全局最大值像素坐标点、全局最小值像素坐标点、局部最大值像素坐标点、局部最大值像素坐标点、全局鞍值像素坐标点和局部鞍值像素坐标点，所述全局是指该高斯尺度下影像，所述局部是指按照上述步骤划分得到的任一影像空间区域。
进一步地，所采用的聚类算法为K均值或ISODATA算法。
本发明提供的技术方案的有益效果为，通过视觉关键词的层次模型建立低层显著视觉特征与高层语义信息之间的关联，缩小了低层显著视觉特征与高层语义之间的“语义鸿沟”，为从海量影像库中快速定位和查找感兴趣目标提供一个新的解决途径，能有效提高影像检索的查全率和查准率。

Claims (7)

1.一种基于关键词的影像语义信息检索方法，其特征在于，包括以下步骤：
设置能够描述影像库中影像类型的视觉关键词，并从影像库中分别选出能反映各视觉关键词的若干幅影像，作为训练影像；
提取所有训练影像的各类显著视觉特征：
对所有训练影像，将得到的显著视觉特征分别采用聚类算法进行聚类，得到与视觉关键词个数相等的聚类中心，将每个聚类中心映射为一个关键模式；
采用高斯混合模型建立视觉关键词层次模型，构建影像的高斯尺度空间；然后分别建立包括同一尺度下的影像不同空间区域和同一影像空间区域下的不同尺度的二维高斯尺度树形层次结构；基于两个不同类型的高斯尺度树形层次结构分别构建非结构性语义和结构性语义，完成基于高斯尺度空间构建影像语义，从而建立起视觉关键词层次模型；
针对影像库中的每一幅影像，若属于某类视觉关键词的概率最大，则认为显著视觉特征属于该类视觉关键词，从而实现显著视觉特征到视觉关键词的映射；
针对影像库中的每一幅影像，根据预设的设定权重参数，统计每类视觉关键词在该影像中出现的频率，进而构建描述该影像语义的视觉关键词特征向量；
接收待检索影像；
采用预设的相似性度量准则，计算上述接收的影像的语义信息与影像库中影像的语义距离；
依据语义距离以及影像相似度，由近及远排序，并输出检索结果。
2.根据权利要求1所述的一种基于关键词的影像语义信息检索方法，其特征在于：提取的显著视觉特征包括显著点、对象驱动的主色调和纹理。
3.根据权利要求2所述的一种基于关键词的影像语义信息检索方法，其特征在于：对所有训练影像进行基于Quick Shift算法的过分割，对过分割结果进行区域合并，然后对一致性对象区域采用HSV模型，根据其色调通道的量化结果提取出各区域的主色调，从而获取影像的主色调特征，每一个对象区域的主色调特征用一个特征向量来表示。
4.根据权利要求2所述的一种基于关键词的影像语义信息检索方法，其特征在于：在设置权重参数时，显著点特征赋以均值权重，主色调特征和纹理特征以自身对象区域的面积为权重。
5.根据权利要求1所述的一种基于关键词的影像语义信息检索方法，其特征在于：构建影像的高斯尺度空间的步骤如下，
分别建立包括同一尺度下的影像不同空间区域和同一影像空间区域下的不同尺度的二维高斯尺度树形层次结构；
基于两个不同类型的高斯尺度树形层次结构分别构建非结构性语义和结构性语义，完成基于高斯尺度空间构建影像语义，从而建立起视觉关键词层次模型。
6.根据权利要求5所述的一种基于关键词的影像语义信息检索方法，其特征在于：划分同一高斯尺度下影像的影像空间区域，提取该高斯尺度下影像的稳定特征点，包括提取该高斯尺度下影像的全局最大值像素坐标点、全局最小值像素坐标点、局部最大值像素坐标点、局部最大值像素坐标点、全局鞍值像素坐标点和局部鞍值像素坐标点，所述全局是指该高斯尺度下影像，所述局部是指按照上述步骤划分得到的任一影像空间区域。
7.根据权利要求所述的一种基于关键词的影像语义信息检索方法，其特征在于：所采用的聚类算法为K均值或ISODATA算法。
CN201510588931.2A 2015-09-16 2015-09-16 一种基于关键词的影像语义信息检索方法 Pending CN106021250A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510588931.2A CN106021250A (zh) 2015-09-16 2015-09-16 一种基于关键词的影像语义信息检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510588931.2A CN106021250A (zh) 2015-09-16 2015-09-16 一种基于关键词的影像语义信息检索方法

Publications (1)

Publication Number Publication Date
CN106021250A true CN106021250A (zh) 2016-10-12

Family

ID=57082555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510588931.2A Pending CN106021250A (zh) 2015-09-16 2015-09-16 一种基于关键词的影像语义信息检索方法

Country Status (1)

Country Link
CN (1) CN106021250A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886783A (zh) * 2017-01-20 2017-06-23 清华大学 一种基于区域特征的图像检索方法及系统
CN107832359A (zh) * 2017-10-24 2018-03-23 杭州群核信息技术有限公司 一种图片检索方法及系统
CN112836069A (zh) * 2021-04-22 2021-05-25 泰德网聚(北京)科技股份有限公司 一种基于图像关键词的自识别检索系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073748A (zh) * 2011-03-08 2011-05-25 武汉大学 一种基于视觉关键词的遥感影像语义检索方法
CN102945550A (zh) * 2012-10-15 2013-02-27 武汉大学 一种基于高斯尺度空间构建遥感影像语义的方法
CN103309982A (zh) * 2013-06-17 2013-09-18 武汉大学 一种基于视觉显著点特征的遥感影像检索方法
CN103530633A (zh) * 2013-10-09 2014-01-22 深圳大学 一种图像局部不变特征的语义映射方法及语义映射系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073748A (zh) * 2011-03-08 2011-05-25 武汉大学 一种基于视觉关键词的遥感影像语义检索方法
CN102945550A (zh) * 2012-10-15 2013-02-27 武汉大学 一种基于高斯尺度空间构建遥感影像语义的方法
CN103309982A (zh) * 2013-06-17 2013-09-18 武汉大学 一种基于视觉显著点特征的遥感影像检索方法
CN103530633A (zh) * 2013-10-09 2014-01-22 深圳大学 一种图像局部不变特征的语义映射方法及语义映射系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886783A (zh) * 2017-01-20 2017-06-23 清华大学 一种基于区域特征的图像检索方法及系统
CN107832359A (zh) * 2017-10-24 2018-03-23 杭州群核信息技术有限公司 一种图片检索方法及系统
CN107832359B (zh) * 2017-10-24 2021-06-08 杭州群核信息技术有限公司 一种图片检索方法及系统
CN112836069A (zh) * 2021-04-22 2021-05-25 泰德网聚(北京)科技股份有限公司 一种基于图像关键词的自识别检索系统
CN112836069B (zh) * 2021-04-22 2021-09-10 泰德网聚(北京)科技股份有限公司 一种基于图像关键词的自识别检索系统

Similar Documents

Publication Publication Date Title
US20220075806A1 (en) Natural language image search
KR101768521B1 (ko) 이미지에 포함된 객체에 대한 정보 데이터를 제공하는 방법 및 시스템
CN106649487B (zh) 基于兴趣目标的图像检索方法
US20210182333A1 (en) Correlating image annotations with foreground features
US10061999B1 (en) System and method for using segmentation to identify object location in images
CN102073748B (zh) 一种基于视觉关键词的遥感影像语义检索方法
TWI623842B (zh) Image search and method and device for acquiring image text information
KR101289085B1 (ko) 객체 기반 영상 검색시스템 및 검색방법
CN108701161B (zh) 为搜索查询提供图像
US20190095467A1 (en) Textual and image based search
US20180307706A1 (en) Image Query Method and Apparatus
US11636270B2 (en) Methods and systems for generating a semantic computation graph for understanding and grounding referring expressions
Kang et al. Image matching in large scale indoor environment
CN105718940A (zh) 基于多组间因子分析的零样本图像分类方法
CN106021250A (zh) 一种基于关键词的影像语义信息检索方法
CN103064907A (zh) 基于无监督的实体关系抽取的主题元搜索系统及方法
Yu et al. A novel multi-feature representation of images for heterogeneous IoTs
James Face Image retrieval with HSV color space using clustering techniques
Rangel et al. Lextomap: lexical-based topological mapping
Min et al. Overview of content-based image retrieval with high-level semantics
Xu et al. Application of image content feature retrieval based on deep learning in sports public industry
Sangeetha et al. An enhanced triadic color scheme for content-based image retrieval
CN106570123B (zh) 基于邻接对象关联规则的遥感图像检索方法及系统
Zheng et al. Classification of airborne LiDAR point cloud with different feature combinations
Zhang et al. Graph-cut based interactive image segmentation with texture constraints

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161012

WD01 Invention patent application deemed withdrawn after publication