CN106021251A - 一种基于背景知识的层次语义模型图像检索方法 - Google Patents

一种基于背景知识的层次语义模型图像检索方法 Download PDF

Info

Publication number
CN106021251A
CN106021251A CN201510588932.7A CN201510588932A CN106021251A CN 106021251 A CN106021251 A CN 106021251A CN 201510588932 A CN201510588932 A CN 201510588932A CN 106021251 A CN106021251 A CN 106021251A
Authority
CN
China
Prior art keywords
semantic
retrieval
image
background knowledge
hierarchical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510588932.7A
Other languages
English (en)
Inventor
张树坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vision Network (beijing) Technology Co Ltd
Original Assignee
Vision Network (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vision Network (beijing) Technology Co Ltd filed Critical Vision Network (beijing) Technology Co Ltd
Priority to CN201510588932.7A priority Critical patent/CN106021251A/zh
Publication of CN106021251A publication Critical patent/CN106021251A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了信息检索技术领域中的一种基于背景知识的层次语义模型图像检索方法。其步骤主要包括：利用FCA方法将通用领域的背景知识构建为概念格模型；提取图像包含颜色信息的SIFT特征来构造图像库的特征词汇树，生成描述图像视觉信息的视觉词汇；利用Bayesian决策理论实现视觉词汇到语义主题信息的映射，构造层次语义模型；完成基于内容的语义图像检索算法，输出检索关键词；分析作为检索属性的搜索关键词与原有形式背景属性集的关系；利用概念格结构完成基于检索属性集的语义检索。本发明通过基于背景知识的层次语义模型图像检索方法，能够确保检索结果满足用户的检索要求。

Description

一种基于背景知识的层次语义模型图像检索方法
技术领域
本发明属于信息检索技术领域，涉及一种图像检索的方法，具体涉及一种基于背景知识的层次语义模型图像检索方法。
背景技术
随着互联网的快速发展，网络的信息量越来越大，如何从海量数据中检索到用户真正需要的信息成为信息检索的关键任务。应用广泛的信息检索是目前信息科学的一个研究热点，各种方法技术不断涌现。信息检索的研究方法大体上可以分为基于语法的检索和基于内容的检索两个方面；而现有图像检索技术中，由于其使用图像纹理、颜色和形状等低层特征作为索引来对图像进行检索，而图像低层特征表达出的信息与用户对这些特征图像理解的含义存在不一致性，即语义鸿沟，所以检索效果往往不能满足用户的需求。
如果检索过程中能够考虑图像所包含的图像高层语义信息，加入用户对图像内容的理解，则会是一种更贴近用户理解的图像检索。然而，目前语义检索中语义映射关系大多是通过人工标注建立，对于待检索图像中的语义信息难以获得较好的映射，从而影响检索效果的提升。
本发明结合上述背景技术中提到的问题以及信息检索领域的信息发展趋势和需求，提出一种基于背景知识的层次语义模型图像检索方法。本方法综合了语法相似度和语义相似度两方面因素，且利用词汇树将图像特征与人工标注的语义特征进行关联，以实现检索过程中的自动语义映射；实现高层语义映射的自动修正，以获得更好的检索效果，得到满足用户的更为准确的检索结果，减少用户的检索负担。
发明内容
为了实现上述目的，本发明提出的技术方案是一种基于背景知识的层次语义模型图像检索方法，其特征在于，包括以下步骤：
利用FCA方法将通用领域的背景知识构建为概念格模型；
提取图像包含颜色信息的SIFT特征来构造图像库的特征词汇树，生成描述图像视觉信息的视觉词汇；
利用Bayesian决策理论实现视觉词汇到语义主题信息的映射，构造层次语义模型；
完成基于内容的语义图像检索算法，输出检索关键词；
分析搜索关键词与原有形式背景属性集的关系；
利用概念格结构完成基于检索属性集的语义检索。
进一步地，其特征包括：采用二维表表示通用领域知识的形式背景，利用FCA方法构建形式背景的概念格结构模型，得到形式背景属性集和形式背景对象集。
进一步地，其特征包括：构建词汇树的方法包括：
设定聚类个数K，树的深度P，对特征集合进行分层聚类，第一层获得K个聚类，作为词汇树的K个子节点，计算出每个子节点的中心向量；对每个子节点分别进行聚类，每一子节点生成K个下一层的子节点，并计算出每个子节点的中心向量；不断重复直到树的深度达到预设值P，获得SIFT词汇树；其中，K取5-10的整数，P取3-6的整数。
进一步地，其特征包括：通过计算每个图片与词汇树的每个叶节度的相关度，完成图片与词汇树的关联。
进一步地，其特征包括：设定图像库的语义主题信息集，先采用人工标注的方法将图像库中的图片分类至语义主题信息集中的各语义主题信息；再利用Bayesian统计决策理论实现视觉词汇层到语义信息层的映射。
进一步地，其特征包括：将搜索关键词作为检索属性，分析其与原有形式背景属性集的关系，如果所有检索属性属于形式背景属性集，则直接基于概念格模型进行语义检索；否则，则对领域知识的形式背景进行动态重构；进一步通过相似度计算从属性集中找出与每一个检索属性最为相似的对应替换属性，更新检索属性集。
本发明综合了语法相似度和语义相似度两方面因素，且利用词汇树将图像特征与人工标注的语义特征进行关联，以实现检索过程中的自动语义映射；实现高层语义映射的自动修正，以获得更好的检索效果，得到满足用户的更为准确的检索结果，减少用户的检索负担。

Claims (6)

1.一种基于背景知识的层次语义模型图像检索方法，其特征在于，包括以下步骤：
利用FCA方法将通用领域的背景知识构建为概念格模型；
提取图像包含颜色信息的SIFT特征来构造图像库的特征词汇树，生成描述图像视觉信息的视觉词汇；
利用Bayesian决策理论实现视觉词汇到语义主题信息的映射，构造层次语义模型；
完成基于内容的语义图像检索算法，输出检索关键词；
分析搜索关键词与原有形式背景属性集的关系；
利用概念格结构完成基于检索属性集的语义检索。
2.根据权利要求1所述的一种基于背景知识的层次语义模型图像检索方法，其特征在于，采用二维表表示通用领域知识的形式背景，利用FCA方法构建形式背景的概念格结构模型，得到形式背景属性集和形式背景对象集。
3.根据权利要求1所述的一种基于背景知识的层次语义模型图像检索方法，其特征在于，其构建词汇树的方法包括：
设定聚类个数K，树的深度P，对特征集合进行分层聚类，第一层获得K个聚类，作为词汇树的K个子节点，计算出每个子节点的中心向量；对每个子节点分别进行聚类，每一子节点生成K个下一层的子节点，并计算出每个子节点的中心向量；不断重复直到树的深度达到预设值P，获得SIFT词汇树；其中，K取5-10的整数，P取3-6的整数。
4.根据权利要求1所述的一种基于背景知识的层次语义模型图像检索方法，其特征在于，通过计算每个图片与词汇树的每个叶节度的相关度，完成图片与词汇树的关联。
5.根据权利要求1所述的一种基于背景知识的层次语义模型图像检索方法，其特征在于，设定图像库的语义主题信息集，先采用人工标注的方法将图像库中的图片分类至语义主题信息集中的各语义主题信息；再利用Bayesian统计决策理论实现视觉词汇层到语义信息层的映射。
6.根据权利要求1所述的一种基于背景知识的层次语义模型图像检索方法，其特征在于，将搜索关键词作为检索属性，分析其与原有形式背景属性集的关系，如果所有检索属性属于形式背景属性集，则直接基于概念格模型进行语义检索；否则，则对领域知识的形式背景进行动态重构；进一步通过相似度计算从属性集中找出与每一个检索属性最为相似的对应替换属性，更新检索属性集。
CN201510588932.7A 2015-09-16 2015-09-16 一种基于背景知识的层次语义模型图像检索方法 Pending CN106021251A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510588932.7A CN106021251A (zh) 2015-09-16 2015-09-16 一种基于背景知识的层次语义模型图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510588932.7A CN106021251A (zh) 2015-09-16 2015-09-16 一种基于背景知识的层次语义模型图像检索方法

Publications (1)

Publication Number Publication Date
CN106021251A true CN106021251A (zh) 2016-10-12

Family

ID=57082388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510588932.7A Pending CN106021251A (zh) 2015-09-16 2015-09-16 一种基于背景知识的层次语义模型图像检索方法

Country Status (1)

Country Link
CN (1) CN106021251A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776856A (zh) * 2016-11-29 2017-05-31 江南大学 一种融合颜色特征与词汇树的车辆图像检索方法
CN108260155A (zh) * 2018-01-05 2018-07-06 西安电子科技大学 一种基于时空相似度的无线传感网异常检测方法
CN111079840A (zh) * 2019-12-17 2020-04-28 太原科技大学 基于卷积神经网络和概念格的图像语义完备标注方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020283A (zh) * 2012-12-27 2013-04-03 华北电力大学 一种基于背景知识的动态重构的语义检索方法
CN103020111A (zh) * 2012-10-29 2013-04-03 苏州大学 基于词汇树层次语义模型的图像检索方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020111A (zh) * 2012-10-29 2013-04-03 苏州大学 基于词汇树层次语义模型的图像检索方法
CN103020283A (zh) * 2012-12-27 2013-04-03 华北电力大学 一种基于背景知识的动态重构的语义检索方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776856A (zh) * 2016-11-29 2017-05-31 江南大学 一种融合颜色特征与词汇树的车辆图像检索方法
CN106776856B (zh) * 2016-11-29 2020-07-03 江南大学 一种融合颜色特征与词汇树的车辆图像检索方法
CN108260155A (zh) * 2018-01-05 2018-07-06 西安电子科技大学 一种基于时空相似度的无线传感网异常检测方法
CN108260155B (zh) * 2018-01-05 2021-05-07 西安电子科技大学 一种基于时空相似度的无线传感网异常检测方法
CN111079840A (zh) * 2019-12-17 2020-04-28 太原科技大学 基于卷积神经网络和概念格的图像语义完备标注方法
CN111079840B (zh) * 2019-12-17 2022-07-01 太原科技大学 基于卷积神经网络和概念格的图像语义完备标注方法

Similar Documents

Publication Publication Date Title
CN108897857B (zh) 面向领域的中文文本主题句生成方法
CN109635291B (zh) 一种基于协同训练的融合评分信息和物品内容的推荐方法
CN104933113B (zh) 一种基于语义理解的表情输入方法和装置
CN110162591B (zh) 一种面向数字教育资源的实体对齐方法及系统
CN104239513B (zh) 一种面向领域数据的语义检索方法
CN104866557B (zh) 一种基于建构学习理论的个性化即时学习支持系统与方法
CN101620615B (zh) 一种基于决策树学习的自动图像标注与翻译的方法
CN103116657B (zh) 一种网络教学资源的个性化搜索方法
CN107515934B (zh) 一种基于大数据的电影语义个性化标签优化方法
CN107038184B (zh) 一种基于分层隐变量模型的新闻推荐方法
CN107818183B (zh) 一种基于特征相似性度量的三阶段组合党建视频推荐方法
CN103744887B (zh) 一种用于人物搜索的方法、装置和计算机设备
CN113673943B (zh) 一种基于履历大数据的人员任免辅助决策方法及系统
CN114048340B (zh) 一种层级融合的组合查询图像检索方法
CN113239159B (zh) 基于关系推理网络的视频和文本的跨模态检索方法
CN109408578A (zh) 一种针对异构环境监测数据融合方法
CN106021251A (zh) 一种基于背景知识的层次语义模型图像检索方法
CN110309360A (zh) 一种短视频的话题标签个性化推荐方法及系统
CN107016566A (zh) 基于本体的用户模型构建方法
CN105608118B (zh) 基于用户交互信息的结果推送方法
CN105354339B (zh) 基于上下文的内容个性化提供方法
CN105205075B (zh) 基于协同自扩展的命名实体集合扩展方法及查询推荐方法
CN109460467B (zh) 一种网络信息分类体系构建方法
Di Gregorio et al. Overview of land-cover classifications and their interoperability
CN107491814B (zh) 一种用于知识推送的过程案例分层知识模型构建方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161012