CN109710776B - 相册的知识图谱的构建方法 - Google Patents

相册的知识图谱的构建方法 Download PDF

Info

Publication number
CN109710776B
CN109710776B CN201811637485.XA CN201811637485A CN109710776B CN 109710776 B CN109710776 B CN 109710776B CN 201811637485 A CN201811637485 A CN 201811637485A CN 109710776 B CN109710776 B CN 109710776B
Authority
CN
China
Prior art keywords
picture
knowledge graph
knowledge
nodes
album
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811637485.XA
Other languages
English (en)
Other versions
CN109710776A (zh
Inventor
李向阳
张兰
郑达人
韩风
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201811637485.XA priority Critical patent/CN109710776B/zh
Publication of CN109710776A publication Critical patent/CN109710776A/zh
Application granted granted Critical
Publication of CN109710776B publication Critical patent/CN109710776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种相册的知识图谱的构建方法，包括：步骤1，获取相册内各图片标签：自动为相册中各图片产生关键词标签；步骤2，构建每张图片的知识图谱：将所构建图片的图片节点和关键词标签节点加入图谱中，并在关键词标签节点中两两添加一条边表示它们的关联关系；然后向语义知识网络查询，获取从关键词标签到根结点关键词的所有上下位关系路径，将所有关系路径合并公共节点和公共边后加入图谱；步骤3，合并所有图片的知识图谱：对步骤2创建的每张图片的知识图谱合并在一起，合并所有公共节点和公共边，更新公共节点和公共边属性值，得到整个相册的知识图谱。能将相册中所有图片标签的语义关系用知识图谱表达，能提升对图片操作的快捷性。

Description

相册的知识图谱的构建方法
技术领域
本发明涉及人工智能的图片管理领域，尤其涉及一种对用户相册的知识图谱的构建方法。
背景技术
随着智能移动设备(如智能手机、平板电脑等)的发展，越来越多的图片由用户的移动设备所拍摄，用户图片数量增多相册(指)大小也随之增大。这些图片中含有大量内容信息，例如一群人在湖边或者一只猫在喝水等。目前，图片内容信息可以通过人工添加标签注释的方式提取，但这样的劳动开销巨大，对用户非常不友好；对图片内容信息也可自动提取，是通过提取图片特征对图片分类或标记注释，但仅仅是对单个图片提取出标记注释信息，但并未构建出这些图片的不同注释信息之间的语义关系。这使得用户无法有效利用图片的不同注释信息之间的语义关系，对相册中图片实现高效操作。
发明内容
基于现有技术所存在的问题，本发明的目的是提供一种相册知识图谱的构建方法，能为相册中的所有图片构建知识图谱，以知识图谱对相册进行表达，解决现有相册的图片标签因无关联，无法实现对图片进行高效操作的问题。
本发明的目的是通过以下技术方案实现的：
本发明实施方式提供一种相册的知识图谱的构建方法，包括：
步骤1，获取相册内各图片的标签：通过识别相册中各图片内容自动为各图片产生对应的关键词标签；
步骤2，构建相册的每一张图片的知识图谱形成总知识图谱：以所构建的图片作为图片节点，所构建的图片对应的关键词标签作为词节点，将所述图片节点和所述词节点用一条边连接起来形成该图片的知识图谱；然后通过语义知识网络，将该图片的知识图谱中的所有关键词标签添加到语义网络的语义根节点的上下位关系路径上，其中的每一个节点为一个关键词标签；当构建完所有图片的知识图谱形成总知识图谱；
步骤3，合并所有图片的知识图谱：将所述步骤2创建的总知识图谱中的所有公共节点和公共边合并，并更新所有公共节点和公共边的属性值，最后得到整个相册的知识图谱。
由上述本发明提供的技术方案可以看出，本发明实施例提供的相册的知识图谱的构建方法，其有益效果为：
通过将相册中的所有图片的标签信息以及不同类型标签的语义关系通过知识图谱进行表达，使对相册的灵活、多层次的语义搜索与浏览成为可能。通过知识图谱不仅可以得知图片中识别出来的对应的标签，而且可以得知标签之间的语义上下位关系，还可以获得不同标签之间的关联度，所有的这些关系跟标签组成一个完整的相册知识图谱。该方法构建的知识图谱不仅对相册内容有更完整更系统的表达，还提供一定程度的隐私保护；图谱构建时间快且存储空间小，可广泛应用于各类相册应用，为这些应用提供可靠的知识来源和信息基础。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的相册的知识图谱的构建方法的流程。
具体实施方式
下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
如图1所示，本发明实施例提供一种相册的知识图谱的构建方法，能将相册中的所有图片的标签信息以及不同类型标签的语义关系通过知识图谱进行表达，包括：
步骤1，获取相册内各图片的标签：通过识别相册中各图片内容自动为各图片产生对应的关键词标签；
步骤2，构建相册的每一张图片的知识图谱形成总知识图谱：以所构建的图片作为图片节点，所构建的图片对应的关键词标签作为词节点，将所述图片节点和所述词节点用一条边连接起来形成该图片的知识图谱；然后通过语义知识网络，将该图片的知识图谱中的所有关键词标签添加到语义网络的语义根节点的上下位关系路径上，其中路径上的每一个节点为一个词节点；当构建完所有图片的知识图谱形成总知识图谱；
步骤3，合并所有图片的知识图谱：将所述步骤2创建的总知识图谱中的所有公共节点和公共边合并，并更新所有公共节点和公共边的属性值，最后得到整个相册的知识图谱。
上述方法中，知识图谱是指由图片节点，词节点和节点之间的边构成的图。
上述方法中，图片识别采用现有图片识别方法，如深度学习模型等。
上述方法还包括：标记沉默节点：将所述步骤3得到的整个相册的知识图谱中不属于图片的关键词标签且只有一个直接下位词节点的标签节点标记为沉默节点
上述方法还包括：用下位词扩展知识图谱：对于所述步骤1得到的所有图片的关键词标签，向语义知识网络查询获取对应标签的全部下位词，利用词频统计过滤掉不常用的下位词，将过滤后得到的常用下位词作为标签节点加入总知识图谱，并与对应的关键词标签节点以直接上下位关系边连接。
上述构建相册的知识图谱中，关键词标签的关键词为：物体、动作、颜色各词性词语中的任一种。上述关键词标签的关键词为：各词性词语中的任一种。优选的，所述各词性词语包括：物体、动作、颜色、地点、环境、天气、动物和人。但不限于上述各词性词语，其他可用的均可作为关键词标签；只要能描述图片的词，无论是名词，动词，还是形容词都可以作为关键词，如物体、动作、颜色、地点、环境、天气、动物和人等。
本发明的方法，利用图片识别技术和语义知识网络，对整个相册的图片进行了完整的语义表达，为各类相册应用提供可靠的知识来源和信息基础，使对相册的灵活、多层次的语义搜索与浏览成为可能。通过知识图谱不仅可以得知图片中识别出来的对应的标签，而且可以得知标签之间的语义上下位关系，例如猫-食肉动物-动物等层次关系，还可以获得不同标签之间的关联度，所有的这些关系跟标签组成一个完整的相册知识图谱。该构建方法的优势在于所提出的知识图谱不仅对相册内容有更完整更系统的表达，还提供一定程度的隐私保护；图谱构建时间快且存储空间小；该方法能广泛应用于各类智能终端的相册应用中，为这些应用提供可靠的知识来源和信息基础，应用前景广阔。
下面对本发明实施例具体作进一步地详细描述。
本发明实施例提供一种对用户相册的知识图谱构建方法，该方法包括以下步骤：
步骤1，获取用户图片标签：通过模型自动对相册中所有图片产生关键词标签，关键词标签可以包括物体，动作，颜色等各词性词语；
步骤2，对每张图片构建知识图谱：对一张图片和由步骤1得到的对应关键词标签，首先把图片节点和标签节点加入图谱中，并在这些标签节点中两两添加一条边表示它们的关联关系；然后向语义知识网络查询询问从这些关键词标签到语义根结点的所有上下位关系路径，并把这些路径(包括路径里的标签和直接上下位关系)经过合并公共节点和公共边之后形成总知识图谱；
步骤3，合并所有图片的知识图谱：把步骤2创建每张图片的知识图谱形成的总知识图谱进行合并，对其中的所有公共节点和公共边进行合并，同时更新公共节点和公共边的属性值，最后得到整个相册的知识图谱。
进一步的，该方法还包括：标记沉默节点：把步骤3得到的相册知识图谱中不属于图片关键词标签且只有一个直接下位词节点的标签节点标记为沉默节点。
进一步的，该方法还包括：用下位词扩展知识图谱：对于步骤1得到的所有图片的关键词标签，向语义知识网络查询询问这些对应标签的全部下位词，利用词频统计过滤这些下位词，将过滤后的下位词作为标签节点加入图谱并跟对应的关键词标签节点以直接上下位关系边连接。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种相册的知识图谱的构建方法，其特征在于，包括：
步骤1，获取相册内各图片的标签：通过识别相册中各图片内容自动为各图片产生对应的关键词标签；
步骤2，构建相册的每一张图片的知识图谱形成总知识图谱：以所构建的图片作为图片节点，所构建的图片对应的关键词标签作为词节点，将所述图片节点和所述词节点用一条边连接起来形成该图片的知识图谱；然后通过语义知识网络，将该图片的知识图谱中的所有关键词标签添加到语义网络的语义根节点的上下位关系路径上，其中的每一个节点为一个关键词标签；当构建完所有图片的知识图谱形成总知识图谱；
步骤3，合并所有图片的知识图谱：将所述步骤2创建的总知识图谱中的所有公共节点和公共边合并，并更新所有公共节点和公共边的属性值，最后得到整个相册的知识图谱。
2.根据权利要求1所述的相册的知识图谱的构建方法，其特征在于，所述方法还包括：
标记沉默节点：将所述步骤3得到的整个相册的知识图谱中不属于图片的关键词标签且只有一个直接下位词节点的标签节点标记为沉默节点。
3.根据权利要求1或2所述的相册的知识图谱的构建方法，其特征在于，所述方法还包括：
用下位词扩展知识图谱：对于所述步骤1得到的所有图片的关键词标签，向语义知识网络查询获取对应标签的全部下位词，利用词频统计过滤掉不常用的下位词，将过滤后得到的常用下位词作为标签节点加入总知识图谱，并与对应的关键词标签节点以直接上下位关系边连接。
4.根据权利要求1或2所述的相册的知识图谱的构建方法，其特征在于，所述关键词标签的关键词为：各词性词语中的任一种。
5.根据权利要求4所述的相册的知识图谱的构建方法，其特征在于，所述各词性词语包括：
物体、动作、颜色、地点、环境、天气、动物和人。
CN201811637485.XA 2018-12-29 2018-12-29 相册的知识图谱的构建方法 Active CN109710776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811637485.XA CN109710776B (zh) 2018-12-29 2018-12-29 相册的知识图谱的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811637485.XA CN109710776B (zh) 2018-12-29 2018-12-29 相册的知识图谱的构建方法

Publications (2)

Publication Number Publication Date
CN109710776A CN109710776A (zh) 2019-05-03
CN109710776B true CN109710776B (zh) 2022-10-28

Family

ID=66259782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811637485.XA Active CN109710776B (zh) 2018-12-29 2018-12-29 相册的知识图谱的构建方法

Country Status (1)

Country Link
CN (1) CN109710776B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110413794A (zh) * 2019-06-19 2019-11-05 重庆市重报大数据研究院 一种文化图谱生成方法
CN111177399B (zh) * 2019-12-04 2023-06-16 华瑞新智科技（北京）有限公司 一种知识图谱构建方法和装置
CN111324643B (zh) * 2020-03-30 2023-08-29 北京百度网讯科技有限公司 知识图谱的生成方法、关系挖掘方法、装置、设备和介质
CN111625633A (zh) * 2020-05-22 2020-09-04 广东飞企互联科技股份有限公司 基于知识图谱的企业制度问答意图识别方法及装置
CN112069326B (zh) * 2020-09-03 2024-08-06 Oppo广东移动通信有限公司 知识图谱的构建方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550190A (zh) * 2015-06-26 2016-05-04 许昌学院 面向知识图谱的跨媒体检索系统
CN107748754A (zh) * 2017-09-15 2018-03-02 广州唯品会研究院有限公司 一种知识图谱完善方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180366013A1 (en) * 2014-08-28 2018-12-20 Ideaphora India Private Limited System and method for providing an interactive visual learning environment for creation, presentation, sharing, organizing and analysis of knowledge on subject matter

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550190A (zh) * 2015-06-26 2016-05-04 许昌学院 面向知识图谱的跨媒体检索系统
CN107748754A (zh) * 2017-09-15 2018-03-02 广州唯品会研究院有限公司 一种知识图谱完善方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于实体对齐的知识图谱构建研究;贾丙静等;《佳木斯大学学报(自然科学版)》;20180515(第03期);全文 *
电力领域语义搜索系统的构建方法;姬源等;《计算机系统应用》;20160415(第04期);全文 *

Also Published As

Publication number Publication date
CN109710776A (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
CN109710776B (zh) 相册的知识图谱的构建方法
CN107153641B (zh) 评论信息确定方法、装置、服务器及存储介质
Jain et al. Content without context is meaningless
Fu et al. Learning multimodal latent attributes
Gaikwad et al. Text mining methods and techniques
CN106934032B (zh) 一种城市知识图谱构建方法及装置
CN109684500B (zh) 基于知识图谱的图片操作方法
CN111694965A (zh) 一种基于多模态知识图谱的图像场景检索系统及方法
CN109918506A (zh) 一种文本分类方法及装置
CN109344298A (zh) 一种将非结构化数据转化为结构化数据的方法及装置
CN109960722B (zh) 一种信息处理方法及装置
US10467290B1 (en) Generating and refining a knowledge graph
CN112015908A (zh) 知识图谱的构建方法及系统、查询方法及系统
Zeng et al. Mobile visual search model for Dunhuang murals in the smart library
CN116977992A (zh) 文本信息识别方法、装置、计算机设备和存储介质
CN110363206A (zh) 数据对象的聚类、数据处理及数据识别方法
CN115033661A (zh) 一种基于垂直领域知识图谱的自然语言语义理解方法和装置
Choi et al. Multimodal location estimation of consumer media: Dealing with sparse training data
CN112214238B (zh) 一种基于智能化应用场景的物联网业务系统配置方法
CN116051192A (zh) 处理数据的方法和装置
CN113505233A (zh) 一种基于开放域的生态文明地理知识的抽取方法
Caramiaux AI with Museums and Cultural Heritage
CN110990451B (zh) 基于句子嵌入的数据挖掘方法、装置、设备及存储装置
CN115168609A (zh) 一种文本匹配方法、装置、计算机设备和存储介质
Ballatore Semantic challenges for volunteered geographic information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant