CN108171213A - 一种适用图文知识图谱的关系抽取方法 - Google Patents

一种适用图文知识图谱的关系抽取方法 Download PDF

Info

Publication number
CN108171213A
CN108171213A CN201810058398.2A CN201810058398A CN108171213A CN 108171213 A CN108171213 A CN 108171213A CN 201810058398 A CN201810058398 A CN 201810058398A CN 108171213 A CN108171213 A CN 108171213A
Authority
CN
China
Prior art keywords
image
feature
visual
relationship
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810058398.2A
Other languages
English (en)
Inventor
李思
李智超
曾景城
高升
徐雅静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201810058398.2A priority Critical patent/CN108171213A/zh
Publication of CN108171213A publication Critical patent/CN108171213A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种适用图文知识图谱的关系抽取方法及系统，属于信息处理领域。该方法的特征包括：首先物体检测系统得到物体集合以及视觉短语特征，再同时分别经过视觉短语系统和翻译嵌入系统得到图像视觉特征和图像语义特征，最终经过分类器得到图像中的关系预测。本发明通过结合知识图谱与图像信息，解决图文知识图谱的关系抽取问题。

Description

一种适用图文知识图谱的关系抽取方法
技术领域
本发明涉及信息处理领域，特别涉及图像目标检测以及知识图谱中的关系抽取算法。
背景技术
图像目标检测目的是在于检测图像中包含的所有物体，基本做法是将图像划分区域后再对每个区域进行图像分类。
知识图谱中的一个关键技术就是关系抽取算法。目前主要使用神经网络来解决关系抽取问题，将词向量和位置向量进行联合训练。然而目前已有的关系抽取全部是应用于文字信息中，本发明通过融合知识图谱与图像特征的信息，解决图文知识图谱的关系抽取问题。
发明内容
为了解决现有的技术问题，本发明提供了一种适用图文知识图谱的关系抽取技术方案。方案如下：
步骤一，我们将图像输入物体检测系统得到物体集合以及视觉短语特征。
步骤二，我们使用视觉短语系统得到图像所含物体关系的视觉短语。
步骤三，我们使用翻译嵌入系统得到图像语义特征，通过计算向量预测出关系。
步骤四，通过融合视觉短语系统以及翻译嵌入系统的输出得到图像中关系的最终预测。
附图说明
图1是本发明提供的图文知识图谱关系抽取的网络结构图。
具体实施方式
接下来将对本发明的实施方法作更详细的描述。
图1是本发明提供的图文知识图谱关系抽取的系统结构图，其中包括：
步骤S1：物体检测系统得到图像中的物体集合以及视觉短语特征。
步骤S2：视觉短语系统得到图像视觉特征。
步骤S3：翻译嵌入系统得到图像语义特征。
步骤S4：融合视觉短语系统以及翻译嵌入系统的输出，使用分类器得到图像中的对象关系。
下面将对每个步骤进行具体的说明：
步骤S1：输入图像进入物体检测系统得到图像中检测到的所有物体集合以及视觉短语特征I。
物体检测系统中我们使用VGG-16为底座的Faster-RCNN网络来提取图片中的物体。图像首先经过神经卷积网络得到特征图，然后经过RPN(region proposal network)网络得到感兴趣的区域，将各个区域图像进行分类，通过统计得到对可能的物体分类从而得到图像中包含的所有物体。将物体经过神经网络的特征输出作为视觉短语特征，得到下一级的输入。
步骤S2：输入物体集合中的实体s和o以及视觉短语特征I，经过视觉短语系统得到包含实体关系的图像视觉特征。使用预先对文本学习到的下先验知识，将输入的实体s和o向量化，并和从图片中提取的特征I映射到关系空间后串联，计算后输出视觉短语系统的关系得分。
在视觉短语系统中，我们使用文本信息来帮助模型从图像中找到应该注意的物体。我们使用视觉短语来提供更完备的关系信息，视觉短语中包含两个物体的共同特征。我们通过计算两个实体名称词向量word2vec来帮助寻找两个物体之间的相互关系。视觉短语的得分定义为：
Sp,s,o＝δ(Up(word2vec(o)⊙word2vec(s)+UII))
其中δ是激活函数，s和o为检测出的两个实体名称，Up和UI是词向量和视觉特征的映射矩阵，I表示物体检测模块提供的视觉短语特征。
步骤S3：输入物体集合中的实体s和o以及视觉短语特征I，经过翻译嵌入系统得到图像语义特征。
在翻译嵌入系统中，我们将知识表示中的TransR引入视觉领。我们使用h，r和t分别表示实体，关系和客体。在视觉关系抽取中，我们从图片中抽取特征实体的特征xo,xs,系统会学习一个关系向量的表示r以及映射矩阵Us,Uo。我们将图像特征转换后的实体定义为：
h＝δ(Usxs⊙word2vec(s)),t＝δ(Uoxo⊙word2vec(o))
输入物体检测系统的输出实体s，将其向量化后与图片中抽取的特征映射串联得到实体h。
对于每个关系r我们设置一个独立的映射矩阵Mr，通过映射矩阵将实体向量映射到关系空间之中。在r的关系空间中，我们将实体定义为：
hr,s＝hMr,tr,o＝tMr
图像中的实体视觉特征经过量化并映射到相应的关系空间，通过计算h和t的差值即约等于关系向量，从而预测出实体的关系。有关得分函数定义为：
Sr,s,o＝r(hr,s-tr,o)
步骤S4：输入视觉短语系统的输出Sp,s,o和翻译嵌入系统的的输出Sr,s,o，经过分类器得到最终的关系预测Sr,p。
融合视觉短语系统以及翻译嵌入系统的输出，也就是使用分类器预测关系的概率。分类器的输出就是关系预测的最终得分。我们定义预测关系的得分为：
Sr,p＝softmax(W(Sr,s,o+Sp,s,o))
以上结合附图对所提出的图文知识图谱中的关系抽取系统的具体实施方式进行了阐述。通过以上实施方式的描述，所属领域的一般技术人员可以清楚的了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现，但前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现，该软件产品存储在一个存储介质中，包括若干指令用以使得一台或多台计算机设备执行本发明各个实施例所述的方法。依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。以上所述的本发明实施方式，并不构成对发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种适用图文知识图谱的关系抽取方法，其特征在于，所诉的方法包含以下的结构和步骤：
(1)物体检测系统得到物体集合以及视觉短语特征：对输入的图像进行处理，得到图像中所有物体集合，并且将物体经过神经网络的特征输出作以及视觉短语特征；
(2)视觉短语系统得到图像视觉特征：对步骤(1)得到的物体集合以及视觉短语特征进行处理，得到包含物体关系的视觉短语，计算得到预测关系的得分；
(3)翻译嵌入系统得到图像语义特征：对步骤(1)得到的物体集合以及视觉短语特征使用词向量进行处理，并且映射到相应的关系空间中得到图像中的语义信息，计算得到语义的关系得分；
(4)使用分类器得到图像中的对象关系：对步骤(2)和步骤(3)的输出进行处理，输入分类器得到图像中的关系。
2.如权利要求1所述的方法，其特征在于，所述步骤(1)具体包括：
(1.1)将图像输入网络得到图像特征图；
(1.2)使用RPN(region proposal network)网络处理特征图，得到图像感兴趣的区域；
(1.3)将图像感兴趣的区域输入神经卷积网络，得到每个区域的分类；
(1.4)综合每个区域的分类，检测到图像中所有物体的信息；
(1.5)将物体经过神经网络的特征输出作为视觉短语特征；
(1.6)输出图像中所有物体的集合以及图像视觉特征。
3.如权利要求1所述的方法，其特征在于，所述步骤(2)具体包括：
(2.1)输入图像视觉特征；
(2.2)计算图像视觉短语中实体名称的词向量；
(2.3)计算两个实体名称的词向量的关系得分；
(2.4)输出视觉短语中的关系得分。
4.如权利要求1所述的方法，其特征在于，所述步骤(3)具体包括：
(3.1)输入步骤(1)检测到的实体；
(3.2)使用向量表示图像中的实体以及预先训练好的关系；
(3.3)计算图像中实体的词向量；
(3.4)通过映射矩阵将实体向量映射到关系空间之中；
(3.5)计算实体向量在关系空间的差值作为关系得分；
(3.6)输出语义信息的关系得分。
5.如权利要求1所述的方法，其特征在于，所述步骤(4)具体包括：
(4.1)将步骤(2)和步骤(3)输出的关系得分输入系统；
(4.2)对两个得分进行综合处理，输入分类器得到图像中的对象关系。
CN201810058398.2A 2018-01-22 2018-01-22 一种适用图文知识图谱的关系抽取方法 Pending CN108171213A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810058398.2A CN108171213A (zh) 2018-01-22 2018-01-22 一种适用图文知识图谱的关系抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810058398.2A CN108171213A (zh) 2018-01-22 2018-01-22 一种适用图文知识图谱的关系抽取方法

Publications (1)

Publication Number Publication Date
CN108171213A true CN108171213A (zh) 2018-06-15

Family

ID=62515102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810058398.2A Pending CN108171213A (zh) 2018-01-22 2018-01-22 一种适用图文知识图谱的关系抽取方法

Country Status (1)

Country Link
CN (1) CN108171213A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918513A (zh) * 2019-03-12 2019-06-21 北京百度网讯科技有限公司 图像处理方法、装置、服务器及存储介质
CN109933788A (zh) * 2019-02-14 2019-06-25 北京百度网讯科技有限公司 类型确定方法、装置、设备和介质
CN110210387A (zh) * 2019-05-31 2019-09-06 华北电力大学（保定） 基于知识图谱的绝缘子目标检测方法、系统、装置
CN111126049A (zh) * 2019-12-14 2020-05-08 中国科学院深圳先进技术研究院 对象关系预测方法、装置、终端设备及可读存储介质
CN111143672A (zh) * 2019-12-16 2020-05-12 华南理工大学 基于知识图谱的专业特长学者推荐方法
CN111209351A (zh) * 2020-01-02 2020-05-29 北京沃东天骏信息技术有限公司 对象关系预测、对象推荐方法及装置、电子设备、介质
CN113222771A (zh) * 2020-07-10 2021-08-06 杭州海康威视数字技术股份有限公司 一种基于知识图谱确定目标群体的方法、装置及电子设备
CN113343982A (zh) * 2021-06-16 2021-09-03 北京百度网讯科技有限公司 多模态特征融合的实体关系提取方法、装置和设备
CN114064926A (zh) * 2021-11-24 2022-02-18 国家电网有限公司大数据中心 多模态电力知识图谱构建方法、装置、设备及存储介质
CN115861715A (zh) * 2023-02-15 2023-03-28 创意信息技术股份有限公司 基于知识表示增强的图像目标关系识别算法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488724A (zh) * 2013-09-16 2014-01-01 复旦大学 一种面向图书的阅读领域知识图谱构建方法
CN107391673A (zh) * 2017-07-21 2017-11-24 深圳狗尾草智能科技有限公司 携带时间戳的中文通用知识图谱的生成方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488724A (zh) * 2013-09-16 2014-01-01 复旦大学 一种面向图书的阅读领域知识图谱构建方法
CN107391673A (zh) * 2017-07-21 2017-11-24 深圳狗尾草智能科技有限公司 携带时间戳的中文通用知识图谱的生成方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HANWANG ZHANG: "Visual Translation Embedding Network for Visual Relation Detection", 《IEEE CONFERENCE ON COMPUTER VISION & PATTERN RECOGNITION》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933788A (zh) * 2019-02-14 2019-06-25 北京百度网讯科技有限公司 类型确定方法、装置、设备和介质
CN109933788B (zh) * 2019-02-14 2023-05-23 北京百度网讯科技有限公司 类型确定方法、装置、设备和介质
US11475588B2 (en) 2019-03-12 2022-10-18 Beijing Baidu Netcom Science And Technology Co., Ltd. Image processing method and device for processing image, server and storage medium
CN109918513A (zh) * 2019-03-12 2019-06-21 北京百度网讯科技有限公司 图像处理方法、装置、服务器及存储介质
CN110210387A (zh) * 2019-05-31 2019-09-06 华北电力大学（保定） 基于知识图谱的绝缘子目标检测方法、系统、装置
CN111126049A (zh) * 2019-12-14 2020-05-08 中国科学院深圳先进技术研究院 对象关系预测方法、装置、终端设备及可读存储介质
CN111126049B (zh) * 2019-12-14 2023-11-24 中国科学院深圳先进技术研究院 对象关系预测方法、装置、终端设备及可读存储介质
CN111143672A (zh) * 2019-12-16 2020-05-12 华南理工大学 基于知识图谱的专业特长学者推荐方法
CN111143672B (zh) * 2019-12-16 2023-04-28 华南理工大学 基于知识图谱的专业特长学者推荐方法
CN111209351B (zh) * 2020-01-02 2023-08-08 北京沃东天骏信息技术有限公司 对象关系预测、对象推荐方法及装置、电子设备、介质
CN111209351A (zh) * 2020-01-02 2020-05-29 北京沃东天骏信息技术有限公司 对象关系预测、对象推荐方法及装置、电子设备、介质
CN113222771A (zh) * 2020-07-10 2021-08-06 杭州海康威视数字技术股份有限公司 一种基于知识图谱确定目标群体的方法、装置及电子设备
CN113222771B (zh) * 2020-07-10 2023-10-20 杭州海康威视数字技术股份有限公司 一种基于知识图谱确定目标群体的方法、装置及电子设备
CN113343982A (zh) * 2021-06-16 2021-09-03 北京百度网讯科技有限公司 多模态特征融合的实体关系提取方法、装置和设备
CN114064926A (zh) * 2021-11-24 2022-02-18 国家电网有限公司大数据中心 多模态电力知识图谱构建方法、装置、设备及存储介质
CN115861715A (zh) * 2023-02-15 2023-03-28 创意信息技术股份有限公司 基于知识表示增强的图像目标关系识别算法

Similar Documents

Publication Publication Date Title
CN108171213A (zh) 一种适用图文知识图谱的关系抽取方法
Ning et al. CogCompTime: A tool for understanding time in natural language
Jurgens et al. Incorporating dialectal variability for socially equitable language identification
Akmeliawati et al. Real-time Malaysian sign language translation using colour segmentation and neural network
CN113378580B (zh) 文档版面分析方法、模型训练方法、装置和设备
CN110825881A (zh) 一种建立电力知识图谱的方法
CN106650789A (zh) 一种基于深度lstm网络的图像描述生成方法
Zadghorban et al. An algorithm on sign words extraction and recognition of continuous Persian sign language based on motion and shape features of hands
CN106650756A (zh) 基于知识迁移的多模态循环神经网络的图像文本描述方法
CN107729392A (zh) 文本结构化方法、装置、系统和非易失性存储介质
WO2023221328A1 (zh) 一种基于多光谱图像的语义分割方法、装置及存储介质
CN113902964A (zh) 基于关键词感知的多模态注意力视频问答方法与系统
Elpeltagy et al. Multi‐modality‐based Arabic sign language recognition
CN107480136B (zh) 一种应用于电影剧本中情感曲线分析的方法
CN110489554B (zh) 基于位置感知互注意力网络模型的属性级情感分类方法
CN107491729A (zh) 基于余弦相似度激活的卷积神经网络的手写数字识别方法
CN111488732A (zh) 一种变形关键词检测方法、系统及相关设备
CN111666937A (zh) 一种图像中的文本识别方法及系统
Ryumin et al. Towards automatic recognition of sign language gestures using kinect 2.0
CN107016402A (zh) 一种用于智能机器人的人机交互方法及装置
CN105373527B (zh) 一种省略恢复方法及问答系统
Prasad et al. A multimodal classification of noisy hate speech using character level embedding and attention
CN105718935A (zh) 一种适宜于视觉大数据的词频直方图计算方法
Chhajed et al. Messaging and video calling application for specially abled people using hand gesture recognition
CN117152844A (zh) 基于计算机视觉的高完整性工人施工姿态检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180615

WD01 Invention patent application deemed withdrawn after publication