CN114398491A - 一种基于知识图谱的语义分割图像实体关系推理方法 - Google Patents

一种基于知识图谱的语义分割图像实体关系推理方法 Download PDF

Info

Publication number
CN114398491A
CN114398491A CN202111568898.9A CN202111568898A CN114398491A CN 114398491 A CN114398491 A CN 114398491A CN 202111568898 A CN202111568898 A CN 202111568898A CN 114398491 A CN114398491 A CN 114398491A
Authority
CN
China
Prior art keywords
entity
graph
knowledge
relation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111568898.9A
Other languages
English (en)
Inventor
周焕来
张博阳
李玉琳
李家伟
孙靖哲
高源�
刘博文
贾海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Quantum Matrix Technology Co ltd
Original Assignee
Chengdu Quantum Matrix Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Quantum Matrix Technology Co ltd filed Critical Chengdu Quantum Matrix Technology Co ltd
Priority to CN202111568898.9A priority Critical patent/CN114398491A/zh
Publication of CN114398491A publication Critical patent/CN114398491A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于知识图谱的语义分割图像实体关系推理方法，该方法包括：1)通过FCN网络进行改进，实现对视觉图像语义分割，得到知识图谱中的实体特征(节点)；2)通过一种视觉外观模型对视觉图像特征实体间关系进行检测，得到节点间的关系特征；3)对稀疏知识图谱进行构建，将知识图谱的语义信息采用向量嵌入的方式加载，结构信息转变为向量之间的关系；4)通过图消息传递机制获得目标头尾实体特征结果，作为特征结果1；5)在确定目标头尾实体后，同时利用实体链接算法确定外接知识库的目标实体；6)使用图卷积神经网络在外接知识库中获取增强信息特征结果，作为特征结果2；7)使用双注意力机制对特征结果1和特征结果2进行融合，得到融合特征结果，将不同的融合特征与候选关系结合，计算每个候选关系的阶段性值，通过评分函数计算评分，得到最终的推理预测关系结果，补全图像实体间的关系。

Description

一种基于知识图谱的语义分割图像实体关系推理方法
技术领域
本发明涉及由视觉图像构建知识图谱领域，尤其涉及一种基于知识图谱的语义分割图像实体关系推理方法。
背景技术
随着信息技术的快速发展，互联网上存在有大量的图像数据。对图像进行理解，识别完善图片中各个事物之间的关系，这是对图像赋予认知智能机器理解的关键。目前图像领域中常用语义分割对图像中的目标实体进行提取，提取图像中实体关系常用视觉关系检测。
语义分割是在像素级别上的分类，属于同一类的像素都要被归为一类，目前广泛地应用于人工智能领域，例如，自动驾驶汽车需要识别车辆、行人、交通信号、人行道和其他道路特征；视觉关系检测的目标是从图像中识别出所有的<主语-词-语>三元组，同时标注出主语和宾语的位置，可分为谓词检测、短语检测、关系检测等三个子任务来认知物体间关系。
当前，对图结构的研究是人工智能领域的热门，它可以更全面的表征学习特征信息，知识图谱便是是由实体和关系组成的图结构，类似于存储某一领域知识的数据库。目前知识图谱数量众多、涉及领域广泛如：Wikidata、Freebase等。完善的知识图谱可以挖掘新的知识并且提高相关任务的准确率。
然而在研究过程中发现，受限于知识抽取手段本身性能问题或者一些其他原因(一些暗含的常识信息难以通过图像语义实体间关系表述)，对于含有较为丰富信息的图像，所构成的知识图谱实体间的关系往往是不完整的，语义网络稀疏程度较高。由图像提取实体、关系构建而成的稀疏知识图谱本身因为缺少很多的关系，所以在推理时只能收集到目标头实体、尾实体信息，而不能获取到对应的关系信息，这使得在推理过程中语义信息的收集变得困难；另一方面，由于稀疏性图谱中边相对较少，这使得能够在目标实体头尾节点周围获取到的结构信息不足，对图谱结构信息的提取方面也造成困难。
因此，本发明设计了一种基于知识图谱的语义分割图像实体关系推理方法，通过语义分割算法确定实体(节点)，视觉关系检测算法获取关系(边)，构造初始图谱，在选定目标头实体、尾实体之后，利用实体链接算法和外接的知识库来引入额外的信息，使用双注意力机制对待补全知识图谱中抽取到的特征信息和增强的特征性进行特征融合评分。以此来解决语义分割图像构建的知识图谱中的关系推理预测问题。
发明内容
基于图像的知识图谱构建推理关系预测主要包含七个步骤：图像语义分割、视觉关系检测、知识图谱构建、目标头尾实体特征获取、链接外部实体、外部增强信息特征获取、特征融合。
本发明主要针对“图像语义分割——视觉关系检测”路径在信息特征获取过程得到信息量较少的问题，提出一种基于知识图谱的语义分割图像实体关系推理方法。该方法基于图像语义分割与视觉关系检测算法获取图谱特征，构造初始稀疏度较高语义网络，基于图神经网络和外接知识图谱来提供额外信息，以此来对稀疏知识图谱进行信息增强。利用实体链接算法和外接的知识库来引入额外的信息，利用图卷积神经网络来获取外部知识图谱中的信息特征，使用双注意力机制对待补全知识图谱中抽取到的特征信息和增强的特征性进行特征融合，在对融合之后的特征进行评分，关系预测结果。方法步骤如下：
(1)首先通过对视觉图像语义分割，得到知识图谱中的实体特征(节点)；
(2)对视觉图像特征实体间关系进行检测，得到节点间的关系特征；
(3)对稀疏知识图谱进行构建，将知识图谱的语义信息采用向量嵌入的方式加载，结构信息转变为向量之间的关系；
(4)通过图消息传递机制获得目标头尾实体特征结果，作为特征结果1；
(5)在确定目标头尾实体后，同时利用实体链接算法确定外接知识库的目标实体；
(6)使用图卷积神经网络在外接知识库中获取增强信息特征结果，作为特征结果2；
(7)使用双注意力机制对特征结果1和特征结果2进行融合，得到融合特征结果，将不同的融合特征与候选关系结合，计算每个候选关系的阶段性值，通过评分函数计算评分，得到最终的推理预测关系结果。
附图和附表说明
图1为本发明的整体算法结构图。
图2为本发明的基于FCN改进图像语义分割算法结构图。
图3为本发明的视觉关系检测流程图。
图4为本发明的图谱输入特征转换为向量示意图。
图5为本发明的图消息传递机制迭代嵌入示意图。
具体实施方式
下面将结合本发明实例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
如图1所示，本发明主要针对图像构建知识图谱信息量较少问题，提出了基于知识图谱的外部信息增强融合方法。采用外部知识图谱提供增强信息，利用实体链接算法对外部知识图中的目标实体进行定位，利用图卷积神经网络对外部知识图谱的信息进行聚合，得到增强特征。利用增强特征与初始图特征融合的方式来解决稀疏知识图谱关系推理准确度较低的问题。具体实体方式如下：
步骤一：图像语义分割算法提取实体
本发明通过语义分割网络，进行图像中实体的划分，对图像中每一个像素点进行分类，确定每个点的类别(如属于背景、人或车等)，从而进行区域划分。在传统的应用于图像分类的卷积神经网络与池化层模型中，模型能够有效提取出图像的高级语义，但是模型会缩小图片尺寸。
如图2所示，本发明借鉴FCN语义分割网络，在全卷积神经网络的基础上，将网络中的全连接层换为卷积层，输出二维的图像特征图，并在最后一层增加反卷积层，对缩小后的特征进行上采样，从而获取与原图大小一致的特征图，后通过Softmax激活函数获得每个像素点的分类信息，从而实现像素级别的图像分割。
步骤二：视觉关系检测算法提取实体关系
视觉关系检测是检测出图像中实体相互关系的一种检测技术，在识别出实体类别的基础上，进一步识别出目标关系，视觉关系可以通过<object1-predicate-object2>表示。
如图3所示，本发明通过一种视觉外观模型来检测实体关系，首先通过学习目标及其关系的外观特征对视觉关系V建模。由于目标间的某些关系不常见，本发明采用先分别学习目标和关系的特征，再将二者结合的方法。
首先，使用CNN对N＝100种目标分类；同样地，使用CNN集合目标的边界框对K＝70种关系分类。令R<i,j,k>表示数据集中标注的真实关系，i和j表示目标类别，k表示目标间的关系。对V建模的结果如公式(1)所示(O1和O2为目标对应的边界框)：
Figure BDA0003422876660000041
其中Θ为参数集
Figure BDA0003422876660000042
zk和sk为学习参数，将CNN提取的特征转化为关系的概率。k＝1,2,...,K为关系，Pi(O1)和Pj(O2)分别为O1对应目标属于类别i的概率和O2对应目标属于类别j的概率。CNN(O1,O2)是根据O1和O2提取的目标关系特征。
如上所述，<person﹣ride﹣horse>和<person﹣ride﹣elephant>具有语义上的关联性。甚至，如果没有后者的样本，也能通过前者推导出来。
在语言模型中，使用预训练的词向量(word2vec)将关系中的两个目标转换到词嵌入空间。接着，将这两个向量连接在一起，使用可学习参数W将其转化到关系向量空间。映射函数展示了如何使两个目标相互关联。令word2vec()表示将词转化为其300维向量的函数。关系映射函数定义为公式(2)：
Figure BDA0003422876660000043
其中tj为第j个类别的词，
Figure BDA0003422876660000044
是一个600维向量，bk是偏置项。W是参数集{{w1,b1},...,{wk,bk}}。
上面已得到视觉外观模型V和语言模型f。结合上述相关等式得到目标函数如公式(3)所示。
Figure BDA0003422876660000045
最后的目标函数为：maxΘ,W{C(Θ,W)+λ1L(W)+λ2K(W)}
首先输入是一幅图像，经过RCNN得到图像中目标对；上面分支为视觉外感模型，下面分支为语言模型；最后综合二者结果，得到最终的输出为<object1-predicate-object2>及其置信度。
步骤三：构造初始稀疏图谱
本发明通过以上步骤，获取到了视觉图像中的实体与关系信息。
如图4所示，构建视觉图像语义网络，需要对特征进行向量嵌入。在知识图谱中为了实现利用计算机对其进行计算，将实体和关系转化为向量的形式进行，让知识图谱中的实体和关系更好的表现在向量空间中。
对于包含实体集V和边集E的图谱G＝(V,E)，将知识图谱中的数据进行向量表示。对于V中的每一个实体vi构建文本编码和编号词典，并且构建编号和知识图谱嵌入的对应向量词典，由于实体数量较多使用简化编码来表示不同实体的文本。对于E中的每一条边ei通过分类，转化为知识图谱中对应的关系ri；而对于数量较少关系不使用简化编码对其进行简化，每一种关系ri构建编号字典和对应的向量字典。
其中，对于实体节点使用Glove词嵌入方法初始化节点嵌入，维数d设置为300。对于边的关系特征引入百度百科知识图谱进行对应编码。
根据知识图谱嵌入技术获得的向量，将输入的知识图谱特征转化为G＝(V,ε,R)的向量表示形式，并将其作为算法的输入。
步骤四：图消息传递机制获取目标头尾实体特征
如图5所示，我们通过GNN图神经网络消息传递层层迭代，获取图中融合临近节点(全局节点)的嵌入特征。
消息传递类似于图像处理中的标准卷积，本质上是聚合和处理元素邻居信息以更新元素值的操作。在图结构中，元素是一个节点；而在视觉图像处理中，元素是一个像素。不同的是图谱中相邻节点的数量是可变的，通过一定层数的累加，一个节点可以蕴含整个图的全局特征。
在本发明中构建了一个层数layer为4的GNN网络传递迭代特征。定义
Figure BDA0003422876660000051
Figure BDA0003422876660000052
是所有节点的集合，
Figure BDA0003422876660000053
是所有边的集合，u是图的全局属性。对于节点V、边E、全局特征u的3个传递更新函数如公式(4)～(6)所示。
Figure BDA0003422876660000054
Figure BDA0003422876660000055
Figure BDA0003422876660000056
Figure BDA0003422876660000057
公式(5)中
Figure BDA0003422876660000058
是一个聚合函数，接受参数为一个边的集合，利用集合中所有边的信息去调整一个节点的状态。公式(6)中包含两个聚合函数：
Figure BDA0003422876660000059
分别接受参数为一个边(点)的集合，然后利用集合中所有边(点)的信息去调整全局状态。
通过将传递GNN层的消息堆叠在一起，一个节点最终可以合并来自整个图的信息。比如，在三层之后，一个节点“拥有”关于离它三步远的节点的信息。这样，通过GNN图神经网络，可以在图谱的每个节点、每条边上学习到全局的特征信息。
最后，接入全连接层，将目标节点输出特征作为特征结果1。
步骤五：实体链接外接知识库的目标实体
实体链接的主要任务是将输入的实体链向特定知识库中的相应实体或数据条目过程。而这个过程根据处理的不同阶段又主要分为实体识别和实体消歧两个子任务。实体链接模型一般经过实体输入、转化为实体标签文本、实体消歧、实体文本链接到知识库等几个步骤。本发明使用领域公认比较合理的知识库，在中文上使用百度百科作为外部知识库。
本发明采用的实体链接算法采用实体消歧，针对识别的实体和提及的实体预测相应的实体。而实体消歧又分为两个步骤；候选实体生成——找出涉及到的实体之外的可能的其他实体；实体排序——通过图结构信息计算候选实体的分数然后进行排序。
知识图谱中头实体、尾实体为输入，通过实体链接算法最终得到外接知识库中的对应实体和其在知识库中的位置，即实体字典的序号。
步骤六：图卷积神经网络获取外接知识库增强信息特征
如图4所示，具体的稀疏知识图谱信息增强算法需要使用到图神经网络对目标节点周围的信息进行特征获取。对于包含多重关系的知识图谱进行建模，G＝(V,ε,R)表示整个知识图谱，其中实体向量vi∈V，关系类型R包含多种关系r∈R，有两个不同实体和一种关系组成了三元组关系对(vi,r,vj)∈ε。
图神经网络是基于热力学传播转化而来的可微的信息传播模型。进行知识图谱链接推理的图神经网络是基础的图神经网络GCNs的一种变体，GCNs中的消息传播模型如公式(7)所示。
Figure BDA0003422876660000061
其中
Figure BDA0003422876660000062
是实体变量vi在隐藏层中的第l层的值，并且是d维的空间中的变量，即
Figure BDA0003422876660000071
公式(7)表示隐层的下一层结果由这一层的隐藏值进行两两线性变换θm得来的，θm一般采用权重矩阵W来进行线性变换，如公式(8)。σ(·)而则是神经网络中使用的激活函数，如ReLU。
Figure BDA0003422876660000072
在GCN基础上，定义了在多重关系图中的关于实体变量vi的信息传递模型，如公式(9)所示。
Figure BDA0003422876660000073
其中
Figure BDA0003422876660000074
是知识图谱中与第i个节点存在关系r∈R的节点的下标集合，这样是为了计算到每重与关系相关的其他知识图谱中的实体。
最终的
Figure BDA0003422876660000075
为特征结果2。
步骤七：双注意力机制特征融合
如图5所示，将特征结果1和特征结果2进行主要力机制的融合。根据注意力机制理论，在使用自注意力机制的情况下的计算方法如公式(10)所示。
Figure BDA0003422876660000076
公式(10)中的
Figure BDA0003422876660000077
就是根据嵌入向量设计的比例因子。
而在知识图谱中抽取到增强信息，采用公式(11)的累计注意力机制方法。
Figure BDA0003422876660000078
文本中的抽取信息的注意力计算方式如公式(12)所示
Figure BDA0003422876660000079
公式(11)和公式(12)中ν是超参数，W是权重矩阵。
使用双注意力机制模型后需要将两个注意力αi和βi合一，计算方式如公式(13)所示。
Figure BDA0003422876660000081
在获得了候选三元组(s,r,o)后，可以通过已有的关系推理评分函数。稀疏知识图谱推理关系预测使用的评分函数如公式(14)所示。
Figure BDA0003422876660000082
最后对评分值进行排序，将评分值最高的候选关系作为稀疏知识图谱中未知关系预测的结果。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围。凡采用等同替换或等效替换，这些变化是显而易见，一切利用本发明构思的发明创造均在保护之列。

Claims (8)

1.一种基于知识图谱的语义分割图像实体关系推理方法，其特征在于，包括下列步骤：
步骤1：图像语义分割算法提取实体
步骤2：视觉关系检测算法提取实体关系
步骤3：构造初始稀疏图谱
步骤4：图消息传递机制获取目标头尾实体特征
步骤5：实体链接外接知识库的目标实体
步骤6：图卷积神经网络获取外接知识库增强信息特征
步骤7：双注意力机制特征融合。
2.如权利要求1所述方法，其特征在于，步骤1中提出图像语义分割算法提取实体的具体方法为：
本发明通过语义分割网络，进行图像中实体的划分，对图像中每一个像素点进行分类，确定每个点的类别(如属于背景、人或车等)，从而进行区域划分。
本发明通过语义分割网络，进行图像中实体的划分，对图像中每一个像素点进行分类，确定每个点的类别(如属于背景、人或车等)，从而进行区域划分。本发明对FCN语义分割网络进行改进，在全卷积神经网络的基础上，将网络中的全连接层换为卷积层，输出二维的图像特征图，并在最后一层增加反卷积层，对缩小后的特征进行上采样，从而获取与原图大小一致的特征图，后通过Softmax激活函数获得每个像素点的分类信息。
3.根据权利要求2所述的基于知识图谱的语义分割图像实体关系推理方法，其特征在于，所述步骤2中的视觉关系检测算法提取实体关系的方法具体为：
通过一种视觉外观模型来检测实体关系。学习目标及其关系的外观特征对视觉关系V建模。由于目标间的某些关系不常见，本发明采用先分别学习目标和关系的特征，再将二者特征融合。
使用CNN对N＝100种目标分类；同样地，使用CNN集合目标的边界框对K＝70种关系分类。令R<i,j,k>表示数据集中标注的真实关系，i和j表示目标类别，k表示目标间的关系。对V建模的结果如公式(1)所示(O1和O2为目标对应的边界框)：
Figure FDA0003422876650000011
其中Θ为参数集
Figure FDA0003422876650000021
zk和sk为学习参数，将CNN提取的特征转化为关系的概率。k＝1,2,...,K为关系，Pi(O1)和Pj(O2)分别为O1对应目标属于类别i的概率和O2对应目标属于类别j的概率。CNN(O1,O2)是根据O1和O2提取的目标关系特征。
在语言模型中，使用预训练的词向量(word2vec)将关系中的两个目标转换到词嵌入空间。接着，将这两个向量连接在一起，使用可学习参数W将其转化到关系向量空间。映射函数展示了如何使两个目标相互关联。令word2vec表示将词转化为其300维向量的函数。关系映射函数定义为公式(2)：
Figure FDA0003422876650000022
其中tj为第j个类别的词，
Figure FDA0003422876650000023
是一个600维向量，bk是偏置项。W是参数集{{w1,b1},…,{wk,bk}}。
上面已得到视觉外观模型V和语言模型f。结合上述相关等式得到目标函数如公式(3)所示。
Figure FDA0003422876650000024
最后的目标函数为：maxΘ,W{C(Θ,W)+λ1L(W)+λ2K(W)}
输入是一幅图像，经过RCNN得到图像中目标对；上面分支为视觉外感模型，下面分支为语言模型；最后综合二者结果，得到最终的输出为<object1-predicate-object2>及其置信度。
4.根据权利要求3所述的基于知识图谱的语义分割图像实体关系推理方法，其特征在于，所述步骤3中的构造初始稀疏图谱的方法具体为：
对于包含实体集V和边集E的图谱G＝(V，E)，将知识图谱中的数据进行向量表示。对于V中的每一个实体vi构建文本编码和编号词典，并且构建编号和知识图谱嵌入的对应向量词典，由于实体数量较多使用简化编码来表示不同实体的文本。对于E中的每一条边ei通过分类，转化为知识图谱中对应的关系ri；而对于数量较少关系不使用简化编码对其进行简化，每一种关系ri构建编号字典和对应的向量字典。
其中，对于实体节点使用Glove词嵌入方法初始化节点嵌入，维数d设置为300。对于边的关系特征引入百度百科知识图谱进行对应编码。
根据知识图谱嵌入技术获得的向量，将输入的知识图谱特征转化为G＝(V，ε，R)的向量表示形式。
5.根据权利要求4所述的基于知识图谱的语义分割图像实体关系推理方法，其特征在于，所述步骤4中的图消息传递机制获取目标头尾实体特征的方法具体为：
通过GNN图神经网络消息传递层层迭代，获取图中融合临近节点(全局节点)的嵌入特征。在本发明中构建了一个层数layer为4的GNN网络传递迭代特征。定义
Figure FDA0003422876650000031
是所有节点的集合，
Figure FDA0003422876650000032
是所有边的集合，u是图的全局属性。对于节点V、边E、全局特征u的3个传递更新函数如公式(4)～(6)所示。
Figure FDA0003422876650000033
Figure FDA0003422876650000034
Figure FDA0003422876650000035
公式(5)中
Figure FDA0003422876650000036
是一个聚合函数，接受参数为一个边的集合，利用集合中所有边的信息去调整一个节点的状态。公式(6)中包含两个聚合函数：
Figure FDA0003422876650000037
分别接受参数为一个边(点)的集合，然后利用集合中所有边(点)的信息去调整全局状态。接入全连接层，将目标节点输出特征作为特征结果1。
6.根据权利要求5所述的基于知识图谱的语义分割图像实体关系推理方法，其特征在于，所述步骤5中的实体链接外接知识库的目标实体的方法具体为：
本发明采用的实体链接算法采用实体消歧，针对识别的实体和提及的实体预测相应的实体，采用了百度百科作为外部知识库。而实体消歧又分为两个步骤；候选实体生成——找出涉及到的实体之外的可能的其他实体；实体排序——通过图结构信息计算候选实体的分数然后进行排序。
知识图谱中头实体、尾实体为输入，通过实体链接算法最终得到外接知识库中的对应实体和其在知识库中的位置，即实体字典的序号。
7.根据权利要求6所述的基于知识图谱的语义分割图像实体关系推理方法，其特征在于，所述步骤6中的图卷积神经网络获取外接知识库增强信息特征的方法具体为：
进行知识图谱链接推理的图神经网络是基础的图神经网络GCNs的一种变体，GCNs中的消息传播模型如公式(7)所示。
Figure FDA0003422876650000041
其中
Figure FDA0003422876650000042
是实体变量vi在隐藏层中的第l层的值，并且是d维的空间中的变量，即
Figure FDA0003422876650000043
公式(7)表示隐层的下一层结果由这一层的隐藏值进行两两线性变换θm得来的，θm一般采用权重矩阵W来进行线性变换，如公式(8)。σ(·)而则是神经网络中使用的激活函数，如ReLU。
Figure FDA0003422876650000044
在GCN基础上，定义了在多重关系图中的关于实体变量vi的信息传递模型，如公式(9)所示。
Figure FDA0003422876650000045
其中
Figure FDA0003422876650000046
是知识图谱中与第i个节点存在关系r∈R的节点的下标集合，这样是为了计算到每重与关系相关的其他知识图谱中的实体。
最终的
Figure FDA0003422876650000047
为特征结果2。
8.根据权利要求7所述的基于知识图谱的语义分割图像实体关系推理方法，其特征在于，所述步骤7中的双注意力机制特征融合的方法具体为：
将特征结果1和特征结果2进行主要力机制的融合。根据注意力机制理论，在使用自注意力机制的情况下的计算方法如公式(10)所示。
Figure FDA0003422876650000048
公式(10)中的
Figure FDA0003422876650000051
就是根据嵌入向量设计的比例因子。
而在知识图谱中抽取到增强信息，采用公式(11)的累计注意力机制方法。
Figure FDA0003422876650000052
文本中的抽取信息的注意力计算方式如公式(12)所示
Figure FDA0003422876650000053
公式(11)和公式(12)中ν是超参数，W是权重矩阵。
使用双注意力机制模型后需要将两个注意力αi和βi合一，计算方式如公式(13)所示。
Figure FDA0003422876650000054
在获得了候选三元组(s,r,o)后，可以通过已有的关系推理评分函数。稀疏知识图谱推理关系预测使用的评分函数如公式(14)所示。
Figure FDA0003422876650000055
最后对评分值进行排序，将评分值最高的候选关系作为稀疏知识图谱中未知关系预测的结果。
CN202111568898.9A 2021-12-21 2021-12-21 一种基于知识图谱的语义分割图像实体关系推理方法 Pending CN114398491A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111568898.9A CN114398491A (zh) 2021-12-21 2021-12-21 一种基于知识图谱的语义分割图像实体关系推理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111568898.9A CN114398491A (zh) 2021-12-21 2021-12-21 一种基于知识图谱的语义分割图像实体关系推理方法

Publications (1)

Publication Number Publication Date
CN114398491A true CN114398491A (zh) 2022-04-26

Family

ID=81226949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111568898.9A Pending CN114398491A (zh) 2021-12-21 2021-12-21 一种基于知识图谱的语义分割图像实体关系推理方法

Country Status (1)

Country Link
CN (1) CN114398491A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114707005A (zh) * 2022-06-02 2022-07-05 浙江建木智能系统有限公司 一种舰船装备的知识图谱构建方法和系统
CN114818682A (zh) * 2022-06-29 2022-07-29 中国人民解放军国防科技大学 基于自适应实体路径感知的文档级实体关系抽取方法
CN115168650A (zh) * 2022-09-07 2022-10-11 杭州笔声智能科技有限公司 一种会议视频检索方法、装置及存储介质
CN116702784A (zh) * 2023-08-03 2023-09-05 腾讯科技（深圳）有限公司 实体链接方法、装置、计算机设备和存储介质
CN116842199A (zh) * 2023-09-01 2023-10-03 东南大学 一种基于多粒度层次和动态嵌入的知识图谱补全方法
CN117075778A (zh) * 2023-10-12 2023-11-17 北京智文创想科技有限公司 一种图片文字的信息处理系统
CN117236433A (zh) * 2023-11-14 2023-12-15 山东大学 辅助盲人生活的智能通信感知方法、系统、设备及介质
CN117496542A (zh) * 2023-12-29 2024-02-02 恒生电子股份有限公司 文档信息提取方法、装置、电子设备和存储介质

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114707005B (zh) * 2022-06-02 2022-10-25 浙江建木智能系统有限公司 一种舰船装备的知识图谱构建方法和系统
CN114707005A (zh) * 2022-06-02 2022-07-05 浙江建木智能系统有限公司 一种舰船装备的知识图谱构建方法和系统
CN114818682A (zh) * 2022-06-29 2022-07-29 中国人民解放军国防科技大学 基于自适应实体路径感知的文档级实体关系抽取方法
CN114818682B (zh) * 2022-06-29 2022-09-02 中国人民解放军国防科技大学 基于自适应实体路径感知的文档级实体关系抽取方法
CN115168650A (zh) * 2022-09-07 2022-10-11 杭州笔声智能科技有限公司 一种会议视频检索方法、装置及存储介质
CN116702784B (zh) * 2023-08-03 2023-11-28 腾讯科技（深圳）有限公司 实体链接方法、装置、计算机设备和存储介质
CN116702784A (zh) * 2023-08-03 2023-09-05 腾讯科技（深圳）有限公司 实体链接方法、装置、计算机设备和存储介质
CN116842199A (zh) * 2023-09-01 2023-10-03 东南大学 一种基于多粒度层次和动态嵌入的知识图谱补全方法
CN116842199B (zh) * 2023-09-01 2023-12-26 东南大学 一种基于多粒度层次和动态嵌入的知识图谱补全方法
CN117075778A (zh) * 2023-10-12 2023-11-17 北京智文创想科技有限公司 一种图片文字的信息处理系统
CN117075778B (zh) * 2023-10-12 2023-12-26 北京智文创想科技有限公司 一种图片文字的信息处理系统
CN117236433A (zh) * 2023-11-14 2023-12-15 山东大学 辅助盲人生活的智能通信感知方法、系统、设备及介质
CN117236433B (zh) * 2023-11-14 2024-02-02 山东大学 辅助盲人生活的智能通信感知方法、系统、设备及介质
CN117496542A (zh) * 2023-12-29 2024-02-02 恒生电子股份有限公司 文档信息提取方法、装置、电子设备和存储介质
CN117496542B (zh) * 2023-12-29 2024-03-15 恒生电子股份有限公司 文档信息提取方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN114398491A (zh) 一种基于知识图谱的语义分割图像实体关系推理方法
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN111612066B (zh) 基于深度融合的卷积神经网络的遥感图像分类方法
CN107679250B (zh) 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
CN108052911B (zh) 基于深度学习的多模态遥感影像高层特征融合分类方法
CN107729497B (zh) 一种基于知识图谱的词嵌入深度学习方法
CN108108657A (zh) 一种基于多任务深度学习的修正局部敏感哈希车辆检索方法
CN111797779A (zh) 基于区域注意力多尺度特征融合的遥感图像语义分割方法
CN108595636A (zh) 基于深度跨模态相关性学习的手绘草图的图像检索方法
CN110929080B (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
CN108052966A (zh) 基于卷积神经网络的遥感图像场景自动提取和分类方法
CN113657450B (zh) 基于注意机制的陆战场图像-文本跨模态检索方法及其系统
CN110348447B (zh) 一种具有丰富空间信息的多模型集成目标检测方法
CN114996488B (zh) 一种天网大数据决策级融合方法
CN112308115B (zh) 一种多标签图像深度学习分类方法及设备
WO2024087639A1 (zh) 基于内容理解的遥感影像推荐方法
CN115908908B (zh) 基于图注意力网络的遥感图像聚集型目标识别方法及装置
WO2023030182A1 (zh) 图像生成方法及装置
de Mauro et al. Similarity learning for graph-based image representations
Liu et al. Survey of road extraction methods in remote sensing images based on deep learning
CN112256904A (zh) 一种基于视觉描述语句的图像检索方法
CN114005085A (zh) 一种视频中密集人群分布检测与计数方法
Cai et al. A comparative study of deep learning approaches to rooftop detection in aerial images
CN116912708A (zh) 一种基于深度学习的遥感影像建筑物提取方法
CN115457332A (zh) 基于图卷积神经网络和类激活映射的图像多标签分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination