CN113095361B - 一种基于图匹配网络的可对比学习对象生成方法及系统 - Google Patents

一种基于图匹配网络的可对比学习对象生成方法及系统 Download PDF

Info

Publication number
CN113095361B
CN113095361B CN202110249307.5A CN202110249307A CN113095361B CN 113095361 B CN113095361 B CN 113095361B CN 202110249307 A CN202110249307 A CN 202110249307A CN 113095361 B CN113095361 B CN 113095361B
Authority
CN
China
Prior art keywords
attribute
learning
graph
learning objects
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110249307.5A
Other languages
English (en)
Other versions
CN113095361A (zh
Inventor
郑庆华
肖天安
田锋
梁曦
武云封
张玲玲
魏笔凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202110249307.5A priority Critical patent/CN113095361B/zh
Publication of CN113095361A publication Critical patent/CN113095361A/zh
Application granted granted Critical
Publication of CN113095361B publication Critical patent/CN113095361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于图匹配网络的可对比学习对象生成方法及系统，通过解析半结构化数据获得两个学习对象间的关系和学习对象的初始属性集合，将初始属性集合中所有属性的概率值进行迭代传播，利用学习对象所对应的属性词进行相关性操作得到两个属性词的注意力权重，解决远程监督带来的噪声问题，用图神经网络来捕获学习对象属性间关联的整体和局部结构，基于图匹配网络进行学习对象的结构间对齐，将学习对象的属性重要性计算转化为在属性关联上的中心度计算问题，采用属性节点中心度来实现可对比学习对象识别方法，实现非结构化的文本进行知识点和属性抽取，提高非结构化的文本学习对象的快速识别，为学习者提供一种可对比的学习对象生成结果。

Description

一种基于图匹配网络的可对比学习对象生成方法及系统
技术领域
本发明属于知识对比学习领域，具体涉及一种基于图匹配网络的可对比学习对象生成方法及系统。
背景技术
对比是一种基本的人类认知手段，贯穿于感知、分类、解释等各种认知活动中。根据美国心理学家Dedre Gentner的结构映射理论(Structure Mapping Theory)，对比能促进学习对象间的结构对齐。这里，结构对齐不仅要建立不同学习对象在属性上的一一对应关系，而且在属性之间的关系上也需要实现对齐。例如，在物理课程中“无线电波”与“声波”对象可以进行对比学习；两者在“波长λ”、“频率f”、“速度v”三个属性之间的关系上实现了结构对齐，因为都存在v＝λf函数关系。
学习对象之间的对比能够帮助学习者识别出被对比的学习对象在共同属性上的重要差异，从而促进深层次的联系性学习，并促进学习者思考导致这些异同点的原因，提高学习者学习效率。对比学习能够用于各类课程教学。例如，在“解析几何”课程中，可以将学习对象“双曲线”与“椭圆”进行对比学习；在“数据结构”课程中，可以将学习对象“堆栈”与“队列”进行对比学习。然而，这些课程中可对比学习对象的选取目前主要依赖教师与领域专家，存在人工开销大、时效性不强等局限性，很难满足在线学习环境下对比对象学习的需求。
大多数研究表明学习对象之间的对比都能取得较好的教学效果。典型研究工作如：Star等人采用工具变量法(Instrumental Variables Estimation)分析发现在代数课堂上，对比学习能降低学生的学习难度，并且强化过程性知识学习。Begolli与Richland的研究表明，在数学教学中，以并列方式呈现并对比不同的解题方案，要比顺序方式更加有效。Straaten等人将对比学习用于历史教学，其核心是以人类社会中的一些持久性问题(如难民问题)为线索，建立过去和现在之间的联系。Benjamin等人将对比学习用于地球科学中空间概念“断层”的学习，并研究了视觉相似性对学习效果的影响，实验表明视觉上相似的对比对象更有助于学习者区分断层的相关特征和无关特征。Alfieri等对前期对比学习相关文献中的57个实验进行了元分析(Meta-analysis)，发现对比目的、相关原理的表示等因素与学习效果紧密相关。郭建鹏等研究了一元一次方程类型和解法的对比学习中，多重样例变异性与先前知识之间的相互作用。目前在计算机领域还未见到关于可对比学习对象生成的研究工作，而在认知领域的研究主要依赖教师与领域专家给出可对比学习对象，这将极大的限制了对比学习的作用，无法满足在线教育中快速生成大量可对比学习对选哪个的学习需求。
CN201910025419.5-提供一种基于知识图谱的快速知识对比方法及系统，包括构建知识表示单元，将各领域词条拆分解析成知识表示单元；构建知识图谱，包括将知识表示单元保存到图数据库中形成知识图谱，领域词条之间形成多对多的图结构关系；构建需对比的领域概念，包括确定需要进行比较的领域概念，拆分解析成知识表示单元，存入知识图谱并建立不破坏原图结构的临时提及关系；抽取领域概念的多级拓扑；对比多级拓扑，计算出拓扑节点权重，然后计算出领域概念的带权相似度，得到知识对比结果，而上述方法只是在结构化的知识图谱中进行计算，获取结果，无法对非结构化的文本进行知识点和属性抽取。
发明内容
本发明的目的在于提供一种基于图匹配网络的可对比学习对象生成方法及系统，以克服现有技术的不足。
为达到上述目的，本发明采用如下技术方案：
一种基于图匹配网络的可对比学习对象生成方法，包括以下步骤：
S1，通过解析半结构化数据获得两个学习对象间的关系和学习对象的初始属性集合；
S2，通过属性的信念传播持续更新初始属性集合中每个属性属于该学习对象的概率值，将初始属性集合中所有属性的概率值进行迭代传播，直到所有概率值处于稳定状态；
S3，根据概率值处于稳定状态的属性所对应的学习对象，利用该学习对象所对应的属性词进行相关性操作得到两个属性词的注意力权重；
S4，将包含两个属性词的所有句子的特征表示进行加权作为整个句子特征向量，将句子特征向量采用Softmax分类器计算得到关联概率，根据两个属性词的注意力权重以及两个属性词所属句子的关联概率，即可得到两个学习对象对应属性之间的关联图信息，基于关联图信息分别计算两个学习对象间的整体图匹配和局部图匹配，得到候选对比对象结果，采用属性节点权重值与Ferilli的结构相似性度量方法计算两个学习对象间的相似度，对比对象结果中两个学习对象间的相似度大于设定阈值的即为最终的可对比学习对象。
进一步的，具体的，通过解析半结构化数据Wikidata页面的内容部分Contenets和目录部分Categories，分别获得学习对象间的关系和学习对象的初始属性集合。
进一步的，将初始属性集合中所有属性的概率值进行迭代传播，得到学习对象具有属性的概率值P，若P＞α，则学习对象具有属性fi；阈值α取值范围为0.4-1。
进一步的，对于概率值处于稳定状态的属性所对应的学习对象o的任意两个属性词fi，fj∈F，利用卷积对两个属性词的关联句子s进行词向量输入表示；将关联句子s中每个词分别与属性词对中的两个属性词进行相关性操作，得到两个属性词和关联句子s中每个单词之间的关联相关性的对角矩阵，并通过对角线的Softmax得到属性词对中的两个属性词的注意力权重。
进一步的，所述相关性操作指将关联句子s中每个词分别与属性词对中的两个属性词进行余弦相似度计算。
进一步的，句子的注意力权重通过属性词相似度进一步通过线性网络得到。
进一步的，将学习对象的属性图通过多层感知器编码各个属性节点的特征
Figure BDA0002965324780000041
和边的特征ei，j；根据得到的编码得到的两个学习对象对应属性之间的关联和编码得到特征经过多层网络传播，得到属性词fi的特征表征；将属性词fi的特征表征通过池化操作对图结构进行的简化，得到图的整体结构，同时利用多个特征向量进行上采样来得到的各个局部信息表示。
进一步的，将两个学习对象间的整体结构之间进行匹配，将两个学习对象间的局部结构之间进行匹配，得到候选对比对象结果；采用PageRank(PR)计算方法来计算属性节点权重值。
进一步的，设Fo、
Figure BDA0002965324780000042
分别表示学习对象o与o*的属性集，将属性权重与Ferilli的结构相似性度量方法相结合，用以下公式度量学习对象o*与o的相似度：
Figure BDA0002965324780000051
上式中，
Figure BDA0002965324780000052
表示o*与o公共属性集中所有属性的权重之和；
Figure BDA0002965324780000053
表示仅属于学习对象o的属性的权重之和；
Figure BDA0002965324780000054
表示仅属于o*的属性的权重之和。
一种基于图匹配网络的可对比学习对象生成系统，包括学习对象间属性集合预处理模块、属性间关联模块和可对比对象识别模块；
学习对象间属性集合预处理模块用于解析半结构化数据获得两个学习对象间的关系和学习对象的初始属性集合，通过属性的信念传播持续更新初始属性集合中每个属性属于该学习对象的概率值，将初始属性集合中所有属性的概率值进行迭代传播，直到所有概率值处于稳定状态；
属性间关联模块用于根据概率值处于稳定状态的属性所对应的学习对象，利用该学习对象所对应的属性词进行相关性操作得到两个属性词的注意力权重，将包含两个属性词的所有句子的特征表示进行加权作为整个句子特征向量，将句子特征向量采用Softmax分类器计算得到关联概率，根据两个属性词的注意力权重以及两个属性词所属句子的关联概率，即可得到两个学习对象对应属性之间的关联图信息，基于关联图信息分别计算两个学习对象间的整体图匹配和局部图匹配，得到候选对比对象结果；
可对比对象识别采用属性节点权重值与Ferilli的结构相似性度量方法计算两个学习对象间的相似度，根据对比对象结果中两个学习对象间的相似度大于设定阈值确定得到最终的可对比学习对象。
与现有技术相比，本发明具有以下有益的技术效果：
本发明一种基于图匹配网络的可对比学习对象生成方法，通过解析半结构化数据获得两个学习对象间的关系和学习对象的初始属性集合，通过属性的信念传播持续更新初始属性集合中每个属性属于该学习对象的概率值，利用信念传播的方法来挖掘学习对象的属性；将初始属性集合中所有属性的概率值进行迭代传播，直到所有概率值处于稳定状态；根据概率值处于稳定状态的属性所对应的学习对象，利用该学习对象所对应的属性词进行相关性操作得到两个属性词的注意力权重；引入注意力机制来解决远程监督带来的噪声问题，利用双重注意力机制对属性间关联挖掘；通过图神经网络来捕获学习对象属性间关联的整体和局部结构，基于图匹配网络进行学习对象的结构间对齐，将学习对象的属性重要性计算转化为在属性关联上的中心度计算问题，采用属性节点中心度来实现可对比学习对象识别方法，能够实现非结构化的文本进行知识点和属性抽取，提高非结构化的文本学习对象的快速识别，为学习者提供一种可对比的学习对象生成结果。
进一步的，利用GMN来分别计算一对学习对象的整体和局部图匹配，将两者的匹配结果用来判断是否作为可对比学习对象的候选结果，实现学习对象间的结构对齐，提高了识别准确度。
进一步的，引入双重注意力机制，使模型更注意那些能够体现实体对之间关联的句子，更准确的抽取属性之间关联信息。
附图说明
图1为本发明实施例中学习对象-属性结构示意图。
图2为本发明实施例中基于图匹配网络的可对比对象识别模型框架图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
本发明提供一种基于图匹配网络的可对比对象识别方法，以满足在线教育中快速生成可对比对象的需求。
如图1所示，一种基于图匹配网络的可对比对象识别方法，包括如下步骤，
步骤一，通过解析半结构化数据Wikidata页面的内容部分Contenets和目录部分Categories，分别获得两个学习对象间的关系和两个学习对象的初始属性集合；
步骤二，通过属性的信念传播持续更新初始属性集合中每个属性fi属于该学习对象的概率值P；即更新初始属性集合；
步骤三，将初始属性集合中所有属性的概率值进行迭代传播，直到所有概率值处于稳定状态，即得到学习对象o具有属性fi的概率值P，选取合适的阈值α，若P＞α，则学习对象o具有属性fi；本申请阈值α取值范围为0.4-1。
步骤四，对于概率值处于稳定状态的属性所对应的学习对象o的任意两个属性词fi，fj∈F，利用卷积对属性词对(两个属性词)的关联句子s进行词向量输入表示；
步骤五，将关联句子s中每个词分别与属性词对中的两个属性词进行相关性操作，得到两个属性词和关联句子s中每个单词之间的关联相关性的对角矩阵，并通过对角线的Softmax得到属性词对中的两个属性词的注意力权重；上述相关性操作指将关联句子s中每个词分别与属性词对中的两个属性词进行余弦相似度计算。
步骤六，将包含一个属性词对(两个属性词)的所有句子的特征表示s进行加权作为整个句子特征向量，其中句子的注意力权重通过属性词相似度进一步通过线性网络得到；
步骤七，将句子特征向量采用Softmax分类器计算关联概率，根据设定概率阈值β，大于设定概率阈值β即有关联，进而判断输入的属性词之间是否相关联，根据两个属性词的注意力权重以及两个属性词所属句子的关联概率，即可得到两个学习对象对应属性之间的关联图信息；
步骤八，对于学习对象的属性图，通过多层感知器(Multilayer Perceptr on，MLP)编码各个属性节点的特征
Figure BDA0002965324780000081
(即两个学习对象对应属性之间的关联)和边的特征ei，j(即编码得到特征)；
步骤九，根据步骤8得到的编码得到的两个学习对象对应属性之间的关联和编码得到特征经过多层网络传播，得到属性词fi的特征表征作为后续的输入；
步骤十，属性词fi的特征表征通过池化操作对图结构进行的简化，得到图的整体结构，同时利用多个特征向量进行上采样来得到的各个局部信息表示；
步骤十一，分别计算两个学习对象间的整体和局部图匹配，将两者的匹配结果用来判断是否作为可对比学习对象的候选结果；(即将两个学习对象间的整体结构之间进行匹配，将两个学习对象间的局部结构之间进行匹配)，得到候选对比对象结果；
步骤十二，采用PageRank(PR)计算方法来计算属性节点权重值；
步骤十三，采用属性节点权重值与Ferilli的结构相似性度量方法计算两个学习对象间的相似度，根据得到的两个学习对象间的相似度即可得到最终的可对比学习对象。根据得到的两个学习对象间的相似度，设定相似度阈值，候选对比对象结果中相似度大于设定相似度阈值的前n个即为对比学习对象，n大于0。
下面，将参考附图详细描述根据本申请的示例实施例，以使得本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解。显然，所描述的实施例仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解本申请不受这里描述的示例实施例的限制。附图说明如下：
表1为可对比对象在物理中应用的示例图
表1展示了可对比对象在物理中应用的示例，通过对比“无线电波”与“声波”，有助于学习者掌握两者在“性质”、“介质”、“现象”、“波长”等方面的异同点，并促进学习者思考导致这些异同点的原因，提高学习者学习效率。
1.基于信念传播的学习对象属性迭代传播：
通过分析发现“相关学习对象具有相似的属性集”这一现象。这里，相关学习对象是指具有上下位与兄弟关系的学习对象。设学习对象x，y的属性集分别为Fx与Fy，则x，y的属性相似性定义为s＝|Fx∩Fy|/|Fx∪Fy|。
以外部知识源中不完整的“学习对象-属性”关系作为先验知识，提出基于信念传播(Belief Propagation)的属性概率分布估计算法实现属性挖掘。该算法将学习对象o的属性挖掘问题转化为求解隐马尔科夫随机场联合概率分布问题。其中，隐马尔科夫随机场包含三部分：观测变量(属性全集F＝{f1，f2，...})、隐含变量(Y＝{y1，y2，...}，yi表示属性fi是学习对象o的属性的概率)以及学习对象间的关系构成的图结构G。求解隐马尔科夫随机场联合概率分布公式为：
Figure BDA0002965324780000091
其中，C表示该图G中所有的最大团(Maximal Cliques)集合，y*表示最大团c中隐含变量y组成的变量集合，U(y*)表示隐马尔科夫随机场的势函数(Potential Function)。按照以下三个步骤进行求解。
1)初始化：构建如图1所示的“学习对象-属性”图G＝(O∪F，EO∪EO→F)。
Figure BDA0002965324780000092
表示学习对象间的关系，可通过解析Wikipedia页面中Contenets的结构化数据，获得学习对象间的上下位与兄弟关系。
Figure BDA0002965324780000103
表示学习对象和属性的关系，可通过解析Wikipedia页面的目录部分(Categories)获得学习对象的初始属性集合，据此得到属性fi属于学习对象o属性的概率值，实现属性变量fi对应隐变量yi的概率值初始化，同时对所有信念值mi→j(yj)初始化为1。
2)信念传播：旨在通过信念传播更新随机变量的概率，学习对象o的属性fi对应隐含变量yi传播到属性fj对应变量yj的信念mi→j(yj)由下式计算：
Figure BDA0002965324780000101
上式ηi表示属性fi在G的邻居节点；ψ(yi，yj)表示一个二元能量函数，根据“相关学习对象具有相似的属性集”这一现象，属性fi、fj所属的学习对象之间的上下位与兄弟关系越多，能量函数的值越大。
3)信念分配：P(yi)的更新依赖于邻居节点的信念传播，公式如下：
Figure BDA0002965324780000102
所有的信念值进行迭代传播，直到信念处于稳定状态，就可得到所有属性对应隐含变量的概率分布。选取合适的阈值α，若P(yi)＞α，则学习对象o具有属性fi；否则不具有属性fi。
2.基于双重注意力机制的属性间关联挖掘：
学习对象的属性间关联挖掘是下一步学习对象间的可对比识别的前提。有监督的属性间关联挖掘算法往往需要大量标注好的数据，而构建训练集十分费时费力。因此采用基于远程监督(Distant Supervision)的方法来解决属性关联的数据缺失问题，该方法设知识库中所有提到同一对实体的句子，都是在描述这对实体之间的关系或关联。
这种自动获取数据方式可以快速构建出大量数据作为关联分类的训练数据，但会带来一定的噪声，因为并不是所有同时出现两个实体的句子，都能很好的反应该实体对之间的关联。为了缓解噪声问题，引入双重注意力机制，使模型更注意那些能够体现实体对之间关联的句子，更准确的抽取属性之间关联信息。该任务可形式化表示为：已知学习对象o的属性集F，对任意两个属性fi，fj∈F，判断两者间的关联r(fi，fj)是否存在。主要分为以下三个步骤：
1)属性词和句子的输入表示：对于每一个包含属性关联词对的句子s，其第k个词表示为
Figure BDA0002965324780000111
其中
Figure BDA0002965324780000112
为该词的嵌入表示，
Figure BDA0002965324780000113
和
Figure BDA0002965324780000114
分别为两个目标属性词在该句子中的位置信息表示，于是整个句子可以表示为s＝(ω1，ω2，...)。接着通过卷积操作对句子进行特征提取，得到整个句子的特征表示，则包含该属性词对的所有句子特征表示为：S＝(s1，s2，...)。
2)注意力机制引入：
属性词的Attention：将句子s的每个词分别与属性关联词对进行相关性操作，得到两个相关性对角矩阵Ai和Aj，该矩阵可以描述属性词实体和每个单词之间的关联强度，其对角线元素值分别为：
Figure BDA0002965324780000115
其中ωk表示第k个单词，函数g表示内积操作。用下式将矩阵进行参数化：
Figure BDA0002965324780000116
Figure BDA0002965324780000117
其中
Figure BDA0002965324780000118
衡量第k个词与属性词fi之间的相关性，并将两个属性词的系数简单加权。
属性句子的Attention：为了将包含一对关联词的所有句子的特征表示S＝(s1，s2，...)进行加权作为整个特征向量，假设函数r(fi，fj)表示属性词fi和fj之间的关联特征信息，则句子的注意力权重定义为：
ωi＝W tanh(si，r)+b
Figure BDA0002965324780000121
其中W表示权重矩阵，b表示偏置，β＝(β1，β2，...)是所有句子的权重向量。加权计算得到所有句子的特征向量：
Figure BDA0002965324780000122
3)关联概率计算：将特征向量
Figure BDA0002965324780000123
送入softmax分类器计算关联概率，进而判断输入的属性词之间是否相关联：
Figure BDA0002965324780000124
其中Ws和bs为权重和向量，Pi，j为属性fi和fj之间有关联的概率。
3.基于图匹配网络的可对比学习对象识别：
前面两部分得到的学习对象间属性及其关联构成的图结构作为输入，通过对象间结构对齐和相似度计算，识别出可对比学习对象。主要内容包括：
1)学习对象的结构对齐：
对比是学习对象间的结构对齐过程，不仅要建立不同对象在属性上的对应关系，而且在属性之间的关联上也需要实现对齐。因此，需要实现学习对象的结构对齐，以生成候选的可对比学习对象集合。
相比于传统图嵌入网络，图匹配网络(Graph Matching Network，GMN)模型并不是单独计算每个图的图表征，而是通过对比两个图的结构来计算图表征。采用GMN网络进行结构对齐，如图2所示：
I)图结构特征表示：拟采用图神经网络(GraphNeural Network，GNN)来表征学习对象的图结构。将一对学习对象的属性图作为输入，对于每个属性图，首先通过多层感知器(Multilayer Perceptron，MLP)来编码各个属性节点的特征
Figure BDA0002965324780000125
和边的特征ei，j，经过多层网络传播，得到fi的特征表征作为后续的输入。
II)整体和局部结构分离：学习对象的整体图结构表示该学习对象属性簇之间的关联，整体结构对齐程度可以反映学习对象之间的结构相似性。而属性簇内可以展示属性之间的关联信息，对属性簇进行结构对齐可以有效解决属性命名冲突问题。依据以上分析，一个学习对象的属性图可以定义为G＝{G′，G*}，其中G′表示通过池化操作(如求平均、最大值)对图结构进行简化，称为图的整体结构；
Figure BDA0002965324780000131
是同时利用多个特征向量进行上采样来得到的各个局部信息表示。
III)结构对齐：利用GMN来分别计算一对学习对象的整体和局部图匹配，将两者的匹配结果用来判断是否作为可对比学习对象的候选结果，来实现学习对象间的结构对齐。
2)学习对象的相似度计算
在通过图结构对齐获取候选可对比学习对象的基础上，采用图分析方法来获取属性权重差异，实现学习对象的相似度计算，主要包括两个步骤：
I)属性节点的权值计算。对比不仅要建立不同对象在属性上的一一对应关系，而且在属性之间的关联上也需要实现对齐，并且涉及关联对齐的属性在对比中更重要。这里采用图分析的中心度分析方法计算权重。设学习对象的属性图GF由属性F＝{fi}，i＝1，…，l及之间的关联组成。对于每一个属性节点fi，可采用PageRank(PR)算法(一种特征向量中心度，Eigen Centrality)。节点fi的PR计算步骤如下：首先设置收敛值ξ和可调参数η，初始化每个属性节点的PR值为
Figure BDA0002965324780000132
通过下式进行迭代计算：
Figure BDA0002965324780000133
其中，I(vi)表示指向属性vi的所有属性集合，|O(vj)|是属性节点vj的中心度。计算收敛条件||PRt+1-PRt||＜ξ，满足收敛条件之后得到最终的PageRank值PR＝{pr1，...，prn}。最后利用Softmax函数来计算每个属性的权值，形式如下：
Figure BDA0002965324780000141
II)学习对象间相似度计算：设Fo、
Figure BDA0002965324780000146
分别表示学习对象o与o*的属性集。我们将属性权重与Ferilli的结构相似性度量方法相结合，提出以下公式用于度量学习对象o*与o的相似度。
Figure BDA0002965324780000142
上式中，
Figure BDA0002965324780000143
表示o*与o公共属性集中所有属性的权重之和；
Figure BDA0002965324780000144
表示仅属于学习对象o的属性的权重之和；
Figure BDA0002965324780000145
表示仅属于o*的属性的权重之和。
通过以上三个方面，实现可对比学习对象的识别，最后通过设置相似度阈值或对象数阈值来确定最终的可对比学习对象。

Claims (7)

1.一种基于图匹配网络的可对比学习对象生成方法，其特征在于，包括以下步骤：
S1，通过解析半结构化数据获得两个学习对象间的关系和学习对象的初始属性集合；
S2，通过属性的信念传播持续更新初始属性集合中每个属性属于该学习对象的概率值，将初始属性集合中所有属性的概率值进行迭代传播，直到所有概率值处于稳定状态；
S3，根据概率值处于稳定状态的属性所对应的学习对象，利用该学习对象所对应的属性词进行相关性操作得到两个属性词的注意力权重；
S4，将包含两个属性词的所有句子的特征表示进行加权作为整个句子特征向量，将句子特征向量采用Softmax分类器计算得到关联概率，根据两个属性词的注意力权重以及两个属性词所属句子的关联概率，即可得到两个学习对象对应属性之间的关联图信息，基于关联图信息分别计算两个学习对象间的整体图匹配和局部图匹配，得到候选对比对象结果，采用属性节点权重值与Ferilli的结构相似性度量方法计算两个学习对象间的相似度，对比对象结果中两个学习对象间的相似度大于设定阈值的即为最终的可对比学习对象；
具体的，采用GMN网络进行结构对齐：
I)图结构特征表示：拟采用图神经网络(GraphNeural Network，GNN)来表征学习对象的图结构；将一对学习对象的属性图作为输入，对于每个属性图，首先通过多层感知器(Multilayer Perceptron，MLP)来编码各个属性节点的特征
Figure FDA0004058559250000011
和边的特征ei，j，经过多层网络传播，得到fi的特征表征作为后续的输入；
II)整体和局部结构分离：一个学习对象的属性图定义为G＝{G′，G*}，其中G′表示通过池化操作对图结构进行简化；
Figure FDA0004058559250000021
是同时利用多个特征向量进行上采样来得到的各个局部信息表示；
III)结构对齐：利用GMN来分别计算一对学习对象的整体和局部图匹配，将两者的匹配结果用来判断是否作为可对比学习对象的候选结果，采用Page Rank计算方法来计算属性节点权重值，来实现学习对象间的结构对齐；
学习对象的相似度计算：
设学习对象的属性图GF由属性F＝{fi}，i＝1，…，l及之间的关联组成；对于每一个属性节点fi，采用PageRank算法；节点fi的PageRank计算步骤如下：首先设置收敛值ξ和可调参数η，初始化每个属性节点的PR值为
Figure FDA0004058559250000022
通过下式进行迭代计算：
Figure FDA0004058559250000023
其中，I(vi)表示指向属性vi的所有属性集合，|O(vj)|是属性节点vj的中心度；计算收敛条件||PRt+1-PRt||＜ξ，满足收敛条件之后得到最终的PageRank值PR＝{pr1，...，prn}；最后利用Softmax函数来计算每个属性的权值，形式如下：
Figure FDA0004058559250000024
学习对象间相似度计算：设Fo、
Figure FDA0004058559250000029
分别表示学习对象o与o*的属性集；将属性权重与Ferilli的结构相似性度量方法相结合，以下公式用于度量学习对象o*与o的相似度：
Figure FDA0004058559250000025
上式中，
Figure FDA00040585592500000210
表示o*与o公共属性集中所有属性的权重之和；
Figure FDA0004058559250000027
表示仅属于学习对象o的属性的权重之和；
Figure FDA0004058559250000028
表示仅属于o*的属性的权重之和；
已知学习对象o的属性集F，对任意两个属性fi，fj∈F，判断两者间的关联r(fi，fj)是否存在，包括以下三个步骤：
1)属性词和句子的输入表示：对于每一个包含属性关联词对的句子s，其第k个词表示为
Figure FDA0004058559250000031
其中
Figure FDA0004058559250000032
为该词的嵌入表示，
Figure FDA0004058559250000033
和
Figure FDA0004058559250000034
分别为两个目标属性词在该句子中的位置信息表示，于是整个句子可以表示为s＝(ω1，ω2，...)，接着通过卷积操作对句子进行特征提取，得到整个句子的特征表示，则包含该属性词对的所有句子特征表示为：S＝(s1，s2，…)；
2)注意力机制引入：
属性词的Attention：将句子s的每个词分别与属性关联词对进行相关性操作，得到两个相关性对角矩阵Ai和Aj，该矩阵可以描述属性词实体和每个单词之间的关联强度，其对角线元素值分别为：
Figure FDA0004058559250000035
其中ωk表示第k个单词，函数g表示内积操作，用下式将矩阵进行参数化：
Figure FDA0004058559250000036
Figure FDA0004058559250000037
其中
Figure FDA0004058559250000038
衡量第k个词与属性词fi之间的相关性，并将两个属性词的系数简单加权；
属性句子的Attention：为了将包含一对关联词的所有句子的特征表示S＝(s1，s2，…)进行加权作为整个特征向量，函数r(fi，fj)表示属性词fi和fj之间的关联特征信息，则句子的注意力权重定义为：
ωi＝W tanh(si，r)+b
Figure FDA0004058559250000039
其中W表示权重矩阵，b表示偏置，β＝(β1，β2，...)是所有句子的权重向量；加权计算得到所有句子的特征向量：
Figure FDA0004058559250000041
3)关联概率计算：将特征向量
Figure FDA0004058559250000044
送入softmax分类器计算关联概率，进而判断输入的属性词之间是否相关联：
Figure FDA0004058559250000042
其中Ws和bs为权重和向量，Pi，j为属性词fi和fj之间有关联的概率。
2.根据权利要求1所述的一种基于图匹配网络的可对比学习对象生成方法，其特征在于，具体的，通过解析半结构化数据Wikidata页面的内容部分Contenets和目录部分Categories，分别获得学习对象间的关系和学习对象的初始属性集合。
3.根据权利要求1所述的一种基于图匹配网络的可对比学习对象生成方法，其特征在于，将初始属性集合中所有属性的概率值进行迭代传播，得到学习对象具有属性的概率值P，若P＞α，则学习对象具有属性fi；阈值α取值范围为0.4-1。
4.根据权利要求1所述的一种基于图匹配网络的可对比学习对象生成方法，其特征在于，所述相关性操作指将关联句子s中每个词分别与属性词对中的两个属性词进行余弦相似度计算。
5.根据权利要求1所述的一种基于图匹配网络的可对比学习对象生成方法，其特征在于，句子的注意力权重基于属性词相似度进一步通过线性网络得到。
6.根据权利要求1所述的一种基于图匹配网络的可对比学习对象生成方法，其特征在于，将学习对象的属性图通过多层感知器编码各个属性节点的特征
Figure FDA0004058559250000043
和边的特征ei，j；根据得到的编码得到的两个学习对象对应属性之间的关联和编码得到特征经过多层网络传播，得到属性词fi的特征表征；将属性词fi的特征表征通过池化操作对图结构进行的简化，得到图的整体结构，同时利用多个特征向量进行上采样来得到的各个局部信息表示。
7.一种基于权利要求1所述的可对比学习对象生成方法的基于图匹配网络的可对比学习对象生成系统，其特征在于，包括学习对象间属性集合预处理模块、属性间关联模块和可对比对象识别模块；
学习对象间属性集合预处理模块用于解析半结构化数据获得两个学习对象间的关系和学习对象的初始属性集合，通过属性的信念传播持续更新初始属性集合中每个属性属于该学习对象的概率值，将初始属性集合中所有属性的概率值进行迭代传播，直到所有概率值处于稳定状态；
属性间关联模块用于根据概率值处于稳定状态的属性所对应的学习对象，利用该学习对象所对应的属性词进行相关性操作得到两个属性词的注意力权重，将包含两个属性词的所有句子的特征表示进行加权作为整个句子特征向量，将句子特征向量采用Softmax分类器计算得到关联概率，根据两个属性词的注意力权重以及两个属性词所属句子的关联概率，即可得到两个学习对象对应属性之间的关联图信息，基于关联图信息分别计算两个学习对象间的整体图匹配和局部图匹配，得到候选对比对象结果；
可对比对象识别采用属性节点权重值与Ferilli的结构相似性度量方法计算两个学习对象间的相似度，根据对比对象结果中两个学习对象间的相似度大于设定阈值确定得到最终的可对比学习对象。
CN202110249307.5A 2021-03-08 2021-03-08 一种基于图匹配网络的可对比学习对象生成方法及系统 Active CN113095361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110249307.5A CN113095361B (zh) 2021-03-08 2021-03-08 一种基于图匹配网络的可对比学习对象生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110249307.5A CN113095361B (zh) 2021-03-08 2021-03-08 一种基于图匹配网络的可对比学习对象生成方法及系统

Publications (2)

Publication Number Publication Date
CN113095361A CN113095361A (zh) 2021-07-09
CN113095361B true CN113095361B (zh) 2023-05-12

Family

ID=76667748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110249307.5A Active CN113095361B (zh) 2021-03-08 2021-03-08 一种基于图匹配网络的可对比学习对象生成方法及系统

Country Status (1)

Country Link
CN (1) CN113095361B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187610B (zh) * 2022-09-08 2022-12-30 中国科学技术大学 基于图神经网络的神经元形态分析方法、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408627A (zh) * 2018-11-15 2019-03-01 众安信息技术服务有限公司 一种融合卷积神经网络和循环神经网络的问答方法及系统
CN111046664A (zh) * 2019-11-26 2020-04-21 哈尔滨工业大学（深圳） 基于多粒度的图卷积神经网络的假新闻检测方法及系统
WO2020207179A1 (zh) * 2019-04-09 2020-10-15 山东科技大学 一种从视频字幕中提取概念词的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140129320A1 (en) * 2011-04-05 2014-05-08 The Trustees Of Columbia University In The City Of New York B-matching using sufficient selection belief propagation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408627A (zh) * 2018-11-15 2019-03-01 众安信息技术服务有限公司 一种融合卷积神经网络和循环神经网络的问答方法及系统
WO2020207179A1 (zh) * 2019-04-09 2020-10-15 山东科技大学 一种从视频字幕中提取概念词的方法
CN111046664A (zh) * 2019-11-26 2020-04-21 哈尔滨工业大学（深圳） 基于多粒度的图卷积神经网络的假新闻检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Exploiting local similarity for indexing paths in graph-stuctured data;R.Kaushik;《Proceeding 18th International Conference on Data Engineering》;20020807;全文 *
基于汉语框架网络本体的问答系统中语句相似度计算;邰杨芳;《图书情报工作网刊》;20120915;全文 *

Also Published As

Publication number Publication date
CN113095361A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
Amra et al. Students performance prediction using KNN and Naïve Bayesian
CN110083705B (zh) 一种用于目标情感分类的多跳注意力深度模型、方法、存储介质和终端
CN111897913B (zh) 基于语义树增强的复杂文本查询到视频的跨模态检索方法
CN106295796B (zh) 基于深度学习的实体链接方法
CN111721536A (zh) 一种改进模型迁移策略的滚动轴承故障诊断方法
CN109284406A (zh) 基于差异循环神经网络的意图识别方法
CN113191357B (zh) 基于图注意力网络的多层次图像-文本匹配方法
CN109271496B (zh) 一种基于文本、知识库及序列到序列的自然问答方法
CN111931505A (zh) 一种基于子图嵌入的跨语言实体对齐方法
CN111563149A (zh) 一种用于中文知识图谱问答系统的实体链接方法
CN114693397B (zh) 一种基于注意力神经网络的多视角多模态商品推荐方法
CN108446404B (zh) 面向无约束视觉问答指向问题的检索方法及系统
Shi et al. GAEN: graph attention evolving networks
CN112488055A (zh) 一种基于渐进图注意力网络的视频问答方法
CN110472061A (zh) 一种基于短文本相似度计算的知识图谱融合方法
WO2024037585A1 (zh) 基于内容理解的遥感影像统筹推荐方法
CN117524353B (zh) 一种基于多维度分子信息的分子大模型、构建方法及应用
Başarslan et al. Sentiment analysis on social media reviews datasets with deep learning approach
CN105825430A (zh) 一种基于异构社会网络的检测方法
CN113095361B (zh) 一种基于图匹配网络的可对比学习对象生成方法及系统
CN108052680B (zh) 基于数据图谱、信息图谱和知识图谱的图像数据目标识别增强方法
CN110136017A (zh) 一种基于数据增强和非负矩阵稀疏分解的群组发现方法
Liu et al. Fine-grained machine teaching with attention modeling
CN116976505A (zh) 基于信息共享的解耦注意网络的点击率预测方法
CN115687760A (zh) 一种基于图神经网络的用户学习兴趣标签预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant