CN114818671A - 一种融合价值堆叠的异构知识动态表示学习方法 - Google Patents

一种融合价值堆叠的异构知识动态表示学习方法 Download PDF

Info

Publication number
CN114818671A
CN114818671A CN202210235787.4A CN202210235787A CN114818671A CN 114818671 A CN114818671 A CN 114818671A CN 202210235787 A CN202210235787 A CN 202210235787A CN 114818671 A CN114818671 A CN 114818671A
Authority
CN
China
Prior art keywords
knowledge
attribute
value
heterogeneous
inherent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210235787.4A
Other languages
English (en)
Other versions
CN114818671B (zh
Inventor
刘鑫
崔莹
李春豹
陈莹
黄刘
戴礼灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 10 Research Institute
Original Assignee
CETC 10 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 10 Research Institute filed Critical CETC 10 Research Institute
Priority to CN202210235787.4A priority Critical patent/CN114818671B/zh
Publication of CN114818671A publication Critical patent/CN114818671A/zh
Application granted granted Critical
Publication of CN114818671B publication Critical patent/CN114818671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06F16/4387—Presentation of query results by the use of playlists
    • G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种融合价值堆叠的异构知识动态表示学习方法，包括以下步骤：S1、对于知识的固有属性部分，对具体的知识样本，经过多种随机的知识增强操作，得到一系列扩充后的知识样本；S2、在异构知识增强的基础上，通过对比表示学习方式对知识固有属性表征模型进行训练，得到知识固有属性的表征结果；S3、对于知识的价值属性部分，直接通过一个Transformer编码器，得到价值属性的表征结果；S4、将知识固有属性的表征结果和知识价值属性的表征结果共同经过异构知识价值堆叠环节进行融合计算，得到的计算结果通过Transformer解码器最终得到知识的动态标识学习结果。

Description

一种融合价值堆叠的异构知识动态表示学习方法
技术领域
本发明涉及人工智能技术领域，具体涉及一种融合价值堆叠的异构知识动态表示学习方法。
背景技术
人工智能技术历经六十多年的发展，已经成为现在乃至未来科技革命和产业变革的重要驱动力，将持续对社会进步、经济发展、人类日常生活等方面产生重大而深远的影响。然而，虽然人工智能技术在自然语言处理、图像处理、智能推荐、人机对话等方面取得了不错的成果，但不可否认，依靠“见多而知”模式通过大量样本数据训练提升模型对音视图文等形式客观事物的认知能力显得愈发困难，人工智能在语言理解、视觉场景理解、决策分析等方面仍然举步维艰。要想让人工智能突破“只做对比”的瓶颈，具备类似人类处理信息的“加工、理解、思考”等能力，就必须让现有人工智能系统掌握知识、学会运用知识进行推理，这也是当前业界公认的通往通用人工智能的必经之路。然而，目前人工智能领域对于知识的引入还存在两个主要问题：
一是由于获取来源、存储、管理更新和应用方式的不同，知识存在着多种结构各异的表现形态，如音视图文的数据形态、以三元组为基本单元的图谱形态、规则模板形态等等，这天然带来了异构知识联合应用的问题。当前任何一种针对特定形态知识的单一表示方法都无法让异构知识参与统一计算，导致了异构知识关联融合的困难。
二是现有的所有知识表示技术都没有考虑知识在其全生命周期过程中的使用价值属性，这也带来了相应的知识关联方法中的诸多不合理之处，使得异构知识的联合服务应用效果大打折扣。
因此，亟需发展出一种全新的异构知识表示学习技术，将知识的固有属性特征和全生命周期中的价值属性特征进行综合考量，形成一种灵活、动态的联合表示方法。以此支撑解决面向具体应用时多类型知识难以高效融合处理的问题，并且发掘知识与知识、知识与数据之间的关联性和互补性，增强算法模型的鲁棒性和泛化性，提升多类型知识的联合计算应用服务能力。
发明内容
针对现有技术中的上述不足，本发明提供的一种融合价值堆叠的异构知识动态表示学习方法解决了异构知识在全生命周期过程中需要被动态认知的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种融合价值堆叠的异构知识动态表示学习方法，包括以下步骤：
S1、对于知识的固有属性部分，对具体的知识样本，经过多种随机的知识增强操作，得到一系列扩充后的知识样本；
S2、在异构知识增强的基础上，通过对比表示学习方式对知识固有属性表征模型进行训练，得到知识固有属性的表征结果；
S3、对于知识的价值属性部分，直接通过一个Transformer编码器，得到价值属性的表征结果；
S4、将知识固有属性的表征结果和知识价值属性的表征结果共同经过异构知识价值堆叠环节进行融合计算，得到的计算结果通过Transformer解码器最终得到知识的动态标识学习结果。
进一步地：所述步骤S1中的知识增强具体为：
对于文本知识，经过文本知识增强操作得到增强后的文本知识，所述文本知识增强操作包括非核心词替换、同义词替换、回译；
对于图像知识，经过图像知识增强操作得到增强后的图像知识，所述图像知识增强操作包括缩放、旋转、随机噪声添加、剪裁、对比度变化；
对于音频知识，先经过语音转写为文本知识，再调用文本知识增强方法，得到增强后的文本知识；
对于视频知识，则首先经过音轨提取和关键帧提取，将视频知识转化为音频知识和图像知识，再将音轨提取结果经过语音转写和文本知识增强操作，将关键帧提取结果经过图像知识增强操作，分别得到增强后的文本知识和图像知识；
对于知识图谱，经过图谱知识增强操作得到增强后的知识图谱，所述图谱知识增强操作包括节点删除、边删除、边增加、非核心节点替换。
进一步地：所述步骤S2中对比表示学习的具体步骤为：
S21、采集所有异构知识实例的固有属性部分，包括概念、静态特征、动态特征、关系，形成固有属性集合；
S22、针对固有属性集合中不同形态的知识，包括文本、音频、视频、图像知识、知识图谱，采用不同的知识增强方式，形成m个增强后的样本；
S23、将m个增强后的样本经过Transformer编码器得到m个样本知识固有属性的特征表示h1，h2，…，hm；
S24、将m个样本知识固有属性的特征表示投影到对比空间得到投影向量 z1，z2，…，zm；
S25、在对比空间中采用余弦相似度衡量任意两个投影向量的相似性；将相似样本设为正例，不相似像本设为负例；
S26、通过最小化噪声对比估计损失函数来增大正例的相似度，降低负例的相似度。
进一步地：所述步骤S25中相似性的计算公式为：
Figure BDA0003539954240000041
上式中，S(zi,zj)为第i、j个投影向量的相似性。
进一步地：所述步骤S26中的损失函数具体为：
Figure BDA0003539954240000042
上式中，NCE为损失函数，zj为zi的正例，zk为zi的负例，τ为温度超参，用于调节对负例的感知程度。
进一步地：所述步骤S4中异构知识价值堆叠为：某条知识其自身固有属性加上其在该时间点之前的所有价值属性堆叠。
进一步地：将某条知识在不同时间点的固有属性特征与价值属性特征的综合作用定义为泛向认知量；
所述泛向认知量的计算公式为：
Figure BDA0003539954240000043
上式中，ΛK(ti)表示ti时刻的知识K的泛向认知量，ΓK(ti)表示ti时刻的知识 K的固有属性特征，ΩK(ti)表示ti时刻的知识K的价值属性特征，α和β分别表示固有属性特征和价值属性特征的权重系数，
Figure BDA0003539954240000044
为拼接、聚合操作。
进一步地：所述ti时刻的知识K的价值属性特征ΩK(ti)的计算公式为：
Figure BDA0003539954240000045
上式中，N表示任务数量，rs(t)表示t时刻针对任务s的知识操作记录，R 为价值属性嵌入向量空间，
Figure BDA0003539954240000046
为对知识操作记录的嵌入表示。
本发明的有益效果为：
(1)本发明针对传统知识表示学习方法没有考虑知识在全生命周期中的使用价值属性，导致异构知识关联及联合服务应用效果不佳的问题，提出了一种全新的融合价值堆叠的异构知识动态表示学习方法，使得知识的表达结果更加合理，提升了知识之间的动态关联性。
(2)本发明提出了基于异构知识增强的对比表示学习技术，在传统的数据增强技术手段基础之上，通过对跨模态数据、非结构化文本、知识图谱等形态的知识样本同时进行对比，实现了形态不同的相同知识之间的融合互补，能够得到异构知识固有属性特征的更本质的学习结果。
(3)本发明提出了知识泛向认知量计算模型，将知识的固有属性特征和价值属性特征进行融合计算，得到对异构知识的综合表示学习结果，能够有效支撑异构知识全生命周期中的动态表征，使得知识关联更加灵活，对下游任务的适应度更高。
附图说明
图1是融合价值堆叠的异构知识动态表示学习总体框图。
图2是异构知识增强操作示意图。
图3是异构知识对比表示学习示意图。
图4是异构知识价值堆叠示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，针对对象知识、规则知识、常识知识等多类型的异构知识，由于来源不同、存储管理方式不同、用于下游任务不同等多种原因，不论相同知识还是不同知识都有着较大差异的表现形态，例如非结构化文本、音视图跨模态数据、知识图谱等等。对于每一类形态各异的知识，都包含两个部分，一是知识固有属性部分，例如概念、静态特征、动态特征、关系等等；二是知识价值属性部分，体现为随时间推移其经过的不同操作，例如被生产、被更新、被用于某任务求解、被收藏、被引用等等。本发明提出的异构知识动态表示学习方法具体步骤如下：
步骤1：对于知识的固有属性部分，对具体的知识样本，经过多种随机的知识增强操作，得到一系列扩充后的知识样本；
步骤2：在异构知识增强的基础上，通过对比表示学习方式对知识固有属性表征模型进行训练，得到知识固有属性最为本质的表征结果；
步骤3：对于知识的价值属性部分，直接通过一个Transformer编码器，得到价值属性的表征结果；
步骤4：将知识固有属性的表征结果和知识价值属性的表征结果共同经过异构知识价值堆叠环节进行融合计算，得到的计算结果通过Transformer解码器最终得到知识的动态表示学习结果。
异构知识增强
参阅图2，本发明处理的异构知识的形态主要有音视图文态以及知识图谱态。针对不同形态的知识，有不同的知识增强方式。具体地：
①对于文本知识，经过文本知识增强操作(包括非核心词替换、同义词替换、回译等)，得到增强后的文本知识；
②对于图像知识，经过图像知识增强操作(包括缩放、旋转、随机噪声添加、剪裁、对比度变化等)，得到增强后的图像知识；
③对于音频知识，先经过语音转写为文本知识，再调用文本知识增强方法，得到增强后的文本知识；
④对于视频知识，则首先经过音轨提取和关键帧提取，将视频知识转化为音频知识和图像知识，再将音轨提取结果经过语音转写和文本知识增强操作，将关键帧提取结果经过图像知识增强操作，分别得到增强后的文本知识和图像知识；
⑤对于知识图谱，经过图谱知识增强操作(包括节点删除、边删除、边增加、非核心节点替换等)，得到增强后的知识图谱。
异构知识经过多种随机增强方式，能够得到增强后的多样化异构知识样本，以支撑后续异构知识固有属性特征的对比表示学习研究开展。
异构知识对比表示学习
在基于深度学习框架的信息智能处理系统中，知识要想参与到下游任务中发挥作用，首先就需要对知识进行表示学习，得到知识的特征，因此知识的表示学习是将多类型知识引入智能系统的基础。而不同知识、或者相同知识在不同场景下往往呈现不同的形态，异构知识的特征表示好坏将直接影响智能系统处理分析结果的准确程度。为了实现对异构知识的良好表征，本发明提出了异构知识的对比表示学习技术，旨在让模型学会区分知识的本质异同而不受知识表现形态的影响。
参阅图3，针对对象知识、规则知识、常识知识等异构知识的固有属性部分，对比表示学习的步骤如下：
步骤1：采集所有异构知识实例的固有属性部分，如概念、静态特征、动态特征、关系等，形成固有属性集合；
步骤2：针对固有属性集合中不同形态的知识(如文本、音频、视频、图像知识，知识图谱等)，采用不同的知识增强方式，形成m个增强后的样本；
步骤3：将m个增强后的样本经过Transformer编码器得到m个样本知识固有属性的特征表示h1，h2，…，hm；
步骤4：将m个特征表示投影到对比空间得到投影向量z1，z2，…，zm；
步骤5：在对比空间中采用余弦相似度衡量任意两个投影向量的相似性：
Figure BDA0003539954240000081
步骤6：通过最小化噪声对比估计(Noise Contrastive Estimation,NCE)损失函数来增大正例(相似样本)的相似度，降低负例(不相似样本)的相似度：
Figure BDA0003539954240000082
其中，zj为zi的正例，zk为zi的负例，τ为温度超参，用于调节对负例的感知程度。
上述异构知识对比表示学习的核心思想在于通过知识增强构造正样本(相似样本)和负样本(不相似样本)，将正负样本投影至特征表示空间，并拉近正样本距离，推远负样本距离，从而促使模型忽略样本表层信息，并学习到样本内在一致结构信息。
异构知识价值堆叠
参阅图4，针对对象知识、常识知识、规则知识等异构知识，随着时间推移，不同的知识在不同的时间段会经过不同的操作(如属性被完善、概念被优化、链接被更新、被用于某下游任务求解、被收藏、被引用等等)，所以在不同的时间点，如T1、T2、T3等，某条具体的知识在人们的认知中也应该是其自身固有属性加上其在该时间点之前的所有价值属性堆叠(注：在本发明中认为，某条知识经过的操作越多，代表该知识的价值越多元，并非仅仅指该知识的价值评分越高)。因此，在某个时间点上，不同的知识是否应该被关联起来，也应该由知识固有属性与价值属性共同决定。
在本发明中，将某条知识在不同时间点的固有属性特征与价值属性特征的综合作用定义为该知识的“泛向认知量”，其决定了该条知识在不同时间点上应该与哪些其他知识进行动态关联。针对知识K，在时间ti时，其泛向认知量计算公式如下所示：
Figure BDA0003539954240000091
其中，ΛK(ti)表示ti时刻的知识K的泛向认知量，ΓK(ti)表示ti时刻的知识K 的固有属性特征，ΩK(ti)表示ti时刻的知识K的价值属性特征，α和β分别表示固有属性特征和价值属性特征的权重系数。这里的“泛向”有两重含义，一是“泛事实性”，即无方向的知识固有属性特征值，表示知识自身的概念、属性等的本质特征；二是“泛价值性”，是不便于测量的具有无穷个方向的知识价值属性特征值，表示知识在所有被使用过程中产生的多元价值总和。而认知量则是固有属性特征值和价值属性特征值的“加和”(即
Figure BDA0003539954240000093
)，这里的
Figure BDA0003539954240000094
并非简单的直接相加，而是拼接、聚合等操作，在不同的下游任务中用法并不完全一致。
在实际使用中，为了保证面向下游任务的泛向认知量的实用性，在运用知识价值堆叠方法时，可以无需完全按照时序进行知识操作记录，可将该时刻之前知识操作按照任务用途类型进行聚合，便于后续动态关联时可针对不同下游任务进行适配。ΩK(ti)计算公式如下所示：
Figure BDA0003539954240000092
其中，N表示任务数量，rs(t)表示t时刻针对任务s的知识操作记录，R为价值属性嵌入向量空间。

Claims (8)

1.一种融合价值堆叠的异构知识动态表示学习方法，其特征在于，包括以下步骤：
S1、对于知识的固有属性部分，对具体的知识样本，经过多种随机的知识增强操作，得到一系列扩充后的知识样本；
S2、在异构知识增强的基础上，通过对比表示学习方式对知识固有属性表征模型进行训练，得到知识固有属性的表征结果；
S3、对于知识的价值属性部分，直接通过一个Transformer编码器，得到价值属性的表征结果；
S4、将知识固有属性的表征结果和知识价值属性的表征结果共同经过异构知识价值堆叠环节进行融合计算，得到的计算结果通过Transformer解码器最终得到知识的动态标识学习结果。
2.根据权利要求1所述的融合价值堆叠的异构知识动态表示学习方法，其特征在于，所述步骤S1中的知识增强具体为：
对于文本知识，经过文本知识增强操作得到增强后的文本知识，所述文本知识增强操作包括非核心词替换、同义词替换、回译；
对于图像知识，经过图像知识增强操作得到增强后的图像知识，所述图像知识增强操作包括缩放、旋转、随机噪声添加、剪裁、对比度变化；
对于音频知识，先经过语音转写为文本知识，再调用文本知识增强方法，得到增强后的文本知识；
对于视频知识，则首先经过音轨提取和关键帧提取，将视频知识转化为音频知识和图像知识，再将音轨提取结果经过语音转写和文本知识增强操作，将关键帧提取结果经过图像知识增强操作，分别得到增强后的文本知识和图像知识；
对于知识图谱，经过图谱知识增强操作得到增强后的知识图谱，所述图谱知识增强操作包括节点删除、边删除、边增加、非核心节点替换。
3.根据权利要求1所述的融合价值堆叠的异构知识动态表示学习方法，其特征在于，所述步骤S2中对比表示学习的具体步骤为：
S21、采集所有异构知识实例的固有属性部分，包括概念、静态特征、动态特征、关系，形成固有属性集合；
S22、针对固有属性集合中不同形态的知识，包括文本、音频、视频、图像知识、知识图谱，采用不同的知识增强方式，形成m个增强后的样本；
S23、将m个增强后的样本经过Transformer编码器得到m个样本知识固有属性的特征表示h1，h2，…，hm；
S24、将m个样本知识固有属性的特征表示投影到对比空间得到投影向量z1，z2，…，zm；
S25、在对比空间中采用余弦相似度衡量任意两个投影向量的相似性；将相似样本设为正例，不相似像本设为负例；
S26、通过最小化噪声对比估计损失函数来增大正例的相似度，降低负例的相似度。
4.根据权利要求3所述的融合价值堆叠的异构知识动态表示学习方法，其特征在于，所述步骤S25中相似性的计算公式为：
Figure FDA0003539954230000021
上式中，S(zi,zj)为第i、j个投影向量的相似性。
5.根据权利要求4所述的融合价值堆叠的异构知识动态表示学习方法，其特征在于，所述步骤S26中的损失函数具体为：
Figure FDA0003539954230000031
上式中，NCE为损失函数，zj为zi的正例，zk为zi的负例，τ为温度超参，用于调节对负例的感知程度。
6.根据权利要求1所述的融合价值堆叠的异构知识动态表示学习方法，其特征在于，所述步骤S4中异构知识价值堆叠为：某条知识其自身固有属性加上其在该时间点之前的所有价值属性堆叠。
7.根据权利要求6所述的融合价值堆叠的异构知识动态表示学习方法，其特征在于，将某条知识在不同时间点的固有属性特征与价值属性特征的综合作用定义为泛向认知量；
所述泛向认知量的计算公式为：
Figure FDA0003539954230000032
上式中，ΛK(ti)表示ti时刻的知识K的泛向认知量，ΓK(ti)表示ti时刻的知识K的固有属性特征，ΩK(ti)表示ti时刻的知识K的价值属性特征，α和β分别表示固有属性特征和价值属性特征的权重系数，
Figure FDA0003539954230000033
为拼接、聚合操作。
8.根据权利要求7所述的融合价值堆叠的异构知识动态表示学习方法，其特征在于，所述ti时刻的知识K的价值属性特征ΩK(ti)的计算公式为：
Figure FDA0003539954230000034
上式中，N表示任务数量，rs(t)表示t时刻针对任务s的知识操作记录，R为价值属性嵌入向量空间，
Figure FDA0003539954230000035
为对知识操作记录的嵌入表示。
CN202210235787.4A 2022-03-10 2022-03-10 一种融合价值堆叠的异构知识动态表示学习方法 Active CN114818671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210235787.4A CN114818671B (zh) 2022-03-10 2022-03-10 一种融合价值堆叠的异构知识动态表示学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210235787.4A CN114818671B (zh) 2022-03-10 2022-03-10 一种融合价值堆叠的异构知识动态表示学习方法

Publications (2)

Publication Number Publication Date
CN114818671A true CN114818671A (zh) 2022-07-29
CN114818671B CN114818671B (zh) 2023-05-26

Family

ID=82528291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210235787.4A Active CN114818671B (zh) 2022-03-10 2022-03-10 一种融合价值堆叠的异构知识动态表示学习方法

Country Status (1)

Country Link
CN (1) CN114818671B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093559A (zh) * 2007-06-12 2007-12-26 北京科技大学 一种基于知识发现的专家系统构造方法
CN110706018A (zh) * 2019-08-30 2020-01-17 四川大学 一种平衡共赢的数据资产定价机制
CN111753054A (zh) * 2020-06-22 2020-10-09 神思电子技术股份有限公司 一种基于图神经网络的机器阅读推断方法
CN112200317A (zh) * 2020-09-28 2021-01-08 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态知识图谱构建方法
CN112287120A (zh) * 2020-11-04 2021-01-29 山东省人工智能研究院 一种基于强化学习的双系统知识图谱的知识推理方法
CN112288091A (zh) * 2020-10-30 2021-01-29 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于多模态知识图谱的知识推理方法
CN113112164A (zh) * 2021-04-19 2021-07-13 特变电工股份有限公司新疆变压器厂 基于知识图谱的变压器故障诊断方法、装置及电子设备
EP3910527A2 (en) * 2020-09-29 2021-11-17 Baidu International Technology (Shenzhen) Co., Ltd Medical data verification method, apparatus and electronic device
CN113849661A (zh) * 2021-09-26 2021-12-28 平安科技（深圳）有限公司 实体嵌入数据的提取方法和装置、电子设备、存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093559A (zh) * 2007-06-12 2007-12-26 北京科技大学 一种基于知识发现的专家系统构造方法
CN110706018A (zh) * 2019-08-30 2020-01-17 四川大学 一种平衡共赢的数据资产定价机制
CN111753054A (zh) * 2020-06-22 2020-10-09 神思电子技术股份有限公司 一种基于图神经网络的机器阅读推断方法
CN112200317A (zh) * 2020-09-28 2021-01-08 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态知识图谱构建方法
EP3910527A2 (en) * 2020-09-29 2021-11-17 Baidu International Technology (Shenzhen) Co., Ltd Medical data verification method, apparatus and electronic device
CN112288091A (zh) * 2020-10-30 2021-01-29 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于多模态知识图谱的知识推理方法
CN112287120A (zh) * 2020-11-04 2021-01-29 山东省人工智能研究院 一种基于强化学习的双系统知识图谱的知识推理方法
CN113112164A (zh) * 2021-04-19 2021-07-13 特变电工股份有限公司新疆变压器厂 基于知识图谱的变压器故障诊断方法、装置及电子设备
CN113849661A (zh) * 2021-09-26 2021-12-28 平安科技（深圳）有限公司 实体嵌入数据的提取方法和装置、电子设备、存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YONG YANG 等: "Multi-source Heterogeneous Information Fusion of Power Asserts Based on Knowledge Graph" *
王侃 等: "融合自注意力机制与CNN-BiGRU的事件检测" *
王敬东;李佳;: "基于知识协同的大数据知识处理模型的设计" *

Also Published As

Publication number Publication date
CN114818671B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN112200317B (zh) 多模态知识图谱构建方法
Guanghui et al. Multi-modal emotion recognition by fusing correlation features of speech-visual
CN113177132B (zh) 基于联合语义矩阵的深度跨模态哈希的图像检索方法
CN114565808B (zh) 一种面向无监督视觉表示的双动量对比学习方法
CN114140885A (zh) 一种情感分析模型的生成方法、装置、电子设备以及存储介质
CN116226347A (zh) 一种基于多模态数据的细粒度视频情绪内容问答方法和系统
Zhang Voice keyword retrieval method using attention mechanism and multimodal information fusion
CN111653274A (zh) 唤醒词识别的方法、装置及存储介质
CN114281948A (zh) 一种纪要确定方法及其相关设备
Zhou et al. Improving audio-visual video parsing with pseudo visual labels
CN114169408A (zh) 一种基于多模态注意力机制的情感分类方法
Liu et al. A multimodal approach for multiple-relation extraction in videos
Ul Rahman et al. Additive parameter for deep face recognition
CN117370581A (zh) 基于知识图谱的融合教育领域教学资源推荐方法及系统
Zhao et al. Video question answering on screencast tutorials
CN114818671A (zh) 一种融合价值堆叠的异构知识动态表示学习方法
CN113435190B (zh) 一种融合多层次信息抽取和降噪的篇章关系抽取方法
CN114882529A (zh) 一种基于注意力校准的双分支跨域行人重识别方法
CN116052291A (zh) 基于非对齐序列的多模态情绪识别方法
Ueno et al. Artificial curation for creating learners manual based on data semantics and user personality
CN116204850B (zh) 基于动态梯度和多视图协同注意力的多模态情感分析方法
CN114936297B (zh) 一种基于先验知识和对象敏感的视频问答方法
CN118055266A (zh) 基于多模态信息的课堂视频分割及目录创建方法及系统
CN117611845B (zh) 多模态数据的关联识别方法、装置、设备及存储介质
CN113935804B (zh) 一种基于强化学习和加权元路径的语义推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant