CN117435747B - 基于多层级细化网络的少样本链接预测药物再利用方法 - Google Patents
基于多层级细化网络的少样本链接预测药物再利用方法 Download PDFInfo
- Publication number
- CN117435747B CN117435747B CN202311741314.2A CN202311741314A CN117435747B CN 117435747 B CN117435747 B CN 117435747B CN 202311741314 A CN202311741314 A CN 202311741314A CN 117435747 B CN117435747 B CN 117435747B
- Authority
- CN
- China
- Prior art keywords
- relation
- embedding
- context
- meta
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003814 drug Substances 0.000 title claims abstract description 40
- 229940079593 drug Drugs 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000004064 recycling Methods 0.000 title abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 43
- 201000010099 disease Diseases 0.000 claims abstract description 20
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 20
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000011282 treatment Methods 0.000 claims abstract description 12
- 238000011156 evaluation Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 101100455978 Arabidopsis thaliana MAM1 gene Proteins 0.000 claims 2
- 238000012545 processing Methods 0.000 abstract description 3
- 230000003993 interaction Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 229940126585 therapeutic drug Drugs 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/30—Prediction of properties of chemical compounds, compositions or mixtures
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Pharmacology & Pharmacy (AREA)
- Crystallography & Structural Chemistry (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Medicinal Chemistry (AREA)
- Animal Behavior & Ethology (AREA)
- Toxicology (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例中提供了一种基于多层级细化网络的少样本链接预测药物再利用方法，属于数据处理技术领域，具体包括：对待预测的医药知识图谱中的实体及关系嵌入进行初始化；将待预测的医药知识图谱的关系集合按少样本链接预测任务进行划分处理；在元训练任务上多次训练得到多个基于多层级细化网络的少样本链接预测模型；将训练好的全部少样本链接预测模型对元测试任务进行链接预测，根据评价指标选择性能最优的模型，同时得到最终的实体及关系的嵌入；选择特定的疾病和治疗关系，以及数据集中全部药物实体，组成若干新的三元组，并获取对应三元组的嵌入，输入得分函数，得到治疗特定疾病的药物排序。通过本发明的方案，提高了预测效率和适应性。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种基于多层级细化网络的少样本链接预测药物再利用方法。
背景技术
药物缺乏一直是疾病治疗的主要障碍，迫切需要快速开发有效的治疗药物。药物再利用，又称老药新用，旨在探寻现有药物的新用途，以实现对一些疑难杂症的治疗，与从头药物发现相比，在时间和成本方面具有显著优势。医学知识图谱可以被描述为一个由相互关联的医学事实组成的综合网络。这些事实被组织为三元组，其中每个三元组由头实体、关系和尾实体组成。基于知识图谱的链接预测是通过挖掘现有三元组中实体和关系的潜在语义来推断新的三元组。而药物再利用的重点是探索现有药物的新应用，通过预测“疾病”实体和“药物”实体之间缺失的关系，可作为链接预测(知识图谱补全)任务。
知识图谱嵌入技术常用于将实体和关系表示为低维密集向量，并使用各自的模型假设来进行链接预测。然而，现有的基于知识图谱嵌入的模型通常需要大量的三元组进行训练。然而，现实的医学知识图谱属于长尾分布，绝大多数关系只有有限数量的三元组。因此，在对有限训练样本的关系进行链接预测时，知识图谱嵌入的性能显著下降。
现有少样本链接预测方法主要面临三个方面的挑战：
(1)如何学习最具代表性的三元组信息来快速适应少样本任务，在少样本场景中，从有限的三元组中学习不同关系的代表性模式的能力对于解决少样本链接预测问题至关重要。此外，给定关系学习的元表示应该具有有效泛化到未见过的三元组的能力。
(2)如何利用头和尾实体共享的更广泛上下文来丰富实体和关系的嵌入，仅利用直接邻域不能充分揭示这些实体对之间的微妙差异，导致实体的低表达性。相反，每个支持三元组与其更广泛的上下文有着密切的关系，并提供了丰富的相关信息。
(3)如何捕获支持三元组之间的复杂交互，现有的FSLP方法已经显示出经验上的改进，但是它们忽略了支持三元组的排列不变性，这限制了它们捕捉支持三元组之间复杂的相互作用的能力。
可见，亟需一种预测效率和适应性高的基于多层级细化网络的少样本链接预测药物再利用方法。
发明内容
有鉴于此，本发明实施例提供一种基于多层级细化网络的少样本链接预测药物再利用方法，至少部分解决现有技术中存在预测效率和适应性较差的问题。
本发明实施例提供了一种基于多层级细化网络的少样本链接预测药物再利用方法，包括：
步骤1，获取待预测的医药知识图谱和对应的邻域知识图谱，对待预测的医药知识图谱中的实体及关系嵌入进行初始化；
步骤2，将待预测的医药知识图谱的关系集合按少样本链接预测任务进行划分处理，得到元训练任务和元测试任务；
步骤3，在元训练任务上多次训练得到多个基于多层级细化网络的少样本链接预测模型；
步骤4，将训练好的全部少样本链接预测模型对元测试任务进行链接预测，根据评价指标选择性能最优的模型，同时得到最终的实体及关系的嵌入；
步骤5，根据最终的实体及关系的嵌入选择特定的疾病和治疗关系，以及数据集中全部药物实体，组成若干新的三元组，并获取对应三元组的嵌入，输入得分函数，得到治疗特定疾病的药物排序，其中，所述三元组包括药物、治疗和疾病。
根据本发明实施例的一种具体实现方式，所述步骤1具体包括：
采用TransE模型对获取的邻域知识图谱上进行训练得到待预测的医药知识图谱中的实体和关系嵌入表示，且若邻域知识图谱不存在，则随机初始化待预测的医药知识图谱的实体或关系的嵌入表示。
根据本发明实施例的一种具体实现方式，所述步骤3具体包括：
步骤3.1，将元训练任务中的实体和关系嵌入表示直接邻域信息的嵌入输入基于对比学习的上下文级学习器，进行三元组上下文表示学习，得到对比损失；
步骤3.2，将元训练任务中的实体和关系嵌入表示输入基于集合注意块的三元组级共性关系学习器，得到弱关系元表示；
步骤3.3，将弱关系元表示基于TransH的元学习框架并结合对比损失对模型参数进行优化更新，得到多个基于多层级细化网络的少样本链接预测模型。
根据本发明实施例的一种具体实现方式，所述步骤3.1具体包括：
步骤3.1.1，将每个元训练任务对应的相关三元组随机分为支持集和查询集，给定支持集中特定的三元组并获取其上下文表示，并利用基于多头自注意机制的上下文编码器为上下文表示进行建模，为关系实体元组分配对应的权重；
步骤3.1.2，对上下文表示中的每个邻居元组进行编码；
步骤3.1.3，拼接K个邻域元组的编码，然后使用多头自注意机制生成上下文嵌入；
步骤3.1.4，改变上下文表示中的真实关系与实体对获得每个假上下文表示，并利用上下文编码器将其进行编码，生成假上下文嵌入；
步骤3.1.5，根据假上下文嵌入和上下文嵌入得到对比损失。
根据本发明实施例的一种具体实现方式，所述步骤3.2具体包括：
步骤3.2.1，在针对特定关系的元训练任务中，利用共性关系学习器将支持集中的头尾实体对作为输入，将每个支持三元组进行编码；
步骤3.2.2，利用共性关系学习器将支持三元组中的共享特征封装；
步骤3.2.3，将封装后的支持三元组输入到两个多层感知机中，取所有支持三元组的转换嵌入的平均值得到弱关系元表示。
根据本发明实施例的一种具体实现方式，所述步骤3.3具体包括：
步骤3.3.1，根据弱关系元表示计算特定关系对应的三元组的分数；
步骤3.3.2，根据分数计算特定关系的损失函数；
步骤3.3.3，通过对弱关系元表示的损失函数求导，计算弱关系元表示的梯度；
步骤3.3.4，根据梯度，使用随机梯度下降法更新关系表示；
步骤3.3.5，利用MAML算法对当前任务的支持集进行梯度下降更新，得到任务更新后的超平面参数；
步骤3.3.6，在获得关系的修正表示和与正在进行的任务相关的超平面参数后，将其应用于查询集中的实例，计算查询集上的分数和损失；
步骤3.3.7，利用更新后的超平面参数在查询集上求值，并计算出初始化的超平面参数；
步骤3.3.8，根据查询集上的损失和对比损失得到模型训练的优化目标并对模型参数进行优化更新，得到多个基于多层级细化网络的少样本链接预测模型。
本发明实施例中的基于多层级细化网络的少样本链接预测药物再利用方案，包括：步骤1，获取待预测的医药知识图谱和对应的邻域知识图谱，对待预测的医药知识图谱中的实体及关系嵌入进行初始化；步骤2，将待预测的医药知识图谱的关系集合按少样本链接预测任务进行划分处理，得到元训练任务和元测试任务；步骤3，在元训练任务上多次训练得到多个基于多层级细化网络的少样本链接预测模型；步骤4，将训练好的全部少样本链接预测模型对元测试任务进行链接预测，根据评价指标选择性能最优的模型，同时得到最终的实体及关系的嵌入；步骤5，根据最终的实体及关系的嵌入选择特定的疾病和治疗关系，以及数据集中全部药物实体，组成若干新的三元组，并获取对应三元组的嵌入，输入得分函数，得到治疗特定疾病的药物排序，其中，所述三元组包括药物、治疗和疾病。
本发明实施例的有益效果为：通过本发明的方案，采用元学习框架降低了医药知识图谱链接预测对大规模数据集的依赖。首先，引入一种基于对比学习的上下文级学习器，通过对三元组及其上下文之间的相关性建模来学习表达实体和关系的嵌入。这是因为三元组与其更广泛的背景有着深刻的联系。基于此，本发明利用对比学习来提高实体嵌入的质量。基于这样的概念，给定的三元组应该被驱动到它的真实上下文，同时在嵌入空间中与它的虚假上下文分离。其次，设计了基于集合注意块的共性关系学习器，对特定关系进行三级关系学习。共性关系学习器利用集合注意块的排列不变性和大小不敏感特性，有效地捕获三元组之间的成对相互作用，并在整个学习过程中保持这些特性。最后，本发明采用了一种基于TransH的元学习框架来优化每个元任务上的模型。通过执行这些关系学习模块，本方法在增强模型泛化性以进行少样本链接预测和提取富有表现力的元关系表示方面显示出显著的优势，提高了预测效率和适应性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种基于多层级细化网络的少样本链接预测药物再利用方法的流程示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本发明，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
本发明实施例提供一种基于多层级细化网络的少样本链接预测药物再利用方法，所述方法可以应用于医疗场景的药物治疗预测过程中。
参见图1，为本发明实施例提供的一种基于多层级细化网络的少样本链接预测药物再利用方法的流程示意图。如图1所示，所述方法主要包括以下步骤：
步骤1，获取待预测的医药知识图谱和对应的邻域知识图谱，对待预测的医药知识图谱中的实体及关系嵌入进行初始化；
进一步的，所述步骤1具体包括：
采用TransE模型对获取的邻域知识图谱上进行训练得到待预测的医药知识图谱中的实体和关系嵌入表示，且若邻域知识图谱不存在，则随机初始化待预测的医药知识图谱的实体或关系的嵌入表示。
具体实施时，获取待链接预测的医药知识图谱和对应的邻域知识图谱，对待预测的医药知识图谱中的实体及关系嵌入进行初始化；具体步骤如下：
所述的获取待链接预测的医药知识图谱和对应的邻域知识图谱，对待预测的医药知识图谱中的实体及关系嵌入进行初始化，具体为采用TransE模型对获取的邻域知识图谱上进行训练得到待链接预测的医药知识图谱中的实体和关系嵌入表示；且若邻域知识图谱不存在，则随机初始化待链接预测的医药知识图谱的实体或关系的嵌入表示。
步骤2，将待预测的医药知识图谱的关系集合按少样本链接预测任务进行划分处理，得到元训练任务和元测试任务；
具体实施时，步骤2所述的将待链接预测的医药知识图谱的关系集合按少样本链接预测任务进行划分处理，具体包括如下步骤：
1）将待进行链接预测的医药知识图谱的关系集合分为元训练/>、元测试和元验证/>，以便在元学习过程中被使用。
2）在元训练阶段，对于每个训练任务，相关三元组随机分成支持集/>和查询集/>。支持集/>包含K个支持三元组，以支持K-shot链接预测。查询集由需要预测的/>个三元组组成，其中/>表示查询三元组，其真尾实体记为/>，/>表示医药知识图谱中相应候选实体的集合。候选实体的构造基于实体类型约束。
3）少样本链接预测(FSLP)的目标是通过观察K个关系r的支持三元组，预测查询三元组或/>中的头实体或尾实体。每个任务被定义为预测训练集中特定K个样本关系的新三元组，记为/>。测试过程/>涉及通过观察支持集/>中与训练过程中未遇到的关系对应的几个三元组来推断新的三元组。
步骤3，在元训练任务上多次训练得到多个基于多层级细化网络的少样本链接预测模型；
在上述实施例的基础上，所述步骤3具体包括：
步骤3.1，将元训练任务中的实体和关系嵌入表示直接邻域信息的嵌入输入基于对比学习的上下文级学习器，进行三元组上下文表示学习，得到对比损失；
步骤3.2，将元训练任务中的实体和关系嵌入表示输入基于集合注意块的三元组级共性关系学习器，得到弱关系元表示；
步骤3.3，将弱关系元表示基于TransH的元学习框架并结合对比损失对模型参数进行优化更新，得到多个基于多层级细化网络的少样本链接预测模型。
进一步的，所述步骤3.1具体包括：
步骤3.1.1，将每个元训练任务对应的相关三元组随机分为支持集和查询集，给定支持集中特定的三元组并获取其上下文表示，并利用基于多头自注意机制的上下文编码器为上下文表示进行建模，为关系实体元组分配对应的权重；
步骤3.1.2，对上下文表示中的每个邻居元组进行编码；
步骤3.1.3，拼接K个邻域元组的编码，然后使用多头自注意机制生成上下文嵌入；
步骤3.1.4，改变上下文表示中的真实关系与实体对获得每个假上下文表示，并利用上下文编码器将其进行编码，生成假上下文嵌入；
步骤3.1.5，根据假上下文嵌入和上下文嵌入得到对比损失。
进一步的，所述步骤3.2具体包括：
步骤3.2.1，在针对特定关系的元训练任务中，利用共性关系学习器将支持集中的头尾实体对作为输入，将每个支持三元组进行编码；
步骤3.2.2，利用共性关系学习器将支持三元组中的共享特征封装；
步骤3.2.3，将封装后的支持三元组输入到两个多层感知机中，取所有支持三元组的转换嵌入的平均值得到弱关系元表示。
进一步的，所述步骤3.3具体包括：
步骤3.3.1，根据弱关系元表示计算特定关系对应的三元组的分数；
步骤3.3.2，根据分数计算特定关系的损失函数；
步骤3.3.3，通过对弱关系元表示的损失函数求导，计算弱关系元表示的梯度；
步骤3.3.4，根据梯度，使用随机梯度下降法更新关系表示；
步骤3.3.5，利用MAML算法对当前任务的支持集进行梯度下降更新，得到任务更新后的超平面参数；
步骤3.3.6，在获得关系的修正表示和与正在进行的任务相关的超平面参数后，将其应用于查询集中的实例，计算查询集上的分数和损失；
步骤3.3.7，利用更新后的超平面参数在查询集上求值，并计算出初始化的超平面参数；
步骤3.3.8，根据查询集上的损失和对比损失得到模型训练的优化目标并对模型参数进行优化更新，得到多个基于多层级细化网络的少样本链接预测模型。
具体实施时，步骤3所述的在元训练任务上训练得到基于多层级细化网络的少样本链接预测模型，具体包括如下步骤：
3.1：将步骤1获取的三元组直接邻域信息的嵌入输入基于对比学习的上下文级学习器，进行三元组上下文表示学习，得到对比损失；
具体地，步骤3.1包括以下步骤：
A：给定支持集中特定的三元组，其上下文表示为/>，其中/>和/>。为了捕获给定三元组与其上下文/>之间的相关性，本发明提出了一种基于多头自注意机制(MSA)的上下文编码器。该编码器有效地对所提供的上下文/>之间的交互进行建模，并为关系实体元组分配更高的权重，这些元组在头实体/>和尾实体/>的共享上下文中被认为更为重要。
B：对每个邻居元组进行编码:
（1）
其中为关系嵌入，/>为实体嵌入。
C：拼接K个邻域元组的编码，然后使用多头自注意机制生成上下文嵌入:
（2）
（3）
（4）
其中表示所有关系实体元组嵌入的连接。公式（3）中的softmax函数计算中所有关系-实体元组的自注意得分。元组之间的相关性和相似性越高，权重越大，对/>的嵌入贡献越大。
D：通过改变中的真实关系-实体对而获得的每个假上下文/>可以被上下文编码器编码为/>。
E：随后，使用对比损失使目标三元组的嵌入更接近其真实上下文，同时使其远离其错误上下文。对比损失函数可以定义如下:
（5）
其中，表示三联体/>错误上下文数量,参数/>,/>表示连接的操作，是用来测量余弦相似性。因此，可以通过整合上下文知识来增强实体嵌入，并专注于特定三元组上下文中的基本元素。
3.2：将步骤1获得的实体及关系的嵌入输入基于集合注意块的三元组级共性关系学习器，得到弱关系元表示；
具体地，包括以下步骤：
受集合注意块(set attention block, SAB)的启发，本发明精心设计了共性关系学习器（CRL），引入了集合注意块的概念，以便具有排列不变性的同时不受支持集大小的影响，有效地利用三元组之间的交互，促进全面元关系知识的获取。
a：在针对关系的元训练任务/>中，本发明提出的共性关系学习器将支持集中的头尾实体对作为输入，即/>。每个支持三元组编码为:
（6）
（7）
其中表示实体/>的嵌入，/>表示尾实体/>的嵌入。/>表示两个向量的连接。表示第/>个支持三元组。
b：鉴于所有支持三元组都链接到相同的关系，本发明的CRL努力将这些支持三元组中的共享特征封装起来，并获得特定于关系/>的元表示。为了充分集成支持集中的三元组级关系信息，对所有源自/>的支持三元组的嵌入利用了SAB:
（8）
（9）
其中，表示任意前馈层，/>表示层归一化。/>是对Transformer的编码器块的改编，不包括位置编码和dropout。SAB的输出包含/>之间成对的三元组-三元组相互作用。
c：为了获得元表示，将/>输入到一个两层MLP中。元表示/>可以表示为:
（10）
其中包含所有支持三元组。元表示/>是通过取所有支持三元组/>的转换嵌入的平均值得到的。这种方法确保元表示/>以排列不变的方式捕获支持集之间融合的成对交互。
3.3：将步骤3.2学习到的关系元信息，基于TransH的元学习框架并结合步骤3.1的对比损失对模型参数进行优化更新：
在少样本链接预测领域，一个基本问题是更新少样本关系的表示，同时考虑复杂的关系。灵感来自著名的KGE模型TransH，该模型具有模拟复杂关系的能力。模型不可知的元学习（MAML）用来学习每个特定关系的超平面参数。
具体地，步骤3.3包括以下步骤：
（1）计算三元组的分数，公式如下:
（11）
（12）
其中为头部嵌入，/>为尾部嵌入。/>表示与关系/>相关的超平面的法向量。是由式10得到的具体关系的一般表示。
（2）使用公式（12）的分数计算，损失函数定义如下:
(13）
其中代表一个通过对应于三元组/>的负采样得到的负样本/>的一个三元组。
（3）此外，通过对应于的/>求导来计算关系表示/>的梯度:
(14)
（4）使用随机梯度下降法更新关系表示，如下:
(15)
其中，表示用于更新的学习速率的关系表示。
（5）利用MAML来学习每个特定关系的超平面参数。初始化超平面参数/>，然后更新它们以适应新的任务/>。在MAML框架下，通过对当前任务的支持集/>进行梯度下降更新，得到任务更新后的超平面参数/>。具体来说，使用学习率/>用单个梯度步更新参数，如下所示:
(16)
其中，表示用于更新支持集上的超平面参数/>的学习率。
（6）在获得关系的修正表示和与正在进行的任务相关的超平面参数后，我们将它们应用于查询集中的实例。按照与支持集相同的步骤，我们可以计算查询集上的分数和损失如下:
(17)
(18)
(19)
表示查询集/>中正确的三元组, />表示负样本集中的负三元组，/>是训练整个模型的优化目标,和/>是同样由产生的负三元组。
（7）此外，更新后的超平面参数可以在查询集上求值。与此同时,我们可以计算出更好初始化的超平面参数/>，如下:
(20)
（8）模型训练的整体优化目标是最小化和/>,可以表述为:
(21)
其中，表示权衡超参数用于决定/>和/>之间的平衡的贡献。
至此，根据优化目标对模型参数进行优化更新，得到多个基于多层级细化网络的少样本链接预测模型。
步骤4，将训练好的全部少样本链接预测模型对元测试任务进行链接预测，根据评价指标选择性能最优的模型，同时得到最终的实体及关系的嵌入；
具体实施时，将训练好的若干个基于多层级细化网络的少样本链接预测模型对元测试任务进行链接预测，评估并获得性能优良的模型，同时得到改模型对应的实体及关系的嵌入。
步骤5，根据最终的实体及关系的嵌入选择特定的疾病和治疗关系，以及数据集中全部药物实体，组成若干新的三元组，并获取对应三元组的嵌入，输入得分函数，得到治疗特定疾病的药物排序，其中，所述三元组包括药物、治疗和疾病。
具体实施时，当需要寻找或预测某种疾病的是否存在新的治疗药物时，可以根据实体及关系的嵌入选择特定的疾病，按三元组（药物，治疗，疾病）的形式，输入得分函数，得到治疗特定疾病的药物排序。
本实施例提供的基于多层级细化网络的少样本链接预测药物再利用方法，通过采用少样本链接预测任务进行药物再利用；针对少样本链接预测中直接聚合邻域信息的实体低表达性问题，通过对比学习对头部和尾部实体合并为一个三元组进行编码，以表示更广泛的上下文。根据自注意机制，本发明为特定的三元组设计了基于对比学习的上下文级学习器，学习其真假上下文的嵌入，从而使上下文内的重要邻居被赋予更大的权重。此外，为了使三元组与其正确的上下文保持一致，并将其与不正确的上下文区分开来，使用了对比损失。在三元组关系元学习阶段，本发明不再使用LSTM，而是采用基于SAB的共性关系学习器，有效地捕捉支持三元组之间的相互作用，生成特定关系的元关系表示，具有排列不变性和大小不敏感特性，有效地捕获三元组之间的成对相互作用，并在整个学习过程中保持这些特性。最后，为了对各种复杂实体和关系建模，本发明采用了一种基于TransH的元学习框架来优化每个元任务上的模型。通过执行这些关系学习模块，本方法在增强模型泛化性以进行少样本链接预测和提取富有表现力的元关系表示方面显示出显著的优势。并且，该方法对药物研发具有一定的指导意义。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (2)
1.一种基于多层级细化网络的少样本链接预测药物再利用方法，其特征在于，包括：
步骤1，获取待预测的医药知识图谱和对应的邻域知识图谱，对待预测的医药知识图谱中的实体及关系嵌入进行初始化；
所述步骤1具体包括：
采用TransE模型对获取的邻域知识图谱上进行训练得到待预测的医药知识图谱中的实体和关系嵌入表示，且若邻域知识图谱不存在，则随机初始化待预测的医药知识图谱的实体和关系的嵌入表示；
步骤2，将待预测的医药知识图谱的关系集合按少样本链接预测任务进行划分处理，得到元训练任务和元测试任务；
步骤3，在元训练任务上多次训练得到多个基于多层级细化网络的少样本链接预测模型；
所述步骤3具体包括：
步骤3.1，将元训练任务中的实体和关系嵌入表示直接邻域信息的嵌入输入基于对比学习的上下文级学习器，进行三元组上下文表示学习，得到对比损失；
所述步骤3.1具体包括：
步骤3.1.1，将每个元训练任务对应的相关三元组随机分为支持集和查询集，给定支持集中特定的三元组并获取其上下文表示，并利用基于多头自注意机制的上下文编码器为上下文表示进行建模，为关系实体元组分配对应的权重；
步骤3.1.2，对上下文表示中的每个邻居元组进行编码；
步骤3.1.3，拼接K个邻域元组的编码，然后使用多头自注意机制生成上下文嵌入；
步骤3.1.4，改变上下文表示中的真实关系与实体对获得每个假上下文表示，并利用上下文编码器将其进行编码，生成假上下文嵌入；
步骤3.1.5，根据假上下文嵌入和上下文嵌入得到对比损失；
步骤3.2，将元训练任务中的实体和关系嵌入表示输入基于集合注意块的三元组级共性关系学习器，得到弱关系元表示；
所述步骤3.2具体包括：
步骤3.2.1，在针对特定关系的元训练任务中，利用共性关系学习器将支持集中的头尾实体对作为输入，将每个支持三元组进行编码；
步骤3.2.2，利用共性关系学习器将支持三元组中的共享特征封装；
步骤3.2.3，将封装后的支持三元组输入到一个两层感知机中，取所有支持三元组的转换嵌入的平均值得到弱关系元表示；
步骤3.3，将弱关系元表示基于TransH的元学习框架并结合对比损失对模型参数进行优化更新，得到多个基于多层级细化网络的少样本链接预测模型；
步骤4，将训练好的全部少样本链接预测模型对元测试任务进行链接预测，根据评价指标选择性能最优的模型，同时得到最终的实体及关系的嵌入；
步骤5，根据最终的实体及关系的嵌入选择特定的疾病和治疗关系，以及数据集中全部药物实体，组成若干新的三元组，并获取对应三元组的嵌入，输入得分函数，得到治疗特定疾病的药物排序，其中，所述三元组包括药物、治疗和疾病。
2.根据权利要求1所述的方法，其特征在于，所述步骤3.3具体包括：
步骤3.3.1，根据弱关系元表示计算特定关系对应的三元组的分数；
步骤3.3.2，根据分数计算特定关系的损失函数；
步骤3.3.3，通过对弱关系元表示的损失函数求导，计算弱关系元表示的梯度；
步骤3.3.4，根据梯度，使用随机梯度下降法更新关系表示；
步骤3.3.5，利用MAML算法对当前任务的支持集进行梯度下降更新，得到任务更新后的超平面参数，所述MAML算法的表达式为
；
其中，表示任务更新后的超平面参数，/>表示初始化超平面参数，/>表示损失函数，/>表示用于更新支持集上的超平面参数/>的学习率；
步骤3.3.6，在获得关系的修正表示和与正在进行的任务相关的超平面参数后，将其应用于查询集中的实例，计算查询集上的分数和损失；
步骤3.3.7，利用更新后的超平面参数在查询集上求值，并计算出初始化的超平面参数；
步骤3.3.8，根据查询集上的损失和对比损失得到模型训练的优化目标并对模型参数进行优化更新，得到多个基于多层级细化网络的少样本链接预测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311741314.2A CN117435747B (zh) | 2023-12-18 | 2023-12-18 | 基于多层级细化网络的少样本链接预测药物再利用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311741314.2A CN117435747B (zh) | 2023-12-18 | 2023-12-18 | 基于多层级细化网络的少样本链接预测药物再利用方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117435747A CN117435747A (zh) | 2024-01-23 |
| CN117435747B true CN117435747B (zh) | 2024-03-29 |
Family
ID=89551854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311741314.2A Active CN117435747B (zh) | 2023-12-18 | 2023-12-18 | 基于多层级细化网络的少样本链接预测药物再利用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117435747B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111506714A (zh) * | 2019-01-30 | 2020-08-07 | 百度（美国）有限责任公司 | 基于知识图嵌入的问题回答 |
| EP3859745A1 (en) * | 2020-02-03 | 2021-08-04 | National Centre for Scientific Research "Demokritos" | System and method for identifying drug-drug interactions |
| KR20210114256A (ko) * | 2020-03-10 | 2021-09-23 | 연세대학교 산학협력단 | 지식 그래프를 이용한 상황 인지형 다중 문장 관계 추출 방법 및 장치 |
| CN113535984A (zh) * | 2021-08-11 | 2021-10-22 | 华侨大学 | 一种基于注意力机制的知识图谱关系预测方法及装置 |
| CN114610897A (zh) * | 2022-02-25 | 2022-06-10 | 北京工业大学 | 基于图注意力机制的医学知识图谱关系预测方法 |
| CN114756687A (zh) * | 2022-03-30 | 2022-07-15 | 同济大学 | 基于自学习实体关系联合抽取的钢铁产线设备诊断方法 |
| WO2022258620A1 (en) * | 2021-06-08 | 2022-12-15 | Siemens Aktiengesellschaft | Method and system for automated analysis of industrial cyber-security events |
| CN115809346A (zh) * | 2022-12-07 | 2023-03-17 | 大连理工大学 | 一种基于多视图语义增强的小样本知识图谱补全方法 |
| WO2023071530A1 (zh) * | 2021-10-26 | 2023-05-04 | 之江实验室 | 一种小样本弱标注条件下的医疗事件识别方法及系统 |
| CN116186295A (zh) * | 2023-04-28 | 2023-05-30 | 湖南工商大学 | 基于注意力的知识图谱链接预测方法、装置、设备及介质 |
| CN116304061A (zh) * | 2023-05-17 | 2023-06-23 | 中南大学 | 基于层次文本图结构学习的文本分类方法、装置及介质 |
| CN116432750A (zh) * | 2023-04-13 | 2023-07-14 | 华中师范大学 | 一种基于盒嵌入的少样本知识图谱补全方法 |
| CN116681135A (zh) * | 2023-05-26 | 2023-09-01 | 浙江工业大学 | 基于自适应上下文匹配网络的小样本汽车供应链知识图谱补全方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230132545A1 (en) * | 2021-10-29 | 2023-05-04 | Accenture Global Solutions Limited | Methods and Systems for Approximating Embeddings of Out-Of-Knowledge-Graph Entities for Link Prediction in Knowledge Graph |
-
2023
- 2023-12-18 CN CN202311741314.2A patent/CN117435747B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111506714A (zh) * | 2019-01-30 | 2020-08-07 | 百度（美国）有限责任公司 | 基于知识图嵌入的问题回答 |
| EP3859745A1 (en) * | 2020-02-03 | 2021-08-04 | National Centre for Scientific Research "Demokritos" | System and method for identifying drug-drug interactions |
| KR20210114256A (ko) * | 2020-03-10 | 2021-09-23 | 연세대학교 산학협력단 | 지식 그래프를 이용한 상황 인지형 다중 문장 관계 추출 방법 및 장치 |
| WO2022258620A1 (en) * | 2021-06-08 | 2022-12-15 | Siemens Aktiengesellschaft | Method and system for automated analysis of industrial cyber-security events |
| CN113535984A (zh) * | 2021-08-11 | 2021-10-22 | 华侨大学 | 一种基于注意力机制的知识图谱关系预测方法及装置 |
| WO2023071530A1 (zh) * | 2021-10-26 | 2023-05-04 | 之江实验室 | 一种小样本弱标注条件下的医疗事件识别方法及系统 |
| CN114610897A (zh) * | 2022-02-25 | 2022-06-10 | 北京工业大学 | 基于图注意力机制的医学知识图谱关系预测方法 |
| CN114756687A (zh) * | 2022-03-30 | 2022-07-15 | 同济大学 | 基于自学习实体关系联合抽取的钢铁产线设备诊断方法 |
| CN115809346A (zh) * | 2022-12-07 | 2023-03-17 | 大连理工大学 | 一种基于多视图语义增强的小样本知识图谱补全方法 |
| CN116432750A (zh) * | 2023-04-13 | 2023-07-14 | 华中师范大学 | 一种基于盒嵌入的少样本知识图谱补全方法 |
| CN116186295A (zh) * | 2023-04-28 | 2023-05-30 | 湖南工商大学 | 基于注意力的知识图谱链接预测方法、装置、设备及介质 |
| CN116304061A (zh) * | 2023-05-17 | 2023-06-23 | 中南大学 | 基于层次文本图结构学习的文本分类方法、装置及介质 |
| CN116681135A (zh) * | 2023-05-26 | 2023-09-01 | 浙江工业大学 | 基于自适应上下文匹配网络的小样本汽车供应链知识图谱补全方法 |
Non-Patent Citations (3)
| Title |
|---|
| SPBERE:Boosting span-based pipeline biomedical entity and relation extraction via entity information;Chen Xianlai;《JOURNAL OF BIOMEDICA INFORMATICS》;20230917;全文 * |
| 结合多头自注意力机制与 BiLSTM-CRF 的中文临床实体识别;陈先来等;《湖南大学学报》;20210430;第48卷(第4期);全文 * |
| 面向脚本事件预测的稠密事件图嵌入;安莹;《湖南大学学报》;20230831;第50卷(第8期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117435747A (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Metapred: Meta-learning for clinical risk prediction with limited patient electronic health records | |
| d’Amato et al. | Injecting background knowledge into embedding models for predictive tasks on knowledge graphs | |
| Khalid et al. | Machine learning hybrid model for the prediction of chronic kidney disease | |
| CN112765370B (zh) | 知识图谱的实体对齐方法、装置、计算机设备和存储介质 | |
| CN114093527A (zh) | 一种基于空间相似性约束和非负矩阵分解的药物重定位方法和系统 | |
| CN112380835A (zh) | 融合实体和句子推理信息的问题答案提取方法及电子装置 | |
| CN110163247A (zh) | 基于深度最近类均值的模型设计方法及增量气味分类方法 | |
| Ye et al. | Medretriever: Target-driven interpretable health risk prediction via retrieving unstructured medical text | |
| He et al. | KG-MTT-BERT: knowledge graph enhanced BERT for multi-type medical text classification | |
| Kawano et al. | Seq2seq fingerprint with byte-pair encoding for predicting changes in protein stability upon single point mutation | |
| CN112201348B (zh) | 基于知识感知的多中心临床数据集适配设备 | |
| CN117435747B (zh) | 基于多层级细化网络的少样本链接预测药物再利用方法 | |
| Lu et al. | Counting crowd by weighing counts: A sequential decision-making perspective | |
| CN114121212B (zh) | 一种基于知识图谱和群表示学习的中药处方生成方法 | |
| CN116741408A (zh) | 多视角自注意力预测药物与疾病关联的方法 | |
| CN117038096A (zh) | 一种基于低资源医疗数据与知识挖掘的慢性疾病预测方法 | |
| CN116630062A (zh) | 一种医保欺诈行为检测方法、系统、存储介质 | |
| Ye et al. | MedAttacker: Exploring black-box adversarial attacks on risk prediction models in healthcare | |
| Li et al. | An assistant decision-making method for rare diseases based on RNNs model | |
| Jacob | Subgraph classification through neighborhood pooling | |
| Singhal et al. | EPMS: A framework for large-scale patient matching | |
| Chen et al. | COVID-19 Vaccine Adverse Event Detection Based on Multi-label Classification with Various Label Selection Strategies | |
| Karuppuchamy et al. | Efficient IoT-machine learning assisted heart failure prediction using adaptive fuzzy-based LSTM-RNN algorithm | |
| KR20230073630A (ko) | 화합물 최적화를 위한 장치 및 방법 | |
| Liu | Machine Learning Framework for Real-World Electronic Health Records Regarding Missingness, Interpretability, and Fairness |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |