CN117435995B - 一种基于残差图网络的生物医药分类方法 - Google Patents

一种基于残差图网络的生物医药分类方法 Download PDF

Info

Publication number
CN117435995B
CN117435995B CN202311753899.XA CN202311753899A CN117435995B CN 117435995 B CN117435995 B CN 117435995B CN 202311753899 A CN202311753899 A CN 202311753899A CN 117435995 B CN117435995 B CN 117435995B
Authority
CN
China
Prior art keywords
representing
layer
node
feature
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311753899.XA
Other languages
English (en)
Other versions
CN117435995A (zh
Inventor
王翔
魏玉锌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian University Of Science And Technology
Original Assignee
Fujian University Of Science And Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian University Of Science And Technology filed Critical Fujian University Of Science And Technology
Priority to CN202311753899.XA priority Critical patent/CN117435995B/zh
Publication of CN117435995A publication Critical patent/CN117435995A/zh
Application granted granted Critical
Publication of CN117435995B publication Critical patent/CN117435995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pathology (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Toxicology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了生物医药数据处理技术领域的一种基于残差图网络的生物医药分类方法，包括：步骤S1、获取大量的生物医药图数据，基于各生物医药图数据构建数据集，基于7：1.5：1.5的比例将数据集划分为训练集、验证集以及测试集；步骤S2、基于特征提取层、特征融合层以及预测输出层构建一生物医药分类模型；步骤S3、通过训练集对生物医药分类模型进行训练，通过验证集对训练后的生物医药分类模型进行验证；步骤S4、通过测试集对验证后的生物医药分类模型进行测试，并不断优化生物医药分类模型的损失函数、优化器函数以及超参数；步骤S5、利用测试后的生物医药分类模型进行生物医药分类。本发明的优点在于：极大的提升了生物医药分类的准确性。

Description

一种基于残差图网络的生物医药分类方法
技术领域
本发明涉及生物医药数据处理技术领域，特别指一种基于残差图网络的生物医药分类方法。
背景技术
现实生活中存在大量、复杂的网络数据，如社交网络、知识图谱、蛋白质、病毒、购物网络、分子化合物等，这些网络数据可以被抽象为一个图，即图结构数据。与传统的数据类型相比，图结构数据具有更为复杂的结构和更高的维度，因此对图结构数据的分析和处理也具有更高的挑战性。
深度学习在处理图结构数据方面表现出强大的学习能力，因此越来越多的应用于图结构数据的分析和处理，如应用于推荐系统、链路预测、图分类、节点分类等领域。其中的图分类主要应用于药物发现、病毒分析、蛋白质分析、分子化合物分析等；与图像分类不同，由于生物医药的图结构数据存在复杂的拓扑结构和特征信息，这些拓扑结构和特征信息对生成整个图结构数据的表示具有很大影响。
然而，传统在生物医药分类的建模过程中，要么集中在图结构数据的拓扑结构建模上,要么集中在特征信息的建模上，未能同时提取并融合图结构数据的节点特征、结构特征和全局依赖特征（长距离依赖特征），导致生物医药分类的准确性还有待提升。
因此，如何提供一种基于残差图网络的生物医药分类方法，实现提升生物医药分类的准确性，成为一个亟待解决的技术问题。
发明内容
本发明要解决的技术问题，在于提供一种基于残差图网络的生物医药分类方法，实现提升生物医药分类的准确性。
本发明是这样实现的：一种基于残差图网络的生物医药分类方法，包括如下步骤：
步骤S1、获取大量的生物医药图数据，基于各所述生物医药图数据构建数据集，基于7：1.5：1.5的比例将所述数据集划分为训练集、验证集以及测试集，分别对所述训练集、验证集以及测试集执行标准化处理；
步骤S2、基于特征提取层、特征融合层以及预测输出层构建一生物医药分类模型；
所述特征提取层用于从生物医药图数据中提取节点特征、结构特征以及全局依赖特征，将所述节点特征、结构特征以及全局依赖特征拼接得到综合特征并输入特征融合层；
所述特征融合层用于对特征提取层输出的各综合特征进行融合，得到整图特征并输入预测输出层；
所述预测输出层用于将整图特征映射到生物医药分类的预测结果并进行输出；
步骤S3、通过所述训练集对生物医药分类模型进行训练，通过所述验证集对训练后的生物医药分类模型进行验证；
步骤S4、通过所述测试集对验证后的生物医药分类模型进行测试，并不断优化所述生物医药分类模型的损失函数、优化器函数以及超参数；
步骤S5、利用测试后的所述生物医药分类模型进行生物医药分类。
进一步的，所述步骤S1中，所述分别对训练集、验证集以及测试集执行标准化处理具体为：
分别从所述训练集、验证集以及测试集中，提取出生物医药图数据的节点特征矩阵、邻接矩阵/>；
其中，X表示节点特征矩阵；R表示实数；n表示节点数量；d表示节点特征维度；A表示邻接矩阵。
进一步的，所述步骤S2中，所述特征提取层由节点特征嵌入模块以及特征提取模块组成；所述特征提取模块由图同构网络单元、多头注意力单元以及拼接单元组成；
所述节点特征嵌入模块用于从生物医药图数据中提取节点特征嵌入表示；所述图同构网络单元用于从节点特征嵌入表示中提取节点特征以及结构特征；所述多头注意力单元用于从节点特征嵌入表示中提取节点特征、结构特征以及全局依赖特征；所述拼接单元用于对节点特征、结构特征以及全局依赖特征进行拼接得到综合特征；
所述图同构网络单元和多头注意力单元构成双特征提取通道。
进一步的，所述节点特征嵌入模块的公式为：；；
其中，MLP()表示多层感知机函数；和/>均表示可学习参数；X表示节点特征矩阵；A表示邻接矩阵；D表示A的度矩阵，为一个对角矩阵，且/>，R表示实数，n表示节点数量；/>表示D的逆矩阵；H表示节点特征嵌入模块输出的节点特征嵌入表示；/>表示节点特征嵌入模块的一个中间计算结果；
所述图同构网络单元的公式为：；；
其中，表示图同构网络单元的输入；/>表示第k层图同构网络单元输出的节点特征以及结构特征的特征矩阵；/>表示第/>层图同构网络单元的多层感知机函数；/>表示第/>层图同构网络单元的可学习参数；/>表示第/>层图同构网络单元输出的节点特征以及结构特征的特征矩阵；
将每一层的进行堆叠，得到新的特征矩阵：/>；
其中，表示堆叠后的特征矩阵，维度为J’×n×d，J’表示图同构网络单元的层数，n表示节点数量，d表示节点特征维度；/>表示第J’层图同构网络单元的输出；表示堆栈函数；
所述多头注意力单元的计算过程如下：
将所述节点特征嵌入表示通过线性层投影到三个不同的子空间，分别得到矩阵Q、矩阵K以及矩阵V，且，/>；/>，/>；/>，；/>表示子空间维度，/>，d表示节点特征维度，M表示多头注意力机制的头数；/>，表示可学习参数矩阵；/>，表示可学习参数矩阵；，表示可学习参数矩阵；
计算生物医药图数据中的各节点对其他节点的注意力得分：；/>；
其中，表示注意力得分，且/>；/>表示非线性激活函数，用于将注意力得分归一化到（0，1）区间；/>表示K的转置；L表示归一化后的拉普拉斯特征矩阵，且/>；I表示单位矩阵，且/>；
基于所述注意力得分计算各节点新的注意力值，使用多头注意力独立计算M个注意力值并进行拼接：；；
其中，表示第i个注意力值，/>表示第1个注意力值，/>表示第M个注意力值；/>，/>，/>，均表示权重矩阵，用于将H投影到子空间；/>表示拼接函数；/>表示注意力值的拼接结果；
通过残差连接和前馈神经网络，将所述拼接结果转换为节点特征、结构特征以及全局依赖特征的特征矩阵进行输出：；/>；
其中，表示多头注意力单元的输入；/>表示第k层多头注意力单元输出的节点特征、结构特征以及全局依赖特征的特征矩阵，且/>；/>表示特征归一化函数；/>表示前馈神经网络；/>表示第/>层多头注意力单元输出的节点特征、结构特征以及全局依赖特征的特征矩阵；
所述拼接单元的公式为：；
其中，表示综合特征，即特征提取层中的特征提取模块的输出，维度为J×n×d，J表示多头注意力单元的层数；/>表示堆栈函数；/>表示第J层多头注意力单元的输出。
进一步的，所述步骤S2中，所述特征融合层由长短期记忆模块以及读出函数组成；
所述长短期记忆模块用于将不同特征提取层的综合特征进行顺序输入，得到对应的综合特征表示输入读出函数；所述读出函数用于求取各综合特征表示中，每个特征维度的和，进而得到整图特征。
进一步的，所述长短期记忆模块的公式为：；；
其中，表示拼接函数；/>表示综合特征，即特征提取层中的特征提取模块的输出；/>表示特征提取层中的图同构网络单元的输出；/>表示将/>和拼接得到的特征矩阵，/>，J表示多头注意力模块的层数，n表示节点数量，d表示节点特征维度；/>表示长短期记忆网络；/>表示综合特征表征，/>，/>的维度为n×2d；
所述读出函数的公式为：；
其中，表示整图特征，且/>；/>表示索引。
进一步的，所述步骤S2中，所述预测输出层由全连接层以及激活函数层组成。
进一步的，所述步骤S2中，所述预测输出层的公式为：；
其中，P表示生物医药分类的预测结果；表示非线性激活函数；表示全连接层；/>表示激活函数；/>表示整图特征。
本发明的优点在于：
通过获取大量的生物医药图数据构建数据集，将数据集划分为训练集、验证集以及测试集并执行标准化处理，再基于特征提取层、特征融合层以及预测输出层构建一生物医药分类模型；接着通过训练集对生物医药分类模型进行训练，通过验证集对训练后的生物医药分类模型进行验证，通过测试集对验证后的生物医药分类模型进行测试，并不断优化生物医药分类模型的损失函数、优化器函数以及超参数，最后利用测试后的生物医药分类模型进行生物医药分类；由于特征提取层用于从生物医药图数据中提取节点特征、结构特征以及全局依赖特征，将节点特征、结构特征以及全局依赖特征拼接得到综合特征并输入特征融合层，特征融合层用于对不同层的综合特征进行融合得到整图特征并输入预测输出层，预测输出层用于将整图特征映射到生物医药分类的预测结果并进行输出；即生物医药分类模型可以同时提取并融合生物医药图数据的节点特征、结构特征和全局依赖特征，进而极大的提升了生物医药分类的准确性。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1是本发明一种基于残差图网络的生物医药分类方法的流程图。
图2是本发明生物医药分类模型的结构示意图。
图3是本发明多头注意力模块的结构示意图。
具体实施方式
本申请实施例中的技术方案，总体思路如下：基于特征提取层、特征融合层以及预测输出层构建用于生物医药分类的生物医药分类模型，特征提取层用于从生物医药图数据中提取节点特征、结构特征以及全局依赖特征，将节点特征、结构特征以及全局依赖特征拼接得到综合特征并输入特征融合层，特征融合层用于对不同层的综合特征进行融合得到整图特征并输入预测输出层，预测输出层用于将整图特征映射到生物医药分类的预测结果并进行输出，使得生物医药分类模型可以同时提取并融合生物医药图数据的节点特征、结构特征和全局依赖特征，以提升生物医药分类的准确性。
请参照图1至图3所示，本发明一种基于残差图网络的生物医药分类方法的较佳实施例，包括如下步骤：
步骤S1、获取大量的生物医药图数据，基于各所述生物医药图数据构建数据集，基于7：1.5：1.5的比例将所述数据集划分为训练集、验证集以及测试集，分别对所述训练集、验证集以及测试集执行标准化处理；
具体实施时，可选取公共生物医药数据集NCI1作为所述数据集；
步骤S2、基于特征提取层、特征融合层以及预测输出层构建一生物医药分类模型；
所述特征提取层用于从生物医药图数据中提取节点特征、结构特征以及全局依赖特征，将所述节点特征、结构特征以及全局依赖特征拼接得到综合特征并输入特征融合层；
所述特征融合层用于对特征提取层输出的各综合特征进行融合，得到整图特征并输入预测输出层；
所述预测输出层用于将整图特征映射到生物医药分类的预测结果并进行输出；
步骤S3、通过所述训练集对生物医药分类模型进行训练，通过所述验证集对训练后的生物医药分类模型进行验证；
所述生物医药分类模型训练过程中，使用交叉熵损失函数计算分类产生的损失，即衡量模型性能：；
其中，，表示模型的预测；/>，表示模型的标签；
步骤S4、通过所述测试集对验证后的生物医药分类模型进行测试，并不断优化所述生物医药分类模型的损失函数、优化器函数以及超参数，寻找使所述生物医药分类模型性能最佳的参数组合；
具体实施时，所述生物医药分类模型的训练总迭代次数为300次，批量大小为8，优化策略使用随机梯度下降法，初始学习率设置为0.001；
步骤S5、利用测试后的所述生物医药分类模型进行生物医药分类。
即将生物医药图数据执行标准化处理后输入所述生物医药分类模型，得到生物医药分类的预测结果/>。
所述生物医药分类模型的双通道特征捕获，能捕捉生物医药图数据的多方面特征信息，可以有效地学习生物医药图数据的拓扑结构信息以及长距离节点的依赖信息，同时提升网络的表达效果和网络的灵活性；特征融合层可以通过对不同层的特征学习捕获多样的深层特征信息，且有效聚合不同网络层级的特征信息，能够学习更加有效的图特征表示，进而提升生物医药分类的准确性。
所述步骤S1中，所述分别对训练集、验证集以及测试集执行标准化处理具体为：
分别从所述训练集、验证集以及测试集中，提取出生物医药图数据的节点特征矩阵、邻接矩阵/>；
其中，X表示节点特征矩阵；R表示实数；n表示节点数量；d表示节点特征维度；A表示邻接矩阵。
所述步骤S2中，所述特征提取层由节点特征嵌入模块以及特征提取模块组成；所述特征提取模块由图同构网络单元（GIN）、多头注意力单元（L-Trans）以及拼接单元组成；
所述节点特征嵌入模块用于从生物医药图数据中提取节点特征嵌入表示；所述图同构网络单元用于从节点特征嵌入表示中提取节点特征以及结构特征；所述多头注意力单元用于从节点特征嵌入表示中提取节点特征、结构特征以及全局依赖特征；所述拼接单元用于对节点特征、结构特征以及全局依赖特征进行拼接得到综合特征；
所述图同构网络单元和多头注意力单元构成双特征提取通道。
所述节点特征嵌入模块的公式为：；；
其中，MLP()表示多层感知机函数，用于增加非线性变换；和/>均表示可学习参数，用于平衡节点自身和邻居节点的贡献；X表示节点特征矩阵；A表示邻接矩阵；D表示A的度矩阵，为一个对角矩阵，且/>，R表示实数，n表示节点数量，对角元素值为；/>表示D的逆矩阵；H表示节点特征嵌入模块输出的节点特征嵌入表示；表示节点特征嵌入模块的一个中间计算结果；
所述节点特征嵌入模块的核心思想是利用节点自身和邻居节点的特征来更新节点的表示；
所述图同构网络单元的公式为：；；
其中，表示图同构网络单元的输入；/>表示第k层图同构网络单元输出的节点特征以及结构特征的特征矩阵；/>表示第/>层图同构网络单元的多层感知机函数；/>表示第/>层图同构网络单元的可学习参数；/>表示第/>层图同构网络单元输出的节点特征以及结构特征的特征矩阵；
为了捕获不同层次的拓扑结构信息，将每一层的进行堆叠，得到新的特征矩阵：/>；
其中，表示堆叠后的特征矩阵，维度为J’×n×d，J’表示图同构网络单元的层数，n表示节点数量，d表示节点特征维度；/>表示第J’层图同构网络单元的输出；表示堆栈函数；
所述图同构网络单元用于捕获图中节点之间的拓扑结构信息，即图中相邻节点之间的相互影响，其原理是利用图卷积神经网络来更新节点的特征，同时保留节点自身的特征；
所述多头注意力单元的计算过程如下：
将所述节点特征嵌入表示通过线性层投影到三个不同的子空间，分别得到矩阵Q、矩阵K以及矩阵V，且，/>；/>，/>；/>，；/>表示子空间维度，/>，d表示节点特征维度，M表示多头注意力机制的头数，取值优选为4；/>，表示可学习参数矩阵；/>，表示可学习参数矩阵；/>，表示可学习参数矩阵；
计算生物医药图数据中的各节点对其他节点的注意力得分：；/>；
其中，表示注意力得分，且/>；/>表示非线性激活函数，用于将注意力得分归一化到（0，1）区间；/>表示K的转置；L表示归一化后的拉普拉斯特征矩阵，且/>；I表示单位矩阵，且/>，是拉普拉斯矩阵的一个变体；
基于所述注意力得分计算各节点新的注意力值，使用多头注意力独立计算M个注意力值并进行拼接：；；
其中，表示第i个注意力值，/>表示第1个注意力值，/>表示第M个注意力值；/>，/>，/>，均表示权重矩阵，用于将H投影到子空间；/>表示拼接函数；/>表示注意力值的拼接结果；
为了增加所述生物医药分类模型的非线性和复杂度，通过残差连接和前馈神经网络，将所述拼接结果转换为节点特征、结构特征以及全局依赖特征的特征矩阵进行输出：；/>；
其中，表示多头注意力单元的输入；/>表示第k层多头注意力单元输出的节点特征、结构特征以及全局依赖特征的特征矩阵，且/>；/>表示特征归一化函数，用于缓解梯度消失或爆炸的问题；/>表示前馈神经网络，用于增强模型的表达能力；/>表示第/>层多头注意力单元输出的节点特征、结构特征以及全局依赖特征的特征矩阵；
所述多头注意力模块用于捕获图中节点之间的长距离依赖关系，即图中相隔较远的节点之间的相互影响，原理是利用注意力机制来计算每个节点对其他节点的关注程度，然后根据这些关注程度来更新节点的特征；
所述拼接单元的公式为：；
其中，表示综合特征，即特征提取层中的特征提取模块的输出，维度为J×n×d，J表示多头注意力单元的层数，取值优选为3；/>表示堆栈函数；/>表示第J层多头注意力单元的输出。
所述步骤S2中，所述特征融合层由长短期记忆模块（LSTM）以及读出函数组成；
所述长短期记忆模块用于将不同特征提取层的综合特征进行顺序输入，得到对应的综合特征表示输入读出函数；所述读出函数用于求取各综合特征表示中，每个特征维度的和，进而得到整图特征。
所述特征融合层用于提取更高层次的特征信息，以便进行图分类任务，核心思想是利用LSTM的方法，来融合不同层次的特征信息，并提取出有用信息。
所述长短期记忆模块的公式为：；/>；
其中，表示拼接函数；/>表示综合特征，即特征提取层中的特征提取模块的输出；/>表示特征提取层中的图同构网络单元的输出；/>表示将/>和拼接得到的特征矩阵，/>，J表示多头注意力模块的层数，n表示节点数量，d表示节点特征维度；/>表示长短期记忆网络；/>表示综合特征表征，/>，/>的维度为n×2d；
所述读出函数的公式为：；
其中，表示整图特征，且/>；/>表示索引，取第i行的所有数据，读出函数按行将各数据相加。
所述步骤S2中，所述预测输出层由全连接层（线性层）以及激活函数层组成。
所述步骤S2中，所述预测输出层的公式为：；
其中，P表示生物医药分类的预测结果；表示非线性激活函数；表示全连接层；/>表示激活函数；/>表示整图特征。
综上所述，本发明的优点在于：
通过获取大量的生物医药图数据构建数据集，将数据集划分为训练集、验证集以及测试集并执行标准化处理，再基于特征提取层、特征融合层以及预测输出层构建一生物医药分类模型；接着通过训练集对生物医药分类模型进行训练，通过验证集对训练后的生物医药分类模型进行验证，通过测试集对验证后的生物医药分类模型进行测试，并不断优化生物医药分类模型的损失函数、优化器函数以及超参数，最后利用测试后的生物医药分类模型进行生物医药分类；由于特征提取层用于从生物医药图数据中提取节点特征、结构特征以及全局依赖特征，将节点特征、结构特征以及全局依赖特征拼接得到综合特征并输入特征融合层，特征融合层用于对不同层的综合特征进行融合得到整图特征并输入预测输出层，预测输出层用于将整图特征映射到生物医药分类的预测结果并进行输出；即生物医药分类模型可以同时提取并融合生物医药图数据的节点特征、结构特征和全局依赖特征，进而极大的提升了生物医药分类的准确性。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (4)

1.一种基于残差图网络的生物医药分类方法，其特征在于：包括如下步骤：
步骤S1、获取大量的生物医药图数据，基于各所述生物医药图数据构建数据集，基于7：1.5：1.5的比例将所述数据集划分为训练集、验证集以及测试集，分别对所述训练集、验证集以及测试集执行标准化处理；
步骤S2、基于特征提取层、特征融合层以及预测输出层构建一生物医药分类模型；
所述特征提取层用于从生物医药图数据中提取节点特征、结构特征以及全局依赖特征，将所述节点特征、结构特征以及全局依赖特征拼接得到综合特征并输入特征融合层；
所述特征融合层用于对特征提取层输出的各综合特征进行融合，得到整图特征并输入预测输出层；
所述预测输出层用于将整图特征映射到生物医药分类的预测结果并进行输出；
所述特征提取层由节点特征嵌入模块以及特征提取模块组成；所述特征提取模块由图同构网络单元、多头注意力单元以及拼接单元组成；
所述节点特征嵌入模块用于从生物医药图数据中提取节点特征嵌入表示；所述图同构网络单元用于从节点特征嵌入表示中提取节点特征以及结构特征；所述多头注意力单元用于从节点特征嵌入表示中提取节点特征、结构特征以及全局依赖特征；所述拼接单元用于对节点特征、结构特征以及全局依赖特征进行拼接得到综合特征；
所述图同构网络单元和多头注意力单元构成双特征提取通道；
所述特征融合层由长短期记忆模块以及读出函数组成；
所述长短期记忆模块用于将不同特征提取层的综合特征进行顺序输入，得到对应的综合特征表示输入读出函数；所述读出函数用于求取各综合特征表示中，每个特征维度的和，进而得到整图特征；
所述预测输出层由全连接层以及激活函数层组成；
所述节点特征嵌入模块的公式为：；；
其中，MLP()表示多层感知机函数；和/>均表示可学习参数；X表示节点特征矩阵；A表示邻接矩阵；D表示A的度矩阵，为一个对角矩阵，且/>，R表示实数，n表示节点数量；/>表示D的逆矩阵；H表示节点特征嵌入模块输出的节点特征嵌入表示；/>表示节点特征嵌入模块的一个中间计算结果；
所述图同构网络单元的公式为：；；
其中，表示图同构网络单元的输入；/>表示第k层图同构网络单元输出的节点特征以及结构特征的特征矩阵；/>表示第/>层图同构网络单元的多层感知机函数；/>表示第/>层图同构网络单元的可学习参数；/>表示第/>层图同构网络单元输出的节点特征以及结构特征的特征矩阵；
将每一层的进行堆叠，得到新的特征矩阵：/>；
其中，表示堆叠后的特征矩阵，维度为J’×n×d，J’表示图同构网络单元的层数，n表示节点数量，d表示节点特征维度；/>表示第J’层图同构网络单元的输出；/>表示堆栈函数；
所述多头注意力单元的计算过程如下：
将所述节点特征嵌入表示通过线性层投影到三个不同的子空间，分别得到矩阵Q、矩阵K以及矩阵V，且，/>；/>，/>；/>，；/>表示子空间维度，/>，d表示节点特征维度，M表示多头注意力机制的头数；/>，表示可学习参数矩阵；/>，表示可学习参数矩阵；，表示可学习参数矩阵；
计算生物医药图数据中的各节点对其他节点的注意力得分：；/>；
其中，表示注意力得分，且/>；/>表示非线性激活函数，用于将注意力得分归一化到（0，1）区间；/>表示K的转置；L表示归一化后的拉普拉斯特征矩阵，且/>；I表示单位矩阵，且/>；
基于所述注意力得分计算各节点新的注意力值，使用多头注意力独立计算M个注意力值并进行拼接：；；
其中，表示第i个注意力值，/>表示第1个注意力值，/>表示第M个注意力值；/>，/>，/>，均表示权重矩阵，用于将H投影到子空间；/>表示拼接函数；/>表示注意力值的拼接结果；
通过残差连接和前馈神经网络，将所述拼接结果转换为节点特征、结构特征以及全局依赖特征的特征矩阵进行输出：；/>；
其中，表示多头注意力单元的输入；/>表示第k层多头注意力单元输出的节点特征、结构特征以及全局依赖特征的特征矩阵，且/>；/>表示特征归一化函数；/>表示前馈神经网络；/>表示第/>层多头注意力单元输出的节点特征、结构特征以及全局依赖特征的特征矩阵；
使用残差图网络的结构将每一层所述多头注意力单元输出的特征矩阵进行集成，构成的所述拼接单元的公式为：；
其中，表示综合特征，即特征提取层中的特征提取模块的输出，维度为J×n×d，J表示多头注意力单元的层数；/>表示堆栈函数；/>表示第J层多头注意力单元的输出；
步骤S3、通过所述训练集对生物医药分类模型进行训练，通过所述验证集对训练后的生物医药分类模型进行验证；
步骤S4、通过所述测试集对验证后的生物医药分类模型进行测试，并不断优化所述生物医药分类模型的损失函数、优化器函数以及超参数；
步骤S5、利用测试后的所述生物医药分类模型进行生物医药分类。
2.如权利要求1所述的一种基于残差图网络的生物医药分类方法，其特征在于：所述步骤S1中，所述分别对训练集、验证集以及测试集执行标准化处理具体为：
分别从所述训练集、验证集以及测试集中，提取出生物医药图数据的节点特征矩阵、邻接矩阵/>；
其中，X表示节点特征矩阵；R表示实数；n表示节点数量；d表示节点特征维度；A表示邻接矩阵。
3.如权利要求1所述的一种基于残差图网络的生物医药分类方法，其特征在于：所述长短期记忆模块的公式为：；/>；
其中，表示拼接函数；/>表示综合特征，即特征提取层中的特征提取模块的输出；/>表示特征提取层中的图同构网络单元的输出；/>表示将/>和/>拼接得到的特征矩阵，/>，J表示多头注意力模块的层数，n表示节点数量，d表示节点特征维度；/>表示长短期记忆网络；/>表示综合特征表征，/>，/>的维度为n×2d；
所述读出函数的公式为：；
其中，表示整图特征，且/>；/>表示索引。
4.如权利要求1所述的一种基于残差图网络的生物医药分类方法，其特征在于：所述步骤S2中，所述预测输出层的公式为：；
其中，P表示生物医药分类的预测结果；表示非线性激活函数；/>表示全连接层；/>表示激活函数；/>表示整图特征。
CN202311753899.XA 2023-12-20 2023-12-20 一种基于残差图网络的生物医药分类方法 Active CN117435995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311753899.XA CN117435995B (zh) 2023-12-20 2023-12-20 一种基于残差图网络的生物医药分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311753899.XA CN117435995B (zh) 2023-12-20 2023-12-20 一种基于残差图网络的生物医药分类方法

Publications (2)

Publication Number Publication Date
CN117435995A CN117435995A (zh) 2024-01-23
CN117435995B true CN117435995B (zh) 2024-03-19

Family

ID=89552007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311753899.XA Active CN117435995B (zh) 2023-12-20 2023-12-20 一种基于残差图网络的生物医药分类方法

Country Status (1)

Country Link
CN (1) CN117435995B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113470735A (zh) * 2021-06-29 2021-10-01 上海商汤智能科技有限公司 预测方法及装置、电子设备和存储介质
CN114743590A (zh) * 2021-01-07 2022-07-12 中国石油大学(华东) 基于图卷积神经网络的药物-靶标亲和力预测系统、计算机设备、存储介质
CN115222688A (zh) * 2022-07-12 2022-10-21 广东技术师范大学 基于图网络时间序列的医学影像分类方法
CN116628597A (zh) * 2023-07-21 2023-08-22 福建理工大学 一种基于关系路径注意力的异质图节点分类方法
CN116821776A (zh) * 2023-08-30 2023-09-29 福建理工大学 一种基于图自注意力机制的异质图网络节点分类方法
CN117034100A (zh) * 2023-04-14 2023-11-10 西安邗曦智慧科技有限公司 基于分层池化架构自适应图分类方法、系统、设备和介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743590A (zh) * 2021-01-07 2022-07-12 中国石油大学(华东) 基于图卷积神经网络的药物-靶标亲和力预测系统、计算机设备、存储介质
CN113470735A (zh) * 2021-06-29 2021-10-01 上海商汤智能科技有限公司 预测方法及装置、电子设备和存储介质
CN115222688A (zh) * 2022-07-12 2022-10-21 广东技术师范大学 基于图网络时间序列的医学影像分类方法
CN117034100A (zh) * 2023-04-14 2023-11-10 西安邗曦智慧科技有限公司 基于分层池化架构自适应图分类方法、系统、设备和介质
CN116628597A (zh) * 2023-07-21 2023-08-22 福建理工大学 一种基于关系路径注意力的异质图节点分类方法
CN116821776A (zh) * 2023-08-30 2023-09-29 福建理工大学 一种基于图自注意力机制的异质图网络节点分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多尺度特征融合与反复注意力机制的细粒度图像分类算法;何凯;冯旭;高圣楠;马希涛;;天津大学学报(自然科学与工程技术版);20200902(第10期);全文 *

Also Published As

Publication number Publication date
CN117435995A (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN110597991B (zh) 文本分类方法、装置、计算机设备及存储介质
CN110070183B (zh) 一种弱标注数据的神经网络模型训练方法及装置
CN107506740B (zh) 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN112241481B (zh) 基于图神经网络的跨模态新闻事件分类方法及系统
CN111428071B (zh) 一种基于多模态特征合成的零样本跨模态检索方法
CN108062551A (zh) 一种基于邻接矩阵的图特征提取系统、图分类系统和方法
CN112417063B (zh) 一种基于异构关系网络的相容功能项推荐方法
CN111737551A (zh) 一种基于异构图注意力神经网络的暗网线索检测方法
CN112138403B (zh) 交互行为的识别方法和装置、存储介质及电子设备
CN114462520A (zh) 一种基于流量分类的网络入侵检测方法
CN113283902B (zh) 一种基于图神经网络的多通道区块链钓鱼节点检测方法
CN116628597B (zh) 一种基于关系路径注意力的异质图节点分类方法
CN113822315A (zh) 属性图的处理方法、装置、电子设备及可读存储介质
CN116416478B (zh) 一种基于图结构数据特征的生物信息学分类模型
CN113904844B (zh) 基于跨模态教师-学生网络的智能合约漏洞检测方法
CN113011167B (zh) 基于人工智能的作弊识别方法、装置、设备及存储介质
CN112381179A (zh) 一种基于双层注意力机制的异质图分类方法
CN114281931A (zh) 文本匹配方法、装置、设备、介质及计算机程序产品
CN113343813A (zh) 一种基于单节点光子储备池计算的动作视频识别方法
CN117421595A (zh) 一种基于深度学习技术的系统日志异常检测方法及系统
CN111144453A (zh) 构建多模型融合计算模型的方法及设备、网站数据识别方法及设备
CN117435995B (zh) 一种基于残差图网络的生物医药分类方法
CN116680633A (zh) 基于多任务学习的异常用户检测方法、系统及存储介质
CN114298854B (zh) 一种联合学习表示和对齐的弱监督用户身份链接方法
CN114862588A (zh) 一种面向区块链交易行为的异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant