CN115376614A - 基于卷积神经网络与注意力机制结合的关键路径识别方法 - Google Patents

基于卷积神经网络与注意力机制结合的关键路径识别方法 Download PDF

Info

Publication number
CN115376614A
CN115376614A CN202210388710.0A CN202210388710A CN115376614A CN 115376614 A CN115376614 A CN 115376614A CN 202210388710 A CN202210388710 A CN 202210388710A CN 115376614 A CN115376614 A CN 115376614A
Authority
CN
China
Prior art keywords
network
neural network
convolutional neural
attention mechanism
identifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210388710.0A
Other languages
English (en)
Inventor
袁林
赖锦灵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202210388710.0A priority Critical patent/CN115376614A/zh
Publication of CN115376614A publication Critical patent/CN115376614A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioethics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biotechnology (AREA)
  • Evolutionary Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于卷积神经网络与注意力机制结合的关键路径识别方法，采用交叉验证方式测试原始数据集，对原始数据集的训练集和测试集进行主成分分析，根据基础网络主体特征提取结构，利用基准网络模型，选择损失函数，调整网络超参数，对网络进行优化，最后通过X‑GRAM技术，计算路径频率相关度，找到相关路径。传统的关键路径识别方法可解释性不够强，而本方案使用深度学习技术，将卷积神经网络与注意力机制结合，使网络更成熟，性能更好。

Description

基于卷积神经网络与注意力机制结合的关键路径识别方法
技术领域
本发明涉及计算机视觉与医学领域，具体涉及一种基于深度模型的关键路径识别方法。
背景技术
近年来，深度神经网络提供了处理非线性模块的便利，然而在处理一些复杂结构和数据依赖方面，仍然需要通过大量的抽象内容里面提取出带有有用信息的表达。而卷积神经网络在处理生物图像信息数据的问题上应用逐渐广泛，有很多生物医学检测，都运用了卷积神经网络方法，比如蛋白-RNA绑定引用、预测具体DNA、RNA绑定蛋白的序列、以及识别非编码变量的功能影响，而许多非卷积神经网络的传统的神经网络则是用于处理一些非网格结构的生物数据。
但在处理一些特定功能的数据库数据上，例如数据集GSE31210等，传统的卷积神经网络技术仍存在信息冗余、模型复杂度高、处理速度较慢的问题，导致分析结果出现一定偏差，在此基础上，需要通过对其进行改进，创造新的模型，来让此类数据处理有一个更好的提高。
发明内容
基于上述原因，本发明需要提供一种方法，既能保留卷积网络并行学习、布局更接近于实际生物神经网络的优势，又能精准筛选重要信息，忽略大多不重要的信息。为实现上述目的，本发明采用以下技术方案。
基于卷积神经网络与注意力机制结合的关键路径识别方法，包括以下步骤：
(1)数据组织，获取原始数据集，对原始数据集采用交叉验证方式测试；
(2)数据预处理，对原始数据集的训练集和测试集进行主成分分析；
(3)根据基础网络主体特征提取结构；
(4)网络训练，利用基准网络模型，选择损失函数，调整网络超参数，对网络进行优化；
(5)通过X-GRAM技术，计算路径频率相关度，找到相关路径。
优选的，步骤(1)所述原始数据集选用数据集GSE31210，交叉验证方式采用CROSS-VALIDATION5。
优选的，步骤(2)还包括：将训练集进一步分出一部分作为验证集，以控制训练过程。
优选的，主成分分析方法(PCA)包括步骤：
(21)去除平均值；
(22)计算协方差矩阵；
(23)计算协方差矩阵的特征值和特征向量；
(24)将特征值排序；
(25)保留前N个最大的特征值对应的特征向量；
(26)将原始特征转换到上面得到的N个特征向量构建的新空间中。
优选的，损失函数选用triplet loss、identification loss以及center loss相融合的损失函数。
优选的，步骤(4)使用ATT-CNN作为基准网络模型，使用dropout防止过拟合的发生。
优选的，步骤(4)还包括：使用Adam优化方法自动调节参数。
优选的，网络超参数调整包括：训练总周期设置为30，权重衰减参数为0.0001，批量大小为180，卷积核大小为2×2，核数量为64；生物数据经过了卷积层提取数据，再通过注意力机制，从通道和空间两个维度计算feature map和attention map，然后将attentionmap与输入的feature map相乘进一步提取特征。
优选的，步骤(5)包括：先将数据放入卷积与注意力层，之后经过全连接层，经过ReLU激活函数之后，找出热力图，对常见路径进行进一步分析；的路径。找到路径需要计算权值，具体公式如下：
Figure BDA0003595887590000031
有了权值之后，就可以开始进行计算特征图。具体公式如下：
Figure BDA0003595887590000041
其中，Flk(x,y)表示网络层第l层第k个特征映射的第x行第y列响应，
Figure BDA0003595887590000042
表示权值，其中c为感兴趣类别，即待可视化的类别，Mc表示各个特征映射的线性加权和，Sc(Fl)表示预测的卷积神经网络的预测的c类得分，Sc(Fl\Flk)指的是将第k个特征映射置为0后，卷积神经网络预测的c类得分，K为特征映射的总和。
本发明的优点在于：
传统的关键路径识别方法可解释性不够强，而本方案使用深度学习技术，将卷积神经网络与注意力机制结合，使网络更成熟，性能更好。
对数据集进行了PCA等预处理操作提取样本，既能够提高数据的利用率，又能够提高模型的泛化能力，提高了数据提取的有效性；将训练集进一步分出验证集，控制训练过程，有效地得到最佳状态；经过网络模型ATT-CNN模型训练，提升了传统方法的可解释性、AUC以及准确性，采用X-GRAM方法找到关键性热力图，有助于了解一张原始图像的哪一个局部位置让ATT-CNN模型做出了最终的分类决策。
附图说明
图1为本发明实施例的网络整体框图；
图2为本发明实施例的测试流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于卷积神经网络与注意力机制结合的关键路径识别方法，包括以下步骤：
S1.对原始数据集采用CROSS-VALIDATION5(五折交叉验证)的方式进行测试，以GSE31210数据集为例，将所有数据分为五份，将四份当成训练集，剩下的一份当成测试集，再重新随机分配，继续操作。
S2.对原始数据集的训练集和测试集进行PCA主成分分析，其目的是为了保证信息量不丢失的情况下，对原始特征进行降维，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大(方差最大)，以此使用较少的数据维度，同时保留住较多的原数据点的特性。PCA的具体步骤如下：
S21.去除平均值
S22.计算协方差矩阵
S23.计算协方差矩阵的特征值和特征向量
S24.将特征值排序
S25.保留前N个最大的特征值对应的特征向量
S26.将原始特征转换到上面得到的N个特征向量构建的新空间中，这一步实现了特征压缩。
S3.在对数据集进行过相应的组织和上述的主成分分析之后，再对数据进行提取，即对本次实验所使用的基因表达式再次进行特征提取，此时的矩阵会被降解为互不相关的列，然后会组成一个新的矩阵，而此时的每一列即代表之前所提取出来的特征元素，对其进行重组，此时任务所需的矩阵便产生了。
S4.数据预处理完之后，使用ATT-CNN作为基准网络模型，使用dropout防止过拟合的发生，并通过使用Adam的方式不断的减小triplet loss、identification loss以及center loss相融合的损失函数，进行权重更新，网络优化。
S5.对数据集使用已经训练好的网络进行训练之后，将结果放入Grad-CAM进行分析，分析结果通过准确率以及绘制受试者工作特征曲线(AUC)来表示。
将以上技术在GSE31210数据集(包含肺癌患者和普通人的数据)上进行测试，相关参数和权重设置如下：
网络训练总周期设置为30，权重衰减参数为0.0001，批量大小为180，卷积核大小为2×2，核数量为64；生物数据经过了卷积层提取数据，再通过注意力机制，从通道和空间两个维度计算feature map和attention map，然后将attention map与输入的feature map相乘进一步提取特征。
如图2所示，通过输入数据，经过了卷积加注意力模块来提取特征，之后经过全连接层再一次提取特征，通过计算梯度来获得权值，求得Grad-CAM的初始值再进行计算，最后经过ReLU激活函数之后，找出热力图，将不必要的数据剔除，对常见路径进行进一步分析。
找到路径需要计算权值，具体公式如下：
Figure BDA0003595887590000071
有了权值之后，就可以开始进行计算特征图。具体公式如下：
Figure BDA0003595887590000072
其中，Flk(x,y)表示网络层第l层第k个特征映射的第x行第y列响应，
Figure BDA0003595887590000073
表示权值，其中c为感兴趣类别，即待可视化的类别，Mc表示各个特征映射的线性加权和，Sc(Fl)表示预测的卷积神经网络的预测的c类得分，Sc(Fl\Flk)指的是将第k个特征映射置为0后，卷积神经网络预测的c类得分，K为特征映射的总和。
最终，测试得到AUC为75.1，准确率达到79.5。该方法在其他数据集上也取得了好的实验效果。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于卷积神经网络与注意力机制结合的关键路径识别方法，其特征在于，包括以下步骤：
(1)数据组织，获取原始数据集，对原始数据集采用交叉验证方式测试；
(2)数据预处理，对原始数据集的训练集和测试集进行主成分分析；
(3)根据基础网络主体特征提取结构；
(4)网络训练，利用基准网络模型，选择损失函数，调整网络超参数，对网络进行优化；
(5)通过X-GRAM技术，计算路径频率相关度，找到相关路径。
2.根据权利要求1所述基于卷积神经网络与注意力机制结合的关键路径识别方法，其特征在于，步骤(1)所述原始数据集选用数据集GSE31210，所述交叉验证方式采用CROSS-VALIDATION5。
3.根据权利要求1所述基于卷积神经网络与注意力机制结合的关键路径识别方法，其特征在于，步骤(2)还包括：将训练集进一步分出一部分作为验证集，以控制训练过程。
4.根据权利要求1所述基于卷积神经网络与注意力机制结合的关键路径识别方法，其特征在于，步骤(2)所述主成分分析方法包括步骤：
(21)去除平均值；
(22)计算协方差矩阵；
(23)计算协方差矩阵的特征值和特征向量；
(24)将特征值排序；
(25)保留前N个最大的特征值对应的特征向量；
(26)将原始特征转换到上面得到的N个特征向量构建的新空间中。
5.根据权利要求1所述基于卷积神经网络与注意力机制结合的关键路径识别方法，其特征在于，步骤(4)所述损失函数为tripletloss、identification loss以及center loss相融合的损失函数。
6.根据权利要求1所述基于卷积神经网络与注意力机制结合的关键路径识别方法，其特征在于，所述步骤(4)使用ATT-CNN作为基准网络模型，使用dropout防止过拟合的发生。
7.根据权利要求1所述基于卷积神经网络与注意力机制结合的关键路径识别方法，其特征在于，所述步骤(4)还包括：使用Adam优化方法自动调节参数。
8.根据权利要求1所述基于卷积神经网络与注意力机制结合的关键路径识别方法，其特征在于，步骤(4)所述网络超参数调整包括：训练总周期设置为30，权重衰减参数为0.0001，批量大小为180，卷积核大小为2×2，核数量为64；生物数据经过了卷积层提取数据，再通过注意力机制，从通道和空间两个维度计算feature map和attention map，然后将attention map与输入的feature map相乘进一步提取特征。
9.根据权利要求1所述基于卷积神经网络与注意力机制结合的关键路径识别方法，其特征在于，所述步骤(5)包括：先将数据放入卷积与注意力层，之后经过全连接层，经过ReLU激活函数之后，找出热力图，对常见路径进行进一步分析；的路径。找到路径需要计算权值，具体公式如下：
Figure FDA0003595887580000031
有了权值之后，就可以开始进行计算特征图，具体公式如下：
Figure FDA0003595887580000032
其中，Flk(x,y)表示网络层第l层第k个特征映射的第x行第y列响应，
Figure FDA0003595887580000033
表示权值，其中c为感兴趣类别，即待可视化的类别，Mc表示各个特征映射的线性加权和，Sc(Fl)表示预测的卷积神经网络的预测的c类得分，Sc(Fl\Flk)指的是将第k个特征映射置为0后，卷积神经网络预测的c类得分，K为特征映射的总和。
CN202210388710.0A 2022-04-14 2022-04-14 基于卷积神经网络与注意力机制结合的关键路径识别方法 Pending CN115376614A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210388710.0A CN115376614A (zh) 2022-04-14 2022-04-14 基于卷积神经网络与注意力机制结合的关键路径识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210388710.0A CN115376614A (zh) 2022-04-14 2022-04-14 基于卷积神经网络与注意力机制结合的关键路径识别方法

Publications (1)

Publication Number Publication Date
CN115376614A true CN115376614A (zh) 2022-11-22

Family

ID=84060350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210388710.0A Pending CN115376614A (zh) 2022-04-14 2022-04-14 基于卷积神经网络与注意力机制结合的关键路径识别方法

Country Status (1)

Country Link
CN (1) CN115376614A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129201A (zh) * 2023-04-18 2023-05-16 新立讯科技股份有限公司 一种商品生物特征的提取和验证方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985376A (zh) * 2018-07-17 2018-12-11 东北大学 一种基于卷积-循环神经网络的回转窑序列工况识别方法
CN109902399A (zh) * 2019-03-01 2019-06-18 哈尔滨理工大学 一种基于att-cnn的变工况下滚动轴承故障识别方法
CN112884056A (zh) * 2021-03-04 2021-06-01 河北工程大学 基于优化的lstm神经网络的污水水质预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985376A (zh) * 2018-07-17 2018-12-11 东北大学 一种基于卷积-循环神经网络的回转窑序列工况识别方法
CN109902399A (zh) * 2019-03-01 2019-06-18 哈尔滨理工大学 一种基于att-cnn的变工况下滚动轴承故障识别方法
CN112884056A (zh) * 2021-03-04 2021-06-01 河北工程大学 基于优化的lstm神经网络的污水水质预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邓绍伟等: "《基于Grad-CAM与B-CNN的细粒度图像分类方法研究》" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129201A (zh) * 2023-04-18 2023-05-16 新立讯科技股份有限公司 一种商品生物特征的提取和验证方法

Similar Documents

Publication Publication Date Title
CN107767946B (zh) 基于pca和pso-kelm模型的乳腺癌诊断系统
CN106951499B (zh) 一种基于翻译模型的知识图谱表示方法
CN111653359B (zh) 一种出血性疾病的智能预测模型构建方法和预测系统
CN111667884A (zh) 基于注意力机制使用蛋白质一级序列预测蛋白质相互作用的卷积神经网络模型
CN106371610A (zh) 一种基于脑电信号的驾驶疲劳的检测方法
CN108647690B (zh) 基于判别稀疏保持投影的非约束人脸图像降维方法
CN108427921A (zh) 一种基于卷积神经网络的人脸识别方法
CN111000553B (zh) 一种基于投票集成学习的心电数据智能分类方法
CN113011239B (zh) 一种基于最优窄频带特征融合的运动想象分类方法
CN111191737A (zh) 基于多尺度反复注意力机制的细粒度图像分类方法
CN107292225B (zh) 一种人脸识别方法
CN106886793B (zh) 基于判别信息和流形信息的高光谱图像波段选择方法
CN111899869A (zh) 一种抑郁症患者识别系统及其识别方法
CN112529638B (zh) 基于用户分类和深度学习的服务需求动态预测方法及系统
CN113011243A (zh) 基于胶囊网络的面部表情分析方法
CN111028944A (zh) 一种基于核主成分分析和多项式特征的脑血管病神经功能损伤程度预测模型
CN114708903A (zh) 一种基于自注意力机制的蛋白质残基间距离预测方法
CN115376614A (zh) 基于卷积神经网络与注意力机制结合的关键路径识别方法
CN113239859B (zh) 一种焦点引导的人脸子空间模糊聚类方法及系统
CN112967755B (zh) 一种面向单细胞rna测序数据的细胞类型识别方法
CN110929888A (zh) 一种基于随机紧凑高斯核函数的粮食作物病害预测方法
CN108388918A (zh) 具有结构保持特性的数据特征选择方法
CN112465054B (zh) 一种基于fcn的多变量时间序列数据分类方法
CN112733727B (zh) 基于线性分析的特征决策融合的脑电意识动态分类方法
CN111274920B (zh) 一种基于四元数主成分分析的彩色人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination