CN116703867B - 残差网络与通道注意力协同驱动下的基因突变预测方法 - Google Patents

残差网络与通道注意力协同驱动下的基因突变预测方法 Download PDF

Info

Publication number
CN116703867B
CN116703867B CN202310683300.3A CN202310683300A CN116703867B CN 116703867 B CN116703867 B CN 116703867B CN 202310683300 A CN202310683300 A CN 202310683300A CN 116703867 B CN116703867 B CN 116703867B
Authority
CN
China
Prior art keywords
lung
channel
layer
image
gene mutation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310683300.3A
Other languages
English (en)
Other versions
CN116703867A (zh
Inventor
董云云
孙丽超
景超
常锐云
赵子安
张源榕
常云青
杨炳乾
白玉洁
冯秀芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202310683300.3A priority Critical patent/CN116703867B/zh
Publication of CN116703867A publication Critical patent/CN116703867A/zh
Application granted granted Critical
Publication of CN116703867B publication Critical patent/CN116703867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B20/00—ICT specially adapted for functional genomics or proteomics, e.g. genotype-phenotype associations
    • G16B20/50—Mutagenesis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Evolutionary Biology (AREA)
  • Biotechnology (AREA)
  • Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Genetics & Genomics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种残差网络与通道注意力协同驱动下的基因突变预测方法，属于深度学习技术领域；解决了现有深度学习在基因突变预测中存在的无法获取大规模影像数据、难以判断基因突变的类型导致模型精度低的问题；包括如下步骤：输入肺部的CT图像并进行预处理，然后将预处理后的肺部CT图像输入进行卷积处理提取肺结节的初步特征；使用1×1的卷积层，将残差块与SE机制的通道连接，实现跨通道的交互并将提取的肺结节信息进行整合；通过由残差块和SE机制组成的模块，重复两次来提取肺结节的精细特征；通过自适应平均池化层与全连接层连接对提取肺结节的精细特征进行分类，根据分类结果对基因突变进行多任务预测；本发明应用于基因突变预测。

Description

残差网络与通道注意力协同驱动下的基因突变预测方法
技术领域
本发明提供了一种残差网络与通道注意力协同驱动下的基因突变预测方法，属于深度学习、影像基因辅助诊断技术领域。
背景技术
过去30年间我国肺癌死亡率逐步上升，CT影像包含大量潜在病理生理学的信息，使用CT影像进行计算机辅助诊断能够提高临床诊断的精度和稳定性，减少临床诊断需要的时间，降低各种主观因素带来的临床误诊风险和疏漏判断。
近年来，深度学习因其强大的特征提取能力，在人工智能医疗领域逐步发展起来。在利用计算机辅助医学治疗研究中，深度学习方法也崭露头角，但是在EGFR和KRAS突变的预测中仍存在如下挑战：①深度学习模型依赖于大规模的数据集，而医学影像基因数据难以大规模获取。②不同基因突变类型之间肺结节的形态、纹理和外观有极大的差异性(表现为结节在CT影像上的大小、位置和外观的差异)，仅从外观上很难区分出EGFR突变型/野生型以及KRAS突变型/野生型，因此，基于CT影像如何构建深度学习模型来预测突变仍然是一个棘手的问题。
发明内容
本发明为了解决现有深度学习在基因突变预测中存在的无法获取大规模影像数据、难以判断基因突变的类型导致模型精度低的问题，提出了一种残差网络与通道注意力协同驱动下的基因突变预测方法。
为了解决上述技术问题，本发明采用的技术方案为：一种残差网络与通道注意力协同驱动下的基因突变预测方法，包括如下步骤：以ResNet-18网络作为基础网络，使用由残差块和SE机制组成的模块，每个模块包括4个卷积层，最后通过一个全连接层构建得到包含残差网络和通道注意力的卷积神经网络模型；
S1：输入肺部的CT图像并进行预处理，然后将预处理后的肺部CT图像输入至构建好的卷积神经网络模型进行卷积处理提取肺结节的初步特征；
S2：使用1×1的卷积层，将残差块与SE机制的通道连接，实现跨通道的交互并将步骤S1中提取的肺结节信息进行整合；
S3：通过由残差块和SE机制组成的模块，重复两次来提取肺结节的精细特征；
S4：通过自适应平均池化层与全连接层连接对提取到的肺结节的精细特征进行分类，根据分类结果对多基因是否突变进行多任务预测。
所述步骤S1中输入肺部的CT图像为经过数据处理的肺部CT图像数据集，预处理包括采用数据增广扩大图像数据集，数据增广具体是通过对每个2D肺结节切片执行图像的选择、垂直翻转、水平翻转和改变图像亮度，将进行数据增广后的图像通过一个7×7卷积层、批量化规范层和3×3最大池化层，此外在数据预处理阶段还对CT图像进行了随机变换操作。
所述步骤S2中引入的连接残差块与SE机制的1×1卷积层能够调整通道和分辨率，改变通道数使输入和输出的图像的形状一致，且不改变特征图的尺度；
在步骤S2中的残差块后以及全连接层前加入了DropOut层。
所述步骤S3中的残差块首先通过两个相同输出通道数的3×3卷积层，每个3×3卷积层后接一个批量规范化层和ReLU函数，然后通过跨层数据通路，跳过这两个3×3卷积运算，将输入直接加在最后的ReLU激活函数前，在最后的ReLU激活函数前加入SE机制，对输入特征进行压缩和激励两个操作。
所述SE机制包括一个平均池化层和两个全连接层，通过压缩操作对输入的每个通道进行全局平均池化得到通道描述子，激励操作利用两层全连接池化层为每个通道生成权重，最后将激励的输出权重与先前特征进行重新加权，完成在通道维度上对原始特征的校准。
所述步骤S4中的分类标签为2，代表EGFR和KRAS基因是野生型还是突变型。
还能够将与肺部CT图像对应的患者的病例信息嵌入卷积神经网络模型中，加入更多与基因突变相关的先验知识。
本发明相对于现有技术具备的有益效果为：本发明提供的一种残差网络与通道注意力协同驱动下的基因突变预测方法通过四个残差块的一系列卷积层堆叠并插入非线性(即激活函数)与降采样，卷积神经网络可以在全局感受野内描绘图像的分层特征，进而成为强大的图像特征表达器。在保留内部数据的空间结构，尽可能多地获得到肺结节的相关特征，并且能够更加精确地将肺结节区域从原始图片中分割出来，从而可以捕获到肺结节形状与内部结构的隐藏信息，提高识别精度。
附图说明
下面结合附图对本发明做进一步说明：
图1为采用本发明方法进行基因突变预测的流程图；
图2为Stage2中的残差块的结构示意图；
图3为Stage3中的残差块的结构示意图；
图4为Stage2、Stage3中的SE机制的结构示意图；
图5为每个阶段后图像的通道数变化示意图。
具体实施方式
如图1至图5所示，本发明提供了一种残差网络与通道注意力协同驱动下的基因突变预测方法，以期利用非小细胞肺癌的CT影像预测多基因的突变。首先，对图像进行卷积处理提取肺结节的初步特征。其次，使用1×1的卷积层，将残差块与注意力块的通道连接，实现跨通道的交互并将之前模块的肺结节信息进行整合。再次，由残差模块和注意力模块组成，重复两次来提取肺结节的精细特征。此外，将患者的少许病历信息嵌入模型中，加入更多与突变相关的先验知识。最后，通过自适应平均池化层与全连接层连接对多基因是否突变进行多任务预测。
如图1所示，本发明中方法是以ResNet-18网络作为基础网络，并在特征提取阶段加入残差块，每个模块有4个卷积层最后通过一个全连接层。在不增加参数的情况下，增加了残差块，因此适用于提取肺结节的深度特征。本发明根据对肺结节特征提取深度进行区分，Stage1主要对图像进行卷积处理，初步提取肺结节特征。Stage2使用1×1的卷积层，将残差块与注意力块的通道连接，实现跨通道的交互并将之前模块的结节信息进行整合。Stage3由残差块和注意力模块组成，重复两次来提取结节的精细特征。Stage4通过自适应平均池化层与全连接层连接对EGFR和KRAS基因是否突变进行多任务预测。
Stage1为输入层，负责载入图像，本发明的输入图像为经过数据处理的EGFR和KRAS数据集，为缓解由于数据不足而导致的模型过拟合问题，使用数据增广技术来扩大训练数据集，具体通过对每个2D结节切片执行图像的选择、垂直翻转、水平翻转和改变图像亮度，以适应后续方法的处理。紧接着使进行数据增广后的图像通过一个7×7卷积层，批量化规范层和3×3最大池化层，对输入的图片进行降采样，尽可能保留原始图像的信息。将训练参数的批次大小设置成32，随后采用随机梯度下降算法，在15个Epoch中反复训练。在训练过程中学习率为0.001。为防止数据过拟合以及增强模型的泛化能力，在数据预处理阶段对CT图像进行了随机变换操作。
Stage2通过引入额外的1×1卷积层调整通道和分辨率，改变通道数从而使输入与输出的形状一致，因而可以相加，在保持特征图(feature map)尺度不变的前提下增加模型的深度，从而增加非线性表达能力，提高网络的表现能力。由于Stage1已经使用了步幅为2的最大池化(pooling)层，因此在无需降低通道宽度的情况下，即可获得所需的特征提取效果。在残差块后加入挤压和激励网络注意力机制(SE机制)。由于CT图像为天然的3D图像序列，其每个切片往往具有复杂的上下文环境和语义，注意力机制使用全局感受野动态调整每个特征图中每个通道的重要性，挖掘特征图不同维度之间的相关性信息，以辅助完成肺结节CT图像特征的提取，进而提高区分恶性肺结节的准确率。
Stage3的残差块首先通过两个相同输出通道数3×3的卷积层，每个卷积层后接一个批量规范化层和ReLU函数。然后通过跨层数据通路，跳过这两个卷积运算，将输入直接加在最后的ReLU激活函数前。与Stage2相比，Stage3没有加入1×1卷积层，因而之后的每个模块都通过残差块将上一个模块的高宽减半，以此来扩大感受野，通道数翻倍使图形不同通道间的信息得以融合。
设一个网络模型中的输入为x，网络的期望输出为H(x)，残差映射为F(x)如式(1)所示：
F(x)＝H(x)-x (1)。
如果将x直接传递给输出H(x)，那么该网络模型所要学习的目标就是残差映射。如图2所示，该结构代表了残差学习单元，残差学习单元由一组卷积层及捷径组成，网络的输入x通过捷径传递给残差学习单元的输出，使其可以直接学习残差H(x)-x。具体的，残差网络由一系列残差块组成。残差块的数学表达形式为式(2)：
xi+1＝xi+F(xi，Wi) (2)；
上式中Wi为第1层卷积核的权值矩阵。
学习残差映射比学习原始映射更为简单，一方面残差学习单元中捷径连接不会使模型的规模及参数量改变。另一方面添加残差学习单元的网络能够在现有的深度下进行反向传播，且在加入捷径连接后，式(3)表示对x的偏导，H对x的偏导必定大于1，对应可知，网络模型层数的不断增加并不会出现梯度消失的问题。之后的每个模块都通过残差块将上一个模块的高宽减半，以此来扩大感受野，通道数翻倍使图形不同通道间的信息得以融合。
层与层之间的激活函数(activation function)使用修正线性单元ReLU，其表达式如式(4)所示：
ReLU(x)＝max(0，x) (4)。
在最后的ReLU激活函数前加入挤压和激励网络注意力机制(SE机制)，通过挤压和激励网络注意力机制SENet对输入特征进行压缩(Squeeze)和激励(Excitation)两个重要操作，通过Squeeze操作对输入的每个通道进行全局平均池化得到通道描述子，Excitation操作利用两层全连接池为每个通道生成权重，最后将Excitation的输出权重与先前特征进行重新加权，完成在通道维度上对原始特征的校准，使得图像分类的精度提升。
为了提高模型的泛化能力并加快训练速度，需对数据做批量归一化(BatchNormalization)处理。假设输入的一个批次的数为B＝{x1…xm}共m个数据，那么此次批次数据的均值通过式(5)计算：
方差通过式(6)计算：
对x通过式(7)做归一化：
引入缩放量γ和平移量β，输出公式如(8)：
将式(8)中的β的大小设置为1×e-5，作用是提高归一化计算的稳定性。
SE机制包括一个全局平均池化层、两个全连接层。输入特征图U＝[u1，u2，…uc]，先对U进行全局平均池化操作进行空间压缩，定义该过程为g(·)，得到向量z，并通过式(9)所示计算方法获得z中每个通道处的值zk。
其中，定义：H为特征图的高；W为特征图的宽；C为通道数；(i,j)为特征图中的空间坐标。将z输入到全连接层，依次使用激活函数δ(·)、归一化层函数σ(·)计算得到第i个通道特征ui的重要性程度，计为/>通过重新标定通道，完成最后的标准采样过程。综上所述，SE机制的实现如式(10)所示。从本质看，SE机制向特征图像引入了输入图像的动态先验，从而提升了网络对特征的识别能力。
Stage4由全连接层和自适应平均池化层组成。卷积取得是局部特征，全连接指的就是把这些局部特征重新通过权值矩阵组装成完整的图。同时为了缓解模型的过拟合问题，在Stage2第一个残差块后以及全连接层前加入了DropOut层，分别设置暂退概率为0.2、0.5。ResNet-18最后一个全连接层，对图像进行分类。本发明预测任务为区分野生型还是突变型，所以分类标签为2。池化层用于减少特征图的维度，降低卷积层对未知的敏感性，同时降低对空间降采样的敏感性，常见的下采样有最大池化(max-pooling)和平均池化(mean-pooling)，本发明采用自适应平均池化，用于多尺度肺结节特征的融合，扩大提取的肺结节的深度。
图4表示每个阶段后图像的通道数变化，在Stage1时图像为64×56×56，由于Stage2有1×1卷积层，因而不改变通道数，Stage3中分别通过三个残差块，使通道数从128翻倍为256，最后变为512。肺结节图像特征复杂难以分辨，ResNet采用残差设计让输入与各层输出直接建立连接，这样拟合目标由目标函数转变为残差(目标函数与输入的差值)，突出了输入值的微小的变化，避免在对图像特征提取的时候带来的特征信息耗散，因此契合肺结节良恶性分类问题的难点。通过向ResNet模块中嵌套注意力机制，在不增加对模型的监督前提下帮助捕捉图像在全局空间上的内部联系，对那些可以起到更大作用的信道增加他们的权重地位，而那些作用不是特别明显的维度则削弱他们的地位，充分提取特征图像不同信道之间的依赖信息，进行改善网络的性能表现。
关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现的部件、模块、具体元器件的型号、相互间连接方式以及，由上述技术特征带来的常规使用方法、可预期技术效果，除具体说明的以外，均属于本领域技术人员在申请日前可以获取到的专利、期刊论文、技术手册、技术词典、教科书中已公开内容，或属于本领域常规技术、公知常识等现有技术，无需赘述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相应的实体产品。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种残差网络与通道注意力协同驱动下的基因突变预测方法，其特征在于：包括如下步骤：以ResNet-18网络作为基础网络，使用由残差块和SE机制组成的模块，每个模块包括4个卷积层，最后通过一个全连接层构建得到包含残差网络和通道注意力的卷积神经网络模型；
S1：输入肺部的CT图像并进行预处理，然后将预处理后的肺部CT图像输入至构建好的卷积神经网络模型进行卷积处理提取肺结节的初步特征；
S2：使用1×1的卷积层，将残差块与SE机制的通道连接，实现跨通道的交互并将步骤S1中提取的肺结节信息进行整合；
所述步骤S2中引入的连接残差块与SE机制的1×1卷积层能够调整通道和分辨率，改变通道数使输入和输出的图像的形状一致，且不改变特征图的尺度；
在步骤S2中的残差块后以及全连接层前加入了DropOut层；
S3：通过由残差块和SE机制组成的模块，重复两次来提取肺结节的精细特征；
所述步骤S3中的残差块首先通过两个相同输出通道数的3×3卷积层，每个3×3卷积层后接一个批量规范化层和ReLU函数，然后通过跨层数据通路，跳过这两个3×3卷积运算，将输入直接加在最后的ReLU激活函数前，在最后的ReLU激活函数前加入SE机制，对输入特征进行压缩和激励两个操作；
所述SE机制包括一个平均池化层和两个全连接层，通过压缩操作对输入的每个通道进行全局平均池化得到通道描述子，激励操作利用两层全连接池化层为每个通道生成权重，最后将激励的输出权重与先前特征进行重新加权，完成在通道维度上对原始特征的校准；
S4：通过自适应平均池化层与全连接层连接对提取到的肺结节的精细特征进行分类，根据分类结果对多基因是否突变进行多任务预测。
2.根据权利要求1所述的一种残差网络与通道注意力协同驱动下的基因突变预测方法，其特征在于：所述步骤S1 中输入肺部的CT图像为经过数据处理的肺部CT图像数据集，预处理包括采用数据增广扩大图像数据集，数据增广具体是通过对每个2D肺结节切片执行图像的选择、垂直翻转、水平翻转和改变图像亮度，将进行数据增广后的图像通过一个7×7卷积层、批量化规范层和3×3最大池化层，此外在数据预处理阶段还对CT图像进行了随机变换操作。
3.根据权利要求2所述的一种残差网络与通道注意力协同驱动下的基因突变预测方法，其特征在于：所述步骤S4中的分类标签为2，代表EGFR和KRAS基因是野生型还是突变型。
4.根据权利要求3所述的一种残差网络与通道注意力协同驱动下的基因突变预测方法，其特征在于：还能够将与肺部CT图像对应的患者的病例信息嵌入卷积神经网络模型中，加入更多与基因突变相关的先验知识。
CN202310683300.3A 2023-06-09 2023-06-09 残差网络与通道注意力协同驱动下的基因突变预测方法 Active CN116703867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310683300.3A CN116703867B (zh) 2023-06-09 2023-06-09 残差网络与通道注意力协同驱动下的基因突变预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310683300.3A CN116703867B (zh) 2023-06-09 2023-06-09 残差网络与通道注意力协同驱动下的基因突变预测方法

Publications (2)

Publication Number Publication Date
CN116703867A CN116703867A (zh) 2023-09-05
CN116703867B true CN116703867B (zh) 2023-12-08

Family

ID=87835315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310683300.3A Active CN116703867B (zh) 2023-06-09 2023-06-09 残差网络与通道注意力协同驱动下的基因突变预测方法

Country Status (1)

Country Link
CN (1) CN116703867B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994246B (zh) * 2023-09-20 2024-02-13 深圳赛陆医疗科技有限公司 基于多任务联合的碱基识别方法及装置、基因测序仪及介质
CN117219295A (zh) * 2023-11-03 2023-12-12 浙江省肿瘤医院 一种基于ct图像的胃癌新辅助化疗疗效预测系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504232A (zh) * 2016-10-14 2017-03-15 北京网医智捷科技有限公司 一种基于3d卷积神经网络的肺部结节自动检测方法
CN108230323A (zh) * 2018-01-30 2018-06-29 浙江大学 一种基于卷积神经网络的肺结节假阳性筛选方法
CN110517253A (zh) * 2019-08-29 2019-11-29 电子科技大学 基于3d多目标特征学习的肺结节良恶性分类的方法
CN110647893A (zh) * 2019-09-20 2020-01-03 北京地平线机器人技术研发有限公司 目标对象识别方法、装置、存储介质和设备
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN111126350A (zh) * 2020-01-17 2020-05-08 乐普（北京）医疗器械股份有限公司 一种心搏分类结果的生成方法和装置
CN111968195A (zh) * 2020-08-20 2020-11-20 太原科技大学 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络
CN112949460A (zh) * 2021-02-26 2021-06-11 陕西理工大学 一种基于视频的人体行为网络模型及识别方法
CN113592809A (zh) * 2021-07-28 2021-11-02 中国海洋大学 一种基于通道注意力残差网络的肺炎图像检测系统及方法
CN114820450A (zh) * 2022-03-27 2022-07-29 浙江大学 适宜李氏人工肝治疗的ct血管造影图像分类方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504232A (zh) * 2016-10-14 2017-03-15 北京网医智捷科技有限公司 一种基于3d卷积神经网络的肺部结节自动检测方法
CN108230323A (zh) * 2018-01-30 2018-06-29 浙江大学 一种基于卷积神经网络的肺结节假阳性筛选方法
CN110517253A (zh) * 2019-08-29 2019-11-29 电子科技大学 基于3d多目标特征学习的肺结节良恶性分类的方法
CN110647893A (zh) * 2019-09-20 2020-01-03 北京地平线机器人技术研发有限公司 目标对象识别方法、装置、存储介质和设备
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN111126350A (zh) * 2020-01-17 2020-05-08 乐普（北京）医疗器械股份有限公司 一种心搏分类结果的生成方法和装置
CN111968195A (zh) * 2020-08-20 2020-11-20 太原科技大学 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络
CN112949460A (zh) * 2021-02-26 2021-06-11 陕西理工大学 一种基于视频的人体行为网络模型及识别方法
CN113592809A (zh) * 2021-07-28 2021-11-02 中国海洋大学 一种基于通道注意力残差网络的肺炎图像检测系统及方法
CN114820450A (zh) * 2022-03-27 2022-07-29 浙江大学 适宜李氏人工肝治疗的ct血管造影图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于残差混合注意力机制的脑部CT 图像分类卷积神经网络模型";乔思波等;《电子学报》(第05期);第8页 *
"基于深度学习的肺部CT图像超分辨率重建";赵凯光;《优秀硕士学位论文全文库 医药卫生科技》(第02期);第1-64页 *

Also Published As

Publication number Publication date
CN116703867A (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN116703867B (zh) 残差网络与通道注意力协同驱动下的基因突变预测方法
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
CN111242841B (zh) 一种基于语义分割和深度学习的图片背景风格迁移方法
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
WO2020133636A1 (zh) 前列腺手术中外包膜智能检测和预警方法及系统
Tang et al. A multi-stage framework with context information fusion structure for skin lesion segmentation
CN107133496B (zh) 基于流形学习与闭环深度卷积双网络模型的基因特征提取方法
CN113781640A (zh) 基于弱监督学习的三维人脸重建模型建立方法及其应用
CN110197716A (zh) 医学影像的处理方法、装置及计算机可读存储介质
CN111899168A (zh) 一种基于特征增强的遥感影像超分辨率重建方法和系统
CN114596317A (zh) 一种基于深度学习的ct影像全心脏分割方法
CN112446381A (zh) 一种利用全卷积网络驱动的基于测地线活动轮廓的混合语义分割方法
CN112651955A (zh) 一种肠道图像的识别方法及终端设备
CN114943721A (zh) 一种建立基于改进U-Net网络的颈部超声图像分割方法
CN114708212A (zh) 一种基于SEA-Unet的心脏图像分割方法
CN110570425B (zh) 一种基于深度强化学习算法的肺结节分析方法及装置
CN114972619A (zh) 一种基于自对齐双重回归的单图像人脸三维重建方法
Yuan et al. Explore double-opponency and skin color for saliency detection
CN108596865B (zh) 一种用于卷积神经网络的特征图增强系统及方法
CN115862112A (zh) 一种人脸图像痤疮疗效评估用目标检测模型
CN115482557A (zh) 人体图像生成方法、系统、设备及存储介质
Wang et al. Rethinking separable convolutional encoders for end-to-end semantic image segmentation
KR101899729B1 (ko) 세포핵 기반의 암 탐지 방법 및 암 탐지를 위한 위한 학습 방법
CN117994708B (zh) 基于时序一致隐空间引导扩散模型的人体视频生成方法
CN111435529B (zh) 一种显微镜图像的处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant