CN117274184A - 一种针对肾癌PET-CT图像的预测ki-67表达方法 - Google Patents
一种针对肾癌PET-CT图像的预测ki-67表达方法 Download PDFInfo
- Publication number
- CN117274184A CN117274184A CN202311203855.XA CN202311203855A CN117274184A CN 117274184 A CN117274184 A CN 117274184A CN 202311203855 A CN202311203855 A CN 202311203855A CN 117274184 A CN117274184 A CN 117274184A
- Authority
- CN
- China
- Prior art keywords
- module
- expression
- image
- sample data
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000008839 Kidney Neoplasms Diseases 0.000 title claims abstract description 28
- 206010038389 Renal cancer Diseases 0.000 title claims abstract description 28
- 201000010982 kidney cancer Diseases 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000007635 classification algorithm Methods 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000012795 verification Methods 0.000 claims abstract description 12
- 230000007246 mechanism Effects 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims description 18
- 238000012512 characterization method Methods 0.000 claims description 12
- 206010028980 Neoplasm Diseases 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000002591 computed tomography Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 2
- 230000007423 decrease Effects 0.000 claims 1
- 238000004393 prognosis Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000013145 classification model Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010003226 Arteriovenous fistula Diseases 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 208000034158 bleeding Diseases 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30084—Kidney; Renal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
本发明涉及一种针对肾癌PET‑CT图像的预测ki‑67表达方法,包括以下步骤:S1、构建样本数据集;S2、构建ki‑67表达分类算法模型;S3、利用内部测试集对ki‑67表达分类算法模型进行测试;S4、利用外部验证集对ki‑67表达分类算法模型进行验证。本发明通过在MV2模块中加入SE注意力机制以关注更重要的特征信息,在transformer模块中使用轻量级多头自注意力模块和反向残差前馈网络模块,在轻量级多头自注意力模块使用深度卷积计算key和value,从而得以减少计算开销,反向残差前馈网络模块可以更精细地提取每个通道的特征信息、降低训练难度和提高模型分类准确度。本发明可用于通过肾癌PET‑CT影像数据在术前无创预测ki‑67表达情况,有助于对患者治疗的预后情况进行评估。
Description
技术领域
本发明涉及一种医学图像的处理方法,具体地说是一种针对肾癌PET-CT图像的预测ki-67表达方法。
背景技术
肾癌的致死率较高,而ki-67作为评价肾癌恶性程度及判断预后良好的一个指标,其表达情况通常是由术后的病理检验来确定,在术前也可通过超声或CT引导下经皮穿刺活检来确定。但是,穿刺活检为有创性操作,存在有出血、感染、动静脉瘘和肿瘤转移等并发症的风险。特别是对于年老体弱、不适合穿刺或者手术的患者,肾癌的ki-67表达情况的获得尤为困难。
在以往对ki-67的研究中,通常使用影像组学的方法。传统影像组学的方法主要是通过提取肿瘤的大量纹理特征来定量分析感兴趣区域的实质属性,然后通过分类器对ki-67表达进行预测。纹理特征提取的方法包括灰度共生矩阵、马尔可夫随机场(MRF)模型法、特征滤波器、曲波变换、局部傅里叶变换等多种方式,分类器则包括支持向量机(SVM)和K最近邻等。
由于上述对ki-67表达的特征种类多,为了解决特征冗余问题,通常需要人为进行特征选择或者降维处理;而且,选择不同的分类器,对结果的影响会有所不同。
发明内容
本发明的目的就是提供一种针对肾癌PET-CT图像的预测ki-67表达方法,以解决目前难以通过无创低风险的方式获取肾癌ki-67表达的问题。
本发明的目的是这样实现的:
一种针对肾癌PET-CT图像的预测ki-67表达方法,包括以下步骤:
S1、构建样本数据集:收集肾癌四期PET-CT扫描图像样本,标注出样本图像中的目标肿瘤区域,生成json格式文件,然后裁剪出其中的目标肿瘤区域,将裁剪出的图像调整为224×224像素的大小,形成样本数据;将肾癌各期的样本数据归为对应期的样本数据集,每期的样本数据集中的样本数据按照4:1的比例分为训练集和内部测试集,并从收集到的肾癌四期PET-CT影像样本中选择若干样本数据作为外部验证集;
S2、构建ki-67表达分类算法模型,利用ki-67表达分类算法模型对输入的训练集的样本数据分别做出其ki-67表达是阴性还是阳性的输出结果,并根据输出结果的阴性或阳性,对样本数据进行分类;
S3、利用内部测试集对ki-67表达分类算法模型进行测试:采用分类准确率、精确率、召回率、F1分数、受试者工作曲线的面积、混淆矩阵来评价ki-67表达分类算法模型在内部测试集上的性能,并对训练过程的超参数进行调整,以获得表现最优的模型;
S4、利用外部验证集对ki-67表达分类算法模型进行验证:利用外部验证集的样本数据作为测试样本,验证该模型实现ki-67表达分类的准确率、查全率、精确率、ROC曲线等相关指标,分析该模型在不同时期数据上所表现的分类差异,并对训练过程的超参数进行调整,以得到表现最优的模型。
进一步地,所述ki-67表达分类算法模型包括3×3卷积层、若干MV2模块、若干MobileViT模块、1×1卷积层和全局池化线性变换模块。
进一步地,所述MV2模块是在MobileNetV2中的倒残差结构基础上加SE注意力机制,用以将特征图的维度通过卷积对通道数先进行升维,然后通过SE注意力机制从通道域的角度赋予图像不同位置不同的权重,从而得到更重要的特征信息,最后通过卷积对通道数进行降维以及通过捷径分支与原始特征图进行连接,以得到损失更少的特征信息。
进一步地,所述MobileViT模块包括:
局部表征模块,用以通过两个不同卷积核大小的卷积层对特征图进行局部的特征建模和通道数调整;
全局表征模块,用于通过Unfold->Transformer->Fold结构进行全局的特征建模;以及
特征融合模块,用于通过一个1×1卷积层将经过全局表征模块的特征图通道数调整为原始大小,再通过shortcut捷径分支与原始输入特征图沿通道方向进行拼接,最后再通过一个n×n的卷积层进行特征融合。
进一步地,所述Transformer模块包括:
轻量级多头自注意力模块,用于使用深度卷积计算代替key和value的计算,以减轻计算开销;以及
反向残差前馈网络模块,用于对输入的特征图在每个通道中提取特征信息,以更好地学习特征,减少训练时间和计算资源的消耗。
进一步地,所述反向残差前馈网络模块包括:
始端线性变换层,用于对输入信息进行线性变换;
深度卷积层,用于对特征图的每个通道单独进行卷积操作;
shortcut捷径分支,用于将深度卷积层的输入和输出进行连接;以及
末端线性变换层,用于将处理后的特征信息进行线性变换后输出。
本发明通过在MV2模块中加入SE注意力机制以关注更重要的特征信息,在transformer模块中使用轻量级多头自注意力模块和反向残差前馈网络模块,在轻量级多头自注意力模块使用深度卷积计算key和value,从而得以减少计算开销,反向残差前馈网络模块使用深度卷积和残差连接以更精细地提取每个通道的特征信息、降低训练难度和提高模型分类准确度。本发明可用于通过患者的肾癌PET-CT影像数据,在术前无创预测ki-67表达情况,从而有助于对患者治疗的预后情况进行评估。
附图说明
图1是PET-CT图像ki-67分类模型构建模块的结构示意图。
图2是MV2模块的结构示意图。
图3是MobileViT模块的结构示意图。
图4是全局表征模块计算方式示意图。
图5是轻量级多头自注意力模块的结构示意图。
图6是反向残差前馈网络模块的结构示意图。
具体实施方式
以下结合附图对本发明做进一步详述。
本发明针对肾癌PET-CT图像的预测ki-67表达方法,包括以下步骤:
一、构建样本数据集。
收集包括平扫期、动脉期、静脉期和排泄期在内的肾癌四期PET-CT扫描图像样本,在样本图像上用标注工具labelme逐层勾画出肿瘤的感兴趣区域,标注时应以各层面肿瘤横向及纵向最大径为准,并向外扩增1-2mm进行标注。标注完成后,保存所生成的json格式文件,然后根据json文件中的标注框去除非肿瘤区域,裁剪出其中的目标肿瘤区域,将裁剪出的图像统一调整为224×224像素的大小,形成样本数据。将标注后的肾癌各期的样本数据归为对应期的样本数据集,每期的样本数据集中的样本数据按照4﹕1的比例划分为训练集和内部测试集,并从收集到的肾癌四期PET-CT影像样本中选择若干样本数据作为外部验证集。
为提高模型的泛化能力,采用旋转、裁切、放缩、动态模糊等手段对训练集的样本数据进行数据增强。
二、构建ki-67表达分类算法模型。
利用ki-67表达分类算法模型对输入的训练集的样本数据分别做出其ki-67表达是阴性还是阳性的输出结果,并根据输出结果的阴性或阳性,对样本数据进行分类。
如图1所示,ki-67表达分类模型包括3×3卷积层、若干MV2模块、若干MobileViT模块、1×1卷积层和全局池化线性变换模块。图1中标有向下箭头的MV2结构表示当步长为2时,需要进行下采样。
如图2所示,MV2模块是在MobileNetV2中的倒残差结构基础上加SE注意力机制,用以将特征图的维度通过卷积对通道数先进行升维,然后通过SE注意力机制从通道域的角度赋予图像不同位置不同的权重,从而得到更重要的特征信息,最后通过卷积对通道数进行降维以及通过捷径分支与原始特征图进行连接,以得到损失更少的特征信息。
如图3所示,MobileViT模块包括局部表征模块、全局表征模块和特征融合模块三个组成部分。局部表征模块,用以通过两个不同卷积核大小的卷积层对特征图进行局部的特征建模和通道数调整。全局表征模块,用于通过Unfold->Transformer->Fold结构进行全局的特征建模。特征融合模块,用于通过一个1×1卷积层将经过全局表征模块的特征图通道数调整为原始大小,再通过shortcut捷径分支与原始输入特征图沿通道方向进行拼接,最后再通过一个n×n的卷积层进行特征融合。
图3中,对于输入特征图按照如下方法进行:先将特征图通过一个卷积核大小为3×3的卷积层进行局部的特征建模,然后通过一个卷积核大小为1×1的卷积层调整通道数。接着通过Unfold->Transformer->Fold结构进行全局的特征建模,然后再通过一个卷积核大小为1×1的卷积层将通道数调整回原始大小。接着通过捷径分支与原始输入特征图沿通道方向进行拼接,最后再通过一个卷积核大小为3×3的卷积层做特征融合,得到输出。
如图4所示,Unfold->Transformer->Fold结构的计算过程按照如下方式进行:
首先,对特征图划分Patch(为方便计算忽略通道数),图中的Patch大小为2×2,即每个Patch由4个像素组成。在进行自注意力计算的时候,每个Token只和与自己位置相同的Token进行点积操作,这样就达到了减少计算量的目的。Unfold和Fold将数据给重塑为计算自注意力时所需的数据格式,Unfold就是将相同位置的Token展平在一个序列中,这样就可以直接并行计算每个序列的自注意力,最后在通过Fold折叠回原特征图。Transformer结构包含轻量级多头自注意力模块和反向残差前馈网络模块。
如图5所示,轻量级多头自注意力模块使用深度卷积计算代替了key和value 的计算,从而减轻了计算开销,而在原始的self-attention模块中,输入被线性变换为 query、key、value再进行计算,运算成本高。
如图6所示,反向残差前馈网络模块包括始端线性变换层、深度卷积层、shortcut捷径分支以及末端线性变换层。始端线性变换层用于对输入信息进行线性变换;深度卷积层可以更精细地提取通道信息以提高模型性能,残差连接可以解决梯度消失问题、减少训练时间和计算资源的消耗以降低训练难度;shortcut捷径分支用于将深度卷积层的输入和输出进行连接;末端线性变换层用于将处理后的特征信息进行线性变换后输出。反向残差前馈网络模块的功能类似于反向残差块,可改变连接的位置,获得更好的性能。
对ki-67表达分类模型的训练过程是:采用迁移学习加载深度学习模型预训练权重后对模型进行迭代训练,相应的超参数如下:迭代周期为100个,batchsize为16,初始化学习率为0.001,损失函数采用交叉熵损失函数,优化器采用随机梯度下降法同时使用batch-normalization和dropout来最小化过拟合风险。
对所构建的ki-67表达分类模型的验证方式包括内部评估及优化、外部验证及优化这两各部分,以保证模型的鲁棒性。
内部评估及优化:为了评估ki-67表达分类模型性能,采用分类准确率、精确率、召回率、F1分数、受试者工作曲线的面积、混淆矩阵来评价模型在内部测试集上的性能,并对训练过程的超参数进行调整来得到表现最优的模型。
外部验证及优化:利用外部验证集的样本数据作为测试样本,验证该模型实现肾癌ki-67表达分类的准确率、查全率、精确率、ROC曲线等相关指标,分析该模型在不同时期数据上所表现的分类差异,并对训练过程的超参数进行调整,以得到表现最优的模型。
Claims (6)
1.一种针对肾癌PET-CT图像的预测ki-67表达方法,其特征是,包括以下步骤:
S1、构建样本数据集:收集肾癌四期PET-CT扫描图像样本,标注出样本图像中的目标肿瘤区域,生成json格式文件,然后裁剪出其中的目标肿瘤区域,将裁剪出的图像调整为224×224像素的大小,形成样本数据;将肾癌各期的样本数据归为对应期的样本数据集,每期的样本数据集中的样本数据按照4:1的比例分为训练集和内部测试集,并从收集到的肾癌四期PET-CT影像样本中选择若干样本数据作为外部验证集;
S2、构建ki-67表达分类算法模型,利用ki-67表达分类算法模型对输入的训练集的样本数据分别做出其ki-67表达是阴性还是阳性的输出结果,并根据输出结果的阴性或阳性,对样本数据进行分类;
S3、利用内部测试集对ki-67表达分类算法模型进行测试:采用分类准确率、精确率、召回率、F1分数、受试者工作曲线的面积、混淆矩阵来评价ki-67表达分类算法模型在内部测试集上的性能,并对训练过程的超参数进行调整,以获得表现最优的模型;
S4、利用外部验证集对ki-67表达分类算法模型进行验证:利用外部验证集的样本数据作为测试样本,验证该模型实现ki-67表达分类的准确率、查全率、精确率、ROC曲线等相关指标,分析该模型在不同时期数据上所表现的分类差异,并对训练过程的超参数进行调整,以得到表现最优的模型。
2.根据权利要求1所述的针对肾癌PET-CT图像的预测ki-67表达方法,其特征是,所述ki-67表达分类算法模型包括3×3卷积层、若干MV2模块、若干MobileViT模块、1×1卷积层和全局池化线性变换模块。
3.根据权利要求2所述的针对肾癌PET-CT图像的预测ki-67表达方法,其特征是,所述MV2模块是在MobileNetV2中的倒残差结构基础上加SE注意力机制,用以将特征图的维度通过卷积对通道数先进行升维,然后通过SE注意力机制从通道域的角度赋予图像不同位置不同的权重,从而得到更重要的特征信息,最后通过卷积对通道数进行降维以及通过捷径分支与原始特征图进行连接,以得到损失更少的特征信息。
4.根据权利要求2所述的针对肾癌PET-CT图像的预测ki-67表达方法,其特征是,所述MobileViT模块包括:
局部表征模块,用以通过两个不同卷积核大小的卷积层对特征图进行局部的特征建模和通道数调整;
全局表征模块,用于通过Unfold->Transformer->Fold结构进行全局的特征建模;以及
特征融合模块,用于通过一个1×1卷积层将经过全局表征模块的特征图通道数调整为原始大小,再通过shortcut捷径分支与原始输入特征图沿通道方向进行拼接,最后再通过一个n×n的卷积层进行特征融合。
5.根据权利要求4所述的针对肾癌PET-CT图像的预测ki-67表达方法,其特征是,所述Transformer模块包括:
轻量级多头自注意力模块,用于使用深度卷积计算代替key和value的计算,以减轻计算开销;以及
反向残差前馈网络模块,用于对输入的特征图在每个通道中提取特征信息,以更好地学习特征,减少训练时间和计算资源的消耗。
6.根据权利要求5所述的针对肾癌PET-CT图像的预测ki-67表达方法,其特征是,所述反向残差前馈网络模块包括:
始端线性变换层,用于对输入信息进行线性变换;
深度卷积层,用于对特征图的每个通道单独进行卷积操作;
shortcut捷径分支,用于将深度卷积层的输入和输出进行连接;以及
末端线性变换层,用于将处理后的特征信息进行线性变换后输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311203855.XA CN117274184A (zh) | 2023-09-19 | 2023-09-19 | 一种针对肾癌PET-CT图像的预测ki-67表达方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311203855.XA CN117274184A (zh) | 2023-09-19 | 2023-09-19 | 一种针对肾癌PET-CT图像的预测ki-67表达方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117274184A true CN117274184A (zh) | 2023-12-22 |
Family
ID=89203732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311203855.XA Pending CN117274184A (zh) | 2023-09-19 | 2023-09-19 | 一种针对肾癌PET-CT图像的预测ki-67表达方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117274184A (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112150429A (zh) * | 2020-09-18 | 2020-12-29 | 南京师范大学 | 一种注意力机制引导的肾ct图像分割方法 |
CN113192633A (zh) * | 2021-05-24 | 2021-07-30 | 山西大学 | 基于注意力机制的胃癌细粒度分类方法 |
CN113362932A (zh) * | 2021-06-24 | 2021-09-07 | 河北大学 | 一种基于cc-注意力机制的影像组学特征筛选方法 |
CN114372531A (zh) * | 2022-01-11 | 2022-04-19 | 北京航空航天大学 | 一种基于自注意力特征融合的胰腺癌病理图像分类方法 |
CN114565761A (zh) * | 2022-02-25 | 2022-05-31 | 无锡市第二人民医院 | 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法 |
CN114973049A (zh) * | 2022-01-05 | 2022-08-30 | 上海人工智能创新中心 | 一种统一卷积与自注意力的轻量视频分类方法 |
CN114972382A (zh) * | 2022-06-01 | 2022-08-30 | 长春工业大学 | 一种基于轻量级UNet++网络的脑肿瘤分割算法 |
WO2023273290A1 (zh) * | 2021-06-29 | 2023-01-05 | 山东建筑大学 | 基于多特征信息捕捉和相关性分析的物品图像重识别方法 |
CN115965864A (zh) * | 2022-12-16 | 2023-04-14 | 厦门大学 | 一种用于农作物病害识别的轻量级注意力机制网络 |
CN116563204A (zh) * | 2023-03-08 | 2023-08-08 | 江苏科技大学 | 一种融合多尺度残差注意力的医学图像分割方法 |
-
2023
- 2023-09-19 CN CN202311203855.XA patent/CN117274184A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112150429A (zh) * | 2020-09-18 | 2020-12-29 | 南京师范大学 | 一种注意力机制引导的肾ct图像分割方法 |
CN113192633A (zh) * | 2021-05-24 | 2021-07-30 | 山西大学 | 基于注意力机制的胃癌细粒度分类方法 |
CN113362932A (zh) * | 2021-06-24 | 2021-09-07 | 河北大学 | 一种基于cc-注意力机制的影像组学特征筛选方法 |
WO2023273290A1 (zh) * | 2021-06-29 | 2023-01-05 | 山东建筑大学 | 基于多特征信息捕捉和相关性分析的物品图像重识别方法 |
CN114973049A (zh) * | 2022-01-05 | 2022-08-30 | 上海人工智能创新中心 | 一种统一卷积与自注意力的轻量视频分类方法 |
CN114372531A (zh) * | 2022-01-11 | 2022-04-19 | 北京航空航天大学 | 一种基于自注意力特征融合的胰腺癌病理图像分类方法 |
CN114565761A (zh) * | 2022-02-25 | 2022-05-31 | 无锡市第二人民医院 | 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法 |
US11704808B1 (en) * | 2022-02-25 | 2023-07-18 | Wuxi Second People's Hospital | Segmentation method for tumor regions in pathological images of clear cell renal cell carcinoma based on deep learning |
CN114972382A (zh) * | 2022-06-01 | 2022-08-30 | 长春工业大学 | 一种基于轻量级UNet++网络的脑肿瘤分割算法 |
CN115965864A (zh) * | 2022-12-16 | 2023-04-14 | 厦门大学 | 一种用于农作物病害识别的轻量级注意力机制网络 |
CN116563204A (zh) * | 2023-03-08 | 2023-08-08 | 江苏科技大学 | 一种融合多尺度残差注意力的医学图像分割方法 |
Non-Patent Citations (7)
Title |
---|
HERMIDA F.J.: "Analysis of Human Urinary Stones and Gallstones by Fourier Transform Infrared Attenuated Total Reflectance Spectroscopy", JOURNAL OF APPLIED SPECTROSCOPY, 24 March 2021 (2021-03-24) * |
冯诺;宋余庆;刘哲;: "特征重用和注意力机制下肝肿瘤自动分类", 中国图象图形学报, no. 08, 20 October 2020 (2020-10-20) * |
刘秀玲;戚帅帅;熊鹏;刘京;王洪瑞;杨建利;: "融合多尺度信息的肺结节自动检测算法", 生物医学工程学杂志, no. 03, 24 July 2020 (2020-07-24) * |
徐宏伟;闫培新;吴敏;徐振宇;孙玉宝;: "基于残差双注意力U-Net模型的CT图像囊肿肾脏自动分割", 计算机应用研究, no. 07, 26 August 2020 (2020-08-26) * |
曹甜益: "基于深度学习的脑肿瘤核磁图像分割研究及实现", 硕士论文, 15 June 2023 (2023-06-15) * |
蒋宗礼;张静;: "融合用户和产品信息的多头注意力情感分类模型", 计算机系统应用, no. 07, 23 July 2020 (2020-07-23) * |
陈建明: "基于注意力机制的肺结节良恶性分类方法研究", 硕士论文, 24 November 2022 (2022-11-24) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103714536B (zh) | 基于稀疏表示的多模态磁共振图像的分割方法及装置 | |
CN109410219A (zh) | 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质 | |
CN110689543A (zh) | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 | |
CN110033032B (zh) | 一种基于显微高光谱成像技术的组织切片分类方法 | |
CN111291825B (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
CN113378791B (zh) | 基于双注意力机制和多尺度特征融合的宫颈细胞分类方法 | |
WO2021243783A1 (zh) | 一种提取b超图像显著纹理特征的方法及其应用 | |
CN112508953A (zh) | 基于深度神经网络的脑膜瘤快速分割定性方法 | |
CN112750137A (zh) | 基于深度学习的肝脏肿瘤分割方法及系统 | |
CN113034507A (zh) | 基于ccta影像的冠状动脉三维分割方法 | |
Bozkurt | Skin lesion classification on dermatoscopic images using effective data augmentation and pre-trained deep learning approach | |
CN114549538A (zh) | 一种基于空间信息与特征通道的脑肿瘤医学图像分割方法 | |
CN114332572B (zh) | 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法 | |
Ning et al. | Multi-scale gradational-order fusion framework for breast lesions classification using ultrasound images | |
Xiang et al. | A novel weight pruning strategy for light weight neural networks with application to the diagnosis of skin disease | |
CN113627483B (zh) | 基于自监督纹理对比学习的宫颈oct图像分类方法及设备 | |
CN116363438B (zh) | 一种基于多模态的儿童脑炎分类系统 | |
CN117274184A (zh) | 一种针对肾癌PET-CT图像的预测ki-67表达方法 | |
CN115984257A (zh) | 一种基于多尺度transformer的多模态医学图像融合方法 | |
Wang et al. | An improved CapsNet applied to recognition of 3D vertebral images | |
CN115760769A (zh) | 一种基于改进cnn的乳腺病理图像分类方法 | |
Yin et al. | Unsupervised simple Siamese representation learning for blind super-resolution | |
CN114937044A (zh) | 一种轻量化图像分割方法、装置及存储介质 | |
CN115035408A (zh) | 基于迁移学习和注意力机制的无人机影像树种分类方法 | |
CN113192076A (zh) | 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |