CN111899259A - 一种基于卷积神经网络的前列腺癌组织微阵列分级方法 - Google Patents

一种基于卷积神经网络的前列腺癌组织微阵列分级方法 Download PDF

Info

Publication number
CN111899259A
CN111899259A CN202010876490.7A CN202010876490A CN111899259A CN 111899259 A CN111899259 A CN 111899259A CN 202010876490 A CN202010876490 A CN 202010876490A CN 111899259 A CN111899259 A CN 111899259A
Authority
CN
China
Prior art keywords
prostate cancer
cancer tissue
tissue microarray
feature
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010876490.7A
Other languages
English (en)
Inventor
黄梦醒
单怡晴
张雨
冯文龙
冯思玲
吴迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan University
Original Assignee
Hainan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan University filed Critical Hainan University
Priority to CN202010876490.7A priority Critical patent/CN111899259A/zh
Publication of CN111899259A publication Critical patent/CN111899259A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于卷积神经网络的前列腺癌组织微阵列分级方法，该方法包括：采集前列腺癌组织微阵列图像数据；对前列腺癌组织微阵列图像数据进行预处理；基于预处理后的前列腺癌组织微阵列图像数据建立图像分割模型，将前列腺癌组织微阵列图像数据输入到图像分割模型中；将图像分割模型的输出结果恢复到与原始图像相同的尺寸；将图像分割模型预测结果与专家标注结果进行一致性检验比较，输出比较结果。本发明能通过多尺度自注意网络来融合深层和浅层的特征，同时对各个尺度的特征进行监督，可以减少网络参数，提高计算效率，并在标注完整的数据集上验证了方法有效性。

Description

一种基于卷积神经网络的前列腺癌组织微阵列分级方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于卷积神经网络的前列腺癌组织微阵列分级方法。
背景技术
在最新的全球癌症统计报告中，男性病例中最常见的肺癌(14.5％)，其次是前列腺癌(13.5％)，男性患癌率最高的疾病是前列腺癌的国家已经超过100个。在传统的前列腺癌诊断过程中，病理学专家通过穿刺活检取得病例样本，经过H&E染色得到病理图像并在显微镜下观察细胞的组织形态模式，确认该组织中是否有癌症存在并进行Gleason评级，但容易受到病理学专家观察者之间主观因素的影响，且手工标注工作量大耗时高效率低。
Gleason评级模式在评估前列腺癌组织微阵列中是被广泛接受且认可的一种标准，不仅仅能作为病理学的评价指标，也能在临床诊断中为医生诊断提供可靠的依据。Gleason中前列腺癌微阵列组织被分为五种生长模式，1到5对应不同细胞组织形态，从预后较好，与正常组织基本无差别到预后较差，细胞分化较差的组织，1和2在前列腺癌诊断中较少出现。按照生长模式的占比大小，将一张病理切片的生长模式分为主要结构和次要结构，最终评分结果由主要结构和次要结构相加得出，根据分数不同归类为不同的预后组，当不超过6分时通常有较好的预后结果。近几年出现的前列腺癌TMAs格里森自动分级方法主要是基于分类器，该方法通过提取特征组织，然后对所选择的特征使用如SVM(支持向量机)、随机森林或Bayesian分类器等进行分类，基于分类器的研究过度依赖于数据集，且每个架构之间复用性有限，且需要精确定位ROIs。
综上，现有的基于分类器的Gleason自动分级方法导致Gleason的自动分级效率不高，耗时长，复用性不高。
发明内容
本发明的目的在于提供一种基于卷积神经网络的前列腺癌组织微阵列分级方法，以克服或至少部分解决现有的基于分类器的Gleason自动分级方法所存在的上述问题。
本发明第一方面提供一种基于卷积神经网络的前列腺癌组织微阵列分级方法，所述方法包括：
S1、采集前列腺癌组织微阵列图像数据；
S2、对前列腺癌组织微阵列图像数据进行预处理；
S3、基于预处理后的前列腺癌组织微阵列图像数据建立图像分割模型，将前列腺癌组织微阵列图像数据输入到图像分割模型中；
S4、将图像分割模型的输出结果恢复到与原始图像相同的尺寸；
S5、将图像分割模型预测结果与专家标注结果进行一致性检验比较，输出比较结果。
进一步的，所述步骤S2、对前列腺癌组织微阵列图像数据进行预处理，具体包括：
S21、对前列腺癌组织微阵列图像数据进行resize操作；
S22、通过图像变换算法对前列腺癌组织微阵列图像数据进行数据增强，扩充数据集。
进一步的，所述步骤S3、基于预处理后的前列腺癌组织微阵列图像数据建立图像分割模型，将前列腺癌组织微阵列图像数据输入到图像分割模型中，具体包括：
S31、将预处理后的前列腺癌组织微阵列图像数据作为图像分割模型的输入；
S32、将步骤S31中得到的特征图输入多尺度注意网络的卷积层进行卷积操作和特征融合操作，输出的图像数据输入到最大池化层进行下采样，使特征图尺寸缩小一倍，重复该步骤4次；
S33、将步骤S32输出的特征图输入多尺度注意网络的卷积层进行卷积操作和特征融合操作，输出的图像数据输入到最大池化层进行上采样，使特征图尺寸增大一倍，重复该步骤4次；
S34、将步骤S33输出的特征图作为1X1的卷积层的softmax激活层的输入，输出最终分割结果。
进一步的，所述步骤S32中，在每次将步骤S31中得到的特征图输入多尺度注意网络的卷积层进行卷积操作和特征融合操作后，还依次输入BN层进行批量归一化操作、输入ReLu层进行修正线性激活操作。
进一步的，所述特征融合操作具体包括：
S331、通过位置注意模块将特征图维度进行reshape操作，降维后得到多个子特征图，将其中两个张量相乘通过softmax操作归一化获得每个位置的空间注意特征图；
S332、通过通道注意模块对一个子特征图进行转置再将两个张量做矩阵相乘，经过softmax操作后得到C维度的通道注意图，并与scale参数相乘，得到的结果与原特征图相加；
S333、将步骤S331和S332的输出相加得到同时包含位置信息和通道信息的特征图。
进一步的，所述特征融合操作具体还包括：
将来自所有尺度的张量连接起来，形成一个新的张量通过卷积层来创建一个公共的多尺度特征图FMS＝conv([F’1,F’2,F’3,F’4])，FS为多尺度特征，s为体系结构中的层次，F’S表示来自所有尺度张量的连接，FMS用于编码来自浅层的低级细节信息及高层的语义信息，然后与多尺度的空间注意特征图和通道注意图相结合，输入到引导注意模块中，生成注意特征AS，AS定义如下：
AS＝AttMods(conv[F’S,FMS])。
进一步的，在位置注意模块生成的空间注意特征图的定义如下：
Figure BDA0002652753480000041
其中，
Figure BDA0002652753480000042
表示第i个位置对第j个位置的影响；将F输入到第三个分值的两个卷积中得到与F形状相同的
Figure BDA0002652753480000043
以此类推；
在通道注意模块生成的通道注意图定义如下：
Figure BDA0002652753480000044
其中，λc控制输入的特征映射F，通道注意模块将所有通道的加权特征集合到原始特征中，突出类相关的特征映射。
进一步的，所述BN层的定义如下：
Figure BDA0002652753480000045
Figure BDA0002652753480000046
Figure BDA0002652753480000047
Figure BDA0002652753480000048
其中，μ是平移参数，σ是缩放函数，m为块的大小，λ，β为重构参数，公式由上至下计算结果依次为均值、标准差、归一化、重构变换。
本发明第二方面提供一种计算机可读存储介质，其存储有可由终端设备执行的计算机程序，当所述程序在终端设备上运行时，使得所述终端设备执行前述第一方面所述的方法。
与现有技术相比，本发明的有益效果是：
本发明提供的基于卷积神经网络的前列腺癌组织微阵列分级方法，通过建立图像分割模型对经过预处理的前列腺癌组织微阵列图像进行处理，只需少量训练数据即可在短时间内得出格里森评级结果，能直接从复杂的数据中提取与分割任务相关的特征，分割速度快，在临床阶段的前列腺癌治疗和预后中可以为医生提供可靠诊断的依据，在提高医生的工作效率方面具有重要意义。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的基于卷积神经网络的前列腺癌组织微阵列分级方法流程示意图。
图2是本发明实施例的图像分割模型提取训练样本特征的U-Net网络模型结构示意图。
图3是本发明实施例的多尺度注意网络结构示意图。
图4是本发明实施例的位置注意模块和通道注意模块结构示意图。
图5是本发明实施例的语义引导模块结构示意图。
图6是本发明实施例的基础编码模块结构示意图。
图7是本发明实施例的DCP编码模块结构示意图。
图8是本发明实施例的同一数据集上模型预测和专家预测之间的Kappa一致性检验结果。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所列举实施例只用于解释本发明，并非用于限定本发明的范围。
参照图1，本发明提供一种基于卷积神经网络的前列腺癌组织微阵列分级方法，所述方法包括以下步骤：
S1、采集前列腺癌组织微阵列图像数据。
S2、对前列腺癌组织微阵列图像数据进行预处理。
S3、基于预处理后的前列腺癌组织微阵列图像数据建立图像分割模型，将前列腺癌组织微阵列图像数据输入到图像分割模型中。
S4、将图像分割模型的输出结果恢复到与原始图像相同的尺寸。
S5、将图像分割模型预测结果与专家标注结果进行一致性检验比较，输出比较结果。
作为一种示例，步骤S2中，对前列腺癌组织微阵列图像数据进行预处理，具体包括：
S21、对前列腺癌组织微阵列图像数据进行resize操作。由于前列腺癌组织微阵列图像尺寸较大，长和宽均为3100像素，为了方便处理，通过resize操作将其转换为1028X1028像素，一些实施方式中，所述resize操作可以通过Matlab实现。
S22、通过图像变换算法对前列腺癌组织微阵列图像数据进行数据增强，扩充数据集。本领域技术人员可以理解，通过图像变换算法对图像数据进行数据增强可以通过各种变换算法实现，例如裁剪、移位算法。通过扩充数据集可以防止神经网络过拟合。
作为一个优选的示例，所述步骤S3、基于预处理后的前列腺癌组织微阵列图像数据建立图像分割模型，将前列腺癌组织微阵列图像数据输入到图像分割模型中，具体包括：
S31、将预处理后的前列腺癌组织微阵列图像数据作为图像分割模型的输入。输入图像的尺寸为C×W×H，其中C、W、H分别表示尺寸、宽和高。
S32、将步骤S31中得到的特征图输入多尺度注意网络的卷积层进行卷积操作和特征融合操作，输出的图像数据输入到最大池化层进行下采样，使特征图尺寸缩小一倍，重复该步骤4次。一些实施方式中，在卷积层中做3次1X1的卷积操作和3次特征融合操作。第一次进行下采样时，特征图尺寸缩小到128X128,4次下采样后，特征图尺寸缩小为16X16。
S33、将步骤S32输出的特征图输入多尺度注意网络的卷积层进行卷积操作和特征融合操作，输出的图像数据输入到最大池化层进行上采样，使特征图尺寸增大一倍，重复该步骤4次。一些实施方式中，在卷积层中做3次1X1的卷积操作和3次特征融合操作。第一次进行上采样时，特征图尺寸扩大到32X32,4次下采样后，特征图尺寸扩大为256X256。
S34、将步骤S33输出的特征图作为1X1的卷积层的softmax激活层的输入，输出最终分割结果。
可选的，所述步骤S32中，在每次将步骤S31中得到的特征图输入多尺度注意网络的卷积层进行卷积操作和特征融合操作后，还依次输入BN层进行批量归一化操作、输入ReLu层进行修正线性激活操作。所述BN层定义为，
Figure BDA0002652753480000071
Figure BDA0002652753480000072
Figure BDA0002652753480000073
Figure BDA0002652753480000074
其中，μ是平移参数，σ是缩放函数，m为块的大小，λ，β为重构参数，上述公式由上至下计算结果依次为均值、标准差、归一化、重构变换。在U型网络的编码通道上，网络在下采样过程中不仅接收来自上一层残差学习模块的特征提取结果，同时又能作为下一模块的输入特征图。本发明为了提高网络的性能，避免过度拟合及正则项参数选择的问题，在卷积层后增加BN层和ReLu层，ReLu层能够减轻梯度消失问题，可以训练更深的网络，相较于现有技术速度快、计算代价小。
作为一个示例，所述特征融合操作具体包括：
S331、通过位置注意模块将特征图维度进行reshape操作，降维后得到多个子特征图，将其中两个张量相乘通过softmax操作归一化获得每个位置的空间注意特征图。
S332、通过通道注意模块对一个子特征图进行转置再将两个张量做矩阵相乘，经过softmax操作后得到C维度的通道注意图，并与scale参数相乘，得到的结果与原特征图相加。
S333、将步骤S331和S332的输出相加得到同时包含位置信息和通道信息的特征图。
图5、图6分别为本发明采用的图像分割模型语音引导模块和基础编码模块的结构示意图，该图像分割模型为U-Net网络模型，每经过一个多尺度注意网络都将进行3次1X1的卷积和3次特征融合操作，将来自所有尺度的张量连接起来，形成一个新的张量通过卷积层来创建一个公共的多尺度特征图FMS＝conv([F’1,F’2,F’3,F’4])，FS为多尺度特征，s为体系结构中的层次，F’S表示来自所有尺度张量的连接，FMS用于编码来自浅层的低级细节信息及高层的语义信息，然后与多尺度的空间注意特征图和通道注意图相结合，输入到引导注意模块中，生成注意特征AS，AS定义如下：
AS＝AttMods(conv[F’S,FMS])。
在位置注意模块生成的空间注意特征图的定义如下：
Figure BDA0002652753480000081
其中，
Figure BDA0002652753480000082
表示第i个位置对第j个位置的影响；将F输入到第三个分值的两个卷积中得到与F形状相同的
Figure BDA0002652753480000083
以此类推；
在通道注意模块生成的通道注意图定义如下：
Figure BDA0002652753480000091
其中，λc控制输入的特征映射F，通道注意模块将所有通道的加权特征集合到原始特征中，突出类相关的特征映射。在位置注意模块和通道注意模块后，新的特征图被送入卷积层，执行元素求和操作并生成位置通道注意特征。
一些实施方式中，在图像分割模型的特征提取阶段，将shuffleNet V2的深度乘法器选择为1，输出下采样倍数为16，在第四阶段开始修改步幅为1，输出stride为16，然后使用DPC编码模块，如图7所示，以5种不同的速率进行卷积，经过DPC编码模块后，特征深度为256，可以在保证精度的情况下减少网络的参数量。
具体的，所述步骤S5将图像分割模型预测结果与专家标注结果进行一致性检验比较，输出比较结果，所述一致性检验计算公式具体为：
Figure BDA0002652753480000092
Figure BDA0002652753480000093
其中，M为图像数据类目数，i和j代表不同图像类别，1≤I,j≤M，Oi,j是被第一位评分者分类为i且被第二位评分者分类为j的个数，Ei,j指预期里希望第一位评分者把图像标注为i类且第二位评分者把图像标注为j类的个数。图8为在同一数据集下本发明所采用的图像分割模型预测和专家预测之间的Kappa一致性检验结果。
目前多数对于前列腺癌组织微阵列格里森(Gleason)分级的研究只注重Gleason3和Gleason4的区分，本发明范围涵盖良性以及Gleason1-5所有类型，适用范围更广。本发明采用的图像分割模型在原始U-Net的基础上进行改进，引入多尺度注意网络，通过不同级别、多尺度的方法生成包含不同语义的不同分辨率模块，双线性插值将其上采样到一个共同的分辨率，较低级别的特征主要关注图像的局部区域，较高级别的特征将对全局表示进行编码，这种多尺度策略鼓励在不同分辨率下生成注意力区域，并对不同的语义信息进行编码，在每个尺度上，多个注意模块将逐步去除无关区域，并强度与目标语义描述更相关的区域。注意模块分别关注与建模位置、通道特征的依赖关系，这一双重功能允许对更广泛和更丰富的上下文进行建模，并通过通道映射之间的依赖性增强特征表示。既改善了原始U-Net网络存在的梯度及模型特征利用率不高的问题，又能使前列腺癌TMAs标签图存在的类分布不平衡问题得到缓解，避免分割掩码空洞降低假阳率。本发明所提供的方法只需少量训练数据即可在短时间内得出Gleason评级结果，能直接从复杂的数据中提取与分割任务相关的特征，同时在不同形态的前列腺癌TMAs图像上分割速度快，添加了多尺度语义特征的网络模型具有恒定的特征通道数量，能抑制网络参数的指数级增长，分割效率高鲁棒性好。
本发明的另一实施例中还提供一种计算机可读存储介质，其存储有可由终端设备执行的计算机程序，当所述程序在终端设备上运行时，使得所述终端设备执行前述方法实施例。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于卷积神经网络的前列腺癌组织微阵列分级方法，其特征在于，所述方法包括：
S1、采集前列腺癌组织微阵列图像数据；
S2、对前列腺癌组织微阵列图像数据进行预处理；
S3、基于预处理后的前列腺癌组织微阵列图像数据建立图像分割模型，将前列腺癌组织微阵列图像数据输入到图像分割模型中；
S4、将图像分割模型的输出结果恢复到与原始图像相同的尺寸；
S5、将图像分割模型预测结果与专家标注结果进行一致性检验比较，输出比较结果。
2.根据权利要求1所述的一种基于卷积神经网络的前列腺癌组织微阵列分级方法，其特征在于，步骤S2、对前列腺癌组织微阵列图像数据进行预处理，具体包括：
S21、对前列腺癌组织微阵列图像数据进行resize操作；
S22、通过图像变换算法对前列腺癌组织微阵列图像数据进行数据增强，扩充数据集。
3.根据权利要求1所述的一种基于卷积神经网络的前列腺癌组织微阵列分级方法，其特征在于，所述步骤S3、基于预处理后的前列腺癌组织微阵列图像数据建立图像分割模型，将前列腺癌组织微阵列图像数据输入到图像分割模型中，具体包括：
S31、将预处理后的前列腺癌组织微阵列图像数据作为图像分割模型的输入；
S32、将步骤S31中得到的特征图输入多尺度注意网络的卷积层进行卷积操作和特征融合操作，输出的图像数据输入到最大池化层进行下采样，使特征图尺寸缩小一倍，重复该步骤4次；
S33、将步骤S32输出的特征图输入多尺度注意网络的卷积层进行卷积操作和特征融合操作，输出的图像数据输入到最大池化层进行上采样，使特征图尺寸增大一倍，重复该步骤4次；
S34、将步骤S33输出的特征图作为1X1的卷积层的softmax激活层的输入，输出最终分割结果。
4.根据权利要求3所述的一种基于卷积神经网络的前列腺癌组织微阵列分级方法，其特征在于，所述步骤S32中，在每次将步骤S31中得到的特征图输入多尺度注意网络的卷积层进行卷积操作和特征融合操作后，还依次输入BN层进行批量归一化操作、输入ReLu层进行修正线性激活操作。
5.根据权利要求3所述的一种基于卷积神经网络的前列腺癌组织微阵列分级方法，其特征在于，所述特征融合操作具体包括：
S331、通过位置注意模块将特征图维度进行reshape操作，降维后得到多个子特征图，将其中两个张量相乘通过softmax操作归一化获得每个位置的空间注意特征图；
S332、通过通道注意模块对一个子特征图进行转置再将两个张量做矩阵相乘，经过softmax操作后得到C维度的通道注意图，并与scale参数相乘，得到的结果与原特征图相加；
S333、将步骤S331和S332的输出相加得到同时包含位置信息和通道信息的特征图。
6.根据权利要求5所述的一种基于卷积神经网络的前列腺癌组织微阵列分级方法，其特征在于，所述特征融合操作具体还包括：
将来自所有尺度的张量连接起来，形成一个新的张量通过卷积层来创建一个公共的多尺度特征图FMS＝conv([F'1,F'2,F'3,F'4])，FS为多尺度特征，s为体系结构中的层次，F'S表示来自所有尺度张量的连接，FMS用于编码来自浅层的低级细节信息及高层的语义信息，然后与多尺度的空间注意特征图和通道注意图相结合，输入到引导注意模块中，生成注意特征AS，AS定义如下：
AS＝AttMods(conv[F'S,FMS])。
7.根据权利要求6所述的一种基于卷积神经网络的前列腺癌组织微阵列分级方法，其特征在于，在位置注意模块生成的空间注意特征图的定义如下：
Figure FDA0002652753470000031
其中，
Figure FDA0002652753470000032
表示第i个位置对第j个位置的影响；将F输入到第三个分值的两个卷积中得到与F形状相同的
Figure FDA0002652753470000033
以此类推；
在通道注意模块生成的通道注意图定义如下：
Figure FDA0002652753470000034
其中，λc控制输入的特征映射F，通道注意模块将所有通道的加权特征集合到原始特征中，突出类相关的特征映射。
8.根据权利要求4所述的一种基于卷积神经网络的前列腺癌组织微阵列分级方法，其特征在于，所述BN层的定义如下：
Figure FDA0002652753470000035
Figure FDA0002652753470000036
Figure FDA0002652753470000037
Figure FDA0002652753470000038
其中，μ是平移参数，σ是缩放函数，m为块的大小，λ，β为重构参数，公式由上至下计算结果依次为均值、标准差、归一化、重构变换。
9.一种计算机可读存储介质，其存储有可由终端设备执行的计算机程序，其特征在于，当所述程序在终端设备上运行时，使得所述终端设备执行权利要求1-8任一项所述的方法。
CN202010876490.7A 2020-08-27 2020-08-27 一种基于卷积神经网络的前列腺癌组织微阵列分级方法 Pending CN111899259A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010876490.7A CN111899259A (zh) 2020-08-27 2020-08-27 一种基于卷积神经网络的前列腺癌组织微阵列分级方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010876490.7A CN111899259A (zh) 2020-08-27 2020-08-27 一种基于卷积神经网络的前列腺癌组织微阵列分级方法

Publications (1)

Publication Number Publication Date
CN111899259A true CN111899259A (zh) 2020-11-06

Family

ID=73225747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010876490.7A Pending CN111899259A (zh) 2020-08-27 2020-08-27 一种基于卷积神经网络的前列腺癌组织微阵列分级方法

Country Status (1)

Country Link
CN (1) CN111899259A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112346704A (zh) * 2020-11-23 2021-02-09 华中科技大学 一种用于卷积神经网络的全流水线型乘加单元阵列电路
CN113011510A (zh) * 2021-03-25 2021-06-22 推想医疗科技股份有限公司 一种支气管分级及模型训练方法、装置及电子设备
CN113269747A (zh) * 2021-05-24 2021-08-17 浙江大学医学院附属第一医院 一种基于深度学习的病理图片肝癌扩散检测方法及系统
CN113362350A (zh) * 2021-07-26 2021-09-07 海南大学 癌症病历图像的分割方法、装置、终端设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090161928A1 (en) * 2007-12-06 2009-06-25 Siemens Corporate Research, Inc. System and method for unsupervised detection and gleason grading of prostate cancer whole mounts using nir fluorscence
CN110163878A (zh) * 2019-05-28 2019-08-23 四川智盈科技有限公司 一种基于双重多尺度注意力机制的图像语义分割方法
CN110188765A (zh) * 2019-06-05 2019-08-30 京东方科技集团股份有限公司 图像语义分割模型生成方法、装置、设备及存储介质
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110751621A (zh) * 2019-09-05 2020-02-04 五邑大学 基于深度卷积神经网络的乳腺癌辅助诊断方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090161928A1 (en) * 2007-12-06 2009-06-25 Siemens Corporate Research, Inc. System and method for unsupervised detection and gleason grading of prostate cancer whole mounts using nir fluorscence
CN110163878A (zh) * 2019-05-28 2019-08-23 四川智盈科技有限公司 一种基于双重多尺度注意力机制的图像语义分割方法
CN110188765A (zh) * 2019-06-05 2019-08-30 京东方科技集团股份有限公司 图像语义分割模型生成方法、装置、设备及存储介质
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110751621A (zh) * 2019-09-05 2020-02-04 五邑大学 基于深度卷积神经网络的乳腺癌辅助诊断方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ASHISH SINHA、 JOSE DOLZ: "Multi-scale self-guided attention for medical image segmentation", 《ARXIV》 *
YUCHUN LI 等: "Automated Gleason Grading and Gleason Pattern Region Segmentation Based on Deep Learning for Pathological Images of Prostate Cancer", 《IEEE ACCESS》 *
王磐 等: "双注意力3D-UNet肺结节分割网络", 《计算机工程》 *
韩慧慧 等: "编码—解码结构的语义分割", 《中国图象图形学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112346704A (zh) * 2020-11-23 2021-02-09 华中科技大学 一种用于卷积神经网络的全流水线型乘加单元阵列电路
CN113011510A (zh) * 2021-03-25 2021-06-22 推想医疗科技股份有限公司 一种支气管分级及模型训练方法、装置及电子设备
CN113011510B (zh) * 2021-03-25 2021-12-24 推想医疗科技股份有限公司 一种支气管分级及模型训练方法、装置及电子设备
CN113269747A (zh) * 2021-05-24 2021-08-17 浙江大学医学院附属第一医院 一种基于深度学习的病理图片肝癌扩散检测方法及系统
CN113269747B (zh) * 2021-05-24 2023-06-13 浙江大学医学院附属第一医院 一种基于深度学习的病理图片肝癌扩散检测方法及系统
CN113362350A (zh) * 2021-07-26 2021-09-07 海南大学 癌症病历图像的分割方法、装置、终端设备和存储介质
CN113362350B (zh) * 2021-07-26 2024-04-02 海南大学 癌症病历图像的分割方法、装置、终端设备和存储介质

Similar Documents

Publication Publication Date Title
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
KR102108050B1 (ko) 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
CN111899259A (zh) 一种基于卷积神经网络的前列腺癌组织微阵列分级方法
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN110276745B (zh) 一种基于生成对抗网络的病理图像检测算法
CN109447998B (zh) 基于PCANet深度学习模型下的自动分割方法
CN112215117A (zh) 一种基于宫颈细胞学图像的异常细胞识别方法及系统
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
CN110021425A (zh) 一种比较检测器及其构建方法与宫颈癌细胞检测方法
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
EP4075325A1 (en) Method and system for the classification of histopathological images based on multiple instance learning
Sulam et al. Maximizing AUC with Deep Learning for Classification of Imbalanced Mammogram Datasets.
CN115100467A (zh) 一种基于核注意力网络的病理全切片图像分类方法
CN115393293A (zh) 基于UNet网络与分水岭算法的电镜红细胞分割与定位方法
Cao et al. 3D convolutional neural networks fusion model for lung nodule detection onclinical CT scans
CN113420793A (zh) 一种基于改进的卷积神经网络ResNeSt50的胃印戒细胞癌分类方法
CN116030078B (zh) 多任务学习框架下结合注意力的肺叶分割方法及系统
CN116884597A (zh) 基于自监督预训练和多示例学习的病理图像乳腺癌分子分型方法及系统
Mohsin et al. Automatic Prostate Cancer Grading Using Deep Architectures
CN114565626A (zh) 基于PSPNet改进的肺部CT图像分割算法
CN113222887A (zh) 基于深度学习的纳米铁标记神经干细胞示踪的方法
CN116150617B (zh) 一种肿瘤浸润淋巴细胞识别方法和系统
CN117393043B (zh) 一种甲状腺乳头状瘤braf基因突变检测装置
Thorat Classification of sub-type of lymphoma using deep learning
Quinones et al. Impact of Patch Extraction Variables on Histopathological Imagery Classification Using Convolution Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201106