CN113208641B - 基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法 - Google Patents
基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法 Download PDFInfo
- Publication number
- CN113208641B CN113208641B CN202110503730.3A CN202110503730A CN113208641B CN 113208641 B CN113208641 B CN 113208641B CN 202110503730 A CN202110503730 A CN 202110503730A CN 113208641 B CN113208641 B CN 113208641B
- Authority
- CN
- China
- Prior art keywords
- resolution
- capsule
- layer
- vector
- dimensional multi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002775 capsule Substances 0.000 title claims abstract description 73
- 206010056342 Pulmonary mass Diseases 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000003745 diagnosis Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 22
- 230000001575 pathological effect Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 56
- 210000002569 neuron Anatomy 0.000 claims description 44
- 230000006870 function Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000005728 strengthening Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 210000004072 lung Anatomy 0.000 claims description 4
- 230000007170 pathology Effects 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000003491 array Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 239000013585 weight reducing agent Substances 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000002685 pulmonary effect Effects 0.000 claims 1
- 239000000090 biomarker Substances 0.000 abstract description 4
- 210000002966 serum Anatomy 0.000 abstract description 4
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 3
- 201000005202 lung cancer Diseases 0.000 description 3
- 208000020816 lung neoplasm Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005773 cancer-related death Effects 0.000 description 1
- 231100000504 carcinogenesis Toxicity 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002779 inactivation Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012353 t test Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Pulmonology (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法，属于医学图像处理技术领域，方法包括：获取包含病理类型标注的肺结节CT影像数据集；对数据集中的样本预处理；构建三维多分辨注意力胶囊网络；将预处理的数据样本输入到三维多分辨注意力胶囊网络中进行训练，通过学习样本分布，提升三维多分辨注意力胶囊网络对肺结节多种病理类型的预测能力。本发明无需设计手工特征或利用血清生物标志物等辅助信息，面对分类困难的小样本、不均衡、多标签的临床数据集仍能保持较高的预测精度和较强的鲁棒性。
Description
技术领域
本发明属于医学图像处理领域，具体涉及基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法。
背景技术
肺癌是全球癌症相关死亡的主要原因,利用CT扫描对高风险人群进行检查是一种有效的发现早期肺癌的手段，而这样的人群数量庞大,影像科医师的工作量急剧增大，因此计算机辅助诊断就扮演了非常重要的角色。而辅助诊断方法的应用可以减少对医生个体经验和工作状态的依赖，提升诊断效率，有利于实现肺癌的早筛早诊早治疗。传统的计算机辅助诊断方法大多基于机器学习算法，这类方法需要根据经验设计和提取手工特征，预测结果受特征选择影响较大，预测精度和智能化程度相对较低，若要进一步提升预测精度可能还要结合血清生物标志物等补充信息。近年来，基于深度卷积神经网络的辅助诊断方法应用于肺结节的计算机辅助诊断中，该方法不需要手工特征的设计，在一定程度上优化了肺结节辅助诊断方法，但该方法大多只限于预测肺结节的良恶性，且在针对小样本、不均衡、多标签的肺结节多种病理类型辅助诊断任务时，其性能会受到较大制约。
发明内容
针对传统辅助诊断方法需要设计手工特征，甚至还需借助血清生物标志物信息，而深度卷积神经网络又难以在经病理学金标准确认的小规模临床数据集上发挥其优势的问题，本发明提出了一种基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法。
本发明的技术方案为：
基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法，包括以下步骤：
S1构建数据集：获取包含病理类型标注的肺结节CT影像数据集；
S2对数据集中的样本预处理：生成包含低、中、高三种分辨率的3D图像数组的数据样本，并同时进行真实分辨率标注和病理类型标注；
S3构建三维多分辨注意力胶囊网络,所述三维多分辨注意力胶囊网络包括编码部分和解码部分，编码部分包括一层卷积层，一个强化插值扰动的多分辨注意力模块，一层由卷积操作和squash运算实现的初级胶囊层，一层由限幅更新的动态路由算法实现的高级胶囊层，一个综合不同支路预测输出得到预测结果的输出层；解码部分包括三层完全连接层，用以重建原始输入；
S4将S2预处理的数据样本输入到S3构建的三维多分辨注意力胶囊网络中进行训练，通过学习样本分布，提升三维多分辨注意力胶囊网络对肺结节多种病理类型的预测能力；
S4.1三种分辨率的3D图像作为输入由卷积层进行初阶特征提取，在三条支路上分别得到一组初阶特征图；
S4.2对于S4.1中三种分辨率输入中的两种非真实分辨率输入所在支路上的初阶特征图输入，由多分辨注意力模块对多分辨方法引入的插值扰动进行强化,以获取受到监督后的特征图输出；对于真实分辨率输入所在支路上的初阶特征图输入，则不经任何处理直接向后输出；
S4.3将S4.2得到的特征图输入初级胶囊层获得低层向量神经元，实现从标量神经元到低层向量神经元的映射；
S4.4将S4.3得到的各支路上的低层向量神经元输入高级胶囊层，分别通过限幅更新的动态路由算法生成一组高层向量神经元簇；
S4.5将S4.4得到的各支路上的一组高层向量神经元簇分别按簇展开为向量后求L2范数，经过Softmax函数即可得到各支路输出的预测输出；
S4.6将S4.5得到的各支路上的预测输出按输出层中的可训练参数加权融合，得到当前迭代过程三维多分辨注意力胶囊网络的预测结果；
S4.7从S4.4得到的各支路上的一组高层向量神经元簇中选择病理类型标注对应的一簇，分别由三条支路上的网络解码部分进行重建，并分别与对应的3D图像输入求均方误差，以起到正则化项的作用。
其中，S2中的预处理流程包括：
(1)从肺部CT影像中定位并提取肺结节；
(2)确定肺结节样本的真实分辨率标注；
(3)将肺结节样本缩放到20×20×20、30×30×30、45×45×45三种分辨率；
(4)将肺结节样本的CT值限定在-1000～400HU范围内；
(5)对肺结节样本的CT值执行最小-最大规范化，将CT值映射到[-1,1]区间内；
式中，Cmax和Cmin分别代表CT值限定范围的上下界，x代表输入图像数组。
(6)对训练样本进行数据增强。
优选地，所述卷积层的尺寸分别为图片为20×20×20、通道数256、卷积核9×9×9、步长1，图片为30×30×30、通道数256、卷积核11×11×11、步长1，图片为45×45×45、通道数256、卷积核7×7×7、步长2。
优选地，所述初级胶囊层通道数32、卷积核9×9×9、步长1、胶囊维度8；所述高级胶囊层的胶囊维度16。
优选地，网络编码部分的每条支路上特征图的大小均相同，输出层中加权融合三路预测输出的权重系数λ1、λ2、λ3为可训练参数，由网络模型在训练过程中自行优化。
其中，S4.2中使用的多分辨注意力模块的作用方式如下：
(1)将真实分辨率输入与非真实分辨率输入所在的支路上的特征图元素在对应空间位置上求绝对偏差，再由S形函数转化为软性注意力分布；
Spv(xi|xr)＝(1-δ(i-r))·sigmoid(|xi-xr|) (8)
式中，xr和xi分别为支路r和支路i上的特征图，δ(·)为单位冲激函数。
(2)将软性注意力分布以倍增系数的形式对特征图输入进行强化，再向后输出；
y(xi|xr)＝(1-δ(i-r))λ·Spv(xi|xr)*xi+xi (9)
式中，xr和xi分别为支路r和支路i上的特征图，δ(·)为单位冲激函数,λ为降权系数，取0.5，y为经多分辨注意模块处理得到的特征图输出。
其中，S4.4中使用的限幅更新的动态路由算法以预测向量与单次迭代得到的向量神经元vj之间的余弦相似度作为对数先验概率bij的更新增量。解决原始动态路由算法导致的大量向量神经元在训练过程中长期失活的问题。
与现有技术相比，本发明的有益效果在于：
(1)3D网络结构的胶囊网络可以更充分地提取、学习肺结节在三维空间中的形态特征和层级信息；
(2)限幅更新的动态路由算法，限制了对数先验概率更新增量的幅度，解决了模型训练过程大量向量神经元失活的问题；
(3)非真实分辨率3D图像输入所在支路适当强化了由多分辨方法引入的插值扰动，相当于在训练时对样本进行了数据增强，提升了网络模型的鲁棒性；
(4)基于三维多分辨注意力胶囊网络的辅助诊断模型实现了端到端的肺结节多种病理类型预测，在样本数量少、分布不均衡、特征复杂度高、类间差异小、类内差异大的临床CT影像数据集上仍能保持较高的预测精准度。
附图说明
图1是肺部CT影像预处理流程图。
图2是编码部分结构图。
图3是解码部分结构图。
图4是多分辨注意力模块示意图。
图5是限幅更新的动态路由算法的单次迭代示意图。
图6是限幅更新的动态路由算法与原始动态路由算法在训练过程中的对数先验概率的均值变化对比图。
图7是限幅更新的动态路由算法与原始动态路由算法在训练过程中的对数先验概率的方差变化对比图。
图8是根据本发明实施例的分类性能对比图。
具体实施方式
下面结合附图详细说明本发明的实施例，此处描述的具体实施方案仅用于解释本发明，而非对本发明的限制。
基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法，包括以下步骤：
S1构建数据集：获取包含病理类型标注的肺结节CT影像数据集。
S2对数据集中的样本预处理：生成包含低、中、高三种分辨率的3D图像数组的数据样本，并同时进行真实分辨率标注和病理类型标注。
如图1所示，样本预处理包括以下步骤：
S2.1根据肺结节样本的坐标、直径和病理类型标注定位并提取肺结节；
S2.2根据肺结节样本的直径确定样本对应的真实分辨率标注；
S2.3通过双线性插值操作将肺结节样本分别缩放到20×20×20、30×30×30、45×45×45；
S2.4将S2.3得到的肺结节样本的CT值限定在-1000～400HU的范围内；
S2.5对S2.4得到的肺结节样本的CT值执行最小-最大规范化，将CT值映射到[-1,1]区间内；
式中，Cmax和Cmin分别代表CT值限定范围的上下界，x代表输入图像数组。
S2.6对训练样本进行数据增强。
在一些实施方式中，数据增强采用随机旋转、叠加噪声等方式，根据数据集的样本分布进行样本扩充。
S3构建三维多分辨注意力胶囊网络,所述三维多分辨注意力胶囊网络包括编码部分和解码部分，编码部分包括一层卷积层，一个强化插值扰动的多分辨注意力模块，一层由卷积操作和squash运算实现的初级胶囊层，一层由限幅更新的动态路由算法实现的高级胶囊层，一个综合不同支路预测输出得到预测结果的输出层；解码部分包括三层完全连接层，用以重建原始输入。
三维多分辨注意力胶囊网络编码部分如图2所示，每条支路上的特征图大小相同，整体结构主要包括卷积层1、多分辨注意力模块2、初级胶囊层3、高级胶囊层4、输出层5，其网络参数如表1所示。输出层5中加权融合三路预测输出的权重系数λ1、λ2、λ3为可训练参数，由网络模型在训练过程中自行优化。
表1三维多分辨注意力胶囊网络编码部分的网络层参数
三维多分辨注意力胶囊网络解码部分如图3所示，各支路上的解码结构均由三层完全连接层组成，其网络参数如表2所示。
表2三维多分辨注意力胶囊网络解码部分的网络层参数
S4将S2预处理的数据样本输入到S3构建的三维多分辨注意力胶囊网络中进行训练，通过学习样本分布，提升三维多分辨注意力胶囊网络对肺结节多种病理类型的预测能力。
S4.1三种分辨率的3D图像作为输入由卷积层进行初阶特征提取，在三条支路上分别得到一组初阶特征图。
S4.2对于S4.1中三种分辨率输入中的两种非真实分辨率输入所在支路上的初阶特征图输入，由多分辨注意力模块对多分辨方法引入的插值扰动进行强化，以获取受到监督后的特征图输出；对于真实分辨率输入所在支路上的初阶特征图输入，则不经任何处理直接向后输出。
本实施例中，多分辨注意力模块如图4所示，多分辨注意力模块的作用方式如下：
S4.2.1真实分辨率输入所在的支路r上的特征图元素与非真实分辨率输入所在的支路i上的特征图元素在对应空间位置上求绝对偏差，再由S形函数转化为软性注意力分布；
Spv(xi|xr)＝(1-δ(i-r))·sigmoid(|xi-xr|) (11)
式中，xr和xi分别为支路r和支路i上的特征图，δ(·)为单位冲激函数。
S4.2.2当i＝r时，特征图输入不做任何处理直接向后输出；当i≠r时，S4.1中的软性注意力分布以倍增系数的形式对特征图输入进行强化，再向后输出；
y(xi|xr)＝(1-δ(i-r))λ·Spv(xi|xr)*xi+xi (12)
式中，xr和xi分别为支路r和支路i上的特征图，δ(·)为单位冲激函数，λ为降权系数，取0.5，y为经多分辨注意模块处理得到的特征图输出。
S4.3将S4.2得到的标量神经元输入初级胶囊层获得低层向量神经元，实现从标量神经元到低层向量神经元的映射。
S4.4将S4.3得到的各支路上的低层向量神经元输入高级胶囊层，分别通过限幅更新的动态路由算法生成一组高层向量神经元簇。
本实施例中，限幅更新的动态路由算法如图5所示，其具体流程如下：
S4.4.1由权值矩阵Wij与第l层向量神经元ui相乘，得到低层向量神经元i对高层向量神经元j的预测向量
S4.4.2由对数先验概率bij经过Softmax函数，计算各个预测向量向上层传输数据流的耦合系数cij；
式中，对数先验概率的bij初始值均为0，k为第l+1层向量神经元的数量，e为自然常数，p为累加运算中通项公式的变量p＝1,2,3,…,k。
S4.4.3第l层的预测向量按耦合系数cij进行加权求和得到对第l+1层中向量神经元j的综合预测向量sj，再经过squash运算即可得到该层向量神经元vj；
式中，i为低层向量神经元序号,
S4.4.4以S4.4.1计算的预测向量和S6.3计算的向量神经元vj之间的余弦相似度作为对数先验概率bij的更新增量；
S4.4.5重复S4.4.2～S4.4.4，每个训练步迭代r＝3次，最后一轮迭代得到的vj即为当前训练步的输出向量神经元。
S4.5对于S4.4得到的各支路上的一组高层向量神经元簇分别按簇展开为向量后求L2范数，经过Softmax函数即可得到各支路输出的预测输出。
S4.6将S4.5得到的各支路上的预测输出按输出层中的可训练参数加权融合，即可得到当前迭代过程三维多分辨注意力胶囊网络的预测结果。
S4.7从S4.4得到的各支路上的一组高层向量神经元簇中选择病理类型标注对应的一簇，分别由三条支路上的网络解码部分进行重建，并分别与对应的3D图像输入求均方误差，以起到正则化项的作用。
为了说明本发明的技术效果，在根据前述步骤处理得到的肺结节CT影像数据集上，对限幅更新的动态路由算法与原始动态路由算法在训练过程中的对数先验概率的变化情况分别进行了可视化跟踪。由图6和图7可知，应用原始动态路由算法的三维胶囊网络(3DCapsNet)在训练初期，对数先验概率的均值与方差都出现了激增现象，说明其中有部分对数先验概率存在快速增长的情况；对数先验概率的均值和方差都接近于0，说明有相当多的对数先验概率始终为0或接近于0。此即意味着不受限的更新增量加之正反馈状态的更新过程，导致了对数先验概率快速陷入了失效状态且难以脱离。而应用限幅更新的动态路由算法的三维胶囊网络(3D CapsNet-IDRA)在训练过程中，对数先验概率的均值与方差始终平稳变化且分别提升了2个和4个数量级，有效应对了原始动态路由算法造成的大量向量神经元失活导致模型性能下降的问题。
另外,本发明还与三种单输入应用限幅更新的动态路由算法的三维胶囊网络(3DCapsNet-IDRA)，以及AlexNet、残差网络-18(ResNet-18)、残差网络-50(ResNet-50)(对3DCapsNet-IDRA，以及AlexNet、ResNet-18、ResNet-50先将中文名称写在前面，后面写缩写)等被广泛用于肺结节辅助诊断的先进方法在准确率(ACC)、受试者工作特征曲线的曲线下面积(AUC)、精确率(Precision)(宏平均方式)指标上的表现进行了比较。由图8可知，三种单输入3DCapsNets-IDRA的分类性能整体优于网络深度更大的AlexNet、ResNet-18、ResNet-50，同时也优于3D CapsNet，佐证了限幅更新的动态路由算法的有效性。而多分辨注意力胶囊网络(3D MRA-CapsNet)在各项指标上都取得了最优的表现，相较于单输入3DCapsNet-IDRA展现了更为明显的优势。经成对双样本t检验，其在三项评价指标上的表现比三种经典卷积神经网络模型中最佳的表现分别高出8.51％(P＝3.08×10-21)、4.54％(P＝2.41×10-27)、25.69％(P＝1.29×10-25)。综上可以证明本发明提出的基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法的良好性能。
本发明无需设计手工特征或利用血清生物标志物等辅助信息，面对分类困难的小样本、不均衡、多标签的临床数据集仍能保持较高的预测精度和较强的鲁棒性。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳的实施例对本发明进行了详细的说明，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的修改或等同替换，而不脱离本发明技术方案的精神和范围，都应涵盖在本发明的保护范围之内。
Claims (8)
1.基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法，其特征在于：包括以下步骤：
S1构建数据集：获取包含病理类型标注的肺结节CT影像数据集；
S2对数据集中的样本预处理：生成包含低、中、高三种分辨率的3D图像数组的数据样本，并同时进行真实分辨率标注和病理类型标注；
S3构建三维多分辨注意力胶囊网络,所述三维多分辨注意力胶囊网络包括编码部分和解码部分，编码部分包括一层卷积层，一个强化插值扰动的多分辨注意力模块，一层由卷积操作和squash运算实现的初级胶囊层，一层由限幅更新的动态路由算法实现的高级胶囊层，一个综合不同支路预测输出得到预测结果的输出层；解码部分包括三层完全连接层，用以重建原始输入；
S4将S2预处理的数据样本输入到S3构建的三维多分辨注意力胶囊网络中进行训练，通过学习样本分布，提升三维多分辨注意力胶囊网络对肺结节多种病理类型的预测能力；
S4.1三种分辨率的3D图像作为输入由卷积层进行初阶特征提取，在三条支路上分别得到一组初阶特征图；
S4.2对于S4.1中三种分辨率输入中的两种非真实分辨率输入所在支路上的初阶特征图输入，由多分辨注意力模块对多分辨方法引入的插值扰动进行强化,以获取受到监督后的特征图输出；对于真实分辨率输入所在支路上的初阶特征图输入，则不经任何处理直接向后输出；
S4.3将S4.2得到的特征图输入初级胶囊层获得低层向量神经元；
S4.4将S4.3得到的各支路上的低层向量神经元输入高级胶囊层，分别通过限幅更新的动态路由算法生成一组高层向量神经元簇；
S4.5将S4.4得到的各支路上的一组高层向量神经元簇分别按簇展开为向量后求L2范数，经过Softmax函数即可得到各支路输出的预测输出；
S4.6将S4.5得到的各支路上的预测输出按输出层中的可训练参数加权融合，得到当前迭代过程三维多分辨注意力胶囊网络的预测结果；
S4.7从S4.4得到的各支路上的一组高层向量神经元簇中选择病理类型标注对应的一簇，分别由三条支路上的网络解码部分进行重建，并分别与对应的3D图像输入求均方误差，以起到正则化项的作用。
2.根据权利要求1所述的基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法，其特征在于：S2中的预处理流程包括：
(1)从肺部CT影像中定位并提取肺结节；
(2)确定肺结节样本的真实分辨率标注；
(3)将肺结节样本缩放到20×20×20、30×30×30、45×45×45三种分辨率；
(4)将肺结节样本的CT值限定在-1000～400HU范围内；
(5)对肺结节样本的CT值执行最小-最大规范化，将CT值映射到[-1,1]区间内；
式中，Cmax和Cmin分别代表CT值限定范围的上下界，x代表输入图像数组；
(6)对训练样本进行数据增强。
3.根据权利要求1所述的基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法，其特征在于：所述卷积层的尺寸分别为图片为20×20×20、通道数256、卷积核9×9×9、步长1，图片为30×30×30、通道数256、卷积核11×11×11、步长1，图片为45×45×45、通道数256、卷积核7×7×7、步长2。
4.根据权利要求1所述的基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法，其特征在于：所述初级胶囊层通道数32、卷积核9×9×9、步长1、胶囊维度8；所述高级胶囊层的胶囊维度16。
5.根据权利要求1所述的基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法，其特征在于：网络编码部分的每条支路上特征图的大小均相同，输出层中加权融合三路预测输出的权重系数λ1、λ2、λ3为可训练参数，由网络模型在训练过程中自行优化。
6.根据权利要求1所述的基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法，其特征在于：S4.2中使用的多分辨注意力模块的作用方式如下：
(1)将真实分辨率输入与非真实分辨率输入所在的支路上的特征图元素在对应空间位置上求绝对偏差，再由S形函数转化为软性注意力分布；
Spv(xi|xr)＝(1-δ(i-r))·sigmoid(|xi-xr|) (2)
式中，xr和xi分别为支路r和支路i上的特征图，δ(·)为单位冲激函数；
(2)将软性注意力分布以倍增系数的形式对特征图输入进行强化，再向后输出；
y(xi|xr)＝(1-δ(i-r))λ·Spv(xi|xr)*xi+xi (3)
式中，xr和xi分别为支路r和支路i上的特征图，δ(·)为单位冲激函数,λ为降权系数，取0.5，y为经多分辨注意模块处理得到的特征图输出。
7.根据权利要求1所述的基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法，其特征在于：S4.4中使用的限幅更新的动态路由算法以预测向量与单次迭代得到的向量神经元vj之间的余弦相似度作为对数先验概率bij的更新增量。
8.根据权利要求7所述的基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法，其特征在于：所述S4.4具体步骤如下：
S4.4.1由权值矩阵Wij与第l层向量神经元ui相乘，得到低层向量神经元i对高层向量神经元j的预测向量
S4.4.2由对数先验概率bij经过Softmax函数，计算各个预测向量向上层传输数据流的耦合系数cij；
式中，对数先验概率的bij初始值均为0，k为第l+1层向量神经元的数量，e为自然常数，p为累加运算中通项公式的变量p＝1,2,3,…,k；
S4.4.3第l层的预测向量按耦合系数cij进行加权求和得到对第l+1层中向量神经元j的综合预测向量sj，再经过squash运算即可得到该层向量神经元vj；
式中，i为低层向量神经元序号，代表对所有低层向量神经元对应的变量做所示的运算后累加；
S4.4.4以S4.4.1计算的预测向量和S6.3计算的向量神经元vj之间的余弦相似度作为对数先验概率bij的更新增量；
S4.4.5重复S4.4.2～S4.4.4，每个训练步迭代r＝3次，最后一轮迭代得到的vj即为当前训练步的输出向量神经元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110503730.3A CN113208641B (zh) | 2021-05-10 | 2021-05-10 | 基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110503730.3A CN113208641B (zh) | 2021-05-10 | 2021-05-10 | 基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113208641A CN113208641A (zh) | 2021-08-06 |
| CN113208641B true CN113208641B (zh) | 2023-09-12 |
Family
ID=77093984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110503730.3A Active CN113208641B (zh) | 2021-05-10 | 2021-05-10 | 基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113208641B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115130664B (zh) * | 2022-08-30 | 2022-11-08 | 华南师范大学 | 基于胶囊网络模型的脑电信号的情感分析方法以及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009102930A2 (en) * | 2008-02-13 | 2009-08-20 | Kitware, Inc. | Method and system for measuring tissue damage and disease risk |
| CN108830826A (zh) * | 2018-04-28 | 2018-11-16 | 四川大学 | 一种检测肺结节的系统及方法 |
| CN110766051A (zh) * | 2019-09-20 | 2020-02-07 | 四川大学华西医院 | 一种基于神经网络的肺结节形态学分类方法 |
| CN110807764A (zh) * | 2019-09-20 | 2020-02-18 | 成都智能迭迦科技合伙企业(有限合伙) | 一种基于神经网络的肺癌筛查方法 |
| CN112258530A (zh) * | 2020-12-21 | 2021-01-22 | 四川大学 | 基于神经网络的计算机辅助肺结节自动分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11010902B2 (en) * | 2018-06-04 | 2021-05-18 | University Of Central Florida Research Foundation, Inc. | Capsules for image analysis |
-
2021
- 2021-05-10 CN CN202110503730.3A patent/CN113208641B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009102930A2 (en) * | 2008-02-13 | 2009-08-20 | Kitware, Inc. | Method and system for measuring tissue damage and disease risk |
| CN108830826A (zh) * | 2018-04-28 | 2018-11-16 | 四川大学 | 一种检测肺结节的系统及方法 |
| CN110766051A (zh) * | 2019-09-20 | 2020-02-07 | 四川大学华西医院 | 一种基于神经网络的肺结节形态学分类方法 |
| CN110807764A (zh) * | 2019-09-20 | 2020-02-18 | 成都智能迭迦科技合伙企业(有限合伙) | 一种基于神经网络的肺癌筛查方法 |
| CN112258530A (zh) * | 2020-12-21 | 2021-01-22 | 四川大学 | 基于神经网络的计算机辅助肺结节自动分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| Lung 4D CT Image Registration Based on High-Order Markov Random Field;Peng Xue;IEEE TRANSACTIONS ON MEDICAL IMAGING;第39卷(第4期);1-12 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113208641A (zh) | 2021-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cai et al. | BS-Nets: An end-to-end framework for band selection of hyperspectral image | |
| CN106940816B (zh) | 基于3d全卷积神经网络的ct图像肺结节检测系统 | |
| CN112150425B (zh) | 一种基于神经网络的无监督血管内超声图像配准方法 | |
| CN111191514A (zh) | 一种基于深度学习的高光谱图像波段选择方法 | |
| CN112241766A (zh) | 基于样本生成和迁移学习的肝脏ct图像多病变分类方法 | |
| Ferreira et al. | End-to-end supervised lung lobe segmentation | |
| CN112288011B (zh) | 一种基于自注意力深度神经网络的图像匹配方法 | |
| CN108021930A (zh) | 一种自适应的多视角图像分类方法及系统 | |
| CN116665065B (zh) | 基于十字交叉注意力的高分辨率遥感影像变化检测方法 | |
| CN113222998B (zh) | 基于自监督低秩网络的半监督图像语义分割方法及装置 | |
| Zhao et al. | PCA dimensionality reduction method for image classification | |
| CN115222998B (zh) | 一种图像分类方法 | |
| CN111899203A (zh) | 基于标注图在无监督训练下的真实图像生成方法及存储介质 | |
| CN114758137A (zh) | 超声图像分割方法、装置及计算机可读存储介质 | |
| CN114022462A (zh) | 实现多参数核磁共振图像病灶分割的方法、系统、装置、处理器及其计算机可读存储介质 | |
| CN115496720A (zh) | 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备 | |
| CN113208641B (zh) | 基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法 | |
| CN112990359B (zh) | 一种影像数据处理方法、装置、计算机及存储介质 | |
| Gonzalez | DL4DS—Deep learning for empirical downscaling | |
| CN116825363B (zh) | 基于融合深度学习网络的早期肺腺癌病理类型预测系统 | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| Kang et al. | Single image super-resolution based on mapping-vector clustering and nonlinear pixel-reconstruction | |
| CN116563285A (zh) | 一种基于全神经网络的病灶特征识别与分割方法及系统 | |
| CN115205308A (zh) | 一种基于线状滤波和深度学习的眼底图像血管分割方法 | |
| Wang et al. | Mdisn: Learning multiscale deformed implicit fields from single images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |