CN111476757B - 一种冠脉斑块数据检测方法、系统、存储介质、终端 - Google Patents
一种冠脉斑块数据检测方法、系统、存储介质、终端 Download PDFInfo
- Publication number
- CN111476757B CN111476757B CN202010160279.5A CN202010160279A CN111476757B CN 111476757 B CN111476757 B CN 111476757B CN 202010160279 A CN202010160279 A CN 202010160279A CN 111476757 B CN111476757 B CN 111476757B
- Authority
- CN
- China
- Prior art keywords
- network
- layer
- coronary
- dimensional
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 55
- 230000006870 function Effects 0.000 claims abstract description 42
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 38
- 238000012360 testing method Methods 0.000 claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims abstract description 28
- 210000004351 coronary vessel Anatomy 0.000 claims abstract description 21
- 238000002372 labelling Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 7
- 238000012952 Resampling Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000002591 computed tomography Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000004195 computer-aided diagnosis Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 238000010968 computed tomography angiography Methods 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 208000029078 coronary artery disease Diseases 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002792 vascular Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000002308 calcification Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000037260 Atherosclerotic Plaque Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003143 atherosclerotic effect Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002608 intravascular ultrasound Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012014 optical coherence tomography Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明属于医学图像处理、计算机辅助诊断技术领域，公开了一种冠脉斑块数据检测方法、系统、存储介质、终端，在三维医学图像上，沿着冠脉中心线点提取三维图像块作为样本，划分样本数据集；以冠脉三维图像块样本作为输入，图像是否含有斑块作为输出，构建三维阶梯卷积神经网络；将训练数据集送入网络，计算损失函数训练网络模型；训练好的网络模型在测试集上进行预测，完成冠脉斑块检测任务。本发明结合无标注数据进行半监督学习，仅依赖少量标记数据完成斑块检测，降低标注数据难度，提高检测精度。本发明实现了对冠状动脉斑块的检测，具有不需要预分割血管、准确率高、仅依赖少量标注数据的特点。
Description
技术领域
本发明属于医学图像处理、计算机辅助诊断技术领域，尤其涉及一种冠脉斑块数据检测方法、系统、存储介质、终端。
背景技术
目前，冠状动脉疾病是最常见的心血管疾病之一，冠状动脉粥样硬化斑块的产生对冠状动脉疾病负主要责任。早期检测和识别冠状动脉斑块对于冠状动脉疾病的预防和诊断具有重要意义。血管内超声和光学相干断层成像等成像技术提供了管腔内以及斑块形态的详细可视化，并可对动脉粥样硬化负荷及其成分进行可靠的定量分析，对斑块性质有良好的鉴别能力，但是这些技术具有侵入性和高成本，费时且不易操作，存在相当大的患者风险，而且只能在近端血管中进行，不适合在较短的时间内检测整个冠状动脉树的斑块进展，在临床中进行推广具有一定的局限性。随着计算机断层成像技术的发展，冠状动脉CT血管造影由于其无创、三维、分辨率高等优点，成为一种公认的诊断和排除疑似冠心病患者的方法。目前临床上，使用心脏CTA图像上进行斑块检测的任务通常基于视觉评估来完成，或者先半自动化地分割管腔和动脉壁，然后定义血管斑块的存在。但是视觉评估通常存在较大地观察者间差异，而半自动分割血管不仅耗时耗力，而且分割不准确严重影响斑块检测结果。鉴于斑块检测对于冠状动脉疾病早期预防和诊断干预的重要性，多种计算机辅助的冠脉斑块检测和量化方法被提出。基于阈值的斑块检测方法原理简单、操作容易，但是存在衰减强度重叠问题，血管斑块的强度可能与周围组织相似，不同的设备和造影剂强度也可能会造成不同CTA图像之间同类型组织强度值存在很大差异，因此阈值法无法准确从CTA图像中分割出血管斑块；依赖于血管分割的方法，其性能依赖于对冠脉的精确分割，目前的冠脉分割方法在血管远端分割仍然不够精确，且容易受到严重钙化的影响；近年来，越来越多研究使用机器学习方法进行自动或半自动冠脉斑块检测，这类方法需要手工设计特征来表征图像，设计具有区分性的特征往往耗时且费力；深度学习方法也被应用在斑块检测任务中，但是训练模型需要大量标注数据，专家手工标注冠脉斑块代价昂贵，且容易存在观察者间误差，大量的精细标注的数据仍然难以获取。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有阈值法存在强度重叠问题，检测不精确。
(2)现有依赖于冠脉分割的方法由于钙化、血管远端过细等影响，难以生成精细的冠状动脉树。
(3)传统机器学习方法手工设计特征耗时耗力。
(4)现有深度模型训练需要大量标注数据。
解决以上问题及缺陷的难度为：鉴于数据特征的多样性，在传统机器学习方法应用中难以手工设计具有区分性的特征；深度学习方法获取标注数据存在一定困难，专家手工标注耗时耗力，容易存在观察者间误差。
解决以上问题及缺陷的意义为：
(1)不需要对冠脉进行分割，避免了冠脉分割不准确带来的误差。
(2)使用卷积神经网络进行斑块检测，避免了手工设计特征的复杂性，自动学习有效的特征，提高了检测精度。
(3)结合大量无标注数据进行训练，有助于提高分类任务的精度，而无标注数据往往容易获取。
发明内容
针对现有技术存在的问题，本发明提供了一种冠脉斑块数据检测方法、系统、存储介质、终端。
本发明是这样实现的，一种冠脉斑块数据检测方法，所述冠脉斑块数据检测方法在三维医学图像上，沿冠脉中心线点提取三维图像块作为样本，划分样本数据集；以冠脉三维图像块样本作为输入，图像是否含有斑块作为输出，构建三维阶梯卷积神经网络；将训练数据集送入网络，计算损失函数训练网络模型；训练好的网络模型在测试集上进行预测，完成冠脉斑块检测任务。
进一步，所述冠脉斑块数据检测方法包括：
步骤一，原始三维医学图像进行重采样，保证每个数据分辨率相同；对重采样后的数据通过手工标注或自动生成冠脉中心线；以冠脉中心线点为中心，以中心线切线为中轴，提取三维图像块作为样本；提取所有医学图像的三维图像块构成样本数据集；划分训练集、验证集和测试集；训练数据集中的标记样本进行随机角度旋转、镜像，扩增样本信息；冠脉中心线点向垂直其血管方向的任意方向随机移动一定幅度，增加对不同血管中心线的训练数据；
步骤二，以冠脉三维图像块样本作为输入，图像是否含有斑块作为输出，构建三维阶梯卷积神经网络，其网络结构主要由编码器网络和解码器网络组成；构造编码器网络，学习血管样本的编码信息；向输入和各隐藏层添加噪声作为噪声通道，学习鲁棒的重构表示；不添加任何噪声的通道作为干净通道，训练网络各层的重构信息；构造解码器网络，将编码特征重构为原始图像；添加跳跃连接，重构解码器卷积层输出；
步骤三，将训练数据集送入所构建的三维阶梯卷积神经网络；计算输入样本标签与编码器网络噪声通道输出之间的分类交叉熵损失作为监督损失函数；计算解码器各卷积层重构输出与编码器干净通道对应卷积层输出特征图之间的重构误差加权和作为无监督损失函数；使用反向传播算法将误差逐层反向传播至输入层，梯度下降法更新网络参数，直至网络收敛；将验证数据集送入训练模型中，评估模型性能，选出效果最佳的模型参数；
步骤四，将测试数据集送入训练好的模型中，由编码器不带噪声的干净通道预测三维血管图像是否含有斑块；对测试结果按血管段进行投票，获取血管段级别标签，评估网络性能。
进一步，所述步骤一在三维医学图像上，沿着冠脉中心线点提取三维图像块作为样本，划分样本数据集包括：
(1)对原始三维医学图像进行重采样，保证每个数据分辨率相同；
(2)对重采样后的数据通过手工标注或自动生成冠脉中心线；
(3)以冠脉中心线点为中心，以中心线切线为中轴，提取三维图像块作为样本；
(4)沿冠脉中心线提取所有医学图像数据的三维图像块构成样本数据集；
(5)样本数据集中，有标记的数据集随机划分为训练集、验证集和测试集数据，无标记数据加入训练集中；
(6)训练数据集进行随机角度旋转、镜像，扩增样本信息；
(7)训练数据集样本的冠脉中心线点向垂直其血管方向的任意方向随机移动一定幅度，增加对不同血管中心线的训练数据，减小提取中心线不准确引起的误差。
进一步，所述步骤二以冠脉三维图像块样本作为输入，图像是否含有斑块作为输出，构建三维阶梯卷积神经网络，按照如下步骤进行：
(1)以冠脉三维图像块样本作为输入，图像是否含有斑块作为输出，构建三维阶梯卷积神经网络，其网络结构主要由编码器网络和解码器网络组成；
(2)构造编码器网络，学习血管样本的编码信息，编码器网络包含三个三维卷积层和两个全连接层，每个卷积层使用ReLu激活函数学习非线性特征，随后三维最大池化层进行特征降维，第一个全连接层作为特征编码层用于解码器网络重构样本，第二个全连接层为softmax输出层，输出血管样本类别信息；
(3)在编码器结构的基础上，向输入和各隐藏层添加各向同性高斯噪声作为网络的噪声通道，让编码器学习鲁棒的重构表示，同时不添加任何噪声的通道作为网络的干净通道，用以训练网络各层的重构信息；
(4)构造解码器网络，将编码特征重构为原始图像，解码器网络由一个全连接层和三个三维卷积层构成，每个卷积层之前使用上采样将特征维度变为与编码器相应层对应的大小，最后一层卷积层的输出为编码器输入样本的重构图像；
(5)编码器和解码器对应网络层之间添加跳跃连接，解码器网络前一层输出和编码器噪声通道对应层输出特征图通过去噪函数重构，计算当前卷积层的输入，重构函数为：
其中，
为解码器第l+1层输出，/>
为编码器噪声通道第l层输出，/>
为解码器第l层输出，g(·，·)为重构函数。
进一步，所述步骤三将训练数据集送入网络，计算损失函数训练网络模型，按照如下步骤进行：
(1)将训练数据集送入所构建的三维阶梯卷积神经网络；
(2)计算输入样本标签与编码器网络噪声通道输出之间的分类交叉熵损失作为监督损失函数，评估网络预测结果与真实标签的一致程度，在给定输入xi,i∈(1,...,N)的情况下，监督损失函数为：
其中，
为噪声通道输出，yi为输入对应标签，N为样本个数；
(3)无标记数据经解码器进行重构，计算解码器各卷积层重构输出与编码器干净通道对应卷积层特征图的重构误差加权和作为无监督损失函数，评估网络表征输入样本的学习能力，无监督的重构损失函数Cd计算公式为：
其中，L是网络层数，z(l)是编码器干净通道第l层的前馈输出，
为解码器第l层的去噪输出，λl为第l层重构误差的损失权重；
(4)总损失函数为监督损失和无监督损失加权和，使用反向传播算法将误差逐层反向传播至输入层，梯度下降法更新网络参数，直至网络收敛至局部最优；
(5)将验证数据集送入训练模型中，评估模型性能，选出效果最佳的模型参数作为最终使用的模型。
进一步，所述步骤四训练好的网络模型在测试集上进行预测，完成冠脉斑块检测任务包括：
(1)将测试数据集送入训练好的模型中，由编码器不带噪声的干净通道预测三维血管图像是否含有斑块；
(2)对测试结果按血管段进行投票，获取血管段级别标签，评估网络性能。
本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求任意一项所述包括下列步骤：在三维医学图像上，沿冠脉中心线点提取三维图像块作为样本，划分样本数据集；以冠脉三维图像块样本作为输入，图像是否含有斑块作为输出，构建三维阶梯卷积神经网络；将训练数据集送入网络，计算损失函数训练网络模型；训练好的网络模型在测试集上进行预测，完成冠脉斑块检测任务。
本发明的另一目的在于提供一种实施所述冠脉斑块数据检测方法的冠脉斑块数据检测系统，所述冠脉斑块数据检测系统包括：
样本数据集划分模块，用于在三维医学图像上，沿冠脉中心线点提取三维图像块作为样本，划分样本数据集；
三维阶梯卷积神经网络构建模块，用于以冠脉三维图像块样本作为输入，图像是否含有斑块作为输出，构建三维阶梯卷积神经网络；
网络模型训练模块，用于将训练数据集送入网络，计算损失函数训练网络模型；
网络模型预测模块，用于训练好的网络模型在测试集上进行预测，完成冠脉斑块检测任务。
本发明的另一目的在于提供一种终端，所述终端搭载所述的冠脉斑块数据检测系统。
本发明的另一目的在于提供一种所述冠脉斑块数据检测方法在图像检测系统和计算机断层成像系统中的应用。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明解决了目前冠脉斑块检测难以区分目标和背景，检测精度低，需要大量标注数据进行训练的问题。本发明依赖冠脉中心线进行斑块检测，不需要对冠脉进行预分割，避免了冠脉分割带来的误差；使用三维阶梯卷积神经网络的结构，提取三维图像块表征斑块信息，有效学习了斑块的全局信息和局部信息，避免了传统方法手工设计特征的复杂性；使用半监督学习策略，通过学习未标注数据帮助监督网络学习到更多信息，提高了检测精度，解决了标注数据不足的问题；对数据集进行数据增强，有效提升了模型的泛化能力。本发明实现了对冠状动脉斑块的检测，具有不需要预分割血管、准确率高、仅依赖少量标注数据的特点。
附图说明
图1是本发明实施例提供的冠脉斑块数据检测方法流程图。
图2是本发明实施例提供的冠脉斑块数据检测系统的结构示意图；
图中：1、样本数据集划分模块；2、三维阶梯卷积神经网络构建模块；3、网络模型训练模块；4、网络模型预测模块。
图3是本发明实施例提供的三维阶梯卷积神经网络整体结构示意图。
图4是本发明实施例提供的三维阶梯卷积神经网络编码器网络结构示意图。
图5是本发明实施例提供的三维阶梯卷积神经网络解码器网络结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种冠脉斑块数据检测方法、系统、存储介质、终端，下面结合附图对本发明作详细的描述。
如图1所示，本发明提供的冠脉斑块数据检测方法包括：
S101：在三维医学图像上，沿冠脉中心线点提取三维图像块作为样本，划分样本数据集；
S102：以冠脉三维图像块样本作为输入，图像是否含有斑块作为输出，构建三维阶梯卷积神经网络；
S103：将训练数据集送入网络，计算损失函数训练网络模型；
S104：训练好的网络模型在测试集上进行预测，完成冠脉斑块检测任务。
如图2所示，本发明提供的冠脉斑块数据检测系统包括：
样本数据集划分模块1，用于在三维医学图像上，沿冠脉中心线点提取三维图像块作为样本，划分样本数据集。
三维阶梯卷积神经网络构建模块2，用于以冠脉三维图像块样本作为输入，图像是否含有斑块作为输出，构建三维阶梯卷积神经网络。
网络模型训练模块3，用于将训练数据集送入网络，计算损失函数训练网络模型。
网络模型预测模块4，用于训练好的网络模型在测试集上进行预测，完成冠脉斑块检测任务。
下面结合附图对本发明的技术方案作进一步的描述。
本发明实施例提供的冠脉斑块数据检测方法具体包括以下步骤：
(1)在三维医学图像上，沿冠脉中心线点提取三维图像块作为样本，划分样本数据集，具体过程如下：
(1a)本例使用的数据为心脏CTA图像，选取18个心脏CTA图像手动标记冠脉斑块用于监督学习，另外选取20个未标记的心脏CTA图像用于半监督学习；
(1b)心脏CTA图像的尺寸为512×521×C，分辨率在0.25到0.5之间。对所有图像重采样，重采样后的分辨率为[0.3,0.3,0.3]；
(1c)对重采样后的数据通过手工标注生成冠脉中心线；
(1d)按照医学标准将冠状动脉中心线划分为17段；
(1e)以冠脉中心线点为中心，以中心线切线为中轴，提取大小为24×24×24的三维图像块作为样本；
(1f)沿冠脉中心线提取所有心脏CTA数据的三维图像块构成样本数据集；
(1g)按照6:2:2的比例将有标记的数据集随机划分为训练集、验证集和测试集数据，剩余无标记数据均加入训练数据集中；
(1h)训练数据集进行随机角度旋转、镜像，扩增样本信息；
(1i)训练数据集样本的冠脉中心线点向垂直其血管方向的任意方向随机移动一定幅度(<3体素)，增加对不同血管中心线的训练数据，减小提取中心线不准确引起的误差。
(2)以冠脉三维图像块样本作为输入，图像是否含有斑块作为输出，构建三维阶梯卷积神经网络，参见图3，具体过程如下：
(2a)以冠脉三维图像块样本作为输入，图像是否含有斑块作为输出，构建三维阶梯卷积神经网络，样本输入大小为24×24×24，输出维度为2，其网络结构主要由编码器网络和解码器网络组成；
(2b)构造编码器网络，学习血管样本的编码信息，如图4所示，编码器网络包含三个三维卷积层和两个全连接层，各卷积层的卷积核大小均为[3,3,3]，步长为1，卷积核数量分别为32，64，128，每个卷积层使用ReLu激活函数学习非线性特征，随后采用2×2×2的三维最大池化进行特征降维，池化层步长为2。第一个全连接层作为特征编码层用于解码器网络重构样本，通道数为1024，第二个全连接层为softmax输出层，预测血管样本是否含有斑块；
(2c)在编码器结构的基础上，向输入和各隐藏层添加服从分布N(0,0.42)的高斯噪声作为网络的噪声通道，让编码器学习鲁棒的重构表示，同时不添加任何噪声的通道作为网络的干净通道，用以训练网络各层的重构信息；
(2d)构造解码器网络，将编码特征重构为原始图像，如图5所示，解码器网络由一个全连接层和三个三维卷积层构成，各卷积层的卷积核大小均为[3,3,3]，步长为1，卷积核数量分别为64,32,1，每个卷积层之前使用线性插值上采样将特征维度变为与编码器相应层对应的大小，最后一层卷积层的输出为编码器输入样本的重构图像；
(2f)编码器和解码器对应网络层之间添加跳跃连接，解码器网络前一层输出和编码器噪声通道对应层输出特征图通过去噪函数重构，计算当前卷积层的输入，重构函数为：
其中，
为解码器第l+1层输出，/>
为编码器噪声通道第l层输出，/>
为解码器第l层输出，g(·，·)为重构函数；
(3)将训练数据集送入网络，计算损失函数训练网络模型，如图3所示，具体过程如下：
(3a)将训练数据集送入所构建的三维阶梯卷积神经网络；
(3b)计算输入样本标签与编码器网络噪声通道输出之间的分类交叉熵损失作为监督损失函数，在给定输入xi,i∈(1,...,N)的情况下，监督损失函数为：
其中，
为噪声通道输出，yi为输入对应标签，N为样本个数；
(3c)计算解码器各卷积层重构输出与编码器干净通道对应卷积层特征图的重构误差加权和作为无监督损失函数：
其中，L是网络层数，设置为5，定义第0层为输入层，z(l)是编码器干净通道第l层的前馈输出，
为解码器第l层的去噪输出，λl为第l层重构误差的损失权重，分别设置为[10,0.1,0.1,0.1,0.1,0.1]；
(3d)总损失函数为监督损失和无监督损失加权和，C＝Cs+αCd，α为无监督损失的权重因子，设置为0.0001；
(3e)使用反向传播算法将误差逐层反向传播至输入层，梯度下降法更新网络参数，直至网络收敛至局部最优；
(3f)将验证数据集送入训练模型中，评估模型性能，选出效果最佳的模型参数作为最终使用的模型；
(4)训练好的网络模型在测试集上进行预测，完成冠脉斑块检测任务，具体过程如下：
(4a)将测试数据集送入训练好的模型中，由编码器不带噪声的干净通道预测三维血管图像是否含有斑块；
(4b)对测试结果按血管段进行投票，获取血管段级别标签，评估网络性能。
下面结合实验对本发明的技术效果作详细的描述。
评价实施例中本发明提出的方法的评估标准查准率(Precision)，查全率(Recall)，F1分数，准确度(Accuracy)分别定义如下：
其中，TP表示将真实正样本预测为正样本的数量。FP表示将真实负样本预测为正样本的数量。TN表示将真实负样本预测为负样本的数量。FN表示将真实正样本预测为负样本的数量。P表示真实正样本的数量，N表示真实负样本的数量。上述评价指标结果均在0到1之间，越接近1，表示检测结果越好。在测试数据上的测试结果为，查准率在[0.67,0.79]之间，查全率在[0.76,0.88]之间，F1分数在[0.71,0.79]之间，准确度在[0.75,0.82]之间。
本发明的效果可用如下实验进一步说明：
将本发明与全监督的三维卷积神经网络及卷积循环神经网络性能进行比较，采用相同的数据集及样本量进行测试，实验结果如下表所示：
由表可知，同样的训练样本下，本发明的测试数据集分类结果均高于使用其他监督学习的网络。
综上，本发明使用半监督学习策略，通过学习未标注数据帮助监督网络学习到更多信息，提高检测精度，解决标注数据不足的问题，有效提升模型的泛化能力。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种冠脉斑块数据检测方法，其特征在于，所述冠脉斑块数据检测方法在三维医学图像上，沿冠脉中心线点提取三维图像块作为样本，划分样本数据集；以冠脉三维图像块样本作为输入，图像是否含有斑块作为输出，构建三维阶梯卷积神经网络；将训练数据集送入网络，计算损失函数训练网络模型；训练好的网络模型在测试集上进行预测，完成冠脉斑块检测任务；
所述冠脉斑块数据检测方法包括：
步骤一，原始三维医学图像进行重采样，保证每个数据分辨率相同；对重采样后的数据通过手工标注或自动生成冠脉中心线；以冠脉中心线点为中心，以中心线切线为中轴，提取三维图像块作为样本；提取所有医学图像的三维图像块构成样本数据集；划分训练集、验证集和测试集；训练数据集中的标记样本进行随机角度旋转、镜像，扩增样本信息；冠脉中心线点向垂直其血管方向的任意方向随机移动一定幅度，增加对不同血管中心线的训练数据；
步骤二，以冠脉三维图像块样本作为输入，图像是否含有斑块作为输出，构建三维阶梯卷积神经网络，其网络结构主要由编码器网络和解码器网络组成；构造编码器网络，学习血管样本的编码信息；向输入和各隐藏层添加噪声作为噪声通道，学习鲁棒的重构表示；不添加任何噪声的通道作为干净通道，训练网络各层的重构信息；构造解码器网络，将编码特征重构为原始图像；添加跳跃连接，重构解码器卷积层输出；
步骤三，将训练数据集送入所构建的三维阶梯卷积神经网络；计算输入样本标签与编码器网络噪声通道输出之间的分类交叉熵损失作为监督损失函数；计算解码器各卷积层重构输出与编码器干净通道对应卷积层输出特征图之间的重构误差加权和作为无监督损失函数；使用反向传播算法将误差逐层反向传播至输入层，梯度下降法更新网络参数，直至网络收敛；将验证数据集送入训练模型中，评估模型性能，选出效果最佳的模型参数；
步骤四，将测试数据集送入训练好的模型中，由编码器不带噪声的干净通道预测三维血管图像是否含有斑块；对测试结果按血管段进行投票，获取血管段级别标签，评估网络性能。
2.如权利要求1所述的冠脉斑块数据检测方法，其特征在于，所述步骤一在三维医学图像上，沿着冠脉中心线点提取三维图像块作为样本，划分样本数据集包括：
(1)对原始三维医学图像进行重采样，保证每个数据分辨率相同；
(2)对重采样后的数据通过手工标注或自动生成冠脉中心线；
(3)以冠脉中心线点为中心，以中心线切线为中轴，提取三维图像块作为样本；
(4)沿冠脉中心线提取所有医学图像数据的三维图像块构成样本数据集；
(5)样本数据集中，有标记的数据集随机划分为训练集、验证集和测试集数据，无标记数据加入训练集中；
(6)训练数据集进行随机角度旋转、镜像，扩增样本信息；
(7)训练数据集样本的冠脉中心线点向垂直其血管方向的任意方向随机移动一定幅度，增加对不同血管中心线的训练数据，减小提取中心线不准确引起的误差。
3.如权利要求1所述的冠脉斑块数据检测方法，其特征在于，所述步骤二以冠脉三维图像块样本作为输入，图像是否含有斑块作为输出，构建三维阶梯卷积神经网络，按照如下步骤进行：
(1)以冠脉三维图像块样本作为输入，图像是否含有斑块作为输出，构建三维阶梯卷积神经网络，其网络结构主要由编码器网络和解码器网络组成；
(2)构造编码器网络，学习血管样本的编码信息，编码器网络包含三个三维卷积层和两个全连接层，每个卷积层使用ReLu激活函数学习非线性特征，随后三维最大池化层进行特征降维，第一个全连接层作为特征编码层用于解码器网络重构样本，第二个全连接层为softmax输出层，输出血管样本类别信息；
(3)在编码器结构的基础上，向输入和各隐藏层添加各向同性高斯噪声作为网络的噪声通道，让编码器学习鲁棒的重构表示，同时不添加任何噪声的通道作为网络的干净通道，用以训练网络各层的重构信息；
(4)构造解码器网络，将编码特征重构为原始图像，解码器网络由一个全连接层和三个三维卷积层构成，每个卷积层之前使用上采样将特征维度变为与编码器相应层对应的大小，最后一层卷积层的输出为编码器输入样本的重构图像；
(5)编码器和解码器对应网络层之间添加跳跃连接，解码器网络前一层输出和编码器噪声通道对应层输出特征图通过去噪函数重构，计算当前卷积层的输入，重构函数为：
其中，
为解码器第l+1层输出，/>
为编码器噪声通道第l层输出，/>
为解码器第l层输出，g(·，·)为重构函数。
4.如权利要求1所述的冠脉斑块数据检测方法，其特征在于，所述步骤三将训练数据集送入网络，计算损失函数训练网络模型，按照如下步骤进行：
(1)将训练数据集送入所构建的三维阶梯卷积神经网络；
(2)计算输入样本标签与编码器网络噪声通道输出之间的分类交叉熵损失作为监督损失函数，评估网络预测结果与真实标签的一致程度，在给定输入xi,i∈(1,...,N)的情况下，监督损失函数为：
其中，
为噪声通道输出，yi为输入对应标签，N为样本个数；
(3)无标记数据经解码器进行重构，计算解码器各卷积层重构输出与编码器干净通道对应卷积层特征图的重构误差加权和作为无监督损失函数，评估网络表征输入样本的学习能力，无监督的重构损失函数Cd计算公式为：
其中，L是网络层数，z(l)是编码器干净通道第l层的前馈输出，
为解码器第l层的去噪输出，λl为第l层重构误差的损失权重；
(4)总损失函数为监督损失和无监督损失加权和，使用反向传播算法将误差逐层反向传播至输入层，梯度下降法更新网络参数，直至网络收敛至局部最优；
(5)将验证数据集送入训练模型中，评估模型性能，选出效果最佳的模型参数作为最终使用的模型。
5.如权利要求1所述的冠脉斑块数据检测方法，其特征在于，所述步骤四训练好的网络模型在测试集上进行预测，完成冠脉斑块检测任务包括：
(1)将测试数据集送入训练好的模型中，由编码器不带噪声的干净通道预测三维血管图像是否含有斑块；
(2)对测试结果按血管段进行投票，获取血管段级别标签，评估网络性能。
6.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求1～5任意一项所述包括下列步骤：在三维医学图像上，沿冠脉中心线点提取三维图像块作为样本，划分样本数据集；以冠脉三维图像块样本作为输入，图像是否含有斑块作为输出，构建三维阶梯卷积神经网络；将训练数据集送入网络，计算损失函数训练网络模型；训练好的网络模型在测试集上进行预测，完成冠脉斑块检测任务。
7.一种实施权利要求1～5任意一项所述冠脉斑块数据检测方法的冠脉斑块数据检测系统，其特征在于，所述冠脉斑块数据检测系统包括：
样本数据集划分模块，用于在三维医学图像上，沿冠脉中心线点提取三维图像块作为样本，划分样本数据集；
三维阶梯卷积神经网络构建模块，用于以冠脉三维图像块样本作为输入，图像是否含有斑块作为输出，构建三维阶梯卷积神经网络；
网络模型训练模块，用于将训练数据集送入网络，计算损失函数训练网络模型；
网络模型预测模块，用于训练好的网络模型在测试集上进行预测，完成冠脉斑块检测任务。
8.一种终端，其特征在于，所述终端搭载权利要求7所述的冠脉斑块数据检测系统。
9.一种如权利要求1～5任意一项所述冠脉斑块数据检测方法在图像检测系统和计算机断层成像系统中的应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010160279.5A CN111476757B (zh) | 2020-03-10 | 2020-03-10 | 一种冠脉斑块数据检测方法、系统、存储介质、终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010160279.5A CN111476757B (zh) | 2020-03-10 | 2020-03-10 | 一种冠脉斑块数据检测方法、系统、存储介质、终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111476757A CN111476757A (zh) | 2020-07-31 |
| CN111476757B true CN111476757B (zh) | 2023-05-23 |
Family
ID=71748167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010160279.5A Active CN111476757B (zh) | 2020-03-10 | 2020-03-10 | 一种冠脉斑块数据检测方法、系统、存储介质、终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111476757B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112184748B (zh) * | 2020-09-30 | 2023-09-15 | 陕西科技大学 | 可变形的上下文编码网络模型及对肝脏及肝脏肿瘤的分割方法 |
| CN112446877B (zh) * | 2020-12-14 | 2022-11-11 | 清华大学 | 一种三维图像中多分支管状结构分割与标记方法 |
| CN112785591B (zh) * | 2021-03-05 | 2023-06-13 | 杭州健培科技有限公司 | 一种ct影像中肋骨骨折的检测与分割方法及装置 |
| CN113447997B (zh) * | 2021-05-21 | 2023-07-18 | 中国石油大学(北京) | 储层裂缝识别方法、识别装置及识别系统 |
| CN113205509B (zh) * | 2021-05-24 | 2021-11-09 | 山东省人工智能研究院 | 一种基于位置卷积注意力网络的血管斑块ct影像分割方法 |
| CN113192062A (zh) * | 2021-05-25 | 2021-07-30 | 湖北工业大学 | 一种基于图像复原的动脉斑块超声图像自监督分割方法 |
| CN113313714B (zh) * | 2021-05-25 | 2023-10-27 | 西安交通大学第二附属医院 | 一种基于改进U-Net网络的冠脉OCT图像病变斑块分割方法 |
| CN113470107B (zh) * | 2021-06-04 | 2023-07-14 | 广州医科大学附属第一医院 | 支气管中心线提取方法及其系统和存储介质 |
| CN113256621B (zh) * | 2021-06-25 | 2021-11-02 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN113538471B (zh) * | 2021-06-30 | 2023-09-22 | 上海联影医疗科技股份有限公司 | 斑块的分割方法、装置、计算机设备和存储介质 |
| CN113421250A (zh) * | 2021-07-05 | 2021-09-21 | 北京理工大学 | 一种基于无病变影像训练的眼底疾病智能诊断方法 |
| CN114240844B (zh) * | 2021-11-23 | 2023-03-14 | 电子科技大学 | 一种医学图像中无监督的关键点定位和目标检测方法 |
| CN115588012B (zh) * | 2022-12-13 | 2023-04-07 | 四川大学 | 一种盆骨动脉血管分割方法、系统、存储介质及终端 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018213841A1 (en) * | 2017-05-19 | 2018-11-22 | Google Llc | Multi-task multi-modal machine learning model |
| CN109903292A (zh) * | 2019-01-24 | 2019-06-18 | 西安交通大学 | 一种基于全卷积神经网络的三维图像分割方法及系统 |
| CN110222759A (zh) * | 2019-06-03 | 2019-09-10 | 中国医科大学附属第一医院 | 一种冠状动脉易损斑块自动识别系统 |
-
2020
- 2020-03-10 CN CN202010160279.5A patent/CN111476757B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018213841A1 (en) * | 2017-05-19 | 2018-11-22 | Google Llc | Multi-task multi-modal machine learning model |
| CN109903292A (zh) * | 2019-01-24 | 2019-06-18 | 西安交通大学 | 一种基于全卷积神经网络的三维图像分割方法及系统 |
| CN110222759A (zh) * | 2019-06-03 | 2019-09-10 | 中国医科大学附属第一医院 | 一种冠状动脉易损斑块自动识别系统 |
Non-Patent Citations (1)
| Title |
|---|
| 刘敏 ; 方志军 ; 高永彬 ; .基于深度学习的冠状动脉CTA三维分割.智能计算机与应用.2020,(03),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111476757A (zh) | 2020-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476757B (zh) | 一种冠脉斑块数据检测方法、系统、存储介质、终端 | |
| US10249048B1 (en) | Method and system for predicting blood flow features based on medical images | |
| JP6718975B2 (ja) | 冠動脈において健全な管腔径を推定し狭窄を定量化するためのシステム及び方法 | |
| KR102491988B1 (ko) | 정량적 이미징을 이용하기 위한 방법 및 시스템 | |
| Cheung et al. | A computationally efficient approach to segmentation of the aorta and coronary arteries using deep learning | |
| CN113066061B (zh) | 一种基于mra的动脉瘤检测方法、系统、终端及介质 | |
| US20220284583A1 (en) | Computerised tomography image processing | |
| CN112991346B (zh) | 用于医学图像分析的学习网络的训练方法和训练系统 | |
| CN111640124B (zh) | 一种血管提取方法、装置、设备及存储介质 | |
| CN111932554A (zh) | 一种肺部血管分割方法、设备及存储介质 | |
| US20220215541A1 (en) | Method, device and computer-readable medium for automatically classifying coronary lesion according to cad-rads classification by a deep neural network | |
| CN111612756B (zh) | 冠状动脉特异性钙化检测方法及装置 | |
| EP3443533B1 (en) | Method and apparatus for generating quantitative data for biliary tree structures | |
| Gao et al. | Automated detection framework of the calcified plaque with acoustic shadowing in IVUS images | |
| CN114998292A (zh) | 一种基于残差双注意力机制的心血管钙化斑块检测系统 | |
| Dong et al. | A novel multi-attention, multi-scale 3D deep network for coronary artery segmentation | |
| Wang et al. | Computer auxiliary diagnosis technique of detecting cholangiocarcinoma based on medical imaging: A review | |
| US20220215542A1 (en) | Method, device and computer-readable medium for automatically detecting hemodynamically significant coronary stenosis | |
| CN112784928A (zh) | Dsa影像识别方法、装置及存储介质 | |
| CN112819800A (zh) | Dsa影像识别方法、装置及存储介质 | |
| WO2023237553A1 (en) | Method and system for assessing functionally significant vessel obstruction based on machine learning | |
| CN113223704B (zh) | 基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法 | |
| CN114022405A (zh) | 一种基于深度学习的血管内超声图像处理方法 | |
| CN115294023A (zh) | 肝脏肿瘤自动分割方法及装置 | |
| Stephens et al. | MRI to CTA translation for pulmonary artery evaluation using CycleGANs trained with unpaired data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |