CN114387464A - 基于ivus影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品 - Google Patents
基于ivus影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品 Download PDFInfo
- Publication number
- CN114387464A CN114387464A CN202111453768.0A CN202111453768A CN114387464A CN 114387464 A CN114387464 A CN 114387464A CN 202111453768 A CN202111453768 A CN 202111453768A CN 114387464 A CN114387464 A CN 114387464A
- Authority
- CN
- China
- Prior art keywords
- image
- boundary
- ivus
- ivus image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002608 intravascular ultrasound Methods 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 59
- 238000013136 deep learning model Methods 0.000 claims abstract description 28
- 239000012528 membrane Substances 0.000 claims abstract description 19
- 238000002372 labelling Methods 0.000 claims abstract description 9
- 210000004351 coronary vessel Anatomy 0.000 claims abstract description 8
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 238000010801 machine learning Methods 0.000 claims abstract description 8
- 238000012014 optical coherence tomography Methods 0.000 claims description 37
- 238000013527 convolutional neural network Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 201000001320 Atherosclerosis Diseases 0.000 claims description 4
- 238000000546 chi-square test Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 208000004476 Acute Coronary Syndrome Diseases 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 208000007814 Unstable Angina Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001338 necrotic effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010002383 Angina Pectoris Diseases 0.000 description 1
- 206010002388 Angina unstable Diseases 0.000 description 1
- 208000037260 Atherosclerotic Plaque Diseases 0.000 description 1
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 206010011091 Coronary artery thrombosis Diseases 0.000 description 1
- 208000007718 Stable Angina Diseases 0.000 description 1
- 206010000891 acute myocardial infarction Diseases 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 208000002528 coronary thrombosis Diseases 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 201000004332 intermediate coronary syndrome Diseases 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000002540 macrophage Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于IVUS影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品，所述基于IVUS影像的易损斑块识别方法包括：获得基于冠状动脉的IVUS影像与OCT影像，对所述IVUS影像与OCT影像配准；根据相对应的OCT影像人为标注IVUS影像，得到IVUS影像的分类标签，所述分类标签包括正常类和存在TCFA类；在所述IVUS影像上描绘出管腔边界与外弹性膜边界，获得掩码图像；根据所述IVUS影像和所述掩码图像训练第一深度学习模型，得到训练完成的第二深度学习模型，所述第二深度学习模型用于自动截取管腔边界和/或外弹性膜边界、获得初步ROI的边界；通过深度学习算法或机器学习算法训练分类器，所述分类器在训练完成后对带有初步ROI边界的IVUS影像进行TCFA自动识别。
Description
技术领域
本申请涉及医学工程领域，特别是涉及一种基于IVUS影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品。
背景技术
急性冠状动脉综合征(ACS)通常与冠状动脉血栓形成有关，主要由斑块破裂(55-60％)、斑块侵蚀(30-35％)和钙化结节(2-7％)引起。ACS患者更容易出现不稳定型心绞痛、急性心肌梗死和冠心病猝死。在形态学上与斑块破裂最相似的病变，即最常见的易损斑块类型是薄帽纤维粥样硬化(TCFA)，其具有坏死核心和小于65μm的纤维帽，被大量巨噬细胞浸润。为了观察冠状动脉中的这种易损斑块，通常使用血管内超声(IVUS)和光学相干断层扫描(OCT)。
IVUS提供对管腔面积和血管壁状况的断层扫描评估。除此之外，IVUS还提供斑块大小、分布和组成。然而，由于IUVS影像的轴向和横向分辨率超过150μm，很难直接识别薄纤维帽。因此，医生主要使用OCT来识别TCFA病灶，因为OCT的空间分辨率小于16μm，可以看到富含脂质的斑块和坏死核心，是识别TCFA病灶的金标准。然而，仅通过OCT影像很难看到血管壁，因此不能确认血管的轮廓。
发明内容
基于此，有必要针对上述技术问题，提供一种基于IVUS影像的易损斑块识别方法。
本申请基于IVUS影像的易损斑块识别方法，包括：
获得基于冠状动脉的IVUS(血管内超声)影像与OCT(光学相干断层扫描)影像，对所述IVUS影像与OCT影像配准；
根据相对应的OCT影像人为标注IVUS影像，得到IVUS影像的分类标签，所述分类标签包括正常类和存在TCFA(薄帽纤维粥样硬化)类；
在所述IVUS影像上描绘出管腔边界与外弹性膜边界，获得掩码图像；
根据所述IVUS影像和所述掩码图像训练第一深度学习模型，得到训练完成的第二深度学习模型，所述第二深度学习模型用于自动截取管腔边界和/或外弹性膜边界、获得初步ROI(感兴趣区域)的边界；
通过深度学习算法或机器学习算法训练分类器，所述分类器在训练完成后对带有初步ROI边界的IVUS影像进行TCFA自动识别。
可选的，所述分类器为CNN(卷积神经网络)模型，利用带有所述初步ROI边界的IVUS影像和分类标签训练所述CNN模型；
所述CNN模型在训练完成后对带有所述初步ROI边界的IVUS影像进行TCFA识别分类，获得所述分类标签。
可选的，所述CNN模型在训练完成后对带有所述初步ROI边界的IVUS影像进行TCFA识别分类，具体包括：
所述CNN模型在训练完成后对带有所述初步ROI边界的IVUS影像进行迭代处理卷积层和池化层来提取特征图，通过全连接层分别输出正常类和存在TCFA类的概率，并在其中选择概率最大的类作为分类结果。
可选的，利用带有所述初步ROI边界的IVUS影像和分类标签训练所述CNN模型，还包括：
在训练过程中采用加权二元交叉熵作为损失函数，并调高存在TCFA类的样本权重。
可选的，利用带有所述初步ROI边界的IVUS影像和分类标签训练所述CNN模型，还包括：
在训练之前，对分类标签为存在TCFA类的IVUS影像进行数据增强处理。
可选的，在所述IVUS影像上对所述管腔边界和外弹性膜边界之间的区域进一步分割为多个边界区域；
根据任意两个边界区域的比率，对带有多个边界区域的IVUS影像进行特征提取；
利用提取到的特征训练和所述分类标签所述分类器，所述分类器为集成学习模型；
所述集成学习模型训练完成后对带有多个边界区域的IVUS影像进行TCFA识别分类，获得所述分类标签。
可选的，利用提取到的特征和所述分类标签训练所述分类器，具体包括：
利用卡方检验选择相关的特征，利用选择后的特征和所述分类标签训练所述分类器。
本申请还提供一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现本申请所述的基于IVUS影像的易损斑块识别方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请所述的基于IVUS影像的易损斑块识别方法的步骤。
本申请还提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现本申请所述的基于IVUS影像的易损斑块识别方法的步骤。
本申请基于IVUS影像的易损斑块识别方法至少具有以下效果：
本实施例利用训练完成的第二深度学习模型、训练完成的分类器来实现对IVUS影像上TCFA的自动识别，使得在患者没做OCT诊断的情况下也能自动识别出危险的TCFA病灶，有效减少医生的诊断时间。
附图说明
图1为本申请一实施例中基于IVUS影像的易损斑块识别方法的流程示意图；
图2为本申请一实施例中标记管腔边界和EEM边界的IVUS影像示意图；
图3为本申请一实施例中掩码图像的示意图；
图4为本申请一实施例中带有多个边界区域的IVUS影像示意图；
图5为本申请一实施例中计算机设备的结构框图。
具体实施方式
现有技术中由于分辨率的限制，医生直接在IVUS(血管内超声)影像上识别TCFA(薄帽纤维粥样硬化斑块)较为困难。常见的易损斑块TCFA(薄帽纤维粥样硬化)通过使用IVUS技术和OCT(光学相干断层扫描)技术进行观察。在现有技术中，IUVS影像的轴向和横向分辨率大于OCT影像，仅通过IUVS影像难以直接识别TCFA薄纤维帽，仅通过OCT影像不能确认血管的轮廓。
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
参见图1～图3，本申请一实施例提供一种基于IVUS影像的易损斑块识别方法，包括步骤S100～步骤S500。其中：
步骤S100，获得基于冠状动脉的IVUS影像与OCT影像，对IVUS影像与OCT影像配准。
在步骤S100中，首先收集同时接受了IVUS诊断技术跟OCT诊断技术的稳定或不稳定的心绞痛患者的影像。其次，在影像的目标段内，通过使用解剖标志，例如血管形状、侧支、钙、血管周围结构和到开口的距离，将每个间隔为0.4mm的OCT影像帧与其可比的IVUS影像帧(大约每24个IVUS影像帧)共同配准。可以理解，相同间隔的OCT影像帧与其可比的IVUS影像帧的数量比受到空间分辨率的差别影响而允许波动。
步骤S200，根据相对应的OCT影像人为标注IVUS影像，得到IVUS影像的分类标签。
在步骤S200中，每个IVUS影像帧都根据相对应的OCT影像帧是否存在TCFA进行标注。IVUS影像的分类标签包括正常类(不存在TCFA的类别)和存在TCFA类，存在TCFA类(存在TCFA的类别)也可以记录为“OCT-TCFA”。例如，通过影像科医生对OCT影像进行分析，得到准确标注的IVUS影像。通过分析OCT影像来标注IVUS影像，能够提升标注者对IVUS图像标注的准确度，从而保证各步骤中样本的精度。
步骤S300，在IVUS影像上描绘出管腔边界与外弹性膜边界，获得掩码图像。
在步骤S300中，收集患有冠状动脉疾病患者的IVUS影像，根据不同的病灶长度，一个病例通常会有2000到3500帧。再由专门的影像科医生在IVUS图像上描绘出管腔边界与外弹性膜(EEM)边界，获得掩码图像。
参见图2，图中的白色箭头共同指向管腔边界，白色三角形共同指向EEM边界，图中的白色箭头和白色三角形仅作为IVUS影像的说明。
参见图3，图中的“2:lumen”指管腔边界及管腔边界以内的区域；“1:EEM”指管腔边界与EEM边界之间的区域；“0:_background”指EEM边界以外的区域。如图所示，中膜层包含光滑的细胞，在IVUS图像中表现为暗色的、低回声、环形区域。图中可见，掩码图像明确划分了管腔边界以及外弹性膜边界。在掩码图像中，斑块位于EEM边界以内的区域里。
步骤S400，根据IVUS影像和掩码图像训练第一深度学习模型，得到训练完成的第二深度学习模型，第二深度学习模型用于自动截取管腔边界和/或外弹性膜边界、获得初步ROI的边界。
在步骤S400中，不同于现有技术中以CNN为核心的医学图像分割模型，本实施例中第一深度学习模型是以Swin Transformer为核心的Swin-Unet结构。Swin Transformer结合了卷积神经网络(CNN)、以及ViT模型(Vision Transformer)的优点，它不仅可以像CNN一样产生用于分割或者检测任务的层级特征图，还解决了ViT模型计算复杂度过于庞大的问题。具体地，作为一种2D图像分割模型，第一深度学习模型采用具有跳跃连接的对称编码器-解码器式的U型网络。U型网络在医学图像分割领域中是典型的结构，能够把SwinTransformer中提取到的全局特征上采样到与输入数据一样大小的像素级别的预测，有效解决了由于CNN卷积操作的局部性导致对于全局信息学习不足的问题。
在步骤S400中，训练完成后，第二深度学习模型接收IVUS影像，即可自动截取ROI(Region of Interest，感兴趣区域)边界，即自动分割出管腔区域和/或EEM以内的区域，得到带有ROI边界的IVUS影像。可以理解，第一深度学习模型训练完成后转化为第二深度学习模型。
步骤S500，通过深度学习算法或机器学习算法训练分类器，分类器在训练完成后对带有初步ROI边界的IVUS影像进行TCFA自动识别。
可以理解，自动识别的目的是在低分辨率的IVUS影像自动识别出易损斑块。本实施例利用AI算法(包括训练完成的第二深度学习模型、训练完成的分类器)来实现对IVUS影像上TCFA的自动识别，使得在患者没做OCT诊断的情况下也能自动识别出危险的TCFA病灶，有效减少医生的诊断时间。
在一个实施例中，通过深度学习算法执行步骤S500，步骤S500采用步骤S510～S512，其中：
步骤S510，在训练之前，对分类标签为存在TCFA类的IVUS影像进行数据增强处理。
在医学工程领域，输入的数据大部分是不存在TCFA的负样本，而存在TCFA的正样本比较少。这种情况下，数据集训练出来的分类器易出现高特异性、低敏感性的结果。因此，在使用CNN模型作为分类器时，对训练数据中的正样本(存在TCFA类)的图片进行数据增强处理，能够有效地减少分布不平衡以及模型过拟合等问题。数据增强处理例如可以是每次以30°的旋转角随机旋转图片若干次，次数例如可以是1～3次。
步骤S511，分类器为CNN(卷积神经网络)模型，利用带有初步ROI边界的IVUS影像和分类标签训练CNN模型。
进一步地，在步骤S511中，还包括在训练过程中采用加权二元交叉熵作为损失函数，并调高存在TCFA类的样本权重。损失函数是Weighted Cross Entropy，公式如下：
其中，
WCE为加权的交叉熵；
β为自定义的正样本(存在TCFA类)的权重；
p表示样本是正样本类别概率的实际值；
(1-p)表示样本为负样本类别(不存在TCFA类)的概率；
当β>1时，可降低False Negative(不存在TCFA的正常类样本)的比例，当β<1时，可降低False Positive(存在TCFA类样本)的比例。对正常类样本和存在TCFA类样本而言，相对权重的数值越大，误分率越低。本实施例中，β取值范围例如可以是0<β<2。
可以理解，损失函数分别计算每个像素的交叉熵，然后对所有像素进行平均，这意味着默认每类像素对损失的贡献相等。但如果各类像素在图像中的数量不平衡，例如本实施例中正常类样本的数量大于存在TCFA类样本的数量，会对损失函数造成影响，从而主导训练过程，影响训练效果。也就是说，调高存在TCFA类的样本权重缓解了样本不均衡的问题。
步骤S512，CNN模型在训练完成后对带有初步ROI边界的IVUS影像进行TCFA识别分类。
具体地，CNN模型在训练完成后对带有初步ROI边界的IVUS影像进行迭代处理卷积层和池化层来提取特征图，通过全连接层分别输出正常类和存在TCFA类的概率，并在其中选择概率最大的类作为分类结果。分类结果获得分类标签(正常类和存在TCFA类)。和训练前人为标注的方式不同的是，本实施例训练完成后的CNN模型可以进行自动识别分类，获得分类标签。
步骤S510～S512中，对IVUS影像进行初步的ROI截取后，使用CNN模型进行分类，来判断该区域内是否存在TCFA。目前CNN模型在模式识别领域作为先进的深度学习模型，在图像分类方面，CNN模型例如可以采用：MobileNet、ResNet和EfficientNet等。本实施例对于样本不均衡的问题进行处理，使用数据增强与自定义损失函数的办法解决了不存在TCFA的正常类样本过多时对模型训练产生的影响。
在一个实施例中，通过机器学习算法执行步骤S500，步骤S500采用步骤S520～S5213。其中：
步骤S520，在IVUS影像上对管腔边界和外弹性膜边界之间的区域进一步分割为多个边界区域。
参见图4，在步骤S520中，分割为多个边界区域是指进行更为精确的图像区域分割，分割的根据是与管腔边界的距离大小。
具体地，分割为S1～S5共五个区域，包括区域S1、S2、S3、S4以及区域S5。其中，将S1定义为与管腔边界相邻的2像素(32.2μm)厚度的区域，S2定义为距离S1边界的4像素(64.4μm)厚度的区域，S3定义为距离S2边界7像素(109.2μm)厚度的区域，S4定义为距离S3边界13像素(202.8μm)厚度的区域，S5定义为与外弹性膜边界相邻的剩余区域。
步骤S521，根据任意两个边界区域的比率，对带有多个边界区域的IVUS影像进行特征提取。
具体地，在训练数据中进行特征提取，提取出的IVUS影像特征是在对散射和噪声图像进行过滤(使用4×4中值滤波器)之后生成的。具体地，提取的IVUS影像特征包括：(1)基于二维几何的特征，包括斑块负荷、最小管腔直径、管腔面积和管腔偏心；(2)概率分布参数，包括gamma-beta、Nakagami-μ、Nakagami-ω和Rayleigh-b；(3)基于纹理的特征，包括方差、矩、平滑度、峰态、熵和同质性。
进一步地，上述特征是对多个边界区域的整体、以及S1～S5中的每一个区域进行计算获得的。包含两个不同区域之间计算特征的比率(S1:S2、S1:S3、S1:S4、S1:S5、S2:S3、S2:S4、S2:S5、S3:S4、S3:S5和S4:S5)，共提取了1449个特征。特征类别如下表所示：
步骤S522，利用提取到的特征训练和分类标签分类器，分类器为集成学习模型。具体地，在步骤S522中，利用卡方检验选择上表中所示的相关的特征(数量为N)，可以理解N的数值是由卡方检验的结果决定，取卡方检验获得的结果概率P值<0.05的所有特征(P>0.05则代表没有统计学意义)。利用卡方检验选择后的特征和对应的分类标签(人为标注的分类标签)训练分类器，本实施例中分类器为集成学习模型XGBoost。在分类器进行训练时，还包括用五折的交叉验证来防止模型过拟合。
步骤S523，集成学习模型训练完成后对带有多个边界区域的IVUS影像进行TCFA识别分类，获得分类标签。和训练前人为标注的方式不同的是，本实施例训练完成后的集成学习模型XGBoost可以进行自动识别分类，获得分类标签。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于IVUS影像的易损斑块识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
步骤S100，获得基于冠状动脉的IVUS影像与OCT影像，对IVUS影像与OCT影像配准；
步骤S200，根据相对应的OCT影像人为标注IVUS影像，得到IVUS影像的分类标签；
步骤S300，在IVUS影像上描绘出管腔边界与外弹性膜边界，获得掩码图像；
步骤S400，根据IVUS影像和掩码图像训练第一深度学习模型，得到训练完成的第二深度学习模型，第二深度学习模型用于自动截取管腔边界和/或外弹性膜边界、获得初步ROI的边界；
步骤S500，通过深度学习算法或机器学习算法训练分类器，分类器在训练完成后对带有初步ROI边界的IVUS影像进行TCFA自动识别。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
步骤S100，获得基于冠状动脉的IVUS影像与OCT影像，对IVUS影像与OCT影像配准；
步骤S200，根据相对应的OCT影像人为标注IVUS影像，得到IVUS影像的分类标签；
步骤S300，在IVUS影像上描绘出管腔边界与外弹性膜边界，获得掩码图像；
步骤S400，根据IVUS影像和掩码图像训练第一深度学习模型，得到训练完成的第二深度学习模型，第二深度学习模型用于自动截取管腔边界和/或外弹性膜边界、获得初步ROI的边界；
步骤S500，通过深度学习算法或机器学习算法训练分类器，分类器在训练完成后对带有初步ROI边界的IVUS影像进行TCFA自动识别。
在一个实施例中，提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现以下步骤：
步骤S100，获得基于冠状动脉的IVUS影像与OCT影像，对IVUS影像与OCT影像配准；
步骤S200，根据相对应的OCT影像人为标注IVUS影像，得到IVUS影像的分类标签；
步骤S300，在IVUS影像上描绘出管腔边界与外弹性膜边界，获得掩码图像；
步骤S400，根据IVUS影像和掩码图像训练第一深度学习模型，得到训练完成的第二深度学习模型，第二深度学习模型用于自动截取管腔边界和/或外弹性膜边界、获得初步ROI的边界；
步骤S500，通过深度学习算法或机器学习算法训练分类器，分类器在训练完成后对带有初步ROI边界的IVUS影像进行TCFA自动识别。
本实施例中，计算机程序产品包括程序代码部分，以用于当计算机程序产品由一个或多个计算装置执行时，执行本申请各实施例中基于IVUS影像的易损斑块识别方法的步骤。计算机程序产品可被存储在计算机可读记录介质上。还可经由数据网络(例如，通过RAN、经由因特网和/或通过RBS)提供计算机程序产品以便下载。备选地或附加地，该方法可被编码在现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)中，或者功能性可借助于硬件描述语言被提供以便下载。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。不同实施例中的技术特征体现在同一附图中时，可视为该附图也同时披露了所涉及的各个实施例的组合例。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.基于IVUS影像的易损斑块识别方法，其特征在于，包括：
获得基于冠状动脉的IVUS(血管内超声)影像与OCT(光学相干断层扫描)影像，对所述IVUS影像与OCT影像配准；
根据相对应的OCT影像人为标注IVUS影像，得到IVUS影像的分类标签，所述分类标签包括正常类和存在TCFA(薄帽纤维粥样硬化)类；
在所述IVUS影像上描绘出管腔边界与外弹性膜边界，获得掩码图像；
根据所述IVUS影像和所述掩码图像训练第一深度学习模型，得到训练完成的第二深度学习模型，所述第二深度学习模型用于自动截取管腔边界和/或外弹性膜边界、获得初步ROI(感兴趣区域)的边界；
通过深度学习算法或机器学习算法训练分类器，所述分类器在训练完成后对带有初步ROI边界的IVUS影像进行TCFA自动识别。
2.根据权利要求1所述的基于IVUS影像的易损斑块识别方法，其特征在于，所述分类器为CNN(卷积神经网络)模型，利用带有所述初步ROI边界的IVUS影像和分类标签训练所述CNN模型；
所述CNN模型在训练完成后对带有所述初步ROI边界的IVUS影像进行TCFA识别分类，获得所述分类标签。
3.根据权利要求2所述的基于IVUS影像的易损斑块识别方法，其特征在于，所述CNN模型在训练完成后对带有所述初步ROI边界的IVUS影像进行TCFA识别分类，具体包括：
所述CNN模型在训练完成后对带有所述初步ROI边界的IVUS影像进行迭代处理卷积层和池化层来提取特征图，通过全连接层分别输出正常类和存在TCFA类的概率，并在其中选择概率最大的类作为分类结果。
4.根据权利要求3所述的基于IVUS影像的易损斑块识别方法，其特征在于，利用带有所述初步ROI边界的IVUS影像和分类标签训练所述CNN模型，还包括：
在训练过程中采用加权二元交叉熵作为损失函数，并调高存在TCFA类的样本权重。
5.根据权利要求2所述的基于IVUS影像的易损斑块识别方法，其特征在于，利用带有所述初步ROI边界的IVUS影像和分类标签训练所述CNN模型，还包括：
在训练之前，对分类标签为存在TCFA类的IVUS影像进行数据增强处理。
6.根据权利要求1所述的基于IVUS影像的易损斑块识别方法，其特征在于，在所述IVUS影像上对所述管腔边界和外弹性膜边界之间的区域进一步分割为多个边界区域；
根据任意两个边界区域的比率，对带有多个边界区域的IVUS影像进行特征提取；
利用提取到的特征训练和所述分类标签所述分类器，所述分类器为集成学习模型；
所述集成学习模型训练完成后对带有多个边界区域的IVUS影像进行TCFA识别分类，获得所述分类标签。
7.根据权利要求6所述的基于IVUS影像的易损斑块识别方法，其特征在于，利用提取到的特征和所述分类标签训练所述分类器，具体包括：
利用卡方检验选择相关的特征，利用选择后的特征和所述分类标签训练所述分类器。
8.计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1～7任一项所述的基于IVUS影像的易损斑块识别方法的步骤。
9.计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1～7任一项所述的基于IVUS影像的易损斑块识别方法方法的步骤。
10.计算机程序产品，包括计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1～7任一项所述的基于IVUS影像的易损斑块识别方法方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111453768.0A CN114387464A (zh) | 2021-12-01 | 2021-12-01 | 基于ivus影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111453768.0A CN114387464A (zh) | 2021-12-01 | 2021-12-01 | 基于ivus影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114387464A true CN114387464A (zh) | 2022-04-22 |
Family
ID=81195670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111453768.0A Pending CN114387464A (zh) | 2021-12-01 | 2021-12-01 | 基于ivus影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114387464A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116894973A (zh) * | 2023-07-06 | 2023-10-17 | 北京长木谷医疗科技股份有限公司 | 一种基于集成学习的髋关节病变智能自标注方法及装置 |
| CN117198514A (zh) * | 2023-11-08 | 2023-12-08 | 中国医学科学院北京协和医院 | 一种基于clip模型的易损斑块识别方法及系统 |
| CN117455878A (zh) * | 2023-11-08 | 2024-01-26 | 中国医学科学院北京协和医院 | 一种基于ccta图像的冠状动脉易损斑块识别方法及系统 |
| CN117809122A (zh) * | 2024-02-29 | 2024-04-02 | 北京航空航天大学 | 一种颅内大血管图像的处理方法、系统、电子设备及介质 |
| CN117809122B (zh) * | 2024-02-29 | 2024-06-04 | 北京航空航天大学 | 一种颅内大血管图像的处理方法、系统、电子设备及介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080075375A1 (en) * | 2006-07-24 | 2008-03-27 | Siemens Corporate Research, Inc. | System and Method For Statistical Shape Model Based Segmentation of Intravascular Ultrasound and Optical Coherence Tomography Images |
| CN104376549A (zh) * | 2014-11-20 | 2015-02-25 | 华北电力大学（保定） | 血管内超声与血管内oct图像的融合方法 |
| US20150164453A1 (en) * | 2013-12-18 | 2015-06-18 | Heartflow, Inc. | Systems and methods for predicting coronary plaque vulnerability from patient-specific anatomic image data |
| CN108961229A (zh) * | 2018-06-27 | 2018-12-07 | 东北大学 | 基于深度学习的心血管oct影像易损失斑块检测方法及系统 |
| CN109091167A (zh) * | 2018-06-29 | 2018-12-28 | 东南大学 | 冠状动脉粥样硬化斑块增长的预测方法 |
| CN110223781A (zh) * | 2019-06-03 | 2019-09-10 | 中国医科大学附属第一医院 | 一种多维度斑块破裂风险预警系统 |
| CN110222759A (zh) * | 2019-06-03 | 2019-09-10 | 中国医科大学附属第一医院 | 一种冠状动脉易损斑块自动识别系统 |
| US20200187790A1 (en) * | 2018-12-14 | 2020-06-18 | Research Development Foundation | Multi-channel orthogonal convolutional neural networks |
| CN111667447A (zh) * | 2020-06-05 | 2020-09-15 | 全景恒升（北京）科学技术有限公司 | 血管内图像融合方法、系统及图像采集装置 |
| KR20210016863A (ko) * | 2019-08-05 | 2021-02-17 | 재단법인 아산사회복지재단 | 초음파 영상 기반의 기계 학습을 통한 취약성 죽상반 진단 시스템 및 이의 진단 방법 |
| CN113229854A (zh) * | 2021-06-24 | 2021-08-10 | 哈尔滨医科大学 | 一种集成光学相干断层成像和血管内超声的探头 |
-
2021
- 2021-12-01 CN CN202111453768.0A patent/CN114387464A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080075375A1 (en) * | 2006-07-24 | 2008-03-27 | Siemens Corporate Research, Inc. | System and Method For Statistical Shape Model Based Segmentation of Intravascular Ultrasound and Optical Coherence Tomography Images |
| US20150164453A1 (en) * | 2013-12-18 | 2015-06-18 | Heartflow, Inc. | Systems and methods for predicting coronary plaque vulnerability from patient-specific anatomic image data |
| CN104376549A (zh) * | 2014-11-20 | 2015-02-25 | 华北电力大学（保定） | 血管内超声与血管内oct图像的融合方法 |
| CN108961229A (zh) * | 2018-06-27 | 2018-12-07 | 东北大学 | 基于深度学习的心血管oct影像易损失斑块检测方法及系统 |
| CN109091167A (zh) * | 2018-06-29 | 2018-12-28 | 东南大学 | 冠状动脉粥样硬化斑块增长的预测方法 |
| US20200187790A1 (en) * | 2018-12-14 | 2020-06-18 | Research Development Foundation | Multi-channel orthogonal convolutional neural networks |
| CN110223781A (zh) * | 2019-06-03 | 2019-09-10 | 中国医科大学附属第一医院 | 一种多维度斑块破裂风险预警系统 |
| CN110222759A (zh) * | 2019-06-03 | 2019-09-10 | 中国医科大学附属第一医院 | 一种冠状动脉易损斑块自动识别系统 |
| KR20210016863A (ko) * | 2019-08-05 | 2021-02-17 | 재단법인 아산사회복지재단 | 초음파 영상 기반의 기계 학습을 통한 취약성 죽상반 진단 시스템 및 이의 진단 방법 |
| CN111667447A (zh) * | 2020-06-05 | 2020-09-15 | 全景恒升（北京）科学技术有限公司 | 血管内图像融合方法、系统及图像采集装置 |
| CN113229854A (zh) * | 2021-06-24 | 2021-08-10 | 哈尔滨医科大学 | 一种集成光学相干断层成像和血管内超声的探头 |
Non-Patent Citations (1)
| Title |
|---|
| TAE JOON JUN等: "Automated detection of vulnerable plaque in intravascular ultrasound images", MEDICAL & BIOLOGICAL ENGINEERING & COMPUTING, vol. 57, 14 November 2018 (2018-11-14), pages 863 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116894973A (zh) * | 2023-07-06 | 2023-10-17 | 北京长木谷医疗科技股份有限公司 | 一种基于集成学习的髋关节病变智能自标注方法及装置 |
| CN116894973B (zh) * | 2023-07-06 | 2024-05-03 | 北京长木谷医疗科技股份有限公司 | 一种基于集成学习的髋关节病变智能自标注方法及装置 |
| CN117198514A (zh) * | 2023-11-08 | 2023-12-08 | 中国医学科学院北京协和医院 | 一种基于clip模型的易损斑块识别方法及系统 |
| CN117455878A (zh) * | 2023-11-08 | 2024-01-26 | 中国医学科学院北京协和医院 | 一种基于ccta图像的冠状动脉易损斑块识别方法及系统 |
| CN117198514B (zh) * | 2023-11-08 | 2024-01-30 | 中国医学科学院北京协和医院 | 一种基于clip模型的易损斑块识别方法及系统 |
| CN117809122A (zh) * | 2024-02-29 | 2024-04-02 | 北京航空航天大学 | 一种颅内大血管图像的处理方法、系统、电子设备及介质 |
| CN117809122B (zh) * | 2024-02-29 | 2024-06-04 | 北京航空航天大学 | 一种颅内大血管图像的处理方法、系统、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11087460B2 (en) | Methods and systems for training and validating quantitative imaging biomarkers | |
| US11120312B2 (en) | Quantitative imaging for cancer subtype | |
| US20210312622A1 (en) | Quantitative imaging for instantaneous wave-free ratio (ifr) | |
| US11113812B2 (en) | Quantitative imaging for detecting vulnerable plaque | |
| CN114387464A (zh) | 基于ivus影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品 | |
| Shahzad et al. | Automatic quantification of epicardial fat volume on non‐enhanced cardiac CT scans using a multi‐atlas segmentation approach | |
| CN110415792B (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
| Tyan et al. | Ischemic stroke detection system with a computer-aided diagnostic ability using an unsupervised feature perception enhancement method | |
| KR101953627B1 (ko) | 다중 파라메터 자기공명영상에서 전립선 주변부 영역의 전립선암 자동 검출 및 국소화 방법 | |
| US11386555B2 (en) | Assessment of arterial calcifications | |
| CN112132854B (zh) | 图像分割的方法及装置，以及电子设备 | |
| US20230368365A9 (en) | Quantitative imaging for detecting histopathologically defined plaque erosion non-invasively | |
| CN115439533A (zh) | 获得颅内动脉瘤在血管分段位置的方法、计算机设备、可读存储介质和程序产品 | |
| CN113256670A (zh) | 图像处理方法及装置、网络模型的训练方法及装置 | |
| CN111681205B (zh) | 图像分析方法、计算机设备和存储介质 | |
| Wang et al. | Automated delineation of corneal layers on OCT images using a boundary-guided CNN | |
| CN111524109A (zh) | 头部医学影像的评分方法和装置、电子设备及存储介质 | |
| CN112651976A (zh) | 基于低分辨率核磁数据的病灶区域脑网络确定方法及系统 | |
| CN116416221A (zh) | 一种超声图像分析方法 | |
| Chacón et al. | Computational assessment of stomach tumor volume from multi-slice computerized tomography images in presence of type 2 cancer | |
| Huang et al. | Intravascular optical coherence tomography image segmentation based on support vector machine algorithm | |
| Carrillo-de-Gea et al. | Detection of normality/pathology on chest radiographs using LBP | |
| KR20230094855A (ko) | 딥러닝 기반 의료영상 요로 결석 자동 검출 및 분할 방법 | |
| EP3588378B1 (en) | Method for determining at least one enhanced object feature of an object of interest | |
| Amritha et al. | Liver tumor segmentation and classification using deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |