CN114241193A - 一种基于深度学习的冠脉造影图像处理方法及装置 - Google Patents

一种基于深度学习的冠脉造影图像处理方法及装置 Download PDF

Info

Publication number
CN114241193A
CN114241193A CN202111561803.0A CN202111561803A CN114241193A CN 114241193 A CN114241193 A CN 114241193A CN 202111561803 A CN202111561803 A CN 202111561803A CN 114241193 A CN114241193 A CN 114241193A
Authority
CN
China
Prior art keywords
coronary angiography
image
network
calcification
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111561803.0A
Other languages
English (en)
Inventor
徐波
张洪刚
刘硕
王筱斐
谢丽华
陈东浩
赵森祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hongyun Zhisheng Technology Co ltd
Fuwai Hospital of CAMS and PUMC
Original Assignee
Beijing Hongyun Zhisheng Technology Co ltd
Fuwai Hospital of CAMS and PUMC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hongyun Zhisheng Technology Co ltd, Fuwai Hospital of CAMS and PUMC filed Critical Beijing Hongyun Zhisheng Technology Co ltd
Priority to CN202111561803.0A priority Critical patent/CN114241193A/zh
Publication of CN114241193A publication Critical patent/CN114241193A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的冠脉造影图像处理方法及装置，以冠脉造影图像为输入，使用神经网络目标检测工具箱mmdetection提取钙化区域特征以计算钙化分数，使用了特征提取和回归分析的方法，将基于深度学习的目标检测技术应用到冠状动脉钙化分析上，通过深度学习技术解决通过心脏冠脉造影图像的钙化识别和血管钙化程度分析问题。

Description

一种基于深度学习的冠脉造影图像处理方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的冠脉造影图像处理方法及装置。
背景技术
临床研究表明，冠状动脉钙化(coronary artery calcification，CAC)，传统X线检查显示钙化且有症状的患者，其5年生存率为58％，而无钙化者的5年生存率为87％，且病理学研究表明，冠脉钙化是冠心病的一大重要预测因素。钙化斑块的形状、大小与位置是重要的参考信息，如何准确和迅速的检测出钙化程度，利于医生及时为患者提出合适患者的治疗方案，在临床上具有重要意义。
目前，现有技术有许多手段可以评估CAC，包括冠状动脉造影、心脏CT、血管内超声(IVUS)和光学相干断层成像(OCT)等方法，各有其特点，应根据临床具体需要而选择。
现有的技术主要以CT图像为输入，亦或是CTA(即CT的增强图像)。相比于CT图像，由于冠脉造影是“金标准”，所以准确率更高。另外，由于CTA需要注射含碘的对比剂，肾功能有恙的患者做不了CTA检查，另外还要测试患者对碘对比剂是否有过敏反应。而造影检查是X线检查，并没有身体的特殊禁忌症。因此，无论是精确度和适用范围，造影检查方法适用都更广。另一方面，由于CT检查是分层扫描，对于冠状动脉，患者在检查时心脏跳动心血管舒张和收缩，导致CT不同扫描分层的血管舒张和收缩状态不同，存在系统误差，大大影响了检测的准确性。
随着神经网络的研究进展，特征提取方向的准确度大大提高，使得应用深度学习方法实现医学领域的图像处理逐渐成为现实。但是由于目前和钙化相关的项目准确率有限或方法成本过高，使得此前的其他项目使用范围非常有限。
发明内容
本发明的目的是提供一种基于深度学习的冠脉造影图像处理方法及装置。
为了实现上述目的，本发明提供如下技术方案：
一种基于深度学习的冠脉造影(Digital Subtraction Angiography，DSA)图像处理方法，包括以下步骤：
S1、获取心脏冠脉造影图像；
S2、利用神经网络目标检测工具箱MMDetection提取钙化区域特征，利用Agatston积分法计算钙化区域特征的钙化分数；
S3、使用心脏冠状动脉造影图像数据集训练目标检测网络；
S4、根据网络训练出的特征和已知的钙化分数，进行回归分析。
进一步地，步骤S2的目标检测工具箱MMDetection的网络是基于ResNet101的Faster RCNN。
进一步地，步骤S2的目标检测工具箱MMDetection的网络包括五个卷积模块，分别是：conv1，conv2_x，conv3_x，conv4_x，conv5_x。
进一步地，所述卷积模块的处理过程为：首先模块接收造影图像，然后图像经过卷积层，最后通过对输入图像进行若干次卷积运算从而达到提取出图片中高维度特征，所述高维度特征包含分割和识别过程中用到的全部信息。
进一步地，步骤S2的目标检测工具箱MMDetection的网络的一个基本单元为快捷连接单元，整个神经网络就是由若干个上述的快捷连接单元相连而成，快捷连接单元H(X)＝F(X)+X，其中X表示输入的特征，F(X)表示单元输出的特征，其中两相邻的权重层之间包括卷积层、批规范化层、激活函数层；
整个网络快捷连接过程表示为：
y＝F(x,{wi})+x
其中y表示整个网络输出的特征，x表示输入的特征，F(X,{Wi})表示需要训练的残差映射函数，Wi表示该层的权重。
进一步地，步骤S4的回归分析的函数如下：
Figure BDA0003415130270000031
其中f1(x)为目标检测工具箱MMDetection提取出的图像特征，f2(x)为随机森林回归分析以提取的图像特征为输入得到预测的钙化分数。
本发明还提供了一种冠脉造影图像处理装置，包括处理器和存储器，所述处理器用于实现上述的基于深度学习的冠脉造影图像处理方法，包括以下模块：
图像获取模块，用于获取心脏冠脉造影图像；
图像特征提取模块，用于提取图像钙化区域特征；
图像特征计算模块，用于计算钙化区域特征的钙化分数；
网络训练模块，用于使用心脏冠状动脉造影图像数据集训练目标检测网络；
图像分析模块，用于根据网络训练出的特征和已知的钙化分数进行回归分析。
与现有技术相比，本发明的有益效果为：
1、本发明的基于深度学习的冠脉造影图像处理方法和装置，以冠脉造影图像为输入，同一图像不存在血管舒张和收缩状态的不同，从根源上解决了由于心脏跳动血管舒张收缩状态不定导致的系统误差，提高了识别准确率，适用人群更广。
2、本发明使用神经网络目标检测工具箱mmdetection提取钙化区域特征以计算钙化分数，使用了特征提取和回归分析的方法，将基于深度学习的目标检测技术应用到冠状动脉钙化分析上，通过深度学习技术解决通过心脏冠脉造影图像的钙化识别和血管钙化程度分析问题。
3、本发明在检测精确度和适用性方面，相对于现有技术做出了提升，降低了患者检测成本和误诊风险，提高了医生的诊疗效率，具有准确率高，成本低的优势，本发明主要应用于图像处理。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的单阶段目标检测的流程。
图2为本发明实施例提供的多阶段目标检测的流程。
图3为本发明实施例提供的基于深度学习的冠脉造影图像处理方法的流程图。
图4为本发明实施例提供的五个卷积模块的具体结构。
图5为本发明实施例提供的快捷连接单元。
图6为本发明实施例提供的卷积模块的具体形式。
具体实施方式
为了更好地理解本技术方案，下面结合附图对本发明的方法做详细的说明。
本发明提供一种基于深度学习的冠脉造影图像处理方法，包括以下步骤：
S1、获取心脏冠脉造影图像。
本方法使用心脏冠状动脉造影图像数据集。本数据集是由若干位(例如100位)冠心病患者的Dicom冠状动脉数字减影血管造影(医学数字成像通讯)文件组成。每位患者都有不同体位的多个Dicom文件，每个Dicom文件都包含若干帧的冠状动脉造影。对于视频中的每一帧图像，医生会对图中的血管钙化部分给出钙化积分。本方法再提取出其中含有钙化的部分血管图像。然后使用这些数据来训练网络模型，之后使用训练出的模型进行血管钙化部分的评价。
S2、利用神经网络目标检测工具箱MMDetection提取钙化区域特征，利用Agatston积分法计算钙化区域特征的钙化分数。
其中，MMDetection是由open-mmlab开发的基于PyTorch的目标检测工具库，和Detectron2一样是目标检测领域非常著名的工具箱。MMDetection中目前包含数十种模型和方法，且为开发者提供了非常合适的高层接口以便开发者以MMDetection为基础进行项目的二次开发。
MMDetection框架是基于pytorch框架建立的。使用MMDetection框架做训练，本质上调用了pytorch的深度学习训练的API。随着目标检测近几年的发展，它的算法组成模块也逐渐固定下来，大致分为Backbone，Neck，以及Head这么几个部分，单阶段和多阶段目标检测的流程如图1和图2所示。
目标检测工具箱MMDetection的网络是基于ResNet101的Faster RCNN。其网络结构如图3所示，整个网络包括五个卷积模块，分别是：conv1，conv2_x，conv3_x，conv4_x，conv5_x。例如，五个部分的具体结构如图4中101-layer所示。
所述卷积模块的处理过程为：首先模块接收造影图像，然后图像经过卷积层，最后通过对输入图像进行若干次卷积运算从而达到提取出图片中高维度特征，所述高维度特征包含分割和识别过程中用到的全部信息。
神经网络的层数越深，其所能学到的特征的维度也就越高，因此层数对神经网络的有非常大的影响。但是当神经网络的层数变得越来越深的时候，因为更深层次的模型很难表达低维度的特征，所以就会出现梯度爆炸、梯度消失等问题。快捷连接单元即为解决该问题的方法。
如图5所示，目标检测工具箱MMDetection的网络的一个基本单元为快捷连接单元，整个神经网络就是由若干个上述的快捷连接单元相连而成，快捷连接单元H(X)＝F(X)+X，其中X表示输入的特征，F(X)表示单元输出的特征，其中两相邻的权重层之间包括卷积层、批规范化层、激活函数层。在极端情况下F(X)什么都没有学习到，即F(X)＝0，此时H(X)＝X。这就可以保证浅层特征向后传递，整个网络学习到的特征不会太差，从而解决梯度爆炸和梯度消失的问题。
整个网络快捷连接过程表示为：
y＝F(x,{wi})+x
其中y表示整个网络输出的特征，x表示输入的特征，F(X,{Wi})表示需要训练的残差映射函数，Wi表示该层的权重。
以conv2_x为例，卷积模块的具体形式如图6所示。其目的是减少计算和参数量。第一个1×1的卷积把256维channel降到64维，然后在最后通过1×1卷积恢复，整体上用的参数数目：1×1×256×64+3×3×64×64+1×1×64×256＝69632，而不使用bottleneck的话就是两个3×3×256的卷积，参数数目：3×3×256×256×2＝1179648，相差16.94倍。
S3、使用心脏冠状动脉造影图像数据集训练目标检测网络。
MMDetection的训练主要是调用mmcv的框架训练小助手Runner。Runner可根据配置文件，自动地完成目标检测网络的训练。当然，它的底层还是调用Pytorch的函数，比如数据的加载会调用Pytorch的DataLoader，反向传播依然是Pytorch的backward。
训练的具体流程如下：
mmDetection框架搭建网络的过程，主要是根据配置参数cfg调用函数build_detector，build_detector是根据配置参数cfg迭代拼接网络模块的。迭代依据是for cfg_in cfg。其中配置参数cfg分为目标检测模型超参数，训练数据集路径以及数据增广配置，优化器配置以及模型训练参数，Anchor超参数和验证数据集路径。
mmDetection的训练主要是调用mmcv的框架训练小助手Runner。Runner可根据配置文件，自动地完成目标检测网络的训练。当然，它的底层还是调用Pytorch的函数，比如数据的加载会调用Pytorch的DataLoader，反向传播依然是Pytorch的backward(.)。Runner考虑了多个GPU的训练细节。
single_test是网络推断的代码，靠data_loader喂数据，data_loader的设定可以追溯到get_dataset和配置文件上。检测网络在完成推断之后需要计算指标，调用get_official_eval_result。
S4、根据网络训练出的特征和已知的钙化分数，进行回归分析。
预测钙化分数进行预测效果评价，以随机森林回归的效果最好。回归分析的函数如下：
Figure BDA0003415130270000061
其中f1(x)为目标检测工具箱MMDetection提取出的图像特征，f2(x)为随机森林回归分析以提取的图像特征为输入得到预测的钙化分数。
本发明还提供了一种冠脉造影图像处理装置，包括处理器和存储器，所述处理器用于实现上述的基于深度学习的冠脉造影图像处理方法，包括以下模块：
图像获取模块，用于获取心脏冠脉造影图像；
图像特征提取模块，用于提取图像钙化区域特征；
图像特征计算模块，用于计算钙化区域特征的钙化分数；
网络训练模块，用于使用心脏冠状动脉造影图像数据集训练目标检测网络；
图像分析模块，用于根据网络训练出的特征和已知的钙化分数进行回归分析。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于深度学习的冠脉造影图像处理方法，其特征在于，包括以下步骤：
S1、获取心脏冠脉造影图像；
S2、利用神经网络目标检测工具箱MMDetection提取图像钙化区域特征，利用Agatston积分法计算钙化区域特征的钙化分数；
S3、使用心脏冠状动脉造影图像数据集训练目标检测网络；
S4、根据网络训练出的特征和已知的钙化分数，进行回归分析。
2.根据权利要求1所述的基于深度学习的冠脉造影图像处理方法，其特征在于，步骤S2的目标检测工具箱MMDetection的网络是基于ResNet101的Faster RCNN。
3.根据权利要求2所述的基于深度学习的冠脉造影图像处理方法，其特征在于，步骤S2的目标检测工具箱MMDetection的网络包括五个卷积模块，分别是：conv1，conv2_x，conv3_x，conv4_x，conv5_x。
4.根据权利要求3所述的基于深度学习的冠脉造影图像处理方法，其特征在于，所述卷积模块的处理过程为：首先模块接收造影图像，然后图像经过卷积层，最后通过对输入图像进行若干次卷积运算从而达到提取出图片中高维度特征，所述高维度特征包含分割和识别过程中用到的全部信息。
5.根据权利要求2所述的基于深度学习的冠脉造影图像处理方法，其特征在于，步骤S2的目标检测工具箱MMDetection的网络的一个基本单元为快捷连接单元，整个神经网络就是由若干个上述的快捷连接单元相连而成，快捷连接单元H(X)＝F(X)+X，其中X表示输入的特征，F(X)表示单元输出的特征，其中两相邻的权重层之间包括卷积层、批规范化层、激活函数层；
整个网络快捷连接过程表示为：
y＝F(x,{wi})+x
其中y表示整个网络输出的特征，x表示输入的特征，F(X,{Wi})表示需要训练的残差映射函数，Wi表示该层的权重。
6.根据权利要求1所述的基于深度学习的冠脉造影图像处理方法，其特征在于，步骤S4的回归分析的函数如下：
Figure FDA0003415130260000021
其中f1(x)为目标检测工具箱MMDetection提取出的图像特征，f2(x)为随机森林回归分析以提取的图像特征为输入得到预测的钙化分数。
7.一种冠脉造影图像处理装置，其特征在于，包括处理器和存储器，所述处理器用于实现上述权利要求1-6任一项所述的基于深度学习的冠脉造影图像处理方法，包括以下模块：
图像获取模块，用于获取心脏冠脉造影图像；
图像特征提取模块，用于提取图像钙化区域特征；
图像特征计算模块，用于计算钙化区域特征的钙化分数；
网络训练模块，用于使用心脏冠状动脉造影图像数据集训练目标检测网络；
图像分析模块，用于根据网络训练出的特征和已知的钙化分数进行回归分析。
CN202111561803.0A 2021-12-16 2021-12-16 一种基于深度学习的冠脉造影图像处理方法及装置 Pending CN114241193A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111561803.0A CN114241193A (zh) 2021-12-16 2021-12-16 一种基于深度学习的冠脉造影图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111561803.0A CN114241193A (zh) 2021-12-16 2021-12-16 一种基于深度学习的冠脉造影图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN114241193A true CN114241193A (zh) 2022-03-25

Family

ID=80759150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111561803.0A Pending CN114241193A (zh) 2021-12-16 2021-12-16 一种基于深度学习的冠脉造影图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN114241193A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131611A (zh) * 2022-06-28 2022-09-30 推想医疗科技股份有限公司 图像确定方法、装置、存储介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131611A (zh) * 2022-06-28 2022-09-30 推想医疗科技股份有限公司 图像确定方法、装置、存储介质及电子设备
CN115131611B (zh) * 2022-06-28 2024-08-23 推想医疗科技股份有限公司 图像确定方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
US11864944B2 (en) Systems and methods for a deep neural network to enhance prediction of patient endpoints using videos of the heart
US11779292B2 (en) Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking
US11967078B2 (en) Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking
Jafari et al. Automated diagnosis of cardiovascular diseases from cardiac magnetic resonance imaging using deep learning models: A review
US20180315505A1 (en) Optimization of clinical decision making
CN111340794B (zh) 冠状动脉狭窄的量化方法及装置
CN114241193A (zh) 一种基于深度学习的冠脉造影图像处理方法及装置
WO2022096867A1 (en) Image processing of intravascular ultrasound images
Lee et al. Artificial intelligence evaluation of coronary computed tomography angiography for coronary stenosis classification and diagnosis
Obied Different Deep Learning Techniques in Heart Disease Classification: Survey
CN112446499A (zh) 改进用于自动量化冠状动脉疾病的机器学习模型的性能
Liu et al. Artificial Intelligence—A Good Assistant to Multi-Modality Imaging in Managing Acute Coronary Syndrome
Iqbal et al. A Survey of Machine Learning Approaches for Segmentation of Cardiovascular Neurocristopathy related Images
LU503428B1 (en) Method, Device and System for Diagnosing Pulmonary Embolism Based on non-contrast chest CT Images
CN118299006B (zh) 一种基于qfr、ofr的多模态冠脉功能评估方法
Hatfaludi et al. Co-registered optical coherence tomography and X-ray angiography for the prediction of fractional flow reserve
Li et al. Systematic comparison of deep-learning based fusion strategies for multi-modal ultrasound in diagnosis of liver cancer
Sander Assessing anatomy and function of the heart using 4D cardiac MRI and deep learning
van den Oever Deep learning for cardiac imaging
Bernard et al. Check for updates
Tanvir et al. An efficient deep learning approach to predict heart failure from image data using ejection fraction
Asgharzadeh A deep learning framework for wall motion abnormality detection in echocardiograms
Abdeltawab Role of deep learning techniques in non-invasive diagnosis of human diseases.
Odunmbaku-Mansell et al. Alternative formats
Brahim Deep learning architectures for automatic detection of viable myocardiac segments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination