CN113592939B - 基于冠脉造影图像判断狭窄血管尺寸的深度学习方法 - Google Patents

基于冠脉造影图像判断狭窄血管尺寸的深度学习方法 Download PDF

Info

Publication number
CN113592939B
CN113592939B CN202110819406.2A CN202110819406A CN113592939B CN 113592939 B CN113592939 B CN 113592939B CN 202110819406 A CN202110819406 A CN 202110819406A CN 113592939 B CN113592939 B CN 113592939B
Authority
CN
China
Prior art keywords
branch
coronary angiography
regression
angiography image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110819406.2A
Other languages
English (en)
Other versions
CN113592939A (zh
Inventor
王金甲
常万里
周莹
郭浩攀
宋佳锐
杜宏桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202110819406.2A priority Critical patent/CN113592939B/zh
Publication of CN113592939A publication Critical patent/CN113592939A/zh
Application granted granted Critical
Publication of CN113592939B publication Critical patent/CN113592939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于冠脉造影图像判断狭窄血管尺寸的深度学习方法，属于医学技术领域，该方法包括：获取实验所需要的冠脉造影图像数据，该冠脉造影图像数据为冠脉造影图像并含有相应的标签，将冠脉造影图像数据分为训练集、验证集和测试集；使用训练集和验证集进行训练，利用深度学习的方法训练一个多任务分类回归预测模型，整个模型包括一个分类支路和一个回归支路，分类支路由交叉熵损失函数监督训练，回归支路由一个主损失函数平均绝对误差和一个跨空间距离保持正则化的损失函数相结合进行监督训练，从而提高预测的准确率，该方法可以帮助医生快速确定相应的血管指标信息，进而可以帮助医生提高手术成功率。

Description

基于冠脉造影图像判断狭窄血管尺寸的深度学习方法
技术领域
本发明属于医学技术领域，具体涉及一种基于冠脉造影图像判断狭窄血管尺寸的深度学习方法。
背景技术
冠脉造影中狭窄部位的相关数据的准确测量对医生们手术的成功是至关重要的，如何进行准确地分类狭窄部位的狭窄程度以及准确测量出狭窄部位的长度和附近正常血管的直径也是一个亟待解决的问题。当前的冠脉造影狭窄部位的相关指标需要结合冠脉造影图像的序列一起进行预测，这对网络结构的要求是比较复杂的，而且网络的参数和计算量也会很大，预测出最后的结果就会花费比较长的时间，这对时间宝贵的医生们来说是很难接受的，因此我们提出的模型只需要输入冠脉造影图像即可输出我们的相应的预测指标，网络结构相对于根据冠脉造影图像序列进行预测的网络要简单一点。
发明内容
本发明提供了一种利用深度学习预测冠脉造影血管图像判断狭窄血管的程度和长度以及附近正常血管的直径的方法，可以帮助医生进行更有利地进行手术工作。
一种基于冠脉造影图像判断狭窄血管尺寸的深度学习方法，包括以下步骤：
(1)获取实验所需要的冠脉造影图像数据，该冠脉造影图像数据为冠脉造影图像并含有相应的标签，将冠脉造影图像数据分为训练集、验证集和测试集；
(2)使用训练集和验证集进行训练，利用深度学习的方法训练一个多任务分类回归预测模型，所述的多任务分类回归预测模型具有两条支路，包括分类支路和回归支路，在训练的过程中，分类支路由一个交叉熵损失Lce进行监督训练；回归支路由一个主损失函数平均绝对误差LP和一个跨空间距离保持正则化CSDPR的损失函数LC相结合进行监督训练；
(3)训练完成后，查看验证集上的多任务分类回归预测模型的性能，若训练的模型不能准确地判断狭窄血管的情况，则调整模型超参数，继续训练，直到回归预测模型可以准确地判断狭窄血管的情况；
(4)得到最后的训练好的模型，再用测试集对模型进行测试，最终确定需要的模型。
本发明技术方案的进一步改进在于：步骤(2)中，两个支路均具有狭窄定位的能力，其中分类支路负责判断狭窄部位的狭窄程度，回归支路负责输出预测的狭窄部位血管的长度和附近正常血管的直径。
本发明技术方案的进一步改进在于：所述的分类支路采用的是Inception V3网络结构，该Inception V3网络结构首先由五个卷积层进行初步特征提取，后面跟着五个模块，这五个模块的的数量分别为3，1，4，1，2，它们对特征进行深度提取，然后将提取的深度特征映射传递给后面的全局池化层和Dropout得到特征，并将该特征共享给回归支路，最后利用全连接层和Softmax预测狭窄程度。
本发明技术方案的进一步改进在于：所述的回归支路为DE-Net网络支路，该DE-Net网络支路首先由一个卷积层、BN和ReLU进行初步特征提取，然后将浅层特征传递到后续的DE-Net主体；该DE-Net主体包括四个相同的模块，每个模块包括一个卷积层、DEB模块和一个池化层，其中每个DEB模块包含三个卷积层，该DE-Net主体提取图像的深度特征，然后将提取的深度特征映射传递给主体部分后面的卷积层、BN层、全局池化层和特征重塑层的复合块，得到进一步提取的特征，并将该特征与分类支路共享的特征进行加权得到新的特征，最后利用线性回归层，也即全连接层从最后的特征中预测相应的指标。
本发明技术方案的进一步改进在于：回归支路所用的主损失函数平均绝对误差LP如下所示：
其中，上式中是预测的结果，yi是ground truth值，M是训练的batchsize，N是训练的指标数，N＝3，λΘ为正则化参数；
CSDPR的损失函数LC的表达式如下所示：
上式中的其中，d(yi,yj)用到的是欧几里得距离公式，公式如下：
该回归支路的总的损失函数L如下：
L＝LP+λCLC (4)
式中的λC为正则化参数。
本发明技术方案的进一步改进在于：分类支路所用的交叉熵损失函数Lce如下所示：
式中的yi和分别为ground truth值和预测的结果，M为训练的batch size。
由于采用了上述技术方案，本发明取得的技术效果如下：
本申请采用深度学习的方法进行预测冠脉造影血管图像狭窄血管的程度和长度以及附近正常血管的直径，通过利用深度学习的方法可以帮助医生快速准确地确定狭窄血管的程度和长度以及附近正常的血管的直径等指标，从而帮助医生提高手术的成功率。
附图说明
图1是本发明的总体框架路线图；
图2是整个模型的网络结构；
图3是右侧回归支路的DEB模块的结构；
图4是左侧分类支路的Block 1模块的结构；
图5是左侧分类支路的Block 2模块的结构；
图6是左侧分类支路的Block 3模块的结构；
图7是左侧分类支路的Block 4模块的结构；
图8是左侧分类支路的Block 5模块的结构。
具体实施方式
下面结合具体实施方式对本发明技术方案进行详细说明。
在本申请中，整体框架路线图如图1所示，首先获取实验数据，数据为冠脉造影图像并含有相应的标签，并将其分为训练集、验证集和测试集；接着开始训练，在训练的过程中，使用训练集和验证集进行训练，利用深度学习的方法训练一个多任务分类回归预测模型，所述的多任务分类回归预测模型具有两条支路，包括分类支路和回归支路，其中分类支路由交叉熵损失Lce监督训练，回归网络由平均绝对误差LP和CSDPR的损失函数LC联合监督训练。当模型训练完毕，查看验证集上训练模型的性能，若能准确判断狭窄血管的程度和长度以及两侧正常血管的直径，则用测试集进行测试，保存模型，否则，调整模型超参数，重新开始训练。
在本申请中，整个模型的网络结构如图2所示，其中左侧为分类支路，右侧为回归支路。该模型的分类支路采用的是Inception V3网络结构。该Inception V3网络结构首先由五个卷积层进行初步特征提取，后面跟着Block 1～5五个模块，分别如图4～8，它们的数量分别为3，1，4，1，2，该五个模块对特征进行深度提取，然后将提取的深度特征映射传递给后面的全局池化层和Dropout得到新的特征，并将该特征共享给回归支路，最后利用全连接层和Softmax预测狭窄程度。该模型的回归支路为DE-Net网络支路。该DE-Net网络支路首先由一个卷积层、BN和ReLU进行初步特征提取，然后将浅层特征传递到后续的DE-Net主体。该DE-Net主体包括四个相同的模块，每个模块包括一个卷积层、一个DEB模块如图3和一个池化层，其中每个DEB模块包含三个卷积层。该DE-Net主体提取图像的深度特征，然后将提取的深度特征映射传递给主体部分后面的卷积层、BN层、全局池化层和特征重塑层的复合块，得到新的特征，并将该特征与分类支路共享的特征进行加权得到新的特征，最后利用线性回归层，也即全连接层从最后的特征中预测相应的指标。
该模型在训练的过程中，回归支路由主损失函数平均绝对误差LP和CSDPR的损失函数LC结合对模型进行监督训练，其中LP的公式如下：
上式中是预测的结果，yi是ground truth值，M是训练的batch size，N是训练的指标数，这里为3，λΘ为正则化参数。
CSDPR的损失函数LC的公式如下：
上式中的CSDPR的目的就是使预测的结果和标签尽可能相似，也即让/>的值尽可能地靠近d(yi,yj)。其中，d(yi,yj)用到的是欧几里得距离公式，公式如下：
该回归支路的总的损失函数L如下：
L＝LP+λCLC (4)
式中的λC为正则化参数。
分类支路所用的交叉熵损失函数Lce如下所示：
式中的yi和分别为ground truth值和预测的结果，M为训练的batch size。

Claims (4)

1.一种基于冠脉造影图像判断狭窄血管尺寸的深度学习方法，其特征在于包括以下步骤：
(1)获取实验所需要的冠脉造影图像数据，该冠脉造影图像数据为冠脉造影图像并含有相应的标签，将冠脉造影图像数据分为训练集、验证集和测试集；
(2)使用训练集和验证集进行训练，利用深度学习的方法训练一个多任务分类回归预测模型，所述的多任务分类回归预测模型具有两条支路，包括分类支路和回归支路，在训练的过程中，分类支路由一个交叉熵损失Lce进行监督训练；回归支路由一个主损失函数平均绝对误差LP和一个跨空间距离保持正则化CSDPR的损失函数LC相结合进行监督训练；
回归支路所用的主损失函数平均绝对误差LP如下所示：
其中，上式中是预测的结果，yi是ground truth值，M是训练的batch size，N是训练的指标数，N＝3，λΘ为正则化参数；
CSDPR的损失函数LC的表达式如下所示：
上式中的其中，d(yi,yj)用到的是欧几里得距离公式，公式如下：
该回归支路的总的损失函数L如下：
L＝LP+λCLC (4)
式中的λC为正则化参；分类支路所用的交叉熵损失函数Lce如下所示：
式中的yi和分别为ground truth值和预测的结果，M为训练的batch size；
(3)训练完成后，查看验证集上的多任务分类回归预测模型的性能，若训练的模型不能准确地判断狭窄血管的情况，则调整模型超参数，继续训练，直到回归预测模型可以准确地判断狭窄血管的情况；
(4)得到最后的训练好的模型，再用测试集对模型进行测试，最终确定需要的模型。
2.根据权利要求1所述的一种基于冠脉造影图像判断狭窄血管尺寸的深度学习方法，其特征在于：步骤(2)中，两个支路均具有狭窄定位的能力，其中分类支路负责判断狭窄部位的狭窄程度，回归支路负责输出预测的狭窄部位血管的长度和附近正常血管的直径。
3.根据权利要求1所述的一种基于冠脉造影图像判断狭窄血管尺寸的深度学习方法，其特征在于：所述的分类支路采用的是Inception V3网络结构，该Inception V3网络结构首先由五个卷积层进行初步特征提取，后面跟着五个模块，这五个模块的的数量分别为3，1，4，1，2，它们对特征进行深度提取，然后将提取的深度特征映射传递给后面的全局池化层和Dropout得到特征，并将该特征共享给回归支路，最后利用全连接层和Softmax预测狭窄程度。
4.根据权利要求1所述的一种基于冠脉造影图像判断狭窄血管尺寸的深度学习方法，其特征在于：所述的回归支路为DE-Net网络支路，该DE-Net网络支路首先由一个卷积层、BN和ReLU进行初步特征提取，然后将浅层特征传递到后续的DE-Net主体；该DE-Net主体包括四个相同的模块，每个模块包括一个卷积层、DEB模块和一个池化层，其中每个DEB模块包含三个卷积层，该DE-Net主体提取图像的深度特征，然后将提取的深度特征映射传递给主体部分后面的卷积层、BN层、全局池化层和特征重塑层的复合块，得到进一步提取的特征，并将该特征与分类支路共享的特征进行加权得到新的特征，最后利用线性回归层，也即全连接层从最后的特征中预测相应的指标。
CN202110819406.2A 2021-07-20 2021-07-20 基于冠脉造影图像判断狭窄血管尺寸的深度学习方法 Active CN113592939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110819406.2A CN113592939B (zh) 2021-07-20 2021-07-20 基于冠脉造影图像判断狭窄血管尺寸的深度学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110819406.2A CN113592939B (zh) 2021-07-20 2021-07-20 基于冠脉造影图像判断狭窄血管尺寸的深度学习方法

Publications (2)

Publication Number Publication Date
CN113592939A CN113592939A (zh) 2021-11-02
CN113592939B true CN113592939B (zh) 2024-02-27

Family

ID=78248479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110819406.2A Active CN113592939B (zh) 2021-07-20 2021-07-20 基于冠脉造影图像判断狭窄血管尺寸的深度学习方法

Country Status (1)

Country Link
CN (1) CN113592939B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114052762A (zh) * 2021-11-30 2022-02-18 燕山大学 基于Swin-T预测狭窄血管尺寸和器械尺寸的方法
CN114533264A (zh) * 2022-01-25 2022-05-27 中山大学孙逸仙纪念医院 一种无症状性冠脉疾病的预测模型训练方法、装置及系统
CN114757944B (zh) * 2022-06-13 2022-08-16 深圳科亚医疗科技有限公司 一种血管图像的分析方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109222980A (zh) * 2018-06-19 2019-01-18 北京红云智胜科技有限公司 基于深度学习的测量冠状动脉造影图像血管直径的方法
KR20200062764A (ko) * 2018-11-27 2020-06-04 울산대학교 산학협력단 딥러닝 기반 혈관 구분 방법 및 시스템
CN112785581A (zh) * 2021-01-29 2021-05-11 复旦大学附属中山医院 基于深度学习的提取训练大血管cta成像的培训方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6718975B2 (ja) * 2016-03-16 2020-07-08 ハートフロー， インコーポレイテッド 冠動脈において健全な管腔径を推定し狭窄を定量化するためのシステム及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109222980A (zh) * 2018-06-19 2019-01-18 北京红云智胜科技有限公司 基于深度学习的测量冠状动脉造影图像血管直径的方法
KR20200062764A (ko) * 2018-11-27 2020-06-04 울산대학교 산학협력단 딥러닝 기반 혈관 구분 방법 및 시스템
CN112785581A (zh) * 2021-01-29 2021-05-11 复旦大学附属中山医院 基于深度学习的提取训练大血管cta成像的培训方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的冠状动脉CTA三维分割;刘敏;方志军;高永彬;;智能计算机与应用(第03期);全文 *

Also Published As

Publication number Publication date
CN113592939A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN113592939B (zh) 基于冠脉造影图像判断狭窄血管尺寸的深度学习方法
CN112070776B (zh) 医学图像的分割方法、分割装置、分割系统及计算机可读介质
CN110533086B (zh) 图像数据半自动标注方法
US11710349B2 (en) Facial beauty prediction method and device based on multi-task migration
CN112989947B (zh) 一种人体关键点的三维坐标的估计方法及装置
CN111476307A (zh) 一种基于深度领域适应的锂电池表面缺陷检测方法
CN110930386A (zh) 图像处理方法、装置、设备及存储介质
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN112036249A (zh) 端对端行人检测及属性识别的方法、系统、介质及终端
CN117315244A (zh) 融合多尺度特征的医学图像分割方法、设备、存储介质
Li et al. Automatic bone age assessment of adolescents based on weakly-supervised deep convolutional neural networks
CN113255701B (zh) 一种基于绝对-相对学习架构的小样本学习方法和系统
CN118035866A (zh) 基于专家网络的铝挤压设备故障诊断方法
CN116778349A (zh) 一种基于散射中心特征提取的sar目标识别方法
Yang et al. A real-time object detection method for underwater complex environments based on FasterNet-YOLOv7
CN113792740B (zh) 眼底彩照的动静脉分割方法、系统、设备及介质
CN116188420A (zh) 一种基于卷积Transformer的多模态医学图像分割方法
Kyem et al. PaveCap: The First Multimodal Framework for Comprehensive Pavement Condition Assessment with Dense Captioning and PCI Estimation
CN115424000A (zh) 一种指针式仪表识别方法、系统、设备及存储介质
Song et al. Autonomous identification of bridge concrete cracks using unmanned aircraft images and improved lightweight deep convolutional networks
CN114399628A (zh) 复杂空间环境下的绝缘子高效检测系统
CN118626974B (zh) 白细胞分类方法和装置
CN117496126B (zh) 基于关键词的影像自动定位系统及方法
CN118038223B (zh) 基于ai的遥感数据样本信息融合与多尺度重构方法及系统
CN115019092B (zh) 一种基于伪彩色图的分类网络辅助分析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant