CN112967277B - 基于深度学习网络的颈动脉超声图像血管及内膜定位方法 - Google Patents
基于深度学习网络的颈动脉超声图像血管及内膜定位方法 Download PDFInfo
- Publication number
- CN112967277B CN112967277B CN202110352314.8A CN202110352314A CN112967277B CN 112967277 B CN112967277 B CN 112967277B CN 202110352314 A CN202110352314 A CN 202110352314A CN 112967277 B CN112967277 B CN 112967277B
- Authority
- CN
- China
- Prior art keywords
- image
- intima
- blood vessel
- ultrasonic
- segmentation result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013135 deep learning Methods 0.000 title claims abstract description 27
- 238000002604 ultrasonography Methods 0.000 title claims description 22
- 230000011218 segmentation Effects 0.000 claims abstract description 61
- 210000001715 carotid artery Anatomy 0.000 claims abstract description 24
- 210000001168 carotid artery common Anatomy 0.000 claims abstract description 21
- 238000012805 post-processing Methods 0.000 claims abstract description 14
- 238000005259 measurement Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 12
- 239000002131 composite material Substances 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 230000004807 localization Effects 0.000 claims 3
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000010191 image analysis Methods 0.000 abstract description 2
- 239000012528 membrane Substances 0.000 description 13
- 230000000694 effects Effects 0.000 description 5
- 230000003213 activating effect Effects 0.000 description 4
- 101100496830 Danio rerio coe2 gene Proteins 0.000 description 3
- 101100496827 Xenopus laevis ebf2-a gene Proteins 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002792 vascular Effects 0.000 description 3
- 201000001320 Atherosclerosis Diseases 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 208000026106 cerebrovascular disease Diseases 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000014882 Carotid artery disease Diseases 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 208000037876 carotid Atherosclerosis Diseases 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及医学图像分析领域，具体涉及基于深度学习网络的颈动脉超声图像血管及内膜定位方法。方法步骤包括：S1，实时获取包含颈总动脉的超声原始图像；S2，将超声原始图像进行优化处理，得到超声后处理图像；S3，将超声原始图像和超声后处理图像进行加权处理，得到加权图像；S4，将加权图像裁剪为宽度和深度相同的裁剪图像；S5，将裁剪图像输入预先训练好的全自动分割网络中，输出内膜分割结果和血管分割结果，内膜分割结果和血管分割结果用于IMT测量以及用户导引。实现了血管以及血管内膜精确定位与分割，与传统的算法相比完全不需要人工干预，与二级结构相比更容易实现实时计算，满足了实时的需求。
Description
技术领域
本发明涉及医学图像分析技术领域，具体而言，涉及基于深度学习网络的颈动脉超声图像血管及内膜定位方法。
背景技术
心脑血管疾病(CVD)的基础病理是动脉粥样硬化，颈动脉血管内膜厚度(cIMT)是衡量动脉粥样硬化程度的重要标志。临床上，通常采用无损的超声成像技术采集颈动脉的超声图像后，通常由超声医生在采集到的颈总动脉超声图像上手动标注血管腔-内膜边界(LII)和血管外膜-中膜边界(MAI),实现IMT的测量。
颈动脉血管超声图像中，近段血管壁用外环表示，管腔位于图像中间位置，远端血管位于近段血管壁和管腔之间，远端血管因具有比较清晰的层析结构被选为研究对象。图1为颈动脉血管壁径向示意图，血管壁又分为内膜，中膜和外膜三层，内膜因其自身阻抗大于中膜而小于外膜，因此声波反射强度大于中膜而小于外膜。图2为颈动脉血管壁侧向示意图，如图2所示，内中膜的两条边界，由内至外分别为LII和MAI,位于两条边界之间的，是颈动脉内中膜组织。LII和MAI在正常颈动脉中呈现两条近似平行的边界，两条边界之间的平均距离即为所要测量的cIMT。
人工分割LII和MAI的轮廓是非常费时的事情，且分割的准确度完全依赖医生的专业知识和熟练程度。
自动分割算法可使医务人员摆脱繁重的人工观察和诊断，提高测量结果的客观性，可靠性，为医学诊断提供坚实可靠的依据。现有的自动分割算法中，Wendelhag I提出采用动态规划来精确检测血管壁，利用该算法搜索到的边界是使代价函数极小的全局最优解，但是代价函数之间的权重参数不具有普遍适用性，扫描参数的变化最优参数需要重新训练。Petroudi S中提出利用Snake模型在利用水平集提取的初始轮廓基础得到了最终的轮廓线。以上这些颈动脉LII和MAI分割方法主要存在两个缺点：第一，未实现完全自动化，仍旧需要人工干预，需要医生手动标记，第二，动态规划和Snake的方法都依赖于初始轮廓获取的准确程度；因此最终的结果受初始标记的影响极大，稳定性较差。
近年来，深度学习广泛应用于医学图像处理中，对于血管壁各膜层边界线的提取，一般还是模仿传统算法采用两步处理，第一步提取感兴趣区域(ROI)并获取初始轮廓线，第二步获得精确轮廓线。Rosa-Maria提出两级不同参数的简单分类的极限学习网络(ELM)分别完成提取ROI和轮廓的算法。但是，该方法只能适用于颈动脉粥样硬化的早期诊断。Biswas提出两级基于多分辨率的CNN，第一级主要实现图像分割，第二级实现平滑边界并输出精确的LII和MAI。上述方法虽然能实现全自动分割，但是采用两级深度学习网络，所以算法实时性很难保证。
发明内容
本发明的目的在于克服现有技术中所存在的上述不足，一方面需要实现全自动精确测量，而不需要人工干预，另一方面，改变现有技术中的深度学习算法的二级结构，提高数据分析的实时性，因此，基于多分类的Unet结构的算法，提出了一种基于深度学习网络的颈动脉超声图像血管及内膜定位方法。
为了实现上述发明目的，本发明提供了以下技术方案：
一种基于深度学习网络的颈动脉超声图像血管及内膜定位方法，包括以下步骤：
S1，实时获取包含颈总动脉的超声原始图像；
S2，将超声原始图像进行优化处理，得到超声后处理图像；
S3，将超声原始图像和超声后处理图像进行加权处理，得到合成图像；
S4，将合成图像裁剪为宽度和深度相同的裁剪图像；
S5，将裁剪图像输入预先训练好的全自动分割网络中，输出内膜分割结果和血管分割结果，内膜分割结果和血管分割结果用于IMT测量以及用户导引。
作为本案的优选方案，步骤S3中，通过加权处理得到合成图像的处理步骤为：
第一步，将超声原始图像的数据乘以原始图像系数，得到第一修正图像，并且将超声后处理图像的数据乘以后处理图像系数，得到第二修正图像；
第二步，将第一修正图像和第二修正图像求和，得到合成图像。
作为本案的优选方案，步骤S2中优化处理包括边缘增强，斑点抑制。
作为本案的优选方案，步骤S4中，将合成图像裁剪为宽度和深度相同的裁剪图像时，具体包括以下步骤：
当合成图像深度小于或等于裁剪阈值时，将合成图像深度方向补0，直到图像深度与宽度相同；
当合成图像深度大于裁剪阈值时，将合成图像裁剪成宽度和深度相同。
作为本案的优选方案，全自动分割网络的训练步骤包括：
S21，获取训练数据集，训练数据集包括标准超声图像和标记图片，标准超声图像是对包含颈总动脉的超声原始图像依次进行优化、加权和裁剪处理后的图像，标记图片是与标准超声图像相对应的已经标记出颈总动脉和内膜区域的超声图像；
S22，将标记图片调整为独热图片；
S23，将独热图片及其对应的标准超声图像输入到Uet型结构深度学习网络中；输出超声图像的内膜分割结果和血管分割结果；
S24，将输出的超声图像的内膜分割结果和血管分割结果输入损失函数，并根据损失函数的计算值判断网络是否收敛，若没有收敛，返回步骤S21，继续循环执行步骤S21-S23，若收敛，则完成全自动分割网络的训练。
作为本案的优选方案，步骤S23中的Uet型结构深度学习网络的卷积层由图像输入层、下采样、上采样层、池化层以及激活层组成，每层卷积层后都连接一层池化层，激活层采用线性整流函数，激活层的激活函数采用softmax函数。
作为本案的优选方案，步骤S24中的损失函数为categorical_crossentropy函数，用于表征输出结果和原始标记的差异。
作为本案的优选方案，还包括根据内膜分割结果进行IMT测量，具体步骤包括：
S51，将内膜分割结果进行二值化处理，得到内膜二值化图像；
S52，在内膜二值化图像中选取最大连通区域，定位最佳内膜测量位置和ROI框，计算IMT值。
作为本案的优选方案，根据血管分割结果给出血管位置评级，用于用户导引，具体步骤包括：
S61，将血管分割结果进行二值化处理，得到血管二值化图像；
S62，统计血管面积占比，根据预先设定的阈值，给出血管位置评级；
S63，根据血管位置评级给出用户导引提示。
基于相同的构思，本发明还提出了一种基于深度学习网络的颈动脉超声图像血管及内膜定位的装置，其特征在于，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项的方法。
与现有技术相比，本发明的有益效果：
本发明的颈动脉超声图像血管及内膜定位方法，提出一种基于多分类的Unet结构的算法，实现了血管以及血管内膜精确定位与分割，与传统的算法相比完全不需要人工干预，与二级结构相比更容易实现实时计算。采用该方法可以直接根据颈动脉超声的图像，实时计算预测出血管区域和内膜位置，位置参数精度可以达到像素级别，预测每张切片大概花费20微秒，满足了实时的需求，对临床应用具有很大的价值和意义。并且，对于分割出的血管区域还进行评级，提示医生当前是否在测量cIMT的最佳剖面。
附图说明：
图1为本发明颈动脉血管壁径向示意图；
图2为颈动脉血管壁侧向示意图；
图3为本发明实施例1中由步骤S1～S4得到裁剪图像的示意流程图；
图4为本发明实施例1中颈动脉超声图像血管及内膜定位网络的训练过程图；
图5为本发明实施例1中包含颈总动脉的超声原始图像；
图6为本发明实施例1中包含颈总动脉的超声原始图像相应的超声后处理图像；
图7为本发明实施例1中包含颈总动脉的超声原始图像优化后的加权图像；
图8为本发明实施例1中加权图像深度小于4cm的效果图；
图9为本发明实施例1中补0后的加权图像；
图10为本发明实施例1中加权图像深度大于4cm的效果图；
图11为本发明实施例1中裁剪的加权图像；
图12为本发明实施例1中全自动分割网络训练流程图；
图13为本发明实施例1中一种具体的背景的独热图；
图14为本发明实施例1中拆分后的血管的热独图；
图15为本发明实施例1中拆分后的内膜的独热图；
图16为本发明实施例1中深度学习网络及其网络收敛准则
图17为本发明实施例1中利用颈动脉超声图像血管及内膜定位网络进行IMT测量以及用户导引的流程图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
一种基于深度学习网络的颈动脉超声图像血管及内膜定位方法的流程图如图3所示，主要包括以下步骤：
S1，实时获取包含颈总动脉的超声原始图像；
S2，将超声原始图像进行优化处理，得到超声后处理图像；
S3，将超声原始图像和所述超声后处理图像进行加权处理，得到加权图像；
S4，将加权图像裁剪为宽度和深度相同的裁剪图像；
S5，将裁剪图像输入预先训练好的全自动分割网络中，输出内膜分割结果和血管分割结果，内膜分割结果和血管分割结果用于IMT测量以及用户导引。
其中，由步骤S1～S4得到裁剪图像的示意流程图如图4所示，步骤S1获取的包含颈总动脉的超声原始图像如图5所示，原始图像往往颗粒较大，噪声多，内膜和血管边缘都不清晰，不利于后续的数据处理和判断，因此通过步骤S2，将包含颈总动脉的超声原始图像经过一系列传统算法进行后处理，例如边缘增强，斑点抑制等，得到医生偏好的超声后处理图像，超声后处理图像血管内较干净，肉眼较易辨识，内膜更清晰，图5相应的超声后处理图像如图6所示。
只采用超声原始图像或只采用超声后处理图像，都不利于后续基于全自动分割网络的深度机器学习，因此，步骤S3中，将超声原始图像和所述超声后处理图像进行加权处理，得到加权图像，加权处理是通过将超声原始图像和超声后处理图像加权求和来实现，加权图像保留了血管中的纹理，同时IMT也足够清晰，是用于颈动脉超声图像血管及内膜定位方法的最优图片形式。
步骤S3中，通过加权处理得到加权图像的处理步骤为：
第一步，将超声原始图像的数据乘以原始图像系数，得到第一修正图像，并且将超声后处理图像的数据乘以后处理图像系数，得到第二修正图像；
第二步，将所述第一修正图像和所述第二修正图像求和，得到所述加权图像。
目前，较为理想的加权图像生成方式为：加权图像＝0.4×超声后处理图像+0.6×超声原始图像，也即是说，在加权过程中，超声后处理图像的权重(后处理图像系数)为40％，超声原始图像的权重(原始图像系数)是60％。优化后的加权图像如图7所示。
步骤S4主要用于将加权图像裁剪为宽度和深度相同的裁剪图像，以利于后续的深度机器学习，将所述加权图像裁剪为宽度和深度相同的裁剪图像时，具体包括以下步骤：
当加权图像深度小于或等于裁剪阈值时，将加权图像深度方向补0，直到图像深度与宽度相同；当所述加权图像深度大于裁剪阈值时，将所述加权图像裁剪成宽度和深度相同。
作为优选方案，将裁剪阈值设置为4cm，当加权图像深度小于或等于4cm时。加权图像深度小于4cm的效果图如图8所示，将加权图像深度方向补0，直到图像深度与宽度相同，补0后的加权图像如图9所示。加权图像深度大于4cm的效果图如图10所示，将加权图像沿深度方向裁剪，直到图像深度与宽度相同，裁剪的加权图像如图11所示。
其中，需要特别说的是步骤S5中的全自动分割网络是预先训练得到的，训练流程图如图12所示，训练步骤包括：
S21，获取训练数据集，训练数据集包括标准超声图像和标记图片，标准超声图像是对包含颈总动脉的超声原始图像依次进行优化、加权和裁剪处理后的图像，对包含颈总动脉的超声原始图像依次进行优化、加权和裁剪处理后的图像的方法与前述步骤S2、S3、S4一样。标记图像是与标准超声图像相对应的已经标记出颈总动脉和内膜区域的超声图像，对标记图像同样要依次进行优化、加权和裁剪，方法与前述步骤S2、S3、S4一样。
S22，将标记图片调整为独热图片。调整为独热图片的步骤为：
S211，将原始标记图片的背景部分、血管部分和内膜部分分别提出来，得到标记背景图、标记血管图、标记内膜图；
S212，将标记背景图、标记血管图、标记内膜图分别调整为二进制图像，就得到了独热图片。图13给出了一种具体的背景的独热图，图14是拆分后的血管的热独图，图15是拆分后的内膜的独热图。
将原始标记图片调整为三幅二进制图像是为了方便后续计算多分类的WCE损失函数，WCE损失函数的计算公式如公式(1)和(2)所示。
其中，N为像素点个数，m为类别数(num_label)，将类预测yi＝[yi1，yi2，...，yim](深度方向的像素向量)与热编码目标向量进行比较，ω＝[ω1，ω2，...ωm]为对预测概率图中每个类别的权重，用于加权在预测图上占比例小的类别对loss函数的贡献。
S23，将独热图片及其对应的标准超声图像输入到Unet型结构深度学习网络(也即是全自动分割网络)中；输出标准超声图像的内膜分割结果和血管分割结果。
深度学习网络及其网络收敛准则见图16，网络结构依次由图像输入层、下采样和上采样层，池化层以及激活层组成。输入层输入的是256*256*3的彩色图像。每层卷积层后都紧跟一层池化层，激活层采用线性整流函数(Rectified Linear Unit,ReLU)。输出层的激活函数采用softmax函数。整个网络模型架构的目的是为了最小化损失函数并更新优化参数，选择具有动量的随机梯度下降(stochastic gradient descent with momentum,SGDM)作为优化器控制收敛，输出血管和内膜区域。
S24，将输出的内膜分割结果和血管分割结果输入损失函数，并根据所述损失函数的计算值判断网络是否收敛，若没有收敛，返回步骤S21，继续循环执行步骤S21-S23，若收敛，则完成全自动分割网络的训练。在网络训练的过程中，控制学习率，在初始训练阶段采取较大的学习率，之后用较小的学习率进行微调，并使用categorical_crossentropy损失函数来表征输出结果和原始标记的差异。作为优选方案，训练的准确率到99％，loss降低到0.1左右，就判断网络已经收敛。
本案中，主要利用Unet型结构深度学习网络的多分类提高内膜的定位准确率，网络的结构本身主要是降低滤波器数目以及提高上下采样率，简化网络达到实时的效果。Unet擅长的事情是分类，在同一张图片里处理分类就等同于完成分割任务。从概率的角度我们解释其合理性，假设血管为V，内膜用I表示，由于内膜一定在血管内，因此P(V|I)＝1：
P(I，V)＝P(I|V)P(V)＝P(VI)P(I)
P(I)＝P(I|V)P(V)
可以直接看出内膜出现的概率是与血管出现的概率成正比的，如果能定位出血管的位置，是可以辅助定位出内膜位置的。
作为优选方案，当颈动脉超声图像血管及内膜定位网络已经训练好之后，利用颈动脉超声图像血管及内膜定位网络进行IMT测量以及用户导引的流程图如图17所示，具体步骤包括：
A1，实时采集超声图像，超声图像中至少要包含颈总动脉。将采集到的超声图像进行预处理，预处理包括加权、裁剪等；
A2，将预处理后的超声图像输入颈动脉超声图像血管及内膜定位网络，输出颈总动脉分割图像和内膜区域分割图像；
A3，根据颈总动脉分割图像和内膜区域分割图像进行IMT值的计算，并且计算出当前内膜分级评分。
IMT值的计算过程包括：
A301，对内膜区域分割图像进行二值化处理，输出内膜二值化图像；
A302，在内膜二值化图像中，选取最大连通区域，定位最佳内膜测量位置和ROI框，计算IMT值。
内膜分级评分计算步骤包括：
B301，在深度延伸方向统计当前列的血管像素，计算平均深度；
B302，在深度延伸方向搜索最深的IMT像素并记录其深度；
B303，比较当前列的血管中线位置和最深IMT像素的位置，如果IMT位置比血管中线位置更深，内膜指数计数加1；
B304，在内膜区域分割图像中按列依次循环执行A301-A303，以获得最终内膜指数计数累加值；
B305，通过将内膜指数计数累加值除以图像中横向像素的总数，得到内膜分级评分。(将内膜分级评分与判定阈值作比较，判定阈值为0.25，当内膜分级评分大于0.25时，该值为有效值，当内膜分级评分小于0.25时，该值为无效值。
对同一原始超声图，可以通过颈动脉超声图像血管及内膜定位网络获取多个IMT值以及相应的内膜分级评分，选取内膜分级评分最大值对应的IMT值作为输出的结果。
作为优先方案，通过颈动脉超声图像血管及内膜定位网络输出颈总动脉分割图像和内膜区域分割图像后，还可以对颈总动脉位置进行评级。对颈总动脉位置进行评级的步骤包括：
C1，根据颈总动脉分割图像计算血管的总像素数，并计算血管面积占比；
C2，将血管面积占比与预先设定的阈值，给出血管位置评级。
统计血管面积占比分为三个等级：第一级，P≥d/probewidth*coe1；第二级P≥d/probewidth*coe1*coe2，第三级(也是无效的等级)，P＜d/probewidth*coe1*coe2。其中，P是血管面积占比，d是颈动脉半径(颈动脉半径均值为6.5cm，其中女性的颈动脉半径为5.5cm，男性的颈动脉半径为7.7cm)；coe1是第一系数，0.9≤coe1≤1.0，coe2是第二系数，coe2＝0.9或coe2＝1.0。
C3，当血管位置评级为第一级或第二级时，确定ROI的定位点和ROI的转向角。具体步骤包括：
C301，找到颈总动脉分割图像的最大连通区域，计算最大连通区域的重心，根据该重心确定ROI定位点；
C302，根据最大连通区域，找到最大连通区域的最小边界矩形；
C303，根据最小边界矩形的斜率角，确定ROI的转向角。
C4，根据颈总动脉分割图像，采用C2相同的方法给出颈总动脉位置等级评分。
C5，计算多普勒门的最佳尺寸和血流角。计算多普勒门的最佳尺寸和血流角的步骤包括：
C401，找到颈总动脉分割图像的最大连通区域；
C402，根据最大连通区域，找到最大连通区域的最小边界矩形；
C403，找到最小边界矩形的短边的长度，短边的长度即为颈总动脉高度，最小边界矩形的斜率角为PW流量角，PW流量角的取值范围是-70≤pw≤70。
Claims (8)
1.一种基于深度学习网络的颈动脉超声图像血管及内膜定位方法，其特征在于，包括以下步骤：
S1，实时获取包含颈总动脉的超声原始图像；
S2，将所述超声原始图像进行优化处理，得到超声后处理图像，所述优化处理包括边缘增强，斑点抑制；
S3，将所述超声原始图像和所述超声后处理图像进行加权处理，得到合成图像；
S4，将所述合成图像裁剪为宽度和深度相同的裁剪图像；
S5，将所述裁剪图像输入预先训练好的全自动分割网络中，输出内膜分割结果和血管分割结果，所述内膜分割结果和血管分割结果用于IMT测量；根据血管分割结果给出血管位置评级，用于用户导引；
所述全自动分割网络的训练步骤包括：
S21，获取训练数据集，所述训练数据集包括标准超声图像和标记图片，所述标准超声图像是对包含颈总动脉的超声原始图像依次进行优化、加权和裁剪处理后的图像，所述标记图片是与所述标准超声图像相对应的已经标记出颈总动脉和内膜区域的超声图像；
S22，将所述标记图片调整为独热图片；
S23，将所述独热图片及其对应的标准超声图像输入到Uet型结构深度学习网络中；输出超声图像的内膜分割结果和血管分割结果；
S24，将输出的超声图像的内膜分割结果和血管分割结果输入损失函数，并根据所述损失函数的计算值判断网络是否收敛，若没有收敛，返回步骤S21，继续循环执行步骤S21-S23，若收敛，则完成全自动分割网络的训练。
2.如权利要求1所述的一种基于深度学习网络的颈动脉超声图像血管及内膜定位方法，其特征在于，步骤S3中，通过加权处理得到合成图像的处理步骤为：
第一步，将超声原始图像的数据乘以原始图像系数，得到第一修正图像，并且将超声后处理图像的数据乘以后处理图像系数，得到第二修正图像；
第二步，将所述第一修正图像和所述第二修正图像求和，得到所述合成图像。
3.如权利要求1所述的一种基于深度学习网络的颈动脉超声图像血管及内膜定位方法，其特征在于，步骤S4中，将所述合成图像裁剪为宽度和深度相同的裁剪图像时，具体包括以下步骤：
当所述合成图像深度小于或等于裁剪阈值时，将所述合成图像深度方向补0，直到图像深度与宽度相同；
当所述合成图像深度大于裁剪阈值时，将所述合成图像裁剪成宽度和深度相同。
4.如权利要求1所述的一种基于深度学习网络的颈动脉超声图像血管及内膜定位方法，其特征在于，步骤S23中的Uet型结构深度学习网络的卷积层由图像输入层、下采样、上采样层、池化层以及激活层组成，每层卷积层后都连接一层池化层，激活层采用线性整流函数，激活层的激活函数采用softmax函数。
5.如权利要求4所述的一种基于深度学习网络的颈动脉超声图像血管及内膜定位方法，其特征在于，步骤S24中的损失函数为categorical_crossentropy函数，用于表征输出结果和原始标记的差异。
6.如权利要求1-5任一所述的一种基于深度学习网络的颈动脉超声图像血管及内膜定位方法，其特征在于，根据所述内膜分割结果进行IMT测量，具体步骤包括：
S51，将所述内膜分割结果进行二值化处理，得到内膜二值化图像；
S52，在所述内膜二值化图像中选取最大连通区域，定位最佳内膜测量位置和ROI框，计算IMT值。
7.如权利要求1-5任一所述的一种基于深度学习网络的颈动脉超声图像血管及内膜定位方法，其特征在于，根据血管分割结果给出血管位置评级，用于用户导引，具体步骤包括：
S61，将所述血管分割结果进行二值化处理，得到血管二值化图像；
S62，统计血管面积占比，根据预先设定的阈值，给出血管位置评级；
S63，根据所述血管位置评级给出用户导引提示。
8.一种基于深度学习网络的颈动脉超声图像血管及内膜定位的装置，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110352314.8A CN112967277B (zh) | 2021-03-31 | 2021-03-31 | 基于深度学习网络的颈动脉超声图像血管及内膜定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110352314.8A CN112967277B (zh) | 2021-03-31 | 2021-03-31 | 基于深度学习网络的颈动脉超声图像血管及内膜定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112967277A CN112967277A (zh) | 2021-06-15 |
| CN112967277B true CN112967277B (zh) | 2024-01-26 |
Family
ID=76280821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110352314.8A Active CN112967277B (zh) | 2021-03-31 | 2021-03-31 | 基于深度学习网络的颈动脉超声图像血管及内膜定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112967277B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115049642A (zh) * | 2022-08-11 | 2022-09-13 | 合肥合滨智能机器人有限公司 | 一种颈动脉血管内中膜测量与斑块检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136157A (zh) * | 2019-04-09 | 2019-08-16 | 华中科技大学 | 一种基于深度学习的三维颈动脉超声图像血管壁分割方法 |
| CN111681224A (zh) * | 2020-06-09 | 2020-09-18 | 上海联影医疗科技有限公司 | 获取血管参数的方法和装置 |
| GB202017502D0 (en) * | 2020-11-05 | 2020-12-23 | Univ London Queen Mary | Image processing of intravenous ultrasound images |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110257527A1 (en) * | 2010-04-20 | 2011-10-20 | Suri Jasjit S | Ultrasound carotid media wall classification and imt measurement in curved vessels using recursive refinement and validation |
-
2021
- 2021-03-31 CN CN202110352314.8A patent/CN112967277B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136157A (zh) * | 2019-04-09 | 2019-08-16 | 华中科技大学 | 一种基于深度学习的三维颈动脉超声图像血管壁分割方法 |
| CN111681224A (zh) * | 2020-06-09 | 2020-09-18 | 上海联影医疗科技有限公司 | 获取血管参数的方法和装置 |
| GB202017502D0 (en) * | 2020-11-05 | 2020-12-23 | Univ London Queen Mary | Image processing of intravenous ultrasound images |
Non-Patent Citations (2)
| Title |
|---|
| 使用边缘检测和Hough变换自动分割颈动脉超声图像;谭雅兰;;现代计算机(第15期);全文 * |
| 基于深度学习的颈动脉超声图像斑块分割算法;蔡梦媛;周然;程新耀;丁明跃;;生命科学仪器(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112967277A (zh) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN109325942B (zh) | 基于全卷积神经网络的眼底图像结构分割方法 | |
| CN106780495B (zh) | 基于oct的心血管植入支架自动检测与评估方法及系统 | |
| US7397935B2 (en) | Method for segmentation of IVUS image sequences | |
| CN110448319B (zh) | 基于造影影像及冠状动脉的血流速度计算方法 | |
| CN111105424A (zh) | 淋巴结自动勾画方法及装置 | |
| CN108701354A (zh) | 识别超声图像中感兴趣区域轮廓的方法及系统 | |
| CN110177504A (zh) | 超声图像中参数测量的方法和超声成像系统 | |
| CN106709967B (zh) | 一种内窥成像算法及控制系统 | |
| CN108416793B (zh) | 基于三维相干断层成像图像的脉络膜血管分割方法及系统 | |
| CN102247172A (zh) | 自动化胎儿胎龄评估的系统和方法 | |
| CN113781455B (zh) | 宫颈细胞图像异常检测方法、装置、设备及介质 | |
| CN112967277B (zh) | 基于深度学习网络的颈动脉超声图像血管及内膜定位方法 | |
| Lan et al. | Run: Residual u-net for computer-aided detection of pulmonary nodules without candidate selection | |
| US12026886B2 (en) | Method and system for automatically estimating a hepatorenal index from ultrasound images | |
| CN109003280B (zh) | 一种双通道血管内超声影像的血管中内膜分割方法 | |
| CN111986139B (zh) | 颈动脉内中膜厚度的测量方法、设备及存储介质 | |
| CN109009000A (zh) | 一种主动脉夹层破口位置的检测方法 | |
| CN111640127B (zh) | 一种用于骨科的精准临床诊断导航方法 | |
| CN108734771A (zh) | 基于三维医学影像的血管提取系统及分析方法 | |
| CN112950611A (zh) | 一种基于ct图像的肝脏血管分割方法 | |
| CN109816665B (zh) | 一种光学相干断层扫描图像的快速分割方法及装置 | |
| CN117115437A (zh) | 一种基于区域的多指标多器官医学图像分割模型评估系统 | |
| CN111640126B (zh) | 基于医学影像的人工智能诊断辅助方法 | |
| CN111210436B (zh) | 晶状体分割方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |