CN113362360A - 基于流体速度场的超声颈动脉斑块分割方法 - Google Patents
基于流体速度场的超声颈动脉斑块分割方法 Download PDFInfo
- Publication number
- CN113362360A CN113362360A CN202110593922.8A CN202110593922A CN113362360A CN 113362360 A CN113362360 A CN 113362360A CN 202110593922 A CN202110593922 A CN 202110593922A CN 113362360 A CN113362360 A CN 113362360A
- Authority
- CN
- China
- Prior art keywords
- velocity field
- plaque
- segmentation
- carotid
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 81
- 239000012530 fluid Substances 0.000 title claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 78
- 238000002604 ultrasonography Methods 0.000 claims abstract description 36
- 230000017531 blood circulation Effects 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000005070 sampling Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 13
- 210000004204 blood vessel Anatomy 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 230000001537 neural effect Effects 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 8
- 239000011800 void material Substances 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 208000006170 carotid stenosis Diseases 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000004088 simulation Methods 0.000 abstract description 8
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000002474 experimental method Methods 0.000 description 22
- 210000001715 carotid artery Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 206010072810 Vascular wall hypertrophy Diseases 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 208000006011 Stroke Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000007213 cerebrovascular event Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002526 effect on cardiovascular system Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000003143 atherosclerotic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007211 cardiovascular event Effects 0.000 description 1
- 210000001168 carotid artery common Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000011796 hollow space material Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000002540 macrophage Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 210000000329 smooth muscle myocyte Anatomy 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种基于流体速度场的颈动脉斑块分割方法，包括：A.基于计算流体力学方法为每一张超声图像生成对应的血流速度场；B.对超声图像和速度场进行三通道均值标准化；C.构建多模态融合分割框架分割超声图像。本发明新提出的基于流体速度场的颈动脉斑块分割方法通过引入计算流体力学模拟的速度场，以及结合层次级特征融合、多尺度上下文信息提取、带偏向的上采样等深度学习技术的方式，该方法引入计算流体力学模拟的血流速度场，以利用含在速度场中的潜在有效先验知识帮助精确定位斑块，提高颈动脉超声斑块的分割精度。
Description
技术领域
本发明涉及计算机数据处理领域，特别是涉及一种采用计算机算法分隔颈动脉斑块的方法。
背景技术
心脑血管疾病是全球死亡的主要原因之一。作为冠心病与脑卒中的病理基础，颈动脉粥样硬化性斑块，简称颈动脉斑块，是导致心脑血管事件的最常见且最重要的一个因素。颈动脉斑块由血脂、结缔组织基质和平滑肌细胞、巨噬细胞等各种成分沉积而成，斑块的破损将形成血栓，极易引发脑卒中等急性心脑血管事件。易破损的斑块称为易损斑块或不稳定斑块，病理上斑块的稳定性需要通过斑块的组织成分、表面形态等微观特征才能确定。而在临床实践中，医疗人员则通过颈动脉影像对斑块进行斑块类型与形态的评估以诊断斑块的稳定性，给出相应的医疗建议和可选的干预治疗方案。然而，这一手工过程不仅学习成本高、劳动密集、繁琐乏味，而且容易因医生的不同判断获得不同的结果，缺乏统一的标准。为建立一个更加鲁棒、更低人力成本、更可重复的诊断流程并提升诊断效率和准确率，研究计算机技术以辅助对斑块形态的评估是必要的。
颈动脉超声检查因其操作简易、成本低廉且无创无辐射的特性而成为应用最广泛的颈动脉检查手段。基于颈动脉超声检查，医生可以快速观察血管几何形状、狭窄程度以及斑块形态和组织成分进而做出诊断。然而，由于颈动脉超声影像中存在着不规则分布的伪影、散斑噪声、低对比度和局部灰度变化，斑块区域较小且斑块形状变化复杂，所以利用计算机技术进行超声中的颈动脉斑块分割仍是一项挑战。
发明内容
本发明要解决的技术问题是：针对难以利用计算机技术分割颈动脉斑块的问题，引入计算流体力学模拟的速度场，以及结合层次级特征融合、多尺度上下文信息提取、带偏向的上采样等深度学习技术的方式，建立一种精度高的颈动脉斑块分割框架。该框架可以缓解超声影像中的噪声和斑块的多变的形状带来的分割困难，并且能够高效利用来自速度场的潜在有效信息，能被广泛用于各个位置、各种类型的颈动脉斑块分割。
本发明的技术方案是：
一种基于流体速度场的颈动脉斑块分割方法，包括以下步骤：
A.基于计算流体力学方法为每一张超声图像生成对应的血流速度场；
B.对超声图像和速度场进行三通道均值标准化；在步骤B中，对超声图像和速度场执行同步的随机旋转、翻转和裁剪以增强数据。
C.构建多模态融合分割框架分割超声图像。
所述步骤C的多模态融合分割框架包括三个模块，分别是层次级特征融合模块、多尺度上下文信息提取模块和带偏向的上采样模块。
步骤A中所述的基于计算流体力学方法为每一张超声图像生成对应的血流速度场，其具体步骤如下：
A1.基于超声图像中的血管壁轮廓，生成对应的二值化血管壁轮廓图；
A2.基于超声图像对应的血流速度信息和A1所述的二值化血管壁轮廓图，采用压力耦合方程组的半隐式算法生成与超声图像对应的血流速度场，计算时视血流为牛顿流体并令其充分发展。
在步骤B中，对超声图像和速度场执行同步的随机旋转、翻转和裁剪以增强数据。
步骤C中所述的构建多模态融合分割框架分割超声图像，其具体步骤如下：
C1.建立基于多模态融合的颈动脉斑块分割框架，包括基于血流速度场的层次级特征融合模块、多尺度上下文信息提取模块和带偏向的上采样模块；
C2.对C1所述的颈动脉斑块分割框架输入超声图像和血流速度场，依次通过层次级特征融合模块、多尺度上下文信息提取模块和带偏向的上采样模块输出超声图像的斑块分割结果。
步骤C1中的具体建模步骤：
C11.分层特征融合模块是一个实现网络层次级融合的特征融合模块，它接受超声图像和对应速度场作为输入，输出特征融合后的中间特征图；分层特征融合模块使用DenseNet模型作为特征提取器，使用神经判别降维与混合学习的特征融合机制来实现层次级的特征融合；其中神经判别降维由两个特征图的拼接再经过1×1卷积实现，它的运算过程定义如下：
其中，Fl为中间层l按张量排列的输出特征图，A为主要任务，B为辅助任务，W是每个任务要学习的矩阵变换，由2个1×1卷积实现；混合学习则是各层次的输出的凸组合，可以针对同一模态的不同层次实现特征融合，它的运算过程定义如下：
其中，可学习参数α控制每层的输出用于预测的比重，
分别为四个密集块D1-4和最后一个神经判别降维层N4的输出，MixtureA为主要任务A的混合学习的输出，辅助任务的混合学习输出MixtureB也被以同样的方式计算。
C12.多尺度上下文提取模块基于DeepLabV3+方法实现，实现对编码器-解码器结构和空洞空间池化金字塔的结合，其中编码器-解码器结构能够通过逐步恢复空间信息来捕获更清晰的对象边界；空洞空间池化金字塔能够编码多尺度的上下文信息；空洞空间池化金字塔中采用了空洞分离卷积来简化计算，提升计算效率，这一过程公式如下：
其中，y是输出的特征映射，i是空间上的某个坐标，w标识一个卷积滤波器，x标识输入特征，r表示采样输入信号时所用的步幅，即空洞率。
C13.带偏向的上采样模块从超声图像的低层次特征图提取精细特征，以所述多尺度上下文提取模块的输出作为粗特征，并在选定的重计算点上组合拼接精细特征与粗特征来构造逐点特征，基于逐点特征使用多层感知机来为点重新分类，点的选取策略为优先选取分类概率最接近0.5的256个点，这些点通常位于分割结果的分类边界即斑块边缘上。
本发明的有益效果：
1.传统的颈动脉超声斑块方法，分割结果敏感于超声影像中不规则的噪声和斑块的多变形状，因此存在着明显的性能瓶颈。新提出的基于流体速度场的颈动脉斑块分割方法通过引入计算流体力学模拟的速度场，以及结合层次级特征融合、多尺度上下文信息提取、带偏向的上采样等深度学习技术的方式，解决上述的性能瓶颈问题，并且进一步提高颈动脉超声斑块的分割精度。
2.该方法引入计算流体力学模拟的血流速度场，以利用含在速度场中的潜在有效先验知识帮助精确定位斑块。
3.该方法使用带偏向的上采样策略替代了传统的双线性插值上采样方法，以优化分割结果的边缘细节。
附图说明
图1是超声斑块图片的两个示例。
图2展示了计算流体力学模拟的血流速度场和对应的超声图像的一组示例。可视化后的速度场的颜色表示其速度，具体数值参照图例左侧的速度颜色映射图，数值越大速度越大。
图3是本发明的基于速度场的颈动脉斑块分割框架的整体架构。
图4是图3中分层特征融合模块的原理示意图。
图5是图6的分层特征融合模块的模型详细配置。
图6是图3中多尺度上下文提取模块的原理示意图。
图7是图3中带偏向的上采样模块的原理示意图。
图8解释了来自斑块定位的挑战，图中传统卷积神经网络模型错误地将超声图像中的不规则强度分布误识别为斑块。图例取自收敛后的U-Net模型的分割结果，图中黑色轮廓圈为真实的斑块标签，白色轮廓圈为模型识别的斑块。
图9展示了颈动脉超声数据集中的斑块大小尺度变化问题。图为两个带斑块的颈动脉超声图像样本，其中斑块被描出(斑块1用黑线标识，斑块2用白线圈出)，可以发现，斑块的大小、形状差异很大。
图10列出了在分层特征融合模块中以选用的多模态融合策略为变量的对照实验的性能对比情况。
图11列出了在多尺度上下文提取模块中以选用的分类器为变量的对照实验的性能对比情况。
图12列出了在带偏向的上采样模块中以选用的上采样策略为变量的对照实验的性能对比情况。
图13列出了使用不同数据集时的斑块分割性能。
图14展示了图13的实验使用的三种模态的数据，分别是颈动脉超声图像、血管壁轮廓图像和血流速度场图像。
图15列出了本发明的基于多模态融合的颈动脉斑块分割框架与十四种主流斑块分割方法的性能对比情况。
具体实施方式
以下结合附图对本发明的优选实施例进一步详细说明。
本实施例中，运行实验的服务器具体配置如下：CPU为Intel Xeon Gold 5218，显卡为两块Nvidia RTX 2080Ti GPU，內存为64GB。在建立模型方面，本多模态融合分割框架和对比模型均基于开源的深度学习工具PyTorch1.7.0实现。在实验设置方面，实验选择AdamW作为优化算法，批大小设置为8，初始学习率设置为0.0005，权重衰减因子为0.3，设为400，每80个迭代次数学习率降低为之前的1/2。在损失函数方面，对带偏向的上采样时的逐点预测采用带L2正则化惩罚的交叉熵损失函数，其余均采用Dice损失函数。在性能评估方面，实验通过Dice系数，Jaccard系数，阳性预测值(Positive Predicted Value,PPV)，敏感性(Sensitivity)和假阴性比率(False Negative Rate,FNR)等性能参数来评估方法的分割性能。Dice系数，Jaccard系数，阳性预测值、敏感性等性能指标越大，代表方法的分割效果越好，而假阴性比率则相反。
本实施例使用的数据集采集自上海交通大学附属仁济医院，使用了来自146位患者的156个斑块的302张超声图像和对应的速度场。其中图像类型的标签包括内膜增厚(Intimal Thickening,IT)，弱回声(Weak Echo,WE)，混合回声(Hybrid Echo,HE)和强回声(Strong Echo,SE)，相应的图像数目分别为30、266、223和240，因此数据集已覆盖了不同种类的斑块(内膜增厚不属于斑块，只是临近形成斑块)。数据集的分割标签由经验丰富的专业医生手工描绘。其中超声图像的示例如图1所示，对应速度场的示例如图2所示。
本发明的引入计算流体力学模拟的速度场来辅助颈动脉斑块分割的多模态融合分割框架，如图3-图7所示，包含以下步骤：
A.生成血流速度场：基于专业医师手工描绘出的血管壁轮廓，利用SIMPLE算法生成与超声图像对应的血流速度场。具体步骤包括：
A1、对应的速度场通过超声图描绘出的血管壁轮廓，将超声数据中的颈总动脉最大速度作为入口速度，出口则采用17332pa恒压出口，视血流为牛顿流体，其密度设为1060kg/m3，粘度设为0.00345pa/s，令流体充分发展流动，采用SIMPLE算法求解(该算法是求解纳维尔－斯托克斯方程的一种常见的压力-速度耦合算法)，这一过程首先假定初始压力场分布，然后利用压力场得到速度场，再利用速度场和连续性方程修正压力场，最后残差判断收敛，收敛后即可得到速度场。
B.数据预处理：标准化超声图像和速度场，并执行同步的随机旋转、翻转和裁剪的数据增强策略。具体步骤包括：
B1、原始的超声图像是单通道的灰度图像，速度场是RGB三通道的彩色图像，且两者的分辨率有差异，这会阻碍两者进行平衡的特征融合。所以在将其进行多模态融合之前，本发明对超声图像和速度场图像进行了均值为[0.5,0.5,0.5]，方差为[0.5,0.5,0.5]的三通道均值标准化，并且统一调整分辨率为256x256。这一标准化过程不仅中心化了超声图像和速度场各自的数据分补，而且令两者的数据格式一致，使得两者的多模态融合更加充分有效。
B2、因为颈动脉超声斑块数据天然稀缺且不易获取，所以本发明对数据集进行了随机旋转、翻转和裁剪的数据增强策略，加速模型的训练过程。在数据增强时，对超声图像和对应速度场图像的增强策略是同步的，以保证两者一致的对应关系。
C.建立分割框架：结合层次级特征融合、多尺度上下文信息提取、带偏向的上采样等技术，建立基于多模态融合的颈动脉斑块分割框架。具体步骤包括：
C1、本多模态融合分割框架是一个端到端的颈动脉斑块分割框架，模型的输入是颈动脉斑块超声图像和对应的血流速度场，模型的输出是斑块的分割结果。这一架构把模型分为三个模块，即分层特征融合模块，多尺度上下文提取模块和带偏向的上采样模块。框架首先通过分层特征融合模块融合两者的高价值特征，借助蕴含在血流速度场中的先验知识约束斑块可能出现的位置，输出包含超声图像和对应速度场的共同高价值特征的中间特征图；然后多尺度上下文提取模块将中间特征图放入一个基于DeepLabV3+这一编码器-解码器结构算法实现的多尺度上下文信息提取器中，得到不敏感于尺度变化的解码器输出；最后带偏向的上采样模块使用添加了针对斑块边缘点的重计算的上采样策略替代传统的双线性插值上采样，以细化分割结果的斑块边缘。其中：
C11、分层特征融合模块是一个实现网络层次级融合的特征融合模块。它接受超声图像和对应速度场作为输入，输出特征融合后的中间特征图。分层特征融合模块使用DenseNet模型作为特征提取器，使用神经判别降维与混合学习的特征融合机制来实现层次级的特征融合，从而能够学习蕴含在血流速度场中的潜在有效先验知识(其先验知识包括生成血流速度场时对血管内壁的手工描绘、生成速度场时必须的血流速度信息和用于生成血流速度场的SIMPLE方法这三部分)，借助先验知识的约束来克服由超声图像中不规则分布的各类噪声导致的斑块定位的困难(如图8所示传统卷积神经网络模型经常错误地将超声图像中的不规则强度分布误识别为斑块)。图5展示了该分层特征融合模块的模型详细配置。其中神经判别降维由两个特征图的拼接再经过1×1卷积实现，可以针对不同模态的同层次实现特征融合，它的运算过程定义如下：
其中，Fl为中间层l的输出特征图(按张量排列)，A为主要任务，B为辅助任务，W是每个任务要学习的矩阵变换，由2个1×1卷积实现。混合学习则是各层次的输出的凸组合，可以针对同一模态的不同层次实现特征融合，它的运算过程定义如下：
其中，可学习参数α控制每层的输出用于预测的比重，
分别为四个密集块D1-4和最后一个神经判别降维层N4的输出，MixtureA为主要任务A的混合学习的输出，MixtureB也被以同样的方式计算。
C12、多尺度上下文提取模块针对图9所示的斑块大小尺度变化问题学习鲁棒于斑块大小形状变化的多尺度共享特征。这一模块基于DeepLabV3+方法实现，实现了对编码器-解码器结构和空洞空间池化金字塔的结合，其中编码器-解码器结构能够通过逐步恢复空间信息来捕获更清晰的对象边界；空洞空间池化金字塔能够编码多尺度的上下文信息。空洞空间池化金字塔中采用了空洞分离卷积来简化计算，提升计算效率，这一过程公式如下：
其中，y是输出的特征映射，i是空间上的某个坐标，w标识一个卷积滤波器，x标识输入特征，r表示采样输入信号时所用的步幅，即空洞率。
C13、带偏向的上采样模块基于PointRend思想实现了针对分割困难点或边缘点的重计算，从而帮助细化分割结果的斑块边缘。PointRend是一种针对像素分割中的过均匀采样现象的图像分割思想，基于迭代细分算法，在自适应选择的位置执行基于点的分割预测。具体来说，该模块从超声图像的低层次特征图提取精细特征，以上一多尺度上下文提取模块的输出作为粗特征，并在选定的重计算点上组合拼接精细特征与粗特征来构造逐点特征，基于逐点特征使用多层感知机来为点重新分类。点的选取策略为优先选取分类概率最接近0.5的256个点，这些点通常位于分割结果的分类边界(即斑块边缘)上。
参照图10，示出了在分层特征融合模块中以选用的多模态融合策略为变量的对照实验的性能对比情况。该实验的目的是验证对颈动脉超声和对应速度场两种模态数据的网络层次级融合策略的有效性，因此，除网络层次级融合策略之外，实验还有其他三种对比策略，包括输入级融合策略和三种决策级融合策略(基于拼接的、基于求和的和基于最值的)。上述的五种方法除了融合策略的变化之外，其他部分都使用相同的基线方法，其中主干网络使用DenseNet，分类器头部结构使用DeepLabV3，上采样策略使用双线性插值。实验结果表明，本实施例的网络层次级融合策略的分割性能要优于输入级融合和三种决策级融合策略。
参照图11，示出了在多尺度上下文提取模块中以选用的分类器为变量的对照实验的性能对比情况。该实验的目的是验证针对斑块的尺度变化问题而采用的多尺度上下文信息提取机制的有效性，因此，除本实验选取的基于的DeepLabV3+的分类器之外，实验还有其他六种参与对比的分类器，包括不关心尺度问题的FCN方法、使用空洞空间池化金字塔的DeepLabV3方法、使用编码器-解码器结构的四种U-Net方法(U-Net、U2-Net、U-Net++、U-Net+++)。上述的七种方法除了使用了不同的分类器头部结构之外，其他部分都使用相同的基线方法，其中主干网络使用DenseNet，融合策略使用网络层次级融合策略，上采样策略使用双线性插值。特别地，四种U-Net方法仅选用了U-Net的解码器部分，因为编码器-解码器结构中的编码器部分执行主干网络的职责，负责特征提取并将不同层次的特征传给解码器。实验结果表明，该模块采用的DeepLabV3+方法的分割性能要优于其分类器的性能。
参照图12，示出了在带偏向的上采样模块中以选用的上采样策略为变量的对照实验的性能对比情况。该实验的目的是验证采用的偏向于斑块超声图像的上采样策略的有效性，因此，除本实验使用的偏向于超声图像的精细特征的基于PointRend思想的边缘点重计算之外，实验还有其他四种参与对比的上采样策略，包括常规的双线性插值法、一种可学习的、低信息损失但无具体偏向的密集上采样卷积(Dense Upsampling Convolution,DUC)、偏向于速度场的精细特征的基于PointRend思想的边缘点重计算和偏向于融合后的精细特征的基于PointRend思想的边缘点重计算。实验结果表明，偏向于超声特征的基于PointRend的上采样策略性能要优于其他上采样策略。特别地，偏向于超声特征的基于PointRend的上采样策略优于偏向于速度场特征和偏向于融合后特征的基于PointRend的上采样策略，这说明了超声特征相比于速度场特征和两者融合后的特征保留了更多的斑块边缘细节。
参照图13，示出了使用不同数据集时的斑块分割性能。该实验的目的是检验引入的速度场信息的有效性，因此，除实施例使用的组合超声图像与对应血流速度场的数据集之外，实验还对比了四种数据集下的斑块分割性能，包括仅使用超声图像、仅使用血管壁轮廓、仅使用速度场等三类单模态数据的分割方法和使用超声图像与对应血管壁轮廓的多模态融合分割方法。其中，我们认为血流速度场包含的信息是血管壁轮廓的超集，因为它包含了血管壁轮廓、用于生成速度场的血流速度信息和具体生成速度场采用的SIMPLE方法等三类先验知识。图14展示了本实验使用的三种模态的数据的示例。实验结果表明，融合超声图像与对应速度场的分割方法性能最好，这优于融合超声图像与对应血管壁轮廓的分割方法，也优于任何一种单模态方法。这证明了引入的速度场信息确实有助于精确分割斑块。
参照图15，示出了本发明的基于多模态融合的颈动脉斑块分割框架与十四种主流斑块分割方法的性能对比情况。该实验的目的是检验提出的多模态融合架构的分割性能，因此，除本发明的方法之外，实验还对比了其他十四种主流斑块分割方法，包括U-Net、U2-Net、U-Net++、U-Net+++、R2U-Net、Attention U-Net、Dilated U-Net、SegNet、DeepMad等九种编码器-解码器方法(其中Dilated U-Net和DeepMad是最新的斑块分割研究，DeepMad仅取其实现分割的部分参与对比)、最常作为分割基准的FCN、DeepLabV3、DeepLabV3+方法(它们依照原论文的实现，以ResNet50为主干网络)和HyperDenseNet、IVDNet等两种多模态融合分割方法。上述的方法中，除了两种多模态融合分割方法以外，其他方法多模态融合实现统一为输入级融合。实验结果表明，本文提出的分割方法在各性能指标上均比主流的分割方法更优。
综上所述，本发明的引入计算流体力学模拟的速度场来辅助颈动脉斑块分割的多模态融合分割框架，通过引入计算流体力学模拟的速度场，以及结合层次级特征融合、多尺度上下文信息提取、带偏向的上采样等深度学习技术的方式，建立一种精度高的颈动脉斑块分割框架。该框架可以缓解超声影像中的噪声和斑块的多变的形状带来的分割困难，并且能够高效利用来自速度场的潜在有效信息，能被广泛用于各个位置、各种类型的颈动脉斑块分割。
本文结合说明书附图和具体实施例进行阐述只是用于帮助理解本发明的方法和核心思想。本发明所述的方法并不限于具体实施方式中所述的实施例，本领域技术人员依据本发明的方法和思想得出的其它实施方式，同样属于本发明的技术创新范围。本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种基于流体速度场的颈动脉斑块分割方法，其特征在于包括以下步骤：
A.基于计算流体力学方法为每一张超声图像生成对应的血流速度场；
B.对超声图像和速度场进行三通道均值标准化；
C.构建多模态融合分割框架分割超声图像。
2.根据权利要求1所述基于流体速度场的颈动脉斑块分割方法，其特征在于：所述步骤C的多模态融合分割框架包括三个模块，分别是层次级特征融合模块、多尺度上下文信息提取模块和带偏向的上采样模块。
3.根据权利要求2所述基于流体速度场的颈动脉斑块分割方法，其特征在于：步骤A中的基于计算流体力学方法为每一张超声图像生成对应的血流速度场，其具体步骤如下：
A1.基于超声图像中的血管壁轮廓，生成对应的二值化血管壁轮廓图；
A2.基于超声图像对应的血流速度信息和A1所述的二值化血管壁轮廓图，采用压力耦合方程组的半隐式算法生成与超声图像对应的血流速度场，计算时视血流为牛顿流体并令其充分发展。
4.根据权利要求3所述基于流体速度场的颈动脉斑块分割方法，其特征在于步骤C中所述的构建多模态融合分割框架分割超声图像，其具体步骤如下：
C1.建立基于流体速度场的颈动脉斑块分割方法，包括基于血流速度场的层次级特征融合模块、多尺度上下文信息提取模块和带偏向的上采样模块；
C2.对C1所述的颈动脉斑块分割框架输入超声图像和血流速度场，依次通过层次级特征融合模块、多尺度上下文信息提取模块和带偏向的上采样模块输出超声图像的斑块分割结果。
5.根据权利要求4所述基于流体速度场的颈动脉斑块分割方法，其特征在于：分层特征融合模块是一个实现网络层次级融合的特征融合模块，它接受超声图像和对应速度场作为输入，输出特征融合后的中间特征图；分层特征融合模块使用DenseNet模型作为特征提取器，使用神经判别降维与混合学习的特征融合机制来实现层次级的特征融合；其中神经判别降维由两个特征图的拼接再经过1×1卷积实现，它的运算过程定义如下：
其中，Fl为中间层l按张量排列的输出特征图，A为主要任务，B为辅助任务，W是每个任务要学习的矩阵变换，由2个1×1卷积实现；混合学习则是各层次的输出的凸组合，可以针对同一模态的不同层次实现特征融合，它的运算过程定义如下：
其中，可学习参数α控制每层的输出用于预测的比重，
分别为四个密集块D1-4和最后一个神经判别降维层N4的输出，MixtureA为主要任务A的混合学习的输出，辅助任务的混合学习输出MixtureB也被以同样的方式计算。
6.根据权利要求5所述基于流体速度场的颈动脉斑块分割方法，其特征在于：多尺度上下文提取模块基于DeepLabV3+方法实现，实现对编码器-解码器结构和空洞空间池化金字塔的结合，其中编码器-解码器结构能够通过逐步恢复空间信息来捕获更清晰的对象边界；空洞空间池化金字塔能够编码多尺度的上下文信息；空洞空间池化金字塔中采用了空洞分离卷积来简化计算，提升计算效率，这一过程公式如下：
其中，y是输出的特征映射，i是空间上的某个坐标，w标识一个卷积滤波器，x标识输入特征，r表示采样输入信号时所用的步幅，即空洞率。
7.根据权利要求6所述基于流体速度场的颈动脉斑块分割方法，其特征在于：带偏向的上采样模块从超声图像的低层次特征图提取精细特征，以所述多尺度上下文提取模块的输出作为粗特征，并在选定的重计算点上组合拼接精细特征与粗特征来构造逐点特征，基于逐点特征使用多层感知机来为点重新分类。
8.根据权利要求7所述基于流体速度场的颈动脉斑块分割方法，其特征在于：选定的重计算点的选取策略为优先选取分类概率最接近0.5的256个点，这些点通常位于分割结果的分类边界即斑块边缘上。
9.根据权利要求1-8任一项所述基于流体速度场的颈动脉斑块分割方法，其特征在于：在步骤B中，对超声图像和速度场执行同步的随机旋转、翻转和裁剪以增强数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110593922.8A CN113362360B (zh) | 2021-05-28 | 2021-05-28 | 基于流体速度场的超声颈动脉斑块分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110593922.8A CN113362360B (zh) | 2021-05-28 | 2021-05-28 | 基于流体速度场的超声颈动脉斑块分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113362360A true CN113362360A (zh) | 2021-09-07 |
| CN113362360B CN113362360B (zh) | 2022-08-30 |
Family
ID=77528146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110593922.8A Active CN113362360B (zh) | 2021-05-28 | 2021-05-28 | 基于流体速度场的超声颈动脉斑块分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113362360B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113947593A (zh) * | 2021-11-03 | 2022-01-18 | 北京航空航天大学 | 颈动脉超声图像中易损斑块的分割方法和装置 |
| CN114052794A (zh) * | 2021-10-13 | 2022-02-18 | 山东大学 | 一种基于多模态信息的颈动脉超声报告生成系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102800087A (zh) * | 2012-06-28 | 2012-11-28 | 华中科技大学 | 超声颈动脉血管膜的自动分割方法 |
| US20120316442A1 (en) * | 2010-04-02 | 2012-12-13 | Atheropoint Llc | Hypothesis Validation of Far Wall Brightness in Arterial Ultrasound |
| US20180064421A1 (en) * | 2016-09-08 | 2018-03-08 | B-K Medical Aps | Wall-to-Wall Vessel Segmentation in US Imaging Using a Combination of VFI Data and US Imaging Data |
| CN107847214A (zh) * | 2015-08-04 | 2018-03-27 | 深圳迈瑞生物医疗电子股份有限公司 | 三维超声流体成像方法及系统 |
| CN108268870A (zh) * | 2018-01-29 | 2018-07-10 | 重庆理工大学 | 基于对抗学习的多尺度特征融合超声图像语义分割方法 |
| US10249048B1 (en) * | 2017-11-15 | 2019-04-02 | Beijing Curacloud Technology Co., Ltd. | Method and system for predicting blood flow features based on medical images |
| CN110136157A (zh) * | 2019-04-09 | 2019-08-16 | 华中科技大学 | 一种基于深度学习的三维颈动脉超声图像血管壁分割方法 |
| CN111833321A (zh) * | 2020-07-07 | 2020-10-27 | 杭州电子科技大学 | 一种调窗优化增强的颅内出血检测模型及其构建方法 |
| CN112381097A (zh) * | 2020-11-16 | 2021-02-19 | 西南石油大学 | 一种基于深度学习的场景语义分割方法 |
-
2021
- 2021-05-28 CN CN202110593922.8A patent/CN113362360B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120316442A1 (en) * | 2010-04-02 | 2012-12-13 | Atheropoint Llc | Hypothesis Validation of Far Wall Brightness in Arterial Ultrasound |
| CN102800087A (zh) * | 2012-06-28 | 2012-11-28 | 华中科技大学 | 超声颈动脉血管膜的自动分割方法 |
| CN107847214A (zh) * | 2015-08-04 | 2018-03-27 | 深圳迈瑞生物医疗电子股份有限公司 | 三维超声流体成像方法及系统 |
| US20180064421A1 (en) * | 2016-09-08 | 2018-03-08 | B-K Medical Aps | Wall-to-Wall Vessel Segmentation in US Imaging Using a Combination of VFI Data and US Imaging Data |
| US10249048B1 (en) * | 2017-11-15 | 2019-04-02 | Beijing Curacloud Technology Co., Ltd. | Method and system for predicting blood flow features based on medical images |
| CN108268870A (zh) * | 2018-01-29 | 2018-07-10 | 重庆理工大学 | 基于对抗学习的多尺度特征融合超声图像语义分割方法 |
| CN110136157A (zh) * | 2019-04-09 | 2019-08-16 | 华中科技大学 | 一种基于深度学习的三维颈动脉超声图像血管壁分割方法 |
| CN111833321A (zh) * | 2020-07-07 | 2020-10-27 | 杭州电子科技大学 | 一种调窗优化增强的颅内出血检测模型及其构建方法 |
| CN112381097A (zh) * | 2020-11-16 | 2021-02-19 | 西南石油大学 | 一种基于深度学习的场景语义分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| HUAYU SHEN ET AL.: "NDDR-LCS: A Multi-Task Learning Method for Classification of Carotid Plaques", 《2020 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 * |
| 张婕 等: "基于深度学习的颈动脉粥样硬化斑块成分识别", 《成都信息工程大学学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114052794A (zh) * | 2021-10-13 | 2022-02-18 | 山东大学 | 一种基于多模态信息的颈动脉超声报告生成系统 |
| CN114052794B (zh) * | 2021-10-13 | 2022-09-13 | 山东大学 | 一种基于多模态信息的颈动脉超声报告生成系统 |
| CN113947593A (zh) * | 2021-11-03 | 2022-01-18 | 北京航空航天大学 | 颈动脉超声图像中易损斑块的分割方法和装置 |
| CN113947593B (zh) * | 2021-11-03 | 2024-05-14 | 北京航空航天大学 | 颈动脉超声图像中易损斑块的分割方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113362360B (zh) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cai et al. | A review of the application of deep learning in medical image classification and segmentation | |
| Almotiri et al. | Retinal vessels segmentation techniques and algorithms: a survey | |
| Khan et al. | Deep neural architectures for medical image semantic segmentation | |
| CN107767378B (zh) | 基于深度神经网络的gbm多模态磁共振图像分割方法 | |
| CN110706246B (zh) | 一种血管图像分割方法、装置、电子设备和存储介质 | |
| CN110889852B (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
| Chi et al. | X-Net: Multi-branch UNet-like network for liver and tumor segmentation from 3D abdominal CT scans | |
| US6813373B1 (en) | Image segmentation of embedded shapes using constrained morphing | |
| CN106682435A (zh) | 一种多模型融合自动检测医学图像中病变的系统及方法 | |
| Pang et al. | Automatic lung segmentation based on texture and deep features of HRCT images with interstitial lung disease | |
| Ye et al. | Automatic graph cut segmentation of lesions in CT using mean shift superpixels | |
| CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| CN108764342B (zh) | 一种对于眼底图中视盘和视杯的语义分割方法 | |
| CN113362360B (zh) | 基于流体速度场的超声颈动脉斑块分割方法 | |
| CN115170582A (zh) | 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法 | |
| CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
| CN115063425B (zh) | 基于读片知识图谱的结构化检查所见生成方法及系统 | |
| Osadebey et al. | Three-stage segmentation of lung region from CT images using deep neural networks | |
| US20170098311A1 (en) | Graph search using non-euclidean deformed graph | |
| CN113160120A (zh) | 基于多模态融合与深度学习的肝脏血管分割方法及系统 | |
| CN115147640A (zh) | 一种基于改进胶囊网络的脑肿瘤图像分类方法 | |
| CN113902738A (zh) | 一种心脏mri分割方法及系统 | |
| CN114387282A (zh) | 一种医学影像器官精准自动分割方法及系统 | |
| CN117633558A (zh) | 基于视觉语言模型的多激励融合零样本病变检测方法 | |
| CN114119447A (zh) | 肺结节多属性分类模型的构建方法、系统、介质及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |