CN113947593B - 颈动脉超声图像中易损斑块的分割方法和装置 - Google Patents

颈动脉超声图像中易损斑块的分割方法和装置 Download PDF

Info

Publication number
CN113947593B
CN113947593B CN202111296274.6A CN202111296274A CN113947593B CN 113947593 B CN113947593 B CN 113947593B CN 202111296274 A CN202111296274 A CN 202111296274A CN 113947593 B CN113947593 B CN 113947593B
Authority
CN
China
Prior art keywords
unit
contour
convolution
plaque
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111296274.6A
Other languages
English (en)
Other versions
CN113947593A (zh
Inventor
张冀聪
袁延超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202111296274.6A priority Critical patent/CN113947593B/zh
Publication of CN113947593A publication Critical patent/CN113947593A/zh
Application granted granted Critical
Publication of CN113947593B publication Critical patent/CN113947593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

提供一种颈动脉超声图像中易损斑块的分割方法和装置，该装置包括：血管裁剪数据增强模块；阶梯‑金字塔扩张卷积‑通道注意力网络模块；混合损失函数模块；颈动脉超声图像输入单元；以及最大轮廓后处理单元，用于对所述初始斑块轮廓图像进行精细分割，找到所述初始斑块轮廓图像中所有的类似轮廓，选择面积最大的第一类似轮廓和第二类似轮廓，当第二类似轮廓的面积*3大于第一类似轮廓的面积时，将所述第一类似轮廓和第二类似轮廓作为最终的斑块轮廓分割结果。该装置和方法解决了小样本颈动脉超声图像斑块噪声大难以分割的问题。

Description

颈动脉超声图像中易损斑块的分割方法和装置
技术领域
本发明涉及一种颈动脉超声图像中易损斑块的分割方法和装置，属于生物医学领域。
背景技术
颈动脉粥样硬化与卒中等心血管疾病密切相关，其可在颈内动脉壁累积形成斑块，斑块在某种情况下破裂形成血栓，可能阻塞狭窄的大脑血管，导致中风或者阻塞心脏血管导致冠心病。超声成像技术广泛应用在颈动脉粥样硬化检查，临床医生采用手动分割识别斑块轮廓成分等，然而其耗时耗力。
由于超声影像斑点噪声、伪影、声影干扰大，特别是易损斑块边界难以鉴别，斑块间和斑块内异质性强；不同医生的水平不同以及同一个医生自身的测量误差都会影响诊断结果。自动分割检测颈动脉粥样硬化对于辅助医生检查，消除不同水平医生差异性，从而节省医生时间，避免出错，提升效率意义重大。
传统的基于Snake主动轮廓模型的半自动方法，或者知识驱动的全自动方法分割斑块存在一些问题，其需要复杂的处理流程并且对于新的数据需要调节参数。
鉴于上述，本发明旨在提供一种颈动脉超声图像中易损斑块的分割方法和装置，来解决上述的一个或多个技术问题。
发明内容
为了解决现有技术中的一个或多个技术问题，申请人经过长期研究，提出了阶梯-金字塔扩张卷积-通道注意力网络，结合血管裁剪数据增强以及最大轮廓后处理，实现了颈动脉超声图像中易损斑块的高效、精确分割。基于该研究成果，根据本发明一方面，提供一种颈动脉超声图像中易损斑块的分割装置，其特征在于包括：
血管裁剪数据增强模块，用于对数据集中的颈动脉超声图像的血管进行裁剪获得血管裁剪图像数据，并对血管裁剪图像数据进行垂直翻转获得增强的血管裁剪图像数据；
阶梯-金字塔扩张卷积-通道注意力网络模块，包括：依次连接的第一1*1卷积单元、第一至第六分辨率语义尺度单元、第一金字塔扩展卷积单元、以及五层2*2升采样单元；第二金字塔扩展卷积单元，与第五分辨率语义尺度单元连接；四层2*2升采样单元，与第二金字塔扩展卷积单元连接；第三金字塔扩展卷积单元，与第四分辨率语义尺度单元连接；三层2*2升采样单元，与第三金字塔扩展卷积单元连接；拼接单元，连接所述五层2*2升采样单元、四层2*2升采样单元和三层2*2升采样单元；压缩激活网络单元，与所述拼接单元连接；以及第二1*1卷积单元，与所述压缩激活网络单元连接；
混合损失函数模块，与第二1*1卷积单元和图像标签单元连接，用于对阶梯-金字塔扩张卷积-通道注意力网络模块进行参数优化；
颈动脉超声图像输入单元，与所述阶梯-金字塔扩张卷积-通道注意力网络模块连接，所述阶梯-金字塔扩张卷积-通道注意力网络模块对输入的颈动脉超声图像进行分割获得初始斑块轮廓图像；以及
最大轮廓后处理单元，用于对所述初始斑块轮廓图像进行精细分割，找到所述初始斑块轮廓图像中所有的类似轮廓，选择面积最大的第一类似轮廓和第二类似轮廓，当第二类似轮廓的面积*3大于第一类似轮廓的面积时，将所述第一类似轮廓和第二类似轮廓作为最终的斑块轮廓分割结果。
其中，所述增强的血管裁剪图像数据用于输入第一1*1卷积单元以训练所述阶梯-金字塔扩张卷积-通道注意力网络模块；所述压缩激活网络单元包括依次连接的全局平均池化单元、第一全连接层单元、ReLU单元、第二全连接层单元、Sigmoid激活函数单元、以及乘法单元，所述乘法单元用于将Sigmoid激活函数单元输出的每个特征图激活值与输入所述全局平均池化单元的原始特征图相乘。
根据本发明又一方面，所述的颈动脉超声图像中易损斑块的分割装置还包括通用数据增强模块，用于对数据集中的颈动脉超声图像分别进行水平翻转、垂直翻转、180度旋转、正30度旋转、以及负30度旋转作为通用增强数据，所述通用增强数据用于输入第一1*1卷积单元以训练所述阶梯-金字塔扩张卷积-通道注意力网络模块；所述第一至第六分辨率语义尺度单元均包括两组的3*3卷积单元、批归一化单元和ReLU单元、以及一个池化单元。
根据本发明又一方面，当第二类似轮廓的面积*3小于等于第一类似轮廓的面积时，所述最大轮廓后处理单元将所述第一类似轮廓作为最终的斑块轮廓分割结果。
根据本发明又一方面，当所述初始斑块轮廓图像中只有一个类似轮廓时，所述最大轮廓后处理单元将该一个类似轮廓作为最终的斑块轮廓分割结果。
根据本发明又一方面，所述第一至第三金字塔扩展卷积单元均包括三个不同扩张率组合卷积1,2,3的3×3卷积核、以及扩张率为1，2，3的3×3卷积核级联组成的卷积。
根据本发明又一方面，还提供了一种颈动脉超声图像中易损斑块的分割方法，其特征在于包括以下步骤：
对数据集中的颈动脉超声图像的血管进行裁剪获得血管裁剪数据，并对血管裁剪图像数据进行垂直翻转获得增强的血管裁剪图像数据；
将所述增强的血管裁剪图像数据输入阶梯-金字塔扩张卷积-通道注意力网络模块进行训练，所述阶梯-金字塔扩张卷积-通道注意力网络模块进行训练包括：依次连接的第一1*1卷积单元、第一至第六分辨率语义尺度单元、第一金字塔扩展卷积单元、以及五层2*2升采样单元；第二金字塔扩展卷积单元，与第五分辨率语义尺度单元连接；四层2*2升采样单元，与第二金字塔扩展卷积单元连接；第三金字塔扩展卷积单元，与第四分辨率语义尺度单元连接；三层2*2升采样单元，与第三金字塔扩展卷积单元连接；拼接单元，连接所述五层2*2升采样单元、四层2*2升采样单元和三层2*2升采样单元；压缩激活网络单元，与所述拼接单元连接；以及第二1*1卷积单元，与所述压缩激活网络单元连接；其中，所述压缩激活网络单元包括依次连接的全局平均池化单元、第一全连接层单元、ReLU单元、第二全连接层单元、Sigmoid激活函数单元、以及乘法单元，所述乘法单元用于将Sigmoid激活函数单元输出的每个特征图激活值与输入所述全局平均池化单元的原始特征图相乘；
通过混合损失函数模块对阶梯-金字塔扩张卷积-通道注意力网络模块进行参数优化，所述混合损失函数模块与第二1*1卷积单元和图像标签单元连接；
输入颈动脉超声图像至训练后的所述阶梯-金字塔扩张卷积-通道注意力网络模块，对输入的颈动脉超声图像进行分割获得初始斑块轮廓图像；
对所述初始斑块轮廓图像进行精细分割，找到所述初始斑块轮廓图像中所有的类似轮廓，选择面积最大的第一类似轮廓和第二类似轮廓，当第二类似轮廓的面积*3大于第一类似轮廓的面积时，将所述第一类似轮廓和第二类似轮廓作为最终的斑块轮廓分割结果。
根据本发明又一方面，所述第一至第六分辨率语义尺度单元均包括两组的3*3卷积单元、批归一化单元和ReLU单元、以及一个池化单元。
根据本发明又一方面，当第二类似轮廓的面积*3小于等于第一类似轮廓的面积时，所述最大轮廓后处理单元将所述第一类似轮廓作为最终的斑块轮廓分割结果。
根据本发明又一方面，当所述初始斑块轮廓图像中只有一个类似轮廓时，所述最大轮廓后处理单元将该一个类似轮廓作为最终的斑块轮廓分割结果。
根据本发明又一方面，所述第一至第三金字塔扩展卷积单元均包括三个不同扩张率组合卷积1,2,3的3×3卷积核、以及扩张率为1，2，3的3×3卷积核级联组成的卷积。
与现有技术相比，本发明具有以下一个或多个技术效果：
(1)创造性地提出了阶梯-金字塔扩张卷积-通道注意力网络，实现了颈动脉超声图像中易损斑块的高效、精确分割。
(2)血管裁剪数据增强模块解决了小样本的数据样本少的问题，避免了过拟合，增强了泛化能力。
(3)对于阶梯-金字塔扩张卷积-通道注意力网络分割完的斑块会有一些噪声，采用最大轮廓后处理进行精细分割，提高了分割精度。
附图说明
为了能够理解本发明的上述特征的细节，可以参照实施例，得到对于简要概括于上的发明更详细的描述。附图涉及本发明的优选实施例，并描述如下：
图1为根据本发明一种优选实施例的颈动脉超声图像中易损斑块的分割方法示意图；
图2为根据本发明一种优选实施例的阶梯-金字塔扩张卷积-通道注意力网络模块示意图；
图3为根据本发明一种优选实施例的金字塔扩展卷积单元示意图。
图4为根据本发明一种优选实施例的压缩激活网络单元示意图。
具体实施例
现在将对于各种实施例进行详细说明，这些实施例的一个或更多个实例分别绘示于图中。各个实例以解释的方式来提供，而非意味作为限制。例如，作为一个实施例的一部分而被绘示或描述的特征，能够被使用于或结合任一其他实施例，以产生再一实施例。本发明意在包含这类修改和变化。
在以下对于附图的描述中，相同的参考标记指示相同或类似的结构。一般来说，只会对于个别实施例的不同之处进行描述。除非另有明确指明，否则对于一个实施例中的部分或方面的描述也能够应用到另一实施例中的对应部分或方面。
实施例1
根据本发明一种优选实施方式，参见图1-4，提供一种颈动脉超声图像中易损斑块的分割装置，其特征在于包括：
血管裁剪数据增强模块，用于对数据集中的颈动脉超声图像的血管进行裁剪获得血管裁剪图像数据，并对血管裁剪图像数据进行垂直翻转获得增强的血管裁剪图像数据；
阶梯-金字塔扩张卷积-通道注意力网络模块，包括：依次连接的第一1*1卷积单元、第一至第六分辨率语义尺度单元、第一金字塔扩展卷积单元、以及五层2*2升采样单元；第二金字塔扩展卷积单元，与第五分辨率语义尺度单元连接；四层2*2升采样单元，与第二金字塔扩展卷积单元连接；第三金字塔扩展卷积单元，与第四分辨率语义尺度单元连接；三层2*2升采样单元，与第三金字塔扩展卷积单元连接；拼接单元，连接所述五层2*2升采样单元、四层2*2升采样单元和三层2*2升采样单元；压缩激活网络单元，与所述拼接单元连接；以及第二1*1卷积单元，与所述压缩激活网络单元连接；
混合损失函数模块，与第二1*1卷积单元和图像标签单元连接，用于对阶梯-金字塔扩张卷积-通道注意力网络模块进行参数优化；
颈动脉超声图像输入单元，与所述阶梯-金字塔扩张卷积-通道注意力网络模块连接，所述阶梯-金字塔扩张卷积-通道注意力网络模块对输入的颈动脉超声图像进行分割获得初始斑块轮廓图像；以及
最大轮廓后处理单元，用于对所述初始斑块轮廓图像进行精细分割，找到所述初始斑块轮廓图像中所有的类似轮廓，选择面积最大的第一类似轮廓和第二类似轮廓，当第二类似轮廓的面积*3大于第一类似轮廓的面积时，将所述第一类似轮廓和第二类似轮廓作为最终的斑块轮廓分割结果。
其中所述增强的血管裁剪图像数据用于输入第一1*1卷积单元以训练所述阶梯-金字塔扩张卷积-通道注意力网络模块；所述压缩激活网络单元包括依次连接的全局平均池化单元、第一全连接层单元、ReLU单元、第二全连接层单元、Sigmoid激活函数单元、以及乘法单元，所述乘法单元用于将Sigmoid激活函数单元输出的每个特征图激活值与输入所述全局平均池化单元的原始特征图相乘。
优选地，图像标签单元中的图像标签是斑块的实际形状，由医生手动标注。
根据本发明又一优选实施方式，所述的颈动脉超声图像中易损斑块的分割装置还包括通用数据增强模块，用于对数据集中的颈动脉超声图像分别进行水平翻转、垂直翻转、180度旋转、正30度旋转、以及负30度旋转作为通用增强数据，所述通用增强数据用于输入第一1*1卷积单元以训练所述阶梯-金字塔扩张卷积-通道注意力网络模块。优选地，所述第一至第六分辨率语义尺度单元均包括两组的3*3卷积单元、批归一化单元和ReLU单元、以及一个池化单元。
根据本发明又一优选实施方式，当第二类似轮廓的面积*3小于等于第一类似轮廓的面积时，所述最大轮廓后处理单元将所述第一类似轮廓作为最终的斑块轮廓分割结果。
根据本发明又一优选实施方式，当所述初始斑块轮廓图像中只有一个类似轮廓时，所述最大轮廓后处理单元将该一个类似轮廓作为最终的斑块轮廓分割结果。
根据本发明又一优选实施方式，所述第一至第三金字塔扩展卷积单元均包括三个不同扩张率组合卷积1,2,3的3×3卷积核、以及扩张率为1，2，3的3×3卷积核级联组成的卷积。
根据本发明又一优选实施方式，还提供了一种颈动脉超声图像中易损斑块的分割方法，其特征在于包括以下步骤：
对数据集中的颈动脉超声图像的血管进行裁剪获得血管裁剪数据，并对血管裁剪图像数据进行垂直翻转获得增强的血管裁剪图像数据；
将所述增强的血管裁剪图像数据输入阶梯-金字塔扩张卷积-通道注意力网络模块进行训练，所述阶梯-金字塔扩张卷积-通道注意力网络模块进行训练包括：依次连接的第一1*1卷积单元、第一至第六分辨率语义尺度单元、第一金字塔扩展卷积单元、以及五层2*2升采样单元；第二金字塔扩展卷积单元，与第五分辨率语义尺度单元连接；四层2*2升采样单元，与第二金字塔扩展卷积单元连接；第三金字塔扩展卷积单元，与第四分辨率语义尺度单元连接；三层2*2升采样单元，与第三金字塔扩展卷积单元连接；拼接单元，连接所述五层2*2升采样单元、四层2*2升采样单元和三层2*2升采样单元；压缩激活网络单元，与所述拼接单元连接；以及第二1*1卷积单元，与所述压缩激活网络单元连接；其中，所述压缩激活网络单元包括依次连接的全局平均池化单元、第一全连接层单元、ReLU单元、第二全连接层单元、Sigmoid激活函数单元、以及乘法单元，所述乘法单元用于将Sigmoid激活函数单元输出的每个特征图激活值与输入所述全局平均池化单元的原始特征图相乘；
通过混合损失函数模块对阶梯-金字塔扩张卷积-通道注意力网络模块进行参数优化，所述混合损失函数模块与第二1*1卷积单元和图像标签单元连接；
输入颈动脉超声图像至训练后的所述阶梯-金字塔扩张卷积-通道注意力网络模块，对输入的颈动脉超声图像进行分割获得初始斑块轮廓图像；
对所述初始斑块轮廓图像进行精细分割，找到所述初始斑块轮廓图像中所有的类似轮廓，选择面积最大的第一类似轮廓和第二类似轮廓，当第二类似轮廓的面积*3大于第一类似轮廓的面积时，将所述第一类似轮廓和第二类似轮廓作为最终的斑块轮廓分割结果。
根据本发明又一优选实施方式，所述第一至第六分辨率语义尺度单元均包括两组的3*3卷积单元、批归一化单元和ReLU单元、以及一个池化单元。优选地，对数据集中的颈动脉超声图像分别进行水平翻转、垂直翻转、180度旋转、正30度旋转、以及负30度旋转作为通用增强数据，将所述通用增强数据输入第一1*1卷积单元以训练所述阶梯-金字塔扩张卷积-通道注意力网络模块。
根据本发明又一优选实施方式，当第二类似轮廓的面积*3小于等于第一类似轮廓的面积时，所述最大轮廓后处理单元将所述第一类似轮廓作为最终的斑块轮廓分割结果。
根据本发明又一优选实施方式，当所述初始斑块轮廓图像中只有一个类似轮廓时，所述最大轮廓后处理单元将该一个类似轮廓作为最终的斑块轮廓分割结果。
根据本发明又一优选实施方式，所述第一至第三金字塔扩展卷积单元均包括三个不同扩张率组合卷积1,2,3的3×3卷积核、以及扩张率为1，2，3的3×3卷积核级联组成的卷积。
根据本发明又一优选实施方式，还提供了一种颈动脉超声图像中易损斑块的分割方法，包括以下步骤：
(1)对于尺寸为N*M的二维超声图像，阶梯-金字塔扩张卷积-通道注意力网络模块首先经过卷积降采样编码，分为六层不同分辨率语义尺度，每层之间分辨率相差两倍，解码结构在最高三层的高层语义层独立升采样融合形成阶梯状结构。
(2)编码结构的最后三个高尺度层包含斑块的不同语义信息，各自加入混合金字塔扩张卷积组合增加感受野，充分获取关于斑块高尺度特征的上下文信息，其中混合金字塔扩张卷积包括三个不同扩张率组合卷积1,2,3的3×3卷积核，以及扩张率为1，2，3的3×3卷积核级联组成的卷积。
(3)解码结构最高层恢复到原始图像尺寸，并融合三层特征。通道注意力操作将校准这三层特征。其将所有特征图进行全局平均池化，并经过一个全连接层减少尺寸和ReLU激活，再经过一个全连接层恢复尺寸，最后经过Sigmoid激活得到每个特征图激活值并与原特征图相乘选择适合斑块的特征。
(4)损失函数为SSIM结构相似性和二进制交叉熵损混合失函数，并进行全局寻优。
(5)基于超声动脉血管区域裁剪数据增强方式，为了避免小样本过拟合，增强泛化能力。由于斑块只位于动脉血管内部，提出对原超声图基于血管裁剪数据增强方式，从而使网络能够识别血管边界更加专注于血管内部的斑块特征，提供一种正则化和位置注意力方式，其与原始样本比例为1:3。
(6)最大轮廓约束方法进行斑块后处理精细分割,获取CNN分割后检测所有斑块轮廓，选择第一最大轮廓或者第一与第二最大轮廓。
优选地，本发明数据集来源于某甲医院血管超声诊断科。随机选取30例(包括男女，平均年龄60岁以上)颈动脉重度(70-99％)狭窄患者，颈动脉超声检查由经验丰富的超声医师进行并判断这些斑块为易损斑块。原始数据为二维纵向超声类型，分辨率为1024×768。通过裁剪图像以删除个人标识符，并调整统一大小为512×320。标签是由两位经验丰富的医生使用ITK-SNAP软件完成，斑块轮廓画成一条闭合曲线，然后填充生成可训练的标签。
优选地，本发明的实施例中，血管裁剪数据增强模块，由于数据少，为了避免过拟合，增强泛化能力。由于斑块只存在动脉血管内部，为了使网络结构专注于斑块临近信息如伪影、声影等噪声鉴别，将原图根据血管区域裁剪，用ITK-SNAP标注软件绘制颈内或者颈总动脉轮廓线。从而使网络更加专注于血管内部的斑块特征，提供一种正则化和位置注意力方式。将30例图像裁剪完，再进行垂直旋转，增加到60张图。对原始图像进行水平垂直翻转，180度旋转，正30度旋转，负30度旋转。因此图像增加到180张。
优选地，本发明的实施例中，阶梯网络编码结构采用六不同分辨率语义尺度为基准,解码结构采用三层独立升采样融合，输入尺寸为H×W的三通道原始超声图像，H和W分别代表二维待分割斑块图像的高和宽。经过1*1卷积将特征图数量扩大为16层为L1；再经过五个特征图尺寸较少操作，其中特征图数量为32,32,64,96,128；尺寸分别为H/2×W/2(L2层)，H/4×W/4(L3层)，H/8×W/8(L4层)，H/16×W/16(L5层)，H/32×W/32(L6层)。
优选地，每个尺寸减少操作包含两个连续连接的3×3卷积，BN批归一化，ReLU提取特征，最后池化操作(/2)在每一维度尺寸减半从而提取高纬度特征。并在L4-L6层加上空间金字塔扩张卷积组合操作。
优选地，解码层为L4-L6层，L4层二倍双线性升采样，经过三次两倍升采样恢复到原尺寸大小；L5层二倍双线性升采样，经过四次两倍升采样恢复到原尺寸大小；L6二倍双线性升采样，经过五次两倍升采样恢复到原尺寸大小；最终将这三层融合形成F层，F层输入给通道注意力模块进行通道加权特征校准。
优选地，本发明的实施例中，在编码层最后三个高尺度层各自加入金字塔扩张卷积组合增加感受野，充分获取关于斑块高尺度特征的上下文信息。金字塔扩张卷积包含4个不同扩张卷积操作的拼接组合，分别是：扩张率为1，卷积核为3×3的卷积；扩张率为2，卷积核为3×3的卷积；扩张率为3，卷积核为3×3的卷积；三个不同扩张率1,2,和3级联组合形成的卷积核。金字塔扩张卷积扩张卷积在编码L4-L6层使用，可在这三个高尺度语义层挖掘不同的斑块语义特征。
优选地，本发明的实施例中，通道注意力模块对融合层F特征校准，将融合层F的特征图H×W×C对H×W维度进行全局平均池化压缩，得到尺寸为1*1*C的特征图，其中C为通道数。每一个二维特征图转换为一个数值，代表其包含的信息量。自适应校准将利用1*1*C特征图进行通道间信息依赖融合提取。并经过第一个全连接层减少尺寸，再通过ReLU激活，再经过第二个全连接层恢复到原图通道数，最后经过Sigmoid激活得到每个特征图激活值。将通道激活值并与原特征图相乘为通道注意力图，此操作可以选择加重关于斑块的合适通道信息，并抑制不相关通道噪声信息。
优选地，经过通道注意力的特征图通过1个1*1卷积，生成1个特征图为2的卷积层并经过softmax层进行one-hot像素二分类。其与标签进行计算损失函数反向传播优化。
优选地，本发明的实施例中，损失函数为SSIM(Structural Similarity IndexMeasure)结构相似性损失函数和二进制交叉熵损失函数crossentropy组合，SSIM结构相似性损失函数进行全局和二进制交叉熵损失函数局部约束。SSIM可以专注于图像纹理和亮度，公式如下所示：
L和P分别代表标签和预测值，μL，μP代表L和P的平均值；σ2 L和σ2 P代表L和P的方差。σLP为L和P的协方差。C1和C2为常数，取值分别为0.0001和0.0004，用来保持公式稳定性。SSIM损失函数如下所示：
SSIMloss＝1-SSIM(L,P)
二进制交叉熵公式如下：
crossentropy＝-[L*log(P)+(1-L)*log(1-P)]
总的损失函数如下所示：
Loss＝α*SSIMloss+β*crossentropy
α和β为超参数，控制着全局和局部约束的比重。
优选地，本发明的实施例中，最大轮廓约束方法进行斑块后处理精细分割，初始分割后斑块存在背景噪声等。由于斑块只存在动脉管腔内部，且一般存在于近端和远端，数量上最多为两个，根据此先验知识设计斑块分割后处理流程如下表1所示。
本发明的实施例中，采用十折交叉验证，并采用Dice,IOU,Accuracy,Hausdorffdistance为评价指标。由于数据只有30张，每一折采用3张用来验证，27张用来训练，取验证集Dice指标的最优结果保存。最后得到30张图像的结果，取平均值。
本发明的实施例中，采用深度学习框架Keras,训练数据采用的优化器为Adam,学习率为0.001，mini patch为3，训练EPOCH为100，混合损失函数中的α和β分别设置为0.7和0.3。
表1最大轮廓后处理
与现有技术相比，本发明具有以下一个或多个技术效果：
(1)创造性地提出了阶梯-金字塔扩张卷积-通道注意力网络，实现了颈动脉超声图像中易损斑块的高效、精确分割。
(2)血管裁剪数据增强模块解决了小样本的数据样本少的问题，避免了过拟合，增强了泛化能力。
(3)对于阶梯-金字塔扩张卷积-通道注意力网络分割完的斑块会有一些噪声，采用最大轮廓后处理进行精细分割，提高了分割精度。
虽然前述内容是关于本发明的实施例，但可在不背离本发明的基本范围的情况下，设计出本发明其他和更进一步的实施例，本发明的范围由权利要求书确定。
上述实施例仅为本发明的较佳实施例而已，并不用以限制本发明，这些实施例中不互相违背的技术特征可彼此结合。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种颈动脉超声图像中易损斑块的分割装置，其特征在于包括：
血管裁剪数据增强模块，用于对数据集中的颈动脉超声图像的血管进行裁剪获得血管裁剪图像数据，并对血管裁剪图像数据进行垂直翻转获得增强的血管裁剪图像数据；
阶梯-金字塔扩张卷积-通道注意力网络模块，包括：依次连接的第一1*1卷积单元、第一至第六分辨率语义尺度单元、第一金字塔扩展卷积单元、以及五层2*2升采样单元；第二金字塔扩展卷积单元，与第五分辨率语义尺度单元连接；四层2*2升采样单元，与第二金字塔扩展卷积单元连接；第三金字塔扩展卷积单元，与第四分辨率语义尺度单元连接；三层2*2升采样单元，与第三金字塔扩展卷积单元连接；拼接单元，连接所述五层2*2升采样单元、四层2*2升采样单元和三层2*2升采样单元；压缩激活网络单元，与所述拼接单元连接；以及第二1*1卷积单元，与所述压缩激活网络单元连接；
混合损失函数模块，与第二1*1卷积单元和图像标签单元连接，用于对阶梯-金字塔扩张卷积-通道注意力网络模块进行参数优化；
颈动脉超声图像输入单元，与所述阶梯-金字塔扩张卷积-通道注意力网络模块连接，所述阶梯-金字塔扩张卷积-通道注意力网络模块对输入的颈动脉超声图像进行分割获得初始斑块轮廓图像；以及
最大轮廓后处理单元，用于对所述初始斑块轮廓图像进行精细分割，找到所述初始斑块轮廓图像中所有的类似轮廓，选择面积最大的第一类似轮廓和第二类似轮廓，当第二类似轮廓的面积*3大于第一类似轮廓的面积时，将所述第一类似轮廓和第二类似轮廓作为最终的斑块轮廓分割结果；
其中，所述增强的血管裁剪图像数据用于输入第一1*1卷积单元以训练所述阶梯-金字塔扩张卷积-通道注意力网络模块；所述压缩激活网络单元包括依次连接的全局平均池化单元、第一全连接层单元、ReLU单元、第二全连接层单元、Sigmoid激活函数单元、以及乘法单元，所述乘法单元用于将Sigmoid激活函数单元输出的每个特征图激活值与输入所述全局平均池化单元的原始特征图相乘。
2.根据权利要求1所述的颈动脉超声图像中易损斑块的分割装置，其特征在于还包括通用数据增强模块；所述第一至第六分辨率语义尺度单元均包括两组的3*3卷积单元、批归一化单元和ReLU单元、以及一个池化单元。
3.根据权利要求2所述的颈动脉超声图像中易损斑块的分割装置，其特征在于当第二类似轮廓的面积*3小于等于第一类似轮廓的面积时，所述最大轮廓后处理单元将所述第一类似轮廓作为最终的斑块轮廓分割结果。
4.根据权利要求1-3任一项所述的颈动脉超声图像中易损斑块的分割装置，其特征在于当所述初始斑块轮廓图像中只有一个类似轮廓时，所述最大轮廓后处理单元将该一个类似轮廓作为最终的斑块轮廓分割结果。
5.根据权利要求1-3任一项所述的颈动脉超声图像中易损斑块的分割装置，其特征在于所述第一至第三金字塔扩展卷积单元均包括三个不同扩张率组合卷积1,2,3的3×3卷积核、以及扩张率为1，2，3的3×3卷积核级联组成的卷积。
6.一种颈动脉超声图像中易损斑块的分割方法，其特征在于包括以下步骤：
对数据集中的颈动脉超声图像的血管进行裁剪获得血管裁剪图像数据，并对血管裁剪图像数据进行垂直翻转获得增强的血管裁剪图像数据；
将所述增强的血管裁剪图像数据输入阶梯-金字塔扩张卷积-通道注意力网络模块进行训练，所述阶梯-金字塔扩张卷积-通道注意力网络模块进行训练包括：依次连接的第一1*1卷积单元、第一至第六分辨率语义尺度单元、第一金字塔扩展卷积单元、以及五层2*2升采样单元；第二金字塔扩展卷积单元，与第五分辨率语义尺度单元连接；四层2*2升采样单元，与第二金字塔扩展卷积单元连接；第三金字塔扩展卷积单元，与第四分辨率语义尺度单元连接；三层2*2升采样单元，与第三金字塔扩展卷积单元连接；拼接单元，连接所述五层2*2升采样单元、四层2*2升采样单元和三层2*2升采样单元；压缩激活网络单元，与所述拼接单元连接；以及第二1*1卷积单元，与所述压缩激活网络单元连接；其中，所述压缩激活网络单元包括依次连接的全局平均池化单元、第一全连接层单元、ReLU单元、第二全连接层单元、Sigmoid激活函数单元、以及乘法单元，所述乘法单元用于将Sigmoid激活函数单元输出的每个特征图激活值与输入所述全局平均池化单元的原始特征图相乘；
通过混合损失函数模块对阶梯-金字塔扩张卷积-通道注意力网络模块进行参数优化，所述混合损失函数模块与第二1*1卷积单元和图像标签单元连接；
输入颈动脉超声图像至训练后的所述阶梯-金字塔扩张卷积-通道注意力网络模块，对输入的颈动脉超声图像进行分割获得初始斑块轮廓图像；
采用最大轮廓后处理单元对所述初始斑块轮廓图像进行精细分割，找到所述初始斑块轮廓图像中所有的类似轮廓，选择面积最大的第一类似轮廓和第二类似轮廓，当第二类似轮廓的面积*3大于第一类似轮廓的面积时，将所述第一类似轮廓和第二类似轮廓作为最终的斑块轮廓分割结果。
7.根据权利要求6所述的方法，其特征在于所述第一至第六分辨率语义尺度单元均包括两组的3*3卷积单元、批归一化单元和ReLU单元、以及一个池化单元。
8.根据权利要求7所述的方法，其特征在于当第二类似轮廓的面积*3小于等于第一类似轮廓的面积时，所述最大轮廓后处理单元将所述第一类似轮廓作为最终的斑块轮廓分割结果。
9.根据权利要求6-8任一项所述的方法，其特征在于当所述初始斑块轮廓图像中只有一个类似轮廓时，所述最大轮廓后处理单元将该一个类似轮廓作为最终的斑块轮廓分割结果。
10.根据权利要求6-8任一项所述的方法，其特征在于所述第一至第三金字塔扩展卷积单元均包括三个不同扩张率组合卷积1,2,3的3×3卷积核、以及扩张率为1，2，3的3×3卷积核级联组成的卷积。
CN202111296274.6A 2021-11-03 2021-11-03 颈动脉超声图像中易损斑块的分割方法和装置 Active CN113947593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111296274.6A CN113947593B (zh) 2021-11-03 2021-11-03 颈动脉超声图像中易损斑块的分割方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111296274.6A CN113947593B (zh) 2021-11-03 2021-11-03 颈动脉超声图像中易损斑块的分割方法和装置

Publications (2)

Publication Number Publication Date
CN113947593A CN113947593A (zh) 2022-01-18
CN113947593B true CN113947593B (zh) 2024-05-14

Family

ID=79337426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111296274.6A Active CN113947593B (zh) 2021-11-03 2021-11-03 颈动脉超声图像中易损斑块的分割方法和装置

Country Status (1)

Country Link
CN (1) CN113947593B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128874B (zh) * 2023-04-04 2023-06-16 中国医学科学院北京协和医院 基于5g的颈动脉斑块超声实时识别方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161273A (zh) * 2019-12-31 2020-05-15 电子科技大学 一种基于深度学习的医学超声图像分割方法
CN111798452A (zh) * 2020-07-06 2020-10-20 北京小白世纪网络科技有限公司 颈动脉手持超声图像分割方法、系统及装置
CN113362360A (zh) * 2021-05-28 2021-09-07 上海大学 基于流体速度场的超声颈动脉斑块分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190139216A1 (en) * 2017-11-03 2019-05-09 Siemens Healthcare Gmbh Medical Image Object Detection with Dense Feature Pyramid Network Architecture in Machine Learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161273A (zh) * 2019-12-31 2020-05-15 电子科技大学 一种基于深度学习的医学超声图像分割方法
CN111798452A (zh) * 2020-07-06 2020-10-20 北京小白世纪网络科技有限公司 颈动脉手持超声图像分割方法、系统及装置
CN113362360A (zh) * 2021-05-28 2021-09-07 上海大学 基于流体速度场的超声颈动脉斑块分割方法

Also Published As

Publication number Publication date
CN113947593A (zh) 2022-01-18

Similar Documents

Publication Publication Date Title
Aljabri et al. A review on the use of deep learning for medical images segmentation
Saba et al. Ultrasound-based carotid stenosis measurement and risk stratification in diabetic cohort: a deep learning paradigm
CN113420826B (zh) 一种肝脏病灶图像处理系统及图像处理方法
CN112258488A (zh) 一种医疗影像病灶分割方法
CN113506310B (zh) 医学图像的处理方法、装置、电子设备和存储介质
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
US20220284583A1 (en) Computerised tomography image processing
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
CN112991365B (zh) 一种冠状动脉分割方法、系统及存储介质
CN112529909A (zh) 一种基于图像补全的肿瘤图像脑区分割方法及系统
CN110991254B (zh) 超声图像视频分类预测方法及系统
CN111833343A (zh) 冠状动脉狭窄度估计方法系统及设备
CN111696126A (zh) 一种基于多视角的多任务肝脏肿瘤图像分割方法
CN113947593B (zh) 颈动脉超声图像中易损斑块的分割方法和装置
CN114972362A (zh) 一种基于RMAU-Net网络的医学图像自动分割方法与系统
CN115409859A (zh) 冠状动脉血管图像分割方法及装置、存储介质和终端
CN109003280A (zh) 一种双通道血管内超声影像的血管中内膜分割方法
CN113223704B (zh) 基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法
CN111599448B (zh) 特定冠状动脉钙化分析的多视图形状约束系统和方法
CN115205298B (zh) 肝部区域血管分割的方法及设备
CN112562058A (zh) 一种基于迁移学习的颅内血管模拟三维模型快速建立方法
CN116612090A (zh) 一种确定肺动脉栓塞指数的系统及方法
Mani Deep learning models for semantic multi-modal medical image segmentation
Wong-od et al. Automated segmentation of media-adventitia and lumen from intravascular ultrasound images using non-parametric thresholding
CN112508881A (zh) 一种颅内血管图像配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant