CN114519722A - 一种基于卷积神经网络的颈动脉提取方法 - Google Patents

一种基于卷积神经网络的颈动脉提取方法 Download PDF

Info

Publication number
CN114519722A
CN114519722A CN202210145347.XA CN202210145347A CN114519722A CN 114519722 A CN114519722 A CN 114519722A CN 202210145347 A CN202210145347 A CN 202210145347A CN 114519722 A CN114519722 A CN 114519722A
Authority
CN
China
Prior art keywords
carotid artery
convolution
central path
characteristic diagram
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210145347.XA
Other languages
English (en)
Inventor
杨金柱
郭德秀
孙奇
瞿明军
马双
袁玉亮
曹鹏
冯朝路
覃文军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN202210145347.XA priority Critical patent/CN114519722A/zh
Publication of CN114519722A publication Critical patent/CN114519722A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

本发明公开了一种基于卷积神经网络的颈动脉提取方法，涉及医学图像处理技术领域。该方法包括：对原始数据集中各三维颈动脉CTA图像及各自对应的分割标签分别提取补丁块；构建训练数据集；建立并训练颈动脉中心路径预测模型；确定并训练颈动脉分割模型；输入待预测颈动脉的三维颈动脉CTA图像以及给定的种子点；基于种子点，提取以种子点为中心的补丁块；加载预训练的颈动脉中心路径预测模型和预训练的颈动脉分割模型，基于以种子点为中心的补丁块和预训练的颈动脉中心路径预测模型进行颈动脉中心路径的迭代追踪，并在颈动脉中心路径追踪过程中完成颈动脉的分割。该方法首次实现了追踪颈动脉中心路径的同时完成颈动脉分割。

Description

一种基于卷积神经网络的颈动脉提取方法
技术领域
本发明涉及医学图像处理技术领域，具体涉及一种基于卷积神经网络的颈动脉提取方法。
背景技术
脑血管类疾病严重威胁着人类的健康，具有高患病率、高致残率和高死亡率的特点。增强CT扫描因其快速、无创、图像清晰、经济等特点，已成为临床中血管类疾病的首要检查手段。颈动脉CTA(Computed Tomography Angiography，计算机断层扫描血管造影术)影像中血管的提取，主要包括颈动脉中心路径的提取以及颈动脉的分割，这是从复杂数据集中精确显示和量化颈动脉的关键步骤，同时也是脑血管类疾病，如狭窄、斑块、动脉瘤诊断和手术规划的前提，对于临床诊断结果的评估至关重要。
目前基于CTA影像的血管提取方法主要分为两种：基于传统的自动和半自动血管提取算法和基于深度学习技术的血管提取算法。传统的自动和半自动的血管提取方法主要依靠专家精妙准确设计的规则将血管结构从背景中分离出来，包括：1)基于滤波器的方法，例如利用基于Hessian矩阵的滤波器增强血管结构，然后在增强的图像上分割血管。2)基于模型的方法，例如利用活动轮廓模型来提取血管结构。3)中心线追踪的方法，例如利用最小路径传播过程找到中心线后再提取完整的血管腔。基于深度学习技术的血管提取方法主要表现为设计各种复杂的深度神经网络模型，应用到各种不同器官的血管提取上，例如采用深度神经网络DeepVesselNet、轻量级深度学习模型VesselNet和增加了监督机制的语义分割网络VSSC等深度学习网络对血管CTA进行分割。
虽然在过去的几年中，有很多传统的自动和半自动的血管提取方法被提出，但仍存在很多的不足，无法满足日益增长的临床需求。例如基于滤波器的方法，血管提取效果受血管形状以及图像质量的影响较大；基于模型的方法需要较强的约束准则，严重依赖于先验知识；中心线方法无法直接分割血管轮廓，需要结合血管外观和几何信息。随着深度学习技术的发展，该技术已经显现出在医学影像分析方面的卓越性，由于其较强的特征提取能力，深度神经网络模型在血管中心路径提取以及血管分割方面具有成功的表现，目前的血管中心路径的提取以及血管分割是两个相互依赖而独立进行的工作，大多表现为基于已找到的中心路径去构建血管或者是基于分割的结果再去提取中心路径，而本发明是要利用深度学习技术实现追踪颈动脉中心路径的同时进行颈动脉的分割。
发明内容
针对上述现有技术存在的不足，本发明提供了一种基于卷积神经网络的颈动脉提取方法，旨在实现从颈动脉CTA图像中准确快速迭代追踪颈动脉中心路径的同时实现颈动脉结构的准确分割。
为实现上述目的，本发明提供以下的技术方案：
一种基于卷积神经网络的颈动脉提取方法，其特征在于，该方法包括如下步骤：
步骤1：对原始数据集中的各三维颈动脉CTA图像及其各自对应的分割标签分别提取补丁块，由提取的补丁块构建分割训练数据集，并由从各三维颈动脉CTA图像中提取的补丁块以及颈动脉中心路径预测标签构建中心路径预测训练数据集；
步骤2：建立颈动脉中心路径预测模型，并利用所述中心路径预测训练数据集训练颈动脉中心路径预测模型；
步骤3：确定并利用所述分割训练数据集训练颈动脉分割模型；
步骤4：输入待预测颈动脉的三维颈动脉CTA图像以及给定的种子点；
步骤5：基于种子点，提取以种子点为中心的补丁块；
步骤6：加载预训练的颈动脉中心路径预测模型和预训练的颈动脉分割模型，基于以种子点为中心的补丁块和预训练的颈动脉中心路径预测模型进行颈动脉中心路径的迭代追踪，并利用预训练的颈动脉分割模型在颈动脉中心路径追踪过程中完成颈动脉的分割。
进一步地，根据所述的基于卷积神经网络的颈动脉提取方法，所述补丁块包括非偏移的补丁块和带偏移的补丁块两种；所述非偏移的补丁块的提取方法是以颈动脉中心路径上的点为中心在原始三维颈动脉CTA图像以及分割标签中提取所需大小的补丁块；所述带偏移的补丁块的提取方法为：获取服从三维正态分布的随机值作为随机偏移值，将颈动脉中心路径上的点加上随机偏移值，得到偏移中心路径的点，然后再以获取到的偏移中心路径的点为中心在原始三维颈动脉CTA图像以及分割标签中提取所需大小的补丁块。
进一步地，根据所述的基于卷积神经网络的颈动脉提取方法，所述颈动脉中心路径预测模型由第一三维卷积操作、第一注意力机制、若干个卷积块、第二三维卷积操作、第二注意力机制、平均池化操作依次组成。
进一步地，根据所述的基于卷积神经网络的颈动脉提取方法，所述利用所述中心路径预测训练数据集训练颈动脉中心路径预测模型包括如下步骤：
步骤2.2.1：将所述中心路径预测训练数据集中的补丁块根据其大小定义为d×w×h的三维特征数组，表示为：X(d×w×h)，其中d、w、h三个维度代表X的特征图大小，分别为深度、高度和宽度；
步骤2.2.2：对X进行特征提取操作获得特征图M1[(d-2)×(w-2)×(h-2)]；
对X进行特征提取的过程为：先将输入X经过卷积核大小为3×3×3的第一三维卷积操作、数据归一化操作和激活操作，得到大小为[(d-2)×(w-2)×(h-2)]的特征图
Figure BDA0003508071050000031
然后再将
Figure BDA0003508071050000032
经过第一注意力机制，获得特征图M1[(d-2)×(w-2)×(h-2)]；
步骤2.2.2：对特征图M1进行特征提取，将M1经过若干个卷积块操作改变M1的大小，最终得到大小为[(d-16)×(w-16)×(h-16)]的特征图M5；
步骤2.2.3：对M5通过第二三维卷积操作进行特征提取；
对M5通过第二三维卷积操作进行特征提取的过程为：先将输入的M5经过卷积核大小为1×1×1的第二三维卷积操作、数据归一化操作和激活操作，得到特征图
Figure BDA0003508071050000033
然后再将
Figure BDA0003508071050000034
经过通道和空间注意力机制，得到特征图M6；
步骤2.2.4：将M6通过平均池化操作得到输出Y，首先预定义方向向量集合N作为颈动脉中心路径上各个点处颈动脉的可能方向，根据Y对颈动脉中心路径上各点处的颈动脉方向做分类以及对颈动脉中心路径各点处的颈动脉半径做回归，将与Y最接近的N中的方向向量作为颈动脉中心路径上各点处的颈动脉方向。
进一步地，根据所述的基于卷积神经网络的颈动脉提取方法，共有4个卷积块B1、B2、B3和B4；每个卷积块均由1个空洞卷积层、1个3×3×3卷积层、空间和通道注意力机制以及一个带空洞卷积的残差层组成，其中第2和第3个卷积块B2和B3中的空洞率分别为2和4；将M1依次经过所述4个卷积块操作分别得到M2[(d-4)×(w-4)×(h-4)]、M3[(d-8)×(w-8)×(h-8)]、M4[(d-16)×(w-16)×(h-16)]，最终得到特征图M5[(d-16)×(w-16)×(h-16)]。
进一步地，根据所述的基于卷积神经网络的颈动脉提取方法，所述将M1经过所述4个卷积模块得到M5的具体过程包括：
(a)在卷积块B1中，将M1串行经过空洞卷积率为1的3×3×3的空洞卷积操作和3×3×3的卷积操作改变特征图大小，得到特征图P1，将P1经过通道和空间注意力机制得到特征图S1，将M1经过带有空洞卷积的残差层得到特征图
Figure BDA0003508071050000035
最后将
Figure BDA0003508071050000036
和S1相加得到M2；
(b)在卷积块B2中，将M2串行经过空洞卷积率为2的3×3×3的空洞卷积操作和3×3×3的卷积操作改变特征图大小，得到特征图P2，将P2经过通道和空间注意力机制得到特征图S2，将M2经过带有空洞卷积的残差层得到特征图
Figure BDA0003508071050000037
最后将
Figure BDA0003508071050000038
和S2相加得到M3；
(c)在卷积块B3中，将M3串行经过空洞卷积率为4的3×3×3的空洞卷积操作和3×3×3的卷积操作改变特征图大小，得到特征图P3将P3经过通道和空间注意力机制得到特征图S3，将M3经过带有空洞卷积的残差层得到特征图
Figure BDA0003508071050000039
最后将
Figure BDA00035080710500000310
和S3相加得到M4；
(d)在卷积块B4中，将M4串行经过空洞卷积率为1的3×3×3的空洞卷积操作和3×3×3的卷积操作改变特征图大小，得到特征图P4，将P4经过通道和空间注意力机制得到特征图S4，将M4经过带有空洞卷积的残差层得到特征图
Figure BDA0003508071050000041
最后将
Figure BDA0003508071050000042
和S4相加得到最终的特征图M5。
进一步地，根据所述的基于卷积神经网络的颈动脉提取方法，确定基于编码器-解码器的V-Net网络为颈动脉分割模型，所述V-Net网络的一侧由编码器和下采样层组成，另一侧由解码器和上采样层组成。
进一步地，根据所述的基于卷积神经网络的颈动脉提取方法，对所述分割训练数据集中的补丁块进行处理，利用处理后的分割训练数据集训练颈动脉分割模型；对所述分割训练数据集中的补丁块进行的处理包括对从原始三维颈动脉CTA图像提取的补丁块进行归一化和上采样操作处理，以及对从原始分割标签提取的补丁块进行腐蚀和上采样操作处理。
进一步地，根据所述的基于卷积神经网络的颈动脉提取方法，所述步骤6包括：
加载预训练的颈动脉中心路径预测模型，预测得到种子点处颈动脉的局部区域的方向判定及半径估计；基于预测出的方向信息，从种子点开始移动半径长度的距离，从而得到颈动脉中心路径上的下一个点，然后提取该点所在的补丁块，继续预测该点处颈动脉的方向和半径信息，以此类推，直到迭代追踪出完整的颈动脉；
在颈动脉中心路径追踪过程中，每当得到一个包含中心点的补丁块，就利用该补丁块进行颈动脉的分割，从而在颈动脉中心路径追踪的过程中实现颈动脉的分割。
总体而言，通过本发明所构思的以上技术方案较现有技术具有以下有益效果：设计了一种基于卷积神经网络的网络结构，解决了由于颈动脉结构的不均匀性和复杂性以及颈动脉对比度差对颈动脉提取造成干扰的问题，进而提升了网络对于颈动脉的中心路径追踪的准确率；克服了颈动脉与骨组织靠近所造成的颈动脉提取困难的缺陷，首次实现了在追踪颈动脉中心路径的同时完成颈动脉的分割，从而实现颈动脉结构的提取。
附图说明
图1为本实施方式基于卷积神经网络的颈动脉提取方法的核心思路示意图；
图2为本实施方式基于卷积神经网络的颈动脉提取方法的流程示意图；
图3(a)为本实施方式原始颈动脉数据集结构示意图；(b)为颈动脉中心路径预测标签示意图；(c)为颈动脉分割标签示意图；
图4为本实施方式颈动脉中心路径预测模型的结构示意图；
图5为本实施方式实现颈动脉分割的网络结构示意图；
图6为本实施方式获得的颈动脉中心路径结果图；
图7为本实施方式获得的颈动脉分割结果图。
具体实施方式
为了使本发明的目的、技术方案及优势更加清晰，下面结合附图和具体实施例对本发明做进一步详细说明。此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
图1是本实施方式基于卷积神经网络的颈动脉提取方法的核心思路示意图，图2是本实施方式基于卷积神经网络的颈动脉提取方法的流程示意图，该方法用于对颈动脉CTA图像进行处理，提取出图像中的颈动脉，如图1和图2所示，所述基于卷积神经网络的颈动脉提取方法包括如下步骤：
步骤1：对原始数据集中的各三维颈动脉CTA图像及其各自对应的分割标签分别提取补丁(patch)块，由提取的补丁块构建分割训练数据集，并由从各三维颈动脉CTA图像中提取的补丁块以及颈动脉中心路径预测标签构建中心路径预测训练数据集；
在本实施方式中所述原始数据集如图3(a)所示，为自行收集的共包含135组颈动脉CTA图像及其对应的颈动脉中心路径预测标签和分割标签，图3(b)示出的为颈动脉中心路径预测标签示意图；图3(c)示出的为颈动脉分割标签示意图。然后按照8:1:1的分配关系将原始数据集中的该135组数据划分为用于训练、验证和测试的原始数据集。所述颈动脉中心路径预测标签为四根动脉所对应的中心线上点对应的坐标值(x,y,z)与半径值。所述分割标签为颈动脉对应的掩膜(mask)图像。
在颈动脉CTA图像上，颈动脉仅占据整张图像中的很小一部分，大部分属于背景区域，因此，为了解决这种类别不平衡的问题，在大小为T×H×W的三维颈动脉CTA图像中提取包含丰富颈动脉信息的大小为ω×ω×ω的补丁块作为训练数据；所述补丁块包括非偏移的补丁块Pno_offset和带偏移的补丁块Poffset两种。所述非偏移的补丁块Pno_offset的提取方法是以颈动脉中心路径上的点为中心在原始三维颈动脉CTA图像中提取大小为ω×ω×ω的补丁块。提取带偏移的补丁块是为了获取偏离颈动脉中心路径的样本，防止当迭代追踪颈动脉中心路径偏离实际中心路径时颈动脉中心路径预测模型提供错误的预测，从而导致迭代追踪出的颈动脉中心路径发生偏离，所以本发明利用服从三维正态分布的随机偏离值来进一步获取以偏移颈动脉中心路径上的点为中心的大小为ω×ω×ω的补丁块Poffset。具体是，获取服从三维正态分布的随机值作为随机偏移值，将颈动脉中心路径上的点加上随机偏移值，得到偏移中心路径的点，然后再以获取到的偏移中心路径的点为中心，提取大小为ω×ω×ω的补丁块Poffset。
由于训练数据是从数据集中的原始三维颈动脉CTA图像中提取的补丁块，为了保持分割标签与训练数据的一致性，需要对分割标签采用与原始三维颈动脉CTA图像相同的策略提取补丁块，具体包括采用与在原始三维颈动脉CTA图像中提取非偏移的补丁块相同的方法在分割标签中提取非偏移的补丁块Mno_offset和采用与在原始三维颈动脉CTA图像中提取带偏移的补丁块相同的方法在分割标签中提取带偏移的补丁块Moffset。
分别针对用于训练、验证和测试的原始数据集按照上述方法提取补丁块后，由所提取的补丁块对应构成用于分割的训练数据集、验证数据集和测试数据集，并由从各三维颈动脉CTA图像中提取的补丁块以及颈动脉中心路径预测标签构建用于中心路径预测的训练数据集、验证数据集和测试数据集。
步骤2：建立颈动脉中心路径预测模型，并利用所述中心路径预测训练数据集训练颈动脉中心路径预测模型。
本步骤的核心思路为：将补丁块根据其大小将其定义为d×w×h的三维特征数组，表示为：X(d×w×h)。在优选实例中，将补丁块的大小定义为19×19×19的三维特征数组，表示为X(19×19×19)，这三个维度代表X的特征图大小，分别为深度、高度和宽度；建立颈动脉中心路径预测模型，图4是所述的颈动脉中心路径预测模型的结构示意图，如图4所示，在本实施方式中，颈动脉中心路径预测模型由第一三维卷积操作、注意力机制、若干个卷积块、第二三维卷积操作、注意力机制、平均池化操作依次组成；将X输入建立的模型中对X进行特征提取，所述特征提取操作，由串行的卷积操作和若干个卷积块操作构成，利用训练数据集和验证数据集最终得到一套模型训练参数进行保存，获得训练好的颈动脉中心路径预测模型。本步骤具体包括如下步骤：
步骤2.1：建立颈动脉中心路径预测模型，所述颈动脉中心路径预测模型由第一三维卷积操作、第一注意力机制、若干个卷积块、第二三维卷积操作、第二注意力机制、平均池化操作依次组成；所述注意力机制为空间和通道注意力机制，包括通道注意力模块和空间注意力模块。
步骤2.2：利用所述中心路径预测训练数据集训练颈动脉中心路径预测模型，获得预训练的颈动脉中心路径预测模型。
步骤2.2.1：将所述中心路径预测训练数据集中的补丁块根据其大小定义为d×w×h的三维特征数组，表示为：X(d×w×h)，其中d、w、h三个维度代表X的特征图大小，分别为深度、高度和宽度；在优选实例中，将补丁块的大小定义为19×19×19的三维特征数组，表示为X(19×19×19)。
步骤2.2.2：对X进行特征提取操作获得特征图M1[(d-2)×(w-2)×(h-2)]；
在优选实例中，对X进行特征提取的详细过程为：先将输入X经过第一三维卷积操作(在优选实例中该步骤的卷积操作中卷积核大小为3×3×3)、数据归一化操作和激活操作，得到大小为17×17×17的特征图
Figure BDA0003508071050000061
然后再将
Figure BDA0003508071050000062
经过第一注意力机制，可以给予所关注通道和区域更高的权重，得到17×17×17的特征图M1，此时感受野为3。
步骤2.2.2：对特征图M1[(d-2)×(w-2)×(h-2)]进行特征提取，将M1经过若干个卷积块操作改变M1的大小，分别得到M2[(d-4)×(w-4)×(h-4)]、M3[(d-8)×(w-8)×(h-8)]、M4[(d-16)×(w-16)×(h-16)]，最终得到特征图M5[(d-16)×(w-16)×(h-16)]；
在优选实例中，共有4个卷积块B1、B2、B3和B4，用于更好地进行特征表示。每个卷积块均由1个空洞卷积层、1个3×3×3卷积层、空间和通道注意力机制以及一个带空洞卷积的残差层组成，其中第2和第3个卷积块B2和B3中的空洞率分别为2和4，实现在扩大感受野的同时，不同的空洞率进一步保留了多尺度的特征。卷积块没有利用大的卷积核来提取特征，所以当训练数据非常有限时，就会导致过度拟合，每个卷积层后面是数据归一化操作和激活操作，尽可能地减少过度拟合。同时每个卷积块内加入了通道和空间注意力机制，可以给予所关注特征和区域更多的权重，最后将经过残差层和卷积层的特征相加输入后面的卷积块中。
在优选实施例中，将M1经过4个卷积模块得到M5的具体过程包括：依次执行下面的步骤(a)至(d)分别得到特征图M2，M3，M4，M5：
(a)在卷积块B1中，将M1串行经过空洞卷积率为1的3×3×3的空洞卷积操作和3×3×3的卷积操作改变特征图大小，得到特征图P1(15×15×15)，此时感受野变为5，将P1经过通道和空间注意力机制，给予关注特征和区域更大的权重，得到特征图S1(15×15×15)，将M1经过带有空洞卷积(空洞卷积率与卷积和大小始终与该步骤的空洞卷积操作保持一致)的残差层得到
Figure BDA0003508071050000071
最后将
Figure BDA0003508071050000072
和S1相加得到M2(15×15×15)输入卷积块B2中；
(b)在卷积块B2中，将M2串行经过空洞卷积率为2的3×3×3的空洞卷积操作和3×3×3的卷积操作改变特征图大小，得到P2(11×11×11)，此时感受野变为9，将P2经过通道和空间注意力机制，给予关注特征和区域更大的权重，得到S2(11×11×11)，将M2经过带有空洞卷积(空洞卷积率与卷积和大小始终与该步骤的空洞卷积操作保持一致)的残差层得到
Figure BDA0003508071050000073
最后将
Figure BDA0003508071050000074
和S2相加得到M3(11×11×11)输入卷积块B3中；
(c)在卷积块B3中，将M3串行经过空洞卷积率为4的3×3×3的空洞卷积操作和3×3×3的卷积操作改变特征图大小，得到P3(3×3×3)，此时感受野变为17，将P3经过通道和空间注意力机制，给予关注的特征和区域更大的权重，得到S3(3×3×3)，将M3经过带有空洞卷积(空洞卷积率与卷积和大小始终与该步骤的空洞卷积操作保持一致)的残差层得到
Figure BDA0003508071050000075
3×3)，最后将
Figure BDA0003508071050000076
和S3相加得到M4(3×3×3)输入卷积块B4中；
(d)在卷积块B4中，将M4串行经过空洞卷积率为1的3×3×3的空洞卷积操作和3×3×3的卷积操作改变特征图大小，得到P4(3×3×3)，此时感受野变为19，将P4经过通道和空间注意力机制，给予关注的特征和区域更大的权重，得到S4(3×3×3)，将M4经过带有空洞卷积(空洞卷积率与卷积和大小始终与该步骤的空洞卷积操作保持一致)的残差层得到
Figure BDA0003508071050000081
Figure BDA0003508071050000082
最后将
Figure BDA0003508071050000083
和S4相加得到最终的特征图M5(3×3×3)；
步骤2.2.3：对M5通过第二三维卷积操作进行特征提取。
在优选实例中，对M5通过第二三维卷积操作进行特征提取的详细过程为：先将输入的M5经过第二三维卷积操作(在优选实例中该步骤的三维卷积操作中卷积核大小为1×1×1)、数据归一化操作和激活操作，得到特征图
Figure BDA0003508071050000084
然后再将
Figure BDA0003508071050000085
经过通道和空间注意力机制，可以给予关注的通道和区域更高的权重，得到特征图M6(3×3×3)。
步骤2.2.4：将M6通过平均池化操作得到输出Y(1×1×1)，首先预定义方向向量集合N作为颈动脉中心路径上各个点处颈动脉的可能方向，根据Y对颈动脉中心路径上各点处的颈动脉方向做分类以及对颈动脉中心路径各点处的颈动脉半径做回归，将与Y最接近的N中的方向向量作为颈动脉中心路径上各点处的颈动脉方向。
在优选实例中，预定义500个方向向量组成方向向量集合N，将M6通过平均池化操作得到501个1×1×1的向量，其中前500个用于颈动脉中心路径上各点处的颈动脉方向的分类，计算每个方向的后验概率，选择后验概率最大的方向作为当前补丁块中心点处的方向，最后一个用于当前补丁块中心点处颈动脉半径的回归。
步骤3：确定并利用所述分割训练数据集训练颈动脉分割模型；
步骤3.1：确定颈动脉分割模型；
本领域技术人员容易获得V-Net网络或者U-Net网络作为颈动脉分割模型。图5是本实施方式的颈动脉分割模型的结构示意图，在本实施方式中是利用现有的基于编码器-解码器的V-Net网络来获取颈动脉的分割结果。网络的一侧由编码器和下采样层组成，用于从补丁块中提取特征，获得较低分辨率特征图；网络的另一侧由解码器和上采样层组成，用于提取补丁块中的特征并对获得的较低分辨率特征图进行扩展。同时使用跳跃连接将从编码器阶段提取的特征转发到解码器阶段，通过这种方式，可以收集在编码器阶段的下采样层中丢失的细粒度细节，最终得到颈动脉的分割结果。
步骤3.2：对所述分割训练数据集中的补丁块进行处理：对从原始三维颈动脉CTA图像提取的补丁块进行归一化和上采样操作处理，以及对从原始分割标签提取的补丁块进行腐蚀和上采样操作处理；
在从三维颈动脉CTA图像中提取的补丁块中，将颈动脉的灰度值上下限设置为70HU到1000HU之间，对图像进行归一化处理，同时将图像进行上采样来提高补丁块的大小，在优选实例中，将补丁块由19×19×19上采样到38×38×38；
对从分割标签中提取的补丁块进行腐蚀操作来优化标签，同时为了保持分割标签补丁块与图像补丁块大小一致，对分割标签补丁块同样进行上采样操作，将分割标签补丁块由19×19×19上采样到38×38×38；
步骤3.3：利用处理后的分割训练数据集训练颈动脉分割模型，获得预训练的颈动脉分割模型。
步骤4：输入待预测颈动脉的三维颈动脉CTA图像以及给定的种子点；
所述给定的种子点是在待预测颈动脉的三维颈动脉CTA图像中的每一根颈动脉上手动选取三个点作为种子点，在优选实例中，这三个点为颈动脉的起始点、近端点(靠近起始点的点，例如距离颈动脉起始点1/3处的点)以及远端点(远离起始点的点，例如距离起始点2/3处的点)；
步骤5：基于种子点，提取以种子点为中心的补丁块；
步骤6：加载预训练的颈动脉中心路径预测模型和预训练的颈动脉分割模型，基于以种子点为中心的补丁块和预训练的颈动脉中心路径预测模型进行颈动脉中心路径的迭代追踪，并利用预训练的颈动脉分割模型在颈动脉中心路径追踪过程中完成颈动脉的分割。
加载预训练的颈动脉中心路径预测模型，预测得到种子点处颈动脉的局部区域的方向判定及半径估计。基于预测出的方向信息，从种子点开始移动半径长度的距离，从而得到颈动脉中心路径上的下一个点，然后提取该点所在的补丁块，继续预测该点处颈动脉的方向和半径信息，以此类推，直到迭代追踪出完整的颈动脉，如图6所示。在本实施方式中，通过计算方向分类后验概率分布的归一化熵来确定追踪是否停止，首先定义一个阈值，当迭代追踪到达颈动脉末端或者迭代追踪靠近已追踪出的中心线上的点时就会产生一个较高的归一化熵，当归一化熵大于给定的阈值时就会停止追踪。
在颈动脉中心路径追踪过程中，每当得到一个包含中心点的补丁块，对该补丁块进行上述的归一化和上采样操作处理后就对该补丁块进行颈动脉的分割，从而在颈动脉中心路径追踪的过程中完成颈动脉的分割，分割结果如图7所示。
采用本发明方法在颈动脉CTA数据集上进行了测试，并与三位专家手动提取结果进行了比较，定量分析结果表明，采用本发明方法得到的提取结果与三名专家手动标定的提取结果一致，误差评估也在手动标定的误差范围内，对异常病变血管也具有很好的提取效果，能够满足临床实际应用需求。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；因而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (9)

1.一种基于卷积神经网络的颈动脉提取方法，其特征在于，该方法包括如下步骤：
步骤1：对原始数据集中的各三维颈动脉CTA图像及其各自对应的分割标签分别提取补丁块，由提取的补丁块构建分割训练数据集，并由从各三维颈动脉CTA图像中提取的补丁块以及颈动脉中心路径预测标签构建中心路径预测训练数据集；
步骤2：建立颈动脉中心路径预测模型，并利用所述中心路径预测训练数据集训练颈动脉中心路径预测模型；
步骤3：确定并利用所述分割训练数据集训练颈动脉分割模型；
步骤4：输入待预测颈动脉的三维颈动脉CTA图像以及给定的种子点；
步骤5：基于种子点，提取以种子点为中心的补丁块；
步骤6：加载预训练的颈动脉中心路径预测模型和预训练的颈动脉分割模型，基于以种子点为中心的补丁块和预训练的颈动脉中心路径预测模型进行颈动脉中心路径的迭代追踪，并利用预训练的颈动脉分割模型在颈动脉中心路径追踪过程中完成颈动脉的分割。
2.根据权利要求1所述的基于卷积神经网络的颈动脉提取方法，其特征在于，所述补丁块包括非偏移的补丁块和带偏移的补丁块两种；所述非偏移的补丁块的提取方法是以颈动脉中心路径上的点为中心在原始三维颈动脉CTA图像以及分割标签中提取所需大小的补丁块；所述带偏移的补丁块的提取方法为：获取服从三维正态分布的随机值作为随机偏移值，将颈动脉中心路径上的点加上随机偏移值，得到偏移中心路径的点，然后再以获取到的偏移中心路径的点为中心在原始三维颈动脉CTA图像以及分割标签中提取所需大小的补丁块。
3.根据权利要求1所述的基于卷积神经网络的颈动脉提取方法，其特征在于，所述颈动脉中心路径预测模型由第一三维卷积操作、第一注意力机制、若干个卷积块、第二三维卷积操作、第二注意力机制、平均池化操作依次组成。
4.根据权利要求1所述的基于卷积神经网络的颈动脉提取方法，其特征在于，所述利用所述中心路径预测训练数据集训练颈动脉中心路径预测模型包括如下步骤：
步骤2.2.1：将所述中心路径预测训练数据集中的补丁块根据其大小定义为d×w×h的三维特征数组，表示为：X(d×w×h)，其中d、w、h三个维度代表X的特征图大小，分别为深度、高度和宽度；
步骤2.2.2：对X进行特征提取操作获得特征图Mi[(d-2)×(w-2)×(h-2)]；
对X进行特征提取的过程为：先将输入X经过卷积核大小为3×3×3的第一三维卷积操作、数据归一化操作和激活操作，得到大小为[(d-2)×(w-2)×(h-2)]的特征图
Figure FDA0003508071040000011
然后再将
Figure FDA0003508071040000012
经过第一注意力机制，获得特征图M1[(d-2)×(w-2)×(h-2)]；
步骤2.2.2：对特征图M1进行特征提取，将M1经过若干个卷积块操作改变M1的大小，最终得到大小为[(d-16)×(w-16)×(h-16)]的特征图M5；
步骤2.2.3：对M5通过第二三维卷积操作进行特征提取；
对M5通过第二三维卷积操作进行特征提取的过程为：先将输入的M5经过卷积核大小为1×1×1的第二三维卷积操作、数据归一化操作和激活操作，得到特征图
Figure FDA0003508071040000021
然后再将
Figure FDA0003508071040000022
经过通道和空间注意力机制，得到特征图M6；
步骤2.2.4：将M6通过平均池化操作得到输出Y，首先预定义方向向量集合N作为颈动脉中心路径上各个点处颈动脉的可能方向，根据Y对颈动脉中心路径上各点处的颈动脉方向做分类以及对颈动脉中心路径各点处的颈动脉半径做回归，将与Y最接近的N中的方向向量作为颈动脉中心路径上各点处的颈动脉方向。
5.根据权利要求4所述的基于卷积神经网络的颈动脉提取方法，其特征在于，共有4个卷积块B1、B2、B3和B4；每个卷积块均由1个空洞卷积层、1个3×3×3卷积层、空间和通道注意力机制以及一个带空洞卷积的残差层组成，其中第2和第3个卷积块B2和B3中的空洞率分别为2和4；将M1依次经过所述4个卷积块操作分别得到M2[(d-4)×(w-4)×(h-4)]、M3[(d-8)×(w-8)×(h-8)]、M4[(d-16)×(w-16)×(h-16)]，最终得到特征图M5[(d-16)×(w-16)×(h-16)]。
6.根据权利要求5所述的基于卷积神经网络的颈动脉提取方法，其特征在于，所述将M1经过所述4个卷积模块得到M5的具体过程包括：
(a)在卷积块B1中，将M1串行经过空洞卷积率为1的3×3×3的空洞卷积操作和3×3×3的卷积操作改变特征图大小，得到特征图P1，将P1经过通道和空间注意力机制得到特征图S1，将M1经过带有空洞卷积的残差层得到特征图
Figure FDA0003508071040000023
最后将
Figure FDA0003508071040000024
和S1相加得到M2；
(b)在卷积块B2中，将M2串行经过空洞卷积率为2的3×3×3的空洞卷积操作和3×3×3的卷积操作改变特征图大小，得到特征图P2，将P2经过通道和空间注意力机制得到特征图S2，将M2经过带有空洞卷积的残差层得到特征图
Figure FDA0003508071040000025
最后将
Figure FDA0003508071040000026
和S2相加得到M3；
(c)在卷积块B3中，将M3串行经过空洞卷积率为4的3×3×3的空洞卷积操作和3×3×3的卷积操作改变特征图大小，得到特征图P3将P3经过通道和空间注意力机制得到特征图S3，将M3经过带有空洞卷积的残差层得到特征图
Figure FDA0003508071040000027
最后将
Figure FDA0003508071040000028
和S3相加得到M4；
(d)在卷积块B4中，将M4串行经过空洞卷积率为1的3×3×3的空洞卷积操作和3×3×3的卷积操作改变特征图大小，得到特征图P4，将P4经过通道和空间注意力机制得到特征图S4，将M4经过带有空洞卷积的残差层得到特征图
Figure FDA0003508071040000029
最后将
Figure FDA00035080710400000210
和S4相加得到最终的特征图M5。
7.根据权利要求1所述的基于卷积神经网络的颈动脉提取方法，其特征在于，确定基于编码器-解码器的V-Net网络为颈动脉分割模型，所述V-Net网络的一侧由编码器和下采样层组成，另一侧由解码器和上采样层组成。
8.根据权利要求1所述的基于卷积神经网络的颈动脉提取方法，其特征在于，对所述分割训练数据集中的补丁块进行处理，利用处理后的分割训练数据集训练颈动脉分割模型；对所述分割训练数据集中的补丁块进行的处理包括对从原始三维颈动脉CTA图像提取的补丁块进行归一化和上采样操作处理，以及对从原始分割标签提取的补丁块进行腐蚀和上采样操作处理。
9.根据权利要求1所述的基于卷积神经网络的颈动脉提取方法，其特征在于，所述步骤6包括：
加载预训练的颈动脉中心路径预测模型，预测得到种子点处颈动脉的局部区域的方向判定及半径估计；基于预测出的方向信息，从种子点开始移动半径长度的距离，从而得到颈动脉中心路径上的下一个点，然后提取该点所在的补丁块，继续预测该点处颈动脉的方向和半径信息，以此类推，直到迭代追踪出完整的颈动脉；
在颈动脉中心路径追踪过程中，每当得到一个包含中心点的补丁块，就对利用该补丁块进行颈动脉的分割，从而在颈动脉中心路径追踪的过程中实现颈动脉的分割。
CN202210145347.XA 2022-02-17 2022-02-17 一种基于卷积神经网络的颈动脉提取方法 Pending CN114519722A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210145347.XA CN114519722A (zh) 2022-02-17 2022-02-17 一种基于卷积神经网络的颈动脉提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210145347.XA CN114519722A (zh) 2022-02-17 2022-02-17 一种基于卷积神经网络的颈动脉提取方法

Publications (1)

Publication Number Publication Date
CN114519722A true CN114519722A (zh) 2022-05-20

Family

ID=81598752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210145347.XA Pending CN114519722A (zh) 2022-02-17 2022-02-17 一种基于卷积神经网络的颈动脉提取方法

Country Status (1)

Country Link
CN (1) CN114519722A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740041A (zh) * 2023-06-27 2023-09-12 新疆生产建设兵团医院 基于机器视觉的cta扫描图像分析系统及其方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740041A (zh) * 2023-06-27 2023-09-12 新疆生产建设兵团医院 基于机器视觉的cta扫描图像分析系统及其方法
CN116740041B (zh) * 2023-06-27 2024-04-26 新疆生产建设兵团医院 基于机器视觉的cta扫描图像分析系统及其方法

Similar Documents

Publication Publication Date Title
CN109035255B (zh) 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法
CN109584254B (zh) 一种基于深层全卷积神经网络的心脏左心室分割方法
CN110097554B (zh) 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN112132817B (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN106940816B (zh) 基于3d全卷积神经网络的ct图像肺结节检测系统
CN110197493A (zh) 眼底图像血管分割方法
CN107563983A (zh) 图像处理方法以及医学成像设备
CN111192245A (zh) 一种基于U-Net网络的脑肿瘤分割网络及分割方法
CN111640120B (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN111476757A (zh) 一种冠脉斑块数据检测方法、系统、存储介质、终端
CN110070540B (zh) 图像生成方法、装置、计算机设备及存储介质
CN113744272B (zh) 一种基于深度神经网络的脑动脉自动勾画方法
CN109886946B (zh) 基于深度学习的早期老年性黄斑病变弱监督分类方法
CN111429452A (zh) 基于UNet卷积神经网络的膀胱超声图像分割方法及装置
CN112785551A (zh) 一种基于深度学习的冠状动脉分割方法
CN111681210A (zh) 基于深度学习的剪切波弹性图鉴别乳腺结节良恶性的方法
CN110751636A (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
CN114998265A (zh) 一种基于改进U-Net的肝脏肿瘤分割方法
CN114519722A (zh) 一种基于卷积神经网络的颈动脉提取方法
CN113724203B (zh) 应用于oct图像中目标特征分割的模型训练方法及装置
Kugelman et al. Constructing synthetic chorio-retinal patches using generative adversarial networks
CN112950611A (zh) 一种基于ct图像的肝脏血管分割方法
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
CN116309571A (zh) 一种基于半监督学习的三维脑血管分割方法和装置
CN115131628A (zh) 一种基于分型辅助信息的乳腺图像分类方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination