CN112164069A - 一种基于深度学习的ct腹部血管分割方法 - Google Patents

一种基于深度学习的ct腹部血管分割方法 Download PDF

Info

Publication number
CN112164069A
CN112164069A CN202010740906.2A CN202010740906A CN112164069A CN 112164069 A CN112164069 A CN 112164069A CN 202010740906 A CN202010740906 A CN 202010740906A CN 112164069 A CN112164069 A CN 112164069A
Authority
CN
China
Prior art keywords
matrix
blood vessel
convolution
deep learning
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010740906.2A
Other languages
English (en)
Inventor
张堃
韩宇
范陆健
范雷金
冯文宇
殷佳炜
华亮
李文俊
鲍毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Borazhe Technology Co ltd
Nantong University
Original Assignee
Hangzhou Borazhe Technology Co ltd
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Borazhe Technology Co ltd, Nantong University filed Critical Hangzhou Borazhe Technology Co ltd
Priority to CN202010740906.2A priority Critical patent/CN112164069A/zh
Publication of CN112164069A publication Critical patent/CN112164069A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于深度学习的CT腹部血管分割方法，步骤1：对原始CT小肠造影图像进行处理；步骤2：将步骤1得到的预处理后的图像作为输入，搭建AA R2U‑Net模型；步骤3：对步骤2得到的AA R2U‑Net进行训练；步骤4：加载步骤3得到的训练后的AA R2U‑Net对CT小肠造影进行血管分割。本发明设计了一种基于深度学习的血管分割方法，将注意增强模块与R2U‑Net相结合得到AA R2U‑Net模型，快速而精确地将CT小肠造影中的肠壁血管区域分割出来，帮助影像科医生快速定位CT小肠造影中的血管区域。

Description

一种基于深度学习的CT腹部血管分割方法
技术领域
本发明涉及血管分割技术领域，具体为一种基于深度学习的CT腹部血管分割方法。
背景技术
为了实现对腹部血管区域的分割，Chaudhuri最早提出利用高斯滤波器进行血管分割。该方法利用血管本身的特性，采用高斯滤波器对图像进行滤波，从而鉴别出血管的候选点。然而，CT小肠造影中的肠系膜直小动脉血管与背景区域信噪比较小，且由于血管区域本身较小，背景区域中存在大量噪声，采用高斯滤波器滤波会将血管的边界滤去，在CT小肠造影中采用该方法分割血管的效果并不理想。Liu等最早提出手工确定初始点的跟踪算法，通过不断地在剩下的血管中找到新的起始点进行重新分割，从而实现最终的分割。而这种迭代搜索血管的方法主要依赖于初始点的确定，在CT小肠造影中，血管由于被遮挡等原因，起始点确定较为困难。Tolias等首次提出眼底图像视网膜血管自动分割方法，根据FCM算法得到的候选初始种子点迭代跟踪血管。基于全自动血管跟踪的血管分割方法具有较好的自适应性，但是严重依赖于初始种子点和方向的选取，不适用于CT小肠造影中的肠系膜直小动脉分割。
发明内容
本发明的目的在于提供一种基于深度学习的CT腹部血管分割方法，旨在弥补现有技术手段的缺乏与不足，利用AA R2U-Net提取血管特征，将血管区域从CT小肠造影中分割出来，识别精度高，效率高，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于深度学习的CT腹部血管分割方法，包括以下步骤：
步骤1：对原始CT小肠造影进行图像预处理；
步骤2：将步骤1得到的预处理后的图像作为输入，搭建AA R2U-Net模型；
步骤3：对步骤2得到的AA R2U-Net进行训练；
步骤4：加载步骤3得到的训练后的AA R2U-Net对CT小肠造影进行血管分割。
优选的，所述步骤1包括：
对一张CT小肠造影采用直方图均衡化处理，将图像的灰度直方图从集中分布映射成近似的均匀分布，从而实现对于图像整体灰度分布的调整，以增强血管区域和背景区域之间的对比度；
直方图均衡化的变换公式表示如下：
Figure BDA0002606694110000021
其中，Hr(rj)为图像的灰度直方图，k为进行均衡化变换前图像的灰度级总数，rk表示图像直方图均衡化变换前的灰度值，T为直方图均衡化变换函数，Sk为直方图均衡化变换后的灰度值，nj为直方图均衡化变换后图像中灰度值为j的像素个数，n为图像的像素数。
优选的，所述步骤2包括，所述步骤2包括，在Unet中加入R2模块与AttentionAugment模块；
其中，Unet结构总体呈对称的U型结构，包含12个单元F1-F12,其中左侧F1-F6为收缩路径，右侧F6-F12为扩张路径。
优选的，所述R2模块包括残差学习单元和递归卷积：
残差学习单元：设定一个神经网络单元的输入是x，期望输出是H(x)，定义一个残差映射F(x)＝H(x)-x，把x直接传递给输出，该神经网络单元学习的目标为残差映射F(x)＝H(x)-x，残差学习单元由一系列卷积层和一个捷径组成，输入x通过捷径传递给残差学习单元的输出，则残差学习单元的输出z＝F(x)+x；
递归卷积：设定输入为x，对输入x进行连续的卷积，且每一次的卷积输出加上当前的输入作为下一次的卷积的输入；
R2模块即将残差学习单元中的普通卷积替换为递归卷积。
优选的，Attention Augment为通过查询得到一系列键-值对的映射；
Attention Augment模块的实现步骤包括以下：
通过对输入大小为(w,h,cin)的特征图进行1*1卷积输出QKV矩阵，QKV矩阵的大小为(w,h,2*dk+dv)，其中w、h、2*dk+dV分别表示了矩阵的宽、长与深度，Cin为输入图像的特征层数；
从深度通道上对QKV矩阵进行分割，得到Q、K、V三个矩阵，Q、K、V三个矩阵的深度通道大小分别为dk、dk、dv；
采用多头注意力机制的结构，将Q、K、V三个矩阵分别从深度通道上分割为N个相等的矩阵。
优选的，对分割好的Q、K、V矩阵进行扁平化处理生成Flat_Q、Flat_K、Flat_V三个矩阵，即对Q、K、V矩阵保持深度通道不变，从长宽方向对其压缩到1维，其中Flat_Q、Flat_K两个矩阵的大小为(w*h,dk)，Flat_V矩阵大小为(w*h,dv)；
Attention Augment使用Flat_Q、Flat_K两矩阵进行矩阵乘法运算，计算出权重矩阵，且在此基础上添加相对位置嵌入的计算，通过对Q矩阵进行长宽两方向的权重计算得到特征图上每个点的相对位置信息。
优选的，长宽两方向的相关位置信息分别通过Q矩阵与权重矩阵H和W内积得到，记为SH和SW，其中权重矩阵H和W通过模型的训练得出，大小为(wh,wh,1)；
将得到的三个矩阵相加并乘以尺度系数
Figure BDA0002606694110000041
用softmax函数进行处理，即得到特征权重矩阵；
将特征权重矩阵与V矩阵相乘并将结果reshape到原始长宽大小，再进行1*1的卷积操作，即得到最终的注意力特征矩阵O。
优选的，将注意力特征矩阵O和正常的卷积过程按深度方向进行拼接即得到Attention Augment的结果；
注意力特征矩阵O的计算公式如下：
Figure BDA0002606694110000042
优选的，所述步骤3包括：
步骤3.1：采用
Figure BDA0002606694110000043
对AA R2U-Net模型的卷积核进行初始化，其中，k为卷积核的大小，dl表示第l层卷积核的个数；
步骤3.2：采用简单梯度下降方法对AA R2U-Net的损失函数进行权值更新，引入动量方法用以积累梯度指数衰减的平均移动量，并沿着该移动方向继续向下移动，更新策略表示为：
Figure BDA0002606694110000044
其中，v为速度变量，表示参数在空间里移动的方向和速率，η为动量参数，g为梯度，θ为权重或偏置参数，C为损失函数，α为学习速率，m为样本数目,xi表示输入图像x的第i个样本，
Figure BDA0002606694110000045
表示对θ的偏导。
优选的，所述步骤3.2中采用的损失函数C为Class-Balanced loss，利用每个类别的有效样本数量来重新平衡损失，损失函数如下：
Figure BDA0002606694110000051
其中，N表示像素总数，β表示一个取值范围为[0,1)的超参数，ni表示样本标签像素点中属于血管区域的数量，p表示相应点的预测概率，pi表示相应点i的预测概率。
优选的，所述步骤4包括：通过AA R2U-Net从CT小肠造影中提取血管区域的特征，通过高斯概率分布对图像中的每一个像素属于血管区域或是背景区域进行预测。
与现有技术相比，本发明的有益效果是：
(1)本发明设计了一种基于深度学习的血管分割方法，将注意增强模块和R2模块与U-Net相结合得到AA R2U-Net模型，快速而精确地将CT小肠造影中的肠壁血管区域分割出来，帮助影像科医生快速定位病灶，避免了由于主观阅片而可能造成的漏诊与误诊。
(2)相比于传统方法通过人工识别CT小肠造影中的血管区域，由于缺乏计算机化的工具来精确定位血管区域，而且，CT扫描的细微变化常常在人工识别中被忽略；本发明采用计算机化的工具来精确地定位血管区域。
(3)本发明针对CT小肠造影中血管区域存在遮挡、折叠、扭曲且血管区域与背景区域之间信噪比小等特点，自动对血管区域的分割，可以很容易地观察到病灶的分布，减少了对人工识别的依赖，缩短了分割时间。
附图说明
图1为本发明血管分割方法的整体流程图；
图2为本发明中AA R2U-Net模型的结构图；
图3为选取的CT小肠造影图像；
图4为分割处理后的分割结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1、图2、图3和图4，本发明提供一种技术方案：一种基于深度学习的血管分割方法，该方法包含如下几个步骤：
步骤一：对原始CT小肠造影进行图像预处理
首先对一张CT小肠造影采用直方图均衡化处理，将图像的灰度直方图从集中分布映射成近似的均匀分布，从而实现对于图像整体灰度分布的调整，以增强血管区域和背景区域之间的对比度。对图像进行直方图均衡化的变换表示如下：
Figure BDA0002606694110000061
其中，Hr(rj)为图像的灰度直方图，k为进行均衡化变换前图像的灰度级总数，rk表示图像直方图均衡化变换前的灰度值，T为直方图均衡化变换函数，Sk为直方图均衡化变换后的灰度值，nj为直方图均衡化变换后图像中灰度值为j的像素个数，n为图像的像素数；
步骤二：将步骤一得到的预处理后的图像作为输入，搭建AAR2U-Net模型；
AA R2U-Net模型在Unet中加入了R2模块与Attention Augment模块；其中，Unet结构总体呈对称的U型结构，在设计时共包含12个单元(F1-F12),其中左侧F1-F6为收缩路径，用于特征的提取；右侧F6-F12为扩张路径，用于细节的恢复实现精准预测；R2模块包括了残差学习单元和递归卷积：
(1)残差学习单元：假定一个神经网络单元的输入是x，期望输出是H(x)，另外定义一个残差映射F(x)＝H(x)-x，若把x直接传递给输出，则该神经网络单元要学习的目标就是残差映射F(x)＝H(x)-x，残差学习单元由一系列卷积层和一个捷径组成，输入x通过这个捷径传递给残差学习单元的输出，则残差学习单元的输出为z＝F(x)+x；
(2)递归卷积：假定输入为x，对该输入x进行连续的卷积，且每一次的卷积输出加上当前的输入作为下一次的卷积的输入。
R2模块即将残差学习单元中的普通卷积替换为递归卷积。
本发明中，Attention Augment本质为通过查询得到一系列键-值对的映射；首先，通过对输入大小为(w,h,cin)的特征图进行1*1卷积输出QKV矩阵，其大小为(w,h,2*dk+dv)，其中w、h、2*dk+dV分别表示了矩阵的宽、长与深度；再从深度通道上对QKV矩阵进行分割，得到Q、K、V三个矩阵其深度通道大小分别为dk、dk、dv。接着，采用了多头注意力机制的结构，将Q、K、V三个矩阵分别从深度通道上分割为N个相等的矩阵进行后续的计算，这种多头注意力机制将原本单一的attention计算，扩展为较小且并行独立的多个计算，使得模型可以在不同的子空间内学习特征信息；对于分割好的Q、K、V矩阵在进行扁平化处理生成Flat_Q、Flat_K、Flat_V三个矩阵，即对Q、K、V保持深度通道不变，从长宽方向对其进行压缩到1维，其中前两个矩阵的大小为(w*h,dk)，后一个矩阵大小为(w*h,dv)；接着，Attention Augment保存了原先Self-Attention的做法使用Flat_Q、Flat_K两矩阵进行矩阵乘法运算，计算出权重矩阵，且在此基础上添加了相对位置嵌入(Relative positional embedding)的计算，通过对Q矩阵进行长宽两方向的权重计算得到特征图上每个点的相对位置信息，防止特征位置的变换而降低模型的最终效果。长宽两方向的相关位置信息分别通过Q矩阵与权重矩阵H和W内积得到，记为SH和SW，其中权重矩阵H和W通过模型的训练得出，大小为(wh,wh,1)。然后，将得到的三个矩阵相加并乘以尺度系数
Figure BDA0002606694110000071
以防止计算结果过大；随后用softmax函数进行处理，即得到了最终的特征权重矩阵。最后，将该权重矩阵与V矩阵相乘并将结果reshape到原始长宽大小，再进行1*1的卷积操作，即可得到最终的注意力特征矩阵O；将注意力特征矩阵O和正常的卷积过程按深度方向进行拼接(concat)即可得到Attention Augment的结果。注意力特征矩阵O的计算公式如下：
步骤三：对步骤二得到的AA R2U-Net进行训练；
首先，采用高斯分布
Figure BDA0002606694110000082
对AA R2U-Net模型的卷积核进行初始化，使模型具有更好的鲁棒性；其中，k为卷积核的大小，dl表示第l层卷积核的个数；
其次，采用简单梯度下降(Simple Gradient Decent,SGD)方法对AA Res U-Net的损失函数进行权值更新，同时引入动量方法(Momentum)用以积累之前梯度指数衰减的平均移动量，并沿着该移动方向继续向下移动，提高梯度下降和权值更新速度。具体更新策略表示为：
Figure BDA0002606694110000083
其中，v为速度变量，表示参数在空间里移动的方向和速率，η为动量参数，g为梯度，θ为权重或偏置参数，C为损失函数，α为学习速率，m为样本数目，xi表示输入图像x的第i个样本，
Figure BDA0002606694110000084
表示对θ的偏导；
为了验证实际分割效果，本发明采用的损失函数为Class-Balanced loss，利用每个类别的有效样本数量来重新平衡损失，损失函数如下：
Figure BDA0002606694110000085
其中，N表示像素总数，ni表示样本标签像素点中属于血管区域的数量，p表示相应点的预测概率，pi表示相应点i的预测概率；
通过对于两个类别权重的调整，使血管区域和背景区域的实际分割结果趋于平衡，以提升AA R2U-Net模型的分割效果。
步骤四：加载步骤三得到的训练后的AA R2U-Net对CT小肠造影进行血管分割；
通过AA R2U-Net从CT小肠造影中提取血管区域的特征，通过一系列高斯概率分布对图像中的每一个像素属于血管区域或是背景区域进行预测，直观表达每个像素点所属区域，以实现血管分割的目的。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (12)

1.一种基于深度学习的CT腹部血管分割方法，其特征在于，包括以下步骤：
步骤1：对原始CT小肠造影进行图像预处理；
步骤2：将步骤1得到的预处理后的图像作为输入，搭建AA R2U-Net模型；
步骤3：对步骤2得到的AA R2U-Net进行训练；
步骤4：加载步骤3得到的训练后的AA R2U-Net对CT小肠造影进行血管分割。
2.根据权利要求1所述的一种基于深度学习的CT腹部血管分割方法，其特征在于，所述步骤1包括：
对一张CT小肠造影采用直方图均衡化处理，将图像的灰度直方图从集中分布映射成近似的均匀分布，从而实现对于图像整体灰度分布的调整，以增强血管区域和背景区域之间的对比度。
3.根据权利要求2所述的一种基于深度学习的CT腹部血管分割方法，其特征在于，所述步骤1包括：直方图均衡化的变换公式表示如下：
Figure FDA0002606694100000011
其中，Hr(rj)为图像的灰度直方图，k为进行均衡化变换前图像的灰度级总数，rk表示图像直方图均衡化变换前的灰度值，T为直方图均衡化变换函数，Sk为直方图均衡化变换后的灰度值，nj为直方图均衡化变换后图像中灰度值为j的像素个数，n为图像的像素数。
4.根据权利要求1所述的一种基于深度学习的CT腹部血管分割方法，其特征在于：所述步骤2包括，在Unet中加入R2模块与Attention Augment模块；
其中，Unet结构总体呈对称的U型结构，包含12个单元F1-F12,其中左侧F1-F6为收缩路径，右侧F6-F12为扩张路径。
5.根据权利要求4所述的一种基于深度学习的CT腹部血管分割方法，其特征在于，所述R2模块包括残差学习单元和递归卷积：
残差学习单元：设定一个神经网络单元的输入是x，期望输出是H(x)，定义一个残差映射F(x)＝H(x)-x，把x直接传递给输出，该神经网络单元学习的目标为残差映射F(x)＝H(x)-x，残差学习单元由一系列卷积层和一个捷径组成，输入x通过捷径传递给残差学习单元的输出，则残差学习单元的输出z＝F(x)+x；
递归卷积：设定输入为x，对输入x进行连续的卷积，且每一次的卷积输出加上当前的输入作为下一次的卷积的输入；
R2模块即将残差学习单元中的普通卷积替换为递归卷积。
6.根据权利要求4所述的一种基于深度学习的CT腹部血管分割方法，其特征在于：Attention Augment为通过查询得到一系列键-值对的映射；
Attention Augment模块的实现步骤包括以下：
通过对输入大小为(w,h,cin)的特征图进行1*1卷积输出QKV矩阵，QKV矩阵的大小为(w,h,2*dk+dv)，其中w、h、2*dk+dV分别表示了矩阵的宽、长与深度，Cin为输入图像的特征层数；
从深度通道上对QKV矩阵进行分割，得到Q、K、V三个矩阵，Q、K、V三个矩阵的深度通道大小分别为dk、dk、dv；
采用多头注意力机制的结构，将Q、K、V三个矩阵分别从深度通道上分割为N个相等的矩阵。
7.根据权利要求6所述的一种基于深度学习的CT腹部血管分割方法，其特征在于：对分割好的Q、K、V矩阵进行扁平化处理生成Flat_Q、Flat_K、Flat_V三个矩阵，即对Q、K、V矩阵保持深度通道不变，从长宽方向对其压缩到1维，其中Flat_Q、Flat_K两个矩阵的大小为(w*h,dk)，Flat_V矩阵大小为(w*h,dv)；
Attention Augment使用Flat_Q、Flat_K两矩阵进行矩阵乘法运算，计算出权重矩阵，且在此基础上添加相对位置嵌入的计算，通过对Q矩阵进行长宽两方向的权重计算得到特征图上每个点的相对位置信息。
8.根据权利要求7所述的一种基于深度学习的CT腹部血管分割方法，其特征在于：长宽两方向的相关位置信息分别通过Q矩阵与权重矩阵H和W内积得到，记为SH和SW，其中权重矩阵H和W通过模型的训练得出，大小为(wh,wh,1)；
将得到的三个矩阵相加并乘以尺度系数
Figure FDA0002606694100000031
用softmax函数进行处理，即得到特征权重矩阵；
将特征权重矩阵与V矩阵相乘并将结果reshape到原始长宽大小，再进行1*1的卷积操作，即得到最终的注意力特征矩阵O。
9.根据权利要求8所述的一种基于深度学习的CT腹部血管分割方法，其特征在于：将注意力特征矩阵O和正常的卷积过程按深度方向进行拼接即得到Attention Augment的结果；
注意力特征矩阵O的计算公式如下：
Figure FDA0002606694100000032
10.根据权利要求1所述的一种基于深度学习的CT腹部血管分割方法，其特征在于，所述步骤3包括：
步骤3.1：采用
Figure FDA0002606694100000033
对AA R2U-Net模型的卷积核进行初始化，其中，k为卷积核的大小，dl表示第l层卷积核的个数；
步骤3.2：采用简单梯度下降方法对AA R2U-Net的损失函数进行权值更新，引入动量方法用以积累梯度指数衰减的平均移动量，并沿着该移动方向继续向下移动，更新策略表示为：
Figure FDA0002606694100000041
其中，v为速度变量，表示参数在空间里移动的方向和速率，η为动量参数，g为梯度，θ为权重或偏置参数，C为损失函数，α为学习速率，m为样本数目,xi表示输入图像x的第i个样本，
Figure FDA0002606694100000043
表示对θ的偏导。
11.根据权利要求10所述的一种基于深度学习的CT腹部血管分割方法，其特征在于，所述步骤3.2中采用的损失函数C为Class-Balanced loss，利用每个类别的有效样本数量来重新平衡损失，损失函数如下：
Figure FDA0002606694100000042
其中，N表示像素总数，β表示一个取值范围为[0,1)的超参数，ni表示样本标签像素点中属于血管区域的数量，p表示相应点的预测概率，pi表示相应点i的预测概率。
12.根据权利要求1所述的一种基于深度学习的CT腹部血管分割方法，其特征在于，所述步骤4包括：通过AA R2U-Net从CT小肠造影中提取血管区域的特征，通过高斯概率分布对图像中的每一个像素属于血管区域或是背景区域进行预测。
CN202010740906.2A 2020-07-29 2020-07-29 一种基于深度学习的ct腹部血管分割方法 Pending CN112164069A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010740906.2A CN112164069A (zh) 2020-07-29 2020-07-29 一种基于深度学习的ct腹部血管分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010740906.2A CN112164069A (zh) 2020-07-29 2020-07-29 一种基于深度学习的ct腹部血管分割方法

Publications (1)

Publication Number Publication Date
CN112164069A true CN112164069A (zh) 2021-01-01

Family

ID=73859888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010740906.2A Pending CN112164069A (zh) 2020-07-29 2020-07-29 一种基于深度学习的ct腹部血管分割方法

Country Status (1)

Country Link
CN (1) CN112164069A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785581A (zh) * 2021-01-29 2021-05-11 复旦大学附属中山医院 基于深度学习的提取训练大血管cta成像的培训方法和装置
CN113506308A (zh) * 2021-07-06 2021-10-15 同济大学 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法
CN113509165A (zh) * 2021-03-23 2021-10-19 杭州电子科技大学 基于CAR2UNet网络的复数快速磁共振成像方法
CN113674253A (zh) * 2021-08-25 2021-11-19 浙江财经大学 基于U-Transformer的直肠癌CT影像自动分割方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191472A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胸腺细胞图像分割方法
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191472A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胸腺细胞图像分割方法
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MD ZAHANGIR ALOM等: "Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation", 《ARXIV：1802.06955》 *
YIN CUI等: "Class-Balanced Loss Based on Effective Number of Samples", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
张堃等: "大视场大规模目标精确检测算法应用研究", 《仪器仪表学报》 *
梁舒: "基于残差学习U型卷积神经网络的乳腺超声图像肿瘤分割研究", 《中国优秀硕士学位论文全文数据库（电子期刊）医药卫生科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785581A (zh) * 2021-01-29 2021-05-11 复旦大学附属中山医院 基于深度学习的提取训练大血管cta成像的培训方法和装置
CN113509165A (zh) * 2021-03-23 2021-10-19 杭州电子科技大学 基于CAR2UNet网络的复数快速磁共振成像方法
CN113509165B (zh) * 2021-03-23 2023-09-22 杭州电子科技大学 基于CAR2UNet网络的复数快速磁共振成像方法
CN113506308A (zh) * 2021-07-06 2021-10-15 同济大学 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法
CN113674253A (zh) * 2021-08-25 2021-11-19 浙江财经大学 基于U-Transformer的直肠癌CT影像自动分割方法

Similar Documents

Publication Publication Date Title
CN110197493B (zh) 眼底图像血管分割方法
CN112164069A (zh) 一种基于深度学习的ct腹部血管分割方法
CN110930397B (zh) 一种磁共振图像分割方法、装置、终端设备及存储介质
CN109191476B (zh) 基于U-net网络结构的生物医学图像自动分割新方法
CN108268870B (zh) 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN112036335B (zh) 一种反卷积引导的半监督植物叶部病害识别与分割方法
CN113205537B (zh) 基于深度学习的血管图像分割方法、装置、设备及介质
CN111784671A (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN110852396A (zh) 一种宫颈图像的样本数据处理方法
CN111784628A (zh) 基于有效学习的端到端的结直肠息肉图像分割方法
CN110751636B (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
CN113205538A (zh) 基于CRDNet的血管图像分割方法及装置
CN112614133B (zh) 一种无锚点框的三维肺结节检测模型训练方法及装置
CN112001921B (zh) 一种基于病灶加权损失函数的新冠肺炎ct影像病灶分割图像处理方法
CN107516312A (zh) 一种应用浅层神经网络的中医面色自动分类方法
CN109767459A (zh) 新型眼底图配准方法
CN114266898A (zh) 一种基于改进EfficientNet的肝癌识别方法
CN114998265A (zh) 一种基于改进U-Net的肝脏肿瘤分割方法
CN114648806A (zh) 一种多机制自适应的眼底图像分割方法
CN111598844B (zh) 一种图像分割方法、装置、电子设备和可读存储介质
CN110991254A (zh) 超声图像视频分类预测方法及系统
CN113781489A (zh) 一种息肉影像语义分割方法及装置
CN112750137A (zh) 基于深度学习的肝脏肿瘤分割方法及系统
Akkar et al. Diagnosis of lung cancer disease based on back-propagation artificial neural network algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210101