CN117409030A - 基于动态管状卷积的octa图像血管分割方法及其系统 - Google Patents

基于动态管状卷积的octa图像血管分割方法及其系统 Download PDF

Info

Publication number
CN117409030A
CN117409030A CN202311714309.2A CN202311714309A CN117409030A CN 117409030 A CN117409030 A CN 117409030A CN 202311714309 A CN202311714309 A CN 202311714309A CN 117409030 A CN117409030 A CN 117409030A
Authority
CN
China
Prior art keywords
convolution
map
feature map
module
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311714309.2A
Other languages
English (en)
Other versions
CN117409030B (zh
Inventor
陈达
梁宏达
张炯
刘丽
王友明
曹步勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Original Assignee
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Institute of Artificial Intelligence filed Critical Qilu University of Technology
Priority to CN202311714309.2A priority Critical patent/CN117409030B/zh
Publication of CN117409030A publication Critical patent/CN117409030A/zh
Application granted granted Critical
Publication of CN117409030B publication Critical patent/CN117409030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及计算机视觉与医学图像处理领域，尤其涉及一种基于动态管状卷积的图像血管分割方法及其系统，包括以下步骤：在数据集中选取n张眼底视网膜投影图像，将数据集按比例划分，对划分后得到的训练集进行数据集增强操作得到训练数据集；设置网络结构，编码器采用残差动态管状卷积编码器模块，多尺度特征融合模块采用管状卷积空洞卷积融合模块；计算最终概率图，将像素点与阈值比较，保存判断后的分割结果图；进行网络训练，保存评价最优指标的参数；读取保存的最优指标的参数，将其加载到网络中对图像进行分割，并保存最终分割结果。本发明的网络能够更好地捕捉复杂多变的血管结构，分割复杂背景下细微的血管末梢。

Description

基于动态管状卷积的OCTA图像血管分割方法及其系统
技术领域
本发明涉及计算机视觉与医学图像处理领域，尤其涉及一种基于动态管状卷积的OCTA图像血管分割方法及其系统。
背景技术
在计算机视觉与医学图像处理领域血管分割是一个经典的任务。在过去的几年中，卷积神经网络（CNN）凭借端到端、GPU中的快速计算速度和高性能在医学图像分割中占据主导地位。它非常灵活，一个网络可以经常应用于许多不同的细分任务，而无需特定的领域知识。然而，深度学习模型大多只使用从规则图像中学习到的局部外观和抽象卷积层特征，而没有明确考虑几何约束和对象全局信息。视网膜血管分割的难题主要因以下因素而受到影响：一是视网膜图像通常包含多种尺度的血管，形态各异。其中，细血管的准确分割对于整体分割的准确性至关重要，因为它对眼部疾病的诊断具有重要意义；二是视网膜图像可能具有复杂的背景，且对比度较低，这也会对血管分割的精度产生负面影响。除此以外各种病变的存在也会导致视网膜血管的形态发生变化，这些病变对分割性能存在一定的影响。
因此，本发明提出了一种基于动态管状卷积的视网膜OCTA图像血管分割方法及其系统来解决上述问题。
发明内容
本发明针对现有技术的不足，提出了一种基于动态管状卷积的OCTA图像血管分割方法及其系统，可够更好地捕捉复杂多变的血管结构，分割复杂背景下细微的血管末梢。
本发明解决技术问题的技术方案为：
一种基于动态管状卷积的OCTA图像血管分割方法，其特征在于，包括以下步骤：
S1.在公开的OCTA-500数据集中选取n张眼底视网膜OCTA投影图像，得到数据集；
S2.将从步骤S1中得到的数据集按比例进行划分，划分为训练集、验证集和测试集，然后对训练集进行数据集增强操作，得到增强后的训练数据集；
S3.通过设置编码器、多尺度特征融合模块和解码器进行网络结构的设置，编码器采用残差动态管状卷积编码器模块RTC，多尺度特征融合模块采用管状卷积空洞卷积融合模块TAF；
S4.将从步骤S3获得的特征图输入到Sigmoid函数计算得到最终概率图，设定阈值，将像素坐标的像素点与阈值进行比较，判断像素点的所属来源，并保存判断后的分割结果图，再将分割结果图与其对应的标签输入到损失函数中计算凸扩张损失；
S5.进行网络结构训练，通过反向传播计算损失函数对每个参数的梯度，使用优化器对步骤S3中网络结构的参数进行更新，完成对参数的调整和优化，保存训练过程中评价最优指标的参数；
S6.读取步骤S5中保存的最优指标的参数，将其加载到网络结构对OCTA图像进行分割，并保存最终分割结果。
进一步地，步骤S1中得到的数据集,，为第张OCTA投影图像。
进一步地，步骤S2中增强后的训练数据集，，表示进行增强后的训练集的图像张数，表示第张增强后的训练数据集的OCTA投影图像。
进一步地，步骤S3中通过设置编码器、多尺度特征融合模块和解码器进行网络结构的设置，编码器，具体步骤为：
S3.1编码器采用残差动态卷积编码器模块来进行特征提取，编码器的由五个RTC模块组成，相邻两个RTC模块中间穿插一个最大池化层，RTC模块包括两个分支，第一个分支由两组动态管状卷积层、卷积层、BatchNorm归一化操作层、ReLu激活函数组成，第二个分支由卷积层、归一化操作层、ReLu激活函数组成，特征提取的具体过程为：
S3.1.1将增强后的训练数据集中的第张OCTA投影图像根据每个像素点的灰度值生成灰度矩阵，将该矩阵通过得到特征图，其中是卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中，X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值，将特征图第一通道矩阵的下标值记作,第二通道矩阵的下标值记作；
将训练数据集中的第张OCTA投影图像输入到第一RTC模块得到特征图，第一RTC模块的计算公式为：，
其中，表示第张图片的输入特征图，表示第张图片的输出特征图，表示ReLu激活函数，表示批量归一化操作，表示卷积核转置矩阵，表示卷积偏置，，表示第个卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，然后从特征图中取出卷积核对应的偏移量，表示膨胀率为1的卷积核，其中心坐标记为，，将其记为，提取后对应的偏移量点为，记作，点为，记作，……，点为，记作；
以在可变形卷积引入偏移量的方式上对偏移量施加限制，通过迭代策略，以卷积核中点为基准，依次迭代，依次迭代，对迭代过程中的每一个点以上一轮迭代点的坐标作为基准分别对x，y施加偏移量得到下一轮迭代的点的坐标，表示偏移量的范围参数，点的下一轮迭代点的坐标为，施加偏移后的点的坐标为，，表示偏移量点数，表示迭代次数；
S3.1.2将步骤S3.1.1中得到的输入到编码器的第一最大池化层中，输出得到特征图；
S3.1.3将步骤S3.1.2中得到的特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作；将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；
将特征图输入到第二RTC模块得到特征图，第二RTC模块的计算公式为
，
其中，表示第张图片的输入特征图，表示第张图片的输出特征图，表示ReLu激活函数，表示操作，表示卷积核转置矩阵，表示卷积偏置，，表示第个卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1.1；
S3.1.4将步骤S3.1.3中的特征图输入到编码器的第二最大池化层中，输出得到特征图，其中池化窗口为22，池化策略为最大池化；
S3.1.5将步骤S3.1.4中得到的特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；
将特征图输入到第三RTC模块得到特征图，第三RTC模块的计算公式为
，
其中，表示第张图片的输入特征图，表示第张图片的输出特征图，表示ReLu激活函数，表示Batch normalization操作，表示卷积核转置矩阵，表示卷积偏置，，表示第个卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1.1；
S3.1.6将步骤S3.1.5中的特征图输入到编码器的第三最大池化层中，输出得到特征图，其中池化窗口为22，池化策略为最大池化；
S3.1.7将步骤S3.1.6中得到的特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；
将特征图输入到第四RTC模块得到特征图，第四RTC模块的计算公式为
，
其中，表示第张图片的输入特征图，表示第张图片的输出特征图，表示ReLu激活函数，表示操作，表示卷积核转置矩阵，表示卷积偏置，，表示第个卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1.1；
S3.1.8将步骤S3.1.7中的特征图输入到编码器的第四最大池化层中，输出得到特征图，其中池化窗口为22，池化策略为最大池化；
S3.1.9将步骤S3.1.8中得到的特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；
将特征图输入到第五RTC模块得到特征图，第五RTC模块的计算公式为
，
其中，表示第张图片的输入特征图，表示第张图片的输出特征图，表示ReLu激活函数，表示操作，表示卷积核转置矩阵，表示卷积偏置，，表示第个卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1.1；
S3.2多尺度特征融合模块采用管状卷积空洞卷积融合模块TAF，多尺度特征融合模由三组上采样层、聚合函数拼接、第一TAF模块构成，TAF模块由三个卷积分支、Attention Gate注意力门、1×1卷积模块以及一个残差连接构成，三个卷积分支中第一分支由动态管状卷积和1×1卷积层组成，第二分支和第三分支均由膨胀卷积和1×1卷积层组成，具体操作过程为：
S3.2.1将从步骤S3.1中得到的特征图输入到第一上采样层通过上采样采取双线性插值的方法得到特征图，然后将特征图与步骤S3.1中得到的特征图进行拼接操作得到特征图；
S3.2.2将从步骤S3.2.1中得到的特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；将特征图输入到第一TAF模块得到特征图，第一TAF模块的计算公式为，，，，，
其中，、为AttentionGate模块中的参数，表示第张眼底视网膜OCTA投影图像，为AttentionGate模块的中间变量，表示ReLu激活函数，表示激活函数，表示操作，表示的卷积核的转置矩阵，表示卷积偏置，，表示第个卷积操作，表示参数集合，表示卷积核大小为，stride为1，padding为1，膨胀系数为的卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1中的步骤S3.1.1；
S3.2.3将步骤S3.1中得到的特征图输入到第二上采样层通过上采样采取双线性插值的方法得到特征图，将特征图与步骤S3.1中得到的特征图进行拼接操作得到特征图；
S3.2.4将从步骤S3.2.3中得到的特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；将特征图输入到第二TAF模块得到特征图，第二TAF模块的计算公式为，，，，，
其中，、为AttentionGate模块需要的参数，为AttentionGate模块的中间变量，表示ReLu激活函数，表示Sigmoid激活函数，表示操作，表示的卷积核的转置矩阵，表示卷积偏置，，表示第个卷积操作，表示参数集合，表示卷积核大小为，stride为1，padding为1，膨胀系数为的卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1中的步骤S3.1.1；
S3.2.5将步骤S3.1中得到的特征图输入到第三上采样层通过上采样采取双线性插值的方法得到特征图，将特征图与步骤S3.1中得到的特征图进行拼接操作得到特征图；
S3.2.6将从步骤S3.2.5中得到的特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；将特征图输入到第三TAF模块得到特征图，第三TAF模块的计算公式为，，，，,
其中，、为AttentionGate模块需要的参数，为AttentionGate模块的中间变量，表示ReLu激活函数，表示Sigmoid激活函数，表示操作，表示的卷积核的转置矩阵，表示卷积偏置，，表示第个卷积操作，表示参数集合，表示卷积核大小为，stride为1，padding为1，膨胀系数为的卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1中的步骤S3.1.1；
S3.3解码器由四组上采样层和RTC模块构成，具体操作过程为：
S3.3.1将从步骤S3.1中得到的特征图输入到第四上采样层通过上采样采取双线性插值的方法得到特征图，将步骤S3.1中得到的特征图与特征图进行拼接操作得到特征图；
S3.3.2将特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；
将特征图输入到第六RTC模块得到特征图，第六RTC模块的计算公式为，
其中，表示第张图片的输入特征图，表示第张图片的输出特征图，表示ReLu激活函数，表示操作，表示卷积核转置矩阵，表示卷积偏置，，表示第个卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1中的步骤S3.1.1；
S3.3.3将从步骤S3.3.2中得到的特征图输入到第五上采样层通过上采样采取双线性插值的方法得到特征图，将从步骤S3.2中得到的特征图与特征图进行拼接操作得到特征图；
S3.3.4将特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；
将特征图输入到第七RTC模块得到特征图，第七RTC模块的计算公式为，
其中，表示第张图片的输入特征图，表示第张图片的输出特征图，表示ReLu激活函数，表示操作，表示卷积核转置矩阵，表示卷积偏置，，表示第个卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1中的步骤S3.1.1；
S3.3.5将从步骤S3.3.4中得到的特征图输入到第六上采样层通过上采样采取双线性插值的方法得到特征图，将从步骤S3.2中得到的特征图与特征图进行拼接操作得到特征图；
S3.3.6将特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；
将特征图输入到第八RTC模块得到特征图，第八RTC模块的计算公式为，
其中，表示第张图片的输入特征图，表示第张图片的输出特征图，表示ReLu激活函数，表示操作，表示卷积核转置矩阵，表示卷积偏置，，表示第个卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1中的步骤S3.1.1；
S3.3.7将从步骤S3.3.6中得到的特征图输入到第七上采样层通过上采样采取双线性插值的方法得到特征图，将从步骤S3.2中得到的特征图与特征图进行拼接操作得到特征图；
S3.3.8将特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，为1，为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；
将特征图输入到第九RTC模块得到特征图，第九RTC模块的计算公式为，
其中，表示第张图片的输入特征图，表示第张图片的输出特征图，表示ReLu激活函数，表示操作，表示卷积核转置矩阵，表示卷积偏置，，表示第个卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1中的步骤S3.1.1。
进一步地，步骤S4的具体步骤为：将步骤S3中得到的特征图输入到Sigmiod函数得到第张图片最终的概率图，设定阈值，若像素坐标为的像素点在概率图的值大于等于阈值则判断像素点属于血管,否则属于背景，然后将第张图片判断后的分割结果图记作，再将分割结果图与其对应的标签输入到损失函数中计算凸扩张损失，计算公式为其中，为cla类别的Jaccard索引,为约束Jaccard索引的一个向量，表示类别的集合。
进一步地，步骤S5中进行网络结构训练，通过反向传播计算损失函数对每个参数的梯度，使用优化器对步骤S3中网络结构的参数进行更新，使损失函数逐渐减小，并在验证集上进行指标的评价使评价指标逐渐变优，通过损失函数的最小化与验证集评价指标的最优化，完成对参数的调整和优化，保存训练过程中评价最优指标的参数。
进一步地，步骤S6中读取步骤S5中保存的最优指标的参数，将其加载到网络结构对OCTA图像进行分割，将分割结果图保存到本地。
本发明还提供一种基于动态管状卷积的OCTA图像血管分割方法的系统，包括以下模块：
数据收集模块：在数据集中选取眼底视网膜OCTA投影图像，得到数据集；
数据预处理模块：将数据处理模块得到的数据集按比例划分为训练集、验证集和测试集，然后对训练集进行数据增强操作，得到增强后的训练数据集；
网络结构设计模块：设置网络结构，网络结构由编码器、多尺度特征融合模块和解码器进行网络结构组成，编码器包括残差动态管状卷积编码器模块RTC，多尺度特征融合模块包括管状卷积空洞卷积融合模块TAF，通过RTC和TAF进行特征提取；
特征图处理模块：将网络结构设计模块提取的特征图转换为最终概率图，与设定阈值做比较得到分割结果图；
训练优化模块：对网络结构设计模块中网络结构的参数进行反向传播，对网络结构设计模块中的参数进行调整和优化得到训练过程中评价最优指标的参数；
图像分割模块：根据训练优化模块中的最优指标的参数，将其加载到网络结构中对OCTA图像进行分割，并保存最终分割结果。
上述技术方案具有如下优点或有益效果：
本发明采用动态管状卷积并设计残差连接以让卷积的形态更加集中到管状结构，从而更好地提取管状结构的特征，同时设计多尺度特征融合模块以获取强上下文特征，融合多尺度的特征图并采取管状卷积提取管状结构特征同时采取不同膨胀系数的膨胀卷积提供更大的感受野，融合不同卷积的特征图经过Attention Gate后与原特征图进行残差连接，实现有效的多尺度特征表达，更好地处理图像背景复杂，对比度差的问题，相比于传统网络，本发明的网络能够更好地捕捉复杂多变的血管结构，分割复杂背景下细微的血管末梢。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明的方法流程示意图。
图2为本发明的网络模型框架示意图。
图3为本发明中RTC模块结构示意图。
图4为本发明中TAF模块结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1 一种基于动态管状卷积的OCTA图像血管分割方法，其特征在于，包括以下步骤：
S1.在公开的OCTA-500数据集中选取n张眼底视网膜OCTA投影图像，得到数据集；
S2.将从步骤S1中得到的数据集按比例进行划分，划分为训练集、验证集和测试集，然后对训练集进行数据集增强操作，得到增强后的训练数据集；
S3.通过设置编码器、多尺度特征融合模块和解码器进行网络结构的设置，编码器采用残差动态管状卷积编码器模块RTC，多尺度特征融合模块采用管状卷积空洞卷积融合模块TAF；
S4.将从步骤S3获得的特征图输入到Sigmoid函数计算得到最终概率图，设定阈值，将像素坐标的像素点与阈值进行比较，判断像素点的所属来源，并保存判断后的分割结果图，再将分割结果图与其对应的标签输入到损失函数中计算凸扩张损失；
S5.进行网络结构训练，通过反向传播计算损失函数对每个参数的梯度，使用优化器对步骤S3中网络结构的参数进行更新，完成对参数的调整和优化，保存训练过程中评价最优指标的参数；
S6.读取步骤S5中保存的最优指标的参数，将其加载到网络结构中对OCTA图像进行分割，并保存最终分割结果。
进一步地，步骤S1中得到的数据集,，为第张OCTA投影图像。
进一步地，步骤S2中增强后的训练数据集，，表示进行增强后的训练集的图像张数，表示第张增强后的训练数据集的OCTA投影图像。
进一步地，步骤S3中通过设置编码器、多尺度特征融合模块和解码器进行网络结构的设置，编码器，具体步骤为：
S3.1编码器采用残差动态卷积编码器模块来进行特征提取，编码器的由五个RTC模块组成，相邻两个RTC模块中间穿插一个最大池化层，RTC模块包括两个分支，第一个分支由两组动态管状卷积层、卷积层、BatchNorm归一化操作层、ReLu激活函数组成，第二个分支由卷积层、归一化操作层、ReLu激活函数组成，特征提取的具体过程为：
S3.1.1将增强后的训练数据集中的第张OCTA投影图像根据每个像素点的灰度值生成灰度矩阵，将该矩阵通过得到特征图，其中是卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中，X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值，将特征图第一通道矩阵的下标值记作,第二通道矩阵的下标值记作；
将训练数据集中的第张OCTA投影图像输入到第一RTC模块得到特征图，第一RTC模块的计算公式为：，
其中，表示第张图片的输入特征图，表示第张图片的输出特征图，表示ReLu激活函数，表示批量归一化操作，表示卷积核转置矩阵，表示卷积偏置，，表示第个卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，然后从特征图中取出卷积核对应的偏移量，表示膨胀率为1的卷积核，其中心坐标记为，，将其记为，提取后对应的偏移量点为，记作，点为，记作，……，点为，记作；
以在可变形卷积引入偏移量的方式上对偏移量施加限制，通过迭代策略，以卷积核中点为基准，依次迭代，依次迭代，对迭代过程中的每一个点以上一轮迭代点的坐标作为基准分别对x，y施加偏移量得到下一轮迭代的点的坐标，表示偏移量的范围参数，点的下一轮迭代点的坐标为，施加偏移后的点的坐标为，，表示偏移量点数，表示迭代次数；
S3.1.2将步骤S3.1.1中得到的输入到编码器的第一最大池化层中，输出得到特征图；
S3.1.3将步骤S3.1.2中得到的特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作；将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；
将特征图输入到第二RTC模块得到特征图，第二RTC模块的计算公式为，
其中，表示第张图片的输入特征图，表示第张图片的输出特征图，表示ReLu激活函数，表示操作，表示卷积核转置矩阵，表示卷积偏置，，表示第个卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1.1；
S3.1.4将步骤S3.1.3中的特征图输入到编码器的第二最大池化层中，输出得到特征图，其中池化窗口为22，池化策略为最大池化；
S3.1.5将步骤S3.1.4中得到的特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；
将特征图输入到第三RTC模块得到特征图，第三RTC模块的计算公式为，
其中，表示第张图片的输入特征图，表示第张图片的输出特征图，表示ReLu激活函数，表示操作，表示卷积核转置矩阵，表示卷积偏置，，表示第个卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1.1；
S3.1.6将步骤S3.1.5中的特征图输入到编码器的第三最大池化层中，输出得到特征图，其中池化窗口为22，池化策略为最大池化；
S3.1.7将步骤S3.1.6中得到的特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；
将特征图输入到第四RTC模块得到特征图，第四RTC模块的计算公式为，
其中，表示第张图片的输入特征图，表示第张图片的输出特征图，表示ReLu激活函数，表示操作，表示卷积核转置矩阵，表示卷积偏置，，表示第个卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1.1；
S3.1.8将步骤S3.1.7中的特征图输入到编码器的第四最大池化层中，输出得到特征图，其中池化窗口为22，池化策略为最大池化；
S3.1.9将步骤S3.1.8中得到的特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；
将特征图输入到第五RTC模块得到特征图，第五RTC模块的计算公式为，
其中，表示第张图片的输入特征图，表示第张图片的输出特征图，表示ReLu激活函数，表示操作，表示卷积核转置矩阵，表示卷积偏置，，表示第个卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1.1；
S3.2多尺度特征融合模块采用管状卷积空洞卷积融合模块TAF，多尺度特征融合模由三组上采样层、聚合函数拼接、第一TAF模块构成，TAF模块由三个卷积分支、Attention Gate注意力门、1×1卷积模块以及一个残差连接构成，三个卷积分支中第一分支由动态管状卷积和1×1卷积层组成，第二分支和第三分支均由膨胀卷积和1×1卷积层组成，具体操作过程为：
S3.2.1将从步骤S3.1中得到的特征图输入到第一上采样层通过上采样采取双线性插值的方法得到特征图，然后将特征图与步骤S3.1中得到的特征图进行拼接操作得到特征图；
S3.2.2将从步骤S3.2.1中得到的特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；将特征图输入到第一模块得到特征图，第一模块的计算公式为，，，，；
其中，、为AttentionGate模块中的参数，表示第张眼底视网膜OCTA投影图像，为AttentionGate模块的中间变量，表示ReLu激活函数，表示激活函数，表示操作，表示的卷积核的转置矩阵，表示卷积偏置，，表示第个卷积操作，表示参数集合，表示卷积核大小为，stride为1，padding为1，膨胀系数为的卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1中的步骤S3.1.1；
S3.2.3将步骤S3.1中得到的特征图输入到第二上采样层通过上采样采取双线性插值的方法得到特征图，将特征图与步骤S3.1中得到的特征图进行拼接操作得到特征图；
S3.2.4将从步骤S3.2.3中得到的特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；将特征图输入到第二TAF模块得到特征图，第二TAF模块的计算公式为，，，，；
其中，、为AttentionGate模块需要的参数，为AttentionGate模块的中间变量，表示ReLu激活函数，表示Sigmoid激活函数，表示操作，表示的卷积核的转置矩阵，表示卷积偏置，，表示第个卷积操作，表示参数集合，表示卷积核大小为，stride为1，padding为1，膨胀系数为的卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1中的步骤S3.1.1；
S3.2.5将步骤S3.1中得到的特征图输入到第三上采样层通过上采样采取双线性插值的方法得到特征图，将特征图与步骤S3.1中得到的特征图进行拼接操作得到特征图；
S3.2.6将从步骤S3.2.5中得到的特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；将特征图输入到第三TAF模块得到特征图，第三TAF模块的计算公式为，，，，；
其中，、为AttentionGate模块需要的参数，为AttentionGate模块的中间变量，表示ReLu激活函数，表示Sigmoid激活函数，表示操作，表示的卷积核的转置矩阵，表示卷积偏置，，表示第个卷积操作，表示参数集合，表示卷积核大小为，stride为1，padding为1，膨胀系数为的卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1中的步骤S3.1.1；
S3.3解码器由四组上采样层和RTC模块构成，具体操作过程为：
S3.3.1将从步骤S3.1中得到的特征图输入到第四上采样层通过上采样采取双线性插值的方法得到特征图，将步骤S3.1中得到的特征图与特征图进行拼接操作得到特征图；
S3.3.2将特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；
将特征图输入到第六RTC模块得到特征图，第六RTC模块的计算公式为；
其中，表示第张图片的输入特征图，表示第张图片的输出特征图，表示ReLu激活函数，表示操作，表示卷积核转置矩阵，表示卷积偏置，，表示第个卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1中的步骤S3.1.1；
S3.3.3将从步骤S3.3.2中得到的特征图输入到第五上采样层通过上采样采取双线性插值的方法得到特征图，将从步骤S3.2中得到的特征图与特征图进行拼接操作得到特征图；
S3.3.4将特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；
将特征图输入到第七RTC模块得到特征图，第七RTC模块的计算公式为；
其中，表示第张图片的输入特征图，表示第张图片的输出特征图，表示ReLu激活函数，表示操作，表示卷积核转置矩阵，表示卷积偏置，，表示第个卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1中的步骤S3.1.1；
S3.3.5将从步骤S3.3.4中得到的特征图输入到第六上采样层通过上采样采取双线性插值的方法得到特征图，将从步骤S3.2中得到的特征图与特征图进行拼接操作得到特征图；
S3.3.6将特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；
将特征图输入到第八RTC模块得到特征图，第八RTC模块的计算公式为；
其中，表示第张图片的输入特征图，表示第张图片的输出特征图，表示ReLu激活函数，表示操作，表示卷积核转置矩阵，表示卷积偏置，，表示第个卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1中的步骤S3.1.1；
S3.3.7将从步骤S3.3.6中得到的特征图输入到第七上采样层通过上采样采取双线性插值的方法得到特征图，将从步骤S3.2中得到的特征图与特征图进行拼接操作得到特征图；
S3.3.8将特征图通过得到特征图，其中为卷积核大小为，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；
将特征图输入到第九RTC模块得到特征图，第九RTC模块的计算公式为；
其中，表示第张图片的输入特征图，表示第张图片的输出特征图，表示ReLu激活函数，表示操作，表示卷积核转置矩阵，表示卷积偏置，，表示第个卷积操作，表示卷积核大小为, stride为1，padding为4的动态管状卷积，表示卷积核大小为, stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1中的步骤S3.1.1。
进一步地，步骤S4的具体步骤为：将步骤S3中得到的特征图输入到Sigmoid函数得到第张图片最终的概率图，设定阈值，若像素坐标为的像素点在概率图的值大于等于阈值则判断像素点属于血管,否则属于背景，然后将第张图片判断后的分割结果图记作，再将分割结果图与其对应的标签输入到损失函数中计算凸扩张损失计算公式为其中，为cla类别的Jaccard索引,为约束Jaccard索引的一个向量，表示类别的集合。
进一步地，步骤S5中进行网络结构训练，通过反向传播计算损失函数对每个参数的梯度，使用优化器对步骤S3中网络结构的参数进行更新，使损失函数逐渐减小，并在验证集上进行指标的评价使评价指标逐渐变优，通过损失函数的最小化与验证集评价指标的最优化，完成对参数的调整和优化，保存训练过程中评价最优指标的参数。
进一步地，步骤S6中读取步骤S5中保存的最优指标的参数，将其加载到网络结构中，将OCTA图像输入到网络结构中通过网络的计算得到分割结果图，将分割结果图保存到本地。
实施例2 除上述技术方案外，本发明还提供了本发明还提供一种基于动态管状卷积的OCTA图像血管分割方法的系统，包括以下模块：
数据收集模块：在数据集中选取眼底视网膜OCTA投影图像，得到数据集；
数据预处理模块：将数据处理模块得到的数据集按比例划分为训练集、验证集和测试集，然后对训练集进行数据增强操作，得到增强后的训练数据集；
网络结构设计模块：设置网络结构，网络结构由编码器、多尺度特征融合模块和解码器进行网络结构组成，编码器包括残差动态管状卷积编码器模块RTC，多尺度特征融合模块包括管状卷积空洞卷积融合模块TAF，通过RTC和TAF进行特征提取；
特征图处理模块：将网络结构设计模块提取的特征图转换为最终概率图，与设定阈值做比较得到分割结果图；
训练优化模块：对网络结构设计模块中网络结构的参数进行反向传播，对网络结构设计模块中的参数进行调整和优化得到训练过程中评价最优指标的参数；
图像分割模块：根据训练优化模块中的最优指标的参数，将其加载到网络结构中对OCTA图像进行分割，并保存最终分割结果。
实施例3 如表1所示，将数据集OCTA-500中的20%的图片用于测试，以动脉血管为分割目标，本发明在准确度、IOU评价指标、Dice评价指标上分别达到了74.81%、85.47%、94.73%的结果，相比于U-Net、AttentionU-Net、UNet++等模型，本发明更能更好地捕捉复杂多变的血管结构，分割复杂背景下细微的血管末梢。
表1 本发明与其他模型的结果对比
上述虽然结合附图对发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种基于动态管状卷积的OCTA图像血管分割方法，其特征在于，包括以下步骤：
S1.在公开的OCTA-500数据集中选取n张眼底视网膜OCTA投影图像，得到数据集；
S2.将从步骤S1中得到的数据集按比例进行划分，划分为训练集、验证集和测试集，然后对训练集进行数据集增强操作，得到增强后的训练数据集D;
S3.通过设置编码器、多尺度特征融合模块和解码器进行网络结构的设置，编码器采用残差动态管状卷积编码器模块RTC,多尺度特征融合模块采用管状卷积空洞卷积融合模块TAF;
S4.将从步骤S3获得的特征图输入到Sigmoid函数计算得到最终概率图，设定阈值，将像素坐标的像素点与阈值进行比较，判断像素点的所属来源，并保存判断后的分割结果图，再将分割结果图与其对应的标签输入到损失函数中计算凸扩张损失;
S5.进行网络结构训练，通过反向传播计算损失函数对每个参数的梯度，使用优化器对步骤S3中网络结构的参数进行更新，完成对参数的调整和优化，保存训练过程中评价最优指标的参数；
S6.读取步骤S5中保存的最优指标的参数，将其加载到网络结构对OCTA图像进行分割，并保存最终分割结果。
2.根据权利要求1所述的基于动态管状卷积的OCTA图像血管分割方法，其特征是：步骤S1中得到的数据集,为第i张OCTA投影图像。
3.根据权利要求1所述的基于动态管状卷积的OCTA图像血管分割方法，其特征是：步骤S2中增强后的训练数据集，，j表示进行增强后的训练集的图像张数，表示第j张增强后的训练数据集的OCTA投影图像。
4.根据权利要求1所述的基于动态管状卷积的OCTA图像血管分割方法，其特征是：步骤S3中通过设置编码器、多尺度特征融合模块和解码器进行网络结构的设置，编码器，具体步骤为：
S3.1编码器采用残差动态卷积编码器模块来进行特征提取，编码器的由五个RTC模块组成，相邻两个RTC模块中间穿插一个最大池化层，RTC模块包括两个分支，第一个分支由两组动态管状卷积层、1×1卷积层、归一化操作层、ReLu激活函数组成，第二个分1×1卷积层、归一化操作层、ReLu激活函数组成，特征提取的具体过程为：
S3.1.1将增强后的训练数据集D中的第i张OCTA投影图像根据每个像素点的灰度值生成灰度矩阵，将该矩阵通过得到特征图，其中是卷积核大小为3×3，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中，X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值，将特征图第一通道矩阵的下标值记作,第二通道矩阵的下标值记作;
将训练数据集D中的第i张OCTA投影图像输入到第一RTC模块得到特征图，第一RTC模块的计算公式为：，
其中，表示第i张图片的输入特征图，表示第i张图片的输出特征图，表示ReLu激活函数，表示批量归一化操作，表示卷积核转置矩阵,表示卷积偏置,,表示第个卷积操作，表示卷积核大小为3×3，stride为1，padding为4的动态管状卷积，然后从特征图中取出卷积核K对应的偏移量，K表示膨胀率为1的3×3卷积核，其中心坐标记为，，将其记为，提取后K对应的偏移量点为，记作，点为，记作，……，点为，记作；
以在可变形卷积引入偏移量的方式上对偏移量施加限制，通过迭代策略，以卷积核K中点为基准，，，，依次迭代，，，，依次迭代，对迭代过程中的每一个点以上一轮迭代点的坐标作为基准分别对x，y施加偏移量得到下一轮迭代的点的坐标，表示偏移量的范围参数，点（x，y）的下一轮迭代点的坐标为，施加偏移后的点的坐标为，，C表示偏移量点数，表示迭代次数；
S3.1.2将步骤S3.1.1中得到的输入到编码器的第一最大池化层中，输出得到特征图；
下述步骤S3.1.3至S3.1.9的运算如步骤S3.1.1和步骤S3.1.2；
S3.1.3将步骤S3.1.2中得到的特征图通过得到特征图，将特征图通过公式映射到[-1,1]区间，再通过函数得到特征图；将特征图输入到第二RTC模块得到特征图，偏移量从特征图中读取获得；
S3.1.4将步骤S3.1.3中的特征图输入到编码器的第二最大池化层中，输出得到特征图；
S3.1.5将步骤S3.1.4中得到的特征图通过得到特征图，将特征图通过公式映射到[-1,1]区间，再通过函数得到特征图；将特征图输入到第三RTC模块得到特征图，偏移量从特征图中读取获得；
S3.1.6将步骤S3.1.5中的特征图输入到编码器的第三最大池化层中，输出得到特征图；
S3.1.7将步骤S3.1.6中得到的特征图通过得到特征图，将特征图通过公式映射到[-1,1]区间，再通过函数得到特征图；将特征图输入到第四RTC模块得到特征图，偏移量从特征图中读取获得；
S3.1.8将步骤S3.1.7中的特征图输入到编码器的第四最大池化层中，输出得到特征图；
S3.1.9将步骤S3.1.8中得到的特征图通过得到特征图，通过公式映射到[-1,1]区间，其中X表示输入特征图的值，再通过函数得到特征图；将特征图输入到第五RTC模块得到特征图，偏移量从特征图中读取获得；
所述第二RTC模块、……、第五RTC模块的计算公式与第一RTC模块相同；
S3.2多尺度特征融合模块采用管状卷积空洞卷积融合模块TAF,多尺度特征融合模由三组上采样层、拼接聚合函数拼接、第一TAF模块构成，TAF模块由三个卷积分支、注意力门、1×1卷积模块以及一个残差连接构成，三个卷积分支中第一分支由动态管状卷积和1×1卷积层组成，第二分支和第三分支均由膨胀卷积和1×1卷积层组成，具体操作过程为：
S3.2.1将从步骤S3.1中得到的特征图输入到第一上采样层通过上采样采取双线性插值的方法得到特征图,然后将特征图与步骤S3.1中得到的特征图进行拼接操作得到特征图；
S3.2.2将从步骤S3.2.1中得到的特征图通过得到特征图，其中为卷积核大小为3×3，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，其中X表示输入特征图的值，为特征图的最大值，为的最小值，再通过函数得到特征图，Y表示输出特征图的值；将特征图输入到第一TAF模块得到特征图，第一TAF模块的计算公式为，，，，，
其中，、为注意力门模块中的参数，i表述第i张眼底视网膜OCTA投影图像，为模块的中间变量，表示ReLu激活函数，表示Sigmoid激活函数，表示拼接操作，表示1×1的卷积核的转置矩阵，表示卷积偏置，，表示第个卷积操作，表示参数集合，表示卷积核大小为3×3，stride为1，padding为1，膨胀系数为的卷积操作，表示卷积核大小为3×3，stride为1，padding为4的动态管状卷积，其偏移量从特征图中读取获得，获取方法如步骤S3.1中的步骤S3.1.1；
下述步骤S3.2.3至S3.2.6的运算如步骤S3.2.1和步骤S3.2.2；
S3.2.3将步骤S3.1中得到的特征图输入到第二上采样得到特征图，将特征图与步骤S3.1中得到的特征图进行拼接操作得到特征图；
S3.2.4将从步骤S3.2.3中得到的特征图通过得到特征图，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，再通过函数得到特征图；
将特征图输入到第二TAF模块得到特征图，偏移量从特征图中读取获得；
S3.2.5将步骤S3.1中得到的特征图输入到第三上采样层得到特征图，将特征图与步骤S3.1中得到的特征图进行拼接操作得到特征图；
S3.2.6将从步骤S3.2.5中得到的特征图通过得到特征图，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，再通过函数得到特征图；
将特征图输入到第三TAF模块得到特征图，偏移量从特征图中读取获得；
所述第二TAF模块和第三TAF模块的计算公式与第一TAF模块相同；
S3.3解码器由四组上采样层和RTC模块构成，具体操作过程为：
S3.3.1将从步骤S3.1中得到的特征图输入到第四上采样层得到特征图，将步骤S3.1中得到的特征图与特征图进行拼接操作得到特征图；
S3.3.2将特征图通过得到特征图，将特征图通过公式映射到[-1,1]区间，再通过函数得到特征图；
将特征图输入到第六RTC模块得到特征图，偏移量从特征图中读取获得；
S3.3.3将从步骤S3.3.2中得到的特征图输入到第五上采样层得到特征图，将从步骤S3.2中得到的特征图与特征图进行拼接操作得到特征图；
S3.3.4将特征图通过得到特征图，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，再通过函数得到特征图；
将特征图输入到第七RTC模块得到特征图，偏移量从特征图中读取获得；
S3.3.5将从步骤S3.3.4中得到的特征图输入到第六上采样层得到特征图，将从步骤S3.2中得到的特征图与特征图进行拼接操作得到特征图；
S3.3.6将特征图通过得到特征图，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，再通过函数得到特征图；
将特征图输入到第八RTC模块得到特征图，偏移量从特征图中读取获得；
S3.3.7将从步骤S3.3.6中得到的特征图输入到第七上采样层得到特征图，将从步骤S3.2中得到的特征图与特征图进行拼接操作得到特征图；
S3.3.8将特征图通过得到特征图，将特征图通过公式映射到[-1,1]区间，其中X表示输入特征图的值，再通过函数得到特征图；
将特征图输入到第九RTC模块得到特征图，偏移量从特征图中读取获得；
所述第五RTC模块、……、第九RTC模块的计算公式与第一RTC模块相同。
5.根据权利要求1所述的基于动态管状卷积的OCTA图像血管分割方法，其特征是：步骤S4的具体步骤为：将步骤S3中得到的特征图输入到Sigmoid函数得到第i张图片最终的概率图，设定阈值，若像素坐标为（x，y）的像素点在概率图的值大于等于阈值则判断像素点属于血管,否则属于背景，然后将第i张图片判断后的分割结果图记作，再将分割结果图与其对应的标签输入到损失函数中计算凸扩张损失，计算公式为其中，为cla类别的Jaccard索引，为约束索引的一个向量，表示类别的集合。
6.根据权利要求1所述的基于动态管状卷积的OCTA图像血管分割方法，其特征是：步骤S5中进行网络结构训练，通过反向传播计算损失函数对每个参数的梯度，使用优化器对步骤S3中网络结构的参数进行更新，使损失函数逐渐减小，并在验证集上进行指标的评价使评价指标逐渐变优，通过损失函数的最小化与验证集评价指标的最优化，完成对参数的调整和优化，保存训练过程中评价最优指标的参数。
7.根据权利要求1所述的基于动态管状卷积的OCTA图像血管分割方法，其特征是：步骤S6中读取步骤S5中保存的最优指标的参数，将其加载到网络结构中，通过网络结构中的计算得到分割结果图，将分割结果图保存到本地。
8.一种基于动态管状卷积的OCTA图像血管分割方法的系统，其特征在于，包括以下模块：
数据收集模块：在数据集中选取眼底视网膜OCTA投影图像，得到数据集；
数据预处理模块：将数据处理模块得到的数据集按比例划分为训练集、验证集和测试集，然后对训练集进行数据增强操作，得到增强后的训练数据集；
网络结构设计模块：设置网络结构，网络结构由编码器、多尺度特征融合模块和解码器进行网络结构组成，编码器包括残差动态管状卷积编码器模块RTC，多尺度特征融合模块包括管状卷积空洞卷积融合模块TAF，通过RTC和TAF进行特征提取；
特征图处理模块：将网络结构设计模块提取的特征图转换为最终概率图，与设定阈值做比较得到分割结果图；
训练优化模块：对网络结构设计模块中网络结构的参数进行反向传播，对网络结构设计模块中的参数进行调整和优化得到训练过程中评价最优指标的参数；
图像分割模块：根据训练优化模块中的最优指标的参数，将其加载到网络中对OCTA图像进行分割，并保存最终分割结果。
CN202311714309.2A 2023-12-14 2023-12-14 基于动态管状卷积的octa图像血管分割方法及其系统 Active CN117409030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311714309.2A CN117409030B (zh) 2023-12-14 2023-12-14 基于动态管状卷积的octa图像血管分割方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311714309.2A CN117409030B (zh) 2023-12-14 2023-12-14 基于动态管状卷积的octa图像血管分割方法及其系统

Publications (2)

Publication Number Publication Date
CN117409030A true CN117409030A (zh) 2024-01-16
CN117409030B CN117409030B (zh) 2024-03-22

Family

ID=89500223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311714309.2A Active CN117409030B (zh) 2023-12-14 2023-12-14 基于动态管状卷积的octa图像血管分割方法及其系统

Country Status (1)

Country Link
CN (1) CN117409030B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117612221A (zh) * 2024-01-24 2024-02-27 齐鲁工业大学(山东省科学院) 结合注意力shift的OCTA图像血管提取方法
CN118279296A (zh) * 2024-05-31 2024-07-02 齐鲁工业大学(山东省科学院) 基于辅助学习网络的颈动脉血管提取方法、系统及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009020630A2 (en) * 2007-08-07 2009-02-12 Siemens Medical Solutions Usa, Inc. System and method for robust segmentation of tubular structures in 2d and 3d images
CN106529552A (zh) * 2016-11-03 2017-03-22 中国海洋大学 一种扇贝贝壳生长纹路的分割与识别方法
WO2018048900A1 (en) * 2016-09-06 2018-03-15 President And Fellows Of Harvard College Living devices for replacement of organs or specific organ functions, methods and uses of the same
CN113033345A (zh) * 2021-03-10 2021-06-25 南京航空航天大学 基于公共特征子空间的v2v视频人脸识别方法
CN113642390A (zh) * 2021-07-06 2021-11-12 西安理工大学 一种基于局部注意力网络的街景图像语义分割方法
CN114581411A (zh) * 2022-02-28 2022-06-03 北京科技大学 一种卷积核生成方法和装置、电子设备
CN116994060A (zh) * 2023-08-16 2023-11-03 南京信息工程大学 基于lbp提取和tcnn神经网络的脑部纹理分析方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009020630A2 (en) * 2007-08-07 2009-02-12 Siemens Medical Solutions Usa, Inc. System and method for robust segmentation of tubular structures in 2d and 3d images
WO2018048900A1 (en) * 2016-09-06 2018-03-15 President And Fellows Of Harvard College Living devices for replacement of organs or specific organ functions, methods and uses of the same
CN106529552A (zh) * 2016-11-03 2017-03-22 中国海洋大学 一种扇贝贝壳生长纹路的分割与识别方法
CN113033345A (zh) * 2021-03-10 2021-06-25 南京航空航天大学 基于公共特征子空间的v2v视频人脸识别方法
CN113642390A (zh) * 2021-07-06 2021-11-12 西安理工大学 一种基于局部注意力网络的街景图像语义分割方法
CN114581411A (zh) * 2022-02-28 2022-06-03 北京科技大学 一种卷积核生成方法和装置、电子设备
CN116994060A (zh) * 2023-08-16 2023-11-03 南京信息工程大学 基于lbp提取和tcnn神经网络的脑部纹理分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XI XIANG等: ""Octahedron-shaped Convolution for Refining Aorta Semantic Segmentation"", 《2021 5TH ASIAN CONFERENCE ON ARTIFICIAL INTELLIGENCE TECHNOLOGY (ACAIT)》, 14 March 2022 (2022-03-14), pages 1 - 4 *
王孙平等: ""融合深度图像的卷积神经网络语义分割方法"", 《集成技术》, 30 September 2018 (2018-09-30), pages 58 - 66 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117612221A (zh) * 2024-01-24 2024-02-27 齐鲁工业大学(山东省科学院) 结合注意力shift的OCTA图像血管提取方法
CN117612221B (zh) * 2024-01-24 2024-04-26 齐鲁工业大学(山东省科学院) 结合注意力shift的OCTA图像血管提取方法
CN118279296A (zh) * 2024-05-31 2024-07-02 齐鲁工业大学(山东省科学院) 基于辅助学习网络的颈动脉血管提取方法、系统及设备

Also Published As

Publication number Publication date
CN117409030B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
CN112150425B (zh) 一种基于神经网络的无监督血管内超声图像配准方法
CN109191476B (zh) 基于U-net网络结构的生物医学图像自动分割新方法
CN112927255B (zh) 一种基于上下文注意力策略的三维肝脏影像语义分割方法
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN111145181B (zh) 基于多视角分离卷积神经网络的骨骼ct图像三维分割方法
CN117409030B (zh) 基于动态管状卷积的octa图像血管分割方法及其系统
CN113205537B (zh) 基于深度学习的血管图像分割方法、装置、设备及介质
CN112132833A (zh) 一种基于深度卷积神经网络的皮肤病图像病灶分割方法
CN110223304B (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
CN112330724B (zh) 一种基于集成注意力增强的无监督多模态图像配准方法
CN112750137B (zh) 基于深度学习的肝脏肿瘤分割方法及系统
Popescu et al. Retinal blood vessel segmentation using pix2pix gan
CN112365514A (zh) 基于改进PSPNet的语义分割方法
CN115170582A (zh) 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法
CN113539402B (zh) 多模态影像自动勾画模型迁移方法
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN117422880B (zh) 改进的注意力机制与cv模型相结合的分割方法及其系统
CN117078692A (zh) 一种基于自适应特征融合的医疗超声图像分割方法及系统
CN110660045A (zh) 基于卷积神经网络的淋巴结识别的半监督方法
CN117934824A (zh) 一种超声影像的目标区域分割方法、系统及电子设备
CN117611599B (zh) 融合中心线图和增强对比度网络的血管分割方法及其系统
CN115511882A (zh) 一种基于病变权重特征图的黑色素瘤识别方法
CN109919216B (zh) 一种用于计算机辅助诊断前列腺癌的对抗学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant