CN117611599B - 融合中心线图和增强对比度网络的血管分割方法及其系统 - Google Patents

融合中心线图和增强对比度网络的血管分割方法及其系统 Download PDF

Info

Publication number
CN117611599B
CN117611599B CN202311823663.9A CN202311823663A CN117611599B CN 117611599 B CN117611599 B CN 117611599B CN 202311823663 A CN202311823663 A CN 202311823663A CN 117611599 B CN117611599 B CN 117611599B
Authority
CN
China
Prior art keywords
convolution
layer
map
network
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311823663.9A
Other languages
English (en)
Other versions
CN117611599A (zh
Inventor
陈达
王友明
刘丽
张炯
曹步勇
张�林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Original Assignee
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Institute of Artificial Intelligence filed Critical Qilu University of Technology
Priority to CN202311823663.9A priority Critical patent/CN117611599B/zh
Publication of CN117611599A publication Critical patent/CN117611599A/zh
Application granted granted Critical
Publication of CN117611599B publication Critical patent/CN117611599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉与医学图像处理领域，尤其涉及一种融合中心线图和增强对比度网络的血管分割方法及其系统，包括以下步骤：在数据集中选取n张眼底视网膜图像记为数据集；增强数据集，然后将其按比例划分为训练集和测试集；构建网络结构，对输入图像进行特征提取和分析，然后将得到的特征图送入解码器，进行特征图融合；用损失来量化预测结果和真实标签之间的差异程度，进而得到总体损失；使用反向传播计算损失函数对网络参数的梯度，对网络结构的参数进行优化，保存得出最优的网络权重和偏置量，用于对测试集的眼底视网膜图像进行血管分割，最后保存图像。本发明将传统的血管分割方法和深度学习方法相结合，可以充分发挥两种方法的优点。

Description

融合中心线图和增强对比度网络的血管分割方法及其系统
技术领域
本发明涉及计算机视觉与医学图像处理领域，尤其涉及一种融合中心线图和增强对比度网络的血管分割方法及其系统。
背景技术
医学图像分割是计算机辅助诊断领域的一个重要分支，它在临床诊断和研究中有着广泛的应用，可分为传统方法和基于深度学习的方法。传统方法是基于传统计算机视觉和图像处理技术的方法来进行图像分析的一类方法，包括了基于阙值分割、模板匹配和聚类等经典的分割方法。这些方法经常作为图像处理的预处理步骤，用以获取图像的关键特征信息，提升图像分析效率。如已经提出中心线提取的方法，使用中心线可以提取血管的几何信息，对血管分割取得不错的效果。然而，传统的方法容易受到干扰因素的影响，对庞大数据集的分割任务不适用，不能满足实际的需求。
近年来，深度学习技术的飞速发展让医学影像分析领域取得了重要进展，一系列基于深度学习的分割方法被提出，越来越多基于深度学习的神经网络模型被应用到医学图像分割中，利用神经网络模型自动分析特征并实现血管分割。如使用基于U-Net架构的神经网络，将UNet和残差网络的优势结合到一起对血管进行分割，得到了良好的效果。然而，单一的网络模型往往难以充分利用血管的不同层次的特征信息，从而限制了血管分割的效果。
因此，本发明提出了融合中心线图和增强对比度网络的血管分割方法及其系统，可以在分析复杂度高的图像时神经网络还能够很好的结合血管的几何信息，提高分割的效率和质量。
发明内容
本发明针对现有技术的不足，提出了一种融合中心线图和增强对比度网络的血管分割方法及其系统，能够在分析复杂度高的图像时神经网络还能够很好的结合血管的几何信息，提高分割的效率和质量。
本发明解决技术问题的技术方案为：
一种融合中心线热图和增强对比度的双解码器网络的血管分割方法，包括以下步骤：
S1.在数据集DRIVE和FIVE中选取n张眼底视网膜图像，记为数据集D'；
S2.对数据集D'进行预处理，首先进行数据增强，然后将增强后的数据集D按比例划分为训练集Train和测试集Test；
S3.构建包含编码器、中间结构层，提取中心线模块，第一解码器、第二解码器和特征融合模块的网络结构，对输入图像进行特征提取和分析，然后将得到的特征图送入解码器，最后对特征图进行融合；
S4.通过计算提取中心线模块得到的中心线热图与其对应的掩模图像标签的损失函数LD来量化预测结果和真实标签之间的差异程度，进一步计算总体损失L；
S5.使用反向传播计算损失函数对网络参数的梯度，对步骤S3中网络结构的参数进行优化，得出最优的网络权重weight和偏置量bias，并将其保存，然后读取保存的网络权重weight和偏置量bias，并将其加载入网络结构中，最后读取测试集的眼底视网膜图像，完成血管分割，保存最终的图像结果。
进一步地，S1的具体步骤为：在公开的数据集DRIVE和FIVE中一共选取n张眼底视网膜图像，记为数据集D'＝{D'1,D'2,D'3,……,D'i,……,D'n}，i≤n，D'i表示第i张眼底视网膜造影图像，DRIVE和FIVE数据集是用于眼底视网膜图像分割的常用数据集，DRIVE包含40张tif格式的已注释的彩色视网膜图像，FIVE包含800张png格式的已注释的彩色视网膜图像。
进一步地，S2的具体步骤为：对数据集D'进行预处理，首先对数据集进行剪裁、翻转、旋转和缩放数据增强，得到增强后的数据集D，D＝{D1,D2,D3,……,Di,……,Dn}，i≤n，Di表示第i张增强后的眼底视网膜造影图像，按7:3的比例对增强后的数据集D进行划分，将数据集D划分为训练集Train和测试集Test。
进一步地，S3的具体步骤为：
a.通过编码器对数据集中的原始图像进行特征提取，编码器内依次为四组特征提取单元和最大池化层，特征提取单元均由两个卷积块和一个残差块组成，卷积块分为第一卷积块和第二卷积块，卷积块均由卷积核为3×3，步长为1×1，padding为0的卷积层、BN归一化层、Relu激活函数和Dropout层组成；
a-1)在第一特征提取单元中，将训练集Train中的第i张图像Di输入到第一卷积块，得到特征图随后将特征图/>输入到第二卷积块，得到特征图/>然后将特征图/>和/>输入到残差卷积块中得到特征图/>
a-2)将特征图输入到窗口设置为2×2的第一最大池化层得到特征图/>
另外三组特征提取单元和最大池化层重复a-1)和a-2)中的操作：
a-3)将特征图输入到第二特征提取单元，首先经过第一卷积块得到/>将输入到第二卷积块得到/>将特征图/>和/>输入到残差卷积块中得到特征图/>将特征图输入到第二最大池化层得到特征图/>
a-4)将特征图输入到第三特征提取单元，首先经过第一卷积块得到/>将输入到第二卷积块得到/>将特征图/>和/>输入到残差卷积块中得到特征图/>将特征图输入到第三最大池化层得到特征图/>
a-5)将特征图输入到第四特征提取单元，首先经过第一卷积块得到/>将输入到第二卷积块得到/>将特征图/>和/>输入到残差卷积块中得到特征图/>将特征图输入到第四最大池化层得到特征图/>
b.中间结构层包括第一卷积块、第二卷积块和残差连接块，第一卷积块和第二卷积块均由卷积核为3×3，步长为1×1，填充padding为0的卷积层、BN归一化层、Relu激活函数和Dropout层组成；
b-1)将特征图输入到第一卷积块中得到特征图/>
b-2)将特征图输入到第二卷积块中得到特征图/>
b-3)将特征图和特征图/>输入到残差连接块中得到特征图Dc；
c.提取中心线模块对数据集中的掩模图像进行分析，得到中心线热图的部分，提取中心线模块由第一多任务卷积单元、中心线距离计算层、特征点检测层、特征融合层和第二卷积单元组成；第一多任务卷积单元由第三卷积块、第四卷积块和第五卷积块组成，其中，第三卷积块由卷积核为3×3，步长为1×1，padding为0的卷积层、BN归一化层和Relu激活函数组成，第四卷积块和第五卷积块均由卷积层、BN归一化层、Relu激活函数和Sigmoid激活函数组成；中心线距离计算层由距离图计算层、通道注意力模块和特征融合层组成；中心线距离计算层的通道注意力模块依次由卷积层、Relu激活函数和Softmax函数组成；
c-1)将训练集Train中第i张眼底视网膜掩模图像输入到第一多任务卷积单元的第三卷积块中得到特征图Dr，将特征图Dr输入到第四卷积块中，经过Sigmoid函数得到特征图/>将特征图Dr输入到第五卷积块中，经过Sigmoid函数得到特征图/>
c-2)将特征图输入到距离图计算层，采用欧几里得距离变换方法将特征图生成中心线距离特征图Fi，假设图像分割掩模是IX×Y，I＝{(x,y)|x∈{1,……,X},y∈{1,……,Y}}，表示图像中所有像素点(x,y)位置的集合X和Y，计算公式为：
其中，dl是像素l到中心线点的欧几里得距离，xl是像素l在x轴上的位置，yl是像素l是在y轴上的位置，l∈I，*是卷积符号，λ是调整参数；
将中心线距离特征图Fl输入到通道注意力模块，按通道关注度进行加权计算，输出得到通道加权特征图注意力模块通过通道注意力权重ak对不同的通道进行加权，首先在中心线距离图的每个通道上应用卷积层获得通道特征向量v，然后通过Relu激活函数获得原始注意力权重q，再对权重q应用softmax函数以获得最终的通道注意力权重ak，将中心线距离图Fl乘以权重ak获得通道加权特征图/>计算公式为：
q＝σ(Wk*v+bk)
其中Wk是卷积核，bk是偏置向量，*是卷积运算符，σ表示Relu激活函数，ak表示通道注意力权重，Fl是中心线距离图，是通道加权特征图，K是表示特征图数量，v表示通道特征向量，k表示标识符；
将中心线距离图Fl和通道加权特征图输入到特征融合层中，按逐像素相乘的方式进行特征融合，得到高级中心线距离图/>
c-3)将特征图输入到提取中心线模块的特征点检测层中，使用FAST算法检测图像中的点生成点特征图/>提取/>中的特征点生成点集Qt，在每个特征点周围构造高斯分布，生成一个基于像素点的特征点置信特征图/>
c-4)将高级中心线距离特征图和特征点置信特征图/>输入到提取中心线模块的特征融合层中进行Concat特征融合，输出得到中心线热特征图/>
c-5)将中心线特征图输入到第二卷积单元中，输出得到中心线热特征图Dt；
d.第一解码器进行部分路径扩展，包括几何特征融合层、卷积核大小为1×1，步长为1×1，padding为0的第五卷积单元和四组自注意力模块、对比度增强层、上采样层和特征融合层，其中，自注意力模块由卷积核为1×1，步长为1×1,padding为0的第一卷积层和第三卷积层、卷积核为1×1，步长为2×2,padding为0的第二卷积层、Relu激活函数和反卷积核为2×2，步长为2×2，padding为0的上采样层组成；对比度增强层由对比度增强层、卷积核为1×1，步长为1×1，padding为0的卷积层和concat特征融合层组成；
自注意力模块的计算公式为：
Mz＝Φ(f3(σ1(f1(Pz,Wz1)+f2(Pj,Wz2)),Wz3))
其中，Mz是自注意力模块输出的特征图，Pz和Pj是来自编码器第z层和第j层的输入特征图，Wz1、Wz2和Wz3均表示卷积参数，f1(,)表示卷积核为1×1的卷积函数，f2(,)表示卷积核为2×2的卷积函数，f3(,)表示卷积核为1×1的卷积函数，σ1表示Relu激活函数，Φ表示上采样；
d-1)将特征图Dc输入到第一卷积层输出图将特征图/>输入到第二卷积层后输出得到图/>将/>与/>逐像素相加得到图/>将/>输入到Relu函数后，得到特征图/>将/>输入到第三卷积层输出/>经过上采样层后得到特征图/>
d-2)将特征图输入对比度增强层，采用直方图均衡化方法对图像的每个通道进行对比度增强，得到特征图/>将/>输入卷积层得到/>将特征图/>和/>输入到特征融合层进行特征融合，输出特征图/>
其中，直方图均衡化方法是对输入的图像进行灰度级重新分配，计算公式为：
其中n(w,j)表示图像中像素值为(w,j)的像素点数量，r表示局部均衡化窗口的大小，L表示输出图像的灰度级数，f(x,y)是输入的图像，T为变换函数，g(x,y)为输出图像；
d-3)将特征图Dc输入到第一解码器的第一上采样层，得到特征图将特征图和特征图/>输入到第一特征融合层，输出特征图/>其中，特征融合采用的是concat方法；
d-4)将特征图输入到第一卷积层输出图/>将特征图/>输入到第二卷积层得到/>将/>与/>逐像素相加得到特征图/>将特征图/>输入到Relu函数后，得到特征图/>将特征图/>输入到第三卷积层得到特征图/>特征图/>经过上采样层得到特征图/>
d-5)将特征图输入对比度增强层，采用直方图均衡化算法对图像的每个通道进行对比度增强，得到特征图/>将/>输入卷积层得到/>将特征图/>和/>输入到特征融合层进行特征融合，输出特征图/>
d-6)将特征图输入到第一解码器的第二上采样层，得到特征图/>
d-7)将特征图和特征图/>输入到第二特征融合层，得到特征图/>
d-8)将特征图输入到第一卷积层中得到图/>将特征图/>输入到第二卷积层后输出得到/>将特征图/>与特征图/>逐像素相加得到特征图/>将特征图/>输入到Relu函数后，得到特征图/>将特征图/>输入到第三卷积层得到特征图/>特征图/>经过上采样层得到特征图/>
d-9)将特征图输入对比度增强层，采用直方图均衡化算法对图像的每个通道进行对比度增强，得到特征图/>将/>输入卷积层得到/>将特征图/>和/>输入到特征融合层进行特征融合，输出特征图/>
d-10)将特征图输入到第一解码器的第三上采样层，得到图/>
d-11)将特征图和特征图/>输入到第三特征融合层，得到特征图/>
d-12)将特征图输入到第一卷积层后输出得到/>将特征图/>输入到第二卷积层输出得到图/>将/>与/>逐像素相加得到特征图/>将特征图/>输入到Relu函数后，得到特征图/>将特征图/>输入到第三卷积层得到图经过上采样层得到特征图/>
d-13)将特征图输入对比度增强层，采用直方图均衡化算法对图像的每个通道进行对比度增强，得到特征图/>将/>输入卷积层得到/>将特征图/>和输入到特征融合层进行特征融合，输出特征图/>
d-14)将特征图输入到第四上采样层，得到特征图/>
d-15)将特征图和特征图/>输入到第四特征融合层输出图/>
d-16)将特征图和中心线热图Dt输入到第一解码器的几何特征融合层中，特征融合采用每个像素值相乘的方法，得到特征图/>
d-17)将特征图输入到第一解码器的第五卷积单元中，输出得到特征图/>
e.第二解码器进行部分路径扩展，包括几何特征融合层、第五卷积单元和四组反卷积核大小为2×2，步长为2×2，padding为0的上采样层、concat特征融合层、卷积单元，其中，第五卷积单元中卷积层的卷积核为1×1，步长为1×1，padding为0，其他卷积单元由卷积核为3×3，步长为1×1，padding为0的卷积层、BN归一化层、Relu激活函数和Dropout层构成；
e-1)将特征图Dc输入到第二解码器的第一上采样层得到特征图
e-2)将特征图和/>输入到第二解码器的第一特征融合层得到特征图/>
e-3)将特征图输入到第一卷积单元中，输出得到特征图/>
e-4)将特征图输入到第二上采样层得到特征图/>
e-5)将特征图和/>输入到第二特征融合层得到特征图/>
e-6)将特征图输入到第二卷积单元中，输出得到特征图/>
e-7)将特征图输入到第三上采样层得到特征图/>
e-8)将特征图和/>输入到第三特征融合层特征图/>
e-9)将特征图输入到第三卷积单元得到特征图/>
e-10)将特征图输入到第四上采样层得到特征图/>
e-11)将特征图和/>输入到第二解码器的第四特征融合层中，输出得到特征图/>
e-12)将特征图输入到第四卷积单元得到特征图/>
e-13)将特征图和中心线热图Dt输入到第二解码器的几何特征融合层中，让每个像素值相乘来进行特征融合，得到特征图/>
e-14)将特征图输入到第五卷积单元中，输出得到特征图/>
f.将特征图和/>输入到特征融合层中，通过逐像素值相乘来进行特征融合，得到特征图dend，最后将特征图Dend输入Sigmoid函数得到概率图D'end,设定阈值对像素点进行分类，将概率值大于等于阈值的像素点判断为血管，小于阈值的判断为背景，得到分割结果图Doutput。
进一步地，S4的具体步骤为：
利用给定的掩模图像，采用损失函数LD进行训练，LD损失函数由两项组成，一项用于中心线距离图预测，另一项用于特征点检测；
其中，A代表分割掩模内的每个像素，Yc和分别是标签真实值和预测的中心线距离图，Ye和/>分别是标签真实值和预测的特征点置信图，⊙表示Hadamard矩阵乘积运算，γ是平衡中心线距离图和特征点置信图的损失加权因子；
提取中心线模块得到的中心线热图Dt与其对应的掩模图像标签输入到损失函数LD中计算损失值，来量化预测结果和真实标签之间的差异程度；
总体损失函数L＝LD+LLEB，其中LLEB为交叉熵损失函数，
其中，p(x)表示真实标签的概率，q(x)表示网络预测的标签的概率。
进一步地，S5的具体步骤为：
使用Adam作为优化器，在网络的训练过程中，通过损失函数计算出损失值，使用反向传播计算损失函数对网络参数的梯度，对步骤S3中的网络结构的参数进行更新，使得损失函数逐渐减小，以实现更快的收敛速度，通过损失函数和优化器完成对参数的更新和优化，保存训练过程中的最优参数网络权重weight和偏置量bias；
读取最优网络权重weight和最优偏置量bias，将最优权重和最优偏置量加载入网络中，读取测试集test的眼底视网膜图像，完成血管分割，将结果保存为png格式的文件。
本发明还提供了一种融合中心线图和增强对比度网络的血管分割方法的系统，执行融合中心线图和增强对比度网络的血管分割方法，包括以下模块：
数据收集模块：在已公开的数据集中进行数据收集，选取n张眼底视网膜图像作为本系统的数据集；
数据预处理模块：对数据收集模块采集到的数据集进行预处理，首先进行预处理得到增强后的的数据集，然后将增强后的数据集按比例划分为训练集和测试集；
网络结构设计模块：构建包含编码器、中间结构层，提取中心线模块，第一解码器、第二解码器和特征融合模块的网络结构；
特征图处理模块：通过网络结构设计模块中的网络结构对输入图像进行特征提取和分析，然后将得到的特征图送入解码器，最后对特征图进行融合；
训练优化模块：通过计算提网络结构中参数之间的损失函数LD来量化预测结果和真实标签之间的差异程度，进一步计算总体损失L；使用反向传播计算损失函数对网络参数的梯度，对网络结构的参数进行优化，得出最优的网络权重weight和偏置量bias，并将其保存；
图像分割模块：读取保存的网络权重weight和偏置量bias，并将其加载入网络中，最后读取测试集的眼底视网膜图像，完成血管分割，保存最终的图像结果。
上述技术方案具有如下优点或有益效果：
本发明将中心线热图和增强分支技术融入到双解码器网络中，在复杂的医学图像中提取出完整的、连通且准确的血管结构。利用细化算法提取出血管的中心线，构建中心线热图，将神经网络与增强分支技术结合用来提取血管的局部特征以及全局特征，随后将中心线热图融合到神经网络中，与提取到的血管特征进行融合。其中，网络部分由一个共同的编码器，以及两个具有相似结构解码器组成。第一解码器与增强分支技术融合用于分割任务，增强对对比度低的细小血管的特征提取。第二解码器用于辅助分割，用于提取血管中心线并生成中心线热图。将中心线热图通过注意力模块融入到第一解码器中辅助血管分割。使用中心线热图可以获取血管的几何特征，在分析复杂度高的图像时神经网络还能够很好的结合血管的几何信息，提高了分割的效率和质量。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明的方法流程示意图。
图2为本发明的网络模型图。
图3为本发明的提取中心线模块图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
一种融合中心线热图和增强对比度的双解码器网络的血管分割方法，包括以下步骤：
S1.在数据集DRIVE和FIVE中选取n张眼底视网膜图像，记为数据集D'；
S2.对数据集D'进行预处理，首先进行数据增强，然后将增强后的数据集D按比例划分为训练集Train和测试集Test；
S3.构建包含编码器、中间结构层，提取中心线模块，第一解码器、第二解码器和特征融合模块的网络结构，对输入图像进行特征提取和分析，然后将得到的特征图送入解码器，最后对特征图进行融合；
S4.通过计算提取中心线模块得到的中心线热图与其对应的掩模图像标签的损失函数LD来量化预测结果和真实标签之间的差异程度，进一步计算总体损失L；
S5.使用反向传播计算损失函数对网络参数的梯度，对步骤S3中网络结构的参数进行优化，得出最优的网络权重weight和偏置量bias，并将其保存，然后读取保存的网络权重weight和偏置量bias，并将其加载入网络结构中，最后读取测试集的眼底视网膜图像，完成血管分割，保存最终的图像结果。
进一步地，S1的具体步骤为：在公开的数据集DRIVE和FIVE中一共选取n张眼底视网膜图像，记为数据集D'＝{D'1,D'2,D'3,……,D'i,……,D'n}，i≤n，D'i表示第i张眼底视网膜造影图像，DRIVE和FIVE数据集是用于眼底视网膜图像分割的常用数据集，DRIVE包含40张tif格式的已注释的彩色视网膜图像，FIVE包含800张png格式的已注释的彩色视网膜图像。
进一步地，S2的具体步骤为：对数据集D'进行预处理，首先对数据集进行剪裁、翻转、旋转和缩放数据增强，得到增强后的数据集D，D＝{D1,D2,D3,……,Di,……,Dn}，i≤n，Di表示第i张增强后的眼底视网膜造影图像，按7:3的比例对增强后的数据集D进行划分，将数据集D划分为训练集Train和测试集Test。
进一步地，S3的具体步骤为：
a.通过编码器对数据集中的原始图像进行特征提取，编码器内依次为第一特征提取单元、第一最大池化层、第二特征提取单元、第二最大池化层、第三特征提取单元、第三最大池化层、第四特征提取单元、第四最大池化层，特征提取单元均由两个卷积块和一个残差块组成，卷积块分为第一卷积块和第二卷积块，均由卷积核为3×3，步长为1×1，padding为0的卷积层、BN归一化层、Relu激活函数和Dropout层组成；
a-1)在第一特征提取单元中，将训练集Train中的第i张图像Di输入到第一卷积块，得到特征图随后将特征图/>输入到第二卷积块，得到特征图/>然后将特征图/>和/>输入到残差卷积块中得到特征图/>
a-2)将特征图输入到窗口设置为2×2的第一最大池化层得到特征图/>
另外三组特征提取单元和最大池化层重复a-1)和a-2)中的操作：
a-3)将特征图输入到第二特征提取单元，首先经过第一卷积块得到/>将输入到第二卷积块得到/>将特征图/>和/>输入到残差卷积块中得到特征图/>将特征图输入到第二最大池化层得到特征图/>
a-4)将特征图输入到第三特征提取单元，首先经过第一卷积块得到/>将输入到第二卷积块得到/>将特征图/>和/>输入到残差卷积块中得到特征图/>将特征图输入到第三最大池化层得到特征图/>
a-5)将特征图输入到第四特征提取单元，首先经过第一卷积块得到/>将输入到第二卷积块得到/>将特征图/>和/>输入到残差卷积块中得到特征图/>将特征图输入到第四最大池化层得到特征图/>
b.中间结构层包括第一卷积块、第二卷积块和残差连接块，第一卷积块和第二卷积块包括卷积核为3×3，步长为1×1，填充padding为0的卷积层、BN归一化层、Relu激活函数和Dropout层；
b-1)将特征图输入到第一卷积块中得到特征图/>
b-2)将特征图输入到第二卷积块中得到特征图/>
b-3)将特征图和特征图/>输入到残差连接块中得到特征图Dc；
c.提取中心线模块对数据集中的掩模图像进行分析，得到中心线热图的部分，提取中心线模块由第一多任务卷积单元、中心线距离计算层、特征点检测层、特征融合层和第二卷积单元组成；第一多任务卷积单元由第三卷积块、第四卷积块和第五卷积块组成，其中，第三卷积块由卷积核为3×3，步长为1×1，padding为0的卷积层、BN归一化层和Relu激活函数组成，第四卷积块和第五卷积块均由卷积层、BN归一化层、Relu激活函数和Sigmoid激活函数组成；中心线距离计算层由距离图计算层、通道注意力模块和特征融合层组成；中心线距离计算层的通道注意力模块依次由卷积层、Relu激活函数和Softmax函数组成；
c-1)将训练集Train中第i张眼底视网膜掩模图像输入到第一多任务卷积单元的第三卷积块中得到特征图Dr，将特征图Dr输入到第四卷积块中，经过Sigmoid函数得到特征图/>将特征图Dr输入到第五卷积块中，经过Sigmoid函数得到特征图/>
c-2)将特征图输入到距离图计算层，采用欧几里得距离变换方法将特征图生成中心线距离特征图Fi，假设图像分割掩模是IX×Y，I＝{(x,y)|x∈{1,……,X},y∈{1,……,Y}}，表示图像中所有像素点(x,y)位置的集合X和Y，计算公式为：
其中，dl是像素l到中心线点的欧几里得距离，xl是像素l在x轴上的位置，yl是像素l是在y轴上的位置，l∈I，*是卷积符号，λ是调整参数；
将中心线距离特征图Fl输入到通道注意力模块，按通道关注度进行加权计算，输出得到通道加权特征图注意力模块通过通道注意力权重ak对不同的通道进行加权，首先在中心线距离图的每个通道上应用卷积层获得通道特征向量v，然后通过Relu激活函数获得原始注意力权重q，再对权重q应用softmax函数以获得最终的通道注意力权重ak，将中心线距离图Fl乘以权重ak获得通道加权特征图/>计算公式为：
q＝σ(Wk*v+bk)
其中Wk是卷积核，bk是偏置向量，*是卷积运算符，σ表示Relu激活函数，ak表示通道注意力权重，Fl是中心线距离图，是通道加权特征图，K是表示特征图数量，v表示通道特征向量，k表示标识符；
将中心线距离图Fl和通道加权特征图输入到特征融合层中，按逐像素相乘的方式进行特征融合，得到高级中心线距离图/>
c-3)将特征图输入到提取中心线模块的特征点检测层中，使用FAST算法检测图像中的点生成点特征图/>提取/>中的特征点生成点集Qt，在每个特征点周围构造高斯分布，生成一个基于像素点的特征点置信特征图/>
c-4)将高级中心线距离特征图和特征点置信特征图/>输入到提取中心线模块的特征融合层中进行Concat特征融合，输出得到中心线热特征图/>
c-5)将中心线特征图输入到第二卷积单元中，输出得到中心线热特征图Dt；
d.第一解码器进行部分路径扩展，包括几何特征融合层、卷积核大小为1×1，步长为1×1，padding为0的第五卷积单元和四组自注意力模块、对比度增强层、上采样层和特征融合层，其中，自注意力模块由卷积核为1×1，步长为1×1,padding为0的第一卷积层和第三卷积层、卷积核为1×1，步长为2×2,padding为0的第二卷积层、Relu激活函数和反卷积核为2×2，步长为2×2，padding为0的上采样层组成；对比度增强层由对比度增强层、卷积核为1×1，步长为1×1，padding为0的卷积层和concat特征融合层组成；
自注意力模块的计算公式为：
Mz＝Φ(f3(σ1(f1(Pz,Wz1)+f2(Pj,Wz2)),Wz3))
其中，Mz是自注意力模块输出的特征图，Pz和Pj是来自编码器第z层和第j层的输入特征图，Wz1、Wz2和Wz3均表示卷积参数，f1(,)表示卷积核为1×1的卷积函数，f2(,)表示卷积核为2×2的卷积函数，f3(,)表示卷积核为1×1的卷积函数，σ1表示Relu激活函数，Φ表示上采样；
d-1)将特征图Dc输入到第一卷积层输出图将特征图/>输入到第二卷积层后输出得到图/>将/>与/>逐像素相加得到图/>将/>输入到Relu函数后，得到特征图/>将/>输入到第三卷积层输出/>经过上采样层后得到特征图/>
d-2)将特征图输入对比度增强层，采用直方图均衡化方法对图像的每个通道进行对比度增强，得到特征图/>将/>输入卷积层得到/>将特征图/>和输入到特征融合层进行特征融合，输出特征图/>
其中，直方图均衡化方法是对输入的图像进行灰度级重新分配，计算公式为：
其中n(w,j)表示图像中像素值为(w,j)的像素点数量，r表示局部均衡化窗口的大小，L表示输出图像的灰度级数，f(x,y)是输入的图像，T为变换函数，g(x,y)为输出图像；
d-3)将特征图Dc输入到第一解码器的第一上采样层，得到特征图将特征图和特征图/>输入到第一特征融合层，输出特征图/>其中，特征融合采用的是concat方法；
d-4)将特征图输入到第一卷积层输出图/>将特征图/>输入到第二卷积层得到/>将/>与/>逐像素相加得到特征图/>将特征图/>输入到Relu函数后，得到特征图/>将特征图/>输入到第三卷积层得到特征图/>特征图/>经过上采样层得到特征图/>
d-5)将特征图输入对比度增强层，采用直方图均衡化算法对图像的每个通道进行对比度增强，得到特征图/>将/>输入卷积层得到/>将特征图/>和输入到特征融合层进行特征融合，输出特征图/>
d-6)将特征图输入到第一解码器的第二上采样层，得到特征图/>
d-7)将特征图和特征图/>输入到第二特征融合层，得到特征图/>
d-8)将特征图输入到第一卷积层中得到图/>将特征图/>输入到第二卷积层后输出得到/>将特征图/>与特征图/>逐像素相加得到特征图/>将特征图/>输入到Relu函数后，得到特征图/>将特征图/>输入到第三卷积层得到特征图/>特征图/>经过上采样层得到特征图/>
d-9)将特征图输入对比度增强层，采用直方图均衡化算法对图像的每个通道进行对比度增强，得到特征图/>将/>输入卷积层得到/>将特征图/>和输入到特征融合层进行特征融合，输出特征图/>/>
d-10)将特征图输入到第一解码器的第三上采样层，得到图/>
d-11)将特征图和特征图/>输入到第三特征融合层，得到特征图/>
d-12)将特征图输入到第一卷积层后输出得到/>将特征图/>输入到第二卷积层输出得到图/>将/>与/>逐像素相加得到特征图/>将特征图/>输入到Relu函数后，得到特征图/>将特征图/>输入到第三卷积层得到图经过上采样层得到特征图/>
d-13)将特征图输入对比度增强层，采用直方图均衡化算法对图像的每个通道进行对比度增强，得到特征图/>将/>输入卷积层得到/>将特征图/>和输入到特征融合层进行特征融合，输出特征图/>
d-14)将特征图输入到第四上采样层，得到特征图/>
d-15)将特征图和特征图/>输入到第四特征融合层输出图/>
d-16)将特征图和中心线热图Dt输入到第一解码器的几何特征融合层中，特征融合采用每个像素值相乘的方法，得到特征图/>
d-17)将特征图输入到第一解码器的第五卷积单元中，输出得到特征图/>
e.第二解码器进行部分路径扩展，包括几何特征融合层、第五卷积单元和四组反卷积核大小为2×2，步长为2×2，padding为0的上采样层、concat特征融合层、卷积单元，其中，卷积单元由卷积层、BN归一化层、Relu激活函数和Dropout层构成；
e-1)将特征图Dc输入到第二解码器的第一上采样层得到特征图
e-2)将特征图和/>输入到第二解码器的第一特征融合层得到特征图/>
e-3)将特征图输入到第一卷积单元中，输出得到特征图/>其中第一卷积单元中卷积层的卷积核为3×3，步长为1×1，padding为0；
e-4)将特征图输入到第二上采样层得到特征图/>
e-5)将特征图和/>输入到第二特征融合层得到特征图/>
e-6)将特征图输入到第二卷积单元中，输出得到特征图/>其中第二卷积单元中卷积层的卷积核为3×3，步长为1×1，padding为0；
e-7)将特征图输入到第三上采样层得到特征图/>
e-8)将特征图和/>输入到第三特征融合层特征图/>
e-9)将特征图输入到第三卷积单元得到特征图/>其中第三卷积单元中卷积层的卷积核为3×3，步长为1×1，padding为0；
e-10)将特征图输入到第四上采样层得到特征图/>
e-11)将特征图和/>输入到第二解码器的第四特征融合层中，输出得到特征图/>
e-12)将特征图输入到第四卷积单元得到特征图/>其中第四卷积单元中卷积层的卷积核为3×3，步长为1×1，padding为0；
e-13)将特征图和中心线热图Dt输入到第二解码器的几何特征融合层中，让每个像素值相乘来进行特征融合，得到特征图/>
e-14)将特征图输入到第五卷积单元中，输出得到特征图/>其中，第五单元单元中卷积层的卷积核为1×1，步长为1×1，padding为0；
f.将特征图和/>输入到特征融合层中，通过逐像素值相乘来进行特征融合，得到特征图Dend，最后将特征图Dend输入Sigmoid函数得到概率图D'end,设定阈值对像素点进行分类，阈值设为0.5，将概率值大于等于0.5的像素点判断为血管，小于0.5的判断为背景，得到分割结果图Doutput。
进一步地，S4的具体步骤为：
利用给定的掩模图像，采用损失函数LD进行训练，LD损失函数由两项组成，一项用于中心线距离图预测，另一项用于特征点检测；
其中，A代表分割掩模内的每个像素，Yc和分别是标签真实值和预测的中心线距离图，Ye和/>分别是标签真实值和预测的特征点置信图，⊙表示Hadamard矩阵乘积运算，γ是平衡中心线距离图和特征点置信图的损失加权因子；
提取中心线模块得到的中心线热图Dt与其对应的掩模图像标签输入到损失函数LD中计算损失值，来量化预测结果和真实标签之间的差异程度；
总体损失函数L＝LD+LLEB，其中LLEB为交叉熵损失函数，
LLEB＝-∑xp(x)logeq(x)
其中，p(x)表示真实标签的概率，q(x)表示网络预测的标签的概率。
进一步地，S5的具体步骤为：
使用Adam作为优化器，在网络的训练过程中，通过损失函数计算出损失值，使用反向传播计算损失函数对网络参数的梯度，Adam优化器可以利用梯度的均值和方差的移动平均值计算自适应学习率，对步骤S3中的网络结构的参数进行更新，使得损失函数逐渐减小，以实现更快的收敛速度，通过损失函数和优化器完成对参数的更新和优化，保存训练过程中的最优参数网络权重weight和偏置量bias；
读取最优网络权重weight和最优偏置量bias，将最优权重和最优偏置量加载入网络中，读取测试集test的眼底视网膜图像，完成血管分割，将结果保存为png格式的文件。
实施例2
本发明还提供了一种融合中心线图和增强对比度网络的血管分割方法的系统，执行融合中心线图和增强对比度网络的血管分割方法，包括以下模块：
数据收集模块：在已公开的数据集中进行数据收集，选取n张眼底视网膜图像作为本系统的数据集；
数据预处理模块：对数据收集模块采集到的数据集进行预处理，首先进行预处理得到增强后的的数据集，然后将增强后的数据集按比例划分为训练集和测试集；
网络结构设计模块：构建包含编码器、中间结构层，提取中心线模块，第一解码器、第二解码器和特征融合模块的网络结构；
特征图处理模块：通过网络结构设计模块中的网络结构对输入图像进行特征提取和分析，然后将得到的特征图送入解码器，最后对特征图进行融合；
训练优化模块：通过计算提网络结构中参数之间的损失函数LD来量化预测结果和真实标签之间的差异程度，进一步计算总体损失L；使用反向传播计算损失函数对网络参数的梯度，对网络结构的参数进行优化，得出最优的网络权重weight和偏置量bias，并将其保存；
图像分割模块：读取保存的网络权重weight和偏置量bias，并将其加载入网络中，最后读取测试集的眼底视网膜图像，完成血管分割，保存最终的图像结果。
实施例3
如表1所示，将数据集DRIVE和数据集FIVE中的30％的数据用于测试，本发明在准确度、Dice相似系数、IOU值评价指标上分别达到了96.94％、82.02％、69.55％的结果，相比先进的U-Net、TransUNet、SegNet等模型，本发明能更好的分割复杂度高的数据集，对于对比度不明显的图片一样可以得到较好的结果。其中，U-Net是一种主要为图像分割任务开发的图像分割技术，Attention U-Net是基于U-Net模型结构的变体，ResUNet是一种残差网络模型。
表1本发明与其他模型的结果对比：
上述虽然结合附图对发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (5)

1.一种融合中心线图和增强对比度网络的血管分割方法，其特征是，包括以下步骤：
S1.在数据集和/>中选取/>张眼底视网膜图像，记为数据集/>；
S2.对数据集进行预处理，首先进行数据增强，然后将增强后的数据集/>按比例划分为训练集/>和测试集/>；
S3.构建包含编码器、中间结构层，提取中心线模块，第一解码器、第二解码器和特征融合模块的网络结构，对输入图像进行特征提取和分析，然后将得到的特征图送入解码器，最后对特征图进行融合；
S3的具体步骤为：
a.通过编码器对数据集中的原始图像进行特征提取，编码器内依次为四组特征提取单元和最大池化层，特征提取单元均由两个卷积块和一个残差块组成，卷积块分为第一卷积块和第二卷积块，卷积块均由卷积核为3×3，步长为1×1，padding为0的卷积层、BN归一化层、Relu激活函数和Dropout层组成；
b.中间结构层包括第一卷积块、第二卷积块和残差连接块，第一卷积块和第二卷积块均由卷积核为3×3，步长为1×1，填充padding为0的卷积层、BN归一化层、Relu激活函数和Dropout层组成；
c.提取中心线模块对数据集中的掩模图像进行分析，得到中心线热图的部分，提取中心线模块由第一多任务卷积单元、中心线距离计算层、特征点检测层、特征融合层和第二卷积单元组成；第一多任务卷积单元由第三卷积块、第四卷积块和第五卷积块组成，其中，第三卷积块由卷积核为3×3，步长为1×1，padding为0的卷积层、BN归一化层和Relu激活函数组成，第四卷积块和第五卷积块均由卷积层、BN归一化层、Relu激活函数和Sigmoid激活函数组成；中心线距离计算层由距离图计算层、通道注意力模块和特征融合层组成；中心线距离计算层的通道注意力模块依次由卷积层、Relu激活函数和Softmax函数组成；
d.第一解码器进行部分路径扩展，包括几何特征融合层、卷积核大小为1×1，步长为1×1，padding为0的第五卷积单元和四组自注意力模块、对比度增强层、上采样层和特征融合层，其中，自注意力模块由卷积核为1步长为1/>,padding为0的第一卷积层和第三卷积层、卷积核为1/>步长为2/>,padding为0的第二卷积层、Relu激活函数和反卷积核为2×2，步长为2×2，padding为0的上采样层组成；
自注意力模块的计算公式为：
，
其中，是自注意力模块输出的特征图，/>和/>是来自编码器第z层和第j层的输入特征图，/>、/>和/>均表示卷积参数，/>表示卷积核为1×1的卷积函数，/>表示卷积核为2×2的卷积函数，/>表示卷积核为1×1的卷积函数，/>表示Relu激活函数，/>表示上采样；
e.第二解码器进行部分路径扩展，包括几何特征融合层、第五卷积单元和四组反卷积核大小为2×2，步长为2×2，padding为0的上采样层、concat特征融合层、卷积单元，其中，第五卷积单元中卷积层的卷积核为1×1，步长为1×1，padding为0，其他卷积单元由卷积核为3×3，步长为1×1，padding为0的卷积层、BN归一化层、Relu激活函数和Dropout层构成；
f.将特征图和/>输入到特征融合层中，通过逐像素值相乘来进行特征融合，得到特征图/>，最后将特征图/>输入Sigmoid函数得到概率图/>,设定阈值对像素点进行分类，将概率值大于等于阈值的像素点判断为血管，小于阈值的判断为背景，得到分割结果图/>；
S4.通过计算提取中心线模块得到的中心线热图与其对应的掩模图像标签的损失函数来量化预测结果和真实标签之间的差异程度，进一步计算总体损失/>；
S4的具体步骤为：
利用给定的掩模图像，采用损失函数进行训练，/>损失函数由两项组成，一项用于中心线距离图预测，另一项用于特征点检测；
，
其中，代表分割掩模内的每个像素，/>和/>分别是标签真实值和预测的中心线距离图，/>和/>分别是标签真实值和预测的特征点置信图，/>表示Hadamard矩阵乘积运算，是平衡中心线距离图和特征点置信图的损失加权因子；
提取中心线模块得到的中心线热图与其对应的掩模图像标签输入到损失函数/>中计算损失值，来量化预测结果和真实标签之间的差异程度；
总体损失函数，其中/>为交叉熵损失函数，
，
其中，p(x)表示真实标签的概率，q(x)表示网络预测的标签的概率；
S5.使用反向传播计算损失函数对网络参数的梯度，对步骤S3中网络结构的参数进行优化，得出最优的网络权重和偏置量/>，并将其保存，然后读取保存的网络权重和偏置量/>，并将其加载入网络结构中，最后读取测试集的眼底视网膜图像，完成血管分割，保存最终的图像结果。
2.根据权利要求1所述的融合中心线图和增强对比度网络的血管分割方法，其特征在于：
S1的具体步骤为：在公开的数据集和/>中一共选取/>张眼底视网膜图像，记为数据集/>，/>，/>表示第/>张眼底视网膜造影图像，和/>数据集是用于眼底视网膜图像分割的常用数据集，/>包含40张tif格式的已注释的彩色视网膜图像，/>包含800张png格式的已注释的彩色视网膜图像。
3.根据权利要求2所述的融合中心线图和增强对比度网络的血管分割方法，其特征在于：
S2的具体步骤为：对数据集进行预处理，首先对数据集进行剪裁、翻转、旋转和缩放数据增强，得到增强后的数据集/>，/>，/>，/>表示第/>张增强后的眼底视网膜造影图像，按7:3的比例对增强后的数据集/>进行划分，将数据集/>划分为训练集/>和测试集/>。
4.根据权利要求3所述的融合中心线图和增强对比度网络的血管分割方法，其特征在于：
S5的具体步骤为：
使用Adam作为优化器，在网络结构的训练过程中，通过损失函数计算出损失值，使用反向传播计算损失函数对网络参数的梯度，对步骤S3中的网络结构的参数进行更新，使得损失函数逐渐减小，通过损失函数和优化器完成对参数的更新和优化，保存训练过程中的最优参数网络权重weight和偏置量bias；
读取最优网络权重weight和最优偏置量bias，将最优权重和最优偏置量加载入网络中，读取测试集test的眼底视网膜图像，完成血管分割，将结果保存为png格式的文件。
5.一种融合中心线图和增强对比度网络的血管分割方法的系统，其特征在于，执行如权利要求1-4中任一项所述的融合中心线图和增强对比度网络的血管分割方法，包括以下模块：
数据收集模块：在已公开的数据集中进行数据收集，选取张眼底视网膜图像作为本系统的数据集；
数据预处理模块：对数据收集模块采集到的数据集进行预处理，首先进行预处理得到增强后的的数据集，然后将增强后的数据集按比例划分为训练集和测试集；
网络结构设计模块：构建包含编码器、中间结构层，提取中心线模块，第一解码器、第二解码器和特征融合模块的网络结构；
特征图处理模块：通过网络结构设计模块中的网络结构对输入图像进行特征提取和分析，然后将得到的特征图送入解码器，最后对特征图进行融合；
训练优化模块：通过计算提网络结构中参数之间的损失函数来量化预测结果和真实标签之间的差异程度，进一步计算总体损失/>；使用反向传播计算损失函数对网络参数的梯度，对网络结构的参数进行优化，得出最优的网络权重/>和偏置量/>，并将其保存；
图像分割模块：读取保存的网络权重和偏置量/>，并将其加载入网络中，最后读取测试集的眼底视网膜图像，完成血管分割，保存最终的图像结果。
CN202311823663.9A 2023-12-28 2023-12-28 融合中心线图和增强对比度网络的血管分割方法及其系统 Active CN117611599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311823663.9A CN117611599B (zh) 2023-12-28 2023-12-28 融合中心线图和增强对比度网络的血管分割方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311823663.9A CN117611599B (zh) 2023-12-28 2023-12-28 融合中心线图和增强对比度网络的血管分割方法及其系统

Publications (2)

Publication Number Publication Date
CN117611599A CN117611599A (zh) 2024-02-27
CN117611599B true CN117611599B (zh) 2024-05-31

Family

ID=89953662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311823663.9A Active CN117611599B (zh) 2023-12-28 2023-12-28 融合中心线图和增强对比度网络的血管分割方法及其系统

Country Status (1)

Country Link
CN (1) CN117611599B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994279B (zh) * 2024-04-07 2024-06-07 齐鲁工业大学(山东省科学院) 一种全面特征融合的闭合轮廓提取的方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805871A (zh) * 2018-06-14 2018-11-13 艾瑞迈迪医疗科技（北京）有限公司 血管图像处理方法、装置、计算机设备和存储介质
CN111784762A (zh) * 2020-06-01 2020-10-16 北京理工大学 X光造影图像血管中心线提取方法及装置
WO2021253939A1 (zh) * 2020-06-18 2021-12-23 南通大学 一种用于眼底视网膜血管图像分割的粗糙集神经网络方法
CN114565620A (zh) * 2022-03-01 2022-05-31 电子科技大学 一种基于骨架先验和对比损失的眼底图像血管分割方法
CN114581392A (zh) * 2022-02-28 2022-06-03 山东省人工智能研究院 基于深度学习和各向异性活动轮廓的图像分割方法
CN115393710A (zh) * 2022-08-08 2022-11-25 吉林大学 基于粗掩码平滑标签监督的任意角度目标检测方法
CN115409859A (zh) * 2022-08-30 2022-11-29 上海科技大学 冠状动脉血管图像分割方法及装置、存储介质和终端
CN115482358A (zh) * 2022-10-12 2022-12-16 北京医准智能科技有限公司 一种三角网格曲面的生成方法、装置、设备及存储介质
CN115731242A (zh) * 2022-11-21 2023-03-03 电子科技大学 基于混合注意力机制和非对称卷积的视网膜血管分割方法
CN116452992A (zh) * 2023-05-18 2023-07-18 山东省人工智能研究院 一种最小路径管状结构中心线的提取方法
CN116524191A (zh) * 2023-05-11 2023-08-01 山东省人工智能研究院 融入测地线投票算法的深度学习网络的血管分割方法
CN116664602A (zh) * 2023-07-26 2023-08-29 中南大学 基于少样本学习的octa血管分割方法及成像方法
CN116823842A (zh) * 2023-06-25 2023-09-29 山东省人工智能研究院 融合测地线模型的双解码器网络的血管分割方法
CN117036984A (zh) * 2023-10-09 2023-11-10 武汉大学 一种融合注意力机制的级联u型网络云检测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580646B2 (en) * 2021-03-26 2023-02-14 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on U-Net

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805871A (zh) * 2018-06-14 2018-11-13 艾瑞迈迪医疗科技（北京）有限公司 血管图像处理方法、装置、计算机设备和存储介质
CN111784762A (zh) * 2020-06-01 2020-10-16 北京理工大学 X光造影图像血管中心线提取方法及装置
WO2021253939A1 (zh) * 2020-06-18 2021-12-23 南通大学 一种用于眼底视网膜血管图像分割的粗糙集神经网络方法
CN114581392A (zh) * 2022-02-28 2022-06-03 山东省人工智能研究院 基于深度学习和各向异性活动轮廓的图像分割方法
CN114565620A (zh) * 2022-03-01 2022-05-31 电子科技大学 一种基于骨架先验和对比损失的眼底图像血管分割方法
CN115393710A (zh) * 2022-08-08 2022-11-25 吉林大学 基于粗掩码平滑标签监督的任意角度目标检测方法
CN115409859A (zh) * 2022-08-30 2022-11-29 上海科技大学 冠状动脉血管图像分割方法及装置、存储介质和终端
CN115482358A (zh) * 2022-10-12 2022-12-16 北京医准智能科技有限公司 一种三角网格曲面的生成方法、装置、设备及存储介质
CN115731242A (zh) * 2022-11-21 2023-03-03 电子科技大学 基于混合注意力机制和非对称卷积的视网膜血管分割方法
CN116524191A (zh) * 2023-05-11 2023-08-01 山东省人工智能研究院 融入测地线投票算法的深度学习网络的血管分割方法
CN116452992A (zh) * 2023-05-18 2023-07-18 山东省人工智能研究院 一种最小路径管状结构中心线的提取方法
CN116823842A (zh) * 2023-06-25 2023-09-29 山东省人工智能研究院 融合测地线模型的双解码器网络的血管分割方法
CN116664602A (zh) * 2023-07-26 2023-08-29 中南大学 基于少样本学习的octa血管分割方法及成像方法
CN117036984A (zh) * 2023-10-09 2023-11-10 武汉大学 一种融合注意力机制的级联u型网络云检测方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CUI Zhenchao 等. MF2 ResU-Net: a multi-feature fusion deep learning architecture for retinal blood vessel segmentation.《Digital Chinese Medicine》.2022,第5卷(第4期),406-418. *
Zhaojin Fu 等.DEAU-Net: Attention networks based on dual encoder for Medical Image Segmentation.《Computers in Biology and Medicine》.2022,第150卷1-13. *
吴晨 等.基于改进卷积神经网络的视网膜血管图像分割.《光学学报》.2018,(第11期),133-139. *
李 雪 . 基于编码器-解码器结构的视网膜血管分割方法研究 .《万方知识服务平台》.2021,1-63. *
李天培 等.基于双注意力编码-解码器架构的视网膜血管分割.《计算机科学》.2020,(第05期),174-179. *

Also Published As

Publication number Publication date
CN117611599A (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN112241766B (zh) 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN108648191B (zh) 基于贝叶斯宽度残差神经网络的害虫图像识别方法
CN110059586B (zh) 一种基于空洞残差注意力结构的虹膜定位分割系统
CN112801169B (zh) 一种基于改进yolo算法的伪装目标检测方法、系统、装置及存储介质
CN111368769B (zh) 基于改进锚点框生成模型的船舶多目标检测方法
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN112270666A (zh) 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
CN117611599B (zh) 融合中心线图和增强对比度网络的血管分割方法及其系统
CN111612008A (zh) 基于卷积网络的图像分割方法
CN112541532B (zh) 基于密集连接结构的目标检测方法
CN112446891A (zh) 基于U-Net网络脑胶质瘤的医学图像分割方法
CN112308825B (zh) 一种基于SqueezeNet的农作物叶片病害识别方法
CN111340816A (zh) 一种基于双u型网络框架的图像分割方法
CN114266794B (zh) 基于全卷积神经网络的病理切片图像癌症区域分割系统
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估系统
CN114511710A (zh) 一种基于卷积神经网络的图像目标检测方法
CN114842238A (zh) 一种嵌入式乳腺超声影像的识别方法
CN114359629A (zh) 一种基于深度迁移学习的肺炎x胸片分类识别方法
CN114565594A (zh) 基于软掩膜对比损失的图像异常检测方法
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN115526829A (zh) 基于ViT与上下文特征融合的蜂窝肺病灶分割方法及网络
CN115147640A (zh) 一种基于改进胶囊网络的脑肿瘤图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant