CN117611599A - 融合中心线图和增强对比度网络的血管分割方法及其系统 - Google Patents

融合中心线图和增强对比度网络的血管分割方法及其系统 Download PDF

Info

Publication number
CN117611599A
CN117611599A CN202311823663.9A CN202311823663A CN117611599A CN 117611599 A CN117611599 A CN 117611599A CN 202311823663 A CN202311823663 A CN 202311823663A CN 117611599 A CN117611599 A CN 117611599A
Authority
CN
China
Prior art keywords
layer
convolution
feature map
feature
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311823663.9A
Other languages
English (en)
Other versions
CN117611599B (zh
Inventor
陈达
王友明
刘丽
张炯
曹步勇
张�林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Original Assignee
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Institute of Artificial Intelligence filed Critical Qilu University of Technology
Priority to CN202311823663.9A priority Critical patent/CN117611599B/zh
Publication of CN117611599A publication Critical patent/CN117611599A/zh
Application granted granted Critical
Publication of CN117611599B publication Critical patent/CN117611599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉与医学图像处理领域，尤其涉及一种融合中心线图和增强对比度网络的血管分割方法及其系统，包括以下步骤：在数据集中选取n张眼底视网膜图像记为数据集；增强数据集，然后将其按比例划分为训练集和测试集；构建网络结构，对输入图像进行特征提取和分析，然后将得到的特征图送入解码器，进行特征图融合；用损失来量化预测结果和真实标签之间的差异程度，进而得到总体损失；使用反向传播计算损失函数对网络参数的梯度，对网络结构的参数进行优化，保存得出最优的网络权重和偏置量，用于对测试集的眼底视网膜图像进行血管分割，最后保存图像。本发明将传统的血管分割方法和深度学习方法相结合，可以充分发挥两种方法的优点。

Description

融合中心线图和增强对比度网络的血管分割方法及其系统
技术领域
本发明涉及计算机视觉与医学图像处理领域，尤其涉及一种融合中心线图和增强对比度网络的血管分割方法及其系统。
背景技术
医学图像分割是计算机辅助诊断领域的一个重要分支，它在临床诊断和研究中有着广泛的应用，可分为传统方法和基于深度学习的方法。传统方法是基于传统计算机视觉和图像处理技术的方法来进行图像分析的一类方法，包括了基于阙值分割、模板匹配和聚类等经典的分割方法。这些方法经常作为图像处理的预处理步骤，用以获取图像的关键特征信息，提升图像分析效率。如已经提出中心线提取的方法，使用中心线可以提取血管的几何信息，对血管分割取得不错的效果。然而，传统的方法容易受到干扰因素的影响，对庞大数据集的分割任务不适用，不能满足实际的需求。
近年来，深度学习技术的飞速发展让医学影像分析领域取得了重要进展，一系列基于深度学习的分割方法被提出，越来越多基于深度学习的神经网络模型被应用到医学图像分割中，利用神经网络模型自动分析特征并实现血管分割。如使用基于U-Net架构的神经网络，将UNet和残差网络的优势结合到一起对血管进行分割，得到了良好的效果。然而，单一的网络模型往往难以充分利用血管的不同层次的特征信息，从而限制了血管分割的效果。
因此，本发明提出了融合中心线图和增强对比度网络的血管分割方法及其系统，可以在分析复杂度高的图像时神经网络还能够很好的结合血管的几何信息，提高分割的效率和质量。
发明内容
本发明针对现有技术的不足，提出了一种融合中心线图和增强对比度网络的提出了一种融合血管分割方法及其系统，能够在分析复杂度高的图像时神经网络还能够很好的结合血管的几何信息，提高分割的效率和质量。
本发明解决技术问题的技术方案为：
一种融合中心线热图和增强对比度的双解码器网络的血管分割方法，包括以下步骤：
S1.在数据集和中选取张眼底视网膜图像，记为数据集；
S2.对数据集进行预处理，首先进行数据增强，然后将增强后的数据集按比例划分为训练集和测试集；
S3.构建包含编码器、中间结构层，提取中心线模块，第一解码器、第二解码器和特征融合模块的网络结构，对输入图像进行特征提取和分析，然后将得到的特征图送入解码器，最后对特征图进行融合；
S4.通过计算提取中心线模块得到的中心线热图与其对应的掩模图像标签的损失函数来量化预测结果和真实标签之间的差异程度，进一步计算总体损失；
S5.使用反向传播计算损失函数对网络参数的梯度，对步骤S3中网络结构的参数进行优化，得出最优的网络权重weight和偏置量bias，并将其保存，然后读取保存的网络权重weight和偏置量bias，并将其加载入网络结构中，最后读取测试集的眼底视网膜图像，完成血管分割，保存最终的图像结果。
进一步地，S1的具体步骤为：在公开的数据集和中一共选取n张眼底视网膜图像，记为数据集，，表示第张眼底视网膜造影图像，和数据集是用于眼底视网膜图像分割的常用数据集，包含40张tif格式的已注释的彩色视网膜图像，包含800张png格式的已注释的彩色视网膜图像。
进一步地，S2的具体步骤为：对数据集进行预处理，首先对数据集进行剪裁、翻转、旋转和缩放进行数据增强，得到增强后的数据集，，，表示第张增强后的眼底视网膜造影图像，按7:3的比例对增强后的数据集进行划分，将数据集划分为训练集和测试集。
进一步地，S3的具体步骤为：
a.通过编码器对数据集中的原始图像进行特征提取，编码器内依次为四组特征提取单元和最大池化层，特征提取单元均由两个卷积块和一个残差块组成，卷积块分为第一卷积块和第二卷积块，卷积块均由卷积核为3×3，步长为1×1，padding为0的卷积层、BN归一化层、Relu激活函数和Dropout层组成；
a-1）在第一特征提取单元中，将训练集中的第张图像输入到第一卷积块，得到特征图，随后将特征图输入到第二卷积块，得到特征图，然后将特征图和输入到残差卷积块中得到特征图；
a-2）将特征图输入到窗口设置为2×2的第一最大池化层得到特征图；
另外三组特征提取单元和最大池化层重复a-1）和a-2）中的操作：
a-3）将特征图输入到第二特征提取单元，首先经过第一卷积块得到，将输入到第二卷积块得到，将特征图和输入到残差卷积块中得到特征图，将特征图输入到第二最大池化层得到特征图；
a-4）将特征图输入到第三特征提取单元，首先经过第一卷积块得到，将输入到第二卷积块得到，将特征图和输入到残差卷积块中得到特征图，将特征图输入到第三最大池化层得到特征图；
a-5）将特征图输入到第四特征提取单元，首先经过第一卷积块得到，将输入到第二卷积块得到，将特征图和输入到残差卷积块中得到特征图，将特征图输入到第四最大池化层得到特征图；
b.中间结构层包括第一卷积块、第二卷积块和残差连接块，第一卷积块和第二卷积块包括卷积核为3×3，步长为1×1，填充padding为0的卷积层、BN归一化层、Relu激活函数和Dropout层；
b-1）将特征图输入到第一卷积块中得到特征图；
b-2）将特征图输入到第二卷积块中得到特征图；
b-3）将特征图和特征图输入到残差连接块中得到特征图；
c.提取中心线模块对数据集中的掩模图像进行分析，得到中心线热图的部分，提取中心线模块由第一多任务卷积单元、中心线距离计算层、特征点检测层、特征融合层和第二卷积单元组成；第一多任务卷积单元由第一卷积块、第二卷积块和第三卷积块组成，其中，第一卷积块由卷积核为3×3，步长为1×1，padding为0的卷积层、BN归一化层和Relu激活函数组成，第二卷积块和第三卷积块均由卷积层、BN归一化层、Relu激活函数和Sigmoid激活函数组成；中心线距离计算层由距离图计算层、通道注意力模块和特征融合层组成；中心线距离计算层的通道注意力模块依次由卷积层、Relu激活函数和Softmax函数组成，不同通道位置的特征是不同的，围绕中心线的狭窄区域需要更多的关注以获得最佳的区分对比度；
c-1)将训练集中第张眼底视网膜掩模图像输入到第一多任务卷积单元的第一卷积块中得到特征图，将特征图输入到第二卷积块中，经过Sigmoid函数得到特征图，将特征图输入到第三卷积块中，经过Sigmoid函数得到特征图；
c-2)将特征图输入到距离图计算层，采用欧几里得距离变换方法将特征图生成中心线距离特征图，假设图像分割掩模是，，表示图像中所有像素点位置的集合和，计算公式为：
，
，
其中，是像素到中心线点的欧几里得距离，是像素i在x轴上的位置，是像素i是在y轴上的位置，，是卷积符号，是调整参数；
将中心线距离特征图输入到通道注意力模块，按通道关注度进行加权计算，输出得到通道加权特征图，注意力模块通过通道注意力权重对不同的通道进行加权，，首先在中心线距离图的每个通道上应用卷积层获得通道特征向量v，然后通过Relu激活函数获得原始注意力权重q，再对权重q应用softmax函数以获得最终的通道注意力权重，将中心线距离图乘以权重获得通道加权特征图，计算公式为：
，
，
，
其中是卷积核，是偏置向量，*是卷积运算符，表示Relu激活函数，表示通道注意力权重，是中心线距离图，是通道加权特征图，是表示特征图数量，v表示通道特征向量，k表示标识符；
将中心线距离图和通道加权特征图输入到特征融合层中，按逐像素相乘的方式进行特征融合，得到高级中心线距离图；
c-3)将特征图输入到提取中心线模块的特征点检测层中，使用FAST算法检测图像中的点生成点特征图，提取中的特征点生成点集，在每个特征点周围构造高斯分布，生成一个基于像素点的特征点置信特征图，其中FAST算法是一种基于基于像素点的简单且高效的特征提取算法；
c-4）将高级中心线距离特征图和特征点置信特征图输入到提取中心线模块的特征融合层中进行Concat特征融合，输出得到中心线热特征图；
c-5)将中心线特征图输入到第二卷积单元中，输出得到中心线热特征图；
d.第一解码器进行部分路径扩展，包括几何特征融合层、卷积核大小为1×1，步长为1×1，padding为0的第五卷积单元和四组自注意力模块、对比度增强层、上采样层和特征融合层，其中，自注意力模块由卷积核为1×1，步长为1×1,padding为0的第一卷积层和第三卷积层、卷积核为1×1，步长为2×2，padding为0的第二卷积层、Relu激活函数和反卷积核为2×2，步长为2×2，padding为0的上采样层组成；对比度增强层由对比度增强层、卷积核为1×1，步长为1×1，padding为0的卷积层和concat特征融合层组成；
自注意力模块的计算公式为：
，
其中，是自注意力模块输出的特征图，和是来自编码器第i层和第j层的输入特征图，、和均表示卷积参数，表示卷积核为1×1的卷积函数，表示卷积核为2×2的卷积函数，表示卷积核为1×1的卷积函数，表示Relu激活函数，表示上采样；
d-1)将特征图输入到第一卷积层输出图，将特征图输入到第二卷积层后输出得到图，将与逐像素相加得到图，将输入到Relu函数后，得到特征图，将输入到第三卷积层输出，经过上采样层后得到特征图；
d-2）将特征图输入对比度增强层，采用直方图均衡化方法对图像的每个通道进行对比度增强，得到特征图，将输入卷积层得到，将特征图和输入到特征融合层进行特征融合，输出特征图；
其中，直方图均衡化方法是对输入的图像进行灰度级重新分配，使输出图像中的灰度值分布更加均匀并且不会损失图像细节，从而增加图像的对比度，计算公式为：
，
其中表示图像中像素值为的像素点数量，r表示局部均衡化窗口的大小，L表示输出图像的灰度级数，是输入的图像，T为变换函数，为输出图像；
d-3)将特征图输入到第一解码器的第一上采样层，得到特征图；
d-4)将特征图输入到第一卷积层输出图，将特征图输入到第二卷积层得到，将与逐像素相加得到特征图，将特征图输入到Relu函数后，得到特征图，将特征图输入到第三卷积层得到特征图，特征图经过上采样层得到特征图；
d-5)将特征图输入对比度增强层，采用直方图均衡化算法对图像的每个通道进行对比度增强，得到特征图，将输入卷积层得到，将特征图和输入到特征融合层进行特征融合，输出特征图；
d-6)将特征图输入到第一解码器的第二上采样层，得到特征图；
d-7)将特征图和特征图输入到第二特征融合层，得到特征图；
d-8)将特征图输入到第一卷积层中得到图，将特征图输入到第二卷积层后输出得到，将特征图与特征图逐像素相加得到特征图，将特征图输入到Relu函数后，得到特征图，将特征图输入到第三卷积层得到特征图，特征图经过上采样层得到特征图；
d-9)将特征图输入对比度增强层，采用直方图均衡化算法对图像的每个通道进行对比度增强，得到特征图，将输入卷积层得到，将特征图和输入到特征融合层进行特征融合，输出特征图；
d-10)将特征图输入到第一解码器的第三上采样层，得到图；
d-11)将特征图和特征图输入到第三特征融合层，得到特征图；
d-12)将特征图输入到第一卷积层后输出得到，将特征图输入到第二卷积层输出得到图，将与逐像素相加得到特征图，将特征图输入到Relu函数后，得到特征图，将特征图输入到第三卷积层得到图，经过上采样层得到特征图；
d-13)将特征图输入对比度增强层，采用直方图均衡化算法对图像的每个通道进行对比度增强，得到特征图，将输入卷积层得到，将特征图和输入到特征融合层进行特征融合，输出特征图；
d-14)将特征图输入到第四上采样层，得到特征图；
d-15)将特征图和特征图输入到第四特征融合层输出图；
d-16)将特征图和中心线热图输入到第一解码器的几何特征融合层中，特征融合采用每个像素值相乘的方法，得到特征图；
d-17)将特征图输入到第一解码器的第五卷积单元中，输出得到特征图；
e.第二解码器进行部分路径扩展，包括几何特征融合层、第五卷积单元和四组反卷积核大小为2×2，步长为2×2，padding为0的上采样层、concat特征融合层、卷积单元，其中，卷积单元由卷积层、BN归一化层、Relu激活函数和Dropout层构成；
e-1)将特征图输入到第二解码器的第一上采样层得到特征图；
e-2)将特征图和输入到第二解码器的第一特征融合层得到特征图；
e-3)将特征图输入到第一卷积单元中，输出得到特征图，其中第一卷积单元中卷积层的卷积核为3×3，步长为1×1，padding为0；
e-4)将特征图输入到第二上采样层得到特征图；
e-5)将特征图和输入到第二特征融合层得到特征图；
e-6)将特征图输入到第二卷积单元中，输出得到特征图，其中第二卷积单元中卷积层的卷积核为3×3，步长为1×1，padding为0；
e-7)将特征图输入到第三上采样层得到特征图；
e-8)将特征图和输入到第三特征融合层特征图；
e-9)将特征图输入到第三卷积单元得到特征图，其中第三卷积单元中卷积层的卷积核为3×3，步长为1×1，padding为0；
e-10)将特征图输入到第四上采样层得到特征图；
e-11)将特征图和输入到第二解码器的第四特征融合层中，输出得到特征图；
e-12)将特征图输入到第四卷积单元得到特征图，其中第四卷积单元中卷积层的卷积核为3×3，步长为1×1，padding为0；
e-13)将特征图和中心线热图输入到第二解码器的几何特征融合层中，让每个像素值相乘来进行特征融合，得到特征图；
e-14)将特征图输入到第五卷积单元中，输出得到特征图，其中，第五单元单元中卷积层的卷积核为1×1，步长为1×1，padding为0；
f.将特征图和输入到特征融合层中，通过逐像素值相乘来进行特征融合，得到特征图，最后将特征图输入Sigmoid函数得到概率图,设定阈值对像素点进行分类，阈值设为0.5，将概率值大于等于0.5的像素点判断为血管，小于0.5的判断为背景，得到分割结果图。
进一步地，S4的具体步骤为：
利用给定的掩模图像，采用损失函数进行训练，损失函数由两项组成，一项用于中心线距离图预测，另一项用于特征点检测；
，
其中，代表分割掩模内的每个像素，和分别是标签真实值和预测的中心线距离图，和分别是标签真实值和预测的特征点置信图，表示Hadamard矩阵乘积运算，是平衡中心线距离图和特征点置信图的损失加权因子；
提取中心线模块得到的中心线热图与其对应的掩模图像标签输入到损失函数中计算损失值，来量化预测结果和真实标签之间的差异程度；
总体损失函数，其中为交叉熵损失函数，
，
其中，p(x)表示真实标签的概率，q(x)表示网络预测的标签的概率。
进一步地，S5的具体步骤为：
使用Adam作为优化器，在网络的训练过程中，通过损失函数计算出损失值，使用反向传播计算损失函数对网络参数的梯度，对步骤S3中的网络结构的参数进行更新，使得损失函数逐渐减小，以实现更快的收敛速度，通过损失函数和优化器完成对参数的更新和优化，保存训练过程中的最优参数网络权重weight和偏置量bias；
读取最优网络权重weight和最优偏置量bias，将最优权重和最优偏置量加载入网络中，读取测试集test的眼底视网膜图像，完成血管分割，将结果保存为png格式的文件。
本发明还提供了一种融合中心线图和增强对比度网络的血管分割方法的系统，包括以下模块：
数据收集模块：在已公开的数据集中进行数据收集，选取张眼底视网膜图像作为本系统的数据集；
数据预处理模块：对数据收集模块采集到的数据集进行预处理，首先进行预处理得到增强后的数据集，然后将增强后的数据集按比例划分为训练集和测试集；
网络结构设计模块：构建包含编码器、中间结构层，提取中心线模块，第一解码器、第二解码器和特征融合模块的网络结构；
特征图处理模块：通过网络结构设计模块中的网络结构对输入图像进行特征提取和分析，然后将得到的特征图送入解码器，最后对特征图进行融合；
训练优化模块：通过计算提网络结构中参数之间的损失函数来量化预测结果和真实标签之间的差异程度，进一步计算总体损失；使用反向传播计算损失函数对网络参数的梯度，对网络结构的参数进行优化，得出最优的网络权重和偏置量，并将其保存；
图像分割模块：读取保存的网络权重和偏置量，并将其加载入网络中，最后读取测试集的眼底视网膜图像，完成血管分割，保存最终的图像结果。
上述技术方案具有如下优点或有益效果：
本发明将中心线热图和增强分支技术融入到双解码器网络中，在复杂的医学图像中提取出完整的、连通且准确的血管结构。利用细化算法提取出血管的中心线，构建中心线热图，将神经网络与增强分支技术结合用来提取血管的局部特征以及全局特征，随后将中心线热图融合到神经网络中，与提取到的血管特征进行融合。其中，网络部分由一个共同的编码器，以及两个具有相似结构解码器组成。第一解码器与增强分支技术融合用于分割任务，增强对对比度低的细小血管的特征提取。第二解码器用于辅助分割，用于提取血管中心线并生成中心线热图。将中心线热图通过注意力模块融入到第一解码器中辅助血管分割。使用中心线热图可以获取血管的几何特征，在分析复杂度高的图像时神经网络还能够很好的结合血管的几何信息，提高了分割的效率和质量。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明的方法流程示意图。
图2为本发明的网络模型图。
图3为本发明的提取中心线模块图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1 一种融合中心线热图和增强对比度的双解码器网络的血管分割方法，包括以下步骤：
S1.在数据集和中选取张眼底视网膜图像，记为数据集；
S2.对数据集进行预处理，首先进行数据增强，然后将增强后的数据集按比例划分为训练集和测试集；
S3.构建包含编码器、中间结构层，提取中心线模块，第一解码器、第二解码器和特征融合模块的网络结构，对输入图像进行特征提取和分析，然后将得到的特征图送入解码器，最后对特征图进行融合；
S4.通过计算提取中心线模块得到的中心线热图与其对应的掩模图像标签的损失函数来量化预测结果和真实标签之间的差异程度，进一步计算总体损失；
S5.使用反向传播计算损失函数对网络参数的梯度，对步骤S3中网络结构的参数进行优化，得出最优的网络权重和偏置量，并将其保存，然后读取保存的网络权重和偏置量，并将其加载入网络结构中，最后读取测试集的眼底视网膜图像，完成血管分割，保存最终的图像结果。
进一步地，S1的具体步骤为：在公开的数据集和中一共选取张眼底视网膜图像，记为数据集，，表示第张眼底视网膜造影图像，和数据集是用于眼底视网膜图像分割的常用数据集，包含40张tif格式的已注释的彩色视网膜图像，包含800张png格式的已注释的彩色视网膜图像。
进一步地，S2的具体步骤为：对数据集进行预处理，首先对数据集进行剪裁、翻转、旋转和缩放进行数据增强，得到增强后的数据集，，，表示第张增强后的眼底视网膜造影图像，按7:3的比例对增强后的数据集进行划分，将数据集划分为训练集和测试集。
进一步地，S3的具体步骤为：
a.通过编码器对数据集中的原始图像进行特征提取，编码器内依次为第一特征提取单元、第一最大池化层、第二特征提取单元、第二最大池化层、第三特征提取单元、第三最大池化层、第四特征提取单元、第四最大池化层，特征提取单元均由两个卷积块和一个残差块组成，卷积块分为第一卷积块和第二卷积块，均由卷积核为3×3，步长为1×1，padding为0的卷积层、BN归一化层、Relu激活函数和Dropout层组成；
a-1）在第一特征提取单元中，将训练集中的第张图像输入到第一卷积块，得到特征图，随后将特征图输入到第二卷积块，得到特征图，然后将特征图和输入到残差卷积块中得到特征图；
a-2）将特征图输入到窗口设置为2×2的第一最大池化层得到特征图；
另外三组特征提取单元和最大池化层重复a-1）和a-2）中的操作：
a-3）将特征图输入到第二特征提取单元，首先经过第一卷积块得到，将输入到第二卷积块得到，将特征图和输入到残差卷积块中得到特征图，将特征图输入到第二最大池化层得到特征图；
a-4）将特征图输入到第三特征提取单元，首先经过第一卷积块得到，将输入到第二卷积块得到，将特征图和输入到残差卷积块中得到特征图，将特征图输入到第三最大池化层得到特征图；
a-5）将特征图输入到第四特征提取单元，首先经过第一卷积块得到，将输入到第二卷积块得到，将特征图和输入到残差卷积块中得到特征图，将特征图输入到第四最大池化层得到特征图；
b.中间结构层包括第一卷积块、第二卷积块和残差连接块，第一卷积块和第二卷积块包括卷积核为3×3，步长为1×1，填充padding为0的卷积层、BN归一化层、Relu激活函数和Dropout层；
b-1）将特征图输入到第一卷积块中得到特征图；
b-2）将特征图输入到第二卷积块中得到特征图；
b-3）将特征图和特征图输入到残差连接块中得到特征图；
c.提取中心线模块对数据集中的掩模图像进行分析，得到中心线热图的部分，提取中心线模块由第一多任务卷积单元、中心线距离计算层、特征点检测层、特征融合层和第二卷积单元组成；第一多任务卷积单元由第一卷积块、第二卷积块和第三卷积块组成，其中，第一卷积块由卷积核为3×3，步长为1×1，padding为0的卷积层、BN归一化层和Relu激活函数组成，第二卷积块和第三卷积块均由卷积层、BN归一化层、Relu激活函数和Sigmoid激活函数组成；中心线距离计算层由距离图计算层、通道注意力模块和特征融合层组成；中心线距离计算层的通道注意力模块依次由卷积层、Relu激活函数和Softmax函数组成，不同通道位置的特征是不同的，围绕中心线的狭窄区域需要更多的关注以获得最佳的区分对比度；
c-1)将训练集中第张眼底视网膜掩模图像输入到第一多任务卷积单元的第一卷积块中得到特征图，将特征图输入到第二卷积块中，经过Sigmoid函数得到特征图，将特征图输入到第三卷积块中，经过Sigmoid函数得到特征图；
c-2)将特征图输入到距离图计算层，采用欧几里得距离变换方法将特征图生成中心线距离特征图，假设图像分割掩模是，，表示图像中所有像素点位置的集合和，计算公式为：
，
，
其中，是像素到中心线点的欧几里得距离，是像素在x轴上的位置，是像素是在y轴上的位置，，是卷积符号，是调整参数；
将中心线距离特征图输入到通道注意力模块，按通道关注度进行加权计算，输出得到通道加权特征图，注意力模块通过通道注意力权重对不同的通道进行加权，，首先在中心线距离图的每个通道上应用卷积层获得通道特征向量v，然后通过Relu激活函数获得原始注意力权重q，再对权重q应用softmax函数以获得最终的通道注意力权重，将中心线距离图乘以权重获得通道加权特征图，计算公式为：
，
，
，
其中是卷积核，是偏置向量，*是卷积运算符，表示Relu激活函数，表示通道注意力权重，是中心线距离图，是通道加权特征图，是表示特征图数量,v表示通道特征向量，k表示标识符；
将中心线距离图和通道加权特征图输入到特征融合层中，按逐像素相乘的方式进行特征融合，得到高级中心线距离图；
c-3)将特征图输入到提取中心线模块的特征点检测层中，使用FAST算法检测图像中的点生成点特征图，提取中的特征点生成点集，在每个特征点周围构造高斯分布，生成一个基于像素点的特征点置信特征图，其中FAST算法是一种基于基于像素点的简单且高效的特征提取算法;
c-4）将高级中心线距离特征图和特征点置信特征图输入到提取中心线模块的特征融合层中进行Concat特征融合，输出得到中心线热特征图；
c-5)将中心线特征图输入到第二卷积单元中，输出得到中心线热特征图；
d.第一解码器进行部分路径扩展，包括第一自注意力模块、第一对比度增强层、第一上采样层、第一特征融合层、第二自注意力模块、第二对比度增强层、第二上采样层、第二特征融合层、第三自注意力模块、第三对比度增强层、第三上采样层、第三特征融合层、第四自注意力模块、第四对比度增强层、第四上采样层、第四特征融合层、几何特征融合层、卷积核大小为1×1，步长为1×1，padding为0的第五卷积单元，其中，自注意力模块由卷积核为1×1，步长为1×1,padding为0的第一卷积层、卷积核为1×1，步长为2×2，padding为0的第二卷积层、卷积核为1×1，步长为1×1,padding为0的第三卷积层、Relu激活函数和反卷积核为2×2，步长为2×2，padding为0的上采样层组成；对比度增强层由对比度增强层、卷积核为1×1，步长为1×1，padding为0的卷积层和concat特征融合层组成；
自注意力模块的计算公式为：
，
其中，是自注意力模块输出的特征图，和是来自编码器第i层和第j层的输入特征图，、和均表示卷积参数，表示卷积核为1×1的卷积函数，表示卷积核为2×2的卷积函数，表示卷积核为1×1的卷积函数，表示Relu激活函数，表示上采样；
d-1)将特征图输入到第一卷积层输出图，将特征图输入到第二卷积层后输出得到图，将与逐像素相加得到图，将输入到Relu函数后，得到特征图，将输入到第三卷积层输出，经过上采样层后得到特征图；
d-2）将特征图输入对比度增强层，采用直方图均衡化方法对图像的每个通道进行对比度增强，得到特征图，将输入卷积层得到，将特征图和输入到特征融合层进行特征融合，输出特征图；
其中，直方图均衡化方法是对输入的图像进行灰度级重新分配，可以使输出图像中的灰度值分布更加均匀并且不会损失图像细节，从而增加图像的对比度，计算公式为：
，
其中表示图像中像素值为的像素点数量，r表示局部均衡化窗口的大小，L表示输出图像的灰度级数，是输入的图像，为变换函数，为输出图像；
d-3)将特征图输入到第一解码器的第一上采样层，得到特征图；
d-4)将特征图输入到第一卷积层输出图，将特征图输入到第二卷积层得到，将与逐像素相加得到特征图，将特征图输入到Relu函数后，得到特征图，将特征图输入到第三卷积层得到特征图，特征图经过上采样层得到特征图；
d-5)将特征图输入对比度增强层，采用直方图均衡化算法对图像的每个通道进行对比度增强，得到特征图，将输入卷积层得到，将特征图和输入到特征融合层进行特征融合，输出特征图；
d-6)将特征图输入到第一解码器的第二上采样层，得到特征图；
d-7)将特征图和特征图输入到第二特征融合层，得到特征图；
d-8)将特征图输入到第一卷积层中得到图，将特征图输入到第二卷积层后输出得到，将特征图与特征图逐像素相加得到特征图，将特征图输入到Relu函数后，得到特征图，将特征图输入到第三卷积层得到特征图，特征图经过上采样层得到特征图；
d-9)将特征图输入对比度增强层，采用直方图均衡化算法对图像的每个通道进行对比度增强，得到特征图，将输入卷积层得到，将特征图和输入到特征融合层进行特征融合，输出特征图；
d-10)将特征图输入到第一解码器的第三上采样层，得到图；
d-11)将特征图 和特征图输入到第三特征融合层，得到特征图；
d-12)将特征图输入到第一卷积层后输出得到，将特征图输入到第二卷积层输出得到图，将与逐像素相加得到特征图，将特征图输入到Relu函数后，得到特征图，将特征图输入到第三卷积层得到图，经过上采样层得到特征图；
d-13)将特征图输入对比度增强层，采用直方图均衡化算法对图像的每个通道进行对比度增强，得到特征图，将输入卷积层得到，将特征图和输入到特征融合层进行特征融合，输出特征图；
d-14)将特征图输入到第四上采样层，得到特征图；
d-15)将特征图和特征图输入到第四特征融合层输出图；
d-16)将特征图和中心线热图输入到第一解码器的几何特征融合层中，特征融合采用每个像素值相乘的方法，得到特征图；
d-17)将特征图输入到第一解码器的第五卷积单元中，输出得到特征图；
e.第二解码器进行部分路径扩展，包括几何特征融合层、第五卷积单元和四组反卷积核大小为2×2，步长为2×2，padding为0的上采样层、concat特征融合层、卷积单元，其中，卷积单元由卷积层、BN归一化层、Relu激活函数和Dropout层构成；
e-1)将特征图输入到第二解码器的第一上采样层得到特征图；
e-2)将特征图和输入到第二解码器的第一特征融合层得到特征图；
e-3)将特征图输入到第一卷积单元中，输出得到特征图，其中第一卷积单元中卷积层的卷积核为3×3，步长为1×1，padding为0；
e-4)将特征图输入到第二上采样层得到特征图；
e-5)将特征图和输入到第二特征融合层得到特征图；
e-6)将特征图输入到第二卷积单元中，输出得到特征图，其中第二卷积单元中卷积层的卷积核为3×3，步长为1×1，padding为0；
e-7)将特征图输入到第三上采样层得到特征图；
e-8)将特征图和输入到第三特征融合层特征图；
e-9)将特征图输入到第三卷积单元得到特征图，其中第三卷积单元中卷积层的卷积核为3×3，步长为1×1，padding为0；
e-10)将特征图输入到第四上采样层得到特征图；
e-11)将特征图和输入到第二解码器的第四特征融合层中，输出得到特征图；
e-12)将特征图输入到第四卷积单元得到特征图，其中第四卷积单元中卷积层的卷积核为3×3，步长为1×1，padding为0；
e-13)将特征图和中心线热图输入到第二解码器的几何特征融合层中，让每个像素值相乘来进行特征融合，得到特征图；
e-14)将特征图输入到第五卷积单元中，输出得到特征图，其中，第五单元单元中卷积层的卷积核为1×1，步长为1×1，padding为0；
f.将特征图和输入到特征融合层中，通过逐像素值相乘来进行特征融合，得到特征图，最后将特征图输入Sigmoid函数得到概率图,设定阈值对像素点进行分类，阈值设为0.5，将概率值大于等于0.5的像素点判断为血管，小于0.5的判断为背景，得到分割结果图。
进一步地，S4的具体步骤为：
利用给定的掩模图像，采用损失函数进行训练，损失函数由两项组成，一项用于中心线距离图预测，另一项用于特征点检测；
，
其中，代表分割掩模内的每个像素，和分别是标签真实值和预测的中心线距离图，和分别是标签真实值和预测的特征点置信图，表示Hadamard矩阵乘积运算，是平衡中心线距离图和特征点置信图的损失加权因子；
提取中心线模块得到的中心线热图与其对应的掩模图像标签输入到损失函数中计算损失值，来量化预测结果和真实标签之间的差异程度；
总体损失函数，其中为交叉熵损失函数，
，
其中，p(x)表示真实标签的概率，q(x)表示网络预测的标签的概率。
进一步地，S5的具体步骤为：
使用Adam作为优化器，在网络的训练过程中，通过损失函数计算出损失值，使用反向传播计算损失函数对网络参数的梯度，Adam优化器可以利用梯度的均值和方差的移动平均值计算自适应学习率，对步骤S3中的网络结构的参数进行更新，使得损失函数逐渐减小，以实现更快的收敛速度，通过损失函数和优化器完成对参数的更新和优化，保存训练过程中的最优参数网络权重weight和偏置量bias；
读取最优网络权重weight和最优偏置量bias，将最优权重和最优偏置量加载入网络中，读取测试集test的眼底视网膜图像，完成血管分割，将结果保存为png格式的文件。
实施例2 本发明还提供了一种融合中心线图和增强对比度网络的血管分割方法的系统，包括以下模块：
数据收集模块：在已公开的数据集中进行数据收集，选取张眼底视网膜图像作为本系统的数据集；
数据预处理模块：对数据收集模块采集到的数据集进行预处理，首先进行预处理得到增强后的数据集，然后将增强后的数据集按比例划分为训练集和测试集；
网络结构设计模块：构建包含编码器、中间结构层，提取中心线模块，第一解码器、第二解码器和特征融合模块的网络结构；
特征图处理模块：通过网络结构设计模块中的网络结构对输入图像进行特征提取和分析，然后将得到的特征图送入解码器，最后对特征图进行融合；
训练优化模块：通过计算提网络结构中参数之间的损失函数来量化预测结果和真实标签之间的差异程度，进一步计算总体损失；使用反向传播计算损失函数对网络参数的梯度，对网络结构的参数进行优化，得出最优的网络权重weight和偏置量bias，并将其保存；
图像分割模块：读取保存的网络权重weight和偏置量bias，并将其加载入网络中，最后读取测试集的眼底视网膜图像，完成血管分割，保存最终的图像结果。
实施例3 如表1所示，将数据集DRIVE和数据集FIVE中的30%的数据用于测试，本发明在准确度、Dice相似系数、IOU值评价指标上分别达到了96.94%、82.02%、69.55%的结果，相比先进的U-Net、TransUNet、SegNet等模型，本发明能更好的分割复杂度高的数据集，对于对比度不明显的图片一样可以得到较好的结果。其中，U-Net是一种主要为图像分割任务开发的图像分割技术，Attention U-Net是基于U-Net模型结构的变体，ResUNet是一种残差网络模型。
表1 本发明与其他模型的结果对比
上述虽然结合附图对发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种融合中心线图和增强对比度网络的血管分割方法，其特征是，包括以下步骤：
S1.在数据集和中选取张眼底视网膜图像，记为数据集；
S2.对数据集进行预处理，首先进行数据增强，然后将增强后的数据集按比例划分为训练集和测试集；
S3.构建包含编码器、中间结构层，提取中心线模块，第一解码器、第二解码器和特征融合模块的网络结构，对输入图像进行特征提取和分析，然后将得到的特征图送入解码器，最后对特征图进行融合；
S4.通过计算提取中心线模块得到的中心线热图与其对应的掩模图像标签的损失函数来量化预测结果和真实标签之间的差异程度，进一步计算总体损失；
S5.使用反向传播计算损失函数对网络参数的梯度，对步骤S3中网络结构的参数进行优化，得出最优的网络权重和偏置量，并将其保存，然后读取保存的网络权重和偏置量，并将其加载入网络结构中，最后读取测试集的眼底视网膜图像，完成血管分割，保存最终的图像结果。
2.根据权利要求1所述的融合中心线图和增强对比度网络的血管分割方法，其特征在于：
S1的具体步骤为：在公开的数据集和中一共选取张眼底视网膜图像，记为数据集，，表示第张眼底视网膜造影图像，和数据集是用于眼底视网膜图像分割的常用数据集，包含40张tif格式的已注释的彩色视网膜图像，包含800张png格式的已注释的彩色视网膜图像。
3.根据权利要求2所述的融合中心线图和增强对比度网络的血管分割方法，其特征在于：
S2的具体步骤为：对数据集进行预处理，首先对数据集进行剪裁、翻转、旋转和缩放进行数据增强，得到增强后的数据集，，，表示第张增强后的眼底视网膜造影图像，按7:3的比例对增强后的数据集进行划分，将数据集划分为训练集和测试集。
4.根据权利要求3所述的融合中心线图和增强对比度网络的血管分割方法，其特征在于：
S3的具体步骤为：
a.通过编码器对数据集中的原始图像进行特征提取，编码器内依次为四组特征提取单元和最大池化层，特征提取单元均由两个卷积块和一个残差块组成，卷积块分为第一卷积块和第二卷积块，卷积块均由卷积核为3×3，步长为1×1，padding为0的卷积层、BN归一化层、Relu激活函数和Dropout层组成；
a-1）在第一特征提取单元中，将训练集中的第张图像输入到第一卷积块，得到特征图，随后将特征图输入到第二卷积块，得到特征图，然后将特征图和输入到残差卷积块中得到特征图；
a-2）将特征图输入到窗口设置为2×2的第一最大池化层得到特征图；
另外三组特征提取单元和最大池化层重复a-1）和a-2）中的操作：
a-3）将特征图输入到第二特征提取单元，首先经过第一卷积块得到，将输入到第二卷积块得到，将特征图和输入到残差卷积块中得到特征图，将特征图输入到第二最大池化层得到特征图；
a-4）将特征图输入到第三特征提取单元，首先经过第一卷积块得到，将输入到第二卷积块得到，将特征图和输入到残差卷积块中得到特征图，将特征图输入到第三最大池化层得到特征图；
a-5）将特征图输入到第四特征提取单元，首先经过第一卷积块得到,将输入到第二卷积块得到，将特征图和输入到残差卷积块中得到特征图，将特征图输入到第四最大池化层得到特征图；
b.中间结构层包括第一卷积块、第二卷积块和残差连接块，第一卷积块和第二卷积块均由卷积核为3×3，步长为1×1，填充padding为0的卷积层、BN归一化层、Relu激活函数和Dropout层组成；
b-1）将特征图输入到第一卷积块中得到特征图；
b-2）将特征图输入到第二卷积块中得到特征图；
b-3）将特征图和特征图输入到残差连接块中得到特征图；
c.提取中心线模块对数据集中的掩模图像进行分析，得到中心线热图的部分，提取中心线模块由第一多任务卷积单元、中心线距离计算层、特征点检测层、特征融合层和第二卷积单元组成；第一多任务卷积单元由第一卷积块、第二卷积块和第三卷积块组成，其中，第一卷积块由卷积核为3×3，步长为1×1，padding为0的卷积层、BN归一化层和Relu激活函数组成，第二卷积块和第三卷积块均由卷积层、BN归一化层、Relu激活函数和Sigmoid激活函数组成；中心线距离计算层由距离图计算层、通道注意力模块和特征融合层组成；中心线距离计算层的通道注意力模块依次由卷积层、Relu激活函数和Softmax函数组成；
c-1)将训练集中第张眼底视网膜掩模图像输入到第一多任务卷积单元的第一卷积块中得到特征图，将特征图输入到第二卷积块中，经过Sigmoid函数得到特征图，将特征图输入到第三卷积块中，经过Sigmoid函数得到特征图；
c-2)将特征图输入到距离图计算层，采用欧几里得距离变换方法将特征图生成中心线距离特征图，假设图像分割掩模是，，表示图像中所有像素点位置的集合和，计算公式为：
，
，
其中，是像素到中心线点的欧几里得距离，是像素i在x轴上的位置，是像素i是在y轴上的位置，，是卷积符号， 是调整参数；
将中心线距离特征图输入到通道注意力模块，按通道关注度进行加权计算，输出得到通道加权特征图，注意力模块通过通道注意力权重对不同的通道进行加权，，首先在中心线距离图的每个通道上应用卷积层获得通道特征向量v，然后通过Relu激活函数获得原始注意力权重q，再对权重q应用softmax函数以获得最终的通道注意力权重，将中心线距离图乘以权重获得通道加权特征图，计算公式为：
，，，
其中是卷积核，是偏置向量，是卷积运算符，表示Relu激活函数，表示通道注意力权重，是中心线距离图，是通道加权特征图，是表示特征图数量，v表示通道特征向量，k表示标识符；
将中心线距离图和通道加权特征图输入到特征融合层中，按逐像素相乘的方式进行特征融合，得到高级中心线距离图；
c-3)将特征图输入到提取中心线模块的特征点检测层中，使用FAST算法检测图像中的点生成点特征图，提取中的特征点生成点集，在每个特征点周围构造高斯分布，生成一个基于像素点的特征点置信特征图；
c-4）将高级中心线距离特征图和特征点置信特征图输入到提取中心线模块的特征融合层中进行Concat特征融合，输出得到中心线热特征图；
c-5)将中心线特征图输入到第二卷积单元中，输出得到中心线热特征图；
d.第一解码器进行部分路径扩展，包括几何特征融合层、卷积核大小为1×1，步长为1×1，padding为0的第五卷积单元和四组自注意力模块、对比度增强层、上采样层和特征融合层，其中，自注意力模块由卷积核为1×1，步长为1×1，padding为0的第一卷积层和第三卷积层、卷积核为1×1，步长为2×2,padding为0的第二卷积层、Relu激活函数和反卷积核为2×2，步长为2×2，padding为0的上采样层组成；对比度增强层由对比度增强层、卷积核为1×1，步长为1×1，padding为0的卷积层和concat特征融合层组成；
自注意力模块的计算公式为：
，
其中，是自注意力模块输出的特征图，和是来自编码器第i层和第j层的输入特征图，、和均表示卷积参数，表示卷积核为1×1的卷积函数，表示卷积核为2×2的卷积函数，表示卷积核为1×1的卷积函数，表示Relu激活函数，表示上采样；
d-1)将特征图输入到第一卷积层输出图，将特征图输入到第二卷积层后输出得到图，将与逐像素相加得到图，将输入到Relu函数后，得到特征图，将输入到第三卷积层输出，经过上采样层后得到特征图；
d-2）将特征图输入对比度增强层，采用直方图均衡化方法对图像的每个通道进行对比度增强，得到特征图，将输入卷积层得到，将特征图和输入到特征融合层进行特征融合，输出特征图;
其中，直方图均衡化方法是对输入的图像进行灰度级重新分配，计算公式为：
,
其中表示图像中像素值为的像素点数量，r表示局部均衡化窗口的大小，L表示输出图像的灰度级数，是输入的图像，为变换函数，为输出图像；
d-3)将特征图输入到第一解码器的第一上采样层，得到特征图；
d-4)将特征图输入到第一卷积层输出图,将特征图输入到第二卷积层得到,将与逐像素相加得到特征图,将特征图输入到Relu函数后，得到特征图,将特征图输入到第三卷积层得到特征图特征图经过上采样层得到特征图;
d-5)将特征图输入对比度增强层，采用直方图均衡化算法对图像的每个通道进行对比度增强，得到特征图，将输入卷积层得到，将特征图和输入到特征融合层进行特征融合，输出特征图；
d-6)将特征图输入到第一解码器的第二上采样层，得到特征图；
d-7)将特征图和特征图输入到第二特征融合层，得到特征图；
d-8)将特征图输入到第一卷积层中得到图，将特征图输入到第二卷积层后输出得到，将特征图与特征图逐像素相加得到特征图，将特征图输入到Relu函数后，得到特征图，将特征图输入到第三卷积层得到特征图，特征图经过上采样层得到特征图；
d-9)将特征图输入对比度增强层，采用直方图均衡化算法对图像的每个通道进行对比度增强，得到特征图，将输入卷积层得到，将特征图和输入到特征融合层进行特征融合，输出特征图；
d-10)将特征图输入到第一解码器的第三上采样层，得到图；
d-11)将特征图和特征图输入到第三特征融合层，得到特征图；
d-12)将特征图输入到第一卷积层后输出得到，将特征图输入到第二卷积层输出得到图，将与逐像素相加得到特征图，将特征图输入到Relu函数后，得到特征图，将特征图输入到第三卷积层得到图，经过上采样层得到特征图；
d-13)将特征图输入对比度增强层，采用直方图均衡化算法对图像的每个通道进行对比度增强，得到特征图，将输入卷积层得到，将特征图和输入到特征融合层进行特征融合，输出特征图；
d-14)将特征图输入到第四上采样层，得到特征图；
d-15)将特征图和特征图输入到第四特征融合层输出图；
d-16)将特征图和中心线热图输入到第一解码器的几何特征融合层中，特征融合采用每个像素值相乘的方法，得到特征图；
d-17)将特征图输入到第一解码器的第五卷积单元中，输出得到特征图；
e.第二解码器进行部分路径扩展，包括几何特征融合层、第五卷积单元和四组反卷积核大小为2×2，步长为2×2，padding为0的上采样层、concat特征融合层、卷积单元，其中，第五卷积单元中卷积层的卷积核为1×1，步长为1×1，padding为0，其他卷积单元由卷积核为3×3，步长为1×1，padding为0的卷积层、BN归一化层、Relu激活函数和Dropout层构成；
e-1)将特征图输入到第二解码器的第一上采样层得到特征图；
e-2)将特征图和输入到第二解码器的第一特征融合层得到特征图；
e-3)将特征图输入到第一卷积单元中，输出得到特征图；
e-4)将特征图输入到第二上采样层得到特征图；
e-5)将特征图和输入到第二特征融合层得到特征图；
e-6)将特征图输入到第二卷积单元中，输出得到特征图；
e-7)将特征图输入到第三上采样层得到特征图；
e-8)将特征图和输入到第三特征融合层特征图；
e-9)将特征图输入到第三卷积单元得到特征图；
e-10)将特征图输入到第四上采样层得到特征图；
e-11)将特征图和输入到第二解码器的第四特征融合层中，输出得到特征图；
e-12)将特征图输入到第四卷积单元得到特征图；
e-13)将特征图和中心线热图输入到第二解码器的几何特征融合层中，让每个像素值相乘来进行特征融合，得到特征图；
e-14)将特征图输入到第五卷积单元中，输出得到特征图；
f.将特征图和输入到特征融合层中，通过逐像素值相乘来进行特征融合，得到特征图，最后将特征图输入Sigmoid函数得到概率图,设定阈值对像素点进行分类，将概率值大于等于阈值的像素点判断为血管，小于阈值的判断为背景，得到分割结果图。
5.根据权利要求4所述的融合中心线图和增强对比度网络的血管分割方法，其特征在于：
S4的具体步骤为：
利用给定的掩模图像，采用损失函数进行训练，损失函数由两项组成，一项用于中心线距离图预测，另一项用于特征点检测；
，
其中，代表分割掩模内的每个像素，和分别是标签真实值和预测的中心线距离图，和分别是标签真实值和预测的特征点置信图，表示Hadamard矩阵乘积运算，是平衡中心线距离图和特征点置信图的损失加权因子；
提取中心线模块得到的中心线热图与其对应的掩模图像标签输入到损失函数中计算损失值，来量化预测结果和真实标签之间的差异程度；
总体损失函数，其中为交叉熵损失函数，
，
其中，p(x)表示真实标签的概率，q(x)表示网络预测的标签的概率。
6.根据权利要求5所述的融合中心线图和增强对比度网络的血管分割方法，其特征在于：
S5的具体步骤为：
使用Adam作为优化器，在网络结构的训练过程中，通过损失函数计算出损失值，使用反向传播计算损失函数对网络参数的梯度，对步骤S3中的网络结构的参数进行更新，使得损失函数逐渐减小，通过损失函数和优化器完成对参数的更新和优化，保存训练过程中的最优参数网络权重weight和偏置量bias；
读取最优网络权重weight和最优偏置量bias，将最优权重和最优偏置量加载入网络中，读取测试集test的眼底视网膜图像，完成血管分割，将结果保存为png格式的文件。
7.一种融合中心线图和增强对比度网络的血管分割方法的系统，其特征在于，包括以下模块：
数据收集模块：在已公开的数据集中进行数据收集，选取n张眼底视网膜图像作为本系统的数据集；
数据预处理模块：对数据收集模块采集到的数据集进行预处理，首先进行预处理得到增强后的数据集，然后将增强后的数据集按比例划分为训练集和测试集；
网络结构设计模块：构建包含编码器、中间结构层，提取中心线模块，第一解码器、第二解码器和特征融合模块的网络结构；
特征图处理模块：通过网络结构设计模块中的网络结构对输入图像进行特征提取和分析，然后将得到的特征图送入解码器，最后对特征图进行融合；
训练优化模块：通过计算提网络结构中参数之间的损失函数来量化预测结果和真实标签之间的差异程度，进一步计算总体损失；使用反向传播计算损失函数对网络参数的梯度，对网络结构的参数进行优化，得出最优的网络权重和偏置量，并将其保存；
图像分割模块：读取保存的读取保存的网络权重weight和 偏置量bias，并将其加载入网络中，最后读取测试集的眼底视网膜图像，完成血管分割，保存最终的图像结果。
CN202311823663.9A 2023-12-28 2023-12-28 融合中心线图和增强对比度网络的血管分割方法及其系统 Active CN117611599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311823663.9A CN117611599B (zh) 2023-12-28 2023-12-28 融合中心线图和增强对比度网络的血管分割方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311823663.9A CN117611599B (zh) 2023-12-28 2023-12-28 融合中心线图和增强对比度网络的血管分割方法及其系统

Publications (2)

Publication Number Publication Date
CN117611599A true CN117611599A (zh) 2024-02-27
CN117611599B CN117611599B (zh) 2024-05-31

Family

ID=89953662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311823663.9A Active CN117611599B (zh) 2023-12-28 2023-12-28 融合中心线图和增强对比度网络的血管分割方法及其系统

Country Status (1)

Country Link
CN (1) CN117611599B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994279A (zh) * 2024-04-07 2024-05-07 齐鲁工业大学(山东省科学院) 一种全面特征融合的闭合轮廓提取的方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805871A (zh) * 2018-06-14 2018-11-13 艾瑞迈迪医疗科技（北京）有限公司 血管图像处理方法、装置、计算机设备和存储介质
CN111784762A (zh) * 2020-06-01 2020-10-16 北京理工大学 X光造影图像血管中心线提取方法及装置
WO2021253939A1 (zh) * 2020-06-18 2021-12-23 南通大学 一种用于眼底视网膜血管图像分割的粗糙集神经网络方法
CN114565620A (zh) * 2022-03-01 2022-05-31 电子科技大学 一种基于骨架先验和对比损失的眼底图像血管分割方法
CN114581392A (zh) * 2022-02-28 2022-06-03 山东省人工智能研究院 基于深度学习和各向异性活动轮廓的图像分割方法
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net
CN115393710A (zh) * 2022-08-08 2022-11-25 吉林大学 基于粗掩码平滑标签监督的任意角度目标检测方法
CN115409859A (zh) * 2022-08-30 2022-11-29 上海科技大学 冠状动脉血管图像分割方法及装置、存储介质和终端
CN115482358A (zh) * 2022-10-12 2022-12-16 北京医准智能科技有限公司 一种三角网格曲面的生成方法、装置、设备及存储介质
CN115731242A (zh) * 2022-11-21 2023-03-03 电子科技大学 基于混合注意力机制和非对称卷积的视网膜血管分割方法
CN116452992A (zh) * 2023-05-18 2023-07-18 山东省人工智能研究院 一种最小路径管状结构中心线的提取方法
CN116524191A (zh) * 2023-05-11 2023-08-01 山东省人工智能研究院 融入测地线投票算法的深度学习网络的血管分割方法
CN116664602A (zh) * 2023-07-26 2023-08-29 中南大学 基于少样本学习的octa血管分割方法及成像方法
CN116823842A (zh) * 2023-06-25 2023-09-29 山东省人工智能研究院 融合测地线模型的双解码器网络的血管分割方法
CN117036984A (zh) * 2023-10-09 2023-11-10 武汉大学 一种融合注意力机制的级联u型网络云检测方法及系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805871A (zh) * 2018-06-14 2018-11-13 艾瑞迈迪医疗科技（北京）有限公司 血管图像处理方法、装置、计算机设备和存储介质
CN111784762A (zh) * 2020-06-01 2020-10-16 北京理工大学 X光造影图像血管中心线提取方法及装置
WO2021253939A1 (zh) * 2020-06-18 2021-12-23 南通大学 一种用于眼底视网膜血管图像分割的粗糙集神经网络方法
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net
CN114581392A (zh) * 2022-02-28 2022-06-03 山东省人工智能研究院 基于深度学习和各向异性活动轮廓的图像分割方法
CN114565620A (zh) * 2022-03-01 2022-05-31 电子科技大学 一种基于骨架先验和对比损失的眼底图像血管分割方法
CN115393710A (zh) * 2022-08-08 2022-11-25 吉林大学 基于粗掩码平滑标签监督的任意角度目标检测方法
CN115409859A (zh) * 2022-08-30 2022-11-29 上海科技大学 冠状动脉血管图像分割方法及装置、存储介质和终端
CN115482358A (zh) * 2022-10-12 2022-12-16 北京医准智能科技有限公司 一种三角网格曲面的生成方法、装置、设备及存储介质
CN115731242A (zh) * 2022-11-21 2023-03-03 电子科技大学 基于混合注意力机制和非对称卷积的视网膜血管分割方法
CN116524191A (zh) * 2023-05-11 2023-08-01 山东省人工智能研究院 融入测地线投票算法的深度学习网络的血管分割方法
CN116452992A (zh) * 2023-05-18 2023-07-18 山东省人工智能研究院 一种最小路径管状结构中心线的提取方法
CN116823842A (zh) * 2023-06-25 2023-09-29 山东省人工智能研究院 融合测地线模型的双解码器网络的血管分割方法
CN116664602A (zh) * 2023-07-26 2023-08-29 中南大学 基于少样本学习的octa血管分割方法及成像方法
CN117036984A (zh) * 2023-10-09 2023-11-10 武汉大学 一种融合注意力机制的级联u型网络云检测方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CUI ZHENCHAO 等: "MF2 ResU-Net: a multi-feature fusion deep learning architecture for retinal blood vessel segmentation", 《DIGITAL CHINESE MEDICINE》, vol. 5, no. 4, 25 December 2022 (2022-12-25), pages 406 - 418 *
ZHAOJIN FU 等: "DEAU-Net: Attention networks based on dual encoder for Medical Image Segmentation", 《COMPUTERS IN BIOLOGY AND MEDICINE》, vol. 150, 12 October 2022 (2022-10-12), pages 1 - 13, XP087223684, DOI: 10.1016/j.compbiomed.2022.106197 *
吴晨 等: "基于改进卷积神经网络的视网膜血管图像分割", 《光学学报》, no. 11, 27 June 2018 (2018-06-27), pages 133 - 139 *
李 雪: "基于编码器-解码器结构的视网膜血管分割方法研究", 《万方知识服务平台》, 15 December 2021 (2021-12-15), pages 1 - 63 *
李天培 等: "基于双注意力编码-解码器架构的视网膜血管分割", 《计算机科学》, no. 05, 31 December 2020 (2020-12-31), pages 174 - 179 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994279A (zh) * 2024-04-07 2024-05-07 齐鲁工业大学(山东省科学院) 一种全面特征融合的闭合轮廓提取的方法
CN117994279B (zh) * 2024-04-07 2024-06-07 齐鲁工业大学(山东省科学院) 一种全面特征融合的闭合轮廓提取的方法

Also Published As

Publication number Publication date
CN117611599B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
CN112150425B (zh) 一种基于神经网络的无监督血管内超声图像配准方法
CN112241766A (zh) 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN111259982A (zh) 一种基于注意力机制的早产儿视网膜图像分类方法和装置
CN111680706A (zh) 一种基于编码和解码结构的双通道输出轮廓检测方法
CN106056595A (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的方法
CN112085745B (zh) 基于均衡采样拼接的多通道u型全卷积神经网络的视网膜血管图像分割方法
CN112270666A (zh) 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
CN111598894B (zh) 基于全局信息卷积神经网络的视网膜血管图像分割系统
CN106408001A (zh) 基于深度核哈希的感兴趣区域快速检测方法
CN111612008A (zh) 基于卷积网络的图像分割方法
CN117611599B (zh) 融合中心线图和增强对比度网络的血管分割方法及其系统
CN112365514A (zh) 基于改进PSPNet的语义分割方法
CN113344933B (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
CN114266794B (zh) 基于全卷积神经网络的病理切片图像癌症区域分割系统
CN113610118B (zh) 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法
CN117409030B (zh) 基于动态管状卷积的octa图像血管分割方法及其系统
CN111127400A (zh) 一种乳腺病变检测方法和装置
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估系统
CN114240822A (zh) 基于YOLOv3及多尺度特征融合的棉布瑕疵检测方法
CN117934489A (zh) 基于残差和金字塔切分注意力的眼底硬渗出物分割方法
CN113940635B (zh) 基于深度残差金字塔的皮肤病变分割与特征提取方法
CN114913164A (zh) 基于超像素的两阶段弱监督新冠病灶分割方法
CN113658151B (zh) 一种乳腺病变磁共振图像分类方法、设备及可读存储介质
CN115937590A (zh) 一种并联融合CNN和Transformer的皮肤病图像分类方法
CN115762753A (zh) 一种深度学习对膀胱输尿管返流自动分级的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant