CN116823842A - 融合测地线模型的双解码器网络的血管分割方法 - Google Patents
融合测地线模型的双解码器网络的血管分割方法 Download PDFInfo
- Publication number
- CN116823842A CN116823842A CN202310744188.XA CN202310744188A CN116823842A CN 116823842 A CN116823842 A CN 116823842A CN 202310744188 A CN202310744188 A CN 202310744188A CN 116823842 A CN116823842 A CN 116823842A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- feature map
- input
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 53
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 45
- 230000002792 vascular Effects 0.000 claims abstract description 38
- 230000004913 activation Effects 0.000 claims description 104
- 230000004927 fusion Effects 0.000 claims description 102
- 238000010586 diagram Methods 0.000 claims description 80
- 238000013507 mapping Methods 0.000 claims description 62
- 238000011176 pooling Methods 0.000 claims description 49
- 210000001525 retina Anatomy 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 18
- 230000004256 retinal image Effects 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 9
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 3
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 claims description 3
- 239000008280 blood Substances 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims 9
- 230000005284 excitation Effects 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 8
- 238000000605 extraction Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 102
- 238000013136 deep learning model Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000004800 variational method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种融合测地线模型的双解码器网络的血管分割方法，涉及计算机视觉及医学图像处理技术领域，首先，利用网络的编码器对医学图像进行特征提取。其次，对医学图像进行对比度增强，在医学图像的三个通道上分别计算测地线密度，然后将医学图像三个通道的测地线密度进行整合，融入解码器提取到的特征中，最后通过解码器解码完成医学图像血管的分割。其中，网络部分由一个共享编码器，与两个具有相似架构的解码器组成。第一解码器用于分割任务，进行血管结构的提取。第二解码器用于辅助任务，用于血管中心线的提取以辅助第一解码器血管分割任务的完成。使用测地线投票算法与双解码器神经网络在技术上两者实现了优势互补，提高了分割的效率与质量。
Description
技术领域
本发明涉及计算机视觉及医学图像处理技术领域，具体涉及一种融合测地线模型的双解码器网络的血管分割方法。
背景技术
血管分割是医学图像处理领域的重要任务之一，其在临床诊断、治疗规划和疾病监测等方面具有关键作用。准确地提取血管结构的边界对于识别疾病标志物、分析血流动力学以及辅助医生的决策具有重要意义。
然而，由于医学图像中的血管结构通常具有复杂的形状、大小变化和强度变化，以及与周围组织的相似性，血管分割一直是一个具有挑战性的任务。传统的基于阈值、边缘检测或区域增长的方法在复杂场景下往往表现不佳，无法准确提取血管的边界。
近年来，深度学习技术的快速发展为血管分割提供了新的机遇。卷积神经网络(CNN)等深度学习模型能够自动学习图像中的特征表示，具有在复杂背景下提取血管结构的能力。深度学习模型能够自动学习图像中的特征表示，通过多层次的卷积和池化操作，可以逐渐抽取出不同层次的特征，包括边缘、纹理和形状等，从而更好地表征血管结构。另外，深度学习模型能够利用图像中的全局和局部上下文信息，对血管与背景之间的区别进行建模，从而提高分割的精度和鲁棒性。深度学习模型还可以通过端到端的训练方式进行优化，从原始图像到最终的血管分割结果，避免了手动设计特征和阈值等中间步骤，简化算法的流程。Sarhan等人(参考文献：A.Sarhan,J.Rokne,R.Alhajj and A.Crichton,"TransferLearning Through Weighted Loss Function and Group Normalization for VesselSegmentation from Retinal Images,"in 2020 25th International Conference onPattern Recognition(ICPR),Milan,Italy,2021pp.9211-9218.)使用调整过后的U-Net网络，使用加权损失函数，在视网膜图像血管分割上取得了很好的效果。然而，单一的网络模型往往难以充分捕捉图像中不同层次的特征，从而限制了血管分割的准确性。
传统的血管分割方法通常基于阈值、边缘检测或区域增长等简单的图像处理技术，易于实现和理解。其中，传统方法中的测地线投票算法通过在图像中沿着血管路径进行投票操作，能够识别和连接血管边界点，从而实现较高的分割准确性。测地线投票算法利用局部特征和几何信息，能够应对图像中的噪声、强度变化和伪影等干扰因素，提高分割结果的稳定性。然而，传统的测地线投票算法也存在一些缺点，如对血管分叉和交叉情况的处理较为困难，对于复杂的血管网络结构分割结果可能不够精确。
发明内容
本发明为了克服以上技术的不足，提供了一种传统的血管分割方法与深度学习方法相结合，从复杂医学图像中提取出准确血管边界的方法。
本发明克服其技术问题所采用的技术方案是：
一种融合测地线模型的双解码器网络的血管分割方法，包括如下步骤：
a)收集n张眼底视网膜图像，得到数据集D′，D′＝{D′1,D′2,...,D′i,...,D′n}，D′i为第i张眼底视网膜图像，i∈{1,2,...,n}；
b)对数据集D′进行数据集增强操作，得到增强后的数据集D，D＝{D1,D2,...,Di,...,Dn}，Di为第i张增强后的眼底视网膜图像；
c)将增强后的数据集D划分为训练集train、测试集test；
d)建立血管分割网络模型，血管分割网络模型由编码器、中间结构层、测地线投票算法模块、第一解码器、第二解码器构成；
e)将训练集train中第i张增强后的眼底视网膜图像Di输入到血管分割网络模型的编码器中，输出得到特征图
f)将特征图输入到血管分割网络模型的中间结构层中，输出得到特征图Dc；
g)将训练集train中第i张增强后的眼底视网膜图像Di输入到血管分割网络模型的测地线投票算法模块中，输出得到测地线密度系数特征图Ds；
h)将特征图Dc和测地线密度系数特征图Ds输入到血管分割网络模型的第一解码器中，输出得到血管分割图像i)将特征图Dc和测地线密度系数特征图Ds输入到血管分割网络模型的第二解码器中，输出得到血管中心线分割图像/>
j)利用Adam优化器通过反向传播法，使用损失函数Ltotal优化血管分割网络模型，得到训练后的血管分割网络模型；
k)将测试集test中第i张增强后的眼底视网膜图像Di输入到训练后的血管分割网络模型中，输出得到血管分割图像及血管中心线分割图像/>进一步的，步骤a)中从公开数据集DRIVE与公开数据集IOSTAR中收集n张眼底视网膜图像，得到数据集D′，步骤b)中在python中导入transforms工具包，对数据集D′中的眼底视网膜图像依次进行剪裁、翻转、旋转操作，得到增强后的数据集D，。
进一步的，步骤c)将增强后的数据集D按7:3的比例划分为训练集train、测试集test。
进一步的，步骤e)包括如下步骤：
e-1)血管分割网络模型的编码器由第一卷积单元、第二卷积单元、第一最大池化层、第三卷积单元、第四卷积单元、第二最大池化层、第五卷积单元、第六卷积单元、第三最大池化层、第七卷积单元、第八卷积单元、第四最大池化层构成；e-2)编码器的第一卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将训练集train中第i张增强后的眼底视网膜图像Di输入到第一卷积单元中，输出得到特征图e-3)编码器的第二卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图/>输入到第二卷积单元中，输出得到特征图/>e-4)将特征图/>输入到编码器的第一最大池化层中，输出得到特征图/>e-5)编码器的第三卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图/>输入到第三卷积单元中，输出得到特征图/>e-6)编码器的第四卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图/>输入到第四卷积单元中，输出得到特征图/>e-7)将特征图/>输入到编码器的第二最大池化层中，输出得到特征图e-8)编码器的第五卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图/>输入到第五卷积单元中，输出得到特征图/>e-9)编码器的第六卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图/>输入到第六卷积单元中，输出得到特征图/>e-10)将特征图/>输入到编码器的第三最大池化层中，输出得到特征图e-11)编码器的第七卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图/>输入到第七卷积单元中，输出得到特征图/>e-12)编码器的第八卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图/>输入到第八卷积单元中，输出得到特征图/>e-13)将特征图/>输入到编码器的第四最大池化层中，输出得到特征图/>进一步的，步骤f)包括如下步骤：
f-1)血管分割网络模型的中间结构层由第一卷积单元、第二卷积单元构成；
f-2)中间结构层的第一卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图输入到第一卷积单元中，输出得到特征图/>f-3)中间结构层的第二卷积单元依次由卷积层、BatchNorm层、Dropout层构成，将特征图/>输入到第二卷积单元中，输出得到特征图Dc。
进一步的，步骤g)包括如下步骤：
g-1)血管分割网络模型的测地线投票算法模块由对比度增强层、特征点检测层、测地线密度计算层构成；
g-2)将训练集train中第i张增强后的眼底视网膜图像Di输入到测地线投票算法模块的对比度增强层中利用CLAHE算法对第i张增强后的眼底视网膜图像Di的R通道、G通道、B通道进行图像对比度增强，得到对比度增强的特征图g-3)将对比度增强的特征图/>输入到测地线投票算法模块的特征点检测层中，将对比度增强的特征图/>的R通道使用Shi-Tomasi算法进行特征点检测，得到特征点图/>将对比度增强的特征图/>的G通道使用Shi-Tomasi算法进行特征点检测，得到特征点图/>将对比度增强的特征图/>的B通道使用Shi-Tomasi算法进行特征点检测，得到特征点图/>g-4)将特征点图/>输入到测地线投票算法模块的测地线密度计算层中，选取特征点图/>中的特征点组成源点集Sr，选取特征点图/>中边界上的所有的点组成端点集Qr，将源点集Sr与端点集Qr利用测地线投票算法计算生成测地线密度特征图/>g-5)将特征点图/>输入到测地线投票算法模块的测地线密度计算层中，选取特征点图/>中的特征点组成源点集Sg，选取特征点图/>中边界上的所有的点组成端点集Qg，将源点集Sg与端点集Qg利用测地线投票算法计算生成测地线密度特征图/>g-6)将特征点图/>输入到测地线投票算法模块的测地线密度计算层中，选取特征点图/>中的特征点组成源点集Sb，选取特征点图/>中边界上的所有的点组成端点集Qb，将源点集Sb与端点集Qb利用测地线投票算法计算生成测地线密度特征图/>g-7)将测地线密度特征图/>测地线密度特征图测地线密度特征图/>追像素相加，得到测地线密度特征图/>将测地线密度特征图/>输入到Sigmoid函数层中，输出得到测地线密度系数特征图Ds。
进一步的，步骤h)包括如下步骤：
h-1)血管分割网络模型的第一解码器由第一自注意力模块、第一上采样层、第一特征融合层、第一卷积单元、第二卷积单元、第二自注意力模块、第二上采样层、第二特征融合层、第三卷积单元、第四卷积单元、第三自注意力模块、第三上采样层、第三特征融合层、第五卷积单元、第六卷积单元、第四自注意力模块、第四上采样层、第四特征融合层、第七卷积单元、第八卷积单元、几何特征融合层、第九卷积单元构成；
h-2)第一解码器的第一自注意力模块由第一卷积层、第二卷积层、Relu激活函数层、第三卷积层、Sigmoid函数层、上采样层构成，将特征图Dc输入到第一卷积层中，输出得到特征图将特征图/>输入到第二卷积层中，输出得到特征图/>将特征图与特征图/>逐像素相加得到特征图/>将特征图/>输入到Relu激活函数层中，输出得到特征图/>将特征图/>输入到第三卷积层中，输出得到特征图/>将特征图/>输入到Sigmoid函数层中，输出得到特征图/>将特征图/>输入到上采样层中，输出得到特征图/>将特征图/>与特征图/>进行特征融合操作，得到特征图/>h-3)将特征图Dc输入到第一解码器的第一上采样层中，输出得到特征图/>h-4)将特征图/>与特征图/>输入到第一解码器的第一特征融合层中，特征图/>与特征图/>利用concat方法进行特征融合，得到特征图/>h-5)第一解码器的第一卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数层构成，将特征图/>输入到第一卷积单元中，输出得到特征图/>h-6)第一解码器的第二卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第二卷积单元中，输出得到特征图/>h-7)第一解码器的第二自注意力模块由第一卷积层、第二卷积层、Relu激活函数层、第三卷积层、Sigmoid函数层、上采样层构成，将特征图/>输入到第一卷积层中，输出得到特征图/>将特征图/>输入到第二卷积层中，输出得到特征图/>将特征图/>与特征图/>逐像素相加得到特征图将特征图/>输入到Relu激活函数层中，输出得到特征图/>将特征图输入到第三卷积层中，输出得到特征图/>将特征图/>输入到Sigmoid函数层中，输出得到特征图/>将特征图/>输入到上采样层中，输出得到特征图将特征图/>与特征图/>进行特征融合操作，得到特征图/>h-8)将特征图/>输入到第一解码器的第二上采样层中，输出得到特征图/>h-9)将特征图/>与特征图/>输入到第一解码器的第二特征融合层中，特征图/>与特征图/>利用concat方法进行特征融合，得到特征图/>h-10)第一解码器的第三卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第三卷积单元中，输出得到特征图/>h-11)第一解码器的第四卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第四卷积单元中，输出得到特征图/>h-12)第一解码器的第三自注意力模块由第一卷积层、第二卷积层、Relu激活函数层、第三卷积层、Sigmoid函数层、上采样层构成，将特征图/>输入到第一卷积层中，输出得到特征图/>将特征图/>输入到第二卷积层中，输出得到特征图/>将特征图/>与特征图/>逐像素相加得到特征图/>将特征图/>输入到Relu激活函数层中，输出得到特征图/>将特征图/>输入到第三卷积层中，输出得到特征图/>将特征图/>输入到Sigmoid函数层中，输出得到特征图/>将特征图/>输入到上采样层中，输出得到特征图/>将特征图/>与特征图/>进行特征融合操作，得到特征图/>h-13)将特征图/>输入到第一解码器的第三上采样层中，输出得到特征图/>
h-14)将特征图与特征图/>输入到第一解码器的第三特征融合层中，特征图/>与特征图/>利用concat方法进行特征融合，得到特征图/>h-15)第一解码器的第五卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图输入到第五卷积单元中，输出得到特征图/>h-16)第一解码器的第六卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第六卷积单元中，输出得到特征图/>h-17)第一解码器的第四自注意力模块由第一卷积层、第二卷积层、Relu激活函数层、第三卷积层、Sigmoid函数层、上采样层构成，将特征图/>输入到第一卷积层中，输出得到特征图/>将特征图/>输入到第二卷积层中，输出得到特征图/>将特征图/>与特征图/>逐像素相加得到特征图/>将特征图/>输入到Relu激活函数层中，输出得到特征图/>将特征图/>输入到第三卷积层中，输出得到特征图/>将特征图/>输入到Sigmoid函数层中，输出得到特征图/>将特征图/>输入到上采样层中，输出得到特征图/>将特征图/>与特征图/>进行特征融合操作，得到特征图/>h-18)将特征图/>输入到第一解码器的第四上采样层中，输出得到特征图/>
h-19)将特征图与特征图/>输入到第一解码器的第四特征融合层中，特征图/>与特征图/>利用concat方法进行特征融合，得到特征图/>h-20)第一解码器的第七卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图输入到第七卷积单元中，输出得到特征图/>h-21)第一解码器的第八卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第八卷积单元中，输出得到特征图/>h-22)将特征图/>与测地线密度系数特征图Ds输入到第一解码器的几何特征融合层中，特征图/>与测地线密度系数特征图Ds利用逐像素值对应相乘的方式进行特征融合，得到特征图/>h-23)第一解码器的第九卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第九卷积单元中，输出得到血管分割图像/>
进一步的，步骤i)包括如下步骤：
i-1)血管分割网络模型的第二解码器由第一上采样层、第一特征融合层、第一卷积单元、第二卷积单元、第二上采样层、第二特征融合层、第三卷积单元、第四卷积单元、第三上采样层、第三特征融合层、第五卷积单元、第六卷积单元、第四上采样层、第四特征融合层、第七卷积单元、第八卷积单元、几何特征融合层、第九卷积单元构成；
i-2)将特征图Dc输入到第二解码器的第一上采样层中，输出得到特征图i-3)将特征图/>与特征图/>输入到第二解码器的第一特征融合层中，特征图/>与特征图/>利用concat方法进行特征融合，得到特征图/>i-4)第二解码器的第一卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数层构成，将特征图/>输入到第一卷积单元中，输出得到特征图/>i-5)第二解码器的第二卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第二卷积单元中，输出得到特征图/>i-6)将特征图/>输入到第二解码器的第二上采样层中，输出得到特征图/>i-7)将特征图/>与特征图/>输入到第二解码器的第二特征融合层中，特征图与特征图/>利用concat方法进行特征融合，得到特征图/>i-8)第二解码器的第三卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第三卷积单元中，输出得到特征图/>i-9)第二解码器的第四卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第四卷积单元中，输出得到特征图/>i-10)将特征图/>输入到第二解码器的第三上采样层中，输出得到特征图/>i-11)将特征图/>与特征图/>输入到第二解码器的第三特征融合层中，特征图/>与特征图/>利用concat方法进行特征融合，得到特征图/>i-12)第二解码器的第五卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第五卷积单元中，输出得到特征图/>i-13)第二解码器的第六卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第六卷积单元中，输出得到特征图/>i-14)将特征图/>输入到第二解码器的第四上采样层中，输出得到特征图/>i-15)将特征图/>与特征图/>输入到第二解码器的第四特征融合层中，特征图/>与特征图/>利用concat方法进行特征融合，得到特征图i-16)第二解码器的第七卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第七卷积单元中，输出得到特征图/>i-17)第二解码器的第八卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第八卷积单元中，输出得到特征图/>i-18)将特征图/>与测地线密度系数特征图Ds输入到第二解码器的几何特征融合层中，特征图/>与测地线密度系数特征图Ds利用逐像素值对应相乘的方式进行特征融合，得到特征图/>i-19)第一解码器的第九卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第九卷积单元中，输出得到血管中心线分割图像/>
优选的，步骤e-2)中第一卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-3)中第一卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-4)中第一最大池化层的池化窗口为2×2；步骤e-5)中第三卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-6)中第四卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-7)中第二最大池化层的池化窗口为2×2；步骤e-8)中第五卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-9)中第六卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-10)中第三最大池化层的池化窗口为2×2；步骤e-11)中第七卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-12)中第八卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-13)中第四最大池化层的池化窗口为2×2；步骤f-2)中第一卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤f-3)中第二卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-2)中第一卷积层的卷积核大小为1×1、stride为1×1、padding为0，第二卷积层的卷积核大小为1×1、stride为2×2、padding为0，第三卷积层的卷积核大小为1×1、stride为1×1、padding为0，上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-3)中第一上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-5)中第一卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-6)中第二卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-7)中第一卷积层的卷积核大小为1×1、stride为1×1、padding为0，第二卷积层的卷积核大小为1×1、stride为2×2、padding为0，第三卷积层的卷积核大小为1×1、stride为1×1、padding为0，上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-8)中第二上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-10)中第三卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-11)中第四卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-12)中第一卷积层的卷积核大小为1×1、stride为1×1、padding为0，第二卷积层的卷积核大小为1×1、stride为2×2、padding为0，第三卷积层的卷积核大小为1×1、stride为1×1、padding为0，上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-13)中第三上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-15)中第五卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-16)中第六卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；h-17)中第一卷积层的卷积核大小为1×1、stride为1×1、padding为0，第二卷积层的卷积核大小为1×1、stride为2×2、padding为0，第三卷积层的卷积核大小为1×1、stride为1×1、padding为0，上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-18)中第四上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-20)中第七卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-21)中第八卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-23)中第九卷积单元的卷积层的卷积核大小为1×1、stride为1×1、padding为0；步骤i-2)中第一上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤i-4)中第一卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-5)中第二卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-7)中第二上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤i-8)中第三卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-9)中第四卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-10)中第三上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤i-12)中第五卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-13)中第六卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-14)中第四上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤i-16)中第七卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-17)中第八卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-19)中第九卷积单元的卷积层的卷积核大小为1×1、stride为1×1、padding为0。
进一步的，步骤j)中计算损失函数Ltotal的步骤为：
j-1)通过公式计算得到在给定数据集中第i张增强后的眼底视网膜图像Di的对应ground truth上第j个像素xj到血管中心线的感知变换距离CM(xj)，j∈{1,2,...,m}，m为第i张增强后的眼底视网膜图像Di的对应groundtruth中像素总数，/>为第j个像素xj到ground truth上血管中心线的距离，/>为第j个像素xj处高斯分布的标准差，YM(xj)为第j个像素xj在ground truth上像素的值；
j-2)通过公式计算得到在血管中心线分割图像/>上第i个像素si到血管中心线的感知变换距离/>n为血管中心线分割图像/>的像素总数，/>为第i个像素si到血管中心线分割图像/>上血管中心线的距离，/>为第i个像素si处高斯分布的标准差，YM(si)为第i个像素si在血管中心线分割图像/>上像素的值；
j-3)通过公式
计算得到损失函数Lc，式中N为第i张增强后的眼底视网膜图像Di中的像素总数；
j-4)通过公式Ltotal＝Lce+Ldice+αLc计算得到损失函数Ltotal，式中Lce为交叉熵损失函数，Ldice为Dice损失函数，α为常数，α＝0.25。
本发明的有益效果是：首先，利用网络的编码器对医学图像进行特征提取。其次，对医学图像进行对比度增强，在医学图像的三个通道上分别计算测地线密度，然后将医学图像三个通道的测地线密度进行整合，融入解码器提取到的特征中，最后通过解码器解码完成医学图像血管的分割。其中，网络部分由一个共享编码器，与两个具有相似架构的解码器组成。第一解码器用于分割任务，进行血管结构的提取。第二解码器用于辅助任务，用于血管中心线的提取以辅助第一解码器血管分割任务的完成。使用测地线投票算法与双解码器神经网络在技术上两者实现了优势互补，提高了分割的效率与质量。通过使用测地线投票算法也能够很好的将血管的几何结构以及血管图像的全局特征融合到双解码器神经网络当中，从而完成血管结构特征的提取，进而完成血管分割。
附图说明
图1为本发明的血管分割网络模型结构图。
具体实施方式
下面结合附图1对本发明做进一步说明。Cohen等人(参考文献：Rouchdy,Y.,Cohen,L.D.(2012).A Geodesic Voting Shape Prior to Constrain the Level SetEvolution for the Segmentation of Tubular Trees.In:Bruckstein,A.M.,ter HaarRomeny,B.M.,Bronstein,A.M.,Bronstein,M.M.(eds)Scale Space and VariationalMethods in Computer Vision.SSVM 2011.Lecture Notes in Computer Science,vol6667.Springer,Berlin,Heidelberg.)使用测地线投票算法，在管状树形结构得到了很好的分割效果。因此，将传统的血管分割方法与深度学习方法相结合，在血管分割领域更有竞争力，也是未来的研究趋势。具体的，一种融合测地线模型的双解码器网络的血管分割方法，包括如下步骤：
a)收集n张眼底视网膜图像，得到数据集D′，D′＝{D′1,D′2,...,D′i,...,D′n}，D′i为第i张眼底视网膜图像，i∈{1,2,...,n}。
b)对数据集D′进行数据集增强操作，得到增强后的数据集D，D＝{D1,D2,...,Di,...,Dn}，Di为第i张增强后的眼底视网膜图像；
c)将增强后的数据集D划分为训练集train、测试集test。
d)建立血管分割网络模型，血管分割网络模型由编码器、中间结构层、测地线投票算法模块、第一解码器、第二解码器构成。
e)将训练集train中第i张增强后的眼底视网膜图像Di输入到血管分割网络模型的编码器中，输出得到特征图
f)将特征图输入到血管分割网络模型的中间结构层中，输出得到特征图Dc。
g)将训练集train中第i张增强后的眼底视网膜图像Di输入到血管分割网络模型的测地线投票算法模块中，输出得到测地线密度系数特征图Ds。
h)将特征图Dc和测地线密度系数特征图Ds输入到血管分割网络模型的第一解码器中，输出得到血管分割图像
i)将特征图Dc和测地线密度系数特征图Ds输入到血管分割网络模型的第二解码器中，输出得到血管中心线分割图像
j)利用Adam优化器通过反向传播法，使用损失函数Ltotal优化血管分割网络模型，得到训练后的血管分割网络模型。
k)将测试集test中第i张增强后的眼底视网膜图像Di输入到训练后的血管分割网络模型中，输出得到血管分割图像及血管中心线分割图像/>
将测地线投票算法融入双解码器神经网络中，在复杂的医学图像中提取出准确的血管边界。利用测地线投票算法获得医学图像的全局特征，利用神经网络提取医学图像的局部特征以及全局特征，随后将测地线投票算法提取到的特征与神经网络提取到的特征进行融合。其中，网络部分由一个共享编码器，与两个具有相似架构的解码器组成。第一解码器用于分割任务，进行血管结构的提取。第二解码器用于辅助任务，用于血管中心线的提取以辅助第一解码器血管分割任务的完成。使用测地线投票算法与双解码器神经网络在技术上两者实现了优势互补，提高了分割的效率与质量。通过使用测地线投票算法也能够很好的将血管的几何结构以及血管图像的全局特征融合到双解码器神经网络当中，从而完成血管结构特征的提取，进而完成血管分割。
在本发明的一个实施例中，步骤a)中从公开数据集DRIVE与公开数据集IOSTAR中收集n张眼底视网膜图像，得到数据集D′，步骤b)中在python中导入transforms工具包，对数据集D′中的眼底视网膜图像依次进行剪裁、翻转、旋转操作，得到增强后的数据集D，。
在本发明的一个实施例中，步骤c)将增强后的数据集D按7:3的比例划分为训练集train、测试集test。
在本发明的一个实施例中，步骤e)包括如下步骤：
e-1)血管分割网络模型的编码器由第一卷积单元、第二卷积单元、第一最大池化层、第三卷积单元、第四卷积单元、第二最大池化层、第五卷积单元、第六卷积单元、第三最大池化层、第七卷积单元、第八卷积单元、第四最大池化层构成。e-2)编码器的第一卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将训练集train中第i张增强后的眼底视网膜图像Di输入到第一卷积单元中，输出得到特征图。
e-3)编码器的第二卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图输入到第二卷积单元中，输出得到特征图/>e-4)将特征图/>输入到编码器的第一最大池化层中，输出得到特征图/>e-5)编码器的第三卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图/>输入到第三卷积单元中，输出得到特征图e-6)编码器的第四卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图/>输入到第四卷积单元中，输出得到特征图/>e-7)将特征图/>输入到编码器的第二最大池化层中，输出得到特征图/>e-8)编码器的第五卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图/>输入到第五卷积单元中，输出得到特征图e-9)编码器的第六卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图/>输入到第六卷积单元中，输出得到特征图/>e-10)将特征图/>输入到编码器的第三最大池化层中，输出得到特征图/>e-11)编码器的第七卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图/>输入到第七卷积单元中，输出得到特征图e-12)编码器的第八卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图/>输入到第八卷积单元中，输出得到特征图/>e-13)将特征图/>输入到编码器的第四最大池化层中，输出得到特征图/>在本发明的一个实施例中，步骤f)包括如下步骤：
f-1)血管分割网络模型的中间结构层由第一卷积单元、第二卷积单元构成。f-2)中间结构层的第一卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图输入到第一卷积单元中，输出得到特征图/>f-3)中间结构层的第二卷积单元依次由卷积层、BatchNorm层、Dropout层构成，将特征图/>输入到第二卷积单元中，输出得到特征图Dc。
在本发明的一个实施例中，步骤g)包括如下步骤：
g-1)血管分割网络模型的测地线投票算法模块由对比度增强层、特征点检测层、测地线密度计算层构成。
g-2)将训练集train中第i张增强后的眼底视网膜图像Di输入到测地线投票算法模块的对比度增强层中利用CLAHE算法对第i张增强后的眼底视网膜图像Di的R通道、G通道、B通道进行图像对比度增强，得到对比度增强的特征图g-3)将对比度增强的特征图/>输入到测地线投票算法模块的特征点检测层中，将对比度增强的特征图/>的R通道使用Shi-Tomasi算法进行特征点检测，得到特征点图/>将对比度增强的特征图/>的G通道使用Shi-Tomasi算法进行特征点检测，得到特征点图/>将对比度增强的特征图/>的B通道使用Shi-Tomasi算法进行特征点检测，得到特征点图/>g-4)将特征点图/>输入到测地线投票算法模块的测地线密度计算层中，选取特征点图/>中的特征点组成源点集Sr，选取特征点图/>中边界上的所有的点组成端点集Qr，将源点集Sr与端点集Qr利用测地线投票算法计算生成测地线密度特征图/>g-5)将特征点图/>输入到测地线投票算法模块的测地线密度计算层中，选取特征点图/>中的特征点组成源点集Sg，选取特征点图/>中边界上的所有的点组成端点集Qg，将源点集Sg与端点集Qg利用测地线投票算法计算生成测地线密度特征图/>g-6)将特征点图/>输入到测地线投票算法模块的测地线密度计算层中，选取特征点图/>中的特征点组成源点集Sb，选取特征点图/>中边界上的所有的点组成端点集Qb，将源点集Sb与端点集Qb利用测地线投票算法计算生成测地线密度特征图/>g-7)将测地线密度特征图/>测地线密度特征图测地线密度特征图/>追像素相加，得到测地线密度特征图/>将测地线密度特征图/>输入到Sigmoid函数层中，输出得到测地线密度系数特征图Ds。
在本发明的一个实施例中，步骤h)包括如下步骤：
h-1)血管分割网络模型的第一解码器由第一自注意力模块、第一上采样层、第一特征融合层、第一卷积单元、第二卷积单元、第二自注意力模块、第二上采样层、第二特征融合层、第三卷积单元、第四卷积单元、第三自注意力模块、第三上采样层、第三特征融合层、第五卷积单元、第六卷积单元、第四自注意力模块、第四上采样层、第四特征融合层、第七卷积单元、第八卷积单元、几何特征融合层、第九卷积单元构成。
h-2)第一解码器的第一自注意力模块由第一卷积层、第二卷积层、Relu激活函数层、第三卷积层、Sigmoid函数层、上采样层构成，将特征图Dc输入到第一卷积层中，输出得到特征图将特征图/>输入到第二卷积层中，输出得到特征图/>将特征图与特征图/>逐像素相加得到特征图/>将特征图/>输入到Relu激活函数层中，输出得到特征图/>将特征图/>输入到第三卷积层中，输出得到特征图/>将特征图/>输入到Sigmoid函数层中，输出得到特征图/>将特征图/>输入到上采样层中，输出得到特征图/>将特征图/>与特征图/>进行特征融合操作，得到特征图/>h-3)将特征图Dc输入到第一解码器的第一上采样层中，输出得到特征图/>h-4)将特征图/>与特征图/>输入到第一解码器的第一特征融合层中，特征图/>与特征图/>利用concat方法进行特征融合，得到特征图h-5)第一解码器的第一卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数层构成，将特征图/>输入到第一卷积单元中，输出得到特征图/>h-6)第一解码器的第二卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图输入到第二卷积单元中，输出得到特征图/>h-7)第一解码器的第二自注意力模块由第一卷积层、第二卷积层、Relu激活函数层、第三卷积层、Sigmoid函数层、上采样层构成，将特征图/>输入到第一卷积层中，输出得到特征图/>将特征图/>输入到第二卷积层中，输出得到特征图/>将特征图/>与特征图/>逐像素相加得到特征图/>将特征图/>输入到Relu激活函数层中，输出得到特征图/>将特征图/>输入到第三卷积层中，输出得到特征图/>将特征图/>输入到Sigmoid函数层中，输出得到特征图/>将特征图/>输入到上采样层中，输出得到特征图/>将特征图/>与特征图/>进行特征融合操作，得到特征图/>h-8)将特征图/>输入到第一解码器的第二上采样层中，输出得到特征图/>h-9)将特征图/>与特征图/>输入到第一解码器的第二特征融合层中，特征图/>与特征图利用concat方法进行特征融合，得到特征图/>h-10)第一解码器的第三卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第三卷积单元中，输出得到特征图/>h-11)第一解码器的第四卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第四卷积单元中，输出得到特征图/>h-12)第一解码器的第三自注意力模块由第一卷积层、第二卷积层、Relu激活函数层、第三卷积层、Sigmoid函数层、上采样层构成，将特征图/>输入到第一卷积层中，输出得到特征图/>将特征图/>输入到第二卷积层中，输出得到特征图/>将特征图/>与特征图/>逐像素相加得到特征图/>将特征图/>输入到Relu激活函数层中，输出得到特征图/>将特征图/>输入到第三卷积层中，输出得到特征图/>将特征图/>输入到Sigmoid函数层中，输出得到特征图将特征图/>输入到上采样层中，输出得到特征图/>将特征图/>与特征图/>进行特征融合操作，得到特征图/>h-13)将特征图/>输入到第一解码器的第三上采样层中，输出得到特征图/>
h-14)将特征图与特征图/>输入到第一解码器的第三特征融合层中，特征图/>与特征图/>利用concat方法进行特征融合，得到特征图/>h-15)第一解码器的第五卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图输入到第五卷积单元中，输出得到特征图/>h-16)第一解码器的第六卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第六卷积单元中，输出得到特征图/>h-17)第一解码器的第四自注意力模块由第一卷积层、第二卷积层、Relu激活函数层、第三卷积层、Sigmoid函数层、上采样层构成，将特征图/>输入到第一卷积层中，输出得到特征图/>将特征图/>输入到第二卷积层中，输出得到特征图/>将特征图/>与特征图/>逐像素相加得到特征图/>将特征图/>输入到Relu激活函数层中，输出得到特征图/>将特征图/>输入到第三卷积层中，输出得到特征图/>将特征图/>输入到Sigmoid函数层中，输出得到特征图/>将特征图/>输入到上采样层中，输出得到特征图/>将特征图/>与特征图/>进行特征融合操作，得到特征图/>h-18)将特征图/>输入到第一解码器的第四上采样层中，输出得到特征图/>
h-19)将特征图与特征图/>输入到第一解码器的第四特征融合层中，特征图/>与特征图/>利用concat方法进行特征融合，得到特征图/>h-20)第一解码器的第七卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图输入到第七卷积单元中，输出得到特征图/>h-21)第一解码器的第八卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第八卷积单元中，输出得到特征图/>h-22)将特征图/>与测地线密度系数特征图Ds输入到第一解码器的几何特征融合层中，特征图/>与测地线密度系数特征图Ds利用逐像素值对应相乘的方式进行特征融合，得到特征图/>h-23)第一解码器的第九卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第九卷积单元中，输出得到血管分割图像/>
在本发明的一个实施例中，步骤i)包括如下步骤：
i-1)血管分割网络模型的第二解码器由第一上采样层、第一特征融合层、第一卷积单元、第二卷积单元、第二上采样层、第二特征融合层、第三卷积单元、第四卷积单元、第三上采样层、第三特征融合层、第五卷积单元、第六卷积单元、第四上采样层、第四特征融合层、第七卷积单元、第八卷积单元、几何特征融合层、第九卷积单元构成。
i-2)将特征图Dc输入到第二解码器的第一上采样层中，输出得到特征图i-3)将特征图/>与特征图/>输入到第二解码器的第一特征融合层中，特征图/>与特征图/>利用concat方法进行特征融合，得到特征图/>i-4)第二解码器的第一卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数层构成，将特征图/>输入到第一卷积单元中，输出得到特征图/>i-5)第二解码器的第二卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第二卷积单元中，输出得到特征图/>i-6)将特征图/>输入到第二解码器的第二上采样层中，输出得到特征图/>i-7)将特征图/>与特征图/>输入到第二解码器的第二特征融合层中，特征图/>与特征图/>利用concat方法进行特征融合，得到特征图/>i-8)第二解码器的第三卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图输入到第三卷积单元中，输出得到特征图/>i-9)第二解码器的第四卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第四卷积单元中，输出得到特征图/>i-10)将特征图/>输入到第二解码器的第三上采样层中，输出得到特征图/>i-11)将特征图/>与特征图/>输入到第二解码器的第三特征融合层中，特征图/>与特征图/>利用concat方法进行特征融合，得到特征图/>i-12)第二解码器的第五卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第五卷积单元中，输出得到特征图/>i-13)第二解码器的第六卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第六卷积单元中，输出得到特征图/>i-14)将特征图/>输入到第二解码器的第四上采样层中，输出得到特征图/>i-15)将特征图/>与特征图/>输入到第二解码器的第四特征融合层中，特征图/>与特征图/>利用concat方法进行特征融合，得到特征图/>i-16)第二解码器的第七卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第七卷积单元中，输出得到特征图/>i-17)第二解码器的第八卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第八卷积单元中，输出得到特征图/>i-18)将特征图/>与测地线密度系数特征图Ds输入到第二解码器的几何特征融合层中，特征图/>与测地线密度系数特征图Ds利用逐像素值对应相乘的方式进行特征融合，得到特征图/>i-19)第一解码器的第九卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第九卷积单元中，输出得到血管中心线分割图像/>
优选的，步骤e-2)中第一卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-3)中第一卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-4)中第一最大池化层的池化窗口为2×2；步骤e-5)中第三卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-6)中第四卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-7)中第二最大池化层的池化窗口为2×2；步骤e-8)中第五卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-9)中第六卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-10)中第三最大池化层的池化窗口为2×2；步骤e-11)中第七卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-12)中第八卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-13)中第四最大池化层的池化窗口为2×2；步骤f-2)中第一卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤f-3)中第二卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-2)中第一卷积层的卷积核大小为1×1、stride为1×1、padding为0，第二卷积层的卷积核大小为1×1、stride为2×2、padding为0，第三卷积层的卷积核大小为1×1、stride为1×1、padding为0，上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-3)中第一上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-5)中第一卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-6)中第二卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-7)中第一卷积层的卷积核大小为1×1、stride为1×1、padding为0，第二卷积层的卷积核大小为1×1、stride为2×2、padding为0，第三卷积层的卷积核大小为1×1、stride为1×1、padding为0，上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-8)中第二上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-10)中第三卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-11)中第四卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-12)中第一卷积层的卷积核大小为1×1、stride为1×1、padding为0，第二卷积层的卷积核大小为1×1、stride为2×2、padding为0，第三卷积层的卷积核大小为1×1、stride为1×1、padding为0，上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-13)中第三上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-15)中第五卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-16)中第六卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；h-17)中第一卷积层的卷积核大小为1×1、stride为1×1、padding为0，第二卷积层的卷积核大小为1×1、stride为2×2、padding为0，第三卷积层的卷积核大小为1×1、stride为1×1、padding为0，上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-18)中第四上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-20)中第七卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-21)中第八卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-23)中第九卷积单元的卷积层的卷积核大小为1×1、stride为1×1、padding为0；步骤i-2)中第一上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤i-4)中第一卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-5)中第二卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-7)中第二上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤i-8)中第三卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-9)中第四卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-10)中第三上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤i-12)中第五卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-13)中第六卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-14)中第四上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤i-16)中第七卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-17)中第八卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-19)中第九卷积单元的卷积层的卷积核大小为1×1、stride为1×1、padding为0。
在本发明的一个实施例中，步骤j)中计算损失函数Ltotal的步骤为：j-1)通过公式计算得到在给定数据集中第i张增强后的眼底视网膜图像Di的对应ground truth上第j个像素xj到血管中心线的感知变换距离CM(xj)，j∈{1,2,...,m}，m为第i张增强后的眼底视网膜图像Di的对应ground truth中像素总数，为第j个像素xj到ground truth上血管中心线的距离，/>为第j个像素xj处高斯分布的标准差，YM(xj)为第j个像素xj在ground truth上像素的值。
j-2)通过公式计算得到在血管中心线分割图像/>上第i个像素si到血管中心线的感知变换距离/>n为血管中心线分割图像/>的像素总数，/>为第i个像素si到血管中心线分割图像/>上血管中心线的距离，/>为第i个像素si处高斯分布的标准差，YM(si)为第i个像素si在血管中心线分割图像/>上像素的值。
j-3)通过公式
计算得到损失函数Lc，式中N为第i张增强后的眼底视网膜图像Di中的像素总数。
j-4)通过公式Ltotal＝Lce+Ldice+αLc计算得到损失函数Ltotal，式中Lce为交叉熵损失函数，Ldice为Dice损失函数，α为小于1的常数，α＝0.25。最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种融合测地线模型的双解码器网络的血管分割方法，其特征在于，包括如下步骤：
a)收集n张眼底视网膜图像，得到数据集D′，D′＝{D′1,D′2,...,D′i,...,D′n}，D′i为第i张眼底视网膜图像，i∈{1,2,...,n}；
b)对数据集D′进行数据集增强操作，得到增强后的数据集D，D＝{D1,D2,...,Di,...,Dn}，Di为第i张增强后的眼底视网膜图像；
c)将增强后的数据集D划分为训练集train、测试集test；
d)建立血管分割网络模型，血管分割网络模型由编码器、中间结构层、测地线投票算法模块、第一解码器、第二解码器构成；
e)将训练集train中第i张增强后的眼底视网膜图像Di输入到血管分割网络模型的编码器中，输出得到特征图
f)将特征图输入到血管分割网络模型的中间结构层中，输出得到特征图Dc；
g)将训练集train中第i张增强后的眼底视网膜图像Di输入到血管分割网络模型的测地线投票算法模块中，输出得到测地线密度系数特征图Ds；
h)将特征图Dc和测地线密度系数特征图Ds输入到血管分割网络模型的第一解码器中，输出得到血管分割图像
i)将特征图Dc和测地线密度系数特征图Ds输入到血管分割网络模型的第二解码器中，输出得到血管中心线分割图像
j)利用Adam优化器通过反向传播法，使用损失函数Ltotal优化血管分割网络模型，得到训练后的血管分割网络模型；
k)将测试集test中第i张增强后的眼底视网膜图像Di输入到训练后的血管分割网络模型中，输出得到血管分割图像及血管中心线分割图像/>
2.根据权利要求1所述的融合测地线模型的双解码器网络的血管分割方法，其特征在于：步骤a)中从公开数据集DRIVE与公开数据集IOSTAR中收集n张眼底视网膜图像，得到数据集D′，步骤b)中在python中导入transforms工具包，对数据集D′中的眼底视网膜图像依次进行剪裁、翻转、旋转操作，得到增强后的数据集D，。
3.根据权利要求1所述的融合测地线模型的双解码器网络的血管分割方法，其特征在于：步骤c)将增强后的数据集D按7:3的比例划分为训练集train、测试集test。
4.根据权利要求1所述的融合测地线模型的双解码器网络的血管分割方法，其特征在于，步骤e)包括如下步骤：
e-1)血管分割网络模型的编码器由第一卷积单元、第二卷积单元、第一最大池化层、第三卷积单元、第四卷积单元、第二最大池化层、第五卷积单元、第六卷积单元、第三最大池化层、第七卷积单元、第八卷积单元、第四最大池化层构成；e-2)编码器的第一卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将训练集train中第i张增强后的眼底视网膜图像Di输入到第一卷积单元中，输出得到特征图
e-3)编码器的第二卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图输入到第二卷积单元中，输出得到特征图/>
e-4)将特征图输入到编码器的第一最大池化层中，输出得到特征图/>e-5)编码器的第三卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图/>输入到第三卷积单元中，输出得到特征图/>
e-6)编码器的第四卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图输入到第四卷积单元中，输出得到特征图/>
e-7)将特征图输入到编码器的第二最大池化层中，输出得到特征图/>e-8)编码器的第五卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图/>输入到第五卷积单元中，输出得到特征图/>
e-9)编码器的第六卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图输入到第六卷积单元中，输出得到特征图/>
e-10)将特征图输入到编码器的第三最大池化层中，输出得到特征图/>e-11)编码器的第七卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图/>输入到第七卷积单元中，输出得到特征图/>
e-12)编码器的第八卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图输入到第八卷积单元中，输出得到特征图/>
e-13)将特征图输入到编码器的第四最大池化层中，输出得到特征图/>
5.根据权利要求4所述的融合测地线模型的双解码器网络的血管分割方法，其特征在于，步骤f)包括如下步骤：
f-1)血管分割网络模型的中间结构层由第一卷积单元、第二卷积单元构成；
f-2)中间结构层的第一卷积单元依次由卷积层、BatchNorm层、Relu激活函数构成，将特征图输入到第一卷积单元中，输出得到特征图/>
f-3)中间结构层的第二卷积单元依次由卷积层、BatchNorm层、Dropout层构成，将特征图输入到第二卷积单元中，输出得到特征图Dc。
6.根据权利要求1所述的融合测地线模型的双解码器网络的血管分割方法，其特征在于，步骤g)包括如下步骤：
g-1)血管分割网络模型的测地线投票算法模块由对比度增强层、特征点检测层、测地线密度计算层构成；
g-2)将训练集train中第i张增强后的眼底视网膜图像Di输入到测地线投票算法模块的对比度增强层中利用CLAHE算法对第i张增强后的眼底视网膜图像Di的R通道、G通道、B通道进行图像对比度增强，得到对比度增强的特征图g-3)将对比度增强的特征图/>输入到测地线投票算法模块的特征点检测层中，将对比度增强的特征图/>的R通道使用Shi-Tomasi算法进行特征点检测，得到特征点图/>将对比度增强的特征图/>的G通道使用Shi-Tomasi算法进行特征点检测，得到特征点图/>将对比度增强的特征图/>的B通道使用Shi-Tomasi算法进行特征点检测，得到特征点图/>
g-4)将特征点图输入到测地线投票算法模块的测地线密度计算层中，选取特征点图/>中的特征点组成源点集Sr，选取特征点图/>中边界上的所有的点组成端点集Qr，将源点集Sr与端点集Qr利用测地线投票算法计算生成测地线密度特征图/>
g-5)将特征点图输入到测地线投票算法模块的测地线密度计算层中，选取特征点图/>中的特征点组成源点集Sg，选取特征点图/>中边界上的所有的点组成端点集Qg，将源点集Sg与端点集Qg利用测地线投票算法计算生成测地线密度特征图/>
g-6)将特征点图输入到测地线投票算法模块的测地线密度计算层中，选取特征点图/>中的特征点组成源点集Sb，选取特征点图/>中边界上的所有的点组成端点集Qb，将源点集Sb与端点集Qb利用测地线投票算法计算生成测地线密度特征图/>
g-7)将测地线密度特征图测地线密度特征图/>测地线密度特征图/>追像素相加，得到测地线密度特征图/>将测地线密度特征图/>输入到Sigmoid函数层中，输出得到测地线密度系数特征图Ds。
7.根据权利要求4所述的融合测地线模型的双解码器网络的血管分割方法，其特征在于，步骤h)包括如下步骤：
h-1)血管分割网络模型的第一解码器由第一自注意力模块、第一上采样层、第一特征融合层、第一卷积单元、第二卷积单元、第二自注意力模块、第二上采样层、第二特征融合层、第三卷积单元、第四卷积单元、第三自注意力模块、第三上采样层、第三特征融合层、第五卷积单元、第六卷积单元、第四自注意力模块、第四上采样层、第四特征融合层、第七卷积单元、第八卷积单元、几何特征融合层、第九卷积单元构成；
h-2)第一解码器的第一自注意力模块由第一卷积层、第二卷积层、Relu激活函数层、第三卷积层、Sigmoid函数层、上采样层构成，将特征图Dc输入到第一卷积层中，输出得到特征图将特征图/>输入到第二卷积层中，输出得到特征图/>将特征图/>与特征图/>逐像素相加得到特征图/>将特征图/>输入到Relu激活函数层中，输出得到特征图/>将特征图/>输入到第三卷积层中，输出得到特征图将特征图/>输入到Sigmoid函数层中，输出得到特征图/>将特征图输入到上采样层中，输出得到特征图/>将特征图/>与特征图/>进行特征融合操作，得到特征图/>
h-3)将特征图Dc输入到第一解码器的第一上采样层中，输出得到特征图h-4)将特征图/>与特征图/>输入到第一解码器的第一特征融合层中，特征图/>与特征图利用concat方法进行特征融合，得到特征图/>h-5)第一解码器的第一卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数层构成，将特征图/>输入到第一卷积单元中，输出得到特征图/>h-6)第一解码器的第二卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第二卷积单元中，输出得到特征图/>h-7)第一解码器的第二自注意力模块由第一卷积层、第二卷积层、Relu激活函数层、第三卷积层、Sigmoid函数层、上采样层构成，将特征图/>输入到第一卷积层中，输出得到特征图/>将特征图/>输入到第二卷积层中，输出得到特征图将特征图/>与特征图/>逐像素相加得到特征图/>将特征图输入到Relu激活函数层中，输出得到特征图/>将特征图/>输入到第三卷积层中，输出得到特征图/>将特征图/>输入到Sigmoid函数层中，输出得到特征图/>将特征图/>输入到上采样层中，输出得到特征图/>将特征图与特征图/>进行特征融合操作，得到特征图/>
h-8)将特征图输入到第一解码器的第二上采样层中，输出得到特征图/>h-9)将特征图/>与特征图/>输入到第一解码器的第二特征融合层中，特征图/>与特征图/>利用concat方法进行特征融合，得到特征图/>h-10)第一解码器的第三卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第三卷积单元中，输出得到特征图/>h-11)第一解码器的第四卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第四卷积单元中，输出得到特征图/>h-12)第一解码器的第三自注意力模块由第一卷积层、第二卷积层、Relu激活函数层、第三卷积层、Sigmoid函数层、上采样层构成，将特征图/>输入到第一卷积层中，输出得到特征图/>将特征图/>输入到第二卷积层中，输出得到特征图/>将特征图/>与特征图/>逐像素相加得到特征图/>将特征图/>输入到Relu激活函数层中，输出得到特征图/>将特征图/>输入到第三卷积层中，输出得到特征图/>将特征图/>输入到Sigmoid函数层中，输出得到特征图将特征图/>输入到上采样层中，输出得到特征图/>将特征图/>与特征图/>进行特征融合操作，得到特征图/>
h-13)将特征图输入到第一解码器的第三上采样层中，输出得到特征图/>
h-14)将特征图与特征图/>输入到第一解码器的第三特征融合层中，特征图与特征图/>利用concat方法进行特征融合，得到特征图/>h-15)第一解码器的第五卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第五卷积单元中，输出得到特征图/>h-16)第一解码器的第六卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第六卷积单元中，输出得到特征图/>h-17)第一解码器的第四自注意力模块由第一卷积层、第二卷积层、Relu激活函数层、第三卷积层、Sigmoid函数层、上采样层构成，将特征图/>输入到第一卷积层中，输出得到特征图/>将特征图/>输入到第二卷积层中，输出得到特征图将特征图/>与特征图/>逐像素相加得到特征图/>将特征图输入到Relu激活函数层中，输出得到特征图/>将特征图/>输入到第三卷积层中，输出得到特征图/>将特征图/>输入到Sigmoid函数层中，输出得到特征图/>将特征图/>输入到上采样层中，输出得到特征图/>将特征图与特征图/>进行特征融合操作，得到特征图/>
h-18)将特征图输入到第一解码器的第四上采样层中，输出得到特征图/>
h-19)将特征图与特征图/>输入到第一解码器的第四特征融合层中，特征图与特征图/>利用concat方法进行特征融合，得到特征图/>h-20)第一解码器的第七卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图输入到第七卷积单元中，输出得到特征图/>h-21)第一解码器的第八卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第八卷积单元中，输出得到特征图/>h-22)将特征图/>与测地线密度系数特征图Ds输入到第一解码器的几何特征融合层中，特征图/>与测地线密度系数特征图Ds利用逐像素值对应相乘的方式进行特征融合，得到特征图/>
h-23)第一解码器的第九卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图输入到第九卷积单元中，输出得到血管分割图像/>
8.根据权利要求7所述的融合测地线模型的双解码器网络的血管分割方法，其特征在于，步骤i)包括如下步骤：
i-1)血管分割网络模型的第二解码器由第一上采样层、第一特征融合层、第一卷积单元、第二卷积单元、第二上采样层、第二特征融合层、第三卷积单元、第四卷积单元、第三上采样层、第三特征融合层、第五卷积单元、第六卷积单元、第四上采样层、第四特征融合层、第七卷积单元、第八卷积单元、几何特征融合层、第九卷积单元构成；
i-2)将特征图Dc输入到第二解码器的第一上采样层中，输出得到特征图i-3)将特征图/>与特征图/>输入到第二解码器的第一特征融合层中，特征图/>与特征图利用concat方法进行特征融合，得到特征图/>i-4)第二解码器的第一卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数层构成，将特征图/>输入到第一卷积单元中，输出得到特征图/>i-5)第二解码器的第二卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第二卷积单元中，输出得到特征图/>i-6)将特征图/>输入到第二解码器的第二上采样层中，输出得到特征图/>i-7)将特征图/>与特征图/>输入到第二解码器的第二特征融合层中，特征图与特征图/>利用concat方法进行特征融合，得到特征图/>i-8)第二解码器的第三卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第三卷积单元中，输出得到特征图/>i-9)第二解码器的第四卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第四卷积单元中，输出得到特征图/>i-10)将特征图/>输入到第二解码器的第三上采样层中，输出得到特征图/>i-11)将特征图/>与特征图/>输入到第二解码器的第三特征融合层中，特征图/>与特征图/>利用concat方法进行特征融合，得到特征图Ds 3 d -1；i-12)第二解码器的第五卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第五卷积单元中，输出得到特征图/>i-13)第二解码器的第六卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第六卷积单元中，输出得到特征图Ds 3 d；i-14)将特征图/>输入到第二解码器的第四上采样层中，输出得到特征图/>i-15)将特征图/>与特征图/>输入到第二解码器的第四特征融合层中，特征图/>与特征图/>利用concat方法进行特征融合，得到特征图/>i-16)第二解码器的第七卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第七卷积单元中，输出得到特征图/>i-17)第二解码器的第八卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图/>输入到第八卷积单元中，输出得到特征图/>i-18)将特征图/>与测地线密度系数特征图Ds输入到第二解码器的几何特征融合层中，特征图/>与测地线密度系数特征图Ds利用逐像素值对应相乘的方式进行特征融合，得到特征图/>
i-19)第一解码器的第九卷积单元依次由卷积层、BatchNorm层、Dropout层、Relu激活函数构成，将特征图输入到第九卷积单元中，输出得到血管中心线分割图像/>
9.根据权利要求8所述的融合测地线模型的双解码器网络的血管分割方法，其特征在于：步骤e-2)中第一卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-3)中第一卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-4)中第一最大池化层的池化窗口为2×2；步骤e-5)中第三卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-6)中第四卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-7)中第二最大池化层的池化窗口为2×2；步骤e-8)中第五卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-9)中第六卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-10)中第三最大池化层的池化窗口为2×2；步骤e-11)中第七卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-12)中第八卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤e-13)中第四最大池化层的池化窗口为2×2；步骤f-2)中第一卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤f-3)中第二卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-2)中第一卷积层的卷积核大小为1×1、stride为1×1、padding为0，第二卷积层的卷积核大小为1×1、stride为2×2、padding为0，第三卷积层的卷积核大小为1×1、stride为1×1、padding为0，上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-3)中第一上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-5)中第一卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-6)中第二卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-7)中第一卷积层的卷积核大小为1×1、stride为1×1、padding为0，第二卷积层的卷积核大小为1×1、stride为2×2、padding为0，第三卷积层的卷积核大小为1×1、stride为1×1、padding为0，上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-8)中第二上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-10)中第三卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-11)中第四卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-12)中第一卷积层的卷积核大小为1×1、stride为1×1、padding为0，第二卷积层的卷积核大小为1×1、stride为2×2、padding为0，第三卷积层的卷积核大小为1×1、stride为1×1、padding为0，上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-13)中第三上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-15)中第五卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-16)中第六卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；h-17)中第一卷积层的卷积核大小为1×1、stride为1×1、padding为0，第二卷积层的卷积核大小为1×1、stride为2×2、padding为0，第三卷积层的卷积核大小为1×1、stride为1×1、padding为0，上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-18)中第四上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤h-20)中第七卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-21)中第八卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤h-23)中第九卷积单元的卷积层的卷积核大小为1×1、stride为1×1、padding为0；步骤i-2)中第一上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤i-4)中第一卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-5)中第二卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-7)中第二上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤i-8)中第三卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-9)中第四卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-10)中第三上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤i-12)中第五卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-13)中第六卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-14)中第四上采样层的反卷积核大小为2×2、stride为2×2、padding为0；步骤i-16)中第七卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-17)中第八卷积单元的卷积层的卷积核大小为3×3、stride为1×1、padding为0；步骤i-19)中第九卷积单元的卷积层的卷积核大小为1×1、stride为1×1、padding为0。
10.根据权利要求1所述的融合测地线模型的双解码器网络的血管分割方法，其特征在于，步骤j)中计算损失函数Ltotal的步骤为：
j-1)通过公式计算得到在给定数据集中第i张增强后的眼底视网膜图像Di的对应ground truth上第j个像素xj到血管中心线的感知变换距离CM(xj)，j∈{1,2,...,m}，m为第i张增强后的眼底视网膜图像Di的对应groundtruth中像素总数，/>为第j个像素xj到ground truth上血管中心线的距离，/>为第j个像素xj处高斯分布的标准差，YM(xj)为第j个像素xj在ground truth上像素的值；
j-2)通过公式计算得到在血管中心线分割图像/>上第i个像素si到血管中心线的感知变换距离/>n为血管中心线分割图像/>的像素总数，/>为第i个像素si到血管中心线分割图像/>上血管中心线的距离，/>为第i个像素si处高斯分布的标准差，YM(si)为第i个像素si在血管中心线分割图像/>上像素的值；
j-3)通过公式
计算得到损失函数Lc，式中N为第i张增强后的眼底视网膜图像Di中的像素总数；
j-4)通过公式Ltotal＝Lce+Ldice+αLc计算得到损失函数Ltotal，式中Lce为交叉熵损失函数，Ldice为Dice损失函数，α为常数，α＝0.25。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310744188.XA CN116823842B (zh) | 2023-06-25 | 2023-06-25 | 融合测地线模型的双解码器网络的血管分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310744188.XA CN116823842B (zh) | 2023-06-25 | 2023-06-25 | 融合测地线模型的双解码器网络的血管分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116823842A true CN116823842A (zh) | 2023-09-29 |
| CN116823842B CN116823842B (zh) | 2024-02-02 |
Family
ID=88126926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310744188.XA Active CN116823842B (zh) | 2023-06-25 | 2023-06-25 | 融合测地线模型的双解码器网络的血管分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116823842B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117611599A (zh) * | 2023-12-28 | 2024-02-27 | 齐鲁工业大学(山东省科学院) | 融合中心线图和增强对比度网络的血管分割方法及其系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080188962A1 (en) * | 2007-02-05 | 2008-08-07 | General Electric Company | Vascular image extraction and labeling system and method |
| WO2018199793A1 (en) * | 2017-04-27 | 2018-11-01 | Huawei Technologies Co., Ltd | Geodesic intra-prediction for panoramic video coding |
| US20200090345A1 (en) * | 2018-09-14 | 2020-03-19 | Siemens Healthcare Gmbh | Method and System for Deep Motion Model Learning in Medical Images |
| CN111798458A (zh) * | 2020-06-15 | 2020-10-20 | 电子科技大学 | 一种基于不确定性引导的交互式医学图像分割方法 |
| CN112446381A (zh) * | 2020-11-11 | 2021-03-05 | 昆明理工大学 | 一种利用全卷积网络驱动的基于测地线活动轮廓的混合语义分割方法 |
| CN112561937A (zh) * | 2020-12-18 | 2021-03-26 | 深圳先进技术研究院 | 基于病变边界信息响应的上下文感知医学图像分割方法 |
| CN112967300A (zh) * | 2021-02-23 | 2021-06-15 | 艾瑞迈迪医疗科技（北京）有限公司 | 基于多尺度融合网络的三维超声甲状腺分割方法及装置 |
| CN113205538A (zh) * | 2021-05-17 | 2021-08-03 | 广州大学 | 基于CRDNet的血管图像分割方法及装置 |
| US20210350620A1 (en) * | 2020-05-07 | 2021-11-11 | Imperial College Innovations Limited | Generative geometric neural networks for 3d shape modelling |
| CN114529562A (zh) * | 2022-02-22 | 2022-05-24 | 安徽大学 | 一种基于辅助学习任务与重分割约束的医学图像分割方法 |
| CN114581392A (zh) * | 2022-02-28 | 2022-06-03 | 山东省人工智能研究院 | 基于深度学习和各向异性活动轮廓的图像分割方法 |
| CN114972388A (zh) * | 2022-05-23 | 2022-08-30 | 山东省人工智能研究院 | 基于非对称测地线的交互式图像分割方法 |
| US20220309674A1 (en) * | 2021-03-26 | 2022-09-29 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on u-net |
-
2023
- 2023-06-25 CN CN202310744188.XA patent/CN116823842B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080188962A1 (en) * | 2007-02-05 | 2008-08-07 | General Electric Company | Vascular image extraction and labeling system and method |
| WO2018199793A1 (en) * | 2017-04-27 | 2018-11-01 | Huawei Technologies Co., Ltd | Geodesic intra-prediction for panoramic video coding |
| US20200090345A1 (en) * | 2018-09-14 | 2020-03-19 | Siemens Healthcare Gmbh | Method and System for Deep Motion Model Learning in Medical Images |
| US20210350620A1 (en) * | 2020-05-07 | 2021-11-11 | Imperial College Innovations Limited | Generative geometric neural networks for 3d shape modelling |
| CN111798458A (zh) * | 2020-06-15 | 2020-10-20 | 电子科技大学 | 一种基于不确定性引导的交互式医学图像分割方法 |
| CN112446381A (zh) * | 2020-11-11 | 2021-03-05 | 昆明理工大学 | 一种利用全卷积网络驱动的基于测地线活动轮廓的混合语义分割方法 |
| CN112561937A (zh) * | 2020-12-18 | 2021-03-26 | 深圳先进技术研究院 | 基于病变边界信息响应的上下文感知医学图像分割方法 |
| CN112967300A (zh) * | 2021-02-23 | 2021-06-15 | 艾瑞迈迪医疗科技（北京）有限公司 | 基于多尺度融合网络的三维超声甲状腺分割方法及装置 |
| US20220309674A1 (en) * | 2021-03-26 | 2022-09-29 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on u-net |
| CN113205538A (zh) * | 2021-05-17 | 2021-08-03 | 广州大学 | 基于CRDNet的血管图像分割方法及装置 |
| CN114529562A (zh) * | 2022-02-22 | 2022-05-24 | 安徽大学 | 一种基于辅助学习任务与重分割约束的医学图像分割方法 |
| CN114581392A (zh) * | 2022-02-28 | 2022-06-03 | 山东省人工智能研究院 | 基于深度学习和各向异性活动轮廓的图像分割方法 |
| CN114972388A (zh) * | 2022-05-23 | 2022-08-30 | 山东省人工智能研究院 | 基于非对称测地线的交互式图像分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| DA CHEN: "Geodesic Models With Convexity Shape Prior", 《IEEE ACCESS》 * |
| MONIKA JAIN: "Channel Graph Regularized Correlation Filters for Visual Object Tracking", 《IEEE ACCESS》 * |
| 钟传琦: "基于深度学习的高分辨率遥感影像道路自动提取研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117611599A (zh) * | 2023-12-28 | 2024-02-27 | 齐鲁工业大学(山东省科学院) | 融合中心线图和增强对比度网络的血管分割方法及其系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116823842B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| US11580646B2 (en) | Medical image segmentation method based on U-Net | |
| CN109035255B (zh) | 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法 | |
| CN112785617B (zh) | 残差UNet直肠癌肿瘤磁共振图像自动分割方法 | |
| CN107369160A (zh) | 一种oct图像中脉络膜新生血管分割算法 | |
| CN108564056B (zh) | 一种遥感影像水体识别提取的方法 | |
| CN113240691A (zh) | 一种基于u型网络的医学图像分割方法 | |
| CN116823842B (zh) | 融合测地线模型的双解码器网络的血管分割方法 | |
| CN112862824A (zh) | 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质 | |
| CN112790782B (zh) | 基于深度学习的盆腔肿瘤ctv的自动勾画系统 | |
| CN113674253A (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
| CN109829918A (zh) | 一种基于密集特征金字塔网络的肝脏图像分割方法 | |
| CN106204600A (zh) | 基于多序列mr图像关联信息的脑肿瘤图像分割方法 | |
| CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| CN112215844A (zh) | 基于ACU-Net的MRI多模态图像分割方法和系统 | |
| CN112712522A (zh) | 一种病理学图像的口腔癌上皮组织区域自动分割方法 | |
| CN114332572B (zh) | 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法 | |
| CN115546466A (zh) | 一种基于多尺度显著特征融合的弱监督图像目标定位方法 | |
| CN114581474A (zh) | 一种基于宫颈癌ct影像的临床靶区自动勾画方法 | |
| CN112215285B (zh) | 一种基于跨媒体特征的眼底图像自动标注方法 | |
| CN112950611A (zh) | 一种基于ct图像的肝脏血管分割方法 | |
| CN116645380A (zh) | 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法 | |
| Zhou et al. | HAUNet-3D: a novel hierarchical attention 3D UNet for lung nodule segmentation | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
| CN116309806A (zh) | 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |