CN115409764B - 一种基于域自适应的多模态眼底血管分割方法及装置 - Google Patents
一种基于域自适应的多模态眼底血管分割方法及装置 Download PDFInfo
- Publication number
- CN115409764B CN115409764B CN202110592115.4A CN202110592115A CN115409764B CN 115409764 B CN115409764 B CN 115409764B CN 202110592115 A CN202110592115 A CN 202110592115A CN 115409764 B CN115409764 B CN 115409764B
- Authority
- CN
- China
- Prior art keywords
- domain
- blood vessel
- vessel segmentation
- training
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 151
- 230000011218 segmentation Effects 0.000 title claims abstract description 146
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 119
- 230000002207 retinal effect Effects 0.000 claims abstract description 72
- 238000012360 testing method Methods 0.000 claims abstract description 44
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 31
- 210000001525 retina Anatomy 0.000 claims abstract description 31
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 14
- 230000006978 adaptation Effects 0.000 claims description 10
- 238000005520 cutting process Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 8
- 238000011176 pooling Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000002792 vascular Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 208000010412 Glaucoma Diseases 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000004256 retinal image Effects 0.000 description 2
- 210000001210 retinal vessel Anatomy 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000002177 Cataract Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000035719 Maculopathy Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种基于域自适应的多模态视网膜眼底血管分割方法及装置，该方法包括：获取经过专家标注的视网膜眼底血管分割数据集，得到源域训练集；获取另一模态的视网膜眼底图像数据集，得到目标域训练集和目标域测试集；对训练集以及测试集中的图像进行预处理操作；构建基于域自适应学习的卷积神经网络模型；采用经过预处理的源域训练集和目标域训练集中的图像进行模型训练；得到训练好的基于域自适应的多模态视网膜眼底血管分割模型；将目标域测试集中的图像输入到模型中，获得血管分割模块输出的多模态视网膜眼底血管分割结果。该方法具有简便和精度高的效果。
Description
技术领域
本发明涉及计算机图像处理和模式识别领域，具体而言，涉及一种基于域自适应的多模态视网膜眼底血管分割方法。
背景技术
视网膜疾病全世界工作和老年人群众最受关注的公共健康问题之一。目前，糖尿病视网膜病变、老年性黄斑病变和青光眼等是导致老龄化人群失明和人类视力障碍的主要原因。作为人体血管系统中唯一可以直接观察的部分，许多眼科和心血管疾病(如青光眼、白内障、糖尿病等)会造成视网膜眼底血管结构的变换，因此视网膜眼底血管分割成为眼底疾病分析的一个先决条件，专科医生可以通过定期检查视网膜眼底血管及时对患者进行诊断和治疗。
然而，由于视网膜眼底血管结构复杂，并且容易受到光照变化和主体差异的影响，因此从视网膜眼底血管图像中手工分割血管流程繁琐、费时且容易出错。因此一种能够自动分割视网膜眼底血管的方法在临床上具有十分重要的意义。目前，用于视网膜眼底血管分割的方法大致可以分为无监督和有监督两类方法。
无监督的分割方法大部分都是基于规则的，通常包括传统的匹配滤波、形态学处理、血管追踪、阈值处理以及多尺度方法等。监督方法，也成为像素特征分类方法，通常包括两个阶段：特征提取和分类。监督方法要求图像具有手动分割结果，即所谓的金标准，通常这些金标准都是由经验丰富的眼科医生所标注的。常见的传统的监督方法有利用Gabor小波变换提取特征，然后使用贝叶斯分类器进行识别；或者是结合CLAHE、Hessian变换、Gabor变换等得到多维特征向量，然后用于分类。
近年来，随着深度学习技术的不断发展，研究人员尝试将卷积神经网络用于视网膜眼底血管分割领域上。其中最经典的技术为UNET网络以及类UNET结构网络，这类网络由一个编码器和一个解码器组成，整个结构呈现一个端到端的U型结构，故称为U-Net。但是这类方法大多是基于单一模态的视网膜眼底血管图像进行训练测试，如视网膜眼底彩色图像(例如CN201710469436.9:一种基于深度学习自适应权重的视网膜血管分割方法)。很少涉及多模态视网膜眼底血管图像之间的训练测试。因为不同模态视网膜眼底血管图像的特征在特征空间上的分布是不一样的，所以利用卷积神经网络在一个模态上进行学习，将学习到的特征应用到其他模态上会产生很差的效果，即血管分割的精度往往会很不理想。例如在公开的视网膜眼底彩色图像上进行训练后，将得到的模型用于其他模态的视网膜眼底血管分割时，如SLO眼底血管图像，分割到的血管质量很差。若是对其他模态的视网膜眼底图像进行血管标注，就涉及到前面提到的问题，手工分割血管流程繁琐、费时且容易出错。南京理工大学的李苹在其论文《多模态视网膜图像血管分割及配准研究》中提出一种基于随机森林高低概率的血管分割方法，但是该方法是一种传统方法且只在彩色眼底视网膜图像上进行了实验，并没有验证在不同模态间的血管分割情况。专利《血管、眼底图像的分割方法、装置、设备及可读存储介质》(专利号：CN201910690945.3)中提出了一种用于多模态视网膜眼底血管分割的方法，但是该方法使用对抗式生成网络，而对抗式网络的训练过程比较繁琐：训练一次生成器后，需要固定生成器，然后训练K次辨别器，如此循环训练多次才可以达到最终结果。因此一种简便的能够用于多模态视网膜眼底血管分割的深度学习方法就变得很重要。
发明内容
为解决上述问题，克服现有技术的不足，本发明的目的在于提供一种基于域自适应学习的多模态视网膜眼底血管分割方法，将自适应学习引入视网膜眼底血管分割领域，利用梯度反转层(GRL，gradient reversal layer)设计一种简便的用于多模态视网膜眼底血管分割的深度学习方法。其中使用现有的经过专家标注的公开的彩色视网膜眼底血管分割数据集，保证多模态视网膜眼底血管分割的精度；基于此，可以避免手工标注不同模态视网膜眼底血管图像时所耗费的时间和精力，并且避免非专家人员手工标注造成的不准确性。
为实现上述目的，本发明提供了一种基于域自适应的多模态视网膜眼底血管分割方法，包括以下步骤：步骤1，获取经过专家标注的彩色视网膜眼底血管分割数据集中每一幅图像的G通道图像以及对应的血管分割图，得到源域训练集；所述经过专家标注的彩色视网膜眼底血管分割数据集是国际公开的；获取另一模态的视网膜眼底图像数据集，对数据集中的每一幅图像进行灰度化处理得到对应的灰度图像，得到目标域训练集和测试集；
步骤2，对所获取的源域训练集和目标域训练集以及测试集中的图像进行预处理操作；所述预处理操作包括将其调整为512*512尺寸大小；对调整尺寸后的两组图像，计算其标准差Vstd和均值Vmean，并根据标准差和均值按照下文中的公式(1)对图像进行处理：根据公式(2)对公式(1)处理后获得的结果进行进一步处理；用对比度受限的自适应直方图均衡化对上一步获得的图像进行处理，增强血管与背景之间的对比度；将增强后的图像中的每个像素值除以255.0，得到预处理完成后的图像；
步骤3，使用Pytorch深度学习框架构建基于域自适应学习的卷积神经网络模型；所构建的卷积神经网络模型包括特征提取模块，域分类模块，以及血管分割模块；所述特征提取模块对来自源域和目标域的数据进行特征提取，所述源域和所述目标域共享特征空间；域分类模块对来自源域和目标域的数据进行域适应学习，令源域和目标域的特征映射到同一特征空间；特征提取模块以及域分类模块的作用是寻找一种度量准则，让源域特征和目标域特征在这个特征空间上的分布尽可能相似；特征提取模块的输出作为域分类模块的输入，以及特征提取模块的输出作为血管分割模块的输入，因为只有源域有血管分割标签，在训练过程中特征提取模块中来自于源域的输出作为血管分割模块的输入，在训练过程中血管分割模块只对来自于源域的数据进行血管分割；在测试过程中，无需血管分割标签，血管分割模块对来自目标域的数据进行血管分割；基于域自适应的多模态眼底血管分割方法的目的就是利用有血管分割标签的源域数据来训练无血管分割标签的目标域数据，从而在目标域数据上进行准确的血管分割。
在训练过程中，所构建的卷积神经网络模型通过特征提取模块对来自源域和目标域的数据进行特征提取；通过域分类模块对特征提取后的来自源域和目标域的数据进行域适应学习，令源域和目标域的特征映射到同一特征空间(其中源域特征和目标域特征分别经过域分类模块后的分类输出的区别尽可能的小)；以及通过血管分割模块对特征提取后的来自于源域的数据进行血管分割；训练过程中通过训练数据对特征提取模块，域分类模块，以及血管分割模块的参数进行调整，使得源域特征和目标域特征在这个特征空间上的分布尽可能相似，并且使得源域的数据进行血管分割的结果尽可能准确，从而能够仅利用源域的标签数据进行训练，训练完成后可利用训练好的模型在目标域数据上进行准确的血管分割。在测试过程中，所构建的卷积神经网络模型对来自目标域的数据进行血管分割。
步骤4，对经过预处理的源域训练集和目标域训练集中的图像进行裁剪操作，所述裁剪操作包括以步长为N(N为大于0的自然数)裁剪N*N大小的不重叠图像块以及对应的血管标签图像块，因为血管分割模块只对来自源域的数据进行训练，因此目标域的血管标签设置为N*N大小的全0矩阵；对源域训练集的图像块的域标签设置为0，对目标域训练集的图像块的域标签设置为1；将经过裁剪后的图像块以及对应的标签输入到构建的基于域自适应学习的卷积神经网络中，进行多模态视网膜眼底血管分割模型的训练。设置训练数据的一次训练的样本数BatchSize为M(M为大于0的偶数)，即每次选择M/2个源域图像块以及M/2个目标域图像块和对应的标签输入多模态视网膜眼底血管分割模型进行训练，设置学习率为alpha，采用Adam算法作为模型优化器，血管分割和域分类的损失函数都设置为交叉熵损失函数，设置周期Epoch值为E(E为大于0的自然数)。训练给定个数(E个)周期Epoch后保存性能最优的模型参数。加载所保存的模型参数，得到训练好的基于域自适应的多模态视网膜眼底血管分割模型。在一个周期Epoch内，所有训练数据都进入网络模型进行了一次训练。其中所述性能最优是指，在训练过程中，利用训练数据对所构建的卷积神经网络模型的参数进行调整，使得在调整后的模型参数下，源域特征和目标域特征在所述特征空间上的分布相似，并且对源域的数据进行血管分割的结果准确。或者，所述性能最优的模型参数是指，在给定个数(E个)周期Epoch的训练过程中所保存的模型参数中(进行比较)，选出使得源域特征和目标域特征在所述特征空间上的分布较为相似，并且对源域的数据进行血管分割的结果较为准确的模型参数作为性能最优的模型参数。
步骤5，将目标域测试集中的图像输入到模型中，经过特征提取模块提取特征，然后经过血管分割模块获得血管分割模块输出的多模态视网膜眼底血管分割结果。在测试过程当中，域分类模块没有任何作用，其仅仅在训练的时候起作用，用来结合特征提取模块将源域和目标域的特征映射到同一特征空间。
作为本发明进一步的改进，所述特征提取模块由两个子网络组成；其中每个子网络由两个UNET结构的网络组成；每个子网络的两个UNET之间用一个具有32个卷积核的卷积子模块连接；每个子网络包括多个卷积子模块，所述多个卷积子模块分为多个层次，其中，每一层次的卷积子模块之间使用密集连接，即前一卷积子模块的输出是该层次后续所有卷积子模块的输入；两个子网络的输出进行拼接处理后作为所述特征提取模块的输出。其中每个子网络内的各卷积子模块还进行顺序依次连接；第一个子网络的各卷积子模块进行顺序依次连接后，经过一个卷积子模块连接到第二个UNET包含的各个卷积子模块，第二个UNET包含的各个卷积子模块进行顺序依次连接后，连接到输出。其中顺序依次连接方式中各单元按照连接序号依次进行直接连接。在密集连接方式中，如果连接序号并不连续的两个单元被划分为同一层次，则该连接序号并不连续的两个单元可以进行直接连接。所述特征提取模块使用一个多尺度多路径多跳跃连接的级联方式，所述级联方式包括每个子网络内的各卷积子模块的顺序依次连接和同一层次的卷积子模块之间的密集连接，细节如图3所示，其中在一个子网络中，第一个UNET包含的9个卷积核依次连接后，经过一个具有32个卷积核的卷积子模块连接到第二个UNET包含的9个卷积子模块，第二个UNET包含的9个卷积子模块依次连接后，连接到输出；其中在一个子网络中，按照依次连接的顺序，第1,9,10,11,19个卷积子模块位于同一层次，第2,8,12,18个卷积子模块位于同一层次，第3,7,13,17个卷积子模块位于同一层次，第4,6,14,16个卷积子模块位于同一层次，第5,15个卷积子模块位于同一层次。该方式能够加深浅层特征以及深层特征之间的联系，充分利用浅层特征和深层特征。
作为本发明进一步的改进，所述域分类模块包括一个梯度反转层，所述梯度反转层是用来实现域自适应的关键层。所述域分类模块中依次包括：梯度反转层，均值池化层，全连接层Dense和relu激活层，全连接层Dense，全连接层Dense和softmax函数。
作为本发明进一步的改进，在训练过程中，训练数据的批处理大小设置为M，每次选择M/2个源域图像块以及M/2个目标域图像块和对应的标签输入到构建的基于域自适应学习的卷积神经网络模型进行训练；其中M为大于0的偶数。
作为本发明进一步的改进，所述预处理操作包括将源域训练集和目标域训练集以及目标域测试集中的图像调整为统一尺寸大小；计算调整为统一尺寸大小后的图像的标准差和均值，并根据所计算的标准差和均值，按照预定公式对调整为统一尺寸大小后的图像进行调整处理。
本发明还提供了一种基于域自适应的多模态视网膜眼底血管分割装置，包括以下装置：
获取装置，获取经过专家标注的彩色视网膜眼底血管分割数据集中每一幅图像的G通道图像以及对应的血管分割图，得到源域训练集；获取另一模态的视网膜眼底图像数据集，对数据集中的每一幅图像进行灰度化处理得到对应的灰度图像，得到目标域训练集和目标域测试集；
预处理装置，对所获取的源域训练集和目标域训练集以及目标域测试集中的图像进行预处理操作；
网络模型构建装置，构建基于域自适应学习的卷积神经网络模型；所构建的卷积神经网络模型包括特征提取模块，域分类模块，以及血管分割模块；所述特征提取模块对来自源域和目标域的数据进行特征提取，所述源域和所述目标域共享特征空间；域分类模块对来自源域和目标域的数据进行域适应学习，令源域和目标域的特征映射到同一特征空间；特征提取模块的输出作为域分类模块的输入；在训练过程中特征提取模块中来自于源域的输出作为血管分割模块的输入，在训练过程中血管分割模块只对来自于源域的数据进行血管分割；在测试过程中，血管分割模块对来自目标域的数据进行血管分割；
训练装置，对经过预处理的源域训练集和目标域训练集中的图像进行裁剪操作；将经过裁剪后的图像块以及对应的标签输入到构建的基于域自适应学习的卷积神经网络中，进行多模态视网膜眼底血管分割模型的训练；训练给定数量的周期后保存性能最优的模型参数；加载所保存的模型参数，得到训练好的基于域自适应的多模态视网膜眼底血管分割模型；
测试装置，将目标域测试集中的图像输入到训练好的基于域自适应的多模态视网膜眼底血管分割模型中，获得血管分割模块输出的多模态视网膜眼底血管分割结果。
作为本发明进一步的改进，提供一种计算机存储介质，介质中存储有若干指令，当处理器执行上述指令时执行本申请各实施例所述方法的全部或部分步骤。
作为本发明进一步的改进，提供一种计算机设备，包括存储器、处理器及存储在存储器上被可在处理器上运行的计算机程序，所述处理器执行所述程序时执行本申请各实施例所述方法的全部或部分步骤。
本发明的有益效果为：本发明为计算机技术在眼底视网膜血管分割上的应用提供了一种新的方法。其提供了一种基于域自适应学习的多模态视网膜眼底血管分割方法，该方法不需要额外的标注成本，仅仅利用现有已经公开的经过专家标注的彩色视网膜眼底血管分割数据集和其他模态的视网膜眼底图像就能实现多模态视网膜眼底血管分割并能够保证血管分割的精度，避免了人工标注所耗费的时间和精力，并避免了非专家人员进行标注造成的不准确性。
附图说明
图1为本发明实施例所述的一种基于域自适应的多模态视网膜眼底血管分割方法的流程框架图；
图2示出了本发明实施例所述的基于域自适应学习的卷积神经网络的模块框架图；
图3是特征提取模块的结构示意图。
图4是血管分割模块的结构示意图。
图5是域分类模块的结构示意图。
图6示出了彩色视网膜眼底图像和SLO视网膜眼底图像。
图7是使用经过专家标注的彩色视网膜眼底数据库进行训练，没有加入域自适应学习，然后在SLO视网膜眼底图像上测试的结果图；
图8是手工标注SLO视网膜眼底图像，然后在SLO视网膜眼底图像上测试的结果图；
图9是使用本发明实施例所述的方法进行训练测试的结果图。
具体实施方式
下面将结合本发明实施例中的附图，对发明所公开的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开所保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明的描述中，所用术语仅用于说明目的，并非旨在限制本公开的范围。术语“包括”和/或“包含”用于指定元件、步骤、操作和/或组件的存在，但并不排除存在或添加一个或多个其他元件、步骤、操作和/或组件的情况。术语“第一”、“第二”等可能用于描述各种元件，不代表顺序，且不对这些元件起限定作用。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个及两个以上。这些术语仅用于区分一个元素和另一个元素。结合以下附图，这些和/或其他方面变得显而易见，并且，本领域普通技术人员更容易理解关于本发明实施例的说明。附图仅出于说明的目的用来描绘本公开实施例。本领域技术人员将很容易地从以下说明中认识到，在不背离本公开原理的情况下，可以采用本发明所示结构和方法的替代实施例。
本发明一个实施例中的一种基于域自适应的多模态视网膜眼底血管分割方法的流程框架图，如图1所示。其中获取经过专家标注的视网膜眼底血管分割数据集，得到源域训练集；获取另一模态的视网膜眼底图像数据集，得到目标域训练集和目标域测试集；对训练集以及测试集中的图像进行预处理操作(包括调整图像尺寸，利用下文实施例中的公式(1)和公式(2)进行图像处理，自适应直方图均衡化处理，增强后的图像中的每个像素值除以255.0等)；构建基于域自适应学习的卷积神经网络模型；对经过预处理的源域训练集和目标域训练集中的图像进行裁剪处理，进行模型训练；得到训练好的基于域自适应的多模态视网膜眼底血管分割模型；将目标域测试集中的图像输入到模型中，获得血管分割模块输出的多模态视网膜眼底血管分割结果。
根据本发明的一个实施例，如图2所示，所构建的卷积神经网络模型包括特征提取模块，域分类模块，以及血管分割模块。
根据本发明的一个实施例，具体的流程如下：
获取国际公开的经过专家标注的彩色视网膜眼底血管分割数据集中每一幅图像的G通道图像以及对应的血管分割图，得到源域训练集；
获取另一模态的视网膜眼底图像数据集，对数据集中的每一幅图像进行灰度化处理得到对应的灰度图像，得到目标域训练集和目标域测试集；
获取源域训练集和目标域训练集以及目标域测试集中的图像，将其调整为512*512尺寸大小(单位为像素)；
对调整尺寸后的图像，计算其标准差Vstd和均值Vmean，并根据标准差和均值按照下面公式对图像进行处理：
其中img(i,j)表示图像上位置为(i,j)处的像素值(其中i,j均为大于等于0，小于图像尺寸值的整数)；
根据公式(2)对公式(1)获得的结果进行进一步处理：
其中imgmin为该幅图像中像素值的最小值，imgmax为该幅图像中像素值的最大值；imgnew(i,j)表示图像上位置为(i,j)处的调整后的新像素值(其中i,j均为大于等于0，小于图像尺寸值的整数)。
用对比度受限的自适应直方图均衡化(Contrast Limited Adaptive HistogramEqualization,CLAHE)对上一步获得的图像进行处理，增强血管与背景之间的对比度。
将增强后的图像中的每个像素值除以255.0，得到预处理完成后的图像；
根据图2、图3、图4和图5所述，使用Pytorch深度学习框架构建基于域自适应学习的卷积神经网络；
根据图2，特征提取模块对来自源域和目标域的数据进行特征提取，即源域和目标域共享特征空间，域分类模块对特征提取后的来自源域和目标域的数据进行域适应学习，令源域和目标域的特征映射到同一特征空间，特征提取模块以及域分类模块的作用是寻找一种度量准则，让源域特征和目标域特征在这个特征空间上的分布尽可能相似；根据图2，血管分割模块在训练时只对特征提取模块输出的来自于源域的数据进行血管分割；
对经过预处理的源域训练集和目标域训练集中的图像进行裁剪，具体操作为以步长为N裁剪N*N大小的不重叠图像块以及对应的血管标签图像块，因为血管分割模块只对来自源域的数据进行训练，因此目标域的血管标签设置为N*N大小的全0矩阵(N为大于0的自然数)；
对源域训练集的图像块的域标签设置为0，对目标域训练集的图像块的域标签设置为1；
将经过裁剪后的图像块以及对应的标签输入到构建的基于域自适应学习的卷积神经网络中，进行多模态视网膜眼底血管分割模型的训练。设置训练数据的批处理大小BatchSize为M，即每次选择M/2个源域图像块以及M/2个目标域图像块和对应的标签输入模型进行训练，设置学习率为alpha，采用Adam算法作为模型优化器，血管分割和域分类的损失函数都设置为交叉熵损失函数，设置Epoch值为E；
训练E个Epoch后保存性能最优的模型参数；
加载所保存的模型参数，得到训练好的基于域自适应的多模态视网膜眼底血管分割模型；
将目标域测试集中的图像输入到模型中，获得血管分割模块所输出的多模态视网膜眼底血管分割结果。
根据本发明的另一个实施例，具体的流程如下：
1、使用公开的经过专家标注的彩色视网膜眼底血管图像数据库DRIVE、STARE以及HRF和来自南京博视医疗科技有限公司的SLO视网膜眼底图像构建训练集和测试集。
2、取DRIVE、STARE以及HRF中每一幅图像的G通道图像和对应的血管标签图构成源域训练集。
3、对SLO视网膜眼底图像数据集的每一幅进行灰度化处理，取部分(图像数量应与源域训练集中的数量相似)构成目标域训练集，另一部分构成目标域测试集。
4、对步骤2和步骤3中的每一幅图像进行尺度大小调整，调整为512*512尺寸大小。
5、对步骤4得到的每一幅图像，计算其标准差Vstd和均值Vmean，并根据标准差和均值按照下面公式对图像进行处理：
其中img(i,j)表示图像上位置为(i,j)处的像素值。
6、根据公式(2)对公式(1)获得的结果进行进一步处理：
其中imgmin为该幅图像像素值的最小值，imgmax为该幅图像像素值的最大值。
7、用对比度受限的自适应直方图均衡化对上一步获得的图像进行处理，增强血管与背景之间的对比度。
8、将增强后的图像中的每个像素值除以255.0，得到预处理完成后的图像。
9、根据图2、图3、图4和图5所述，使用Pytorch、Tensorflow或PaddlePaddle等深度学习框架构建基于域自适应学习的卷积神经网络模型。
根据图2，特征提取模块对来自源域和目标域的数据进行特征提取，即源域和目标域共享特征空间，域分类模块对来自源域和目标域的数据进行域适应学习，令源域和目标域的特征映射到同一特征空间，特征提取模块以及域分类模块的作用是寻找一种度量准则，让源域特征和目标域特征在这个特征空间上的分布尽可能相似。在训练时血管分割模块只对来自于源域的数据进行血管分割。
训练样本首先经过特征提取模块，根据图3，该模块由两个子网络组成。其中每个子网络又由两个UNET结构的网络组成，图中的每个小方块表示一个由“3*3conv-relu+3*3conv-relu”组成的卷积子模块，“3*3conv”表示卷积核尺寸为3*3的卷积层，relu为激活层，方块中的数字表示卷积层的卷积核个数。上面的子网络中的每个UNET结构网络从编码到解码过程中不同卷积子模块之间的操作为，升采样、池化、池化、池化、升采样、升采样、升采样、池化，卷积子模块对应的卷积核个数为32、16、32、64、128、64、32、16、32，其中升采样与池化的尺寸大小均为2*2。两个UNET之间用一个具有32个卷积核的卷积子模块连接。每个子网络包括多个卷积子模块，所述多个卷积子模块分为多个层次(如图3所示)；其中，每一层次的卷积子模块之间使用密集连接，即前一卷积子模块的输出也是该层次后续所有卷积子模块的输入。下面的子网络除了每个UNET结构网络的卷积子模块之间的操作为池化、升采样、池化、池化、升采样、升采样、池化、升采样之外，其余均与上面的子网络设定相同。两路子网络的输出进行拼接处理作为该模块的输出。特征提取模块的输出作为域分类模块的输入，如图5所示，域分类模块的组成为：GRL(梯度反转层)、8*8大小的均值池化、Dense(参数设置为512)+relu、Dense(参数设置为512)、Dense(参数设置为2)+softmax。特征提取模块中来自于源域的输出作为血管分割模块的输入。如图4所示，血管分割模块的组成为：1*1conv+relu(卷积核尺寸为1*1的卷积层和激活层)、3*3conv+relu(卷积核尺寸为3*3的卷积层和激活层)、3*3conv+relu(卷积核尺寸为3*3的卷积层和激活层)、1*1conv+softmax(卷积核尺寸为1*1的卷积层和softmax函数)，其中四个卷积层的卷积核个数分别为：64、32、32、2。
10、对经过预处理的源域训练集和目标域训练集中的图像进行裁剪，具体操作为以步长为48裁剪48*48大小的不重叠图像块以及对应的血管标签图像块，因为血管分割模块只对来自源域的数据进行训练，因此目标域的血管标签设置为48*48大小的全0矩阵。
11、对源域训练集的图像块的域标签设置为0，对目标域训练集的图像块的域标签设置为1。
12、将经过裁剪后的图像块以及对应的标签输入到构建的基于与自适应学习的卷积神经网络中，进行步骤9中所构建的卷积神经网络模型的训练。设置训练数据的BatchSize为32，即每次选择16个源域图像块以及16个目标域图像块和对应的标签输入模型进行训练，设置学习率为0.001，采用Adam算法作为模型优化器，血管分割和域分类的损失函数都设置为交叉熵损失函数，设置Epoch值为40。
13、训练40个Epoch后保存性能最优的模型参数。
14、加载所保存的模型参数，得到训练好的基于域自适应的多模态视网膜眼底血管分割模型。
15、将目标域测试集中的图像输入到模型中，获得血管分割模块输出的多模态视网膜眼底血管分割结果。
采用本发明所述的实施例，具有以下特点：与现有技术相比，本发明提供一种基于域自适应学习的多模态视网膜眼底血管分割方法，是一种深度学习方法。该发明利用特征提取模块和域分类模块来进行域自适应学习，寻找一种度量准则，将不同模态的图像特征映射到同一特征空间上且使得不同模态之间的特征在这个特征空间上的分布尽可能相似，利用血管分割模块来帮助模型能够学习血管分割任务。通过多模块之间的合作来实现多模态视网膜眼底血管分割的任务。
本发明中引入梯度反转层，在实现对抗思想的同时，也避免对抗式生成网络较为繁琐的训练方法，即训练一次生成器后，需要固定生成器，然后训练K次辨别器，如此循环训练多次才可以达到最终结果。与对抗式生成网络不同，本发明构建的网络模型是整体上进行训练，不存在单独的生成器和鉴别器。
整个训练过程中，血管分割模块的标签仅使用公开的经过专家标注的彩色视网膜眼底血管数据集，不需要对其他模态的视网膜眼底血管图像进行血管标注，一来避免了手工标注所耗费的时间和精力，二来也避免了非专家人员标注时造成的不准确性，如果是眼科专家人员进行手动标准，也是一种对医疗资源的耗费，三来可以保证多模态血管分割的精度。
除此之外，本发明构建的模型并没有很深的层次，而是利用多尺度多路径多跳跃连接的级联方式加深浅层特征以及深层特征之间的联系，充分利用浅层特征和深层特征，卷积层使用的卷积核个数最高为128，这样也使得整个模型所需的参数量并不是很多，模型训练所需的时间不会太长。
彩色视网膜眼底图像(左)和SLO视网膜眼底图像(右)如图6所示。血管分割效果图如图7、图8、图9所示，其中图7是使用公开的经过专家标注的彩色视网膜眼底数据库进行训练，没有加入域自适应学习，然后在SLO视网膜眼底图像上测试的结果；图8是手工标注SLO视网膜眼底图像，然后在SLO视网膜眼底图像上测试的结果；图9是使用本发明提供方法进行训练测试的结果，即使用公开的经过专家标注的彩色视网膜眼底数据库进行训练，加入域自适应学习，然后在SLO视网膜眼底图像上测试的结果。可以发现，图7的结果背景很杂乱，多了许多不是血管的结果，这也证明了不同模态之间的特征分布是不一样的；图8中的结果呈现一种失真感，而且细小血管呈现的较为臃肿，手工标注这些图像需要花费不少时间和精力，同时标注的结果也存在着误差；图9的结果不仅背景干净，而且血管粗细程度合适，视网膜血管都得到很好的分割。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
此外，本领域普通技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本领域技术人员应理解，尽管已经参考示例性实施例描述了本公开，但是在不脱离本发明的范围的情况下，可进行各种改变并可用等同物替换其元件。另外，在不脱离本发明的实质范围的情况下，可进行许多修改以使特定情况或材料适应本发明的教导。因此，本发明不限于所公开的特定实施例，而是本发明将包括落入所附权利要求范围内的所有实施例。
Claims (8)
1.一种基于域自适应的多模态视网膜眼底血管分割方法，其特征在于，包括以下步骤：
步骤1，获取经过专家标注的彩色视网膜眼底血管分割数据集中每一幅图像的G通道图像以及对应的血管分割图，得到源域训练集；获取另一模态的视网膜眼底图像数据集，对数据集中的每一幅图像进行灰度化处理得到对应的灰度图像，得到目标域训练集和目标域测试集；
步骤2，对所获取的源域训练集和目标域训练集以及目标域测试集中的图像进行预处理操作；
步骤3，构建基于域自适应学习的卷积神经网络模型，所构建的卷积神经网络模型包括特征提取模块，域分类模块，以及血管分割模块；所述卷积神经网络模型先对来自源域和目标域的数据进行特征提取，所述特征提取模块由两个子网络组成；其中每个子网络由两个UNET结构的网络组成；每个子网络的两个UNET结构的网络之间用一个卷积子模块连接；每个子网络包括多个卷积子模块，所述多个卷积子模块分为多个层次，其中每一层次的卷积子模块之间使用密集连接，所述密集连接是指前一卷积子模块的输出是该层次后续所有卷积子模块的输入；两个子网络的输出进行拼接处理后作为所述特征提取模块的输出；
然后对特征提取后的来自源域和目标域的数据进行域适应学习，令源域和目标域的特征映射到同一特征空间，并利用特征提取后的来自于源域的数据进行血管分割；在测试过程中，所述卷积神经网络模型对来自目标域的数据进行血管分割；
步骤4，对经过预处理的源域训练集和目标域训练集中的图像进行裁剪操作；将经过裁剪后的图像块以及对应的标签输入到构建的基于域自适应学习的卷积神经网络中，进行多模态视网膜眼底血管分割模型的训练；训练给定数量的周期后保存性能最优的模型参数；加载所保存的模型参数，得到训练好的基于域自适应的多模态视网膜眼底血管分割模型；
步骤5，将目标域测试集中的图像输入到训练好的基于域自适应的多模态视网膜眼底血管分割模型中，获得血管分割模块输出的多模态视网膜眼底血管分割结果。
2.根据权利要求1所述的基于域自适应的多模态视网膜眼底血管分割方法，其特征在于，所述域分类模块包括一个梯度反转层，所述梯度反转层是用来实现域自适应的关键层。
3.根据权利要求1所述的基于域自适应的多模态视网膜眼底血管分割方法，其特征在于，在训练过程中，训练数据的批处理大小设置为M，每次选择M/2个源域图像块以及M/2个目标域图像块和对应的标签输入到构建的基于域自适应学习的卷积神经网络模型进行训练；其中M为大于0的偶数。
4.根据权利要求1所述的基于域自适应的多模态视网膜眼底血管分割方法，其特征在于，所述预处理操作包括将源域训练集和目标域训练集以及目标域测试集中的图像调整为统一尺寸大小；计算调整为统一尺寸大小后的图像的标准差和均值，并根据所计算的标准差和均值，对调整为统一尺寸大小后的图像进行调整处理。
5.一种基于域自适应的多模态视网膜眼底血管分割装置，其特征在于，包括以下装置：
获取装置，获取经过专家标注的彩色视网膜眼底血管分割数据集中每一幅图像的G通道图像以及对应的血管分割图，得到源域训练集；获取另一模态的视网膜眼底图像数据集，对数据集中的每一幅图像进行灰度化处理得到对应的灰度图像，得到目标域训练集和目标域测试集；
预处理装置，对所获取的源域训练集和目标域训练集以及目标域测试集中的图像进行预处理操作；
网络模型构建装置，构建基于域自适应学习的卷积神经网络模型；所构建的卷积神经网络模型包括特征提取模块，域分类模块，以及血管分割模块；所述特征提取模块对来自源域和目标域的数据进行特征提取，所述源域和所述目标域共享特征空间；域分类模块对来自源域和目标域的数据进行域适应学习，令源域和目标域的特征映射到同一特征空间；特征提取模块的输出作为域分类模块的输入；在训练过程中特征提取模块中来自于源域的输出作为血管分割模块的输入，在训练过程中血管分割模块只对来自于源域的数据进行血管分割；在测试过程中，血管分割模块对来自目标域的数据进行血管分割；
所述特征提取模块由两个子网络组成；其中每个子网络由两个UNET结构的网络组成；每个子网络的两个UNET结构的网络之间用一个卷积子模块连接；每个子网络包括多个卷积子模块，所述多个卷积子模块分为多个层次，其中每一层次的卷积子模块之间使用密集连接，所述密集连接是指前一卷积子模块的输出是该层次后续所有卷积子模块的输入；两个子网络的输出进行拼接处理后作为所述特征提取模块的输出；
训练装置，对经过预处理的源域训练集和目标域训练集中的图像进行裁剪操作；将经过裁剪后的图像块以及对应的标签输入到构建的基于域自适应学习的卷积神经网络中，进行多模态视网膜眼底血管分割模型的训练；训练给定数量的周期后保存性能最优的模型参数；加载所保存的模型参数，得到训练好的基于域自适应的多模态视网膜眼底血管分割模型；
测试装置，将目标域测试集中的图像输入到训练好的基于域自适应的多模态视网膜眼底血管分割模型中，获得血管分割模块输出的多模态视网膜眼底血管分割结果。
6.根据权利要求5所述的基于域自适应的多模态视网膜眼底血管分割装置，其特征在于，所述域分类模块包括一个梯度反转层，所述梯度反转层是用来实现域自适应的关键层。
7.根据权利要求5所述的基于域自适应的多模态视网膜眼底血管分割装置，其特征在于，在训练过程中，训练数据的批处理大小设置为M，每次选择M/2个源域图像块以及M/2个目标域图像块和对应的标签输入到构建的基于域自适应学习的卷积神经网络模型进行训练；其中M为大于0的偶数。
8.根据权利要求5所述的基于域自适应的多模态视网膜眼底血管分割装置，其特征在于，所述预处理操作包括将源域训练集和目标域训练集以及目标域测试集中的图像调整为统一尺寸大小；计算调整为统一尺寸大小后的图像的标准差和均值，并根据所计算的标准差和均值，对调整为统一尺寸大小后的图像进行调整处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110592115.4A CN115409764B (zh) | 2021-05-28 | 2021-05-28 | 一种基于域自适应的多模态眼底血管分割方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110592115.4A CN115409764B (zh) | 2021-05-28 | 2021-05-28 | 一种基于域自适应的多模态眼底血管分割方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115409764A CN115409764A (zh) | 2022-11-29 |
| CN115409764B true CN115409764B (zh) | 2024-01-09 |
Family
ID=84155606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110592115.4A Active CN115409764B (zh) | 2021-05-28 | 2021-05-28 | 一种基于域自适应的多模态眼底血管分割方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115409764B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116863146B (zh) * | 2023-06-09 | 2024-03-08 | 强联智创（北京）科技有限公司 | 用于对血管瘤特征进行提取的方法、设备及存储介质 |
| CN117152168B (zh) * | 2023-10-31 | 2024-02-09 | 山东科技大学 | 一种基于频段分解和深度学习的医学图像分割方法 |
| CN117475270B (zh) * | 2023-11-20 | 2024-07-23 | 深圳市眼科医院(深圳市眼病防治研究所) | 糖尿病视网膜病变图像的病灶识别方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109448006A (zh) * | 2018-11-01 | 2019-03-08 | 江西理工大学 | 一种注意力机制u型密集连接视网膜血管分割方法 |
| CN109685813A (zh) * | 2018-12-27 | 2019-04-26 | 江西理工大学 | 一种自适应尺度信息的u型视网膜血管分割方法 |
| CN110070535A (zh) * | 2019-04-23 | 2019-07-30 | 东北大学 | 一种基于实例迁移学习的视网膜血管图像分割方法 |
| CN110443813A (zh) * | 2019-07-29 | 2019-11-12 | 腾讯医疗健康(深圳)有限公司 | 血管、眼底图像的分割方法、装置、设备及可读存储介质 |
| CN110706233A (zh) * | 2019-09-30 | 2020-01-17 | 北京科技大学 | 一种视网膜眼底图像分割方法及装置 |
| CN111047613A (zh) * | 2019-12-30 | 2020-04-21 | 北京小白世纪网络科技有限公司 | 基于分支注意力及多模型融合的眼底血管分割方法 |
| CN111199550A (zh) * | 2020-04-09 | 2020-05-26 | 腾讯科技（深圳）有限公司 | 图像分割网络的训练方法、分割方法、装置和存储介质 |
| CN111340819A (zh) * | 2020-02-10 | 2020-06-26 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置和存储介质 |
| CN111583291A (zh) * | 2020-04-20 | 2020-08-25 | 中山大学 | 基于深度学习的视网膜层和积液区域的层分割方法及系统 |
| CN111915619A (zh) * | 2020-06-05 | 2020-11-10 | 华南理工大学 | 一种双特征提取与融合的全卷积网络语义分割方法 |
| CN112215844A (zh) * | 2020-11-26 | 2021-01-12 | 南京信息工程大学 | 基于ACU-Net的MRI多模态图像分割方法和系统 |
| CN112396588A (zh) * | 2020-11-23 | 2021-02-23 | 中国人民大学 | 一种基于对抗网络的眼底图像识别方法、系统及可读介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11164067B2 (en) * | 2018-08-29 | 2021-11-02 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems, methods, and apparatuses for implementing a multi-resolution neural network for use with imaging intensive applications including medical imaging |
-
2021
- 2021-05-28 CN CN202110592115.4A patent/CN115409764B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109448006A (zh) * | 2018-11-01 | 2019-03-08 | 江西理工大学 | 一种注意力机制u型密集连接视网膜血管分割方法 |
| CN109685813A (zh) * | 2018-12-27 | 2019-04-26 | 江西理工大学 | 一种自适应尺度信息的u型视网膜血管分割方法 |
| CN110070535A (zh) * | 2019-04-23 | 2019-07-30 | 东北大学 | 一种基于实例迁移学习的视网膜血管图像分割方法 |
| CN110443813A (zh) * | 2019-07-29 | 2019-11-12 | 腾讯医疗健康(深圳)有限公司 | 血管、眼底图像的分割方法、装置、设备及可读存储介质 |
| CN110706233A (zh) * | 2019-09-30 | 2020-01-17 | 北京科技大学 | 一种视网膜眼底图像分割方法及装置 |
| CN111047613A (zh) * | 2019-12-30 | 2020-04-21 | 北京小白世纪网络科技有限公司 | 基于分支注意力及多模型融合的眼底血管分割方法 |
| CN111340819A (zh) * | 2020-02-10 | 2020-06-26 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置和存储介质 |
| CN111199550A (zh) * | 2020-04-09 | 2020-05-26 | 腾讯科技（深圳）有限公司 | 图像分割网络的训练方法、分割方法、装置和存储介质 |
| CN111583291A (zh) * | 2020-04-20 | 2020-08-25 | 中山大学 | 基于深度学习的视网膜层和积液区域的层分割方法及系统 |
| CN111915619A (zh) * | 2020-06-05 | 2020-11-10 | 华南理工大学 | 一种双特征提取与融合的全卷积网络语义分割方法 |
| CN112396588A (zh) * | 2020-11-23 | 2021-02-23 | 中国人民大学 | 一种基于对抗网络的眼底图像识别方法、系统及可读介质 |
| CN112215844A (zh) * | 2020-11-26 | 2021-01-12 | 南京信息工程大学 | 基于ACU-Net的MRI多模态图像分割方法和系统 |
Non-Patent Citations (3)
| Title |
|---|
| Domain adaptation for biomedical image segmentation using adversarial training;Mehran Javanmardi 等;《2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018)》;554-558 * |
| Unsupervised Domain Adaptation to Improve Image Segmentation Quality Both in the Source and Target Domain;Jan-Aike Bolte 等;《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)》;第1-10页，摘要，第1节 * |
| 适应尺度信息的 U 型视网膜血管分割算法;梁礼明 等;《光学学报》;第39卷(第8期);0810004-1-0810004-15 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115409764A (zh) | 2022-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115409764B (zh) | 一种基于域自适应的多模态眼底血管分割方法及装置 | |
| CN112132817B (zh) | 一种混合注意力机制的眼底图像视网膜血管分割方法 | |
| CN110097559B (zh) | 基于深度学习的眼底图像病灶区域标注方法 | |
| EP3674968A1 (en) | Image classifying method, server and computer readable storage medium | |
| CN109635862B (zh) | 早产儿视网膜病plus病变分类方法 | |
| CN111656357A (zh) | 基于人工智能的眼科疾病诊断建模方法、装置及系统 | |
| CN111882566B (zh) | 视网膜图像的血管分割方法、装置、设备及存储介质 | |
| Popescu et al. | Retinal blood vessel segmentation using pix2pix gan | |
| CN111951219B (zh) | 基于眼眶ct图像的甲状腺眼病筛查方法、系统及设备 | |
| CN109902682A (zh) | 一种基于残差卷积神经网络的乳腺x线图像检测方法 | |
| CN113011340B (zh) | 一种基于视网膜图像的心血管手术指标风险分类方法及系统 | |
| CN115018756A (zh) | 一种眼底视网膜动静脉的分类方法、装置和存储介质 | |
| Kushol et al. | Retinal blood vessel segmentation from fundus image using an efficient multiscale directional representation technique Bendlets | |
| Şengür et al. | A retinal vessel detection approach using convolution neural network | |
| CN111784713A (zh) | 一种引入注意力机制的u形心脏分割方法 | |
| CN111383222A (zh) | 一种基于深度学习的椎间盘mri图像智能诊断系统 | |
| Nawaz et al. | Multi-class retinal diseases detection using deep CNN with minimal memory consumption | |
| CN115661185A (zh) | 一种眼底图像血管分割方法及系统 | |
| Xu et al. | A Multi-scale Attention-based Convolutional Network for Identification of Alzheimer's Disease based on Hippocampal Subfields | |
| Hatode et al. | Evolution and Testimony of Deep Learning Algorithm for Diabetic Retinopathy Detection | |
| Li et al. | Retinal OCT image classification based on domain adaptation convolutional neural networks | |
| Wang et al. | Optical coherence tomography image for automatic classification of diabetic macular edema | |
| Zhou et al. | Automatic optic disc detection in retinal images via group sparse regularization extreme learning machine | |
| CN110969117A (zh) | 一种基于Attention机制的全卷积神经网络的眼底图像分割方法 | |
| Sharma et al. | Blood vessel segmentation using SegNet |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |