CN116823851A - 基于特征重构的无监督域自适应oct图像分割方法及系统 - Google Patents
基于特征重构的无监督域自适应oct图像分割方法及系统 Download PDFInfo
- Publication number
- CN116823851A CN116823851A CN202310668191.8A CN202310668191A CN116823851A CN 116823851 A CN116823851 A CN 116823851A CN 202310668191 A CN202310668191 A CN 202310668191A CN 116823851 A CN116823851 A CN 116823851A
- Authority
- CN
- China
- Prior art keywords
- domain
- feature
- image
- segmentation
- oct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003709 image segmentation Methods 0.000 title claims abstract description 33
- 230000011218 segmentation Effects 0.000 claims abstract description 120
- 230000007246 mechanism Effects 0.000 claims abstract description 42
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000010276 construction Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 30
- 230000003044 adaptive effect Effects 0.000 claims description 29
- 238000009826 distribution Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 210000001525 retina Anatomy 0.000 abstract description 3
- 238000012014 optical coherence tomography Methods 0.000 description 69
- 238000002474 experimental method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 238000003776 cleavage reaction Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000002207 retinal effect Effects 0.000 description 7
- 230000007017 scission Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012800 visualization Methods 0.000 description 6
- 206010025421 Macule Diseases 0.000 description 5
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 5
- 238000002679 ablation Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 208000017442 Retinal disease Diseases 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000003161 choroid Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于特征重构的无监督域自适应OCT图像分割方法及系统，涉及图像分割技术领域。该方法包括采集不同OCT图像构建数据集，将数据集划分为源域图像数据和目标域图像数据；对所述源域图像和所述目标域图像进行预处理；构建基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型，并将预处理后的源域图像和目标域图像输入到网络中进行训练，得到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型；将待分割图像输入到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型中，得到分割结果。本发明可有效提升跨域视网膜OCT图像分割的性能。
Description
技术领域
本发明涉及图像分割技术领域，尤其涉及一种基于特征重构的无监督域自适应OCT图像分割方法及系统。
背景技术
光学相干断层扫描(Optical Coherence Tomography，OCT)凭借高分辨率、非接触性与高速成像等优势广泛运用于视网膜疾病的诊断。实现OCT图像中组织层次与病灶自动精准分割对视网膜疾病的临床诊断与治疗有着重大的意义。随着深度学习技术的发展，基于深度学习的分割方法在OCT图像分割领域取得了优异的结果。然而，OCT图像数据往往来自不同设备或不同成像方式，这导致了不同OCT图像数据间存在严重的域偏移，进而导致分割模型在不同领域OCT图像数据上的性能急剧下降。
传统域自适应方法都是基于卷积神经网络分类器开发的，这些方法主要是通过对齐源图像和目标图像之间的特征分布来解决问题。此外，采用损失函数约束网络的方式也被广泛使用，通过线性变换将目标域数据的特征分布映射到源域的特征分布上，从而使得源域与目标域的数据特征在统计意义上相似，进而提高模型在目标域上的泛化性能。在损失函数约束的基础上，对抗学习也被引入用以解决该类问题，CYCADA使用CycleGAN，通过像素对齐将源域图像传输到目标域，从而生成额外的训练数据，并结合特征空间的对抗学习方法进行训练以实现域自适应，通过同时对风格转化后的图片与分割预测空间使用对抗损失进行对齐以实现域自适应的目标。此外，也有一些利用非对抗的方法：课程学习根据源样本推断目标图像的重要属性并指导模型分割目标图像对应区域；基于非对抗模型的自训练方法通过不断地去优化训练过程中生成的目标图像伪标签来传递语义表示。此外，还有方法通过开发一个伪像素标签生成器专注于难以转移的目标样本。虽然这些方法取得一定的效果，但仍然存在以下不足：
(1)基于深度学习的分割方法，使用带标注的源域对模型进行训练，并直接在目标域数据上进行测试，当源域和目标域数据存在分布差异时，模型分割性能发生显著地下降。
(2)特征无监督域自适应方法通过在源域和目标域之间对齐从网络中提取的特征，虽然对齐了边缘分布但却不强制任何语义的一致性，导致特征映射存在误差的可能；
(3)对抗无监督域自适应方法虽然在特征空间上减少了不同数据的分布差异，从而增强了特征的迁移性，但同时也牺牲了特征的判别性。
(4)基于统计方法的无监督域自适应方法通过在再生核希尔伯特空间中计算两个域数据的分布差异损失来解决数据的域偏移问题，虽然能够在一定程度上缓解模型在跨域数据上性能下降的问题，但随着数据量的增多，其计算量也呈几何倍地增长。
发明内容
本发明所要解决的技术问题是，针对由不同仪器或同一仪器采用不同扫描方式获取的OCT图像在噪声分布、对比度以及分辨率等方面存在着较大的差异。提出一种基于特征重构的无监督域自适应OCT图像分割方法及系统，目的在于减小跨域OCT数据分布差异，用源域图像及其金标准训练，而不需要目标域图像金标准，获得在目标域图像上较高的分割性能。
为了解决上述问题，本发明实施例提供一种基于特征重构的无监督域自适应OCT图像分割方法，所述方法包括：
S1：采集不同OCT图像构建数据集，将数据集划分为源域图像数据和目标域图像数据；
S2：对所述源域图像和所述目标域图像进行预处理；
S3：构建基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型，并将预处理后的源域图像和目标域图像输入到网络模型中进行训练，得到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型；
S4：将待分割图像输入到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型中，得到分割结果。
优选地，所述基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型采用U形网络结构，包括分割器模块和特征重构模块；
所述分割器模块由编码器与解码器组成，所述编码器用于分别对带标注的源域图像和无标注的目标域图像进行特征提取，并通过所述解码器对特征进行恢复以获得图像的分割结果；
所述特征重构模块添加在解码器部分的次顶层，所述特征重构模块用于对输入的源域与目标域特征进行重构，在保留各自原有域自信息的基础上，融入域间的类别互信息。
优选地，所述编码器包含4层，每层由卷积核、批归一化操作以及Relu激活函数构成，在编码器每一层后使用最大池化对图像进行一次下采样，在增大感受野的同时降低图像的分辨率，所述编码器共下采样4次，特征图输出通道数分别为64、128、256、512。
优选地，所述解码器包括4层，每层由卷积核、反卷积构成，解码器的每一层都会对上一层特征进行上采样，并将上采样的深层特征图和跳跃连接的浅层特征图进行拼接，得到该层的输出特征图。
优选地，所述特征重构模块的结构为：
特征重构模块的输入分别为解码器次顶层的源域特征fs∈RC×H×W与目标域特征ft∈RC×H×W，其中C、H和W分别代表特征图的通道数、高度和宽度；
首先，将源域特征fs与目标域特征ft分别经过σ(·)函数得到源域图像与目标域图像的粗分割结果与/>对各自域的粗分割结果和特征进行宽度与高度维度的合并，得到重塑后的源域粗分割结果ps∈RM×HW、目标域粗分割结果pt∈RM ×HW、源域特征fs∈RC×HW和目标域特征ft∈RC×HW，其中，σ(·)函数由1×1卷积与Sigmoid激活函数构成，M代表分割的类别数；
接着，将重塑后的源域和目标域的粗分割结果ps和pt分别与各自重塑后的特征fs和ft相乘，即对每个批次的图像属于同类的像素点概率求和取平均作为该类别像素点的类别原型，分别得到源域的类别原型Ks∈RM×C以及目标域的类别原型Kt∈RM×C；
然后，为了提升模型的分割性能，将源域的原始特征fs与本域的类别原型Ks相融合，得到代表源域的自信息特征f′s；同样的，将目标域的原始特征ft与本域的类别原型Kt相融合，得到代表目标域的自信息特征f′t；
为了对齐域间的特征分布，将源域的类别原型Ks与目标域的原始特征ft相乘得到融入了跨域类别信息的目标域互信息特征f″t，与目标域操作一致，源域的互信息特征f″s由目标域的类别原型Kt和源域的原始特征fs相乘获得；
最后，为了能够在提升网络分割性能的同时提升模型对于跨域数据的泛化能力，将源域原始特征fs、自信息特征f′s和互信息特征f″s进行通道维度上的拼接，并将拼接后的结果经过1×1卷积对通道维度进行降维得到最终的重构特征fres。同样的，对目标域的原始特征ft、自信息特征f′t和互信息特征f″t进行相同的操作得到目标域的重构特征fret。
优选地，采用双向选择机制对所述特征重构模块在原型空间中融入不同域间的类别信息的操作进行约束，具体包括：
设定熵阈值τ，分别对源域和目标域的粗分割结果计算信息熵；
对目标域数据而言，只有当源域图像粗分割结果的信息熵低于设定的熵阈值τ时将源域的类别信息与目标域的原始特征进行融合，从而获得目标域互信息特征f″t，目标域互信息特征f″t可以表示为：
对源域数据而言，只有当目标域图像粗分割结果的信息熵低于设定的熵阈值τ时将目标域的类别信息与源域的原始特征进行融合，从而获得源域互信息特征f″s，源域互信息特征f″s可以表示为：
其中，表示源域图像粗分割结果的信息熵，/>表示目标域图像粗分割结果的信息熵。
优选地，所述分割器模块输出概率的信息熵定义为：
其中，x表示图像，为图像预测概率图中位于第h行、第w列的值，H，W为图像的行数和列数。
优选地，所述基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络采用的主要损失函数为Lseg以及像素级的欧氏距离损失函数与/>其中Lseg定义为：
其中，pk代表源域图像预测结果中第k个像素的值，tk代表源域图像分割标签中第k个像素的值，N代表图像总的像素个数；
定义为：
定义为：
其中，分别为源域重构特征、源域原始特征、目标域重构特征、目标域原始特征在第c个通道维度中第i行、第j列的值，C、H和W分别代表特征图的通道数、高度和宽度；
网络最终的联合损失函数L为：
其中，γ表示加权融合损失函数系数，γ设置为0.001。
本发明实施例还提供了一种基于特征重构的无监督域自适应OCT图像分割系统，所述系统包括：
数据采集单元，用于采集不同OCT图像构建数据集，将数据集划分为源域图像数据和目标域图像数据；
数据预处理单元，用于对所述源域图像和所述目标域图像进行预处理；
网络模型训练单元，用于构建基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型，并将预处理后的源域图像和目标域图像输入到网络模型中进行训练，得到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型；
分割单元，用于将待分割图像输入到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型中，得到分割结果。
本发明实施例还提供了一种网络装置，所述网络装置包括处理器、存储器和总线系统，所述处理器和存储器通过该总线系统相连，所述存储器用于存储指令，所述处理器用于执行存储器存储的指令，以实现上述任意一项所述的基于特征重构的无监督域自适应OCT图像分割方法。
从以上技术方案可以看出，本发明申请具有以下优点：
本发明提出一种基于特征重构的无监督域自适应OCT图像分割方法，通过构建基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型，在实现降低跨域OCT数据分布差异的基础上，提高了目标域数据的分割能力。本发明为网络模型设计了一个特征重构模块，以对齐源域与目标域特征分布；设计了一个双向选择机制以避免在训练过程由网络训练不足导致的负对齐问题；采用像素级欧氏距离损失函数以确保经过重构后的特征与原始特征间的语义一致性，从而提升模型的鲁棒性。本发明可有效提升跨域视网膜OCT图像分割的性能，与其他已有域自适应分割方法相比表现出了优越性。
附图说明
为了更清楚地说明本发明实施案例或现有技术中的技术方案，下边将对实施例中所需要使用的附图做简单说明，通过参考附图会更清楚的理解本发明的特征和优点，附图是示意性的而不应该理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：
图1为根据实施例中提供的一种基于特征重构的无监督域自适应OCT图像分割方法的流程图；
图2为实施例中基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型的结构示意图；
图3为实施例中特征重构模块的结构示意图；
图4为根据实施例中提供的一种基于特征重构的无监督域自适应OCT图像分割系统的框图；
图5为脉络膜目标域一数据集对比实验可视化结果示意图；
图6为脉络膜目标域二数据集对比实验可视化结果示意图；
图7为视网膜劈裂数据集对比实验可视化结果示意图。
具体实施方式
为使本发明实施例的目的、技术方案与优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1所示，本发明实施例提出一种基于特征重构的无监督域自适应OCT图像分割方法，该方法包括：
S1：采集不同OCT图像构建数据集，将数据集划分为源域图像数据和目标域图像数据；
S2：对所述源域图像和所述目标域图像进行预处理；
S3：构建基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型，并将预处理后的源域图像和目标域图像输入到网络模型中进行训练，得到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型；
S4：将待分割图像输入到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型中，得到分割结果。
本发明提出一种基于特征重构的无监督域自适应OCT图像分割方法，通过构建基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型，在实现降低跨域OCT数据分布差异的基础上，提高了目标域数据的分割能力。本发明为网络模型设计了一个特征重构模块，以对齐源域与目标域特征分布；设计了一个双向选择机制以避免在训练过程由网络训练不足导致的负对齐问题；采用像素级欧氏距离损失函数以确保经过重构后的特征与原始特征间的语义一致性，从而提升模型的鲁棒性。本发明可有效提升跨域视网膜OCT图像分割的性能，与其他已有域自适应分割方法相比表现出了优越性。
进一步地，采集不同OCT图像构建数据集，将数据集划分为源域图像数据和目标域图像数据。对所述源域图像和所述目标域图像进行预处理。
进一步地，本发明构建了一种基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型，称为FRDM-Net，在实现降低跨域数据分布差异的基础上，提高目标域数据的分割能力。本发明提出的FRDM-Net网络模型结构如图2所示，网络模型整体采用U形结构。分割器模块分为编码器与解码器，编码器部分分别对带标注的源域图像和无标注的目标域图像进行特征提取，并通过解码器对特征进行恢复以获得图像的分割结果。为了解决数据间的域偏移问题，本发明设计了一个特征重构模块并将其加在解码器部分的次顶层，该模块能够对输入的源域与目标域特征进行重构，在保留各自原有域自信息的基础上，融入域间的类别互信息，从而减少域偏移对模型性能产生的负面影响。同时，还设计了一个双向选择机制以避免在跨域特征融合过程中出现由网络训练不足导致的负对齐问题。
具体地，分割器模块采用传统的U形网络结构，整个分割器模块包含一个编码器以及一个解码器。其中，编码器共包含4层，每层都由一个大小为3×3，步长为1的卷积核、批归一化操作以及Relu激活函数构成，解码器包括4层，每层由卷积核、反卷积构成。在编码器每一层后使用最大池化对图像进行一次下采样，在增大感受野的同时降低图像的分辨率。整个编码器部分共下采样4次，特征图输出通道数分别为64、128、256、512。同时，为了有效地重建高分辨率特征图，解码器的每一层都会对上一层特征进行上采样，并将上采样的深层特征图和跳跃连接的浅层特征图进行拼接以避免低级语义信息的丢失。
具体地，特征重构模块的结构如图3所示。特征重构模块的输入分别为解码器次顶层的源域特征fs∈RC×H×W与目标域特征ft∈RC×H×W，其中C、H和W分别代表特征图的通道数、高度和宽度。首先，将源域特征fs与目标域特征ft分别经过σ(·)函数(1×1卷积与Sigmoid激活函数)得到源域图像与目标域图像的粗分割结果与/>其中M代表分割的类别数。为了得到各自域的类别原型，对各自域的粗分割结果和特征进行宽度与高度维度的合并，得到重塑后的源域粗分割结果ps∈RM×HW、目标域粗分割结果pt∈RM ×HW、源域特征fs∈RC×HW和目标域特征ft∈RC×HW。接着，将重塑后的源域和目标域的粗分割结果ps和pt分别与各自重塑后的特征fs和ft相乘，即对每个批次的图像属于同类的像素点概率求和取平均作为该类别像素点的类别原型，分别得到源域的类别原型Ks∈RM×C以及目标域的类别原型Kt∈RM×C。
由于源域的类别原型Ks和目标域的类别原型Kt分别代表着各自图像的全局结构信息，分别将其与各自的原始特征相融合有助于提升模型的分割性能。因此，特征重构模块将源域的原始特征fs与本域的类别原型Ks相融合，得到代表源域的自信息特征f′s。同样的，将目标域的原始特征ft与本域的类别原型Kt相融合，得到代表目标域的自信息特征f′t。
f′s＝Ks×fs
f′t＝Kt×ft
此外，由于源域特征与目标域特征之间还存在着分布差异的问题，而通过在原型空间中融入不同域间的类别信息能够在很大程度上对齐域间的特征分布。因此，特征重构模块将源域的类别原型Ks与目标域的原始特征ft相乘得到融入了跨域类别信息的目标域互信息特征f″t，与目标域操作一致，源域的互信息特征f″s由目标域的类别原型Kt和源域的原始特征fs相乘获得。
最后，为了能够在提升网络分割性能的同时提升模型对于跨域数据的泛化能力，特征重构模块将源域原始特征fs、自信息特征f′s和互信息特征f″s进行通道维度上的拼接，并将拼接后的结果经过1×1卷积对通道维度进行降维得到最终的重构特征fres。同样的，对目标域的原始特征ft、自信息特征f′t和互信息特征f″t进行相同的操作得到目标域的重构特征fret。
具体地，通过融入域间的类别信息虽然能够在一定程度上缓解域偏移问题，但是在网络的训练过程中，源域图像与目标域图像粗分割的结果往往好坏不一，存在着噪声扰动的问题。因此，直接将跨域的类别信息融入到本域的原始特征中可能会导致特征对齐过程出现负对齐的现象，即错分像素点与漏分像素点增多。因此，为了避免这一问题，本发明提出了一个双向选择机制(Dual Selection Mechanism，DSM)对特征重构模块在原型空间中融入不同域间的类别信息的操作进行约束。由于信息熵能够衡量模型预测结果的优劣，因此，双向选择机制基于该理论。具体地，设定熵阈值τ，分别对源域和目标域的粗分割结果分别计算信息熵，双向选择机制方法指出，对目标域数据而言，只有当源域图像粗分割结果的信息熵低于设定的熵阈值τ时将源域的类别信息与目标域的原始特征进行融合，从而获得互信息特征f″t。同样的，对源域数据而言，只有当目标域图像粗分割结果的信息熵低于设定的熵阈值τ时将目标域的类别信息与源域的原始特征进行融合，从而获得互信息特征f″s。那么，源域互信息特征f″s可以表示为：
同样的，目标域互信息特征f″t可以表示为：
其中，表示源域图像粗分割结果的信息熵，/>表示目标域图像粗分割结果的信息熵。
特别地，对于一个图像x而言，基于分割器模块输出概率的信息熵定义如下：
其中，为图像预测概率图中位于第h行、第w列的值，H，W为图像的行数和列数。
此外，本发明对重构后的源域特征和目标域特征分别与原始的源域特征和目标域特征计算像素级的欧氏距离以确保经过重构后的特征与原始特征间的语义一致性，从而提升模型的鲁棒性。
具体地，基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络采用的主要损失函数为Lseg以及像素级的欧氏距离损失函数与/>其中Lseg定义为：
其中，pk代表源域图像预测结果中第k个像素的值，tk代表源域图像分割标签中第k个像素的值，N代表图像总的像素个数；
定义为：
定义为：
其中，分别为源域重构特征、源域原始特征、目标域重构特征、目标域原始特征在第c个通道维度中第i行、第j列的值，C、H和W分别代表特征图的通道数、高度和宽度；
网络最终的联合损失函数L为：
其中，γ表示加权融合损失函数系数，γ设置为0.001。
进一步地，将预处理后的源域图像和目标域图像输入到网络模型中进行训练，得到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型；将待分割图像输入到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型中，得到分割结果。
实施例二
如图4所示，本发明提供一种基于特征重构的无监督域自适应OCT图像分割系统，所述系统包括：
数据采集单元10，用于采集不同OCT图像构建数据集，将数据集划分为源域图像数据和目标域图像数据；
数据预处理单元20，用于对所述源域图像和所述目标域图像进行预处理；
网络模型训练单元30，用于构建基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型，并将预处理后的源域图像和目标域图像输入到网络模型中进行训练，得到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型；
分割单元40，用于将待分割图像输入到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型中，得到分割结果。
所述系统，用以实现上述所述的基于特征重构的无监督域自适应OCT图像分割方法，为了避免冗余，在此不再赘述。
本发明实施例还提供了一种网络装置，所述网络装置包括处理器、存储器和总线系统，所述处理器和存储器通过该总线系统相连，所述存储器用于存储指令，所述处理器用于执行存储器存储的指令，以实现上述所述的基于特征重构的无监督域自适应OCT图像分割方法。
以下将通过具体的实验来阐述本发明方法的优点。
一、数据集
本实验所使用的脉络膜与视网膜劈裂分割OCT图像数据集均来自于上海交通大学附属第一人民医院。脉络膜分割任务中，源域数据由TopconDRI-1扫频源OCT扫描仪使用以黄斑为中心的12线径向扫描模式生成，原图尺寸为1135×490；目标域一数据由TopconDRI-1扫频源OCT扫描仪使用以黄斑为中心的256线区域扫描模式生成，原图尺寸为992×512，目标域二数据由Zeiss4000扫频源OCT扫描仪使用以黄斑为中心的128线区域扫描模式生成，原图尺寸为1024×512。视网膜劈裂分割任务中，源域数据由TopconDRI-1扫频源OCT扫描仪使用以黄斑为中心的12线径向扫描模式生成，原图尺寸为1024×992；目标域数据由SVision扫频源OCT扫描仪使用以黄斑为中心的96线区域扫描模式生成，原图尺寸为1016×512。附表1列出了脉络膜与视网膜劈裂数据集的具体细节。训练集、验证集、测试集均按病人划分。为减少训练时间和显存占用，我们将图片下采样到512×512，为了增加训练数据的多样性以及防止模型过拟合，使用随机左右和上下翻转、随机亮度、随机对比度、随机高斯模糊作为在线数据扩增。为了客观评估本发明方法的性能，采用了交并比(IoU)、Dice系数、灵敏度(Sens)和特异性(Spec)共4个评价指标。
设定OCT图像中目标区域像素点为正样本，背景区域像素点为负样本。TP(TruePositive)代表真阳性，即OCT图像中正样本预测正确的数量；TN(True Negative)代表真阴性，即OCT图像中负样本预测正确的数量；FP(False Positive)代表假阳性，即OCT图像中负样本预测为正样本的数量；FN(False Negative)代表假阴性，即OCT图像中正样本预测为负样本的数量。根据上述介绍，DSC、IoU、Sen以及Spe评价指标计算方式如下：
表1
二、实验设置
该模型基于公共平台PyTorch和具有11GB内存的GeForceGTX2080TiGPU进行训练和测试。网络应用随机梯度下降算法优化网络，学习率初始值设置为0.01，动量参数设置为0.9，学习率衰减值设置为0.0001。总共训练60轮，输入图像批量大小为2，验证图像批量大小为1。
三、实验结果及分析
表2、表3、表4与表5展示了相关消融实验和对比实验的结果与比较，表2为FRDM-Net在脉络膜分割任务上的消融实验结果，表3为FRDM-Net在视网膜劈裂分割任务上的消融实验结果，表4为脉络膜分割对比实验结果，表5为视网膜劈裂分割对比实验结果。在消融实验中，以U-Net作为基本网络Baseline，将本发明所设计的特征重构模块、像素级欧氏距离损失函数与双向选择机制加入到基本网络Baseline中，目标数据的Dice系数、交并比IoU都显著提高。在对比实验中，本发明提出的算法性能超越了其他经典算法，说明本发明提出的基于特征重构的无监督域自适应OCT图像分割方法能够有效地解决由域偏移问题引起的模型性能下降问题。
表2
表3
表4
表5
图5为脉络膜目标域一数据集对比实验可视化结果示意图，(a)原始OCT图像；(b)金标准图像；(c)AdaptSeg的分割结果；(d)AdaptPatch的分割结果；(e)Advent的分割结果；(f)CycleGAN的分割结果；(g)CYCADA的分割结果；(h)MCDDA的分割结果；(i)Maxsquare的分割结果；(j)FRDM-Net的分割结果。图6为脉络膜目标域二数据集对比实验可视化结果示意图，(a)原始OCT图像；(b)金标准图像；(c)AdaptSeg的分割结果；(d)AdaptPatch的分割结果；(e)Advent的分割结果；(f)CycleGAN的分割结果；(g)CYCADA的分割结果；(h)MCDDA的分割结果；(i)Maxsquare的分割结果；(j)FRDM-Net的分割结果。图7为视网膜劈裂数据集对比实验可视化结果示意图，(a)原始OCT图像；(b)金标准图像；(c)AdaptSeg的分割结果；(d)AdaptPatch的分割结果；(e)Advent的分割结果；(f)CycleGAN的分割结果；(g)CYCADA的分割结果；(h)MCDDA的分割结果；(i)Maxsquare的分割结果；(j)FRDM-Net的分割结果。
图5、图6与图7分别展示了不同网络分割实验的可视化结果对比，有效地验证了本发明提出的域自适应算法的优越性。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种基于特征重构的无监督域自适应OCT图像分割方法，其特征在于，包括：
S1：采集不同OCT图像构建数据集，将数据集划分为源域图像数据和目标域图像数据；
S2：对所述源域图像和所述目标域图像进行预处理；
S3：构建基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型，并将预处理后的源域图像和目标域图像输入到网络模型中进行训练，得到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型；
S4：将待分割图像输入到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型中，得到分割结果。
2.根据权利要求1所述的基于特征重构的无监督域自适应OCT图像分割方法，其特征在于，所述基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型采用U形网络结构，包括分割器模块和特征重构模块；
所述分割器模块由编码器与解码器组成，所述编码器用于分别对带标注的源域图像和无标注的目标域图像进行特征提取，并通过所述解码器对特征进行恢复以获得图像的分割结果；
所述特征重构模块添加在解码器部分的次顶层，所述特征重构模块用于对输入的源域与目标域特征进行重构，在保留各自原有域自信息的基础上，融入域间的类别互信息。
3.根据权利要求2所述的基于特征重构的无监督域自适应OCT图像分割方法，其特征在于，所述编码器包含4层，每层由卷积核、批归一化操作以及Relu激活函数构成，在编码器每一层后使用最大池化对图像进行一次下采样，在增大感受野的同时降低图像的分辨率，所述编码器共下采样4次，特征图输出通道数分别为64、128、256、512。
4.根据权利要求2所述的基于特征重构的无监督域自适应OCT图像分割方法，其特征在于，所述解码器包括4层，每层由卷积核、反卷积构成，解码器的每一层都会对上一层特征进行上采样，并将上采样的深层特征图和跳跃连接的浅层特征图进行拼接，得到该层的输出特征图。
5.根据权利要求2所述的基于特征重构的无监督域自适应OCT图像分割方法，其特征在于，所述特征重构模块的结构为：
特征重构模块的输入分别为解码器次顶层的源域特征fs∈RC×H×W与目标域特征ft∈RC ×H×W，其中C、H和W分别代表特征图的通道数、高度和宽度；
首先，将源域特征fs与目标域特征ft分别经过σ(·)函数得到源域图像与目标域图像的粗分割结果与/>对各自域的粗分割结果和特征进行宽度与高度维度的合并，得到重塑后的源域粗分割结果ps∈RM×HW、目标域粗分割结果pt∈RM×HW、源域特征fs∈RC×HW和目标域特征ft∈RC×HW，其中，σ(·)函数由1×1卷积与Sigmoid激活函数构成，M代表分割的类别数；
接着，将重塑后的源域和目标域的粗分割结果ps和pt分别与各自重塑后的特征fs和ft相乘，即对每个批次的图像属于同类的像素点概率求和取平均作为该类别像素点的类别原型，分别得到源域的类别原型Ks∈RM×C以及目标域的类别原型Kt∈RM×C；
然后，为了提升模型的分割性能，将源域的原始特征fs与本域的类别原型Ks相融合，得到代表源域的自信息特征fs′；同样的，将目标域的原始特征ft与本域的类别原型Kt相融合，得到代表目标域的自信息特征ft′；
为了对齐域间的特征分布，将源域的类别原型Ks与目标域的原始特征ft相乘得到融入了跨域类别信息的目标域互信息特征ft″，与目标域操作一致，源域的互信息特征fs″由目标域的类别原型Kt和源域的原始特征fs相乘获得；
最后，为了能够在提升网络分割性能的同时提升模型对于跨域数据的泛化能力，将源域原始特征fs、自信息特征fs′和互信息特征fs″进行通道维度上的拼接，并将拼接后的结果经过1×1卷积对通道维度进行降维得到最终的重构特征fres。同样的，对目标域的原始特征ft、自信息特征ft′和互信息特征ft″进行相同的操作得到目标域的重构特征fret。
6.根据权利要求5所述的基于特征重构的无监督域自适应OCT图像分割方法，其特征在于，采用双向选择机制对所述特征重构模块在原型空间中融入不同域间的类别信息的操作进行约束，具体包括：
设定熵阈值τ，分别对源域和目标域的粗分割结果计算信息熵；
对目标域数据而言，只有当源域图像粗分割结果的信息熵低于设定的熵阈值τ时将源域的类别信息与目标域的原始特征进行融合，从而获得目标域互信息特征ft″，目标域互信息特征ft″可以表示为：
对源域数据而言，只有当目标域图像粗分割结果的信息熵低于设定的熵阈值τ时将目标域的类别信息与源域的原始特征进行融合，从而获得源域互信息特征fs″，源域互信息特征fs″可以表示为：
其中，表示源域图像粗分割结果的信息熵，/>表示目标域图像粗分割结果的信息熵。
7.根据权利要求2所述的基于特征重构的无监督域自适应OCT图像分割方法，其特征在于，所述分割器模块输出概率的信息熵定义为：
其中，x表示图像，为图像预测概率图中位于第h行、第w列的值，H，W为图像的行数和列数。
8.根据权利要求2所述的基于特征重构的无监督域自适应OCT图像分割方法，其特征在于，所述基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络采用的主要损失函数为Lseg以及像素级的欧氏距离损失函数与/>其中Lseg定义为：
其中，pk代表源域图像预测结果中第k个像素的值，tk代表源域图像分割标签中第k个像素的值，N代表图像总的像素个数；
定义为：
定义为：
其中，分别为源域重构特征、源域原始特征、目标域重构特征、目标域原始特征在第c个通道维度中第i行、第j列的值，C、H和W分别代表特征图的通道数、高度和宽度；
网络最终的联合损失函数L为：
其中，γ表示加权融合损失函数系数，γ设置为0.001。
9.一种基于特征重构的无监督域自适应OCT图像分割系统，其特征在于，包括：
数据采集单元，用于采集不同OCT图像构建数据集，将数据集划分为源域图像数据和目标域图像数据；
数据预处理单元，用于对所述源域图像和所述目标域图像进行预处理；
网络模型训练单元，用于构建基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型，并将预处理后的源域图像和目标域图像输入到网络模型中进行训练，得到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型；
分割单元，用于将待分割图像输入到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型中，得到分割结果。
10.一种网络装置，其特征在于，所述网络装置包括处理器、存储器和总线系统，所述处理器和存储器通过该总线系统相连，所述存储器用于存储指令，所述处理器用于执行存储器存储的指令，以实现权利要求1至8任意一项所述的基于特征重构的无监督域自适应OCT图像分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310668191.8A CN116823851B (zh) | 2023-06-07 | 2023-06-07 | 基于特征重构的无监督域自适应oct图像分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310668191.8A CN116823851B (zh) | 2023-06-07 | 2023-06-07 | 基于特征重构的无监督域自适应oct图像分割方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116823851A true CN116823851A (zh) | 2023-09-29 |
| CN116823851B CN116823851B (zh) | 2024-06-14 |
Family
ID=88125054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310668191.8A Active CN116823851B (zh) | 2023-06-07 | 2023-06-07 | 基于特征重构的无监督域自适应oct图像分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116823851B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118115507A (zh) * | 2024-04-30 | 2024-05-31 | 苏州大学 | 基于跨域类别感知图卷积对齐的图像分割方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991353A (zh) * | 2021-03-12 | 2021-06-18 | 北京航空航天大学 | 一种跨域遥感图像的无监督语义分割方法 |
| US20220383052A1 (en) * | 2021-05-18 | 2022-12-01 | Zhejiang University | Unsupervised domain adaptation method, device, system and storage medium of semantic segmentation based on uniform clustering |
| CN116206108A (zh) * | 2023-02-16 | 2023-06-02 | 苏州大学 | 一种基于域自适应的oct图像脉络膜分割网络模型及方法 |
-
2023
- 2023-06-07 CN CN202310668191.8A patent/CN116823851B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991353A (zh) * | 2021-03-12 | 2021-06-18 | 北京航空航天大学 | 一种跨域遥感图像的无监督语义分割方法 |
| US20220383052A1 (en) * | 2021-05-18 | 2022-12-01 | Zhejiang University | Unsupervised domain adaptation method, device, system and storage medium of semantic segmentation based on uniform clustering |
| CN116206108A (zh) * | 2023-02-16 | 2023-06-02 | 苏州大学 | 一种基于域自适应的oct图像脉络膜分割网络模型及方法 |
Non-Patent Citations (3)
| Title |
|---|
| LINGJIAO PAN等: "OCTRexpert: A Feature-Based 3D Registration Method for Retinal OCT Images", IEEE XPLORE, 23 January 2020 (2020-01-23) * |
| 徐效文;杨志刚;: "光学相干层析医学图像分割研究现状", 中国医学物理学杂志, no. 07, 25 July 2016 (2016-07-25) * |
| 贾颖霞;郎丛妍;冯松鹤;: "基于类别相关的领域自适应交通图像语义分割方法", 计算机研究与发展, no. 04, 14 April 2020 (2020-04-14) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118115507A (zh) * | 2024-04-30 | 2024-05-31 | 苏州大学 | 基于跨域类别感知图卷积对齐的图像分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116823851B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145170B (zh) | 一种基于深度学习的医学影像分割方法 | |
| WO2020215984A1 (zh) | 基于深度学习的医学图像检测方法及相关设备 | |
| Khagi et al. | Pixel‐Label‐Based Segmentation of Cross‐Sectional Brain MRI Using Simplified SegNet Architecture‐Based CNN | |
| US20200211185A1 (en) | 3d segmentation network and 3d refinement module | |
| Chen et al. | PCAT-UNet: UNet-like network fused convolution and transformer for retinal vessel segmentation | |
| Manakov et al. | Noise as domain shift: Denoising medical images by unpaired image translation | |
| CN116823851B (zh) | 基于特征重构的无监督域自适应oct图像分割方法及系统 | |
| CN113610842B (zh) | 基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法 | |
| WO2022252929A1 (zh) | 医学图像中组织结构的层级分割方法、装置、设备及介质 | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| David et al. | Retinal Blood Vessels and Optic Disc Segmentation Using U‐Net | |
| Jiang et al. | MFI-Net: A multi-resolution fusion input network for retinal vessel segmentation | |
| Huang et al. | Automatic Retinal Vessel Segmentation Based on an Improved U‐Net Approach | |
| CN116206108A (zh) | 一种基于域自适应的oct图像脉络膜分割网络模型及方法 | |
| Hervella et al. | Multimodal image encoding pre-training for diabetic retinopathy grading | |
| Desiani et al. | A Novelty Patching of Circular Random and Ordered Techniques on Retinal Image to Improve CNN U-Net Performance. | |
| CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
| Adegun et al. | Deep convolutional network-based framework for melanoma lesion detection and segmentation | |
| Sriram et al. | Deep Learning Approaches for Pneumonia Classification in Healthcare | |
| Jalali et al. | VGA‐Net: Vessel graph based attentional U‐Net for retinal vessel segmentation | |
| Khan | A Novel Deep Learning-Based Framework for Context-Aware Semantic Segmentation in Medical Imaging | |
| Susan et al. | Deep learning inpainting model on digital and medical images-a review. | |
| Aurangzeb | A residual connection enabled deep neural network model for optic disk and optic cup segmentation for glaucoma diagnosis | |
| CN116739951B (zh) | 一种图像生成器、图像风格转换装置及方法 | |
| US20230154009A1 (en) | Systems and methods for automatic segmentation of organs from head and neck tomographic images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |