CN115701868A - 一种适用多种视觉任务的领域自适应增强方法 - Google Patents
一种适用多种视觉任务的领域自适应增强方法 Download PDFInfo
- Publication number
- CN115701868A CN115701868A CN202211007844.XA CN202211007844A CN115701868A CN 115701868 A CN115701868 A CN 115701868A CN 202211007844 A CN202211007844 A CN 202211007844A CN 115701868 A CN115701868 A CN 115701868A
- Authority
- CN
- China
- Prior art keywords
- image
- domain
- task
- model
- cyclegan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000000007 visual effect Effects 0.000 title claims abstract description 21
- 238000010191 image analysis Methods 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000013135 deep learning Methods 0.000 claims abstract description 19
- 238000009826 distribution Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 16
- 238000003709 image segmentation Methods 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 238000013136 deep learning model Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 6
- 230000006978 adaptation Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 210000000349 chromosome Anatomy 0.000 description 24
- 238000004458 analytical method Methods 0.000 description 18
- 230000011218 segmentation Effects 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000002207 retinal effect Effects 0.000 description 11
- 210000001210 retinal vessel Anatomy 0.000 description 10
- 210000004204 blood vessel Anatomy 0.000 description 7
- 230000031864 metaphase Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000008521 reorganization Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种适用多种视觉任务的领域自适应增强方法，包括S01：针对基于深度学习算法的医学图像分析任务，从该任务中分析提取出该任务的业务模型；S02：根据业务模型，构建基于CycleGAN模型与辅助任务协同学习的域自适应框架，包括CycleGAN模块和辅助任务模块，其中，CycleGAN模块用于转换不同域的图像风格，所述辅助任务模块包括主辅助任务和次辅助任务；S03：使用未配对的目标域图像数据集和源域图像数据集训练所述基于CycleGAN模型与辅助任务协同学习的域自适应框架；S04：使用训练好的CycleGAN模型将目标域图像转换为源域图像风格，输入业务模型中，得到最终的结果。本发明改善由源域数据训练的业务模型对目标域图像的泛化性，不需要业务标签即可提高目标域图像上的业务性能。
Description
技术领域
本发明涉及域自适应增强技术领域，更具体地，涉及一种适用多种视觉任务的领域自适应增强方法。
背景技术
医学图像已成为临床医生进行诊断治疗时的重要依据，其视觉外观受其采集流程的影响。当流程中的某一或多个环节发生变化时，医学图像的视觉外观也会发生相应的变化。临床医生在阅片时能够适应图像视觉外观的变化，给出准确的诊疗结果。
近年来，随着深度学习算法的发展，基于深度学习算法的医学图像处理分析系统已被广泛应用到临床医学图像分析中。然而，深度学习的一大缺陷影响了其在临床中的应用与推广。深度学习算法的本质是对训练数据分布的拟合，训练深度学习模型的数据集决定了该模型的泛化性能。将用于训练深度学习模型的数据集定义为源域，将深度学习模型需要预测的数据定义为目标域。当目标域图像相对于源域图像的视觉外观不同时，目标域图像与源域图像的分布为两个不同的分布。将源域与目标域的分布存在一定的分布差异的现象定义为域偏移。当出现域偏移现象时，直接将源域数据训练的模型部署在目标域图像会出现性能下降的现象。
基于深度学习的医学图像分析系统在临床应用中，经常会遇到域偏移的场景。首先，在同一家临床中心中，医学图像采集的流程会有改变，例如，更新设备，优化实验、检验流程等，更新前后采集的图像会存在一定的差异，这导致将基于更新前流程数据开发的医学图像分析系统应用到更新后流程后，会出现性能下降的现象。其次，在临床应用中，医学图像分析系统常需要部署到其他临床中心使用。由于不同临床中心医学图像采集设备，在实验、制片、拍照等流程中均可能存在差异，多种因素造成不同中心采集的图像存在较大差异，这导致将基于单个临床中心数据开发的图像分析系统部署至其他临床中心时，会出现性能下降的现象。采用大量具有标注的目标域图像训练基于源域图像的深度学习模型可有效提高该模型对目标域图像的泛化性能，但获取大量具有标注的训练数据不仅费时费力而且需要丰富的专业知识，这急剧增大了医学图像分析系统适应目标域图像的成本，同时也阻碍了这类系统在临床的普及与应用。
现有技术中提供一种图像数据增强的方法、装置及电子设备，减少了图像数据增强需人工调整的参数数量，降低了图像数据增强的应用门槛。该方法可增大训练数据的数量并且提高训练数据的多样性，从而提高深度学习模型的泛化性。然而，这类方法对图像处理方式是“线性”的，该类方法产生的数据通常与原始数据具有相似的分布，因此当测试数据与训练数据为不同分布时，采用该方法无法提高深度学习模型对这类测试数据的性能。由于该类方法产生的数据无法模拟目标域图像数据的分布，采用这类方法所产生数据训练深度学习模型难以提高对目标域图像的泛化性。
领域自适应(domain adaptation)技术正是为了解决“源域数据与目标域数据分布不同导致的模型性能下降”这一问题而提出来的。专利(申请号：202110511242.7)、(申请号：202110026447.6)和专利(申请号：202110869520.6)其利用源域数据模型为目标域图像确定伪标签，再采用目标域的图像及伪标签优化源域模型，提高模型对目标域图像的泛化性。专利(申请号：202011206689.5)与专利(申请号：201410006653.0)其采用将目标域图像的分布转化为源域的图像分布，源域训练的深度学习模型对转换后的图像进行处理，从而提高模型对目标域图像的业务性能。专利(申请号：202011628186.7)、专利(申请号：202110743638.4)与专利(申请号：202010259685.7)通过对齐目标域与源域图像特征的方式，使得源域与目标域的分布趋于一致，从而解决医学图像的域迁移问题。
尽管上述方案缓解了域偏移所造成的深度学习模型在目标域性能下降的问题，但是仍存在一定问题。(1)目前绝大多数工作集中于图像分类、目标检测与图像分割中某一个单独领域，没有提出一种普适性的域自适应方案。(2)部分域自适应方法在实际应用过程中仍存在缺陷。例如，基于为目标域图像产生伪标签的域自适应方法的成功前提是可以产生准确可靠的伪标签，但这些方案缺乏评估伪标签准确性的评估方式，准确性较低的伪标签无法提高深度学习模型对目标域图像的泛化性。基于将目标域图像分布转化源域的域自适应方案成功的前提是找到一种合适的方法能将目标域图像的分布转化为源域图像的分布，且在转换过程中不丢失图像细节信息。但一些领域图像分布转换方法事实上存在一定的不确定性，若缺少一定的约束信息，可能会出现信息丢失的问题。文献1报道了标准的CycleGAN模型在实现图像分布转换过程中会丢失了一部分图像信息，采用转换后的图像训练深度学习模型，会影响到深度学习模型的业务性能。
文献1：Ju L,Wang X,Zhao X,et al.Leveraging regular fundus images fortraining UWF fundus diagnosis models via adversarial learning and pseudo-labeling[J].IEEE Transactions on Medical Imaging,2021,40(10):2911-2925.
发明内容
本发明提供一种适用多种视觉任务的领域自适应增强方法，针对基于深度学习算法的医学图像分析任务(图像分类、图像分割与目标检测中的任何一种计算机视觉任务模型)，该图像分析任务通常基于特定的几个医学中心/设备的数据(源域数据)训练得到，此域自适应方法将纠正此分析任务在训练中不涉及的中心/设备数据(目标域数据)上部署时的任务域偏移问题。医学图像分析任务是指将医学图像输入至上述的深度学习业务模型中得到特定的图像分析结果(图像分类、图像分割与目标检测中的一种)的流程。该业务模型将是本发明方法所针对的优化目标。本发明提出的域自适应方法适用于源域数据为高质量图像而目标域数据为相同质量或低质量图像的情形，通过将目标域图像风格转化为源域图像风格，从而改善业务模型对目标域图像的泛化性，提高业务模型在目标域图像上的性能。
为解决上述技术问题，本发明的技术方案如下：
一种适用多种视觉任务的领域自适应增强方法，包括以下步骤：
S01：针对基于深度学习算法的医学图像分析任务，从该任务中分析提取出该任务的业务模型；
S02：根据业务模型，构建基于CycleGAN模型与辅助任务协同学习的域自适应框架，包括CycleGAN模块和辅助任务模块，其中，CycleGAN模块用于转换不同域的图像风格，所述辅助任务模块包括主辅助任务与次辅助任务；
S03：使用未配对的目标域图像数据集和源域图像数据集训练所述基于CycleGAN模型与辅助任务协同学习的域自适应框架；
S04：使用训练好的CycleGAN模型将目标域图像转换为源域图像风格，输入业务模型中，得到最终的结果。
优选地，步骤S01中所述业务模型包括图像分类、图像分割与目标检测中的任何一种计算机视觉任务模型。
优选地，所述CycleGAN模块为标准的CycleGAN网络，具体为：
将目标域图像定义为X域，将源域图像定义为Y域；
CycleGAN网络包括第一图像生成器G、第一判别器DY、第二图像生成器F和第二判别器DX，其中，所述第一图像生成器G从X域的图像生成具有中心Y域图像风格的图像，所述第二图像生成器F从Y域的图像生成具有中心X域风格的图像，所述第一判别器DY用于区分Y域的真实图像和第一图像生成器G生成的具有中心Y域风格的图像，所述第二判别器DX用于区分X域的真实图像和第二图像生成器F生成的具有中心X域风格的图像。
优选地，所述第一图像生成器G和第二图像生成器F是具有编码器-解码器结构的卷积神经网络，第一判别器DX和第二判别器DY采用Patch-GAN方法的策略。
优选地，所述主辅助任务的流程为：先使用CycleGAN模型将源域图像转化为目标域图像风格，再转化为源域图像风格，最后输入至业务模型中。
将医学图像分析任务与主辅助任务结合，两个任务所使用的深度学习模型的特征对齐，通过将损失传递回CycleGAN模块，引导CycleGAN模型将目标域图像转换为源域图像的分布，且该分布更适合于特定业务；
所述主辅助任务的模型和权重直接使用业务模型及对应权重，且权重在训练过程中固定。
优选地，所述辅助任务模块还包括次辅助任务，所述次辅助任务为任何可用于约束CycleGAN模型训练的任务。
优选地，所述次辅助任务包括针对医学图像分析任务的对象的其他深度学习任务、自监督学习任务以及半监督学习任务。
本方案设计了三种次辅助任务类型。次辅助任务1为针对医学图像分析任务的对象的其他医学图像分析任务，例如当主辅助任务为视网膜血管分割任务时，可以将其他诸如视网膜视盘分割等其他与视网膜相关的医学图像分析任务，作为次辅助任务；次辅助任务2为自监督学习任务，指采用目前主流的自监督预训练任务作为一种次辅助任务，可选的自监督预训练任务包括图像重组任务、图像旋转角度预测任务、图像修复任务与对比学习任务；次辅助任务3为粗标签半监督学习任务，指设计一个图像Patch分类模型作为次辅助任务模型，用于预测图像Patch的类别，主辅助任务模型的预测结果经过处理，作为次辅助任务3模型的伪标签。次辅助任务1与次辅助任务2可用于任何一种类型的医学图像分析任务，包括图像分类、图像分割与目标检测；次辅助任务3可用于图像分割与目标检测这两种类型的主辅助任务。
优选地，步骤S03中所述未配对的目标域图像数据集和源域图像数据集，具体为：
所述目标域图像数据集与源域图像数据集并不是一一对应的。
优选地，步骤S03中所述源域图像数据集包含风格转换数据集与辅助任务数据集，目标域图像数据集仅包含风格转换数据集，其中，风格转换数据集是由不含有标签的图像组成的，辅助任务数据集是由含有辅助模块所需标签的图像组成的。
医学图像分析任务按照计算机任务类型分类可分为图像分类、目标检测与图像分割三种类型。
当医学图像分析任务类型为图像分类任务时，业务模型为图像分类模型。根据业务模型，构建域自适应框架。具体步骤如下所示：
1.针对需要优化的医学图像分析任务的业务模型，基于该业务模型，本发明提出了一种基于CycleGAN模型与辅助任务协同学习的域自适应框架。
2.获取训练该框架所需的目标域图像数据集与源域图像数据集，并采用获取的数据集训练该框架。
3.在推理时，使用CycleGAN模型将目标域图像转换为源域图像风格，输入业务模型中，得到最终的结果。
当医学图像分析任务类型为目标检测任务时，业务模型为目标检测模型。根据业务模型，构建域自适应框架。具体步骤如下所示：
1.针对需要优化的医学图像分析任务的业务模型，基于该业务模型，本发明提出了一种基于CycleGAN模型与辅助任务协同学习的域自适应框架。
2.获取训练该框架所需的目标域图像数据集与源域图像数据集，并采用获取的数据集训练该框架。
3.在推理时，使用CycleGAN模型将目标域图像转换为源域图像风格，输入业务模型中，得到最终的结果。
当医学图像分析任务类型为图像分割任务时，业务模型为图像分割模型。根据业务模型，构建域自适应框架。具体步骤如下所示：
1.针对需要优化的医学图像分析任务的业务模型，基于该业务模型，本发明提出了一种基于CycleGAN模型与辅助任务协同学习的域自适应框架。
2.获取训练该框架所需的目标域图像数据集与源域图像数据集，并采用获取的数据集训练该框架。
3.在推理时，使用CycleGAN模型将目标域图像转换为源域图像风格，输入业务模型中，得到最终的结果。
本方案的应用场景有两种，分别是“更新流程”和“新的中心”。
“更新流程”是指，在临床中心中，医学图像采集的流程会有改变，例如，更新设备，优化实验、检验流程等，更新前后采集的图像会存在一定的差异，这导致将基于更新前流程采集的图像开发的医学图像分析系统应用到更新后的流程，会出现流程性能下降的现象。本方案将通过构建域自适应框架，提高该系统在升级后设备上的分析性能。具体步骤如下：
1.将升级前的设备采集到的图像数据集定义为源域，将升级后的设备采集到的图像数据集定义为目标域。
2.针对该医学图像分析系统，提取该系统的医学图像分析任务及其业务模型，并基于该业务模型，构建基于CycleGAN模型与辅助任务协同学习的域自适应框架；
3.获取训练该框架所需的目标域图像数据集与源域图像数据集，并采用获取的数据集训练该框架；
4.在推理时，使用CycleGAN模型将目标域图像转换为源域图像风格，输入业务模型中，得到最终的结果。
新的中心是指，在临床应用中，将医学图像分析系统部署到其他临床中心使用。由于不同临床中心医学图像采集设备，在实验、制片、拍照等流程中均可能存在差异，导致采集的图像存在较大差异，这导致将基于单个临床中心数据开发的图像分析系统部署至其他临床中心时，会出现性能下降的现象。本方案将通过构建域自适应框架，提高该系统在新的医院的分析性能。具体步骤如下：
1.将单中心医院获取的图像数据集定义为源域，将要部署到的新医院获取的图像数据集定义为目标域。
2.针对该医学图像分析系统，提取该系统的医学图像分析任务及其业务模型，并基于该业务模型，构建基于CycleGAN模型与辅助任务协同学习的域自适应框架；
3.获取训练该框架所需的目标域图像数据集与源域图像数据集，并采用获取的数据集训练该框架；
4.在推理时，使用CycleGAN模型将目标域图像转换为源域图像风格，输入业务模型中，得到最终的结果。
与现有技术相比，本发明技术方案的有益效果是：
(1)相比于之前的发明只能应用到图像分割、图像分类、目标检测等某一个计算机视觉任务中，本发明所提出的框架可被应用于图像分类、图像分割、目标检测等任何一种计算机视觉任务，因此本框架具有更强的任务通用性与泛化性。
(2)相比于基于将目标域图像分布转化源域的域自适应方案，其在图像转换阶段没有保存图像的语义信息，因此在跨域图像转换阶段容易将转换中产生的错误信息传递到下游任务阶段。本发明通过辅助任务约束了图像分布转换模型，避免了传统图像分割转换模型容易丢失关键信息的问题，确保了转换后的图像不仅符合预期的分布，还保留了用于辅助任务的关键信息。
(3)本发明提出的框架CycleGAN模块所生成的图像，不仅可用于所针对的业务模型，该图像也可用于与目标域图像相关的其他视觉任务，同样具有较高的性能。附图说明
图1为本发明的方法流程示意图。
图2为实施例提供的不同眼底照相设备采集的眼底彩照。
图3为实施例提供的不同中心的染色体中期图像。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提供一种适用多种视觉任务的领域自适应增强方法，如图1所示，包括以下步骤：
S01：针对基于深度学习算法的医学图像分析任务，从该任务中分析提取出该任务的业务模型；
S02：根据业务模型，构建基于CycleGAN模型与辅助任务协同学习的域自适应框架，包括CycleGAN模块和辅助任务模块，其中，CycleGAN模块用于转换不同域的图像风格，所述辅助任务模块包括主辅助任务与次辅助任务；
S03：使用未配对的目标域图像数据集和源域图像数据集训练所述基于CycleGAN模型与辅助任务协同学习的域自适应框架；
S04：使用训练好的CycleGAN模型将目标域图像转换为源域图像风格，输入业务模型中，得到最终的结果。
步骤S01中所述业务模型为基于深度学习算法的医学图像分析任务，包括医学图像分类、分割与目标检测中的任何一种计算机视觉任务模型。
所述CycleGAN模块为标准的CycleGAN网络，具体为：
将目标域图像定义为X域，将源域图像定义为Y域；
CycleGAN网络包括第一图像生成器G、第一判别器DY、第二图像生成器F和第二判别器DX，其中，所述第一图像生成器G从X域的图像生成具有中心Y域图像风格的图像，所述第二图像生成器F从Y域的图像生成具有中心X域风格的图像，所述第一判别器DY用于区分Y域的真实图像和第一图像生成器G生成的具有中心Y域风格的图像，所述第二判别器DX用于区分X域的真实图像和第二图像生成器F生成的具有中心X域风格的图像。
所述第一图像生成器G和第二图像生成器F是具有编码器-解码器结构的卷积神经网络，第一判别器DX和第二判别器DY采用Patch-GAN方法的策略。
所述主辅助任务先使用CycleGAN模型将源域图像转化为目标域图像风格，再转化为源域图像风格，最后输入至业务模型中，具体为：
将医学图像分析任务与主辅助任务结合，两个任务所使用的深度学习模型的特征对齐，通过将损失传递回CycleGAN模块，引导CycleGAN模型将目标域图像转换为源域图像的分布，且该分布更适合于特定业务；
所述主辅助任务的模型和权重直接使用业务模型及对应权重，且权重在训练过程中固定。
所述辅助任务模块还包括次辅助任务，所述次辅助任务为任何可用于约束CycleGAN模型训练的任务。
所述次辅助任务包括针对医学图像分析任务的对象的其他深度学习任务、自监督学习任务以及半监督学习任务。
本实施例设计了三种次辅助任务类型。次辅助任务1为针对医学图像分析任务的对象的其他深度学习任务，例如当主辅助任务为视网膜血管分割任务时，可以将其他诸如视网膜视盘分割等其他与视网膜相关的深度学习任务，作为次辅助任务；次辅助任务2为自监督学习任务，指采用目前主流的自监督预训练任务作为一种次辅助任务，可选的自监督预训练任务包括图像重组任务、图像旋转角度预测任务、图像修复任务与对比学习任务；次辅助任务3为粗标签半监督学习任务，指设计一个图像Patch分类模型作为次辅助任务模型，用于预测图像Patch的类别，主辅助任务模型的预测结果经过处理，作为次辅助任务3模型的伪标签。次辅助任务1与次辅助任务2可用于任何一种类型的医学图像分析任务，包括图像分类、图像分割与目标检测；次辅助任务3可用于图像分割与目标检测这两种类型的主辅助任务。
步骤S03中所述未配对的目标域图像数据集和源域图像数据集，具体为：
所述目标域图像数据集与源域图像数据集并不是一一对应的。
步骤S03中所述源域图像数据集包含风格转换数据集与辅助任务数据集，目标域图像数据集仅包含风格转换数据集，其中，风格转换数据集是由不含有标签的图像组成的，辅助任务数据集是由含有辅助模块所需标签的图像组成的。
实施例2
视网膜眼底图像的血管分析是筛查、诊断和治疗许多眼底疾病的重要工具之一,目前已有很多基于深度学习算法的视网膜眼底血管图像分析系统，这些系统大多是针对由常规眼底彩照设备获取的视网膜眼底图像开发的，如图2A所示，将此类设备获取的视网膜眼底图像定义为眼底彩照A。此外，在临床应用中还有一类视网膜眼底图像是通过手持式眼底照相设备获取的，如图2B所示，将此类设备获取的视网膜眼底图像定义为眼底彩照B。将眼底彩照A风格的图像定义为源域，将眼底彩照B风格的图像定义为目标域。与源域图像相比，目标域成像质量较差且血管相对模糊，两种类型的眼底彩照具有不同分布。将针对源域图像开发的视网膜眼底图像开发的视网膜血管分析系统应用到目标域图像上会造成分析性能下降。
为了改善源域图像开发的视网膜血管分析系统在对目标域图像的分析效果，本示例基于前文提出的域自适应框架，提出一种跨设备视网膜血管语义分割框架。
具体步骤如下所示：
1.首先分析基于源域图像开发的视网膜图像血管分析系统，该系统的主要医学图像分析任务为视网膜血管分割任务，主要流程为将视网膜眼底图像输入至业务模型中得到血管的分割结果，业务模型为视网膜血管分割模型。
2.针对视网膜血管分割模型，本示例提出了一种用于优化视网膜血管分割模型的域自适应框架。该域自适应框架包括两个模块，CycleGAN模块与辅助任务模块。CycleGAN模块为标准的CycleGAN模型，辅助任务模块包括主辅助任务或次辅助任务。主辅助任务的流程为：先使用CycleGAN模块先将源域图像转化为目标域图像，再转化为源域图像风格，最后输入至视网膜血管分割模型。次辅助任务可以从此辅助任务1、次辅助任务2与次辅助任务3中任意选择一个。
3.获取训练该框架所需的目标域图像数据集与源域图像数据集，并采用获取的数据集训练该框架；
4.在推理时，使用CycleGAN模型将目标域图像转换为源域图像风格，输入视网膜血管分割模型中，得到最终的血管分割结果。
实施例3
染色体核型分析是遗传科学研究和辅助临床诊断的重要手段。传统的手工染色体核型分析主效率低，诊断时间90分钟至1天不等；而且识别过程易产生主观误差。随着深度学习技术的发展，研究者开发出自动化染色体全流程核型分析算法，该算法的主要流程包括对染色体图像去噪、染色体中期图分簇、对分簇图进行实例分割等过程。
对于自动化的染色体全流程核型分析算法，干净且带纹清晰的图像是得到准确分析结果的前提。但是，染色体中期图像处理没有统一标准。目前商用的染色体核型分析系统(徕卡、蔡司、ASI设备)均自研专用处理算法，产生的图像具有一定的差异性。在临床工作中，不同的医疗检测机构在培养、制片、拍照等环节中也存在差异性。因此，如图3所示，不同中心的染色体中期图像存在较大差异。将用于训练自动化染色体核型分析算法的本地数据集定义为源域数据集，将待分析的新中心的图像定义为目标域设备。目标域图像与源域图像之间的差异导致自动化染色核型分析算法对于目标域中心的图像的普适性较差。
为解决上述技术问题，本示例提供一种基于前文所提出框架的染色体图像处理方法，其能有效将目标域的扫描图像转化为源域图像分割且条带纹清晰、高质量的染色体图像，转换后的染色体图像可直接用于自动化染色体核型全流程分析算法中的所有流程中。具体步骤如下所示：
1.首先分析基于源域图像开发的染色体核型分析系统，该系统包含多个医学图像分析任务，分别为染色体去噪任务与对分簇后的染色体中期图像进行实例分割任务。本示例选择染色体的去噪任务作为需要优化的医学图像分析任务。去噪任务是指去除染色体中期图像中诸如团块噪声、细胞碎片噪声等噪声，得到干净、带纹清晰的染色体图像。主要流程为将染色体中期图像输入至业务模型中得到去噪后的染色体图像，业务模型为染色体去噪模型。
2.本示例提出了一种用于提高源域图像对目标域图像泛化性的域自适应框架。该域自适应框架包括两个模块，CycleGAN模块与辅助任务模块。CycleGAN模块为标准的CycleGAN模型，辅助任务模块包括主辅助任务或次辅助任务。主辅助任务的流程为：先使用CycleGAN模块先将源域图像转化为目标域图像，再转化为源域图像风格，最后输入至染色体去噪模型。次辅助任务可以从此辅助任务1、次辅助任务2与次辅助任务3中任意选择一个。
3.获取训练该框架所需的目标域图像数据集与源域图像数据集，并采用获取的数据集训练该框架；
4.在推理时，使用CycleGAN模型将目标域图像转换为源域图像风格，输入染色体去噪模型中，得到去噪后的染色体图像。该图像可直接用后续的染色体核型分析任务中。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种适用多种视觉任务的领域自适应增强方法，其特征在于，包括以下步骤：
S01：针对基于深度学习算法的医学图像分析任务，从该任务中分析提取出该任务的业务模型；
S02：根据业务模型，构建基于CycleGAN模型与辅助任务协同学习的域自适应框架，包括CycleGAN模块和辅助任务模块，其中，CycleGAN模块用于转换不同域的图像风格，所述辅助任务模块包括主辅助任务与次辅助任务；
S03：使用未配对的目标域图像数据集和源域图像数据集训练所述基于CycleGAN模型与辅助任务协同学习的域自适应框架；
S04：使用训练好的CycleGAN模型将目标域图像转换为源域图像风格，输入业务模型中，得到最终的结果。
2.根据权利要求1所述的适用多种视觉任务的领域自适应增强方法，其特征在于，步骤S01中所述业务模型包括图像分类、图像分割与目标检测中的任何一种计算机视觉任务模型。
3.根据权利要求1所述的适用多种视觉任务的领域自适应增强方法，其特征在于，所述CycleGAN模块为标准的CycleGAN网络，具体为：
将目标域图像定义为X域，将源域图像定义为Y域；
CycleGAN网络包括第一图像生成器G、第一判别器DY、第二图像生成器F和第二判别器DX，其中，所述第一图像生成器G从X域的图像生成具有中心Y域图像风格的图像，所述第二图像生成器F从Y域的图像生成具有中心X域风格的图像，所述第一判别器DY用于区分Y域的真实图像和第一图像生成器G生成的具有中心Y域风格的图像，所述第二判别器DX用于区分X域的真实图像和第二图像生成器F生成的具有中心X域风格的图像。
4.根据权利要求3所述的适用多种视觉任务的领域自适应增强方法，其特征在于，所述第一图像生成器G和第二图像生成器F是具有编码器-解码器结构的卷积神经网络，第一判别器DX和第二判别器DY采用Patch-GAN方法的策略。
5.根据权利要求4所述的适用多种视觉任务的领域自适应增强方法，其特征在于，所述主辅助任务的流程为：使用CycleGAN模型将源域图像转化为目标域图像风格，再转化为源域图像风格，最后输入至业务模型中；将医学图像分析任务与主辅助任务结合，两个任务所使用的深度学习模型的特征对齐，通过将损失传递回CycleGAN模块，引导CycleGAN模型将目标域图像转换为源域图像的分布，且该分布更适合于特定业务；
所述主辅助任务的模型和权重直接使用业务模型及对应权重，且权重在训练过程中固定。
6.根据权利要求1至5任一项所述的适用多种视觉任务的领域自适应增强方法，其特征在于，所述辅助任务模块为任何可用于约束CycleGAN模型训练的任务。
7.根据权利要求6所述的适用多种视觉任务的领域自适应增强方法，其特征在于，所述次辅助任务包括针对医学图像分析任务的对象的其他医学图像分析任务、自监督学习任务以及半监督学习任务。
8.根据权利要求1所述的适用多种视觉任务的领域自适应增强方法，其特征在于，步骤S03中所述未配对的目标域图像数据集和源域图像数据集，具体为：
所述目标域图像数据集与源域图像数据集并不是一一对应的。
9.根据权利要求6所述的适用多种视觉任务的领域自适应增强方法，其特征在于，步骤S03中所述源域图像数据集包含风格转换数据集与辅助任务数据集，其中，风格转换数据集是由不含有标签的图像组成的，辅助任务数据集是由含有辅助任务模块所需标签的图像组成的。
10.根据权利要求7所述的适用多种视觉任务的领域自适应增强方法，其特征在于，目标域图像数据集仅包含风格转换数据集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211007844.XA CN115701868B (zh) | 2022-08-22 | 2022-08-22 | 一种适用多种视觉任务的领域自适应增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211007844.XA CN115701868B (zh) | 2022-08-22 | 2022-08-22 | 一种适用多种视觉任务的领域自适应增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115701868A true CN115701868A (zh) | 2023-02-14 |
| CN115701868B CN115701868B (zh) | 2024-02-06 |
Family
ID=85162745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211007844.XA Active CN115701868B (zh) | 2022-08-22 | 2022-08-22 | 一种适用多种视觉任务的领域自适应增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115701868B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116258720A (zh) * | 2023-05-16 | 2023-06-13 | 联仁健康医疗大数据科技股份有限公司 | 图像识别方法、装置、电子设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919209A (zh) * | 2019-02-26 | 2019-06-21 | 中国人民解放军军事科学院国防科技创新研究院 | 一种领域自适应深度学习方法及可读存储介质 |
| US20210056718A1 (en) * | 2019-08-20 | 2021-02-25 | GM Global Technology Operations LLC | Domain adaptation for analysis of images |
| CN112581355A (zh) * | 2020-11-02 | 2021-03-30 | 北京迈格威科技有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
| CN113343775A (zh) * | 2021-05-13 | 2021-09-03 | 武汉大学 | 一种用于遥感影像地表覆盖分类的深度学习泛化方法 |
| CN114529900A (zh) * | 2022-02-14 | 2022-05-24 | 上海交通大学 | 基于特征原型的半监督域适应语义分割方法和系统 |
| CN114693979A (zh) * | 2022-04-08 | 2022-07-01 | 浙江大学 | 一种基于伪标签修正的多目标跟踪无监督域适应方法 |
| CN114723950A (zh) * | 2022-01-25 | 2022-07-08 | 南京大学 | 一种基于对称自适应网络的跨模态医学图像分割方法 |
-
2022
- 2022-08-22 CN CN202211007844.XA patent/CN115701868B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919209A (zh) * | 2019-02-26 | 2019-06-21 | 中国人民解放军军事科学院国防科技创新研究院 | 一种领域自适应深度学习方法及可读存储介质 |
| US20210056718A1 (en) * | 2019-08-20 | 2021-02-25 | GM Global Technology Operations LLC | Domain adaptation for analysis of images |
| CN112581355A (zh) * | 2020-11-02 | 2021-03-30 | 北京迈格威科技有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
| CN113343775A (zh) * | 2021-05-13 | 2021-09-03 | 武汉大学 | 一种用于遥感影像地表覆盖分类的深度学习泛化方法 |
| CN114723950A (zh) * | 2022-01-25 | 2022-07-08 | 南京大学 | 一种基于对称自适应网络的跨模态医学图像分割方法 |
| CN114529900A (zh) * | 2022-02-14 | 2022-05-24 | 上海交通大学 | 基于特征原型的半监督域适应语义分割方法和系统 |
| CN114693979A (zh) * | 2022-04-08 | 2022-07-01 | 浙江大学 | 一种基于伪标签修正的多目标跟踪无监督域适应方法 |
Non-Patent Citations (1)
| Title |
|---|
| LIE JU ET AL: "Leveraging Regular Fundus Images for Training UWF Fundus Diagnosis Models via Adversarial Learning and Pseudo-Labeling", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》, vol. 40, no. 10, pages 2911 - 2925, XP011881015, DOI: 10.1109/TMI.2021.3056395 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116258720A (zh) * | 2023-05-16 | 2023-06-13 | 联仁健康医疗大数据科技股份有限公司 | 图像识别方法、装置、电子设备和存储介质 |
| CN116258720B (zh) * | 2023-05-16 | 2023-08-18 | 联仁健康医疗大数据科技股份有限公司 | 图像识别方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115701868B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ji et al. | Learning calibrated medical image segmentation via multi-rater agreement modeling | |
| US7254266B2 (en) | Method and apparatus for generating special-purpose image analysis algorithms | |
| CN107247971B (zh) | 一种超声甲状腺结节风险指标的智能分析方法及系统 | |
| CN112101451B (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
| CN111798464A (zh) | 基于深度学习的淋巴瘤病理图像智能识别方法 | |
| CN109948719B (zh) | 一种基于残差密集模块网络结构的眼底图像质量自动分类方法 | |
| JP2018185759A (ja) | 画像解析方法、装置、プログラムおよび深層学習アルゴリズムの製造方法 | |
| CN112132817A (zh) | 一种混合注意力机制的眼底图像视网膜血管分割方法 | |
| CN105640577A (zh) | 一种自动检测放射影像中局部性病变的方法和系统 | |
| CN111242233B (zh) | 一种基于融合网络的阿尔兹海默病分类方法 | |
| Rutherford et al. | Automated brain masking of fetal functional MRI with open data | |
| CN111798439A (zh) | 线上线下融合的医疗影像质量判读方法、系统及存储介质 | |
| Joseph et al. | Quantitative and qualitative evaluation of deep learning automatic segmentations of corneal endothelial cell images of reduced image quality obtained following cornea transplant | |
| Costa et al. | Eyequal: Accurate, explainable, retinal image quality assessment | |
| CN115701868A (zh) | 一种适用多种视觉任务的领域自适应增强方法 | |
| CN111192248A (zh) | 一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法 | |
| CN115272231A (zh) | 一种非增殖性糖尿病视网膜病变分级方法 | |
| CN116452851A (zh) | 病症分类模型的训练方法、装置、终端及可读存储介质 | |
| CN113393456B (zh) | 基于多任务的早孕期胎儿标准切面的自动质量控制方法 | |
| CN117557840B (zh) | 一种基于小样本学习的眼底病变分级方法 | |
| CN116543154A (zh) | 一种基于多层次语义特征的医学影像分割方法 | |
| WO2019232824A1 (zh) | 生物组织影像识别的方法及其系统、计算机储存介质 | |
| CN113796850A (zh) | 甲状旁腺mibi图像分析系统、计算机设备及存储介质 | |
| CN115394406A (zh) | 一种基于移动端和移动互联网的医学影像人工智能快速诊断布署方法 | |
| CN114972148A (zh) | 一种眼底图像质量评估方法、系统及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |