CN115147273A - 一种基于域适应的眼科oct术后轮廓图生成方法及系统 - Google Patents

一种基于域适应的眼科oct术后轮廓图生成方法及系统 Download PDF

Info

Publication number
CN115147273A
CN115147273A CN202210487626.4A CN202210487626A CN115147273A CN 115147273 A CN115147273 A CN 115147273A CN 202210487626 A CN202210487626 A CN 202210487626A CN 115147273 A CN115147273 A CN 115147273A
Authority
CN
China
Prior art keywords
oct
profile
real
image
postoperative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210487626.4A
Other languages
English (en)
Inventor
陈辉明
刘少鹏
叶成绪
曾驰
戴世杰
徐伟钧
郑泽兴
易莉
孔凯楠
黄文杰
陈思思
郑晓敏
郑晓欣
胡琬璐
洪佳明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN202210487626.4A priority Critical patent/CN115147273A/zh
Publication of CN115147273A publication Critical patent/CN115147273A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及视网膜图像仿真生成技术领域,公开了一种基于域适应的眼科OCT术后轮廓图生成方法,通过获得术前OCT图像对应的术前OCT轮廓图,根据术前OCT轮廓图通过基于域适应的眼科OCT术后轮廓图生成模型生成术后OCT轮廓图,简单高效,且生成的轮廓图的准确度高,利用术后OCT轮廓图,即可测量部分关键的病理指标,并不需要术后OCT图像辅助,医生也能一定程度上评估患者的术后恢复效果,实用性强;并且本发明有效融合深度学习和迁移学习技术,充分利用术前OCT图像及其特征,使得生成的术后OCT轮廓图更准确,特征细节更丰富。另外,本发明还提供一种基于上述方法的系统。

Description

一种基于域适应的眼科OCT术后轮廓图生成方法及系统
技术领域
本发明涉及视网膜图像仿真生成技术领域,特别是涉及一种基于域适应的眼科OCT术后轮廓图生成方法及系统。
背景技术
眼科OCT检查,是光学相干断层扫描(optical coherence tomography)的缩写,它是一种利用光的干涉现象成像的断层扫描技术,并结合计算机图像技术,可以观察眼内的超微组织结构的横断面图像。它是一种分辨率高、成像快的非侵入性、非接触性的检查,被称为眼科的CT。OCT在视网膜疾病、黄斑疾病、视神经疾病、青光眼等临床研究方面有重要价值。它可为视网膜疾病,尤其是黄斑病的诊断及鉴别诊断提供有价值的的依据,可以观察细微病变的形态学改变,可直接进行组织测量,对眼底病变进行定量分析,可以发现一些极微小的眼底病变,可以鉴别血性与浆液性脱离;可为黄斑前膜、黄斑裂孔、黄斑下脉络膜新生血管膜、玻璃体黄斑牵引综合征等的手术适应症的选择提供有价值的资料,亦可作为评价手术治疗是否成功的依据之一;可以追踪某些病变的变化及治疗效果。
OCT在眼病诊断上效果有效,但费用却相对较高,某些眼病患者在术后需要随访,例如孔源性视网膜脱离(RRD)术后持续视网膜下积液(SRF),包括术前、术后1个月和术后3个月均需要对患者进行相关的临床检查,期间需要进行多次OCT扫描,将给患者造成不小的经济负担。为了解决这个问题,有部分研究指出可以利用深度学习技术,根据术前OCT图像直接生成术后OCT图像,但由于OCT图像分辨率高以及配对标注数据有限,导致图像生成难度大且效果差,容易出现重影、模糊等问题,难以准确评估手术治疗效果。
现有技术公开了一种具有可行性和有效性的视网膜OCT疾病影像生成的方法,生成的OCT影像可用于扩充OCT疾病影像分类算法的训练数据集;该方法以条件生成对抗网络cGAN为基础,网络结构由生成器与判别器组成,通过将生成对抗损失函数cGAN loss与一种新型结构相似性损失函数SSIM loss相结合,将正常视网膜OCT影像转化成可用于补充分类模型训练集的OCT疾病影像。该专利通过训练生成对抗网络,根据已有的OCT影像自动生成多种病变的视网膜OCT影像,由于OCT图像分辨率高以及配对标注数据有限,导致图像生成难度大且效果差。
发明内容
本发明的目的是提供一种简单高效、准确率高的基于域适应的眼科OCT术后轮廓图生成方法及系统。
为了实现上述目的,本发明提供了一种基于域适应的眼科OCT术后轮廓图生成方法,包括如下步骤:
S1、收集不同眼底疾病的术前OCT图像A和术后OCT图像B作为数据集;
S2、根据眼底疾病的种类,将数据集分为不同领域;
S3、根据术前OCT图像A,获得术前OCT轮廓图AL;根据与术前OCT图像A相对应的术后OCT图像B,获取术后真实轮廓图real_BL,构成新的数据集;
S4、构建基于域适应的眼科OCT术后轮廓图生成模型,基于域适应的眼科OCT术后轮廓图生成模型包括生成器G1、判别器D1和域分类器C,将S3获得的数据集送入基于域适应的眼科OCT术后轮廓图生成模型进行训练,包括:
S4.1通过卷积神经网络对术前OCT轮廓图AL进行特征提取,并转化为张量表示;之后输入生成器G1,得到预测生成的术后生成轮廓图fake_BL;
S4.2、将术前OCT轮廓图AL、术后真实轮廓图real_BL和术后生成轮廓图fake_BL输入判别器D1,根据判别结果计算判别器损失loss_D1并更新判别器D1的参数;
S4.3、将术前OCT轮廓图AL、术后真实OCT轮廓图real_BL和术后生成轮廓图fake_BL输入域分类器C,根据对领域的判别结果计算域分类器损失loss_C并更新域分类器C的参数;
S4.4、计算生成器损失loss_G1并更新生成器G1的参数,其中,判别器D1和域分类器C的判别结果参与生成器损失loss_G;
S4.5、重复步骤S4.2、S4.3和S4.4,直至训练结束,得到训练好的基于域适应的眼科OCT术后轮廓图生成模型;
S5、获取新拍摄的术前OCT图像对应的术前OCT轮廓图,将新拍摄的术前OCT图像对应的术前OCT轮廓图输入训练好的基于域适应的眼科OCT术后轮廓图生成模型的生成器G1,输出相应的术后生成OCT轮廓图。
作为优选方案,在步骤S4.2中,将术前OCT轮廓图AL和术后生成轮廓图fake_BL拼接起来,得到negative_img_D1,再将negative_img_D1送入判别器D1,得到张量pred_fake_D1,判别器D1为其打上标签0,即判别器D1认为这张图是假的,计算pred_fake_D1的GAN损失loss_D1_fake;
将术前OCT轮廓图AL和术后真实OCT轮廓图real_BL拼接起来,得到positive_img_D1,再将positive_img_D1送入判别器D1,得到pred_real_D1,判别器D1为其打上标签1,即判别器D1认为这张图是真的,计算pred_real_D1的GAN损失loss_D1_real;
将loss_D1_fake和loss_D1_real的GAN损失相加,得到判别器损失loss_D1。
作为优选方案,在步骤S4.3中,将术前OCT轮廓图AL和术后生成轮廓图fake_BL拼接起来,得到negative_img_C,再将negative_img_C送入域分类器C,得到张量pred_fake_C,域分类器C打上的标签不为其所在领域对应的标签,即域分类器C未判别出这张图所在正确的领域,计算pred_fake_C的GAN损失loss_C_fake;
将术前OCT轮廓图AL和术后真实OCT轮廓图real_BL拼接起来,得到positive_img_C,再将positive_img_C送入域分类器C,得到pred_real_C,域分类器C打上其所在领域对应的标签,即域分类器C判别出这张图所在的领域,计算pred_real_C的GAN损失loss_C_real;
将loss_C_fake和loss_C_real的GAN损失相加,得到域分类器损失loss_C。
作为优选方案,在步骤S4.4中,包括:
S4.4.1、获取步骤S4.2中的pred_real_D1的GAN损失loss_D1_real;
S4.4.2、获取步骤4.3中的pred_fake_C的GAN损失loss_C_fake;
S4.4.3、计算步骤S4.2中的pred_fake_D1和pred_real_D1的逐像素损失L1;
S4.4.3、计算步骤S4.3中的pred_fake_C和pred_real_C的逐像素损失L2;
S4.4.5、计算术前OCT图像A和术后生成轮廓图fake_BL的VGG特征损失,记为loss_G_VGG;
S4.4.6、将loss_D1_real、loss_C_fake、L1、L2和loss_G_VGG相加,得到生成器损失loss_G。
作为优选方案,判别器D1和域分类器C均为多尺度判别器。
作为优选方案,生成器G1包括全局生成器网络G1.1和局部增强网络G1.2,全局生成器网络G1.1的输入和输出的分辨率一致,局部增强网络G1.2的输出尺寸是输入尺寸的4倍;局部增强网络G1.2用于将全局生成器网络G1.1生成的图像的分辨率扩大,在训练时,将术前OCT轮廓图AL输入全局生成器网络G1.1,将全局生成器网络G1输出的图像输入局部增强网络G1.2。
作为优选方案,全局生成器网络G1.1的网络结构为U-Net,负责图像特征的编码解码。
作为优选方案,在步骤S2中,通过对术前OCT图像A和术后OCT图像B中的神经纤维层内表面、内核层内表面、外核层内表面、椭圆体带以及RPE外表面进行描边得到术前OCT轮廓图AL和术后真实轮廓图real_BL。
作为优选方案,在步骤S2中,将术前OCT图像A输入术前OCT轮廓图生成模型,输出术前OCT轮廓图AL;术前轮廓图生成模型为生成对抗网络;术前轮廓图生成模型包括生成器G2和判别器D2。
本发明还提供一种基于域适应的眼科OCT术后轮廓图生成系统,包括:
数据获取模块,用于获取不同眼底疾病的术前OCT图像和术后OCT图像以构成数据集;
分类模块,用于根据眼底疾病的种类将数据集分为不同领域;
轮廓图像获取模块,用于根据术前OCT图像A,获得术前OCT轮廓图AL;根据与术前OCT图像A相对应的术后OCT图像B,获取术后真实轮廓图real_BL;
模型构建模块,用于构建基于域适应的眼科OCT术后轮廓图生成模型,基于域适应的眼科OCT术后轮廓图生成模型包括生成器G1、判别器D1和域分类器C,生成器G1用于根据术前OCT图像A生成术后生成轮廓图fake_BL,判别器D1用于对术后生成轮廓图fake_BL和术后真实OCT轮廓图real_BL进行判别,域分类器C用于对术后生成轮廓图fake_BL和术后真实OCT轮廓图real_BL的领域进行判别;
损失函数构建模块,用于构建多目标损失函数;多目标损失函数包括生成器G1的损失函数、判别器D1的损失函数和域分类器C的损失函数;
训练模块,用于将术前OCT轮廓图AL和术后真实OCT轮廓图real_BL构成的样本作为基于域适应的眼科OCT术后轮廓图生成模型的输入,基于多目标损失函数对基于域适应的眼科OCT术后轮廓图生成模型进行迭代训练,得到训练好的基于域适应的眼科OCT术后轮廓图生成模型;
应用模块,用于将新拍摄的术前OCT图像对应的术前OCT轮廓图输入训练好的基于域适应的眼科OCT术后轮廓图生成模型的生成器G1,得到相应的术后生成OCT轮廓图。
与现有技术相比,本发明的有益效果在于:
本发明通过获得术前OCT图像对应的术前OCT轮廓图,根据术前OCT轮廓图通过基于域适应的眼科OCT术后轮廓图生成模型生成术后OCT轮廓图,相比直接生成高分辨率、纹理信息复杂的术后OCT图像,其技术难度明显降低,简单高效,且生成的轮廓图噪声极小,使生成的轮廓图的准确度高,利用术后OCT轮廓图,即可测量部分关键的病理指标,并不需要术后OCT图像辅助,医生也能一定程度上评估患者的术后恢复效果,实用性强;并且,不同眼底疾病的术前OCT图像及其术后OCT轮廓图之间内在联系具有一定相似性,本发明利用迁移学习技术整合源领域和目标领域多个来源的数据,有效扩大训练数据规模,改善了深度学习模型训练效果。
附图说明
图1是本发明实施例的基于域适应的眼科OCT术后轮廓图生成方法的流程图。
图2是本发明实施例的基于域适应的眼科OCT术后轮廓图生成模型的框架图。
图3是本发明实施例的基于域适应的眼科OCT术后轮廓图生成模型的判别器D1的框架图。
图4是本发明实施例的基于域适应的眼科OCT术后轮廓图生成模型的域分类器C的框架图。
图5是本发明实施例的基于域适应的眼科OCT术后轮廓图生成模型的生成器G1框架图。
图6是本发明实施例的基于域适应的眼科OCT术后轮廓图生成模型的全局生成器网络G1.1框架图。
图7是本发明实施例的基于域适应的眼科OCT术后轮廓图生成系统的原理框图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
实施例一
如图1至图6所示,本发明优选实施例的一种基于域适应的眼科OCT术后轮廓图生成方法,其特征在于,包括如下步骤:
S1、收集不同眼底疾病的术前OCT图像A和术后OCT图像B作为数据集;
S2、根据眼底疾病的种类,将数据集分为不同领域;
S3、根据术前OCT图像A,获得术前OCT轮廓图AL;根据与术前OCT图像A相对应的术后OCT图像B,获取术后真实轮廓图real_BL,构成新的数据集;
S4、构建基于域适应的眼科OCT术后轮廓图生成模型,基于域适应的眼科OCT术后轮廓图生成模型包括生成器G1、判别器D1和域分类器C,将S3获得的数据集送入基于域适应的眼科OCT术后轮廓图生成模型进行训练,包括:
S4.1通过卷积神经网络对术前OCT轮廓图AL进行特征提取,并转化为张量(多维向量)表示;之后输入生成器G1,得到预测生成的术后生成轮廓图fake_BL;
S4.2、将术前OCT轮廓图AL、术后真实轮廓图real_BL和术后生成轮廓图fake_BL输入判别器D1,根据判别结果计算判别器损失loss_D1并更新判别器D1的参数;
S4.3、将术前OCT轮廓图AL、术后真实OCT轮廓图real_BL和术后生成轮廓图fake_BL输入域分类器C,根据对领域的判别结果计算域分类器损失loss_C并更新域分类器C的参数;
S4.4、计算生成器损失loss_G1并更新生成器G1的参数,其中,判别器D1和域分类器C的判别结果参与生成器损失loss_G;
S4.5、重复步骤S4.2、S4.3和S4.4,直至训练结束,得到训练好的基于域适应的眼科OCT术后轮廓图生成模型;本实施例的训练直至验证集指标趋于最优,即可停止训练,防止过拟合;
S5、获取新拍摄的术前OCT图像对应的术前OCT轮廓图,将新拍摄的术前OCT图像对应的术前OCT轮廓图输入训练好的基于域适应的眼科OCT术后轮廓图生成模型的生成器G1,输出相应的术后生成OCT轮廓图。
本实施例通过获得术前OCT图像对应的术前OCT轮廓图,根据术前OCT轮廓图通过基于域适应的眼科OCT术后轮廓图生成模型生成术后OCT轮廓图,相比直接生成高分辨率、纹理信息复杂的术后OCT图像,其技术难度明显降低,简单高效,且生成的轮廓图噪声极小,使生成的轮廓图的准确度高,利用术后OCT轮廓图,即可测量部分关键的病理指标,并不需要术后OCT图像辅助,医生也能一定程度上评估患者的术后恢复效果,实用性强;并且,不同眼底疾病的术前OCT图像及其术后OCT轮廓图之间内在联系具有一定相似性,本实施例利用迁移学习技术整合源领域和目标领域多个来源的数据,有效扩大训练数据规模,改善了深度学习模型训练效果。本实施例有效融合深度学习和迁移学习技术,充分利用术前OCT图像及其特征,预测并生成患者的术后OCT轮廓图,进而计算相关病理指标,有效辅助医生评估患者术后恢复效果。通过迁移学习,使本发明所提出的模型考虑多模态数据,训练数据来自多个领域,而非单一模态数据,综合考虑多个因素,使得生成的术后OCT轮廓图更准确,特征细节更丰富。
本实施例的轮廓图是对神经纤维层内表面、内核层内表面、外核层内表面、椭圆体带以及RPE外表面描边获得的。
在实施例中,基于域适应的眼科OCT术后轮廓图生成模型为生成对抗网络。步骤S2中,术前OCT轮廓图AL是眼科医生对术前OCT图像A进行轮廓标注获得的。将术前OCT轮廓图AL与其对应的术后真实OCT轮廓图real_BL进行配对,作为标注样本训练网络,实现由术前OCT轮廓图AL自动生成术后生成轮廓图fake_BL。基于域适应的眼科OCT术后轮廓图生成模型主要由三部分组成:生成器G1、判别器D1和域分类器C。训练用的数据包括源领域和目标领域,所谓领域指的是OCT图像对应患病种类的数据集,为了使生成的OCT轮廓图拥有准确的目标特征,将数据集划分为源领域和目标领域,输入术前OCT轮廓图AL和术后真实OCT轮廓图real_BL配对数据可能来自源领域或目标领域。在对抗训练过程中,模型首先提取术前OCT轮廓图AL和术后真实OCT轮廓图real_BL配对数据的图像特征,之后分别送入判别器D1和域分类器C,对其进行损失计算并迭代判别器D1和域分类器C的网络参数,使得判别器D1能够辨别术后真实OCT轮廓图real_BL和术后生成轮廓图fake_BL,而域分类器C无法识别术前OCT轮廓图AL的来源领域,最后固定判别器D1和域分类器C网络参数,由生成器G1生成准确的术后生成轮廓图fake_BL。
可选地,本实施例的判别器D1和域分类器C均为多尺度判别器。
具体地,在步骤S2中,通过眼科医生对术前OCT图像A和术后OCT图像B中的神经纤维层内表面、内核层内表面、外核层内表面、椭圆体带以及RPE外表面进行描边得到术前OCT轮廓图AL和术后真实轮廓图real_BL。
更新判别器D1,可降低其损失函数计算得到的损失值,即判别器D1能准确区分由眼科医生标注得到的术后真实轮廓图real_BL和术后生成轮廓图fake_BL,对抗训练完成后的判别器D1却对术后真实轮廓图real_BL和术后生成轮廓图fake_BL区分困难,即说明术后生成轮廓图fake_BL拥有术后真实轮廓图real_BL的图像特征,可视为生成图像准确。本实施例在步骤S4.2中,将术前OCT轮廓图AL和术后生成轮廓图fake_BL拼接起来,得到negative_img_D1,再将negative_img_D1送入判别器D1,得到张量pred_fake_D1,判别器D1为其打上标签0,即判别器D1认为这张图是假的,计算pred_fake_D1的GAN损失loss_D1_fake;将术前OCT轮廓图AL和术后真实OCT轮廓图real_BL拼接起来,得到positive_img_D1,再将positive_img_D1送入判别器D1,得到pred_real_D1,判别器D1为其打上标签1,即判别器D1认为这张图是真的,计算pred_real_D1的GAN损失loss_D1_real;将loss_D1_fake和loss_D1_real的GAN损失相加,得到判别器损失loss_D1。
另外,更新域分类器C,降低其损失函数计算得到的损失值,即域分类器C能准确区分图像领域来源,对生成器G1生成的术后生成轮廓图fake_BL的领域进行判别,当训练优化后的域分类器C无法识别术后生成轮廓图fake_BL的领域,即表示生成器G1生成的术后生成轮廓图fake_BL学习到了各个目标领域中术后真实轮廓图real_BL的共同特征,也就是所要生成的目标特征。本实施例在步骤S4.3中,将术前OCT轮廓图AL和术后生成轮廓图fake_BL拼接起来,得到negative_img_C,再将negative_img_C送入域分类器C,得到张量pred_fake_C,域分类器C打上的标签不为其所在领域对应的标签,即域分类器C未判别出这张图所在正确的领域,计算pred_fake_C的GAN损失loss_C_fake;将术前OCT轮廓图AL和术后真实OCT轮廓图real_BL拼接起来,得到positive_img_C,再将positive_img_C送入域分类器C,得到pred_real_C,域分类器C打上其所在领域对应的标签,即域分类器C判别出这张图所在的领域,计算pred_real_C的GAN损失loss_C_real;将loss_C_fake和loss_C_real的GAN损失相加,得到域分类器损失loss_C。
此外,更新生成器G1,降低其损失函数计算得到的损失值,使其生成的图像足够真实,且拥有目标生成图像的主要特征。生成器G1包括全局生成器网络G1.1和局部增强网络G1.2,全局生成器网络G1.1的输入和输出的分辨率一致(如1024*512),局部增强网络G1.2的输出尺寸(2048*1024)是输入尺寸(1024*512)的4倍,即局部增强网络G1.2输出图像的高度和宽度均为输入图像的2倍;局部增强网络G1.2用于将全局生成器网络G1.1生成的图像的分辨率扩大,在训练时,将术前OCT轮廓图AL输入全局生成器网络G1.1,将全局生成器网络G1输出的图像输入局部增强网络G1.2。全局生成器网络G1.1的网络结构为U-Net,负责图像特征的编码解码;局部增强网络G1.2则使模型可以生成分辨率更高的图像。
本实施例在步骤S4.4中,包括:
S4.4.1、获取步骤S4.2中的pred_real_D1的GAN损失loss_D1_real;
S4.4.2、获取步骤4.3中的pred_fake_C的GAN损失loss_C_fake;
S4.4.3、计算步骤S4.2中的pred_fake_D1和pred_real_D1的逐像素损失L1;
S4.4.3、计算步骤S4.3中的pred_fake_C和pred_real_C的逐像素损失L2;
S4.4.5、计算术前OCT图像A和术后生成轮廓图fake_BL的VGG特征损失,记为loss_G_VGG;
S4.4.6、将loss_D1_real、loss_C_fake、L1、L2和loss_G_VGG相加,得到生成器损失loss_G。
生成器G1的损失函数由GAN损失、逐像素损失和VGG损失三部分组成,有利于模型参数优化。可选地,可使用MSE函数、BCE函数等计算GAN损失。
因此,本实施例首先收集收集患者的术前OCT图像A和配对的术后OCT图像B,收集的图像包含多种眼底疾病,要求图像清晰且分辨率高,用以训练深度迁移学习模型——基于域适应的眼科OCT术后轮廓图生成模型,并且采用医学专业处理过的数据集对该模型进行训练,使得优化后的模型权重参数能够带来更好的图像生成效果;本实施例是采用由糖网、RVO和AMD的OCT图像构成的三个数据集对模型进行训练的;然后将收集到的OCT图像数据集进行分类并打上领域标签,之后进行OCT轮廓图标注,并进行预处理操作,保留512*512的图像数据;接着对基于域适应的眼科OCT术后轮廓图生成模型进行训练,将术后真实轮廓图real_BL经卷积神经网络提取特征后,送入判别器D1与域分类器C训练;术前OCT轮廓图AL分别输入生成器G1、判别器D1及域分类器C进行训练,并在验证集指标出现过拟合前停止迭代并保留各自模型权重。并且进行损失函数的计算,依据计算得到的损失函数值对模型的权重参数值进行调整,使其函数值最小,得到更小的损失函数结果以及优化后的模型权重,由此迭代生成器G1、判别器D1和域分类器C的网络参数,使生成器G1能准确生成OCT术后轮廓图。本实施例融合深度学习和迁移学习,通过扩大训练数据规模,更准确地提取多种眼病OCT图像的特征,改善术后OCT轮廓图生成结果,有效提升模型预测能力。
实施例二
本实施例与实施例一的区别在于,在实施例一的基础上,本实施例还包括术前OCT轮廓图生成模型
在步骤S2中,将术前OCT图像A输入术前轮廓图生成模型,输出术前OCT轮廓图AL;术前轮廓图生成模型为生成对抗网络;术前轮廓图生成模型包括生成器G2和判别器D2。由术前轮廓图生成模型根据术前OCT图像A生成的术前OCT轮廓图AL对基于域适应的眼科OCT术后轮廓图生成模型进行训练,能够减轻标注的工作量。
在步骤S5中,将新拍摄的术前OCT图像输入训练好的术前轮廓图生成模型后,输出相应的术前OCT轮廓图。再将术前轮廓图生成模型输出的术前OCT轮廓图输入训练好的基于域适应的眼科OCT术后轮廓图生成模型的生成器G1,输出相应的术后生成OCT轮廓图。
因此,本实施例的方法包括两个阶段,第一阶段,训练术前轮廓图生成模型,使术前轮廓图生成模型能够生成准确的术前OCT轮廓图;第二阶段,训练基于域适应的眼科OCT术后轮廓图生成模型,使基于域适应的眼科OCT术后轮廓图生成模型能够根据术前OCT轮廓图生成准确的术后OCT轮廓图。
可选地,本实施例的术前轮廓图生成模型可采用经典pix2pix、pix2pixHD和SPADE等模型,实现术前OCT图像到术前OCT轮廓图的转换。
本实施例的其他步骤与实施例一相同,此处不再赘述。
实施例三
本实施例提出一种基于实施例一或实施例二的基于域适应的眼科OCT术后轮廓图生成方法的系统,包括:
数据获取模块,用于获取不同眼底疾病的术前OCT图像和术后OCT图像以构成数据集;
分类模块,用于根据眼底疾病的种类将数据集分为不同领域;
轮廓图像获取模块,用于根据术前OCT图像A,获得术前OCT轮廓图AL;根据与术前OCT图像A相对应的术后OCT图像B,获取术后真实轮廓图real_BL;
模型构建模块,用于构建基于域适应的眼科OCT术后轮廓图生成模型,基于域适应的眼科OCT术后轮廓图生成模型包括生成器G1、判别器D1和域分类器C,生成器G1用于根据术前OCT图像A生成术后生成轮廓图fake_BL,判别器D1用于对术后生成轮廓图fake_BL和术后真实OCT轮廓图real_BL进行判别,域分类器C用于对术后生成轮廓图fake_BL和术后真实OCT轮廓图real_BL的领域进行判别;
损失函数构建模块,用于构建多目标损失函数;多目标损失函数包括生成器G1的损失函数、判别器D1的损失函数和域分类器C的损失函数;
训练模块,用于将术前OCT轮廓图AL和术后真实OCT轮廓图real_BL构成的样本作为基于域适应的眼科OCT术后轮廓图生成模型的输入,基于多目标损失函数对基于域适应的眼科OCT术后轮廓图生成模型进行迭代训练,得到训练好的基于域适应的眼科OCT术后轮廓图生成模型;
应用模块,用于将新拍摄的术前OCT图像对应的术前OCT轮廓图输入训练好的基于域适应的眼科OCT术后轮廓图生成模型的生成器G1,得到相应的术后生成OCT轮廓图。
综上,本发明实施例提供一种基于域适应的眼科OCT术后轮廓图生成方法,其通过获得术前OCT图像对应的术前OCT轮廓图,根据术前OCT轮廓图通过基于域适应的眼科OCT术后轮廓图生成模型生成术后OCT轮廓图,相比直接生成高分辨率、纹理信息复杂的术后OCT图像,其技术难度明显降低,简单高效,且生成的轮廓图噪声极小,使生成的轮廓图的准确度高,利用术后OCT轮廓图,即可测量部分关键的病理指标,并不需要术后OCT图像辅助,医生也能一定程度上评估患者的术后恢复效果,实用性强;并且,不同眼底疾病的术前OCT图像及其术后OCT轮廓图之间内在联系具有一定相似性,本实施例利用迁移学习技术整合源领域和目标领域多个来源的数据,有效扩大训练数据规模,改善了深度学习模型训练效果。本实施例有效融合深度学习和迁移学习技术,充分利用术前OCT图像及其特征,预测并生成患者的术后OCT轮廓图,进而计算相关病理指标,有效辅助医生评估患者术后恢复效果。通过迁移学习,使本发明所提出的模型考虑多模态数据,训练数据来自多个领域,而非单一模态数据,综合考虑多个因素,使得生成的术后OCT轮廓图更准确,特征细节更丰富。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和替换,这些改进和替换也应视为本发明的保护范围。

Claims (10)

1.一种基于域适应的眼科OCT术后轮廓图生成方法,其特征在于,包括如下步骤:
S1、收集不同眼底疾病的术前OCT图像A和术后OCT图像B作为数据集;
S2、根据眼底疾病的种类,将数据集分为不同领域;
S3、根据术前OCT图像A,获得术前OCT轮廓图AL;根据与术前OCT图像A相对应的术后OCT图像B,获取术后真实轮廓图real_BL,构成新的数据集;
S4、构建基于域适应的眼科OCT术后轮廓图生成模型,基于域适应的眼科OCT术后轮廓图生成模型包括生成器G1、判别器D1和域分类器C,将S3获得的数据集送入基于域适应的眼科OCT术后轮廓图生成模型进行训练,包括:
S4.1通过卷积神经网络对术前OCT轮廓图AL进行特征提取,并转化为张量表示;之后输入生成器G1,得到预测生成的术后生成轮廓图fake_BL;
S4.2、将术前OCT轮廓图AL、术后真实轮廓图real_BL和术后生成轮廓图fake_BL输入判别器D1,根据判别结果计算判别器损失loss_D1并更新判别器D1的参数;
S4.3、将术前OCT轮廓图AL、术后真实OCT轮廓图real_BL和术后生成轮廓图fake_BL输入域分类器C,根据对领域的判别结果计算域分类器损失loss_C并更新域分类器C的参数;
S4.4、计算生成器损失loss_G1并更新生成器G1的参数,其中,判别器D1和域分类器C的判别结果参与生成器损失loss_G;
S4.5、重复步骤S4.2、S4.3和S4.4,直至训练结束,得到训练好的基于域适应的眼科OCT术后轮廓图生成模型;
S5、获取新拍摄的术前OCT图像对应的术前OCT轮廓图,将新拍摄的术前OCT图像对应的术前OCT轮廓图输入训练好的基于域适应的眼科OCT术后轮廓图生成模型的生成器G1,输出相应的术后生成OCT轮廓图。
2.根据权利要求1所述的基于域适应的眼科OCT术后轮廓图生成方法,其特征在于,在步骤S4.2中,将术前OCT轮廓图AL和术后生成轮廓图fake_BL拼接起来,得到negative_img_D1,再将negative_img_D1送入判别器D1,得到张量pred_fake_D1,判别器D1为其打上标签0,即判别器D1认为这张图是假的,计算pred_fake_D1的GAN损失loss_D1_fake;
将术前OCT轮廓图AL和术后真实OCT轮廓图real_BL拼接起来,得到positive_img_D1,再将positive_img_D1送入判别器D1,得到pred_real_D1,判别器D1为其打上标签1,即判别器D1认为这张图是真的,计算pred_real_D1的GAN损失loss_D1_real;
将loss_D1_fake和loss_D1_real的GAN损失相加,得到判别器损失loss_D1。
3.根据权利要求1所述的基于域适应的眼科OCT术后轮廓图生成方法,其特征在于,在步骤S4.3中,将术前OCT轮廓图AL和术后生成轮廓图fake_BL拼接起来,得到negative_img_C,再将negative_img_C送入域分类器C,得到张量pred_fake_C,域分类器C打上的标签不为其所在领域对应的标签,即域分类器C未判别出这张图所在正确的领域,计算pred_fake_C的GAN损失loss_C_fake;
将术前OCT轮廓图AL和术后真实OCT轮廓图real_BL拼接起来,得到positive_img_C,再将positive_img_C送入域分类器C,得到pred_real_C,域分类器C打上其所在领域对应的标签,即域分类器C判别出这张图所在的领域,计算pred_real_C的GAN损失loss_C_real;
将loss_C_fake和loss_C_real的GAN损失相加,得到域分类器损失loss_C。
4.根据权利要求1所述的基于域适应的眼科OCT术后轮廓图生成方法,其特征在于,在步骤S4.4中,包括:
S4.4.1、获取步骤S4.2中的pred_real_D1的GAN损失loss_D1_real;
S4.4.2、获取步骤4.3中的pred_fake_C的GAN损失loss_C_fake;
S4.4.3、计算步骤S4.2中的pred_fake_D1和pred_real_D1的逐像素损失L1;
S4.4.3、计算步骤S4.3中的pred_fake_C和pred_real_C的逐像素损失L2;
S4.4.5、计算术前OCT图像A和术后生成轮廓图fake_BL的VGG特征损失,记为loss_G_VGG;
S4.4.6、将loss_D1_real、loss_C_fake、L1、L2和loss_G_VGG相加,得到生成器损失loss_G。
5.根据权利要求1所述的基于域适应的眼科OCT术后轮廓图生成方法,其特征在于,判别器D1和域分类器C均为多尺度判别器。
6.根据权利要求1所述的基于域适应的眼科OCT术后轮廓图生成方法,其特征在于,生成器G1包括全局生成器网络G1.1和局部增强网络G1.2,全局生成器网络G1.1的输入和输出的分辨率一致,局部增强网络G1.2的输出尺寸是输入尺寸的4倍;局部增强网络G1.2用于将全局生成器网络G1.1生成的图像的分辨率扩大,在训练时,将术前OCT轮廓图AL输入全局生成器网络G1.1,将全局生成器网络G1输出的图像输入局部增强网络G1.2。
7.根据权利要求6述的基于域适应的眼科OCT术后轮廓图生成方法,其特征在于,全局生成器网络G1.1的网络结构为U-Net,负责图像特征的编码解码。
8.根据权利要求1所述的基于域适应的眼科OCT术后轮廓图生成方法,其特征在于,在步骤S2中,通过对术前OCT图像A和术后OCT图像B中的神经纤维层内表面、内核层内表面、外核层内表面、椭圆体带以及RPE外表面进行描边得到术前OCT轮廓图AL和术后真实轮廓图real_BL。
9.根据权利要求1所述的基于域适应的眼科OCT术后轮廓图生成方法,其特征在于,在步骤S2中,将术前OCT图像A输入术前OCT轮廓图生成模型,输出术前OCT轮廓图AL;术前轮廓图生成模型为生成对抗网络;术前轮廓图生成模型包括生成器G2和判别器D2。
10.一种基于域适应的眼科OCT术后轮廓图生成系统,其特征在于,包括:
数据获取模块,用于获取不同眼底疾病的术前OCT图像和术后OCT图像以构成数据集;
分类模块,用于根据眼底疾病的种类将数据集分为不同领域;
轮廓图像获取模块,用于根据术前OCT图像A,获得术前OCT轮廓图AL;根据与术前OCT图像A相对应的术后OCT图像B,获取术后真实轮廓图real_BL;
模型构建模块,用于构建基于域适应的眼科OCT术后轮廓图生成模型,基于域适应的眼科OCT术后轮廓图生成模型包括生成器G1、判别器D1和域分类器C,生成器G1用于根据术前OCT图像A生成术后生成轮廓图fake_BL,判别器D1用于对术后生成轮廓图fake_BL和术后真实OCT轮廓图real_BL进行判别,域分类器C用于对术后生成轮廓图fake_BL和术后真实OCT轮廓图real_BL的领域进行判别;
损失函数构建模块,用于构建多目标损失函数;多目标损失函数包括生成器G1的损失函数、判别器D1的损失函数和域分类器C的损失函数;
训练模块,用于将术前OCT轮廓图AL和术后真实OCT轮廓图real_BL构成的样本作为基于域适应的眼科OCT术后轮廓图生成模型的输入,基于多目标损失函数对基于域适应的眼科OCT术后轮廓图生成模型进行迭代训练,得到训练好的基于域适应的眼科OCT术后轮廓图生成模型;
应用模块,用于将新拍摄的术前OCT图像对应的术前OCT轮廓图输入训练好的基于域适应的眼科OCT术后轮廓图生成模型的生成器G1,得到相应的术后生成OCT轮廓图。
CN202210487626.4A 2022-05-06 2022-05-06 一种基于域适应的眼科oct术后轮廓图生成方法及系统 Pending CN115147273A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210487626.4A CN115147273A (zh) 2022-05-06 2022-05-06 一种基于域适应的眼科oct术后轮廓图生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210487626.4A CN115147273A (zh) 2022-05-06 2022-05-06 一种基于域适应的眼科oct术后轮廓图生成方法及系统

Publications (1)

Publication Number Publication Date
CN115147273A true CN115147273A (zh) 2022-10-04

Family

ID=83406851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210487626.4A Pending CN115147273A (zh) 2022-05-06 2022-05-06 一种基于域适应的眼科oct术后轮廓图生成方法及系统

Country Status (1)

Country Link
CN (1) CN115147273A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115909470A (zh) * 2022-11-24 2023-04-04 浙江大学 基于深度学习的全自动眼睑疾病术后外观预测系统和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115909470A (zh) * 2022-11-24 2023-04-04 浙江大学 基于深度学习的全自动眼睑疾病术后外观预测系统和方法

Similar Documents

Publication Publication Date Title
Imran et al. Comparative analysis of vessel segmentation techniques in retinal images
CN110010219B (zh) 光学相干层析图像视网膜病变智能检测系统及检测方法
Köse et al. Automatic segmentation of age-related macular degeneration in retinal fundus images
CN102112044A (zh) 自动杯盘比测量系统
EP3944185A1 (en) Computer-implemented method, system and computer program product for detecting a retinal condition from eye fundus images
Wu et al. Gamma challenge: glaucoma grading from multi-modality images
Liu et al. Automatic whole heart segmentation using a two-stage u-net framework and an adaptive threshold window
CN108618749B (zh) 基于便携式数字化眼底照相机的视网膜血管三维重建方法
CN108416793B (zh) 基于三维相干断层成像图像的脉络膜血管分割方法及系统
ElTanboly et al. An integrated framework for automatic clinical assessment of diabetic retinopathy grade using spectral domain OCT images
CN113962311A (zh) 知识数据和人工智能驱动的眼科多病种识别系统
Khandouzi et al. Retinal vessel segmentation, a review of classic and deep methods
CN113243887B (zh) 一种老年黄斑变性智能诊疗仪
Manikandan et al. Glaucoma Disease Detection Using Hybrid Deep Learning Model
Abdelhafeez et al. Skin cancer detection using neutrosophic c-means and fuzzy c-means clustering algorithms
Jeevakala et al. Artificial intelligence in detection and segmentation of internal auditory canal and its nerves using deep learning techniques
Wang et al. Accurate disease detection quantification of iris based retinal images using random implication image classifier technique
CN115147273A (zh) 一种基于域适应的眼科oct术后轮廓图生成方法及系统
Shaban et al. Low-complexity computer-aided diagnosis for diabetic retinopathy
Kumar et al. Computational intelligence in eye disease diagnosis: a comparative study
Hassan et al. Automated segmentation and extraction of posterior eye segment using OCT scans
Krishnamoorthi et al. Hybrid feature vector based detection of Glaucoma
Matsopoulos et al. Detection of glaucomatous change based on vessel shape analysis
Kugelman et al. A review of generative adversarial network applications in optical coherence tomography image analysis
Acosta-Mesa et al. Cervical cancer detection using colposcopic images: a temporal approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination