CN114581420A - 一种基于生成对抗网络的视网膜光学相干层析图像病变智能检测与定位方法 - Google Patents
一种基于生成对抗网络的视网膜光学相干层析图像病变智能检测与定位方法 Download PDFInfo
- Publication number
- CN114581420A CN114581420A CN202210229833.XA CN202210229833A CN114581420A CN 114581420 A CN114581420 A CN 114581420A CN 202210229833 A CN202210229833 A CN 202210229833A CN 114581420 A CN114581420 A CN 114581420A
- Authority
- CN
- China
- Prior art keywords
- image
- lesion
- normal
- generator
- retina
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 87
- 238000012014 optical coherence tomography Methods 0.000 title claims abstract description 73
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 210000001525 retina Anatomy 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000002159 abnormal effect Effects 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 32
- 230000036285 pathological change Effects 0.000 claims abstract description 16
- 231100000915 pathological change Toxicity 0.000 claims abstract description 16
- 238000003745 diagnosis Methods 0.000 claims abstract description 9
- 206010064930 age-related macular degeneration Diseases 0.000 claims description 11
- 208000002780 macular degeneration Diseases 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000002207 retinal effect Effects 0.000 claims description 9
- 206010012688 Diabetic retinal oedema Diseases 0.000 claims description 8
- 201000011190 diabetic macular edema Diseases 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 230000008014 freezing Effects 0.000 claims description 5
- 238000007710 freezing Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims 1
- 201000010099 disease Diseases 0.000 abstract description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 5
- 208000017442 Retinal disease Diseases 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 5
- 230000001902 propagating effect Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 208000030533 eye disease Diseases 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000018522 Gastrointestinal disease Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种基于生成对抗网络的视网膜光学相干层析图像病变智能检测与定位方法，包括以下步骤：收集正常和异常OCT图像并进行预处理，搭建OCT图像病变检测模型，分步训练得到病变检测模型，待检测图像送入模型得到病变检测与定位结果。本发明设计应用于医学领域的视网膜光学相干层析图像(OCT)的病变诊断，能够对未知的视网膜OCT图像进行精准的病变检测与定位，能够帮助医生更直观地进行疾病诊断与定位，减少医生的工作量，促进视网膜光学相干层析成像系统在视网膜疾病诊断领域的发展。
Description
技术领域
本发明涉及医学领域的视网膜光学相干层析图像的病变诊断领域，特别涉及一种基于生成对抗网络的视网膜OCT图像病变智能检测与定位方法。
背景技术
世界卫生组织最近对全球视力损害影响范围和原因做了详细的调研，报告里提到所有视力损害中有80％是可以被预防或治愈的。眼部疾病有很多种，其中部分重大疾病能够致盲，比如年龄相关性黄斑病变、糖尿病黄斑水肿等。年龄相关性黄斑病变(Age-relatedMacular Degeneration，AMD)是世界上第三大最常见的致盲原因，据估计，2020年全球有1.96亿人患有AMD，2040年将增加到2.88亿人。因此，眼部疾病的早发现、早诊断、早治疗对防止重大疾病的发生及提高疾病的治疗效果起着至关重要的作用。
光学相干层析成像技术(Optical CoherenceTomography,OCT)是一种新型生物医学成像技术，为近些年来兴起的光学成像技术，其成像分辨率高、速度快，具备非接触、非侵入、无损伤、操作简单等优点。OTC技术填补了在毫米成像深度和微米成像分辨率尺度上生物医学成像领域的空白。因此，OCT技术已作为诊断视网膜疾病的临床标准，而且OCT技术结合内窥镜技术已成为临床上心血管及肠胃疾病诊断的重要工具。
目前医学获得的视网膜OCT图像都由医生肉眼观察进行病变检测与定位，增加了医生的工作量，不利用大规模推广。因此，如何研究一种对视网膜OCT图像进行精准的病变检测与定位的方法至关重要。
发明内容
本发明的目的是为了解决现有的视网膜OCT图像只能单纯由医生肉眼诊断的问题，提出了一种基于生成对抗网络的视网膜光学相干层析图像病变检测方法，能够对OCT图像的病变区域进行精准定位。
本发明为实现上述目的采用如下技术方案：一种基于生成对抗网络的视网膜光学相干层析图像病变智能检测与定位方法，具体过程为：
步骤S1：收集视网膜OCT图像，并进行分类、图像预处理制作数据集。
步骤S11：收集已公开的视网膜OCT图像，其中包括正常(NORMAL)、年龄相关性黄斑病变(AMD)、糖尿病黄斑水肿(DME)。其中年龄相关性黄斑病变与糖尿病黄斑水肿属于病变类别，将OCT图像分为正常、病变两类。
步骤S12：对OCT图像进行随机裁剪产生大小相同的patch，本发明采用了新的图像裁剪方式，即对每一张图像随机裁剪成多个大小为64×64的patch，每张图像可能会生成多个patch。
步骤S13：对训练集进行数据增强操作，主要包括随机翻转、灰度变换等，同时在图像送入网络前进行数值范围归一化。
步骤S2：基于生成对抗网络搭建OCT图像病变检测模型，该模型分为两路，具体包括正常生成器Generator1、异常生成器Generator2和判别器，具体步骤包括：
步骤S21：构建正常生成器Generator1，其作用为接收正常图像输入并且编码成隐空间向量，之后解码重建为正常图。具体结构为编码器-解码器，其中编码器与解码器之间采用了跳跃连接(skip-connection)。
步骤S22：构建异常生成器Generator2，其作用为接收部分异常图像输入并且编码成隐空间向量，之后解码重建为异常图。具体结构与正常生成器相同，编码器与解码器之间也采用了跟正常生成器相同的跳跃连接(skip-connection)。
步骤S23：构建判别器，其作为生成对抗网络的组成部分，能够帮助生成器生成更为真实的图像。判别器接收真实图像与生成器生成的图像，之后输出对应的特征图，通过计算特征图差异作为损失函数来对网络进行对抗训练。
步骤S3：根据步骤S2不同组件的输出构建损失函数，之后对网络进行多次迭代训练获得最终的病变检测模型。
步骤S31：本发明设计的OCT图像病变检测模型分为正常路与异常路，其中每一路的输出都用于构建重建损失与对抗损失。
步骤S311：重建损失代表输入的真实图像x与生成器输出的重建图像G(x)的差异，其能够帮助生成器重建出高质量的图像，其计算方式如下，其中x为输入图像的真实图像，G(x)为重建图像：
Lcon＝||x-G(x)||1
步骤S312：对抗损失是生成对抗网络能够正常工作的保证，其可以制约生成器生成贴近于现实的真实图像，其计算方式如下，其中D(x)为真实图像经过判别器的特征输出，D(G(x))为重建图像经过判别器的特征输出：
Ladv＝||D(x)-D(G(x))||2
步骤S313：本发明构造的基于生成对抗网络的OCT图像病变检测模型最终总的损失函数由重建损失与对抗损失加权组成，其计算方式如下：
Ltotal＝λLcon+Ladv
步骤S32：搭建完检测模型以后，需要对模型进行训练。本发明提出了一种新的两步训练方式，即先训练正常生成器，再训练异常生成器，具体包括以下步骤：
步骤S321：网络训练的第一步是初始化参数，网络所有层都采用零均值的正态分布初始化。
步骤S322：其次，对网络进行两步训练。首先冻住异常生成器，保证异常生成器参数不进行更新，之后使用大量正常OCT图像对正常生成器和判别器进行训练，计算重建损失与对抗损失，并反向传播优化网络参数。
步骤S323：其次，冻住正常生成器，保证正常生成器参数不进行更新，之后使用极少量病变OCT图像对异常生成器和判别器进行训练，计算重建损失与对抗损失，并反向传播优化网络参数。这一步的训练既优化了判别器，提升判别器判别真假能力的同时能够训练一路异常生成器。
步骤S33：重复步骤S32，对网络进行多次调参与迭代训练后，得到最优的网络模型。
步骤S4：待预测图输入病变检测网络，通过正常生成器生成重建图像G1(x)，通过异常生成器生成重建图像G2(x)，之后分别输入判别器计算病变分数。病变分数由正常分数和异常分数组成，具体包括以下步骤：
步骤S41：首先计算正常分数，其代表输入图像是否为正常图像，正常分数由图像经过正常生成器与判别器计算得到，具体计算方法如下：
Snomal＝||x-G1(x)||1+α·||D(x)-D(G1(x))||2
其中，x为待预测图像，G1(x)为经过正常生成器的重建图像，D(x)为待预测图像经过判别器后的特征输出，为待优化参数。
步骤S42：其次计算异常分数，其代表输入图像是否为异常图像，该分数越大代表输入图像拥有病变的可能性越高，异常分数由图像经过异常生成器与判别器计算得到，具体计算方法如下：
Sabnormal＝β·||x-G2(x)||1+||D(x)-D(G2(x))||2
其中，G2(x)为经过异常生成器的重建图像，为待优化参数。
步骤S43：病变分数由正常分数与异常分数共同组成，其代表输入图像带有病变的可能性，计算方式如下：
S＝Snormal-η·Sabnormal
本发明采用的参数η＝0.3，当病变分数大于提前设定的阈值时，则判断OCT图像有病变，之后对该图像进行病变定位。
步骤S5：将模型预测为病变的OCT图像输入病变检测模型，生成病变热图，能够定位到OCT图像上的病变区域；
步骤S51：将模型预测为病变的图像输入正常生成器中得到重建图像，计算输入图像与创建图像的L1距离，将图像保存为residual图像。
步骤S52：对residual图像进行归一化，转变成为灰度图像，之后计算热图，高亮显示病变区域。
步骤S6：将病变热图发送给医生，帮助医生第一时间定位OCT图像中的病变区域，并且依靠临床经验做出诊断。
有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：
1.本发明设计了一种医学领域的视网膜光学相干层析图像(OCT)的病变智能检测与定位方法，该方法检测准确率高、能够精准定位病变区域，其解决了现阶段只能通过医生肉眼观察OCT图像来进行病变诊断与定位的问题。
2.本方法以生成对抗网络结构为核心，利用生成对抗网络能够生成特定分布的图像的特性，能够实现对OCT图像的病变区域的精确定位，同时创新性地采用热图的形式展示结果，将热图发送给医生，能够迅速帮助医生定位到病变区域并快速做出诊断。
3.对比于目前大多数的OCT图像病变检测算法，本发明采用的数据集均无需标注，这大大减少了数据集的收集成本，同时只需要小部分病变图像即可训练出病变检测模型，解决了OCT图像难以获得、标注成本大的难题。
附图说明
图1是本发明的算法流程图。
图2是本发明的网络结构图。
图3是正常/异常生成器的网络结构图。
具体实施方式
下面结合附图和具体的实施方式对本发明作进一步说明。
如图1-3所示，本发明应用于医学领域的视网膜OCT疾病诊断，提供了一种基于双路生成对抗网络的视网膜OCT图像病变检测方法，能够帮助眼科医生迅速对OCT图像进行疾病诊断与定位。包括以下步骤：
步骤S1：收集视网膜OCT图像，并进行分类、图像预处理制作数据集。
步骤S11：收集已公开的视网膜OCT图像，其中包括正常、年龄相关性黄斑病变(AMD)、糖尿病黄斑水肿(DME)。其中年龄相关性黄斑病变与糖尿病黄斑水肿属于病变类别，将OCT图像分为正常、病变两类，本发明设计的病变检测模型只需要极少量的病变图像进行训练。
步骤S12：对OCT图像进行随机裁剪产生大小相同的patch，具体来说，针对每一张OCT图像，其尺寸可能并不相同，为了使网络的输入统一规范，本发明采用了新的图像裁剪方式，即对每一张图像随机裁剪成多个大小为64×64的patch，每张图像可能会生成多个patch，这些patch将作为输入网络的训练集。
步骤S13：对训练集进行数据增强操作，主要包括随机翻转、灰度变换等，同时在图像送入网络前进行数值范围归一化，加快网络前向传播速度，将图像像素值从[0,255]归一化到[-1,1]。
步骤S2：基于生成对抗网络搭建OCT图像病变检测模型，该模型分为两路，具体包括正常生成器Generator1、异常生成器Generator2和判别器，具体步骤包括：
步骤S21：构建正常生成器Generator1，其作用为接收正常图像输入并且编码成隐空间向量，之后解码重建为正常图。具体结构为编码器-解码器，其中编码器与解码器之间采用了跳跃连接(skip-connection)。
步骤S211：基于全卷积网络构建编码器将正常图像编码成隐空间向量。编码器共有五层，卷积核数量分别为64,128,256,512,512。其中每一层输出都经过LeakyReLU激活函数。
步骤S212：基于反卷积构建解码器，能够完成正常图像的重建。解码器共有五层，卷积核数量分别为512,256,128,64,3。其中每一层输出都经过ReLU激活函数，最后一层经过tanh生成图像。
步骤S213：建立跳跃连接(skip-connection)。跳跃连接是指将编码器中的某一个卷积层的输出直接拼接到解码器的输入中，其能够提供输入图像的原始特征。具体地，将编码器的第四层的输出与解码器的第五层输出进行拼接，送入到解码器的第四层。
步骤S22：构建异常生成器Generator2，其作用为接收部分异常图像输入并且编码成隐空间向量，之后解码重建为异常图。具体结构与正常生成器相同，编码器与解码器之间也采用了跟正常生成器相同的跳跃连接(skip-connection)。
步骤S23：构建判别器，其作为生成对抗网络的组成部分，能够帮助生成器生成更为真实的图像。判别器接收真实图像与生成器生成的图像，之后输出对应的特征图，通过计算特征图差异作为损失函数来对网络进行对抗训练。
步骤S3：根据步骤S2不同组件的输出构建损失函数，之后对网络进行多次迭代训练获得最终的病变检测模型。
步骤S31：本发明设计的OCT图像病变检测模型分为正常路与异常路，其中每一路的输出都用于构建重建损失与对抗损失。
步骤S311：重建损失代表输入的真实图像x与生成器输出的重建图像G(x)的差异，其能够帮助生成器重建出高质量的图像，其计算方式如下，其中x为输入图像的真实图像，G(x)为重建图像：
L。on＝||x-G(x)||1
步骤S312：对抗损失是生成对抗网络能够正常工作的保证，其可以制约生成器生成贴近于现实的真实图像，其计算方式如下，其中D(x)为真实图像经过判别器的特征输出，D(G(x))为重建图像经过判别器的特征输出：
Ladv＝||D(x)-D(G(x))||2
步骤S313：本发明构造的基于生成对抗网络的OCT图像病变检测模型最终总的损失函数由重建损失与对抗损失加权组成，其计算方式如下：
Ltotol＝λLcon+Ladv
由多次试验结果得知，正常生成器的损失函数参数λ＝40，异常生成器的损失函数参数λ＝25。
步骤S32：搭建完检测模型以后，需要对模型进行训练。本发明提出了一种新的两步训练方式，即先训练正常生成器，再训练异常生成器，具体包括以下步骤：
步骤S321：网络训练的第一步是初始化参数，网络所有层都采用零均值的正态分布初始化。
步骤S322：其次，对网络进行两步训练。首先冻住异常生成器，保证异常生成器参数不进行更新，之后使用大量正常OCT图像对正常生成器和判别器进行训练，计算重建损失与对抗损失，并反向传播优化网络参数。训练时优化器采取Adam优化器，其中β1＝0.5，β2＝0.999。其余参数分别为epoch＝50，learning rate＝0.0002，batch size＝64。
步骤S323：其次，冻住正常生成器，保证正常生成器参数不进行更新，之后使用极少量病变OCT图像对异常生成器和判别器进行训练，计算重建损失与对抗损失，并反向传播优化网络参数。这一步的训练既优化了判别器，提升判别器判别真假能力的同时能够训练一路异常生成器。训练时优化器同样采取Adam优化器，其中epoch＝50，learning rate＝0.0001，batch size＝64。
步骤S33：重复步骤S32，对网络进行多次调参与迭代训练后，得到最优的网络模型。
步骤S4：待预测图输入病变检测网络，通过正常生成器生成重建图像G1(x)，通过异常生成器生成重建图像G2(x)，之后分别输入判别器计算病变分数。病变分数由正常分数和异常分数组成，具体包括以下步骤：
步骤S41：首先计算正常分数，其代表输入图像是否为正常图像，正常分数由图像经过正常生成器与判别器计算得到，具体计算方法如下：
Snormal＝||x-G1(x)||1+α·||D(x)-D(G1(x))||2
经过多次实验验证，本发明最终采用参数α＝0.8为最优参数。
步骤S42：其次计算异常分数，其代表输入图像是否为异常图像，该分数越大代表输入图像拥有病变的可能性越高，异常分数由图像经过异常生成器与判别器计算得到，具体计算方法如下：
Sabnormal＝β·||x-G2(x)||1+||D(x)-D(G2(x))||2
经过多次实验验证，本发明最终采用参数β＝0.5为最优参数。
步骤S43：病变分数由正常分数与异常分数共同组成，其代表输入图像带有病变的可能性，计算方式如下：
S＝Sn。rmal-η·Sabnormal
本发明采用的η＝0.3，当病变分数大于提前设定的阈值时，则判断OCT图像有病变，之后对该图像进行病变定位。
步骤S5：将模型预测为病变的图像输入病变检测模型，快速定位到OCT图像上的病变区域。本发明采用热图的形式展示病变定位结果，即有病变的地方颜色较深，具体步骤如下：
步骤S51：将模型预测为病变的图像输入正常生成器中得到重建图像，计算输入图像与创建图像的L1距离，将图像保存为residual图像。
步骤S52：对residual图像进行归一化，将数值范围调整到[0,1]，之后根据residual图像的通道数对其进行处理，转变成为灰度图像。
步骤S53：对处理后的residual图像应用opencv中的伪彩色applyColorMap()函数，获得热图，该热图能够高亮显示病变区域。
步骤S6：将病变热图发送给医生，帮助医生第一时间定位OCT图像中的病变区域，并且依靠临床经验做出诊断。
应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种基于生成对抗网络的视网膜光学相干层析图像病变智能检测与定位方法，其特征在于，包括：
步骤S1：收集视网膜OCT图像，并分类为正常、病变两类，对图像做预处理制作训练数据集；
步骤S2：基于生成对抗网络搭建视网膜OCT图像病变检测模型；
步骤S3：构建病变检测模型损失函数，对网络进行多次迭代训练获得最终的病变检测模型；
步骤S4：待预测图输入病变检测模型计算病变分数，判断是否有病变；
步骤S5：将模型预测为病变的视网膜OCT图像输入模型，生成病变热图，展示病变定位结果；
步骤S6：将病变热图发送给医生，帮助医生第一时间定位视网膜OCT图像中的病变区域，由医生依靠临床经验做出最终诊断。
2.根据权利要求1所述的一种基于生成对抗网络的视网膜光学相干层析图像病变智能检测与定位方法，其特征在于：所述步骤S1中收集已公开的视网膜OCT图像，其中包括正常、年龄相关性黄斑病变、糖尿病黄斑水肿，对视网膜OCT图像进行随机裁剪产生大小相同的patch，同时对这些patch进行随机翻转、灰度变换等数据增强操作，最终将作为输入网络的训练集。
3.根据权利要求1所述的一种基于生成对抗网络的视网膜光学相干层析图像病变智能检测与定位方法，其特征在于：所述步骤S2中基于生成对抗网络搭建视网膜OCT图像病变检测模型，该模型分为两路：正常路与异常路，具体包括正常生成器Generator1、异常生成器Generator2和判别器。
4.根据权利要求1所述的一种基于生成对抗网络的视网膜光学相干层析图像病变智能检测与定位方法，其特征在于：所述步骤S2包括以下步骤：
步骤S21：构建正常生成器Generator1，其作用为接收正常图像输入并且编码成隐空间向量，之后解码重建为正常图；
步骤S22：构建异常生成器Generator2，其作用为接收部分异常图像输入并且编码成隐空间向量，之后解码重建为异常图；
步骤S23：构建判别器，其作为生成对抗网络的组成部分，能够帮助生成器生成更为真实的图像。判别器接收真实图像与生成器生成的图像，之后输出对应的特征图，通过计算特征图差异作为损失函数来对网络进行对抗训练。
5.根据权利要求1所述的一种基于生成对抗网络的视网膜光学相干层析图像病变智能检测与定位方法，其特征在于：所述步骤S3包括以下步骤：
步骤S31：根据视网膜OCT图像病变检测模型每一个组件的输出构建重建损失与对抗损失；
步骤S32：对于所述模型的训练，采取两步训练方式，首先，冻住异常生成器，使用大量正常视网膜OCT图像对正常生成器和判别器进行训练；其次，冻住正常生成器，使用极少量病变视网膜OCT图像对异常生成器和判别器进行训练；
步骤S33：重复步骤S32，对网络进行多次调参与迭代训练后，得到最优的网络模型。
6.根据权利要求1所述的一种基于生成对抗网络的视网膜光学相干层析图像病变智能检测与定位方法，其特征在于：所述步骤S4为待预测图输入病变检测模型，通过正常生成器生成重建图像G1(x)，通过异常生成器生成重建图像G2(x)，之后分别输入判别器计算病变分数；病变分数由正常分数和异常分数组成，具体包括以下步骤：
步骤S41：计算正常分数，正常分数由图像经过正常生成器与判别器计算得到，其代表与正常图片的相似程度，具体计算方法如下：
Snormal＝||x-G1(x)||1+α·||D(x)-D(G1(x))||2
其中，x为待预测图像，G1(x)为经过正常生成器的重建图像，D(x)为待预测图像经过判别器后的特征输出，α为待优化参数；
步骤S42：计算异常分数，其代表输入图像是否为异常图像，异常分数由图像经过异常生成器与判别器计算得到，具体计算方法如下：
sabnormal＝β·||x-G2(x)||1+||D(x)-D(G2(x))||2
其中，G2(x)为经过异常生成器的重建图像，β为待优化参数；
步骤S43：病变分数由正常分数与异常分数共同组成，其代表输入图像带有病变的可能性，计算方式如下：
S＝Snormal-η·Sabnormal
参数η＝0.3，当病变分数大于提前设定的阈值时，则判断视网膜OCT图像有病变，之后对该图像进行病变定位。
7.根据权利要求1所述的一种基于生成对抗网络的视网膜光学相干层析图像病变智能检测与定位方法，其特征在于：所述步骤S5包括：
步骤S51：将模型预测为病变的图像输入正常生成器中得到重建图像，计算输入图像与创建图像的L1距离，将图像保存为residual图像；
步骤S52：对residual图像进行归一化，转变成为灰度图像，之后计算热图，高亮显示病变区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210229833.XA CN114581420A (zh) | 2022-03-10 | 2022-03-10 | 一种基于生成对抗网络的视网膜光学相干层析图像病变智能检测与定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210229833.XA CN114581420A (zh) | 2022-03-10 | 2022-03-10 | 一种基于生成对抗网络的视网膜光学相干层析图像病变智能检测与定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114581420A true CN114581420A (zh) | 2022-06-03 |
Family
ID=81774081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210229833.XA Pending CN114581420A (zh) | 2022-03-10 | 2022-03-10 | 一种基于生成对抗网络的视网膜光学相干层析图像病变智能检测与定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114581420A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110010219A (zh) * | 2019-03-13 | 2019-07-12 | 杭州电子科技大学 | 光学相干层析图像视网膜病变智能检测系统及检测方法 |
| CN112365464A (zh) * | 2020-11-09 | 2021-02-12 | 成都信息工程大学 | 一种基于gan的医学图像病变区域弱监督定位方法 |
| KR20210135039A (ko) * | 2020-05-04 | 2021-11-12 | 재단법인대구경북과학기술원 | 조건부 생성 적대적 네트워크를 이용한 의료 영상의 예측을 위한 방법 및 장치 |
| CN113658115A (zh) * | 2021-07-30 | 2021-11-16 | 华南理工大学 | 一种基于深度卷积生成对抗网络的图像异常检测方法 |
-
2022
- 2022-03-10 CN CN202210229833.XA patent/CN114581420A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110010219A (zh) * | 2019-03-13 | 2019-07-12 | 杭州电子科技大学 | 光学相干层析图像视网膜病变智能检测系统及检测方法 |
| KR20210135039A (ko) * | 2020-05-04 | 2021-11-12 | 재단법인대구경북과학기술원 | 조건부 생성 적대적 네트워크를 이용한 의료 영상의 예측을 위한 방법 및 장치 |
| CN112365464A (zh) * | 2020-11-09 | 2021-02-12 | 成都信息工程大学 | 一种基于gan的医学图像病变区域弱监督定位方法 |
| CN113658115A (zh) * | 2021-07-30 | 2021-11-16 | 华南理工大学 | 一种基于深度卷积生成对抗网络的图像异常检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Deep learning based early stage diabetic retinopathy detection using optical coherence tomography | |
| CN110517235B (zh) | 一种基于GCS-Net进行OCT图像脉络膜自动分割方法 | |
| CN108618749B (zh) | 基于便携式数字化眼底照相机的视网膜血管三维重建方法 | |
| Bhati et al. | Discriminative kernel convolution network for multi-label ophthalmic disease detection on imbalanced fundus image dataset | |
| Zhang et al. | MC-UNet multi-module concatenation based on U-shape network for retinal blood vessels segmentation | |
| Maqsood et al. | Detection of macula and recognition of aged-related macular degeneration in retinal fundus images | |
| Phridviraj et al. | A bi-directional Long Short-Term Memory-based Diabetic Retinopathy detection model using retinal fundus images | |
| Wang et al. | Deep learning based fetal middle cerebral artery segmentation in large-scale ultrasound images | |
| Shi et al. | Artifact-tolerant clustering-guided contrastive embedding learning for ophthalmic images in glaucoma | |
| Jayachandran et al. | Multi-dimensional cascades neural network models for the segmentation of retinal vessels in colour fundus images | |
| CN113192074A (zh) | 一种适用于octa图像的动静脉自动化分割方法 | |
| CN114581420A (zh) | 一种基于生成对抗网络的视网膜光学相干层析图像病变智能检测与定位方法 | |
| CN114820632A (zh) | 基于双通道U形改进Transformer网络的视网膜血管图像分割方法 | |
| Baskaran et al. | Performance Analysis of Deep Learning based Segmentation of Retinal Lesions in Fundus Images | |
| Fu et al. | Agc-unet: a global context feature fusion method based on u-net for retinal vessel segmentation | |
| Pavani et al. | Robust semantic segmentation of retinal fluids from SD-OCT images using FAM-U-Net | |
| CN112967295A (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 | |
| Nageswari et al. | Automatic Detection and Classification of Diabetic Retinopathy using Modified UNET | |
| Zhao et al. | Perception-oriented generative adversarial network for retinal fundus image super-resolution | |
| Wang et al. | Two-stage Cross-domain Ocular Disease Recognition with Data Augmentation | |
| Jahnavi et al. | Segmentation of medical images using U-Net++ | |
| Wang et al. | Cross-Domain Multi-disease Ocular Disease Recognition via Data Enhancement | |
| Subhedar et al. | A Review on Recent Work On OCT Image Classification for Disease Detection | |
| CN117726642B (zh) | 一种用于光学相干断层扫描图像的高反射病灶分割方法和装置 | |
| Chetoui et al. | Explainable Deep Learning for Referable Diabetic Retinopathy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |