CN110415182A - 眼底oct影像增强方法、装置、设备及存储介质 - Google Patents

眼底oct影像增强方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110415182A
CN110415182A CN201910524224.5A CN201910524224A CN110415182A CN 110415182 A CN110415182 A CN 110415182A CN 201910524224 A CN201910524224 A CN 201910524224A CN 110415182 A CN110415182 A CN 110415182A
Authority
CN
China
Prior art keywords
oct image
eyeground
target
eyeground oct
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910524224.5A
Other languages
English (en)
Other versions
CN110415182B (zh
Inventor
成冠举
高鹏
谢国彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910524224.5A priority Critical patent/CN110415182B/zh
Priority to PCT/CN2019/102532 priority patent/WO2020252898A1/zh
Publication of CN110415182A publication Critical patent/CN110415182A/zh
Application granted granted Critical
Publication of CN110415182B publication Critical patent/CN110415182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域,公开了一种眼底OCT影像增强方法、装置、设备及存储介质,用于提高生成的新眼底OCT影像的真实性,避免和原始眼底OCT影像差异过大,解决真实数据太少及数据不均衡问题,提高影像处理效率。本发明方法包括:获取原始眼底光学相干断层扫描技术OCT影像;通过预置的深度学习网络模型构建生成器和鉴别器;通过生成器将预置的随机噪声转换成目标眼底OCT影像;通过鉴别器判断目标眼底OCT影像是否真实;若目标眼底OCT影像真实,则将目标眼底OCT影像保留。

Description

眼底OCT影像增强方法、装置、设备及存储介质
技术领域
本发明涉及图像增强领域,尤其涉及眼底OCT影像增强方法、装置、设备及存储介质。
背景技术
随着人工智能的快速发展,人工智能的应用领域也越来越多,人工智能在医疗领域也得到了广泛应用。人工智能在医疗领域的应用经常面临医疗影像数据少,各类医疗影像数据不均衡的问题。
目前对医疗中领域光学相干断层扫描技术(optical coherence tomography,OCT)影像的数据增强通常使用传统图像处理方法,比如对原始图像进行翻转、平移、扭曲、灰度处理等,并将处理后的图像保存以达到增强数据的目的。
这种方法有两个缺点,一是通过灰度处理、平移等方法增加的数据和原始数据相似度过高,导致模型训练出现过拟合现象,且模型在实际使用中泛化效果不好;二是通过翻转、扭曲等方法增加的数据和原始数据差异过大,不真实,影像处理效率低。
发明内容
本发明提供了一种眼底OCT影像增强方法、装置、设备及存储介质,用于提高生成的新眼底OCT影像的真实性,避免和原始眼底OCT影像差异过大,解决真实数据太少及数据不均衡问题,提高影像处理效率。
本发明实施例的第一方面提供一种眼底OCT影像增强方法,包括:取原始眼底光学相干断层扫描技术OCT影像;通过预置的深度学习网络模型构建生成器和鉴别器;通过所述生成器将预置的随机噪声转换成目标眼底OCT影像;通过所述鉴别器判断所述目标眼底OCT影像是否真实;若所述目标眼底OCT影像真实,则将所述目标眼底OCT影像保留。
可选的,在本发明实施例第一方面的第一种实现方式中,在所述通过所述鉴别器判断所述目标眼底OCT影像是否真实之后,所述方法还包括:若所述目标眼底OCT影像不真实,则将所述目标眼底OCT影像重新输入到所述生成器进行影像优化。
可选的,在本发明实施例第一方面的第二种实现方式中,所述通过所述鉴别器判断所述目标眼底OCT影像是否真实包括:通过所述鉴别器对所述目标眼底OCT影像进行分析,确定目标眼底OCT影像的分布特征;通过所述鉴别器基于所述目标眼底OCT影像的分布特征判断目标眼底OCT影像是否真实。
可选的,在本发明实施例第一方面的第三种实现方式中,所述通过所述鉴别器基于所述目标眼底OCT影像的分布特征判断目标眼底OCT影像是否真实包括:获取原始眼底OCT影像的分布特征,所述分布特征包括形状特征、水平特征和差异特征;将所述原始眼底OCT影像的形状特征、水平特征和差异特征,与所述目标眼底OCT影像的形状特征、水平特征和差异特征分别进行比较,得到形状特征相似度值、水平特征相似度值和差异特征相似度值;将所述形状特征相似度值、所述水平特征相似度值和所述差异特征相似度值按照各自的权重计算得到分布特征相似度;若所述分布特征相似度大于阈值,则通过所述鉴别器确定所述目标眼底OCT影像真实。
可选的,在本发明实施例第一方面的第四种实现方式中,所述通过所述鉴别器基于所述目标眼底OCT影像的分布特征判断目标眼底OCT影像是否真实包括:生成所述目标眼底OCT影像的分布特征和所述原始眼底OCT影像的分布特征的交叉熵损失函数;通过所述鉴别器判断所述交叉熵损失函数的值是否小于阈值;若所述交叉熵损失函数的值小于阈值,则通过所述鉴别器确定所述目标眼底OCT影像真实。
可选的,在本发明实施例第一方面的第五种实现方式中,所述生成所述目标眼底OCT影像的分布特征和所述原始眼底OCT影像的分布特征的交叉熵损失函数包括:将所述目标眼底OCT影像的分布特征值作为预测值q(x);将所述原始眼底OCT影像的分布特征值作为真实值p(x);生成所述预测值q(x)和所述真实值p(x)的交叉熵函数H(p,q),其中,x为正整数,具体表达式为:H(p,q)=-∑p(x)log(q(x))。
可选的,在本发明实施例第一方面的第六种实现方式中,所述方法还包括:将真实的目标眼底OCT影像和所述原始眼底OCT影像存储在同一个眼底OCT影像集合中。
本发明实施例的第二方面提供了一种眼底OCT影像增强装置,包括:获取单元,用于获取原始眼底光学相干断层扫描技术OCT影像;构建单元,用于通过预置的深度学习网络模型构建生成器和鉴别器;转换单元,用于通过所述生成器将预置的随机噪声转换成目标眼底OCT影像;判断单元,用于通过所述鉴别器判断所述目标眼底OCT影像是否真实;保留单元,若所述目标眼底OCT影像真实,则用于将所述目标眼底OCT影像保留。
可选的,在本发明实施例第二方面的第一种实现方式中,眼底OCT影像增强装置还包括:优化单元,若所述目标眼底OCT影像不真实,则用于将所述目标眼底OCT影像重新输入到所述生成器进行影像优化。
可选的,在本发明实施例第二方面的第二种实现方式中,判断单元包括:第一确定模块,用于通过所述鉴别器对所述目标眼底OCT影像进行分析,确定目标眼底OCT影像的分布特征;第一判断模块,用于通过所述鉴别器基于所述目标眼底OCT影像的分布特征判断目标眼底OCT影像是否真实。
可选的,在本发明实施例第二方面的第三种实现方式中,第一判断模块具体用于:获取原始眼底OCT影像的分布特征,所述分布特征包括形状特征、水平特征和差异特征;将所述原始眼底OCT影像的形状特征、水平特征和差异特征,与所述目标眼底OCT影像的形状特征、水平特征和差异特征分别进行比较,得到形状特征相似度值、水平特征相似度值和差异特征相似度值;将所述形状特征相似度值、所述水平特征相似度值和所述差异特征相似度值按照各自的权重计算得到分布特征相似度;若所述分布特征相似度大于阈值,则确定所述目标眼底OCT影像真实。
可选的,在本发明实施例第二方面的第四种实现方式中,判断单元还包括:生成模块,用于生成所述目标眼底OCT影像的分布特征和所述原始眼底OCT影像的分布特征的交叉熵损失函数;第二判断模块,用于通过所述鉴别器判断所述交叉熵损失函数的值是否小于阈值;第二确定模块,若所述交叉熵损失函数的值小于阈值,则用于通过所述鉴别器确定所述目标眼底OCT影像真实。
可选的,在本发明实施例第二方面的第五种实现方式中,生成模块具体用于:将所述目标眼底OCT影像的分布特征值作为预测值q(x);将所述原始眼底OCT影像的分布特征值作为真实值p(x);生成所述预测值q(x)和所述真实值p(x)的交叉熵函数H(p,q),其中,x为正整数,具体表达式为:
H(p,q)=-∑p(x)log(q(x))。
可选的,在本发明实施例第二方面的第六种实现方式中,眼底OCT影像增强装置还包括:存储单元,用于将真实的目标眼底OCT影像和所述原始眼底OCT影像存储在同一个眼底OCT影像集合中。
本发明实施例的第三方面提供了一种眼底OCT影像增强设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一实施方式所述的眼底OCT影像增强方法。
本发明实施例的第四方面提供了一种计算机可读存储介质,包括指令,当所述指令在计算机上运行时,使得计算机执行上述任一实施方式所述的眼底OCT影像增强方法的步骤。
本发明实施例提供的技术方案中,获取原始眼底光学相干断层扫描技术OCT影像;通过预置的深度学习网络模型构建生成器和鉴别器;通过生成器将预置的随机噪声转换成目标眼底OCT影像;通过鉴别器判断目标眼底OCT影像是否真实;若目标眼底OCT影像真实,则将目标眼底OCT影像保留。本发明实施例,根据原始眼底OCT影像生成新眼底OCT影像,提高了新眼底OCT影像的真实性,避免和原始眼底OCT影像差异过大,解决了真实数据太少及数据不均衡问题,提高了影像处理效率。
附图说明
图1为本发明实施例中眼底OCT影像增强方法的一个实施例示意图;
图2为本发明实施例中眼底OCT影像增强方法的另一个实施例示意图;
图3为本发明实施例中眼底OCT影像增强装置的一个实施例示意图;
图4为本发明实施例中眼底OCT影像增强装置的另一个实施例示意图;
图5为本发明实施例中眼底OCT影像增强设备的一个实施例示意图。
具体实施方式
本发明提供了一种眼底OCT影像增强方法、装置、设备及存储介质,用于提高生成的新眼底OCT影像的真实性,避免和原始眼底OCT影像差异过大,解决真实数据太少及数据不均衡问题,提高影像处理效率。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例进行描述。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1,本发明实施例提供的眼底OCT影像增强方法的流程图,具体包括:
101、获取原始眼底光学相干断层扫描技术OCT影像。
眼底OCT影像增强装置获取原始眼底光学相干断层扫描技术OCT影像。其中,眼底OCT影像增强装置获取原始眼底光学相干断层扫描技术(optical coherence tomography,OCT)影像,该原始眼底OCT影像由OCT设备直接得到,未经过任何处理。
目前OCT分为两大类:时域OCT(time domain optical coherence tomography,TD-OCT)和频域OCT(frequency domain optical coherence tomography,FD-OCT)。时域OCT是把在同一时间从组织中反射回来的光信号与参照反光镜反射回来的光信号叠加、干涉,然后成像。频域OCT是参考臂的参照反光镜固定不动,通过改变光源光波的频率来实现信号的干涉。本发明实施例可以通过多种方式获取原始眼底OCT影像,可以通过TD-OCT方式获取,还可以通过FD-OCT方式获取,具体采用何种获取方式此处不做限定。
可以理解的是,本发明的执行主体可以为眼底OCT影像增强装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以眼底OCT影像增强装置为执行主体为例进行说明。
102、通过预置的深度学习网络模型构建生成器和鉴别器。
眼底OCT影像增强装置通过预置的深度学习网络模型构建生成器和鉴别器,其中,该生成器用于生成目标眼底OCT影像,该鉴别器用于鉴别生成的目标眼底OCT影像是否真实。
需要说明的是,深度学习的实质,是通过构建具有很多隐层的机器学习模型和海量的训练数据,来学习更有用的特征,从而最终提升分类或预测的准确性。区别于传统的浅层学习,深度学习的不同在于:1)强调了模型结构的深度,通常有5层、6层,甚至10多层的隐层节点;2)明确突出了特征学习的重要性,也就是说,通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间,从而使分类或预测更加容易。与人工规则构造特征的方法相比,利用大数据来学习特征,更能够刻画数据的丰富内在信息。如何构建深度学习网络模型可以参考现有技术,此处不再赘述。
103、通过生成器将预置的随机噪声转换成目标眼底OCT影像。
眼底OCT影像增强装置通过生成器将预置的随机噪声转换成目标眼底OCT影像。例如,生成器基于原始数据分布及特征生成服从原始数据分布及特征的目标眼底OCT影像,原始数据分布及特征可以从原始眼底OCT影像中获取,此处不再赘述。
需要说明的是,生成器和鉴别器都是生成对抗网络(generative adversarialnet,GAN)的组成部分,其中,生成器以随机噪声作为输入并试图生成样本数据。鉴别器以真实数据或者生成数据作为输入,并预测当前输入是真实数据还是生成数据。生成器需要尽可能造出样本迷惑鉴别器,而鉴别器则尽可能识别出来自生成器的样本。可选的,生成器和判别器最终能达到平衡。
可以理解的是,预置的随机噪声可以是当前获取的,也可以是提前生成并存储在眼底OCT影像增强装置上的,具体此处不做限定。
104、通过鉴别器判断目标眼底OCT影像是否真实。
眼底OCT影像增强装置通过鉴别器判断目标眼底OCT影像是否真实。具体的,眼底OCT影像增强装置将获取到的原始眼底OCT影像和生成器生成的目标眼底OCT影像输入到鉴别器,同时鉴别器会获取原始眼底OCT影像的分布特征,和目标眼底OCT影像的分布特征,鉴别器会比较目标眼底OCT影像的分布特征和原始眼底OCT影像的分布特征;判断目标眼底OCT影像是否真实。
需要说明的是,眼底OCT影像增强装置还可以比较目标眼底OCT影像和原始眼底OCT影像的其他参数,例如,鉴别器通过交叉熵损失函数评价目标眼底OCT影像和原始眼底OCT影像的分布差异,当两个数据分布差异越小则交叉熵值越小,说明生成的目标眼底OCT影像和原始眼底OCT影像相似度越高。当交叉熵小于预设的阈值时,则可以确定目标眼底OCT影像真实。还可以比较其他参数,以判断目标眼底OCT影像和原始眼底OCT影像的相似度,具体此处不做限定。
105、若目标眼底OCT影像真实,则将目标眼底OCT影像保留。
若目标眼底OCT影像真实,则眼底OCT影像增强装置将目标眼底OCT影像保留,即将目标眼底OCT影像作为合格的影像。具体的,若眼底OCT影像增强装置确定生成的目标眼底OCT影像为真实的,那么,就将该目标眼底OCT影像和原始眼底OCT影像放在同一个影像集合中,方便下次调用。
本发明实施例,根据原始眼底OCT影像生成新眼底OCT影像,提高了新眼底OCT影像的真实性,避免和原始眼底OCT影像差异过大,解决了真实数据太少及数据不均衡问题,提高了影像处理效率。
请参阅图2,本发明实施例提供的眼底OCT影像增强方法的另一个流程图,具体包括:
201、获取原始眼底光学相干断层扫描技术OCT影像。
眼底OCT影像增强装置获取原始眼底光学相干断层扫描技术OCT影像。其中,眼底OCT影像增强装置获取原始眼底光学相干断层扫描技术(optical coherence tomography,OCT)影像,该原始眼底OCT影像由OCT设备直接得到,未经过任何处理。
目前OCT分为两大类:时域OCT(time domain optical coherence tomography,TD-OCT)和频域OCT(frequency domain optical coherence tomography,FD-OCT)。时域OCT是把在同一时间从组织中反射回来的光信号与参照反光镜反射回来的光信号叠加、干涉,然后成像。频域OCT是参考臂的参照反光镜固定不动,通过改变光源光波的频率来实现信号的干涉。本发明实施例可以通过多种方式获取原始眼底OCT影像,可以通过TD-OCT方式获取,还可以通过FD-OCT方式获取,具体采用何种获取方式此处不做限定。
可以理解的是,本发明的执行主体可以为眼底OCT影像增强装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以眼底OCT影像增强装置为执行主体为例进行说明。
202、通过预置的深度学习网络模型构建生成器和鉴别器。
眼底OCT影像增强装置通过预置的深度学习网络模型构建生成器和鉴别器,其中,该生成器用于生成目标眼底OCT影像,该鉴别器用于鉴别生成的目标眼底OCT影像是否真实。
需要说明的是,深度学习的实质,是通过构建具有很多隐层的机器学习模型和海量的训练数据,来学习更有用的特征,从而最终提升分类或预测的准确性。区别于传统的浅层学习,深度学习的不同在于:1)强调了模型结构的深度,通常有5层、6层,甚至10多层的隐层节点;2)明确突出了特征学习的重要性,也就是说,通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间,从而使分类或预测更加容易。与人工规则构造特征的方法相比,利用大数据来学习特征,更能够刻画数据的丰富内在信息。如何构建深度学习网络模型可以参考现有技术,此处不再赘述。
203、通过生成器将预置的随机噪声转换成目标眼底OCT影像。
眼底OCT影像增强装置通过生成器将预置的随机噪声转换成目标眼底OCT影像。例如,生成器基于原始数据分布及特征生成服从原始数据分布及特征的目标眼底OCT影像,原始数据分布及特征可以从原始眼底OCT影像中获取,此处不再赘述。
需要说明的是,生成器和鉴别器都是生成对抗网络(generative adversarialnet,GAN)的组成部分,其中,生成器以随机噪声作为输入并试图生成样本数据。鉴别器以真实数据或者生成数据作为输入,并预测当前输入是真实数据还是生成数据。生成器需要尽可能造出样本迷惑鉴别器,而鉴别器则尽可能识别出来自生成器的样本。可选的,生成器和判别器最终能达到平衡。
可以理解的是,预置的随机噪声可以是当前获取的,也可以是提前生成并存储在眼底OCT影像增强装置上的,具体此处不做限定。
204、通过鉴别器对目标眼底OCT影像进行分析,确定目标眼底OCT影像的分布特征。
眼底OCT影像增强装置通过鉴别器对目标眼底OCT影像进行分析,确定目标眼底OCT影像的分布特征。分布特征包括形状特征、水平特征和差异特征。其中,形状特征包括偏度和峰度,例如,当偏度为0时,说明分布对称;当偏度大于0时,说明分布的右侧有长尾;当偏度小于0时,说明分布的左侧有长尾。当峰度为0时,说明为标准正太分布;当峰度大于0时,说明为尖峰分布;当峰度小于0时,说明为扁平分布。其中,水平特征包括描述统计量,该描述统计量包括平均数、中位数、四分位数和众数,例如,平均数包括简单平均数和加权平均数,中位数可以先排序然后看奇偶进行计算得到,四分位数为数据排序后处于四分之一和四分之三位置上的值,众数为出现次数最多的值。其中,差异特征包括极差、四分位差、方差、标准差、离散系数、标准分数,例如,四分位差的值越小分布越集中,其他差异特征的特性可参照现有技术,具体此处不再赘述。
205、通过鉴别器基于目标眼底OCT影像的分布特征判断目标眼底OCT影像是否真实。
眼底OCT影像增强装置根据目标眼底OCT影像的分布特征判断目标眼底OCT影像是否真实。具体的,眼底OCT影像增强装置获取原始眼底OCT影像的分布特征,分布特征包括形状特征、水平特征和差异特征;将原始眼底OCT影像的形状特征、水平特征和差异特征,与目标眼底OCT影像的形状特征、水平特征和差异特征分别进行比较,得到形状特征相似度值、水平特征相似度值和差异特征相似度值;将形状特征相似度值、水平特征相似度值和差异特征相似度值按照各自的权重计算得到分布特征相似度;若分布特征相似度大于阈值,则通过鉴别器确定目标眼底OCT影像真实。
需要说明的是,眼底OCT影像增强装置还可以比较目标眼底OCT影像和原始眼底OCT影像的其他参数,例如,鉴别器通过交叉熵损失函数评价目标眼底OCT影像和原始眼底OCT影像的分布差异,当两个数据分布差异越小则交叉熵值越小,说明生成的目标眼底OCT影像和原始眼底OCT影像相似度越高。具体的,眼底OCT影像增强装置生成目标眼底OCT影像的分布特征和原始眼底OCT影像的分布特征的交叉熵损失函数;通过鉴别器判断交叉熵损失函数的值是否小于阈值;若交叉熵损失函数的值小于阈值,则通过鉴别器确定目标眼底OCT影像真实。其中,所述生成目标眼底OCT影像的分布特征和原始眼底OCT影像的分布特征的交叉熵损失函数的过程包括:将目标眼底OCT影像的分布特征值作为预测值q(x);将原始眼底OCT影像的分布特征值作为真实值p(x);生成预测值q(x)和真实值p(x)的交叉熵函数H(p,q),其中,x为正整数,具体表达式为:H(p,q)=-∑p(x)log(q(x))。当交叉熵小于预设的阈值时,则可以确定目标眼底OCT影像真实。还可以比较其他参数,以判断目标眼底OCT影像和原始眼底OCT影像的相似度,具体此处不做限定。
206、若目标眼底OCT影像真实,则将目标眼底OCT影像保留。
若目标眼底OCT影像真实,则眼底OCT影像增强装置将目标眼底OCT影像保留,即将目标眼底OCT影像作为合格的影像。具体的,若眼底OCT影像增强装置确定生成的目标眼底OCT影像为真实的,那么,就将该目标眼底OCT影像和原始眼底OCT影像放在同一个影像集合中,方便下次调用。
207、将真实的目标眼底OCT影像和所述原始眼底OCT影像存储在同一个眼底OCT影像集合中。
眼底OCT影像增强装置将真实的目标眼底OCT影像和所述原始眼底OCT影像存储在同一个眼底OCT影像集合中,方便下一次调用该影像集合。
需要说明的是,目标眼底OCT影像是生成器伪造生成的,只要目标眼底OCT影像和原始眼底OCT影像一样(服从原始数据分布),那么鉴别器就认为目标眼底OCT影像是真实,但因为是目标眼底OCT影像伪造出来的(生成的),所以和真实的原始眼底OCT影像(原始数据)或多或少会有差异,最终起到了增强数据的效果。也就是说,丰富了原有影像集合的数据的多样性。
208、若目标眼底OCT影像不真实,则将目标眼底OCT影像重新输入到生成器进行影像优化。
若目标眼底OCT影像不真实,则眼底OCT影像增强装置将目标眼底OCT影像重新输入到生成器进行影像优化,直至生成器生成的改目标眼底OCT影像被鉴别器确定为真实影像。
具体的,当目标眼底OCT影像不真实,则眼底OCT影像增强装置将目标眼底OCT影像重新输入到生成器,进行进一步的修改,提高目标眼底OCT影像与原始眼底OCT影像的相似度。例如,首先生成器会将预置的随机噪声转换成和原始眼底OCT影像同样大小的中间数据,基于这个中间数据生成目标眼底OCT影像并将其输入鉴别器判断,如果鉴别器认为该目标眼底OCT影像和原始眼底OCT影像不同,生成器会基于该目标眼底OCT影像继续生成,直到鉴别器认为生成的目标眼底OCT影像和原始眼底OCT影像相同或相似度达到要求为止。
本发明实施例,根据原始眼底OCT影像生成新眼底OCT影像,提高了新眼底OCT影像的真实性,避免和原始眼底OCT影像差异过大,解决了真实数据太少及数据不均衡问题,提高了影像处理效率。同时在样本较小且样本不均衡的情况,可以通过加入生成对抗网络生成的增强影像数据,提高了训练模型的性能及泛化效果。
上面对本发明实施例中眼底OCT影像增强方法进行了描述,下面对本发明实施例中眼底OCT影像增强装置进行描述,请参阅图3,本发明实施例中眼底OCT影像增强装置的一个实施例包括:
获取单元301,用于获取原始眼底光学相干断层扫描技术OCT影像;
构建单元302,用于通过预置的深度学习网络模型构建生成器和鉴别器;
转换单元303,用于通过所述生成器将预置的随机噪声转换成目标眼底OCT影像;
判断单元304,用于通过所述鉴别器判断所述目标眼底OCT影像是否真实;
保留单元305,若所述目标眼底OCT影像真实,则用于将所述目标眼底OCT影像保留。
本发明实施例,根据原始眼底OCT影像生成新眼底OCT影像,提高了新眼底OCT影像的真实性,避免和原始眼底OCT影像差异过大,解决了真实数据太少及数据不均衡问题,提高了影像处理效率。
请参阅图4,本发明实施例中眼底OCT影像增强装置的另一个实施例包括:
获取单元301,用于获取原始眼底光学相干断层扫描技术OCT影像;
构建单元302,用于通过预置的深度学习网络模型构建生成器和鉴别器;
转换单元303,用于通过所述生成器将预置的随机噪声转换成目标眼底OCT影像;
判断单元304,用于通过所述鉴别器判断所述目标眼底OCT影像是否真实;
保留单元305,若所述目标眼底OCT影像真实,则用于将所述目标眼底OCT影像保留。
可选的,眼底OCT影像增强装置还包括:
优化单元306,若所述目标眼底OCT影像不真实,则用于将所述目标眼底OCT影像重新输入到所述生成器进行影像优化。
可选的,判断单元304包括:
第一确定模块3041,用于通过所述鉴别器对所述目标眼底OCT影像进行分析,确定目标眼底OCT影像的分布特征;
第一判断模块3042,用于通过所述鉴别器基于根据所述目标眼底OCT影像的分布特征判断目标眼底OCT影像是否真实。
可选的,第一判断模块3042具体用于:
获取原始眼底OCT影像的分布特征,所述分布特征包括形状特征、水平特征和差异特征;将所述原始眼底OCT影像的形状特征、水平特征和差异特征,与所述目标眼底OCT影像的形状特征、水平特征和差异特征分别进行比较,得到形状特征相似度值、水平特征相似度值和差异特征相似度值;将所述形状特征相似度值、所述水平特征相似度值和所述差异特征相似度值按照各自的权重计算得到分布特征相似度;若所述分布特征相似度大于阈值,则确定所述目标眼底OCT影像真实。
可选的,判断单元304还包括:
生成模块3043,用于生成所述目标眼底OCT影像的分布特征和所述原始眼底OCT影像的分布特征的交叉熵损失函数;
第二判断模块3044,用于通过所述鉴别器判断所述交叉熵损失函数的值是否小于阈值;
第二确定模块3045,若所述交叉熵损失函数的值小于阈值,则用于通过所述鉴别器确定所述目标眼底OCT影像真实。
可选的,生成模块3043具体用于:
将所述目标眼底OCT影像的分布特征值作为预测值q(x);将所述原始眼底OCT影像的分布特征值作为真实值p(x);生成所述预测值q(x)和所述真实值p(x)的交叉熵函数H(p,q),其中,x为正整数,具体表达式为:
H(p,q)=-∑p(x)log(q(x))。
可选的,眼底OCT影像增强装置还包括:
存储单元307,用于将真实的目标眼底OCT影像和所述原始眼底OCT影像存储在同一个眼底OCT影像集合中。
本发明实施例,根据原始眼底OCT影像生成新眼底OCT影像,提高了新眼底OCT影像的真实性,避免和原始眼底OCT影像差异过大,解决了真实数据太少及数据不均衡问题,提高了影像处理效率。同时在样本较小且样本不均衡的情况,可以通过加入生成对抗网络生成的增强影像数据,提高了训练模型的性能及泛化效果。
上面图3至图4从模块化功能实体的角度对本发明实施例中的眼底OCT影像增强装置进行详细描述,下面从硬件处理的角度对本发明实施例中眼底OCT影像增强设备进行详细描述。
图5是本发明实施例提供的一种眼底OCT影像增强设备的结构示意图,该眼底OCT影像增强设备500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)501(例如,一个或一个以上处理器)和存储器509,一个或一个以上存储应用程序507或数据506的存储介质508(例如一个或一个以上海量存储设备)。其中,存储器509和存储介质508可以是短暂存储或持久存储。存储在存储介质508的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对眼底OCT影像增强设备中的一系列指令操作。更进一步地,处理器501可以设置为与存储介质508通信,在眼底OCT影像增强设备500上执行存储介质508中的一系列指令操作。
眼底OCT影像增强设备500还可以包括一个或一个以上电源502,一个或一个以上有线或无线网络接口503,一个或一个以上输入输出接口504,和/或,一个或一个以上操作系统505,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图5中示出的眼底OCT影像增强设备结构并不构成对眼底OCT影像增强设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。处理器501可以执行上述实施例中获取单元301、构建单元302、转换单元303、判断单元304和优化单元306的功能。
下面结合图5对眼底OCT影像增强设备的各个构成部件进行具体的介绍:
处理器501是眼底OCT影像增强设备的控制中心,可以按照设置的眼底OCT影像增强方法进行处理。处理器501利用各种接口和线路连接整个眼底OCT影像增强设备的各个部分,通过运行或执行存储在存储器509内的软件程序和/或模块,以及调用存储在存储器509内的数据,执行眼底OCT影像增强设备的各种功能和处理数据,提高生成的新眼底OCT影像的真实性,避免和原始眼底OCT影像差异过大,解决真实数据太少及数据不均衡问题,提高影像处理效率。存储介质508和存储器509都是存储数据的载体,本发明实施例中,存储介质508可以是指储存容量较小,但速度快的内存储器,而存储器509可以是储存容量大,但储存速度慢的外存储器。
存储器509可用于存储软件程序以及模块,处理器501通过运行存储在存储器509的软件程序以及模块,从而执行眼底OCT影像增强设备500的各种功能应用以及数据处理。存储器509可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如通过生成器将预置的随机噪声转换成目标眼底OCT影像)等;存储数据区可存储根据眼底OCT影像增强设备的使用所创建的数据(比如生成器和鉴别器)等。此外,存储器509可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。在本发明实施例中提供的眼底OCT影像增强方法程序和接收到的数据流存储在存储器中,当需要使用时,处理器501从存储器509中调用。
在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、双绞线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,光盘)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种眼底OCT影像增强方法,其特征在于,包括:
获取原始眼底光学相干断层扫描技术OCT影像;
通过预置的深度学习网络模型构建生成器和鉴别器;
通过所述生成器将预置的随机噪声转换成目标眼底OCT影像;
通过所述鉴别器判断所述目标眼底OCT影像是否真实;
若所述目标眼底OCT影像真实,则将所述目标眼底OCT影像保留。
2.根据权利要求1所述的眼底OCT影像增强方法,其特征在于,在所述通过所述鉴别器判断所述目标眼底OCT影像是否真实之后,所述方法还包括:
若所述目标眼底OCT影像不真实,则将所述目标眼底OCT影像重新输入到所述生成器进行影像优化。
3.根据权利要求1所述的眼底OCT影像增强方法,其特征在于,所述通过所述鉴别器判断所述目标眼底OCT影像是否真实包括:
通过所述鉴别器对所述目标眼底OCT影像进行分析,确定目标眼底OCT影像的分布特征;
通过所述鉴别器基于所述目标眼底OCT影像的分布特征判断目标眼底OCT影像是否真实。
4.根据权利要求3所述的眼底OCT影像增强方法,其特征在于,所述通过所述鉴别器基于所述目标眼底OCT影像的分布特征判断目标眼底OCT影像是否真实包括:
获取原始眼底OCT影像的分布特征,所述分布特征包括形状特征、水平特征和差异特征;
将所述原始眼底OCT影像的形状特征、水平特征和差异特征,与所述目标眼底OCT影像的形状特征、水平特征和差异特征分别进行比较,得到形状特征相似度值、水平特征相似度值和差异特征相似度值;
将所述形状特征相似度值、所述水平特征相似度值和所述差异特征相似度值按照各自的权重计算得到分布特征相似度;
若所述分布特征相似度大于阈值,则通过所述鉴别器确定所述目标眼底OCT影像真实。
5.根据权利要求3所述的眼底OCT影像增强方法,其特征在于,所述通过所述鉴别器基于所述目标眼底OCT影像的分布特征判断目标眼底OCT影像是否真实包括:
生成所述目标眼底OCT影像的分布特征和所述原始眼底OCT影像的分布特征的交叉熵损失函数;
通过所述鉴别器判断所述交叉熵损失函数的值是否小于阈值;
若所述交叉熵损失函数的值小于阈值,则通过所述鉴别器确定所述目标眼底OCT影像真实。
6.根据权利要求5所述的眼底OCT影像增强方法,其特征在于,所述生成所述目标眼底OCT影像的分布特征和所述原始眼底OCT影像的分布特征的交叉熵损失函数包括:
将所述目标眼底OCT影像的分布特征值作为预测值q(x);
将所述原始眼底OCT影像的分布特征值作为真实值p(x);
生成所述预测值q(x)和所述真实值p(x)的交叉熵函数H(p,q),其中,x为正整数,具体表达式为:H(p,q)=-∑p(x)log(q(x))。
7.根据权利要求1-6中任一所述的眼底OCT影像增强方法,其特征在于,所述方法还包括:
将真实的目标眼底OCT影像和所述原始眼底OCT影像存储在同一个眼底OCT影像集合中。
8.一种眼底OCT影像增强装置,其特征在于,包括:
获取单元,用于获取原始眼底光学相干断层扫描技术OCT影像;
构建单元,用于通过预置的深度学习网络模型构建生成器和鉴别器;
转换单元,用于通过所述生成器将预置的随机噪声转换成目标眼底OCT影像;
判断单元,用于通过所述鉴别器判断所述目标眼底OCT影像是否真实;
保留单元,若所述目标眼底OCT影像真实,则用于将所述目标眼底OCT影像保留。
9.一种眼底OCT影像增强设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-7中任意一项所述的眼底OCT影像增强方法。
10.一种计算机可读存储介质,其特征在于,包括指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1-7中任意一项所述的眼底OCT影像增强方法。
CN201910524224.5A 2019-06-18 2019-06-18 眼底oct影像增强方法、装置、设备及存储介质 Active CN110415182B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910524224.5A CN110415182B (zh) 2019-06-18 2019-06-18 眼底oct影像增强方法、装置、设备及存储介质
PCT/CN2019/102532 WO2020252898A1 (zh) 2019-06-18 2019-08-26 眼底oct影像增强方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910524224.5A CN110415182B (zh) 2019-06-18 2019-06-18 眼底oct影像增强方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110415182A true CN110415182A (zh) 2019-11-05
CN110415182B CN110415182B (zh) 2024-03-05

Family

ID=68359213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910524224.5A Active CN110415182B (zh) 2019-06-18 2019-06-18 眼底oct影像增强方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN110415182B (zh)
WO (1) WO2020252898A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449774A (zh) * 2021-06-02 2021-09-28 北京鹰瞳科技发展股份有限公司 眼底图像质量控制方法、装置、电子设备及存储介质
CN116912203A (zh) * 2023-07-13 2023-10-20 桂林电子科技大学 基于多智能模型结合的异常眼底图像低耗检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392312A (zh) * 2017-06-01 2017-11-24 华南理工大学 一种基于dcgan性能的动态调整算法
US20180307947A1 (en) * 2017-04-25 2018-10-25 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
US20180314716A1 (en) * 2017-04-27 2018-11-01 Sk Telecom Co., Ltd. Method for learning cross-domain relations based on generative adversarial networks
CN108932534A (zh) * 2018-07-15 2018-12-04 瞿文政 一种基于深度卷积生成对抗网络的图片生成方法
CN108961272A (zh) * 2018-07-02 2018-12-07 浙江工业大学 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法
CN109658466A (zh) * 2018-12-10 2019-04-19 苏州大学 一种疾病视网膜光学相干断层影像仿真生成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180307947A1 (en) * 2017-04-25 2018-10-25 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
US20180314716A1 (en) * 2017-04-27 2018-11-01 Sk Telecom Co., Ltd. Method for learning cross-domain relations based on generative adversarial networks
CN107392312A (zh) * 2017-06-01 2017-11-24 华南理工大学 一种基于dcgan性能的动态调整算法
CN108961272A (zh) * 2018-07-02 2018-12-07 浙江工业大学 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法
CN108932534A (zh) * 2018-07-15 2018-12-04 瞿文政 一种基于深度卷积生成对抗网络的图片生成方法
CN109658466A (zh) * 2018-12-10 2019-04-19 苏州大学 一种疾病视网膜光学相干断层影像仿真生成方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449774A (zh) * 2021-06-02 2021-09-28 北京鹰瞳科技发展股份有限公司 眼底图像质量控制方法、装置、电子设备及存储介质
CN116912203A (zh) * 2023-07-13 2023-10-20 桂林电子科技大学 基于多智能模型结合的异常眼底图像低耗检测方法及系统
CN116912203B (zh) * 2023-07-13 2024-04-05 桂林电子科技大学 基于多智能模型结合的异常眼底图像低耗检测方法及系统

Also Published As

Publication number Publication date
WO2020252898A1 (zh) 2020-12-24
CN110415182B (zh) 2024-03-05

Similar Documents

Publication Publication Date Title
US11593916B2 (en) Image super-resolution method and apparatus
JP6778247B2 (ja) 眼球血管および顔認識のための画像および特徴品質、画像強化および特徴抽出、ならびにバイオメトリックシステムのための眼球血管と顔領域および/またはサブ顔領域との融合
CN111656357B (zh) 眼科疾病分类模型的建模方法、装置及系统
WO2021184933A1 (zh) 一种人体三维模型重建方法
EP4145353A1 (en) Neural network construction method and apparatus
CN108090561B (zh) 存储介质、电子装置、游戏操作的执行方法和装置
US20190266747A1 (en) Object detection method, device, system and storage medium
CN111882643A (zh) 三维人脸构建方法、装置和电子设备
CN109847366B (zh) 用于游戏的数据处理方法和装置
CN107980140A (zh) 一种掌静脉的识别方法及装置
CN109361934A (zh) 图像处理方法、装置、设备及存储介质
CN109223002A (zh) 自闭症患病预测方法、装置、设备及存储介质
CN110084253A (zh) 一种生成物体检测模型的方法
CN110415182A (zh) 眼底oct影像增强方法、装置、设备及存储介质
CN114418069A (zh) 一种编码器的训练方法、装置及存储介质
Nikulin et al. Free-lunch saliency via attention in atari agents
Reddy et al. An efficient multilevel thresholding scheme for heart image segmentation using a hybrid generalized adversarial network
Bhanu et al. Object detection in multi-modal images using genetic programming
CN112101438A (zh) 一种左右眼分类方法、装置、服务器和存储介质
Wang et al. Mindbridge: A cross-subject brain decoding framework
CN114005156A (zh) 人脸替换方法、系统、终端设备及计算机存储介质
US8238682B2 (en) Parallel processing for generating a thinned image
CN114998696A (zh) 基于特征增强与多层级融合的YOLOv3目标检测方法
CN115841437A (zh) 一种图像增强的方法、装置及设备
CN116486108B (zh) 一种图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant