CN112541924B - 眼底图像生成方法、装置、设备以及存储介质 - Google Patents
眼底图像生成方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN112541924B CN112541924B CN202011422771.1A CN202011422771A CN112541924B CN 112541924 B CN112541924 B CN 112541924B CN 202011422771 A CN202011422771 A CN 202011422771A CN 112541924 B CN112541924 B CN 112541924B
- Authority
- CN
- China
- Prior art keywords
- fundus
- fundus image
- real
- network
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 111
- 238000013135 deep learning Methods 0.000 claims abstract description 105
- 230000011218 segmentation Effects 0.000 claims description 141
- 238000000605 extraction Methods 0.000 claims description 69
- 230000006870 function Effects 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 32
- 238000005070 sampling Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 19
- 230000003902 lesion Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000001902 propagating effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000004438 eyesight Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 9
- 208000032843 Hemorrhage Diseases 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 206010012689 Diabetic retinopathy Diseases 0.000 description 3
- 230000000740 bleeding effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002792 vascular Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000008595 infiltration Effects 0.000 description 2
- 238000001764 infiltration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000416 exudates and transudate Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了眼底图像生成方法、装置、设备以及存储介质，涉及计算机视觉、深度学习和智慧医疗等人工智能领域，具体可应用于医疗影像分析场景下。该方法的一具体实施方式包括：获取第一真实眼底图像、第二真实眼底图像和第三真实眼底图像；从第一真实眼底图像提取眼底血管掩膜；从第二真实眼底图像提取眼底病灶掩膜；将第三真实眼底图像、眼底血管掩膜和眼底病灶掩膜输入生成网络，生成仿真眼底图像。该实施方式提供了一种结合眼底图像的机型分布信息、眼底血管结构信息和病灶信息这三种信息的眼底图像生成技术，解决了眼底图像数据匮乏的问题。
Description
技术领域
本申请实施例涉及计算机技术领域，具体涉及计算机视觉、深度学习和智慧医疗等人工智能技术领域，尤其涉及眼底图像生成方法、装置、设备以及存储介质。
背景技术
糖尿病视网膜病变(Diabetic Retinopathy，DR)是指由糖尿病引起视网膜血管壁受损，导致视网膜上出现微血管瘤、硬性渗出物和出血等病灶，使视觉功能下降，是主要致盲疾病之一。DR早期没有显著症状，到了晚期即便发现也难以治疗，因此早发现、及时干预具有重要的临床意义。眼底彩色照相方法价格低廉，对药物不敏感，易于记录和保存，被眼科医师认为是最适合DR筛查的方法。
随着计算机技术的发展和各种算法的不断涌现，利用深度学习网络识别眼底病灶的方式逐渐代替全人工识别。然而，深度学习网络需要利用大量带眼底病灶标注的眼底图像进行训练。目前，训练深度学习网络的眼底图像多是对带眼底病灶的眼底拍摄的眼底图像，再由专业医学知识的人员对眼底病灶进行标注所得到的。
发明内容
本申请实施例提出了眼底图像生成方法、装置、设备以及存储介质。
第一方面，本申请实施例提出了一种眼底图像生成方法，包括：获取第一真实眼底图像、第二真实眼底图像和第三真实眼底图像；从第一真实眼底图像提取眼底血管掩膜；从第二真实眼底图像提取眼底病灶掩膜；将第三真实眼底图像、眼底血管掩膜和眼底病灶掩膜输入生成网络，生成仿真眼底图像。
第二方面，本申请实施例提出了一种眼底图像生成装置，包括：获取模块，被配置成获取第一真实眼底图像、第二真实眼底图像和第三真实眼底图像；第一提取模块，被配置成从第一真实眼底图像提取眼底血管掩膜；第二提取模块，被配置成从第二真实眼底图像提取眼底病灶掩膜；生成模块，被配置成将第三真实眼底图像、眼底血管掩膜和眼底病灶掩膜输入生成网络，生成仿真眼底图像。
第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。
第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据如第一方面中任一实现方式描述的方法。
本申请实施例提供的眼底图像生成方法、装置、设备以及存储介质，首先获取第一真实眼底图像、第二真实眼底图像和第三真实眼底图像；然后从第一真实眼底图像提取眼底血管掩膜，以及从第二真实眼底图像提取眼底病灶掩膜；最后将第三真实眼底图像、眼底血管掩膜和眼底病灶掩膜输入生成网络，生成仿真眼底图像。提供了一种结合眼底图像的机型分布信息、眼底血管结构信息和病灶信息这三种信息的眼底图像生成技术，解决了眼底图像数据匮乏的问题。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请可以应用于其中的示例性系统架构；
图2是根据本申请的眼底图像生成方法的一个实施例的流程图；
图3是提取眼底血管掩膜的示意图；
图4是提取眼底病灶掩膜的示意图；
图5是眼底血管掩膜提取方法的一个实施例的流程图；
图6是眼底病灶掩膜提取方法的一个实施例的流程图；
图7是生成网络训练方法的一个实施例的流程图；
图8是生成对抗网络训练方法的一个实施例的流程图；
图9是用于生成仿真眼底图像的GAN算法框架图；
图10是根据本申请的眼底图像生成装置的一个实施例的结构示意图；
图11是用来实现本申请实施例的眼底图像生成方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的眼底图像生成方法或眼底图像生成装置的实施例的示例性系统架构100。
如图1所示，系统架构100中可以包括存储设备101、网络102和服务器103。网络102用以在存储设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
存储设备101可以通过网络102与服务器103交互。存储设备101中可以提供真实眼底图像，包括但不限于数据库、用户终端等等。
服务器103可以提供各种服务，例如服务器103可以对从存储设备101获取到的真实眼底图像等数据进行分析等处理，生成处理结果(例如仿真眼底图像)。
需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的眼底图像生成方法一般由服务器103执行，相应地，眼底图像生成装置一般设置于服务器103中。
应该理解，图1中的存储设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的存储设备、网络和服务器。在服务器103中存储有真实眼底图像的情况下，系统架构100可以不设置存储设备101和网络102。
继续参考图2，其示出了根据本申请的眼底图像生成方法的一个实施例的流程200。该眼底图像生成方法包括以下步骤：
步骤201，获取第一真实眼底图像、第二真实眼底图像和第三真实眼底图像。
在本实施例中，眼底图像生成方法的执行主体(例如图1所示的服务器103)可以获取第一真实眼底图像、第二真实眼底图像和第三真实眼底图像。其中，第一真实眼底图像、第二真实眼底图像和第三真实眼底图像是三张不同的真实眼底图像，即，对三个不同的眼底进行拍摄所得到的眼底图像。这三个眼底通常带有眼底病灶，至少第二真实眼底图像对应的眼底带有眼底病灶。眼底病灶可以是眼底发生病变的部分。例如，当眼底发生糖尿病视网膜病变时，眼底病灶可以包括但不限于微血管瘤、出血、硬渗和软渗等。
在实际应用中，第一真实眼底图像、第二真实眼底图像和第三真实眼底图像的尺寸可能存在差异，因此需要将三张真实眼底图像进行预处理，以实现三张真实眼底图像的标准化。具体地，对于每张真实眼底图像，将该图像的长边按照预设尺寸的缩放比进行缩放，以及将缩放后的图像放置于预设尺寸乘以预设尺寸的背景图像中心。例如，将图像按照最长边与512尺寸的缩放比进行缩放，使其最长边长度为512，将其放置于512*512尺寸的背景图像中心，形成一个固定尺寸512*512*3图像。其中，真实眼底图像是R(red，红)、G(green，绿)、B(blue，蓝)三个颜色通道的彩色图像。
步骤202，从第一真实眼底图像提取眼底血管掩膜。
在本实施例中，上述执行主体可以从第一真实眼底图像提取眼底血管掩膜(mask)。其中，眼底血管掩膜可以是由0和1组成的二进制图像，用于对第一真实眼底图像中的眼底血管进行像素过滤。具体地，眼底血管区域对应的像素值可以是1，而眼底血管区域外对应的像素值可以是0。眼底血管掩膜与第一真实眼底图像的尺寸相同。例如，若第一真实眼底图像被标准化为一个512*512*3图像，则眼底血管掩膜是一个512*512*1图像，其通道代表眼底血管的预测结果。
为了便于理解，图3示出了提取眼底血管掩膜的示意图。其中，(a)是第一真实眼底图像，(b)是从第一真实眼底图像提取出的眼底血管掩膜。
通常，常用的眼底血管掩膜提取方法均适用于本申请，例如基于海森矩阵(Hessian Matrix)的血管增强方法。
在本实施例的一些可选的实现方式中，上述执行主体可以采用常用的深度学习分割算法框架提取眼底血管掩膜。具体地，上述执行主体可以首先将第一真实眼底图像输入至第一深度学习分割网络，输出眼底血管得分图；然后对眼底血管得分图进行阈值化分割，得到眼底血管掩膜。其中，眼底血管得分图中的得分可以表征对应的像素点属于眼底血管的分数。
步骤203，从第二真实眼底图像提取眼底病灶掩膜。
在本实施例中，上述执行主体可以从第二真实眼底图像提取眼底病灶掩膜。其中，眼底病灶掩膜可以是由0和1组成的二进制图像，用于对第二真实眼底图像中的眼底病灶进行像素过滤。具体地，眼底病灶区域对应的像素值可以是1，而眼底病灶区域外对应的像素值可以是0。眼底病灶掩膜与第二真实眼底图像的尺寸相同。例如，若第二真实眼底图像被标准化为一个512*512*3图像，则眼底病灶掩膜是一个512*512*N图像。其中，N为正整数，其值由眼底病灶类型确定。例如，在眼底病灶包括微血管瘤、出血、硬渗和软渗四种类型的情况下，N＝4，眼底病灶掩膜是一个512*512*4图像，其一个通道代表一种眼底病灶类型的预测结果。
为了便于理解，图4示出了提取眼底病灶掩膜的示意图。其中，(c)是第二真实眼底图像，(d)是从第二真实眼底图像提取出的眼底病灶掩膜。
通常，常用的眼底病灶掩膜提取方法均适用于本申请，例如采用常用的深度学习分割算法框架。具体地，上述执行主体可以首先将第二真实眼底图像输入至第二深度学习分割网络，输出眼底病灶得分图；然后对眼底病灶得分图进行阈值化分割，得到眼底病灶掩膜。其中，眼底病灶得分图中的得分可以表征对应的像素点属于每类眼底病灶的分数。
步骤204，将第三真实眼底图像、眼底血管掩膜和眼底病灶掩膜输入生成网络，生成仿真眼底图像。
在本实施例中，上述执行主体可以将第三真实眼底图像、眼底血管掩膜和眼底病灶掩膜输入生成网络，生成仿真眼底图像。其中，仿真眼底图像可以以第三真实眼底图像为图像风格，其眼底血管结构为第一真实眼底图像的眼底血管结构，同时还包含有第二真实眼底图像的眼底病灶信息，是一个三种信息融合的结果。
通常，生成网络可以是一种映射函数，该函数根据三个真实眼底图像融合生成仿真眼底图像。通过从第一真实眼底图像获得眼底血管结构信息，从第二真实眼底图像获得眼底病灶信息，从第三真实眼底图像获得眼底图像机型(数据分布)信息，融合生成仿真眼底图像。具体可如下公式所示：
G(x＝(Ix,Sx,Lx),y＝(Iy,Sy,Ly),z＝(Iz，Sz,Lz))＝(Ix,Sy,Lz)。
其中，x是第三真实眼底图像，Ix是第三真实眼底图像x的眼底图像机型信息，Sx是第三真实眼底图像x的眼底血管结构信息，Lx是第三真实眼底图像x的眼底病灶信息。y是第一真实眼底图像，Iy是第一真实眼底图像y的眼底图像机型信息，Sy是第一真实眼底图像y的眼底血管结构信息，Ly是第一真实眼底图像y的眼底病灶信息。z是第二真实眼底图像，Iz是第二真实眼底图像z的眼底图像机型信息，Sz是第二真实眼底图像z的眼底血管结构信息，Lz是第二真实眼底图像z的眼底病灶信息。
本申请实施例提供的眼底图像生成方法，首先获取第一真实眼底图像、第二真实眼底图像和第三真实眼底图像；然后从第一真实眼底图像提取眼底血管掩膜，以及从第二真实眼底图像提取眼底病灶掩膜；最后将第三真实眼底图像、眼底血管掩膜和眼底病灶掩膜输入生成网络，生成仿真眼底图像。提供了一种结合眼底图像的机型分布信息、眼底血管结构信息和病灶信息这三种信息的眼底图像生成技术，解决了眼底图像数据匮乏的问题，尤其是带眼底病灶标注的眼底图像。利用本申请实施例提供的眼底图像生成方法生成大量仿真眼底图像，来训练深度学习模型，能够提高深度学习模型的算法精度。此外，本申请实施例提供的眼底图像生成方法可以生成大量机型的仿真眼底图像，降低不同机型差异对算法精度的影响，提高算法鲁棒性。
在一些实施例中，第一深度学习分割网络可以是Unet框架。Unet框架包括两部分，第一部分为特征提取结构，可采用Resnet、VGG等网络的特征提取层设计，其优点是可以利用预训练的成熟模型来加速Unet的训练。第二部分为上采样部分，这里采用反卷积处理。由于网络结构像U型，所以叫Unet框架。这里，第一深度学习分割网络可以包括第一特征提取卷积层、第一上采样反卷积层、第一共享卷积层和第一像素分类卷积层。此时，眼底血管掩膜提取方法的流程图如图5所示，该眼底血管掩膜提取方法的流程500包括：
步骤501，将第一真实眼底图像输入至第一特征提取卷积层。
在本实施例中，上述执行主体可以将第一真实眼底图像输入至第一特征提取卷积层。其中，第一特征提取层可以用于提取第一真实眼底图像的特征图。
步骤502，将第一特征提取卷积层的输出前向传播至第一上采样反卷积层和第一共享卷积层。
在本实施例中，上述执行主体可以将第一特征提取卷积层的输出前向传播至第一上采样反卷积层和第一共享卷积层。其中，第一共享卷积层可以用于产生更高维的特征图。第一上采样反卷积层可以用于将特征图上采样至与第一真实眼底图像的尺寸相同。
步骤503，将第一共享卷积层的输出融合进第一上采样反卷积层。
在本实施例中，上述执行主体可以将第一共享卷积层的输出融合进第一上采样反卷积层。这样，第一上采样反卷积层的输出信息更加丰富，并且能够保留第一真实眼底图像中的重要信息。
步骤504，将第一上采样反卷积层的输出输入至第一像素分类卷积层，输出眼底血管得分图。
在本实施例中，上述执行主体可以将第一上采样反卷积层的输出输入至第一像素分类卷积层，输出眼底血管得分图。其中，第一像素分类卷积层可以用于对每个像素进行分类。经过第一像素分类卷积层，能够输出每个像素点属于眼底血管的分数。
步骤505，对眼底血管得分图进行阈值化分割，得到眼底血管掩膜。
在本实施例中，上述执行主体可以对眼底血管得分图进行阈值化分割，得到眼底血管掩膜。通常，可以预先设定阈值(例如0.5)。将眼底血管得分图中不小于阈值的像素点的像素值设置为1，将小于阈值的像素点的像素值设置为0，即可得到眼底血管掩膜。
通常，训练第一深度学习分割网络的优化损失函数可以包括以下至少一项：二元加权交叉熵损失函数、分割损失函数(如Dice损失函数)等。在一些实施例中，采用二元加权交叉熵损失函数联合分割损失函数训练第一深度学习分割网络。两种优化损失函数联合，能够提升训练出的第一深度学习分割网络的精度。
本申请实施例提供的眼底血管掩膜提取方法，利用Unet框架的第一深度学习分割网络，融合第一共享卷积层产生更高维的特征图进行眼底血管掩膜提取，使得进行眼底血管掩膜提取的信息内容更加丰富，并且保留第一真实眼底图像中的重要信息，从而提升了提取出的眼底血管掩膜的准确度。
在一些实施例中，第二深度学习分割网络可以是Unet框架。Unet框架包括两部分，第一部分为特征提取结构，可采用Resnet、VGG等网络的特征提取层设计，其优点是可以利用预训练的成熟模型来加速Unet的训练。第二部分为上采样部分，这里采用反卷积处理。由于网络结构像U型，所以叫Unet框架。这里，第二深度学习分割网络可以包括第二特征提取卷积层、第二上采样反卷积层、第二共享卷积层和第二像素分类卷积层。此时，眼底病灶掩膜提取方法的流程图如图6所示，该眼底病灶掩膜提取方法的流程600包括：
步骤601，将第二真实眼底图像输入至第二特征提取卷积层。
在本实施例中，上述执行主体可以将第二真实眼底图像输入至第二特征提取卷积层。其中，第二特征提取层可以用于提取第二真实眼底图像的特征图。
步骤602，将第二特征提取卷积层的输出前向传播至第二上采样反卷积层和第二共享卷积层。
在本实施例中，上述执行主体可以将第二特征提取卷积层的输出前向传播至第二上采样反卷积层和第二共享卷积层。其中，第二共享卷积层可以用于产生更高维的特征图。第二上采样反卷积层可以用于将特征图上采样至与第二真实眼底图像的尺寸相同。
步骤603，将第二共享卷积层的输出融合进第二上采样反卷积层。
在本实施例中，上述执行主体可以将第二共享卷积层的输出融合进第二上采样反卷积层。这样，第二上采样反卷积层的输出信息更加丰富，并且能够保留第二真实眼底图像中的重要信息。
步骤604，将第二上采样反卷积层的输出输入至第二像素分类卷积层，输出眼底病灶得分图。
在本实施例中，上述执行主体可以将第二上采样反卷积层的输出输入至第二像素分类卷积层，输出眼底病灶得分图。其中，第二像素分类卷积层可以用于对每个像素进行分类。经过第二像素分类卷积层，能够输出每个像素点属于每种眼底病灶类型的分数。
步骤605，对眼底病灶得分图进行阈值化分割，得到眼底病灶掩膜。
在本实施例中，上述执行主体可以对眼底病灶得分图进行阈值化分割，得到眼底病灶掩膜。通常，眼底病灶掩膜可以是多通道图像，一个通道代表一种眼底病灶类型的预测结果。对于每个通道，可以预先设定阈值(例如0.5)。将眼底病灶得分图中该通道不小于阈值的像素点的像素值设置为1，将小于阈值的像素点的像素值设置为0，即可得到眼底病灶掩膜。
通常，训练第二深度学习分割网络的优化损失函数可以包括以下至少一项：二元加权交叉熵损失函数、分割损失函数(例如Dice损失函数)等。在一些实施例中，采用二元加权交叉熵损失函数联合分割损失函数训练第二深度学习分割网络，能够提升训练出的第二深度学习分割网络的精度。由于眼底病灶类型是多种，对每个眼底病灶类型的输出进行损失计算，最后再将四种眼底病灶类型的损失进行累加求和，作为第二深度学习分割网络的最终损失值。例如，在眼底病灶包括微血管瘤、出血、硬渗和软渗四种类型的情况下，最终损失值可如下公式所示：
LossalI＝Loss出血+Loss微血管瘤+Loss硬渗+Loss软渗。
其中，Lossall是最终损失值，Loss出血是出血损失值，Loss微血管瘤是微血管瘤损失值，Loss硬渗是硬渗损失值，Loss软渗是软渗损失值。
本申请实施例提供的眼底病灶掩膜提取方法，利用Unet框架的第二深度学习分割网络，融合第二共享卷积层产生更高维的特征图进行眼底病灶掩膜提取，使得进行眼底病灶掩膜提取的信息内容更加丰富，并且保留第二真实眼底图像中的重要信息，从而提升了提取出的眼底病灶掩膜的准确度。
在一些实施例中，生成网络可以包括第三深度学习分割网络、第四深度学习分割网络和第五深度学习分割网络。其中，第三深度学习分割网络、第四深度学习分割网络和第五深度学习分割网络也可以是Unet框架。此时，生成网络训练方法的流程图如图7所示，该生成网络训练方法的流程700包括：
步骤701，将第三真实眼底图像输入至第三深度学习分割网络，将眼底血管掩膜和随机噪声输入至第四深度学习分割网络，以及将眼底病灶掩膜输入至第五深度学习分割网络。
在本实施例中，生成网络训练方法的执行主体可以将第三真实眼底图像输入至第三深度学习分割网络，将眼底血管掩膜和随机噪声输入至第四深度学习分割网络，以及将眼底病灶掩膜输入至第五深度学习分割网络。其中，第三深度学习分割网络、第四深度学习分割网络和第五深度学习分割网络均包括多个特征提取层。第三深度学习分割网络可以用于提取第三真实眼底图像的特征图。第四深度学习分割网络可以用于提取眼底血管掩膜的特征图。第五深度学习分割网络可以用于提取眼底病灶掩膜的特征图。
步骤702，将第三深度学习分割网络和第五深度学习分割网络的特征提取层的输出逐层融合到第四深度学习分割网络中进行上采样，输出仿真眼底图像。
在本实施例中，上述执行主体可以将第三深度学习分割网络和第五深度学习分割网络的特征提取层的输出逐层融合到第四深度学习分割网络中不断进行上采样，直至输出期望尺寸的仿真眼底图像。通常，仿真眼底图像与标准化的真实眼底图像的尺寸一致。
步骤703，将仿真眼底图像输入至第六深度学习分割网络，输出仿真眼底血管掩膜和仿真眼底病灶掩膜。
在本实施例中，为了确保输出的仿真眼底图像能够满足需求，上述执行主体可以将仿真眼底图像输入至第六深度学习分割网络，输出仿真眼底血管掩膜和仿真眼底病灶掩膜。其中，第六深度学习分割网络也可以是Unet框架，用于提取仿真眼底血管掩膜和仿真眼底病灶掩膜。
步骤704，将眼底血管掩膜和仿真眼底血管掩膜，以及眼底病灶掩膜和仿真眼底病灶掩膜分别输入至分割损失函数，计算分割损失。
在本实施例中，上述执行主体可以将眼底血管掩膜和仿真眼底血管掩膜，以及眼底病灶掩膜和仿真眼底病灶掩膜分别输入至分割损失函数，计算分割损失。其中，分割损失函数可以例如是Dice损失函数。
步骤705，基于分割损失对生成网络进行训练。
在本实施例中，上述执行主体可以基于分割损失对生成网络进行训练，使得输出的仿真眼底图像的分布能够更大限度地类似于三个输入真实眼底图像所属的图像集各自所需的信息分布。
本申请实施例提供的生成网络训练方法，利用由三个Unet框架的深度学习分割网络组成的生成网络输出仿真眼底图像，结合另外一个Unet框架的深度学习分割网络训练生成网络，使得输出的仿真眼底图像的分布能够更大限度地类似于三个输入真实眼底图像所属的图像集各自所需的信息分布。并且，生成网络中加入血管分割结构和病灶分割结构的分割损失函数，使得生成的仿真眼底图像的血管结构和病灶结构信息作为约束项，更有针对性地确保生成的仿真眼底图像能够更好地获得高质量的血管结构和病灶信息，提升生成算法的精度。
在一些实施例中，生成对抗网络(Generative Adversarial Networks，GAN)可以包括生成网络和判别网络。其中，判别网络可以是简单结构的深度学习分类网络结构，其网络结构以例如下表所示：
通常，生成网络输出的仿真眼底图像，其对应的类别标签为0(假图像)，与第三真实眼底图像的所在机型数据集同分布的第四真实眼底图像，其对应的类别标签为1(真图像)，这两类眼底图像作为输入分别输入判别网络中，不断优化判别网络，使得判别网络能够很好地区分假图像与真图像。
进一步参考图8，其示出了生成对抗网络训练方法的流程800。该生成对抗网络训练方法包括：
步骤801，将仿真眼底图像和第四真实眼底图像分别输入至判别网络，得到仿真眼底图像和第四真实眼底图像的置信度。
在本实施例中，生成对抗网络训练方法的执行主体可以将仿真眼底图像和第四真实眼底图像分别输入至判别网络，得到仿真眼底图像和第四真实眼底图像的置信度。其中，判别网络可以分别对生成网络输出的仿真眼底图像和第四真实眼底图像的真实度进行打分，输出一个0到1之间的置信度。
步骤802，将仿真眼底图像的类别标签和置信度，以及第四真实眼底图像的类别标签和置信度分别输入至生成对抗网络的损失函数，计算生成对抗网络的损失。
在本实施例中，上述执行主体可以将仿真眼底图像的类别标签和置信度，以及第四真实眼底图像的类别标签和置信度分别输入至生成对抗网络的损失函数，计算生成对抗网络的损失。
其中，对抗网络的损失函数可以如下公式所示：
其中，MinGMaxDV(G,D)是生成对抗网络的损失函数，G是生成网络，D是对抗网络，D(i)是对抗网络的输入，G(o)是生成网络的输出，pdata(i)是第i个第四真实眼底图像的样本分布，pdata(o)是第o个仿真眼底图像的样本分布，代表求数学期望。
步骤803，基于生成对抗网络的损失交替训练判别网络和生成网络。
在本实施例中，上述执行主体可以基于生成对抗网络的损失交替训练判别网络和生成网络。
通常，判别网络可以用于对生成网络输出的仿真眼底图像进行打分，输出一个0到1之间的置信度。对于生成网络，其希望生成的仿真眼底图像无限逼近于真实眼底图像。而对于判别网络，其希望无论生成的仿真眼底图像有多真实，判别网络总是能将其和真实眼底图像区分开。因此，生成对抗网络是一个生成网络和判别网络博弈的过程。训练该生成对抗网络，生成网络和判别网络的优化是分开的，并相互交替迭代。
在一些实施例中，每次训练判别网络的次数是训练生成网络的预设倍。例如，每训练k次的判别网络后，训练一次生成网络。这样能保证生成网络的变化足够慢，使得判别网络保持在其最佳解附近。虽然生成对抗网络的优化是交替进行的，但是损失函数可以表达为一个。
联合训练时，一种情况是固定住当前的判别网络，优化生成网络。判别网络的输出结果在0-1之间，当输出为1时认为是真实眼底图像。生成网络优化的目的是骗过判别网络，即D(G(o))趋近于1，1-D(G(o))趋近于0，而logD(i)的最大值也仅仅是0。所以优化生成网络是最小化V(G,D)。另一种情况是，固定生成网络，优化判别网络。判别网络优化的目的是无论生成的仿真眼底图像多么接近真实眼底图像，都能判别出来。所以即D(G(o))趋近于0，1-D(G(o))趋近于1。所以优化判别网络是最大化V(G,D)。
本申请实施例提供的生成对抗网络训练方法，生成网络和判别网络交替训练，能保证生成网络的变化足够慢，使得判别网络保持在其最佳解附近。
为了便于理解，图9示出了用于生成仿真眼底图像的GAN算法框架图。如图9所示，有三张真实眼底图像A_img、B_img和C_img。其中，真实眼底图像A_img输入至生成网络中的第三深度学习分割网络Unet-3，从真实眼底图像B_img中提取的眼底血管掩膜B_vessel_mask和随机噪声输入至第四深度学习分割网络Unet-4，以及从真实眼底图像C_img中提取的眼底病灶掩膜C_lesions_mask输入至第五深度学习分割网络Unet-5。第三深度学习分割网络Unet-3和第五深度学习分割网络Unet-5的特征提取层的输出逐层融合到第四深度学习分割网络Unet-4中进行上采样，输出仿真眼底图像Output_Merge。仿真眼底图像Output_Merge输入至第六深度学习分割网络Unet-6，输出仿真眼底血管掩膜Vessel_mask_Merge和仿真眼底病灶掩膜Lesion_mask_Merge。将眼底血管掩膜B_vessel_mask和仿真眼底血管掩膜Vessel_mask_Merge输入至分割损失函数，计算血管分割损失Segmention_loss_1，将眼底病灶掩膜C_lesions_mask和仿真眼底病灶掩膜Lesion_mask_Merge分别输入至分割损失函数，计算病灶分割损失Segmention_loss_2。基于血管分割损失Segmention_loss_1和病灶分割损失Segmention_loss_2，训练生成网络。并且，仿真眼底图像Output_Merge和第四张真实眼底图像D_img分别输入至判别网络，得到仿真眼底图像Output_Merge和真实眼底图像D_img的置信度。将仿真眼底图像Output_Merge的类别标签和置信度，以及真实眼底图像D_img的类别标签和置信度分别输入至生成对抗网络的损失函数，计算生成对抗网络的损失。基于生成对抗网络的损失交替训练判别网络和生成网络。
进一步参考图10，作为对上述各图所示方法的实现，本申请提供了一种眼底图像生成装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图10所示，本实施例的眼底图像生成装置1000可以包括：获取模块1001、第一提取模块1002、第二提取模块1003和生成模块1004。其中，获取模块1001，被配置成获取第一真实眼底图像、第二真实眼底图像和第三真实眼底图像；第一提取模块1002，被配置成从第一真实眼底图像提取眼底血管掩膜；第二提取模块1003，被配置成从第二真实眼底图像提取眼底病灶掩膜；生成模块1004，被配置成将第三真实眼底图像、眼底血管掩膜和眼底病灶掩膜输入生成网络，生成仿真眼底图像。
在本实施例中，眼底图像生成装置1000中：获取模块1001、第一提取模块1002、第二提取模块1003和生成模块1004的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，第一提取模块1002包括：第一分割子模块，被配置成将第一真实眼底图像输入至第一深度学习分割网络，输出眼底血管得分图，其中，眼底血管得分图中的得分表征对应的像素点属于眼底血管的分数；第一阈值化子模块，被配置成对眼底血管得分图进行阈值化分割，得到眼底血管掩膜。
在本实施例的一些可选的实现方式中，第一深度学习分割网络包括第一特征提取卷积层、第一上采样反卷积层、第一共享卷积层和第一像素分类卷积层；以及第一分割子模块进一步被配置成：将第一真实眼底图像输入至第一特征提取卷积层；将第一特征提取卷积层的输出前向传播至第一上采样反卷积层和第一共享卷积层；将第一共享卷积层的输出融合进第一上采样反卷积层；将第一上采样反卷积层的输出输入至第一像素分类卷积层，输出眼底血管得分图。
在本实施例的一些可选的实现方式中，第二提取模块1003包括：第二分割子模块，被配置成将第二真实眼底图像输入至第二深度学习分割网络，输出眼底病灶得分图，其中，眼底病灶得分图中的得分表征对应的像素点属于每类眼底病灶的分数；第二阈值化子模块，被配置成对眼底病灶得分图进行阈值化分割，得到眼底病灶掩膜。
在本实施例的一些可选的实现方式中，第二深度学习分割网络包括第二特征提取卷积层、第二上采样反卷积层、第二共享卷积层和第二像素分类卷积层；以及第二分割子模块进一步被配置成：将第二真实眼底图像输入至第二特征提取卷积层；将第二特征提取卷积层的输出前向传播至第二上采样反卷积层和第二共享卷积层；将第二共享卷积层的输出融合进第二上采样反卷积层；将第二上采样反卷积层的输出输入至第二像素分类卷积层，输出眼底病灶得分图。
在本实施例的一些可选的实现方式中，生成网络包括第三深度学习分割网络、第四深度学习分割网络和第五深度学习分割网络；以及生成模块1004进一步被配置成：将第三真实眼底图像输入至第三深度学习分割网络，将眼底血管掩膜和随机噪声输入至第四深度学习分割网络，以及将眼底病灶掩膜输入至第五深度学习分割网络；将第三深度学习分割网络和第五深度学习分割网络的特征提取层的输出逐层融合到第四深度学习分割网络中进行上采样，输出仿真眼底图像。
在本实施例的一些可选的实现方式中，眼底图像生成装置1000还包括：分割模块，被配置成将仿真眼底图像输入至第六深度学习分割网络，输出仿真眼底血管掩膜和仿真眼底病灶掩膜；第一计算模块，被配置成将眼底血管掩膜和仿真眼底血管掩膜，以及眼底病灶掩膜和仿真眼底病灶掩膜分别输入至分割损失函数，计算分割损失；第一训练模块，被配置成基于分割损失对生成网络进行训练。
在本实施例的一些可选的实现方式中，眼底图像生成装置还包括：判别模块，被配置成将仿真眼底图像和第四真实眼底图像分别输入至判别网络，得到仿真眼底图像和第四真实眼底图像的置信度；第二计算模块，被配置成将仿真眼底图像的类别标签和置信度，以及第四真实眼底图像的类别标签和置信度分别输入至生成对抗网络的损失函数，计算生成对抗网络的损失；第二训练模块，被配置成基于生成对抗网络的损失交替训练判别网络和生成网络。
在本实施例的一些可选的实现方式中，每次训练判别网络的次数是训练生成网络的预设倍。
在本实施例的一些可选的实现方式中，训练第一深度学习分割网络或第二深度学习分割网络的优化损失函数是二元加权交叉熵损失函数联合分割损失函数。
在本实施例的一些可选的实现方式中，眼底图像生成装置1000还包括：预处理模块，被配置成对第一真实眼底图像、第二真实眼底图像和第三真实眼底图像进行预处理，其中，预处理包括：将图像的长边按照预设尺寸的缩放比进行缩放，以及将缩放后的图像放置于预设尺寸乘以预设尺寸的背景图像中心。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
如图11所示，是根据本申请实施例眼底图像生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图11所示，该电子设备包括：一个或多个处理器1101、存储器1102，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图11中以一个处理器1101为例。
存储器1102即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的眼底图像生成方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的眼底图像生成方法。
存储器1102作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的眼底图像生成方法对应的程序指令/模块(例如，附图10所示的获取模块1001、第一提取模块1002、第二提取模块1003和生成模块1004)。处理器1101通过运行存储在存储器1102中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的眼底图像生成方法。
存储器1102可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据眼底图像生成方法的电子设备的使用所创建的数据等。此外，存储器1102可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1102可选包括相对于处理器1101远程设置的存储器，这些远程存储器可以通过网络连接至眼底图像生成方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
眼底图像生成方法的电子设备还可以包括：输入装置1103和输出装置1104。处理器1101、存储器1102、输入装置1103和输出装置1104可以通过总线或者其他方式连接，图11中以通过总线连接为例。
输入装置1103可接收输入的数字或字符信息，以及产生与眼底图像生成方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1104可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请的技术方案，首先获取第一真实眼底图像、第二真实眼底图像和第三真实眼底图像；然后从第一真实眼底图像提取眼底血管掩膜，以及从第二真实眼底图像提取眼底病灶掩膜；最后将第三真实眼底图像、眼底血管掩膜和眼底病灶掩膜输入生成网络，生成仿真眼底图像。提供了一种结合眼底图像的机型分布信息、眼底血管结构信息和病灶信息这三种信息的眼底图像生成技术，解决了眼底图像数据匮乏的问题。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (14)
1.一种眼底图像生成方法，包括：
获取第一真实眼底图像、第二真实眼底图像和第三真实眼底图像；
从所述第一真实眼底图像提取眼底血管掩膜；
从所述第二真实眼底图像提取眼底病灶掩膜；
将所述第三真实眼底图像、所述眼底血管掩膜和所述眼底病灶掩膜输入生成网络，生成仿真眼底图像；
其中，所述从所述第一真实眼底图像提取眼底血管掩膜，包括：
将所述第一真实眼底图像输入至第一深度学习分割网络，输出眼底血管得分图，其中，所述眼底血管得分图中的得分表征对应的像素点属于眼底血管的分数；
对所述眼底血管得分图进行阈值化分割，得到所述眼底血管掩膜；
其中，所述第一深度学习分割网络包括第一特征提取卷积层、第一上采样反卷积层、第一共享卷积层和第一像素分类卷积层；以及
所述将所述第一真实眼底图像输入至第一深度学习分割网络，输出眼底血管得分图，包括：
将所述第一真实眼底图像输入至所述第一特征提取卷积层；
将所述第一特征提取卷积层的输出前向传播至所述第一上采样反卷积层和所述第一共享卷积层；
将所述第一共享卷积层的输出融合进所述第一上采样反卷积层；
将所述第一上采样反卷积层的输出输入至所述第一像素分类卷积层，输出所述眼底血管得分图；
其中，所述从所述第二真实眼底图像提取眼底病灶掩膜，包括：
将所述第二真实眼底图像输入至第二深度学习分割网络，输出眼底病灶得分图，其中，所述眼底病灶得分图中的得分表征对应的像素点属于每类眼底病灶的分数；
对所述眼底病灶得分图进行阈值化分割，得到所述眼底病灶掩膜；
其中，所述第二深度学习分割网络包括第二特征提取卷积层、第二上采样反卷积层、第二共享卷积层和第二像素分类卷积层；以及
所述将所述第二真实眼底图像输入至第二深度学习分割网络，输出眼底病灶得分图，包括：
将所述第二真实眼底图像输入至所述第二特征提取卷积层；
将所述第二特征提取卷积层的输出前向传播至所述第二上采样反卷积层和所述第二共享卷积层；
将所述第二共享卷积层的输出融合进所述第二上采样反卷积层；
将所述第二上采样反卷积层的输出输入至所述第二像素分类卷积层，输出所述眼底病灶得分图；
其中，所述生成网络包括第三深度学习分割网络、第四深度学习分割网络和第五深度学习分割网络；以及
所述将所述第三真实眼底图像、所述眼底血管掩膜和所述眼底病灶掩膜输入生成网络，生成仿真眼底图像，包括：
将所述第三真实眼底图像输入至所述第三深度学习分割网络，将所述眼底血管掩膜和随机噪声输入至所述第四深度学习分割网络，以及将所述眼底病灶掩膜输入至所述第五深度学习分割网络；
将所述第三深度学习分割网络和所述第五深度学习分割网络的特征提取层的输出逐层融合到所述第四深度学习分割网络中进行上采样，输出所述仿真眼底图像。
2.根据权利要求1所述的方法，其中，所述方法还包括：
将所述仿真眼底图像输入至第六深度学习分割网络，输出仿真眼底血管掩膜和仿真眼底病灶掩膜；
将所述眼底血管掩膜和所述仿真眼底血管掩膜，以及所述眼底病灶掩膜和所述仿真眼底病灶掩膜分别输入至分割损失函数，计算分割损失；
基于所述分割损失对所述生成网络进行训练。
3.根据权利要求2所述的方法，其中，所述方法还包括：
将所述仿真眼底图像和第四真实眼底图像分别输入至判别网络，得到所述仿真眼底图像和所述第四真实眼底图像的置信度；
将所述仿真眼底图像的类别标签和置信度，以及所述第四真实眼底图像的类别标签和置信度分别输入至生成对抗网络的损失函数，计算所述生成对抗网络的损失；
基于所述生成对抗网络的损失交替训练所述判别网络和所述生成网络。
4.根据权利要求3所述的方法，其中，每次训练所述判别网络的次数是训练所述生成网络的预设倍。
5.根据权利要求1所述的方法，其中，训练所述第一深度学习分割网络或所述第二深度学习分割网络的优化损失函数是二元加权交叉熵损失函数联合分割损失函数。
6.根据权利要求1-5之一所述的方法，其中，在所述获取第一真实眼底图像、第二真实眼底图像和第三真实眼底图像之后，还包括：
对所述第一真实眼底图像、所述第二真实眼底图像和所述第三真实眼底图像进行预处理，其中，所述预处理包括：将图像的长边按照预设尺寸的缩放比进行缩放，以及将缩放后的图像放置于所述预设尺寸乘以所述预设尺寸的背景图像中心。
7.一种眼底图像生成装置，包括：
获取模块，被配置成获取第一真实眼底图像、第二真实眼底图像和第三真实眼底图像；
第一提取模块，被配置成从所述第一真实眼底图像提取眼底血管掩膜；
第二提取模块，被配置成从所述第二真实眼底图像提取眼底病灶掩膜；
生成模块，被配置成将所述第三真实眼底图像、所述眼底血管掩膜和所述眼底病灶掩膜输入生成网络，生成仿真眼底图像；
其中，所述第一提取模块包括：
第一分割子模块，被配置成将所述第一真实眼底图像输入至第一深度学习分割网络，输出眼底血管得分图，其中，所述眼底血管得分图中的得分表征对应的像素点属于眼底血管的分数；
第一阈值化子模块，被配置成对所述眼底血管得分图进行阈值化分割，得到所述眼底血管掩膜；
其中，所述第一深度学习分割网络包括第一特征提取卷积层、第一上采样反卷积层、第一共享卷积层和第一像素分类卷积层；以及
所述第一分割子模块进一步被配置成：
将所述第一真实眼底图像输入至所述第一特征提取卷积层；
将所述第一特征提取卷积层的输出前向传播至所述第一上采样反卷积层和所述第一共享卷积层；
将所述第一共享卷积层的输出融合进所述第一上采样反卷积层；
将所述第一上采样反卷积层的输出输入至所述第一像素分类卷积层，输出所述眼底血管得分图；
其中，所述第二提取模块包括：
第二分割子模块，被配置成将所述第二真实眼底图像输入至第二深度学习分割网络，输出眼底病灶得分图，其中，所述眼底病灶得分图中的得分表征对应的像素点属于每类眼底病灶的分数；
第二阈值化子模块，被配置成对所述眼底病灶得分图进行阈值化分割，得到所述眼底病灶掩膜；
其中，所述第二深度学习分割网络包括第二特征提取卷积层、第二上采样反卷积层、第二共享卷积层和第二像素分类卷积层；以及
所述第二分割子模块进一步被配置成：
将所述第二真实眼底图像输入至所述第二特征提取卷积层；
将所述第二特征提取卷积层的输出前向传播至所述第二上采样反卷积层和所述第二共享卷积层；
将所述第二共享卷积层的输出融合进所述第二上采样反卷积层；
将所述第二上采样反卷积层的输出输入至所述第二像素分类卷积层，输出所述眼底病灶得分图；
其中，所述生成网络包括第三深度学习分割网络、第四深度学习分割网络和第五深度学习分割网络；以及
所述生成模块进一步被配置成：
将所述第三真实眼底图像输入至所述第三深度学习分割网络，将所述眼底血管掩膜和随机噪声输入至所述第四深度学习分割网络，以及将所述眼底病灶掩膜输入至所述第五深度学习分割网络；
将所述第三深度学习分割网络和所述第五深度学习分割网络的特征提取层的输出逐层融合到所述第四深度学习分割网络中进行上采样，输出所述仿真眼底图像。
8.根据权利要求7所述的装置，其中，所述装置还包括：
分割模块，被配置成将所述仿真眼底图像输入至第六深度学习分割网络，输出仿真眼底血管掩膜和仿真眼底病灶掩膜；
第一计算模块，被配置成将所述眼底血管掩膜和所述仿真眼底血管掩膜，以及所述眼底病灶掩膜和所述仿真眼底病灶掩膜分别输入至分割损失函数，计算分割损失；
第一训练模块，被配置成基于所述分割损失对所述生成网络进行训练。
9.根据权利要求8所述的装置，其中，所述装置还包括：
判别模块，被配置成将所述仿真眼底图像和第四真实眼底图像分别输入至判别网络，得到所述仿真眼底图像和所述第四真实眼底图像的置信度；
第二计算模块，被配置成将所述仿真眼底图像的类别标签和置信度，以及所述第四真实眼底图像的类别标签和置信度分别输入至生成对抗网络的损失函数，计算所述生成对抗网络的损失；
第二训练模块，被配置成基于所述生成对抗网络的损失交替训练所述判别网络和所述生成网络。
10.根据权利要求9所述的装置，其中，每次训练所述判别网络的次数是训练所述生成网络的预设倍。
11.根据权利要求7所述的装置，其中，训练所述第一深度学习分割网络或所述第二深度学习分割网络的优化损失函数是二元加权交叉熵损失函数联合分割损失函数。
12.根据权利要求7-11之一所述的装置，其中，所述装置还包括：
预处理模块，被配置成对所述第一真实眼底图像、所述第二真实眼底图像和所述第三真实眼底图像进行预处理，其中，所述预处理包括：将图像的长边按照预设尺寸的缩放比进行缩放，以及将缩放后的图像放置于所述预设尺寸乘以所述预设尺寸的背景图像中心。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011422771.1A CN112541924B (zh) | 2020-12-08 | 2020-12-08 | 眼底图像生成方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011422771.1A CN112541924B (zh) | 2020-12-08 | 2020-12-08 | 眼底图像生成方法、装置、设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112541924A CN112541924A (zh) | 2021-03-23 |
| CN112541924B true CN112541924B (zh) | 2023-07-18 |
Family
ID=75019364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011422771.1A Active CN112541924B (zh) | 2020-12-08 | 2020-12-08 | 眼底图像生成方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112541924B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325749A (zh) * | 2020-02-17 | 2020-06-23 | 东北林业大学 | 一种基于生成对抗网络的带出血病症的眼底血管图像生成方法 |
| CN115798725B (zh) * | 2022-10-27 | 2024-03-26 | 佛山读图科技有限公司 | 用于核医学的带病灶人体仿真影像数据制作方法 |
| CN116152250B (zh) * | 2023-04-20 | 2023-09-08 | 广州思德医疗科技有限公司 | 病灶掩膜图像生成方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809480A (zh) * | 2015-05-21 | 2015-07-29 | 中南大学 | 一种基于分类回归树和AdaBoost的眼底图像视网膜血管分割方法 |
| CN109325942A (zh) * | 2018-09-07 | 2019-02-12 | 电子科技大学 | 基于全卷积神经网络的眼底图像结构分割方法 |
| CN110097545A (zh) * | 2019-04-29 | 2019-08-06 | 南京星程智能科技有限公司 | 基于深度学习的眼底图像生成方法 |
| WO2019171398A1 (en) * | 2018-03-08 | 2019-09-12 | Artificial Learning Systems India Private Limited | A fundus image analysis system |
| CN110276356A (zh) * | 2019-06-18 | 2019-09-24 | 南京邮电大学 | 基于r-cnn的眼底图像微动脉瘤识别方法 |
| WO2019180742A1 (en) * | 2018-03-21 | 2019-09-26 | Artificial Learning Systems India Private Limited | System and method for retinal fundus image semantic segmentation |
| CN111199550A (zh) * | 2020-04-09 | 2020-05-26 | 腾讯科技（深圳）有限公司 | 图像分割网络的训练方法、分割方法、装置和存储介质 |
| CN111754481A (zh) * | 2020-06-23 | 2020-10-09 | 北京百度网讯科技有限公司 | 眼底图像识别方法、装置、设备以及存储介质 |
| CN111899247A (zh) * | 2020-07-31 | 2020-11-06 | 平安科技（深圳）有限公司 | 脉络膜血管的管腔区域识别方法、装置、设备及介质 |
-
2020
- 2020-12-08 CN CN202011422771.1A patent/CN112541924B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809480A (zh) * | 2015-05-21 | 2015-07-29 | 中南大学 | 一种基于分类回归树和AdaBoost的眼底图像视网膜血管分割方法 |
| WO2019171398A1 (en) * | 2018-03-08 | 2019-09-12 | Artificial Learning Systems India Private Limited | A fundus image analysis system |
| WO2019180742A1 (en) * | 2018-03-21 | 2019-09-26 | Artificial Learning Systems India Private Limited | System and method for retinal fundus image semantic segmentation |
| CN109325942A (zh) * | 2018-09-07 | 2019-02-12 | 电子科技大学 | 基于全卷积神经网络的眼底图像结构分割方法 |
| CN110097545A (zh) * | 2019-04-29 | 2019-08-06 | 南京星程智能科技有限公司 | 基于深度学习的眼底图像生成方法 |
| CN110276356A (zh) * | 2019-06-18 | 2019-09-24 | 南京邮电大学 | 基于r-cnn的眼底图像微动脉瘤识别方法 |
| CN111199550A (zh) * | 2020-04-09 | 2020-05-26 | 腾讯科技（深圳）有限公司 | 图像分割网络的训练方法、分割方法、装置和存储介质 |
| CN111754481A (zh) * | 2020-06-23 | 2020-10-09 | 北京百度网讯科技有限公司 | 眼底图像识别方法、装置、设备以及存储介质 |
| CN111899247A (zh) * | 2020-07-31 | 2020-11-06 | 平安科技（深圳）有限公司 | 脉络膜血管的管腔区域识别方法、装置、设备及介质 |
Non-Patent Citations (3)
| Title |
|---|
| 基于改进卷积神经网络的视网膜血管图像分割;吴晨;易本顺;章云港;黄松;冯雨;;光学学报(第11期);全文 * |
| 基于眼球生理结构和眼模型的眼底三维重建方法;肖志涛;李敏;吴骏;耿磊;张芳;温佳;苏龙;;天津工业大学学报(第06期);全文 * |
| 糖尿病视网膜病变眼底图像分类方法;梁平;熊彪;冯娟娟;廖瑞端;汪天富;刘维湘;;深圳大学学报(理工版)(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112541924A (zh) | 2021-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112541924B (zh) | 眼底图像生成方法、装置、设备以及存储介质 | |
| Yeung et al. | Focus U-Net: A novel dual attention-gated CNN for polyp segmentation during colonoscopy | |
| CN110047078B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN108198184B (zh) | 造影图像中血管分割的方法和系统 | |
| CN111783647B (zh) | 人脸融合模型的训练方法、人脸融合方法、装置及设备 | |
| US20190392587A1 (en) | System for predicting articulated object feature location | |
| CN112883962B (zh) | 眼底图像识别方法、装置、设备、存储介质以及程序产品 | |
| CN110298844B (zh) | X光造影图像血管分割与识别方法及装置 | |
| CN110348541A (zh) | 眼底血管图像分类方法、装置、设备及存储介质 | |
| CN111899244B (zh) | 图像分割、网络模型的训练方法及装置，及电子设备 | |
| CN111709873B (zh) | 图像转换模型生成器的训练方法和装置 | |
| CN110276408B (zh) | 3d图像的分类方法、装置、设备及存储介质 | |
| CN109919915A (zh) | 基于深度学习的视网膜眼底图像异常区域检测方法及设备 | |
| CN114565763B (zh) | 图像分割方法、装置、设备、介质及程序产品 | |
| CN113554665A (zh) | 一种血管分割方法及装置 | |
| CN111861999A (zh) | 动静脉交叉压迫征的检测方法、装置、电子设备及可读存储介质 | |
| CN111523578B (zh) | 图像分类方法及装置、神经网络模型的训练方法及装置 | |
| Huang et al. | Graph-based pyramid global context reasoning with a saliency-aware projection for covid-19 lung infections segmentation | |
| CN113553909A (zh) | 用于皮肤检测的模型训练方法、皮肤检测方法 | |
| CN113313680A (zh) | 一种结直肠癌病理图像预后辅助预测方法及系统 | |
| JP2023543964A (ja) | 画像処理方法、画像処理装置、電子機器、記憶媒体およびコンピュータプログラム | |
| CN113889238A (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
| Meng et al. | Automatic extraction of coronary arteries using deep learning in invasive coronary angiograms | |
| Shi et al. | FRCNet: feature refining and context-guided network for efficient polyp segmentation | |
| CN116402914A (zh) | 用于确定风格化图像生成模型的方法、装置及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |