CN113850804B - 基于生成对抗网络的视网膜图像生成系统及方法 - Google Patents
基于生成对抗网络的视网膜图像生成系统及方法 Download PDFInfo
- Publication number
- CN113850804B CN113850804B CN202111428717.2A CN202111428717A CN113850804B CN 113850804 B CN113850804 B CN 113850804B CN 202111428717 A CN202111428717 A CN 202111428717A CN 113850804 B CN113850804 B CN 113850804B
- Authority
- CN
- China
- Prior art keywords
- stage
- style
- generator
- training
- disease
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 210000001525 retina Anatomy 0.000 title claims description 23
- 239000013598 vector Substances 0.000 claims abstract description 141
- 230000011218 segmentation Effects 0.000 claims abstract description 77
- 201000010099 disease Diseases 0.000 claims abstract description 69
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 66
- 230000004256 retinal image Effects 0.000 claims abstract description 65
- 238000013507 mapping Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 22
- 230000002792 vascular Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 23
- 238000010801 machine learning Methods 0.000 abstract description 9
- 230000005856 abnormality Effects 0.000 abstract description 3
- 210000004204 blood vessel Anatomy 0.000 description 7
- 208000002780 macular degeneration Diseases 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 206010012689 Diabetic retinopathy Diseases 0.000 description 3
- 101100285518 Drosophila melanogaster how gene Proteins 0.000 description 3
- 206010064930 age-related macular degeneration Diseases 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002207 retinal effect Effects 0.000 description 3
- 206010003210 Arteriosclerosis Diseases 0.000 description 2
- 208000010412 Glaucoma Diseases 0.000 description 2
- 208000032843 Hemorrhage Diseases 0.000 description 2
- 208000016624 Retinal neoplasm Diseases 0.000 description 2
- 208000011775 arteriosclerosis disease Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000035755 proliferation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000005590 Choroidal Neovascularization Diseases 0.000 description 1
- 206010060823 Choroidal neovascularisation Diseases 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 208000008069 Geographic Atrophy Diseases 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 208000037273 Pathologic Processes Diseases 0.000 description 1
- 208000035837 Rare retinal disease Diseases 0.000 description 1
- 208000007135 Retinal Neovascularization Diseases 0.000 description 1
- GMBQZIIUCVWOCD-WWASVFFGSA-N Sarsapogenine Chemical compound O([C@@H]1[C@@H]([C@]2(CC[C@@H]3[C@@]4(C)CC[C@H](O)C[C@H]4CC[C@H]3[C@@H]2C1)C)[C@@H]1C)[C@]11CC[C@H](C)CO1 GMBQZIIUCVWOCD-WWASVFFGSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004220 fundus oculi Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009054 pathological process Effects 0.000 description 1
- 208000024725 retina neoplasm Diseases 0.000 description 1
- 201000008933 retinal cancer Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Surgery (AREA)
- Evolutionary Computation (AREA)
- Veterinary Medicine (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明提供了视网膜图像生成方法及系统,其以训练集中的视网膜图像及其对应分割标注图构成的拼接图和基于疾病不同阶段的风格向量之间的差异所产生的风格向量作为输入训练生成式对抗网络,利用训练好的生成器自动生成能准确反映疾病演化过程的各种异常的视网膜图像及其对应的分割标注图,从而为机器学习模型提供丰富的训练样本数据。
Description
技术领域
本发明涉及医疗信息化领域,尤其涉及用于生成视网膜图像的系统和方法。
背景技术
人体的很多疾病如黄斑变性、视网膜肿瘤、糖尿病性视网膜病变(糖网)、动脉硬化等会波及眼睛,引起视网膜的变化。因此可以通过视网膜图像来检测眼底异常改变,从而监测疾病的进程。近年来,机器学习在医学领域得到了广泛的应用,尤其以深度学习为代表的机器学习技术在医疗影像领域被广泛关注。在视网膜图像检测方面,深度学习技术已经被用于青光眼、糖尿病视网膜病变、年龄相关性黄斑变性等眼底疾病的检测,并取得了良好效果。在实际医学应用场景中,青光眼诊断所依据的杯盘比、糖尿病的诊断所依据的出血、渗出、视网膜新生血管、年龄相关性黄斑变性诊断所依据的玻璃膜疣、地图状萎缩、脉络膜新生血管等视网膜病灶出现的位置、数量会影响到眼底疾病的危重程度的判断及医生的诊断方案。
已经有现有技术利用深度学习的技术对多种视网膜病灶进行分割和分类。对于深度学习模型来说,输入越多的且标注质量越高的样本图像,就能获取更加准确的分割及其分类的预测结果。但是视网膜图像通常病灶较多且边缘复杂,通过有经验的医生人工进行分割标注的成本非常高,而且时间长,因此常常由于训练样本数据不足而导致深度学习模型预测准确度较低。尤其是对于一些相对罕见的视网膜疾病而言,比如新生血管性黄斑变性、糖网增殖期等,训练数据获取难度更大,相应的疾病分类模型的性能也会更受限。
发明内容
因此,本发明实施例的目的在于提供自动生成视网膜图像及其对应分割标注图的方法及设备。上述目的是通过以下技术方案实现的:
根据本发明实施例的第一方面,提供了一种视网膜图像生成器的训练方法,包括:经由映射网络基于随机采样的第一数量的向量分别生成相应数量的疾病第一阶段风格向量和相应数量的疾病第二阶段风格向量,从而确定疾病第一阶段对应的中心风格向量和疾病第二阶段对应中心风格向量;基于疾病第一阶段对应的中心风格向量与疾病第二阶段对应中心风格向量之间的差异以及从隐含空间随机采样的向量共同生成新的风格向量提供给生成器;以及以训练集中的视网膜图像及其对应分割标注图构成的拼接图和所述新生成的风格向量作为输入提供至生成器对其进行训练,所述生成器用于生成视网膜图像及其对应分割标注图。
在本发明的一些实施例中,对生成器进行训练时还可以采用的损失函数包括用来衡量生成图像的血管不变性的损失函数,其通过比较生成的分割图与输入的分割图中血管图像来计算。
在本发明的一些实施例中,作为生成器输入的拼接图可以包括四个通道,其中前三个通道为视网膜图像的RGB通道,另一个通道为该视网膜图像对应的分割标注图。
根据本发明实施例的第二方面,提供了一种用于视网膜图像生成的方法,包括:接收与疾病第一阶段相关的视网膜图像;利用预先训练好的映射网络获取新的风格向量,所获取的风格向量与疾病第二阶段相关;以接收的视网膜图像及其对应分割标注图构成的拼接图和所获取的风格向量作为输入提供至预先训练好的生成器,所述生成器输出相应的视网膜图像及其对应分割标注图;其中所述生成器和映射网络是根据本发明实施例第一方面所述的方法训练的;其中所述风格向量是通过下列步骤获取的:
由映射网络基于随机采样的第一数量的向量分别生成相应数量的疾病第一阶段风格向量和相应数量的疾病第二阶段风格向量,从而确定疾病第一阶段对应的中心风格向量和疾病第二阶段对应中心风格向量;基于疾病第一阶段对应的中心风格向量与疾病第二阶段对应中心风格向量之间的差异以及从隐含空间随机采样的向量共同生成新的风格向量以提供给生成器。
在本发明的一些实施例中,还可以包括响应于确定接收到的视网膜图像没有对应的分割标注图,以像素值全为零的图作为该视网膜图像对应的分割标注图。
根据本发明实施例的第三方面,提供了一种视网膜图像生成系统,其包括训练模块和图像生成模块。其中训练模块被配置为经由映射网络基于随机采样的第一数量的向量分别生成相应数量的疾病第一阶段风格向量和相应数量的疾病第二阶段风格向量,从而确定疾病第一阶段对应的中心风格向量和疾病第二阶段对应中心风格向量;基于疾病第一阶段对应的中心风格向量与疾病第二阶段对应中心风格向量之间的差异以及从隐含空间随机采样的向量共同生成新的风格向量提供给生成器;以及以训练集中的视网膜图像及其对应分割标注图构成的拼接图和所述新生成的风格向量作为输入提供至生成器对其进行训练。图像生成模块被配置为利用训练好的生成器自动生成所述疾病的视网膜图像及其对应分割标注图。
在本发明的一些实施例中,所述训练模块对生成器进行训练时可以采用的损失函数包括用来衡量生成图像的血管不变性的损失函数,其通过比较生成的分割图与输入的分割图中血管图像来计算。
在本发明的一些实施例中,作为生成器输入的拼接图可以包括四个通道,其中前三个通道为视网膜图像的RGB通道,另一个通道为该视网膜图像对应的分割标注图。
根据本发明实施例的第四方面,提供了一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,所述程序被执行时根据本发明实施例第一方面或第二方面所述的方法。
根据本发明实施例的第五方面,提供了一种电子设备,包括处理器和存储器,其中存储器用于存储可执行指令;所述处理器被配置为经由执行所述可执行指令来实现根据本发明实施例第一方面或第二方面所述的方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了StarGAN V2网络的结构示意图。
图2示出了根据本发明一个实施例的视网膜图像生成器的训练方法的流程示意图。
图3示出了根据本发明一个实施例的视网膜图像生成方法的流程示意图。
图4示出了根据本发明一个实施例的糖网图像演化示意图。
具体实施方式
为了使本发明的目的,技术方案及优点更加清楚明白,以下结合附图通过具体实施例对本发明进一步详细说明。应当理解,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在不经创造性劳动获得的所有其他实施例,都属于本发明保护的范围。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
在介绍本发明的实施例之前,首先对生成式对抗网络(Generative adversarialnetwork, GAN)进行简单介绍。生成对抗网络GAN通常由一个生成网络(Generator,也可以称为生成器)与一个判别网络(Discriminator,也可以称为判别器)组成。生成网络从隐含空间(latent space)中随机采样作为输入,其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出,其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数,最终目的是使判别网络无法判断生成网络的输出结果是否真实。以生成图片为例,生成器G是一个生成图片的网络,它接收一个随机的噪声z,通过这个噪声生成图片,记做G(z)。判别器D是一个判别网络,判别一张图片是不是“真实的”。它的输入参数是x,x代表一张图片,输出D(x)代表x为真实图片的概率。在训练过程中,生成器G的目标就是尽量生成真实的图片去欺骗判别器D。而判别器D的目标就是尽量把G生成的图片和真实的图片分别开来。这样,G和D构成了一个动态的“博弈过程”最后博弈的结果是,G可以生成足以“以假乱真”的图片G(z)。对于D来说,它难以判定G生成的图片究竟是不是真实的,因此D(G(z)) =0.5。这样就得到了一个训练好的生成G,它可以用来生成图片。G和 D 不一定是神经网络,只要是能拟合相应生成和判别的函数即可。但优选地使用深度神经网络作为 G 和 D。现在已经有很多种基于GAN架构的机器学习模型,例如pix2pix、coGAN、cycleGAN、DiscoGAN、StarGAN(星型生成式对抗网络)。应指出,上述仅是对于GAN架构简单介绍,如果要将GAN应用到具体技术领域得到性能较好的模型,则需要有良好的训练方法。基于不同的训练样本的选择,采用不同的训练方法所得到的GAN模型的性能差别很大。
在本发明的实施例中基于星型生成式对抗网络StarGAN V2的架构来训练相应的机器学习模型以自动生成视网膜图像及其对应的分割标注图。图1给出了StarGAN V2的网络架构示意。该网络主要包括四个模块:生成器、映射网络、风格编码器及判别器。其中生成器结合风格编码生成指定类别的图像;映射网络及风格编码器主要是以从隐含空间随机生成的隐含编码或某一类别的图像为输入,经过不同的分支输出表示不同类别的风格编码;判别器与传统的GAN的判别器相同,主要用于判别生成的图像是否接近于同类别的原始输入,即区分真假图像。其训练过程如下: 1)将任意类别的图片x与任意风格编码s(也可以称为风格向量)作为输入提供至生成器G,其输出所生成的风格为s的图像,记为G(x, s)。其中作为生成器G的输入之一风格编码s可以由风格编码器或映射网络产生,其中风格编码器根据输入的图像,输出对应类别的风格编码,如图1所示,每个域代表一个类别。而映射网络根据在隐含空间随机采样得到的隐含编码z(即在隐含空间随机采用的向量,也可称为隐含向量)映射到相应类别的风格编码。映射网络和风格编码器的域的数量(即输出类别的数量)是在训练之前预先设置的。2)将利用生成器G所生成的图像与原始图像分别作为输入至判别器D,其由多个输出分支组成。每个分支二元学习一个二元分类,确定输入的图像是相应类别的真实图像还是由生成器生成的假图像。判别器D的输出分支的数量与映射网络和风格编码器中域的数量是一致的。在训练过程中,所采用的损失函数包括对抗损失函数L adv 、风格重建损失函数L sty 、风格多样性损失函数L ds 和一致性损失函数L cyc 。对抗损失函数L adv 的目标是使得输出图像尽可能接近于真实图像。风格重建损失函数L sty 目标是使得风格编码器及映射网络输出能够尽量表征某一类别风格的编码向量。风格多样性损失函数L ds 的目标是使得经过不同的风格编码后生成的图像尽可能具有多样性。一致性损失函数L cyc 的目标是尽可能保持生成图像与原始图像结构上的不变性。因此最终训练目标是使得这四个损失函数的加权和尽可能地小。其中每次计算上述损失函数的加权和之后,进行梯度的反向传播,更新各个模块的参数,如此迭代训练,知道G可以生成足以“以假乱真”的图片。这样,利用经训练后得到的生成器可以基于输入的图像和指定的风格(类别)生成该指定风格的图像。
可以看出,StarGAN V2网络可以实现不同类别图像之间的相互转换,将一种类别的图像转换成另一种类别的图像。然而对于反映患者疾病状况的视网膜图像(也可以称为“眼底图像”),疾病变化过程中不同阶段的视网膜图像之间往往并没有明确的划分或界限。例如,以糖尿病性视网膜病变(可简称为糖网)为例,虽然糖网病变过程可以大体上分为未见明显异常、非增殖期糖网轻度、非增殖期糖网中度、非增殖期糖网重度、糖网增值期等几个阶段,但实际上在上述阶段之间仍存在很多中间状态,而且视网膜图像还会因不同年龄阶段不同生理特征的患者以及疾病发展的不同时期等因素而不断发生变化,很难对某种疾病的视网膜图像进行准确的阶段(也可称“类别”,本发明实施例中两者可以互换)划分。因此,在将StarGAN V2应用于生成视网膜图像的过程中面临很多挑战。而且,本发明并非旨在将一种类别(或一个阶段)的视网膜图像转换成另一种类别(或另一阶段)的视网膜图像,而是提供自动生成能准确反映疾病变化过程中不同阶段的视网膜图像及其对应的分割标注图的方法,从而为机器学习模型提供丰富的训练样本数据,以解决由于训练样本数据不足而导致针对视网膜图像的机器学习模型预测准确度较低的问题。
图2给出了根据本发明一个实施例的视网膜图像生成器的训练方法。该方法包括:步骤S1)经由映射网络基于隐含空间随机采样的第一数量的向量分别生成相应数量的与特定眼底相关疾病第一阶段风格向量和相应数量的第二阶段风格向量;步骤S2)确定该疾病第一阶段对应的中心风格向量和第二阶段对应中心风格向量;步骤S3)基于该疾病第一阶段对应的中心风格向量与第二阶段对应中心风格向量之间的差异以及从隐含空间随机采样的一个向量共同生成新的风格向量提供给生成器;步骤S4)以训练集中的视网膜图像及其对应分割标注图构成的拼接图和所述新生成的风格向量作为输入提供至生成器对其进行训练,该生成器用于自动生成所述疾病的视网膜图像及其对应分割标注图。应理解,本发明的实施例中所述的“第一阶段”,“第二阶段”仅用于区别与眼底相关疾病的不同发展阶段,而不必用于描述特定的顺序或先后次序。为描述方便,下面均以糖网作为与眼底相关疾病的示例来对本发明的实施例进行描述。但应理解,本发明的实施例也适用于其他诸如黄斑变性、视网膜肿瘤、动脉硬化等引起视网膜异常的疾病类型。考虑到在训练阶段和在线处理阶段对于特征的提取和处理是基本相同的,下文主要结合图2对于训练阶段进行详细介绍。
如上文提到的,在训练过程中,映射网络和风格编码器的域的数量(即输出类别的数量)是在训练之前预先设置的。在该实施例中以糖网作为疾病的示例,因此可以根据糖网的特点将映射网络、风格编码器以及判别器的类别大体上划分为健康、糖网轻度、糖网中度、糖网重度四个阶段。为了能更好地模拟眼底疾病的演化进程,例如从糖网轻度到糖网重度中间病灶的变化过程,在本发明的实施例中,对于生成器所需的风格向量进行了调整,并不是直接使用由映射网络或风格编码器产生的风格向量作为输入。例如,要模拟的是从糖网轻度到糖网重度中间病灶的变化过程,因此第一阶段即为糖网轻度,第二阶段为糖网重度,经过训练后得到的生成器可生成从糖网轻度到糖网重度演化过程中的各个时期的中间病灶的视网膜图像及其对应分割标注图,而无需疾病演化过程中各个时期的视网膜图像的详细类别划分。更具体地,在步骤S1),首先经由映射网络基于从隐含空间随机采样的N个向量分别生成N个糖网轻度的风格向量和N个糖网重度的风格向量。在步骤S2)基于经由映射网络生成N个糖网轻度风格向量确定中心向量作为糖网轻度对应的中心风格向量s 1 ,基于N个糖网重度风格向量确定中心向量来作为糖网重度对应中心风格向量s 2 。接着在步骤S3)基于糖网轻度对应的中心风格向量s 1 与糖网重度对应中心风格向量s 2 之间的差异以及从隐含空间随机采样的任一向量s’共同生成新的风格向量s new 提供给生成器。例如,s new =s’+λ(s 2 - s 1 ),其中λ的取值范围在0~1之间。采用这样得到的风格向量作为输入训练生成器,能得到从糖网轻度到糖网重度之间的更多更接近真实演化过程的中间演化图像及分割图。这里的N至少大于2,N的取值越大,后续经过平均后,通过两组风格向量获得的中心向量之间差异就越稳定,但相应地计算量也越大大,因此其可以根据实际需求和系统性能而定,在此不进行限制。
在该实施例中,除了上述对作为生成器的输入之一的风格向量进行处理之外,还对生成器的另一输入进行了调整。如上文提到的,本发明的实施例并非简单地将一种视网膜图像转换成另一种视网膜图像,而是旨在得到能准确反映疾病变化过程的各种异常的视网膜图像及其对应的分割标注图来提供丰富的训练样本数据。因此在步骤S4)作为生成器的图像输入,除采用了原始视网膜图像外,还额外加入了原始图像所对应的分割图像。也就是将训练集中的视网膜图像及其对应分割图像拼接后成为一个四通道图像x输入到生成器。该输入的图像x包含四个通道,前三个通道为视网膜图像的RGB通道,最后一个通道为分割图。这样,就可以输入图像x与在步骤S3)生成新的风格向量s new 一起作为输入提供给生成器,以对其进行训练。训练集中的视网膜图像及其对应分割图像可以部分来源于人工标注的训练样本数据,也可以利用现有的训练好的血管或病灶分割模型来对视网膜图像进行分割以得到视网膜图像对应的分割图像(例如专利申请CN112418263A)。本文对此不进行限制。
在一些实施例中,为了提高所训练的生成器的性能,在训练过程中除了采用上述的对抗损失函数L adv 、风格重建损失函数L sty 、风格多样性损失函数L ds 和一致性损失函数L cyc 之外,还针对上述训练用的输入的图像的调整,设置了通过比较生成的分割图与输入的分割图中血管图像来计算的损失函数L stru ,用来衡量生成图像的血管不变性。例如在一个示例中,损失函数L stru 用来计算生成的分割图与输入的分割图中血管之间的交叉熵损失,其公式为:
其中y为输入分割图中像素的类别,当像素点在标注为血管的区域时,y的值取1,
否则为0. 为生成的分割图中属于血管类的概率。在又一个示例中,损失函数L stru 用于衡
量生成的分割图的血管分割区域与输入的分割图中的血管标注区域之间的Dice Loss,其
计算方式为:
其中,为输入的分割图中的血管区域,为依据风格s和输入图像x
生成的分割图中的血管区域。在通常疾病演化过程中,不同视网膜图像的血管结构和位置
往往很少发生变化,因此,通过进一步加入上述用来衡量生成图像的血管不变性的损失函
数后,更有利于改善生成器所输出的图像的真实性。这样,训练阶段中的训练目标是使得这
五个损失函数的加权和尽可能地小。其中每次计算上述损失函数的加权和之后,进行梯度
的反向传播,更新各个模块的参数,如此迭代训练。尽管在步骤S1)提到利用映射网络生成
风格向量,但在又一些实施例中,在训练过程中也可以交替通过映射网络或风格编码器生
成风格向量。
经过训练完成后得到一个能够根据输入图像和指定的风格向量生成所需风格的图像及其对应分割图的生成器模型以及一个能按照指定的类别将随机产生的向量映射成指定类别的风格向量的映射网络。然后,就可以利用训练好的生成器自动生成相应疾病的视网膜图像及其对应分割标注图。以糖网为例,通过上述训练好的生成器可以实现糖网发展预测,任意输入某一分期的糖网图像,能够通过上述生成器获得该图像所对应的更轻分期的图像及更重分期的图像。而且上述生成器不仅可以实现疾病不同阶段图像之间的转换如糖网轻度到中度、轻度到健康、轻度到重度等,还可以模拟疾病不同阶段之间演化过程,从而可实现糖网各个分级数据的扩增,尤其是罕见的糖网增殖期数据。另外,上述生成器能同步生成指定的糖网分级的图像及其所对应的分割标注图,从而可以为机器学习模型提供丰富的训练样本数据,进一步提高针对视网膜图像的机器学习模型预测准确度。
另外,在上述在训练时为了提高血管结构的不变性及病灶分割图生成的准确性,加入分割图作为输入图像的通道之一,但在实际应用中,有时候很难获取图像对应分割图,但这并不影响上述生成器的使用。在使用该训练好的生成器时,如果待处理的图像没有对应的分割图,那么将该输入图像的分割图的通道替换为像素值全为零的图即可。
图3给出了根据本发明一个实施例的用于视网膜图像生成的方法,其包括:步骤S31)接收与眼底相关疾病第一阶段的视网膜图像;步骤S32)利用预先训练好的映射网络获取与该疾病第二阶段相关的风格向量;步骤S33)以接收的第一阶段的视网膜图像及其对应分割标注图构成的拼接图和所述新生成的风格向量作为输入提供至预先训练好的生成器,所述生成器输出相应的视网膜图像及其对应分割标注图。其中利用映射网络获取与疾病第二阶段相关的风格向量方式与上文结合步骤S1)-S3)介绍的方式类似:由映射网络基于随机采样的第一数量的向量分别生成相应数量的与眼底相关疾病第一阶段风格向量和相应数量的第二阶段风格向量,从而确定该疾病第一阶段对应的中心风格向量和第二阶段对应中心风格向量;基于疾病第一阶段对应的中心风格向量与第二阶段对应中心风格向量之间的差异以及从隐含空间随机采样的向量共同生成新的风格向量以提供给生成器。
应理解,映射网络是基于随机产生的向量输出指定类别的风格向量,因此上述步骤S31)-S33)可以循环反复地执行直至生成所需数量的视网膜图像,每次执行都会产生不同的图像。并且其中第一阶段和第二阶段也不仅限于举例的从轻度到重度,而是可以从健康到轻度、轻度到中度、轻度到健康、轻度到重度、重度到中度、重度到轻度等等,在此不进行任何限制。在又一些实施例中,该方法还可以包括响应于确定接收到的视网膜图像没有对应的分割标注图,以像素值全为零的图作为该视网膜图像对应的分割标注图。经发明人实验表明,尽管在生成时缺少了分割图的参与,但是上述生成器仍然能够同时生成眼底图和分割图。在实验中,以图4(a)左上角第一幅图作为输入,由于其没有对应的分割图,因此在图4(b)左上角显示其对应分割图为以像素值全为零的图,以此为输入循环执行上述过程17次,得到17个新的视网膜图像及其对应分割图。如图4所示,从糖网轻度至糖网重度的演化过程中,生成的视网膜图像视觉看起来非常接近于真实眼底图。此外,无论是眼底图上还是分割图的表现来看,出血渗出等相关病灶不断增多,而眼底的基本结构视盘、血管走向等保持不变。由此可以看出,根据本发明实施例的视网膜图像生成方法,可以根据需要,输出更多演化阶段的扩增的视网膜图像,由此可以支持对罕见眼底疾病图像的扩增,提升分类模型的准确性。而且在输出具有相应病灶类别的视网膜图像的同时产生并输出其相应分割图,也实现对分割标注数据集的扩增,从而还可以改善分割模型的准确性。此外,还能够模拟眼底疾病的演化进程,如从糖网轻度至糖网重度中间病灶的变化过程,这无疑会给医生和病人提供具有一定临床价值的信息。
在本发明的又一个实施例中,提供了一种视网膜图像生成系统,其包括训练模块和图像生成模块。其中训练模块被配置为如上文结合图2所述的,经由映射网络基于随机采样的第一数量的向量分别生成相应数量的疾病第一阶段风格向量和相应数量的疾病第二阶段风格向量,从而确定疾病第一阶段对应的中心风格向量和疾病第二阶段对应中心风格向量;基于疾病第一阶段对应的中心风格向量与疾病第二阶段对应中心风格向量之间的差异以及从隐含空间随机采样的向量共同生成新的风格向量提供给生成器;以及以训练集中的视网膜图像及其对应分割标注图构成的拼接图和所述新生成的风格向量作为输入提供至生成器对其进行训练。其中图像生成模块被配置为如上文结合图3所述的,利用训练好的生成器自动生成所述疾病的视网膜图像及其对应分割标注图。
在本发明的又一个实施例中,还提供了一种计算机可读存储介质,其上存储有计算机程序或可执行指令,当所述计算机程序或可执行指令被执行时实现如前述实施例中所述的技术方案,其实现原理类似,此处不再赘述。在本发明的实施例中,计算机可读存储介质可以是任何能够存储数据且可以被计算装置读取的有形介质。计算机可读存储介质的实例包括硬盘驱动器、网络附加存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其它光学或非光学数据存储装置。计算机可读存储介质也可以包括分布在网络耦合计算机系统上的计算机可读介质,以便可以分布式地存储和执行计算机程序或指令。
在本发明的又一个实施例中,还提供了一种电子设备,包括处理器和存储器,其中所述存储器用于存储可由处理器执行的可执行指令,其中所述处理器被配置为执行存储器上存储的可执行指令,所述可执行指令被执行时实现前述任一实施例中介绍的技术方案,其实现原理类似,此处不再赘述。
本说明书中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此,短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个说明书中各地方的出现并非必须指代相同的实施例。此外,特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此,结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合,只要该组合不是非逻辑性的或不能工作。
本说明书中“包括”和“具有”以及类似含义的术语表达,意图在于覆盖不排他的包含,例如包含了一系列步骤或单元的过程、方法、系统、产品或设备并不限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。“一”或“一个”也不排除多个的情况。另外,本申请附图中的各个元素仅仅为了示意说明,并非按比例绘制。
虽然本发明已经通过上述实施例进行了描述,然而本发明并非局限于这里所描述的实施例,在不脱离本发明范围的情况下还包括所做出的各种改变以及变化。
Claims (8)
1.一种视网膜图像生成器的训练方法,包括:
经由映射网络基于随机采样的第一数量的向量分别生成相应数量的疾病第一阶段风格向量和相应数量的疾病第二阶段风格向量,从而基于所生成的相应数量的疾病第一阶段风格向量确定疾病第一阶段对应的中心风格向量,并基于所生成的相应数量的疾病第二阶段风格向量确定疾病第二阶段对应中心风格向量;
基于疾病第一阶段对应的中心风格向量与疾病第二阶段对应中心风格向量之间的差异以及从隐含空间随机采样的向量共同生成新的风格向量提供给生成器,其中所述新的风格向量以如下公式获得:
s new =s’+λ(s 2 - s 1 ),其中s new 为所述新的风格向量,s 1 表示疾病第一阶段对应的中心风格向量,s 2 表示疾病第二阶段对应中心风格向量,s’表示从隐含空间随机采样的向量,λ的取值范围在0~1之间;
以训练集中的视网膜图像及其对应分割标注图构成的拼接图和所述新的风格向量作为输入提供至生成器对其进行训练,所述生成器用于生成视网膜图像及其对应分割标注图,其中作为生成器输入的拼接图包括四个通道,其中前三个通道为视网膜图像的RGB通道,另一个通道为该视网膜图像对应的分割标注图;
基于生成器的输出判断与该生成器对应的损失函数是否达到预设标准,如果没有,则更新映射网络和生成器的相应参数,重复上述步骤以进行下一轮训练;否则,结束训练。
2.根据权利要求1所述的方法,其中,对生成器进行训练时采用的损失函数包括用来衡量生成图像的血管不变性的损失函数,其通过比较生成的分割图与输入的分割图中血管图像来计算。
3.一种用于视网膜图像生成的方法,包括:
接收与疾病第一阶段相关的视网膜图像;
利用预先训练好的映射网络获取新的风格向量,所获取的风格向量与疾病第二阶段相关;
以接收的视网膜图像及其对应分割标注图构成的拼接图和所获取的风格向量作为输入提供至预先训练好的生成器,所述生成器输出相应的视网膜图像及其对应分割标注图;
其中所述生成器和映射网络是根据如权利要求1-2中任一项所述的方法训练的。
4.根据权利要求3所述的方法,还包括响应于确定接收到的视网膜图像没有对应的分割标注图,以像素值全为零的图作为该视网膜图像对应的分割标注图。
5.一种视网膜图像生成系统,其包括训练模块和图像生成模块,其中:
训练模块被配置为经由映射网络基于随机采样的第一数量的向量分别生成相应数量的疾病第一阶段风格向量和相应数量的疾病第二阶段风格向量,从而基于所生成的相应数量的疾病第一阶段风格向量确定疾病第一阶段对应的中心风格向量,并基于所生成的相应数量的疾病第二阶段风格向量确定疾病第二阶段对应中心风格向量;基于疾病第一阶段对应的中心风格向量与疾病第二阶段对应中心风格向量之间的差异以及从隐含空间随机采样的向量共同生成新的风格向量提供给生成器;以训练集中的视网膜图像及其对应分割标注图构成的拼接图和所述新的风格向量作为输入提供至生成器对其进行训练;以及基于生成器的输出判断与该生成器对应的损失函数是否达到预设标准,如果没有,则更新映射网络和生成器的相应参数,重复上述步骤以进行下一轮训练;否则,结束训练;其中,所述新的风格向量以如下公式获得:s new =s’+λ(s 2 - s 1 ),其中s new 为所述新的风格向量,s 1 表示疾病第一阶段对应的中心风格向量,s 2 表示疾病第二阶段对应中心风格向量,s’表示从隐含空间随机采样的向量,λ的取值范围在0~1之间;其中作为生成器输入的拼接图包括四个通道,其中前三个通道为视网膜图像的RGB通道,另一个通道为该视网膜图像对应的分割标注图;
图像生成模块被配置为利用训练好的生成器自动生成所述疾病的视网膜图像及其对应分割标注图。
6.根据权利要求5所述的系统,其中,所述训练模块对生成器进行训练时采用的损失函数包括用来衡量生成图像的血管不变性的损失函数,其通过比较生成的分割图与输入的分割图中血管图像来计算。
7.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,所述程序被执行时实现权利要求1-4中任一项所述的方法。
8.一种电子设备,包括处理器和存储器,其中存储器用于存储可执行指令;所述处理器被配置为经由执行所述可执行指令来实现权利要求1-4中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111428717.2A CN113850804B (zh) | 2021-11-29 | 2021-11-29 | 基于生成对抗网络的视网膜图像生成系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111428717.2A CN113850804B (zh) | 2021-11-29 | 2021-11-29 | 基于生成对抗网络的视网膜图像生成系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113850804A CN113850804A (zh) | 2021-12-28 |
CN113850804B true CN113850804B (zh) | 2022-03-18 |
Family
ID=78982183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111428717.2A Active CN113850804B (zh) | 2021-11-29 | 2021-11-29 | 基于生成对抗网络的视网膜图像生成系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113850804B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114119359B (zh) * | 2022-01-25 | 2022-05-06 | 北京鹰瞳科技发展股份有限公司 | 用于基于眼底图像的疾病演进的图像生成方法及其相关产品 |
CN115272255A (zh) * | 2022-08-02 | 2022-11-01 | 中山大学中山眼科中心 | 一种利用眼底彩照自动生成荧光造影图像的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537801A (zh) * | 2018-03-29 | 2018-09-14 | 山东大学 | 基于生成对抗网络的视网膜血管瘤图像分割方法 |
CN110503654A (zh) * | 2019-08-01 | 2019-11-26 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 |
CN111127447A (zh) * | 2019-12-26 | 2020-05-08 | 河南工业大学 | 基于生成式对抗网络的血管分割网络及方法 |
CN112967174A (zh) * | 2021-01-21 | 2021-06-15 | 北京达佳互联信息技术有限公司 | 图像生成模型训练、图像生成方法、装置及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BR112019022447A2 (pt) * | 2017-04-27 | 2020-06-09 | Bober Miroslaw | sistema e método para análise de imagem funduscópica automatizada |
-
2021
- 2021-11-29 CN CN202111428717.2A patent/CN113850804B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537801A (zh) * | 2018-03-29 | 2018-09-14 | 山东大学 | 基于生成对抗网络的视网膜血管瘤图像分割方法 |
CN110503654A (zh) * | 2019-08-01 | 2019-11-26 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 |
CN111127447A (zh) * | 2019-12-26 | 2020-05-08 | 河南工业大学 | 基于生成式对抗网络的血管分割网络及方法 |
CN112967174A (zh) * | 2021-01-21 | 2021-06-15 | 北京达佳互联信息技术有限公司 | 图像生成模型训练、图像生成方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113850804A (zh) | 2021-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110197493B (zh) | 眼底图像血管分割方法 | |
US12040079B2 (en) | Medical image processing apparatus, medical image processing method and computer-readable medium | |
CN109584254B (zh) | 一种基于深层全卷积神经网络的心脏左心室分割方法 | |
Costa et al. | End-to-end adversarial retinal image synthesis | |
CN113850804B (zh) | 基于生成对抗网络的视网膜图像生成系统及方法 | |
US20220284584A1 (en) | Computerised tomography image processing | |
CN107563434B (zh) | 一种基于三维卷积神经网络的脑部mri图像分类方法、装置 | |
KR101902883B1 (ko) | 컴퓨터 단층촬영 영상에서 플라크를 분석하기 위한 방법 및 장치 | |
WO2022121100A1 (zh) | 一种基于darts网络的多模态医学图像融合方法 | |
TW202221568A (zh) | 圖像識別方法、電子設備、電腦可讀儲存介質 | |
CN110400298A (zh) | 心脏临床指标的检测方法、装置、设备及介质 | |
CN114863225B (zh) | 图像处理模型训练方法、生成方法、装置、设备及介质 | |
US20060211940A1 (en) | Blood vessel structure segmentation system and method | |
Wehbe et al. | Deep learning for cardiovascular imaging: A review | |
Marin et al. | Numerical surrogates for human observers in myocardial motion evaluation from SPECT images | |
CN111612756A (zh) | 冠状动脉特异性钙化检测方法及装置 | |
Kreitner et al. | Synthetic optical coherence tomography angiographs for detailed retinal vessel segmentation without human annotations | |
CN110503636B (zh) | 参数调整方法、病灶预测方法、参数调整装置及电子设备 | |
Arega et al. | Leveraging uncertainty estimates to improve segmentation performance in cardiac MR | |
CN109726753A (zh) | 基于时间信号曲线的灌注动态影像的分割方法及系统 | |
CN111862259A (zh) | 医学灌注图像处理方法和医学成像设备 | |
CN114782569B (zh) | 一种基于深度学习的dsc-mri血液动力学参数定量方法和系统 | |
Coyner et al. | Diagnosability of synthetic retinal fundus images for plus disease detection in retinopathy of prematurity | |
Chan et al. | Automated quality controlled analysis of 2d phase contrast cardiovascular magnetic resonance imaging | |
Youssef et al. | A patch-wise deep learning approach for myocardial blood flow quantification with robustness to noise and nonrigid motion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |