CN109978796B - 眼底血管图片生成方法、装置及存储介质 - Google Patents
眼底血管图片生成方法、装置及存储介质 Download PDFInfo
- Publication number
- CN109978796B CN109978796B CN201910269535.1A CN201910269535A CN109978796B CN 109978796 B CN109978796 B CN 109978796B CN 201910269535 A CN201910269535 A CN 201910269535A CN 109978796 B CN109978796 B CN 109978796B
- Authority
- CN
- China
- Prior art keywords
- picture
- generating
- blood vessel
- model
- branch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 137
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000004220 aggregation Methods 0.000 claims abstract description 17
- 230000002776 aggregation Effects 0.000 claims abstract description 17
- 238000009792 diffusion process Methods 0.000 claims abstract description 14
- 238000009826 distribution Methods 0.000 claims description 23
- 230000005653 Brownian motion process Effects 0.000 claims description 20
- 238000005537 brownian motion Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 13
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000007477 logistic regression Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 230000015271 coagulation Effects 0.000 claims 1
- 238000005345 coagulation Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005354 coacervation Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 210000004220 fundus oculi Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明实施例提出一种眼底血管图片生成方法、装置及计算机可读存储介质。其中眼底血管图片生成方法包括：利用生成对抗网络生成第一图片，所述第一图片包括带有主干血管的眼底血管图片；利用扩散受限凝聚模型在所述第一图片中生成所述主干血管的分支血管，以生成第二图片，所述第二图片包括带有所述主干血管和所述分支血管的眼底血管图片。本发明实施例先利用生成对抗网络生成主干血管，能够极大地降低扩散受限聚集模型的运行时间，提升眼底血管图片生成的效率。并且先利用生成对抗网络生成主干血管，然后利用扩散受限聚集模型生成局部的分支血管，能够使生成图片的局部信息更为真实。
Description
技术领域
本发明涉及信息技术领域，尤其涉及一种眼底血管图片生成方法、装置及计算机可读存储介质。
背景技术
眼底病是视网膜、眼部血管或视觉神经等受损导致的一类眼部疾病，已成为致盲的主要原因之一。眼部血管的病变与青光眼、糖尿病视网膜病变等多种眼底疾病相关。图1和图2分别示出了眼底图片以及视盘区域的血管形态。
为了更好地将眼部血管区域分割出来，一般需要大量带有血管位置标注的训练数据，从而通过人工智能、机器学习等方法得到性能较高的分割模型。然而，收集眼底血管图片并进行标注的过程极为费时，这为人工智能系统的构建带来了极大的时间和经费成本。因此，如何自动生成眼底血管图片，对于发现眼底血管部位和智能诊断眼底病极为重要。例如，如何自动生成眼底血管图片，对于将眼底血管从图片中分割出来，发现眼底血管部位，如动脉、静脉等，都是极为重要的。
现有技术的眼底血管图片生成方法主要基于变分自编码器和生成对抗网络。基于变分自编码器的方法利用编码器学习图像的高层抽象特征，同时使学到的特征服从某一预先设定的先验分布。这一过程通过最小化特征分布和先验分布之间的KL散度(Kullback-Leibler散度，又称信息散度或相对熵)完成。生成图片时，从先验分布中采样新的特征点，利用解码器生成新的图片。同时，输入图片和生成图片的重构误差用于训练自编码器。
另一类图片生成方法基于生成对抗网络。其中，辨别器用于判断输入图片是真实图片还是生成图片，生成器致力于生成能够迷惑辨别器的图片。二者通过对抗学习，使得生成图片真实到无法被辨别器准确判断。
现有技术的眼底血管图片生成方法主要有以下缺陷：
(1)基于变分自编码器的方法，虽然训练过程较为稳定，但是生成图片的质量不高。重构误差容易导致生成图片较为模糊，视觉效果不够锐利。
(2)基于生成对抗网络的方法，虽然图片整体视觉效果较好，但是对于大尺寸图片，存在局部区域不够真实的问题。这一问题在高分辨率的眼底图片上表现极为明显，并且会使血管不够清晰，难以用作训练数据。
发明内容
本发明实施例提供一种眼底血管图片生成方法、装置及计算机可读存储介质，以解决现有技术中的一个或多个技术问题。
第一方面，本发明实施例提供了一种眼底血管图片生成方法，包括：
利用生成对抗网络生成第一图片，所述第一图片包括带有主干血管的眼底血管图片；
利用扩散受限凝聚模型在所述第一图片中生成所述主干血管的分支血管，以生成第二图片，所述第二图片包括带有所述主干血管和所述分支血管的眼底血管图片。
在一种实施方式中，所述生成对抗网络包括生成模型和判别模型；利用生成对抗网络生成第一图片，包括：
将噪声特征向量输入所述生成模型，由所述生成模型生成所述第一图片；
将真实眼底血管图片和所述生成模型生成的所述第一图片输入到所述判别模型，由所述判别模型产生所述生成模型生成的所述第一图片的真实性概率；
根据所述真实性概率，通过所述生成模型和所述判别模型的博弈学习训练所述生成对抗网络；
通过训练好的所述生成对抗网络生成所述第一图片。
在一种实施方式中，所述方法还包括：
从训练数据集中采样得到所述真实眼底血管图片；和/或
从先验分布中采样得到所述噪声特征向量。
在一种实施方式中，所述方法还包括：
采用逻辑回归模型对所述生成对抗网络进行优化。
在一种实施方式中，利用扩散受限凝聚模型在所述第一图片中生成所述主干血管的分支血管，包括：
将所述第一图片中的主干血管包含的像素点的集合设置为所述种子点集合；
生成分支像素点，并将所述分支像素点加入到所述种子点集合中；
若所述种子点集合中的像素点的个数小于预设的像素点个数阈值，则返回执行所述生成分支像素点，并将所述分支像素点加入到所述种子点集合中的步骤。
在一种实施方式中，生成分支像素点，并将所述分支像素点加入到所述种子点集合中，包括：
在所述第一图片的边缘随机产生分支像素点；
控制所述分支像素点在所述第一图片的区域内做布朗运动；
若所述分支像素点运动到与所述种子点集合中任一点的距离小于预设距离阈值的位置，则控制所述分支像素点停止运动，并将所述分支像素点加入到所述种子点集合中。
在一种实施方式中，控制所述分支像素点在所述第一图片的区域内做布朗运动，包括：
若所述分支像素点做布朗运动时超出所述第一图片的区域，则控制所述分支像素点进行反方向的运动以回到所述第一图片的区域内。
第二方面，本发明实施例提供了一种眼底血管图片生成装置，包括：
第一生成单元，用于：利用生成对抗网络生成第一图片，所述第一图片包括带有主干血管的眼底血管图片；
第二生成单元，用于：利用扩散受限凝聚模型在所述第一图片中生成所述主干血管的分支血管，以生成第二图片，所述第二图片包括带有所述主干血管和所述分支血管的眼底血管图片。
在一种实施方式中，所述生成对抗网络包括生成模型和判别模型；所述第一生成单元用于：
将噪声特征向量输入所述生成模型，由所述生成模型生成所述第一图片；
将真实眼底血管图片和所述生成模型生成的所述第一图片输入到所述判别模型，由所述判别模型产生所述生成模型生成的所述第一图片的真实性概率；
根据所述真实性概率，通过所述生成模型和所述判别模型的博弈学习训练所述生成对抗网络；
通过训练好的所述生成对抗网络生成所述第一图片。
在一种实施方式中，所述第一生成单元还用于：
从训练数据集中采样得到所述真实眼底血管图片；和/或
从先验分布中采样得到所述噪声特征向量。
在一种实施方式中，所述第一生成单元还用于：
采用逻辑回归模型对所述生成对抗网络进行优化。
在一种实施方式中，所述第二生成单元包括：
设置子单元，用于将所述第一图片中的主干血管包含的像素点的集合设置为所述种子点集合；
生成子单元，用于：
生成分支像素点，并将所述分支像素点加入到所述种子点集合中；
若所述种子点集合中的像素点的个数小于预设的像素点个数阈值，则返回执行所述生成分支像素点，并将所述分支像素点加入到所述种子点集合中的步骤。
在一种实施方式中，所述生成子单元用于：
在所述第一图片的边缘随机产生分支像素点；
控制所述分支像素点在所述第一图片的区域内做布朗运动；
若所述分支像素点运动到与所述种子点集合中任一点的距离小于预设距离阈值的位置，则控制所述分支像素点停止运动，并将所述分支像素点加入到所述种子点集合中。
在一种实施方式中，所述生成子单元用于：
若所述分支像素点做布朗运动时超出所述第一图片的区域，则控制所述分支像素点进行反方向的运动以回到所述第一图片的区域内。
第三方面，本发明实施例提供了一种眼底血管图片生成装置，所述装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，所述装置的结构中包括处理器和存储器，所述存储器用于存储支持所述装置执行上述眼底血管图片生成方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述装置还可以包括通信接口，用于与其他设备或通信网络通信。
第四方面，本发明实施例提供了一种计算机可读存储介质，用于存储眼底血管图片生成装置所用的计算机软件指令，其包括用于执行上述眼底血管图片生成方法所涉及的程序。
上述技术方案具有如下优点或有益效果：先利用生成对抗网络生成主干血管，能够极大地降低扩散受限聚集模型的运行时间，提升眼底血管图片生成的效率。并且先利用生成对抗网络生成主干血管，然后利用扩散受限聚集模型生成局部的分支血管，能够使生成图片的局部信息更为真实。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1示出了眼底图片的血管形态示意图。
图2示出了视盘区域的血管形态示意图。
图3示出根据本发明实施例的眼底血管图片生成方法的流程图。
图4示出根据本发明实施例的第一图片生成方法的流程图。
图5示出根据本发明实施例的第一图片生成方法的流程图。
图6示出根据本发明实施例的第二图片生成方法的流程图。
图7示出根据本发明实施例的第二图片生成方法的流程图。
图8示出根据本发明实施例的眼底血管图片生成装置的结构框图。
图9示出根据本发明实施例的眼底血管图片生成装置的第二生成单元的结构框图。
图10示出根据本发明实施例的眼底血管图片生成装置的结构框图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
图3示出根据本发明实施例的眼底血管图片生成方法的流程图。如图3所示，该眼底血管图片生成方法包括：
步骤S110，利用生成对抗网络生成第一图片，所述第一图片包括带有主干血管的眼底血管图片；
步骤S120，利用扩散受限凝聚模型在所述第一图片中生成所述主干血管的分支血管，以生成第二图片，所述第二图片包括带有所述主干血管和所述分支血管的眼底血管图片。
本发明实施例基于生成对抗网络和扩散受限凝聚模型，利用两步策略生成眼底血管图片。在步骤S110中，利用生成对抗网络得到带有主干血管的眼底血管图片。在步骤S120中，利用扩散限制聚集模型，在生成的主干血管的基础上，生成局部区域的分支血管。本发明实施例的眼底血管图片生成方法能够高效地生成主干血管，同时能够得到逼真的局部区域的分支血管。基于该方法可扩充眼底血管图片训练数据的规模，辅助智能诊断系统的构建。
图4示出根据本发明实施例的第一图片生成方法的流程图。如图4所示，在一种实施方式中，所述生成对抗网络包括生成模型和判别模型；图3中的步骤S110，利用生成对抗网络生成第一图片，具体可包括：
步骤S210，将噪声特征向量输入所述生成模型，由所述生成模型生成所述第一图片；
步骤S220，将真实眼底血管图片和所述生成模型生成的所述第一图片输入到所述判别模型，由所述判别模型产生所述生成模型生成的所述第一图片的真实性概率；
步骤S230，根据所述真实性概率，通过所述生成模型和所述判别模型的博弈学习训练所述生成对抗网络；
步骤S240，通过训练好的所述生成对抗网络生成所述第一图片。
其中，生成对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型。这种模型的框架包括：生成模型(Generative Model，简称G)和判别模型(Discriminative Modell，简称D)。通过两个模型的互相博弈学习产生相当好的输出。在一个示例中，可使用深度神经网络作为生成模型G和判别模型D。
本发明实施例中，生成模型的输入信息为噪声特征向量，输出信息为第一图片；判别模型的输入信息为真实眼底血管图片与生成模型输出的第一图片，输出信息为生成模型输出的第一图片是真实眼底血管图片的概率。
在步骤S210中，将噪声特征向量输入到生成对抗网络的生成模型中，由生成模型生成带有主干血管的眼底血管图片，也就是第一图片。然后在步骤S220中，将第一图片和真实眼底血管图片输入到生成对抗网络的判别模型中，判别模型来判别第一图片的真实性概率。如果输出真实性概率为1，代表判别结果为第一图片100％是真实的，也就是由生成模型生成的带有主干血管的眼底血管图片和真实数据几乎是一样的。如果输出为真实性概率0，代表不可能是真实的数据，也就是由生成模型生成的带有主干血管的眼底血管图片与真实数据的差距较大。如果输出为真实性概率0.5，则代表难以判定由生成模型生成的带有主干血管的眼底血管图片究竟是不是真实的。
步骤S230中，在生成对抗网络的训练过程中，生成模型G的目标是尽量生成真实的图片去欺骗判别模型D。而判别模型D的目标是尽量把生成模型G生成的图片和真实眼底血管图片分别开来。这样，G和D构成了一个动态的“博弈过程”。
最后博弈的结果，在最理想的状态下，G可以生成足以“以假乱真”的图片。对于D来说，它难以判定G生成的数据究竟是不是真实的，因此D输出的真实性概率为0.5。这样通过博弈学习的过程，最终得到了一个生成式的模型G，它可以用来生成所述第一图片。
图5示出根据本发明实施例的第一图片生成方法的流程图。如图5所示，在一种实施方式中，在步骤S210：将噪声特征向量输入所述生成模型，由所述生成模型生成所述第一图片之前，还包括：步骤S205：从先验分布中采样得到所述噪声特征向量
本发明实施例先利用一个生成对抗网络{G,D}根据输入噪声特征向量z～p(z)产生带有主干血管的眼底血管图片G(z)，即第一图片。其中，z表示输入的噪声特征向量；z～p(z)表示从先验分布p(z)里采样得到噪声特征向量z。
具体地，从先验分布中采样的方法可包括以下方式：
一、直接设定先验分布。例如，将先验分布设定为高斯分布。
其中，高斯分布也称正态分布，是一种最常见、最重要的连续型对称分布。例如，有很多医学指标数据的分布特征呈现为正态分布或近似正态分布。
二、通过训练数据得到特征向量，再拟合成某种分布函数，例如拟合成高斯分布。
然后，再从先验分布中随机生成噪声特征向量。
再参见图5，在步骤S220，将真实眼底血管图片和所述生成模型生成的所述第一图片输入到所述判别模型，由所述判别模型产生所述生成模型生成的所述第一图片的真实性概率之前，还包括步骤S215：从训练数据集中采样得到所述真实眼底血管图片。例如，可从训练数据集的真实图片中随机选取若干张图片，将其输入到判别模型。具体地，输入到判别模型的n张真实眼底血管图片可用
表示。
在一种实施方式中，所述方法还包括：采用逻辑回归模型对所述生成对抗网络进行优化。
本发明实施例采用生成对抗网络来产生眼底区域的主干血管。在生成图片的过程中，判别模型D被训练用于判断输入是真实图片还是生成图片，将真实图片标记为1，将生成图片标记为0。生成模型G以噪声为输入，输出带有主干血管的眼底血管图片，并希望输出图片能够具有较高的真实度，从而能够迷惑判别模型，使之将生成图片错误判断为真实图片。在一种示例中，采用逻辑回归模型(也叫逻辑斯谛回归模型)，优化目标如下：
其中，LGAN表示用于优化生成对抗网络的逻辑回归模型的损失函数；xi表示从训练数据集中采样得到的第i张图片；n表示样本个数；D(xi)表示对输入的真实图片的辨别结果；D(G(zi))表示对输入的生成图片的辨别结果；θG,θD分别为生成模型G和判别模型D对应的网络参数。
如前述，生成模型G以噪声特征向量z为输入，生成图片G(zi)。为了使生成图片尽可能逼真，生成模型需要产生足以“迷惑”判别模型D的高质量图片，使得判别模型将生成图片误判为真实图片。这一目标可以通过生成模型和判别模型之间的对抗训练达成，即判别模型不断提高识别真实图片和生成图片的能力，而生成模型努力生成判别模型D难以辨别的图片，不断提高“迷惑”判别模型的能力。也就是说，一方面训练判别模型D以最大化正确标注真实图片和生成模型G生成的图片的概率；另一方面，训练生成模型G最小化判别模型D得出正确答案的概率。可将上述训练过程看作是关于损失函数LGAN的极大极小博弈过程。对应的优化问题如下：
其中，具体优化流程如下：
首先输入以下数据：初始值{θG,θD}、生成模型G和判别模型D的更新步长{ηG,ηD}。其中，更新步长{ηG,ηD}也称为学习率。
然后执行以下优化步骤：
1)更新判别模型D
2)更新生成模型G
3)重复执行以上步骤1)和步骤2)，直到模型收敛。
图6示出根据本发明实施例的第二图片生成方法的流程图。如图6所示，在一种实施方式中，图3中的步骤S120，利用扩散受限凝聚模型在所述第一图片中生成所述主干血管的分支血管，具体可包括：
步骤S310，将所述第一图片中的主干血管包含的像素点的集合设置为所述种子点集合；
步骤S320，生成分支像素点，并将所述分支像素点加入到所述种子点集合中；
步骤S330，若所述种子点集合中的像素点的个数小于预设的像素点个数阈值，则返回执行所述生成分支像素点，并将所述分支像素点加入到所述种子点集合中的步骤。
在扩散受限聚集模型中，先执行步骤S310：在第一图片中预先设定位置固定的种子点，然后执行步骤S320：生成分支像素点。其中，分支像素点用于产生所述主干血管的分支血管。一个示例性的生成分支像素点方法可包括：不断在第一图片的边缘随机产生一些分支像素点。然后使分支像素点在图片区域内做布朗运动。当这些点运动到与种子点临近的位置时，则使分支像素点停止运动，并加入到所述种子点集合中，成为新的种子点。
在一种实施方式中，步骤S320执行时可每次生成一个分支像素点，则每执行一次步骤S320则在所述种子点集合中增加一个像素点。在另一种实施方式中，步骤S320执行时可每次生成m个分支像素点，其中m大于等于2，则每执行一次步骤S320则在所述种子点集合中增加m个像素点。
上述步骤S320执行一次之后，会在种子点集合中增加若干个像素点，也就是在图片中增加了若干个分支血管的像素点。在步骤S330中，判断是否已经产生了足够多的分支血管像素点，如果分支血管的像素点不够多则返回执行步骤S320。
图7示出根据本发明实施例的第二图片生成方法的流程图。如图7所示，在一种实施方式中，图6中的步骤S320：生成分支像素点，并将所述分支像素点加入到所述种子点集合中，具体可包括：
步骤S322，在所述第一图片的边缘随机产生分支像素点；
步骤S324，控制所述分支像素点在所述第一图片的区域内做布朗运动；
步骤S326，若所述分支像素点运动到与所述种子点集合中任一点的距离小于预设距离阈值的位置，则控制所述分支像素点停止运动，并将所述分支像素点加入到所述种子点集合中。
在一种实施方式中，图7中的步骤S324：控制所述分支像素点在所述第一图片的区域内做布朗运动，具体可包括：
若所述分支像素点做布朗运动时超出所述第一图片的区域，则控制所述分支像素点进行反方向的运动以回到所述第一图片的区域内。
如前述，在分支血管生成的过程中，令生成对抗网络产生的主干血管包含的像素点为种子点集合S＝{s1,s2,...,sn}。在第一图片边缘随机产生新的分支像素点
例如，若第一图片是矩形图片，则在矩形的四个边所在的像素点中随机选择一个点或一些点作为分支像素点。并使分支像素点在第一图片的区域内做布朗运动。
布朗运动原指微小颗粒由于受到不平衡的碰撞而表现出的无规则运动，其运动的路线，速度的大小和方向都是无规则的。在本发明实施例中使分支像素点做无规则的布朗运动。若分支像素点做布朗运动时超出了第一图片的范围，则使分支像素点进行反方向的运动，以回到第一图片区域内。当分支像素点
运动到与集合S中任意一点邻接的位置时，则使分支像素点停止运动。并将所述分支像素点加入到集合S中，即
使分支像素点成为构成分支血管的像素点。重复上述过程，直至产生足够多的分支血管像素点。
上述技术方案具有如下优点或有益效果：由于直接利用扩散受限聚集模型生成包括主干血管和分支血管的完整的眼底血管图片的方法，效率较低且耗时较长，因此先利用生成对抗网络生成主干血管，能够极大地降低扩散受限聚集模型的运行时间，提升眼底血管图片生成的效率。并且，由于利用生成对抗网络直接生成包括主干血管和分支血管的完整的眼底血管图片，可能存在局部区域失真等问题，因此先利用生成对抗网络生成主干血管，然后利用扩散受限聚集模型生成局部的分支血管，能够使生成图片的局部信息更为真实。
图8示出根据本发明实施例的眼底血管图片生成装置的结构框图。如图8所示，本发明实施例的眼底血管图片生成装置包括：
第一生成单元100，用于：利用生成对抗网络生成第一图片，所述第一图片包括带有主干血管的眼底血管图片；
第二生成单元200，用于：利用扩散受限凝聚模型在所述第一图片中生成所述主干血管的分支血管，以生成第二图片，所述第二图片包括带有所述主干血管和所述分支血管的眼底血管图片。
在一种实施方式中，所述生成对抗网络包括生成模型和判别模型；所述第一生成单元100用于：
将噪声特征向量输入所述生成模型，由所述生成模型生成所述第一图片；
将真实眼底血管图片和所述生成模型生成的所述第一图片输入到所述判别模型，由所述判别模型产生所述生成模型生成的所述第一图片的真实性概率；
根据所述真实性概率，通过所述生成模型和所述判别模型的博弈学习训练所述生成对抗网络；
通过训练好的所述生成对抗网络生成所述第一图片。
在一种实施方式中，所述第一生成单元100还用于：
从训练数据集中采样得到所述真实眼底血管图片；和/或
从先验分布中采样得到所述噪声特征向量。
在一种实施方式中，所述第一生成单元100还用于：
采用逻辑回归模型对所述生成对抗网络进行优化。
图9示出根据本发明实施例的眼底血管图片生成装置的第二生成单元的结构框图。如图9所示，在一种实施方式中，所述第二生成单元200包括：
设置子单元210，用于将所述第一图片中的主干血管包含的像素点的集合设置为所述种子点集合；
生成子单元220，用于：
生成分支像素点，并将所述分支像素点加入到所述种子点集合中；
若所述种子点集合中的像素点的个数小于预设的像素点个数阈值，则返回执行所述生成分支像素点，并将所述分支像素点加入到所述种子点集合中的步骤。
在一种实施方式中，所述生成子单元220用于：
在所述第一图片的边缘随机产生分支像素点；
控制所述分支像素点在所述第一图片的区域内做布朗运动；
若所述分支像素点运动到与所述种子点集合中任一点的距离小于预设距离阈值的位置，则控制所述分支像素点停止运动，并将所述分支像素点加入到所述种子点集合中。
在一种实施方式中，所述生成子单元220用于：
若所述分支像素点做布朗运动时超出所述第一图片的区域，则控制所述分支像素点进行反方向的运动以回到所述第一图片的区域内。
本发明实施例眼底血管图片生成装置中的各单元的功能可以参见上述方法中的对应描述，在此不再赘述。
图10示出根据本发明实施例的眼底血管图片生成装置的结构框图。如图10所示，该装置包括：存储器910和处理器920，存储器910内存储有可在处理器920上运行的计算机程序。所述处理器920执行所述计算机程序时实现上述实施例中的眼底血管图片生成方法。所述存储器910和处理器920的数量可以为一个或多个。
该装置还包括：
通信接口930，用于与外界设备进行通信，进行数据交互传输。
存储器910可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器910、处理器920和通信接口930独立实现，则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent Interconnect)总线或扩展工业标准体系结构(EISA，Extended IndustryStandard Architecture)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器910、处理器920及通信接口930集成在一块芯片上，则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述实施例中任一所述的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (16)
1.一种眼底血管图片生成方法，其特征在于，包括：
利用生成对抗网络生成第一图片，所述第一图片包括带有主干血管的眼底血管图片；
将所述第一图片中的主干血管包含的像素点的集合设置为种子点集合，利用扩散受限凝聚模型在所述第一图片中生成所述主干血管的分支血管，以生成第二图片，所述第二图片包括带有所述主干血管和所述分支血管的眼底血管图片。
2.根据权利要求1所述的方法，其特征在于，所述生成对抗网络包括生成模型和判别模型；利用生成对抗网络生成第一图片，包括：
将噪声特征向量输入所述生成模型，由所述生成模型生成所述第一图片；
将真实眼底血管图片和所述生成模型生成的所述第一图片输入到所述判别模型，由所述判别模型产生所述生成模型生成的所述第一图片的真实性概率；
根据所述真实性概率，通过所述生成模型和所述判别模型的博弈学习训练所述生成对抗网络；
通过训练好的所述生成对抗网络生成所述第一图片。
3.根据权利要求2所述的方法，其特征在于，还包括：
从训练数据集中采样得到所述真实眼底血管图片；和/或
从先验分布中采样得到所述噪声特征向量。
4.根据权利要求1所述的方法，其特征在于，还包括：
采用逻辑回归模型对所述生成对抗网络进行优化。
5.根据权利要求1至4中任一项所述的方法，其特征在于，利用扩散受限凝聚模型在所述第一图片中生成所述主干血管的分支血管，包括：
生成分支像素点，并将所述分支像素点加入到所述种子点集合中；
若所述种子点集合中的像素点的个数小于预设的像素点个数阈值，则返回执行所述生成分支像素点，并将所述分支像素点加入到所述种子点集合中的步骤。
6.根据权利要求5中任一项所述的方法，其特征在于，生成分支像素点，并将所述分支像素点加入到所述种子点集合中，包括：
在所述第一图片的边缘随机产生分支像素点；
控制所述分支像素点在所述第一图片的区域内做布朗运动；
若所述分支像素点运动到与所述种子点集合中任一点的距离小于预设距离阈值的位置，则控制所述分支像素点停止运动，并将所述分支像素点加入到所述种子点集合中。
7.根据权利要求6中任一项所述的方法，其特征在于，控制所述分支像素点在所述第一图片的区域内做布朗运动，包括：
若所述分支像素点做布朗运动时超出所述第一图片的区域，则控制所述分支像素点进行反方向的运动以回到所述第一图片的区域内。
8.一种眼底血管图片生成装置，其特征在于，包括：
第一生成单元，用于：利用生成对抗网络生成第一图片，所述第一图片包括带有主干血管的眼底血管图片；
第二生成单元，用于：将所述第一图片中的主干血管包含的像素点的集合设置为种子点集合，利用扩散受限凝聚模型在所述第一图片中生成所述主干血管的分支血管，以生成第二图片，所述第二图片包括带有所述主干血管和所述分支血管的眼底血管图片。
9.根据权利要求8所述的装置，其特征在于，所述生成对抗网络包括生成模型和判别模型；所述第一生成单元用于：
将噪声特征向量输入所述生成模型，由所述生成模型生成所述第一图片；
将真实眼底血管图片和所述生成模型生成的所述第一图片输入到所述判别模型，由所述判别模型产生所述生成模型生成的所述第一图片的真实性概率；
根据所述真实性概率，通过所述生成模型和所述判别模型的博弈学习训练所述生成对抗网络；
通过训练好的所述生成对抗网络生成所述第一图片。
10.根据权利要求9所述的装置，其特征在于，所述第一生成单元还用于：
从训练数据集中采样得到所述真实眼底血管图片；和/或
从先验分布中采样得到所述噪声特征向量。
11.根据权利要求8所述的装置，其特征在于，所述第一生成单元还用于：
采用逻辑回归模型对所述生成对抗网络进行优化。
12.根据权利要求8至11中任一项所述的装置，其特征在于，所述第二生成单元包括：
生成子单元，用于：
生成分支像素点，并将所述分支像素点加入到所述种子点集合中；
若所述种子点集合中的像素点的个数小于预设的像素点个数阈值，则返回执行所述生成分支像素点，并将所述分支像素点加入到所述种子点集合中的步骤。
13.根据权利要求12中任一项所述的装置，其特征在于，所述生成子单元用于：
在所述第一图片的边缘随机产生分支像素点；
控制所述分支像素点在所述第一图片的区域内做布朗运动；
若所述分支像素点运动到与所述种子点集合中任一点的距离小于预设距离阈值的位置，则控制所述分支像素点停止运动，并将所述分支像素点加入到所述种子点集合中。
14.根据权利要求13中任一项所述的装置，其特征在于，所述生成子单元用于：
若所述分支像素点做布朗运动时超出所述第一图片的区域，则控制所述分支像素点进行反方向的运动以回到所述第一图片的区域内。
15.一种眼底血管图片生成装置，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的方法。
16.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910269535.1A CN109978796B (zh) | 2019-04-04 | 2019-04-04 | 眼底血管图片生成方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910269535.1A CN109978796B (zh) | 2019-04-04 | 2019-04-04 | 眼底血管图片生成方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109978796A CN109978796A (zh) | 2019-07-05 |
| CN109978796B true CN109978796B (zh) | 2021-06-01 |
Family
ID=67082988
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910269535.1A Active CN109978796B (zh) | 2019-04-04 | 2019-04-04 | 眼底血管图片生成方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109978796B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110517248A (zh) * | 2019-08-27 | 2019-11-29 | 北京百度网讯科技有限公司 | 眼底图像的处理、训练方法、装置及其设备 |
| CN111696089B (zh) * | 2020-06-05 | 2023-06-16 | 上海联影医疗科技股份有限公司 | 一种动静脉确定方法、装置、设备和存储介质 |
| CN112184690B (zh) * | 2020-10-12 | 2021-11-02 | 推想医疗科技股份有限公司 | 冠脉血管走向的预测方法、预测模型的训练方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130134258A (ko) * | 2012-05-30 | 2013-12-10 | 한국과학기술원 | 유한 확산 집합체(ｄｌａ)를 이용하여 비스커스 핑거링을 생성하는 확산 방법 |
| CN104268401A (zh) * | 2014-09-25 | 2015-01-07 | 中国科学技术大学 | 一种粘性指进现象模拟方法及装置 |
| CN107392973A (zh) * | 2017-06-06 | 2017-11-24 | 中国科学院自动化研究所 | 像素级手写体汉字自动生成方法、存储设备、处理装置 |
| CN107506770A (zh) * | 2017-08-17 | 2017-12-22 | 湖州师范学院 | 糖尿病视网膜病变眼底照相标准图像生成方法 |
| CN107909621A (zh) * | 2017-11-16 | 2018-04-13 | 深圳市唯特视科技有限公司 | 一种基于双生成对抗网络的医学图像合成方法 |
| CN108877445A (zh) * | 2018-07-19 | 2018-11-23 | 天津大学 | 一种基于dla分形重构耳垂模型中血液分布的方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2262410B1 (en) * | 2008-04-08 | 2015-05-27 | National University of Singapore | Retinal image analysis systems and method |
| US8565507B2 (en) * | 2008-05-23 | 2013-10-22 | University Of Rochester | Automated placental measurement |
| CN107045551B (zh) * | 2017-04-26 | 2020-10-27 | 湖南人文科技学院 | 一种湘绣图像基因构建以及湘绣图像数字化处理方法 |
| CN108198179A (zh) * | 2018-01-03 | 2018-06-22 | 华南理工大学 | 一种生成对抗网络改进的ct医学图像肺结节检测方法 |
-
2019
- 2019-04-04 CN CN201910269535.1A patent/CN109978796B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130134258A (ko) * | 2012-05-30 | 2013-12-10 | 한국과학기술원 | 유한 확산 집합체(ｄｌａ)를 이용하여 비스커스 핑거링을 생성하는 확산 방법 |
| CN104268401A (zh) * | 2014-09-25 | 2015-01-07 | 中国科学技术大学 | 一种粘性指进现象模拟方法及装置 |
| CN107392973A (zh) * | 2017-06-06 | 2017-11-24 | 中国科学院自动化研究所 | 像素级手写体汉字自动生成方法、存储设备、处理装置 |
| CN107506770A (zh) * | 2017-08-17 | 2017-12-22 | 湖州师范学院 | 糖尿病视网膜病变眼底照相标准图像生成方法 |
| CN107909621A (zh) * | 2017-11-16 | 2018-04-13 | 深圳市唯特视科技有限公司 | 一种基于双生成对抗网络的医学图像合成方法 |
| CN108877445A (zh) * | 2018-07-19 | 2018-11-23 | 天津大学 | 一种基于dla分形重构耳垂模型中血液分布的方法 |
Non-Patent Citations (6)
| Title |
|---|
| DEEP GENERATIVE MODELS FOR SYNTHETIC RETINAL IMAGE GENERATION;Sinan Kaplan;《researchgate》;20170731;第1-76页 * |
| End-to-End Adversarial Retinal Image Synthesis;Pedro Costa 等;《IEEE TRANSACTIONS ON MEDICAL IMAGING》;20171002;第37卷(第3期);第781-791页 * |
| Generative Adversarial Nets;Ian J. Goodfellow 等;《arXiv》;20140610;第1-9页 * |
| Generative Adversarial Networks (GANs) for Retinal Fundus Image Synthesis;Valentina Bellemo 等;《Asian Conference on Computer Vision 2018》;20190101;第2节，图1-2 * |
| Synthesizing Retinal and Neuronal Images with Generative Adversarial Nets;He Zhao 等;《Medical Image Analysis(2018)》;20180704;第1-24页 * |
| 基于 DLA 模型的人体血管生长模拟方法;王素 等;《计算机辅助设计与图形学学报》;20160515;第28卷(第5期);第770-776页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109978796A (zh) | 2019-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111046717B (zh) | 眼底图像黄斑中心定位方法、装置、电子设备及存储介质 | |
| CN109978796B (zh) | 眼底血管图片生成方法、装置及存储介质 | |
| Al-Bander et al. | Multiscale sequential convolutional neural networks for simultaneous detection of fovea and optic disc | |
| CN108198184B (zh) | 造影图像中血管分割的方法和系统 | |
| CN112132817B (zh) | 一种混合注意力机制的眼底图像视网膜血管分割方法 | |
| CN110298844B (zh) | X光造影图像血管分割与识别方法及装置 | |
| CN111242933B (zh) | 视网膜图像动静脉的分类装置、设备及存储介质 | |
| CN111127426B (zh) | 一种基于深度学习的胃黏膜清洁度评价方法及系统 | |
| KR102172213B1 (ko) | 투 페이스 질병 진단 시스템 및 그 방법 | |
| CN110110723B (zh) | 一种图像中目标区域自动提取的方法及装置 | |
| CN109635669B (zh) | 图像分类方法、装置及分类模型的训练方法、装置 | |
| CN108665454A (zh) | 一种内镜图像智能分类及不规则病变区域检测方法 | |
| CN112102185B (zh) | 基于深度学习的图像去模糊方法及装置、电子设备 | |
| Kumar et al. | Image processing in diabetic related causes | |
| CN112862835A (zh) | 冠脉血管分割方法、装置、设备及计算机可读存储介质 | |
| CN112686855A (zh) | 一种眼象与症状信息的信息关联方法 | |
| CN113313715B (zh) | 心脏动脉血管的分割方法、分割装置、设备和介质 | |
| CN113762274A (zh) | 一种答题卡目标区域检测方法、系统、存储介质及设备 | |
| US20210353262A1 (en) | Method for positioning key features of a lens based on ocular b-mode ultrasound images | |
| Mansour | Using genetic algorithm for identification of diabetic retinal exudates in digital color images | |
| Sallam et al. | Diabetic retinopathy grading using resnet convolutional neural network | |
| EP3671634B1 (en) | Curvilinear object segmentation with geometric priors | |
| CN116030042A (zh) | 一种针对医生目诊的诊断装置、方法、设备及存储介质 | |
| CN116503422A (zh) | 一种基于注意力机制与多尺度特征融合的视杯视盘分割方法 | |
| CN115409857A (zh) | 一种基于深度学习的三维脑积水ct图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |