CN114119359A - 用于基于眼底图像的疾病演进的图像生成方法及其相关产品 - Google Patents

用于基于眼底图像的疾病演进的图像生成方法及其相关产品 Download PDF

Info

Publication number
CN114119359A
CN114119359A CN202210085744.2A CN202210085744A CN114119359A CN 114119359 A CN114119359 A CN 114119359A CN 202210085744 A CN202210085744 A CN 202210085744A CN 114119359 A CN114119359 A CN 114119359A
Authority
CN
China
Prior art keywords
disease
vector
category
image
image generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210085744.2A
Other languages
English (en)
Other versions
CN114119359B (zh
Inventor
刘从新
黄烨霖
杨志文
赵昕
王欣
和超
张大磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eaglevision Medical Technology Co Ltd
Beijing Airdoc Technology Co Ltd
Original Assignee
Shanghai Eaglevision Medical Technology Co Ltd
Beijing Airdoc Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eaglevision Medical Technology Co Ltd, Beijing Airdoc Technology Co Ltd filed Critical Shanghai Eaglevision Medical Technology Co Ltd
Priority to CN202210085744.2A priority Critical patent/CN114119359B/zh
Publication of CN114119359A publication Critical patent/CN114119359A/zh
Application granted granted Critical
Publication of CN114119359B publication Critical patent/CN114119359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Eye Examination Apparatus (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)

Abstract

本发明提供一种用于基于眼底图像的疾病演进的图像生成方法及其相关产品。该图像生成方法包括基于眼底图像的样本数据确定从第一类别疾病演进到第二类别疾病的方向向量；获取目标眼底图像的广义嵌入向量；对所述广义嵌入向量和所述方向向量执行向量操作，以得到结果向量；以及将所述结果向量输入至图像生成模型中，以生成关于所述目标眼底图像从第一类别疾病演进至第二类别疾病的图像。利用本发明的图像生成方案，可以向医护人员或患者提供直观的疾病演进预测，由此方便医护人员或患者及早做出人为干预。

Description

用于基于眼底图像的疾病演进的图像生成方法及其相关产品
技术领域
本发明总体上涉及图像处理领域。更具体地，本发明涉及用于基于眼底图像的疾病演进的图像生成方法、设备、计算机程序产品和计算机可读存储介质。
背景技术
在人工智能领域，除了利用诊断模型来根据医学图像和相关信息给出诊断预测，利用可视化的方案对疾病进行监控和预防也十分必要。例如，在眼底图像中，豹纹的演变对近视的预防具有很强的警示作用。再如，视网膜的很多疾病与年龄相关，从而年龄维度的可视化演进将帮助患者及时建立健康的生活习惯并减低患病风险。为此，如何基于患者当前的状况给出其疾病演化的可视化呈现和预测，从而引起患者的重视并达到持续监测和疾病预防的目的是当前需要解决的一项技术问题。
发明内容
鉴于上文背景部分所描述的技术问题，本发明提出了一种全新的关于疾病演进的可视化方案。具体地，对任意具有全局图像风格特征的眼底疾病，计算出其所嵌入空间的方向向量。此后，对于给定任一真实的眼底图像，计算出其广义嵌入向量并且与前述方向向量执行向量操作。最后，将向量操作后得到的结果向量输入至图像生成模型，从而生成展示疾病演进过程的图像。由此，可以实现对疾病演进的可视化显示并从而起到警示医护人员和患者的作用。鉴于此，本发明在下面的多个方面和实施例中提供解决方案。
在第一方面中，本发明提供了一种用于基于眼底图像的疾病演进的图像生成方法，包括：基于眼底图像的样本数据确定从第一类别疾病演进到第二类别疾病的方向向量；获取目标眼底图像的广义嵌入向量；对所述广义嵌入向量和所述方向向量执行向量操作，以得到结果向量；以及将所述结果向量输入至图像生成模型中，以生成关于所述目标眼底图像从第一类别疾病演进至第二类别疾病的图像。
在一个实施例中，基于样本数据确定从第一类别疾病到第二类别疾病的方向向量包括确定从所述第一类别疾病到第二类别疾病的单位方向向量；以及根据所述单位方向向量和预设演进强度来确定所述方向向量。
在一个实施例中，确定从所述第一类别疾病到第二类别疾病的单位方向向量包括：获取样本数据与第一类别疾病关联的第一类风格编码集和与所述第二类别疾病关联的第二类风格编码集；计算第一类风格编码集的第一类中心向量和第二类风格编码集的第二类中心向量；以及计算第一类中心向量和第二类中心向量之间的向量差，以确定其为所述单位方向向量。
在一个实施例中，获取第一类风格编码集和第二类风格编码集包括利用映射网络模型来生成所述第一类风格编码集和第二类风格编码集。
在一个实施例中，获取目标眼底图像的广义嵌入向量包括利用多级编码器来对目标眼底图像进行编码，以生成具有多级属性的嵌入向量作为所述广义嵌入向量。
在一个实施例中，所述图像生成模型具有多级的网络结构，所述方法包括使用所述多级的网络结构来接收所述多级编码器的不同编码风格的广义嵌入向量，以便生成关于所述目标眼底图像演进的图像。
在一个实施例中，还包括：将所述方向向量划分成预定的多个段；计算与每段的方向向量关联的结果向量，以得到对应于多个段的多个结果向量；以及将所述多个结果向量输入至图像生成模型中，以生成关于所述目标眼底图像从第一类别疾病演进至第二类别疾病的多个图像。
在一个实施例中，该图像生成方法还包括利用生成对抗网络来采集多个眼底图像；以及利用筛选模型对所述多个眼底图像进行筛选，以将符合第一类别疾病和第二类别疾病的眼底图像筛选作为样本数据。
在第二方面中，本发明提供一种用于基于眼底图像的疾病演进的图像生成方法，包括：针对于多个病种的每个病种，基于眼底图像的样本确定从所述病种的第一类别疾病演进到其第二类别疾病的方向向量，以得到对应于多个病种的多个方向向量；对所述多个方向向量执行第一向量操作，以得到关于多个病种的复合方向向量；获取目标眼底图像的广义嵌入向量；对所述广义嵌入向量和所述复合方向向量执行第二向量操作，以得到结果向量；以及将所述结果向量输入至图像生成模型中，以生成关于所述目标眼底图像从多个病种的第一类别疾病演进至第二类别疾病的复合图像。
在一个实施例中，基于眼底图像的样本确定从所述病种的第一类别疾病演进到其第二类别疾病的方向向量，以得到对应于多个病种的多个方向向量包括：确定每个病种从其所述第一类别疾病到其第二类别疾病的单位方向向量；以及根据所述单位方向向量及其关联的预设演进强度，确定每个所述病种所对应的方向向量。
在一个实施例中，确定每个病种从其所述第一类别疾病到其第二类别疾病的单位方向向量包括：获取样本数据与第一类别疾病关联的第一类风格编码集和与所述第二类别疾病关联的第二类风格编码集；计算第一类风格编码集的第一类中心向量和第二类风格编码集的第二类中心向量；以及计算第一类中心向量和第二类中心向量之间的向量差，以确定其为所述单位方向向量。
在一个实施例中，获取第一类风格编码集和第二类风格编码集包括利用映射网络模型来生成所述第一类风格编码集和第二类风格编码集。
在一个实施例中，获取目标眼底图像的广义嵌入向量包括：利用多级编码器来对目标眼底图像进行编码，以生成具有多级属性的嵌入向量作为所述广义嵌入向量。
在一个实施例中，其中所述图像生成模型具有多级的网络结构，所述方法包括使用所述多级的网络结构来接收所述多级编码器的不同编码风格的广义嵌入向量，以便生成关于所述目标眼底图像从多个病种的第一类别疾病演进至第二类别疾病的复合图像。
在一个实施例中，还包括将所述复合方向向量划分成预定的多个段；计算与每段的复合方向向量关联的结果向量，以得到对应于多个段的多个结果向量；以及将所述多个结果向量输入至图像生成模型中，以生成关于所述目标眼底图像从多个病种的第一类别疾病演进至第二类别疾病的多个复合图像。
在一个实施例中，针对于每个病种，该图像生成方法执行以下操作：利用生成对抗网络来采集多个眼底图像；以及利用筛选模型对所述多个眼底图像进行筛选，以将符合第一类别疾病和第二类别疾病的眼底图像筛选作为样本数据。
在第三方面中，本发明提供一种用于基于眼底图像的疾病演进生成图像的设备，包括：处理器；存储器，其存储有用于生成基于眼底图像的疾病演进的图像的计算机程序指令，当所述计算机程序指令由处理器执行时，实现上述第一和第二方面及其多个实施例中所述的方法。
在第四方面中，本发明提供一种计算机可读存储介质，其存储有用于生成基于眼底图像的疾病演进的图像的计算机程序指令，当所述计算机程序指令由处理器执行时，实现上述第一和第二及其多个实施例中所述的方法。
在第五方面中，本发明提供一种计算机程序产品，其包括用于生成基于眼底图像的疾病演进的图像的计算机程序指令，当所述计算机程序指令由处理器执行时，实现上述第一和第二及其多个实施例中所述的方法。
利用上文所描述的方法、设备、计算机可读存储介质和计算机程序产品，本发明的方案可以实现针对任一真实眼底图像，通过呈现多个图像来可视化地显示其疾病演进（也称演化或进展）的过程。通过这样的可视化显示过程，可以向医护人员或患者提供直观的疾病演进预测，由此方便医护人员或患者及早做出人为干预，从而防止疾病的进一步发展和恶化。另外，借助于本发明针对多个病种演进的复合显示方案，可以实现可视化的显示多个病种在同一图像上的演进阶段，从而提供更为综合性的疾病预测和观察。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：
图1是示意性示出用于生成眼底图像的网络结构框图；
图2是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的图像生成方法的简化流程图；
图3是示意性示出本发明实施例的用于基于眼底图像的疾病演进的图像生成方法的详细流程图；
图4是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的另一图像生成方法的简化流程图；
图5是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的另一图像生成方法的详细流程图；
图6是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的网络结构框图；
图7a、图7b和图7c是分别示意性示出根据本发明实施例的方向向量和两个复合方向向量的示图；
图8a是示意性示出根据本发明实施例获得的眼底豹纹密度演进的图像；
图8b是示意性示出根据本发明实施例获得的眼底年龄演进的图像；
图8c是示意性示出根据本发明实施例获得的眼底年龄与豹纹密度复合演进的复合图像；以及
图9是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的图像生成系统的框图。
具体实施方式
现在通过参考附图描述实施例。应当理解，为了说明的简单和清楚，在认为合适的情况下，可以在附图中重复附图标记以指示对应或类似的元件。另外，本申请阐述了许多具体细节以便提供对本文所述实施例的透彻理解。然而，本领域普通技术人员将理解，可以在没有这些具体细节的情况下实践本文描述的实施例。在其他情况下，没有详细描述公知的方法、过程和组件，以免模糊本文描述的实施例。而且，该描述不应被视为限制本文描述的实施例的范围。
如前所述，为了实现基于眼底图像的疾病演进的可视化，本发明的方案提出基于例如分类/分级/回归模型来获得关于多个类别之间的方向向量，并且对方向向量与目标眼底图像的广义嵌入向量进行向量操作，以得到待输入至图像生成模型的结果向量。由此，基于图像生成模型（“Generator”）可以生成用于展示与目标眼底图像相关的疾病演进的多个图像。
根据不同的实施场景，本发明所得到的多个图像可以是不同年龄段的眼底图像（例如20、30、40和50岁）或显示疾病发展的不同程度（例如初始状态、轻度、中度和重度）或显示眼底特征属性的渐进变化。在一些应用场景中，本发明的结果向量可以是关于多个病种的复合方向向量，从而可以获得演示实际的目标眼底图像从多个病种的第一类别疾病演进至第二类别疾病的复合图像。在一些场景中，本发明的第一类别疾病也可以包括无病或无症状的状态，由此第一类别疾病到第二类别疾病的演进可以涉及从无病或无症状的眼底图像到具有某种疾病或症状的眼底图像的演进过程。
根据不同的应用场景，本发明的眼底图像（也即“视网膜眼底图像”）所涉及的疾病或潜在疾病的特征可以包括例如眼底的老化程度、黄斑变性、视网膜肿瘤、糖尿病性视网膜病变、眼底豹纹等。如本领域技术人员所知，眼底图像是观察视网膜和诊断相关疾病的一种重要影像手段。鉴于此，本发明在眼底图像的基础上结合向量操作和图像生成模型来生成可以可视化显示疾病演进（或称演化）过程的多个图像，从而为疾病的发展、预测或进一步研究提供良好的基础。
下面将结合附图对本发明的方案及其多个实施例进行详细地描述。
图1是示意性示出用于生成眼底图像的网络结构框图。如图1所示，该网络结构100 可以视为生成对抗网络（“Generative Adversarial Network”，简写为“GAN”）并且包括映 射网络（“Mapping Network”，简写为“MP”）102和图像生成模型（“Generator”，简写为“MG”， 或称生成器）104。在操作中，生成对抗网络可以利用其映射网络MP将高维空间
Figure 655300DEST_PATH_IMAGE001
中的随机 点 z映射到风格空间
Figure 244545DEST_PATH_IMAGE002
，从而得到风格编码(“style code”，也称为嵌入向量) w。接着，通 过图像生成模型MG生成眼底照片106，也即图中示例性眼底图像x。前述的操作可以结合下 面的数学公式来表达：
Figure 289861DEST_PATH_IMAGE003
在一些应用场景中，生成对抗网络作为生成式模型，其可以借助血管掩码引导的改进方案以及StyleGAN的网络架构。由此，在经过大量的样本（例如已获得的眼底图像）训练后，生成对抗网络就可以生成逼真的眼底图像。
图2是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的图像生成方法200的简化流程图。可以理解的是，本发明的眼底图像可以是通过各种类型的眼底相机所获得的眼底图片。进一步，此处的图像生成方法可以由各种设备，例如计算机、服务器或具有人工智能处理芯片的通用或专用设备来执行。
如图2中所示，在步骤S202处，基于眼底图像的样本数据确定从第一类别疾病演进 到第二类别疾病的方向向量。关于样本数据，以二分类的疾病为例，可以在生成对抗网络的
Figure 606442DEST_PATH_IMAGE001
空间随机取样以生成大量的眼底图像（也即利用生成的眼底图像来确定方向向量）。在一 个应用场景中，可以例如利用鉴别式模型MD、分类、分级或回归模型对前述获得的大量眼底 图像进行分类或分级后，从而获得样本数据。以鉴别式模型MD为例，根据其可以确定生成样 本集C的个数及其判定函数f，由此得到下式：
Figure 686393DEST_PATH_IMAGE004
其中x为输入的样本图像，经由模型MD计算获得推理值。接着，可以通过判定函数确定只有属于某类（也即本发明上下文所提到的第一类别疾病或第二类别疾病）的典型样本才会被选取。当样本不典型，即不属于所有类别时，则其会被丢弃不用。
为了便于理解本发明并且仅为了示例的目的，下文列出一些可以应用于本发明方案的模型的判定函数的常用策略：
模型 输出 判定条件 举例
分类/分级模型 标签 以标签所在集合 年龄预测
分类/分级模型 概率 确定每类/每级的阈值 糖网病(即糖尿病性视网膜病变)分级
回归模型 实数值 确定区间 眼底图像中豹纹分级的豹纹密度
通过上文的描述，本领域技术人员可以理解的是关于样本数据，本发明可以利用生成对抗网络（如图1所示的网络）来采集多个眼底图像，并且接着利用筛选模型（如上面所提到的各种模型）对前述多个眼底图像进行筛选，以将符合第一类别疾病和第二类别疾病的眼底图像筛选作为样本数据。
在一个实施场景中，基于上述所获得的样本数据确定从第一类别疾病到第二类别疾病的方向向量（例如图7a所示出的）可以包括确定从第一类别疾病到第二类别疾病的单位方向向量，以及根据该单位方向向量和预设演进强度来确定方向向量。
在确定了上述的方向向量后，流程前进到步骤S204。在该步骤处，可以获取目标眼 底图像的广义嵌入向量。在本发明的上下文中，目标眼底图像也即是例如经由眼底相机实 际拍摄所获得的、待生成多个疾病演进图像的眼底图像，其根据眼底相机的性能可以具有 不同分辨率。进一步，这里的广义嵌入向量“
Figure 977697DEST_PATH_IMAGE005
”可以视为前文结合图1所描述的风格编码 “w”的演进版本。作为示例，可以利用多级编码器（也即多级的映射网络）对目标眼底图像进 行风格编码，从而生成具有多级属性的嵌入向量作为前述的广义嵌入向量。例如，当结合图 1所描述的映射网络的原始风格空间为
Figure 900523DEST_PATH_IMAGE006
，则当编码器的每级输出的风格编码不同时，则 将得到比原始风格空间
Figure 302685DEST_PATH_IMAGE007
更大的风格空间
Figure 237143DEST_PATH_IMAGE008
。例如，当
Figure 902611DEST_PATH_IMAGE007
为512维时，则多级编码器和对 应的图像生成模型将有对应的18级，则此时的风格编码维度可以扩展到[18,512]，例如图6 中所示出的
Figure 922520DEST_PATH_IMAGE009
~
Figure 580903DEST_PATH_IMAGE010
所示。
经研究发现，风格编码所在的风格空间
Figure 41971DEST_PATH_IMAGE011
具备线性可分性。这里，线性可分性是 指图像的语义操作可以转换为向量空间的加减操作，并且将高维空间
Figure 658766DEST_PATH_IMAGE001
中的随机点z映射 到语义线性可分的空间
Figure 165971DEST_PATH_IMAGE011
称为嵌入(Embedding)。基于这样的线性可分性，在步骤S206， 对上述的广义嵌入向量和在步骤S202处所获得的方向向量执行向量操作（例如向量的加法 操作），以得到结果向量。
最后，在步骤S208处，将得到的结果向量输入至图像生成模型中（如图1所示的图像生成模型106或如图6中所示出的图像生成模型604），以生成关于目标眼底图像从第一类别疾病演进至第二类别疾病的图像。
为了灵活实现预定数目的多个图像的演进效果，在一个实施例中，本发明提出将前述的方向向量划分成预定的多个段，例如平均划分成四段。接着，可以计算与每段的方向向量关联的结果向量，以得到对应于多个段的多个结果向量。此后，可以将多个结果向量分别输入至图像生成模型中，以生成关于所述目标眼底图像从第一类别疾病演进至第二类别疾病的多个图像，其中每段方向向量对应于一个图像。
以图8a所示内容为例来说明，其从左向右从上至下依次示出眼底豹纹密度的初始状态（第一幅图，为“轻度”水平）、中间状态（第二和第三幅图，为“中度”水平）和最终状态（第四幅图，为“重度水平”），也即可视化的展示了眼底豹纹密度从“轻度”发展到“中度”，并且接着从“中度”发展到“重度”的演进变化过程。以图8b所示内容为例进一步来说明，其从左向右从上至下依次示出眼底的年龄从31岁开始，经由35和45岁而演化到60岁的演进变化过程。
图3是示意性示出本发明实施例的用于基于眼底图像的疾病演进的图像生成方法300的详细流程图。可以理解的，这里图3所示方法流程步骤可以视为结合图2所描述的图像生成方法的一种可能实现方式，因此前文结合图2所做的描述也同样适用于下文结合图3所进行的讨论。
如图3所示，在步骤S302处，获取样本数据与第一类别疾病关联的第一类风格编码 集和与第二类别疾病关联的第二类风格编码集。关于第一类风格编码集或第二类风格编码 集，在一个实施场景中，其可以从先前生成对抗网络在
Figure 644357DEST_PATH_IMAGE012
空间采集多个眼底图像期间，映射 网络所计算出的风格编码中进行选取。具体地，对于经由筛选模型从前述多个眼底图像中 筛选出的、符合第一类别疾病或第二类别疾病的眼底图像，其将作为样本数据并且在采集 期间利用映射网格对应生成的嵌入向量w（也即前文所述的风格编码）将用作与第一类别疾 病或第二类别疾病关联的第一类风格编码集或第二类风格编码集。可以看出，本发明利用 了输入映射网络模型（如图1所示出的映射网络102）来生成第一类风格编码集和第二类风 格编码集。作为示例，该第一类风格编码集和第二类风格编码集在风格空间
Figure 756669DEST_PATH_IMAGE002
中可以表达 为如图7a中702处所示出的灰色点集合和704处所示出的黑色点集合。
接着，在步骤S304处，计算第一类风格编码集的第一类中心向量和第二类风格编 码集的第二类中心向量。在一个实施场景中，鉴于风格空间
Figure 278786DEST_PATH_IMAGE002
具有线性可分性，此处的中 心向量可以通过对风格编码集在风格空间
Figure 273287DEST_PATH_IMAGE002
空间中的坐标求取平均值来获得。由此，可以 确定如图7a中的706和708所示出的中心向量，也即第一类中心向量和第二类中心向量。此 后，在步骤S306处，计算第一类中心向量和第二类中心向量之间的向量差，以确定其为单位 方向向量。仍以图7为例，其中710处所示出的粗箭头表示第一类中心向量和第二类中心向 量之间的向量差，也即确定的单位方向向量。
在如上确定单位方向向量后，流程前进到步骤S308处。此处，根据前述的单位方向向量和预设演进强度来确定方向向量。根据不同的应用场景，此处的预设演进强度可以是人为设定的预期值。当预设演进强度设置为大于1的数时，则此时得到的方向向量将大于单位方向向量。在该情形下，所获得的关于疾病演进的图像将更为明显或显著地示出从第一类别疾病进展到第二类别疾病的区别或者变化。例如，当第一类别疾病是轻度的眼底豹纹密度而第二类别疾病是重度的眼底豹纹密度，则针对于输入的、具有轻度眼底豹纹密度的目标眼底图像而言，更大的预设演进强度将会得到与目标眼底图像相比，演化跨度更大的重度眼底豹纹密度的图像。
返回到流程图，在步骤S310中，利用多级编码器来对目标眼底图像进行编码，以生 成具有多级属性的嵌入向量作为广义嵌入向量。在一个实施场景中，此处的多级编码器可 以实现为具有类似于多尺度、多层级的金字塔结构的深度卷积神经网络。如前所述，通过将 原始风格空间
Figure 24205DEST_PATH_IMAGE013
扩展到更大的风格空间
Figure 240292DEST_PATH_IMAGE014
，可以获得更高维度的风格编码，从而为图像 生成模型生成更为逼真的图像提供可能。在一个应用场景中，当
Figure 277518DEST_PATH_IMAGE013
为512维并且多级编码 器的输出和图像生成模型的输入分别为18级时（如图6中所示出的），则
Figure 431419DEST_PATH_IMAGE014
的维度可以扩 展到[18,512]。
在得到关于目标眼底图像的广义嵌入向量后，在步骤S312处，可以对广义嵌入向量和方向向量执行向量操作，以得到结果向量。作为示例，此处的向量操作可以是向量加。最后，在步骤S314处，将前述结果向量输入至图像生成模型（如图6中的604处所示出的）中，以生成关于目标眼底图像从第一类别疾病演进至第二类别疾病的图像。
下面以符号和公式来表达上述的相关操作。首先，在
Figure 48345DEST_PATH_IMAGE012
空间大量采样（包括映射网 络和图像生成模型的操作），并且对于被例如筛选模型筛选中属于某类别（如本发明上下文 的第一类别疾病或第二类别疾病）的样本，获取其嵌入向量
Figure 587780DEST_PATH_IMAGE015
（即风格编码）。接着，计算每个 类别集合（即前文所述的风格编码集）的中心向量。对于第i类别集合，其中心向量表示为
Figure 733590DEST_PATH_IMAGE016
。类似于，对于第j类别集合，其中心向量表示为
Figure 109208DEST_PATH_IMAGE017
。由此，从类别i到类别j的单位方向 向量可以通过下式确定：
Figure 982355DEST_PATH_IMAGE018
（1）
针对于预设演化强度
Figure 923766DEST_PATH_IMAGE019
，从类别i到j的方向向量可以通过下式确定：
Figure 240478DEST_PATH_IMAGE020
（2）
接着，对于给定的目标眼底图像x，计算其广义嵌入向量
Figure 883818DEST_PATH_IMAGE021
。基于此，目标眼底图 像从当前图像所展示的眼底状态（如从类别i）演化到类别j的图像可以通过下式确定：
Figure 576967DEST_PATH_IMAGE022
（3）
其中MG（）表示图像生成模型所执行的操作，并且
Figure 372885DEST_PATH_IMAGE023
也即广义嵌入向量 和方向向量的向量加操作，并且其结果也即是本发明上下文所称的结果向量。
如前文所述，为了产生渐进平滑的图像展示效果，在一些实施例中，本发明的方案 还提出将方向向量划分成多个段，例如等间距的划分成N段。接着，可以通过下式计算出每 段的图像
Figure 126077DEST_PATH_IMAGE024
，从而实现渐进平滑的疾病演进并且还可以转化为视频来进行播放。
Figure 991134DEST_PATH_IMAGE025
（4）
图4是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的另一图像生成方法400的简化流程图。将要理解的是，此处的图像显法方法400是基于前述方法200或300的拓展方案，因此前述关于方向向量和广义嵌入向量的获取同样适用于下文的描述。
如图4所示，在步骤S402，针对于多个病种的每个病种，基于眼底图像的样本数据确定从所述病种的第一类别疾病演进到其第二类别疾病的方向向量，以得到对应于多个病种的多个方向向量。根据本发明的方案，此处的多个病种可以是例如关于年龄预测、糖网病、豹纹密度中的两种或多种的组合。关于每个病种的第一类别疾病到第二类别疾病的方向向量，其具体实现方式在前已经结合图2和图3进行了详细地描述，此处将不再赘述。
接着，在步骤S404处，对所述多个方向向量执行第一向量操作，以得到关于多个病 种的复合方向向量。作为示例，图7b和图7c分别 示出了两个病种和三个病种的复合方向向 量。以图7c的三个病种的复合方向向量为例，鉴于嵌入向量空间
Figure 222395DEST_PATH_IMAGE008
的线性可分性，假设有 三个病种a，b和c，其从阴性(无病症)到阳性(有病症)的单位方向向量分别为
Figure 872819DEST_PATH_IMAGE026
，
Figure 780601DEST_PATH_IMAGE027
和
Figure 149266DEST_PATH_IMAGE028
，则复合演化的向量（即复合方向向量）是三个单位方向向量的线性组合并且可以通过 下式来表达（其中的系数
Figure 387480DEST_PATH_IMAGE029
、
Figure 407258DEST_PATH_IMAGE030
和
Figure 236673DEST_PATH_IMAGE031
是各自的演进强度）：
Figure 889372DEST_PATH_IMAGE032
（5）
此后，在步骤S406处，获取目标眼底图像的广义嵌入向量
Figure 196856DEST_PATH_IMAGE033
。关于获取广义嵌入 向量的细节，前文已经结合图2和图3进行了详细的描述，此处不再赘述。接着，在步骤S408 处，对前述广义嵌入向量和复合方向向量执行第二向量操作，以得到结果向量。仍以上文式 （5）所示的复合方向向量
Figure 551701DEST_PATH_IMAGE034
为例，此处的第二向量操作也即（
Figure 614334DEST_PATH_IMAGE021
+
Figure 692012DEST_PATH_IMAGE035
）的向量加操 作，并且得到的结果也即前述的结果向量。最后，在步骤S410处，将上述的结果向量输入至 图像生成模型中，以生成关于所述目标眼底图像从多个病种的第一类别疾病演进至第二类 别疾病的复合图像。
图5是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的另一图像生成方法500的详细流程图。可以理解的是，此处的图像生成方法500可以是上文结合图4所描述的图像生成方法400的一种可能实现方式。因此，上文结合图4所做的描述同样适用于下文的描述并且相同的内容将不再赘述。
如图5所示，在步骤S502处，针对于每一个病种，获取其第一类风格编码集和第二类风格编码集。这里的获取操作与前文结合图3描述步骤S302的操作类似，因此此处不再赘述。接着，在步骤S504处，计算每个病种的第一类风格编码集的第一类中心向量和第二类风格编码集的第二类中心向量。此后，在步骤S506处，计算每个病种的前述第一类中心向量和第二类中心向量之间的向量差，以确定其为该病种的单位方向向量。接着，在步骤S508处，根据单位方向向量及其关联的预设演进强度，确定每个病种所对应的方向向量。可以理解的是，就每个病种而言，此处的步骤S502~S508的操作类似于图3所示方法300的步骤S302~S308。鉴于此，为了简明的目的，相同或类似的内容将不再重复描述。
在获得每个病种的方向向量后，在步骤S510处，对多个方向向量执行第一向量操作，以得到关于多个病种的复合方向向量，也即图4中方法400的步骤S404所执行的操作。接着，在步骤S512处，利用多级编码器来对目标眼底图像进行编码，以生成具有多级属性的嵌入向量作为广义嵌入向量，也即方法400中步骤S406的操作。此后，在步骤S514处，对广义嵌入向量和复合方向向量执行第二向量操作，以得到结果向量，其具体操作例如上文结合图7b和图7c所做的示例性描述。最后，在步骤S516处，将前述得到的结果向量输入至图像生成模模型中，以生成关于目标眼底图像从多个病种的第一类别疾病演进至第二类别疾病的复合图像。
如前文所述，为了产生渐进平滑的图像展示效果，在一些实施例中，本发明的方案还提出将得到的复合方向向量划分成多个段，例如等间距的划分成N段。接着，可以通过类似于式（4）的操作来生成每段的复合图像，从而实现渐进平滑的疾病演进并且还可以转化为视频来进行播放。
作为示例，图8c示出了作为第一病种的年龄（其从30、35、40和60渐进演化）和作为第二病种的眼底豹纹密度（其从初始状态到中度和重度渐进演化）的多个复合图像。具体地，图8c从左到右并从上至下依次示出30岁时的眼底豹纹密度、35岁时的眼底豹纹密度、40岁时的眼底豹纹密度和60岁时的眼底豹纹密度的渐进变化，由此实现多维度的眼底疾病演进的可视化效果。
图6是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的网络600的结构框图。可以理解的是，该网络可以是图1所示的生成对抗网络的演进版本，并且可以通过计算机程序代码来实现。
如图6所示，该网络600可以包括映射网络602和图像生成模型604。作为示例，所示出的映射网络602具有多尺度、多级输出的金字塔网络结构，并且借助于例如18个风格空间映射模块606 (即图中的“map2style”)，可以输出
Figure 334346DEST_PATH_IMAGE009
~
Figure 548289DEST_PATH_IMAGE010
的18个不同风格编码。为了便于理解本发明的方案，图6中还示出了风格空间映射模块的一种示例性实施方式。可以看出，其可以是具有四层的神经网络结构，从而将例如“8×8×512”的特征图通过下采样的操作（包括例如池化操作）而最终转换成“1×1×512”的嵌入向量。最终，18个不同风格的嵌入向量就可以构成本发明的广义嵌入向量。
接着，可以在图中所示模块“A”处执行向量操作，也即将得到的广义嵌入向量与对应的方向向量（例如通过图2方法200的步骤S202或图3方法300的步骤S308所获得）进行向量操作，从而得到结果向量。此后，可以将结果向量作为输入参数输入至图像生成模型，以生成关于所述目标眼底图像从第一类别疾病演进至第二类别疾病的图像（例如尺寸为1024×1024的输出图像）。可以理解的是，对于多病种的复合方向向量的场景，模块“A”相应地执行广义嵌入向量与复合方向向量的向量操作，以得到复合的结果向量。此后，可以将复合的结果向量作为输入参数输入至图像生成模型，从而可以生成关于所述目标眼底图像从多个病种的第一类别疾病演进至第二类别疾病的复合图像。
图9是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的图像生成系统900的框图。如图9中所示，该系统900可以包括根据本发明实施例的用于生成基于眼底图像的疾病演进的图像的设备901以及其外围设备和外部网络。
如图9中所示，设备901可以包括CPU 9011，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，设备901还可以包括大容量存储器9012和只读存储器ROM 9013，其中大容量存储器9012可以配置用于存储各类数据，包括本公开的用于对映射网络和图像生成模型进行训练的训练集、验证集和测试集的数据和运行本发明的设备901所需要的各种程序（例如用于实现图6所示网络的各种代码），ROM 9013可以配置成存储对于设备901的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序以及引导操作系统所需的数据。
进一步，设备901还包括其他的硬件平台或组件，例如示出的张量处理单元（“TPU”）9014、图形处理单元（“GPU”）9015、现场可编程门阵列（“FPGA”）9016和机器学习单元（“MLU”）9017。可以理解的是，尽管在设备901中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备901可以仅包括CPU作为硬件平台来执行本发明的生成可视化图像的方案。
本发明的设备901还可以包括通信接口9018，从而可以通过该通信接口9018连接到局域网/无线局域网（LAN/WLAN）905，进而可以通过LAN/WLAN连接到本地服务器906或连接到因特网（“Internet”）907。替代地或附加地，本发明的设备901还可以通过通信接口9018基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第3代（“3G”）、第4代（“4G”）或第5代（“5G”）的无线通信技术。在一些应用场景中，本发明的设备901还可以根据需要访问外部网络的服务器908以及可能的数据库909，以便获得各种已知的神经网络模型、数据和模块，并且可以远程地存储各种数据，包括本发明所涉及的样本数据、分类结果、方向向量和嵌入向量等。
在一些应用场景中，本发明设备901的外围设备可以包括显示装置902、输入装置903以及数据传输接口904。在一个实施例中，显示装置902可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本发明设备的运算过程或者最终图像显示结果进行语音提示和/或图像视频显示。输入装置903可以包括例如键盘、鼠标、麦克风、姿势捕捉相机，眼底相机，或其他输入按钮或控件，其配置用于接收图像数据的输入或用户指令。数据传输接口904可以包括例如串行接口、并行接口或通用串行总线接口（“USB”）、小型计算机系统接口（“SCSI”）、串行ATA、火线（“FireWire”）、PCI Express和高清多媒体接口（“HDMI”）等，其配置用于与其他设备或系统的数据传输和交互。根据本发明的方案，该数据传输接口904也可以接收来自于图像采集设备的各类图像数据，并且向图像采集设备发送执行向量操作和图像生成操作后所获得的疾病演进图像。
本发明的设备901的上述CPU 9011、大容量存储器9012、只读存储器ROM 9013、TPU9014、GPU 9015、FPGA 9016、MLU 9017和通信接口9018可以通过总线9019相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线9019，CPU 9011可以控制设备901中的其他硬件组件及其外围设备。
在一个工作场景中，本发明的设备901的处理器CPU 9011可以通过输入装置903或数据传输接口904接收训练数据和/或待生成预测图像的目标图像数据，并调取存储于存储器9012中的计算机程序指令或代码（例如本发明代码化的网络模型）对接收到的目标图像数据进行向量操作和图像生成。另外，设备901还可以通过通信接口9018将训练后得到的代码化的网络模型或生成的多个图像上传至网络，例如远程的数据库909。
还应当理解，本发明示例的执行指令的任何模块、单元、组件、服务器、计算机、终端或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备（可移除的）和/或不可移动的）例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性，可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。
基于上文，本发明还公开了一种计算机可读存储介质和/或计算机程序产品，其中存储有程序指令，所述程序指令适于由处理器加载并执行本发明结合附图所描述的方法及其多个实施例。
计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM（Resistive Random Access Memory）、动态随机存取存储器DRAM（DynamicRandom Access Memory）、静态随机存取存储器SRAM（Static Random-Access Memory）、增强动态随机存取存储器EDRAM（Enhanced Dynamic Random Access Memory）、高带宽内存HBM（High-Bandwidth Memory）、混合存储立方HMC（Hybrid Memory Cube）等等，或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是设备的一部分或可访问或可连接到设备。本发明描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。
应当理解，本发明披露的说明书和权利要求书中使用的术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本发明披露说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本发明披露。如在本发明披露说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。在本发明披露说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
虽然本发明的实施方式如上，但所述内容只是为便于理解本发明而采用的实施例，并非用以限定本发明的范围和应用场景。任何本发明所述技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (19)

1.一种用于基于眼底图像的疾病演进的图像生成方法，包括：
基于眼底图像的样本数据确定从第一类别疾病演进到第二类别疾病的方向向量；
获取目标眼底图像的广义嵌入向量；
对所述广义嵌入向量和所述方向向量执行向量操作，以得到结果向量；以及
将所述结果向量输入至图像生成模型中，以生成关于所述目标眼底图像从第一类别疾病演进至第二类别疾病的图像。
2.根据权利要求1所述的图像生成方法，其中基于样本数据确定从第一类别疾病到第二类别疾病的方向向量包括：
确定从所述第一类别疾病到第二类别疾病的单位方向向量；以及
根据所述单位方向向量和预设演进强度来确定所述方向向量。
3.根据权利要求2所述的图像生成方法，其中确定从所述第一类别疾病到第二类别疾病的单位方向向量包括：
获取样本数据与第一类别疾病关联的第一类风格编码集和与所述第二类别疾病关联的第二类风格编码集；
计算第一类风格编码集的第一类中心向量和第二类风格编码集的第二类中心向量；以及
计算第一类中心向量和第二类中心向量之间的向量差，以确定其为所述单位方向向量。
4.根据权利要求1所述的图像生成方法，其中获取第一类风格编码集和第二类风格编码集包括利用映射网络模型来生成所述第一类风格编码集和第二类风格编码集。
5.根据权利要求1-4的任意一项所述的图像生成方法，其中获取目标眼底图像的广义嵌入向量包括：
利用多级编码器来对目标眼底图像进行编码，以生成具有多级属性的嵌入向量作为所述广义嵌入向量。
6.根据权利要求5所述的图像生成方法，其中所述图像生成模型具有多级的网络结构，所述方法包括：
使用所述多级的网络结构来接收所述多级编码器的不同编码风格的广义嵌入向量，以便生成关于所述目标眼底图像演进的图像。
7.根据权利要求6所述的图像生成方法，还包括：
将所述方向向量划分成预定的多个段；
计算与每段的方向向量关联的结果向量，以得到对应于多个段的多个结果向量；以及
将所述多个结果向量输入至图像生成模型中，以生成关于所述目标眼底图像从第一类别疾病演进至第二类别疾病的多个图像。
8.根据权利要求7所述的图像生成方法，还包括：
利用生成对抗网络来采集多个眼底图像；以及
利用筛选模型对所述多个眼底图像进行筛选，以将符合第一类别疾病和第二类别疾病的眼底图像筛选作为样本数据。
9.一种用于基于眼底图像的疾病演进的图像生成方法，包括：
针对于多个病种的每个病种，基于眼底图像的样本数据确定从所述病种的第一类别疾病演进到其第二类别疾病的方向向量，以得到对应于多个病种的多个方向向量；
对所述多个方向向量执行第一向量操作，以得到关于多个病种的复合方向向量；
获取目标眼底图像的广义嵌入向量；
对所述广义嵌入向量和所述复合方向向量执行第二向量操作，以得到结果向量；以及
将所述结果向量输入至图像生成模型中，以生成关于所述目标眼底图像从多个病种的第一类别疾病演进至第二类别疾病的复合图像。
10.根据权利要求9所述的图像生成方法，其中基于眼底图像的样本数据确定从所述病种的第一类别疾病演进到其第二类别疾病的方向向量，以得到对应于多个病种的多个方向向量包括：
确定每个病种从其所述第一类别疾病到其第二类别疾病的单位方向向量；以及
根据所述单位方向向量及其关联的预设演进强度，确定每个所述病种所对应的方向向量。
11.根据权利要求9所述的图像生成方法，其中确定每个病种从其所述第一类别疾病到其第二类别疾病的单位方向向量包括：
获取样本数据与第一类别疾病关联的第一类风格编码集和与所述第二类别疾病关联的第二类风格编码集；
计算第一类风格编码集的第一类中心向量和第二类风格编码集的第二类中心向量；以及
计算第一类中心向量和第二类中心向量之间的向量差，以确定其为所述单位方向向量。
12.根据权利要求11所述的图像生成方法，其中获取第一类风格编码集和第二类风格编码集包括利用映射网络模型来生成所述第一类风格编码集和第二类风格编码集。
13.根据权利要求9-12的任意一项所述的图像生成方法，其中获取目标眼底图像的广义嵌入向量包括：
利用多级编码器来对目标眼底图像进行编码，以生成具有多级属性的嵌入向量作为所述广义嵌入向量。
14.根据权利要求13所述的图像生成方法，其中所述图像生成模型具有多级的网络结构，所述方法包括：
使用所述多级的网络结构来接收所述多级编码器的不同编码风格的广义嵌入向量，以便生成关于所述目标眼底图像从多个病种的第一类别疾病演进至第二类别疾病的复合图像。
15.根据权利要求14所述的图像生成方法，还包括：
将所述复合方向向量划分成预定的多个段；
计算与每段的复合方向向量关联的结果向量，以得到对应于多个段的多个结果向量；以及
将所述多个结果向量输入至图像生成模型中，以生成关于所述目标眼底图像从多个病种的第一类别疾病演进至第二类别疾病的多个复合图像。
16.根据权利要求15所述的图像生成方法，还包括针对于每个病种，执行以下操作：
利用生成对抗网络来采集多个眼底图像；以及
利用筛选模型对所述多个眼底图像进行筛选，以将符合第一类别疾病和第二类别疾病的眼底图像筛选作为样本数据。
17.一种用于基于眼底图像的疾病演进生成图像的设备，包括：
处理器；以及
存储器，其存储有用于生成基于眼底图像的疾病演进的图像的计算机程序指令，当所述计算机程序指令由处理器执行时，实现根据权利要求1-16的任意一项所述的方法。
18.一种计算机可读存储介质，其存储有用于生成基于眼底图像的疾病演进的图像的计算机程序指令，当所述计算机程序指令由处理器执行时，实现根据权利要求1-16的任意一项所述的方法。
19.一种计算机程序产品，其包括用于生成基于眼底图像的疾病演进的图像的计算机程序指令，当所述计算机程序指令由处理器执行时，实现根据权利要求1-16的任意一项所述的方法。
CN202210085744.2A 2022-01-25 2022-01-25 用于基于眼底图像的疾病演进的图像生成方法及其相关产品 Active CN114119359B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210085744.2A CN114119359B (zh) 2022-01-25 2022-01-25 用于基于眼底图像的疾病演进的图像生成方法及其相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210085744.2A CN114119359B (zh) 2022-01-25 2022-01-25 用于基于眼底图像的疾病演进的图像生成方法及其相关产品

Publications (2)

Publication Number Publication Date
CN114119359A true CN114119359A (zh) 2022-03-01
CN114119359B CN114119359B (zh) 2022-05-06

Family

ID=80361354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210085744.2A Active CN114119359B (zh) 2022-01-25 2022-01-25 用于基于眼底图像的疾病演进的图像生成方法及其相关产品

Country Status (1)

Country Link
CN (1) CN114119359B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115376698A (zh) * 2022-10-25 2022-11-22 北京鹰瞳科技发展股份有限公司 用于对眼底疾病的演进进行预测的装置、方法和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363226A (zh) * 2019-06-21 2019-10-22 平安科技（深圳）有限公司 基于随机森林的眼科病种分类识别方法、装置及介质
CN111402246A (zh) * 2020-03-20 2020-07-10 北京工业大学 一种基于联合网络的眼底图像分类方法
US20200380369A1 (en) * 2019-05-31 2020-12-03 Nvidia Corporation Training a neural network using selective weight updates
CN113239993A (zh) * 2021-04-29 2021-08-10 中国人民解放军海军军医大学第三附属医院 一种病理图像的分类方法、病理图像的分类系统、终端及计算机可读存储介质
CN113850804A (zh) * 2021-11-29 2021-12-28 北京鹰瞳科技发展股份有限公司 基于生成对抗网络的视网膜图像生成系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200380369A1 (en) * 2019-05-31 2020-12-03 Nvidia Corporation Training a neural network using selective weight updates
CN110363226A (zh) * 2019-06-21 2019-10-22 平安科技（深圳）有限公司 基于随机森林的眼科病种分类识别方法、装置及介质
CN111402246A (zh) * 2020-03-20 2020-07-10 北京工业大学 一种基于联合网络的眼底图像分类方法
CN113239993A (zh) * 2021-04-29 2021-08-10 中国人民解放军海军军医大学第三附属医院 一种病理图像的分类方法、病理图像的分类系统、终端及计算机可读存储介质
CN113850804A (zh) * 2021-11-29 2021-12-28 北京鹰瞳科技发展股份有限公司 基于生成对抗网络的视网膜图像生成系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115376698A (zh) * 2022-10-25 2022-11-22 北京鹰瞳科技发展股份有限公司 用于对眼底疾病的演进进行预测的装置、方法和存储介质

Also Published As

Publication number Publication date
CN114119359B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN111199550B (zh) 图像分割网络的训练方法、分割方法、装置和存储介质
Costa et al. End-to-end adversarial retinal image synthesis
CN107492099B (zh) 医学图像分析方法、医学图像分析系统以及存储介质
US11854703B2 (en) Simulating abnormalities in medical images with generative adversarial networks
CN111754596B (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
Pavan Kumar et al. Generative adversarial networks: a survey on applications and challenges
JP6569047B1 (ja) 学習方法、コンピュータプログラム、分類器、及び生成器
Katzmann et al. Explaining clinical decision support systems in medical imaging using cycle-consistent activation maximization
CN112052877A (zh) 一种基于级联增强网络的图片细粒度分类方法
CN114119359B (zh) 用于基于眼底图像的疾病演进的图像生成方法及其相关产品
Jeruzalski et al. Nasa: Neural articulated shape approximation
Liu et al. Decompose to manipulate: manipulable object synthesis in 3D medical images with structured image decomposition
CN114170118A (zh) 基于由粗到精学习的半监督多模态核磁共振影像合成方法
Easom-McCaldin et al. Efficient quantum image classification using single qubit encoding
CN112381824B (zh) 一种对图像的几何特征进行提取的方法和相关产品
US20210248480A1 (en) Relating complex data
CN111209946A (zh) 三维图像处理方法、图像处理模型训练方法及介质
Ankireddy Assistive diagnostic tool for brain tumor detection using computer vision
CN112884706B (zh) 一种基于神经网络模型的图像评估系统和相关产品
Dimas et al. MedGaze: Gaze estimation on WCE images based on a CNN autoencoder
Chaabouni et al. Prediction of visual attention with Deep CNN for studies of neurodegenerative diseases
CN116563524B (zh) 一种基于多视觉记忆单元的扫视路径预测方法
CN115938546B (zh) 一种早期胃癌图像合成方法、系统、设备及存储介质
KR102479841B1 (ko) 해석 가능한 얼굴 이미지 품질 평가 기법
CN116071478B (zh) 图像重建模型的训练方法和虚拟场景渲染方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant