CN113269812B - 图像预测模型的训练及应用方法、装置、设备、存储介质 - Google Patents

图像预测模型的训练及应用方法、装置、设备、存储介质 Download PDF

Info

Publication number
CN113269812B
CN113269812B CN202110572884.8A CN202110572884A CN113269812B CN 113269812 B CN113269812 B CN 113269812B CN 202110572884 A CN202110572884 A CN 202110572884A CN 113269812 B CN113269812 B CN 113269812B
Authority
CN
China
Prior art keywords
image
countermeasure network
stage
generation countermeasure
treatment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110572884.8A
Other languages
English (en)
Other versions
CN113269812A (zh
Inventor
张潇月
张成奋
吕彬
吕传峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110572884.8A priority Critical patent/CN113269812B/zh
Priority to PCT/CN2021/109475 priority patent/WO2022247004A1/zh
Publication of CN113269812A publication Critical patent/CN113269812A/zh
Application granted granted Critical
Publication of CN113269812B publication Critical patent/CN113269812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及图像处理技术领域，利用级联生成对抗网络实现了OCT图像的预测，尤其涉及一种图像预测模型的训练及应用方法、装置、设备、存储介质。其中图像预测模型的训练方法包括：获取治疗前后的OCT图像，对治疗前后的OCT图像进行图像配准，获得第一形变场作为第一训练集；将第一训练集输入至第一级生成对抗网络，对第一级生成对抗网络进行迭代优化训练，得到第一级生成对抗网络模型；将治疗前后的OCT图像作为第二训练集；将第二训练集输入至第二级生成对抗网络，对第二级生成对抗网络进行迭代优化训练，得到第二级生成对抗网络模型；将第一级生成对抗网络模型和第二级生成对抗网络模型进行级联，得到图像预测模型。

Description

图像预测模型的训练及应用方法、装置、设备、存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像预测模型的训练及应用方法、装置、设备、存储介质。
背景技术
随着全球老龄化日益加重，年龄相关黄斑变性AMD(Age-related maculardegeneration,AMD)已经成为一种主要的致盲眼病，湿性AMD(nAMD)可以导致视力迅速丧失，造成严重的视功能受损。目前，抗血管内皮生长因子(VEGF)治疗是nAMD的一线治疗，但其费用往往十分高昂，并且有严格的适应征，治疗效果差异也较大，并非对所有病人均有效，如果能够提前预测注射效果，将有助于后续的治疗决策。
光学相干断层扫描仪OCT(Optical Coherence Tomography)是一种高分辨率的非介入式成像技术，利用低相干干涉原理获得深度方向的层析能力，可以提供最为丰富的眼底结构信息，是目前最广泛应用的眼底视网膜疾病检查手段。业内基于OCT图像方面的预测，以治疗前OCT图像作为输入，以生成预测的治疗后OCT图像作为输出，为医生决策提供直观的辅助，现有技术往往采用直接的、像素级的生成，图像预测效果不够真实准确。
发明内容
本申请提供了一种图像预测模型的训练及应用方法、装置、设备、存储介质，将训练好的第一级生成对抗网络模型和第二级生成对抗网络模型级联获得图像预测模型，将治疗前的OCT图像为输入至该图像预测模型，输出预测的治疗后的OCT图像，实现了图像层面更精准的预测，为医生决策提供直观的参考。
第一方面，本申请提供了一种图像预测模型的训练方法，所述训练方法包括：
获取治疗前后的OCT图像，对所述治疗前后的OCT图像进行图像配准，获得第一形变场作为第一训练集；
将所述第一训练集输入至第一级生成对抗网络，对所述第一级生成对抗网络进行迭代优化训练，得到第一级生成对抗网络模型；
将所述治疗前后的OCT图像作为第二训练集；
将所述第二训练集输入至第二级生成对抗网络，对所述第二级生成对抗网络进行迭代优化训练，得到第二级生成对抗网络模型；
将所述第一级生成对抗网络模型和所述第二级生成对抗网络模型进行级联，得到图像预测模型。
第二方面，本申请还提供了一种图像预测模型的应用方法，该图像预测模型是根据如上所述的训练方法训练得到的，所述应用方法包括：
获取待预测的治疗前的OCT图像；
将待预测的治疗前的OCT图像输入所述图像预测模型的第一级生成对抗网络模型，输出预测的形变场；
基于所述预测的形变场对所述待预测的治疗前的OCT图像进行插值，输出形变后的OCT图像；
将所述形变后的OCT图像输入所述图像预测模型的第二级生成对抗网络模型，输出最终预测的治疗后的OCT图像。
第三方面，本申请还提供了一种图像预测模型的训练装置，所述训练装置包括：
第一训练集获取模块，用于获取治疗前后的OCT图像，对所述治疗前后的OCT图像进行图像配准，获得第一形变场作为第一训练集；
第一训练模块，用于将所述第一训练集输入至第一级生成对抗网络，对所述第一级生成对抗网络进行迭代优化训练，得到第一级生成对抗网络模型；
第二训练集获取模块，用于将所述治疗前后的OCT图像作为第二训练集；
第二训练模块，用于将所述第二训练集输入至第二级生成对抗网络，对所述第二级生成对抗网络进行迭代优化训练，得到第二级生成对抗网络模型；
模型级联模块，用于将所述第一级生成对抗网络模型和所述第二级生成对抗网络模型进行级联，得到图像预测模型。
第四方面，本申请还提供了一种图像预测模型的应用装置，该图像预测模型是根据如上所述的训练方法训练得到的，所述应用装置包括：
图像获取模块，用于获取待预测的治疗前的OCT图像；
形变场输出模块，用于将待预测的治疗前的OCT图像输入所述图像预测模型的第一级生成对抗网络模型，输出预测的形变场；
插值模块，用于基于所述预测的形变场对所述待预测的治疗前的OCT图像进行插值，输出形变后的OCT图像；
图像输出模块，用于将所述形变后的OCT图像输入所述图像预测模型的第二级生成对抗网络模型，输出最终预测的治疗后的OCT图像。
第五方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的图像预测模型的训练方法或如上述的图像预测模型的应用方法。
第六方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的图像预测模型的训练方法或如上述的图像预测模型的应用方法。
本申请公开了一种图像预测模型的训练及应用方法、装置、设备、存储介质，通过对图像形变场的预测和像素的预测两级生成对抗网络模型的级联，实现了更精准的图像预测，且该方法训练出的图像预测模型具有更容易收敛的优点，提高了模型的训练效率。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的实施例提供的一种图像预测模型的训练方法的示意流程图；
图2是本申请的一实施例提供的对图像进行图像配准获得形变场的示意图；
图3是本申请的实施例提供的第一级生成对抗网络的网络结构示意图；
图4是本申请的实施例提供的第二级生成对抗网络的网络结构示意图；
图5是本申请的实施例提供的一种图像预测模型的应用方法的示意流程图；
图6是本申请的实施例提供的应用图像预测模型进行图像预测的示意图；
图7为本申请的实施例提供的一种图像预测模型的训练装置的示意性框图；
图8为本申请的实施例提供的一种图像预测模型的应用装置的示意性框图；
图9为本申请的实施例涉及的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本申请的实施例提供了一种图像预测模型的训练及应用方法、装置、设备、存储介质。其中，该图像预测模型的训练及应用方法可以应用于服务器中，通过对图像预测模型的训练和应用，来实现图像的预测。其中，该服务器可以为独立的服务器，也可以为服务器集群。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，图1是本申请的实施例提供的一种图像预测模型的训练方法的示意流程图。该图像预测模型的训练方法可应用于服务器中，以获得训练好的图像预测模型。
如图1所示，该图像预测模型的训练方法具体包括步骤S101至步骤S105。
S101、获取治疗前后的OCT图像，对所述治疗前后的OCT图像进行图像配准，获得第一形变场作为第一训练集。
所述第一形变场的形变场为与治疗前后的OCT图像等大的场且用来表示治疗前后的OCT图像的坐标映射关系，所述形变场包括多个二维矢量，该二维矢量在像素的位置保存了需采样的像素的横、纵坐标。
在一个实施例中，首先，获取多张被确诊为湿性年龄相关性黄斑变性(nAMD)并行抗血管内皮生长因子(VEGF)一次治疗前后的针对黄斑区采集的光学相干断层扫描仪OCT图像。然后将该多张治疗前后的OCT图像进行图像配准，获得第一形变场作为第一训练集。
在一个实施例中，在进行图像配准之前，先对治疗前后的OCT图像进行图像校正，所述图像校正包括图像亮度校正和/或倾斜校正。通过对过亮或过暗的图像进行校正，以及对倾斜的图像进行校正，提高图像的对比度，改善图像的视觉效果。
在一个实施例中，请参阅图2，图像配准所使用的算法可采用“VoxelMorph”算法。具体的，将治疗前的OCT图像作为待配准图像(M)，将治疗后的OCT图像作为目标图像(F)，输入无监督学习的图像配准网络中，该图像配准网络通过定义一个参数化的ɡ函数，并在给定的数据集中优化该函数的参数θ。一对新的待配准图像可以通过优化后得到的参数θ直接计算ɡ函数来获取配准域。所述配准域为第一形变场，所述第一形变场构成所述第一训练集。
S102、将所述第一训练集输入至第一级生成对抗网络，对所述第一级生成对抗网络进行迭代优化训练，得到第一级生成对抗网络模型。
具体地，如图3所示，所述第一级生成对抗网络的网络结构包括第一级生成器和第一级判别器。
该第一级生成器是一种下采样、上采样的级联结构。在一个实施例中，该第一级生成器采用U-Net结构，U-Net网络结构包括卷积层、最大池化层(下采样)、反卷积层(上采样)以及非线性激活函数(ReLU)。第一级生成器中的卷积层用于提取所述治疗前OCT图像中的多尺度特征，其中，不同尺度的特征反映的图像特征不同，较浅尺度的特征反映了较浅层次的图像特征例如边缘等，较深尺度的特征反映了较深层次的图像特征例如物体轮廓等。本申请的第一级生成器网络结构在同一尺度间跳跃连接，能够缓解在深度神经网络中增加深度带来的梯度消失问题。
该第一级判别器为下采样结构。在一个实施例中，第一级判别器可以采用VGGNet网络结构。VGGNet网络结构用小尺寸的滤波器替换大尺寸的滤波器减少了深度训练的参数，同时增加了非线性变换的次数，提高了卷积神经网络对特征的学习能力。
在另一个实施例中，第一级判别器可以采用残差网络结构(ResNet)。残差网络结构的特点是容易优化，并且能够通过增加深度来提高准确率，残差网络内部的残差块使用跳跃连接，能够缓解在深度神经网络中增加深度带来的梯度消失问题。
对第一级生成对抗网络进行迭代优化训练，得到第一级生成对抗网络模型，具体包括：将所述治疗前的OCT图像输入至所述第一级生成器，以所述第一形变场为训练目标，通过生成第二形变场来预测图像的形变；通过所述第一级判别器对所述第一形变场和所述第二形变场进行损失函数计算，得到第一损失函数值；根据所述第一损失函数值优化所述第一级生成对抗网络的参数，通过迭代优化训练，当所述第一损失函数值低于第一预设的阈值时，得到第一级生成对抗网络模型。
迭代优化训练是生成对抗网络通过学习获得最优参数的过程，具体的迭代优化规则是：生成器在初始参数下生成预测值，判别器利用损失函数计算预测值与真实值的相似性来评估参数，根据评估结果优化参数。生成器在优化后的参数下再次生成预测值，判别器利用损失函数计算再次评估预测值与真实值之间的相似性来评估和优化参数，通过这样的迭代计算过程得到最优参数。迭代优化训练可采用梯度下降法，本申请中对此不做具体限定。
S103、将所述治疗前后的OCT图像作为第二训练集。
具体的，以步骤S101中获取的治疗前后的OCT图像作为第二训练集。
在一个实施例中，还可以将经过上述图像校正处理的治疗前后的OCT图像作为第二训练集，所述图像校正处理包括图像校正包括图像亮度校正和/或倾斜校正。
S104、将所述第二训练集输入至第二级生成对抗网络，对所述第二级生成对抗网络进行迭代优化训练，得到第二级生成对抗网络模型；
具体地，如图4所示，所述第二级生成对抗网络的网络结构包括第二级生成器和第二级判别器。
在一个实施例中，该第二级生成器采用U-Net网络结构。在另一个实施例中，该第二级生成器采用残差网络结构(ResNet)，当然还可以采用其他网络结构。
在一个实施例中，该第二级判别器采用VGGNet网络结构。在另一个实施例中，该第二级判别器采用残差网络结构(ResNet)，当然还可以采用其他网络结构。
对第二级生成对抗网络进行迭代优化训练，得到第二级生成对抗网络模型，具体包括：将所述治疗前的OCT图像输入至所述第二级生成器，得到预测的治疗后的OCT图像，以治疗后的OCT图像为训练目标，通过所述预测的治疗后的OCT图像来预测图像的像素变化；通过所述第二级判别器对所述预测的治疗后的OCT图像和所述治疗后的OCT图像进行损失函数计算，得到第二损失函数值；根据所述第二损失函数值优化所述第二级生成对抗网络的参数，当所述第二损失函数值低于第二预设的阈值时，得到第二级生成对抗网络模型。
需要说明的是，上述第一预设的阈值和第二预设的阈值可基于实际情况进行设置，本申请对此不做具体限定。
其中，在一个实施例中，损失函数计算使用了平均绝对误差函数，平均绝对误差函数的计算方式为：
其中MAE为损失函数值，f(xi)为预测值，yi为真实值，i对应训练集中的第i组数据，n为训练集的数量总量；
平均绝对误差函数应用于第一级生成对抗网络进行损失函数计算时，yi作为一组真实值表征所述第i张治疗前的OCT图像所对应的第一形变场，f(xi)为针对第i张治疗前的OCT图像生成的预测的第二形变场，MAE为所述预测的第二形变场与所述第一形变场之间的误差总和的平均值。
平均绝对误差函数应用于第二级生成对抗网络进行损失函数计算时，yi作为一组真实值表征为所述第i张治疗前的OCT图像所对应的治疗后的OCT图像，f(xi)为针对第i张治疗前的OCT图像生成的预测的治疗后的OCT图像，MAE为预测的治疗后的OCT图像与真实的治疗后的OCT图像之间的误差总和的平均值。
S105、将所述第一级生成对抗网络模型和所述第二级生成对抗网络模型进行级联，得到图像预测模型。
将第一级生成对抗网络模型与第二级生成对抗网络模型级联具体是指将基于第一级生成对抗网络模型的输出对第一级生成对抗网络模型的输入进行插值后的结果，作为第二级生成对抗网络模型的输入，将第二级生成对抗网络模型的输出作为整个图像预测模型的输出。
图像插值是利用已知邻近像素点的灰度值来产生未知像素点的灰度值，以便由原始图像再生出具有更高分辨率的图像。图像插值在本申请中的应用，是基于第一级生成对抗网络模型输出的形变场对治疗前的OCT图像的像素进行插值，得到形变后的OCT图像的像素值，并将该形变后的OCT图像作为第二级生成对抗网络模型的输入。
由于本申请的图像预测模型是通过图像形变场的预测和像素的预测两级生成对抗网络模型的级联得到的，由此实现了更精准的图像预测，并且该训练方法训练出的图像预测模型具有更容易收敛的优点，提高了模型的训练效率。
请参阅图5，图5是本申请的实施例提供的一种图像预测模型的应用方法的示意流程图，该图像预测模型根据上述方法训练得到。该图像预测模型的应用方法可应用于服务器中，以实现对治疗前的OCT图像进行治疗后的OCT图像预测。
如图5所示，该图像预测模型的应用方法具体包括步骤S201至步骤S204。
S201、获取待预测的治疗前的OCT图像；
S202、将待预测的治疗前的OCT图像输入所述图像预测模型的第一级生成对抗网络模型，输出预测的形变场；
S203、基于所述预测的形变场对所述待预测的治疗前的OCT图像进行插值，输出形变后的OCT图像；
S204、将所述形变后的OCT图像输入所述图像预测模型的第二级生成对抗网络模型，输出最终预测的治疗后的OCT图像。
具体地，请参阅图6，图6为本申请的实施例提供的图像预测模型的应用方法的示意图。首先获取被确诊为湿性年龄相关性黄斑变性(nAMD)在治疗前针对黄斑区采集的光学相干断层扫描仪OCT图像作为待预测的治疗前的OCT图像。然后，将待该预测的治疗前的OCT图像输入至所述图像预测模型的第一级生成对抗网络模型，输出预测的形变场。基于该预测的形变场与待预测的治疗前的OCT图像进行插值操作输出形变后的OCT图像。将该形变后的OCT图像输入至所述图像预测模型的第二级生成对抗网络模型，输出最终预测的治疗后的OCT图像。
在一个实施例中，插值操作具体为：根据预测的形变场中在像素位置保存的需采样的像素的横、纵坐标，对治疗前的OCT图像在横、纵坐标两个方向上进行双线性插值，通过双线性插值得到的像素值为形变后的OCT图像的像素值，遍历形变后的OCT图像的每一个像素点按照上述双线性插值的方法求取像素值，可得到形变后的OCT图像。
本申请通过第一级生成对抗网络模型预测治疗后的形变，通过第二级生成对抗网络模型预测治疗后部分积液、高反点从无到有或从有到无的像素级变化，实现了图像层面更精准的预测；同时通过从形变到像素级生成的方式，也更符合生物体药物反应的特征。应用本申请的图像预测模型输出的图像预测结果为医生提供了精准的、全方位的参考。
请参阅图7，本申请的实施例提供一种图像预测模型的训练装置的示意性框图，该图像预测模型的训练装置用于执行前述的图像预测模型的训练方法。其中，该图像预测模型的训练装置可以配置于服务器。
如图7所示，该图像预测模型的训练装置400，具体包括：
第一训练集获取模块401，用于获取治疗前后的OCT图像，对所述治疗前后的OCT图像进行图像配准，获得第一形变场作为第一训练集；
第一训练模块402，用于将所述第一训练集输入至第一级生成对抗网络，对所述第一级生成对抗网络进行迭代优化训练，得到第一级生成对抗网络模型；
第二训练集获取模块403，用于将所述治疗前后的OCT图像作为第二训练集；
第二训练模块404，用于将所述第二训练集输入至第二级生成对抗网络，对所述第二级生成对抗网络进行迭代优化训练，得到第二级生成对抗网络模型；
模型级联模块405，用于将所述第一级生成对抗网络模型和所述第二级生成对抗网络模型进行级联，得到图像预测模型。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图9所示的计算机设备上运行。
请参阅图8，本申请的实施例提供一种图像预测模型的应用装置的示意性框图，该图像预测模型的应用装置用于执行前述的图像预测模型的应用方法。其中，该图像预测模型的应用装置可以配置于服务器。
如图8所示，该图像预测模型的训练装置500，包括：
图像获取模块501，用于获取待预测的治疗前的OCT图像；
形变场输出模块502，用于将待预测的治疗前的OCT图像输入所述图像预测模型的第一级生成对抗网络模型，输出预测的形变场；
插值模块503，用于基于所述预测的形变场对所述待预测的治疗前的OCT图像进行插值，输出形变后的OCT图像；
图像输出模块504，用于将所述形变后的OCT图像输入所述图像预测模型的第二级生成对抗网络模型，输出最终预测的治疗后的OCT图像。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图9所示的计算机设备上运行。
请参阅图9，图9是本申请的实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器。
参阅图9，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一项图像预测模型的训练方法或图像预测模型的应用方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一项图像预测模型的训练方法或图像预测模型的应用方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
获取治疗前后的OCT图像，对所述治疗前后的OCT图像进行图像配准，获得第一形变场作为第一训练集；
将所述第一训练集输入至第一级生成对抗网络，对所述第一级生成对抗网络进行迭代优化训练，得到第一级生成对抗网络模型；
将所述治疗前后的OCT图像作为第二训练集；
将所述第二训练集输入至第二级生成对抗网络，对所述第二级生成对抗网络进行迭代优化训练，得到第二级生成对抗网络模型；
将所述第一级生成对抗网络模型和所述第二级生成对抗网络模型进行级联，得到图像预测模型。
在一个实施例中，所述处理器在实现对治疗前后的OCT图像进行图像配准，获得第一形变场作为第一训练集时，用于实现：
以所述治疗前的OCT图像作为待配准图像，以所述治疗后的OCT图像作为目标图像，通过图像配准输出配准域；
其中，所述配准域为第一形变场，所述第一形变场构成所述第一训练集。
在一个实施例中，所述处理器在实现对第一级生成对抗网络进行迭代优化训练，用于实现：
所述第一级生成对抗网络的网络结构包括：第一级生成器和第一级判别器；
将所述治疗前的OCT图像输入至所述第一级生成器，以所述第一形变场为训练目标，通过生成第二形变场来预测图像的形变；
通过所述第一级判别器对所述第一形变场和所述第二形变场进行损失函数计算，得到第一损失函数值；
根据所述第一损失函数值优化所述第一级生成对抗网络的参数，通过迭代优化训练，当所述第一损失函数值低于第一预设的阈值时，得到第一级生成对抗网络模型。
在一个实施例中，所述处理器在实现对第二级生成对抗网络进行迭代优化训练时，用于实现：
所述对所述第二级生成对抗网络进行迭代优化训练，得到第二级生成对抗网络模型，包括：
将所述治疗前的OCT图像输入至所述第二级生成器，得到预测的治疗后的OCT图像，以所述治疗后的OCT图像为训练目标，通过所述预测的治疗后的OCT图像来预测图像的像素变化；
通过所述第二级判别器对所述预测的治疗后的OCT图像和所述治疗后的OCT图像进行损失函数计算，得到第二损失函数值；
根据所述第二损失函数值优化所述第二级生成对抗网络的参数，当所述第二损失函数值低于第二预设的阈值时，得到第二级生成对抗网络模型。
在一个实施例中，所述处理器在实现对损失函数进行计算时，用于实现：
所述损失函数计算使用了平均绝对误差函数，所述平均绝对误差函数为：
其中MAE为损失函数值，f(xi)为预测值，yi为真实值，i对应训练集中的第i组数据；
当所述平均绝对误差函数应用于所述第一级生成对抗网络时，f(xi)为针对第i张治疗前的OCT图像生成的预测的第二形变场，yi为所述第i张治疗前的OCT图像所对应的第一形变场，MAE为所述预测的第二形变场与所述第一形变场之间的误差总和的平均值；
当所述平均绝对误差函数应用于所述第二级生成对抗网络时，f(xi)为针对第i张治疗前的OCT图像生成的预测的治疗后的OCT图像，yi为所述第i张治疗前的OCT图像所对应的治疗后的OCT图像，MAE为预测的治疗后的OCT图像与真实的治疗后的OCT图像之间的误差总和的平均值。
在一个实施例中，所述处理器在实现应用该图像预测模型进行图像预测时，用于实现：
获取待预测的治疗前的OCT图像；
将待预测的治疗前的OCT图像输入所述图像预测模型的第一级生成对抗网络模型，输出预测的形变场；
基于所述预测的形变场对所述待预测的治疗前的OCT图像进行插值，输出形变后的OCT图像；
将所述形变后的OCT图像输入所述图像预测模型的第二级生成对抗网络模型，输出最终预测的治疗后的OCT图像。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项图像预测模型的训练方法或图像预测模型的应用方法。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种图像预测模型的训练方法，其特征在于，包括：
获取治疗前后的OCT图像，对所述治疗前后的OCT图像进行图像配准，获得第一形变场作为第一训练集；
将所述第一训练集输入至第一级生成对抗网络，对所述第一级生成对抗网络进行迭代优化训练，得到第一级生成对抗网络模型；其中，所述第一级生成对抗网络的网络结构包括：第一级生成器和第一级判别器；所述对所述第一级生成对抗网络进行迭代优化训练，得到第一级生成对抗网络模型，包括：将所述治疗前的OCT图像输入至所述第一级生成器，以所述第一形变场为训练目标，通过生成第二形变场来预测图像的形变；通过所述第一级判别器对所述第一形变场和所述第二形变场进行损失函数计算，得到第一损失函数值；根据所述第一损失函数值优化所述第一级生成对抗网络的参数，通过迭代优化训练，当所述第一损失函数值低于第一预设的阈值时，得到第一级生成对抗网络模型；
将所述治疗前后的OCT图像作为第二训练集；
将所述第二训练集输入至第二级生成对抗网络，对所述第二级生成对抗网络进行迭代优化训练，得到第二级生成对抗网络模型；其中，所述第二级生成对抗网络的网络结构包括：第二级生成器和第二级判别器；所述对所述第二级生成对抗网络进行迭代优化训练，得到第二级生成对抗网络模型，包括：将所述治疗前的OCT图像输入至所述第二级生成器，得到预测的治疗后的OCT图像，以所述治疗后的OCT图像为训练目标，通过所述预测的治疗后的OCT图像来预测图像的像素变化；通过所述第二级判别器对所述预测的治疗后的OCT图像和所述治疗后的OCT图像进行损失函数计算，得到第二损失函数值；根据所述第二损失函数值优化所述第二级生成对抗网络的参数，当所述第二损失函数值低于第二预设的阈值时，得到第二级生成对抗网络模型；
将所述第一级生成对抗网络模型和所述第二级生成对抗网络模型进行级联，得到图像预测模型;其中，所述将所述第一级生成对抗网络模型和所述第二级生成对抗网络模型进行级联，包括:将基于第一级生成对抗网络模型输出的形变场对治疗前的OCT图像的像素进行插值，得到形变后的OCT图像的像素值，并将该形变后的OCT图像作为第二级生成对抗网络模型的输入，将第二级生成对抗网络模型的输出作为整个图像预测模型的输出。
2.根据权利要求1所述的图像预测模型的训练方法，其特征在于，所述对所述治疗前后的OCT图像进行图像配准，获得第一形变场作为第一训练集，包括：
以所述治疗前的OCT图像作为待配准图像，以所述治疗后的OCT图像作为目标图像，通过图像配准输出配准域；
其中，所述配准域为第一形变场，所述第一形变场构成所述第一训练集。
3.根据权利要求1所述的图像预测模型的训练方法，其特征在于，所述损失函数计算使用了平均绝对误差函数，所述平均绝对误差函数为：
其中，MAE为损失函数值，ƒ(χi)为预测值，уi为真实值，i对应训练集中的第i组数据，n为训练集的数量总量；
当所述平均绝对误差函数应用于所述第一级生成对抗网络时，уi作为一组真实值表征所述第i张治疗前的OCT图像所对应的第一形变场， ƒ(χi)作为预测值表征针对第i张治疗前的OCT图像生成的预测的第二形变场，MAE为所述预测的第二形变场与所述第一形变场之间的误差总和的平均值；
当所述平均绝对误差函数应用于所述第二级生成对抗网络时，уi作为一组真实值表征所述第i张治疗前的OCT图像所对应的治疗后的OCT图像，ƒ(χi)预测值表征针对第i张治疗前的OCT图像生成的预测的治疗后的OCT图像，MAE为预测的治疗后的OCT图像与真实的治疗后的OCT图像之间的误差总和的平均值。
4.一种图像预测模型的应用方法，其特征在于，所述图像预测模型是根据权利要求1-3中任一项所述的方法训练得到的，所述应用方法包括：
获取待预测的治疗前的OCT图像；
将待预测的治疗前的OCT图像输入所述图像预测模型的第一级生成对抗网络模型，输出预测的形变场；
基于所述预测的形变场对所述待预测的治疗前的OCT图像进行插值，输出形变后的OCT图像；
将所述形变后的OCT图像输入所述图像预测模型的第二级生成对抗网络模型，输出最终预测的治疗后的OCT图像。
5.一种图像预测模型的训练装置，其特征在于，所述图像预测模型的训练装置包括：
第一训练集获取模块，用于获取治疗前后的OCT图像，对所述治疗前后的OCT图像进行图像配准，获得第一形变场作为第一训练集；
第一训练模块，用于将所述第一训练集输入至第一级生成对抗网络，对所述第一级生成对抗网络进行迭代优化训练，得到第一级生成对抗网络模型；其中，所述第一级生成对抗网络的网络结构包括：第一级生成器和第一级判别器；所述对所述第一级生成对抗网络进行迭代优化训练，得到第一级生成对抗网络模型，包括：将所述治疗前的OCT图像输入至所述第一级生成器，以所述第一形变场为训练目标，通过生成第二形变场来预测图像的形变；通过所述第一级判别器对所述第一形变场和所述第二形变场进行损失函数计算，得到第一损失函数值；根据所述第一损失函数值优化所述第一级生成对抗网络的参数，通过迭代优化训练，当所述第一损失函数值低于第一预设的阈值时，得到第一级生成对抗网络模型；
第二训练集获取模块，用于将所述治疗前后的OCT图像作为第二训练集；
第二训练模块，用于将所述第二训练集输入至第二级生成对抗网络，对所述第二级生成对抗网络进行迭代优化训练，得到第二级生成对抗网络模型；其中，所述第二级生成对抗网络的网络结构包括：第二级生成器和第二级判别器；所述对所述第二级生成对抗网络进行迭代优化训练，得到第二级生成对抗网络模型，包括：将所述治疗前的OCT图像输入至所述第二级生成器，得到预测的治疗后的OCT图像，以所述治疗后的OCT图像为训练目标，通过所述预测的治疗后的OCT图像来预测图像的像素变化；通过所述第二级判别器对所述预测的治疗后的OCT图像和所述治疗后的OCT图像进行损失函数计算，得到第二损失函数值；根据所述第二损失函数值优化所述第二级生成对抗网络的参数，当所述第二损失函数值低于第二预设的阈值时，得到第二级生成对抗网络模型；
模型级联模块，用于将所述第一级生成对抗网络模型和所述第二级生成对抗网络模型进行级联，得到图像预测模型;其中，所述将所述第一级生成对抗网络模型和所述第二级生成对抗网络模型进行级联，包括:将基于第一级生成对抗网络模型输出的形变场对治疗前的OCT图像的像素进行插值，得到形变后的OCT图像的像素值，并将该形变后的OCT图像作为第二级生成对抗网络模型的输入，将第二级生成对抗网络模型的输出作为整个图像预测模型的输出。
6.一种图像预测模型的应用装置，其特征在于，所述图像预测模型是根据权利要求1-3中任一项所述的方法训练得到的，所述图像预测模型的应用装置包括：
图像获取模块，用于获取待预测的治疗前的OCT图像；
形变场输出模块，用于将待预测的治疗前的OCT图像输入所述图像预测模型的第一级生成对抗网络模型，输出预测的形变场；
插值模块，用于基于所述预测的形变场对所述待预测的治疗前的OCT图像进行插值，输出形变后的OCT图像；
图像输出模块，用于将所述形变后的OCT图像输入所述图像预测模型的第二级生成对抗网络模型，输出最终预测的治疗后的OCT图像。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1-3中任一项所述的图像预测模型的训练方法或者权利要求4所述的图像预测模型的应用方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-3中任一项所述的图像预测模型的训练方法或者权利要求4所述的图像预测模型的应用方法。
CN202110572884.8A 2021-05-25 2021-05-25 图像预测模型的训练及应用方法、装置、设备、存储介质 Active CN113269812B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110572884.8A CN113269812B (zh) 2021-05-25 2021-05-25 图像预测模型的训练及应用方法、装置、设备、存储介质
PCT/CN2021/109475 WO2022247004A1 (zh) 2021-05-25 2021-07-30 图像预测模型的训练及应用方法、装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110572884.8A CN113269812B (zh) 2021-05-25 2021-05-25 图像预测模型的训练及应用方法、装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN113269812A CN113269812A (zh) 2021-08-17
CN113269812B true CN113269812B (zh) 2024-05-07

Family

ID=77232797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110572884.8A Active CN113269812B (zh) 2021-05-25 2021-05-25 图像预测模型的训练及应用方法、装置、设备、存储介质

Country Status (2)

Country Link
CN (1) CN113269812B (zh)
WO (1) WO2022247004A1 (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047629A (zh) * 2019-11-04 2020-04-21 中国科学院深圳先进技术研究院 多模态图像配准的方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10636141B2 (en) * 2017-02-09 2020-04-28 Siemens Healthcare Gmbh Adversarial and dual inverse deep learning networks for medical image analysis
CN110582328B (zh) * 2019-07-22 2022-03-01 北京市肿瘤防治研究所 一种放射治疗出射束监测方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047629A (zh) * 2019-11-04 2020-04-21 中国科学院深圳先进技术研究院 多模态图像配准的方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Prediction of OCT images of short-term response to anti-VEGF treatment for neovascular age一related macular degeneration using generative adversarial network";Yutong Liu等;《The British .Tournal of ophthalmology》;第104卷(第12期);第1-5页 *
"利用生成式对抗网络预测新生血管性AMD患者抗VEGF治疗后短期OCT图像改变";刘雨桐;《中国优秀硕博士论文全文数据库(博士)医药卫生科技辑》;第7-20页 *

Also Published As

Publication number Publication date
CN113269812A (zh) 2021-08-17
WO2022247004A1 (zh) 2022-12-01

Similar Documents

Publication Publication Date Title
CN109829894B (zh) 分割模型训练方法、oct图像分割方法、装置、设备及介质
CN111179177B (zh) 图像重建模型训练方法、图像重建方法、设备及介质
EP4105877A1 (en) Image enhancement method and image enhancement apparatus
CN108765425B (zh) 图像分割方法、装置、计算机设备和存储介质
CN110717851A (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
US9053387B2 (en) Image processing circuit and image detection device
CN111862251B (zh) 医学图像重建技术的方法、装置、存储介质和电子设备
US11816870B2 (en) Image processing method and device, neural network and training method thereof, storage medium
JP7186539B2 (ja) 錆検出プログラム、錆検出システム及び錆検出方法
Gong et al. Combining sparse representation and local rank constraint for single image super resolution
CN112365413A (zh) 图像处理方法、装置、设备、系统及计算机可读存储介质
CN111079764A (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
WO2020150077A1 (en) Camera self-calibration network
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
EP4107662A1 (en) Out-of-distribution detection of input instances to a model
CN113674191A (zh) 一种基于条件对抗网络的弱光图像增强方法和装置
CN113658097B (zh) 一种眼底图像质量增强模型的训练方法及装置
CN114066908A (zh) 一种用于脑肿瘤图像分割的方法及系统
CN113269812B (zh) 图像预测模型的训练及应用方法、装置、设备、存储介质
CN115619678B (zh) 一种图像变形的矫正方法、装置、计算机设备及存储介质
CN111626379A (zh) 肺炎x光图像检测方法
CN113421317B (zh) 一种生成图像的方法、系统及电子设备
CN111339993A (zh) 一种x射线图像金属检测方法和系统
CN108447066B (zh) 胆道图像分割方法、终端、存储介质
CN102880878A (zh) 一种基于单幅图像进行超分辨率分析的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant