CN115004225A - 弱监督病灶分割 - Google Patents

弱监督病灶分割 Download PDF

Info

Publication number
CN115004225A
CN115004225A CN202180010782.5A CN202180010782A CN115004225A CN 115004225 A CN115004225 A CN 115004225A CN 202180010782 A CN202180010782 A CN 202180010782A CN 115004225 A CN115004225 A CN 115004225A
Authority
CN
China
Prior art keywords
anomaly
image
network
biological
generator network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180010782.5A
Other languages
English (en)
Inventor
Y·A·彼得罗夫
R·A·D·卡拉诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Genentech Inc
Original Assignee
Genentech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Genentech Inc filed Critical Genentech Inc
Publication of CN115004225A publication Critical patent/CN115004225A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

生成式对抗网络(GAN)可以被训练，其中所述GAN包括被配置成修改医学图像以移除生物学异常的描绘的异常移除生成器网络以及一个或多个鉴别器网络(各自配置成在真图像与伪图像之间进行鉴别)。所述异常移除生成器网络然后可以接收描绘特定生物学异常(或其预处理版本)的医学图像并生成被预测为缺少所述特定生物学异常的任何描绘的经修改的图像。可以基于经修改的图像和所接收的图像(或其预处理版本)来估计所述特定生物学异常的大小。

Description

弱监督病灶分割
发明人：
Yury Anatolievich PETROV，居住在加利福尼亚州半月湾，美国公民RichardAlan Duray CARANO，居住在加利福尼亚州圣拉蒙市，美国公民
相关申请的交叉引用
本申请要求2020年1月24日提交的PCT/US2021/014611、美国临时专利申请62/965,515和2020年1月27日提交的美国临时专利申请62/966,084的权益和优先权。这些申请中的每个申请出于所有目的特此通过引用整体并入本文。
技术领域
总体上，所公开的技术涉及通过使用神经网络(例如，生成器网络)以生成缺少异常的图像的伪版本并从医学图像中减去伪图像来估计医学图像中描绘的生物学异常的大小。可以通过训练包括生成器网络的生成式对抗网络(GAN)(例如，再循环-GAN或循环-GAN)来训练生成器网络。
背景技术
医学成像通常用于检测和/或监测生物学异常(例如，病灶或肿瘤)。量化生物学异常的大小经常需要标注者在一个或多个图像(例如，对应于一个或多个切片)上标记异常的轮廓。这是时间密集型的，并且由于边界位置的主观性导致的标注上的变化而容易出错。
因此，发现用于处理图像以检测和预测生物学异常的大小的自动化技术将是有利的。
发明内容
异常移除生成器网络用于处理描绘给定类型的生物学异常(例如，肿瘤或病灶)的真图像。生成器网络可以包括一个或多个三维内核。该处理可以包括生成与真图像相对应但缺少对给定类型的生物学异常的描绘的伪图像。然后可以使用真图像和伪图像对生物学异常进行分割，从而识别生物学异常的边界、面积或体积。附加地或替代性地，然后可以使用真图像和伪图像来估计给定类型的生物学异常的大小和/或位置。估计生物学异常的大小可以包括从对应的真图像中减去伪图像。可以基于具有超过预定义阈值的强度的像素或体素的总数来估计生物学异常的大小。在一些实例中，在估计大小之前执行过滤或其他处理(例如，通过应用一个或多个阈值和/或应用一个或多个空间平滑函数)。
可以响应于更大的生成式对抗网络(GAN)的训练来配置异常移除生成器网络。GAN可以包括循环-GAN，该循环-GAN可以包括——除了异常移除生成器网络(配置成生成没有给定类型的生物学异常的任何描绘的图像)之外，另一个异常添加生成器网络(配置成生成描绘给定类型的生物学异常的图像)。循环-GAN可以进一步包括多个鉴别器网络。每个鉴别器网络可以配置成接收真图像和伪图像(对应于异常存实例在或异常不存在实例)并确定图像中的每个图像是否是真的。基于由每个鉴别器网络生成的结果的准确性生成的反馈可以反馈给对应的生成器网络之一。循环-GAN可以配置成使得异常添加生成器网络和/或异常移除生成器网络接收并生成三维图像(使用一组三维内核)。类似地，循环-GAN可以配置成使得每个鉴别器网络接收三维图像(并预测该图像是真图像还是伪图像)。
GAN可以替代性地包括再循环-GAN，该再循环-GAN包括循环-GAN的生成器网络和鉴别器网络，并且进一步包括一个或多个预测器网络。每个预测器网络可以被配置和训练成生成与由生成器网络生成的馈送给预测器网络的图像中描绘的视角、成像模态、位置、缩放和/或切片相比对应于不同的视角、成像模态、位置、缩放和/或切片的伪图像。每个鉴别器网络都可以被配置和训练成接收真图像和伪图像(对应于异常存在实例在或异常不存在实例)并确定图像中的每个图像是否是真的。由给定鉴别器网络生成的结果可以反馈给生成器网络，生成器网络馈送到预测器网络，该预测器网络馈送到给定鉴别器网络以潜在地触发参数学习。
在第一实施例中，提供了一种计算机实现方法。访问医学图像，该医学图像对应于受试者并描绘生物学异常的一部分，该生物学异常属于特定类型的生物学异常。基于医学图像并使用异常移除生成器网络生成经修改的图像。异常移除生成器网络可以配置有在使用缺少特定类型的生物学异常的标注的训练数据集的训练期间学习的参数。基于医学图像和经修改的图像估计生物学异常的大小。输出生物学异常的估计大小。
在第二实施例中，一种方法可以包括第一实施例的方法，并且进一步包括：通过训练生成式对抗网络来训练异常移除生成器网络，该生成式对抗网络包括：异常移除生成器网络；以及一个或多个鉴别器网络，其中一个或多个鉴别器网络中的每一个被配置和训练成在真图像与由生成器网络生成的图像之间进行鉴别，该生成器网络包括异常移除生成器网络或异常添加生成器网络。
在第三实施例中，一种方法可以包括第一实施例的方法，其中通过训练生成式对抗网络来限定异常移除生成器网络的一组参数，该生成式对抗网络包括：异常移除生成器网络；以及一个或多个鉴别器网络，其中一个或多个鉴别器网络中的每一个被配置和训练成在真图像与由生成器网络生成的图像之间进行鉴别，该生成器网络包括异常移除生成器网络或异常添加生成器网络。
在第四实施例中，一种方法可以包括第一实施例的方法，并且进一步包括：通过训练生成式对抗网络来训练异常移除生成器网络，该生成式对抗网络包括：异常移除生成器网络；异常添加生成器网络；第一鉴别器网络；以及第二鉴别器网络。第一鉴别器网络可以配置成在以下项之间进行鉴别：被标记为描绘特定类型的生物学异常中的生物学异常的至少一部分的真图像；与由异常添加生成器网络生成的伪图像。异常添加生成器网络可以在训练期间接收基于由第一鉴别器网络生成的第一鉴别结果的反馈。第二鉴别器网络可以配置成在以下项之间进行鉴别：被标记为没有描绘特定类型的生物学异常中的任何生物学异常的真图像；与由异常移除生成器网络生成的伪图像。异常移除生成器网络可以接收基于由第一鉴别器网络生成的第一鉴别结果的反馈。
在第五实施例中，一种方法可以包括第一实施例的方法，其中通过训练生成式对抗网络来限定一组异常移除生成器网络，该生成式对抗网络包括：异常移除生成器网络；异常添加生成器网络；第一鉴别器网络；以及第二鉴别器网络。第一鉴别器网络配置成在以下项之间进行鉴别：被标记为描绘特定类型的生物学异常中的另一种异常的至少一部分的真图像；与至少由异常添加生成器网络生成的伪图像。异常添加生成器网络在训练期间可能已经接收到基于由第一鉴别器网络生成的第一鉴别结果的反馈。第二鉴别器网络可以配置成在以下项之间进行鉴别：被标记为没有描绘特定类型的生物学异常中的任何生物学异常的真图像；与由异常移除生成器网络生成的伪图像。异常移除生成器网络在训练期间可能已经接收到基于由第一鉴别器网络生成的第一鉴别结果的反馈。
在第六实施例中，一种方法可以包括第一实施例的方法，并且进一步包括：通过以下方式训练生成式对抗网络(GAN)来训练异常移除生成器网络：向异常移除生成器网络输入真异常存在图像，该真异常存在图像描绘受试者的至少一部分并描绘特定类型的生物学异常中的另一种生物学异常的至少一部分；使用至少异常移除生成器网络和真异常存在图像来生成伪异常不存在图像；使用GAN的鉴别器网络来执行鉴别以预测伪异常不存在图像是对应于实际样品的真实图像还是伪图像；以及基于由鉴别器网络执行的鉴别，调整异常移除生成器网络的一个或多个权重。在第七实施例中，一种方法可以包括第六实施例的方法，并且进一步包括：向GAN的异常移除生成器网络输入伪异常不存在图像；使用异常添加生成器网络和伪异常不存在图像来生成循环的伪异常存在图像；将循环的伪异常存在图像与真异常存在图像进行比较；以及基于循环的伪异常存在图像与真异常存在图像的比较来确定循环损失。
在第八实施例中，一种方法可以包括第一实施例至第七实施例中任一实施例的方法，并且进一步包括：预处理医学图像以调整一个或多个颜色通道中的每个颜色通道的分布，其中经修改的图像是基于预处理后的医学图像生成的。
在第九实施例中，一种方法可以包括第一实施例至第八实施例中任一实施例的方法，并且进一步包括：预处理医学图像以执行对特定器官的分割，其中经修改的图像是基于预处理后的医学图像生成的。
在第十实施例中，一种方法可以包括第一实施例至第九实施例中任一实施例的方法，其中估计生物学异常的大小包括：从医学图像中减去经修改的图像。
在第十一实施例中，一种方法可以包括第一实施例至第十实施例中任一实施例的方法，其中特定类型的生物学异常是病灶或肿瘤。
在第十二实施例中，一种方法可以包括第一实施例至第十一实施例中任一实施例的方法，其中医学图像包括CT图像、X射线图像或MRI图像。
在第十三实施例中，一种方法可以包括第一实施例至第十二实施例中任一实施例的方法，其中医学图像包括三维图像。
在第十四实施例中，一种方法可以包括第一实施例至第十三实施例中任一实施例的方法，其中异常移除生成器网络包括卷积神经网络。
在第十五实施例中，一种方法可以包括第一实施例至第十四实施例中任一实施例的方法，其中训练数据集缺少对特定类型的生物学异常中的任何描绘的异常的边界、面积或体积的任何识别。
在第十六实施例中，提供了一种方法，该方法包括：通过用户装置以及对计算系统利用医学图像，该医学图像对应于受试者并描绘生物学异常的一部分，该生物学异常属于特定类型的生物学异常；以及在用户装置处且从计算系统接收生物学异常的估计大小，其中计算系统通过以下方式来确定该估计大小：基于医学图像并使用异常移除生成器网络来生成经修改的图像，已经使用缺少特定类型的生物学异常的标注的训练数据集对该异常移除生成器网络进行了训练；基于医学图像和经修改的图像确定生物学异常的该估计大小。
在第十七实施例中，一种方法可以包括第十六实施例的方法，并且进一步包括：基于该估计大小为受试者选择诊断或治疗建议。
在第十八实施例中，一种方法可以包括第十七实施例的方法，并且进一步包括：向受试者传达所选择的诊断或治疗建议。
在第十九实施例中，一种方法可以包括第十六实施例至第十八实施例中任一实施例的方法，并且进一步包括：使用医学成像系统收集医学图像。
第二十实施例包括医学图像中描绘的生物学异常的估计大小在受试者的治疗中的用途，其中估计大小由执行一组动作的计算装置提供，该一组动作包括：由计算系统基于医学图像并使用异常移除生成器网络来生成经修改的图像，已经使用被识别为缺少特定类型的生物学异常的任何标注的训练数据集对该异常移除生成器网络进行了训练；以及由计算系统基于医学图像和经修改的图像来估计生物学异常的大小。
第二十一实施例包括一种系统，其包括：一个或多个数据处理器；以及非暂时性计算机可读存储介质，该非暂时性计算机可读存储介质包含指令，该指令当在一个或多个数据处理器上被执行时，使一个或多个数据处理器执行本文公开的一种或多种方法的一部分或全部(例如，第一实施例至第十九实施例中任一实施例的方法)。
第二十二实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，该计算机程序产品包括指令，该指令被配置成使一个或多个数据处理器执行本文公开的一种或多种方法的一部分或全部(例如，第一实施例至第十九实施例中任一实施例的方法)。
本公开的一些实施例包括一种系统，该系统包括一个或多个数据处理器。在一些实施例中，该系统包括包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上被执行时使所述一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。
已使用的术语和表述被用作描述性而非限制性的术语，并且在使用此类术语和表述时无意排除示出和描述的特征或其部分的任何等效物，但应认识到在要求保护的本发明的范围内可以进行各种修改。因此，应当理解，虽然通过实施例和任选特征具体公开了要求保护的本发明，但是本领域技术人员可以对本文公开的概念进行修改和变化，并且此类修改和变化被认为是在所附权利要求书所限定的本发明范围内。
附图说明
结合以下附图描述本公开：
图1示出了根据一些实施例的示例性生物学异常表征网络。
图2示出了根据本发明的一些实施例的循环-生成式对抗网络(GAN)中的网络和网络连接的表示。
图3展示了根据本发明的一些实施例的使用循环-GAN来生成伪图像和在真图像与伪图像之间进行鉴别的流程。
图4展示了根据本发明的一些实施例的再循环-GAN中的各种网络和网络连接。
图5展示了根据本发明的一些实施例如何在神经网络配置中生成和评估各种伪图像。
图6A至图6B展示了根据本发明的一些实施例的神经网络配置中各种类型的损失是如何产生的。
图7展示了根据本发明的一些实施例如何可以基于真图像和伪图像之间的比较来估计生物学异常的空间特征。
图8示出了用于估计生物学异常的大小的示例性过程的流程图。
图9展示了使用循环-GAN来检测病灶所使用和生成的图像的示例。
图10展示了通过使用循环-GAN算法或由四个人类读取者进行的示例性病灶检测。
图11展示了与放射科医师的病灶检测相比，经过训练的再循环GAN检测病灶的示例性结果。
在附图中，相似部位和/或特征可具有相同的参考标号。此外，可通过在参考标号后面加上破折号和区分相似部位的第二标号来区分相同类型的各种部位。如果说明书中仅使用第一参考标号，则该描述适用于任何一个具有相同的第一参考标号的相似部位，而与第二参考标号无关。
具体实施方式
I.概述
本文公开的系统、方法和软件有助于估计生物学异常诸如肿瘤的大小。更具体地，异常移除生成器神经网络被训练以接收与特定上下文(例如，特定受试者的特定切片级别和/或特定受试者的特定生物学区域)相关联的真图像并生成对应的与相同或不同上下文(例如，特定受试者的不同切片级别、特定受试者的相同切片级别、或特定受试者的相同特定生物学区域)相关联的伪图像。虽然对应的伪图像可以关于一些方面(例如，特定受试者)真实反映真图像，但神经网络可以配置成使得对应的伪图像缺少在真图像中描绘的给定类型的生物学异常的部分或全部描绘。例如，真图像和伪图像都可以包括肺部的三-维图像，而真图像可以描绘肿瘤而伪图像没有。因此，通过从真图像中减去伪图像(例如，以及确定差异图像中有多少像素或体素超过阈值)来估计生物学异常的大小。
I.A.用于训练异常移除生成网络的生成式对抗网络
异常移除生成器网络可以包括在训练生成式对抗网络(GAN)时学习的参数。GAN进一步包括鉴别器网络，该鉴别器网络配置成预测输入图像是伪(由异常移除生成器网络生成的)还是真的(描绘从受试者收集的实际图像)。基于这些预测的准确性的反馈可以提供给异常移除生成器网络。
在一些实例中，用于训练异常移除生成器网络的GAN包括循环-GAN。循环-GAN包括多个生成器网络和多个鉴别器网络。除了异常移除生成器网络之外，循环-GAN进一步包括异常添加生成器网络，该异常添加生成器网络被配置和训练成接收没有描绘任何特定类型的生物学异常的真异常不存在图像，并生成描绘特定类型的生物学异常的伪异常存在图像。循环-GAN还包括第一鉴别器网络，该第一鉴别器网络预测图像(其真正地没有描绘特定类型的生物学异常或其被修改为缺少特定类型的生物学异常的任何描绘)是真还是伪。预测的准确性可以用于向异常移除生成器网络提供反馈。循环-GAN还可以包括第二鉴别器网络，该第二鉴别器网络预测图像(其真正地描绘特定类型的生物学异常或其被修改为包括特定类型的生物学异常)是真还是伪。预测的准确性可以用于向异常添加生成器网络提供反馈。
在一些实例中，用于训练异常移除生成器网络的GAN包括再循环-GAN。与循环-GAN一样，再循环-GAN包括多个生成器网络(例如，异常移除生成器网络和异常添加生成器网络)和多个鉴别器网络(例如，配置成在真异常不存在图像与伪异常-不存在图像之间进行鉴别的鉴别器网络以及配置成在真异常存在图像与伪异常存在图像之间进行鉴别的鉴别器网络)。此外，再循环-GAN包括一个或多个预测器网络，这些预测器网络生成与涉及输入到预测器网络的图像的不同上下文相关联的图像。
再循环-GAN中的第一预测器网络可以接收一个或多个图像，这些图像描绘特定类型的生物学异常(例如，肿瘤、病灶或斑块)并与特定受试者和一个或多个切片级别相关联，并且第一预测器可以生成与预测的不同上下文图像相对应的输出，该预测的不同上下文图像与特定受试者相关联。与相对于由预测器网络接收的图像的视角、成像模态、位置、缩放和/或切片相比，每个经修改的图像可以对应于不同的视角、成像模态、位置、缩放和/或切片。值得注意的是，描绘生物学异常并由第一预测器网络接收的一个或多个图像可以是真图像或伪图像。例如，一个或多个图像可以是由异常-添加生成器网络生成的伪图像，该异常添加生成器网络配置成修改一个或多个真图像(例如，其缺少给定类型的生物学异常的任何描绘)以添加给定类型的生物学异常的描绘。
相反，再循环-GAN中的第二预测器网络可以接收缺少特定类型的生物学异常的描绘的一个或多个图像(例如，其没有描绘肿瘤)，并且可以生成与也缺少特定类型的生物学异常的描绘的预测的不同上下文图像(例如，与不同的视角、成像模态、位置、缩放和/或切片相关联)相对应的输出。值得注意的是，未能描绘生物学异常并由第二预测器网络接收的一个或多个图像可以是真图像或伪图像。例如，一个或多个图像可以是由异常移除生成器网络生成的伪图像，该异常移除生成器网络配置成修改一个或多个真图像(例如，其包括给定类型的生物学异常的任何描绘)以移除给定类型的生物学异常的描绘。
I.B.使用伪异常不存在图像的异常大小预测
在一些实例中，异常移除生成网络配置成接收三维图像(其描绘生物学异常的至少一部分)并生成伪三维图像(其缺少生物学异常的至少一部分的描绘)。然后，真图像与伪图像之间的差异可以指示哪些体素被预测为生物学异常的一部分。因此，可以基于真图像和伪图像之间的差异超过阈值的体素的数量来预测生物学异常的大小。
替代性地，异常移除生成网络可以配置成接收二维图像(其描绘生物学异常的至少一部分)并生成伪二维图像(其缺少生物学异常的至少一部分的描绘)。然后，真图像和伪图像之间的差异可以表示异常的预测区域。然而，多个真图像(例如，对应于不同切片级别)可以可用于给定受试者，并且可以生成多个伪图像。然后可以共同处理跨切片级别的区域以预测异常的大小和/或体积。
I.C.优势
本文公开的与使用GAN相关的技术在减少对手动标注的需求和提高描画医学图像上异常的客观性和准确性方面具有很强的优势。例如，手动标注医学图像以估计肿瘤的体积可能需要大量时间来识别多个连续切片中的每个切片中的肿瘤边界。例如，患有晚期癌症的受试者的全身CT扫描可以包括250个或更多个肿瘤。使用手动标注来检测异常可能需要每个图像数千个工作时间和每个肿瘤数百万美元。
该时间投入可能导致训练集具有相对较小的大小和/或具有相当小的多样性。这种手动方法也容易出错，因为人类标注者可能难以从相邻载玻片中召回细节，这些相邻载玻片可能会提供有关当前载玻片上肿瘤边界位置的信息。
同时，本文公开的基于GAN的技术可以使用机器-学习模型，该机器学习模型使用具有高级别标记的数据进行训练，该高级别标记指示(例如)每个图像是否描绘生物学异常的至少一部分(使得训练数据包括二进制标记)。训练数据不需要被标记以指示生物学异常的给定描绘的位置、所描绘的生物学异常的大小、生物学异常的边界、或生物学异常的任何其他空间特征。也就是说，可以在不执行手动分割的情况下收集训练数据集。因此，可以更容易地获得训练数据，这可以得到更大的训练数据集和更高的模型准确性。替代性地或附加地，二进制标记可以减少收集训练集和/或预测生物学异常的大小的时间或财务投资。
进一步地，本文公开的技术不依赖于包括配对数据的训练数据集。也就是说，生成器网络不需要在下述数据集上进行训练，该数据集包括一组异常不存在图像和一组对应的“配对的”异常存在图像(例如，与同一受试者集相关联)。收集配对的图像可以包括为每个受试者收集从多个成像会话中收集的图像。例如，来自第一成像会话的一个或多个图像可以描绘生物学异常，而来自第二成像会话的图像可以缺少生物学异常(或相反)。然而，预测异常是否会停止出现(例如，响应于治疗)或者是否会出现新的异常是非常困难的。因此，获得配对图像可能具有很大的挑战性。如果没有配对数据，就不可能使用许多现有的训练技术(例如，其使用L1或L2正则化)来训练神经网络以基于真异常存在图像生成预测的异常不存在图像(例如，以之后预测异常的大小)。同时，本文公开的技术——其不需要配对数据——可以允许收集更大的训练数据集(例如，未配对的训练数据集)，这可以致使准确预测生物学异常的大小。
II.示例性生物学异常表征网络
图1示出了根据一些实施例的示例性生物学异常表征网络100。生物学异常表征网络100包括图像生成系统105，该图像生成系统配置成收集受试者的身体的一部分的一个或多个图像。每个图像可以描绘一个或多个生物学结构的至少一部分(例如，一个或多个肿瘤的至少一部分、一个或多个病灶的至少一部分、一个或多个斑块的至少一部分、和/或一个或多个器官的至少一部分)。受试者可以包括已被诊断为患有或可能诊断为患有特定疾病的人。特定疾病可以包括癌症和/或特定类型的癌症。一个或多个图像可以描绘(例如)肺部、脑部或肝脏的全部或部分。
II.A.图像生成系统
图像包括一个或多个二维图像和/或一个或多个三维图像。二维图像描绘受试者的横截面切片(例如，水平切片)或受试者的横截面切片的一部分。三-维图像描绘受试者的三维区域。可以通过堆叠或组合多个二维图像(对应于在多个切片级别处获取的受试者的切片)来生成三维图像。因此，如本文所用，受试者的在图像中描绘的“区域”指的是受试者内的三维体积，而受试者的在图像中描绘的“切片”指的是二维受试者的二维横截面。
图像生成系统105可以包括(例如)计算机断层扫描(CT)扫描仪、X线机器或磁共振成像(MRI)机器。图像可以包括放射图像、CT图像、X射线图像或MRI图像。图像可以在没有向受试者施用造影剂的情况下或者在向受试者施用造影剂之后进行收集。在一些实例中，图像生成系统105可以初始收集一组二维图像，并使用二维图像生成三维图像。
由图像生成系统105收集的图像可以在没有向受试者施用造影剂的情况下或在向受试者施用造影剂之后收集。正被成像的受试者可以包括诊断为患有癌症、可能诊断为或初步诊断为患有癌症和/或具有与癌症或肿瘤一致的症状的受试者。
图像生成系统105可以将收集的图像存储在图像数据存储器110中，该图像数据存储器可以包括(例如)云数据存储器。每个图像可以与一个或多个标识符相关联地存储，诸如受试者的标识符和/或与受试者相关联的护理提供者的标识符。每个图像可以进一步与收集图像的日期相关联地存储。
II.B.图像标记系统
一个或多个图像可用于图像标记系统115，该图像标记系统有助于识别一个或多个图像中的每个图像的标记。标记指示图像是否描绘生物学异常。将理解，指示图像描绘生物学异常的标记可以指示图像描绘生物学异常的一部分(例如，生物学异常的切片)。
图像标记系统115可以基于通过人类用户接收到的输入来识别标记。例如，图像标记系统115可以在显示器上呈现一个或多个图像中的每个图像并且可以接收指示每个图像是否描绘生物学异常(例如，描绘肿瘤的至少一部分)的输入(例如，给定按钮的点击、下拉选项的选择、文本的输入等)。
图像标记系统115可以替代性地使用自动化图像处理技术来识别标记。例如，图像标记系统115可以在体素或像素的至少阈值百分比或至少阈值数量具有高于预定义阈值的强度时预测图像描绘生物学异常。阈值可以限定为在吸收造影剂的身体部分(例如，肿瘤)与身体的其他部分之间进行区分。作为另一个示例，图像标记系统115可以基于图像的来源来识别标记。例如，图像的第一来源可以包括与确诊的肿瘤学病例相关联的数据库、库或医疗提供者系统，而图像的第二来源可以包括与健康的受试者相关联的数据库、库或医疗提供者系统。
图像标记系统115可以更新图像数据存储器110以包括指示一个或多个图像中的每个图像是否包括生物学异常的描绘的一个或多个标记。
II.C.图像处理系统
图像处理系统125(例如，其可以包括远程计算系统和/或基于云的计算系统)可以配置成针对给定类型的一个或多个生物学异常中的每个生物学异常预测所描绘的异常的大小。
II.C.1.预处理控制器
更具体地，图像处理系统125可以配置成训练GAN；随后使用来自GAN的经过训练的异常移除生成器网络来处理输入图像(其描绘特定类型的生物学异常)以生成经修改的图像(其没有描绘特定类型的生物学异常)；以及使用输入图像和经修改的图像来预测生物学异常的大小。
更具体地，图像处理系统125可以包括预处理控制器130，该预处理控制器可以启动和/或控制图像的预处理。预处理可以包括(例如)将图像转换为预定义格式、将图像重新取样为预定义的取样大小、将图像重新取样为预定义大小(例如，一个、多个或所有尺寸中的每个尺寸不大于指定数量的像素或体素)、将图像裁剪为预定义大小、基于多个二维图像生成三维图像、生成具有不同(例如，目标)视角的一个或多个图像、调整(例如，标准化或正规化)强度值、和/或调整颜色值。
预处理可以包括转换调整一个或多个颜色通道。例如，可以将灰度图像转换为包括一个或多个颜色通道。
在一些实例中，对于每个图像，预处理控制器130通过检测描绘特定类型的生物学器官(例如，肺部)的至少一部分的区域来分割图像。可以使用(例如)使用监督学习训练的神经网络(例如，卷积神经网络)来执行分割。可以修改图像以仅包括图像的被识别为描绘特定类型的生物学器官的部分。例如，所有其他像素或体素的强度值可以设置为零或非数字值。
II.C.2.GAN训练控制器
图像处理系统125包括GAN训练控制器135，该训练控制器使用被标记的图像来训练GAN。可以使用包括第一组图像的训练集来训练GAN，该第一组图像各自描绘至少一个生物学异常(其可以包括描绘生物学异常的至少一部分)，其中至少一个生物学异常属于特定类型的异常。例如，图像可以包括描绘整个肿瘤的三维图像；描绘肿瘤完整横截面的二维图像；描绘部分肿瘤的三维图像；或描绘肿瘤部分横截面的二维图像。训练集还包括第二组图像，其中第二组中的每个图像没有描绘特定类型的异常中的任何生物学异常。数据集中的每个图像都可以与指示该图像是否描绘特定类型的生物学异常的标记相关联，尽管训练集不需要包括指示图像内何处描绘异常的分割或标注数据。训练集内的图像可以全部描绘特定器官的至少一部分(或全部)，或者训练集中可以包括描绘身体的不同部分的图像。
GAN可以包括循环-GAN或再循环-GAN。GAN包括异常移除生成器神经网络，该异常移除生成器神经网络经过训练，以接收描绘特定类型的生物学异常(例如肿瘤)的图像，并输出没有描绘特定类型的生物学异常的经修改的(伪)图像。异常移除生成器网络可以包括一个或多个卷积层、U-net或V-net。在一些实例中，异常移除生成器网络包括特征提取编码器(其包括一个或多个卷积层)、转换器(其包括一个或多个卷积层)和解码器(其包括一个或多个卷积层)。经修改的图像和接收到的图像可以共享各种上下文(例如，所描绘的面积/体积、大小、所描绘的器官等)。鉴别器网络接收来自异常移除生成器网络的伪图像，并且还接收没有描绘特定类型的生物学异常的真图像。鉴别器网络可以包括一个或多个卷积层和一个激活层。鉴别器网络针对每个图像预测图像是真还是伪。基于鉴别器网络的预测的准确性，可以将反馈发送到异常移除生成器网络。
训练GAN可以包括使用一个或多个损失函数。训练可以包括当GAN的鉴别器网络不正确地预测真图像是伪图像(或相反)时引入惩罚。训练可以附加地或替代性地包括引入循环损失。循环损失可以通过如下方法计算：使用GAN的一个生成器网络对包括(或替代性地缺少)特定类型的异常的描绘的原始图像进行双重处理，以删除(或替代性地添加)这样的描绘，从而生成被预测为缺少(或替代性地包括)特定类型的异常的描绘的经修改的图像，然后使用GAN的另一个生成器网络处理经修改的图像以添加(或替代性地移除)异常的描绘以生成循环图像。损失可能会随着原始图像和循环图像之间的差异而改变大小。
II.C.2.a.循环-GAN
由GAN训练控制器135训练的GAN可以包括循环-GAN，该循环-GAN包括多个生成器网络和多个鉴别器网络。图2示出了循环-GAN中的网络和网络连接的表示，并且图3展示了使用循环-GAN生成伪图像和鉴别真图像与伪图像的流程。在这个描绘中，每个矩形框表示(真或伪)图像，并且每个菱形表示确定
X和Y域属于不同类型的图像。对于本实例，Y域对应于描绘特定类型的生物学异常(例如，病灶)的图像，而X域对应于缺少特定类型的生物学异常的描绘的图像。
除了包括异常移除生成器网络之外，循环-GAN还包括异常添加生成器网络，该异常添加生成器网络被配置和训练成修改图像以添加特定类型的生物学异常的描绘。异常添加生成器网络可以包括一个或多个卷积层、U-net或V-net。在一些实例中，异常添加生成器网络包括特征提取编码器(其包括一个或多个卷积层)、转换器(其包括一个或多个卷积层)和解码器(其包括一个或多个卷积层)。异常添加生成器网络的架构可以与异常移除生成器网络的架构相同。
异常添加生成器网络和/或异常-移除生成器网络可以使用循环一致损失或循环损失共同训练。在该实例中，将原始图像与由一个生成器网络然后由另一个生成器网络处理产生的图像进行比较，并且当图像差异更显著时，损失可能会更大。例如，原始图像305可以描绘受试者的肺部并且不包括肿瘤的任何描绘。该原始图像可以由异常添加生成器网络处理以产生伪肿瘤存在图像310，该伪肿瘤存在图像然后可以由异常移除生成器网络处理以产生伪肿瘤不存在图像310'。可以以这样的方式计算损失，使得损失随着原始图像和伪肿瘤不存在图像之间的差异程度而改变大小。循环一致损失可以有助于减少模式崩溃的发生或程度(其中生成器开始生成可能与原始图像不对应的定型图像)。然而，最小化循环-GAN中的循环损失并不能保证一旦从一个域映射到另一个域，图像将不会陷入单一“模式”，其中从一个图像到另一个图像只有几个像素改变。例如，异常-添加生成器网络可能会生成伪异常存在图像，该伪异常存在图像看起来与输入的(例如，真)异常存在图像几乎相同。类似地，异常移除生成器网络可能会生成伪异常不存在图像，该伪异常不存在图像看起来与输入的(例如，伪)异常存在图像几乎相同。因此，在一些实例中，可以基于循环损失和非循环损失(例如，其中非循环损失是基于鉴别器网络可以在真图像与伪图像之间进行区分的程度来确定的)的组合来计算损失。
除了包括在没有描绘特定类型的异常的真图像与伪图像(例如，真肿瘤不存在图像305和伪肿瘤不存在图像310')之间进行鉴别(在框315'处)的鉴别器网络之外，循环-GAN还包括在描绘特定类型的异常的伪图像与真图像(例如，真肿瘤存在图像305'和伪肿瘤存在图像310)之间进行鉴别(在框315处)的另一个鉴别器网络。鉴别器网络和另一个鉴别器网络中的每个鉴别器网络可以包括一个或多个卷积层和一个激活层。鉴别器网络的架构可以与其他鉴别器网络的架构相同。
每个生成器网络(GX和GY)配置成从一个域接收图像并在另一个域中生成对应的图像(另一个域由下标指示)。GY配置成接收不包括特定类型的生物学异常的任何描绘的真图像305(X域)，并且生成包括特定类型的生物学异常的描绘的对应的伪图像310(Y域)。同时，GX配置成接收包括特定类型的生物学异常的描绘的真图像305'(Y域)，并且生成缺少特定类型的生物学异常的任何描绘的对应的图像310'(X域)。
每个鉴别器网络处理(由生成器网络生成的)伪图像以预测图像是否是真的。每个鉴别器网络类似地处理真图像以预测图像是否是真的。每个鉴别器网络都是特定于域的。因此，例如，鉴别器网络DY生成关于下述真图像或伪图像的预测(在框315处)，该真图像或伪图像已知(例如，经由与图像相关联的元数据)描绘生物学异常或正被生成(通过异常添加生成器网络GY或预测器网络PY)以描绘特定类型的生物学异常。类似地，鉴别器网络DX生成关于下述真图像或伪图像的预测(在框315'处)，该真图像或伪图像已知(例如，经由与图像相关联的元数据)缺少给定类型的生物学异常的描绘或正被生成(通过异常移除生成器网络GX或预测器网络PX)以缺少特定类型的生物学异常的任何描绘。
对应于可能性鉴别结果指示鉴别器网络无法在真图像与伪图像之间进行区分，因此伪图像可能是高质量的。在学习过程中，可以使用由在给定域中运行的鉴别器网络执行的鉴别结果来调整对应的生成器网络的参数。
循环-GAN可以用于处理三维图像。然后，生成器和鉴别器网络可以包括三维卷积层。然后网络可以配置成学习跨切片延伸的特征如何预测图像是否以及在何处描绘特定类型的生物学异常。替代性地或附加地，可以将三维图像再成形为一维向量并使用二维卷积层进行处理。
将理解，使用神经网络处理三维图像可能使用大量的内存。因此，在感兴趣的生物学区域(例如器官)很大的情况下，可以执行预处理技术来分割器官以减小大小。替代性地或附加地，可以对图像进行预-处理以降低图像的空间分辨率。例如，当感兴趣的器官是肺部时(考虑到与其他器官相比肺部的大小相对较大)，分割器官并重新采样以降低分辨率可能是有用的。
II.C.2.b.再循环-GAN
由GAN训练控制器135训练的GAN可以包括循环-GAN，该循环-GAN包括多个生成器网络、多个鉴别器网络和多个预测器网络。图4示出了再循环-GAN中的网络和网络连接的表示。除了图2中的循环-GAN中描绘的网络之外，图4中描绘的再循环-GAN还包括多个预测器网络PX和PY。
每个预测器网络可以包括一个或多个卷积层和/或U-net。每个预测器网络预测在不同于输入到预测器网络的一个或多个图像的上下文中获得的图像。例如，预测器网络可以包括卷积神经网络和/或可以生成与相对于由预测器网络接收的图像的视角、成像模态、位置、缩放和/或切片相比对应于不同的视角、成像模态、位置、缩放和/或切片的图像。例如，预测器PX可以基于相邻切片xt图像来预测切片xt+1的图像，并且PY可以基于相邻切片ys的图像来预测切片ys+1的图像。
图5展示了根据本发明的一些实施例如何在神经网络配置中生成和评估各种伪图像。在该描绘中，每个矩形框表示(真或伪)图像，并且每个菱形表示确定。
第一真异常不存在图像和第二真异常不存在图像505中的每一者都描绘样品的第一切片和第二切片(分别地)并且缺少特定类型的生物学异常的任何描绘。GY使用第一真异常不存在图像和第二真异常不存在图像505通过添加特定类型的生物学异常的描述来生成第一切片和第二切片的第一伪异常存在图像和第二伪异常存在图像510。PY使用第一切片510的第一伪异常存在图像和第二伪异常存在图像来生成第三切片的第三伪异常存在图像515。在框520处，DY预测第三伪异常存在图像515是真还是伪。DY进一步预测另一个样品的其他第一切片和第二切片的第一真异常存在图像和第二真异常存在图像505'真还是伪。尽管未示出，但是DY可以进一步预测第一切片和第二切片的第一伪异常存在图像和第二伪异常存在图像505是真还是伪。来自鉴别的反馈(例如，基于召回统计)可以反馈给GY。
第三切片的第三伪异常存在图像515被馈送到Gx，该GX生成第三切片的循环伪异常不存在图像525。PX使用第一真异常不存在图像和第二真异常不存在图像505来生成第三载玻片的另一个伪异常不存在图像530。在框535处，可以将伪异常不存在图像525和530(对应于第三切片)相互比较以识别PX的损失。此外，在540处，可以将第三载玻片的循环的伪异常不存在图像525与第三切片的第三真异常不存在图像535进行比较以确定循环损失。
图5表示对称动作。更具体地，另一个样品的其他第一切片和第二切片的第一和第二真异常存在图像505'馈送到GX，该GX为其他第一切片和第二切片生成第一伪异常不存在图像和第二伪异常不存在图像510'。PX可以使用第一伪异常不存在图像和第二伪异常不存在图像510'来生成另一个样品515'第三切片的第三伪异常不存在图像515'。在框520'处，DX预测第三伪异常不存在图像515'是真还是伪。DX进一步预测第一真异常不存在图像和第二真异常不存在图像505是真还是伪。尽管未示出，但是DX可以进一步预测其他第一切片和第二切片的第一伪异常不存在图像和第二伪异常不存在图像510'是真还是伪。来自鉴别的反馈(例如，基于召回统计)可以反馈给GX。
另一个第三切片的第三伪异常不存在图像515'被馈送到GY，该GY生成第三切片的循环的伪异常存在图像525'。PY使用第一真异常存在图像和第二真异常存在图像505'来生成另一个第三载波片的另一个伪异常存在图像530'。在框535'处，可以将伪异常存在图像525'和530'(对应于另一个第三切片)相互比较以识别PY的损失。进一步，在540'处，可以将另一个第三载波片的循环的伪异常存在图像525'与第三切片的第三真异常存在图像535'进行比较以确定循环损失。
图6A至图6B展示了再循环-GAN中如何出现各种类型的损失。如图6A所示，即使鉴别器和预测器网络参与了整个训练和反向传播，它们的权重也不需要响应于鉴别结果进行更新。更确切地说，鉴别结果可以选择性地触发仅更新对应的生成器网络的权重。然而，由于反向传播流经鉴别器网络，因此该反向传播的权重在生成器训练中被考虑在内，这使它们比鉴别器具有一些优势。(图6A。)
尽管生成器网络用于生成伪图像，但是生成器网络在架构中对应的鉴别器之前。因此，鉴别器训练可能无法访问生成器权重。(图6B。)
再循环-GAN可以用于处理二维图像集。生成器和鉴别器网络于是可以包括二维卷积层。预测器网络有助于在域(例如切片)之间引入弱连贯性，使得网络可以学习解剖组织(例如，跨多个切片包含的体积)，然后可以更真实地生成伪图像(其由于仅是2D切片而缺少解剖组织)以及在真图像与伪图像之间进行鉴别(出于类似原因)，这然后有助于进一步改进伪图像的生成。
II.C.3.生成器网络控制器
虽然GAN训练控制器135可以训练整个GAN网络，但是生成器网络控制器140之后可以使用来自GAN的单一生成器网络来评估医学图像。更具体地，单一生成器网络可以包括接收描绘特定类型的生物学异常(例如，肿瘤或病灶)的输入图像并生成缺少特定类型的生物学异常的描绘的经修改的图像的生成器网络。
II.C.4.大小检测器
大小检测器145然后可以被配置成接收由异常移除生成器网络控制器140生成的一个或多个经修改的图像中的每个经修改的图像(即缺少特定类型的生物学异常的描绘)和输入图像(例如，其描绘特定类型的生物学异常)并预测生物学异常的大小。例如，大小检测器145可以从输入图像中减去经修改的图像。在一些实例中，大小检测器145可以首先处理差异图像(例如，应用一个或多个空间过滤器和/或阈值)。
预测大小可以对应于在差异图像中识别的面积的大小(例如，当输入图像是二-维图像时)或体积的大小(例如，当输入图像是三维图像时)。例如，大小检测器145可以针对每个像素或体素确定是否满足强度条件(例如，配置成当像素或体素的强度不等于零时满足的条件或者配置成在当像素或体素的强度在预定义的开放或封闭范围内时满足的条件)。可以基于满足条件的像素或体素的数量来定义预测大小。替代性地，可以生成二进制图像，该二进制图像指示——对于每个像素或体素——是否满足条件。然后可以应用低通空间过滤器，使得满足条件的像素或体素在它们与其他像素(例如，具有足够数量和/或形状)相邻时将通过。过滤后的图像可以包括另一个二进制图像。然后可以通过处理过滤后的图像(例如，通过对过滤后的图像中的像素或体素进行阈值化、求和或求平均值)来确定生物学异常的预测大小。
在一些实例中，大小检测器145处理多个原始和经修改的二-维图像，并且大小检测器145基于对多个图像的处理来预测大小。作为一个示例，可以针对每个二维图像估计生物学异常区域，并且可以聚合这些区域以估计生物学异常的体积。作为另一个示例，可以处理多个输入图像(例如，描绘特定类型的生物学异常)以生成三-维异常包括图像，并且可以处理多个经修改的图像(例如，缺少特定类型的生物学异常的描绘)以生成三-维异常不存在图像，并且大小检测器145可以基于三-维异常包括图像和三-维异常不存在图像来估计生物学异常的大小。为了说明，大小检测器145可以从三-维存异常在图像中减去三维异常不存在图像。可以但不需要对所得的图像进行处理(例如，经由阈值化、过滤和/或平滑化)。可以预测生物学异常的大小(例如，面积或体积)。在一些实例中，预测大小可以基于和/或可以取决于原始图像和/或经修改的图像的分辨率和/或大小。作为又一个示例，对于多个正交维度中的每个正交维度，可以访问真肿瘤-存在图像，可以生成伪肿瘤-不存在图像，并且可以通过从真肿瘤存在图像中减去伪肿瘤不存在图像来生成预测的肿瘤描绘。大小检测器145然后可以确定预测的肿瘤描绘的最长直径，并且最长直径可以定义为三个最长直径中的最大值。
例如，图7展示了根据本发明的一些实施例如何可以基于真图像和伪图像之间的比较来估计生物学异常的空间特征。具体地，左侧图像示出了初始图像，该初始图像包括病灶和周围组织的描绘。中间图像示出了由配置成移除病灶的经过训练的异常移除生成器网络生成的伪图像。右侧图像示出了从对应的初始图像中减去伪图像的结果。可以处理这些图像以表征病灶。例如，可以对阈值高于预定义阈值的像素进行计数。可以基于图像的比例和/或图像的分辨率对计数进行归一化或按比例缩放，并且归一化的或按比例缩放的计数可以指示成像切片的总病灶大小。在一些实例中，该过程在对应于不同切片的图像中重复，并且可以通过对图像进行求和来估计肿瘤体积。
除了基于真图像和伪图像来预测生物学异常的大小之外或代替基于真图像和伪图像来预测生物学异常的大小，真图像和伪图像可以用于分割真图像中描绘的生物学异常。分割结果可以识别图像的哪些部分描绘特定类型的生物学异常。例如，分割结果可以包括原始图像上的覆盖，该覆盖然后指示原始图像的哪些部分被预测为描绘特定类型的生物学异常。
图像处理系统125可以将大小(和/或分割结果)返回给用户装置150。用户装置150可以包括请求对应于生物学异常的估计大小的装置或者提供描绘生物学异常的一个或多个图像的装置用户装置150可以与正在治疗和/或评估被成像的受试者的医疗专业人员和/或护理提供者相关联。在一些实例中，图像处理系统125可以将生物学异常的大小的估计返回给图像生成系统105(例如，该图像生成系统随后可以将估计体积传输到用户装置)。在一些实例中，不是输出估计大小或除了输出估计大小之外，图像处理系统125输出(例如，向用户装置150)治疗建议。例如，图像处理系统125可以使用一个或多个规则来至少部分地基于估计大小(例如，以及可能的生物学异常的一个或多个先前估计的大小)来识别治疗建议。为了说明，规则可以包括阈值并且可以指示如果给定受试者的生物学异常的估计大小不小于给定受试者的生物学异常的先前估计大小至少X％(例如，与定义的时间段相关联)，则将考虑改变治疗策略的建议。
将理解，在一些实例中，生物学异常表征网络100可以用于估计多个生物学异常中的每个生物学异常的大小。例如，可以训练异常移除生成器网络以生成没有描绘任何脑部病灶的经修改的图像，即使当输入图像描绘多个图像时也是如此。然后可以使用输入图像和经修改的图像之间的差异来估计脑部病灶的累计大小。
III.示例性生物学异常表征网络
图8示出了用于估计生物学异常的大小的示例性过程800的流程图。在框805处，图像处理系统125访问医学图像。医学图像描绘生物学异常(例如，肿瘤或病灶)的至少一部分。医学图像可以是二-维图像或三维图像。医学图像可以是CT图像、MRI图像、X射线图像等。医学图像可能已经被图像生成系统105收集和/或访问。
在框810处，生成器网络控制器140使用异常移除生成器网络生成医学图像的经修改的图像。经修改的图像可以被生成或预测(通过异常-移除生成器网络)为缺少生物学异常的至少一部分的描绘。异常移除生成器网络可能已经由训练GAN的GAN训练控制器135进行训练。可以基于对预处理后的图像的处理(通过生成器网络控制器140)来生成经修改的图像。GAN可以至少包括异常移除生成器网络和一个或多个鉴别器网络。GAN可以还包括异常添加生成器网络和/或一个或多个预测网络。
在框815处，基于医学图像和经修改的图像来估计生物学异常的大小(例如，通过大小检测器145)。例如，从经修改的图像中减去原始图像(或其预处理后的版本)来生成剩余图像。然后可以通过(例如)对剩余图像中的体素或像素求和或求平均值(例如，可能在应用过滤和/或阈值化之后)来处理剩余图像。
在框820处，输出生物学异常的估计大小(例如，通过图像-处理系统125和/或输出到用户装置150)。输出可以包括传输估计大小和/或呈现估计大小。在一些实例中，输出包括传输和/或呈现基于估计大小的结果(例如，治疗建议)。
V.实例
V.A.实例1
图9展示了使用循环-GAN来检测病灶所使用和生成的图像的示例。图9中的顶部图像示出了受试者右肺部的三个真正交CT切片。切片的可视化示出了切片在三维空间中相交，以便表示切片之间的空间关系。真正交CT切片中的每个切片都包括病灶的描绘。
具有如图2所示架构的循环-GAN模型使用训练数据进行训练。然后，经过训练的异常移除生成器网络GX处理三个真CT切片中的每个切片，以生成被预测为缺少病灶的描绘的对应的伪CT图像。这些伪肿瘤不存在图像在图9的中间图像中的三维空间中示出为相交。
对于真图像中的每个真图像，从真图像中减去对应的伪图像以生成预测的肿瘤的二维描绘。图9的底部图像示出了在三维空间中相交的肿瘤预测图像。在三个维度中的每个维度中预测肿瘤的大小可以有助于估计肿瘤的最长直径。例如，可以针对三个肿瘤预测图像中的每个肿瘤预测图像估计肿瘤描绘的最长直径，并且最长直径可以定义为三个最长直径中的最大值。
V.B.实例2
图10展示了通过使用循环-GAN算法或由四个人类读取者进行的示例性病灶检测。图10所示的无蒙版图像是与图9的顶部图像中所示的相同图像。然而，在这里，图像被排列为并排而不是相交。其余图像示出了相同的无蒙版图像，但覆盖了预测的病灶描绘。算法图像中所示的预测的病灶描绘与图9的底部图像中所示的那些相同并且通过将无蒙版图像与(由使用循环-GAN训练的异常移除生成器网络生成的)伪异常不存在图像进行比较来计算。
其余图像示出了由四个人类读取者中的每个人类读取者对病灶进行的标注。值得注意的是，通过使用异常移除生成器网络识别的预测的病灶区域与人类读取者识别的病灶区域类似。
V.C.实例3
训练数据集被定义为包括1,300个具有癌症病灶的胸部体积的全身CT图像和300个没有癌症的胸部体积的全身CT图像。每个图像都被标记以指示该图像是否对应于具有癌症(具有一个或多个病灶)的胸部体积。数据按80:20拆分以进行训练和测试。具有如图4所示的架构的模型使用训练数据进行训练。
图11通过将由经过训练的模型输出的病灶检测与来自有经验的放射科医师的病灶检测进行比较，示出了来自处理测试数据的结果。值得注意的是，所描绘的结果非常一致。该模型的ROI级别敏感度为0.94，病灶级别敏感度为0.89。分割达到了0.2的骰子相似系数。
VI.附加考虑
本公开的一些实施例包括一种系统，该系统包括一个或多个数据处理器。在一些实施例中，该系统包括包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上被执行时使所述一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。
已使用的术语和表述被用作描述性而非限制性的术语，并且在使用此类术语和表述时无意排除示出和描述的特征或其部分的任何等效物，但应认识到在要求保护的本发明的范围内可以进行各种修改。因此，应当理解，虽然通过实施例和任选特征具体公开了要求保护的本发明，但是本领域技术人员可以对本文公开的概念进行修改和变化，并且此类修改和变化被认为是在所附权利要求书所限定的本发明范围内。
该描述仅提供优选的示例性实施例，并且不旨在限制本公开的范围、适用性或配置。相反，优选的示例性实施例的描述将为本领域技术人员提供用于实现各种实施例的可行描述。应当理解，在不脱离所附权利要求中阐述的精神和范围的情况下，可以对元件的功能和布置进行各种改变。
在该描述中给出具体细节以透彻地理解本实施例。然而，应当理解，可以在没有这些具体细节的情况下实践实施例。例如，电路、系统、网络、过程和其他部件可以展示为框图形式中的部件，以免不必要的细节使实施例晦涩难懂。在其他情况下，为了避免使实施例晦涩难懂，可以在没有不必要的细节的情况下示出公知的电路、过程、算法、结构和技术。

Claims (22)

1.一种计算机实现方法，其包括：
访问医学图像，所述医学图像对应于受试者并描绘生物学异常的至少一部分，所述生物学异常属于特定类型的生物学异常；
基于所述医学图像并使用异常移除生成器网络来生成经修改的图像，已经使用缺少所述特定类型的生物学异常的标注的训练数据集对所述异常移除生成器网络进行了训练；
基于所述医学图像和所述经修改的图像来估计所述生物学异常的大小；以及
输出所述生物学异常的估计大小。
2.根据权利要求1所述的计算机实现方法，其进一步包括：
通过训练生成式对抗网络来训练所述异常移除生成器网络，所述生成式对抗网络包括：
所述异常移除生成器网络；和
一个或多个鉴别器网络，其中所述一个或多个鉴别器网络中的每一个被配置和训练成在真图像与由生成器网络生成的图像之间进行鉴别，所述生成器网络包括异常移除生成器网络或异常添加生成器网络。
3.根据权利要求1所述的计算机实现方法，其中通过训练生成式对抗网络来限定所述异常移除生成器网络的一组参数，所述生成式对抗网络包括：
所述异常移除生成器网络；和
一个或多个鉴别器网络，其中所述一个或多个鉴别器网络中的每一个被配置和训练成在真图像与由生成器网络生成的图像之间进行鉴别，所述生成器网络包括所述异常移除生成器网络或异常添加生成器网络。
4.根据权利要求1所述的计算机实现方法，其进一步包括：
通过训练生成式对抗网络来训练所述异常移除生成器网络，所述生成式对抗网络包括：
所述异常移除生成器网络；
异常添加生成器网络；和
第一鉴别器网络，所述第一鉴别器网络被配置成在以下项之间进行鉴别：
真图像，所述真图像被标记为描绘所述特定类型的生物学异常中的生物学异常的至少一部分；与
伪图像，所述伪图像由所述异常添加生成器网络生成，
其中所述异常添加生成器网络接收基于由所述第一鉴别器网络生成的第一鉴别结果的反馈；以及
第二鉴别器网络，所述第二鉴别器网络被配置成在以下项之间进行鉴别：
真图像，所述真图像被标记为没有描绘所述特定类型的生物学异常中的任何生物学异常；与
伪图像，所述伪图像由所述异常移除生成器网络生成，
其中所述异常移除生成器网络接收基于由所述第一鉴别器网络生成的第一鉴别结果的反馈。
5.根据权利要求1所述的计算机实现方法，其中通过训练生成式对抗网络来限定所述异常移除生成器网络的一组参数，所述生成式对抗网络包括：
所述异常移除生成器网络；
异常添加生成器网络；和
第一鉴别器网络，所述第一鉴别器网络被配置成在以下项之间进行鉴别：
真图像，所述真图像被标记为描绘所述特定类型的生物学异常中的另一异常的至少一部分；与
伪图像，所述伪图像至少由所述异常添加生成器网络生成，
其中所述异常添加生成器网络接收到基于由所述第一鉴别器网络生成的第一鉴别结果的反馈；以及
第二鉴别器网络，所述第二鉴别器网络被配置成在以下项之间进行鉴别：
真图像，所述真图像被标记为没有描绘所述特定类型的生物学异常中的任何生物学异常；与
伪图像，所述伪图像由所述异常移除生成器网络生成，
其中所述异常移除生成器网络接收到基于由所述第一鉴别器网络生成的第一鉴别结果的反馈。
6.根据权利要求1所述的计算机实现方法，其进一步包括：
通过以下方式来训练生成式对抗网络(GAN)来训练所述异常移除生成器网络：
向异常移除生成器网络输入真异常存在图像，所述真异常存在图像描绘所述受试者的至少一部分并描绘所述特定类型的生物学异常中的另一生物学异常的至少一部分；
使用至少所述异常移除生成器网络和所述真异常存在图像来生成伪异常不存在图像；
使用所述GAN的鉴别器网络来执行鉴别以预测所述伪异常不存在图像对应于实际样品的真实图像还是伪图像；以及
基于由所述鉴别器网络执行的所述鉴别，调整所述异常移除生成器网络的一个或多个权重。
7.根据权利要求6所述的计算机实现方法，其进一步包括：
向所述GAN的所述异常移除生成器网络输入所述伪异常不存在图像；
使用异常添加生成器网络和所述伪异常不存在图像来生成循环的伪异常存在图像；
将所述循环的伪异常存在图像与所述真异常存在图像进行比较；
基于所述循环的伪异常存在图像与所述真异常存在图像的所述比较来确定循环损失。
8.根据权利要求1至7任一项所述的计算机实现方法，其进一步包括：
预处理所述医学图像以调整一个或多个颜色通道中的每一个的分布，其中所述经修改的图像是基于预处理后的医学图像生成的。
9.根据权利要求1至7任一项所述的计算机实现方法，其进一步包括：
预处理所述医学图像以执行对特定器官的分割，其中所述经修改的图像是基于预处理后的医学图像生成的。
10.根据权利要求1至9任一项所述的计算机实现方法，其中估计所述生物学异常的大小包括：
从所述医学图像减去所述经修改的图像。
11.根据权利要求1至10任一项所述的计算机实现方法，其中所述特定类型的生物学异常是病灶或肿瘤。
12.根据权利要求1至11任一项所述的计算机实现方法，其中所述医学图像包括CT图像、X射线图像或MRI图像。
13.根据权利要求1至12任一项所述的计算机实现方法，其中所述医学图像包括三维图像。
14.根据权利要求1至13任一项所述的计算机实现方法，其中所述异常移除生成器网络包括卷积神经网络。
15.根据权利要求1至14任一项所述的计算机实现方法，其中所述训练数据集缺少对所述特定类型的生物学异常中的任何描绘的异常的边界、面积或体积的任何识别。
16.一种方法，其包括：
通过用户装置以及对计算系统利用医学图像，所述医学图像对应于受试者并描绘生物学异常的一部分，所述生物学异常属于特定类型的生物学异常；以及
在所述用户装置处并且从所述计算系统接收所述生物学异常的估计大小，其中所述计算系统通过以下方式来确定所述估计大小：
基于所述医学图像并使用异常移除生成器网络来生成经修改的图像，所述异常移除生成器网络已经使用缺少所述特定类型的生物学异常的标注的训练数据集进行了训练；以及
基于所述医学图像和所述经修改的图像来确定所述生物学异常的所述估计大小。
17.根据权利要求16所述的方法，其进一步包括：
基于所述估计大小为所述受试者选择诊断或治疗建议。
18.根据权利要求17所述的方法，其进一步包括：
向所述受试者传达所选择的诊断或治疗建议。
19.根据权利要求16至18任一项所述的方法，其进一步包括：
使用医学成像系统收集所述医学图像。
20.医学图像中描绘的生物学异常的估计大小在受试者的治疗中的用途，其中所述估计大小由执行一组动作的计算装置提供，所述一组动作包括：
由计算系统基于所述医学图像并使用异常移除生成器网络来生成经修改的图像，所述异常移除生成器网络已经使用被识别为缺少特定类型的生物学异常的任何标注的训练数据集进行了训练；以及
由所述计算系统基于所述医学图像和所述经修改的图像来估计所述生物学异常的大小。
21.一种系统，其包括：
一个或多个数据处理器；和
非暂时性计算机可读存储介质，其包含指令，所述指令当在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行本文中公开的一种或多种方法的部分或全部。
22.一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置成使一个或多个数据处理器执行本文中公开的一种或多种方法的部分或全部。
CN202180010782.5A 2020-01-24 2021-01-22 弱监督病灶分割 Pending CN115004225A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062965515P 2020-01-24 2020-01-24
US62/965,515 2020-01-24
US202062966084P 2020-01-27 2020-01-27
US62/966,084 2020-01-27
PCT/US2021/014611 WO2021150889A1 (en) 2020-01-24 2021-01-22 Weakly supervised lesion segmentation

Publications (1)

Publication Number Publication Date
CN115004225A true CN115004225A (zh) 2022-09-02

Family

ID=74626229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180010782.5A Pending CN115004225A (zh) 2020-01-24 2021-01-22 弱监督病灶分割

Country Status (6)

Country Link
US (1) US20220351387A1 (zh)
EP (1) EP4094223A1 (zh)
JP (1) JP2023511663A (zh)
KR (1) KR20220132544A (zh)
CN (1) CN115004225A (zh)
WO (1) WO2021150889A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131364B (zh) * 2022-08-26 2022-11-25 中加健康工程研究院(合肥)有限公司 一种基于Transformer的医学图像分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10636141B2 (en) * 2017-02-09 2020-04-28 Siemens Healthcare Gmbh Adversarial and dual inverse deep learning networks for medical image analysis
WO2019238804A1 (en) * 2018-06-13 2019-12-19 Siemens Healthcare Gmbh Localization and classification of abnormalities in medical images

Also Published As

Publication number Publication date
US20220351387A1 (en) 2022-11-03
JP2023511663A (ja) 2023-03-22
EP4094223A1 (en) 2022-11-30
KR20220132544A (ko) 2022-09-30
WO2021150889A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
US11967072B2 (en) Three-dimensional object segmentation of medical images localized with object detection
Han et al. Synthesizing diverse lung nodules wherever massively: 3D multi-conditional GAN-based CT image augmentation for object detection
US11593943B2 (en) RECIST assessment of tumour progression
US10489907B2 (en) Artifact identification and/or correction for medical imaging
ES2914387T3 (es) Estudio inmediato
Onofrey et al. Generalizable multi-site training and testing of deep neural networks using image normalization
CN107545309A (zh) 使用深度生成机器学习模型的图像质量评分
JP2023507109A (ja) 医用画像による自動化された腫瘍識別およびセグメンテーション
EP3657433B1 (en) Medical image data
Mendes et al. Lung CT image synthesis using GANs
US12046018B2 (en) Method for identifying bone images
Veluchamy et al. Brightness preserving optimized weighted bi‐histogram equalization algorithm and its application to MR brain image segmentation
Jin et al. One map does not fit all: Evaluating saliency map explanation on multi-modal medical images
Ramana Alzheimer disease detection and classification on magnetic resonance imaging (MRI) brain images using improved expectation maximization (IEM) and convolutional neural network (CNN)
US20220351387A1 (en) Weakly supervised lesion segmentation
KR102559805B1 (ko) 범용성이 향상된 인공지능에 의한 의료영상 변환방법 및 그 장치
KR20210001233A (ko) 혈관 세그멘테이션 방법
Zhou et al. Learning stochastic object models from medical imaging measurements using Progressively-Growing AmbientGANs
Lacerda et al. A parallel method for anatomical structure segmentation based on 3d seeded region growing
Wang et al. A Two-Stage Generative Model with CycleGAN and Joint Diffusion for MRI-based Brain Tumor Detection
Rahmany et al. A priori knowledge integration for the detection of cerebral aneurysm
Zhou et al. Learning stochastic object models from medical imaging measurements by use of advanced ambientgans
Davis et al. Diagnosis of brain hemorrhage using artificial neural network
Jiao et al. Anatomy-aware self-supervised fetal MRI synthesis from unpaired ultrasound images
Nasef et al. An efficient segmentation technique for skeletal scintigraphy image based on sharpness index and salp swarm algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination