CN112508842A - 具有结构化的图像分解的3d医学图像中的可操纵对象合成 - Google Patents

具有结构化的图像分解的3d医学图像中的可操纵对象合成 Download PDF

Info

Publication number
CN112508842A
CN112508842A CN202010952660.5A CN202010952660A CN112508842A CN 112508842 A CN112508842 A CN 112508842A CN 202010952660 A CN202010952660 A CN 202010952660A CN 112508842 A CN112508842 A CN 112508842A
Authority
CN
China
Prior art keywords
synthesized
network
nodule
image patch
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010952660.5A
Other languages
English (en)
Inventor
刘思奇
E·吉布森
S·格尔比奇
徐宙冰
A·A·阿迪约索
B·乔治斯库
D·科马尼丘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare GmbH
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Publication of CN112508842A publication Critical patent/CN112508842A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及具有结构化的图像分解的3D医学图像中的可操纵对象合成。提供了用于生成合成图像的系统和方法。接收输入医学图像补块、分割掩码、外观相关参数的向量以及可操纵的属性。使用经训练的对象合成网络，基于输入医学图像补块、分割掩码、外观相关参数的向量以及可操纵的属性，生成包括合成结节的合成的医学图像补块。合成的结节根据可操纵的属性被合成。输出合成的医学图像补块。

Description

具有结构化的图像分解的3D医学图像中的可操纵对象合成
技术领域
本发明通常涉及具有结构化的图像分解的3D医学图像中的可操纵对象合成，并且更具体地涉及具有结构化的图像分解的肺结节合成，用于罕见样品扩增。
背景技术
用于执行医学图像分析任务的深度学习网络的性能受到可用的高质量带注释图像的数量的限制。此类高质量带注释图像的大规模数据集对于深度学习网络的训练和测试来说是重要的，以便减少在监督学习中训练网络的变化，而且提供在部署后它们长期性能的可靠评估。但是，大多数医学图像数据集的规模仅是从少数几个临床成像站点获取的成百到上千个患者。另外，为医学诊断应用而训练的网络通常需要具有经过多年医学训练的注释者注释的医学图像，这使得这种医学图像的注释既费时又经济上昂贵。此外，此类医学图像的分布高度偏向于仅占全球人口的一小部分，并且罕见的异常情况在训练数据集中的样本可能太少，从而不能很好地推广用于部署。
常规地，已经提出对抗图像合成以用于扩增图像数据集以用于训练和测试网络以执行医学图像分析任务。但是，这样的常规方法不能操纵合成对象的属性（例如，形状、大小、强度）。
发明内容
根据一个或多个实施例，提供了用于生成合成图像的系统和方法。接收输入医学图像补块、分割掩码、外观相关参数的向量以及可操纵的属性。使用经训练的对象合成网络，基于输入医学图像补块、分割掩码、外观相关参数的向量以及可操纵的属性，生成包括合成结节的合成的医学图像补块。合成的结节根据可操纵的属性被合成。输出合成的医学图像补块。
在一个实施例中，可操纵的属性包括基于结节强度的标记，以将合成结节的外观定义为固体、部分固体、毛玻璃不透明、完全钙化或部分钙化和/或基于纹理和边界的标记以定义合成结节的外观为有针刺的或无针刺的。在一个实施例中，可以通过将表示可操纵的属性的向量与外观相关参数的向量级联来生成合成医学图像补块。在一个实施例中，通过定义高斯过程可变形模型的特征向量，使用高斯过程可变形模型将分割掩码生成为具有大小和形状，并且根据分割掩码的大小和形状，将合成结节合成为具有大小和形状。
在一个实施例中，经训练的对象合成网络包括重构网络和细化网络。通过以下对经训练的对象合成网络进行训练：训练1）分解网络以将包括结节的特定图像补块分解为特定的分割掩码和外观相关参数的特定向量，以及2）重构网络和细化网络以基于特定分割掩码和外观相关参数的特定向量重构特定图像补块，以及使用经训练的重构网络基于随机分割掩码和外观相关参数的随机向量对细化网络进行细化。使用应用于特定图像补块中的围绕结节的区域的局部鉴别器和应用于特定图像补块中的较大区域的上下文鉴别器，可以以对抗性损失对细化网络进行细化。
在一个实施例中，训练强化学习代理以确定可操纵的属性。可以使用强化学习代理来确定可操纵的属性。检测器或分类器可以应用于检测或分类合成的医学图像补块。如果检测器或分类器能够检测或分类合成的医学图像补块，则强化学习代理将受到惩罚，以及如果检测器或分类器不能检测或分类合成的医学图像补块，则强化学习代理将受到奖励。
在一个实施例中，可以训练机器学习网络以基于合成的医学图像补块检测或分割目标医学图像补块中的结节。
通过参考以下详细描述和附图，本发明的这些和其他优点对于本领域普通技术人员将是显而易见的。
附图说明
图1示出了图像合成问题的高级表达方式；
图2示出了用于训练对象合成网络的高级框架；
图3示出了用于分解结节补块中的肺结节的高级框架；
图4示出了用于训练对象合成网络的方法；
图5示出了一种用于应用经训练的对象合成网络来生成其上具有合成结节的合成医学图像补块的方法；
图6示出了用于训练对象合成网络以进行结节分解的网络架构；
图7示出了用于训练对象合成网络以进行结节合成的网络架构；
图8示出了使用强化学习代理进行在线对抗采样的方法；
图9示出了根据本文描述的实施例生成的示例性合成图像；
图10示出了根据本文描述的实施例生成的其他示例性合成图像；
图11示出了根据本文所述的各个实施例生成的示例性合成图像；
图12示出了根据本文描述的实施例生成的示例性真实图像和合成图像；
图13示出了使用基线图像修补（in-painting）方法生成并根据本文所述实施例生成的示例性图像；和
图14示出了计算机的高级框图。
具体实施方式
本发明通常涉及用于具有结构化图像分解的3D医学图像中的可操纵对象合成的方法和系统。在本文中描述了本发明的实施例以给出用于具有结构化图像分解的3D医学图像中的可操纵对象合成的这种方法和系统的视觉理解。数字图像通常由一个或多个对象（或形状）的数字表示组成。在本文中通常根据识别和操纵对象来描述对象的数字表示。这样的操纵是在计算机系统的存储器或其他电路/硬件中完成的虚拟操纵。因此，应理解，可以使用存储在计算机系统内的数据在计算机系统内执行本发明的实施例。
此外，应当理解，尽管可以关于3D医学图像中的结节合成来讨论本文所讨论的实施例，但是本发明不限于此。本发明的实施例可以应用于合成任何类型的图像中的任何类型的对象。在一个实例中，合成对象是病变，例如肝脏病变或肿瘤。
本发明的实施例通常涉及结节图像的可操纵合成。图像合成问题可以由图1的高级表达方式100表示。在表达方式100中，图像空间102表示通过成像设备在欧几里得（Euclidian）空间中获取的图像的原始像素（或体素），语义空间104表示分配给（例如，来自分割的）每个像素的抽象标记，并且嵌入空间106表示欧几里得空间中的低维向量。如图1中所示，图像可以从图像空间102到语义空间104到嵌入空间106被抽象或被分解，并且可以从嵌入空间106到抽象空间104到图像空间102被生成或重构。有利地，通过将图像分解为嵌入空间106，可以操纵图像在嵌入空间106中的表示，并且可以在图像空间102中重构所操纵的表示，从而提供可操纵的结节合成。
图2示出了根据一个或多个实施例的用于训练对象合成网络的高级框架200。框架200包括阶段1 202和阶段2 212。在一个实施例中，用于训练对象合成网络的框架200可以根据下面详细描述的图4的方法400来实现。根据一个实施例下面关于图6更详细地描述了用于在阶段1 202期间训练对象合成网络的网络架构，并且下面关于图7更详细地描述了用于在阶段2 212期间训练对象合成网络的网络架构。
在阶段1 202期间，训练对象合成网络以进行结节分解。如图2中所示，训练对象合成网络以将图像补块204分解成结节分割掩码206和1D（一维）向量208，并从结节分割掩码206和1D向量208将图像补块204重构为重构图像补块210。结节分割掩码206包括在图像补块204中描述的结节的二进制分割掩码，以及1D向量208包括与结节强度、纹理、边界外观有关的残留信息以及图像补块204中描述的结节的其他信息。根据一个实施例，下面在图3中示意性地示出了图像补块204中描绘的结节到结节分割掩码206和1D向量208中的分解。
在阶段2 212期间，对对象合成网络进行细化以进行结节合成。如图2中所示，基于结节分割掩码214、图像补块216、具有随机残留信息的1D向量218和可操纵的属性220来生成合成的图像补块222。在一个实施例中，合成结节基于结节分割掩码214、1D向量218和可操纵的属性220被合成，并覆盖在图像补块216上，图像补块216最初并未描绘结节。可操纵的属性220允许操纵合成的结节在合成图像补块222中的外观。在一个实施例中，可操纵的属性220是离散的标记，以定义要合成的结节强度或结节的纹理和边界。在一个实施例中，可以通过操纵结节分割掩码214的生成来操纵要合成的结节的大小和形状。通过尝试将合成图像补块222分类为真实的或假的224以及确定预测的可操纵属性226来以对抗损失训练对象合成网络。
一旦被训练，就可以在在线或测试阶段应用经训练的对象合成网络，以根据可操纵的属性生成具有合成结节的图像补块。有利地，这种可操纵性允许再现在临床上观察到但未在现实世界数据集中捕获的语义上有意义的特征的可变性，以及对其中系统性能在临床上更重要的现实但具有挑战性的样本进行过采样。以这种可操纵性生成的数据集可用于训练机器学习网络，以执行医学图像分析任务（例如，肺结节检测、肺结节分割等）。
图3示出了根据一个或多个实施例的用于分解结节补块中的肺结节的高级框架300。在一个实施例中，框架300图示出了图2中的将结节补块204分解成结节分割掩码206和1D向量208。在框架300中，示出了来自3D CT图像的结节补块302，其包括肺结节304。肺结节304被分解为形状建模参数形状306和大小308以及外观相关参数纹理310。还可以想到其他形状建模和外观相关参数。二进制分割掩码312表示肺结节304的形状306和大小308的形状建模参数。纹理310的外观相关参数被表示为残留信息314。
图4示出了根据一个或多个实施例的用于训练对象合成网络的方法400。方法400的步骤可以由任何合适的计算设备（例如，诸如图14的计算机1402）执行。方法400的步骤在离线或训练阶段期间被执行以训练对象合成网络。在一个实施例中，方法400的步骤402-404对应于图2的阶段1 202，用于训练对象合成网络以用于结节分解，并且方法400的步骤406对应于阶段2 212，用于细化对象合成网络以用于结节合成。根据一个实施例，在图6中示出了用于训练对象合成网络以用于结节分解的网络架构（即阶段1 202），以及在图7中示出了用于细化对象合成网络以用于结节合成的网络架构（即阶段2 212）。对象合成网络包括多个机器学习网络，其包括分解网络、重构网络和细化网络。
在步骤402，训练分解网络以将图像补块中描绘的结节分解为分割掩码和外观相关参数的向量。分割掩码是在图像补块中描绘的结节的二进制分割掩码，其表示结节的形状建模参数（例如，形状和大小）。外观相关参数的向量是残留信息（将图像补块分解成分割掩码之后的残留）的1D向量，其表示例如结节的强度、纹理、边界外观、结节类型等。
在步骤404，基于分割掩码和外观相关参数的向量，训练重构网络和细化网络以重构图像补块。特别地，重构网络接收分割掩码和外观相关参数的向量，并生成合成的结节，该合成的结节与图像补块融合。将融合的图像补块输入到细化网络中，以将合成的结节与图像补块混合。
在步骤406，基于分割掩码、外观相关参数的随机向量以及可操纵的属性来对细化网络进行细化。使用应用于合成结节的局部鉴别器和应用于输出图像较大区域的上下文鉴别器，以对抗性损失对细化网络进行细化，以生成逼真的图像。可以在在线或测试阶段期间应用经训练的重构网络和经训练的细化网络以生成其上具有合成结节的图像补块。
图5示出了根据一个或多个实施例的用于应用经训练的对象合成网络以生成其上具有合成结节的合成医学图像补块的方法500。方法500的步骤可以由任何合适的计算设备（例如，诸如图14的计算机1402）执行。方法500的步骤在在线或测试阶段期间使用经训练的对象合成网络来执行。在一个实施例中，经训练的对象合成网络是经训练的重构网络和经训练的细化网络，其根据图4的方法400进行训练。
在步骤502，接收输入医学图像补块、分割掩码、外观相关参数（即，与形状无关、残留信息）的向量以及可操纵的属性。输入医学图像补块未描绘结节。在一个实施例中，输入医学图像补块是3D计算机断层扫描（CT）医学图像补块，但是输入医学图像补块具有任何合适的模态，例如，诸如DynaCT、X射线、磁共振成像（MRI）、超声（US）、单光子发射计算机断层扫描（SPECT）、正电子发射断层扫描（PET）等，并且可以是二维的或三维的。初始医学图像补块可以具有任何合适的（例如，预定的）尺寸。例如，初始医学图像补块可以是从3D CT医学图像提取的64×64×64体素补块（或从2D CT医学图像提取的64×64像素补块）。在另一个示例中，初始医学图像补块是整个医学图像。
可操纵的属性是定义要生成的结节的参数。在一个实施例中，可操纵的属性是离散的标记，例如由用户根据要合成的结节的期望外观手动地标记。在一个示例中，操纵属性包括基于结节强度的标记，以将要合成的结节定义为固体、部分固体、毛玻璃不透明、完全钙化或部分钙化。在另一个示例中，操纵属性可以包括基于纹理和边界的标记，以将要合成的结节定义为有针刺的或无针刺的。也可以想到定义要合成的结节（例如，诸如恶性肿瘤）的其它属性的标记。
在一个实施例中，可以通过操纵分割掩码的产生来操纵要合成的结节的大小和形状。在一个实施例中，可以通过高斯过程可变形建模（GPMM）来生成分割掩码。由GPMM模型生成的分割掩码的形状可以通过改变GPMM模型中的特征值来控制。不同的特征向量表示GPMM模型生成的分割掩码形状的不同属性。因此，定义相应向量的特征值可以操纵要生成的分割掩码的形状。
在步骤504中，使用经训练的对象合成网络，基于输入医学图像补块、分割掩码、外观相关参数的向量以及可操纵的属性，生成包括合成结节的合成医学图像补块。经训练的对象合成包括一个或多个机器学习网络。可以采用任何适当的机器学习网络，例如，诸如神经网络。合成的结节根据可操纵的属性被合成。在一个实施例中，为了操纵要合成的结节，将表示可操纵属性的1D二值化向量与外观相关参数的向量级联。
在步骤506，输出合成的医学图像补块。例如，可以通过在计算机系统（图14的计算机1402）的显示装置上显示合成的医学图像补块、将合成的医学图像补块存储在计算机系统（图14的计算机1402）的存储器或储存器中或通过将合成的医学图像补块传送到远程计算机系统来输出合成的医学图像补块。在一个实施例中，将合成的医学图像补块输出到数据库作为训练数据集的一部分，以训练机器学习模型。
应该理解的是，方法500可以针对任意数量的初始医学图像补块重复进行，以生成多个合成的医学图像补块。多个合成的医学图像补块可用于例如扩增真实医学图像补块的训练数据集。在一个实施例中，合成的医学图像补块可用作训练数据集的一部分，以训练机器学习网络以用于对肺的结节进行分类、用于检测肺的结节、用于分割肺的结节或用于执行任何其他图像分析任务。
图6示出了根据一个或多个实施例的用于训练对象合成网络以用于结节分解的网络架构600。网络架构600对应于用于训练对象合成网络以进行结节分解的第一训练阶段（即，图2的阶段1 202）。 对象合成网络包括一个或多个机器学习网络，其包括分解网络
Figure 346264DEST_PATH_IMAGE001
602、重构网络
Figure 669929DEST_PATH_IMAGE002
604、细化网络
Figure 715246DEST_PATH_IMAGE003
606和分割网络
Figure 376034DEST_PATH_IMAGE004
608。
在图像补块
Figure 596931DEST_PATH_IMAGE005
中生成结节（或其他感兴趣的对象）
Figure 684973DEST_PATH_IMAGE006
的问题被用公式表述为可逆分布匹配问题：
Figure 217585DEST_PATH_IMAGE007
(等式 1)
Figure 682065DEST_PATH_IMAGE008
(等式 2)
其中z是可表示结节的一组潜变量，q是分解网络
Figure 491889DEST_PATH_IMAGE001
602，
Figure 750832DEST_PATH_IMAGE009
是重构网络604。为了将生成的结节
Figure 770740DEST_PATH_IMAGE006
拟合到真实世界图像
Figure 773331DEST_PATH_IMAGE010
中，执行一个附加变换以将结节
Figure 204706DEST_PATH_IMAGE006
混合到真实世界图像
Figure 900130DEST_PATH_IMAGE010
的背景中，使生成的图像I与具有相似结节的真实世界图像无法区分：
Figure 407334DEST_PATH_IMAGE011
(等式 3)
其中
Figure 823403DEST_PATH_IMAGE012
定义将生成的结节o与真实世界图像
Figure 732454DEST_PATH_IMAGE013
融合的操作。
为了使z可操纵和可解释，将z分解为
Figure 333199DEST_PATH_IMAGE014
，其中
Figure 468645DEST_PATH_IMAGE015
包括能够用已知属性定义的形状建模参数（例如，大小和形状），而
Figure 813039DEST_PATH_IMAGE016
包括表示结节的形状相关参数（例如强度、纹理、边界外观、结节类型）的残留信息。
给定描绘结节
Figure 576596DEST_PATH_IMAGE017
的初始训练图像补块
Figure 613822DEST_PATH_IMAGE018
610和初始分割掩码
Figure 705406DEST_PATH_IMAGE019
，训练分解网络
Figure 853490DEST_PATH_IMAGE001
602以将掩码的训练图像补块
Figure 737133DEST_PATH_IMAGE020
612分解为分割掩码
Figure 319162DEST_PATH_IMAGE021
614和外观相关参数
Figure 22675DEST_PATH_IMAGE016
620 的1D向量，如下：
Figure 708872DEST_PATH_IMAGE022
(等式 4)
Figure 447020DEST_PATH_IMAGE023
(等式 5)
其中
Figure 701415DEST_PATH_IMAGE024
602具有类似于自动编码器的架构，其具有3D沙漏网络，其输出与初始分割掩码
Figure 892225DEST_PATH_IMAGE025
大小相同的二进制分割掩码
Figure 382113DEST_PATH_IMAGE026
614，运算符*表示阿达玛（Hadamard）乘积，而
Figure 709189DEST_PATH_IMAGE027
为围绕结节
Figure 134485DEST_PATH_IMAGE028
的边界框区域。二进制骰子损失
Figure 812591DEST_PATH_IMAGE029
用于优化网络以对正确的分割掩码进行分割。
通过对分解网络
Figure 106169DEST_PATH_IMAGE030
602的残留输出特征应用全局平均池化（GAP），获得1D向量
Figure 553331DEST_PATH_IMAGE031
618 。1D向量
Figure 883949DEST_PATH_IMAGE031
618被转发到两个完全连接的层
Figure 49351DEST_PATH_IMAGE032
634，以输出分布参数
Figure DEST_PATH_IMAGE034A
，从其中采样
Figure 257872DEST_PATH_IMAGE035
620。
Figure DEST_PATH_IMAGE034AA
给出了一个平滑流形，用于随机采样
Figure 762803DEST_PATH_IMAGE035
620，以用于训练阶段2（即，图2的阶段2 212）和推理阶段。
重构网络
Figure 264322DEST_PATH_IMAGE036
604的输入是
Figure 917021DEST_PATH_IMAGE035
620的排列的B×D×1×1张量，其中B和D分别是批量大小和特征尺寸。使用向上采样层622（例如，具有跨度为1的3D 3×3卷积块）对
Figure 552401DEST_PATH_IMAGE035
620进行逐步向上采样，直到重新采样的特征与分割掩码
Figure 708576DEST_PATH_IMAGE026
614具有相同大小。然后，将向上采样的特征与分割掩码
Figure 145111DEST_PATH_IMAGE026
614进行级联并馈入重构网络
Figure 19527DEST_PATH_IMAGE036
604的Res-UNet以输出初始训练图像补块
Figure 458598DEST_PATH_IMAGE037
626的掩码区域，其中
Figure 734859DEST_PATH_IMAGE027
是围绕结节
Figure 843760DEST_PATH_IMAGE028
的矩形边界框。重构网络
Figure 471051DEST_PATH_IMAGE036
604重构在边界框
Figure 448234DEST_PATH_IMAGE027
内的结节，并将重构后的结节添加到背景补块
Figure 454367DEST_PATH_IMAGE038
624以形成初始图像修补。
为了在背景补块
Figure 858804DEST_PATH_IMAGE038
624的上下文内混合边界框
Figure 707811DEST_PATH_IMAGE027
中的重构结节，将边界框
Figure 223106DEST_PATH_IMAGE027
和背景补块
Figure 349325DEST_PATH_IMAGE038
624融合（例如，特征求和）到融合补块628中，融合补块628被输入到细化网络
Figure 924663DEST_PATH_IMAGE039
606中以重构最终的重构图像补块
Figure 260966DEST_PATH_IMAGE040
630。分割网络
Figure 222362DEST_PATH_IMAGE041
608被应用于分割来自最终重构补块
Figure 327722DEST_PATH_IMAGE040
的最终分割掩码
Figure 73961DEST_PATH_IMAGE042
632以再现输入分割掩码
Figure 631981DEST_PATH_IMAGE025
，正则化细化网络
Figure 630024DEST_PATH_IMAGE039
606以保持原始形状。重构损失总结如下：
Figure 589890DEST_PATH_IMAGE043
(等式 6)
Figure 507030DEST_PATH_IMAGE044
(等式 7)
Figure 817926DEST_PATH_IMAGE045
(等式8)
Figure 354080DEST_PATH_IMAGE046
(等式 9)
其中
Figure 168453DEST_PATH_IMAGE047
是KL散度，它使分布
Figure 522074DEST_PATH_IMAGE048
正则化，以便可以从标准正态分布N（0,1）采样
Figure 195632DEST_PATH_IMAGE035
。
图7示出了根据一个或多个实施例的用于训练对象合成网络以进行结节合成的网络架构700。网络架构700对应于第二训练阶段（即，图2的阶段2 212），用于训练对象合成网络以进行结节合成。在一个实施例中，网络架构700用于进一步细化先前根据图6的网络架构600训练过的用于结节分解的对象合成网络，以及图6的重构网络
Figure 394532DEST_PATH_IMAGE049
604、细化网络
Figure 63410DEST_PATH_IMAGE039
606和分割网络
Figure 587933DEST_PATH_IMAGE041
608分别是图7的重构网络
Figure 607841DEST_PATH_IMAGE036
702、细化网络
Figure 781071DEST_PATH_IMAGE039
704和分割网络
Figure 445402DEST_PATH_IMAGE041
706。保持根据图6的网络架构600学习的重构网络
Figure 140826DEST_PATH_IMAGE036
702、细化网络
Figure 382451DEST_PATH_IMAGE039
704和分割网络
Figure 188733DEST_PATH_IMAGE041
706的权重，以用于细调对象合成网络以在图像的随机位置处合成结节。分解网络
Figure 973149DEST_PATH_IMAGE030
602被用在图6的网络架构600中用于训练重构网络
Figure 573895DEST_PATH_IMAGE036
604以学习图像对象的潜在嵌入和分割掩码，并在网络架构700中被丢弃。
在第二训练阶段期间，不包括结节的随机负初始训练图像补块
Figure 568396DEST_PATH_IMAGE050
718被用作输入背景补块。合成的分割掩码
Figure 912790DEST_PATH_IMAGE025
720以不同的大小和形状生成。在一个实施例中，使用GPMM来生成分割掩码
Figure 551712DEST_PATH_IMAGE025
720，以使用手动注释的结节掩码来建立统计形状模型。仅注释训练数据集子集的分割以构建GPMM模型。使用行进立方体算法获得标记的结节掩码的3D网格表面。然后，使用3D网格表面构建基于GGPM的形状模型。 GGPM模型中的特征向量表示要生成的3D形状的不同属性。通过操纵GGPM模型中的特征值，可以生成具有任意形状和大小的分割掩码
Figure 323359DEST_PATH_IMAGE025
720。在将采样的3D表面栅格化为分割掩码
Figure 805156DEST_PATH_IMAGE025
720之前，可以通过随机缩放、旋转、翻转等进一步扩增采样的3D表面。
将初始训练图像补块
Figure 953241DEST_PATH_IMAGE050
718和合成的分割掩码
Figure 772354DEST_PATH_IMAGE025
720连同级联的1D向量馈送到重构网络
Figure 980481DEST_PATH_IMAGE036
702，级联的1D向量包括从标准正态分布N（0,1）采样的随机向量
Figure 683995DEST_PATH_IMAGE035
714和操纵属性
Figure 370191DEST_PATH_IMAGE051
738。级联的1D向量通过上采样层716逐步进行上采样，直到采样的特征与合成的分割掩码
Figure 983706DEST_PATH_IMAGE026
720具有相同大小。重构网络
Figure 97156DEST_PATH_IMAGE036
702输出掩码的图像补块
Figure 287966DEST_PATH_IMAGE052
722和掩码的背景补块
Figure 777853DEST_PATH_IMAGE053
724，其被融合（例如，特征求和）以形成粗的合成图像补块726。与用于结节分解的第一训练阶段（图6的网络架构600中所示）不同，合成的分割掩码
Figure 245875DEST_PATH_IMAGE026
720此处用于遮罩背景（而不是正方形或矩形掩码），因为在此阶段，掩码
Figure 795805DEST_PATH_IMAGE026
720更可靠并且最终合成的图像可能另外会在平方掩码边界处遭受不必要的假象。
粗的合成图像补块726被馈送到细化网络
Figure 473911DEST_PATH_IMAGE039
704中，以将被掩码的补块
Figure 642855DEST_PATH_IMAGE052
722中的合成结节混合到被掩码的背景补块
Figure 621175DEST_PATH_IMAGE053
724的上下文中，以获得最终的重构图像补块
Figure 715908DEST_PATH_IMAGE040
728。在最终重构的图像补块
Figure 146889DEST_PATH_IMAGE040
728上使用了两个Wasserstein生成对抗网络（WGAN）鉴别器
Figure 978579DEST_PATH_IMAGE054
710和
Figure 155614DEST_PATH_IMAGE055
708，以改善合成结节的外观。鉴别器
Figure 47346DEST_PATH_IMAGE054
710被应用到区域
Figure 700044DEST_PATH_IMAGE056
，该区域表示最终重构图像补块
Figure 69846DEST_PATH_IMAGE040
728中围绕合成结节的掩码区域（例如边界框）
Figure DEST_PATH_IMAGE058A
，以及鉴别器
Figure 163704DEST_PATH_IMAGE055
708被应用到更大的区域
Figure 101704DEST_PATH_IMAGE059
表示在最终重构补块
Figure 976119DEST_PATH_IMAGE040
728中围绕合成结节的相对较大的掩码区域
Figure 415191DEST_PATH_IMAGE060
。鉴别器
Figure 691451DEST_PATH_IMAGE054
710和
Figure 301818DEST_PATH_IMAGE061
708旨在区分重构（即合成的）图像补块和真实图像补块以鉴别合成的结节是否已与掩码的背景补块
Figure 663529DEST_PATH_IMAGE053
724进行了实际混合。遍及这个阶段，冻结了重构网络
Figure 375133DEST_PATH_IMAGE062
702的权重。鉴别器
Figure 771479DEST_PATH_IMAGE054
710和
Figure 51282DEST_PATH_IMAGE055
708是由小的DenseNet构建，在每个卷积层中进行了频谱归一化。应用分割网络
Figure 900289DEST_PATH_IMAGE041
706以从最终重构的补块
Figure 415584DEST_PATH_IMAGE040
728中分割出最终分割掩码
Figure 666437DEST_PATH_IMAGE042
736，以再现输入分割掩码
Figure 976195DEST_PATH_IMAGE025
720，从而对细化网络
Figure 187865DEST_PATH_IMAGE039
704进行正则化以保持原始形状。
用于生成器的目标函数（即重构网络
Figure 506851DEST_PATH_IMAGE036
702和细化网络
Figure 877789DEST_PATH_IMAGE039
704）可以总结如下：
Figure 499395DEST_PATH_IMAGE063
(等式 10)
其中
Figure 57415DEST_PATH_IMAGE064
在等式7中定义，以及
Figure 180092DEST_PATH_IMAGE029
在等式8中定义。
Figure 139958DEST_PATH_IMAGE065
是最终重构图像补块
Figure 430999DEST_PATH_IMAGE040
728的围绕区域
Figure 741895DEST_PATH_IMAGE066
与初始训练图像补块
Figure 402683DEST_PATH_IMAGE050
718的对应区域之间的L1损失，如下。
Figure 217056DEST_PATH_IMAGE067
(等式 11)
Figure 446043DEST_PATH_IMAGE068
是来自鉴别器
Figure 978655DEST_PATH_IMAGE069
710和
Figure 177556DEST_PATH_IMAGE070
708的损失的权重和，鉴别器
Figure 112014DEST_PATH_IMAGE069
710和
Figure 511902DEST_PATH_IMAGE070
708按照如下利用WGAN准则训练。
Figure 266231DEST_PATH_IMAGE071
(等式 12)
Figure 534402DEST_PATH_IMAGE072
Figure 323366DEST_PATH_IMAGE073
(等式 13)
Figure 628577DEST_PATH_IMAGE074
Figure 135781DEST_PATH_IMAGE075
(等式 14)
其中
Figure 942063DEST_PATH_IMAGE076
,
Figure 585534DEST_PATH_IMAGE077
,
Figure 828690DEST_PATH_IMAGE078
是梯度惩罚。
一旦被训练，就可以在在线阶段（例如，图5的方法500）期间应用经训练的重构网络
Figure 557612DEST_PATH_IMAGE002
702和经训练的细化网络
Figure 167585DEST_PATH_IMAGE003
704，以将直径为
Figure 931141DEST_PATH_IMAGE079
的随机合成的生成结节
Figure 578154DEST_PATH_IMAGE017
放置在3D图像体积中的随机位置
Figure 59951DEST_PATH_IMAGE080
上。
在一个实施例中，将合成网格712重新缩放至目标大小。裁剪围绕随机位置
Figure 208036DEST_PATH_IMAGE080
的3D补块，并将其馈送到经训练的重构网络
Figure 826099DEST_PATH_IMAGE002
702和经训练的细化网络
Figure 644014DEST_PATH_IMAGE003
704。在将经训练的重构网络
Figure 347527DEST_PATH_IMAGE002
702生成的结节添加到掩码的背景之前，生成的结节与比例因子（例如，在[0.5,1.5]范围内）相乘以调整所生成结节的强度。例如，当需要较大的补块时，例如训练结节候选检测网络，可以将经训练的细化网络
Figure 299303DEST_PATH_IMAGE003
704的3D输出融合回到原始3D体积中。
图8示出了根据一个或多个实施例的用于使用强化学习（RL）代理进行在线对抗采样的方法800。
在步骤802，RL代理确定可操纵的属性。训练RL代理以确定可操纵的属性，该可操纵的属性可将任意结节混合到CT图像的肺部区域中。RL代理输出的可操纵的属性包括要生成的结节的3D位置
Figure 771872DEST_PATH_IMAGE080
和参数（例如形状、大小、强度、纹理、边界外观、结节类型）。
在步骤804，使用经训练的对象合成网络基于可操纵的属性来生成结节的合成医学图像补块。在一个实施例中，使用根据图6的网络架构600和图7的网络架构700训练的训练对象合成网络，根据图5的方法500来执行步骤804。
在步骤806，使用经训练的鉴别器来确定1）合成医学图像补块是否真实，以及2）是否可以预测可操纵的属性。在一个实施例中，经训练的鉴别器是用于训练对象合成网络的鉴别器（例如，图7中的上下文鉴别器
Figure 26267DEST_PATH_IMAGE070
708）。如果经训练的鉴别器确定合成的医学图像补块是真实的并且正确地预测了可操纵的属性，则方法800进行到步骤808。如果经训练的鉴别器确定合成的医学图像补块不是真实的（即，经训练的鉴别器确定了合成的医学图像补块是假的）和/或不能正确预测可操纵的属性，合成的医学图像补块将被丢弃，并且方法800结束，这是由于无法检测和/或分类（在步骤808），这样的合成医学图像补块不指示失败。
在步骤808，使用预先训练的监督学习代理（例如，检测器或分类器）确定是否检测和/或分类合成医学图像补块中的结节。如果预先训练的监督学习代理能够正确地检测和/或分类结节，则在步骤812，对RL代理进行惩罚。例如，如果分类器的错误低，则对RL代理给予高惩罚。如果预先训练的监督学习代理不能正确地检测和/或分类结节，则在步骤810，对RL代理进行奖励。因此，对RL代理进行了训练，以生成在真实训练数据集中不足的罕见和具有挑战性的情况，这可能有助于改善预先训练的监督学习代理的鲁棒性。
本文描述的实施例的一个示例应用是改善肺结节检测系统的性能。这样的肺结节检测系统通常由两阶段的粗到细的网络训练构建：（1）具有大接收域的全卷积神经网络，以获得结节候选物；以及 （2）基于候选补块的补块分类器，以减少假阳性的数量。在训练3D补块分类器网络时，从每个批量中的合成补块和真实补块中采样阳性补块。合成补块的比例被控制在20％至50％之间。可以基于仅使用真实数据训练的补块分类器的输出以及经训练的鉴别器的输出来选择合成补块中的硬情况（hard case）。由于所有合成补块都构造为在其中包含结节，因此具有低分类器概率的补块被视为硬阳性。同时，保持仅看起来真实的结节补块，因为从此类补块学习的知识可以推广到看不见的数据。来自本地鉴别器
Figure 217077DEST_PATH_IMAGE069
的输出用于丢弃来自训练集的具有低质量的20％合成补块。
通过实验验证了本发明的实施例。从LUNA16挑战数据集、NLST队列和额外数据集获取带有肺结节的胸部CT图像。预留了来自额外数据集的测试图像，测试图像由经验丰富的放射科医生进行审查。由于原始NLST图像仅用结节的切片编号进行注释，因此放射科医生对结节的精确3D位置进行了注释。NLST图像仅用于提取阳性训练补块，因为并非所有结节都保证被注释。提取出在图像中以结节为中心的阳性训练补块。在肺区域内采样了阴性训练补块，而没有结节外观。在0.6×0.6×1mm的分辨率下对大小为64 × 64 × 32的补块进行采样。图像补块被裁剪具有[−1024, 600]霍恩斯菲尔德单位（HU）值，并重新缩放为[0,255]。使用3D DenseUNet为所有阳性CT补块生成肺结节的分割掩码，该3D DenseUNet在从LIDC数据集获得的710张图像（LUNA子集2至子集9）上进行了训练。分割掩码用于训练分解网络
Figure 972544DEST_PATH_IMAGE001
。47400个3D阳性结节补块与从在所有三个数据集中的训练图像的肺区域随机采样的背景补块合成。为了生成合成掩码，随机地采样从标准正态分布中嵌入的形状，并对合成网格进行重新缩放，以确保合成结节的直径均匀分布在4mm至30mm之间。
变体自动编码器（VAE）利用多层感知器被构建，其具有整流线性单元（ReLU）激活，用于生成合成网格。VAE的编码器具有3层，其将1452个模板3D顶点的输入压缩为100个变量的变体嵌入。 VAE的解码器采用具有线性输出的对称架构构建。此VAE直接学习已转换网格的3D坐标的分布。使用AMSGrad对网络进行了优化，其中学习速率为1 × 10−3以及批量大小为512。
编码器
Figure 939100DEST_PATH_IMAGE001
由3个 ResNet块（每个块具有2×2最大池化）和底部的ResNet块（没有最大池化）构建。
Figure 223451DEST_PATH_IMAGE016
是从具有256个特征图的底部块的输出中获得的。首先使用全局平均池化将特征图转换为1D向量，并将其馈入两个单独的完全连接的层中，以获得用于采样的变量
Figure 635978DEST_PATH_IMAGE016
。
Figure 929556DEST_PATH_IMAGE002
首先使用6对2×2上采样层和3×3卷积层将上采样
Figure 517663DEST_PATH_IMAGE016
到原始补块大小。然后将特征图与预测的图像分割掩码级联，并馈送到Res-UNet中。
Figure 972916DEST_PATH_IMAGE003
具有与
Figure 403897DEST_PATH_IMAGE002
中的ResUNet相同的架构。AMSGrad用于优化图像分解和细化中使用的所有网络。初始学习速率1×10-3用于训练生成器中除鉴别器外的所有网络。利用初始学习率为1×10−4训练鉴别器。为了在训练阶段2中平衡GAN损失和L1损失，将λD固定为0.1。
为了将本文所述的实施例与常规的图像修补方法进行比较，实施了基线3D图像修补方法。使用3D Res-UNet构建生成器网络。使用3D DenseNet构建WGAN鉴别器。网络的输入是3D肺部CT补块，中心区域被裁剪掉。通过使用本地和全局区域的结合L1损失以及WGAN对抗损失来优化网络。发现对随机向量的调节可能会妨碍性能。通过生成器网络中的测试时间中途退出引入了生成多样性。
图9示出了根据本文描述的实施例生成的示例性合成图像900。每个相应行902、904和906中的图像示出了从相同的掩码
Figure 235587DEST_PATH_IMAGE019
但是从标准正态分布绘制的不同的随机采样残留向量
Figure 412621DEST_PATH_IMAGE016
产生的结节。如图9中所示，
Figure 304354DEST_PATH_IMAGE081
在生成的结节内的纹理，并略微更改结节边界。
图10示出了根据本文描述的实施例生成的示例性合成图像1000。每个相应行1002、1004和1006中的图像示出了从相同的掩码
Figure 691473DEST_PATH_IMAGE019
和残留向量
Figure 326854DEST_PATH_IMAGE016
产生的结节，但是使用在[0.5, 1.5]之间的增加的缩放因子。如图10中所示，可以通过强度缩放因子来控制所生成的结节的强度。
图11示出了在本文描述的实施例的各个阶段生成的示例性合成图像1100。列1102和1108示出了在细化网络
Figure 623974DEST_PATH_IMAGE003
之前产生的结节的合成图像，列1104和1110示出了在细化网络
Figure 686608DEST_PATH_IMAGE003
之后产生的结节的合成图像，以及列1106和1112示出了在使用WGAN鉴别器进行细调之后产生的结节的合成图像。如图11中所示，对抗训练有助于细化结节的核心和边界处的强度，以将其混合到组织上下文中。
图12示出了根据本文描述的实施例生成的示例性真实图像和合成图像1200。被称为真实容易图像的图像1202示出了具有大于95％的分类器输出的真实结节。被称为真实硬图像的图像1204示出了具有小于5％的分类器输出的真实结节。被称为假容易图像的图像1206示出了具有大于95％的分类器输出的合成结节。被称为假硬图像的图像1208示出了具有小于5％的分类器输出的合成结节。被称为低保真度图像的图像1210示出了具有低保真度（低于平均本地鉴别器输出的20％）的合成结节。在真实和合成图像中，具有高强度实心核的结节都易于分类。硬补块的尺寸往往较小，并且平均强度较低。当结节隐藏在肺壁或其他高强度组织（例如血管或其他异常）旁边时，也会混淆分类器。鉴别器更容易辨别合成补块含有比平均直径大或具有不规则形状的结节。当要求生成器产生除肺壁以外的大结节时，生成器也不能很好地处理边界，因为它应保持训练过程的结节边界。
图13示出了使用基线图像修补方法生成并根据本文所述实施例生成的示例性图像1300。列1302和1308中的图像是用于图像合成的掩码图像。列1304和1310中的图像是使用基线图像修补方法生成的。使用本文描述的实施例生成列1306和1312中的图像。
通过冻结候选生成网络并仅训练具有不同设置的3D补块分类器，重点关注第二阶段的结果来分析对象合成网络。补块分类器是具有预先训练的权重的3D ResNet50。将相同的一组常规数据扩增技术（包括90度旋转、随机缩放和3个方向的翻转）应用于所有实验，以进行公平比较。比较测试图像上的自由响应接收器工作特性（FROC）曲线和竞争性能度量（CPM）分数，以对合成补块和真实补块的不同比例采样：（1）在不从合成补块中采样的情况下进行训练；（2）从所有合成样品中采样20％补块进行训练；（3）用从合成样品中采样50％补块进行训练。发现合成数据可有助于改善检测性能，特别是当假阳性的数目低时。使用20％以上只会稍微改善分类性能。置信带是通过自举生成的。在相同的采样策略下，通过基线图像修补方法生成的补块没有示出改善。尝试仅从合成补块中采样阳性补块，这没有良好工作，因为合成补块无法覆盖真实数据中的整个分布，例如，亚实性结节。仅从硬情况中采样就获得更高的检测性能。已观察到，将批量与真实和选定的硬合成补块混合进行的训练比对仅真实数据已经训练的分类器进行细调稍微良好工作。
本文描述的系统、装置和方法可以使用数字电路或使用利用公知的计算机处理器、存储器单元、存储设备、计算机软件和其他组件的一个或多个计算机来实现。通常，计算机包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。计算机还可以包括一个或多个大容量存储设备或耦合到一个或多个大容量存储设备，该一个或多个大容量存储设备例如是一个或多个磁盘、内部硬盘和可移动磁盘、磁光盘、光盘等。
可以使用以客户端-服务器关系操作的计算机来实现本文描述的系统、装置和方法。通常，在这种系统中，客户端计算机位于远离服务器计算机的位置，并经由网络进行交互。客户端-服务器关系可以由在相应的客户端和服务器计算机上运行的计算机程序定义和控制。
本文描述的系统、装置和方法可以在基于网络的云计算系统内实现。在这样的基于网络的云计算系统中，连接到网络的服务器或另一处理器经由网络与一个或多个客户端计算机通信。客户端计算机可以例如经由驻留在客户端计算机上并在其上操作的网络浏览器应用程序与服务器进行通信。客户端计算机可以将数据存储在服务器上，并经由网络访问数据。客户端计算机可以经由网络将对数据的请求或对在线服务的请求传送到服务器。服务器可以执行请求的服务，并将数据提供给（一个或多个）客户端计算机。服务器还可以传送适于使客户端计算机执行指定功能（例如，执行计算、在屏幕上显示指定数据等）的数据。例如，服务器可以传送适于使客户端计算机执行本文描述的方法和工作流程的步骤或功能中的一个或多个（包括图4-5和8的步骤或功能中的一个或多个）的请求。本文描述的方法和工作流程的某些步骤或功能（包括图4-5和8的步骤或功能中一个或多个）可以由基于网络的云计算系统中的服务器或另一处理器执行。本文所述的方法和工作流程的某些步骤或功能(包括图4-5和8的步骤中一个或多个）可以由基于网络的云计算系统中的客户端计算机执行。在此描述的方法和工作流的步骤或功能(包括图4-5和8的步骤中一个或多个)可以由基于网络的云计算系统中的服务器和/或客户端计算机以组合的方式来执行。
可以使用有形地体现在信息载体中，例如在非暂时性机器可读存储设备中的计算机程序产品来实现本文所述的系统、装置和方法以由可编程处理器来执行；以及可以使用可由这样的处理器执行的一个或多个计算机程序来实现包括图4-5和图8的步骤或功能中的一个或多个步骤在内的本文所描述的方法和工作流步骤。计算机程序是一组计算机程序指令，可以在计算机中直接或间接使用它来执行特定活动或带来特定结果。可以以任何形式的编程语言（包括编译或解释语言）编写计算机程序，并且可以以任何形式配置计算机程序，包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其它单元。
可用于实现本文描述的系统、装置和方法的示例计算机1402的高级框图在图14中进行了描述。计算机1402包括可操作地耦合至数据存储设备1412和存储器1410的处理器1404。处理器1404通过执行定义这样操作的计算机程序指令来控制计算机1402的整体操作。在需要执行计算机程序指令时可以将计算机程序指令存储在数据存储设备1412或其他计算机可读介质中，并且将其加载到存储器1410中。因此，图4-5和8的方法和工作流步骤或功能可以由存储在存储器1410和/或数据存储设备1412中的计算机程序指令定义，并由执行计算机程序指令的处理器1404控制。例如，计算机程序指令可以被实现为由本领域技术人员编程的计算机可执行代码，以执行图4-5和8的方法和工作流步骤或功能。因此，通过执行计算机程序指令，处理器1404执行图4-5和8的方法和工作流步骤或功能。计算机1402还可以包括一个或多个网络接口1406，用于经由网络与其他设备进行通信。计算机1402还可包括一个或多个输入/输出设备1408，其使用户能够与计算机1402进行交互（例如，显示器、键盘、鼠标、扬声器，按钮等）。
处理器1404可以包括通用微处理器和专用微处理器，并且可以是计算机1402的唯一处理器或多个处理器之一。例如，处理器1404可以包括一个或多个中央处理单元（CPU）。处理器1404、数据存储设备1412和/或存储器1410可以包括一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA），由一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA）补充或并入一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA）中。
数据存储设备1412和存储器1410各自包括有形的非暂时性计算机可读存储介质。数据存储设备1412和存储器1410可各自包括高速随机存取存储器，例如动态随机存取存储器（DRAM）、静态随机存取存储器（SRAM）、双倍数据速率同步动态随机存取存储器（DDRRAM），或其他随机存取固态存储设备，并且可以包括非易失性存储器，例如一个或多个磁盘存储设备（例如内部硬盘和可移动磁盘）、磁光盘存储设备、光盘存储设备、闪存设备、半导体存储设备，例如可擦可编程只读存储器（EPROM）、电可擦可编程只读存储器（EEPROM）、光盘只读存储器（CD-ROM）、数字多功能光盘只读存储器（DVD- ROM）磁盘或其他非易失性固态存储设备。
输入/输出设备1408可以包括外围设备，例如打印机、扫描仪、显示屏等。例如，输入/输出设备1408可以包括显示设备，例如阴极射线管（CRT）或液晶显示器（LCD）监视器，用于向用户显示信息，键盘以及诸如鼠标或轨迹球之类的指示设备，用户可通过该指示设备向计算机1402提供输入。
图像获取装置1414可以连接至计算机1402，以将图像数据（例如，医学图像）输入至计算机1402。可以将图像获取装置1414和计算机1402实现为一个装置。还可以的是，图像获取设备1414和计算机1402通过网络无线通信。在一个可能的实施例中，计算机1402可以关于图像获取设备1414远离地定位。
本文讨论的任何或所有系统和装置可以使用一个或多个计算机（例如计算机1402）来实现。
本领域技术人员将认识到，实际计算机或计算机系统的实现可以具有其他结构并且也可以包含其他组件，并且出于说明目的图14是这种计算机的某些组件的高级表示。
前述的详细描述在各个方面应被理解为是说明性和示例性的，而非限制性的，并且本文中公开的本发明的范围并非由具体实施方式，而是由根据专利法允许的最大范围解释的权利要求书确定。应当理解，本文示出和描述的实施例仅是本发明原理的示例，并且本领域技术人员可以在不脱离本发明的范围和精神的情况下进行各种修改。本领域技术人员可以实现各种其他特征组合而不脱离本发明的范围和精神。

Claims (20)

1.一种方法，包括：
接收输入医学图像补块、分割掩码、外观相关参数的向量以及可操纵的属性；
使用经训练的对象合成网络，基于输入医学图像补块、分割掩码、外观相关参数的向量以及可操纵的属性，生成包括合成结节的合成的医学图像补块，合成的结节根据可操纵的属性被合成；以及
输出合成的医学图像补块。
2.根据权利要求1所述的方法，其中，所述可操纵的属性包括基于结节强度的标记，以将合成结节的外观定义为固体、部分固体、毛玻璃不透明、完全钙化或部分钙化。
3.如权利要求1所述的方法，其中，所述可操纵的属性包括基于纹理和边界的标记以定义合成结节的外观为有针刺的或无针刺的。
4.根据权利要求1所述的方法，其中，生成包括合成结节的合成的医学图像补块包括：
将表示可操纵的属性的向量与外观相关参数的向量级联。
5.根据权利要求1所述的方法，其中，生成包括合成结节的合成的医学图像补块包括：
通过定义高斯过程可变形模型的特征向量，使用高斯过程可变形模型将分割掩码生成为具有大小和形状，其中根据分割掩码的大小和形状，将合成结节合成为具有大小和形状。
6.根据权利要求1所述的方法，其中，经训练的对象合成网络包括重构网络和细化网络，所述方法还包括通过以下训练对象合成网络：训练1）分解网络以将包括结节的特定图像补块分解为特定的分割掩码和外观相关参数的特定向量，以及2）重构网络和细化网络以基于特定分割掩码和外观相关参数的特定向量重构特定图像补块；以及
使用经训练的重构网络基于随机分割掩码和外观相关参数的随机向量对细化网络进行细化。
7.根据权利要求6所述的方法，其中，使用经训练的重构网络基于随机分割掩码和外观相关参数的随机向量对细化网络进行细化包括：
使用应用于特定图像补块中的围绕结节的区域的局部鉴别器和应用于特定图像补块中的较大区域的上下文鉴别器，以对抗性损失对细化网络进行细化。
8.根据权利要求1所述的方法，还包括：
使用强化学习代理确定可操纵的属性；
应用检测器或分类器以检测或分类合成的医学图像补块；
如果检测器或分类器能够检测或分类合成的医学图像补块，则惩罚强化学习代理，以及如果检测器或分类器不能检测或分类合成的医学图像补块，则奖励强化学习代理。
9.根据权利要求1所述的方法，还包括：
训练机器学习网络以基于合成的医学图像补块检测或分割目标医学图像补块中的结节。
10.一种设备，包括：
用于接收输入医学图像补块、分割掩码、外观相关参数的向量以及可操纵的属性的装置；
用于使用经训练的对象合成网络，基于输入医学图像补块、分割掩码、外观相关参数的向量以及可操纵的属性，生成包括合成结节的合成的医学图像补块的装置，合成的结节根据可操纵的属性被合成；以及
用于输出合成的医学图像补块的装置。
11.根据权利要求10所述的设备，其中，所述可操纵的属性包括基于结节强度的标记，以将合成结节的外观定义为固体、部分固体、毛玻璃不透明、完全钙化或部分钙化。
12.如权利要求10所述的设备，其中，所述可操纵的属性包括基于纹理和边界的标记以定义合成结节的外观为有针刺的或无针刺的。
13.根据权利要求10所述的设备，其中，用于生成包括合成结节的合成的医学图像补块的装置包括：
用于将表示可操纵的属性的向量与外观相关参数的向量级联的装置。
14.根据权利要求10所述的设备，其中，用于生成包括合成结节的合成的医学图像补块的装置包括：
用于通过定义高斯过程可变形模型的特征向量，使用高斯过程可变形模型将分割掩码生成为具有大小和形状的装置，其中根据分割掩码的大小和形状，将合成结节合成为具有大小和形状。
15.一种存储计算机程序指令的非暂时性计算机可读介质，所述计算机程序指令在由处理器执行时使所述处理器执行包括以下的操作：
接收输入医学图像补块、分割掩码、外观相关参数的向量以及可操纵的属性；
使用经训练的对象合成网络，基于输入医学图像补块、分割掩码、外观相关参数的向量以及可操纵的属性，生成包括合成结节的合成的医学图像补块，合成的结节根据可操纵的属性被合成；以及
输出合成的医学图像补块。
16.根据权利要求15所述的非暂时性计算机可读介质，其中，所述可操纵的属性包括基于结节强度的标记，以将合成结节的外观定义为固体、部分固体、毛玻璃不透明、完全钙化或部分钙化。
17.根据权利要求15所述的非暂时性计算机可读介质，其中，经训练的对象合成网络包括重构网络和细化网络，所述操作还包括通过以下训练对象合成网络：
训练1）分解网络以将包括结节的特定图像补块分解为特定的分割掩码和外观相关参数的特定向量，以及2）重构网络和细化网络以基于特定分割掩码和外观相关参数的特定向量重构特定图像补块；以及
使用经训练的重构网络基于随机分割掩码和外观相关参数的随机向量对细化网络进行细化。
18.根据权利要求17所述的非暂时性计算机可读介质，其中，使用经训练的重构网络基于随机分割掩码和外观相关参数的随机向量对细化网络进行细化包括：
使用应用于特定图像补块中的围绕结节的区域的局部鉴别器和应用于特定图像补块中的较大区域的上下文鉴别器，以对抗性损失对细化网络进行细化。
19.根据权利要求15所述的非暂时性计算机可读介质，所述操作还包括：
使用强化学习代理确定可操纵的属性；
应用检测器或分类器以检测或分类合成的医学图像补块；
如果检测器或分类器能够检测或分类合成的医学图像补块，则惩罚强化学习代理，以及如果检测器或分类器不能检测或分类合成的医学图像补块，则奖励强化学习代理。
20.根据权利要求15所述的非暂时性计算机可读介质，所述操作还包括：
训练机器学习网络以基于合成的医学图像补块检测或分割目标医学图像补块中的结节。
CN202010952660.5A 2019-09-13 2020-09-11 具有结构化的图像分解的3d医学图像中的可操纵对象合成 Pending CN112508842A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/570214 2019-09-13
US16/570,214 US11024027B2 (en) 2019-09-13 2019-09-13 Manipulable object synthesis in 3D medical images with structured image decomposition

Publications (1)

Publication Number Publication Date
CN112508842A true CN112508842A (zh) 2021-03-16

Family

ID=72474105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010952660.5A Pending CN112508842A (zh) 2019-09-13 2020-09-11 具有结构化的图像分解的3d医学图像中的可操纵对象合成

Country Status (3)

Country Link
US (1) US11024027B2 (zh)
EP (1) EP3792879A1 (zh)
CN (1) CN112508842A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160232A (zh) * 2021-03-29 2021-07-23 吉林大学 基于MU-Net应用于CT影像的颅内出血病灶分割算法
CN115381553A (zh) * 2022-09-21 2022-11-25 北京长木谷医疗科技有限公司 复杂性骨性融合膝关节的智能定位装置设计方法及系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348243B2 (en) * 2020-01-24 2022-05-31 GE Precision Healthcare LLC Systems and methods for medical image style transfer using deep neural networks
US20210334975A1 (en) * 2020-04-23 2021-10-28 Nvidia Corporation Image segmentation using one or more neural networks
EP3901903B1 (en) 2020-04-23 2023-06-14 Siemens Healthcare GmbH Classifying a lesion based on longitudinal studies
US11132607B1 (en) * 2020-05-05 2021-09-28 StradVision, Inc. Method for explainable active learning, to be used for object detector, by using deep encoder and active learning device using the same
WO2023153792A1 (en) * 2022-02-08 2023-08-17 Samsung Electronics Co., Ltd. Electronic device and controlling method thereof
CN114241326B (zh) * 2022-02-24 2022-05-27 自然资源部第三地理信息制图院 一种渐进式遥感影像地物要素智能生产方法及系统
CN115294401B (zh) * 2022-08-23 2023-04-14 北京医准智能科技有限公司 一种基于ct图像的分类方法、装置、设备及存储介质
CN115346074B (zh) * 2022-09-02 2023-06-16 北京百度网讯科技有限公司 训练方法、图像处理方法、装置、电子设备以及存储介质
CN117765118A (zh) * 2024-02-22 2024-03-26 吉林大学第一医院 伪影校正方法、装置、电子设备和计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2410466A1 (en) * 2010-07-21 2012-01-25 MBDA UK Limited Image processing method
US20130121577A1 (en) * 2009-10-30 2013-05-16 Jue Wang Methods and Apparatus for Chatter Reduction in Video Object Segmentation Using Optical Flow Assisted Gaussholding
CN103116754A (zh) * 2013-01-24 2013-05-22 浙江大学 基于识别模型的批量图像分割方法及系统
CA2940393A1 (en) * 2015-12-29 2017-06-29 Veneree Rakotomalala Randrianarisoa Method and system for performing bone multi-segmentation in imaging data
CN107767362A (zh) * 2017-09-01 2018-03-06 苏州侠洛信息科技有限公司 一种基于深度学习的肺癌早筛装置
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法
US20180246758A1 (en) * 2017-02-27 2018-08-30 International Business Machines Corporation Automated generation of scheduling algorithms based on task relevance assessment
US20180260957A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Automatic Liver Segmentation Using Adversarial Image-to-Image Network
CN109074665A (zh) * 2016-12-02 2018-12-21 阿文特公司 用于在基于医学成像的程序中导航到目标解剖对象的系统和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050201606A1 (en) * 2004-03-12 2005-09-15 Kazunori Okada 3D segmentation of targets in multislice image
US8157742B2 (en) * 2010-08-12 2012-04-17 Heartflow, Inc. Method and system for patient-specific modeling of blood flow
US10311978B2 (en) * 2012-01-30 2019-06-04 Siemens Healthcare Gmbh Method and system for patient specific planning of cardiac therapies on preoperative clinical data and medical images

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130121577A1 (en) * 2009-10-30 2013-05-16 Jue Wang Methods and Apparatus for Chatter Reduction in Video Object Segmentation Using Optical Flow Assisted Gaussholding
EP2410466A1 (en) * 2010-07-21 2012-01-25 MBDA UK Limited Image processing method
CN103116754A (zh) * 2013-01-24 2013-05-22 浙江大学 基于识别模型的批量图像分割方法及系统
CA2940393A1 (en) * 2015-12-29 2017-06-29 Veneree Rakotomalala Randrianarisoa Method and system for performing bone multi-segmentation in imaging data
CN109074665A (zh) * 2016-12-02 2018-12-21 阿文特公司 用于在基于医学成像的程序中导航到目标解剖对象的系统和方法
US20180246758A1 (en) * 2017-02-27 2018-08-30 International Business Machines Corporation Automated generation of scheduling algorithms based on task relevance assessment
US20180260957A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Automatic Liver Segmentation Using Adversarial Image-to-Image Network
CN107767362A (zh) * 2017-09-01 2018-03-06 苏州侠洛信息科技有限公司 一种基于深度学习的肺癌早筛装置
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HANG DAI: "Statistical Modeling of Craniofacial Shape", 《DOCTORAL DISSERTAIN, COMPUTER SCIENCE》 *
SIQI LIU ET AL: "Decompose to manipulate: Manipulable Object Synthesis in 3D Medical Images with Structured Image Decomposition", 《ARXIV》, pages 2 - 5 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160232A (zh) * 2021-03-29 2021-07-23 吉林大学 基于MU-Net应用于CT影像的颅内出血病灶分割算法
CN115381553A (zh) * 2022-09-21 2022-11-25 北京长木谷医疗科技有限公司 复杂性骨性融合膝关节的智能定位装置设计方法及系统

Also Published As

Publication number Publication date
EP3792879A1 (en) 2021-03-17
US11024027B2 (en) 2021-06-01
US20210082107A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
US11024027B2 (en) Manipulable object synthesis in 3D medical images with structured image decomposition
Kazeminia et al. GANs for medical image analysis
US11610308B2 (en) Localization and classification of abnormalities in medical images
Frid-Adar et al. Synthetic data augmentation using GAN for improved liver lesion classification
US11593943B2 (en) RECIST assessment of tumour progression
US11132792B2 (en) Cross domain medical image segmentation
EP3754610A1 (en) Class-aware adversarial pulmonary nodule synthesis
EP3576020A1 (en) Methods for generating synthetic training data and for training deep learning algorithms for tumor lesion characterization, method and system for tumor lesion characterization, computer program and electronically readable storage medium
US20220262105A1 (en) Systems, methods, and apparatuses for the generation of source models for transfer learning to application specific models used in the processing of medical imaging
US20230326592A1 (en) System and methods for mammalian transfer learning
Liu et al. Decompose to manipulate: manipulable object synthesis in 3D medical images with structured image decomposition
US11854158B2 (en) Medical image enhancement
CN113554742A (zh) 一种三维图像的重建方法、装置、设备及存储介质
Bu et al. 3D conditional generative adversarial network‐based synthetic medical image augmentation for lung nodule detection
Ferreira et al. GAN-based generation of realistic 3D volumetric data: A systematic review and taxonomy
Tempelaere et al. Synthetic data for X-ray CT of healthy and disordered pear fruit using deep learning
US20230005158A1 (en) Medical image segmentation and atlas image selection
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
CN111739614B (zh) 医学图像增强
US20230360366A1 (en) Visual Explanation of Classification
WO2023017438A1 (en) System and method for medical image translation
Amor Bone segmentation and extrapolation in Cone-Beam Computed Tomography
Ferreira et al. FakeNews: GAN-based generation of realistic 3D volumetric data A systematic review and taxonomy
Elloumi et al. 3D medical images segmentation and securing based GAN architecture and watermarking algorithm using schur decomposition
CN117670761A (zh) 基于乳腺医学影像的信息处理方法、分析方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination