CN112641457A - 医学成像中的根据表面数据的合成参数化计算机断层扫描 - Google Patents

医学成像中的根据表面数据的合成参数化计算机断层扫描 Download PDF

Info

Publication number
CN112641457A
CN112641457A CN202011070421.3A CN202011070421A CN112641457A CN 112641457 A CN112641457 A CN 112641457A CN 202011070421 A CN202011070421 A CN 202011070421A CN 112641457 A CN112641457 A CN 112641457A
Authority
CN
China
Prior art keywords
representation
machine
learned
surface data
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011070421.3A
Other languages
English (en)
Inventor
B·泰克塞拉
V·K·辛赫
B·塔默索伊
A·克劳斯
吴奕凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare GmbH
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Publication of CN112641457A publication Critical patent/CN112641457A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/488—Diagnostic techniques involving pre-scan acquisition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Pulmonology (AREA)
  • Computer Graphics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及医学成像中的根据表面数据的合成参数化计算机断层扫描。出于规划或其他目的，根据表面数据（例如，深度相机信息）来估计合成CT。除了表面数据之外，该估计还使用参数化，诸如界标和/或分割信息。在训练和/或应用中，参数化可以用于校正所预测的CT体积。CT体积可以作为患者的子部分被预测，诸如针对与其他系统、器官或组织类型分离地扫描一个系统、器官或组织类型来估计CT体积。

Description

医学成像中的根据表面数据的合成参数化计算机断层扫描
技术领域
本实施例涉及估计用于医学成像的三维计算机断层扫描（CT）。
背景技术
CT在临床诊断和治疗规划中起着关键作用。然而，获取CT数据会使患者暴露于潜在有害的电离辐射。现有的CT扫描规划通常是基于来自技术人员的目视检查的粗略的患者测量估计或使用初步探查扫描（scouting scan）（例如，二维（2D）定位片（topogram））来执行的。对于一些其他成像方法，诸如基于发射的断层扫描（PET/SPECT），在此过程之前获得CT扫描，以用于衰减校正。这两种方法都使患者暴露于额外的辐射。
可以通过管电流调制、自动曝光控制或基于患者体型调整kV来减少辐射暴露。尽管这些方法减少了辐射剂量，但它们仍然需要技术人员进行目视检查或使用初步探查扫描（例如，扫描以获取2D定位片）。为了避免电离辐射，可以根据表面数据预测患者的体模（phantom）定位片。尽管此非电离方法是替代初步探查扫描的好方法，但是对于特定的规划而言，内部解剖（anatomy）的2D表示可能缺少信息。可以根据表面几何形状生成合成CT，但是这种方法仅限于表面数据。
发明内容
提供了用于根据表面数据进行CT预测的系统、方法和计算机可读介质上的指令。出于规划或其他目的，根据表面数据（例如，深度相机信息）来估计合成CT。除了表面数据之外，该估计还使用参数化（parameterization），诸如界标和/或分割信息。在训练和/或应用中，参数化可以用于校正所预测的CT体积（volume）。CT体积可以作为患者的子部分被预测，诸如针对与其他系统、器官或组织类型分离地扫描一个系统、器官或组织类型来估计CT体积。
在第一方面中，提供了一种用于在医学成像系统中根据表面数据进行计算机断层扫描（CT）预测的方法。传感器捕获患者的外表面。确定分割和/或界标位置。图像处理器响应于表面数据以及分割和/或界标位置到第一经机器学习的生成网络的输入来通过第一经机器学习的生成网络生成患者的第一三维（3D）CT表示。表面数据来自针对所述外表面的传感器的输出。显示设备根据第一3D CT表示显示图像。
在一些实施例中，深度传感器捕获表面数据。在其他实施例中，相机基于光学测量来捕获表面数据在哪里。
各种参数或参数的组合可以用于辅助对3D CT表示的估计。在一个实施例中，使用器官或解剖的分割。响应于表面数据和分割的输入来生成3D CT表示。在另一实施例中，确定分割和界标位置二者。响应于表面数据、分割和界标位置的输入来生成3D CT表示。参数信息可以根据表面数据或根据来自与CT不同的医学成像模态的扫描数据而得出。
在一个实施例中，使用堆叠网络（stacked network）。第二经机器学习的生成网络响应于表面数据和患者的第二3D CT表示的输入而输出分割图和/或界标位置图。第一经机器学习的生成网络响应于作为分割的分割图和/或作为界标位置的界标位置图的输入以及表面数据的输入来生成第一3D CT表示。第二3D CT表示是从第三经机器学习的生成网络的输出或从第一经机器学习的生成网络的输出形成的。第一和第二经机器学习的生成网络可以迭代地使用。
尽管在所表示的体积中存在其他解剖，但是可以仅针对感兴趣的解剖生成3D CT表示。第一3D CT表示被生成为没有第二内部解剖的第一内部解剖的表示。可以使用多通道输出，诸如生成没有第一内部解剖的第二内部解剖的第二3D CT表示。
第一3D CT表示被生成为体素或网格表示。
在另一实施例中，基于第一3D CT表示来配置医学扫描器。医学扫描器按照基于第一3D CT表示配置的那样对患者进行成像。
在第二方面中，提供了一种用于在医学成像系统中根据表面数据进行计算机断层扫描（CT）预测的方法。传感器捕获患者的外表面。图像处理器响应于表面数据到第一和第二经机器学习的网络的输入而通过第一和第二经机器学习的网络生成第一三维（3D）CT表示。表面数据来自针对所述外表面的传感器的输出。第一经机器学习的网络输出空间分割，并且第二经机器学习的网络基于表面数据和空间分割来输出第一3D CT表示。显示设备根据第一3D CT表示显示图像。
在一个实施例中，第一经机器学习的网络被配置成输出空间分割和界标图，并且第二经机器学习的网络被配置成基于表面数据、空间分割和界标图来输出。在另一实施例中，从一个或多个输出通道中的一个生成第一3D CT表示，其中每个输出通道表示仅肌肉、仅骨骼、仅血管、仅器官、和仅组织类型中的不同者。
在第三方面中，提供了一种用于计算机断层扫描（CT）预测的医学成像系统。深度传感器被配置成测量到患者的深度。图像处理器被配置成将经机器学习的模型应用于来自所述深度的深度信息。对经机器学习的模型进行训练以生成第一类型的解剖而不是第二类型的解剖的CT体积，尽管第二类型的解剖在所述CT体积内。显示器被配置成根据所述CT体积显示图像。
在另一实施例中，磁共振或超声扫描器被配置成扫描患者。经机器学习的模型响应于深度信息以及来自患者扫描的分割和/或界标位置的输入而生成CT体积。
在另一实施例中，经机器学习的模型包括多个输出通道，该多个输出通道包括用于第一类型的解剖的第一通道和用于第二类型的解剖的第二通道。
上述方面中的任何一个或多个可以单独或组合使用。从要结合附图阅读的对优选实施例的以下详细描述，这些和其他方面、特征和优点将变得显而易见。本发明由所附权利要求来限定，并且本节中的任何内容均不应视为对那些权利要求的限制。下面结合优选实施例讨论本发明的其他方面和优点，并且稍后可以独立地或组合地要求保护它们。
附图说明
组件和附图不一定按比例绘制，而是将重点放在例示实施例的原理上。此外，在附图中，贯穿不同视图，相似的附图标记表示对应的部分。
图1是用于在医学成像系统中根据表面数据进行3D CT表示预测的方法的一个实施例的流程图；
图2示出了用于3D CT表示的预测的示例2通道表面数据；
图3是GAN的一个实施例的框图；
图4示出了两个生成器的示例堆叠；
图5示出了包括参数化作为3D CT预测的一部分的堆叠网络的示例实施例；以及
图6是用于3D CT表示预测的系统的一个实施例的框图。
具体实施方式
根据表面数据估计人体的内部解剖。根据患者表面数据预测3D CT表示。例如，根据表面几何形状或深度相机测量值来生成人的体积的合成CT表示。使用深度机器学习算法根据患者的身体表面上的几何测量值来预测患者内部解剖的3D CT表示。合成CT用作真实内部解剖的近似。
仅使用表面数据可能会导致错误。使用参数化来减少错误。根据表面几何形状生成合成的参数化CT。合成CT与一组参数一起被预测，可以进一步对其进行更新以校正原始预测。所生成的CT表示可以具有一种或多种类型的参数以供更新，包括身体标记（界标）和/或分割。使用深度学习来学习参数化。可以使用多种参数化，诸如标记和/或分割。可以同时使用多种类型的参数。可以从来自外部获取的应用信息来学习针对参数中的一个或多个的位置或图，和/或可以在来自外部获取的应用信息中使用针对参数中的一个或多个的位置或图，诸如根据先前的磁共振或超声扫描定位界标或分割。
根据表面几何形状预测的人体内部解剖的参数化3D表示允许各种选项。可以输出内部解剖的不同表示（例如，基于肌肉的、基于骨骼的、基于血管的…），从而创建具有一种类型的解剖而非另一种类型的解剖的CT体积。多通道输出可以用于以一致的空间分布同时单独地预测不同类型的解剖的3D CT表示。3D CT表示可以是基于体素或基于网格的表示。由于使用了经机器学习的模型，因此3D CT表示的生成可以快速执行并且是可扩缩的。
利用所提出的框架，可以通过改变表面几何形状而容易地生成合成CT体积。通过扰动参数，可以根据相同的表面几何形状生成另外的合成3D CT表示。结果，藉由通过参数调整产生许多3D CT表示，克服了医学领域的训练数据障碍。由于空间参数扰动3D CT表示，因此内部解剖的预测表示是参数化图像。可以使用分布在身体上的参数来操纵所预测的3DCT表示。例如，如果预测的肺部看起来较短，则可以操纵肺部区域附近的身体标记或分割来调整其位置、大小或形状，并且将以物理一致的方式更新3D CT表示。
在一个实施例中，使用收敛训练流水线来生成参数化图像。当训练框架学习预测CT体积和对应的空间参数（例如标记或分割）时，框架还需要确保这些参数的扰动处在“现实变形”的流形上（例如，在生成合成CT时的现实的身体解剖）。由于学习这样的隐式高度相关的输出空间是困难的，因此训练一对网络，一个网络被训练以根据CT体积内容预测参数，并且另一网络被训练以根据参数预测CT体积内容。在参数被更新时，在循环中迭代地应用网络，直到收敛为止。为了在测试阶段期间促进这样的收敛行为，共同学习这两个网络。显式学习所预测的标记与所生成的图像之间的双射。
所预测的3D CT表示可以对于教学目的是有用的，诸如生成3D CT表示作为要在机器训练中使用的样本，以避免过少的样本用于训练的数据障碍。所预测的3D CT表示可以用于扫描规划。例如，与仅使用身体标记相比，所生成的3D CT表示可以用于更精确的定位。此外，与仅患者外部的身体标记点相反，放射技师可以更容易地使用由使用物理上一致的所生成的3D CT表示的系统所建议的定位。3D CT表示可以用于异常检测、患者定位、介入程序、根据局部CT完成完整CT、或其他用途。
图1是用于在医学成像系统中根据表面数据进行计算机断层扫描（CT）预测的方法的一个实施例的流程图。使用经机器学习的模型根据表示患者外部的数据生成3D CT。使用诸如通过分割和/或界标位置之类的参数化来辅助生成3D CT。3D CT在体积上表示患者的内部器官。
该方法以所示顺序（例如，从上到下或按数字顺序）执行，但是可以使用其他顺序。可以提供另外的、不同的或更少的动作。例如，不提供动作16和/或18。在另一示例中，不提供动作14，因为3D CT表示是用于机器训练的许多表示之一，或者3D CT表示用于配置成像而不被操作者查看。
该方法由图6的医学成像系统或不同的医学系统来实施。例如，深度相机执行动作10。诸如用于医学成像系统的计算机执行动作12和/或16。显示器执行动作14。医学扫描器执行动作18，并在动作16中对其进行控制。
在动作10中，传感器捕获患者的外表面。传感器是深度传感器，诸如2.5D或RGBD传感器（例如微软Kinect 2或ASUS Xtion Pro）。深度传感器可以是捕获投射到患者上的网格的一个或多个相机。多个相机可以在不传输结构化的光的情况下根据多个图像重建外表面。可以使用其他光学或非电离传感器。
传感器对准患者。传感器从一个或多个视角捕获患者的外表面。可以捕获外表面的任何部分，诸如整个患者从头到脚、在一侧从手到手、或仅躯干。
外表面是患者的皮肤。在其他实施例中，外表面包括衣服。传感器可以使用穿过衣服并检测皮肤表面的频率。
外表面被捕获为从传感器到患者上不同位置的深度、患者外部的图像或照片、或两者。传感器输出感测到的图像和/或深度。替换地，对传感器测量值进行处理以确定外表面信息，诸如利用图像处理根据来自不同角度的相机图像立体地确定外表面。
来自传感器的外表面的测量值是患者的表面数据。在一个实施例中，使用传感器的测量值或其他输出来确定表面数据。对输出进行处理以确定表面数据。例如，统计形状模型拟合至深度。统计形状模型是人或人的一部分的外部的平均值或其他统计表示的网格或其他表示。统计形状模型包括改动的概率或其他约束，使得拟合基于统计而维持形状。然后根据拟合统计形状模型确定表面数据，诸如从点到模型的深度。
表面数据可以包括患者的不同表示，诸如来自拟合模型的深度和外表面的投影（例如，相机图像）或厚度。厚度可以是给定深度与模型的最大和最小深度之差，或是距传感器的深度。例如，在给定患者的3D表面网格的情况下，生成数据的2D投影作为皮肤表面图像和深度图像。作为另一示例，用2通道2D图像表示3D人表面网格数据——第一通道存储如从正面观察到的身体表面的深度，并且第二通道存储通过测量如从正面观察到的最近点与最远点之间的距离而计算出的厚度。可以使用其他表面数据。
根据表面数据预测3D CT表示。3D CT表示示出了内部患者解剖。3D CT表示可以仅根据表面数据来预测，或者可以根据表面数据和其他数据（诸如患者的身高、体重、或体重指数）来预测。
在动作12中，图像处理器生成3D CT表示。将表面数据与其他数据一起或不与其他数据一起输入到经机器学习的网络中，并输出3D CT表示的标量值。例如，外表面的投影图像和深度图像作为两个通道输入到经机器学习的网络，经机器学习的网络响应于该输入而输出合成3D CT表示。图2示出了输入表面深度图像24和表面投影图像22以输出3D CT表示26的示例。图像处理器将经机器学习的网络应用于3D CT表示预测。网络针对其进行训练以供使用的任何输入被用作输入特征向量。
经机器学习的网络是用于根据输入空间分布生成空间分布的生成网络。例如，生成器是被训练以将表面数据转换为3D CT表示的图像到图像网络，诸如生成对抗网络。将网络的经训练的卷积单元、权重、链接和/或其他特性应用于表面数据和/或导出的特征值，以通过多个层提取对应的特征并输出3D CT表示。从图像提取输入图像的特征（例如，表面数据）。可以使用架构从那些提取的特征提取其他更抽象的特征。取决于单元或层的数量和/或布置，从输入提取其他特征。
为了训练经机器学习的网络，定义了机器学习网络布置。定义是通过学习的配置或编程。网络的层数或单元数、学习类型和其他特性由编程者或用户控制。在其他实施例中，机器在学习期间定义和选择一个或多个方面（例如，节点的数量、层或单元的数量、或学习的类型）。
可以使用用于从输入3D空间分布输出3D空间分布的任何机器训练架构。例如，使用U-Net。使用卷积到转置卷积网络。图3示出了作为GAN的示例全卷积网络。GAN包括生成器30，诸如图像到图像或U-Net，以及鉴别器36。生成器30包括编码器（卷积）网络32和解码器（转置卷积）网络34，其形成“U”形，具有从编码器32到解码器34的在最大的压缩或抽象级的传递特征之间的连接。除了瓶颈处，一个或多个跳过连接38可以用于在编码器32和解码器36之间传递特征的值。可以使用任何现在已知或以后开发的U-Net架构。可以使用其他全卷积网络。
对于应用，在没有鉴别器36的情况下使用GAN的生成器30。在没有鉴别器36的情况下，由生成器30将GAN应用于患者表面数据。鉴别器36用于训练。在替换实施例中，在没有鉴别器的情况下（例如，非GAN图像到图像网络或U-Net）训练生成器30。
GAN是一种深度架构，其中可以包括卷积神经网络（CNN）或深度置信网（DBN）。可以使用其他深度网络。网络被定义为多个顺序的特征单元或层。顺序用于指示从一层输入到接下来的层的输出特征值的一般流程。来自该接下来的层的信息被馈送到接下来的层，依此类推，直到最终输出为止。层可以仅前馈或可以是双向的，包括到前一层的一些反馈。每个层或单元的节点可以与先前或随后的层或单元的节点的全部或仅子集连接。
并非是对特征进行预编程并尝试将特征关联至属性，而是对深度架构进行定义以基于经过或不经过预处理的输入图像来学习处于不同的抽象级的特征。学习特征以重建较低级特征（即，处于更抽象或压缩级的特征）。
在一个实施例中，将3D CT表示预测视为图像到图像的转换问题。从2通道图像（例如，皮肤表面和深度到皮肤图像）开始，回归相同大小的单通道图像（3D CT表示）。这种方法提供了一个网络，该网络能够捕获输入中的特征以检索输出，从某种意义上说，输出包括输入的“更完整”版本。可以使用全卷积网络（FCN），诸如带有编码器32和解码器34的生成器30。编码器32对回归目标所需的输入的有用特征进行“编码”，而解码器34尝试使用这些特征来创建目标图像。
在另一实施例中，多个生成器被堆叠，诸如堆叠多个图像到图像网络、编码器-解码器、U-Net或GAN。例如，生成器40、42如图4所示顺序地堆叠。来自初始生成器40的输出向后面的生成器42提供输入，生成器42输出3D CT表示。初始生成器40接收表面数据和/或先前的3D CT表示作为输入。
堆叠生成器30帮助捕获用于3D CT表示的更多细节。可以用更多的细节对患者的形状进行回归，诸如肺部周围或肺部的细节。初始生成器40对3D CT表示中反映的一些方面进行参数化，诸如分割、界标、解剖、内部布置、或提供除外部表面或皮肤以外的空间关系的其他表征。该其他信息可以在3D CT表示预测中使用。并非是在这两个生成器40、42中都聚焦于3D CT表示回归，相反，堆叠网络使用至少一个生成器40来预测一个或多个内部身体标记、分割或其他空间关系。可以检测或预测外部身体标记。输入表面数据以及所预测的内部参数化由另一生成器42用来预测3D CT表示。可以调整所预测的参数，这将自动更新3D CT表示。
图5示出了使用参数化的堆叠的经机器学习的网络（例如，生成网络）的示例。图5示出了用于参数化框架中的应用的训练流水线和/或生成器。
示出了三个生成器52、54、56，诸如U-Net或编码器-解码器，但是可以使用另外的、不同的或更少的生成器。例如，不提供生成器52。表面数据50用作到所有三个生成器52、54、57的输入。初始网络或生成器52生成3D CT表示的初始化，诸如全CT扫描。生成器54是被训练以进行参数化（诸如生成分割（例如，用于3D的器官、组织、解剖或内部系统的体素标记或表面网格）、界标（例如，位于3D中的一个或多个解剖参考点）、或另一参数化）的参数化网络。生成器54接收3D CT表示53或57以及表面数据50。响应于输入，生成器54输出内部解剖的一个或多个位置的表示，诸如分割、界标或另一参数化。内部解剖表示在3D空间中，从而给出有关患者内部结构的信息。生成器56接收参数化55和表面数据50。作为响应，生成器56输出当前的3D CT表示57。生成器56是用于预测3D CT表示（例如，表示X射线衰减的体素或网格、霍恩斯菲尔德单位的度量、或患者的体积中的组织密度）的有条件生成网络。
3D CT表示的生成可以是迭代的。参数化生成器54使用的初始3D CT表示53来自生成器52。后续迭代使用生成器56的输出3D CT表示57作为到参数化生成器54的输入。在给定的迭代次数或达到另一停止标准（例如，收敛度量）之后，使用由生成器56输出的最终3D CT表示57。在其他实施例中，由生成器56利用模板或默认参数化55生成的模板或默认3D CT表示、噪声、或3D CT表示用作初始3D CT表示，来代替来自生成器52的输出。
在应用中，图像处理器使用两个或更多个经机器学习的网络（例如，生成器52、54、56）来生成3D CT表示。响应于表面数据到一个或多个经机器学习的网络的输入而生成3DCT表示。经机器学习的网络中的一个或多个可以在不输入表面数据的情况下运行。
使用堆叠的经机器学习的网络、部分地基于动作13的参数化来在动作12中生成3DCT表示。图像处理器基于表面数据确定内部空间分布。例如，确定分割和/或界标位置。可以确定针对一个或多个解剖对象的分割和/或针对一个或多个对应点或区域的一个或多个界标。
生成器54将参数化输出为诸如概率或热图之类的图。响应于表面数据50和3D CT表示53、57的输入，为患者估计分割图和/或界标位置图。生成器54被训练以基于表面数据和3D CT表示的估计来预测参数化。
在一个实施例中，参数预测网络（即，生成器54）将表面图像50以及所预测的CT体积53、57取为输入，并预测所有参数的位置。该网络是一种类似于U-Net的架构，其被训练以通过最小化L2损失或其他损失来从3通道输入图像（2个表面数据通道，1个CT体积通道）回归为N通道热图体积。N对应于界标、分割和/或参数化的数量，诸如与17个在解剖上有意义的界标相对应的热图。热图是任何给定体素为界标的可能性的空间分布。对于热图，每个输出通道都与给定的地面真值进行比较，地面真值包括以给定的目标位置为中心的高斯蒙版（例如，内核半径=5，σ=1）。可以使用其他半径和标准差。可以使用除热图以外的其他图像或空间分布，诸如为每个界标、分割或其他参数化提供二元标记。
在一个实施例中，不使用生成器54。替代地，从扫描来提供参数化（例如，分割和/或（一个或多个）界标位置）。可以使用非CT成像模态。例如，执行磁共振或超声扫描。应用图像处理以根据非CT扫描标识患者的空间信息（例如，分割或界标）。可以使用CT成像。例如，使用患者的先前的CT扫描来定位分段和/或界标。可以根据这些其他来源（例如，先前的患者扫描）来标识分割和/或界标中的全部或仅一些。至少部分地从患者的完整或部分扫描提取参数，而不是根据表面数据估计参数。表面数据可以用于估计任何缺失的参数化的位置。
在动作12中，图像处理器响应于表面数据50以及分割和/或界标位置55到经机器学习的生成网络的输入，通过经机器学习的生成网络（例如，生成器56）来生成患者的3D CT表示。参数55被输入到有条件生成网络（CGN），其生成3D CT表示。然后，新的3D CT表示57可以返回到迭代流水线中的参数神经网络（PNN或生成器54）。
在一个实施例中，有条件生成网络是有条件GAN架构。在一个实施例中，使用在皮肤表面上调节的Wasserstein GAN架构。具有U-Net架构的生成器将表面图像和（一个或多个）参数热图取为输入，并输出合成的3D CT表示。为了稳定训练，使用具有梯度罚分的Wasserstein损失。可以使用具有或不具有梯度罚分的其他损失。鉴定器或鉴别器将表面图像和对应的3D CT表示取为输入。替换地，鉴定器或鉴别器接收表面图像、参数图（参数空间）和3D CT表示作为输入，以在它们之间隐式地强加强相关性。
生成器56被训练以接收分割、（一个或多个）界标位置和/或其他参数化55作为输入。可以使用表示内部结构或解剖的空间分布的热图的任何组合。还输入表面数据50以估计患者的3D CT表示。可以在没有对患者的任何扫描或没有对患者的另外的扫描的情况下提供估计。
3D CT表示被输出为体素或网格表示。对于体素，针对分布在三个维度上的体素输出CT衰减或组织密度的估计。基于体素的表示允许3D空间中的浮点表示。对于网格，估计内部对象和/或皮肤的一个或多个3D表面。输出三角形或其他网格（例如，通过边连接的节点）。每个3D体积，无论是表示表面数据还是器官，都可以用不同的方式表示。网格表示允许对任何体积的高效紧凑的表示，连同一组高维参数，从而对形状表示给予最佳控制。
可以生成一个以上的输出通道或对应的3D CT表示。由于3D CT表示是合成的，因此生成器56可以被训练以生成患者体积的不同方面或子部分。例如，3D CT表示可以针对一种类型的解剖而不是另一种类型进行估计。作为另一示例，可以生成不同的3D CT表示，其中每个都表示不同的解剖或组织类型。由于使用相同的生成器56在不同的通道上输出，因此所生成的3D CT表示更有可能在彼此之间或相对于彼此是一致的。不同的解剖可以是仅肌肉、仅骨骼、仅血管、仅器官、和仅组织类型中的不同者。给定的3D CT表示可以表示一个或多个不同的组织、解剖、对象或系统，而不是一个或多个其他的组织、解剖、对象或系统。在一个实施例中，输出每个器官的多通道3D体积。每个通道表示对应器官的蒙版或CT值。可以使用每个器官的霍恩斯菲尔德单位（诸如X射线衰减或组织密度）值来重建整个CT。在另一实施例中，输出每个解剖系统的多通道3D体积。每个通道表示解剖系统，诸如肌肉、骨骼、呼吸、血管、心脏、消化和/或另一系统。替换地，3D CT表示是完整表示（即，一个通道输出患者的CT估计）。
对于训练，使用训练数据的许多样本（例如，表面数据、地面真值参数化（例如，分割或界标）和地面真值3D CT表示）来学习根据输入表面数据输出3D CT表示。经机器学习的模型被训练以学习表面数据和3D CT表示之间的对应关系。
生成器40、42、52、54、56中的一个或多个可以被预训练。例如，用于参数化的网络（即，生成器54）可以是经预训练的空间关系回归器。不随着对用于预测3D CT表示的生成器56进行训练而更新用于参数化的网络的权重。在训练期间，地面真值参数化（例如，分割和/或界标位置）可以用于训练生成器56进行3D CT表示，而不是用于由网络或生成器54输出的参数化。替换地，端对端地、或在同一训练期间训练这两个网络54、56，和/或在训练网络56时使用网络54的界标输出。对于GAN，可以用单独的鉴别器来训练每个生成器40、42，或者使用一个鉴别器用于生成器的组合（即，GAN的组合）。
训练时可以使用任何批次大小。在一个实施例中，批次大小为32个示例。在另一实施例中，批次大小是一个示例。较小的批次大小可能导致较高的损失和均方差。
为了训练任何网络，可以使用各种优化器，诸如Adadelta、SGD、RMSprop或Adam。网络的权重是随机初始化的，但是可以使用另一初始化。执行端对端训练，但是可以设置一个或多个特征。使用批次标准化。不使用丢弃（dropout）和数据增强，但是可以使用（例如，使用批次标准化和丢弃）。在优化期间，学习不同的区分特征。
优化器将误差或损失最小化，诸如均方差（MSE）、Huber损失、L1损失或L2损失。Huber损失对数据中的异常值（在训练集中由形状的大变化表示）可能不太敏感。使用Huber损失有助于捕获更好的上下文。可以更好地回归患者的形状。在另一实施例中，使用L1损失来更好地定义在所生成的3D CT表示中表示的肺部或其他器官。使用具有L1损失的堆叠U型网，患者的肺部或其他器官的形状和细节可能比针对Huber或L2损失更好。
按顺序、同时和/或端对端地对图5的堆叠流水线进行训练。在一个实施例中，来自CGN（即，生成器56）的损失被反向传播到PNN（即，生成器54），并且来自PNN的损失被反向传播到CGN。结果，这两个模型都收敛到一致状态。可以使用其他训练方法。在一个实施例中，使用可用的地面真值数据单独地对参数化和3D CT表示网络54、56进行预训练。随后端对端地对网络54、56进行精炼，以最小化组合损失，其被定义为L=LPNN+LCGN，其中LPNN是针对参数化的所预测的与地面真值热图之间的均方差（MSE），并且LCGN是L1损失和所预测的与地面真值CT体积之间的可选地任何另外的对抗性损失的组合。
为了预训练参数化网络54（例如，分割或界标预测），Adam或其他优化器最小化MSE损失。初始学习率为10-3。在预训练期间，将带有身体表面图像（即表面数据）的地面真值3DCT表示用作输入。在收敛训练过程期间，输入被替换为所预测的3D CT表示。这在最初会使参数预测网络的性能变差，但在几代收敛训练后网络会恢复。
为了预训练3D CT表示网络56（即，CGN GAN），使用具有10-3的初始学习率的Adam或其他优化器来输入表面图像和地面真值参数图。在预训练之后，使用RMSProp或具有10-5的低学习率的其他优化器。Wasserstein GAN（WGAN）的梯度罚分变体可以利用权重削减而优于原始WGAN。鉴定器的架构类似于生成器网络的编码器区段。在WGAN的情况下，使用更复杂的鉴定器可以帮助训练更快地收敛。在收敛训练期间，使用所预测的界标作为输入来迭代地更新网络。
为了通过迭代反馈进行收敛训练，连续迭代地应用这两个网络，直到这两个网络都在测试阶段期间达到稳态为止。这隐含地要求网络在训练阶段期间具有较高的收敛可能性。一个稳定的解决方案在于参数和合成CT体积二者彼此完全一致，这意味着双射。一个网络被冻结，同时使用其自身的损失以及从另一网络反向传播的损失来更新另一网络的权重。因此，不仅网络从地面真值获得反馈，而且网络还获得有关它们如何相互帮助的反馈（例如，良好的参数给出良好的3D CT表示，并且反之亦然）。由有条件图像生成（CGN）和参数神经网络（PNN）在每次迭代处优化的损失由下式给出：LCGN = Ladv(Vgt, Vi syn) + L2(PPN(Visyn, S), Pgt)，以及LPNN = L2(Pi, Pgt) + L1(Vgt, CGN(Pi, S))，其中，CGN(.)和PNN(.)是以函数形式描绘的深度网络，Vgt和Pgt分别是地面真值CT体积和参数热图，并且Vi syn和Pi是在迭代i时的预测体积和参数热图。训练网络以促进收敛的迭代方法是通过学习配合而不是竞争。与GAN训练类似，存在训练可能会变得不稳定并发散的可能性。用比例对损失进行加权以避免发散。虽然达到收敛所需的代数取决于两个网络的输出的关联紧密程度，但是50代可以足够了。可以使用其他代数。CT或界标位置无显著（诸如阈值量的）改变意味着或指示收敛。
为了验证收敛训练，从测试集选择随机数据样本，并监视跨迭代的参数移位。在没有收敛训练的情况下，参数可能会跨迭代而改变。
利用图5中的堆叠流水线，用户或图像处理可以移动参数位置中的一个或多个。诸如通过手动录入来接收用户输入或处理器输入以使用用户界面来调整界标位置或分割。结果，该通道的参数映射被更改。在输入到3D CT表示生成器56时，3D CT表示生成器56基于更改后的参数图输出3D CT表示。为了更新3D CT表示，其他参数可以以受约束的方式移动。例如，肺部底部不能低于肾脏，因为这是物理上不可能的设定。通过在堆叠流水线中重复使用来自生成器56的所预测的3D CT表示，网络54和56确保参数和3D CT表示是一致的。如果参数位置被更新，则藉由通过参数网络54循环所得到的3D CT表示并由3D CT表示网络56再次基于输出参数图来预测3D CT表示，来适当地更新其余参数（如果需要的话）。3D CT表示确保物理正确性。
图5的堆叠流水线提供了通过一组空间分布标记或分割而参数化的体积（例如，3DCT表示）。可以在尺寸、形状和/或位置方面操纵参数中的一个或多个，同时仍然提供现实的3D CT表示。空间参数的操纵使用学习双射映射。训练参数神经网络（PNN）（即网络54）以根据体积内容预测参数，并且训练有条件生成网络（CGN）（即网络56）以在给定参数化的情况下预测CT体积内容。在初始预测之后，迭代地应用网络54、56（即，将当前输出用作重复循环中的输入），直到收敛为止。尽管参数化的体积可能是根据噪声生成的，但是使用如自然应用于根据3D身体表面数据生成CT体积的任务的有条件生成。
再次参考图1，显示设备在动作14中显示3D CT表示。在生成3D CT表示的若干迭代的情况下，显示给定数量的迭代和/或收敛之后的3D CT表示。可以显示其他预测的3D CT表示。
显示是视觉输出。图像处理器生成图像。使用3D CT表示来生成图像，图像显示在显示器上。图像可以输出到显示器、输出为患者病历、和/或输出到报告。
使用3D CT表示来形成图像。根据3D CT表示的标量值或强度生成图像。标量值映射到显示值，诸如RGB值。生成3D CT表示的灰度或彩色图像。在其他实施例中，将3D CT表示预测为显示值。由于3D CT表示是体积，因此图像是体积中的平面区域的2D图像和/或来自该体积的三维渲染。可以使用任何3D CT成像。3D CT表示的图像示出了患者形状以及一个或多个器官的位置。可以突出显示一个或多个参数（例如，界标或分割）。
3D CT表示可以由用户用于诊断或其他目的。例如，3D CT表示用于定位患者，诸如沿纵轴移动患者，以使给定的界标或器官相对于医学扫描器居中。
在动作16中，图像处理器基于3D CT表示来配置医学扫描器。医学扫描器可以自我配置。可以使用界标、分割或其他参数化，或者根据3D CT表示检测器官位置。替换地，用户通过用一个或多个控件录入来基于3D CT表示配置医学扫描器。
某些内部解剖结构的预测可以辅助规划医学扫描。3D CT表示可以用于针对由任何模态进行的扫描进行规划，所述模态诸如CT、MR、荧光镜检查或超声。对于CT扫描，取决于需要扫描的器官以及可以预测附近结构的准确程度，可以使用3D CT表示确定扫描范围以获得3D CT表示或完整CT扫描。在3D CT表示中反映的内部解剖结构的位置可以辅助针对MR扫描的线圈放置。对于超声扫描，3D CT表示可以通过提供各种器官的近似位置来辅助探针引导。对于使用dyna-CT扫描的荧光镜检查，3D CT表示对于定位患者和/或扫描器可能是有用的。
由于辐射暴露被认为是有害的，因此通常以有限的视场获取X射线图像，从而仅覆盖某一身体区域（例如，胸腔或腹腔）。使用参数图像，可以重建或预测全身的3D CT，使得所预测的3D CT表示与来自CT扫描的局部但真实的CT数据一致。重建的3D CT表示可以用于后续或将来的医学扫描中的获取规划。使用重建的3D CT表示，可以更精确地指定扫描区域，从而潜在地减少辐射暴露。
为了重建完整的3D CT，根据表面数据生成患者的参数化体积。所预测的3D CT表示可能并不总是对应于真实的内部解剖。使用参数位置，可以调整参数位置，直到合成3DCT表示与它们所重叠的真实表示匹配为止。一旦调整了参数，就生成完整的3D CT表示以及所有参数。
所预测的3D CT表示可以用于解剖异常检测。所预测的3D CT表示生成从健康患者学习到的健康解剖的表示。可以将患者的真实或实际CT与所预测的3D CT表示进行比较。通过量化真实与预测之间的差异，可以检测到任何解剖异常。例如，通过减法来突出显示缺失的肺部或添加的植入物。尽管解剖异常更易于标识，但可以使用已提出的具有更高分辨率成像的方法来针对肺部结节或其他病理状况建议候选者。
由于隐私和健康安全问题，医学成像数据很难获得，这为数据驱动的分析法（诸如深度学习）产生了很大的障碍。可以采用3D CT表示预测来生成现实的训练数据。使用在空间上重新定位参数并生成对应的3D CT表示的能力来创建各式各样的采样以供训练。参数化的3D CT表示提供了一种生成医学图像训练数据的方法。空间参数化提供了受控的扰动，诸如生成具有某些尺寸的肺部的数据变化。对于诸如标记检测之类的任务，由于图像流形是平滑的，因此可以通过在一个图像中注释标记并在其沿图像流形被扰动时在图像域中对其进行跟踪来生成训练数据（用于增强）以及注释。
在动作18中，经配置的医学扫描器扫描患者。对患者进行成像。基于医学扫描器的配置执行成像。扫描范围、焦点、视场、强度、扫描模式、滤波、图像处理和/或其他成像参数均基于3D CT表示，因此扫描基于3D CT表示。从扫描得到的图像更有可能示出感兴趣区。来自扫描的电离辐射可以基于使用3D CT表示的配置而受到限制。
图6示出了用于3D CT表示预测的医学成像系统。医学成像系统实施图1的方法。该系统使用图4或图5的堆叠的经机器学习的模型。可以使用根据表面数据提供参数化估计和3D CT表示的其他堆叠模型。
医学成像系统包括显示器60、存储器64和图像处理器62。显示器60、图像处理器62和存储器64可以是医学扫描器66、计算机、服务器、工作站或用于对医学成像信息进行图像处理的其他系统的部分。没有医学扫描器66的工作站或计算机可以用作医学成像系统。医学成像系统还包括用于感测患者的外表面的传感器68。
可以提供另外的、不同的或更少的组件。例如，包括计算机网络以用于本地捕获的表面数据的远程3D CT表示生成或用于根据远程捕获的表面数据的本地3D CT表示生成。网络作为工作站或本地设备上的独立应用而被应用，或者作为部署在网络（云）架构上的服务而被应用。作为另一示例，提供了用户输入设备（例如，键盘、按钮、滑块、转盘、轨迹球、鼠标或其他设备），以用于用户更改或放置一个或多个标记（例如，界标）。
传感器68是深度传感器。可以使用LIDAR、2.5D、RGBD、立体光学传感器或其他深度传感器。示出了一个传感器68，但是可以使用多个传感器。可以提供投光器。传感器68可以包括用于根据图像进行深度测量的单独处理器，或者图像处理器62根据由传感器68捕获的图像来确定深度测量。
传感器68对准患者69。传感器68可以是医学扫描器66的一部分或连接到医学扫描器66，或者与医学扫描器66分离。
传感器68被配置成测量到患者的深度。深度是在患者上的各个位置处从传感器68或其他位置到患者的距离。可以对患者使用任何样本模式。传感器68输出深度测量和/或表面图像。图像处理器62或另一处理器可以将模型拟合到传感器输出以提供表面数据。替换地，传感器68输出表面数据作为测量值。
在一个实施例中，参数化（例如，分割或界标）估计是通过应用经机器学习的模型来执行的。在另一实施例中，医学扫描器67提供参数化。例如，磁共振、超声、CT、或另一医学扫描器扫描患者。对扫描数据进行图像处理以标识空间关系，诸如器官的分割和/或界标的位置。
图像处理器62是控制处理器、通用处理器、数字信号处理器、3D数据处理器、图形处理单元、专用集成电路、现场可编程门阵列、人工智能处理器、数字电路、模拟电路、其组合、或用于将经机器学习的模型应用于深度信息的其他的现在已知或以后开发的设备。图像处理器62是单个设备、多个设备或网络。对于一个以上的设备，可以使用并行或顺序的处理划分。组成图像处理器62的不同设备可以执行不同的功能，诸如一个应用不同的生成器而另一个配置医学扫描器66。在一个实施例中，图像处理器62是医学诊断成像系统的控制处理器或其他处理器，诸如医学扫描器66。图像处理器62根据所存储的指令、硬件和/或固件进行操作以执行本文描述的各种动作。
图像处理器62被配置成训练机器学习架构。基于用户提供的或其他来源的网络架构和训练数据，图像处理器62学习特征以供编码器、解码器、鉴别器或其他网络部分训练网络。训练的结果是用于3D CT表示预测的一个或多个经机器学习的模型、还有或者没有用于参数化的经机器学习的模型。
替换地或附加地，图像处理器62被配置成应用一个或多个经机器学习的模型。例如，将生成器应用于来自传感器的表面数据。将经机器学习的生成网络应用于表面信息。基于先前的训练，网络响应于表面数据（例如，来自所测量的深度的深度信息）的应用并响应于参数位置（诸如来自扫描器67或来自经机器学习的模型）的应用而生成3D CT表示。作为另一示例，一个经机器学习的模型可以输出参数概率图（例如，热图），并且另一网络可以基于参数概率图的输入来输出3D CT表示。这两个网络都可以接收患者外部的深度信息作为输入。在一个实施例中，经机器学习的模型响应于深度信息以及分割和/或界标位置的输入而生成CT体积。分割和/或界标位置可以是根据响应于表面数据的输入的另一经机器学习的模型的输出、或者是根据来自患者扫描的图像处理。
在一个实施例中，训练经机器学习的模型以生成第一类型的解剖而不是第二类型的解剖的CT体积，尽管第二类型的解剖在该CT体积内。例如，表示血管或心脏系统，但不包括骨骼。在其他实施例中，提供了不同的通道作为从经机器学习的模型的输出。不同的通道输出针对不同类型的解剖的CT体积，诸如一个通道输出针对心脏表示的CT体积，而另一通道输出针对骨骼表示的CT体积。
图像处理器62被配置成生成图像。使用3D CT表示用于成像，诸如对3D CT体积内的平面进行平面成像、将投影渲染为2D、或从3D到2D图像的体积或表面渲染。可以将诸如用于界标的注释或图形添加到图像。
显示器60是CRT、LCD、投影仪、等离子、打印机、平板电脑、智能电话、或用于根据CT体积（诸如根据3D CT表示渲染的图像体积）显示图像的其他现在已知或以后开发的显示设备。显示器60显示根据深度信息估计的医学图像。
传感器测量值、拟合形状模型、表面数据、网络定义、特征、一个或多个经机器学习的模型、参数图、输出3D CT表示、和/或其他信息存储在非暂时性计算机可读存储器中，诸如存储器64。存储器64是外部存储设备、RAM、ROM、数据库、和/或本地存储器（例如，固态驱动器或硬盘驱动器）。可以针对指令和其他数据使用相同或不同的非暂时性计算机可读介质。可以使用数据库管理系统（DBMS）以及驻留在诸如硬盘、RAM或可移除介质之类的存储器上来实施存储器64。替换地，存储器64在处理器62内部（例如，高速缓存）。
在非暂时性计算机可读存储介质或存储器（诸如高速缓存、缓冲器、RAM、可移除介质、硬盘驱动器或其他计算机可读存储介质（例如，存储器64））上提供用于实施本文讨论的训练或应用过程、方法和/或技术的指令。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或计算机可读存储介质上的一个或多个指令集而执行在附图中示出或本文描述的功能、动作或任务。功能、动作或任务独立于指令集、存储介质、处理器或处理策略的特定类型，并且可以通过单独地或组合地操作的软件、硬件、集成电路、固件、微代码等来执行。
在一个实施例中，指令存储在可移除介质设备上，以供本地或远程系统读取。在其他实施例中，指令存储在远程位置，以通过计算机网络传输。在仍其他实施例中，指令存储在给定的计算机、CPU、GPU或系统内。因为附图中描绘的组成系统组件和方法步骤中的一些可以以软件来实施，因此系统组件（或过程步骤）之间的实际连接可能取决于对本实施例进行编程的方式而会有所不同。
医学扫描器66是医学诊断成像系统，其被配置成扫描患者的体积并根据扫描来生成解剖信息。医学扫描器66是CT、MR、PET、SPECT、X射线或超声扫描器。医学扫描器66可以是与扫描器67相同的扫描器或不同的扫描器。
医学扫描器66被配置成生成解剖信息。该配置使用针对一个或多个参数的设置，诸如X射线源电压、工作台位置和/或移动范围、架台位置和/或移动范围、焦点、视场、扫描密度、检测器阈值、传输序列、图像处理设置、滤波设置、或图像生成设置。基于根据表面数据生成的3D CT表示、而不是由医学扫描器66进行扫描来设置医学扫描器66的一项或多项设置。医学扫描器66使用所述设置对患者69进行成像。在替换实施例中，使用来自医学扫描器66的扫描数据来确定表面数据，诸如通过将包括皮肤网格的统计形状模型拟合到扫描数据。
本文描述的各种改进可以一起使用或分开使用。尽管本文已参照附图描述了本发明的例证性实施例，但是要理解到，本发明不限于那些确切的实施例，并且本领域技术人员可以在其中影响各种其他改变和修改而不脱离本发明的范围或精神。

Claims (20)

1.一种用于在医学成像系统中根据表面数据进行计算机断层扫描（CT）预测的方法，该方法包括：
用传感器捕获患者的外表面；
确定分割和/或界标位置；
由图像处理器响应于表面数据以及分割和/或界标位置到第一经机器学习的生成网络的输入来通过第一经机器学习的生成网络生成患者的第一三维（3D）CT表示，所述表面数据来自针对所述外表面的传感器的输出；以及
由显示设备根据第一3D CT表示显示图像。
2.根据权利要求1所述的方法，其中，捕获包括用传感器进行捕获，所述传感器是深度传感器。
3.根据权利要求1所述的方法，其中，捕获包括用传感器进行捕获，所述传感器是基于光学测量来捕获表面数据在哪里的相机。
4.根据权利要求1所述的方法，其中，确定包括确定分割，并且其中，生成包括响应于表面数据和分割的输入而进行生成。
5.根据权利要求1所述的方法，其中，确定包括根据来自与CT不同的医学成像模态的扫描数据来确定分割和/或界标位置。
6.根据权利要求1所述的方法，其中，确定包括确定分割和界标位置，并且其中，生成包括响应于表面数据、分割以及界标位置的输入而进行生成。
7.根据权利要求1所述的方法，其中，确定包括用第二经机器学习的生成网络来进行确定，第二经机器学习的生成网络响应于表面数据和患者的第二3D CT表示的输入而输出分割图和/或界标位置图，并且其中，生成包括由第一经机器学习的生成网络响应于作为分隔的分割图和/或作为界标位置的界标位置图的输入以及表面数据的输入而进行生成。
8.根据权利要求7所述的方法，还包括根据第三经机器学习的生成网络的输出形成第二3D CT表示。
9.根据权利要求7所述的方法，还包括根据第一经机器学习的生成网络的输出形成第二3D CT表示。
10.根据权利要求9所述的方法，其中，生成包括迭代地使用第一经机器学习的生成网络和第二经机器学习的生成网络。
11.根据权利要求1所述的方法，其中，生成包括将第一3D CT表示生成为没有第二内部解剖的第一内部解剖的表示。
12.根据权利要求11所述的方法，其中，生成还包括生成没有第一内部解剖的第二内部解剖的第二3D CT表示。
13.根据权利要求11所述的方法，其中，生成包括将第一3D CT表示生成为体素或网格表示。
14.根据权利要求1所述的方法，还包括：
基于第一3D CT表示来配置医学扫描器；以及
由医学扫描器按照基于第一3D CT表示配置的那样对患者进行成像。
15.一种用于在医学成像系统中根据表面数据进行计算机断层扫描（CT）预测的方法，该方法包括：
用传感器捕获患者的外表面；
由图像处理器响应于表面数据到第一和第二经机器学习的网络的输入而通过第一和第二经机器学习的网络生成第一三维（3D）CT表示，所述表面数据来自针对所述外表面的传感器的输出，第一经机器学习的网络输出空间分割，并且第二经机器学习的网络基于表面数据和空间分割来输出第一3D CT表示；以及
由显示设备根据第一3D CT表示显示图像。
16.根据权利要求15所述的方法，其中，第一经机器学习的网络被配置成输出空间分割和界标图，并且第二经机器学习的网络被配置成基于表面数据、空间分割和界标图来输出。
17.根据权利要求15所述的方法，其中，生成包括从一个或多个输出通道中的一个生成第一3D CT表示，每个输出通道表示仅肌肉、仅骨骼、仅血管、仅器官、和仅组织类型中的不同者。
18.一种用于计算机断层扫描（CT）预测的医学成像系统，该医学成像系统包括：
深度传感器，其被配置成测量到患者的深度；
图像处理器，其被配置成将经机器学习的模型应用于来自所述深度的深度信息，对经机器学习的模型进行训练以生成第一类型的解剖而不是第二类型的解剖的CT体积，尽管第二类型的解剖在所述CT体积内；以及
显示器，其被配置成根据所述CT体积显示图像。
19.根据权利要求18所述的医学成像系统，还包括：
磁共振或超声扫描器，其被配置成扫描患者，其中，经机器学习的模型响应于深度信息以及来自患者扫描的分割和/或界标位置的输入而生成CT体积。
20.根据权利要求18所述的医学成像系统，其中，经机器学习的模型包括多个输出通道，该多个输出通道包括用于第一类型的解剖的第一通道和用于第二类型的解剖的第二通道。
CN202011070421.3A 2019-10-09 2020-10-09 医学成像中的根据表面数据的合成参数化计算机断层扫描 Pending CN112641457A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/597035 2019-10-09
US16/597,035 US11410374B2 (en) 2019-10-09 2019-10-09 Synthetic parameterized computed tomography from surface data in medical imaging

Publications (1)

Publication Number Publication Date
CN112641457A true CN112641457A (zh) 2021-04-13

Family

ID=72811740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011070421.3A Pending CN112641457A (zh) 2019-10-09 2020-10-09 医学成像中的根据表面数据的合成参数化计算机断层扫描

Country Status (3)

Country Link
US (1) US11410374B2 (zh)
EP (1) EP3804624B1 (zh)
CN (1) CN112641457A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116797612A (zh) * 2023-08-24 2023-09-22 天津医科大学第二医院 基于弱监督深度活动轮廓模型的超声图像分割方法及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021051049A1 (en) * 2019-09-12 2021-03-18 Xie Huidong Few-view ct image reconstruction system
US11348243B2 (en) * 2020-01-24 2022-05-31 GE Precision Healthcare LLC Systems and methods for medical image style transfer using deep neural networks
US11710344B2 (en) * 2020-04-27 2023-07-25 Qualcomm Incorporated Compact encoded heat maps for keypoint detection networks
US20210398280A1 (en) * 2020-06-23 2021-12-23 Vuno Inc. Bone age assessment method for bone image
DE102020213489A1 (de) 2020-10-27 2022-04-28 Siemens Healthcare Gmbh Verfahren und systeme zur vorhersage eines stroms virtueller topogramme
JP2023153576A (ja) * 2022-04-05 2023-10-18 学校法人帝京大学 血管区分判別システム、血管区分判別方法およびプログラム
KR20240033470A (ko) 2022-09-05 2024-03-12 주식회사 온택트헬스 훈련을 위한 의료 영상을 생성하기 위한 방법 및 장치
KR20240059187A (ko) 2022-10-27 2024-05-07 주식회사 온택트헬스 인공지능 모델을 위한 학습 데이터를 증강하기 위한 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102481457A (zh) * 2009-07-17 2012-05-30 计算机心脏有限公司 基于心脏组织表面轮廓的放射外科手术治疗方案设计
CN108433700A (zh) * 2017-02-16 2018-08-24 西门子保健有限责任公司 从表面数据估计患者内部解剖结构
US20190057515A1 (en) * 2017-08-15 2019-02-21 Siemens Healthcare Gmbh Internal Body Marker Prediction From Surface Data In Medical Imaging
CN109410273A (zh) * 2017-08-15 2019-03-01 西门子保健有限责任公司 根据医学成像中表面数据的定位片预测
US20190214135A1 (en) * 2018-01-11 2019-07-11 Siemens Healthcare Gmbh System for Predicting Computed Tomography Data from Surface Data

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10182771B2 (en) 2017-02-10 2019-01-22 Siemens Healthcare Gmbh Method and system for dose-optimized computed tomography scanning of a target organ
US11445994B2 (en) 2018-01-24 2022-09-20 Siemens Healthcare Gmbh Non-invasive electrophysiology mapping based on affordable electrocardiogram hardware and imaging
US10881353B2 (en) 2019-06-03 2021-01-05 General Electric Company Machine-guided imaging techniques
US10849585B1 (en) 2019-08-14 2020-12-01 Siemens Healthcare Gmbh Anomaly detection using parametrized X-ray images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102481457A (zh) * 2009-07-17 2012-05-30 计算机心脏有限公司 基于心脏组织表面轮廓的放射外科手术治疗方案设计
CN108433700A (zh) * 2017-02-16 2018-08-24 西门子保健有限责任公司 从表面数据估计患者内部解剖结构
US20190057515A1 (en) * 2017-08-15 2019-02-21 Siemens Healthcare Gmbh Internal Body Marker Prediction From Surface Data In Medical Imaging
CN109410273A (zh) * 2017-08-15 2019-03-01 西门子保健有限责任公司 根据医学成像中表面数据的定位片预测
US20190214135A1 (en) * 2018-01-11 2019-07-11 Siemens Healthcare Gmbh System for Predicting Computed Tomography Data from Surface Data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴清江;戴修斌;: "基于卷积神经网络的有限视角CT重建", 电脑知识与技术, no. 35 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116797612A (zh) * 2023-08-24 2023-09-22 天津医科大学第二医院 基于弱监督深度活动轮廓模型的超声图像分割方法及装置
CN116797612B (zh) * 2023-08-24 2024-03-29 天津医科大学第二医院 基于弱监督深度活动轮廓模型的超声图像分割方法及装置

Also Published As

Publication number Publication date
US11410374B2 (en) 2022-08-09
EP3804624A3 (en) 2021-06-23
US20210110594A1 (en) 2021-04-15
EP3804624A2 (en) 2021-04-14
EP3804624B1 (en) 2022-11-23

Similar Documents

Publication Publication Date Title
EP3444776B1 (en) Topogram prediction from surface data in medical imaging
US11410374B2 (en) Synthetic parameterized computed tomography from surface data in medical imaging
US10521927B2 (en) Internal body marker prediction from surface data in medical imaging
US11559221B2 (en) Multi-task progressive networks for patient modeling for medical scans
US10849585B1 (en) Anomaly detection using parametrized X-ray images
US11806189B2 (en) Three-dimensional segmentation from two-dimensional intracardiac echocardiography imaging
CN111557665B (zh) 用于医学成像中的患者定位的根据相机数据的密集身体标记估计
CN110047128B (zh) 从几个x射线放射照片3d重建x射线ct体积和分割掩模的方法和系统
CN109937012B (zh) 为成像系统选择采集参数
CN108433700B (zh) 从表面数据估计患者内部解剖结构
EP3874457B1 (en) Three-dimensional shape reconstruction from a topogram in medical imaging
US20210038198A1 (en) Shape-based generative adversarial network for segmentation in medical imaging
CN114511642A (zh) 用于预测虚拟定位片流的方法和系统
CN113657420A (zh) 身体表示
RU2780966C2 (ru) Выбор параметра получения изображений для системы формирования изображений

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination