CN117017328A - 用于医学成像中的患者定位的根据相机数据的密集身体标记估计 - Google Patents

用于医学成像中的患者定位的根据相机数据的密集身体标记估计 Download PDF

Info

Publication number
CN117017328A
CN117017328A CN202310993014.7A CN202310993014A CN117017328A CN 117017328 A CN117017328 A CN 117017328A CN 202310993014 A CN202310993014 A CN 202310993014A CN 117017328 A CN117017328 A CN 117017328A
Authority
CN
China
Prior art keywords
patient
image
body region
network
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310993014.7A
Other languages
English (en)
Inventor
张耀仁
王江平
V.K.辛赫
萨如汗
A.卡普尔
A.维默
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers AG
Original Assignee
Siemens Healthineers AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthineers AG filed Critical Siemens Healthineers AG
Publication of CN117017328A publication Critical patent/CN117017328A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/70—Means for positioning the patient in relation to the detecting, measuring or recording means
    • A61B5/704—Tables
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A61B6/035—Mechanical aspects of CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/04—Positioning of patients; Tiltable beds or the like
    • A61B6/0492—Positioning of patients; Tiltable beds or the like using markers or indicia for aiding patient positioning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • A61B6/542—Control of apparatus or devices for radiation diagnosis involving control of exposure
    • A61B6/544—Control of apparatus or devices for radiation diagnosis involving control of exposure dependent on patient size
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/58—Testing, adjusting or calibrating apparatus or devices for radiation diagnosis
    • A61B6/582—Calibration
    • A61B6/583—Calibration using calibration phantoms
    • A61B6/584—Calibration using calibration phantoms determining position of components of the apparatus or device using images of the phantom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/037—Emission tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1059—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using cameras imaging the patient
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

机器学习用来训练网络以根据患者的表面图像来估计患者的三维(3D)身体表面和身体区。患者的所估计的3D身体表面用来确定患者的等中心点。所估计的身体区用来生成热图，所述热图表示患者的可见身体区边界和未见的身体区边界。3D身体表面的估计、所确定的患者等中心点以及所估计的身体区边界可帮助规划医学扫描，包括自动患者定位。

Description

用于医学成像中的患者定位的根据相机数据的密集身体标记 估计
技术领域
本教导一般涉及根据相机数据而对患者身体表面的估计，并且更具体地涉及在医学成像期间的患者定位。
背景技术
医学成像技术——包括但不限于计算机断层扫描(CT)、磁共振(MR)、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)数据等等——依赖于恰当的患者定位，其包括标识医学成像器的患者台上的患者的位置和/或针对患者的移动进行校正。在一些情况中，传感器(诸如相机)可以被安装到医学成像设备以在医学成像扫描期间提供患者位置和移动数据。然而，传感器可以用这样的方式被安装到医学成像器，使得传感器提供受限的视场，其限制在医学成像扫描期间对这样的图像的使用和分析。
另外，当前的系统需要操作者执行对可移动的患者台或床的一个或多个调整，以在发起医学成像扫描之前恰当地定位患者。不恰当的定位可导致医学图像中的误差或伪像。涉及操作者调整的手动患者定位过程可以是耗时、昂贵的，并且需要操作者花费时间远离其它任务来执行这样的调整。
发明内容
本发明的范围仅仅由所附权利要求来限定，并且不在任何程度上受本发明内容内的陈述所影响。
根据本教导，描述了一种用于根据从临床环境(例如CT扫描室)中的传感器(例如相机)所捕获的数据来估计患者的三维(3D)身体表面的途径。机器学习用来训练网络以根据表面数据(诸如患者的表面图像)来估计身体标记，并且基于所估计的身体标记来重构3D身体表面。3D身体表面重构包括定位患者的表面图像，向表面图像像素指派分类，以及确定表面图像像素的3D表面坐标。所估计的3D身体表面用来确定患者的等中心点(isocenter)。患者的3D身体表面在医学成像扫描仪(例如CT扫描仪)的坐标系内被估计，并且可以在多种应用(例如包括但不限于使患者定位过程自动化、避免定位误差以及增大扫描仪使用效率)中被使用。
还描述了用于根据从临床环境中的传感器所捕获的数据来估计患者的身体区的途径。机器学习用来训练网络来估计患者的身体区、或身体区边界(例如头部、颈部、肩部、臀部、腹股沟、膝盖、脚踝等等)。机器学习还用来生成热图(例如高斯热图)，其表示患者的可见以及未见的身体区边界。
在第一方面中，提供了一种方法以估计位于医学成像系统中的可移动的患者台上的患者的3D身体表面。传感器捕获患者的表面图像的序列。处理器响应于表面图像向经机器学习的网络的输入而通过经机器学习的网络来估计患者的3D身体表面。所述处理器基于患者的所估计的3D身体表面并且基于可移动的患者台的位置来确定患者的等中心点。所述处理器基于所确定的患者等中心点、经由可移动的患者台来定位患者。
在第二方面中，提供一种医学成像系统以估计患者的3D身体表面。传感器被配置成捕获患者的表面图像的序列。处理器被配置成将经机器学习的神经网络应用到表面图像的序列。经机器学习的神经网络被训练以根据表面图像的序列来估计患者的3D身体表面。处理器还被配置成基于所估计的患者的3D身体表面来确定患者的等中心点。可移动的患者台被配置成基于所确定的患者等中心点并且基于可移动的患者台的位置来自动地定位患者。
在第三方面中，提供了一种方法以估计位于医学成像系统中的可移动的患者台上的患者的身体区。传感器捕获患者的表面图像的序列。处理器响应于表面图像向经机器学习的网络的输入而通过经机器学习的网络来估计患者的身体区。处理器还响应于表面图像向经机器学习的网络的输入而通过经机器学习的网络来生成高斯热图。高斯热图表示沿着可移动的患者台的纵轴的患者的可见和未见的身体区边界。
上述方面中的任何一个或多个可以单独或以组合来被使用。从对优选实施例的以下详细描述中，这些和其它方面、特征和优点将变得显而易见，所述详细描述将结合附图来被阅读。本发明由下面的权利要求来限定，并且本章节中没有什么应当被理解为对那些权利要求的限制。本发明的另外的方面和优点在以下结合优选实施例来被讨论，并且可以稍后独立地或组合地被要求保护。
附图说明
部件和图不一定是按比例的，代替地强调被置于说明实施例的原理上。此外，在各图中，相似的参考数字贯穿不同的视图指明对应的部分。
图1图示了用于估计患者的3D身体表面的医学成像系统的一个实施例以及靠近医学成像系统的扫描仪台架(gantry)的传感器的示例性设置；
图2示出了由图1的传感器所捕获的图像的示例性序列；
图3是用于估计位于医学成像系统中的可移动的患者台上的患者的3D身体表面的方法的一个实施例的流程图图解；
图4图示了身体部分分区的示例；
图5图示了用于估计3D身体表面的示例性网络设计；
图6图示了用于被应用到2D视频序列的身体标记估计的示例性递归网络；
图7是用于估计位于医学成像系统中的可移动的患者台上的患者的身体区的方法的一个实施例的流程图图解；
图8图示了图7的方法的一个实施例；
图9图示了被应用到2D视频序列的示例性递归患者身体区估计网络；
图10是用于通过使用扫描仪台架来对非固有相机参数的自校准的图像预处理的示例；
图11示出了通过使用扫描仪台架来对非固有相机参数的自校准中的椭圆检测的示例；
图12示出了在通过使用扫描仪台架对非固有相机参数的自校准中被投影到图像中的所估计的圆圈中心和法线；以及
图13图示了使用示例性的校准方法而对图像拼接结果的改进。
具体实施方式
本文中所公开的实施例解决与医学成像中的患者定位和监视相关联的挑战，所述医学成像诸如计算机断层扫描(CT)、磁共振(MR)、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)等等。从被安装到成像设备的外表面或相对于成像设备的外表面所安装的传感器(诸如相机)所获得的二维(2D)图像的序列用来在发起医学成像程序之前自动地定位患者，以及在所述程序期间监视患者移动，以及如果必要的话重定位患者。本文中所公开的实施例可以被使用在用于通过使用CT、MR、PET或SPECT扫描仪的患者扫描的自动化工作流中。在用于通过使用这些类型的扫描仪的患者扫描的典型工作流中，放射科医师/技术员首先通过从侧面视点观察患者轮廓来粗略地估计扫描区的患者等中心点，然后对准所估计的患者等中心点与扫描仪台架中心，所述扫描仪台架中心通常由激光投影所反映。如果完美地进行了对准，则将实现最佳成像品质。然而，由放射科医师/技术员所完成的当前的对准可能是不准确且不一致的。
本文中所公开的实施例可以用来估计患者的3D身体表面，其将进一步用来自动地确定患者的等中心点并且对区进行扫描。相比于由放射科医师/技术员所使用的传统工作流，这可以提供对等中心点的更准确并且一致的估计，从而导致在诊断上更有用的图像。另外，在用于使用CT或PET扫描仪的患者扫描的典型工作流中，例如，首先利用扫描仪来生成定位标志(topogram)(x-射线)图像以帮助放射科医师确定必要的扫描区。本文中所公开的实施例可以用来根据通过使用传感器(诸如相机)所获得的表面图像来估计患者的3D身体表面，并且可以代替定位标志来使用患者的3D身体表面以自动地确定患者的等中心点。这可以提供针对待扫描的区域的扫描范围的更准确的估计并且减少患者对辐射的暴露。本文中所公开的实施例还可以用来根据具有受限视场的2D或3D相机流来估计患者的身体区，其可以用于受辅助的患者定位。
随着感测技术和人工智能的迅速发展，2D相机辅助的患者定位是可能的。为了使医学成像工作流(诸如CT扫描工作流)自动化，合期望的是将患者居中以与CT等中心点对准。本文中所公开的实施例通过根据2D视频序列来估计患者身体的身体标记而提供自动患者定位、包括居中。身体标记估计将红绿蓝(RGB)图像的人类像素映射到人体的3D表面。通过估计患者身体的身体标记，图像像素能够被关联到身体表面的相应部分，其允许患者身体的3D重构和分区以用于定等中心点的目的。本文中所公开的实施例还提供经相机辅助的患者定位，其通过估计患者的身体区以及生成热图，所述热图表示患者的可见以及未见的身体区边界。
在一个实施例中，来自由被安装在扫描仪台架上的2D相机所捕获的2D视频序列的躺在患者台上的患者的表面图像用来估计患者的密集身体标记以及重构患者的3D身体表面，其通过将时间信息集成到密集身体标记回归网络中。所获得的3D表面连同患者台位置一起可以直接用来通过回归来自动地确定患者等中心点以用于患者居中和定位。自动的患者定等中心点和定位利用现有技术的深度机器学习技术，诸如全卷积网络和/或长短期记忆(LSTM)单元，以用于递归的身体标记估计和3D表面重构。通过回归的定位对于处置来自被安装在扫描仪台架上的2D相机的受限视场的实例而言是特别有用的。患者身体的3D模型可以通过使用利用深度图像网络的可变形的患者化身表示(“DARWIN”)来被构建，所述利用深度图像网络的可变形的患者化身表示(“DARWIN”)是一种用于根据范围或深度传感器的单个快照来估计躺在桌台或床上的被覆盖的患者的详细身体表面网格的方法。
在另一实施例中，来自由被安装在扫描仪台架上的2D相机所捕获的2D视频序列的躺在患者台上的患者的表面图像用来估计患者的身体区以及生成热图、诸如高斯热图，其表示沿着可移动的患者台的纵轴的患者的可见和未见的身体区边界。对身体区的估计通过经机器学习的网络(诸如全卷积网络)来被执行。所述网络根据患者的表面图像的序列来检测患者的可见身体区边界，基于所检测的可见身体区边界来外推患者的未见的身体区边界，通过时间模块(temporal module)、根据表面图像的序列来聚合所检测的可见身体区边界和经外推的未见的身体区边界，以及基于所聚合的可见身体区边界和未见的身体区边界来确定患者的身体区。
要理解的是，下述各种代表性实施例的元素和特征可以用不同的方式被组合以产生同样落在本教导的范围内的新实施例。
作为介绍，图1示出了在医学成像系统10的扫描仪台架14近旁的传感器12的设置。传感器12被安装到台架14或相对于台架14而被安装，使得躺在扫描仪台架14的前方和/或部分地在扫描仪台架14内部的患者台18上的患者16可以被监视。可以使用另外的、不同的或较少的部件。在一个实施例中，医学成像系统10可以包括x-射线或光学形貌系统。
传感器12可以是一个或多个相机，其捕获患者16的表面图像。传感器12还可以是多个相机，其从不同的方向捕获2D图像。传感器可以是深度传感器、诸如2.5D或RGBD传感器(例如Microsoft Kinect 2或ASUS Xtion Pro)、飞行时间设备(例如创造性的TOF相机)或其组合。传感器可以是一个或多个相机，其捕获被投影到患者上的栅格。传感器可以是多个相机，其从不同的方向捕获2D图像。可以使用其它光学或非离子化的传感器12。在一个实施例中，传感器可以是光学相机。在另一实施例中，传感器12可以被安装在医学成像系统10的不同的部件上。在又一实施例中，传感器12可以被安装到除了医学成像系统10之外的临床环境的部件。
躺在患者台18上的患者16将在传感器12的前方移动，使得待扫描的身体区在所获取的图像中可见。用户(诸如放射科医师或技术员)然后将选择待扫描的身体区，并且台18在没有来自用户的进一步校正的情况下被移动到所期望的起始位置。患者的图像通常表示基于传感器12的视场(FOV)19的受限视场。可以执行另外的、不同的或较少的动作。在一个实施例中，医学成像系统19将自选择待扫描的身体区。
图1还示出了用于估计患者的3D身体表面并且用于估计患者的身体区的医学成像系统的一个实施例。医学成像系统10包括传感器12、处理器11、存储器13、医学扫描仪14以及可移动的患者台18。处理器11和存储器13可以是医学扫描仪14、计算机、服务器、工作站、或者用于处理来自患者的扫描的医学图像的其它系统的一部分。没有医学扫描仪14的工作站或计算机可以被用作医学成像系统10。医学成像系统10包括用于捕获患者的表面图像的序列的传感器12，以及用于自动定位患者16的可移动的患者台18。
可以提供另外的、不同的或较少的部件。例如，包括计算机网络以用于本地捕获的表面图像的远程图像生成，或用于根据远程捕获的表面图像的本地图像生成。经机器学习的网络被应用作为工作站或本地设备上的独立应用，或作为被部署在网络(云)架构上的服务。作为另一示例，用户输入设备(例如键盘、按钮、滑块、表盘、轨迹球、鼠标或其它设备)被提供用于对一个或多个身体标记的用户变更或安置。
传感器12可以是相机或深度传感器、LIDAR、2.5D、RGBD、立体光学传感器或其它深度传感器。示出了一个传感器12，但是可以使用多个传感器。可以提供光投影仪。传感器12可以直接测量深度。传感器12可以包括用于根据图像来确定深度测量的单独的处理器，或者处理器11根据由传感器12所捕获的图像来确定深度测量。深度可以相对于传感器12和/或床或台18。
传感器12指向患者16。传感器12可以是医学扫描仪14的一部分或被连接到医学扫描仪14或者与医学扫描仪14分开。
处理器11是控制处理器、一般处理器、数字信号处理器、三维数据处理器、图形处理单元、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合、或者用于处理表面图像的其它现在已知或稍后开发的设备。处理器11是单个设备、多个设备或网络。对于多于一个设备，可以使用处理的并行或顺序划分。构成处理器11的不同设备可以执行不同的功能，诸如应用经机器学习的网络以及配置医学扫描仪14。在一个实施例中，处理器11是医学诊断成像系统(诸如医学扫描仪14)的控制处理器或其它处理器。处理器11依照所存储的指令、硬件和/或固件来操作并且由所述所存储的指令、硬件和/或固件来被配置以执行本文中所述的各种动作。
处理器11被配置成训练机器学习架构。基于网络架构和训练数据的用户提供的或其它的源，处理器11学习编码器、解码器、鉴别器或其它网络部分的特征，以训练神经网络。训练的结果是用于估计患者的3D身体表面或身体区的经机器学习的一个或多个网络。
替换地或另外地，处理器11被配置成应用一个或多个经机器学习的网络。例如，图像对图像的或其它神经网络被应用到来自传感器12的表面图像。经机器学习的神经网络被应用到表面信息。基于先前的训练，网络响应于表面图像的应用而预测患者的3D身体表面或身体区。网络可以接收针对患者外部的深度信息来作为输入。神经网络可以输出3D表面坐标或概率图(例如高斯热图)。
处理器12被配置成基于所估计的患者的3D身体表面来确定患者的等中心点。处理器12还被配置成生成图像。来自神经网络的输出可以是图像、界标的空间分布和/或热图。诸如针对界标的注释或图形可以被添加到图像。
医学成像系统10可以可选地包括显示器、诸如CRT、LCD、投影仪、等离子体、打印机、平板电脑、智能电话或者用于显示输出(诸如界标的图像或高斯热图)的其它现在已知或稍后开发的显示设备。显示器显示根据表面图像所生成的身体区的医学图像。
传感器测量、3D身体表面、表面图像、身体区的图像、高斯热图、网络定义、特征、经机器学习的网络、界标图像、输出的3D表面坐标、输出的界标位置和/或其它信息被存储在非暂时性的计算机可读存储器(诸如存储器13)中。存储器13是外部存储设备、RAM、ROM、数据库和/或本地存储器(例如固态驱动器或硬驱动器)。相同或不同的非暂时性计算机可读介质可以用于指令和其它数据。存储器13可以通过如下来被实现：使用数据库管理系统(DBMS)以及驻留在存储器(诸如硬盘、RAM或可移除的介质)上。替换地，存储器13在处理器11内部(例如高速缓存)。
用于实现本文中所讨论的训练或应用过程、方法和/或技术的指令被提供在非暂时性计算机可读存储介质或存储器上，所述非暂时性计算机可读存储介质或存储器诸如高速缓存、缓冲器、RAM、可移除介质、硬驱动器或其它计算机可读存储介质(例如存储器13)。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。图中所图示的或本文中所描述的功能、动作或任务响应于被存储在计算机可读存储介质中或其上的一个或多个指令集而被执行。功能、动作或任务独立于指令集、存储介质、处理器或处理策略的特定类型，并且可以由单独地或以组合地操作的软件、硬件、集成电路、固件、微代码等等来执行。
在一个实施例中，指令被存储在可移除介质设备上以用于由本地或远程系统读取。在其它实施例中，指令被存储在远程位置中，以用于通过计算机网络传递。在还有的其它实施例中，指令被存储在给定计算机、CPU、GPU或系统内。因为在附图中所描绘的构成的系统部件和方法步骤中的一些可以在软件中实现，所以在系统部件(或过程步骤)之间的实际连接可取决于其中对本实施例进行编程的方式而不同。
医学扫描仪14是医学诊断成像系统，其被配置成扫描患者的内部区，并且根据扫描而生成解剖信息。医学扫描仪14是CT、MR、PET、SPECT、X-射线或超声扫描仪。
医学扫描仪14被配置成生成解剖信息。配置使用针对一个或多个参数的设置，诸如X-射线源电压、台位置和/或移动范围、台架位置和/或移动范围、焦距(focus)、视场、扫描密度、检测器阈值、传输序列、图像处理设置、滤波设置或图像生成设置。基于根据表面图像所估计的3D身体表面或身体区而不是通过医学扫描仪14的扫描，设置医学扫描仪14的一个或多个设置。通过医学扫描仪14、使用所述设置来对患者16进行成像。
图2示出了由图1的传感器12所捕获的图像20的样本序列。例如，图像20的序列中的第一图像21示出了躺在扫描仪台架14外以及紧邻于扫描仪台架14的患者台18上的患者16。图像20的序列中的第二图像22示出了通过患者台18而在朝向扫描仪台架14内部的方向上被移动的患者16。图像20的序列中的第三图像23示出了部分地在扫描仪台架14内部的患者16。可以捕获另外的、不同的或较少的图像。在一个实施例中，捕获单个图像。
这些示例图像20示出了通过传感器12的患者16的截断和受限的视场。例如，在初始图像21中，给定患者16的定位，传感器12的FOV 19仅仅允许患者16从患者16的头部到患者16的腰部可见。在最后的示例图像23中，患者16从患者16的颈部到患者16的膝盖可见。然而，未见患者16的头部，因为头部在传感器12的FOV 19外部。在另一示例中，当患者16的身体的部分在传感器12的FOV 19内、但是被医学成像设备的部分(诸如扫描仪台架14)隐藏或遮挡的时候，那些部分可能是未见的。
根据图像来估计身体标记，并且重构患者身体的3D表面。估计和重构是根据序列的2D图像，其通过将时间信息集成到身体标记回归网络中。患者身体的3D表面可以是针对完整的患者身体或患者身体的一部分。所获得的3D表面可以直接用来对患者等中心点进行回归来用于患者居中和定位。一个示例性的方法具有三个模块：(1)根据单个帧来估计密集身体标记以及重构患者身体的部分3D表面，(2)通过使用递归模型来构建患者身体的3D表面的经扩展的FOV，以及(3)基于经重构的患者身体表面以及患者台位置来对患者等中心点进行回归。可以提供另外的、不同的或较少的模块。由2D相机所捕获的原始图像可以在某个程度上畸变。为了准确地估计患者的身体标记和3D表面，图像在被输入到机器学习算法中之前可以被去除畸变，作为预处理步骤。
本文中所述的另一示例性方法通过如下来解决受限视场的问题：根据视频序列的2D图像来估计患者的身体区以及生成对患者的可见和未见的身体区边界进行表示的热图，其通过利用结合全卷积网络的时间模型。此途径具有两个模块：(1)对未见的患者身体区进行外推以根据具有受限视场的每个图像来预测身体区，以及(2)进行时间建模来为根据2D相机流的身体区检测形成时空推理。可以提供另外的、不同的或较少的模块。
图3是用于估计位于医学成像系统中的可移动的患者台上的患者的3D身体表面的方法的一个实施例的流程图图解。经机器学习的网络用来估计患者的3D表面。基于患者的所估计的3D身体表面并且基于可移动的患者台的位置来确定患者的等中心点。基于所估计的身体标记来重构所估计的3D身体表面。然后基于患者的等中心点、经由可移动的患者台来定位患者。
身体标记是对给定的解剖界标或身体部分进行表示的点或小体积或区域，而不是表面。针对区的概率分布可以用来指示身体标记的位置(例如高斯分布)。可以估计任何数目的解剖身体标记的位置。可以估计不同的身体标记，以用于不同的目的，诸如用于以相同成像模式(例如CT)的扫描的不同应用或类型，或者用于不同类型的成像模式(例如CT相对于超声相对于MR)。
图3的方法以所示的次序(例如顶到底或数值的)来被执行，但是可以使用其它次序。在替换的实施例中，这些动作可以按不同的相继次序来发生，和/或这些动作中的一个或多个可大体上同时发生。可以提供另外的、不同的或较少的动作。例如，不提供动作38。在另一示例中，不提供动作34，因为所估计的患者的3D身体表面被用来在不确定患者的等中心点的情况下定位患者。
在动作30中，传感器捕获患者的表面图像的序列。在一个示例中，表面图像的序列可以是按特定的次序(诸如至少两个或更多图像的接连的次序(例如2D视频流))所布置的一系列图像。在另一示例中，图像的序列可以是不按时序序列所布置的多个图像、或至少两个图像。
传感器针对患者。传感器从一个或多个视角捕获患者的外表面的图像的序列。所述外表面的任何部分可以被捕获，诸如从头部到脚趾的整个患者以及一侧上手到手或仅仅躯干。传感器在患者处于特定位置中的情况下捕获外表面，诸如在患者躺在床中或台上时捕获面向前方的表面。传感器将表面图像捕获为红绿蓝(RGB)图像。
可以经验性地确定医学图像扫描室(例如CT扫描室、PET扫描室、MR扫描室等等)中的一个或多个传感器(即相机)的安置，以便实现分析的最优性能。可影响性能的各种因素包括例如传感器安装的简易和/或代价、患者可见性约束(例如可获得的数据的品质)、以及传感器噪声特性。在这些因素中的一个或多个之间可存在权衡。例如，在结构光设备和飞行时间设备的情况下，噪声倾向于随着离传感器的距离增大而增大。取决于波长，噪声还可极邻近于传感器而增大。当确定传感器的安置的时候，可以对照传感器的视场来平衡传感器噪声特性。如果传感器被太远离患者定位，则可存在过多噪声。如果传感器被太靠近患者定位，则视场可能太受限，从而导致患者的更多未见的身体部分或身体区边界。
所述外表面是患者的皮肤。在其它实施例中，所述外表面包括衣着。传感器可以使用通过衣着的频率并且检测皮肤表面。在一个示例中，外表面作为患者外部的图像或照片被捕获。在另一示例中，外表面作为从传感器到患者上的不同位置的深度被捕获。传感器输出所感测的图像和/或深度。
在动作32中，处理器估计患者的3D身体表面。具有或没有其它数据的所捕获的表面图像被输入到经机器学习的网络，并且输出针对所估计的3D身体表面的3D表面坐标值。例如，表面图像20的序列的表面图像22、23被输入到经机器学习的网络，所述经机器学习的网络输出表面坐标的分布。所述表面坐标可以是基于U、V映射坐标系的U、V坐标。处理器应用经机器学习的网络来用于3D身体表面估计。网络针对其被训练使用的任何输入作为输入特征向量被应用，诸如仅仅表面图像。输出是针对位置的点。替换地，对针对每个表面坐标的位置的概率进行表示的高斯或其它分布被输出，诸如输出热图。
在图3的动作32中估计患者的3D身体表面包括根据来自图像20的序列的单个帧、或图像来估计密集姿态。密集的人类姿态估计旨在将RGB图像的所有人类像素映射到人体的3D表面。给定躺在台18上的患者16的2D图像20的序列，能够针对每个图像来为患者16估计3D表面。例如，估计密集姿态或3D表面的第一步骤可涉及针对表面图像的序列的第一表面图像来估计密集身体标记。第一表面图像对应于患者的第一所成像的身体部分。第二步骤可涉及基于第一表面图像来为患者的第一所成像的身体部分重构第一3D部分身体表面。
对于人体的基于表面的表示，有利的是将身体分解成多个独立的片段，并且通过使用局部二维坐标系(诸如UV映射)来对每个片段进行参数化，所述局部二维坐标系标识此表面部分上的任何节点的位置。图4示出了被分区成身体部分的这样的身体部分的示例。例如，第一身体部分可以是头部。在另一示例中，第二身体部分可以是颈部或肩部。身体分区中的身体部分的数目可以是任何数目。在一个示例中，在分区之后的身体部分的数目是24。在另一示例中，身体部分的数目被定制成不同的数目，诸如16。
每个所成像的身体部分包括一个或多个身体部分。在一个示例中，第一所成像的身体部分仅仅包括患者的头部。在另一示例中，第一所成像的身体部分包括患者的头部、颈部、肩部和躯干。在一个实施例中，患者的第一所成像的身体部分与患者的第二所成像的身体部分重叠。一旦接收到或捕获到与第一所成像的身体部分相对应的第一表面图像，第一表面图像就可以被分区成多个部分。所述多个部分对应于第一所成像的身体部分的不同身体部分。在一些情况中，在上述分区之后，结果得到的身体部分可以被进一步分区。在其中第一所成像的身体部分包括与患者的第一表面图像相对应的患者的头部、颈部、肩部和躯干的以上示例中，第一所成像的身体部分可以被分区成多个部分(例如头部、颈部、肩部和躯干)，其中每个部分对应于第一所成像的身体部分的不同部分。所述多个部分中的每个部分包括多个像素，其用来重构3D部分身体表面，如以下进一步描述的。
为了获得图像到表面的对应性以便获得3D表面坐标，采用具有编码器和解码器的全卷积网络(FCN)来用于密集姿态估计，其结合联合身体部分分类以及表面坐标回归。为了重构第一3D部分身体表面，第一表面图像被分区成多个部分。然后，将密集姿态估计网络(即FCN)应用到第一表面图像，针对第一表面图像的所述多个部分中每个部分的所述多个像素中的每个像素被分类为背景类或身体部分类。身体部分类是如下分类：其对应于患者的第一所成像的身体部分的不同身体部分。背景类对应于另外的外部的或非患者的成像数据(例如表示临床环境的至少一部分的环境数据、技术员、患者衣着、台架的一部分、地面的一部分、患者台的一部分等等)。接下来，回归器为每个身体部分内的每个像素预测提取3D表面坐标。
图5图示了用于估计3D身体表面的示例性网络设计。第一表面图像21被输入到FCN50中。接下来，如上所述，分类器51为RGB图像(即第一表面图像)的每个像素指派部分类C1或背景类。然后，至少一个回归器RC52为每个像素确定3D表面坐标，其通过在身体部分C的连续的U、V坐标参数化中放置像素点。网络50包括编码器53(卷积)和解码器54(经转置的卷积)，其中瓶颈连接55在从编码器53到解码器54的最大水平的压缩或抽象性下的传递特征之间。所述瓶颈连接55从编码器53向解码器54传递特征。可以使用在编码器53和解码器54之间的在其它尺度(scale)下的另外的跳跃连接。在一个实施例中，使用多个回归器52，其中所述多个回归器52中的每一个对应于第一表面图像21的所述多个部分中的部分之一。每个回归器52针对每个部分被分开地或联合地训练，其提供在其相应部分内的3D坐标。FCN50的输出是与第一表面图像21相对应的患者16的每个部分部位的所估计的3D身体表面。为其它表面图像重复此过程，从而导致患者的3D身体表面。
经机器学习的网络可以是图像对图像的网络，其被训练以将表面图像转换成身体标记的位置的图像，诸如图4中所示的身体分区。例如，网络的经训练的卷积单元、权重、链接和/或其它特性被应用到表面图像和/或所导出的特征值，以通过多个层而提取对应的特征，并且输出身体标记。从图像中提取输入图像的特征。可以通过网络而从那些所提取的特征中提取其它更抽象的特征。取决于单元或层的数目和/或布置，从输入中提取其它特征。
为了训练经机器学习的网络，限定机器学习网络布置。所述限定是通过学习的编程或配置。网络的层或单元的数目、学习的类型、以及其它特性由编程者或用户来控制。在其它实施例中，一个或多个方面(例如节点的数目、层或单元的数目或者学习的类型)由机器在学习期间限定和选择。
对于图像对图像的网络，可以使用用于根据输入空间分布而输出空间分布的任何机器训练架构，诸如神经网络。例如，使用U网或其它全卷积网络。使用卷积对经转置的卷积网络。层或单元的一个段应用卷积来增大抽象性或压缩。最抽象的特征值然后在跳跃或瓶颈连接处被输出到另一段。层或单元的其它段然后应用经转置的卷积来减小抽象性或压缩，从而导致按位置输出类成员关系的指示或身体标记。图5示出了示例性的全卷积网络50，但是可以使用其它网络。可以使用任何现在已知或稍后开发的U网或图像对图像架构。可以使用其它全卷积网络。
网络被定义为多个顺序的特征单元或层。顺序的被用来指示从一个层输出特征值至输入到下一层的一般的流。来自下一层的信息被馈送到下一层，并且以此类推直到最后的输出。层可以仅仅前馈或者可以是双向的，包括向在先层的某些反馈。每个层或单元的节点可以与在先或后续的层或单元的节点中的全部或仅仅子集连接。
全连接的层(例如密集层)可以是在网络的瓶颈处(即在编码器53和解码器54之间、以层的最抽象水平)。全连接的层可以确保尽可能多的信息被编码。可以添加批量归一化来使训练稳定。
深度架构(即神经网络)被限定成在具有或没有预处理的情况下、基于输入图像来学习在不同抽象水平下的特征，而不是对特征进行预编程以及尝试将特征相关到属性。对特征进行学习以重构较低水平的特征(即在更抽象或压缩水平下的特征)。例如，对用于重构图像的特征进行学习。对于下一个单元，对用于重构在先单元的特征的特征进行学习，从而提供更多的抽象。
为了训练网络中的任一个，可以使用训练数据中的任何数目的样本。例如，使用1000个训练示例，其中100个用于测试并且100个用于验证。可以使用各种优化器，诸如Adadelta、SGD、RMSprop或Adam。网络的权重被随机地初始化，但是可以使用另一初始化。执行端对端训练，但是可以设置一个或多个特征。可以使用批量归一化、丢掉以及数据扩增。在优化期间，对不同的区别特征进行学习。对给定输入表面图像的情况下的3D身体表面进行学习。
经机器学习的网络被训练，以针对任何数目的表面图像来估计3D身体表面。输出是患者的3D身体表面，其具有针对不同身体部分的不同像素的3D位置坐标。3D表面是网格，但是在其它实施例中可以使用拟合模板身体。不同的身体部分可以被加标签。没有身体部分标签的3D表面可以被输出。
一旦被训练，可以应用网络来根据输入表面图像而估计3D身体表面。训练数据中的许多样本(例如表面图像以及身体标记的地面实况位置)被用来学习，以输出3D身体表面的3D坐标。机器学习模型被训练以学习在表面图像与表面图像的像素的3D坐标之间的对应性。
一旦已经为第一所成像的身体部分中的一个或多个部分确定了像素的3D表面坐标，就可以重构针对患者的第一所成像的身体部分的3D部分身体表面。然而，这仅仅提供针对患者的一部分的3D表面一一所述身体部分对应于第一表面图像(即第一所成像的身体部分)。由于传感器12的受限视场，仅仅为部分患者身体重构3D身体表面。在一个实施例中，可以在患者的经扩展的视场的合成图像上估计患者的3D身体表面。然而，图像合成是耗时的，并且可能需要与所期望的不同的工作流。此实施例还缺乏获得实况表面重构的能力。在第二优选实施例中，具有长短期记忆(LSTM)单元的递归神经网络与密集身体标记估计网络集成，以实现根据2D视频流而对患者的更完整身体的3D身体表面估计。递归的密集身体标记检测网络能够以端对端的方式被训练。LSTM可以用于2D图像的3D重构。类似的途径可以用于解决针对经扩展的视场的密集姿态估计。在更多的观测变得可用(即将网络应用到表面图像的序列)时，可以利用LSTM来保留在先的观测并且递增地细化网络的输出(即3D表面重构)。LSTM追踪图像序列的特征空间，并且渐进地重构表面模型。
图6图示了被应用到2D视频序列的示例性递归网络60。图6的网络60包括FCN 50A、50B、50C，其是与以上讨论的图5的FCN 50相同的FCN，以与不同的图像帧相对应的不同时间间隔。LSTM被集成到FCN 50A、50B、50C中。以端对端的方式训练FCN 50A、50B、50C。否则，FCN50A、50B、50C的功能和部件与以上关于图5的FCN 50所讨论的相同。为了简单的缘故，已对于FCN 50A仅仅示出了分类器51、回归器52、编码器53和解码器54。然而，FCN 50B和50C也包含这些部件。
如以上参考图5所讨论的，与第一所成像的身体部分相关联的第一表面图像21被输入到FCN 50A中，所述FCN 50A将第一表面图像21分区成多个部分，其中所述多个部分对应于患者16的第一所成像的身体部分的不同身体部分。接下来，如上所述，分类器51为第一表面图像21的每个像素指派部分类C1或背景类。然后，至少一个回归器RC52为每个像素确定3D表面坐标，其通过在身体部分C的连续的U、V坐标参数化中放置像素点。FCN 50A的输出是基于第一表面图像21的、针对患者16的第一所成像的身体部分的第一3D部分身体表面61。
为迭代的表面图像22、23等等重复此过程。表面图像的序列可以是患者16的图像的时序序列，因为患者16通过患者台18而被移动到扫描台架14中。例如，第二表面图像22被输入到FCN 50B中，以便针对第二表面图像22来估计3D身体表面。第二表面图像22对应于患者16的第二所成像的身体部分。FCN 50B将第二表面图像22分区成多个部分，其中所述多个部分对应于患者16的第二所成像的身体部分的不同身体部分。另一分类器51为第二表面图像22的每个像素指派部分类C1或背景类。至少一个其它回归器52为每个像素确定3D表面坐标，其通过在第二所成像的身体部分的连续的U、V坐标参数化中放置每个像素点。FCN 50B的输出是基于第二表面图像22的、针对患者16的第二所成像的身体部分的第二3D部分身体表面。第二部分身体表面与先前输出的第一3D部分身体表面61组合以得到聚合的或更完整的3D身体表面62。
任何数目的表面图像20可以被输入到网络60中。在图6中所示的示例中，使用三个表面图像21、22、23。类似于以上针对表面图像21、22所讨论的步骤，第三表面图像23被输入到FCN 50C中，以便针对第三表面图像23来估计3D身体表面。第三表面图像23对应于患者16的第三所成像的身体部分。FCN 50C将第三表面图像23分区成多个部分，其中所述多个部分对应于患者16的第三所成像的身体部分的不同身体部分。另一分类器51为第三表面图像23的每个像素指派部分类C1或背景类。至少一个其它回归器52为每个像素确定3D表面坐标，其通过在第三所成像的身体部分的连续的U、V坐标参数化中放置每个像素点。FCN 50C的输出是基于第三表面图像23的、针对患者16的第三所成像的身体部分的第三3D部分身体表面。如在图6中可见的，在三个表面图像21、22、23被输入到网络60中之后，通过聚合先前输出的第一3D部分身体表面61与第二3D部分身体表面来获得患者的甚至更完整的3D身体表面63。
为了完成患者的3D身体表面的重构，图6中所示的被集成到FCN中的递归模型被用来至少根据第一3D部分身体表面61和第二3D部分身体表面来重构患者的3D身体表面。递归模型可以使用任何数目的3D部分身体表面来重构患者的3D身体表面。如以上所讨论的，所述递归模型是递归神经网络，其包括被端对端训练的长短期记忆(LSTM)单元。
在图1的动作34中，基于患者的所估计的3D身体表面并且基于可移动的患者台的位置来确定患者的等中心点。可以根据患者的3D身体表面和台位置来直接对患者的等中心点进行回归。可以通过使用任何回归方法来对等中心点进行回归。在一个示例中，可以通过使用线性回归方法来对等中心点进行回归。在另一实施例中，可以通过使用非线性回归方法来对等中心点进行回归。在又一实施例中，可以通过使用神经网络来对等中心点进行回归。可以为待扫描的每个目标身体区执行患者的等中心点的确定。在一个示例中，如果成像目标是患者的头部并且所成像的身体部分仅仅包括患者的头部，则确定针对患者的头部的等中心点。在另一示例中，成像目标可以是患者的腹部区域，并且对应的所成像的身体部分可以包括患者的骨盆区域、腹部区域和中躯干区域。在此情况中，为所成像的身体部分(即骨盆区域、腹部区域和中躯干区域)确定等中心点。先前的示例的两个等中心点是不同的，因为每个应对待扫描的不同目标身体区。
在图1的动作36中，基于所确定的患者等中心点、经由可移动的患者台来定位患者。一旦确定了患者的等中心点，患者台就可以被相应地移动，并且患者可以被恰当地定位，从而实现自动定等中心点。患者的等中心点或者具有相对于患者等中心点的已知位置的患者的一部分与医学成像器的等中心点对准。患者床基于患者的等中心点或患者的一部分而相对于医学成像器的等中心点来移动患者。
在图1中未示出的单独的动作中，处理器可以基于患者的所估计的3D身体表面和/或所确定的患者等中心点来配置医学扫描仪。医学扫描仪可以对自身进行配置。医学扫描仪被配置成利用针对被定位用于成像的患者的一部分和/或身体表面的视场和/或其它设置来进行扫描。扫描范围、焦距、视场和/或其它成像参数基于所估计的3D身体表面和/或所确定的患者等中心点。替换地，用户基于患者的所估计的3D身体表面和/或患者的所确定的等中心点、通过利用一个或多个控制的录入来手动地配置医学扫描仪。
在动作38中，医学扫描仪对患者进行扫描。对患者进行成像。可以基于医学扫描仪的配置来执行成像。来自扫描的结果得到的图像更有可能示出感兴趣的区。可以基于所述配置、通过使用所估计的3D身体表面和所确定的患者等中心点来限制来自扫描的离子化辐射。
图7是用于估计位于医学成像系统中的可移动的患者台上的患者的身体区的方法的一个实施例的流程图图解。经机器学习的网络用来估计患者的身体区。基于患者的所检测的可见身体区边界和所外推的未见的身体区边界来确定所估计的身体区。身体区边界是对其它部分或身体区进行分离的平面或线。边界的平面可以与患者和床的纵轴正交。患者的身体区边界可以包括在头顶、颈部、肩部、臀部、腹股沟、膝盖或脚踝处的边界。由经机器学习的网络、响应于表面图像向经机器学习的网络的输入来生成患者的图像或热图。
图7的方法以所示的次序(例如顶到底或数值的)来被执行，但是可以使用其它次序。可以提供另外的、不同的或较少的动作。例如，不提供动作76和78。此外，在替换的实施例中，这些动作可以按不同的顺序次序而发生，和/或这些动作中的一个或多个可大体上同时发生。
在动作70中，传感器捕获患者的表面图像的序列。在一个示例中，表面图像的序列可以是按特定的次序(诸如至少两个或更多图像的接连的次序(例如2D视频流))所布置的一系列图像。在另一示例中，图像的序列可以是不按时序序列所布置的多个图像、或至少两个图像。
在动作72中，处理器估计患者的身体区。具有或没有其它数据的所捕获的表面图像被输入到经机器学习的网络并且示出了针对经扩展的视图的身体区边界的图像、或热图被输出。例如，表面图像20的序列的表面图像22、23被输入到经机器学习的网络，所述经机器学习的网络输出经扩展的视图图像或热图，其描绘了身体区边界(在头顶、颈部、肩部、臀部、腹股沟、膝盖和脚踝处的边界)。热图可以是高斯热图。处理器应用经机器学习的网络来用于身体区估计。网络针对其被训练使用的任何输入作为输入特征向量被应用，诸如仅仅表面图像。输出是针对位置的点。替换地，对针对每个表面坐标的位置的概率进行表示的高斯或其它分布被输出，诸如输出热图。
在一个实施例中，图7的动作72中的患者的身体区的估计包括根据具有受限视场的表面图像的身体区边界检测以及根据可见身体图像的未见的身体区的外推。对于每个图像，所训练的网络检测可见的身体区边界，并且外推未见的边界。通过包括未见的边界，检测的输出包含患者身体区边界(在头顶、颈部、肩部、臀部、腹股沟、膝盖和脚踝处的边界)的更完整的集合。采用经机器学习的网络(诸如全卷积网络架构)来对可见的和未见的身体区边界两者进行回归。这些可见的和未见的身体区边界被表示为沿着台纵轴的、在地面实况位置处取峰值的高斯热图。此示例性方法的输出将是经扩展的图像上的所有热图。
图8图示了图7的方法的一个实施例。具体地，图8示出了估计患者16的身体区80以及生成热图84的方法的示例，所述热图84表示可见的身体区边界81和未见的身体区边界83。在图8的示例中，边界的平面与患者和床的纵轴正交。在第一步骤中，根据患者16的表面图像20的序列来检测患者16的可见身体区边界81。在图8中所示的示例中，存在在患者16的表面图像中所示的三个身体区80和四个可见身体区边界81。在第二步骤中，基于所检测的可见身体区边界81来外推82患者16的未见的身体区边界83。在一个实施例中，可以与所述第一步骤同时地执行所述第二步骤。接下来，时间模块用来根据表面图像的序列来聚合所检测的可见身体区边界81和经外推82的未见的身体区边界83。结果是经扩展的图像，其包含热图84，所述热图84示出了所检测的可见的身体区边界81以及经外推82的未见的身体区边界83两者。基于包含热图84的此图像，确定针对经扩展的视图的患者身体区。在图8中所示的示例中，存在七个不同的热图84。然而，热图的此数目可以不同，诸如总共5个热图84。
给定躺在台上的患者的2D图像的序列，时间模块可以根据图像的序列的相继帧来聚合身体区检测。这可以通过使用递归的网络(诸如长短期记忆(LSTM)单元)来被建模，类似于先前讨论的方法。
在图9中图示一个示例性网络。图9图示了被应用到2D视频序列的示例性递归网络。注意到，为了说明目的，利用仅2个下采样/上采样操作。在图9中使用以下术语：“Conv”针对卷积层，“DB”针对密集块，“TD”针对向下转变，“TU”针对向上转变，“c”针对连结(Concatenate)，“LSTM”针对卷积LSTM，并且“--->”针对跳跃连接。图9图示了多帧建模，其中特征能够跨级被共享。此网络在全卷积密集网上被构建，但是被适配用于顺序回归任务。在图9中，密集块中的每个卷积层被密集地连接，即特征在相继的层中被重用。在此实施例中，网络的架构可以被定制以满足关于准确性和运行时速度的性能要求。例如，密集块可以在k＝12的生长速率的情况下被使用，具有在每个密集块中的3个密集层和四个下采样/上采样模块来确保足够大的接收场。下采样模块通过MaxPool操作来被完成，并且上采样模块包括步幅转置的卷积，继之以中心裁剪方法。
如图9中所示，所述网络包括T级，其中T是帧的数目。在此示例中，示出了三级。在每级中，来自图像的序列的一个帧(即图像)将作为输入被发送到网络中。下采样路径负责提取粗略的语义特征，继之以上采样路径，其在输出处恢复输入图像分辨率。“向下转变”由以下组成：BN，继之以ReLU，1×1卷积，具有p＝0.2的丢掉，以及大小为2×2的非重叠“最大池化”。“向上转变”由3×3转置的卷积组成，所述3×3转置的卷积具有步幅2以补偿池化操作。在两个路径之间的跳跃连接旨在保留由于下采样操作而丢失的信息。来自下采样路径的所提取的语义特征将与来自先前级的经下采样的热图连结，并且它们将被发送到卷积LSTM模块中。来自LSTM的输出将经过上采样路径，以为每个帧产生热图。LSTM实现跨级的所有层的权重共享，其减小网络中参数的数目。LSTM已经被用于后处理，其是次优的并且使得训练困难，因为LSTM处理高维经平整化的热图。然而，在所提出的实施例中，卷积LSTM处理低维潜在特征，并且能够以端对端的方式被联合地学习。
在动作74中，处理器响应于表面图像向经机器学习的网络的输入而通过经机器学习的网络来生成图像或热图。诸如高斯热图之类的热图表示沿着可移动的患者床的纵轴的患者的可见和未见的身体区边界。
在动作76中，基于所生成的图像或热图、经由可移动的患者台来定位患者。一旦生成了图像或热图，患者台就可以被相应地移动，并且患者可以被恰当地定位，从而实现自动患者定位。患者被定位使得所期望的身体部分在医学扫描仪的视场中。
在图7中未示出的单独的动作中，处理器可以基于患者的所估计的身体区和/或所生成的图像/热图来配置医学扫描仪。医学扫描仪可以对自身进行配置。医学扫描仪被配置成利用针对被定位用于成像的患者部分和/或身体表面的视场和/或其它设置来进行扫描。扫描范围、焦距、视场和/或其它成像参数基于所估计的身体区和/或所生成的图像/热图。替换地，用户基于患者的所估计的身体区和/或所生成的图像/热图、通过利用一个或多个控制的录入来手动地配置医学扫描仪。
在动作78中，医学扫描仪对患者进行扫描。对患者进行成像。可以基于医学扫描仪的配置来执行成像。扫描范围、焦距、视场和/或其它成像参数基于患者的所估计的身体区和/或所生成的图像/热图。来自扫描的结果得到的图像更有可能示出感兴趣的区。来自扫描的离子化辐射可基于所述配置、通过使用所估计的患者身体区和/或所生成的图像/热图来被限制。
以上所讨论的实施例旨在从具有受限视场的2D视频流中获得稳健的(robust)患者身体区。本文中所公开的所提出的方法能够预测可见和未见的身体区边界两者。通过这样做，所提出的实施例可以实现更好的性能，这是由于更多的上下文和输出结构，并且因为它实现容易的时间建模。预测界标隐式地施行在身体区之间的全局形状一致性，其具有以下益处：(1)它允许对身体线条的近似预测，甚至当它不在视场中的时候(通过使用上下文)，以及(2)它实现身体区信息的高效时空整合。这些实施例还可导致利用2D/3D相机的自动化医学扫描工作流。
3D身体表面的估计、所确定的患者等中心点以及所估计的身体区可辅助规划医学扫描。3D身体表面、所确定的患者等中心点和/或所估计的身体区可以用来为通过任何模态(诸如CT、MR、荧光镜检查或超声)的扫描进行规划。对于CT扫描，3D身体表面、所确定的患者等中心点和所估计的身体区可以用来确定扫描范围，其取决于哪个身体部分需要被扫描并且可以多准确地预测近旁的结构。这可以减小被应用到患者的离子化辐射的量。3D身体表面、所确定的患者等中心点以及所估计的身体区还可辅助用于MR扫描的线圈放置。对于超声扫描，3D身体表面、所确定的患者等中心点以及所估计的身体区可通过提供近似的位置来帮助探针引导。对于使用动态CT扫描的荧光镜检查，3D身体表面、所确定的患者等中心点以及所估计的身体区对于定位患者和/或扫描仪而言可以是有用的。医学扫描仪的任何设置或参数可以基于所估计的3D身体表面、所确定的患者等中心点和所估计的身体区来被确定或配置。
用于捕获患者的表面图像的传感器或相机被校准。可以使用非固有校准。通过外部校准目标(诸如棋盘)来完成所述非固有校准。首先，将棋盘对准到台架中心，其通过手动地调整台和棋盘位置以与从台架所发射的激光十字准线对准。然后，将台从台架中移出已知距离，使得完整的棋盘在相机的视场内。然后，根据棋盘所估计的相机姿态可以用来通过补偿已知的台偏移来导出非固有的相机参数。在台可能没有与台架的轴完美对准时，可能需要在不同台位置下的多个测量以便配准台轴与台架轴，使得能够利用根据台架轴的经矫正的台偏移来补偿相机姿态。这是耗时、昂贵并且繁重的校准过程。
解决非固有相机校准问题的一个实施例涉及使用扫描仪台架本身来用于校准，如与使用其它外部校准目标相对的。此实施例适用于顶板安装的相机以及台架相机设置，其中扫描仪台架的钻孔开口在相机的视场中部分可见。来自扫描仪的台架在3D空间中形成完美的圆圈。当台架被投影到从角度查看的相机的时候，台架在相机图像中形成椭圆。利用经校准的相机(其中焦距、主点和径向畸变参数是已知的)以及已知的圆圈尺寸(台架的钻孔开口)，利用单个图像而为相机相对于台架的相对姿态的估计是可能的。
使用非固有相机的示例性实施例的工作流包含3个步骤：(1)图像预处理，(2)椭圆检测和(3)相机姿态估计。在第一步骤中，假定预先给定图像中台架的感兴趣的区(ROI)。例如，在台架安装相机的情况中，台架要么在图像的左1/3部分内要么在右1/3部分内，其取决于相机被如何定向。在ROI内，在图像上执行诸如使用精明边缘检测器的一般边缘检测以得到如图10中所示的边缘图，其图示了当使用扫描仪台架来校准相机的时候图像预处理的示例。
利用从图像预处理步骤中所生成的边缘图，检测到轮廓，其形成椭圆。由于在台架内部的灰色外缘的边界上存在非常强的对比，所以可以沿着近旁的边缘点容易地追踪候选轮廓。通过对候选轮廓上的点进行采样，2D椭圆可以拟合到每个所检测的轮廓。图11示出了椭圆检测的示例，其中图像边界被扩展以示出根据在原始图像内部所检测的轮廓点(在左侧示出)所估计的完整椭圆(在右侧示出)。
在第三步骤中，针对在第二步骤中所检测的每个椭圆来估计相机姿态。姿态估计算法基于由Chen等人在“Camera Calibration with Two Arbitrary Coplanar Circles”(ECCV 2004的会议录)中所提出的相机校准算法。算法通过使用具有任意半径的两个共平面的圆圈的一个单个图像来估计相机的非固有相机参数和焦距。算法不直接地适用于所有用例，因为台架的两个圆形外缘不是共平面的。然而，可以从扫描仪规范中获得圆圈半径(例如台架的钻孔开口)。另外，可以预先校准相机以得到固有参数、诸如焦距、主点和径向畸变参数。因此，具有已知半径的一个圆圈足以估计相机姿态。图12示出了所估计的圆圈中心以及被投影到图像中的法线，其中(a)和(b)是针对台架的左外缘圆圈的两个可能的解，并且(c)和(d)是针对台架的右外缘圆圈的两个可能的解。
注意到，针对每个所检测的椭圆，存在如在图12中所示的两个可能的解。因为已知原点内部的轮廓位于台架的下部分处，所以图12(a)和图12(c)是解。假定钻孔开口是700mm，以上示例中所估计的相机姿态具有在三个轴中的旋转(0.0965，1.9885，92.7792)度以及平移(455.74，-14.85，734.99)mm。这非常接近于规范，其中理想地平移是(457±5，0，735±5)mm并且旋转是(0.0，0.0，90.0)度。为了验证非固有校准，可以在不同的台位置下拼接人员的几幅图像。如可从图13中所见的，通过使用本文中所提出的方法(底部图像)，图像在默认、即现有方法(顶部图像)之上被拼接得更好得多。
使用台架来直接作为校准目标是在现有方法之上的改进，在所述现有方法中需要外部校准目标，并且还需要目标与台架的手动对准。所提出的途径还可以被用作自动健康检查特征，以验证相对于台架的相机位置是否已经从标称位置偏离。因此，它不仅对于最新CT扫描仪的台架安装的2D相机设置而言是有用的，而且对于CT或MR扫描仪的顶板安装的3D相机设置而言也是有用的。
除了所提出的途径或现有途径之外的一个替换的方法是使用经扫描仪扫描的数据来配准相机姿态。为了使这工作，使用一个或多个另外的校准目标。在第一步骤中，通过移动台桌，利用一组对象图像来重构校准对象的3D几何结构。然后，通过扫描仪来扫描校准目标以得到体积重构。可以通过在经相机重构的几何结构与经扫描仪重构的几何结构之间的刚性变换来导出相机姿态。虽然此方法因为涉及体积重构而可具有最高准确性，但是它可遭受不完美的经相机重构的几何结构，并且它还需要另外的目标，这阻碍它对于自动健康检查特征的使用。
本文中所述的各种改进可以一起或分开地被使用。虽然已经在本文中参考附图描述了本发明的说明性实施例，但是要理解的是本发明不限于那些精确的实施例，并且在不偏离本发明的范围或精神的情况下，在其中可以由本领域技术人员影响各种其它改变和修改。
前述详细描述和附图已经作为解释和说明而被提供，并且不意图限制所附权利要求的范围。本文中所图示的目前优选的实施例中的许多变型对于本领域普通技术人员而言将是明显的，并且保持在所附权利要求及其等同物的范围内。

Claims (4)

1.一种用于估计位于医学成像系统中的可移动的患者台上的患者的身体区的方法，所述方法包括：
利用传感器来捕获患者的表面图像的序列；
由处理器响应于表面图像向经机器学习的网络的输入而通过经机器学习的网络来估计患者的身体区；以及
由处理器响应于表面图像向经机器学习的网络的输入而通过经机器学习的网络来生成高斯热图，所述高斯热图表示沿着可移动的患者台的纵轴的患者的可见的身体区边界和未见的身体区边界。
2.根据权利要求1所述的方法，其中估计包括利用经机器学习的网络来进行估计，所述经机器学习的网络包括全卷积网络。
3.根据权利要求1所述的方法，其中估计进一步包括：
根据患者的表面图像的序列来检测患者的可见身体区边界；
基于所检测的可见身体区边界来外推患者的未见的身体区边界；
通过时间模块、根据表面图像的序列来聚合所检测的可见身体区边界和经外推的未见的身体区边界；以及
基于所聚合的可见身体区边界和未见的身体区边界来确定患者的身体区。
4.根据权利要求3所述的方法，其中所述时间模块包括递归神经网络，所述递归神经网络包括LSTM单元。
CN202310993014.7A 2019-02-07 2020-02-07 用于医学成像中的患者定位的根据相机数据的密集身体标记估计 Pending CN117017328A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/269,732 US11748899B2 (en) 2019-02-07 2019-02-07 Dense body marker estimation from camera data for patient positioning in medical imaging
US16/269732 2019-02-07
CN202010082463.2A CN111557665B (zh) 2019-02-07 2020-02-07 用于医学成像中的患者定位的根据相机数据的密集身体标记估计

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202010082463.2A Division CN111557665B (zh) 2019-02-07 2020-02-07 用于医学成像中的患者定位的根据相机数据的密集身体标记估计

Publications (1)

Publication Number Publication Date
CN117017328A true CN117017328A (zh) 2023-11-10

Family

ID=69468435

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010082463.2A Active CN111557665B (zh) 2019-02-07 2020-02-07 用于医学成像中的患者定位的根据相机数据的密集身体标记估计
CN202310993014.7A Pending CN117017328A (zh) 2019-02-07 2020-02-07 用于医学成像中的患者定位的根据相机数据的密集身体标记估计

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010082463.2A Active CN111557665B (zh) 2019-02-07 2020-02-07 用于医学成像中的患者定位的根据相机数据的密集身体标记估计

Country Status (3)

Country Link
US (2) US11748899B2 (zh)
EP (1) EP3693926A3 (zh)
CN (2) CN111557665B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3671641A1 (en) * 2018-12-20 2020-06-24 Koninklijke Philips N.V. Automated detection of abnormal subject configuration for medical imaging
TWI738001B (zh) * 2019-06-03 2021-09-01 睿傳數據股份有限公司 醫學影像中身體部位識別方法及裝置
US11164336B2 (en) * 2019-09-27 2021-11-02 Martin Adrian FISCH Methods and apparatus for orientation keypoints for complete 3D human pose computerized estimation
US11282218B2 (en) * 2019-11-25 2022-03-22 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for providing medical guidance using a patient depth image
WO2021112821A1 (en) * 2019-12-03 2021-06-10 Siemens Medical Solutions Usa, Inc. Network determination of limited-angle reconstruction
US11547323B2 (en) * 2020-02-14 2023-01-10 Siemens Healthcare Gmbh Patient model estimation from camera stream in medicine
CN112022191B (zh) * 2020-09-03 2023-11-21 上海联影医疗科技股份有限公司 一种摆位方法和系统
WO2022073744A1 (en) * 2020-10-06 2022-04-14 Koninklijke Philips N.V. System and method for automated patient and phantom positioning for nuclear medicine imaging
EP3982287A1 (en) 2020-10-06 2022-04-13 Koninklijke Philips N.V. Object keypoint detection
DE102020213489A1 (de) 2020-10-27 2022-04-28 Siemens Healthcare Gmbh Verfahren und systeme zur vorhersage eines stroms virtueller topogramme
US11694401B2 (en) * 2020-11-25 2023-07-04 Biosense Webster (Israel) Ltd. Reconstruction of registered geometry based on constant fluoroscopic snapshot
US11410309B2 (en) * 2020-12-03 2022-08-09 Ping An Technology (Shenzhen) Co., Ltd. Method, device, and computer program product for deep lesion tracker for monitoring lesions in four-dimensional longitudinal imaging
CN112541926B (zh) * 2020-12-15 2022-07-01 福州大学 一种基于改进FCN和DenseNet的歧义像素优化分割方法
EP4024404A1 (en) * 2021-01-04 2022-07-06 Koninklijke Philips N.V. Method and system for controlling medical imaging sessions and optimizing discomfort of the patient
EP4060363A1 (en) * 2021-03-15 2022-09-21 Koninklijke Philips N.V. Automated detection of critical stations in multi-station magnetic resonance imaging
US11832984B2 (en) * 2021-03-25 2023-12-05 GE Precision Healthcare LLC System and method for motion guidance during medical image acquisition
CN113743814A (zh) * 2021-09-13 2021-12-03 上海联影医疗科技股份有限公司 医学影像质量评价和处理方法、装置、设备和介质
CN113780282B (zh) * 2021-09-15 2024-03-26 上海联影医疗科技股份有限公司 等中心位置确定方法、装置、计算机设备和可读存储介质
DE102021210601B3 (de) 2021-09-23 2022-11-17 Siemens Healthcare Gmbh Ermittlung einer Außenkontur bei MR-Bildgebung

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105873517B (zh) 2013-11-27 2018-10-26 皇家飞利浦有限公司 具有自动等中心的介入x射线系统
US10331850B2 (en) 2014-01-28 2019-06-25 Siemens Healthcare Gmbh Estimating body surface models of patients
WO2016134093A1 (en) * 2015-02-19 2016-08-25 Metritrack, Inc. System and method for positional registration of medical image data
DE102016207367A1 (de) * 2016-04-29 2017-11-02 Siemens Healthcare Gmbh Festlegen von Scanparametern einer CT-Bildaufnahme mit Hilfe einer Außenbildaufnahme
DE102016210131B4 (de) * 2016-06-08 2023-03-09 Siemens Healthcare Gmbh Positionieren eines Untersuchungsobjekts für ein Bildgebungsverfahren
US11241167B2 (en) * 2016-08-17 2022-02-08 The Regents Of The University Of Colorado, A Body Corporate Apparatus and methods for continuous and fine-grained breathing volume monitoring
US11478212B2 (en) 2017-02-16 2022-10-25 Siemens Healthcare Gmbh Method for controlling scanner by estimating patient internal anatomical structures from surface data using body-surface and organ-surface latent variables
US20180300621A1 (en) * 2017-04-13 2018-10-18 International Business Machines Corporation Learning dependencies of performance metrics using recurrent neural networks
US10748296B2 (en) * 2018-01-18 2020-08-18 Elekta, Inc. Methods and devices for surface motion tracking
US10783655B2 (en) 2018-04-11 2020-09-22 Siemens Healthcare Gmbh System and method for assisted patient positioning

Also Published As

Publication number Publication date
EP3693926A2 (en) 2020-08-12
CN111557665B (zh) 2023-08-29
US11972585B2 (en) 2024-04-30
CN111557665A (zh) 2020-08-21
US11748899B2 (en) 2023-09-05
US20230368404A1 (en) 2023-11-16
US20200258243A1 (en) 2020-08-13
EP3693926A3 (en) 2020-10-07

Similar Documents

Publication Publication Date Title
CN111557665B (zh) 用于医学成像中的患者定位的根据相机数据的密集身体标记估计
US10521927B2 (en) Internal body marker prediction from surface data in medical imaging
EP3444776B1 (en) Topogram prediction from surface data in medical imaging
US11559221B2 (en) Multi-task progressive networks for patient modeling for medical scans
CN108433700B (zh) 从表面数据估计患者内部解剖结构
US10849585B1 (en) Anomaly detection using parametrized X-ray images
EP3100236B1 (en) Method and system for constructing personalized avatars using a parameterized deformable mesh
US11410374B2 (en) Synthetic parameterized computed tomography from surface data in medical imaging
CN105027163A (zh) 扫描区域确定装置
JP6501800B2 (ja) 信頼度マッチング付き生体内マルチカメラカプセルからの画像の再構築
US20180330496A1 (en) Generation Of Personalized Surface Data
US20220028129A1 (en) Three-Dimensional Shape Reconstruction from a Topogram in Medical Imaging
EP3699929A1 (en) Patient weight estimation from surface data using a patient model
CN113129343A (zh) 用于x射线成像中的解剖结构/视图分类的方法和系统
EP3865067A1 (en) Patient model estimation from camera stream in medicine
JP6355760B2 (ja) 撮像被写体のモールドの製造方法および個別化撮像方法
Sargent et al. Cross modality registration of video and magnetic tracker data for 3D appearance and structure modeling
CN114119476A (zh) 图像检测方法及相关的模型训练方法、设备、装置
CN117958789A (zh) 扫描床移动控制方法、装置、磁共振设备和存储介质
CN117413297A (zh) 用于医学图像配准的方法和系统
CN112102223A (zh) 用于自动设置扫描范围的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination