CN113657420A - 身体表示 - Google Patents
身体表示 Download PDFInfo
- Publication number
- CN113657420A CN113657420A CN202110515433.0A CN202110515433A CN113657420A CN 113657420 A CN113657420 A CN 113657420A CN 202110515433 A CN202110515433 A CN 202110515433A CN 113657420 A CN113657420 A CN 113657420A
- Authority
- CN
- China
- Prior art keywords
- medical imaging
- data
- machine learning
- imaging data
- learning system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002059 diagnostic imaging Methods 0.000 claims abstract description 161
- 238000010801 machine learning Methods 0.000 claims abstract description 110
- 238000000034 method Methods 0.000 claims abstract description 72
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000005070 sampling Methods 0.000 claims abstract description 18
- 238000003384 imaging method Methods 0.000 claims description 73
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 238000002591 computed tomography Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 11
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000002604 ultrasonography Methods 0.000 claims description 5
- 238000012285 ultrasound imaging Methods 0.000 claims description 3
- 230000005855 radiation Effects 0.000 description 29
- 230000008569 process Effects 0.000 description 15
- 239000003795 chemical substances by application Substances 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 239000000523 sample Substances 0.000 description 11
- 230000009471 action Effects 0.000 description 6
- 230000037237 body shape Effects 0.000 description 5
- 230000008685 targeting Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000013170 computed tomography imaging Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 208000010392 Bone Fractures Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
一种训练表示患者身体的机器学习系统的方法，包括获得多个存储的医学成像数据集，每个医学成像数据集表示相应患者的至少一部分，其中所述多个存储的医学成像数据集中的第一医学成像数据集与所述多个存储的医学成像数据集中的第二医学成像数据集相比表示患者身体的不同部分。估计存储的医学成像数据集中的多个界标，以及使用所述多个界标将每个存储的医学成像数据集对准到预定义姿势以生成对准的医学成像数据集，对对准的医学成像数据集中的多个点进行采样，以及基于至少所述多个点训练机器学习系统以配置机器学习系统的参数。机器学习系统的参数然后被存储并用在推断身体表示的方法中。
Description
技术领域
本发明涉及处理医学图像数据以确定身体表示，特别是改进这样的表示的准确度。
背景技术
医学成像技术可以用于获得关于人体或动物体的信息。例如，X射线图像可以用于检测骨折和对骨折进行分类。在另一个示例中，磁共振成像（MRI）、计算机断层扫描（CT）和超声成像可以用于对身体组织成像并监视随时间的经过的改变。
由这些模态中的每一个捕获的图像数据可以用于检测骨骼和/或组织中的异常，并且使得能够在给定时间处拍摄快照。可以分析这些快照来定位和分类异常。在一些示例中，可能合期望的是准确地瞄准成像。这在成像模态涉及将患者暴露于辐射以捕获图像数据的情况下特别重要。在这样的示例中，为了提供期望的图像质量，合期望的是优化每个患者遭受的辐射量。这可以通过确定准确的身体表示以及用于诸如估计患者的体重或者器官或骨骼的体积之类的其他目的来实现。
因此，在一些成像模态中，可以使用人体的表示将辐射瞄准期望的区域。
本发明的目的是解决提供准确身体表示的至少一些困难。
发明内容
根据本发明的第一方面，提供了一种用于训练用于表示患者身体的机器学习系统的计算机实现的方法，包括获得多个存储的医学成像数据集，每个医学成像数据集表示相应患者的至少一部分，其中所述多个存储的医学成像数据集中的第一医学成像数据集与所述多个存储的医学成像数据集中的第二医学成像数据集相比表示患者身体的不同部分，估计所存储的医学成像数据集中的多个界标，使用所述多个界标将所存储的医学成像数据集中的每一个对准到预定义的姿势以生成对准的医学成像数据集，对对准的医学成像数据集中的多个点进行采样，基于所述多个点训练机器学习系统以配置机器学习系统的参数；以及存储至少机器学习系统的参数。
基于对准的医学成像数据来训练用于表示患者身体的机器学习系统，使得能够基于现有的医学成像数据源来快速且高效地确定患者的身体形状和大小。这使得能够估计患者身体的表示，其允许对患者进行准确成像。在其中成像模态涉及将患者暴露于潜在有害辐射的一些示例中，进行成像所需的辐射量子的准确瞄准减少了患者对辐射的总暴露。应当领会，其他用途可以是明显的，其中的一些在下面描述。
优选地，存储的医学成像数据集是计算机断层摄影数据、磁共振成像数据、x射线成像数据和超声成像数据中的至少一种。这使得机器学习系统能够使用不同类型的成像数据来训练，因为每个成像装置在对患者进行成像时可能需要患者被不同地定位。
优选地，对多个点进行采样包括对于所述多个点中的每一个，确定到医学成像数据集中表示的最近表面的距离。这使得能够确定与该点相关的信息，并将该信息用于评估神经网络输出的真实性。
训练机器学习系统包括基于所述多个点中的至少一个和到最近表面的对应距离来调整至少一个身体表示。这使得能够对多个点进行评估，并且使得机器学习系统能够调整身体表示。
所述至少一个身体表示可以是n维向量。这使得作为机器学习系统的训练处理的一部分而被调整的关于身体表示的信息能够被高效地存储，以便由一个或多个算法分析。
可选地，估计多个界标包括将至少一个界标检测算法应用于存储的医学成像数据集。这使得能够高效地处理医学成像数据集，以基于先前分析的医学成像数据集获得界标位置。
每个界标检测算法可以是被训练来标识人体的一个或多个界标的机器学习算法。这使得能够使用专用于检测每个特定界标的不同算法来标识不同界标的使用，从而提高效率。
界标可以是三维解剖界标。三维解剖界标的使用使得能够将医学成像数据更准确地定位和定向到预定义姿势。
可选地，对准所存储的医学成像数据集包括：标识第一医学成像数据集中的至少一个第一医学数据界标；标识第二医学成像数据集中的至少一个第二医学数据界标，其中第一医学数据界标和第二医学数据界标表示对应的界标；以及基于第一医学数据界标和第二医学数据界标来对准第一医学成像数据集和第二医学成像数据集。这使得医学成像数据集的多个集合（有时表示患者身体的不同部分）能够在组合和对准到预定义姿势之前被对准，从而在训练处理期间提供附加的细节以供使用。
机器学习系统（440）包括至少一个神经网络。这使得能够基于所述多个点和测量的距离来训练神经网络，以优化网络和身体表示。
根据本发明的第二方面，提供了一种推断人体表示的计算机实现的方法，该方法包括：接收使用成像模态捕获的图像数据；估计表示患者的至少一部分的图像数据中的多个界标；使用所述多个界标将所述图像数据对准到预定义姿势以生成对准的图像数据；对对准的图像数据中的多个点进行采样；使用经训练的机器学习系统来分析所述多个点，所述机器学习系统被配置为表示患者身体；基于所述分析来推断人体表示；以及输出所推断的人体表示。
基于经训练的机器学习系统推断身体表示使得能够推断身体的准确表示，从而使得能够对患者进行准确成像。在其中成像模态涉及将患者暴露于潜在有害辐射的一些示例中。进行成像所需的辐射量子的准确瞄准减少了患者对辐射的总暴露。应当领会，其他用途可以是明显的，其中的一些在下面描述。
可选地，图像数据由成像装置捕获，图像数据是计算机断层摄影数据、磁共振成像数据、x射线成像数据、超声数据、点云数据和深度数据中的至少一种。这使得能够针对不同类型的图像数据推断身体表示，因为每个成像装置在对患者进行成像时可能需要患者被不同地定位。
对多个点进行采样可以包括，对于所述多个点中的每一个，确定到图像数据中表示的最近表面的距离，从而确定多个距离。这使得能够确定与该点相关的信息，并将该信息用于评估神经网络输出的真实性。
优选地，推断身体表示包括迭代地向经训练的机器学习系统提供身体表示和多个点，并且将机器学习系统的相应输出与同所述多个点相关联的多个距离进行比较。这使得机器学习系统的输出能够基于所述多个点和基于根据所提供的身体表示的图像数据测量的相关联距离来验证。
可选地，该方法可以进一步包括基于在相应输出和与所述多个点相关联的多个距离之间的比较来调整身体表示。这使得能够基于机器学习系统的输出对身体表示进行调整，以基于所述多个点和对应的测量距离来确定是否可获得更准确的身体表示。
身体表示可以是n维向量。这使得关于身体表示的信息能够被高效地存储，以便由一个或多个算法分析。
优选地，估计多个界标包括将至少一个界标检测算法应用于图像数据。这使得能够高效地处理所述图像数据，以基于先前分析的医学成像数据获得界标位置。
每个界标检测算法可以是被训练来标识人体的一个或多个界标的机器学习算法。这使得能够使用专用于检测每个特定界标的不同算法来标识不同界标的使用，从而提高效率。
界标可以是三维解剖界标。三维解剖界标的使用使得能够将医学成像数据更准确地定位和定向到预定义姿势。
可选地，对准图像数据包括标识在接收到的图像数据中的至少一个第一数据界标，标识与预定义姿势相关联的至少一个第二数据界标数据，其中第一数据界标和第二数据界标表示对应的界标，以及基于第一数据界标和第二数据界标对准第一图像数据和预定义姿势。这使得图像数据的多个集合能够在组合和对准到预定义姿势之前被对准，从而在推断身体表示时提供附加的细节。
优选地，根据第一方面训练机器学习系统。
根据本发明的第三方面，提供了一种用于推断身体表示的装置，该系统包括：训练接口，被配置为获得所存储的医学成像数据；训练单元，被配置为基于所存储的医学成像数据来训练至少一个机器学习系统；推断接口，被配置为接收使用成像模态捕获的图像数据；推断单元，被配置为使用经训练的机器学习系统至少基于捕获的图像数据来推断身体表示。
基于经训练的机器学习系统推断身体表示使得能够推断身体的准确表示，从而使得能够对患者进行准确成像。在其中成像模态涉及将患者暴露于潜在有害辐射的一些示例中。进行成像所需的辐射量子的准确瞄准减少了患者对辐射的总暴露。应当领会，其他用途可以是明显的，其中的一些在下面描述。
根据本发明的第四方面，提供了一种用于推断身体表示的系统，该系统包括：成像装置，被配置为捕获图像数据；存储装置，用于存储医学成像数据集；以及至少一个处理器，被布置为进行上面关于第一和第二方面描述的方法，并被布置为从存储装置获得所存储的医学成像数据集，以及由成像装置捕获的图像数据。
根据本发明的第五方面，提供了一种非暂时性计算机可读存储介质，包括存储在其上的计算机可读指令集，该计算机可读指令集当由至少一个处理器执行时，使得处理器执行上面关于第一和第二方面描述的方法。
附图说明
利用参考随附附图对本发明实施例进行的以下描述，本发明的以上提及的属性、特征和优点以及实现它们的方式将变得更显而易见和可理解，在随附附图中，相同的附图标记用于标示相同的特征。
图1是根据示例的医学成像设备1的示意表示；
图2是示出根据示例的训练用于表示患者身体的机器学习系统的方法的流程图；
图3是示出根据示例推断身体表示的方法的流程图；
图4是根据示例的装置的示意表示；
图5是根据示例的机器学习系统的表示；和
图6是根据示例的系统的示意表示。
具体实施方式
图1示出了根据本发明一个方面的医学成像设备100，包括数据处理单元135。
作为示例，示出了用于医学成像设备100的计算机断层摄影设备，而不限制总体发明思想。
成像设备100具有台架120。台架120具有固定的支撑框架121。台架20具有安装的转子124，因此它可以通过枢轴轴承设备而旋转。成像设备100具有由隧道状开口109形成的图像记录区104。要被成像的对象的区可以被布置在图像记录区104中。
成像设备100具有患者定位设备110。患者定位设备110具有用于定位患者113的定位台111和转移板112。转移板112布置在定位台111上，使得它可以相对于定位台111移动，使得转移板112可以在转移板112的纵向方向上被引入图像记录区104。
辐射投影设备126、128布置在转子124上。辐射投影设备126、128具有被设计成发射辐射量子的辐射源126和被设计用于检测辐射量子的检测器128。辐射量子127可以从辐射源126传递到要被成像的区，并且在与要被成像的区相互作用之后，撞击检测器128。通过该方式，可以检测要被成像的区的投影轮廓。
通过辐射投影设备126、128围绕图像记录区的旋转，对于辐射源126和检测器相对于要被成像的对象的区的不同布置，可以相应地检测至少一个投影轮廓。多个投影轮廓可以形成投影数据集。要被成像的区的医学图像、特别是断层摄影医学图像可以基于由图像重建单元136设置的投影数据来重建。
成像设备100具有用于控制成像设备100的控制设备130。成像设备100还具有输入单元138和输出单元139，输入单元138用于输入控制信息，例如成像参数和检查参数，输出单元139用于输出控制信息和图像，特别是具有通过根据本发明的一方面的方法获得的分割结果的医学图像。
控制设备130可以是例如计算机和/或数据处理系统。控制设备130包括计算机可读介质132、处理器134、数据处理单元135和图像重建单元136。
将辐射源126瞄准感兴趣的区域（诸如异常）减少了递送给患者113的辐射量子。为此，控制设备130需要知道患者113的定位和身体形状。典型地，控制设备130基于从多种来源获得的身体数据，使用粗略的然而是身体的表示。例如，该粗略的身体表示可以由多个圆柱体形成，所述多个圆柱体诸如是针对身体的大的圆柱体和针对患者肢体的四个更小的圆柱体，这些圆柱体中的每一个可以通过诸如患者年龄、身高和体重之类的参数来调整。
在其他示例中，基于统计身体形状模型来估计粗略身体表示，所述统计身体形状模型诸如是人的模型的形状完成和动画，其是基于SCAPE的数据驱动的人类形状模型。然而，这样的模型不准确地表示临床设置。例如，虽然这样的模型是基于在站立姿势下的人体，但是当患者（诸如图1中所示的患者113）定位在成像装置中时，对于患者不是这样的情况。如图1中的患者113图示的，患者通常将他或她的背部平放在桌子上躺下，而通常使用的模型表示站立的身体表示，其中背部有些弯曲。虽然可以进行一些调整来模拟骨骼改变和脂肪组织变形，但是由于这些模拟中固有的不确定性，所述调整容易出错。
在给定成像期间所需的准确度、特别是目标辐射量子的准确度的情况下，或者当进行与上述患者的成像相关的其他功能时，合期望的是确保在瞄准和设置其他系统参数（诸如MRI中的脉冲频率）时使用最准确的身体表示。这促进图像采集并减轻不必要的副作用。身体表示可以是人体或动物体的表示。存在大量高质量的医学成像数据可用，所述医学成像数据与许多患者特性相关联。重要的是，医学成像数据还表示处于所需定位中的患者，从而提高了从其生成的身体表示的准确度。然而，这样的医学成像数据是部分的，仅表示身体的部分/区段。因此，不能单独使用它来根据需要生成表示整个身体或部分身体表示的网格。更进一步地，在假定所述数据表示身体的一部分的情况下，点云表示鉴于其非结构化性质将是不合期望的，因为它具有未定义的拓扑，并且相关联的后处理将是复杂的。类似地，在给定这样的数据的高分辨率以使用体素和/或栅格来生成表示的情况下，增加了复杂性和所需的处理能力。
为了从这样的医学成像数据生成高质量和准确的身体表示，在本发明的实施例中，使用机器学习技术来估计患者身体表示。这提供了效率、准确度和可扩展性的益处。可以使用这样的高质量和表示性的医学成像数据来训练用于表示患者身体的机器学习系统，该机器学习系统进而可以用于估计患者的身体形状。基于机器学习系统的训练而调整的并且可以使用机器学习系统推断的身体表示可以是特定类型身体的模型或模板。例如，身体表示可以与患者的特定特性——诸如身体类型、性别、体重、身高——相关联。在一些示例中，患者的种类可以是一个特性，即患者是人还是动物。然后，该估计可以在治疗中使用，诸如用以准确瞄准辐射量子。
图2是示出训练用于表示患者身体的机器学习系统——诸如下面参考图5描述的机器学习系统440——的方法200的流程图。在框210，获得多个医学成像数据集。医学成像数据集可以是通过使用相同或不同成像模态的一个或多个成像装置随时间的经过从多个患者捕获的数据。更进一步地，医学成像数据集可以表示患者身体的不同部分。医学成像数据集可以是使用不同成像模态捕获的先前捕获的医学成像数据的集合。例如，一个医学成像数据集可以是具有特定类型身体的特定患者的CT成像数据。
更进一步地，医学成像数据可以通过患者特性——诸如年龄、性别、体重、身高——来分组，使得医学成像数据集内的多个集合被分组在一起，并在根据那些患者特性训练机器学习系统时使用。医学成像数据集中的数据可以以点坐标和到最近的表面格式的距离来表示，其允许使用不同种类的数据，不管它们是表示患者身体的一部分还是整个患者身体，不管原始成像模态如何。更进一步地，医学成像数据集可以从CT扫描仪、MRI扫描仪、x射线产品和/或超声波获得，然而，应当领会，可以使用其他成像装置和模态来收集这样的医学成像数据。医学成像数据表示多个不同的患者身体，并且如以上提及的，可以仅表示患者的一部分，诸如腹部、头部或其他身体区域。虽然应当领会，医学成像数据可以从诸如CT扫描仪的单个类型的成像装置获得，但是也应当领会，医学成像数据可以从多种不同类型的成像装置获得。医学成像数据可以从控制系统的存储装置获得，或者经由诸如互联网的网络从远程服务器获得。例如，医学成像数据可以从数据管理系统获得，诸如EMR（电子医学记录）、PACS（图片存档和通信系统）、LIS（实验室信息系统）、RIS（放射信息系统）和/或CVIS（心血管信息系统）。
一旦已经获得了医学成像数据，方法200就前进到框220，在框220处，在存储的医学成像数据中估计多个界标。所述界标可以与医学成像数据所表示的身体表示的部分相关联，并且可以表示内部或外部界标点。例如，可以基于CT医学成像数据来估计器官形状中标识符的定位，然而，应当领会，可以基于所述医学成像数据所表示的部分来使用其他界标。可以基于解剖对象的可标识点和所使用的成像模态来确定这样的界标。
为了检测第一和第二界标点的位置，可以将界标检测机器学习算法应用于医学成像数据。在一些示例中，界标检测机器学习算法基于深度强化学习模型，该深度强化学习模型被训练成基于所使用的成像模态来检测医学成像数据内的特定界标。与所述界标检测机器学习算法相关联的人工智能体被布置成检测界标点，并且可以经由深度强化学习模型来训练。人工智能体可以被训练成学习医学成像数据中呈现的解剖结构，并朝向界标导航。
用于训练人工智能体的深度强化学习模型可以由元组{S，A，T，r}表示，其中：
·S是智能体的状态。智能体的状态可以对应于以点p为中心的医学成像数据的一部分。p表示智能体在医学成像数据内的当前位置。
·A是由智能体进行的动作集。由于智能体被训练来定位医学成像数据内的界标，所以A可以表示与医学成像数据相关联的沿着每个笛卡尔轴、x轴和y轴（以及z轴，当医学成像数据是三维医学成像数据时）的不同位移。
·t是
，其表示随机转移函数，描述在给定动作后到达给定状态中的概率。例如，如果智能体根据动作A移动，则到达界标的可能性是多少。
·r是智能体通过与环境交互而收集的奖励。r可以被定义为：
其中pc表示智能体的当前位置，pgt是它正在追寻的界标的基准真值位置，pn是智能体在执行动作之后的下一个位置。照此，智能体朝向目标移动得越近，奖励越高，并且如果智能体移动远离目标，则奖励具有负值。
该智能体可以由具有给定数量的层的全卷积神经网络来表示。给定医学成像数据内的特定路径，网络可以输出与表示动作的长期回报的Q值相对应的六个实际值。在该示例中，Q值表示对动作集A中的动作的评估。返回的最大Q值指示在下一步骤中移动的方向。因此，假设智能体已经在正确的解剖结构上被训练，为了收集最大的奖励，则智能体将总是更接近地向目标界标的位置移动，并且然后在目标界标的位置处停止。上面的示例是可以如何检测界标的一个示例。应当领会，可以使用检测界标的其他方法，包括使用诸如卷积神经网络的其他深度学习方法。
一旦已经在医学成像数据中估计了多个界标，方法200就前进到框230，在框230，基于估计的界标将医学成像数据对准到预定义的姿势。在一些示例中，在存在表示相同的身体部分的多个医学成像数据集的情况下，在将医学成像数据的第一项目中的界标和医学成像数据的第二项目中的界标这二者对准到预定义姿势之前，然后还可以对准多个表示，使得所述二者对准。预定义的姿势是处于期望姿势的身体的一般表示。预定义的姿势可以是规范姿势，例如患者在被成像时期望或需要采用的姿势。例如，在CT成像的情况下，规范姿势可以是躺在桌子上的患者采用的姿势。估计的界标中的每个与预定义姿势上的对应界标对准，以便将医学成像数据的每个项目定位在期望的定向和位置上。例如，预定义姿势可以具有表示人员的给定特征——诸如眼睛的位置——的界标。因此，可以标识医学成像数据中表示眼睛的界标，并将其用于定向和定位医学成像数据，从而将医学成像数据对准到预定义姿势。由于医学成像数据的每个集合表示所期望表示的一部分，因此可以组合医学成像数据的多个集合来表示预定义姿势。
假定不同的医学成像数据集可以用于构建患者的身体表示，则每个医学成像数据集可能不在相同的尺度内，和/或多个医学成像数据集可能表示患者的相同或基本相似的部分。因此，在一些示例中，合期望的是对医学成像数据应用仿射变换。这涉及相对于预定义姿势旋转、缩放和/或平移医学成像数据，使得界标与同预定义姿势相关联的预定义定位对准。更进一步地，可能有必要通过使数据归一化来缩放医学成像数据，使得可以基于患者特性将相关医学成像数据集对准到单个身体表示，和/或以便提供与不同类型的患者相关联的信息。
对医学成像数据进行归一化包括确定距医学成像数据中表示的对象的中心最远的点，并将该距离设置为1。从该中心到所有其他点的距离可以基于该距离来表示。
鉴于此，在针对身体表示的给定部分存在多个医学成像数据集的情况下，医学成像数据集的对准可能不是基本上完美的。在这样的示例中，可以应用取平均，使得在医学成像数据集具有表示预定义姿势上的相同点的相似界标——所述界标基本上没有完美对准——的情况下，然后可以对界标定位取平均。附加地或者可替换地，在医学成像数据集内的界标的对准基本上不完美的情况下，可以选取最接近的拟合/最佳匹配对准，其目的是减少在预定义姿势和检测到的界标之间的误差。
在医学成像数据与预定义姿势对准之后，在框240，对点进行采样。对点进行采样包括随机选择多个点，用于对照所对准的医学数据进行比较。点可以表示为[x，y，z]和从点到最近表面的有符号距离。有符号距离可以表示点的定位，使得正距离表示表面边界之外的点，并且负距离表示表面边界之内的点。照此，距离的符号将在表面边界处改变。如以上提及的，假设医学成像数据的多个集合与预定义姿势对准，则能够诸如通过获得点的三维坐标来对跨多个医学成像数据的点进行采样，所述三维坐标基于可以用于训练机器学习系统的医学成像数据。
在采样之后，在框250处训练机器学习系统440，诸如下面参考图5描述的机器学习系统。机器学习系统基于采样点和从每个点到最近身体表面的对应距离来训练。机器学习系统可以包括：可以使用的深度神经网络，该深度神经网络使用点和对应的距离来训练，以调整参数和以随机方式初始化并贯穿于训练处理调整的身体表示。代替神经网络，或者连同神经网络一起，应当领会，机器学习系统可以包括任何回归模型，诸如随机森林或任何其他适当的算法或方法。机器学习系统可以利用随机身体表示来初始化，该随机身体表示连同机器学习系统的参数一起将被基于样本点和到最近身体表面的对应距离来细化/配置。随机身体表示可以是身体的n维表示。在训练期间，通过修改一个或多个参数并基于采样点和相关联的距离对随机身体表示进行优化来优化机器学习系统。通过细化随机身体表示，机器学习系统能够接收采样点并且输出到最近表面的有符号距离值。该有符号距离值可以基于与每个采样点相关联的已知距离值来验证。基于验证的成功或失败，可以相应地调整机器学习系统的一个或多个参数。所述参数可以是与机器学习系统的神经网络的神经元相关联的各个权重和/或偏差，所述权重和/或偏差连同身体表示一起被细化，其目的是提供测量距离值和由机器学习系统输出的计算距离值之间的更接近匹配。这可以针对每个采样点重复，使得细化机器学习系统的身体表示和参数。经训练的机器学习系统然后可以用于基于接收到的数据来确定身体表示，如将在下面结合图3进行描述的。
一旦机器学习系统已经被训练，调整的机器学习系统的参数就被存储在与被配置用于训练机器学习系统的系统相关联的存储装置中。
图3是示出根据示例推断身体表示的方法300的流程图。在框310，接收图像数据。图像数据可以是由诸如CT扫描仪的医学成像装置捕获的医学数据，或者可以是深度数据或点云数据。应当领会，图像数据可以是能够指示患者的定位和形状、并且在一些示例中可以指示患者的内部解剖结构的任何三维数据。该示例中的图像数据是经由成像装置——诸如CT扫描仪、MRI扫描仪、X射线产品和/或超声波——使用成像模态捕获的。然而，应当领会，可以使用其他成像装置和模态来收集这样的图像数据。所述图像数据可以是三维医学成像数据。
在框320，分析接收的图像数据以估计一个或多个界标的位置。非常类似于方法200中的框220，上述界标的估计可以使用诸如深度强化学习模型的机器学习算法来进行。界标可以是表示患者身体内的点的内部界标，或者它们可以是表示患者身体上的点的外部界标。在框330，对多个这些界标的估计使得能够将从成像装置接收的图像数据对准到用于生成上面关于图2描述的身体表示的预定义姿势。更进一步地，在框340，在图像数据上采样多个点，以确定点坐标和到图像数据中最近身体表面的有符号距离。
在框350，一旦已经采样了多个点，就基于采样点和经训练的机器学习系统进行分析。经训练的机器学习系统可以是使用上面参考图2描述的方法200生成的机器学习系统，其中分析先前记录的医学成像数据以确定多个界标，并且然后对准到预定义姿势。机器学习系统可以是下面参考图5描述的机器学习系统440。图2的方法200用于基于在训练处理期间被细化的采样点和身体表示来训练机器学习系统。采样点的分析包括分析作为采样处理的一部分计算的采样点坐标，使用经训练的机器学习系统确定有符号距离和身体表示。经训练的机器学习系统可以是深度学习网络、随机森林或回归模型，尽管应当领会，可以利用任何机器学习系统。经训练的机器学习系统接收采样点坐标和随机化的身体表示，机器学习表示使用采样点和随机化的身体表示来确定有符号距离，并基于由机器学习系统输出的有符号距离来细化身体表示。如果基于采样点和医学成像计算的有符号距离基本上类似于由机器学习系统确定的有符号距离，则选择输入到机器学习算法的当前身体表示。否则，调整身体表示，并且重复该处理，直到机器学习系统的输出基本上类似于所确定的有符号距离。照此，该处理可以迭代，直到选择了最佳的身体表示。一旦已经进行了分析，在框360，就通过例如选择身体表示来推断与患者相关联的估计身体表示，其导致机器学习系统基于采样点输出有符号距离，所述采样点与所计算的同采样点相关联的有符号距离紧密对准。
推断的身体表示可以被输出到控制设备或控制设备上的应用，所述控制设备诸如是上面关于图1描述的控制设备130。推断的身体表示可以被用作到多个不同实现中的一个或多个的输入，所述实现包括被布置成确定在对患者成像时使用的多种信息的进一步的机器学习系统。可以使用根据上面参考图2描述的训练处理生成的身体表示来训练进一步的机器学习系统。例如，一个应用是在成像处理内使用推断的身体表示，以准确地瞄准辐射量子，因为患者的身体表示准确地反映了他们的特性，诸如身高、体重，以及特别是在医学成像处理期间的定位。身体表示是捕获相关信息的n维向量，并且可以在成像处理期间用于引导如上所述的成像处理。这提高了随后进行的任何医学成像的效率。其他示例应用包括CT成像中的自动且准确的ISO计算；CT、MR和X射线成像中的自动扫描范围估计；在CT、MR和X射线成像中根据身高、体重和姿势的自动患者登记；MR成像中自动且准确的特定吸收率参数估计；CT和X射线成像中自动且准确的辐射剂量计算；以及用于增强/虚拟现实应用的手术前相对于手术中数据登记。
在进一步的示例中，在框310中获得的图像数据可以被反馈回到图2的方法200，以进一步细化机器学习系统。
图4是根据示例的装置400的示意表示。装置400可以形成系统的一部分，如下面将关于图6描述的，并且能够实现上面分别在图2和图3中描述的方法200和方法300。
装置400被布置成接收存储的医学成像数据410，如上所述，存储的医学成像数据410是先前捕获的并且表示不同类型的患者的医学成像数据的多个集合。可以根据患者特性对存储的医学成像数据410进行分类。存储的医学成像数据410通过训练接口420获得，在一些示例中，该训练接口420可以连接到存储所存储的医学成像数据410的存储装置（未示出）。训练接口420可以被配置为经由有线或无线连接与可以在装置400外部的存储装置进行通信。
装置400还包括训练单元430，训练单元430被配置为基于经由训练接口获得的存储的医学成像数据410来训练至少一个机器学习系统。训练单元430被配置为执行以上关于图2描述的方法200，并训练至少一个机器学习系统440。经训练的机器学习系统440可以存储在存储装置（未示出）中，该存储装置（未示出）可以是与被配置为存储所存储的医学成像数据410的存储装置相同的存储装置。
此外，装置400还被配置为接收使用成像模态捕获的图像数据450。成像模态可以与成像装置（未示出）相关联，该成像装置（未示出）被配置为使用成像模态捕获图像数据。图像数据450由推断接口460接收。一旦接收到，成像数据450就由推断单元470处理，推断单元470被配置为应用上面关于图3描述的方法300，并且使用由训练单元430训练的机器学习系统440至少基于捕获的成像数据450来推断身体表示。
虽然在上面描述并在图4中示出的装置400示出了训练和推断这二者在相同装置中进行，但是应当领会，训练和推断可以由分离的装置进行。类似地，虽然装置400示出了分离的生成接口420和训练接口460，但是应当领会，这些可以是被配置为与存储装置（未示出）和成像装置（未示出）交互的单个接口。
图5是根据示例的机器学习系统440的表示。机器学习系统440能够被训练来提供身体表示。如以上参考图2的方法200提及的，基于从多个医学成像数据集采样的多个点442来训练机器学习系统440。所述多个点442中的每一个都具有对应的所测量的有符号距离（未示出），该对应的所测量的有符号距离（未示出）基于该点与医学成像数据集的关系（即，基准真值）。例如，测量的有符号距离可以是到医学成像数据集中表示的对象的最近表面的距离。测量的有符号距离可以通过例如使用一种或多种图像处理方法、诸如快速行进方法来测量或计算。更进一步地，虽然图5的示例示出了包括3D笛卡尔坐标的点442，但是将领会，可以使用其他坐标系。点442被传递到诸如深度神经网络446的机器学习系统442的可训练部分。应当领会，可训练部分可以是任何可训练的机器学习算法，诸如卷积神经网络、随机森林或回归模型。
神经网络446或其他可训练部分包括在训练处理期间可调整的多个参数446a。神经网络还包括身体的表示446b。表示446b可以是表示身体形状/类型的n维向量。在如以上关于方法200描述的训练处理期间，表示446b被随机初始化，并且作为训练处理的一部分，与参数446a一起被细化。所述参数可以是与机器学习系统的神经网络的神经元相关联的各个权重和/或偏差。训练机器学习系统440包括提供多个点442以及调整参数446a和表示446b，使得输出估计的有符号距离值444。如果由神经网络或其他可训练部分输出的估计的有符号距离值基本上对应于基于医学成像数据集的测量的有符号距离（未示出），则可以存储参数446a和表示446b。然后，可以在作为以上关于图3描述的方法300的一部分的身体表示的推断期间使用经训练的机器学习系统440。
在如上关于图3的方法300描述的身体表示的推断期间，基于接收的图像数据和相关联的测量距离值444的多个采样点442可以被提供给经训练部分446，经训练部分446可以是经训练的神经网络。基于经训练部分446的经训练参数446a，可以基于作为输入提供的多个点442和作为输出预期的有符号距离来推断身体表示446b。这是通过使用经训练部分446优化身体表示446b内的值来实现的。然后，可以存储推断的身体表示446b，以用于在与多个任务相关联的进一步的处理中使用，所述多个任务如上所述诸如是计算SAR、估计患者体重、调节辐射剂量或估计扫描参数。
如以上提及的，机器学习系统可以包括深度神经网络，其可以基于参考文献[1]的第4节、参考文献[2]的第3节或参考文献[3]的第4节中描述的深度神经网络。
图6是根据示例的系统500的示意表示。系统500包括至少一个处理器510，该至少一个处理器510被配置为执行以上关于图2和图3描述的方法200、300，并且在一些示例中可以配置有以上关于图4描述的处理单元。因此，处理器510可以包括多个处理单元，诸如图像信号处理器（ISP）、图形处理单元（GPU）、通用中央处理单元（CPU）或神经处理单元（NPU）。这样的处理器的使用可以优化系统500以利用所描述的神经网络。这是因为，如应当领会的，这样的处理器可以利用多线程处理，并且同时处置大量线程。
更进一步地，处理器510可以存在于诸如用于存储指令的存储器520的其他组件旁边，以使得处理器510能够实现关于图2和图3描述的用于训练机器学习系统和推断身体表示的方法200、300。存储器520还被配置为存储在机器学习系统的训练期间使用的医学成像数据。存储装置520还可以被配置为存储针对关于框220和320描述的神经网络的用于标识医学成像数据内的界标的指令。可替代地，所述一个或多个神经网络、所述指令和所存储的医学成像数据可以在此后借助于计算机可读存储介质被供应（例如以计算机程序产品的形式），所述计算机可读存储介质诸如是光盘（CD）、数字多功能盘（DVD）、硬盘驱动器、固态驱动器、闪速存储器设备等。可替代地，所述一个或多个神经网络和指令可以经由数据通信网络（例如互联网）被下载到存储介质430上。
系统500还包括被配置为采集图像数据的成像装置530，诸如CT成像装置、MRI成像装置、x射线成像装置、超声探头或深度传感器。在一些成像装置中，可以执行侦察扫描。侦察扫描是对患者的相对快速的扫描，并且在诸如CT/ X射线成像的一些示例中，将患者暴露限制在低剂量/低能量辐射下。照此，系统500可以包括被配置为使用期望的成像模态获得图像数据的图像采集机器。
系统500的组件510、520、530可以例如使用系统总线与系统500的其他组件互连，尽管应当领会，一个组件可以直接连接到另一个组件，使得第一组件的输出直接连接到管线中第二组件的输入。这允许数据在各种组件之间高效地传送，而不需要首先存储第一组件的输出。
虽然已经在特定实施例的上下文中详细地图示和描述了本发明，但是本发明不限于所公开的实施例。本领域技术人员可以在不脱离要求保护的发明的保护范围的情况下推论出其他变型。
总之，公开了一种用于训练用于表示患者身体的机器学习系统的方法、装置、系统和计算机可读存储介质，包括：获得多个存储的医学成像数据，其中所述多个存储的医学成像数据集中的第一医学成像数据集与所述多个存储的医学成像数据集中的第二医学成像数据集相比表示患者身体的不同部分；以及估计在存储的医学成像数据中的多个界标。使用所述多个界标将存储的医学成像数据中的每个对准到预定义姿势，并且对存储的医学成像数据中的多个点进行采样。然后，通过配置然后被存储的机器学习系统的参数，将采样点用于训练机器学习系统。
还公开了一种用于推断身体表示的方法、装置、系统和计算机可读存储介质，包括接收使用成像模态捕获的表示患者的至少一部分的图像数据，以及估计图像数据中的多个界标。使用所述多个界标将医学成像数据对准到预定义姿势，并且对图像数据中的多个点进行采样。然后使用经训练的机器学习系统来分析所述多个点，该机器学习系统被配置为表示患者身体，其进而用于推断身体表示。然后输出所推断的身体表示。
参考文献
[1] Park等的“DeepSDF: Learning Continuous Signed Distance Functionsfor Shape Representations”，arXiv.org，2019年。
[2] Mescheder等的“Occupancy Networks: Learning 3D Reconstruction inFunction Space”，arXiv.org，2019年。
[3]Chen Z、Zhang H的“Learning Implicit Fields for Generative ShapeModeling”，arXiv.org，2019年。
Claims (20)
1.一种用于训练用于表示患者身体的机器学习系统（440）的计算机实现的方法（200），包括：
获得（210）多个存储的医学成像数据集（410），每个医学成像数据集表示相应患者的至少一部分，其中所述多个存储的医学成像数据集中的第一医学成像数据集与所述多个存储的医学成像数据集中的第二医学成像数据集相比表示患者身体的不同部分；
估计（220）存储的医学成像数据集（410）中的多个界标；
使用所述多个界标将存储的医学成像数据集（410）中的每一个对准（230）到预定义姿势以生成多个对准的医学成像数据集；
对对准的医学成像数据集（410）中的多个点进行采样（240）；
基于至少所述多个点训练（250）机器学习系统（440）以配置机器学习系统（440）的参数；和
存储（260）至少机器学习系统（440）的配置参数。
2.根据权利要求1所述的计算机实现的方法（200），其中所存储的医学成像数据集（410）是以下各项中的至少一个：
计算机断层扫描数据；
磁共振成像数据；
x射线成像数据；和
超声成像数据。
3.根据任一前述权利要求所述的计算机实现的方法（200），其中对多个点进行采样（240）包括对于所述多个点中的每一个，确定到医学成像数据集（410）中表示的最近表面的距离。
4.根据权利要求3所述的计算机实现的方法（200），其中训练机器学习系统（440）包括基于所述多个点中的至少一个和到最近表面的对应距离来调整至少一个身体表示。
5.根据权利要求4所述的计算机实现的方法（200），其中所述至少一个身体表示是n维向量。
6.根据任一前述权利要求所述的计算机实现的方法（200），其中估计多个界标包括将至少一个界标检测算法应用于存储的医学成像数据集（410），所述界标检测算法是被训练来标识身体的一个或多个界标的机器学习算法。
7.根据任一前述权利要求所述的计算机实现的方法（200），其中对准存储的医学成像数据集（410）包括：
标识第一医学成像数据集中的至少一个第一医学数据界标；
标识第二医学成像数据集中的至少一个第二医学数据界标，其中第一医学数据界标和第二医学数据界标表示对应的界标；和
基于所述第一医学数据界标和所述第二医学数据界标，对准所述第一医学成像数据集和所述第二医学成像数据集。
8.根据任一前述权利要求所述的计算机实现的方法（200），其中机器学习系统（440）包括至少一个神经网络。
9.一种推断身体表示（480）的计算机实现的方法（300），所述方法包括：
接收（310）使用成像模态捕获的表示患者的至少一部分的图像数据（450）；
估计（320）图像数据（450）中的多个界标；
使用所述多个界标将所述图像数据（450）对准（330）到预定义姿势，以生成对准的图像数据；
对对准的图像数据（450）中的多个点进行采样（340）；
使用经训练的机器学习系统（440）分析（350）所述多个点，经训练的机器学习系统被配置为表示患者身体；
基于分析推断（360）身体表示（480）；和
输出（370）推断的身体表示（480）。
10.根据权利要求9所述的计算机实现的方法（300），其中所述图像数据（450）由成像装置（530）捕获，所述图像数据是以下各项中的至少一个：
计算机断层扫描数据；
磁共振成像数据；
x射线成像数据；
超声数据；
点云数据；和
深度数据。
11.根据权利要求9或权利要求10所述的计算机实现的方法（300），其中对多个点进行采样（340）包括，对于所述多个点中的每一个，确定到图像数据（450）中表示的最近表面的距离，从而确定多个距离。
12.根据权利要求11所述的计算机实现的方法（300），其中推断（350）身体表示（480）包括迭代地向经训练的机器学习系统（440）提供身体表示和多个点，并将机器学习系统（440）的相应输出与同所述多个点相关联的多个距离进行比较。
13.根据权利要求12所述的计算机实现的方法（300），进一步包括基于在相应输出和与多个点相关联的多个距离之间的比较来调整随机化的身体表示。
14.根据权利要求9至13中任一项所述的计算机实现的方法（200），其中所述身体表示（480）是n维向量。
15.根据权利要求9至14中任一项所述的计算机实现的方法（300），其中估计多个界标包括将至少一个界标检测算法应用于医学成像数据（450），所述界标检测算法是被训练来标识身体的一个或多个界标的机器学习算法。
16.根据权利要求9至15中任一项所述的计算机实现的方法（300），其中对准图像数据（450），包括：
标识在接收的图像数据中的至少一个第一数据界标（450）；
标识与预定义姿势相关联的至少一个第二数据界标数据，其中所述第一数据界标和所述第二数据界标表示对应的界标；和
基于所述第一数据界标和所述第二数据界标，对准所接收的图像数据和预定义姿势。
17.根据权利要求9至16中任一项所述的计算机实现的方法（300），其中所述机器学习系统（440）根据权利要求1至8中任一项进行训练。
18.一种用于推断身体表示的装置（400），系统包括：
训练接口（420），被配置为获得存储的医学成像数据集（410）；
训练单元（430），被配置为基于存储的医学成像数据集（410）来训练至少一个机器学习系统（440）；
推断接口（460），被配置为接收使用成像模态捕获的图像数据（450）；
推断单元（470），被配置为使用经训练的机器学习系统（440）基于至少捕获的图像数据（450）来推断身体表示（480）。
19.一种用于推断身体表示的系统（500），所述系统包括：
成像装置（530），被配置为捕获图像数据（450）；
存储装置（520），用于存储医学成像数据集（410）；和
至少一个处理器（510），被布置成进行权利要求1至17中任一项的方法（200，300），并且被布置成从存储装置（520）获得存储的医学成像数据集（410），以及由成像装置（530）捕获的图像数据（450）。
20.一种非暂时性计算机可读存储介质，包括存储在其上的计算机可读指令集，所述计算机可读指令集当由至少一个处理器执行时，使得处理器执行权利要求1至17之一的方法（200，300）。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20174249.1A EP3910597A1 (en) | 2020-05-12 | 2020-05-12 | Body representations |
| EP20174249.1 | 2020-05-12 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113657420A true CN113657420A (zh) | 2021-11-16 |
Family
ID=70682672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110515433.0A Pending CN113657420A (zh) | 2020-05-12 | 2021-05-12 | 身体表示 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11837352B2 (zh) |
| EP (1) | EP3910597A1 (zh) |
| CN (1) | CN113657420A (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230169657A1 (en) * | 2021-11-30 | 2023-06-01 | Shanghai United Imaging Intelligence Co., Ltd. | Automatic organ geometry determination |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130177230A1 (en) * | 2012-01-10 | 2013-07-11 | Siemens Aktiengesellschaft | Implant pose determination in medical imaging |
| CN107016717A (zh) * | 2015-09-25 | 2017-08-04 | 西门子保健有限责任公司 | 用于患者的透视视图的系统和方法 |
| CN107492090A (zh) * | 2016-06-09 | 2017-12-19 | 西门子保健有限责任公司 | 根据合成数据利用机器学习的基于图像的肿瘤表型分析 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10607393B2 (en) * | 2017-03-10 | 2020-03-31 | Siemens Healthcare Gmbh | Consistent 3D rendering in medical imaging |
| US20200210767A1 (en) * | 2017-09-08 | 2020-07-02 | The General Hospital Corporation | Method and systems for analyzing medical image data using machine learning |
| US10489907B2 (en) * | 2017-11-13 | 2019-11-26 | Siemens Healthcare Gmbh | Artifact identification and/or correction for medical imaging |
| EP3570249A1 (en) * | 2018-05-14 | 2019-11-20 | Koninklijke Philips N.V. | Preprocessing medical image data for machine learning |
| US11011257B2 (en) * | 2018-11-21 | 2021-05-18 | Enlitic, Inc. | Multi-label heat map display system |
| US10937158B1 (en) * | 2019-08-13 | 2021-03-02 | Hong Kong Applied Science and Technology Research Institute Company Limited | Medical image segmentation based on mixed context CNN model |
-
2020
- 2020-05-12 EP EP20174249.1A patent/EP3910597A1/en active Pending
-
2021
- 2021-04-15 US US17/231,041 patent/US11837352B2/en active Active
- 2021-05-12 CN CN202110515433.0A patent/CN113657420A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130177230A1 (en) * | 2012-01-10 | 2013-07-11 | Siemens Aktiengesellschaft | Implant pose determination in medical imaging |
| CN107016717A (zh) * | 2015-09-25 | 2017-08-04 | 西门子保健有限责任公司 | 用于患者的透视视图的系统和方法 |
| CN107492090A (zh) * | 2016-06-09 | 2017-12-19 | 西门子保健有限责任公司 | 根据合成数据利用机器学习的基于图像的肿瘤表型分析 |
Non-Patent Citations (2)
| Title |
|---|
| JEONG JOON PARK ET AL: "DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, 9 January 2020 (2020-01-09), pages 165 - 174 * |
| YUAN XUE: "Shape-Aware Organ Segmentation by Predicting Signed Distance Maps", 《THE THIRTY-FOURTH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE (AAAI-20)》, 30 April 2020 (2020-04-30), pages 12565 - 12572 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210358595A1 (en) | 2021-11-18 |
| EP3910597A1 (en) | 2021-11-17 |
| US11837352B2 (en) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7039153B2 (ja) | 敵対的生成ネットワークを使用した画像強調 | |
| EP3444776B1 (en) | Topogram prediction from surface data in medical imaging | |
| CN109074639B (zh) | 医学成像系统中的图像配准系统和方法 | |
| EP3355273B1 (en) | Coarse orientation detection in image data | |
| US9684961B2 (en) | Scan region determining apparatus | |
| EP3804624B1 (en) | Synthetic parameterized computed tomography from surface data in medical imaging | |
| US11941812B2 (en) | Diagnosis support apparatus and X-ray CT apparatus | |
| US8655040B2 (en) | Integrated image registration and motion estimation for medical imaging applications | |
| CN113327225B (zh) | 用于提供气道信息的方法 | |
| US11837352B2 (en) | Body representations | |
| US11423554B2 (en) | Registering a two-dimensional image with a three-dimensional image | |
| CN112750519A (zh) | 医学图像数据的匿名化 | |
| KR102442093B1 (ko) | 수술용 내비게이션 시스템에서의 표면 정합 개선 방법 | |
| Oulbacha et al. | MRI to C‐arm spine registration through Pseudo‐3D CycleGANs with differentiable histograms | |
| EP4233000A1 (en) | Detection of image structures via dimensionality-reducing projections | |
| CN116420165A (zh) | 通过具有和不具有形状先验的分割结果来检测解剖异常 | |
| Zhou et al. | Learning stochastic object models from medical imaging measurements by use of advanced ambientgans | |
| CN112790778A (zh) | 采集错误对齐 | |
| US20230281842A1 (en) | Generation of 3d models of anatomical structures from 2d radiographs | |
| US20240005504A1 (en) | Standardizing images of anatomical structures for analysis by machine learning systems | |
| CN114140487A (zh) | 脑部图像分割方法及装置 | |
| Wijesinghe | Intelligent image-driven motion modelling for adaptive radiotherapy | |
| CN116824173A (zh) | 医学图像的处理方法、设备及存储介质 | |
| CN114727800A (zh) | 用于对象检测或识别的图像处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |