CN116324909A

CN116324909A - 对象关键点检测

Info

Publication number: CN116324909A
Application number: CN202180068469.7A
Authority: CN
Inventors: S·克吕格尔
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2020-10-06
Filing date: 2021-09-22
Publication date: 2023-06-23
Also published as: WO2022073761A1; US20230410346A1; DE112021005277T5; EP3982287A1

Abstract

一种用于获得在医学扫描器中的对象的对象关键点的系统，其中，所述对象关键点是预定对象部分关于所述医学扫描器的三维3D坐标。所述系统包括相机系统和处理器，所述相机系统用于获得在所述医学扫描器中的所述对象的二维2D图像，其中，所述相机系统包括一个或多个相机。所述处理器被配置为从所述医学扫描器获得扫描器变量，其中，所述扫描器变量包括所述医学扫描器的部分的位置，所述位置确定所述相机系统中的所述相机与所述对象之间的相对位置。所述处理器基于来自所述相机系统的所述2D图像来确定2D坐标中的对象关键点投影；并且通过基于所述扫描器变量关于所述相机系统对所述对象关键点投影进行三角测量来确定3D坐标中的所述对象关键点。

Description

对象关键点检测

技术领域

本发明涉及为医学检查确定三维对象关键点。

背景技术

为受检者进行医学检查(例如，磁共振、超声、CT扫描等)做准备是一项耗时的任务，并且需要训练有素的操作人员。例如，在磁共振(MR)扫描中，操作人员必须将表面线圈放置在待成像的解剖结构上。需要适当地定义扫描平面以运行勘测扫描(survey scan)。为了定义扫描平面，通常在受检者设置(包括毯子、垫子、听力保护设施、护士呼叫)已经完成后使用遮光板。目标解剖结构的视图常常被设置阻挡。打开遮光板激光设备，并且利用设置将受检者移动到经标记的参考位置。然后操作人员按下按钮以激活扫描器并将坐标传输到扫描器。

最近，已经提出使用3D光学深度感测相机来简化该任务并使其自动化。然而，在有遮挡的场景中，这种方法有局限性。例如，当线圈被放置在待成像的解剖结构的顶部时，用深度感测相机鲁棒准确地确定被遮挡的解剖结构的3D位置是极其困难的，因为没有有效的深度读取结果可用。另外，深度读取结果仅适用于场景中最顶端的对象。光学深度相机无法“透视”对象。

因此，需要在医学检查期间获得重要关键点的准确可靠的3D坐标的系统。另外，需要能够获得被遮挡的关键点的3D坐标的系统。

EP 3693926公开了一种经过训练的网络，这种经过训练的网络用于根据患者的表面图像来估计患者的三维(3D)身体表面和身体区域。使用所估计的患者的3D身体表面来确定患者的等中心。使用所估计的身体区域来生成表示患者的可见身体区域边界和不可见身体区域边界的热图。

发明内容

本发明由权利要求来限定。

根据依据本发明的一个方面的示例，提供了一种用于获得在医学扫描器中的对象的对象关键点的系统，其中，所述对象关键点是预定对象部分关于所述医学扫描器的三维3D坐标，所述系统包括：

相机系统，其用于获得在所述医学扫描器中的所述对象的二维2D图像，其中，所述相机系统包括一个或多个相机；

处理器，其被配置为：

从所述医学扫描器和/或所述相机系统获得扫描器变量，其中，所述医学扫描器包含第一移动部分，并且/或者，其中，所述相机系统包含第二移动部分，并且其中，所述扫描器变量包括所述医学扫描器的所述第一移动部分的位置和/或所述相机系统的所述第二移动部分的位置；

基于来自所述相机系统的所述2D图像来确定2D坐标中的对象关键点投影；并且

通过基于所述扫描器变量关于所述相机系统对所述对象关键点投影进行三角测量来确定3D坐标中的所述对象关键点。

典型地，在医学扫描器(例如，MRI扫描器)中，移动扫描器的一部分，以便扫描器扫描呈受检者的期望身体部分的形式的对象。例如，受检者可能在医学扫描器的扫描区段保持静止时躺在医学扫描器的工作台上。然后移动其顶部承载有受检者的工作台，使得期望的身体部分在扫描器的成像平面(或成像区段)中。

当然，如果受检者是静止的并且扫描器相对于受检者移动，那么扫描结果将是等效的。然后，相机可以随着扫描器移动，从而给出相机系统与对象之间变化的相对位置。在这种情况下，扫描器变量可以包含扫描器的位置和/或相机的位置。通常，扫描器变量包含医学扫描器和/或相机系统的移动部分的位置。

为了估计受检者关于医学扫描器的最佳定位，能够使用对象关键点。对象关键点可以包括身体部分(例如，头部、肩膀、肘部、手腕、臀部、膝盖、脚踝等)，并且/或者对象关键点可以包括佩戴在受检者身上或在受检者附近的对象(例如，线圈、ECG导联、头戴式设备等)。为了提高对受检者的定位的准确度，期望获得3D坐标中的对象关键点。

能够使用相机系统来获得在医学扫描器中的对象的2D图像。能够从与对象关键点相对应的2D图像中确定2D坐标中的对象关键点投影。相机系统可以包括一个相机或一个以上的相机。

另外，由于医学扫描器的移动，相机系统能够以不同的视点(例如，不同的角度)获得对象的2D图像。也能够从医学扫描器获得扫描器变量，所述扫描器变量量化医学扫描器的移动(例如，水平运动、垂直运动、运动角度等)。替代地，可以移动相机系统中的相机来获得不同的视点。

能够结合以不同的视点拍摄的2D图像(以及图像中的每幅图像的对象关键点投影)来使用扫描器变量以对对象关键点投影进行三角测量，并由此确定关于医学扫描器的3D坐标中的对象关键点。

例如，第一相机可以拍摄医学扫描器中的受检者的第一2D图像。可以确定第一2D图像中的与受检者的头部的中心相对应的第一点(例如，像素或像素组)(即，第一对象关键点投影)。对象关键点投影可以是3D对象关键点在第一2D图像上的投影。

随后，在通过医学扫描器的移动部分将受检者在医学扫描器中进行了移动之后，第一相机可以拍摄第二2D图像。扫描器变量包含医学扫描器的移动部分移动的距离(并由此包括受检者移动的距离)。可以确定第二2D图像中的与受检者的头部的中心相对应的第二点(即，第二对象关键点投影)。

因此，能够使用第一点和第二点对对象关键点投影进行三角测量，从而确定3D中的对象关键点。三角测量是指在给定一个点在两幅或更多幅图像上的投影的情况下在3D空间中确定这个点的过程。三角测量有时也被称为重建或相交。

2D图像中的每个点对应于3D空间中的从相机(或传感器)到3D坐标中的对应点的一条线。因此，3D中的线上的所有点都被投影到图像中的点。如果两幅图像中的一对点是公共3D点(即，对象关键点)的投影，那么这对点是对应的。因此，到这对点的两条线在3D坐标中的对象关键点处相交。

能够使医学扫描器的移动部分的移动等于第一相机的移动，因此能够假设：第一受检者没有移动，并且已经用第一相机获得了第一图像，并且已经用第一虚拟相机获得了第二图像，其中，能够基于医学扫描器的移动部分移动的距离来找到第一相机与第一虚拟相机之间的相对位置。

因此，能够确定来自第一相机的第一线(对应于第一点)和来自第一虚拟相机的第二线(对应于第二点)，其中，第一线与第二线在3D空间中的交点定义了对象关键点。

在某些情况下，这些线在3D空间中可能不相交(例如由于噪声、镜头畸变、对象关键点检测误差等)。在这些线不相交的情况下，可以将两条线之间的中点(即，使第一线与第二线之间的距离最小化的点)用作对象关键点。

本领域技术人员将意识到，在第一相机已经相对于受检者发生了移动之后，可以替代地用位于不同于第一相机的位置的第二相机获得第二图像。扫描器变量因此可以包含第一相机与第二相机之间的距离或者第一相机移动的距离。

3D坐标系关于医学扫描器是固定的，使得3D坐标系中的位置表示关于医学扫描器的(不可移动)部分的位置。因此，相对于医学扫描器来确定对象关键点的位置，因此扫描器正对其成像的受检者的部分是已知的。

处理器可以被配置为确定至少两个对象关键点投影。对象关键点投影可以是对象关键点在对应的2D图像上的投影。

相机系统中的每个相机可以具有对应的视场。

扫描器变量可以包括医学扫描器的部分的位置，该位置确定了相机系统中的相机与对象之间的相对位置。

所述处理器可以被配置为基于将所述图像输入到神经网络中来确定所述图像中的任一幅图像的对象关键点投影，其中，所述神经网络被配置为在所输入的图像中的每幅图像中输出所述对象关键点投影。

能够将神经网络训练为识别2D图像中的对象关键点投影并且输出每个对象关键点投影的2D坐标。另外，能够将神经网络训练为检测和/或识别对象关键点投影，即使它们在图像中被遮挡也能够被检测到和/或识别出。例如，受检者的肩膀可能被医学扫描器遮挡，因此受检者的图像不会示出肩膀。然而，神经网络能够学习对象关键点投影的关系之间的图案，并且基于例如另一肩膀和头部的位置并且通过使用网络已经学习的两个肩膀与头部之间的图案(即，它们之间的典型距离)来估计被遮挡的肩膀的位置。

所述神经网络可以被训练为学习与所述对象的不同部分相对应的对象关键点投影之间的关系。换句话说，神经网络可以被训练为学习特定对象关键点投影之间的空间关系。例如，对象可以是受检者，并且可以用在医学扫描器中的对象的图像和与受检者的不同身体部分相对应的多个对象关键点投影来训练神经网络。

所述神经网络可以基于U-Net神经网络架构。

U-Net网络由收缩路径和扩张路径组成。收缩路径类似于典型的卷积网络，其降低了维度并同时增加了收缩路径中的每层的特征信息。然后，扩张路径通过一系列上卷积和级联将增加的特征信息与空间信息进行组合，因此扩张路径中的每层都增加了数据的维度。

U-Net神经网络是为了生物医学图像分割的目的而开发的，并且需要的训练数据量较少，同时产生出高精确度的输出。

所述相机系统包括恰好一个相机。扫描器部件的移动使得能够使用单个相机来获得对象关键点。

所述医学扫描器可以是磁共振成像MRI扫描器，所述MRI扫描器包括：用于定位受检者的工作台和用于获得医学图像的成像区段，并且其中，所述扫描器变量包括所述工作台相对于所述成像区段的位置。

还可以基于以下操作来确定所述对象关键点：基于在第一移动期间移动的距离对在所述第一移动前拍摄的图像中的所述对象关键点投影和在所述第一移动后拍摄的图像中的所述对象关键点投影进行三角测量。

例如，第一移动可以是MRI扫描器上的工作台水平移动10厘米。能够在该移动前拍摄图像，并且能够在该移动后拍摄图像，并且能够为这两幅图像确定相应的对象关键点投影。能够计算这两幅图像之间的两个对应关键点(例如，头部)之间的明显位移，从而能够使用10厘米的真实距离对对象关键点投影进行三角测量，由此找到对应的对象关键点的3D坐标。

所述处理器还可以被配置为基于所述对象关键点来确定所述医学扫描器的成像参数。也可以以这种方式使用对象关键点来自动确定医学扫描器的成像参数。成像参数可以包括成像平面、扫描器的定位等。成像参数将取决于待成像的期望对象部分。

例如，如果医学扫描器的操作人员想要对L4椎骨进行成像，那么处理器能够使用臀部和肩膀与L4椎骨之间的典型距离来确定成像部分的定位(即，x、y、z定位)和角度，以便对L4椎骨进行成像。

本发明还提供了一种用于获得在医学扫描器中的对象的对象关键点的方法，其中，所述对象关键点是关于所述医学扫描器的三维3D坐标，所述方法包括：

从相机系统获得在所述医学扫描器中的所述对象的二维2D图像，其中，所述相机系统包括一个或多个相机；

基于所述2D图像来确定2D坐标中的对象关键点投影；并且

可以基于将所述图像输入到神经网络中来确定所述图像中的任一幅图像的所述对象关键点投影，其中，所述神经网络被配置为在所输入的图像中的每幅图像中输出所述对象关键点投影。

所述神经网络可以基于U-Net神经网络架构。

所述相机系统可以包括一个相机。

所述医学扫描器可以是磁共振成像MRI扫描器，所述MRI扫描器包括用于定位对象的工作台和用于获得医学图像的成像区段，并且其中，所述扫描器变量包含所述工作台相对于所述成像区段的位置。

所述方法还可以包括基于所述对象关键点来确定所述医学扫描器的成像参数。

本发明还提供了一种包括计算机程序代码单元的计算机程序产品，所述计算机程序代码单元当在具有处理系统的计算设备上被运行时使所述处理系统执行上述方法的所有步骤。

参考下文描述的(一个或多个)实施例，本发明的这些方面和其他方面将变得明显并且得到阐明。

附图说明

为了更好地理解本发明并且更清楚地示出如何将本发明付诸实践，现在将仅通过示例的方式参考附图，在附图中：

图1示出了医学扫描器的工作台上的受检者；并且

图2示出了示出如何获得对象关键点的流程图。

具体实施方式

将参考附图来描述本发明。

应当理解，详细描述和具体示例虽然指示装置、系统和方法的示例性实施例，但是这仅用于说明的目的而并不旨在限制本发明的范围。根据以下描述、权利要求和附图将更好地理解本发明的装置、系统和方法的这些和其他特征、方面和优点。应当理解，这些附图仅仅是示意性的并且不是按比例绘制的。还应当理解，贯穿整个附图使用相同的附图标记来指示相同或相似的部分。

本发明提供了一种用于获得在医学扫描器中的对象的对象关键点的系统，其中，所述对象关键点是预定对象部分关于所述医学扫描器的三维3D坐标。所述系统包括相机系统和处理器，所述相机系统用于获得在所述医学扫描器中的所述对象的二维2D图像，其中，所述相机系统包括一个或多个相机。所述处理器被配置为从所述医学扫描器获得扫描器变量，其中，所述扫描器变量包括所述医学扫描器的部分的位置，所述位置确定所述相机系统中的所述相机与所述对象之间的相对位置。所述处理器基于来自所述相机系统的所述2D图像来确定2D坐标中的对象关键点投影；并且通过基于所述扫描器变量关于所述相机系统对所述对象关键点投影进行三角测量来确定3D坐标中的所述对象关键点。

图1示出了医学扫描器的工作台104上的受检者108。相机系统102在受检者108(和医学扫描器)上方并且拍摄受检者108、医学扫描器和任何对象的图像。例如，相机系统102能够拍摄包括受检者108、医学扫描器的成像区段106和头枕112的图像。然后能够使用来自相机系统102的图像来获得对象关键点110的3D坐标。

图2示出了示出如何获得对象关键点110的流程图。根据由相机系统102获得的图像202，确定对象关键点投影204。对象关键点投影204是基于对象关键点110投影到图像202上的2D坐标。这些可以包括受检者108的某些身体部分(头部、肩膀、肘部、臀部等)和诸如头枕112、扫描器中的线圈等对象。可以基于相机系统102中的相机的数量和图像202之间的时间来确定任何数量的图像202。

也从医学扫描器获得扫描器变量206。扫描器变量206给出了工作台104或成像区段106相对于相机系统102的位置。这可以包括工作台104的垂直位置、工作台104的水平位置、工作台104的角度(如果适用的话)或指示相对位置的任何其他变量。初始距离最初可以是已知的(例如当工作台104在医学检查之前处于初始位置时)。相机系统102与工作台104(或成像区段106)之间的距离能够总是由初始距离和扫描器变量206来确定。

在第一示例中，在不同的位置使用相机系统102中的两个(或更多个)相机来拍摄受检者108的两幅(或更多幅)图像202。图像202将来自不同的视点，因为相机无法被定位在完全相同的位置。因此，图像202中的每幅图像中的对象关键点投影204不会在相同的位置。工作台104可能已经在图像202之间发生了移动(即，如果图像202不是同时拍摄的)。然而，工作台104的运动能够由扫描器变量206来量化。因此，图像202中的每幅图像中的受检者108的位置能够基于扫描器变量206被“标准化”(即，被转换到原始位置)。一旦图像202中的每幅图像被标准化，就能够在图2中的点208处对对象关键点投影204进行三角测量，从而获得3D坐标中的对象关键点110。然而，没有必要对图像202进行标准化，因为在三角测量期间能够考虑工作台104的运动。

在第二示例中，在相机系统102中仅使用一个相机。相机在不同的时间点拍摄受检者108的图像202。当工作台104移动时，(在不同时间的)图像202示出了工作台104，并因此示出了处于不同位置的受检者108。根据(基于扫描器变量206得到的)相机系统102与工作台104之间的已知距离，能够对不同图像202的对象关键点投影204进行三角测量以获得3D中的对象关键点110。

利用扫描器变量，总能找到相机系统102与医学扫描器的任何部分之间的距离和相对位置。这也意味着受检者(和其他对象)与相机系统102之间的相对位置也是已知的。这归因于医学扫描器的以下性质，其中，受检者被放置在例如医学扫描器的工作台104上并且某些已知的对象被放置在受检者上/周围(例如，头枕112、毯子等)。

扫描器变量可以包括工作台104的水平运动。例如，工作台104可以报告dx的水平移位。能够为与运动的开始和结束相对应的图像202确定图像202上的对象关键点投影204。使用图像202中的对象关键点投影204之间的明显位移对关键点关于(一个或多个)相机的距离进行三角测量。

另外，扫描器变量可以包括工作台104的垂直运动。例如，相机可以是“偏心的”，使得没有对象关键点110位于相机的中心视图方向上。这是可能的，因为相机的视场能够选择得足够大。相机可以被定位为使得工作台104偏离中心。另外，现代相机具有大量像素，因此使任何对象关键点110偏离中心并不重要。当工作台104垂直移动时，所有对象关键点110将在垂直运动期间示出明显的横向运动，并且能够使用针对已知的垂直运动范围的两幅或更多幅图像202之间的明显的横向移位对所有对象关键点110进行3D中的三角测量。能够等效地使用倾斜居中的视图。

相对运动可能归因于医学扫描器的移动部分的移动(并且相机系统102保持不动)。然而，相对移动也可能由关于医学扫描器(或医学扫描器的部分)正在移动的相机系统102引起。例如，相机系统102可以被放置在医学扫描器的固定部分上，而医学扫描器的另一部分(例如，工作台104)可以移动。医学扫描器可以是例如MRI扫描器、CT扫描器、X射线扫描器、超声扫描器等。

可以使用神经网络过滤器从图像202中确定对象关键点投影204。已经示出基于神经网络的对象关键点投影204检测即使在有遮挡的场景中也能工作，从而将正确的视觉光线返回到可能隐藏在遮挡物后面的对象关键点投影204。这能够从多个角度来完成，从而引起仅对关键点的三角测量，这然后允许对任何被询问的对象关键点投影204的专用3D重建，即使在遮挡物后面也是如此。

能够将对象关键点110任意地定义在对象的表面上或对象的内部(例如，在受检者的身体内部的关节位置)。用于关节关键点检测的神经网络能够被训练为从任意视角检测关节中心。因此，三角测量的3D对象关键点110对应于也在3D中的关节中心。这种观察提供了与基于立体成像或飞行时间成像的3D光学感测的根本区别，立体成像或飞行时间成像只能检测光学反射表面的最高表面点。用于对象关键点110检测的神经网络能够被设计用于人体、人体的(适于临床应用的)任意关键点以及诸如线圈(尤其是它们的3D灵敏度参考点)、头枕112、扫描器工作台104等的对象。

被设计为从任意视角检测关节中心的神经网络即使在图像202具有被阻挡的视图时也能够这样工作。因为来自所有视图的与受检者相对应的所有对象关键点110都没有发生畸变，所以可以无畸变地为受检者正确重建3D骨架。这对于深度感测相机来说是不可能的，因为3D骨架将仅仅是表面骨架，并且在未被成像的身体部分处是畸变的(即，被遮挡的)。对象边界处的深度相机读取结果通常也容易出现较大的误差或部分体积伪影。

与只能递送最上面的暴露表面的表面坐标的RGB深度方法相比，基于神经网络的在3D中的对象关键点110检测具有显著的优点。该表面可能并不提供与实际期望的目标关键点的任何可靠关系。例如，对象关键点110可能被对象(垫子、毯子、线圈、其他身体部分(手放在臀部上)或所有上述内容的任意组合)覆盖。在这种情况下，无法容易地恢复所需的真实3D对象关键点110位置。神经网络为这个问题提供了解决方案，因为由于神经网络模型的典型复杂性和深度，它们能够很好地处理遮挡。

另外，对于由神经网络检测的已知尺寸的对象，也能够使用投影尺寸来估计相机系统102与对象之间的距离。例如，这对于诸如线圈、床垫元件、支撑设备、受检者固定设备和工作台104部分之类的对象是可能的。这对于受检者的对象关键点110来说是不可能的，但是可以给出额外的支持信息。

一种可能使用的神经网络结构是U-Net架构。U-Net架构源于完全卷积网络。U-Net网络通过相继的层来补充典型的收缩网络，其中，池化操作被上采样运算符代替。上采样层提高了输出的分辨率。然后，相继的卷积层可以基于该信息来学习以组装精确的输出。然而，也可以使用其他神经网络架构，包括用于检测特定对象关键点110的定制架构。

可以用医学扫描器中的受检者的图像和对应的扫描器变量来训练神经网络。用于训练的图像具有针对医学成像的专用平衡。例如，图像将是俯卧、仰卧和卧姿以及手臂位置的平衡。另外，图像可以是具有年龄、BMI、性别、种族分布等平衡的受检者。另外，能够用包括各种对象(头枕112、线圈、毯子等)的图像来训练神经网络。

一旦获得了3D对象关键点110，就能够根据所述对象关键点110和针对受检者的所需成像区来构建成像平面。替代地，操作人员(或单独的算法)可以使用3D对象关键点110来构建所述成像平面。

因此，能够使用检测到的对象关键点110的3D位置为使用医学扫描器的医学检查做准备。在系统安装期间，能够使用校准流程将相机系统102的坐标系配准到医学扫描器坐标系(患者坐标系)。使用检测到的3D对象关键点110来估计目标检查解剖结构的位置。例如，肩膀和臀部关键点定义躯干，并且由此能够预测腰椎位置。能够使用目标解剖结构坐标(例如，腰椎顶点L4、L5)来自动设置激光标记和勘测位置。根据身体区域(例如，躯干)的尺寸，能够针对个体受检者对其他相关的扫描参数(如扫描体积/范围、分辨率、折叠或脂肪抑制以及运动校正技术)进行调整。所有这些预先调节引起对扫描的规划和运行的改进，并且引起更加一致的图像质量。

另外，所有检测到的对象关键点110的相对位置允许确定整体受检者位置和取向(例如，头先仰卧或脚先左卧等)。这降低了手动输入错误的整体受检者位置和取向(当前实践)的可能性，并且降低了在检查期间产生错误读取结果的可能性。

也能够使用对象关键点110和姿态来计算安全相关特征。例如，计算某些关键点(例如，手部)的位置以确保它们不会接触或形成表示安全问题的身体环。类似地，计算所有检测到的对象关键点110到医学扫描器的线圈或电缆的距离，以检测可能导致不期望的RF灼伤风险增加的潜在错误设置。这可以缩短针对检查和准备的时间间隙并且降低操作人员出错的可能性。

如上面所讨论的，该系统利用处理器来执行数据处理。处理器能够用软件和/或硬件以多种方式实施以执行所需的各种功能。处理器通常采用一个或多个微处理器，这一个或多个微处理器可以使用软件(例如，微代码)来编程以执行所需的功能。处理器可以被实施为用于执行一些功能的专用硬件与用于执行其他功能的一个或多个经编程的微处理器和相关联的电路的组合。

可以在本公开内容的各种实施例中使用的电路的示例包括但不限于常规的微处理器、专用集成电路(ASIC)和现场可编程门阵列(FPGA)。

在各种实施方式中，处理器可以与一种或多种存储介质相关联，这一种或多种存储介质例如为易失性和非易失性计算机存储器，例如，RAM、PROM、EPROM和EEPROM。可以用一个或多个程序对存储介质进行编码，所述一个或多个程序当在一个或多个处理器和/或控制器上被运行时执行所需的功能。各种存储介质可以被固定在处理器或控制器内，或者可以是可转移的，使得存储在其上的一个或多个程序能够被加载到处理器中。

本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解并实现对所公开的实施例的变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。

单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。计算机程序可以被存储/分布在合适的介质上，例如，与其他硬件一起供应的或作为其他硬件的部分的光学存储介质或固态介质，但是也可以以其他形式分布，例如经由互联网或其他有线或无线电信系统来分布。

虽然某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。

如果在权利要求书或说明书中使用了术语“适于”，那么应当注意，术语“适于”旨在等同于术语“被配置为”。

权利要求中的任何附图标记都不应被解释为对范围的限制。

Claims

1.一种用于获得在医学扫描器中的对象的对象关键点(110)的系统，其中，所述对象关键点(11)是预定对象部分关于所述医学扫描器的三维3D坐标，所述系统包括：

相机系统(102)，其用于获得在所述医学扫描器中的所述对象的二维2D图像(202)，其中，所述相机系统(102)包括一个或多个相机；

处理器，其被配置为：

从所述医学扫描器和/或所述相机系统获得扫描器变量(206)，其中，所述医学扫描器包含第一移动部分，并且/或者，其中，所述相机系统包含第二移动部分，并且其中，所述扫描器变量(206)包含所述医学扫描器的所述第一移动部分的位置和/或所述相机系统的所述第二移动部分的位置；

基于来自所述相机系统(102)的所述2D图像(202)来确定2D坐标中的对象关键点投影(204)；并且

通过基于所述扫描器变量(206)关于所述相机系统(102)对所述对象关键点投影(204)进行三角测量来确定3D坐标中的所述对象关键点(110)。

2.根据权利要求1所述的系统，其中，所述处理器被配置为基于将所述图像(202)输入到神经网络中来确定对象关键点投影(204)，所述神经网络被训练为学习与所述对象的不同部分相对应的对象关键点投影(204)之间的关系，其中，所述神经网络被配置为在所输入的图像(204)中的每幅图像中输出所述对象关键点投影(204)。

3.根据权利要求2所述的系统，其中，所述神经网络基于U-Net神经网络架构。

4.根据权利要求1至3中的任一项所述的系统，其中，所述相机系统(102)包括恰好一个相机。

5.根据权利要求1至4中的任一项所述的系统，其中，所述医学扫描器是磁共振成像MRI扫描器，所述MRI扫描器包括：

用于定位受检者的工作台(104)；以及

用于获得医学图像的成像区段(106)，并且

其中，所述扫描器变量(206)包含所述工作台(104)相对于所述成像区段(106)的位置。

6.根据权利要求1至5中的任一项所述的系统，其中，还基于以下操作来确定所述对象关键点(110)：基于在移动期间走过的距离对在所述移动前拍摄的第一图像中的所述对象关键点投影(204)和在所述移动后拍摄的第二图像中的所述对象关键点投影(204)进行三角测量。

7.根据权利要求1至6中的任一项所述的系统，其中，所述处理器还被配置为基于所述对象关键点(110)来确定所述医学扫描器的成像参数。

8.一种用于获得在医学扫描器中的对象的对象关键点(110)的方法，其中，所述对象关键点(110)是关于所述医学扫描器的三维3D坐标，所述方法包括：

从相机系统(102)获得在所述医学扫描器中的所述对象的二维2D图像(202)，其中，所述相机系统(102)包括一个或多个相机；

从所述医学扫描器和/或所述相机系统获得扫描器变量(206)，其中，所述医学扫描器包含第一移动部分，并且/或者，其中，所述相机系统包含第二移动部分，并且其中，所述扫描器变量包含所述医学扫描器的所述第一移动部分的位置和/或所述相机系统的所述第二移动部分的位置；

基于所述2D图像(202)来确定2D坐标中的对象关键点投影(204)；并且

9.根据权利要求8所述的方法，其中，确定所述对象关键点投影(204)基于将所述图像(202)输入到神经网络中来确定所述对象关键点投影(204)，所述神经网络被训练为学习与所述对象的不同部分相对应的对象关键点投影(204)之间的关系，其中，所述神经网络被配置为在所输入的图像(204)中的每幅图像中输出所述对象关键点投影(204)。

10.根据权利要求9所述的方法，其中，所述神经网络基于U-Net神经网络架构。

11.根据权利要求8至10中的任一项所述的方法，其中，所述相机系统(102)包括恰好一个相机。

12.根据权利要求8至11中的任一项所述的方法，其中，所述医学扫描器是磁共振成像MRI扫描器，所述MRI扫描器包括：

用于定位受检者的工作台(104)；以及

用于获得医学图像的成像区段(106)，并且

13.根据权利要求8至12中的任一项所述的方法，其中，还基于以下操作来确定所述对象关键点(110)：基于在移动期间走过的距离对在所述移动前拍摄的第一图像中的所述对象关键点投影(204)和在所述移动后拍摄的第二图像中的所述对象关键点投影(204)进行三角测量。

14.根据权利要求8至13中的任一项所述的方法，还包括基于所述对象关键点(110)来确定所述医学扫描器的成像参数。

15.一种包括计算机程序代码的计算机程序产品，所述计算机程序代码当在具有处理系统的计算设备上被运行时使所述处理系统执行根据权利要求8至14中的任一项所述的方法的所有步骤。