CN115861459A - 根据2d投影图像的几何测量值的校正 - Google Patents
根据2d投影图像的几何测量值的校正 Download PDFInfo
- Publication number
- CN115861459A CN115861459A CN202211150874.6A CN202211150874A CN115861459A CN 115861459 A CN115861459 A CN 115861459A CN 202211150874 A CN202211150874 A CN 202211150874A CN 115861459 A CN115861459 A CN 115861459A
- Authority
- CN
- China
- Prior art keywords
- orientation
- image data
- ref
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 136
- 238000012937 correction Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000002059 diagnostic imaging Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 30
- 210000000056 organ Anatomy 0.000 claims description 29
- 210000003484 anatomy Anatomy 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 claims description 4
- 210000003141 lower extremity Anatomy 0.000 description 27
- 238000012549 training Methods 0.000 description 16
- 210000003414 extremity Anatomy 0.000 description 15
- 238000011976 chest X-ray Methods 0.000 description 9
- 210000002082 fibula Anatomy 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 210000000629 knee joint Anatomy 0.000 description 7
- 238000013459 approach Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 241000469816 Varus Species 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 210000002303 tibia Anatomy 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012829 orthopaedic surgery Methods 0.000 description 2
- 210000001898 sternoclavicular joint Anatomy 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 108050005509 3D domains Proteins 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000953555 Theama Species 0.000 description 1
- 241001227561 Valgus Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本公开涉及根据2D投影图像的几何测量值的校正。描述了用于校正2D测量值(m)的方法。根据该方法，接收检查对象的2D图像数据(I)。此外，检测2D图像数据(I)中的界标(LM)并且计算界标(LM)的2D位置(a)。此外，使用经训练的模型(Z(a,I,oref))来预测检查对象的经校正的测量值(m^_pdf)，经校正的测量值(m^_pdf)取决于接收到的2D图像数据(I)、界标(LM)的所估计的2D位置(a)以及检查对象的参考3D取向的参考参数(oref)。此外，描述了校正装置(50)。此外，描述了医学成像系统(1)。
Description
技术领域
本发明涉及用于校正几何测量值的方法。本发明还涉及校正装置。此外，本发明涉及医学成像系统。
背景技术
二维(缩写：2D)X射线图像通常用于测量。出于此目的，通常在图像中识别解剖或非解剖的——例如基于装置的——界标，并且测量距离和/或角度。然而，2D图像中界标的位置可以基于被检查的器官的三维(缩写：3D)取向而改变。因此，测量值也可以基于器官的3D取向而改变。
2D测量值对3D器官取向的依赖性造成了某些问题：
患者的X射线检查中的非标准3D器官取向可能使测量值产生偏差，并且不利地影响这些值与来自现有指南的值的比较。
当在不同的3D器官取向下获取同一患者的后续检查时，所得测量值的差可能被误解为由实际的解剖变化而导致。
研究表明：对于长腿X射线检查，肢体、膝关节或足部的旋转对测量值具有统计学上显著的影响。作为示例，由Jamali等人(2017)进行的研究“Do small changes inrotation affect measurements of lower extremity limb alignment？”,Journal ofOrthopaedic Surgery and Research,12:77,https://doi.org/10.1186/s13018-017-0571-6表明：对于一些参数，即使是3°的旋转偏差也可能导致统计学上显著不同的值。图1中示出了从Jamali等人获取的这样的不同的值。
因此，存在2D医学图像的测量值的偏差的问题。
发明内容
前面所提及的问题通过根据本发明的用于校正2D测量值的方法、根据本发明的校正装置以及根据本发明的医学成像系统来解决。
根据用于校正2D测量值的方法，例如从数据源或X射线成像系统接收检查对象的2D图像数据，优选地接收检查对象的X射线图像数据。
要校正的2D测量值取自2D图像数据。优选地，2D测量值包括患者身体的一部分的测量值。例如，在从患者的下肢拍摄图像的情况下，测量值可以包括如图1所示出的诸如mLDFA、MPTA、mTFA、aTFA、AMA和aLDFA的测量值中的至少一个。
基于2D图像数据的2D测量值可能偏离正确的2D测量值，这是因为2D图像数据中检查对象的取向可能与参考取向不同。此外，检测2D图像数据中的界标并估计界标的2D位置。在该上下文中，必须提及的是，界标被分配至2D图像数据中的明确位置。此外，使用经训练的模型来预测检查对象的经校正的2D测量值，该经校正的2D测量值取决于接收到的2D图像数据、界标的所估计的2D位置以及检查对象的参考3D取向的参考参数。如稍后详细讨论的，经校正的测量值优选地包括统计量，即，概率密度函数。
为了更详细地说明方法，本发明设置了一些定义：
首先，本发明定义了从3D域至2D域的变换：
a＝P(r,o)。 (1)
由此，o为特定于对象的坐标系中的检查对象例如器官的3D取向参数，也被称为器官取向参数；r为器官界标的3D位置；以及P为从3D至2D的投影。
其次，本发明定义了从界标的2D位置至2D测量的变换：
m＝M(a)。 (2)
由此，a为器官界标即检查对象的界标的2D位置，M为2D测量定义，并且m为2D测量值。
根据式(1)和式(2)，可以认为2D测量值m为3D取向参数o的函数。
如果检查对象的3D取向参数o由于特定的解剖结构和指示而不同于参考取向参数，则想要知道的是，在将检查对象已经定位在参考位置的情况下2D测量值m会如何。因此，定义了预测不同器官取向参数的测量值的模型Z。
形式上，本发明定义了经校正的测量值：
m^_pdf＝Z(a,I,oref)， (3)
其中，oref为特定解剖结构和指示的参考3D取向参数，I为包括2D图像数据的X射线图像，a为器官界标的2D位置，Z为预测参考取向oref的测量值的模型，并且m^_pdf为所估计的测量值，优选地为所估计的测量值的估计概率密度函数pdf。可以例如通过高斯pdf的平均值和标准差对概率密度函数pdf进行参数化。
有利地，根据本发明的方法为医生提供了用于基于自动确定的取向o以及参考取向oref来估计检查对象例如器官的测量值m的一种支持。
根据本发明的数据校正装置包括：输入接口单元，其用于接收检查对象的2D图像数据；界标检测单元，其用于检测2D图像数据中的界标并且估计界标的2D位置；以及预测单元，其用于使用经训练的模型来预测检查对象的经校正的测量值，该经校正的测量值取决于接收到的2D图像数据、界标的所估计的2D位置以及检查对象的参考3D取向的参考参数。校正装置共享根据本发明的用于校正2D测量值的方法的优点。
根据本发明的医学成像系统优选地为X射线成像系统包括：获取单元，其用于从检查对象获取测量数据，即，原始数据；后处理单元，其用于基于所获取的测量数据来生成经后处理的图像数据；以及根据本发明的校正装置。医学成像系统共享根据本发明的校正装置的优点。
根据本发明的校正装置的基本部件可以大部分地以软件部件的形式设计。这特别地适用于校正装置的界标检测单元和预测单元，而且也适用于输入接口中的一些部分。然而，原则上，这些部件中的一些也可以以软件支持的硬件的形式例如FPGA等来实现，尤其是当涉及特别快速的计算的情况下更是如此。同样地，所需的接口——例如如果仅是从其他软件部件传送数据的问题——可以被设计为软件接口。然而，它们也可以被设计为由合适的软件控制的基于硬件的接口。此外，上面所提及的部件的一些部分可以分布并且存储在本地网络或区域网络或者全球网络中，或者网络与软件的组合中，特别是云系统中。
很大程度上基于软件的实现方式具有以下优点：可以通过软件更新容易地改进已经使用的医学成像系统，以便以根据本发明的方式工作。在该方面，该目的还通过具有计算机程序的相应计算机程序产品来实现，该计算机程序可以被直接加载至例如医学成像系统的具有程序部分的存储装置中，以在医学成像系统中执行该程序的情况下执行根据本发明的方法的所有步骤。除了计算机程序之外，这样的计算机程序产品可以包含附加部件，例如包括用于使用软件的硬件部件例如硬件密钥(加密狗等)的文档和/或附加部件。
为了运输至医学成像系统和/或为了存储在医学成像系统上或医学成像系统中，使用计算机可读介质例如记忆棒、硬盘或一些其它可运输的或永久安装的数据载体，在其上存储有可以由基于AI的分析系统的计算机单元读入和执行的计算机程序的程序部分。计算机单元可以包括例如用于此目的的一个或更多个协作微处理器等。
从属权利要求和以下描述均包含本发明的特别有利的实施方式和改进。特别地，一个权利要求类别的权利要求还可以类似于另一权利要求类别的从属权利要求而进一步改进。另外，在本发明的范围内，不同示例性实施方式和权利要求的各种特征还可以组合以形成新的示例性实施方式。
在根据本发明的用于校正2D测量值的方法的变型中，检查对象包括以下对象类型中的至少一个：
-患者的器官；
-患者的身体的一部分；
-患者的肢体；以及
-患者的胸部。
特别地，可以从不同的旋转方向对身体的可移动部分如上肢或下肢进行成像。在该上下文中，非常有利的是，对测量值进行校正，使得测量值可以与参考取向进行比较。
在肢体检查特别是在下肢X射线检查的情况下，可以测量许多不同的参数，这些参数取决于肢体旋转到不同的程度。通常在不同时间点处获取对同一患者的多次检查，并且应当对测量值进行比较。如今，医生在没有帮助的情况下进行这些测量，并且可以主观地考虑肢体旋转。为了帮助医生并且使测量更客观，可以采用以下方式应用根据本发明的方法：
首先，常规地基于2D图像中的界标来测量患者的每个X射线图像。医生设置界标，或者在优选的场景中，算法找到界标。之后，基于这些2D界标以传统方式计算初步测量值。另外，基于根据本发明的方法，考虑X射线图像数据I来估计肢体的旋转，优选地来估计肢体旋转的概率密度函数；并且进一步地，预测在好像不存在肢体旋转的情况下与下肢相关的测量值，例如MPTA值、aTFA值、aLDFA值。然后，为了透明度起见，医生可以对以下两个结果进行分析：未校正的原始测量值和经校正的结果例如具有95％置信区间的经校正的结果。然后，医生可以解释未校正的值或经校正的值，或者算法可以支持对值的解释。
在胸部X射线检查的情况下，可以检查胸部X射线图像中的外部装置(例如线)的定位。在此，测量值与线的尖端和解剖结构例如隆突之间的距离相关，以例如在顺序检查中比较装置位置。这样的检查在实践中是高度相关的。为了估计胸部的旋转，从胸部X射线图像获得参考界标。
然后，如在临床惯例中所做的，基于当前2D图像的参考界标来确定旋转和倾斜信息。例如，胸部X射线图像中胸锁关节与脊柱之间的距离用于估计患者旋转。将界标分割为热图，使用该方法可容易地实现得出胸部旋转的概率分布。在该上下文中，使用正态分布变量的线性变换，该正态分布变量的线性变换与高斯概率密度函数相关。之后，通过将与实际X射线图像中的测量距离相关的一个概率分布变换成与在好像不存在旋转的情况下的测量距离相关的另一概率分布来确定在好像不存在旋转的情况下的距离。
在根据本发明的用于校正2D测量值的方法的另一变型中，经训练的模型包括要相继执行的第一经训练的模型和第二经训练的模型。有利地，细分成两个单独的任务使得可以进行自动校正。
在根据本发明的用于校正2D测量值的方法的又一变型中，第一模型的输入包括2D图像数据，并且第一模型的输出包括所估计的3D取向参数。为了实现第一模型，可以采用跨模态训练数据生成的构思。这意指：来自一种模态(例如CT系统)的图像用于生成与另一种模态(例如X射线成像系统)的图像类似的对应于不同的对象取向参数值的大量合成图像。有利地，训练数据的数据基础不需要非常广泛，这是因为基于相对小的数据基础生成了具有不同参数的合成图像。
此外，取决于要校正的估计2D位置，第二模型的输入包括所估计的3D取向参数、检查对象的参考3D取向的参考参数以及2D测量值。第二模型的输出包括经校正的测量值。为了实现第二模型，还可以采用跨模态训练数据生成的构思。通过从具有不同3D取向的相同CT体积创建合成的X射线图像，可以对参考3D取向的2D测量值进行一次确定，并且对3D非参考取向的2D测量值m进行N次确定。N为具有其他取向的合成X射线图像的数目。这使得能够生成与不同器官取向参数对应的大量合成X射线图像作为训练数据源。与通过人类标注来收集数据相比，该方法更容易实现。
细分成两个单独的任务，其中，第一任务包括根据图像数据预测实际的器官取向参数，并且第二任务包括将测量值在两个不同器官取向参数值之间进行转换，使得可以进行自动校正。这还通过向人类用户提供易于解释的中间值来使校正过程透明。
为此，模型Z的任务被细分成两个单独的任务：
第一任务是根据X射线图像(即，2D图像数据)预测实际的器官取向参数。
第二任务是将测量值在两个不同器官取向参数之间的两个值之间进行转换。
为了根据X射线图像预测器官取向参数，定义有：
o^_pdf＝U(I) (4)，其中，I为X射线图像，U为用于根据X射线图像预测器官取向参数的模型，并且o^_pdf为对象或器官的估计取向，优选地为3D取向参数的估计概率密度函数pdf，可以例如利用高斯pdf的平均值和标准差对概率密度函数pdf进行参数化。
可以利用两种可能的方法使用深度学习模型来实现模型U：
第一方法是端到端回归方法。第二方法是分割/界标检测方法，然后进行基于规则的参数估计。
利用参考器官取向参数对测量值进行预测可以定义如下：
m^_pdf＝V(m,o^_pdf,oref) (5)
其中，oref为针对特定解剖结构和指示的参考3D取向参数，o^_pdf与3D取向参数相关，优选地与器官或检查对象的3D取向参数的估计概率密度函数相关，m为2D测量值，V代表用于对测量值进行预测的模型；m^_pdf与所估计的测量值相关，优选地与假设参考3D取向参数oref的测量值的估计概率密度函数相关。
在根据本发明的用于校正2D测量值的方法的另一变型中，第二经训练的模型的输入包括所估计的3D取向与参考3D取向之间的差。
V的特定实现方式定义如下：
m^_pdf＝V(m,o^_pdf,oref)＝W(m,d) (6)
d＝D(o^_pdf,oref)， (7)
其中，d为两个3D取向参数之间的差，在两个标量例如旋转值的简单情况下，其可以为d＝D(a,b)＝a-b。
W为基于3D取向参数的差d来对测量值进行预测的模型。优选地，W为可以通过训练人工神经网络结构生成的基于AI(AI＝人工智能)的模型。基于AI的模型的特殊变型包括深度学习模型(缩写：DL模型)。深度学习是较广泛的机器学习方法族的一部分。深度学习中的形容词“深度”是指在网络中使用多个层。深度学习适于从图像渐进地提取较高级的特征。
为了实现模型W，可以再次采用跨模态训练数据生成的构思。通过从具有不同3D取向的相同CT体积创建合成的X射线图像，可以创建用于训练模型W的广泛的训练数据基础。
为了训练基于2D测量值m和差d＝D(o^_pdf,oref)对经校正的测量值m^_pdf进行预测的模型W，可以利用以下参数和取向生成经标记的训练图像数据：
-一次：参考3D取向oref的所估计的2D测量值或对应的概率密度函数m^_pdf；以及
-N次：3D非参考取向o^_pdf的2D测量值m。
在根据本发明的用于校正2D测量值的方法的变型中，通过检查对象的对应于不同3D取向参数的大量合成X射线图像来训练第一经训练的模型。如上面所提及的，该方法与通过人类标注来收集这些数据相比更容易实现。
第一经训练的模型可以通过端到端方法来实现。在该方法中，直接根据图像来预测器官取向参数o^_pdf。为了训练模型例如DL模型，可以采用跨模态训练数据生成的构思。断层扫描图像可以用于生成对应于不同器官取向参数的大量合成X射线图像。DL模型训练的输入数据是合成X射线图像，DL模型的输出是器官取向参数o^pdf的pdf。
替选地，第一经训练的模型包括执行分割的步骤，该第一经训练的模型通过大量合成X射线图像进行训练，其中，模型的输出是具有分割的标签掩模。
然后，优选地，根据标签掩模中解剖结构的位置得出测量值，并且基于测量值来确定3D取向参数。
该变型也被称为分割方法。
在该方法中，首先分割相关的解剖结构，并且基于测量结果将这些结构的位置用于预测器官取向参数o^_pdf。模型训练的输入数据是合成X射线图像，模型的输出是具有像素级分割的标签掩模。根据标签掩模进行测量以预测器官取向参数o^_pdf的pdf。
作为示例，提出以下数学式以基于腓骨和胫骨的分割来预测膝关节旋转：
o^＝-14.20–[0，17*vp(％)+0，35*op(％)+0，31*dist(％)]， (8)
其中，o^为膝关节的旋转，vp为腓骨的可见部分，op为腓骨尖端的交叠部分，并且dist为腓骨尖端与外侧腓骨皮质之间的距离。式(8)取自Maderbacher等人(2014年)的“Predicting knee rotation by the projection overlap of the proximal fibulaand tibia in long-leg radiographs”,Knee Surg Sports Traumatol Arthrosc,22:2982-2988,http://doi.org/10.1007/s00167-014-3327-4。
为了训练模型，如上面所描述的，可以再次采用跨模态训练数据生成的构思。可以在CT图像域中执行解剖结构的分割，并且可以将分割正向投影到2D上。
与端到端回归方法相比，该方法较鲁棒并且对于人类具有较好的透明度。
在根据本发明的用于校正2D测量值的方法的另一变型中，估计3D取向参数的步骤包括：分割2D图像数据的解剖结构并且将这些分割的解剖结构进行定位；以及基于所定位的解剖结构的位置来预测3D取向参数。在该优选的变型中，取向参数的确定被划分成多个分离的任务，其中，分割的第一步骤基于经训练的模型。有利地，与变型相比，该模型的结果可以更容易地由医生验证，其中，在单个步骤中估计取向参数。
在根据本发明的用于校正测量值的方法的又一变型中，对2D图像数据中的3D取向参数的估计包括对2D图像中的3D取向参数的概率密度函数o^_pdf的估计。有利地，可以指示置信区间，该置信区间提供关于所估计的取向值的可靠性的附加信息。
在根据本发明的用于校正测量值的方法的又一变型中，对检查对象的经校正的测量值的预测包括对经校正的测量值的概率密度函数m^_pdf的确定。
有利地，可以指示置信区间，该置信区间提供关于经校正的测量值的可靠性的附加信息。
附图说明
下面参照附图再次说明本发明。在各个附图中，相同的部件被提供有相同的附图标记。
附图通常不是按比例的。
图1示出了肢体的医学图像的一些示例性图示以及取决于医学图像中的肢体的取向的相关测量值，
图2示出了说明根据本发明的实施方式的用于校正2D测量值的方法的流程图，
图3示出了说明图2中描绘的步骤2.IV的流程图，
图4示出了说明图2中描绘的步骤2.V的流程图，
图5示出了根据本发明的实施方式的关于校正装置的示意图，
图6示出了说明根据本发明的第二实施方式的用于校正2D测量值的方法的流程图，
图7示出了关于与下肢图像数据的原始值(即，初步测量值m)和经校正的测量值的比较相关的表格的示意图，
图8示出了说明根据本发明的第三实施方式的用于校正2D测量值的方法的流程图，以及
图9示出了根据本发明的实施方式的关于X射线成像系统的示意图。
具体实施方式
在图1中，描绘了示出与下肢对准的不同公共参数的六种不同测量方法相关的测量值的图表10。在左侧，不同的测量方法示出在字母A、B、C、E、F、G下方。
字母A分配给mLDFA测量，mLDFA测量提供机械外侧远端股骨角度(缩写为mLDFA)的测量值。该测量值mLDFA被定义为股骨机械轴与远端股骨关节轴之间的外侧角度。
字母B分配给MPTA测量，MPTA测量提供内侧近端胫骨角度的测量值。该测量值MPTA被定义为胫骨机械轴与近端胫骨关节轴之间的内侧角度。
字母C分配给mTFA测量，mTFA测量提供机械胫股角度的测量值。
该测量值被定义为股骨机械轴与胫骨机械轴之间的角度，其中正值指示下肢外翻对准并且负值指示下肢内翻对准。
字母E分配给aTFA测量值，aTFA测量值提供解剖胫股角度的测量值。该测量值被定义为股骨的解剖轴与胫骨的解剖-机械轴之间的角度。正值指示下肢外翻对准，并且负值指示下肢内翻对准。
字母F分配给AMA测量值，AMA测量值提供股骨机械轴与股骨解剖轴之间的角度的测量值。
字母G分配给aLDFA测量值，aLDFA测量值提供股骨解剖轴与远端股骨关节轴之间的角度的测量值。
在图1的右侧，在相应的X射线图像中示出了与下肢的不同旋转相关的以度为单位的测量值m。“IR”意指内旋并且与下肢旋转的负值相关，而“ER”意指下肢的外旋并且与下肢旋转的正值相关。虚线条与相对于0°测量基线有显著差异的值相关。如可以从图1得出的，MPTA、mTFA、aTFA和AMA测量的测量值显著地取决于X射线图像中下肢的取向。关于旋转对下肢对准的各种测量参数的影响的其他信息可以参阅Jamali等人的“Do small changes inrotation affect measurements of lower extremity limb alignment？”,Journal ofOrthopaedic Surgery and Research(2017)12:77DOI10.1186/s13018-0571-6。
图2示出了说明根据本发明的实施方式的用于校正2D测量值的方法的流程图200。
在步骤2.I中，从后处理单元4a(在图9中示出)接收检查对象(在该特定实施方式中为下肢)的2D图像数据I。
在步骤2.II中，检测2D图像数据I中的界标LM，其中，估计界标LM的2D位置a。
在步骤2.III中，基于界标LM的2D位置a来计算初步测量值m，例如MPTA值m。如上面所提及的，由于2D图像数据中的下肢旋转与参考旋转相比的可能偏差，因此测量值m可能偏离校正值m^。
在步骤2.IV中，基于下肢的图像数据I来确定3D取向参数——即，下肢旋转——的概率密度函数o^_pdf。确定函数o^_pdf的细节在图3的上下文中讨论。
在步骤2.V中，基于初步测量值m、3D取向参数o的概率密度函数o^_pdf以及参考取向oref来确定经校正的测量值m^的概率密度函数m^_pdf。计算经校正的测量值m^的概率密度函数m^_pdf的细节在图4的上下文中讨论。
在图3中，示出了说明在步骤2.IV中确定函数o^_pdf的细节的流程图300。
在步骤2.IVa中，执行图像数据I的分割。出于此目的，使用经训练的模型来预测具有像素级分割的标签掩模LMSK。
然后在步骤2.IVb中，根据标签掩模LMSK确定用于稍后预测检查对象的取向的概率密度函数o^_pdf的测量值mv。
例如，检查对象为下肢，并且可以根据式(8)计算下肢的取向o^(也被称为膝关节的旋转)。测量值mv包括第一测量值mv1、第二测量值mv2和第三测量值mv3，其中，mv1＝腓骨的可见部分(％)，mv2＝腓骨尖端的交叠部分(％)，mv3＝腓骨尖端与外侧腓骨皮质之间的距离(％)。
为了训练步骤2.IVa的模型例如深度学习模型，可以采用如上面所描述的跨模态训练数据生成的构思。可以在CT图像的域中执行解剖结构的分割，并且然后可以将分割正向投影到2D图像数据上。
在步骤2.IVc中，基于式(8)确定膝关节取向的概率密度函数o^_pdf。
在图4中，示出了说明确定经校正的测量值的概率密度函数m^_pdf的细节的流程图400，在特定实施方式中，经校正的测量值为步骤2.V中的下肢的MPTA值。
在步骤2.Va中，基于膝关节的取向的概率密度函数o^_pdf和参考取向值oref来确定差d。在最简单的情况下，差值d是两个标量值例如膝关节的测量旋转值与参考旋转值之间的差。
在步骤2.Vb中，使用经训练的模型W，基于所确定的差值d和初步测量值m来计算经校正的测量值m^的概率密度函数m^_pdf。
为了实现模型W，可以再次采用跨模态训练数据生成的构思。通过从具有不同3D取向的相同CT体积创建合成的X射线图像，可以对参考3D取向oref的2D测量值m^_pdf进行一次确定并且对3D非参考取向o^_pdf的2D测量值m进行N次确定，以训练模型W。
在图5中，示出了关于校正装置50的示意图。校正装置50包括用于接收检查对象的2D图像数据I——例如下肢的2D图像数据——的输入接口单元51。校正装置50还包括用于检测2D图像数据I中的界标LM并且用于估计界标LM的2D位置a的界标检测单元52。校正装置50还包括用于基于对界标LM的2D位置a的估计来确定初步测量值m的初步测量值确定单元53。校正装置50还包括用于确定检查对象的取向的概率密度函数o^_pdf的取向预测单元54a。基于经训练的模型例如深度学习模型来确定概率密度函数o^_pdf。
校正装置50还包括测量值预测单元54b，测量值预测单元54b用于使用经训练的模型基于检查对象的取向的概率密度函数o^_pdf和初步测量值m来预测检查对象的经校正的测量值m^_pdf。
在图6中，示出了与根据本发明的第二实施方式的方法相关的流程图600，其中，执行下肢X射线检查。
如图1所示，在下肢X射线检查中，可以测量许多不同的参数，这些参数取决于肢体旋转到不同的程度。通常，在不同时间点处获取对同一患者的多次检查，并且应当对测量值进行比较。如今，医生在没有帮助的情况下进行这些测量，并且可以主观地考虑肢体旋转。为了帮助医生并且使测量更客观，提出了以下步骤顺序。
在步骤6.I中，常规地基于2D图像中的界标来测量患者的每个X射线图像。医生设置界标LM，或者在优选的场景中，算法找到界标。
在步骤6.II中，基于这些2D界标LM以传统方式计算初步测量值m。
另外，在步骤6.III中，基于根据本发明的方法，考虑X射线图像数据I来估计肢体旋转的概率密度函数o^_pdf，并且在步骤6.IV中，预测在好像不存在肢体旋转的情况下与下肢相关的测量值m^_pdf，例如MPTA值、aTFA值、aLDFA值。
然后在步骤6.V中，为了透明度起见，医生对以下两个结果进行分析：未校正的原始测量值m和具有95％置信区间的校正结果m^_pdf。
然后，医生可以解释未校正的值或经校正的值，或者算法可以支持对值的解释。
在图7中，示出了将原始值(即，初步测量值m)与下肢图像数据的经校正的测量值m^_pdf和置信区间CI进行比较的表格。图像数据的估计肢体旋转为+10°。测量值m、m^与MPTA、aTFA和aLDFA测量值相关。如可以从图7中的表格得出的，经校正的MPTA值和经校正的aTFA值与对应的测量值显著地不同。
在图8中，示出了与根据本发明的第三实施方式的方法相关的流程图800，其中，执行胸部X射线检查。
在第三实施方式中，在步骤8.I中，从患者获取胸部X射线图像I。在步骤8.II中，检查胸部X射线图像I中外部装置(例如线)的定位。在此，测量值mdist与线的尖端和解剖结构例如隆突之间的距离相关，以例如在顺序检查中比较装置位置。这样的检查在实践中是高度相关的。
在步骤8.III中，从胸部X射线图像I获得参考界标LMref。
在步骤8.IV中，如在临床惯例中所做的，基于当前2D图像I的参考界标LMref来确定旋转和倾斜信息o^_pdf。例如，胸部X射线图像中胸锁关节与脊柱之间的距离用于估计患者旋转o^_pdf。
将界标LMref分割为热图，使用该方法可以直接得出概率o^_pdf分布。在该上下文中，使用正态分布变量的线性变换，该正态分布变量的线性变换与高斯概率密度函数o^_pdf相关。
在步骤8.V中，通过将与实际X射线图像中的测量距离mdist相关的一个pdf变换成与在好像不存在旋转的情况下的测量距离mdist^_pdf相关的另一pdf来确定在好像不存在旋转的情况下的距离mdist^_pdf。
图9示出了X射线成像系统1，该X射线成像系统1包括在图5中详细示出的校正装置50。X射线成像系统1基本上由常规获取单元2组成，常规获取单元2包括X射线检测器2a和与X射线检测器2a相对的X射线源2b。此外，存在患者台3，可以将其上有患者P的患者台3的上部移动至获取单元2，以将患者P定位在X射线检测器2a下方。获取单元2和患者台3由控制装置4控制，用于控制成像过程的获取控制信号(未在图9中示出)来自控制装置4，并且控制装置4从X射线检测器2a接收测量数据MD。控制装置4还包括用于基于接收到的测量数据MD来生成经后处理的2D医学图像数据I的后处理单元4a。
控制装置4还包括根据本发明的上面所提及的校正装置50。由校正装置50分析医学图像数据I，并且结果o^_pdf存储在数据存储单元(未在图9中示出)中。
校正装置50的部件可以主要或完全地以软件元件的形式在合适的处理器上实现。特别地，这些部件之间的接口也可以纯粹地按照软件来设计。所需要的只是对其中可以临时地存储数据并随时调用和更新数据的合适存储区域有访问选项。
此外，不定冠词“一(a)”或“一个(one)”的使用不排除所提及的特征还可以多次出现。同样地，术语“单元”或“装置”不排除其由还可以空间分布的多个部件组成。
Claims (15)
1.一种用于校正2D测量值(m)的方法，所述方法包括以下步骤：
-接收检查对象的2D图像数据(I)；
-检测所述2D图像数据(I)中的界标(LM)，其中，估计所述界标(LM)的2D位置(a)；以及
-使用经训练的模型(Z(a,I,oref))来预测所述检查对象的经校正的测量值(m^_pdf)，所述经校正的测量值(m^_pdf)取决于接收到的2D图像数据(I)、所述界标(LM)的所估计的2D位置(a)以及所述检查对象的参考3D取向的参考参数(oref)。
2.根据权利要求1所述的方法，其中，所述检查对象包括以下对象类型中的至少一个：
-患者(P)的器官；
-患者(P)的身体的一部分；
-患者(P)的肢体；以及
-患者(P)的胸部。
3.根据权利要求1或2所述的方法，其中，经训练的模型(Z(a,I,oref))包括要相继执行的第一经训练的模型(U(I))和第二经训练的模型(V(m,o^_pdf,oref))。
4.根据权利要求3所述的方法，其中，
-所述第一经训练的模型(U(I))的输入包括所述2D图像数据(I)，并且
-所述第一经训练的模型(U(I))的输出包括所估计的3D取向参数(o^_pdf)。
5.根据权利要求3或4所述的方法，其中，
-所述第二经训练的模型(V(m,o^_pdf,oref))的输入包括：
-所估计的3D取向参数(o^_pdf)；
-所述检查对象的参考3D取向的参考参数(oref)；以及
-取决于所估计的2D位置(a)的要进行校正的2D测量值(m)，并且
-所述第二经训练的模型(V(m,o^_pdf,oref))的输出包括经校正的测量值(m^_pdf)。
6.根据权利要求3至5中的一项所述的方法，其中，所述第二经训练的模型(V(m,o^_pdf,oref))的输入包括所估计的3D取向(o^_pdf)与所述参考3D取向(oref)之间的差D(o^_pdf,oref)。
7.根据权利要求3至6中的一项所述的方法，其中，所述第一经训练的模型(U(I))通过所述检查对象的对应于不同3D取向参数(o^_pdf)的大量合成2D图像进行训练。
8.根据前述权利要求中的一项所述的方法，其中，估计所述3D取向参数(o^_pdf)的步骤包括：
-分割所述2D图像数据(I)的解剖结构并且定位所分割的解剖结构(LM)；以及
-基于所定位的分割解剖结构(LM)的位置(a)来预测3D取向参数(o^_pdf)。
9.根据权利要求8所述的方法，其中，所述第一经训练的模型(U(I))包括执行所述分割的步骤，所述第一经训练的模型(U(I))通过大量合成2D图像进行训练，其中，所述模型(U(I))的输出包括具有分割的标签掩模(LMSK)。
10.根据权利要求9所述的方法，其中，
-与解剖结构的位置相关的测量值取自所述标签掩模(LMSK)；以及
-基于所述测量值来确定所述3D取向参数(o^_pdf)。
11.根据前述权利要求中的一项所述的方法，其中，
-对所述2D图像数据(I)中的所述3D取向参数(o^_pdf)的估计包括对所述2D图像中的所述3D取向参数(o^_pdf)的概率密度函数的估计；以及/或者
-对所述检查对象的经校正的测量值(m^_pdf)的预测包括对所述经校正的测量值的概率密度函数(m^_pdf)的确定。
12.一种校正装置(50)，包括：
-输入接口单元(51)，其用于接收检查对象的2D图像数据(I)；
-界标检测单元(52)，其用于检测所述2D图像数据(I)中的界标(LM)并且用于估计所述界标(LM)的2D位置(a)；以及
-预测单元(54a，54b)，其用于使用经训练的模型(Z(a,I,oref))来预测所述检查对象的经校正的测量值(m^_pdf)，所述经校正的测量值(m^_pdf)取决于接收到的2D图像数据(I)、所述界标(LM)的所估计的2D位置(a)以及所述检查对象的参考3D取向的参考参数(oref)。
13.一种医学成像系统(1)，包括：
-获取单元(2)，其用于从检查对象(P)获取测量数据(MD)；
-后处理单元(4a)，其用于基于所获取的测量数据(MD)来生成经后处理的2D图像数据(I)；以及
-根据权利要求12所述的校正装置(50)。
14.一种具有计算机程序的计算机程序产品，所述计算机程序能够被直接加载至医学成像系统(1)的具有程序部分的存储装置中，以当所述计算机程序在所述医学成像系统(1)中执行时执行根据权利要求1至11中任一项所述的方法的所有步骤。
15.一种计算机可读介质，其上存储有能够由计算机单元读入并执行的程序部分，以当所述程序部分由所述计算机单元执行时执行根据权利要求1至11中任一项所述的方法的所有步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP21198444.8A EP4156088A1 (en) | 2021-09-23 | 2021-09-23 | Correction of geometric measurement values from 2d projection images |
| EP21198444.8 | 2021-09-23 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115861459A true CN115861459A (zh) | 2023-03-28 |
Family
ID=77910655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211150874.6A Pending CN115861459A (zh) | 2021-09-23 | 2022-09-21 | 根据2d投影图像的几何测量值的校正 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230090411A1 (zh) |
| EP (1) | EP4156088A1 (zh) |
| CN (1) | CN115861459A (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117830305B (zh) * | 2024-03-04 | 2024-05-03 | 腾讯科技（深圳）有限公司 | 对象测量方法、装置、设备及介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210007806A1 (en) * | 2018-03-21 | 2021-01-14 | Vikas KARADE | A method for obtaining 3-d deformity correction for bones |
-
2021
- 2021-09-23 EP EP21198444.8A patent/EP4156088A1/en active Pending
-
2022
- 2022-09-20 US US17/948,454 patent/US20230090411A1/en active Pending
- 2022-09-21 CN CN202211150874.6A patent/CN115861459A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230090411A1 (en) | 2023-03-23 |
| EP4156088A1 (en) | 2023-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9842394B2 (en) | Detection of anatomical landmarks | |
| US11141225B2 (en) | Image matching device and image matching method | |
| Ma et al. | Multimodal image registration with deep context reinforcement learning | |
| CA2602218C (en) | Method and system for characterization of knee joint morphology | |
| Sarkalkan et al. | Statistical shape and appearance models of bones | |
| Quijano et al. | Three-dimensional reconstruction of the lower limb from biplanar calibrated radiographs | |
| JP5547070B2 (ja) | 対象の骨の取り込み投影画像におけるモーションアーチファクトを修正するための方法、および画像処理システム、コンピュータプログラムコード、およびコンピュータ読み取り可能な媒体 | |
| KR20150024982A (ko) | 무릎뼈의 3차원 좌표 시스템 구축 장치 및 방법 | |
| CN106295110A (zh) | 医学图像处理方法和图像处理系统 | |
| Youn et al. | Iterative approach for 3D reconstruction of the femur from un-calibrated 2D radiographic images | |
| CN115861459A (zh) | 根据2d投影图像的几何测量值的校正 | |
| Wang et al. | Multi-view point-based registration for native knee kinematics measurement with feature transfer learning | |
| Jensen et al. | Joint track machine learning: an autonomous method of measuring total knee arthroplasty kinematics from single-plane X-ray images | |
| CN110459298B (zh) | 用于求出结果值的方法和设备、诊断站和成像系统 | |
| Phan et al. | Predicting anatomical landmarks and bone morphology of the femur using local region matching | |
| CN116158774B (zh) | 用于测量胫骨平台后倾角的方法、设备和计算机存储介质 | |
| US11257219B2 (en) | Registration of static pre-procedural planning data to dynamic intra-procedural segmentation data | |
| Lee et al. | Computer-aided automatic measurement of leg length on full leg radiographs | |
| CN116745811A (zh) | 外周灌注测量 | |
| Jensen et al. | Joint track machine learning: an autonomous method for measuring 6dof tka kinematics from single-plane x-ray images | |
| EP4187546A1 (en) | Assisting subject positioning in medical imaging | |
| Hartanto et al. | Subject-Specific Modelling of Knee Joint Motion for Routine Pre-operative Planning | |
| Simileysky et al. | Tibial contact points cannot be used to determine internal-external axial rotation of the native tibiofemoral joint | |
| Yu et al. | Atlas-Based Reconstruction of 3D Volumes of a Lower Extremity from 2D Calibrated X-ray Images | |
| Lee et al. | Estimation of anatomical locations using standard frame of reference in chest CT scans |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240902 Address after: German Phu F Haim Applicant after: Siemens Medical AG Country or region after: Germany Address before: Erlangen Applicant before: Siemens Healthineers AG Country or region before: Germany |