CN111667417A - 用于确定投影图像的校正后的拍摄几何结构的方法 - Google Patents
用于确定投影图像的校正后的拍摄几何结构的方法 Download PDFInfo
- Publication number
- CN111667417A CN111667417A CN202010142201.0A CN202010142201A CN111667417A CN 111667417 A CN111667417 A CN 111667417A CN 202010142201 A CN202010142201 A CN 202010142201A CN 111667417 A CN111667417 A CN 111667417A
- Authority
- CN
- China
- Prior art keywords
- geometry
- acquisition geometry
- projection
- image data
- optimization method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 172
- 238000005457 optimization Methods 0.000 claims abstract description 106
- 230000006870 function Effects 0.000 claims description 71
- 238000004422 calculation algorithm Methods 0.000 claims description 65
- 230000033001 locomotion Effects 0.000 claims description 51
- 238000012549 training Methods 0.000 claims description 36
- 238000003384 imaging method Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 26
- 238000010801 machine learning Methods 0.000 claims description 16
- 230000004048 modification Effects 0.000 claims description 16
- 238000012986 modification Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 25
- 230000008859 change Effects 0.000 description 18
- 239000002131 composite material Substances 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000002059 diagnostic imaging Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000029058 respiratory gaseous exchange Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013442 quality metrics Methods 0.000 description 3
- 230000000241 respiratory effect Effects 0.000 description 3
- 238000011524 similarity measure Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005489 elastic deformation Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010968 computed tomography angiography Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/424—Iterative
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及一种用于确定投影图像的校正后的拍摄几何结构的方法，包括以下步骤：‑提供投影图像数据组(1)，投影图像数据组包括检查对象的多个投影图像(2)，‑通过第一优化方法(5)，针对每个投影图像确定临时拍摄几何结构(12)，方式是，通过改变临时拍摄几何结构，使第一成本函数(11)最小，其中，第一成本函数取决于多个一致性度量(10)，以及‑通过第二优化方法(6)，针对每个投影图像确定相应的校正后的拍摄几何结构(15)，方式是，通过改变校正后的拍摄几何结构，使第二成本函数(19)最小，其中，第二成本函数取决于依据投影图像和校正后的拍摄几何结构重建的图像数据(16)的图像质量的度量(18)。
Description
技术领域
本发明涉及一种用于确定投影图像的校正后的拍摄几何结构的方法。此外，本发明涉及一种处理设备、计算机程序和计算机可读介质。
背景技术
特别是在进行医学成像的过程中，使用如下方法，在这些方法中，拍摄多个投影图像，以由这些投影图像重建三维图像数据。例如，在进行医学诊断的过程中，使用基于X射线的三维成像，作为重要的数据源。为了生成足够的数据，以尽可能没有错误地进行显示，拍摄设备，例如具有相关联的X射线源的X射线检测器，例如在圆形、圆弓形或者螺旋形轨迹上围绕检查对象运动。替换地，可能有利的是，使得能够关于可自由选择的位置和轨迹进行数据生成。
例如，由于用于调节拍摄设备的调节机构的制造公差和/或弹性，可能在各个投影图像的目标拍摄几何结构与实际呈现的拍摄几何结构之间产生偏差。检查对象、例如患者的运动，也可能导致相对于目标拍摄几何结构的偏差。如果在进行重建时不考虑这些偏差或者不对这些偏差进行校正，则这可能导致图像伪影，或者图像质量的不同的降低。
识别并且校正相应的偏差的一种常见的可能性是，在进行成像之前对医学成像设备进行校准，例如方法是，对准确地已知的测试件进行测量，以识别在采集投影图像时在拍摄设备沿着特定轨迹或者以特定控制模式运动时实际出现的拍摄几何结构，并且在进行图像重建时使用。然而，这种方法成问题的是，必须针对拍摄投影图像可能使用的每个轨迹单独执行这种校准，因为在拍摄设备的路径不同的情况下，公差或者弹性可能产生不同的影响。因此，如果依据具体检查的检查对象或者具体的检查情况，可以基本上自由地调整在拍摄过程中经过的轨迹或者拍摄几何结构，则这种前置的校准仅有限地适用。此外，这种前置的校准不能补偿由于检查对象的运动而导致的拍摄几何结构的偏差。
为了校正拍摄几何结构，或者为了进行运动补偿，在现有技术中提出了不同的方法。Frysch,R.,Rose,G.的文章(2015年10月)Rigid motion compensation ininterventional C-arm CT using consistency measure on projection data,In:International Conference on Medical Image Computing and Computer-AssistedIntervention(pp.298-306),Springer,Cham提出，为了补偿头部运动，对投影数据中的冗余进行分析。然而，通过这种方法，仅能够有限地补偿特定的刚性运动模式以及诸如呼吸或者心脏运动的非刚性运动，因为它们很难通过所应用的冗余条件来确定。特别是，当拍摄设备在一个平面内运动时，只能有限地识别和补偿该平面内的运动。
用于进行运动补偿的另一种方法是，通过改变假定的成像几何结构，来使重建的图像体积的正向投影与投影图像之间的偏差最小。在Ouadah,S.等人的文章(2016)Self-calibration of cone-beam CT geometry using 3D–2D image registration,Physicsin Medicine&Biology,61(7),2613中，详细描述了这种方法。然而，这种方法只有在已经能够以足够的图像质量重建体积时才有希望成功，此外计算开销相对较大。
替换地，可以使用在进行运动校正的过程中分析图像质量指标的方法。在Wicklein,J.等人的文章(2012)Image features for misalignment correction inmedical flat-detector CT,Medical Physics,39(8),4918-4931中，详细说明了这种方法。然而，在这种方法中，需要找到一种图像质量指标，这种图像质量指标使得能够根据投影图像对运动强度进行鲁棒的测量。这种图像质量度量对于不同的数据组和运动，在具有正确的运动估计的位置处，应当尽可能总是具有全局最优值，并且其特性在全局最优值周围应当尽可能凸起，也就是说，小的更强的运动应当相应地单调地对图像质量指标产生影响。图像质量指标的这些复杂的要求，可能使得在假定的拍摄几何结构的误差较大的情况下，仅找到局部最优值，由此找不到正确的拍摄几何结构。此外，由于在每个迭代步骤中都需要反向投影，因此只能够通过高的计算开销来补偿拍摄几何结构的较大的误差。
从文献DE 10 2011 003 653 A1中已知在使用可自由选择的拍摄设备的轨迹的情况下减少有误差的拍摄几何结构的另一种方法。在那里提出的方法以基于模型的投影矩阵计算为基础。
发明内容
因此，本发明要解决的技术问题是，给出一种改善的对投影图像的拍摄几何结构进行校正的方法，使得特别是在假定的拍摄几何结构的误差较大的情况下，也使得能够以相对较低的计算开销，进行鲁棒并且高质量的校正。
根据本发明，上述技术问题通过用于确定投影图像数据组的投影图像的校正后的拍摄几何结构的方法来解决，所述方法包括以下步骤：
-提供投影图像数据组，所述投影图像数据组包括拍摄设备以不同的拍摄几何结构采集的检查对象的多个投影图像，
-通过第一优化方法，针对每个投影图像确定临时拍摄几何结构，方式是，通过改变所述临时拍摄几何结构，使第一成本函数最小，其中，所述第一成本函数取决于多个一致性度量，依据投影图像的相应的对的临时拍摄几何结构来确定所述一致性度量，以及
-通过第二优化方法，针对每个投影图像确定相应的校正后的拍摄几何结构，方式是，通过改变所述校正后的拍摄几何结构，使第二成本函数最小，其中，所述第二成本函数取决于依据投影图像和校正后的拍摄几何结构重建的图像数据的图像质量的度量，其中，在所述第二优化方法的第一迭代步骤中，使用通过所述第一优化方法确定的临时拍摄几何结构，作为校正后的拍摄几何结构。
在本发明的过程中认识到，通过依次使用所提到的两个优化方法，令人吃惊的是，可以通过相对小的计算开销，实现高的校正质量。在此认识到，可以通过以下方式，来减小、甚至完全避免基于图像质量的优化方法的弱点，即在特定应用情况中鲁棒性的缺乏和相对大的计算开销，即，通过基于不同的投影图像之间的预期一致性来校正拍摄几何结构的方法，来进行预优化。
因为在第一优化方法中分析了投影图像之间的一致性，因此可以省去计算复杂的重建、例如反向投影，并且省去正向投影，从而可以以小的计算开销执行第一优化方法。然而，如开头说明的，这种优化方法不能同时鲁棒地补偿拍摄几何结构的所有误差。如果所有拍摄几何结构相应地描述拍摄设备基本上在一个平面内的运动，则仅能够有限地识别或者校正在该平面内的移动或者旋转。然而，这种优化方法的这种缺点又可以通过之后进行第二优化方法来补偿。由于通过第一优化方法进行了预校正，在第二优化方法的过程中针对正确的拍摄几何结构的搜索空间显著减小，从而也可以以合理的计算开销执行第二优化方法。由此，这两个优化方法协同合作，从而使得能够以小的开销对拍摄几何结构进行鲁棒并且准确的校正。
如果以不同的拍摄几何结构对检查对象进行成像，则特别是在利用锥形辐射几何结构的X射线成像中，可以利用以下事实，即，在此，预期在第一投影图像之间存在一定的冗余或者一定的一致性，即在特定的图像区域之间存在某种关系。在开头引用的R.Frysch的出版物的第2.1节中详细说明了这种预期的一致性，在此仅对其进行简要的重复。
如果观察X射线源延伸并且与X射线检测器、即拍摄设备相交的平面，则检查对象的位于该平面中的部分，映射在检测器平面与所观察的平面之间的相交线上。现在，如果观察两个投影图像，对于这两个投影图像，X射线源的相应的位置两者都位于一个平面中，该平面也与两个检测器平面相交，则位于该平面中的检查对象的截面，在两个投影图像中映射在相应的一条线上。如果至少检查对象的相同的吸收相关区域完全映射在相应的线内，则对应的图像区域强烈地相关。如果不是这种情况，则这可能指示有错误地采用的拍摄几何结构。可以如下利用这一点：
对于每个投影图像i和与其相交的每个平面，可以如下计算参量Si(υ，s)：
在此，v描述对应的平面与检测器平面相交的角度，并且s表示该相交线到原点的距离。D是X射线源与X射线检测器之间的距离，并且
是余弦加权的投影图像gi的Radon变换。x和y是相应的投影图像中的像素坐标。现在，如果观察N平面，在假定的拍摄几何结构下，两个X射线源分别位于N平面中，并且N平面与两个投影图像的检测器表面相交，则对于两个投影图像的对i,j，可以定义如下的一致性度量：
在此，指数p预先给定选择哪个p范数。R.Frysch的出版物提出将p设置为0.3。但是也可以使用其它值。
例如可以通过关于投影图像的所有对，将相应的一致性度量εij相加，来确定成本函数。由此，总体上确定不同的S值之间的差的p范数。一方面，临时拍摄几何结构的改变导致针对不同的投影图像的X射线源的位置的变化，由此可以导致对针对各个投影图像对的不同的平面的分析。另一方面，检测器平面的位置、由此平面与检测器平面之间的相交线的延伸发生变化。由此，通过改变拍摄几何结构，可以使成本函数最小。
在第二优化方法的过程中，可以在每个优化步骤或者每次迭代中，重建三维图像数据组。在投影图像的拍摄几何结构已知的情况下重建三维图像数据组的不同的可能性，在现有技术中是已知的，因此不对其进行详细说明。随后，可以依据整个重建的图像数据，或者还依据一个或多个截面图像，来计算图像质量的度量。例如，也可以计算多个截面图像的图像质量，并且成本函数例如可以是这些不同的图像质量的p范数或者类似物。在开头引用的J.Wicklein等人的出版物的第II C节中讨论了可使用的不同的图像质量的度量。在此，这些度量可以单独使用，或者成本函数可以包括这些度量中的多个的加权和或者p范数。如稍后还要更详细地说明的，特别优选通过借助机器学习经过训练的算法来确定图像质量的度量。
为了优化或者改变临时拍摄几何结构或者校正后的拍摄几何结构，特别是可以使用用于优化具有多个参数的非线性函数的优化算法，例如下坡单纯形法(Downhill-Simplex-Verfahren)，其也称为Nelder-Mead方法。
可以通过以下方式来确定投影图像数据组，即，针对每个投影图像，预先给定拍摄设备的目标位置和/或目标朝向，并且使用至少一个致动器，以将拍摄设备置于目标位置和/或目标方向，之后使用拍摄设备来拍摄相应的投影图像，其中，在第一优化方法的第一迭代步骤中，使用依据相应的目标位置和/或目标朝向预先给定的拍摄几何结构，作为临时拍摄几何结构。在此，可以假定检查对象的位置是恒定的，或者例如可以通过传感器至少近似地采集并且考虑检查对象的位置。特别是，可以预先给定如下的轨迹，致动机构沿着该轨迹引导拍摄设备，以将拍摄设备依次置于不同的目标位置。拍摄设备的实际轨迹和实际使用的拍摄几何结构可以不同于预先给定的轨迹和预先给定的拍摄几何结构。在此，原则上，可以通过相应的校准或者通过考虑环境条件，来考虑静态偏差，例如校准偏差，和/或例如由于部件的热膨胀引起的、与环境条件相关的偏差。然而，在基本上自由地选择目标位置或者目标朝向或者使用的轨迹的情况下，几乎不能以其它方式对与具体的调节路径相关并且例如可能由调节机构的间隙(Spiel)或者弹性引起的公差进行补偿，因此特别是可以使用所说明的方法，来对由这些原因形成的拍摄几何结构的误差进行补偿。
可以依据检查对象和/或用户的操作输入，来预先给定目标位置和/或目标朝向，和/或目标位置不能位于圆形轨道上。如已经提到的，在所提到的情况下，例如几乎不能通过前面的校准，来对拍摄几何结构进行校正，因此可以特别有利地使用根据本发明的方法。通过根据本发明的方法，特别是在基本上自由地预先给定目标位置或者目标朝向或者引导拍摄设备的轨迹的情况下，仍然可以实现校正后的拍摄几何结构的非常好的准确度，由此特别是可以实现三维图像数据的高质量的重建。
作为拍摄设备，可以使用X射线检测器，X射线检测器与X射线源一起布置在支架、特别是C形臂上。在此，在确定校正后的拍摄几何结构的过程中，在最简单的情况下，可以假定，X射线源和X射线检测器的相对位置是已知的并且是不变的。然而，为了也能够考虑C形臂的扭转或者相对位置的其它偏差，在优化临时和/或校正后的拍摄几何结构的过程中，也可以考虑X射线源和X射线检测器的相对位置的变化。如果使用具有足够的张角的扇形辐射X射线源，则在此一般可以忽略X射线源的朝向的误差，从而例如可以仅通过X射线检测器的位置和朝向以及X射线源的位置，来描述拍摄几何结构。
X射线检测器和X射线源可以可调节地或者刚性地固定在支架上。特别是如果这些部件中的至少一个可调节地固定在支架上，则考虑X射线源和X射线检测器的相对位置是重要的。
可以通过以下方式来确定投影图像数据组，即，针对每个投影图像，预先给定拍摄设备相对于支承检查对象的支承装置的目标位置和/或目标朝向，并且使用致动器，以将拍摄设备置于目标位置和/或目标朝向，之后使用拍摄设备来拍摄相应的投影图像，其中，在第一优化方法的第一迭代步骤中，在假设检查对象在投影图像的拍摄之间相对于支承装置没有运动，或者根据预先给定的运动模式运动的情况下，预先给定临时拍摄几何结构。换言之，也可以使用根据本发明的方法，来至少对检查对象或者检查对象的一部分的运动进行补偿，或者对相对于预期的或者预先给定的运动模式的偏差进行校正。例如可以通过传感器，例如通过照相机和放置在检查对象上的标记，来采集预先给定的运动模式，或者可以根据伪周期性的运动模式、例如呼吸或者心跳的模型，来确定预先给定的运动模式。
可以在如下边界条件下执行第二优化方法，即，校正后的拍摄几何结构的第一成本函数的值，小于或者等于通过第一优化方法确定的临时拍摄几何结构的第一成本函数的值。换言之，在第二优化方法的过程中，仅考虑如下的拍摄几何结构，关于在第一优化方法中使用的成本函数，这些拍摄几何结构至少与在第一优化方法中最终确定的临时拍摄几何结构一样最佳。由此防止由于使用第二优化方法，而导致在第一优化方法中使用的成本函数方面变差。
当在第一优化方法中，仅在自由度方面，对拍摄几何结构进行优化时，这可能是特别有利的，第一成本函数在自由度方面特别敏感，如稍后还要进行详细地说明的。在这种情况下，第二优化功能可以主要用于校正其余的自由度，其中，通过边界条件，可以防止在结果中，在第一优化中已经考虑的自由度中的误差变大。例如可以通过存储第一优化结束时的第一成本函数的值，并且将其与在第二优化的过程中确定的校正后的拍摄几何结构的第一成本函数的值进行比较，来分析边界条件。
为了确定图像质量的度量，可以使用通过机器学习方法经过训练的算法。作为算法，可以使用神经网络，特别是卷积神经网络。机器学习算法，特别是卷积神经网络，特别适合用于以不同的分辨率等级识别并且考虑大量的图像特征。与例如在开头引用的J.Wicklein的出版物中讨论的已知的图像质量度量相比，机器学习算法可以学习大量合适的图像特征，并且尽可能最佳地将它们组合在一起。
算法可以作为输入数据，来处理整个重建的图像数据，特别是三维体积图像数据组。然而，算法也可以仅处理重建的图像数据的一部分，或者是由重建的图像数据生成的处理数据。例如，算法可以作为输入数据，来处理根据重建的图像数据确定的一个层图像或多个层图像。特别是，算法可以作为输出值，输出单个标量，该标量是图像质量的度量。如下面将更详细地说明的，这使得能够简单地对算法进行训练，并且能够简单地对输出数据进行进一步处理。然而，也可能潜在地输出特征向量或者类似物，用于例如单独对图像质量的多个维度进行分析。
在神经网络中，特别是在卷积神经网络中，可以通过卷积(Faltung)、应用激活函数和欠采样，从连续的多个层中的输入数据中提取图像特征。作为最后一层，可以使用所谓的“fully connected layer(完全连接层)”，以将图像特征组合成作为图像质量的度量的标量。神经网络、特别是卷积神经网络的功能，在其它应用领域中的现有技术中是已知的，因此不进行详细描述。
对算法的训练特别是可以通过监督训练来进行，其中，各个训练数据组分别包括算法的输入数据和目标结果。训练数据组分别可以包括三维图像数据或者一个或多个层图像的层图像数据。可以利用拍摄几何结构的已知的误差，来重建三维图像数据或者层图像数据。这使得描述这种误差的度量能够作为目标结果纳入相应的训练数据组中。在监督学习的过程中，可以使算法的处理结果与目标结果的偏差最小。为此，例如可以使用误差反馈。用于训练机器学习算法的不同的可能性在现有技术中已知的，因此不进行详细说明。
可以通过训练组来对算法进行训练，训练组分别包括重建的图像数据和要针对这些重建的图像数据确定的图像质量的度量的目标值，其中，以如下方式，根据预先给定的投影图像，对重建的图像数据进行重建，即，在进行重建时，针对投影图像中的至少一个，考虑根据修改预给定参数修改后的拍摄几何结构，其中，依据修改预给定参数来确定目标值。如上面所说明的，由此，可以实现以已知的误差来重建三维图像数据或者层图像数据，并且训练数据组包括描述该误差的度量。
在此，首先可以确定以高的准确度已知成像几何结构的投影图像。这种投影图像例如可以通过以下方式来确定，即，利用拍摄设备的固定地预先给定的轨迹，或者利用拍摄几何结构的固定地预先给定的序列，对不运动的对象进行成像，其中，如开头所说明的，针对这些轨迹或者序列，对所使用的设备进行校准。替换地或者附加地，可以通过三维图像数据的正向投影，人工地生成具有相应地准确地已知的拍摄几何结构的投影图像。在此，例如可以使用合成的三维图像数据或者以其它方式以高质量重建的图像数据。随后，可以对这些投影图像的高度准确并且基本上没有误差的拍摄几何结构进行修改。在此，针对一组投影图像，可以进行大量不同的修改。例如，对于投影图像中的不同的投影图像，可以设置拍摄设备相对于检查对象的相同或者不同的移动和/或旋转。如前面所说明的，如果还要考虑X射线源与X射线检测器之间的相对运动，则可以在修改拍摄几何结构时考虑这一点。随后，可以通过重建算法，依据修改后的一个或多个拍摄几何结构，来重建一个重建的图像数据组或多个重建的图像数据组。
由于修改拍摄几何结构的程度是已知的，因此可以将其度量纳入到相应的训练数据组中。在最简单的情况下，例如可以作为目标值纳入在修改过程中使用的运动和/或旋转的加权和。然而，已经证明有利的是，使用所谓的反向投影失配(Back ProjectionMismatch)作为目标值，或者确定依据反向投影失配确定的目标值。
反向投影失配是通过修改成像几何结构，各个图像点在投影图像中移动的程度的度量。这种度量例如可以通过预先给定合成三维图像数据来确定，合成三维图像数据包括优选相对于彼此以相等的距离布置的多个单个的图像点。现在，对于要考虑的每个投影图像，针对正确的拍摄几何结构确定一次，并且针对根据修改预给定参数修改后的拍摄几何结构，确定一次各个图像点的正向投影，并且将如此投影的点之间的距离或者距离矢量，确定为该投影图像和该点的成像误差。将反向投影失配确定为不同的点和投影图像的成像误差的度量、特别是2范数或者其它p范数。
总之，本发明由此还涉及一种用于通过机器学习方法来训练算法的方法。在此，特别是可以进行监督学习，并且可以如上所述预先给定训练数据组。此外，本发明涉及一种通过这种训练方法经过训练的算法，该算法用于确定根据投影图像重建的图像数据的图像质量的度量，或者作为方法结果在这种机器学习方法的过程中确定的算法的参数。此外，本发明涉及一种计算机可读介质，计算机可读介质以可读并且可执行的程序段的形式存储经过训练的算法，或者存储在机器学习方法的过程中确定的、用于将该算法参数化的参数。
在用于确定投影图像的校正后的拍摄几何结构的方法中，第二成本函数附加地可以取决于多个一致性度量，依据投影图像的相应的对的校正后的拍摄几何结构来确定这些一致性度量。特别是，第二成本函数可以包括如下项，除了为了确定该项，代替临时拍摄几何结构，考虑校正后的拍摄几何结构之外，该项对应于第一成本函数。可以在第二成本函数中，通过加权因数，对该项或者取决于一致性度量的项进行加权，加权因数给出一致性度量影响第二优化方法的程度。通过在第二成本函数中也考虑一致性度量，可以同时对投影图像对之间的一致性和重建的图像数据的图像质量进行优化，由此在许多情况下，可以加速优化的收敛，和/或改善优化结果。
可以通过多个几何参数，来描述每个投影图像的临时和校正后的拍摄几何结构，其中，几何参数分别描述拍摄设备或者拍摄设备的部件相对于检查对象的平移或者旋转，其中，在第一优化方法的过程中，仅改变不包括所有几何参数的几何参数的子群(Untergruppe)，用于确定临时拍摄几何结构。例如，如果在X射线拍摄中，尽可能在一个平面内引导X射线源和X射线检测器，则拍摄几何结构在该平面内的偏差，即围绕垂直于该平面的轴线的旋转或者在该平面内的移动，可能仅相对小地对一致性度量产生影响，而围绕位于该平面中的轴线的旋转或者垂直于该平面的移动，可能导致一致性度量的明显更强的变化。因此，依据具体使用的拍摄设备的轨迹或者拍摄几何结构，与几何参数中的一些相比，第一成本函数可能更强地取决于另一些几何参数。因此，在第一优化方法的过程中，可以仅改变如下几何参数，在所使用或者规划的拍摄几何结构下，这些几何参数的改变相对强地影响一致性度量，由此影响第一成本函数。例如可以在第二优化方法的过程中，才改变其余的几何参数。
除了所提到的几何参数之外或者作为其替换，拍摄几何结构还可以描述检查对象的变形，或者检查对象的部分相对于彼此的相对运动，例如在患者呼吸或者心跳的情况下。在此，特别是可以仅在第二优化方法中改变这些附加的参数，因为已经发现，这更适合于相应的校正。
对于投影图像中的至少一个，可以通过第三优化方法，来确定最终的拍摄几何结构，方式是，通过改变最终的拍摄几何结构，使第三成本函数最小，其中，第三成本函数取决于三维图像数据根据最终的成像几何结构的正向投影与投影图像之间的偏差的度量，其中，在第三优化方法的第一迭代步骤中，使用通过第二优化方法针对相应的投影图像确定的拍摄几何结构，作为最终的拍摄几何结构。
作为正向投影与相应的投影图像之间的偏差的度量，特别是可以使用相似性度量，例如所谓的标准化梯度信息(Normalized Gradient Information)。例如在开头引用的S.Ouadah的出版物的第2.4节中，详细说明了相应的相似性度量的计算。当然，也可以使用任意其它的相似性度量，例如相关函数等。
可以根据投影图像，来确定用来确定正向投影的三维图像数据。在此，例如可以使用在第二优化方法的过程中确定的校正后的成像几何结构。在稍后的迭代步骤中，尤其是也可以使用在先前的迭代步骤中确定的最终的成像几何结构。
由于通过先前的优化，校正后的成像几何结构已经显示对于要确定的最终的拍摄几何结构的非常好的近似，因此仅还需要拍摄几何结构的细微改变，由此预期第三优化方法快速收敛。虽然基于正向投影进行优化计算开销相对大，但是因此可以以合理的开销执行第三优化方法。特别是，已经可以以高的图像质量提供三维图像数据，从而可以避免在其它情况下可能发生的缓慢的收敛或者由于2D/3D配准而导致的配准鲁棒性不足。此外，如果要对例如由于检查对象的弹性形变引起的、拍摄几何结构的相对复杂的偏差进行补偿，则附加地执行第三优化方法可以是特别有利的。
对于至少一个相应的投影图像，可以分别依据特别是通过机器学习方法经过训练的算法的结果数据，来改变临时和/或校正后的和/或最终的拍摄几何结构，其中，该算法作为输入数据，对依据投影图像重建的图像数据、特别是至少一个层图像进行处理。该算法可以与也用于确定图像质量的度量的算法相同。例如，在这种情况下，可以对算法进行训练，使得训练数据组除了包括图像质量的度量的目标值之外，还包括结果数据的目标值。然而，也可以使用单独的算法，并且特别是通过相应的训练数据组来对其进行训练。
结果数据特别是可以预先给定在相应的迭代步骤中在哪个方向上或者以何种强度改变成像几何结构。例如，如果使用上面说明的几何参数，则结果数据可以预先给定以何种强度或者在哪个方向上改变几何参数中的哪一些。为此，可以对算法进行训练，以确定各个投影图像之间的运动，或者相对于各个投影图像的假定的成像几何结构的偏差。例如，可以确定运动矢量场，然后可以在相应的迭代优化方法中，作为先验知识使用该运动矢量场，以确定用于接下来的迭代的成像几何结构的运动或者变化。作为算法，例如可以使用基于U网络架构(U-Netzarchitektur)的卷积神经网络，在Ronneberger O.等人的文章(2015)U-Net:Convolutional Networks for Biomedical Image Segmentation,In:InternationalConference on Medical Image Computing and computer-assisted Intervention(S.234-241),Springer,Cham中，对U网络架构进行了说明。
如已经关于对用于确定图像质量的度量的算法的训练所说明的，可以使用训练数据组来进行训练，训练数据组包括重建的图像数据，在对重建的图像数据进行重建时，考虑根据预先给定的修改预给定参数修改后的拍摄几何结构。由此，以何种方式改变了投影图像中的哪个的拍摄几何结构相应地是已知的。由此，作为结果数据的目标数据，例如可以针对每个投影图像，预先给定以下信息，即，以何种方式通过相应的修改预给定参数修改了成像几何结构。例如，可以将描述成像几何结构的几何参数的变化，作为结果数据的目标值，存储在每个训练数据组中。这可以使得结果数据形成相对广泛的特征向量，因此根据上面提到的U网络架构设置神经网络可以是有利的，因为这种架构特别适合用于提供广泛的结果数据。
通过根据本发明的方法实现的对拍摄几何结构的校正，特别是可以用于依据校正后的或者最终的拍摄几何结构来确定三维图像数据。因此，所述方法也可以视为是用于重建三维图像数据组的方法的一部分。因此，本发明还涉及一种用于重建三维图像数据组的方法。
此外，本发明涉及一种用于确定投影图像的校正后的拍摄几何结构的处理设备，该处理设备被配置为，用于执行根据本发明的用于确定投影图像的校正后的拍摄几何结构或者用于重建三维图像数据的方法。可以将该处理设备构造为医学图像采集设备的一部分，特别是X射线设备、尤其是C形臂X射线设备的一部分。因此，本发明还涉及一种医学图像采集设备，其包括相应的处理设备。
替换地，处理设备可以例如作为工作站计算机、服务器或者作为云解决方案或者网络实现的服务，与用于采集投影图像的设备分开构造，其中，通过一个或多个远程计算机提供相应的功能。
此外，本发明涉及一种计算机程序，计算机程序可以直接加载到处理设备的存储设备中，并且具有程序段，用于在处理设备中执行计算机程序时，执行根据本发明的方法的所有步骤。
本发明还涉及一种计算机可读介质，在计算机可读介质上存储有处理设备可读取并且可执行的程序段，用于在由处理设备执行程序段时，执行根据本发明的方法的所有步骤。
附图说明
下面的实施例以及相关联的附图示出了其它优点和细节。在此：
图1示意性地示出了根据本发明的方法的实施例的流程图，
图2示意性地示出了在根据本发明的方法的实施例中使用的数据结构和算法，
图3示意性地示出了包括根据本发明的处理设备的实施例的医学成像设备，以及
图4示意性地示出了训练数据组的提供，训练数据组用于训练可以在根据本发明的方法中使用的用于确定重建的图像数据的图像质量的度量的算法。
具体实施方式
图1示出了用于确定投影图像数据组的投影图像的校正后的拍摄几何结构或者用于根据这些投影图像重建三维图像数据的方法的实施例。在准备步骤S1和S2中，提供投影图像数据组，投影图像数据组包括拍摄设备以不同的拍摄几何结构采集的检查对象的多个投影图像。
为此，在步骤S1中，例如在检查规划的过程中，预先给定要使用的目标拍摄几何结构。如果例如使用C形臂X射线设备来采集投影图像，则在该步骤中，可以预先给定保持X射线源和X射线检测器的C形臂的运动过程，或者用作拍摄设备的X射线检测器的轨迹。此外，可以预先给定要在这种运动或者轨迹的哪些点处采集投影图像。在此，特别是可以依据检查对象和/或用户的操作输入，预先给定要采集投影图像的拍摄设备的目标位置或者朝向，或者目标位置可以不位于圆形轨道上。换言之，在根据本发明的方法中，基本上可以自由地预先给定采集轨迹。
在步骤S2中，根据在步骤S1中预先给定的预给定参数，通过成像设备，特别是C形臂X射线设备，采集投影图像。在此，例如由于拍摄设备的调节机构中的机械公差和/或弹性，用于拍摄投影图像的拍摄几何结构可能偏离在步骤S1中规划的拍摄几何结构。这种偏差可能在重建的图像数据中导致图像伪影或者图像质量降低，因此应当进行补偿。
为此，在步骤S3、S4和S5中，执行多级优化方法，其中，替换地，也可以仅执行两级优化方法，即仅执行步骤S3和S4。稍后还将参照图2详细地说明各个优化步骤，下面首先仅简要地进行说明。
在步骤S3中，首先执行第一优化方法，以针对每个投影图像确定临时拍摄几何结构。在此，通过改变临时拍摄几何形状，来使第一成本函数最小。成本函数取决于依据相应的投影图像对的临时拍摄几何结构确定的多个一致性度量。临时拍摄几何结构的改变可以从在步骤S1中预先给定的拍摄几何结构出发，也就是说，首先可以假定，在那里预先给定的拍摄几何结构至少是近似正确的，并且仅仍然需要稍微进行校正。在此，可以相对于支承检查对象的支承装置，即例如相对于患者床，预先给定在步骤S1中预先给定的拍摄几何结构。首先可以假定，检查对象在投影图像的拍摄之间相对于支承装置是不运动的，或者根据预先给定的运动模式运动。例如可以通过传感器来采集预先给定的运动模式，或者可以使用运动模型，来例如对呼吸或者心跳进行建模。
在步骤S4中，通过第二优化方法对拍摄几何结构进行进一步校正。在此，针对每个投影图像确定相应的校正后的拍摄几何结构，其中，通过改变校正后的拍摄几何结构，使第二成本函数最小。第二成本函数取决于依据投影图像和校正后的拍摄几何结构重建的图像数据的图像质量的度量。如稍后还要更详细地说明的，该度量例如可以通过借助机器学习经过训练的算法来确定。通过首先将在步骤S3中确定的临时拍摄几何结构假定为校正后的拍摄几何结构，来进行第一迭代步骤中的初始化。
在一些应用情况下，例如为了补偿检查对象的弹性形变，可能有利的是，在步骤S5中执行第三优化方法，以确定最终的拍摄几何结构。在此，通过改变最终的拍摄几何结构，使第三成本函数最小。第三成本函数取决于三维图像数据根据最终的成像几何结构的正向投影与投影图像之间的偏差的度量。通过在步骤S4中确定的校正后的成像几何结构，来进行初始化。
在步骤S6中，可以重建三维图像数据，以直接使用三维图像数据，或者例如提供层图像。为此，使用常见的重建方法，其中，代替在步骤S1中预先给定的各个投影图像的拍摄几何结构，使用在步骤S5中确定的相应的最终的拍摄几何结构，或者在简单的方法变形方案中，使用在步骤S4中确定的相应的校正后的拍摄几何结构。由此，可以实现图像质量的显著改善。
图2示出了可以用于实现用于确定校正后的拍摄几何结构的方法的数据结构和算法。在所述方法开始时，预先给定包括多个投影图像2的投影图像数据组1。各个投影图像2相应地与拍摄几何结构3相关联，拍摄几何结构3特别是可以是目标拍摄几何结构，目标拍摄几何结构给出为了拍摄各个投影图像数据而预先给定了哪个几何结构。相应的拍摄几何结构例如可以描述多个几何参数4，几何参数4描述拍摄设备、例如X射线检测器相对于检查对象的姿势和朝向。附加地，例如可以描述X射线源的位置、检查对象的不同部分相对于彼此的相对姿势等。
如已经关于图1所说明的，特别是如果随意地预先给定了拍摄几何结构或者拍摄使用的轨迹，或者如果患者发生了运动，则最初存在的拍摄几何结构3可能明显具有误差。为了校正拍摄几何结构4，至少使用第一优化方法5和第二优化方法6。可选地，可以附加地使用第三优化方法7。
在第一优化方法5中，在每次迭代中，首先形成投影图像2的对8，并且针对对8中的每一个，通过算法9，依据投影图像2的临时拍摄几何结构12和相应的对8，来确定一致性度量10。投影图像的各个对的一致性度量εij的确定在前面已经进行了说明，因此在此不再重复。在第一优化方法5的第一次迭代中，首先可以使用拍摄几何结构4，作为临时拍摄几何结构12。在稍后的迭代中，通过改变拍摄几何结构，来确定临时拍摄几何结构12。
以第一成本函数11的形式将各个一致性度量10组合，要在第一优化方法5中使第一成本函数11最小。第一成本函数特别是可以是一致性度量10的p范数。在检查步骤13中，在每次迭代中检查第一优化方法5是否已经收敛，即例如是否低于第一成本函数11的值的极限值。如果不是这种情况，则改变临时拍摄几何结构12，并且重复第一优化方法5。为了改变临时拍摄几何结构12或者为了进行优化，特别是可以使用用于优化非线性函数的算法，例如下坡单纯形法(Downhill-Simplex-Verfahren)。
如已经说明的，在一些情况下，例如如果为了拍摄投影图像数据组1，基本上仅在一个平面内进行拍摄设备和检查对象的相对运动和旋转，则几何参数4中的一些的改变可能仅导致一致性度量10、由此成本函数11的轻微变化。因此，可能有利的是，在第一优化方法5中，在改变临时拍摄几何结构12的过程中，仅改变其变化对一致性度量10或者成本函数11有强烈影响的几何参数4。
在第一优化方法5结束之后，可以执行第二优化方法6，以进一步减小拍摄几何结构的误差。在第二优化方法6的每次迭代中，首先可以通过重建算法14，依据投影图像2和校正后的拍摄几何结构15，提供重建的图像数据16。在此，在第一次迭代中，首先可以使用由第一优化方法5提供的临时拍摄几何结构12，作为校正后的拍摄几何结构15。
在确定重建的图像数据16之后，算法17将重建的图像数据16作为三维图像数据组或者从重建的图像数据16中提取的至少一个截面图像进行进一步处理，以确定重建的图像数据16的图像质量的度量18。如稍后还要参照图4说明的，可以通过机器学习方法，对算法17进行训练，使得度量18可以是当前使用的校正后的拍摄几何结构15偏离实际存在的拍摄几何结构的程度的良好度量。例如当针对不同的截面图像计算单独的度量18时，或者当算法17提供不同的度量时，一个成本函数可能取决于多个这种度量18。例如可以通过p范数，将不同的度量18组合。
补充地，成本函数19可以具有在很大程度上对应于第一成本函数的另一个项，其中，为了确定该项的值，代替在第一成本函数11中使用的临时拍摄几何结构，使用在相应的迭代中使用的校正后的拍摄几何结构。由此，可以实现在第二优化方法中，可以同时对已经在第一优化方法5中优化的不同的投影图像之间的一致性和图像质量的一个或多个度量18进行优化。通过对该另一个项进行加权，可以预先给定要在第二优化方法6中考虑一致性条件的程度。
随后，在检查步骤20中检查第二优化方法6是否已经收敛，即例如成本函数19的值是否低于极限值。如果不是这种情况，则进一步改变校正后的拍摄几何结构15。可以像改变临时拍摄几何结构12一样，根据下坡单纯形法或者用于优化非线性函数的其它算法，来进行改变。然而，特别优选依据如下的算法21的结果数据22，来改变校正后的成像几何结构15，算法21作为输入数据对重建的图像数据16或者其一部分、特别是层图像进行处理。同样可以通过机器学习，来对算法21进行训练，并且算法21用于根据重建的图像数据，来确定预计的运动矢量或者对校正后的成像几何结构15的几何参数的修改。
在第二优化方法6的接下来的迭代中使用改变后的校正后的拍摄几何结构15之前，首先在检查步骤16中，检查改变后的校正后的拍摄几何结构15相对于第一优化方法5或者那里的成本函数11，是否至少与在第一优化方法5中确定的临时成像几何结构12一样最优。为此，例如可以针对在第一优化方法5中最后确定的临时成像几何结构12，存储第一成本函数11的值。可以将该存储的值与如下情况的第一成本函数的值进行比较，即，在该情况下，代替临时拍摄几何结构12，在计算第一成本函数的值的过程中，特别是在算法9中，考虑改变后的校正后的拍摄几何结构15。如果校正后的成像几何结构不是最优的，则可以重复改变校正后的成像几何结构15，直到满足检查步骤16中的检查条件为止。
在第二优化方法6结束之后，可以直接使用所确定的校正后的拍摄几何结构15，以借助重建算法23，依据投影图像2，来重建校正后的重建的图像数据24。然而，在一些情况下，附加地执行第三优化方法7可能是有利的。
在此，在第三优化方法7的每次迭代中，首先通过算法25，针对投影图像2中的每一个，执行三维图像数据的正向投影，例如先前计算的三维图像数据16的正向投影，以针对每个投影图像2生成相关联的合成投影图像26。通过算法27，将合成投影图像26分别与相关联的投影图像2进行比较，以确定合成投影图像26与投影图像2的偏差的相应的度量28。在此，例如可以基于标准化的梯度信息，来分析图像相似性。在第三成本函数29中，例如通过p范数将度量28组合，要通过第三优化方法7使第三成本函数29最小。
在检查步骤30中，检查第三优化方法7是否已经收敛。如果不是，则改变最终的拍摄几何结构31，这可以像已经关于临时拍摄几何结构12或者关于校正后的拍摄几何结构15所说明的那样进行。随后，可以执行第三优化方法7的接下来的迭代。
可选地，例如如果对于成本函数29，达到了比迄今为止更小的值，则可以使用当前确定的最终的拍摄几何结构，来确定更新后的三维图像数据，可以在后面的迭代步骤中使用更新后的三维图像数据。
在第三优化方法结束之后，可以通过算法23提供重建的图像数据24。
所描述的至少使用第一和第二优化方法的过程是有利的，因为可以组合各个优化方法的优点，即其鲁棒性、对所有可能的运动模式的估计以及其计算效率。特别是，在检查步骤16中对附加条件的检查，可以利用很小的附加计算开销，显著地改善第二优化方法6的收敛性和鲁棒性。
参照图1和图2描述的方法一方面可以用于识别和补偿拍摄设备的错误定位，即，例如X射线检测器和/或X射线源的位置或者朝向与假定的位置和朝向的偏差。由此，例如当使用基本上可以自由选择的测量轨迹时，也可以补偿由于调节机构的公差和/或弹性导致的有误差的成像几何结构。通过使用第二优化方法中的图像质量度量或者第三优化方法中的2D/3D配准，也可以补偿非刚性的运动，例如呼吸运动或者心跳，特别是肝脏中的呼吸运动。
在所述方法的一个未示出的变形方案中，如关于校正后的成像几何结构15的改变所说明的，最终的成像几何结构31的改变也可以在如下边界条件下进行，即，通过第一成本函数11描述的、投影图像2之间的一致性，不由于该改变而变差。
图3示出了医学成像设备32，医学成像设备32包括处理设备37，并且被配置为用于，生成投影图像或者校正后的重建的图像数据的校正后的拍摄几何结构。这可以根据前面关于图1和图2说明的方法来进行。所述方法例如可以通过将实现方法步骤的计算机程序加载到处理设备37的存储设备59中来实现，其中，程序步骤可以由处理器60执行。在此，处理器60一般可以理解为任意类型的可编程的处理设备，即例如微处理器、FPGA、图形处理器，或者也可以理解为多个相同或者不同的处理器的组合。代替本地处理设备37，也可以在服务器上或者通过基于云的解决方案来进行处理。
在所示出的示例中，处理设备37还被配置为用于控制投影图像的拍摄。投影图像的拍摄通过拍摄设备33，即X射线检测器来进行，X射线检测器与X射线源34一起布置在C形臂35上。通过多个致动器38至43，C形臂35可以围绕三个轴旋转，并且可以在三个方向上移动，由此也可以以六个自由度自由地预先给定拍摄几何结构，即X射线检测器相对于检查对象36的位置或者姿势。如果可以例如依据患者36的特征或者用户输入，自由地预先给定各个投影图像的拍摄几何结构或者拍摄设备33行驶的轨迹，则一般不能针对所有可能的轨迹，实现拍摄几何结构的精确校准，因为由于各个部件的弹性、构件公差等，用于对特定位置进行控制的不同的轨迹，可能导致不同的位置偏差。然而，通过前面说明的方法，可以很好地对这些偏差进行补偿。
一般在设备固定的坐标系中规划拍摄几何结构。特别是，可以相对于检查对象36的支承装置44、例如患者床的位置进行规划。在此，整个检查对象36或者检查对象36的部分可能运动。例如，患者可能不由自主地进行轻微的运动，或者呼吸和/或心跳可能使患者的身体的某些部分相对于其它身体部分移位。通过前面说明的方法，至少在很大程度上也可以对这种运动进行补偿。成像设备例如可以用于进行CT血管造影。
如已经关于图2所说明的，可以通过机器学习方法，来训练用于确定图像质量的度量18的算法17。在此，进行训练，使得度量18是在当前的迭代中假定的校正后的拍摄几何结构与实际的拍摄几何结构的偏差的良好度量，或者是相对于假定的校正后的拍摄几何结构的、检查对象与拍摄设备之间的相对运动的良好度量。在此，可以使用监督学习，其中，通过已知的机器学习方法，例如通过误差反向传播(Back-Propagation of Error)，借助训练数据组，来对算法进行训练，训练数据组相应地包括重建的图像数据和这些图像数据的图像质量的度量的目标值。
下面，参照图4示例性地说明提供相应的训练数据组的可能性。在此，首先预先给定投影图像45，投影图像45的拍摄几何结构以良好的准确度已知。例如，可以通过沿着先前进行了校准的轨迹引导拍摄设备，来采集投影图像45。对于训练数据组的至少一部分，也可以通过对以高质量重建或者以合成的方式生成的三维图像数据组进行正向投影，来生成投影图像45。
根据修改预给定参数47，对拍摄几何结构46进行修改，以提供修改后的拍摄几何结构48。例如，修改预给定参数47可以对拍摄几何结构46进行修改，使得修改后的拍摄几何结构48对于投影图像45的至少一部分，相对于相应地相关联的拍摄几何结构46，显示至少一个方向上的移动和/或围绕至少一个轴的旋转。换言之，针对性地预先给定错误的拍摄几何结构，其中，误差相应地是已知的。
通过重建算法49，根据修改后的拍摄几何结构48，来重建投影图像45，以获得重建的图像数据50。重建的图像数据50恰好示出了在根据修改预给定参数改变拍摄几何结构时预期的图像干扰或者质量变差。
确定要包含在训练数据组中的图像质量的度量的目标值，使得图像质量的度量，相对于拍摄几何结构的变化，表现为类似于反向投影失配(Back Projection Mismatch)，即类似于投影图像中的点投影的位置的变化的度量。
为了实现这一点，首先预先给定合成三维图像数据组51，合成三维图像数据组51特别是可以包括多个孤立的、特别是相对于彼此以相等的距离布置的图像点。一方面，通过算法52，根据最初的成像几何结构46，对图像数据组51进行正向投影，以获得第一合成投影图像53。另一方面，通过算法54，根据修改后的拍摄几何结构48，对图像数据组51进行投影，以获得第二合成投影图像55。算法56对第一和第二合成投影图像53、55进行比较，以针对图像数据组51中的每个点，确定从相关联的第一合成投影图像52中的位置到相应的第二合成投影图像55中的位置的距离。通过使用p范数，特别是2范数，将这些距离57组合成反向投影失配58，可以将反向投影失配58作为图像质量的度量的目标值，纳入相应的训练数据组中。
基于同一组投影图像45，可以生成大量的训练数据，其中，分别使用不同的修改预给定参数47。
没有明确示出对在图2中的第二优化方法6中使用的算法21的训练。因为该算法例如要预测运动矢量，即预测几何参数4的变化，因此可以利用对参照图4描述的过程的轻微修改，来提供用于训练该算法21的训练数据组。可以以相同的方式提供重建的图像数据。然而，代替度量58的目标值，相应的训练数据组可以包括描述修改预给定参数47的多个值。例如，修改预给定参数47可以预先给定几何参数4的变化，然后，可以直接将几何参数4的变化作为目标值，纳入训练数据组中。替换地，也可以使用共同的算法，来预先给定图像质量的度量18和结果数据22。在这种情况下，仅需要通过在每个训练数据组中附加地一起纳入与修改预给定参数47有关的目标值，对在图4中示出的用于提供训练数据组的过程进行修改。
尽管通过优选实施例在细节上对本发明进行了说明和描述，但是本发明不限于所公开的示例，本领域技术人员可以从中导出其它变形方案，而不脱离本发明的保护范围。
Claims (15)
1.一种用于确定投影图像数据组(1)的投影图像(2)的校正后的拍摄几何结构的方法，所述方法包括以下步骤：
-提供投影图像数据组(1)，所述投影图像数据组(1)包括拍摄设备(34)以不同的拍摄几何结构(3)采集的检查对象(36)的多个投影图像(2)，
-通过第一优化方法(5)，针对每个投影图像(2)确定临时拍摄几何结构(12)，方式是，通过改变所述临时拍摄几何结构(12)，使第一成本函数(11)最小，其中，所述第一成本函数(11)取决于多个一致性度量(10)，依据投影图像(2)的相应的对(8)的临时拍摄几何结构(12)来确定所述一致性度量，以及
-通过第二优化方法(6)，针对每个投影图像(2)确定相应的校正后的拍摄几何结构(15)，方式是，通过改变所述校正后的拍摄几何结构(15)，使第二成本函数(19)最小，其中，所述第二成本函数(19)取决于依据投影图像(2)和校正后的拍摄几何结构(15)重建的图像数据(16)的图像质量的度量(18)，其中，在所述第二优化方法(6)的第一迭代步骤中，使用通过所述第一优化方法(5)确定的临时拍摄几何结构(12)，作为校正后的拍摄几何结构(15)。
2.根据权利要求1所述的方法，其特征在于，通过以下方式来确定所述投影图像数据组(1)，即，针对每个投影图像(1)，预先给定所述拍摄设备(33)的目标位置和/或目标朝向，并且使用至少一个致动器(38-43)，以将所述拍摄设备(33)置于目标位置和/或目标朝向，之后使用所述拍摄设备(33)来拍摄相应的投影图像(2)，其中，在所述第一优化方法(5)的第一迭代步骤中，使用依据相应的目标位置和/或目标朝向预先给定的拍摄几何结构(3)，作为临时拍摄几何结构(12)。
3.根据权利要求2所述的方法，其特征在于，依据所述检查对象(36)和/或用户的操作输入，来预先给定所述目标位置和/或目标朝向，和/或所述目标位置不位于圆形轨道上。
4.根据上述权利要求中任一项所述的方法，其特征在于，使用X射线检测器作为拍摄设备(33)，所述X射线检测器与X射线源(34)一起布置在支架、特别是C形臂(35)上。
5.根据上述权利要求中任一项所述的方法，其特征在于，通过以下方式来确定所述投影图像数据组(1)，即，针对每个投影图像(2)，预先给定拍摄设备(33)相对于支承检查对象(36)的支承装置(44)的所述目标位置和/或目标朝向或者目标位置和/或目标朝向，并且使用所述或者至少一个致动器(38-43)，以将拍摄设备(33)置于所述目标位置和/或目标朝向，之后使用拍摄设备(33)来拍摄相应的投影图像(2)，其中，在所述第一优化方法(5)的所述第一迭代步骤或者第一迭代步骤中，在假设所述检查对象(36)在投影图像(2)的拍摄之间相对于所述支承装置(44)没有运动，或者根据预先给定的运动模式运动的情况下，预先给定临时拍摄几何结构(12)。
6.根据上述权利要求中任一项所述的方法，其特征在于，在如下边界条件下执行所述第二优化方法(6)，即，校正后的拍摄几何结构(15)的第一成本函数(11)的值，小于或者等于通过所述第一优化方法(5)确定的临时拍摄几何结构(12)的第一成本函数(11)的值。
7.根据上述权利要求中任一项所述的方法，其特征在于，为了确定图像质量的度量(18)，使用通过机器学习方法经过训练的算法(17)。
8.根据权利要求7所述的方法，其特征在于，所述算法(17)通过训练数据组经过训练或者进行训练，所述训练数据组分别包括重建的图像数据(50)和针对所述重建的图像数据(50)要确定的图像质量的度量(18)的目标值(58)，其中，以如下方式根据预先给定的投影图像(45)来重建所述重建的图像数据(50)，即，在进行重建时，针对投影图像(45)中的至少一个，考虑根据修改预给定参数(47)修改后的拍摄几何结构(48)，其中，依据所述修改预给定参数(47)来确定所述目标值(58)。
9.根据上述权利要求中任一项所述的方法，其特征在于，所述第二成本函数(19)附加地取决于依据校正后的拍摄几何结构(15)针对投影图像(2)的相应的对(8)确定的多个一致性度量(10)。
10.根据上述权利要求中任一项所述的方法，其特征在于，通过多个几何参数(4)来描述每个投影图像(2)的临时和校正后的拍摄几何结构(12，16)，其中，所述几何参数(4)分别描述拍摄设备(33)或者拍摄设备(33)的部件相对于检查对象(36)的平移或者旋转，其中，在所述第一优化方法(5)的过程中，为了确定临时拍摄几何结构(12)，仅改变不包括所有几何参数的几何参数(4)的子群。
11.根据上述权利要求中任一项所述的方法，其特征在于，针对投影图像(2)中的至少一个，通过第三优化方法(7)，来确定最终的拍摄几何结构(31)，方式是，通过改变所述最终的拍摄几何结构(31)，使第三成本函数(29)最小，其中，所述第三成本函数(29)取决于三维图像数据(16)根据所述最终的成像几何结构(31)的正向投影(26)与投影图像(2)之间的偏差的度量(28)，其中，在所述第三优化方法(7)的第一迭代步骤中，使用通过所述第二优化方法(6)针对相应的投影图像(2)确定的校正后的拍摄几何结构(16)，作为最终的拍摄几何结构(31)。
12.根据上述权利要求中任一项所述的方法，其特征在于，分别依据算法(21)、特别是通过机器学习方法经过训练的算法(21)的结果数据(22)，来改变至少一个相应的投影图像(2)的临时和/或校正后的和/或最终的拍摄几何结构(12，16，31)，其中，所述算法(21)作为输入数据，对依据投影图像(2)重建的图像数据(16)、特别是至少一个层图像进行处理。
13.一种用于确定投影图像(2)的校正后的拍摄几何结构(15)的处理设备，其特征在于，所述处理设备被配置为用于执行根据上述权利要求中任一项所述的方法。
14.一种计算机程序，所述计算机程序能够直接加载到处理设备(37)的存储设备(59)中，并且具有程序段，用于当在所述处理设备(37)中执行所述计算机程序时，执行根据权利要求1至12中任一项所述的方法的所有步骤。
15.一种计算机可读介质，在所述计算机可读介质上存储有处理设备(37)能够读取并且能够执行的程序段，用于在由所述处理设备(37)执行所述程序段时，执行根据权利要求1至12中任一项所述的方法的所有步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19161295.1A EP3706081B1 (de) | 2019-03-07 | 2019-03-07 | Verfahren zur ermittlung von korrigierten aufnahmegeometrien von projektionsbildern |
| EP19161295.1 | 2019-03-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111667417A true CN111667417A (zh) | 2020-09-15 |
| CN111667417B CN111667417B (zh) | 2022-06-17 |
Family
ID=65951473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010142201.0A Active CN111667417B (zh) | 2019-03-07 | 2020-03-04 | 用于确定投影图像的校正后的拍摄几何结构的方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10789741B1 (zh) |
| EP (1) | EP3706081B1 (zh) |
| CN (1) | CN111667417B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114092594A (zh) * | 2022-01-21 | 2022-02-25 | 中国工程物理研究院应用电子学研究所 | 一种锥束ct系统和轴对称外形样品的几何误差校正方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3783570B1 (de) | 2019-08-23 | 2023-05-17 | Siemens Healthcare GmbH | Computerimplementiertes verfahren zur rekonstruktion von medizinischen bilddaten |
| CN112529820B (zh) * | 2020-12-29 | 2024-06-14 | 广州开云影像科技有限公司 | Cbct系统半扇束几何校正方法、装置、设备和介质 |
| DE102022206561B3 (de) | 2022-06-29 | 2023-11-23 | Siemens Healthcare Gmbh | Verfahren zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus zur Abschätzung von Positionierungsabweichungen einer Bildgebungsvorrichtung eines Röntgenbildgebungssystems |
| WO2024039895A1 (en) * | 2022-08-19 | 2024-02-22 | Rensselaer Polytechnic Institute | Motion correction with locally linear embedding for ultrahigh resolution computed tomography |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120201352A1 (en) * | 2011-02-04 | 2012-08-09 | Frank Dennerlein | Method for obtaining a 3d image dataset of an object of interest |
| CN102917971A (zh) * | 2011-04-13 | 2013-02-06 | 东芝三菱电机工业系统有限公司 | 集装箱装卸车对准系统及方法 |
| CN106462987A (zh) * | 2014-06-13 | 2017-02-22 | 美国西门子医疗解决公司 | 基于投影数据集的用于体积的改进图像重构 |
| CN107913078A (zh) * | 2016-10-11 | 2018-04-17 | 西门子保健有限责任公司 | 用于确定灌注数据组的方法 |
-
2019
- 2019-03-07 EP EP19161295.1A patent/EP3706081B1/de active Active
-
2020
- 2020-02-28 US US16/804,460 patent/US10789741B1/en active Active
- 2020-03-04 CN CN202010142201.0A patent/CN111667417B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120201352A1 (en) * | 2011-02-04 | 2012-08-09 | Frank Dennerlein | Method for obtaining a 3d image dataset of an object of interest |
| CN102917971A (zh) * | 2011-04-13 | 2013-02-06 | 东芝三菱电机工业系统有限公司 | 集装箱装卸车对准系统及方法 |
| CN106462987A (zh) * | 2014-06-13 | 2017-02-22 | 美国西门子医疗解决公司 | 基于投影数据集的用于体积的改进图像重构 |
| CN107913078A (zh) * | 2016-10-11 | 2018-04-17 | 西门子保健有限责任公司 | 用于确定灌注数据组的方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114092594A (zh) * | 2022-01-21 | 2022-02-25 | 中国工程物理研究院应用电子学研究所 | 一种锥束ct系统和轴对称外形样品的几何误差校正方法 |
| CN114092594B (zh) * | 2022-01-21 | 2022-04-08 | 中国工程物理研究院应用电子学研究所 | 一种锥束ct系统和轴对称外形样品的几何误差校正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3706081A1 (de) | 2020-09-09 |
| CN111667417B (zh) | 2022-06-17 |
| US20200286264A1 (en) | 2020-09-10 |
| US10789741B1 (en) | 2020-09-29 |
| EP3706081B1 (de) | 2021-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111667417B (zh) | 用于确定投影图像的校正后的拍摄几何结构的方法 | |
| US10512441B2 (en) | Computed tomography having motion compensation | |
| Chou et al. | 2D/3D image registration using regression learning | |
| CN102727258B (zh) | 图像处理装置、超声波摄影系统及图像处理方法 | |
| JP5209979B2 (ja) | 無較正の幾何学的構成における三次元撮像の方法及びシステム | |
| CN110602990B (zh) | 用于锥形束计算机断层扫描的患者移动校正方法 | |
| US11410374B2 (en) | Synthetic parameterized computed tomography from surface data in medical imaging | |
| Frysch et al. | Rigid motion compensation in interventional C-arm CT using consistency measure on projection data | |
| US9533172B2 (en) | Image processing based on positional difference among plural perspective images | |
| KR20120099082A (ko) | 엑스선 이미지들 내의 마커 위치들로부터의 환자 모션 벡터들의 추출 | |
| WO2005020155A1 (en) | Device and method for generating a three-dimensional vascular model | |
| US11127153B2 (en) | Radiation imaging device, image processing method, and image processing program | |
| US20180206812A1 (en) | Method and system for measuring an x-ray image of an area undergoing medical examination | |
| US10039512B2 (en) | Image quality in computed tomography using redundant information in production data sets | |
| US20220193453A1 (en) | Patient position determination system, method, and program | |
| JP2022071850A (ja) | 測定データの評価に必要な少なくとも１つの幾何学的パラメータを決定するためのコンピュータ実装方法 | |
| US11419571B2 (en) | X-ray system error tracking and calibration | |
| CN112790778A (zh) | 采集错误对齐 | |
| US20220215601A1 (en) | Image Reconstruction by Modeling Image Formation as One or More Neural Networks | |
| Bodensteiner et al. | Motion and positional error correction for cone beam 3D-reconstruction with mobile C-arms | |
| Luo et al. | An epipolar based algorithm for respiratory signal extraction of small animal CT | |
| Canero et al. | Modelling the acquisition geometry of a C-arm angiography system for 3D reconstruction | |
| US10832421B2 (en) | Determining a registration between a 3D image and a set of at least two 2D images | |
| CN114119801A (zh) | 三维数字减影血管造影方法、装置、电子设备及存储介质 | |
| WO2023285202A1 (en) | Improved metal artifact reduction through motion artifact compensation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |