CN111524200B - 在投影图像中分割金属对象的方法、设备和介质 - Google Patents
在投影图像中分割金属对象的方法、设备和介质 Download PDFInfo
- Publication number
- CN111524200B CN111524200B CN202010079569.7A CN202010079569A CN111524200B CN 111524200 B CN111524200 B CN 111524200B CN 202010079569 A CN202010079569 A CN 202010079569A CN 111524200 B CN111524200 B CN 111524200B
- Authority
- CN
- China
- Prior art keywords
- metal
- projection
- dimensional
- region
- metal mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002184 metal Substances 0.000 title claims abstract description 164
- 229910052751 metal Inorganic materials 0.000 title claims abstract description 164
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 15
- 238000003384 imaging method Methods 0.000 claims description 24
- 238000011156 evaluation Methods 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000008439 repair process Effects 0.000 claims description 4
- 238000002591 computed tomography Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000007408 cone-beam computed tomography Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000012829 orthopaedic surgery Methods 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/421—Filtered back projection [FBP]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
一种计算机实现的方法，用于在使用不同投影几何采集的多个二维投影图像中分割金属对象(8、9)，每个投影图像显示感兴趣区域(7)，其中，从所述感兴趣区域(7)中的二维投影图像重建三维X射线图像，所述方法包括以下步骤：‑使用训练的人工智能分割算法为每个投影图像计算第一二进制金属掩模，‑对于中间数据集的每个体素，通过将与穿过体素的射线相关联的像素中的显示金属的第一二进制金属掩模的数量确定为金属值，对重建区域(10)的三维中间数据集进行重建，所述重建区域大于所述感兴趣区域(7)，‑确定三维二进制金属掩模，其中当所述金属值大于阈值时，体素显示金属，而在所有其他情况下体素均不显示金属，‑通过使用相应的投影几何对所述三维二进制金属掩模进行正向投影，为每个投影图像确定第二二进制金属掩模。
Description
技术领域
本发明涉及一种用于在使用不同投影几何采集的多个二维投影图像中分割金属对象的计算机实现的方法，每个投影图像显示感兴趣的区域，其中，从感兴趣区域中的二维投影图像重建三维X射线图像。本发明还涉及评估设备、计算机程序和电子可读存储介质。
背景技术
在X射线成像中，从使用X射线成像设备和不同投影几何采集的较低维投影图像重建较高维图像是已知的。例如，滤波反投影(filtered back-projection，FBP)或代数重建可以用于从二维投影图像重建三维X射线图像。例如可以使用计算机断层摄影(tomography)设备来采集投影图像，其中，通常X射线源和可选的X射线探测器在机架内部旋转，或者使用C型臂(c-arm)设备来采集投影图像，其中，X射线源和可选的X射线探测器安装在C型臂上的相对端。在采集投影图像期间，可以根据通常选择为圆形的采集轨迹来改变投影几何，从而可以通过投影角来描述投影几何。
在从二维投影图像重建三维X射线图像的计算机断层摄影和其他应用中，金属伪影是一个主要问题。对于互操作采集(interoperative acquisition)，例如在整形外科手术期间采集的X射线图像，尤其如此。这种金属伪影是由要成像的感兴趣区域中的金属对象/金属结构引起的，但也由感兴趣区域之外的金属对象引起，这些金属对象仅出现在具有相应投影几何的部分投影图像中，在这些投影几何中，X射线贯穿金属对象。为了减少这些众所周知的金属伪影，已经描述了不同的方法。这些方法通常是标题为金属伪影减少(MAR)的方法，并旨在提高重建体积(即，X射线图像)的质量。
在大多数这些方法中，尤其是在平板锥束计算机断层摄影中，估计金属对象的位置，从投影图像或重建的三维X射线图像中去除相应的图像值，并且进行插值处理，这通常称为“修补(inpainting)”。通常使用初始三维重建来进行金属对象的分割，即金属对象的定位，因此仍然包含金属伪影。例如可以通过阈值化和/或其他体积处理算法来确定显示金属的体素。在金属对象已被分割之后，使用投影几何正向投影三维分割，以产生描述显示被分割的金属对象的像素的二进制金属掩模。对于这些像素，可以进行插值。
例如，在Esther Meyer等人的文章“计算机断层摄影中的归一化金属伪影减少(NMAR)(Normalized metal artefact reduction(NMAR)in computed tomography)”(医学物理学37(10)，2010年，第5482-5493页)中公开了一种被称为归一化金属伪影减少(NMAR)的算法。这里，也在图像域中分割金属，图像域即使用原始投影图像进行的初步三维重建。该分割被正向投影以识别原始投影中的金属痕迹。然而，在插值之前，基于先前图像的3D正向投影对投影进行归一化。插值之后，原始的初始数据(raw data)将再次被取消归一化。本文还讨论了一些可能的修补方法。
在另一种可能的方法中，可以对已在投影域中的金属对象进行分割，投影域即原始的二维投影图像。例如，人工智能分割算法可以用于分割金属并计算包含像素是否含有金属的信息的二进制金属掩模。然而，正如申请人的内部研究所表明的，这种方法不会产生预期的鲁棒性(robustness)和可靠性。
处理感兴趣区域(即在所有二维投影图像中均被捕获的三维区域)中的初步重建数据集的算法有两个主要问题要解决。一方面，引起金属伪影的金属对象可能位于感兴趣区域的外部，也就是可以(可靠地)重建的区域外部。另外，金属对象在初步重建中会产生伪影，使用简单的阈值很难将其分割。尽管对于第二个问题，已经提出了诸如自动阈值确定和/或频率分割方法之类的方法，但是关于第一个问题的解决方案仍是未知的。
发明内容
本发明的目的是提供一种对投影图像中显示的金属对象的鲁棒、可靠和一致的分割，这也使得能够在三维图像中重建在感兴趣区域之外的金属对象的位置。
该目的通过提供根据权利要求1的计算机实现的方法、根据权利要求7的评估设备、根据权利要求9的计算机程序以及根据权利要求10的电子可读存储介质来实现。在从属权利要求中描述了有利的实施例。
最初描述的根据本发明的方法包括以下步骤：
-使用训练的人工智能分割算法为每个投影图像计算第一二进制金属掩模，
-对于中间数据集的每个体素，通过将与穿过体素的射线相关联的像素中的显示金属的第一二进制金属掩模的数量确定为金属值，对重建区域的三维中间数据集进行重建，重建区域大于感兴趣区域，
-确定三维二进制金属掩模，其中当金属值大于阈值时，体素显示金属，而在所有其他情况下体素均不显示金属，
-通过使用相应的投影几何对三维二进制金属掩模进行正向投影，为每个投影图像确定第二二进制金属掩模。
因此，本发明提出在投影域中使用人工智能分割算法，该算法还能够对仅由二维投影图像中的一些所捕获的金属对象进行定位，但是另外提出添加另一种机制，该机制与单独的人工智能分割或当前图像域中基于阈值的分割相比，增加了金属分割的鲁棒性和一致性。还可以在感兴趣区域(ROI)之外获得当前发明的分割。通过对基于x射线投影的分割(即，第一二进制金属掩模)进行反投影、对阈值进行阈值化和最大投影，可以计算出使用所有投影图像的一致的第二二进制金属掩模。因此，可以提供更鲁棒的金属伪影减少，从而减少了伪影的数量。
具体地，第二二进制金属掩模可以用于三维x射线图像中的金属伪影减少，具体地是根据第二二进制金属掩模对显示金属对象的像素使用修补算法。由于一致的第二二进制金属掩模包括投影图像中的哪些像素显示金属的信息，因此可以识别投影图像中显示金属对象或金属结构的区域，并且可以应用现有技术中已知的插值方法。
在准备步骤中，使用例如计算机断层摄影设备或C型臂x射线成像设备的x射线成像设备来采集二维x射线投影图像。例如，可以使用圆形采集轨迹。一般地，在圆形采集轨迹的情况下，每个二维投影图像与投影几何相关联，例如与投影角相关联。优选地可以在锥形束几何中采集投影图像。
由于它们作为投影图像的性质，位于要成像的感兴趣区域之外的金属对象可能在投影图像的一部分中可见。通过使用在投影域中的人工智能方法和在三维图像域(被扩展到比感兴趣区域更大的重建区域)中的一致性检查的组合，这些位于感兴趣区域之外的金属对象也可以可靠地探测到。
在第一步中，使用训练的人工智能分割算法为每个投影图像计算第一二进制金属掩模。例如，可以使用卷积神经网络，特别是U-net。例如，在Olaf Ronneberger等人的文章“U-Net：用于生物医学图像分割的卷积网络(U-Net:Convolutional Networks forBiomedical Image Segmentation)”(arXiv：1505.04597v1[cs.CV]，2015年5月18日)中描述了合适的卷积神经网络。
可以使用其中已经注释了金属对象的投影图像作为训练数据。可以通过生成合成数据来扩大训练数据集的大小和/或将训练数据划分为训练数据集和验证数据集。然后将训练的人工智能分割算法应用于二维投影图像。人工智能分割算法使用投影图像之一作为输入数据，并为该投影图像产生第一二进制金属掩模作为输出数据。例如，对于给定的像素，如果像素显示金属，则二进制金属掩模可以包含“1”，并且如果像素不显示金属，则二进制金属掩模可以包含“0”。一般地，对于每个像素，二进制金属掩模包含像素是否显示金属的二进制信息。
然后将待检查一致性且待改进以产生第二二进制金属掩模的第一二进制金属掩模反向投影到大于感兴趣区域的体积中，也即重建区域中。通过对所得中间数据集的每个体素计数有多少与穿过体素的射线相关联且在投影图像中测得的像素(根据相应的已知投影几何体)通过第一二进制金属掩模被描述为显示金属，来执行该重建。
在第三步中，对于每个体素，可以将该金属值与阈值进行比较。如果金属值大于阈值，则许多或大多数相关的投影图像一致地显示应当存在于该位置处的金属。但是，可以丢弃较低的金属值，其中体素获得的贡献不是金属而是依赖也与金属对象相交的射线，并且可以丢弃投影域中的奇异分割误差。
在最后一步中，对于这样确定的三维二进制金属掩模，例如，给作为金属对象的一部分的体素分配数值“1”，并且给不属于金属对象的一部分的体素分配数值“0”，然后在投影几何的每一个中对三维二进制金属掩模进行正向投影，以为每个投影图像产生第二二进制金属掩模。当然，正向投影使用最大算子并且因此是最大投影，以产生也仅包含“1”和“0”的掩模。
在本发明的特别优选的实施例中，对于中间数据集的每个体素，可以附加地确定描述具有与穿过体素的射线相关联的像素的第一二进制金属掩模的数量的贡献值，其中，依据该贡献值选择用于每个体素的阈值。也就是说，关于第一二进制金属掩模的反投影步骤不仅计数有多少第一二进制金属掩模显示体素的金属，而且根据投影几何，计数有多少第一二进制金属掩模与贯穿体素的射线相关联并在像素中被测得。(在这种意义上，射线被理解为从焦点发出，并终止于相应投影几何中的探测器的像素位置上，例如在实际的探测器像素的中间)。由于重建区域大于感兴趣区域，因此并非所有投影图像都捕获了重建区域的外部区域中的体素。因此，有利的是知道多少投影几何能够对中间数据集的某个体素做出贡献，使得可以相应地选择阈值。换句话说，金属值和贡献值的商可以理解为在各个体素处具有金属对象的概率。
例如，阈值可以根据相应的贡献值来计算，优选地通过使用阈值因子来计算。在有利的实施例中，通过将大于0.8且小于1的阈值因子与贡献值相乘来确定阈值。例如，阈值因子可以选择为0.95。在这种情况下，阈值是相对阈值。换句话说，在该实施例中，为了区分属于金属对象的体素和不属于金属对象的体素，检查对体素有贡献的投影几何的一定百分比，也即阈值因子在对应像素处是否具有显示金属的第一二进制金属掩模。
替代地，但较不优选地，也可以想到使用绝对阈值偏移，绝对阈值偏移例如是要从贡献值中减去以获得阈值的整数。阈值偏移以及阈值因子可以取决于重建区域的选择所允许的贡献值的最小值。
关于重建区域的选择，在本发明的实施例中，可以选择重建区域使得服从所有体素上的贡献值的所定义的最小值。也就是说，仅审查以至少一定数量的投影几何(即最小数量)成像的体素。以这种方式，可以避免太低而不能提供有意义的信息的贡献值。
本发明还涉及一种评估设备，该评估设备包括被配置为执行根据本发明的方法的计算设备。因此，该计算设备包括：
-分割单元，其使用训练的人工智能分割算法为每个投影图像计算第一二进制金属掩模，
-重建单元，用于确定三维中间数据集，
-比较单元，用于确定三维二进制金属掩模，以及
-确定单元，用于确定第二二进制金属掩模。
上面阐述的关于该方法的所有评论和优点也适用于根据本发明的评估设备。具体地，评估设备的计算设备可以包括至少一个处理器，具体地是至少一个图像处理器，以及至少一个存储装置。至少一个处理器实现上面阐述的功能单元，即分割单元、重建单元、比较单元和确定单元。可以添加关于根据本发明的方法的所描述的实施例的附加步骤或子步骤的附加单元，这些附加步骤或子步骤也可以被转移到根据本发明的评估设备的有利实施例中。处理器可以例如是或包括集成电路、CPU、GPU等。
在有利的实施例中，评估设备是X射线成像设备或者是X射线成像设备的一部分，和/或计算设备是X射线成像设备的控制设备。以这种方式，也用于采集二维投影图像的X射线成像设备可以已经被配置为关于由金属对象引起的伪影来评估二维投影图像。在这种情况下，如果X射线成像设备，具体地是其控制设备，还被配置为例如通过使用MAR单元来执行金属伪影校正也是有利的。
X射线成像设备可以例如是计算机断层摄影设备，但是优选地是C形臂X射线成像设备，其具有C形臂，该C形臂的相对端安装有X射线源和X射线探测器，具体地是平板探测器。具有C形臂的X射线成像设备可以有利地用于提供互操作成像，例如用于调研对患者进行的外科手术。在这种情况下，金属对象具体地可以包括医疗器械和/或医疗植入物。
根据本发明的计算机程序可以例如被直接加载到计算设备的存储装置中，具体地是加载到X射线成像设备的控制设备的存储装置中，并且包括程序装置，如果在计算设备中运行计算机程序，则该程序装置执行根据本发明的方法的步骤。该计算机程序可以被存储在电子可读存储介质上，并因此包括存储在其上的电子可读控制信息。控制信息至少包括根据本发明的计算机程序，并且被配置为使得当存储介质被用于计算设备中，具体地是被用于x射线成像设备的控制设备中时，控制信息运行根据本发明的方法。根据本发明的电子可读存储介质可以优选地是非瞬态介质，具体地是CD-ROM。
附图说明
通过下面结合附图对优选实施例的详细描述，当前发明的进一步的细节和优点将变得显而易见，其中：
图1示出了根据本发明的方法的实施例的流程图，
图2是示出投影几何和用于重建的区域的图，
图3是X射线成像设备的示意图，以及
图4示出了图2的X射线成像设备的控制设备的功能结构。
具体实施方式
图1示出了根据本发明的方法的实施例的示例性流程图。
在步骤S1中，使用X射线成像设备和多个不同的投影几何来采集患者的感兴趣区域的二维投影图像。具体地，可以在要在患者身上进行的干预(例如整形外科手术)的范围内采集投影图像。金属对象因此可以在投影几何的至少一些的锥形束中的感兴趣区域中和/或感兴趣区域之外被呈现。此类金属对象例如可以包括例如医疗器械和/或植入物的金属对象。
由于要从投影图像中重建感兴趣区域的三维X射线图像，此类金属对象在重建过程中可能造成伪影，因此这里提出的方法执行金属伪影减少(MAR)过程以减少这些伪影并改善所得的X射线图像的质量。在这种情况下，当前发明涉及金属对象的分割，即，在投影域中也就是在投影图像中的检测，使得在随后的步骤中可以应用校正措施，例如应用修补算法。
为了对在步骤S1中采集的二维投影图像中的金属对象进行分割并因此进行定位，在步骤S2中，将训练的人工智能分割算法(在这种情况下为卷积神经网络，例如U-net)应用于每个二维投影图像，为每个二维投影图像产生第一二进制金属掩模。也就是说，将二维投影图像用作输入数据，其中，输出数据是第一二进制金属掩模m(u，v)，其中，根据算法，如果像素(u，v)显示金属，则m(u，v)等于“1”，而如果像素(u，v)不显示金属，则m(u，v)等于“0”。可以使用带注释的投影图像作为训练数据。
正如已经观察到的那样，人工智能算法可能无法产生最佳的结果，尤其是一致的结果，并且可能发生错误的分割，在以下步骤中检查投影域中的分割结果，从而为每个投影图像产生一致的第二二进制金属掩模和更鲁棒的分割。
在步骤S3中，对重建区域的三维中间数据集进行重建。如图2进一步解释的，重建区域大于感兴趣区域。
图2示出了关于用于重建的投影几何和区域的示意图。在该情况下，使用圆形的采集轨迹1，该轨迹由具有焦点3的x射线源2遍历以实现不同的投影几何，其中，通过在焦点3的所示位置中的锥形束4指示了一个投影几何。还指示了X射线探测器5和其探测表面6。
以这种方式，在沿采集轨迹1的可能的投影几何的每一个中对至少基本上为圆柱状的感兴趣区域7进行成像。因此，如果金属对象8位于感兴趣区域7内部，则每个投影图像都将显示它。然而，另外，位于感兴趣区域7外部的金属对象9也可以被投影图像中的一些成像，而其他投影图像将不包含它们。然而，在感兴趣区域7外部的这种金属对象9也可以将金属伪影引入到重建的三维X射线图像中。
因此，在图1的步骤S3中，定义重建区域10，使得以至少最小数量的所使用的投影几何对在大于感兴趣区域7的重建区域10中的所有可能的对象进行成像。例如，如果使用了五十个投影几何并且因此在步骤S1中采集了五十个二维投影图像，则可以选择重建区域10，使得即使是位于重建区域10的径向外部边界处的对象，尤其是金属对象，也能以投影几何中的至少二十个来成像。
使用这样定义的重建区域10，重建中间数据集。在中间数据集中，每个体素包含两个值，即贡献值和金属值。贡献值描述了其中体素被锥形束4内的与像素对应的射线贯穿并从而被成像的投影几何的数量。金属值对应于显示与贯穿体素的各个投影几何的射线对应的像素的金属的第一二进制金属掩模的数量。为了确定这些值，由于已知投影几何，对于每个投影几何，检查锥形束4内部是否存在贯穿体素的射线以及该射线对应于投影几何的哪个像素。如果存在这样的射线，则贡献值增加一。然后，在各个第一二进制金属掩模中参考与该射线相关联的像素。如果该像素被分配为显示金属，则金属值增加一，反之则不增加。
金属值与贡献值之比可以理解为金属实际上存在于体素中的概率。
在步骤S4中，选择阈值，并检查金属值是否大于阈值。依据贡献值确定阈值，其中，在这里描述的实施例中，使用大于0.8且小于1的阈值因子(例如0.95)来定义相对阈值，从而可以计算阈值为阈值因子乘以贡献值。对于中间数据集的当前被检验的体素，如果金属值实际上超过阈值，则在步骤S5中将体素标记为包含金属，具体地是分配值为“1”。在任何其他情况下，在步骤S6中，给体素分配值“0”(不包含金属)。
对重建区域10中的每个体素重复步骤S4和S5/S6，从而产生三维二进制金属掩模。因此，与阈值的比较允许将体素分类为金属或非金属。
在步骤S7中，使用最大算子针对每个投影几何对掩模体积，即三维二进制金属掩模，进行正向投影，以为每个投影图像产生第二二进制金属掩模。
使用这些第二二进制金属掩模，在步骤S8中，可以例如通过插值在每个投影图像中替换在第二二进制金属掩模中被标记为显示金属的像素的像素值。也就是说，一般地，在步骤S8中，基于第二二进制金属掩模所描述的分割，可以将修补算法用于金属伪影减少(MAR)。
最后，在步骤S9中，可以从这样校正的投影图像中重建X射线图像，并且例如显示、存储或以其他方式对其进行处理。
图3示出了移动式X射线成像设备11，该设备尤其适合于监视/监控对患者12的医疗干预，因为C型臂13允许相对于被放置在患者台14上的患者12的多个投影几何，C型臂13的相对位置上安装了X射线源2和X射线探测器5。例如，在手术过程中可以移除移动式X射线成像设备11，或者至少可以将C型臂13移动到不妨碍手术过程的位置。
C形臂13还可以围绕感兴趣区域7旋转，从而以不同投影几何来采集投影图像，在这种情况下投影几何为投影角。
由于在这种情况下X射线成像设备11的控制设备15还形成了被配置为执行根据本发明的方法的计算设备16，X射线成像设备11还形成了根据本发明的评估设备17。
图4示出了控制设备15的功能结构。一般地，控制设备15可以包括至少一个处理器18，其中，例如，在这种情况下，控制器和图像处理器可以用作处理器。控制装置15还包括至少一个存储装置19。
通过处理器18，实现了多个功能单元。在这种情况下，如在已知原理中那样，控制设备15首先包括采集控制单元20，例如，采集控制单元20可以控制二维投影图像S1的采集。另外，控制设备15还包括用于执行步骤S2的分割单元21、用于执行步骤S3的重建单元22、用于执行步骤S4至S6的比较单元23以及用于执行步骤S7的确定单元24。此外，可以提供用于执行步骤S8的MAR单元25和用于在步骤S9中重建三维X射线图像的反投影单元26。
尽管已经参考优选的实施例详细描述了本发明，但是本发明不限于所公开的示例，本领域技术人员能够在不脱离本发明的范围的情况下从所公开的示例中得到其他变型。
Claims (9)
1.一种计算机实现的方法，用于在使用不同投影几何采集的多个二维投影图像中分割金属对象（8、9），每个投影图像显示感兴趣区域（7），其中，从所述感兴趣区域（7）中的二维投影图像重建三维X射线图像，所述方法包括以下步骤：
-使用训练的人工智能分割算法为每个投影图像计算第一二进制金属掩模，
-对重建区域（10）的三维中间数据集进行重建，所述重建区域大于所述感兴趣区域（7），其中所述重建区域包括所述感兴趣区域之外的位置，并且其中所述重建包括对于所述中间数据集的每个体素，所述中间数据集包括在所述感兴趣区域之外的所述重建区域中并且存在于所述多个2D投影图像的一部分中的体素，确定所述第一二进制金属掩模的反投影的金属值，其中确定金属值包括对于所得中间数据集的每个体素，计数有多少个像素通过所述第一二进制金属掩模被描述为显示金属，所述像素与根据相应的已知投影几何穿过所述体素的射线相关联且在投影图像中测得，
-确定三维二进制金属掩模，其中当所述金属值大于阈值时，体素显示金属，而在所有其他情况下体素均不显示金属，
-通过使用相应的投影几何对所述三维二进制金属掩模进行正向投影，为每个投影图像确定第二二进制金属掩模。
2.根据权利要求1所述的方法，其中，所述第二二进制金属掩模用于所述三维X射线图像中的金属伪影减少，具体地是根据所述第二二进制金属掩模对显示金属对象（8、9）的像素使用修补算法。
3.根据权利要求1或2所述的方法，其中，对于所述中间数据集的每个体素，附加地确定描述具有与穿过所述体素的射线相关联的像素的第一二进制金属掩模的数量的贡献值，其中，依据所述贡献值选择用于每个体素的阈值。
4.根据权利要求3所述的方法，其中，通过将大于0.8且小于一的阈值因子与所述贡献值相乘来确定所述阈值。
5.根据权利要求3所述的方法，其中，所述重建区域被选择为使得服从在所述中间数据集的所有体素上所定义的贡献值的最小值。
6.根据权利要求1或2所述的方法，其中，将卷积神经网络用作人工智能分割算法，所述卷积神经网络包括u-net。
7.一种评估设备（17），包括被配置为执行根据前述权利要求中的任一项所述的方法的计算设备（16），所述计算设备（16）包括：
-分割单元（21），其使用训练的人工智能分割算法为每个投影图像计算第一二进制金属掩模，
-重建单元（22），用于确定三维中间数据集，
-比较单元（23），用于确定三维二进制金属掩模，以及
-确定单元（24），用于确定第二二进制金属掩模。
8.根据权利要求7所述的评估设备，其中，所述评估设备（17）是x射线成像设备（11）或是其一部分，和所述计算设备（16）是所述x射线成像设备（11）的控制设备（15）。
9.一种电子可读存储介质，在其上存储计算机程序，当在计算设备（16）上运行所述计算机程序时，所述计算机程序执行根据权利要求1至6中任一项所述的方法的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19155505.1A EP3693921B1 (en) | 2019-02-05 | 2019-02-05 | Method for segmenting metal objects in projection images, evaluation device, computer program and electronically readable storage medium |
| EP19155505.1 | 2019-02-05 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111524200A CN111524200A (zh) | 2020-08-11 |
| CN111524200B true CN111524200B (zh) | 2024-03-22 |
Family
ID=65363058
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010079569.7A Active CN111524200B (zh) | 2019-02-05 | 2020-02-04 | 在投影图像中分割金属对象的方法、设备和介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11321833B2 (zh) |
| EP (1) | EP3693921B1 (zh) |
| CN (1) | CN111524200B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3725227B1 (en) * | 2019-04-18 | 2022-12-14 | DENTSPLY SIRONA Inc. | Method of calibrating x-ray projection geometry in x-ray cone beam computed tomography |
| US11455755B2 (en) * | 2019-09-05 | 2022-09-27 | Siemens Medical Solutions Usa, Inc. | Methods and apparatus for neural network based image reconstruction |
| CN116416329A (zh) * | 2021-12-31 | 2023-07-11 | 上海联影医疗科技股份有限公司 | 一种乳腺断层图像重建方法和系统 |
| DE102022201003B3 (de) * | 2022-01-31 | 2023-06-22 | Siemens Healthcare Gmbh | Verfahren zum Festlegen einer Aufnahmetrajektorie |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100045277A (ko) * | 2008-10-23 | 2010-05-03 | (주)바텍이우홀딩스 | 엑스선 촬영 영상에서 메탈 아티팩트를 감소시키는 방법 |
| CN101756707A (zh) * | 2009-12-31 | 2010-06-30 | 苏州和君科技发展有限公司 | 用Micro-CT成像系统对长目标物体进行扫描重建的方法 |
| CN102842141A (zh) * | 2012-07-03 | 2012-12-26 | 东南大学 | 一种旋转x射线造影图像迭代重建方法 |
| CN103366389A (zh) * | 2013-04-27 | 2013-10-23 | 中国人民解放军北京军区总医院 | Ct图像重建方法 |
| CN105229702A (zh) * | 2013-05-14 | 2016-01-06 | 皇家飞利浦有限公司 | 针对使用几何配置匹配的坐标网格的x 射线图像重建的伪影降低 |
| WO2016197303A1 (en) * | 2015-06-08 | 2016-12-15 | Microsoft Technology Licensing, Llc. | Image semantic segmentation |
| CN107019522A (zh) * | 2015-12-04 | 2017-08-08 | 西门子保健有限责任公司 | 对操作者提供图像支持的方法、x射线装置和计算机程序 |
| CN107545551A (zh) * | 2017-09-07 | 2018-01-05 | 广州华端科技有限公司 | 数字乳腺体层合成图像的重建方法和系统 |
| CN107730455A (zh) * | 2016-08-11 | 2018-02-23 | 通用电气公司 | 获得mar图像的方法及装置 |
| CN107871319A (zh) * | 2017-11-21 | 2018-04-03 | 上海联影医疗科技有限公司 | 限束器区域的检测方法、装置、x射线系统和存储介质 |
| CN108338802A (zh) * | 2017-01-10 | 2018-07-31 | 西门子医疗有限公司 | 用于减少图像伪影的方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6961404B2 (en) * | 2002-09-26 | 2005-11-01 | Eastman Kodak Company | Method and system for reconstructing an image from projection data acquired by a cone beam computed tomography system |
| DE102006014629A1 (de) | 2006-03-29 | 2007-10-04 | Siemens Ag | Verfahren zur Korrektur von Trunkierungsartefakten |
| US8503750B2 (en) * | 2009-10-06 | 2013-08-06 | General Electric Company | Method and apparatus for reduction of metal artifacts in CT images |
| US8952333B2 (en) * | 2009-11-02 | 2015-02-10 | Virginia Tech Intellectual Properties, Inc. | Methods for improved single photon emission computed tomography using exact and stable region of interest reconstructions |
| DE102010026374A1 (de) * | 2010-07-07 | 2012-01-12 | Siemens Aktiengesellschaft | Verfahren zur Rekonstruktion eines dreidimensionalen Bilddatensatzes und Röntgeneinrichtung |
| US8565502B2 (en) * | 2011-05-31 | 2013-10-22 | General Electric Company | Method and system for reconstruction of tomographic images |
| DE102012212774A1 (de) * | 2012-07-20 | 2014-01-23 | Siemens Aktiengesellschaft | Verfahren zur Korrektur von Metallartefakten und Röntgeneinrichtung |
| US9349198B2 (en) * | 2013-07-26 | 2016-05-24 | General Electric Company | Robust artifact reduction in image reconstruction |
| US10524756B2 (en) | 2015-08-27 | 2020-01-07 | Varian Medical Systems International | Methods and systems for image artifacts reduction |
| US10395397B2 (en) * | 2016-11-14 | 2019-08-27 | Carestream Health, Inc. | Metal artifacts reduction for cone beam CT |
| DE102017200930A1 (de) * | 2017-01-20 | 2018-07-26 | Siemens Healthcare Gmbh | Verfahren zur Ermittlung eines dreidimensionalen Bilddatensatzes |
| WO2019051209A1 (en) * | 2017-09-08 | 2019-03-14 | The General Hospital Corporation | SYSTEM AND METHOD FOR REDUCING SINOGRAM DISTRIBUTED METAL ARTIFACTS |
| US10789738B2 (en) * | 2017-11-03 | 2020-09-29 | The University Of Chicago | Method and apparatus to reduce artifacts in a computed-tomography (CT) image by iterative reconstruction (IR) using a cost function with a de-emphasis operator |
| WO2019145149A1 (en) * | 2018-01-26 | 2019-08-01 | Koninklijke Philips N.V. | Using deep learning to reduce metal artifacts |
| US11589834B2 (en) * | 2018-03-07 | 2023-02-28 | Rensselaer Polytechnic Institute | Deep neural network for CT metal artifact reduction |
| US20200151921A1 (en) * | 2018-11-14 | 2020-05-14 | Carestream Dental Llc | Methods for metal artifact reduction in cone beam reconstruction |
-
2019
- 2019-02-05 EP EP19155505.1A patent/EP3693921B1/en active Active
-
2020
- 2020-02-04 CN CN202010079569.7A patent/CN111524200B/zh active Active
- 2020-02-05 US US16/782,359 patent/US11321833B2/en active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100045277A (ko) * | 2008-10-23 | 2010-05-03 | (주)바텍이우홀딩스 | 엑스선 촬영 영상에서 메탈 아티팩트를 감소시키는 방법 |
| CN101756707A (zh) * | 2009-12-31 | 2010-06-30 | 苏州和君科技发展有限公司 | 用Micro-CT成像系统对长目标物体进行扫描重建的方法 |
| CN102842141A (zh) * | 2012-07-03 | 2012-12-26 | 东南大学 | 一种旋转x射线造影图像迭代重建方法 |
| CN103366389A (zh) * | 2013-04-27 | 2013-10-23 | 中国人民解放军北京军区总医院 | Ct图像重建方法 |
| CN105229702A (zh) * | 2013-05-14 | 2016-01-06 | 皇家飞利浦有限公司 | 针对使用几何配置匹配的坐标网格的x 射线图像重建的伪影降低 |
| WO2016197303A1 (en) * | 2015-06-08 | 2016-12-15 | Microsoft Technology Licensing, Llc. | Image semantic segmentation |
| CN107019522A (zh) * | 2015-12-04 | 2017-08-08 | 西门子保健有限责任公司 | 对操作者提供图像支持的方法、x射线装置和计算机程序 |
| CN107730455A (zh) * | 2016-08-11 | 2018-02-23 | 通用电气公司 | 获得mar图像的方法及装置 |
| CN108338802A (zh) * | 2017-01-10 | 2018-07-31 | 西门子医疗有限公司 | 用于减少图像伪影的方法 |
| CN107545551A (zh) * | 2017-09-07 | 2018-01-05 | 广州华端科技有限公司 | 数字乳腺体层合成图像的重建方法和系统 |
| CN107871319A (zh) * | 2017-11-21 | 2018-04-03 | 上海联影医疗科技有限公司 | 限束器区域的检测方法、装置、x射线系统和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3693921A1 (en) | 2020-08-12 |
| US11321833B2 (en) | 2022-05-03 |
| EP3693921B1 (en) | 2022-04-20 |
| CN111524200A (zh) | 2020-08-11 |
| US20200250820A1 (en) | 2020-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111524200B (zh) | 在投影图像中分割金属对象的方法、设备和介质 | |
| JP6416582B2 (ja) | 医用画像における金属アーチファクト除去のための方法および装置 | |
| EP2102819B1 (en) | Apparatus, method and computer program for producing a corrected image of a region of interest from acquired projection data | |
| US7957574B2 (en) | Methods and apparatus for generating a risk metric for soft plaque in vessels | |
| US10521934B2 (en) | Method, X-ray unit and computer program product for determining a three-dimensional image data set | |
| JP2013085955A (ja) | 連続マルチスケール再構成において詳細画像を補うｘ線コンピュータ断層撮像装置（ｘ線ｃｔ装置）、医用画像処理装置及び医用画像処理方法 | |
| JP2007152106A (ja) | 断層撮影における高コントラスト対象のコンピュータ支援による認識方法およびシステム | |
| CN113226181B (zh) | 在x射线锥形束计算机断层扫描中校准x射线投影几何形状的方法 | |
| WO2019152412A1 (en) | System and method for detecting anatomical regions | |
| US20210272336A1 (en) | Systems and methods for interpolation with resolution preservation | |
| EP3349655B1 (en) | Tomography apparatus and controlling method for the same | |
| CN112770675A (zh) | 减少异物的x射线成像系统 | |
| KR20160120963A (ko) | 단층 촬영 장치 및 그에 따른 단층 영상 복원 방법 | |
| JP2020011049A (ja) | Ｘ線装置を用い取得した画像データセットの自動修正方法、コンピュータプログラム、データメモリ及びｘ線装置 | |
| CN112116623B (zh) | 图像分割方法及装置 | |
| EP4026102B1 (en) | Confidence map for neural network based limited angle artifact reduction in cone beam ct | |
| CN117522747A (zh) | 一种用于ct图像的金属伪影校正方法与系统 | |
| CN113226184B (zh) | 在x射线牙科体积断层扫描中金属伪影减少的方法 | |
| US20060251313A1 (en) | Method of producing a cross-sectional image | |
| Zhang et al. | Metal artifact reduction based on the combined prior image | |
| JP5632920B2 (ja) | ボケイメージ内のブラーの特性を決定するシステム及び方法 | |
| US20050018889A1 (en) | Systems and methods for filtering images | |
| US8526757B2 (en) | Imaging system and imaging method for imaging a region of interest | |
| CN115770056A (zh) | 成像系统、方法 | |
| CN112396700A (zh) | 导出重建体积的3d图像数据的计算机实现的方法和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |