CN111656405A - 使用深度学习来减少金属伪影 - Google Patents

使用深度学习来减少金属伪影 Download PDF

Info

Publication number
CN111656405A
CN111656405A CN201980010147.XA CN201980010147A CN111656405A CN 111656405 A CN111656405 A CN 111656405A CN 201980010147 A CN201980010147 A CN 201980010147A CN 111656405 A CN111656405 A CN 111656405A
Authority
CN
China
Prior art keywords
image
ray
ray image
uncorrected
metal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980010147.XA
Other languages
English (en)
Inventor
许世昱
党颢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN111656405A publication Critical patent/CN111656405A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Nuclear Medicine (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种X射线成像设备(10、100)被配置为采集未经校正的X射线图像(30)。图像重建设备包括电子处理器(22)和非瞬态存储介质(24),所述非瞬态存储介质存储指令,所述指令能由所述电子处理器读取并运行以执行图像校正方法(26),所述图像校正方法包括:将神经网络(32)应用于所述未经校正的X射线图像以生成金属伪影图像(34),其中,所述神经网络被训练为提取包括金属伪影的图像内容;并且通过从所述未经校正的X射线图像中减去所述金属伪影图像来生成经校正的X射线图像(40)。

Description

使用深度学习来减少金属伪影
技术领域
以下内容总体上涉及X射线成像,X射线成像数据重建,计算机断层摄影(CT)成像,C型臂成像或其他断层摄影X射线成像技术,数字放射摄影(DR)以及医学X射线成像,采用X射线成像、正电子发射断层摄影(PET)/CT成像的图像引导治疗(iGT)等。
背景技术
在许多临床场景中,在CT或其他X射线扫描视场(FOV)中都存在金属物体,例如,在脊柱手术后存在的椎弓根螺钉和棒,在全髋关节置换后存在的金属球和承窝,以及在头部手术后存在的螺钉和板/网格,经由C型臂等在心脏扫描期间存在的植入式心脏起搏器,在iGT中使用的介入器械(例如,含金属的导管)等。金属物体可能会引入严重的伪影,这些伪影在经重建的体积中常常表现为条纹、“晕染”和/或阴影。这样的伪影会导致显著的CT值移位和组织可见性损失(特别是在与金属物体邻近的区域中,这种区域在医学X射线成像中往往是感兴趣区域)。金属伪影的原因包括射束硬化、部分体积效应、光子饥饿以及数据采集中的散射辐射。
金属伪影减少方法通常基于经由内插的周围投影样本,利用合成的投影来替换受到金属伪影影响的投影数据。在一些技术中,在第二遍中应用额外的校正。这样的方法通常要求分割金属分量并用合成的投影来替换金属投影,这可能会引入误差和丢失被金属遮挡的细节。此外,用于抑制金属伪影的技术还能够操作用于去除关于金属物体的有用信息。例如,在安装金属假体期间,可以使用X射线成像对假体的位置和取向进行可视化,并且不希望抑制关于假体的这种信息,以便提高解剖图像质量。
以下内容公开了某些改进。
发明内容
在本文公开的一些实施例中,一种非瞬态存储介质存储指令,所述指令能由电子处理器读取并运行以执行图像重建方法,所述图像重建方法包括:重建X射线投影数据以生成未经校正的X射线图像;将神经网络应用于所述未经校正的X射线图像以生成金属伪影图像;并且通过从所述未经校正的X射线图像中减去所述金属伪影图像来生成经校正的X射线图像。所述神经网络被训练为提取包括金属伪影的图像内容。
在本文公开的一些实施例中,公开了一种成像设备。X射线成像设备被配置为采集未经校正的X射线图像。图像重建设备包括电子处理器和非瞬态存储介质,所述非瞬态存储介质存储指令,所述指令能由所述电子处理器读取并运行以执行图像校正方法,所述图像校正方法包括:将神经网络应用于所述未经校正的X射线图像以生成金属伪影图像,其中,所述神经网络被训练为提取包括金属伪影的残余图像内容;并且通过从所述未经校正的X射线图像中减去所述金属伪影图像来生成经校正的X射线图像。
在本文公开的一些实施例中,公开了一种成像方法。使用X射线成像设备来采集未经校正的X射线图像;将经训练的神经网络应用于所述未经校正的X射线图像以生成金属伪影图像;并且通过从所述未经校正的X射线图像中减去所述金属伪影图像来生成经校正的X射线图像。所述训练、所述应用和所述生成是由电子处理器适当执行的。在一些实施例中,训练所述神经网络以变换多能量训练X射线图像pj,从而匹配相应的金属伪影图像aj,其中,j对所述训练X射线图像进行索引,并且pj=mj+aj,其中,图像分量mj为单能量X射线图像。
一个优点在于在X射线成像中提供了计算高效的金属伪影抑制。
另一个优点在于在X射线成像中提供了金属伪影抑制,其在执行金属伪影抑制中有效地利用了在二维或三维X射线断层摄影图像中包含的信息。
另一个优点在于在X射线成像中提供了金属伪影抑制,而无需对产生金属伪影的(一个或多个)金属物体进行先验分割。
另一个优点在于在X射线成像中提供了在整幅图像上操作的金属伪影抑制,以便全面地考虑能够跨越图像的大部分或甚至整幅图像的金属伪影。
另一个优点在于在X射线成像中提供了金属伪影抑制,同时保留了关于被抑制的金属伪影的信息而足以提供关于产生金属伪影的金属物体的信息(例如,金属物体的位置、空间范围、组成等)。
另一个优点在于在X射线成像中提供了金属伪影抑制,其同时分割金属物体并产生对应的金属伪影图像。
给定的实施例可以提供前述优点中的零个、一个、两个、更多个或所有优点,并且/或者可以提供其他优点,这对于阅读和理解了本公开内容的本领域普通技术人员来说将变得显而易见。
附图说明
本发明可以采取各种部件和各种部件的布置以及各个步骤和各个步骤的安排的形式。附图仅出于图示优选实施例的目的,并且不应被解释为限制本发明。
图1示意性地图示了如本文所公开的包括金属伪影抑制的X射线成像设备,该X射线成像设备是在图像引导的治疗(iGT)系统的说明性C型臂成像器的背景下说明性地示出的。
图2示意性地示出了在测试中使用的两个说明性体模。
图3、图4和图5呈现了在本文描述的测试期间在图2的体模上生成的图像。
图6图示了由图1的X射线成像设备适当执行的方法。
图7图示了用于提供跨越X射线图像的区的接受区的神经网络的配置。
具体实施方式
参考图1,用于在图像引导的治疗(iGT)中使用的说明性X射线成像设备10具有C型臂配置并且包括X射线源(例如,X射线管)12,X射线源12被布置为投射X射线束通过检查区14,该X射线束由X射线探测器阵列16进行探测。在操作中,头顶上方的机架或其他机械臂系统18将X射线硬件12、16布置为将被设置在检查台20上的对象(未示出,例如,医学患者)放置在检查区14中以进行成像。在X射线成像数据采集期间,将X射线源12操作用于投射X射线束通过对象,使得X射线探测器阵列16探测到的X射线强度反映对象对X射线的吸收。机械臂18可以旋转C型臂或者以其他方式操纵X射线硬件12、16的位置,以获得断层摄影的X射线投影图像。计算机或其他电子数据处理设备22读取并运行被存储在非瞬态存储介质24上的指令(例如,计算机软件或固件),以便执行包括本文所述的图像校正的图像重建方法26。该方法26包括对X射线投影数据执行重建28以生成未经校正的X射线图像30。将该未经校正的X射线图像30输入到神经网络32,如本文所公开的,神经网络32被训练为提取包括金属伪影的图像内容。因此,将神经网络32应用于未经校正的X射线图像30即可生成金属伪影图像34,金属伪影图像34包含未经校正的X射线图像30的金属伪影内容。在图像减影操作36中,从未经校正的X射线图像30中减去金属伪影图像34,以生成(一个或多个)金属伪影得到抑制的经校正的X射线图像40。
在一个说明性应用中,X射线成像设备10用于图像引导的治疗(iGT)。在该说明性应用中,经校正的X射线图像30是有用的输出,因为它提供了对在图像引导下经受治疗的解剖结构的更加准确的重现。此外,将意识到,在iGT背景下,金属伪影图像34也可能是有用的。这在图1的方法26中通过操作42进行了示意图表示,操作42可以包括例如对所表示的金属物体进行定位、分割和/或分类。例如,引起在金属伪影图像34中捕获的金属伪影的金属物体可以是金属假体(例如,金属置换的髋关节或膝关节假体),该金属假体的位置和取向将通过由X射线成像设备10提供的图像引导进行可视化。在假体植入iGT的情况下,通常会知道假体的详细形状,在这种情况下,能够对金属伪影图像34进行处理以分割金属物体(例如,假体),然后对假体的先验精确形状进行替换,以改善金属伪影图像中的经分割的金属物体(例如,假体)的边缘的清晰度。有利地,金属物体在金属伪影图像34中更容易分割,因为金属伪影图像34主要表示与未经校正的X射线图像30的其余部分隔离的金属伪影。另外,由于金属伪影图像34是通过神经网络32的操作根据未经校正的X射线图像30导出的,因此金属伪影图像34与未经校正的X射线图像30固有地空间配准。金属伪影也可能被定位或分割在经校正的X射线图像40中。在混合式方法中,金属伪影图像34用于确定金属伪影的初始近似边界,然后通过使用经校正的X射线图像40调整该初始边界来细化金属伪影,该经校正的X射线图像40对于金属伪影会显示出更清晰的边界。在又一应用中,金属伪影图像34可以被显示在显示器46上,以便示出(一个或多个)金属伪影图像在图像中的分布方式并允许用户在视觉上确认在由金属伪影图像34捕获的伪影映射中没有诊断信息。
在另一示例中,如果金属物体是先前安装的详细构造未知的植入物,则能够通过考虑金属伪影图像34的密度来将金属物体分类为金属类型并且估计物体的形状、大小和在患者身体中的取向。
在操作44中,针对说明性iGT应用,可以将经校正的X射线图像40与金属伪影图像34(或根据金属伪影图像34导出的图像)融合或者以其他方式组合以生成iGT引导显示,该iGT引导显示被合适地示出在显示器46上,以供外科医生或其他医学人员进行咨询。
将意识到,图1示意性地图示了一个示例性实施例,其中,在iGT中采用了C型臂成像器10。更一般而言,X射线成像设备可以是说明性C型臂成像器,或者可以是具有CT机架102和PET机架104的所图示的正电子发射断层摄影/计算机断层摄影(PET/CT)成像设备100(其中,CT机架102采集针对如本文所公开的金属伪影进行校正的CT图像,该经校正的CT图像然后用于生成衰减图以用于经由PET机架104进行的PET成像),或者可以是另一断层摄影的X射线成像设备(未示出另外的示例)(例如,数字X放射摄影(DR)设备)或输出未经校正的X射线图像30的任何其他X射线成像设备。虽然示出iGT作为说明性应用,但是经校正的X射线图像40也可以具有许多其他应用。例如,在“混合式”PET/CT成像设备的背景下,经校正的X射线图像40可以用于生成衰减图,以供在PET成像期间使用。与具有残余金属伪影的CT图像相比,经校正的CT图像可以产生用于在PET图像重建中使用的更加准确的衰减图,这继而会产生具有更高图像质量的PET图像。针对一般的临床诊断,以经校正的数字放射摄影照片、经校正的CT图像、使用C型臂X射线成像器获得的经校正的心脏图像等形式的经校正的X射线图像40因金属伪影得到抑制而有利地用于诊断或临床解读。
通过将经训练的神经网络32应用于未经校正的X射线图像30而产生的金属伪影图像34是残余图像,亦即,金属伪影的图像。因此,从未经校正的X射线图像30中减去残余图像34以生成经校正的X射线图像40。这种残余图像方法具有某些优点,包括为神经网络32提供改进的训练以及提供金属伪影(即,残余)图像34,金属伪影(即,残余)图像34能够自身使用或者与经校正的X射线图像40结合使用。
在下文中,描述了一些说明性示例。
在说明性示例中,神经网络32是卷积神经网络(CNN)类型的经修改的VGG网络(参见例如Simonyan等人的“Very deep convolutional networks for large-scale imagerecognition”(arXiv Prepr.arXiv1409,1556(1409)(ICLR2015))。网络的深度是根据期望的接受场来设定的,例如,神经网络32具有有效地提供跨未经校正的X射线图像30的全局连通性的多个层和内核大小。采用残余学习公式。
在本文报告的说明性示例中,训练集中的每个输入数据都是具有128像素×128像素的二维(2D)图像。卷积滤波器的大小设定为3×3,但是去除所有池化层。金属伪影通常表现为从金属物体延伸很长距离的深色或晕染纹理。因此,预期大的接受场将是有益的。利用为4的扩张因子并且将卷积层的深度选择为d=22,以创建126×126的接受场,该接受场几乎覆盖了整幅图像,以便提供跨未经校正的X射线图像的全局连通性30。
说明性CNN中的第一卷积层包括64个大小为3×3的滤波器,第2-21层中的每个层包括64个大小为3×3×64且扩张因子为4的滤波器,并且最后一层包括一个大小为3×3×64的滤波器。除了第一层和最后一层之外,每个卷积层后面都有批次归一化单元(其用于加快训练速度并提升性能)和修正线性单元(ReLU)(其用于引入非线性)。在每个卷积层中执行零填充以维持正确的数据维数。
出于训练目的,针对CNN(p)的每幅输入训练图像p都是来自多色(或等效地,多能量)模拟和重建的2D图像。训练图像p可以被分解为p=m+a,其中,m被认为是无金属伪影的X射线图像,例如,根据单色模拟而重建的图像,并且a是金属伪影图像分量。残余学习公式用于训练残余映射T(p)~a,根据该残余映射,将期望的信号m确定为m=p-T(p)。通过使以下损失函数最小化来估计CNN参数:
Figure BDA0002601216310000071
其中,掩模的功能是选择除了金属区域之外的图像。由于损失函数预期将更多地集中在具有可见金属伪影的区域上,因此预期使用这样的掩模将使得在训练中更快得到收敛。参数w是所有层的所有卷积内核的集合,并且k=1,…,22表示层索引。正则化项鼓励平滑化的金属伪影和小的网络内核。本文报道的实例使用正则化参数λ1=10-4,λ2=10-3。这里,
Figure BDA0002601216310000072
表示输入图像和标签图像的N个训练对,其中,j是训练单位的索引。正则化项
Figure BDA0002601216310000073
提供平滑效果,而正则化项
Figure BDA0002601216310000074
惩罚较大的网络内核。
使用具有随机梯度下降(SGD)的常规误差反向传播来执行使损失函数L(w)的最小化。在SGD中,初始学习速率被设定为10-3,并且学习速率不断降低到10-5。使用大小为10的微批次,这意味着将10个随机选择的数据集用作批次以进行训练。该方法是使用MatConvNet(例如参见Vedaldi等人的“MatConvNet-Convolutional Neural Networks forMATLAB”(Arxiv,2014年)在MATLAB(MathWorks,Natick MA)中实施的。
现在参考图2,为了生成训练集,对包含金属物体的数字体模的单色和多色投影(或等效地,单能量和多能量投影)进行模拟。如图2所示,CNN训练集是根据数字模型生成的,该数字模型包含横轴平面内的外科手术螺钉50(a:图2的左侧图像)或沿着头尾方向的两个金属棒植入物52、54(b:图2的右侧图像)。灰度窗口为[-400,400]HU。为了进行评价,在CT扫描器上扫描尼龙体模主体中包含钛棒和不锈钢棒的物理体模(未示出),以评价经训练的神经网络的性能。选择模拟参数以模仿飞利浦Brilliance iCT扫描器(PhilipsHealthcare,Highland Heights OH)的特性,该扫描器针对每个切片具有672个探测器,并且机架旋转一圈采集1200个投影。模拟是在轴向扫描模式下以120kVp的管电压执行的。考虑了两种场景:(i)存在处于横断面内的外科手术螺钉50(图2的左侧图像);以及(ii)存在沿着头尾方向的两个金属棒植入物52、54(图2的右侧图像)。数字体模还包含水椭圆56(长轴~150mm,短轴~120mm)以模拟人体衰减。还添加了圆形插入物(直径~50mm,衰减比水高100HU),以检查所提出的方法在存在相对较低的对比度的物体下的性能。在模拟中假定金属材料为钛。对单色投影进行模拟,假定入射X射线谱的有效能量为71kV。根据以下公式来模拟多色投影:
I=∫EI0(E)exp(-∫lμ(E)dl)dE (2)
其中,I0(E)表示作为光子能量E的函数的入射X射线谱,I是总透射强度,并且l是通过使用基于定制的图形处理器单元(GPU)的前向投影器计算出的路径长度。然后使用三维(3D)滤波反投影(FBP)重建经模拟的单色投影和多色投影,以分别形成“单”图像(被视为真实数据(ground truth))和“多”图像(包含金属伪影图像)。在CNN训练中,将“多”图像用作输入信号s,并且将“单”图像与“多”图像之间的差分图像用作残余信号r。经重建的图像在每个切片中具有512×512像素,并且FOV为250mm。
训练集包括“螺钉”和“棒”。通过以下操作来生成“螺钉”集合:将螺钉50在x方向和y方向中的每个方向上都从-80mm平移到80mm,并且将螺钉50绕z轴旋转~180度的范围,从而总共形成1024种物体变化情况。通过以下操作来生成“棒”集合:将两个棒52、54在x方向和y方向中的每个方向上都从-60mm平移到60mm,绕z轴旋转~180度的范围,并且将两个棒52、54之间的距离从40mm改变到150mm,从而总共形成1280种物体变化情况。总数为1024+1280=2304的集合用于训练所提出的网络。由于在训练中的计算密集,因此每个经重建的图像都被下采样为128×128像素。在具有GPU(GeForce TITAN X,英伟达,圣克拉拉,加利福尼亚州)的工作站(Precision T7600,戴尔,Round Rock TX)上,整个训练时间为~4小时。
经训练的网络在模拟数据和实验测量数据上都进行了测试。当以未被包括在训练集中的方式平移、旋转和分离(仅针对棒的场景)螺钉50或棒52、54时,对测试投影进行模拟。根据测试投影重建的“多”图像用作CNN输入,并且“单”图像用作真实数据以用于与CNN输出进行比较。另外,在飞利浦Brilliance iCT扫描器上扫描被设计为模仿大型的骨科金属植入物的定制体模,该体模在直径为200mm的尼龙体模主体中包含钛棒和不锈钢棒(这两种金属通常用于骨科植入物)。扫描是在轴向模型中以10mm准直(选择窄准直以使散射效应最小化),120kVp的管电压和500mAs的管电流来执行的。通过故意禁用扫描器的金属伪影减少算法而获得具有128×128像素和250mm重建FOV的包含金属伪影的图像,并且将该包含金属伪影的图像用作CNN输入。
参考图3,示出了螺钉场景中的结果。图3中的每一行表示螺钉50平移和旋转的特定组合的示例。(根据使用多色X射线模拟的投影重建的)“多色”图像示出严重的阴影和“晕染”。如在图3的第二列中所示的被标示为“CNN输出(伪影)”的那样,这些伪影是由经训练的神经网络检测到的。图3的第三列示出了“经CNN校正的”图像,该“经CNN校正的”图像是通过从“多色”图像中减去“CNN输出”图像来获得的。如在“经CNN校正的”图像中所见,金属伪影在经CNN校正的图像中几乎被完全去除,从而得到恢复的衰减信息(包括插入物的轮廓信息)。与(根据使用单色X射线模拟的投影重建的)“单色”图像(用作用于测试的“真实数据”图像)相比,能够看到一些残余伪影,并且可能通过增加训练集的大小来减少这些残余伪影。CNN校正速度大约为每秒80幅图像。
参考图4,示出了棒场景中的结果。图4中的每一行表示两个棒52、54之间平移、旋转和分离的特定组合的示例。与螺钉场景类似,在“多色”图像(最左列)中看到的金属伪影(例如,阴影和条纹)在通过从“多色”图像中减去“CNN输出(伪影)”图像)(从左数第二列)而生成的“经CNN校正的”图像中几乎被完全去除。最右侧的列再次示出真实数据“单色”图像以用于比较。
参考图5,示出了用于对物理体模进行成像的结果。左侧图像(a)是未经校正的CT图像,而右侧图像(b)是经CNN校正的图像。扫描中使用的物理体模与训练中使用的数字棒体模在物体可变性方面存在许多差异,包括体模主体的形状和材料(尼龙与水)以及金属棒的大小和材料(不锈钢和钛与仅钛)的金属棒。使用没有得到金属伪影校正的测量数据重建的图像(左侧图像(a))显示出严重的阴影和条纹。这些伪影在经CNN校正的图像(右侧图像(b))中大大减少,从而得到在体模主体内更加均匀的图像。残余伪影可能是由其他物理效应引起的,例如,金属材料依赖性、部分体积效应以及光子饥饿。
所公开的深度残余学习框架训练了深度卷积神经网络32,以检测并校正CT图像(或更一般地是X射线图像)中的金属伪影。通过多色模拟数据训练的残余网络表现出能够大大减少或在一些情况下几乎完全去除由射束硬化效应引起的金属伪影。
应当理解,本文呈现的图3-5的结果仅是说明性的,并且可以预想到许多变化。例如,等式(1)的损失函数L(w)可以被有效地量化神经网络输出T(p)与真实数据伪影图像a之间的差异的任何其他损失函数来代替。在说明性训练中,利用对作为真实数据的单色图像进行模拟的能力,因为单色图像基本上不受金属伪影机制(例如,射束硬化或晕染)的影响。然而,更一般地,也可以利用其他训练数据源。例如,可以通过计算密集型金属伪影去除算法来处理从体模或人体成像对象采集的训练图像,以产生用于训练神经网络32的训练数据,从而在计算损失大大减少的情况下有效地执行对计算密集型金属伪影去除算法的伪影去除功能,由此提供了金属伪影得到去除的更加高效的图像重建。如上所述,在实验中,CNN校正速度大约为每秒80幅图像,这对于在iGT流程期间校正由C型臂10(例如图1)生成的“实况”图像非常实用。此外,如图3和图4所示,金属伪影图像(图3和图4中从左数第二列)能够提供对金属伪影的有效分割表示。虽然与引起伪影的金属物体的实际边界相比,该图像显示出晕染或其他变形,但是可以看出,金属伪影图像提供了对金属物体的隔离图像,该隔离图像例如能够被拟合到已知的金属物体几何形状,以提供对活检针、金属假体或要在iGT流程期间操纵的其他已知金属物体的准确的实况跟踪。在一种方法中,将经校正的X射线图像40显示在显示器46上,同时将金属伪影图像34(或根据金属伪影图像34导出的图像,例如,被定位为要与金属伪影图像34空间对齐的基本金属物体的图像)也显示在显示器46上(例如将金属伪影图像34(或根据金属伪影图像34导出的图像)叠加到经校正的X射线图像40的显示上或与之融合)。作为另一应用,可以使用在金属伪影图像34中捕获的金属物体的图像密度(或其他信息,例如,晕染程度)将金属物体分类为金属类型,或者可以基于形状等来识别通过金属伪影图像34描绘的金属物体。在一些实施例中,可以使用例如在Walker等人的美国公开专利US 2012/0046971 A1(2012年2月23日发布)中公开的识别方法。在一些实施例中,为了在iGT或其他时间关键的成像任务期间使实况成像的处理速度最大化,图像重建方法26不包括除了以下操作之外的任何金属伪影校正:将神经网络32应用于未经校正的X射线图像30以生成金属伪影图像34,以及通过从未经校正的X射线图像中减去金属伪影图像来生成经校正的X射线图像40。
在说明性示例(例如,图3-5)中,处理是在2D图像上执行的。然而,在其他预想到的实施例中,未经校正的X射线图像30是三维(3D)的未经校正的X射线图像,并且神经网络32被应用于三维的未经校正的X射线图像以将金属伪影图像34生成为三维金属伪影图像。这种方法能够是有利的,因为条纹、晕染和其他金属伪影通常在三维上延伸,因此可以通过在3D空间中处理3D的未经校正的X射线图像30来最有效地进行校正(相比于将3D的未经校正的X射线图像30分成2D切片并独立地处理2D图像切片)。
参考图6,通过流程图示出了由图1的X射线成像设备适当执行的说明性方法。在操作S1中,重建X射线投影数据以生成未经校正的X射线图像30。在操作S2中,将被训练为提取包括金属伪影的图像内容的神经网络32应用于未经校正的X射线图像30,以生成金属伪影图像34。在操作S3中,通过从未经校正的X射线图像30中减去金属伪影图像34来生成经校正的X射线图像40。在操作S4中,将经校正的X射线图像40显示在显示器46上。
参考图7,如前所述,优选地,将神经网络32的深度设定为使得接受场跨越正在得到处理的X射线图像30的区。换句话说,神经网络32优选具有有效地提供跨未经校正的X射线图像30的全局连通性的多个层和内核大小。图7图示了用于将神经网络32设计为具有跨越128×128像素的图像区的期望的接受场的方法。这仅是说明性示例,并且也能够采用其他神经网络配置,例如,能够使用较少的因较大的内核大小和/或扩张因子而偏移的层来获得相当的接受区。使神经网络32的接受场涵盖X射线图像的区是有利的,因为金属伪影通常包括条纹或其他伪影特征,这些条纹或其他伪影特征遍布X射线图像的大部分区,或者在一些情况下甚至遍布整幅图像。通过构建经训练的神经网络32以使接受区跨越(即,涵盖、共同延伸)X射线图像的区,神经网络32能够有效生成捕获这些大面积金属伪影特征的残余图像34。
已经参考优选实施例描述了本发明。他人在阅读和理解前面的具体描述的情况下可以想到修改和替代。本文旨在将本发明解释为包括所有这样的修改和替代,只要它们落入权利要求书及其等价方案的范围内。

Claims (23)

1.一种非瞬态存储介质(24),其存储指令,所述指令能由电子处理器(22)读取并运行以执行图像重建方法(26),所述图像重建方法包括:
重建X射线投影数据以生成未经校正的X射线图像(30);
将神经网络(32)应用于所述未经校正的X射线图像以生成金属伪影图像(34);并且
通过从所述未经校正的X射线图像中减去所述金属伪影图像来生成经校正的X射线图像(40);
其中,所述神经网络被训练为提取包括金属伪影的图像内容。
2.根据权利要求1所述的非瞬态存储介质(24),还存储指令,所述指令能由所述电子处理器(22)读取并运行以执行神经网络训练方法,从而训练所述神经网络(32)以变换多色训练X射线图像pj,其中,j对所述训练X射线图像进行索引以匹配相应的金属伪影图像aj,其中,pj=mj+aj并且分量mj为无金属伪影的X射线图像。
3.根据权利要求1-3中的任一项所述的非瞬态存储介质(24),其中,所述神经网络(32)具有有效地提供跨所述未经校正的X射线图像(30)的全局连通性的多个层和内核大小。
4.根据权利要求1-3中的任一项所述的非瞬态存储介质(24),其中,所述图像重建方法(26)还包括在显示器(46)上显示所述经校正的X射线图像(40)。
5.根据权利要求4所述的非瞬态存储介质(24),其中,所述图像重建方法(26)还包括在所述显示器(46)上显示所述金属伪影图像(34)或根据所述金属伪影图像导出的图像。
6.根据权利要求1-5中的任一项所述的非瞬态存储介质(24),其中,所述图像重建方法(26)还包括将所述金属伪影图像(34)分类为金属类型。
7.根据权利要求1-6中的任一项所述的非瞬态存储介质(24),其中,所述图像重建方法(26)还包括基于形状来识别通过所述金属伪影图像描绘的金属物体。
8.根据权利要求1-7中的任一项所述的非瞬态存储介质(24),其中,所述神经网络(32)包括卷积神经网络(CNN)。
9.根据权利要求1-8中的任一项所述的非瞬态存储介质(24),其中,所述图像重建方法(26)不包括除了以下操作之外的任何金属伪影校正:将所述神经网络(32)应用于所述未经校正的X射线图像(30)以生成所述金属伪影图像(34),以及通过从所述未经校正的X射线图像中减去所述金属伪影图像来生成所述经校正的X射线图像(40)。
10.根据权利要求1-9中的任一项所述的非瞬态存储介质(24),其中,所述未经校正的X射线图像(30)是三维的未经校正的X射线图像,并且所述神经网络(32)被应用于所述三维的未经校正的X射线图像以将所述金属伪影图像(34)生成为三维金属伪影图像。
11.一种成像设备,包括:
X射线成像设备(10、100),其被配置为采集未经校正的X射线图像(30);以及
图像重建设备,其包括电子处理器(22)和非瞬态存储介质(24),所述非瞬态存储介质存储指令,所述指令能由所述电子处理器读取并运行以执行图像校正方法(26),所述图像校正方法包括:
将神经网络(32)应用于所述未经校正的X射线图像以生成金属伪影图像(34),其中,所述神经网络被训练为提取包括金属伪影的残余图像内容;并且
通过从所述未经校正的X射线图像中减去所述金属伪影图像来生成经校正的X射线图像(40)。
12.根据权利要求11所述的成像设备,其中,所述非瞬态存储介质(24)还存储指令,所述指令能由所述电子处理器(22)读取并运行以执行神经网络训练方法,从而训练所述神经网络(32)以变换多色训练X射线图像pj,其中,j对所述训练X射线图像进行索引以匹配相应的金属伪影图像aj,其中,pj=mj+aj并且分量mj为无金属伪影的X射线图像。
13.根据权利要求11-12中的任一项所述的成像设备,其中,所述神经网络(32)具有有效地提供跨所述未经校正的X射线图像(30)的全局连通性的多个层和内核大小。
14.根据权利要求11-13中的任一项所述的成像设备,还包括:
显示设备(46);
其中,所述图像重建方法(26)还包括在所述显示设备上显示所述经校正的X射线图像(40)。
15.根据权利要求14所述的成像设备,其中,所述图像重建方法(26)还包括在所述显示设备(46)上显示所述金属伪影图像(34)或根据所述金属伪影图像导出的图像。
16.根据权利要求11-15中的任一项所述的成像设备,其中,所述图像重建方法(26)还包括处理所述金属伪影图像(34)以确定关于通过所述金属伪影图像描绘的金属物体的信息。
17.根据权利要求11-16中的任一项所述的成像设备,其中,所述X射线成像设备包括计算机断层摄影(CT)成像设备、C型臂成像设备(10)或数字放射摄影(DR)设备。
18.根据权利要求11-16中的任一项所述的成像设备,其中:
所述X射线成像设备包括正电子发射断层摄影/计算机断层摄影(PET/CT)成像设备(100),所述正电子发射断层摄影/计算机断层摄影成像设备具有被配置为采集所述未经校正的X射线图像(30)的CT机架(102)以及PET机架(104);并且
所述非瞬态存储介质(24)还存储指令,所述指令能由所述电子处理器(22)读取并运行以根据所述经校正的X射线图像(40)生成衰减图,以供在由所述PET机架执行的PET成像中的衰减校正中使用。
19.一种成像方法,包括:
使用X射线成像设备(10)来采集未经校正的X射线图像(30);
将经训练的神经网络应用于所述未经校正的X射线图像以生成金属伪影图像(34);并且
通过从所述未经校正的X射线图像中减去所述金属伪影图像来生成经校正的X射线图像(40);
其中,所述训练、所述应用和所述生成是由电子处理器(22)执行的。
20.根据权利要求19所述的成像方法,其中,所述神经网络(32)具有有效地提供跨所述未经校正的X射线图像(30)的全局连通性的多个层和内核大小。
21.根据权利要求19-20中的任一项所述的成像方法,其中,所述成像方法不包括除了以下操作之外的任何金属伪影校正:将所述经训练的神经网络(32)应用于所述未经校正的X射线图像(30)以生成所述金属伪影图像(34),以及通过从所述未经校正的X射线图像中减去所述金属伪影图像来生成所述经校正的X射线图像(40)。
22.根据权利要求19-21中的任一项所述的成像方法,其中,所述未经校正的X射线图像(30)是三维的未经校正的X射线图像,并且所述经训练的神经网络(32)被应用于所述三维的未经校正的X射线图像以将所述金属伪影图像(34)生成为三维金属伪影图像,并且所述经校正的X射线图像(40)是通过从所述三维的未经校正的X射线图像中减去所述三维金属伪影图像来生成的。
23.根据权利要求19-22中的任一项所述的成像方法,还包括训练所述神经网络(32)以变换多能量训练X射线图像pj,从而匹配相应的金属伪影图像aj,其中,j对所述训练X射线图像进行索引,并且pj=mj+aj,其中,图像分量mj为无金属伪影的X射线图像。
CN201980010147.XA 2018-01-26 2019-01-09 使用深度学习来减少金属伪影 Pending CN111656405A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862622170P 2018-01-26 2018-01-26
US62/622,170 2018-01-26
PCT/EP2019/050469 WO2019145149A1 (en) 2018-01-26 2019-01-09 Using deep learning to reduce metal artifacts

Publications (1)

Publication Number Publication Date
CN111656405A true CN111656405A (zh) 2020-09-11

Family

ID=65012026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980010147.XA Pending CN111656405A (zh) 2018-01-26 2019-01-09 使用深度学习来减少金属伪影

Country Status (5)

Country Link
US (1) US20210056688A1 (zh)
EP (1) EP3743889A1 (zh)
JP (1) JP2021511608A (zh)
CN (1) CN111656405A (zh)
WO (1) WO2019145149A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112490A (zh) * 2021-04-23 2021-07-13 上海卓昕医疗科技有限公司 一种三维医学影像标记点提取方法及系统
CN113256529A (zh) * 2021-06-09 2021-08-13 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备及存储介质
CN113554563A (zh) * 2021-07-23 2021-10-26 上海友脉科技有限责任公司 一种医学图像处理方法、介质及电子设备
CN113744320A (zh) * 2021-09-10 2021-12-03 中国科学院近代物理研究所 一种智能型的离子束自适应放疗系统、存储介质及设备
CN116309923A (zh) * 2023-05-24 2023-06-23 吉林大学 基于图神经网络的ct金属伪影消除方法及系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019173452A1 (en) * 2018-03-07 2019-09-12 Rensselaer Polytechnic Institute Deep neural network for ct metal artifact reduction
US11154268B2 (en) * 2018-03-19 2021-10-26 Siemens Medical Solutions Usa, Inc. High-resolution anti-pinhole PET scan
EP3693921B1 (en) * 2019-02-05 2022-04-20 Siemens Healthcare GmbH Method for segmenting metal objects in projection images, evaluation device, computer program and electronically readable storage medium
DE102020203741A1 (de) * 2020-03-24 2021-09-30 Siemens Healthcare Gmbh Verfahren und Vorrichtung zum Bereitstellen eines artefaktreduzierten Röntgenbilddatensatzes
US11890124B2 (en) 2021-02-01 2024-02-06 Medtronic Navigation, Inc. Systems and methods for low-dose AI-based imaging
KR102591665B1 (ko) * 2021-02-17 2023-10-18 연세대학교 산학협력단 인공 신경망을 이용한 ct 영상 보정 장치 및 방법
DE102022203101B3 (de) 2022-03-30 2023-09-21 Siemens Healthcare Gmbh Verfahren zur Artefaktkorrektur in einem Computertomographiebilddatensatz, Computertomographieeinrichtung, Computerprogramm und elektronisch lesbarer Datenträger
WO2024008764A1 (en) * 2022-07-07 2024-01-11 Koninklijke Philips N.V. Cone beam artifact reduction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103339652A (zh) * 2010-12-01 2013-10-02 皇家飞利浦电子股份有限公司 靠近伪影源的诊断图像特征
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2430577A1 (en) 2009-05-13 2012-03-21 Koninklijke Philips Electronics N.V. Method and system for imaging patients with a personal medical device
GB2547838B (en) * 2014-12-04 2021-02-24 Gen Electric Method and system for improved classification of constituent materials
US20170362585A1 (en) * 2016-06-15 2017-12-21 Rensselaer Polytechnic Institute Methods and apparatus for x-genetics

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103339652A (zh) * 2010-12-01 2013-10-02 皇家飞利浦电子股份有限公司 靠近伪影源的诊断图像特征
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HYUNG SUK PARK等: "《Machine-learning-based nonlinear decomposition of CT images for metal artifact reduction》", 《MEDICAL PHYSICS》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112490A (zh) * 2021-04-23 2021-07-13 上海卓昕医疗科技有限公司 一种三维医学影像标记点提取方法及系统
CN113256529A (zh) * 2021-06-09 2021-08-13 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备及存储介质
CN113554563A (zh) * 2021-07-23 2021-10-26 上海友脉科技有限责任公司 一种医学图像处理方法、介质及电子设备
CN113554563B (zh) * 2021-07-23 2024-05-14 上海友脉科技有限责任公司 一种医学图像处理方法、介质及电子设备
CN113744320A (zh) * 2021-09-10 2021-12-03 中国科学院近代物理研究所 一种智能型的离子束自适应放疗系统、存储介质及设备
CN113744320B (zh) * 2021-09-10 2024-03-29 中国科学院近代物理研究所 一种智能型的离子束自适应放疗系统、存储介质及设备
CN116309923A (zh) * 2023-05-24 2023-06-23 吉林大学 基于图神经网络的ct金属伪影消除方法及系统

Also Published As

Publication number Publication date
WO2019145149A1 (en) 2019-08-01
EP3743889A1 (en) 2020-12-02
US20210056688A1 (en) 2021-02-25
JP2021511608A (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
CN111656405A (zh) 使用深度学习来减少金属伪影
Prell et al. A novel forward projection-based metal artifact reduction method for flat-detector computed tomography
EP3486873B1 (en) Automatic implant detection from image artifacts
US9934597B2 (en) Metal artifacts reduction in cone beam reconstruction
Liu et al. Metal artifact reduction image reconstruction algorithm for CT of implanted metal orthopedic devices: a work in progress
US9070181B2 (en) System and method for extracting features of interest from an image
Meilinger et al. Metal artifact reduction in cone beam computed tomography using forward projected reconstruction information
CN111915696B (zh) 三维图像数据辅助的低剂量扫描数据重建方法及电子介质
US7978886B2 (en) System and method for anatomy based reconstruction
CN107115119B (zh) Pet图像衰减系数的获取方法、衰减校正的方法及系统
US20180253838A1 (en) Systems and methods for medical imaging of patients with medical implants for use in revision surgery planning
Schnurr et al. Simulation-based deep artifact correction with convolutional neural networks for limited angle artifacts
CN117522747A (zh) 一种用于ct图像的金属伪影校正方法与系统
US11580678B2 (en) Systems and methods for interpolation with resolution preservation
Njiti et al. Potential of Metal Artifact Reduction (MAR) and Deep Learning-based Reconstruction (DLR) integration in CT Metal Artifact Correction: A review
Akter et al. 3D CT to 2D low dose single-plane fluoroscopy registration algorithm for in-vivo knee motion analysis
EP3404618B1 (en) Poly-energetic reconstruction method for metal artifacts reduction
KR20220038101A (ko) 구강 내 단층합성을 위한 다중-시야 합성 치과 방사선 사진들을 생성하기 위한 시스템 및 방법(systems and methods for generating multi-view synthetic dental radiographs for intraoral tomosynthesis)
KR20160061555A (ko) 동적 시준을 이용한 임의의 형상을 가지는 관심 영역에 대한 단층촬영 방법 및 시스템
CN110730977A (zh) 低剂量成像方法及装置
US20240122562A1 (en) Method To Superimpose Rendering Over Spine Hardware Implants On Images Produced By Cbct Scanner System
EP4160539A1 (en) Adaptive auto-segmentation in computed tomography
EP4160538A1 (en) Metal artifact reduction in computed tomography
Hamill et al. Attenuation map segmentation in low-dose PET/CT
HI et al. Study the effect of metal artifact reduction (MAR) technique in improving CT image quality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination