CN109754369A - 确定图像数据集的坐标系之间的变换 - Google Patents
确定图像数据集的坐标系之间的变换 Download PDFInfo
- Publication number
- CN109754369A CN109754369A CN201811294702.XA CN201811294702A CN109754369A CN 109754369 A CN109754369 A CN 109754369A CN 201811294702 A CN201811294702 A CN 201811294702A CN 109754369 A CN109754369 A CN 109754369A
- Authority
- CN
- China
- Prior art keywords
- image data
- data
- model
- transformation
- intelligent agent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 78
- 238000012549 training Methods 0.000 claims description 43
- 238000003384 imaging method Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 10
- 238000002591 computed tomography Methods 0.000 claims description 10
- 238000002059 diagnostic imaging Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 238000002604 ultrasonography Methods 0.000 claims description 5
- 238000002594 fluoroscopy Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 210000003484 anatomy Anatomy 0.000 description 4
- 210000000038 chest Anatomy 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 210000004872 soft tissue Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000009125 cardiac resynchronization therapy Methods 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000005240 left ventricle Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000010882 preoperative diagnosis Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明涉及一种确定图像数据集的坐标系之间的变换的方法，该方法包括：接收从第一源图像数据提取的结构的模型，第一源图像数据根据第一成像模态生成并具有第一数据格式，其中，所述模型具有与第一数据格式不同的第二数据格式；和使用智能代理确定模型和第一目标图像数据的坐标系之间的变换，根据与第一成像模态不同的第二成像模态生成第一目标图像数据。
Description
技术领域
本发明一方面涉及一种用于确定图像数据集的坐标系之间的变换的方法。在其他方面，本发明涉及一种医学成像设备和计算机程序产品。
背景技术
对于涉及术前计划和术中指导的医疗应用，能够确定术前获取的图像的坐标系与术中得到的图像的坐标系之间的变换通常是有益的。这种变换的确定通常被称为配准。
使用不同成像模态获取的图像之间的配准带来特别的挑战，因为在使用一种模态获取的图像中可观察到的结构可能不可观察到，或者在使用不同模态获取的图像中可能看起来有些不同。在不同的成像模态之间，强度值、对比度水平、分辨率和视场可以显著不同，并且在一些情况下，在两种模态中可能看不到相同的结构。例如，在X射线荧光透视图像中可能不容易观察到在磁共振图像中可观察到的软组织结构。因此，在使用根本不同的成像模态获取的两个图像数据集之间寻找变换可能是具有挑战性的。
如果图像的比例不相同，则该问题更加复杂。例如，术前数据采集协议通常被设计用于诊断目的，并且未被优化用于与使用不同成像模态获取的图像配准。因此，为术前诊断目的而获取的图像可能对术中使用的图像具有不同的视场和分辨率。
使用术前和术中图像的应用的示例是微创心脏介入，比如心脏再同步治疗。在这样的过程中，术前和术中图像数据之间的差异可能很大。通常，使用磁共振成像技术获取术前数据，并且使用二维X射线荧光透视技术获取术中数据。术前磁共振采集可以包括一堆叠图像，每个图像显示具有高面内分辨率但低面外分辨率的软组织解剖结构。磁共振图像堆叠中的每一个可以具有相对小的视场，以便集中于感兴趣的解剖结构(例如心脏的心室)，仅显示少数周围结构。因此，在磁共振数据中可能看不到可能用于配准的结构(比如脊柱或肋骨)。相比之下，术中进行的X射线透视可能具有更宽的视场并且显示出密集的结构，比如骨骼或器械，但可能不能清楚地显示软组织解剖结构。
通常，例如，手动执行术前磁共振图像到术中X射线的配准以用于心脏再同步治疗。为了解决使用每种模态获取的图像所共有的结构很少的问题(即交叉模态信息受到高度限制)，可以使用基准标记。然而，使用基准标记进行配准需要在手术之前立即进行术前成像(以及相应的术中成像)，以确保基准标记在成像模态之间是一致的。这可能需要改变临床程序，并且还可能需要手术室中的额外成像硬件。
已经使用基于人工智能的方法来执行使用不同成像模态获取的不同图像数据集之间的配准。然而，在成像模态之间实现准确且稳健的配准存在许多挑战。首先，需要具有地面实况信息的大量训练数据，以便训练系统准确且稳健地执行配准。对于成像模态的某些组合，难以获得这样的数据。其次，一旦系统被训练成准确且稳健地执行两个成像模态之间的配准，该训练就不能变换到成像模态的其他组合。也就是说，系统只能处理它所训练的特定模态和采集协议。
发明内容
这些问题通过权利要求1的方法、权利要求14的医学成像设备和权利要求15的计算机程序产品解决。从属权利要求涉及本发明的其他方面。
本发明一方面涉及一种确定图像数据集的坐标系之间的变换的方法，该方法包括：
接收从第一源图像数据提取的结构的模型，第一源图像数据根据第一成像模态生成并具有第一数据格式，其中，所述模型具有与第一数据格式不同的第二数据格式；和
使用智能代理确定模型和第一目标图像数据的坐标系之间的变换，根据与第一成像模态不同的第二成像模态生成第一目标图像数据。
本发明的一个实施例在一方面涉及一种方法，包括：
接收从第二源图像数据提取的结构的另一模型，根据与第一模态不同的第三成像模态生成第二源图像数据，并且第二源图像数据具有与第一数据格式不同的第三数据格式，其中，所述另一模型具有第二数据格式；和
使用智能代理确定另一模型和第二目标图像数据的坐标系之间的变换，根据与第一成像模态不同的第四成像模态生成第二目标图像数据。
本发明的一个实施例在一方面涉及一种方法，包括分割第一源图像数据以提取模型。
本发明的一个实施例在一方面涉及一种方法，包括基于分割的第一源图像数据生成多边形网格。
本发明的一个实施例在一方面涉及一种方法，其中，第一源图像数据包括三维图像数据，且第一目标图像数据包括二维图像数据。
本发明的一个实施例在一方面涉及一种方法，包括：
基于模型的二维投影生成投影图像数据；
在智能代理处接收投影图像数据和第一目标图像数据；
通过智能代理确定对适用于投影图像数据的多个动作中的每个动作的奖励；
基于确定的奖励选择动作；以及
根据所选择的动作变换投影图像数据。
本发明的一个实施例在一方面涉及一种方法，包括：
将所选动作应用于模型以生成变换模型；和
基于变换模型的二维投影生成另外的投影图像数据。
本发明的一个实施例在一方面涉及一种方法，其中，基于投影图像数据的平移和/或旋转来确定对多个动作中的每个动作的奖励。
本发明的一个实施例在一方面涉及一种方法，包括：
指定与第一目标图像数据相关的成像几何形状；和
根据指定的成像几何形状生成投影图像数据。
本发明的一个实施例在一方面涉及一种方法，其中，所述第一源图像数据包括以下之一：磁共振图像数据、计算机断层摄影图像数据和超声图像数据，和/或所述第一目标图像数据包括X射线图像数据。
本发明的一个实施例在一方面涉及一种方法，包括执行训练过程以训练智能代理，所述训练过程包括：
向智能代理提供训练数据，训练数据包括三维图像数据；
处理训练数据以从训练数据中提取结构的三维模型并生成数字重建的二维图像数据；
生成提取的三维模型的二维投影；
通过智能代理确定对适用于二维投影的多个动作中的每个动作的奖励；
基于确定的奖励选择动作；以及
根据所选择的动作变换提取的三维模型。
本发明的一个实施例在一方面涉及一种方法，其中，所述二维投影具有的视场小于所述数字重建的二维图像数据的视场。
本发明的一个实施例在一方面涉及一种方法，其中，所述训练数据包括计算机断层摄影图像数据。
本发明一方面涉及一种医学成像装置，包括：
处理器，布置成：
接收从第一源图像数据提取的结构的模型，第一源图像数据根据第一成像模态生成并具有第一数据格式，其中，所述模型具有与第一数据格式不同的第二数据格式；和
使用智能代理确定模型和第一目标图像数据的坐标系之间的变换，根据与第一成像模态不同的第二成像模态生成第一目标图像数据。
本发明的一个实施例在一方面涉及一种医学成像设备，包括显示单元，其中，所述处理器布置成：
基于模型和第一目标图像数据的坐标系之间的变换生成覆盖；
将覆盖应用于目标图像数据以生成注释图像；以及
在显示单元上显示注释图像。
本发明一方面涉及一种计算机程序，该计算机程序可加载到数据处理系统的存储器单元中，包括程序代码部分，以使数据处理系统在计算机程序在所述数据处理系统中执行时执行根据本发明一方面的方法。
计算机程序产品可以是例如计算机程序或者包括除计算机程序之外的另一元件。该其他元件可以是硬件，例如存储计算机程序的存储器设备，用于使用计算机程序等的硬件密钥，和/或软件，例如用于使用计算机程序的文档或软件密钥。
医学成像设备可以例如选自由X射线荧光透视设备、计算机断层摄影设备、磁共振成像设备、分子成像设备、SPECT设备、PET设备和其组合构成的组。医学成像设备可以是例如成像模态和治疗模态的组合，特别是放射治疗模态。
参考以下事实：所描述的方法和所描述的成像设备仅仅是本发明的优选示例性实施例，并且本领域技术人员可以在不脱离由权利要求书规定的本发明的范围的情况下改变本发明。
附图说明
下面将参考附图使用示例性实施例说明本发明。附图中的图示是示意性的并高度简化且不一定按比例绘制。
图1是根据本发明一个方面的成像设备的示意图。
图2是示出根据本发明一个方面的方法的简化工作流程图。
图3是示出用于确定图像数据集的坐标系之间的变换的处理系统的简化图。
图4a是示出从图像数据提取的结构的三维模型的简化图。
图4b是示出从图像数据提取的结构的三维模型的二维投影的简化图。
图5是示出根据本发明一个方面的方法的简化工作流程图。
图6是示出用于存储由智能代理学习的策略的神经网络的架构的简化图。
图7是示出训练智能代理以确定图像数据集的坐标系之间的变换的训练过程的简化工作流程图。
具体实施方式
图1是示出根据本发明实施例的成像设备100的图。成像设备100包括成像单元102，其布置成根据特定成像模态生成图像数据。例如，成像单元102可以是X射线荧光透视单元，其布置成生成X射线荧光透视图像并将它们呈现在显示器104上。
成像设备100可以包括用于控制成像设备100的一个或多个参数的控制器106。例如，控制器106可以控制在显示器104上呈现的图像，并且可以布置为基于由成像单元102生成的图像数据生成显示数据，用于控制显示器104的显示参数。
可以使用硬件和/或软件来实现控制器106。在一些示例中，控制器106可以包括被编程为执行控制器106的功能的处理器108。
控制器106可以包括存储器110，存储器110布置成以智能代理112的形式存储数据，智能代理112通过在操作设置中安装和使用成像设备100之前实施机器学习算法来训练。例如，可以通过向智能代理112提供训练数据来训练智能代理112，并且机器学习算法可以学习确定不同图像数据集之间的变换。
机器学习算法可以是实现人工神经网络的任何合适的算法，用于从图像数据中提取结构的模型。例如，机器学习算法可以是卷积神经网络(CNN)算法，其使得能够训练智能代理112以确定图像数据集的坐标系之间的变换。在另一示例中，机器学习算法可以是完全卷积神经网络(FCN)算法。在另一示例中，机器学习算法可以是多层感知器(MLP)算法。
此外，存储器110可以存储可由处理器108执行的计算机程序，以执行本文描述的方法，并且具体地，下面参考图2、5和7描述的方法。
存储器110可以是任何合适形式的存储器。例如，存储器110可以包括易失性存储器比如随机存取存储器(RAM)和/或非易失性存储器比如只读存储器(ROM)或闪存。此外，存储器110可以包括多个单独的存储器设备，并且可以包括易失性和非易失性存储器的组合。在一些示例中，本发明的某些组件比如计算机程序和/或模型可以存储在一个存储器设备中，而其他组件可以存储在另一个存储器设备中。
图2是描绘确定图像数据集的坐标系之间的变换的方法200的流程图。方法200可以例如通过由控制器106使用上面参考图1描述的智能代理112执行的软件或固件来实现。
在框202处，智能代理112接收从第一源图像数据提取的结构的模型。
根据具有第一数据格式的第一成像模态生成第一源图像数据。例如，第一源图像数据可以通过磁共振成像技术生成，并且具有适合于存储和处理磁共振图像的数据格式。特别地，第一源图像数据可以是三维图像数据。在其他示例中，第一源图像数据可以通过计算机断层摄影成像技术或超声成像技术生成。该模型具有与第一数据格式不同的第二数据格式。特别地，无论生成第一源图像数据的成像模态还是第一源图像数据的格式，都可以以相同的格式生成模型。
在框204处，智能代理112确定模型和第一目标图像数据的坐标系之间的变换。
根据与第一成像模态不同的第二成像模态生成第一目标图像数据。第一目标图像数据可包括二维图像数据。例如，第一目标图像数据可以使用X射线荧光透视技术生成，并且具有适于在显示器上显示X射线荧光透视图像的数据格式。
在参考图2描述的方法200中，确定从第一源图像数据提取的模型和第一目标图像数据的坐标系之间的变换，而不是第一源图像数据本身和第一目标图像数据的坐标系之间的变换。这使得方法200能够与获取第一源图像数据的模态或第一源图像数据的格式无关，因为模型的格式独立于用于生成第一源图像数据的成像模态。
对第一源图像数据的唯一要求是可以分割感兴趣的结构(例如解剖结构)以提取模型。然后，可以使用由智能代理112应用的方法200来确定模型和第一目标图像数据的坐标系之间的变换。
关于医学应用，这意味着方法200与获取术前图像数据的模态无关。无论获取术前数据的模态如何，模型和第一目标图像数据的坐标系之间的变换(即配准结果)可用于指导介入过程。特别地，例如，可以使用配准的结果来指导医疗过程，其中在该过程期间仅第一目标图像数据实时地可用，但是其中使用没有显示该过程感兴趣的解剖结构的成像模态获取实时图像数据。
这在图2的框206和208中执行。
在框206处，智能代理112接收从第二源图像数据提取的结构的另一模型。
根据与第一模态不同的第三成像模态生成第二源图像数据，并且第二源图像数据具有与第一数据格式不同的第三数据格式。例如，第二源图像数据可以通过超声技术生成，并且具有适于存储和处理超声图像的数据格式。
另一模型具有第二数据格式。换句话说，尽管根据与第一源图像数据不同的成像模态生成第二源图像数据，但是从第二源图像数据提取的模型具有相同的格式和从第一源图像数据提取的模型。
在框208处，智能代理112确定另一模型和第二目标图像数据的坐标系之间的变换。
根据与第一成像模态不同的第四成像模态生成第二目标图像数据。在一些示例中，第四成像模态可以与第二成像模态相同。在其他示例中，第四成像模态可以与第二成像模态不同。例如，第一目标图像数据和第二目标图像数据都可以使用X射线透视技术生成，并且具有适于在显示器上显示X射线荧光透视图像的数据格式。
图3是根据上面参考图2描述的方法200确定图像数据集的坐标系之间的变换的处理系统300的示意图。处理系统300包括智能代理，比如上面参考图1描述的智能代理112。智能代理112被训练成确定图像数据集之间的变换。
智能代理112布置为接收从源图像数据提取的结构的模型302。如图3所示，模型302可以是从根据第一成像模态生成的源图像数据提取的三维模型的二维投影的形式。在一些示例中，第一成像模态可以是以下之一：磁共振成像、计算机断层摄影成像和超声成像。
智能代理112还布置为接收根据第二成像模态生成的目标图像数据304。例如，智能代理112可以接收从上面参考图1描述的成像单元102生成的成像数据，其可以是例如X射线荧光透视成像单元。
智能代理112布置为使用上面参考图2描述的方法200来确定模型302和目标图像数据304的坐标系之间的变换。基于所确定的变换，智能代理112可以生成覆盖306，并且将覆盖306应用于目标图像数据304以生成用于在显示单元上显示的注释图像308，比如上面参考图1描述的显示单元104。例如，显示单元104可以显示具有覆盖306的实时X射线透视图像，其对应于从源图像数据提取的结构，配准到目标图像数据304。例如，如图3所示，显示单元104可以显示实时胸部X射线图像308，其包括覆盖306，覆盖306示出了位于胸部内的心脏的一部分的位置和取向。
图4a是描绘从源图像数据(比如术前图像数据)提取的三维模型400的图像。例如，可以通过分割处理从源图像数据中提取三维模型400。三维模型400可以是解剖结构的模型。在图4a所示的示例中，三维模型400是人类心脏的左心室的模型。
分割是将数字图像分割成多个片段(即像素集)的过程，以将图像的表示简化和/或改变为更容易分析的事物。源图像数据的分割用于定位源图像数据中的结构(比如对象及其边界)。在一些示例中，源图像数据可以通过对象定位与边际空间学习和多步非刚性变形估计的组合来分割。
图像分割的结果是一组共同覆盖整个图像的片段。片段中的每个像素关于某些特征是相似的，并且相邻的片段相对于相同的特征是不同的。在一些示例中，片段可以由注释定义。当应用于医学成像中典型的图像堆叠时，可以使用图像分割之后的所得轮廓来使用例如插值算法创建三维重建模型。在一些示例中，片段可以定义包括一组多边形402的三维网格模型，多边形402布置成定义源图像数据中的结构的多边形网格模型。
这种模型400独立于源图像数据的参数，比如体素强度、分辨率、视场和其他图像采集参数。换句话说，网格模型400的格式独立于生成源图像数据的成像模态。使用从一种成像模态生成的模型训练的智能代理可以应用于从使用其他成像模态生成的源图像数据提取的模型，而无需针对特定的其他模态重新训练智能代理。因此，使用具有独立于成像模态的格式的网格模型400简化了训练过程，因为它消除了针对每种成像模态组合训练智能代理的需要。
图4b是描绘图4a中所示的三维模型400的二维投影404或二进制掩模的示例的图像。类似于上面参考图4a描述的网格模型400，二维投影404的格式独立于生成源图像数据的成像模态。为了生成投影图像数据，智能代理112可以记录或指定与第一目标图像数据相关的成像几何。例如，如果使用X射线荧光透视法获取第一目标图像数据，则可以记录或指定与准直器设置、视场、辐射源的位置和/或取向和/或检测器类型有关的参数。然后可以使用与用于获取第一目标图像数据的成像几何相同的成像几何来生成二维投影图像数据。这又可以提高配准过程的效率。
图5是描绘确定图像数据集的坐标系之间的变换的方法500的流程图。
在框502处，基于模型的二维投影生成投影图像数据。例如，如上面参考图4b所述，可以由智能代理112生成投影图像数据(二进制掩模)。
在框504处，智能代理112接收投影图像数据和第一目标图像数据。例如，第一目标图像数据可以是在介入过程期间获取的X射线荧光透视数据。
第一目标图像数据可被认为是固定图像数据，并且投影图像数据可被认为是运动图像数据，因为在执行方法500的过程中，投影图像数据可被变换以与目标图像数据相对应。生成投影图像数据(即运动图像)以具有比目标图像数据(即固定图像)的视场更小的视场。例如，目标图像数据可以导致具有300mm×300mm的视场的图像，而投影图像数据可以导致具有100mm×100mm的视场的图像。生成投影图像数据(即运动图像)以具有比固定图像更小的视场确保运动图像在固定图像的边界内。
在框506处，智能代理112确定对适用于投影图像数据的多个动作中的每个动作的奖励。
例如，可以基于投影图像数据的平移和/或旋转来确定对多个动作中的每个动作的奖励。在一些示例中，动作可以包括在三个正交方向中的每个方向上的平移以及围绕限定这些方向的轴(x，y，z)的旋转。在其他示例中，一个或多个轴可以是固定的。例如，在一些应用中，如果模型的中心和第一目标图像数据的中心是共同配准的(即可以假设中心并置)，则可以假设深度(z轴)近似正确。在这种情况下，动作可以限于沿x轴和y轴的平移以及绕z轴的旋转，从而减少智能代理112必须确定对三个自由度的动作的奖励的自由度的数量。
奖励是根据动作的有效性确定的。确定更高的奖励以改进(模型的)二维投影图像数据和二维目标图像数据之间的对齐。确定(模型的)二维投影图像数据和二维目标图像数据之间的对齐劣化的较低或负的奖励。
在框508处，基于所确定的奖励来选择动作。例如，智能代理112可以评估与多个动作中的每个动作相关的每个奖励，并确定哪个动作具有最高的相关奖励。因此，智能代理112可以确定具有最高相关奖励的动作是最可能将模型移动到更接近第一目标图像数据的变换的动作。换句话说，智能代理112可以确定具有最高相关奖励的动作最有可能导致与目标图像数据配准。
在框510处，根据所选择的动作变换投影图像数据。例如，可以将所选动作应用于模型以生成变换模型，并且可以基于变换模型的二维投影生成另外的投影图像数据。
在框512处，智能代理112确定是否存在收敛。换句话说，智能代理112可以确定方法500的迭代与先前迭代之间的差异(即通过根据所选择的动作变换模型所带来的改变)是否低于某个阈值。如果智能代理112确定不存在收敛，则方法500返回到框502，并且基于变换模型的二维投影来重新生成投影图像数据。如果智能代理112确定存在收敛，则智能代理112移动到方法500结束的框514。
为了训练智能代理112以使其能够准确且稳健地确定不同图像的坐标系之间的变换(即执行配准处理)，向智能代理112提供训练数据。
训练数据理想地包括三维模型(代表从源图像数据提取的模型类型)，其与表示目标图像数据的二维图像对齐。
在磁共振图像数据或超声数据与相应的X射线数据之间获得准确的地面实况配准是具有挑战性的。因此，为了训练智能代理112，使用计算机断层摄影图像数据。其原因是可以从相同的三维计算机断层摄影图像数据集中提取三维模型和二维图像数据。因为智能代理112被训练成确定成像模态独立模型和目标图像数据的坐标系之间的变换，所以可以使用从三维计算机断层摄影图像数据集中提取的三维模型和二维图像数据来训练智能代理112，然后用于操作设置，以确定具有成像模态独立格式的另一模型的坐标系与使用其他成像模态生成的目标图像数据的坐标系之间的变换。
如上面参考图4a和4b所述，可以通过分割来提取三维模型，以产生网格模型(类似于图4a中所示)和二进制掩模(类似于图4b中所示)。
二维图像是数字重建的射线照片，其是基于X射线衰减模型生成的人造X射线图像。数字重建的射线照片是三维计算机断层摄影数据在二维平面上的投影，并且表示等效的X射线荧光透视数据。使用射线投射方法产生投影。投影中心被认为是模型的中心点(从相同的计算机断层摄影图像数据中提取)。
由智能代理112执行的配准任务可被公式化为强化学习问题。由智能代理112执行的步骤可被建模为马尔可夫决策过程：{S,A,t,r,γ}，其中S表示可能的状态，A表示可能的动作，τ表示在某个时间步骤从状态采取动作的概率，r表示对某个动作的奖励，γ表示折扣因子，定义了长期奖励的重要性。智能代理112在某个时间步骤t处于单个状态或对齐St，并且在沿着每个自由度的每个方向上的动作at被奖励，这取决于相应动作at的有效性(即更好或更差的对齐)。训练过程布置成使得智能代理112可以学习策略π，该策略π可以用来自当前状态St的最高奖励来预测最佳动作：
αt=π(St)
以最大化长期奖励：
其中，rat是动作at的奖励。
智能代理112可以由人工神经网络建模，并且通过训练人工神经网络，策略π存储在神经网络中。一旦训练了智能代理112，并且策略π存储在神经网络中，策略π可以由智能代理112在操作设置中实现。
如图6所示，智能代理112由一对卷积神经网络602a、602b建模，以编码输入图像，即从计算机断层摄影数据中提取的网格模型和数字重建射线照片的二进制掩模。另一神经网络604对结构进行解码以确定奖励606。在一些示例中，输入图像可各自被重采样为相同的分辨率。例如，每个输入图像可以具有128×128像素分辨率。
每个卷积神经网络602a、602b可以包括4个卷积层604a、604b。卷积层604a、604b是在训练智能代理112期间学习的一组低级移位不变滤波函数。每个卷积层604a、604b之后是整流线性单元层606a，606b和汇集层608a、608b。整流线性单元层606a、606b将来自卷积层604a、604b的负输入设置为0，并保持来自卷积层604a、604b的正响应。汇集层608a、608b将来自整流线性单元层606a、606b的输入累积到单个输出。
图7是描绘执行训练过程以训练智能代理112的方法700的流程图。
在框702处，将训练数据提供给智能代理112。训练数据包括三维图像数据，如上所述。
在框704处，训练数据被处理以从训练数据提取结构的三维模型并生成数字重建的二维图像数据。
在框706处，生成所提取的三维模型的二维投影。
在框708处，智能代理112确定适用于二维投影的多个动作中的每个动作的奖励。可以如上参考图5所述来定义奖励。
在框710处，智能代理112基于所确定的奖励来选择动作。例如，智能代理112可以评估与多个动作中的每个动作相关的每个奖励，并确定哪个动作具有最高的相关奖励。因此，智能代理112可以确定具有最高相关奖励的动作是最可能将模型移动到更接近第一目标图像数据的变换的动作。换句话说，智能代理112可以确定具有最高相关奖励的动作最有可能导致与目标图像数据配准。在一些示例中，可以在所谓的监督学习过程中向智能代理112提供最佳奖励，以提高训练过程的效率。
在框712处，根据所选择的动作变换提取的三维模型。例如，可以将所选动作应用于模型以生成变换模型，并且可以基于变换模型的二维投影生成另外的投影图像数据。
在框714处，智能代理112确定是否存在收敛。换句话说，智能代理112可以确定方法700的迭代与先前迭代之间的差异(即通过根据所选择的动作变换模型所带来的改变)是否低于某个阈值。如果智能代理112确定不存在收敛，则方法700返回到框706，并且基于变换模型的二维投影来重新生成投影图像数据。如果智能代理112确定存在收敛，则智能代理112移动到方法700结束的框716。
虽然已经借助于优选实施例详细说明和描述了本发明，但是本发明不限于所公开的示例。在不脱离要求保护的发明的保护范围的情况下，本领域技术人员可以推导出其他变型。
Claims (16)
1.一种确定图像数据集的坐标系之间的变换的方法，该方法包括：
接收从第一源图像数据提取的结构的模型(302)，第一源图像数据根据第一成像模态生成并具有第一数据格式，其中，所述模型(302)具有与第一数据格式不同的第二数据格式；和
使用智能代理(112)确定模型(302)和第一目标图像数据(304)的坐标系之间的变换，根据与第一成像模态不同的第二成像模态生成第一目标图像数据(304)。
2.根据权利要求1所述的方法，包括：
接收从第二源图像数据提取的结构的另一模型(302)，根据与第一模态不同的第三成像模态生成第二源图像数据，并且第二源图像数据具有与第一数据格式不同的第三数据格式，其中，所述另一模型具有第二数据格式；和
使用智能代理(112)确定另一模型(302)和第二目标图像数据(304)的坐标系之间的变换，根据与第一成像模态不同的第四成像模态生成第二目标图像数据(304)。
3.根据权利要求1或2所述的方法，包括分割所述第一源图像数据以提取所述模型(302)。
4.根据权利要求3所述的方法，包括基于分割的第一源图像数据生成多边形网格(402)。
5.根据任一前述权利要求所述的方法，其中，所述第一源图像数据包括三维图像数据，并且所述第一目标图像数据包括二维图像数据。
6.根据权利要求5所述的方法，包括：
基于模型(400)的二维投影生成投影图像数据(404)；
在智能代理(112)处接收投影图像数据(404)和第一目标图像数据(304)；
通过智能代理(112)确定对适用于投影图像数据(404)的多个动作中的每个动作的奖励；
基于确定的奖励选择动作；以及
根据所选择的动作变换投影图像数据(404)。
7.根据权利要求6所述的方法，其中，变换投影图像数据(404)包括：
将所选择的动作应用于模型(400)以生成变换模型(400)；和
基于变换模型(400)的二维投影生成另外的投影图像数据(404)。
8.根据权利要求6或7所述的方法，其中，基于投影图像数据(404)的平移和/或旋转来确定对多个动作中的每个动作的奖励。
9.根据权利要求6至8中任一项所述的方法，包括：
指定与第一目标图像数据(304)相关的成像几何形状；和
根据指定的成像几何形状生成投影图像数据(404)。
10.根据前述权利要求中任一项所述的方法，其中，所述第一源图像数据包括以下之一：磁共振图像数据、计算机断层摄影图像数据和超声图像数据，和/或所述第一目标图像数据(304)包括X射线图像数据。
11.根据前述权利要求中任一项所述的方法，包括执行训练过程以训练智能代理(112)，所述训练过程包括：
向智能代理(112)提供训练数据，训练数据包括三维图像数据；
处理训练数据以从训练数据中提取结构的三维模型(400)并生成数字重建的二维图像数据；
生成提取的三维模型的二维投影(404)；
通过智能代理(112)确定对适用于二维投影(404)的多个动作中的每个动作的奖励；
基于确定的奖励选择动作；以及
根据所选择的动作变换提取的三维模型(400)。
12.根据权利要求11所述的方法，其中，所述二维投影(404)具有的视场小于所述数字重建的二维图像数据的视场。
13.根据权利要求11或12所述的方法，其中，所述训练数据包括计算机断层摄影图像数据。
14.一种医学成像设备(100)，包括：
处理器(108)，布置成：
接收从第一源图像数据提取的结构的模型(302)，第一源图像数据根据第一成像模态生成并具有第一数据格式，其中，所述模型具有与第一数据格式不同的第二数据格式；和
使用智能代理(112)确定模型(302)和第一目标图像数据(304)的坐标系之间的变换，根据与第一成像模态不同的第二成像模态生成第一目标图像数据(304)。
15.根据权利要求14所述的医学成像设备(100)，包括显示单元(104)，其中，所述处理器(108)布置成：
基于模型(302)和第一目标图像数据(304)的坐标系之间的变换生成覆盖(306)；
将覆盖(306)应用于目标图像数据(304)以生成注释图像(308)；以及
在显示单元(104)上显示注释图像(308)。
16.一种计算机程序产品，包括计算机程序，所述计算机程序可加载到数据处理系统的存储器单元中，包括程序代码部分，以使数据处理系统在计算机程序在所述数据处理系统中执行时执行权利要求1到13中任一项所述的方法。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB1718078.7 | 2017-11-01 | ||
| GBGB1718078.7A GB201718078D0 (en) | 2017-11-01 | 2017-11-01 | 2D/3D model- and image-based registration with reinforcement learning for cardiac procedures |
| EP18169912.5 | 2018-04-27 | ||
| EP18169912.5A EP3480780A1 (en) | 2017-11-01 | 2018-04-27 | Determining a transformation between coordinate frames of sets of image data |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109754369A true CN109754369A (zh) | 2019-05-14 |
Family
ID=60580124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811294702.XA Pending CN109754369A (zh) | 2017-11-01 | 2018-11-01 | 确定图像数据集的坐标系之间的变换 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10929989B2 (zh) |
| EP (1) | EP3480780A1 (zh) |
| CN (1) | CN109754369A (zh) |
| GB (1) | GB201718078D0 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308764A (zh) * | 2020-10-12 | 2021-02-02 | 杭州三坛医疗科技有限公司 | 图像配准方法及装置 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11475565B2 (en) * | 2018-12-21 | 2022-10-18 | GE Precision Healthcare LLC | Systems and methods for whole-body spine labeling |
| EP4390766A3 (en) * | 2019-09-20 | 2024-09-11 | Brainlab AG | Training a machine learning algorithm using digitally reconstructed radiographs |
| US20210174523A1 (en) * | 2019-12-10 | 2021-06-10 | Siemens Healthcare Gmbh | Method for registration of image data and for provision of corresponding trained facilities, apparatus for doing so and corresponding computer program product |
| CN113689476A (zh) * | 2021-08-26 | 2021-11-23 | 中国科学院植物研究所 | 一种点云配准方法、装置、存储介质和计算机设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140334709A1 (en) * | 2013-05-07 | 2014-11-13 | The Johns Hopkins University | 3d-2d image registration for medical imaging |
| CN106651750A (zh) * | 2015-07-22 | 2017-05-10 | 美国西门子医疗解决公司 | 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统 |
| US20170217102A1 (en) * | 2016-01-29 | 2017-08-03 | Siemens Medical Solutions Usa, Inc. | Multi-Modality Image Fusion for 3D Printing of Organ Morphology and Physiology |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8160345B2 (en) * | 2008-04-30 | 2012-04-17 | Otismed Corporation | System and method for image segmentation in generating computer models of a joint to undergo arthroplasty |
| US9569736B1 (en) * | 2015-09-16 | 2017-02-14 | Siemens Healthcare Gmbh | Intelligent medical image landmark detection |
| US20170337682A1 (en) * | 2016-05-18 | 2017-11-23 | Siemens Healthcare Gmbh | Method and System for Image Registration Using an Intelligent Artificial Agent |
-
2017
- 2017-11-01 GB GBGB1718078.7A patent/GB201718078D0/en not_active Ceased
-
2018
- 2018-04-27 EP EP18169912.5A patent/EP3480780A1/en active Pending
- 2018-10-29 US US16/173,853 patent/US10929989B2/en active Active
- 2018-11-01 CN CN201811294702.XA patent/CN109754369A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140334709A1 (en) * | 2013-05-07 | 2014-11-13 | The Johns Hopkins University | 3d-2d image registration for medical imaging |
| CN106651750A (zh) * | 2015-07-22 | 2017-05-10 | 美国西门子医疗解决公司 | 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统 |
| US20170217102A1 (en) * | 2016-01-29 | 2017-08-03 | Siemens Medical Solutions Usa, Inc. | Multi-Modality Image Fusion for 3D Printing of Organ Morphology and Physiology |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308764A (zh) * | 2020-10-12 | 2021-02-02 | 杭州三坛医疗科技有限公司 | 图像配准方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| GB201718078D0 (en) | 2017-12-13 |
| EP3480780A1 (en) | 2019-05-08 |
| US10929989B2 (en) | 2021-02-23 |
| US20190130587A1 (en) | 2019-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11806189B2 (en) | Three-dimensional segmentation from two-dimensional intracardiac echocardiography imaging | |
| US11741605B2 (en) | Method and system for image registration using an intelligent artificial agent | |
| CN108805877B (zh) | 对于医学成像中的n维分割的多尺度深度强化机器学习 | |
| US11354813B2 (en) | Dilated fully convolutional network for 2D/3D medical image registration | |
| US11559221B2 (en) | Multi-task progressive networks for patient modeling for medical scans | |
| US10699410B2 (en) | Automatic change detection in medical images | |
| CN109754369A (zh) | 确定图像数据集的坐标系之间的变换 | |
| JP5759446B2 (ja) | 解剖学的特徴を輪郭抽出するシステム、作動方法及びコンピュータ可読媒体 | |
| CN113129308B (zh) | 图像分割方法、装置和非暂态计算机可读存储介质 | |
| CN104282015B (zh) | 医用图像处理装置以及医用图像处理方法 | |
| EP3804624A2 (en) | Synthetic parameterized computed tomography from surface data in medical imaging | |
| US8995777B2 (en) | Image registration apparatus | |
| CN111340859A (zh) | 用于图像配准的方法、学习装置和医学成像装置 | |
| CN116848549A (zh) | 经由降维投影的图像结构的检测 | |
| Al-Dhamari et al. | Automatic cochlear multimodal 3D image segmentation and analysis using atlas–model-based method | |
| Li | Computer generative method on brain tumor segmentation in MRI images | |
| Cabrera Gil | Deep Learning Based Deformable Image Registration of Pelvic Images | |
| Ahmed | Dental Image Registration Using Particle Swarm Optimized for Thin Plate Splines from Semi-automatic Correspondences | |
| Kao | Anatomical brain structure segmentation from multi-modal CT and MRI medical imaging using MONAI framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240902 Address after: German Phu F Haim Applicant after: Siemens Medical AG Country or region after: Germany Address before: Erlangen Applicant before: SIEMENS HEALTHCARE GmbH Country or region before: Germany |
|
| TA01 | Transfer of patent application right |