CN107980149A - 用于脊椎标记的方法、装置和系统 - Google Patents

用于脊椎标记的方法、装置和系统 Download PDF

Info

Publication number
CN107980149A
CN107980149A CN201680035502.5A CN201680035502A CN107980149A CN 107980149 A CN107980149 A CN 107980149A CN 201680035502 A CN201680035502 A CN 201680035502A CN 107980149 A CN107980149 A CN 107980149A
Authority
CN
China
Prior art keywords
vertebra
image
mark
texture
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680035502.5A
Other languages
English (en)
Inventor
M.维姆梅
D.马乔
A.诺维科夫
K.布伊勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AGFA HEALTHCARE
Vrvis Virtual Reality And Visualization Co
Original Assignee
Vrvis Virtual Reality And Visualizing Co
AVL List GmbH
Agfa HealthCare NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vrvis Virtual Reality And Visualizing Co, AVL List GmbH, Agfa HealthCare NV filed Critical Vrvis Virtual Reality And Visualizing Co
Publication of CN107980149A publication Critical patent/CN107980149A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明涉及一种用于在人体或动物体的至少一个磁共振（MR）图像（30）中标记脊椎的一个或多个部分的方法以及相应装置和系统，所述方法包括以下步骤：优选地通过考虑一个或多个训练图像中的纹理变化的熵来将具有第一强度级数目的图像（30）变换成具有第二强度级数目的目标图像（33），该第二强度级数目小于该第一强度级数目；确定脊椎的一个或多个部分中的每一个在目标图像（33）中的位置（特别地中心位置）；以及利用解剖学标记来在图像（30）或目标图像（33）中标记脊椎的一个或多个部分的所确定的位置。

Description

用于脊椎标记的方法、装置和系统
技术领域
本发明涉及根据独立权利要求的用于在人体或动物体的至少一个磁共振（MR）图像中标记脊椎的一个或多个部分的方法以及对应的装置和系统。
背景技术
在MR序列中脊柱的标记是临床实践中的一项重要任务，因为它服务于脊椎相关病理学的诊断和操作计划有用。然而，在它被手动完成的情况下，对临床医生来说这是一项耗时的任务，因此需要自动或半自动的方法。自动方法不需要任何用户交互，由此半自动方法依赖于来自用户的最小输入，例如初始点击位置。此外，存在在外观方面具有高度变化并且展示非标准化的强度标度的许多不同的MR获取协议，如同用于计算机断层摄影（CT）的亨氏标度。因此，对能够在不会针对不同成像参数而重新训练的情况下确定脊椎部分的位置的方法高度感兴趣。
本发明的一个目的是提供一种允许在不同种类的MR图像数据集中可靠地标记脊椎的一个或多个部分的方法、装置和系统，特别是在没有相应成像参数的先验知识的情况下。
发明内容
该目的由根据独立权利要求的方法、装置和系统来实现。
根据本发明的一个方面的一种用于在人体或动物体的至少一个磁共振（MR）图像中标记脊椎的一个或多个部分的方法包括以下步骤：优选地通过考虑一个或多个训练图像中的纹理变化的熵来将具有第一强度级数目的图像变换成具有第二强度级数目的目标图像，该第二强度级数目小于该第一强度级数目；确定脊椎的一个或多个部分中的每一个在目标图像中的位置（特别地中心位置）；以及利用解剖学标记来在图像或目标图像中标记脊椎的一个或多个部分的所确定的位置。
根据本发明的另一方面的一种用于在人体或动物体的至少一个磁共振图像中标记脊椎的一个或多个部分的方法包括以下步骤：
a）通过对图像应用纹理变换来将具有第一强度级数目的图像变换成具有第二强度级数目的目标图像，该第二强度级数目小于该第一强度级数目，该纹理变换是通过将脊椎的一个或多个部分的局部模型匹配到图像中的脊椎来获得的，该至少一个局部模型是通过标注示出脊椎的一个或多个部分的训练图像、从已标注的训练图像提取标志以及基于所提取的标志构建局部模型来获得的，
b）确定脊椎的一个或多个部分中的每一个在目标图像中的位置，脊椎的一个或多个部分中的每一个在目标图像中的位置对应于脊椎的一个或多个部分在至少一个局部模型中的位置，以及
c）利用解剖学标记来在图像或目标图像中标记脊椎的一个或多个部分的所确定的位置。
根据本发明的另一方面的一种用于在人体或动物体的至少一个磁共振（MR）图像中标记脊椎的一个或多个部分的装置包括：图像处理单元，其被配置成：优选地通过考虑一个或多个训练图像中的纹理变化的熵来将具有第一强度级数目的图像变换成具有第二强度级数目的目标图像，该第二强度级数目小于该第一强度级数目；确定脊椎的一个或多个部分中的每一个在目标图像中的位置，特别地中心位置；以及利用解剖学标记来在图像或目标图像中标记脊椎的一个或多个部分的所确定的位置。
根据本发明的又一方面的一种用于在人体或动物体的至少一个磁共振图像中标记脊椎的一个或多个部分的装置包括图像处理单元，其被配置成：
a）通过对图像应用纹理变换来将具有第一强度级数目的图像变换成具有第二强度级数目的目标图像，该第二强度级数目小于该第一强度级数目，该纹理变换是通过将脊椎的一个或多个部分的局部模型匹配到图像中的脊椎来获得的，该至少一个局部模型是通过标注示出脊椎的一个或多个部分的训练图像、从已标注的训练图像提取标志以及基于所提取的标志构建局部模型来获得的，
b）确定脊椎的一个或多个部分中的每一个在目标图像中的位置，脊椎的一个或多个部分中的每一个在目标图像中的位置对应于脊椎的一个或多个部分在至少一个局部模型中的位置，以及
c）利用解剖学标记来在图像或目标图像中标记脊椎的一个或多个部分的所确定的位置。
根据本发明的又一方面的一种用于磁共振成像和脊椎标记的系统包括：磁共振成像（MRI）装置，其被配置成获取人体或动物体的至少一部分的至少一个磁共振（MR）图像；以及根据本发明的一个方面的用于在至少一个磁共振图像中标记脊椎的一个或多个部分的装置。
优选地，自动地（即在没有用户输入或交互的情况下）执行根据本发明的一个方面的方法的图像处理和/或标记步骤。这也适用于由根据本发明的一个方面的装置执行的相应步骤。尽管如此，本发明的另一方面还涉及“半自动”脊椎标记，其中可能需要有限或最小的用户输入。例如，可能需要用户例如在椎间盘中、在要被标记的所需MR图像中手动选择初始位置以及/或者向初始位置指定单个解剖学标记，例如指示椎间盘的标记，比如“L2/L3”指示第二和第三腰椎骨之间的盘。优选地，在经训练的模型被初始化（即被最初放置）在所获取的MR图像的一个或多个视图上之前以及/或者在MR图像被变换成具有降低的灰度级的目标图像之前需要这样的用户输入。
特别地，本发明的又一方面涉及一种用于标记脊柱的优选半自动算法。在基于学习的方法中，基于训练图像来训练脊椎部分（比如椎间盘和椎骨）的所谓熵优化纹理模型（ETM）并且将其用于通过降低MR图像的强度标度来把要被标记的看不到的MR图像变换成目标图像。当标记该图像时，应用经学习的模型并且优选地在已变换的目标图像中利用（优选地自适应的）基于非机器的学习方法来检测盘中心位置。
借助于本发明，实现下面的优点：可以处理利用变化的扫描参数在不同扫描器上获取的各种种类的MR数据（比如T1加权的（T1w）和T2加权的（T2w）扫描）。不需要例如通过医学数字成像和通信（DICOM）标签的关于扫描的先验知识，因为仅处理原始图像数据。在提供处在盘内部的盘中心候选位置之后可以在这些扫描中正确地确定盘的位置。可以将本发明应用于不被特定训练集覆盖的序列和协议。
简言之，本发明允许在没有相应成像参数的先验知识的情况下在不同种类的MR图像数据集（特别地具有高强度可变性的MR扫描）中可靠地标记脊椎的一个或多个部分。
在本发明的上下文中，术语“脊椎的部分”优选地涉及脊椎的椎骨和/或椎间盘。相应地，图像中的脊椎的所述一个或多个部分对应于图像中的脊椎的一个或多个椎骨以及/或者一个或多个椎间盘。
此外，术语“强度级数目”优选地涉及所获取的图像和/或目标图像的像素或体素具有的不同强度值和/或灰度级值的总数。
在强度或灰度级的上下文中的术语“降低”涉及通过将其第一强度级数目降低到（更小的）第二强度级数目来“变换”图像或图像的“变换”。同样地，术语“进行规格化”或“规格化”优选地可能还涉及通过降低其强度级数目的图像变换。
此外，在本发明的上下文中，术语“纹理”或“图像纹理”优选地涉及关于灰度级值和/或强度值在图像中或图像的所选区中的空间布置的信息。
此外，在本发明的上下文中，术语“熵”优选地涉及考虑强度值和/或灰度级值出现的概率（特别地概率密度分布）的图像的信息内容。
相应地，考虑“一个或多个训练图像中的纹理变化的熵”优选地涉及考虑强度值和/或灰度级值的空间布置的强度值和/或灰度级值分布在训练图像中出现的概率（特别地概率密度分布）。
术语“一个或多个训练图像”优选地涉及（优选地在所获取的图像被标记之前）从一个或多个不同患者和/或通过一个或多个不同MR扫描器和/或利用一个或多个不同MRI协议获取的一组（例如10个到30个）图像。
根据一个优选实施例，通过对图像应用纹理变换来将该图像变换成目标图像，其中通过依据熵来优化从具有第一强度级数目的训练图像提取的训练纹理到具有第二强度级数目的目标纹理的变换来获得纹理变换。
根据另一优选实施例，应用于图像的纹理变换对应于具有第一强度级数目的训练图像的训练纹理到具有第二强度级数目的目标纹理的变换。优选地，依据训练纹理的强度值的出现概率来优化训练纹理的变换。优选地，通过使脊椎的一个或多个部分的局部模型与图像中的脊椎相匹配来进一步优化应用于图像的纹理变换，其中利用贝叶斯推理来优化对于当前重叠的纹理的纹理变换。
优选地，基于熵驱动的成本函数来迭代地优化训练纹理的纹理变换。
备选地或附加地，应用于图像的纹理变换对应于针对其的熵驱动的成本函数为最大的训练纹理的变换。优选地，迭代地确定针对其的熵驱动的成本函数为最大的训练纹理的变换。
此外，优选地是通过考虑脊椎的一个或多个部分的至少一个局部模型来确定脊椎的一个或多个部分中的每一个在目标图像中的位置。
优选地，该至少一个局部模型是包括中间盘以及其邻近上盘和下盘的脊椎的一个区段的三盘模型。
进一步优选的是从稀疏标志来构建该至少一个局部模型。
根据又一优选实施例，在训练阶段通过手动标注训练图像、从已标注的训练图像自动提取稀疏标志以及基于所提取的标志来构建局部模型来获得该至少一个局部模型。
优选地，通过候选位置的（优选地自适应的）细化来确定脊椎的一个或多个部分中的每一个在目标图像中的位置，该细化是通过局部模型到图像中的脊椎的迭代匹配来获得的。
优选地，所确定的位置是脊椎的一个或多个部分中的每一个在目标图像中的中心位置。
优选地，脊椎的一个或多个部分中的每一个在目标图像中的位置是通过脊椎的该部分内部的候选位置的细化而确定的已细化位置，该候选位置的细化包括以下步骤：
- 在该候选位置周围生成边界框，
- 导出描述脊椎的该部分在空间中的取向的表面法线，
- 对于该边界框内部的每个体素通过以下内容来判定该体素是否属于脊椎的该部分：
- 将中间的过滤区放置在候选位置处，
- 通过沿着表面法线将上过滤区和下过滤区从中间过滤区移位达脊椎的该部分的平均厚度来将该上过滤区和下过滤区放置在目标图像中，
- 为每个区确定最常出现的强度值mM、mU和mL，
- 如果mU≠ mM且mL ≠ mM，则在二元掩模中设置当前体素，
- 根据脊椎的该部分的二元掩模来计算作为细化位置的脊椎的该部分的形心。
附图说明
根据以下图的以下描述，本发明的其他优点、特征和示例将是显而易见的：
图1示出根据本发明的装置和系统的一个示例；
图2示出关于针对用于图像数据规格化的训练模型的过程的一个示例的总览；
图3示出具有用于构建三盘模型的所提取的标志的训练图像的一个示例；
图4示出关于用于标记看不到的MR图像的过程的一个示例的总览；以及
图5示出在其中对过滤区做标记以图示盘中心细化的规格化目标图像的一个示例的细节。
具体实施方式
图1示出根据本发明的装置10和系统的一个示例。该系统包括医学成像装置12（特别地磁共振成像（MRI）装置），其被配置成获取人体或动物体的一个或多个图像（例如多个二维图像或三维图像）并且生成对应的医学图像数据集11。该装置10包括图像处理单元13（例如工作站或个人计算机（PC）），其被配置成处理图像数据集11。优选地，经由数据网络18（例如医院环境中的局域网（LAN）或无线LAN（WLAN）或者互联网）来将图像数据集11从医学成像装置12传递至图像处理单元13。
该图像处理单元13优选地被配置成在显示器14（例如工作站或PC的TFT屏幕）上分别生成图像数据集11的体积重建和/或切片图像15。该图像处理单元13被进一步配置成自动或至少半自动地标记图像15中表示的脊椎的一个或多个部分。在本示例中，利用相应的标记“T12”和“L1”至“L5”分别自动标记胸椎T12和腰椎L1至L5。
根据本发明的优选方面，应用基于学习的算法，其使用局部熵优化纹理模型来将所获取的图像15的强度标度降低（也被称为“规格化”）到目标图像的仅几个灰度级。例如，图像15被变换成具有总共三个不同强度值的强度标度的目标图像（未被示出）。在经过规格化的目标图像上执行椎间盘检测的任务。将在下面更详细地阐明这一点。
优选地，局部熵优化纹理模型（ETM）被用来将所获取的图像的强度标度降低至目标图像的仅几个强度级或灰度级。通过这种手段，实现和/或促进利用仅单个模型的多模态成像数据（比如不同MR序列和计算机断层扫描（CT）数据集）的脊椎标记。在下面，描述ETM的一般方法和用于脊椎标记的ETM的特定应用二者。
一般的ETM。
ETM类似于在利用主成分分析（PCA）的形状描述中的主动外观模型（AAM）。利用对应标志从一组已标注图像提取n个训练纹理T k 并且将其量化成r个灰度级。
为了纹理的表示，使训练纹理T k 中的强度从r个输入灰度级（在本发明的上下文中也被称为“第一数目强度级”）降低至仅几个目标灰度级s的降低的标度（在本发明的上下文中也被称为“第二数目强度级”）。形式上，针对每个训练纹理T k 的映射f k 被确定如下：
。
模型纹理T model 中的每个纹素（texel）t j 捕获被映射的目标值在纹理T k 中的对应纹素t j 处的变化。因此，可以观察到可能的s个目标值的n次出现，它们被解释为概率密度函数（PDF）p j 。优选地，通过如下最小化对应PDF p j 的熵，可靠的预测比不确定的预测更受青睐：
，
为了增加映射的可靠性，所有N个模型纹素t j 的熵H model 被最小化：
，
同时，从所提取的训练纹理T k 得到的信息被最大化。图像熵H tex 被表示为：
，
将两个准则结果组合到最终成本函数中：
。
优选地，以迭代方式来优化纹理变换f k 。训练的结果是经学习的模型，其捕获训练纹理T k 的不确定性。依据它们彼此的对比，不同的结构被映射到不同的目标灰度级s。
在S. Zambal, K. Bühler, 和J. Hladůvka, Entropy-optimized TextureModels, in Medical Image Computing and Computer-Assisted Intervention – MICCAI 2008, Lecture Notes in Computer Science 5242卷, 213–221页, SpringerBerlin Heidelberg, 2008中描述了关于ETM、TEM构造和ETM匹配的操作的原理的其他细节，通过参考将其合并于此。
用于脊椎标记的ETM。
在训练阶段，优选地从已标注的T1w和T2w MR体积数据集的混合集合学习三维ETM以用于数据规格化。
在图2中图示针对用于数据规格化的ETM的训练的一个优选过程的总览。从磁共振（MR）数据的已标注集合20（例如已标注T1w和T2w MR数据）提取对应的标志（参见数据集21）并且构建在数据集22中指示的形状模型。提取训练纹理23并且执行纹理变换且基于熵驱动的成本函数来迭代地优化该纹理变换以获得具有降低的强度标度的规格化训练纹理24。将在下面更详细地解释该过程。
代替对完整的腰椎构建单个模型，优选地构建许多更小的局部模型。以这种方式，实现关于（例如弯曲方面的）解剖变化的更高灵活性的方法。
此外，代替从密集标志构建模型，优选地从稀疏标志来训练三盘模型M i ，其中在中间盘d i 周围还包括其邻近上盘d i-1 和下盘d i+1 （参见数据集21中示出的三个邻近盘中的亮点）。优选地，对于来自标准脊椎图谱（其由24个椎骨和23个中间盘组成）的所有三盘组都这样做。这产生21个局部ETM。以这种方式，覆盖从C2/C3到L5/S1的完整脊椎区。
优选地，当标注所获取的训练数据集20时，由领域专家将下面的解剖学标志和结构中的一个或多个放置在数据集20中，并且将它们进一步用于模型构建：
- 具有其相应解剖学标志κ j , κ j = {C3, C4,…, L4, L5}的椎骨体中心位置v j （参见所示的椎骨的中心中的亮点），
- 具有其相应解剖学标记λ i 的盘中心位置d i （参见所示的两个盘的中心中的亮点），由此λ i = {C2/C3, C3/C4,…, L4/L5, L5/S1}，
- 圆柱，以使该圆柱接近盘的尺寸且位于盘内的方式将该圆柱对于每个盘放置在已标注的中心d i 处（参见所示的各盘中的每一个中的线），
- 将对应于盘和椎骨中心的脊椎管标志c i 和c j （参见暗点）放置在脊椎管中。
例如，将总共8次扫描用于21个三盘模型的训练，其中该组训练体积由基于不同扫描参数和/或权重的扫描（例如T1w和T2w加权的扫描）组成。因此，优选地对于期望的区训练仅一个跨形态（cross-modality）模型，而不是针对每个T1w和T2w加权训练一个模型。
从已标注的基础真值（ground truth）（即训练数据集20中的已标注标志和结构）来说，如由图2和图3中的数据集21所图示的（参见亮点），以下对应标志中的一个或多个被提取用于模型构建：两个椎骨体中心位置v j ，中间盘d i 、上盘d i-1 和下盘d i+1 的中心位置，以及沿着已标注圆柱的表面的采样点。此外，添加了对应于盘和椎骨中心的脊椎管标志。在图2和3中给出的示例中，所提取的标志被用于为L2/L3椎骨构建三盘模型M i 。已经指出，为了可视化目的，所有所提取的3D位置都被投影到中间矢状切片，因此一些标志被挡住。
进一步地，所提取的标志经历网格化过程，其中优选地通过使用如在图2示出的数据集22中所图示的四面体单元（德劳内四面体化）基于所提取的数据自动生成在训练图像数据集中表示的脊椎部分的形状模型（也被称为“网格（mesh）”）。
在四面体化的网格上，提取训练纹理T k 23并且基于熵驱动的成本函数来迭代地优化该训练纹理T k 23，以使得获得具有比所提取的训练纹理23显著更小的灰度级（例如3个灰度级）的规格化训练纹理24。
例如，所有所提取的训练纹理被量化到r = 110源灰度级并且模型被训练以便将它们的强度标度降低至s = 3目标级。此外，该数据优选地被重采样以使得它们展示相似的体素尺寸。
针对每个训练纹理单独地优化训练纹理强度变换。如果在学习步骤之后将这些强度变换应用于从要被标记的（看不到的）图像提取的纹理，则获得图像的纹理的规格化表示，其中灰度级的总数被显著降低至例如3个目标级。
看不到的体积数据集的标记
在图4中图示关于用于标记看不到的MR扫描的一个优选过程的步骤的总览。基于由用户提供的初始位置和标记（参见数据集30中的亮点和“L2/L3”），将对应模型放置在扫描中，参见数据集31（2D视图）和数据集32（3D视图）。提取重叠的纹理并且迭代地优化纹理变换以获得具有降低的灰度级的规格化数据33。在所获得的强度降低的扫描33上，利用提供最终中心位置d* i（参见数据集35）的（优选地自适应的）特征检测器来细化盘候选位置d’ i 。将在下面更详细地解释该过程。
在本示例中，标记看不到的扫描I u 的过程（参见图4中的数据集30）是半自动的，其中从用户获取最小输入，即：
- 椎间盘或椎骨内部的体积数据集中的初始点击位置p，以及
- 对应于位置p处的盘的本示例“L2/L3”中的解剖学标记λ i 。
随后，执行ETM的匹配，其中基于用户点击的位置p，将对应于用户指定的解剖学标记λ i 的经学习的模型M i 的一个实例放置在图像中，参见数据集31和32。
然后，从当前被经学习的模型M i 重叠的扫描I u 提取纹理T u ，并且将其量化到第一源灰度级数目r，其中第一源灰度级数目r对应于针对模型M i 学习的元灰度级数目。在迭代模型匹配期间，利用贝叶斯推理来优化对于当前重叠的纹理T u 的纹理变换f u 。
通过在所提取的纹理T u 上应用所获得的变换f u ，获得强度降低的扫描33（也被称为“规格化数据”），其仅展示第二目标灰度级数目s。
此外，获得用于标志的候选位置，例如中间盘d’ i 、上盘d’ i-1 、下盘d’ i+1 或椎骨中心。
随后，将也被称为自适应盘中心位置细化的细化步骤应用于候选盘中心位置d’ i 。优选地，在模型匹配的盘位置d’ i 周围生成限定用于细化的感兴趣区的边界框R。该边界框R的尺寸基于已标注的基础真值圆柱，根据其来计算盘在矢状方向、轴向方向和冠状方向上的平均尺寸：s sag 、s ax 和s cor 。
从来自于已匹配的模型实例的标志位置驱动法线n，其描述3D中当前盘d’ i 的取向。对于R内部的每个体素，优选地利用（优选地自适应的）方法来判定它是否属于该盘，该方法受到如由S.-K. Pavani、D. Delgado和A. F. Frangi在Pattern Recognition, 43(1):160–172, 2010中的Haar-like features with optimally weighted rectangles for rapid object detection中描述的类哈尔特征启发，通过参考将其合并于此。
图5图示如下工作的方法：
- 过滤器被构造有每个的尺寸都为s x x s y x s z 的三个区：上区R U 、中间区R M 和下区R L 。
– 然后以下面这样的方式来放置各区：将R M 放置在R中的当前位置p’。基于表面法线n和从基础真值数据估计的平均盘厚度 t来使R U 和R L 位移：
。
- 为每个区R U 、R M 和R L 确定最常出现的强度值（也被称为强度模式）：m L 、m M 和m U 。
- R中的体素被视为盘候选并且在下列情况下在二元掩模中设置对应的体素：
。
根据针对盘所获得的二元掩模，计算作为已细化中心位置d * i 的形心。
在图5中，用更小的框来表示过滤区R U 、R M 和R L 并且用更大的框来表示搜索区R。要注意为了可视化的目的在2D中完成该图示。
优选地，以迭代方式来执行标记。从在初始位置周围p匹配的模型，还获得对于上盘和下盘（即d’ i-1 和d’ i+1 ）的候选位置。优选地，朝向L5/S1继续脊柱向下的搜索并且然后向上到C2/C3并且对于每个盘完成下面这些：
- 使对应模型M i 的实例匹配到当前潜在数据并且从所匹配的模型获得盘中心位置d ’ i ，
- 应用纹理变换t u 以便获得经过规格化的目标图像33（图4），该纹理变换t u 是在模型匹配期间利用贝叶斯推理来优化的，
- 利用（优选地自适应的）类哈尔盘检测方法细化d’ i 并且检索经过细化的盘中心d * i ，
- 从模型获得对于下一盘的位置：分别的d’ i-1 、d’ i+1 。
利用该方法，获得对于盘的点云，如由图4的数据集34中表示的边界框R内的亮区所图示的。根据点云来计算作为已细化的盘中心位置d * i 的形心。
优选地，当到达体积的边缘和/或没有检测到更细化的位置和/或没有可用于匹配的其他经训练的模型M i 时，停止搜索。
用于腰椎MR体积的半自动标记的基于学习的方法的上述方面的特定优点在于该方法的通用性，可以通过该方法来处理各种成像协议并且还可以将该方法应用于没有被训练集覆盖的看不到的协议。
此外，该方法比本领域中已知的深度学习方法训练起来更快速。
此外，借助于本发明，可以以98.59 %的查全率（recall）来成功地确定椎间盘的位置。此外，盘中心位置被提供有对于专家标注的基础真值位置的3.82 ± 2.47 mm的平均距离。

Claims (12)

1.一种用于在人体或动物体的至少一个磁共振（MR）图像（15,30）中标记脊椎的一个或多个部分的方法，所述方法包括以下步骤：
a）通过对图像（15,30）应用纹理变换（f k ）来将具有第一强度级数目（r）的图像（15,30）变换成具有第二强度级数目（s）的目标图像（33），该第二强度级数目（s）小于该第一强度级数目（r），该纹理变换（f k ）是通过将脊椎的一个或多个部分的局部模型（22）匹配到图像（15,30）中的脊椎来获得的，该至少一个局部模型（22）是通过标注示出脊椎的一个或多个部分的训练图像（20）、从已标注的训练图像（20）提取标志（21）以及基于所提取的标志（21）构建局部模型（22）来获得的，
b）确定脊椎的一个或多个部分中的每一个在目标图像（33）中的位置（d * i ），脊椎的一个或多个部分中的每一个在目标图像（33）中的位置（d * i ）对应于脊椎的一个或多个部分在至少一个局部模型中的位置，以及
c）利用解剖学标记（“L1”到“L5”，“T12”）来在图像（15,30）或目标图像（33）中标记脊椎的一个或多个部分的所确定的位置（d * i ）。
2.根据权利要求1所述的方法，将对应于使具有第一强度级数目（r）的训练图像（20）的训练纹理（T k ）到具有第二强度级数目（s）的目标纹理的变换（f k ）的纹理变换（f k ）应用于图像（15,30）。
3.根据权利要求2所述的方法，其中依据训练纹理（T k ）的强度值的出现概率来优化训练纹理（T k ）的变换（f k ）。
4.根据权利要求2或3所述的方法，其中应用于图像（15,30）的纹理变换（f k ）对应于针对其的熵驱动的成本函数为最大的训练纹理（T k ）的变换（f k ）。
5.根据权利要求4所述的方法，其中迭代地确定针对其的熵驱动的成本函数为最大的训练纹理（T k ）的变换（f k ）。
6.根据前述权利要求中的任一项所述的方法，该至少一个局部模型是包括中间盘（d i ）以及其邻近上盘（d i-1 ）和下盘（d i+1 ）的脊椎的一个区段的三盘模型。
7.根据前述权利要求中的任一项所述的方法，其中通过手动标注训练图像（20）和/或从已标注的训练图像（20）自动提取标志来获得该至少一个局部模型（22）。
8.根据前述权利要求中的任一项所述的方法，其中从已标注训练图像（20）提取的标志是稀疏标志。
9.根据前述权利要求中的任一项所述的方法，该脊椎的一个或多个部分中的每一个在目标图像中的位置（d * i ）是通过脊椎的该部分内部的候选位置（d’ i ）的细化而确定的已细化位置（d * i ），该候选位置（d’ i ）的细化包括以下步骤：
- 在该候选位置（d’ i ）周围生成边界框（R），
- 导出描述脊椎的该部分在空间中的取向的表面法线（n），
- 对于该边界框（R）内部的每个体素通过以下内容来判定该体素是否属于脊椎的该部分：
- 将中间的过滤区（RM）放置在候选位置（d’ i ）处，
- 通过沿着表面法线（n）将上过滤区（RU）和下过滤区（RL）从中间过滤区（RM）移位达脊椎的该部分的平均厚度（t）来将该上过滤区（RU）和下过滤区（RL）放置在目标图像中，
- 为每个区（RM, RU, RL）确定最常出现的强度值mM、mU和mL，
- 如果mU≠ mM且mL ≠ mM，则在二元掩模中设置当前体素，
- 根据脊椎的该部分的二元掩模来计算作为细化位置（d * i ）的脊椎的该部分的形心。
10.根据前述权利要求中的任一项所述的方法，所确定的位置（d * i ）是脊椎的一个或多个部分中的每一个在目标图像（33）中的中心位置。
11.一种用于在人体或动物体的至少一个磁共振（MR）图像（15,30）中标记脊椎的一个或多个部分的装置，所述装置包括图像处理单元（13），其被配置成：
a）通过对图像（15,30）应用纹理变换（f k ）来将具有第一强度级数目（r）的图像（15,30）变换成具有第二强度级数目（s）的目标图像（33），该第二强度级数目（s）小于该第一强度级数目（r），该纹理变换（f k ）是通过将脊椎的一个或多个部分的局部模型（22）匹配到图像（15,30）中的脊椎来获得的，该至少一个局部模型（22）是通过标注示出脊椎的一个或多个部分的训练图像（20）、从已标注的训练图像（20）提取标志（21）以及基于所提取的标志（21）构建局部模型（22）来获得的，
b）确定脊椎的一个或多个部分中的每一个在目标图像（33）中的位置（d * i ），脊椎的一个或多个部分中的每一个在目标图像（33）中的位置（d * i ）对应于脊椎的一个或多个部分在至少一个局部模型中的位置，以及
c）利用解剖学标记（“L1”到“L5”，“T12”）来在图像（15,30）或目标图像（33）中标记脊椎的一个或多个部分的所确定的位置（d * i ）。
12.一种用于磁共振成像和脊椎标记的系统包括：
- 磁共振成像（MRI）装置（12），其被配置成获取人体或动物体的至少一部分的至少一个磁共振（MR）图像（15,30）；以及
- 根据权利要求11的用于在至少一个磁共振图像（15,30）中标记脊椎的一个或多个部分的装置（10）。
CN201680035502.5A 2015-06-18 2016-06-17 用于脊椎标记的方法、装置和系统 Pending CN107980149A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15172692.4A EP3107031A1 (en) 2015-06-18 2015-06-18 Method, apparatus and system for spine labeling
EP15172692.4 2015-06-18
PCT/EP2016/064012 WO2016202982A1 (en) 2015-06-18 2016-06-17 Method, apparatus and system for spine labeling

Publications (1)

Publication Number Publication Date
CN107980149A true CN107980149A (zh) 2018-05-01

Family

ID=53488169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680035502.5A Pending CN107980149A (zh) 2015-06-18 2016-06-17 用于脊椎标记的方法、装置和系统

Country Status (4)

Country Link
US (1) US20180365876A1 (zh)
EP (1) EP3107031A1 (zh)
CN (1) CN107980149A (zh)
WO (1) WO2016202982A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682424A (zh) 2016-12-28 2017-05-17 上海联影医疗科技有限公司 医学图像的调节方法及其系统
US10902587B2 (en) * 2018-05-31 2021-01-26 GE Precision Healthcare LLC Methods and systems for labeling whole spine image using deep neural network
US11475565B2 (en) * 2018-12-21 2022-10-18 GE Precision Healthcare LLC Systems and methods for whole-body spine labeling
CN109919903B (zh) * 2018-12-28 2020-08-07 上海联影智能医疗科技有限公司 一种脊椎检测定位标记方法、系统及电子设备
CN110110808B (zh) * 2019-05-16 2022-04-15 京东方科技集团股份有限公司 一种对图像进行目标标注的方法、装置及计算机记录介质
CN110458831B (zh) * 2019-08-12 2023-02-03 深圳市智影医疗科技有限公司 一种基于深度学习的脊柱侧弯图像处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080132784A1 (en) * 2006-11-26 2008-06-05 Algotec Systems Ltd. Spine labeling
CN101341513A (zh) * 2005-12-22 2009-01-07 皇家飞利浦电子股份有限公司 自动3-d对象检测
CN102096804A (zh) * 2010-12-08 2011-06-15 上海交通大学 骨扫描中肿瘤骨转移的图像识别方法
CN104462723A (zh) * 2014-12-25 2015-03-25 北京航空航天大学 一种基于拓扑优化及骨重建仿真的个性化椎间融合器设计方法
CN104641397A (zh) * 2012-07-24 2015-05-20 爱克发医疗保健公司 用于自动化脊柱加标签的方法、装置和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101341513A (zh) * 2005-12-22 2009-01-07 皇家飞利浦电子股份有限公司 自动3-d对象检测
US20080132784A1 (en) * 2006-11-26 2008-06-05 Algotec Systems Ltd. Spine labeling
CN102096804A (zh) * 2010-12-08 2011-06-15 上海交通大学 骨扫描中肿瘤骨转移的图像识别方法
CN104641397A (zh) * 2012-07-24 2015-05-20 爱克发医疗保健公司 用于自动化脊柱加标签的方法、装置和系统
CN104462723A (zh) * 2014-12-25 2015-03-25 北京航空航天大学 一种基于拓扑优化及骨重建仿真的个性化椎间融合器设计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MEELIS LOOTUS ET AL: "Vertebrae Detection and Labelling in Lumbar MR Images", 《SPRINGER NETHERLANDS》 *
SEBASTIAN ZAMBAL ET AL: "Entropy-Optimized Texture Models", 《MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION-MICCAI 2008》 *

Also Published As

Publication number Publication date
EP3107031A1 (en) 2016-12-21
US20180365876A1 (en) 2018-12-20
WO2016202982A1 (en) 2016-12-22

Similar Documents

Publication Publication Date Title
Sorin et al. Creating artificial images for radiology applications using generative adversarial networks (GANs)–a systematic review
Chen et al. Automatic segmentation of individual tooth in dental CBCT images from tooth surface map by a multi-task FCN
Liao et al. Joint vertebrae identification and localization in spinal CT images by combining short-and long-range contextual information
EP3365869B1 (en) System and method for image registration in medical imaging system
US9959486B2 (en) Voxel-level machine learning with or without cloud-based support in medical imaging
RU2699499C2 (ru) Системы и способы сегментации медицинских изображений на основании признаков, основанных на анатомических ориентирах
US8437521B2 (en) Systems and methods for automatic vertebra edge detection, segmentation and identification in 3D imaging
CN107980149A (zh) 用于脊椎标记的方法、装置和系统
US11074688B2 (en) Determination of a degree of deformity of at least one vertebral bone
CN104641397B (zh) 用于自动化脊柱加标签的方法、装置和系统
US8958614B2 (en) Image-based detection using hierarchical learning
JP7325954B2 (ja) 医用画像処理装置、医用画像処理プログラム、学習装置及び学習プログラム
US20170178307A1 (en) System and method for image registration in medical imaging system
Ma et al. Hierarchical segmentation and identification of thoracic vertebra using learning-based edge detection and coarse-to-fine deformable model
US9336457B2 (en) Adaptive anatomical region prediction
JP7101809B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US12046018B2 (en) Method for identifying bone images
US9361701B2 (en) Method and system for binary and quasi-binary atlas-based auto-contouring of volume sets in medical images
Oliveira et al. From 3D to 2D: Transferring knowledge for rib segmentation in chest X-rays
US9286688B2 (en) Automatic segmentation of articulated structures
Dhalia Sweetlin et al. Patient-Specific Model Based Segmentation of Lung Computed Tomographic Images.
US11393098B2 (en) Constrained object correction for a segmented image
Gong et al. Axial-SpineGAN: simultaneous segmentation and diagnosis of multiple spinal structures on axial magnetic resonance imaging images
EP3794550B1 (en) Comparison of a region of interest along a time series of images
EP3526799B1 (en) Optimizing an atlas

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180607

Address after: Austria Vienna

Applicant after: AGFA HEALTHCARE

Applicant after: Vrvis virtual reality and visualization Co.

Address before: Austria Vienna

Applicant before: AGFA HEALTHCARE

Applicant before: Vrvis virtual reality and visualization Co.

Applicant before: AVL LIST

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190916

Address after: Belgian Mo

Applicant after: AGFA HEALTHCARE

Applicant after: Vrvis virtual reality and visualization Co.

Address before: Austria Vienna

Applicant before: AGFA HEALTHCARE

Applicant before: Vrvis virtual reality and visualization Co.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180501