CN105225257A - 用于来自医学扫描的人类骨架的可视化方法 - Google Patents

Abstract

本发明涉及用于来自医学扫描的人类骨架的可视化方法。提供了一种可视化方法，其允许展开来自医学图像扫描的人类骨架并且提供用于与图像扫描和来自这样的扫描的整个身体骨骼读取交互的增加的效率。也就是说，实现用于改进的可视化和诊断能力的完整从头到脚展开的骨架视图（2D展开视图）。

Description

用于来自医学扫描的人类骨架的可视化方法

本申请要求享有2014年6月27日提交的美国临时申请No.62/018,083的优先权，其公开内容通过引用并入本文。

技术领域

本发明一般涉及医学成像，并且更具体地涉及可视化、展开（unfold）和分析来自医学扫描的人类骨架。

背景技术

最新的全身图像扫描系统通常在从诸如计算机断层照相（CT）、磁共振（MR）、正电子发射断层照相-计算机断层照相（PET/CT）、单光子发射-计算机断层照相（SPECT/CT）和PET/MRI（仅举几例）之类的医学扫描来诊断各种医学病症中利用。许多时候，在从这样的医学扫描进行诊断评估期间要求患者骨骼评价，考虑到当前临床实践要求以顺序的方式读取多平面再现（MPR）平面，所述医学扫描可能是耗时的任务。

另外，由于人类骨骼形状的固有复杂性和相关联的扭曲几何形状并且由于骨骼强度（包括骨髓）跨具有不同骨骼异常（例如癌症转移、单纯骨折和来自急症/外伤的复杂骨折）的个体患者而变化，从这样的医学扫描进行骨骼评价可能是易于出错的。当功能成像模态（例如PET/CT或SPECT/CT或PET/MRI）被用于在试图发现位于遍及人体的所谓“热点”中获取整个身体扫描时该复杂性加剧。

除了由人类骨骼的性质和相关联的骨架结构引入的复杂性之外，对于用户（例如医学技术人员或医师）而言，与来自前述系统的医学扫描交互也可能是非直观的。另外，在导航医学图像体积自身、标记来自图像扫描的发现和/或绘制骨骼中心线中可能出现困难。例如，所生成的医学扫描可以是提供大量数据的3DCT体积，所述大量数据对于这样的医学专业人员以高效方式进行可视化、检查并且执行各种诊断操作是困难且繁琐的。

针对改进例如3D医学图像体积中的CT体积中的肋骨的可视化并且将肋骨轮廓（ribcage）展开成2D图像的现有技术在D.Liu等人的公开于2013年3月21日的美国专利申请公开No.2013/0070996，“MethodandSystemforUp-VectorDetectionforRibsinComputedTomographyVolumes”，（以下称为“Liu”）和A.Kiraly等人的授权于2009年12月1日的美国专利No.7,627,159，“2DVisualizationforRibAnalysis”，（以下称为“Kiraly”）中描述，其每一个出于全部目的通过引用并入本文。这些技术允许将3D肋骨轮廓图像展开成2D图像以改进检查时间并且减少解释肋骨的CT数据中的歧义性。

存在对于展开和可视化来自医学扫描的完整人类骨架并且与用于完整人体骨骼读取的图像扫描交互的改进的技术的需要。

发明内容

依照各种实施例，提供了一种可视化方法，其允许展开来自医学图像扫描的人体骨架并且提供用于与图像扫描和来自这样的扫描的整个身体骨骼读取交互的增加的效率。也就是说，依照各种实施例，实现用于改进的可视化和诊断能力的完整从头到脚展开的骨架视图（2D展开视图）。

依照实施例，考虑3D医学扫描，自动图像分段被用于将来自医学扫描的人类骨架（具有多个骨骼）的图像体积分段成对应于对医学扫描特定的整体骨架（即特定于被诊断的患者的骨架）的3D网格或二元掩模（mask）。图像体积可以是整体骨架自身或定义骨架的多个骨骼中的每一个骨骼的单独的图像体积。可替换地，图像分段可以产生具有骨架的每一不同骨骼一个掩模或其中每一个标签对应于不同骨骼的多标签掩模的多个3D网格。

在将来自医学扫描的骨架分段之后，依照实施例，使用一个或多个患者特定的翘曲（warping）函数来完成骨骼展开。特别地，将分段骨架划分成包括骨架的不同部分的各种组。说明性地，将第一组定义成包括脊椎、肋骨和骨盆，第二组针对左臂和左手，第三组针对右臂和右手，第四组针对左腿和左脚，第五组针对右腿和右脚，并且第六组针对头部/颅骨。对于每一个所标识的组，翘曲函数被应用于展开和拉直单独的骨骼和相应骨架特征。

例如，计算将拉直脊椎、使肋骨变平并且使骨盆变平的翘曲函数。另外，将针对每一个上肢和下肢（例如由以上标识的第二、第三、第四和第五组定义的）计算单独的翘曲函数，其将使选择的四肢的相应骨骼适应于一个图像平面。这样，依照实施例，生成所检查的骨架的整体展开骨骼结构的2D平面视图。依照另外的实施例，还生成患者的整体骨架体结构的3D再现视图。

有利地，依照各种实施例，单独的骨骼和相关联的完整骨架体的所生成的展开视图可以用于更高效地可视化图像、分析患者（及其主体医学扫描）和诊断医学情况。例如，依照实施例，用户可以通过旋转展开视图中的单独的骨骼或者选择特定骨骼以查看来与展开的骨架图像交互，并且图像系统将直接移动可以被显示给用户的对应3D图像视图中的（一个或多个）对应位置。用户还可以移动骨架图像的各种部分以仿真四肢的关节运动，例如以帮助总体诊断。

通过参考以下具体实施方式和附图，实施例的这些和其它优点对本领域普通技术人员而言将是显而易见的。

附图说明

图1示出说明性完整身体CT医学扫描；

图2示出依照实施例的用于展开和可视化人类骨架的说明性操作的流程图；

图3示出依照实施例的展开和可视化来自医学扫描的人类骨架的说明性2D平面图像；

图4示出依照实施例的在图3中描绘的展开的人类骨架的说明性3D分裂（rending）视图；

图5示出依照实施例的用于可视化、交互和操纵展开的骨架视图（例如图3中所示的视图）的说明性操作的流程图；以及

图6是能够实现本文中的各种实施例的示例性计算机的高级框图。

具体实施方式

图1示出可以使用在从诸如CT、MR、PET/CT、SPECT/CT和PET/MRI（仅举几例）之类的医学扫描诊断各种医学病症中利用的任何数目的公知医学成像系统来生成的人类的说明性完整身体CT医学扫描100。如将被领会的，医学扫描100被生成和用于检查人类患者的医学情况，例如在诸如肩部110、上肢120、下肢130或头部140（仅举几例）之类的区域中。然而，医学扫描100自身的检查可能是耗时、低效且易于出错的。

依照各种实施例，提供允许展开来自3D医学图像扫描的人类骨架并且提供用于与图像扫描和来自这样的扫描的整个身体骨骼读取交互的增加的效率的可视化方法。也就是说，依照各种实施例，实现了用于改进的可视化和诊断能力的完整从头到脚展开的骨架视图（例如，2D展开视图）。

更具体地，图2示出依照实施例的用于展开和可视化人类骨架的说明性操作200的流程图。依照实施例，在步骤210处，接收3D医学扫描，例如如图1中所示的医学扫描100。例如，3D医学扫描可以直接从用于获取这样的医学扫描的扫描仪接收或者可以通过加载先前存储的3D医学扫描（例如来自存储器或其它存储设备）来接收。在步骤220处，从3D医学扫描对人类骨架进行分段。说明性地，依照实施例，自动图像分段被用于将来自医学扫描的人类骨架分段成对应于特定于医学扫描的整体骨架（即特定于被诊断的患者的骨架）的3D网格或二元掩模。可替换地，图像分段可以产生具有骨架的每一不同骨骼一个掩模或其中每一个标签对应于不同骨骼的多标签掩模的多个3D网格。这样的图像分段技术的示如在D.Wu等人的公开于2013年3月28日的美国专利申请公开No.2013/0077841“MethodandSystemforAutomaticRibCenterlineExtractionUsingLearningBaseDeformableTemplateMatching”（以下称为“Wu”）中描述，其描述了用于肋骨提取的方法，以及在M.Sofka等人的公开于2014年4月3日的美国专利申请公开No.2014/0093153“MethodandSystemforBoneSegmentationforJointReplacementSurgery”（以下称为“Sofka”）中描述，其描述了用于对多个膝盖骨进行分段的方法，其中的每一个出于全部目的通过引用并入本文。

在从医学扫描对骨架进行分段之后，依照实施例，使用一个或多个患者特定翘曲函数完成骨架展开。特别地，在步骤230处，标识包括骨架的不同部分的各种组。如将领会的，人类骨架包括可能需要被可视化以便提供适当且精确的医学诊断的多个骨骼。这样，将分段骨架划分成骨架段的组。说明性地，将第一组定义成与脊椎、肋骨和骨盆对应，第二组针对左臂和左手，第三组针对右臂和右手，第四组针对左腿和左脚，第五组针对右腿和右脚，并且第六组针对头部/颅骨。对于每一个所标识的组，在步骤240处，生成翘曲函数以展开和拉直单独的骨骼和相应骨架特征。例如，计算将拉直脊椎、使肋骨变平并且使骨盆变平的翘曲函数。另外，将针对每一个上肢和下肢（例如由以上标识的第二、第三、第四和第五组定义）计算单独的翘曲函数，其将使相应四肢的所有骨骼适应于用平面显露出结构的显著改进的对准的平面设置。这样，在步骤250处，生成展开的人类骨架的图像并且在步骤260处，向用户（例如医学技术人员或医师）显示展开的骨架图像以用于可视化和诊断目的。

翘曲函数不一定必须通过解剖学组成来分组。这意味着可以利用一个组合式翘曲函数展开多个（优选但不一定附着的）解剖学结构。例如，脊椎和骨盆骨骼或手部和对应手臂可以用一个综合翘曲映射以保持其空间关系或者使接合点可视化。找到不同形状的对象之间的低失真映射的一般问题是计算机图形中的经典问题并且被良好地理解。例如，其出现（在其它领域之中）在纹理映射、环境空间翘曲、基于表面的网格变形和体积网络变形中。

3D翘曲函数的一般形式W(x):R^3->R^3将空间中的每一个点映射到不同的位置。定义这样的映射的常见选择是基于通过利用所谓的径向基函数（RBF）的稀疏界标偏移的平滑内插的，所述径向基函数例如如在F.L.Bookstein，“PrincipleWarps:Thin-PlateSplinesandtheDecompositionofDeformations”，IEEETransactionsonPatternAnalysisandMachineIntelligence，第567-585页，Vol.11，No.6，1980年6月，以及K.Rohr等人的“Landmark-BasedElasticRegistrationUsingApproximatingThin-PlateSplines”，IEEETransactionsonMedicalImaging，第526-534页，Vol.20，No.6，2001年6月中描述的薄板样条，其每一个出于全部目的通过引用并入本文。另外，不同类别的方案是基于将空间离散化成一致地映射到经变形的设置的小型单元的，例如如在M.Zollhofer等人的“GPUbasedARAPDeformationusingVolumetricLattices”，Eurographics2012/C.Andujar,E.Puppo，欧洲图形学会2012中描述的那样，其出于全部目的通过引用并入本文，或者参数化平面网格的周围的方法，如J.Kretschmer等人的“ADR–Anatomy-DrivenReformation”，第2496-2505页，IEEETransactionsonVisualizationandComputerGraphics，Vol.20，No.12，2014年12月中描述的那样，其出于全部目的通过引用并入本文。

一般而言，翘曲函数W(x)自身是可互换的组件。组件的优选属性包括平滑性（即映射不应当折叠）、角度的保持（即保形）和距离的保持（即刚性）并且通常必须在二者之间做出不同的折衷。另外，翘曲函数W(x)可能以体积方式被定义（例如定义用于展开的表面的某个周围的翘曲）或者仅用于展开表面（例如仅使表面变平）。

有利地，依照各种实施例，完整骨架体的所生成的展开视图可以用于使图像可视化并且更高效地分析患者（及其主体医学扫描）和诊断医学情况。例如，图3示出依照如本文在以上详述的实施例来自医学扫描的人类骨架的展开的说明性2D平面图像300。如图3中所示，各种图像部分示出如以上所描述的来自分段图像的单独的骨骼的展开。例如，视图310示出被定义成包括脊椎、肋骨和骨盆的第一组，视图320示出针对左臂和左手的第二组，视图330示出针对右臂和右手的第三组，视图340示出针对左腿和左脚的第四组，视图350示出针对右腿和右脚的第五组，并且视图360和视图370分别示出针对头部/颅骨的第六组。

除了2D视图之外，依照另外的实施例，图4示出在图3中描绘的展开的人类骨架的说明性3D分裂视图400以允许另外的可视化和诊断能力。如图4中所示，各种图像部分示出来自如以上描述的分段图像的单独的骨骼的展开。例如，视图410示出被定义成包括脊椎、肋骨和骨盆的第一组，视图420示出针对左臂和左手的第二组，视图430示出针对右臂和右手的第三组，视图440示出针对左腿和左脚的第四组，视图450示出针对右腿和右脚的第五组，并且视图460示出针对头部/颅骨的第六组。

如之前所指出的，依照各种实施例，完整骨架体的所生成的展开视图可以用于更高效地使图像可视化并分析患者（及其主体医学扫描）和诊断医学情况。图5示出依照实施例的用于可视化、交互和操纵展开的骨架视图（例如图3中所示的视图）的说明性操作500的流程图。在步骤510处，依照实施例，接收（一个或多个）展开的骨架图像，这样的（一个或多个）展开的骨架图像如以上详述的那样生成。这样，在步骤520处，用户可以通过旋转展开视图中的单独的骨骼或者选择特定骨骼来查看而与展开的骨架图像交互，并且图像系统将立即在步骤530处在对应3D图像视图中映射（一个或多个）对应位置。用户还可以移动骨架图像的各种部分以仿真四肢的关节运动，例如以帮助总体诊断。这样，在步骤540处，如果期望仿真，则在步骤550处，从接收自用户的直接输入来标识要仿真的（一个或多个）关节运动，并且在步骤560处生成仿真，并且在步骤570处显示仿真以用于进一步诊断评估。

使用计算机断层照相作为成像模态来描述以上描述的方法，但是各种实施例不限于此。以上描述的方法可以类似地应用在其它成像模态上，诸如MR、PET/CT、SPECT/CT、PET/MRI、x射线和超声（仅举几例）。

用于将整体骨架从3D体积展开到2D图像并且可视化、评估和操纵展开的骨架图像的以上描述的方法可以实现在使用公知的计算机处理器、存储器单元、存储设备、计算机软件和其它组件的计算机上。在图6中图示了这样的计算机的高级框图。计算机600包含通过执行定义这样的操作的计算机程序指令来控制计算机600的总体操作的处理器610。计算机程序指令可以存储在存储设备630或其它计算机可读介质（例如磁盘、CDROM等）中并且当期望执行计算机程序指令时被加载到存储器640中。因此，图2和5的方法的步骤分别可以由存储在存储器640和/或储存器630中的计算机程序指令定义并且由执行计算机程序指令的处理器610控制。诸如CT扫描仪之类的图像获取设备660可以连接到计算机600以向计算机600输入图像。将图像获取设备660和计算机600实现为一个设备是可能的。图像获取设备660和计算机600以公知的方式通过网络无线通信也是可能的。

在可能的实施例中，计算机600可以相对于图像获取设备660位于远程并且可以作为服务器或基于云的服务（或架构）的部分而执行图2和/或图5的方法步骤。计算机600还包括用于经由网络与其它设备通信的一个或多个网络接口620。计算机600还包括使得用户能够与计算机600交互的其它输入/输出设备650（例如显示器、键盘、鼠标、扬声器、按钮等）。本领域技术人员将认识到，实际计算机的实现方式也可以包含其它组件，并且图6是出于说明性目的的这样的计算机的组件的一些的高级表示。

应当指出的是，为了解释的清楚性，本文所描述的说明性实施例可以被呈现为包括单独的功能块或功能块的组合。这些块表示的功能可以通过专用或共享硬件的使用来提供，包括但不限于能够执行软件的硬件。说明性实施例可以包括数字信号处理器（“DSP”）硬件和/或执行本文所描述的操作的软件。因此，例如，本领域技术人员将领会的是，本文中的框图表示本文中的各种实施例中所描述的原理的说明性功能、操作和/或电路的概念视图。类似地，将领会的是，任何流程图、流图、状态转移图、伪代码、程序代码等等表示可能大体以计算机可读介质来表示并且因此由计算机、机器或处理器执行的各种过程，无论这样的计算机、机器或处理器是否被明确示出。本领域技术人员将认识到，实际计算机或计算机系统的实现方式可以具有其它结构并且也可以包含其它组件，并且这样的计算机的组件的一些的高级表示是出于说明性目的的。

前述具体实施方式要被理解为在每一个方面都是说明性和示例性而非限制性的，并且本文所公开的本发明的范围不从具体实施方式确定，而是从如根据专利法准许的完整幅度解释的权利要求确定。要理解的是，本文所示出和描述的实施例仅仅说明本发明的原理并且可以在不背离本发明的范围和精神的情况下由本领域技术人员实现各种修改。本领域技术人员可以在不背离本发明的范围和精神的情况下实现各种其它特征组合。

Claims (20)

1.一种用于使具有多个骨骼的骨架可视化的方法，所述方法包括：

从包括骨架的身体的三维（3D）图像扫描来对针对骨架的图像体积进行分段；

基于骨架的对应分段图像体积而拉直多个骨骼中的每一个骨骼；以及

基于多个骨骼中的每一个骨骼的拉直的对应分段图像体积而生成二维（2D）图像。

2.根据权利要求1所述的方法，还包括：

显示所生成的2D图像。

3.根据权利要求1所述的方法，其中拉直多个骨骼中的每一个骨骼的步骤，还包括：

从骨架的分段图像体积中标识多个图像组，多个图像组中的每一个图像组与骨架的一个或多个部分对应；以及

计算针对多个图像组中的每一个图像组的翘曲函数。

4.根据权利要求3所述的方法，其中多个图像组中的第一图像组包括脊椎、肋骨轮廓和骨盆，并且多个图像组中的第二图像组包括至少一个手臂。

5.根据权利要求4所述的方法，还包括：

使用2D图像来标识涉及多个骨骼中的特定骨骼的至少一个关节运动；以及

仿真至少一个关节运动。

6.根据权利要求5所述的方法，还包括：

显示所仿真的至少一个关节运动。

7.根据权利要求2所述的方法，其中3D图像扫描包括身体的计算机断层照相（CT）图像。

8.根据权利要求5所述的方法，其中对骨架的图像体积进行分段的步骤还包括：

对多个骨骼中的每一个骨骼进行排序和加标签。

9.一种用于使具有多个骨骼的骨架可视化的方法，所述方法包括：

从包括骨架的身体的三维（3D）图像扫描来对针对骨架的多个骨骼中的每一个骨骼的图像体积进行分段；

基于其相应分段图像体积而拉直多个骨骼中的每一个骨骼；以及

基于多个骨骼中的每一个骨骼的相应拉直的分段图像体积而生成二维（2D）图像。

10.根据权利要求9所述的方法，还包括：

显示所生成的2D图像。

11.根据权利要求9所述的方法，其中拉直多个骨骼中的每一个骨骼的步骤还包括：

从多个骨骼中的每一个骨骼的相应分段图像体积中标识多个图像组，多个图像组中的每一个图像组与骨架的一个或多个部分对应；以及

计算针对多个图像组中的每一个图像组的翘曲函数。

12.根据权利要求11所述的方法，其中多个图像组中的第一图像组包括至少一个腿部，并且多个图像组中的第二图像组包括头部。

13.根据权利要求9所述的方法，其中3D图像扫描包括身体的磁共振（MR）图像。

14.根据权利要求9所述的方法，其中3D图像扫描包括身体的正电子发射断层照相-计算机断层照相（PET/CT）图像。

15.根据权利要求11所述的方法，其中针对每一个图像组的翘曲函数保持对应于这样的图像组的骨架的一个或多个部分之间的空间关系。

16.根据权利要求9所述的方法，还包括：

使用2D图像来标识涉及多个骨骼中的特定骨骼的至少一个关节运动；以及

仿真至少一个关节运动。

17.根据权利要求16所述的方法，还包括：

显示所仿真的至少一个关节运动；以及

基于从所仿真的至少一个关节运动的显示而定义的输入来修改2D图像。

18.一种存储用于执行可视化的方法的计算机程序指令的非暂时性计算机可读介质，所述计算机程序指令当在处理器上执行时使所述处理器执行包括以下的操作：

从包括具有多个骨骼的骨架的身体的三维（3D）图像扫描来对针对骨架的图像体积进行分段；

基于骨架的对应分段图像体积而拉直多个骨骼中的每一个骨骼；以及

基于多个骨骼中的每一个骨骼的对应拉直的分段图像体积而生成二维（2D）图像。

19.根据权利要求18所述的非暂时性计算机可读介质，其中所述操作还包括：

从骨架的分段图像体积中标识多个图像组，多个图像组中的每一个图像组与骨架的一个或多个部分对应；以及

计算针对多个图像组中的每一个图像组的翘曲函数。

20.根据权利要求19所述的非暂时性计算机可读介质，其中3D图像扫描包括身体的计算机断层照相（CT）图像，并且所述操作还包括：

显示涉及多个骨骼中的特定骨骼的至少一个关节运动的仿真；以及

基于从所仿真的至少一个关节运动的显示而定义的输入来修改2D图像。