CN110998668A - 利用依赖于对象的聚焦参数使图像数据集可视化 - Google Patents

Abstract

用于使图像数据集、特别是医学图像数据集可视化的方法，其中，可视化数据集显示至少具有第一对象和第二对象的三维排列，该方法包括以下步骤：提供三维图像数据集，该三维图像数据集包括被分配给第一对象的第一体素和被分配给第二对象的第二体素；识别三维图像数据的第一体素(11)；确定用于体绘制方法的参数集，其中，该参数集包括参数子集和聚焦参数；识别碰撞在第一对象上的主射线(12)和错过第一对象的次要射线；以及使用参数子集来执行体绘制方法(14)，特别是路径跟踪方法，以用于对第一对象和第二对象进行可视化，其中，在体绘制方法中用于主射线的聚焦参数不同于在体绘制方法中用于次要射线的聚焦参数。

Description

利用依赖于对象的聚焦参数使图像数据集可视化

本发明描述了用于使图像数据集可视化的方法、用于使图像数据集可视化的系统、计算机程序产品和计算机可读介质。

特别地，该方法涉及对医学图像数据集进行可视化，优选地，对三维(3D)或四维(4D)图像数据集进行可视化，其中，可视化数据显示具有第一对象和第二对象(例如，器官、血管和/或植入物)的三维排列。例如，通过计算机断层摄影(CT)或磁共振(MR)生成医学图像数据集。这种医学图像数据集的体可视化提供了以3D方式检查解剖结构的手段。

体可视化的强大工具是体绘制方法，例如WO 2016045701A1中公开的蒙特卡罗路径跟踪方法。这些方法允许根据共同的参数集来显示第一对象和第二对象，该共同的参数集例如对摄像机位置、射线方向、开度角以及诸如孔径尺寸和焦距的聚焦参数进行分类。

尽管这些允许对象(特别是器官)的三维可视化的可视化方法取得了成功，但是在显示器或屏幕上示出的可视化数据包含巨大量的信息，使得诸如临床医生的用户难以处理所有信息。

因此，本发明的目的是提供一种用于使图像数据集可视化的改进的方法，特别是为了简化对用户的显示数据的处理。

通过根据权利要求1的用于使图像数据集可视化的方法、通过根据权利要求13的系统、根据权利要求14的计算机程序产品以及通过根据权利要求15的计算机可读计算机介质来实现该目的。

根据本发明，提供了一种用于使图像数据集、特别是医学图像数据集可视化的方法，其中，可视化数据集显示至少具有第一对象和第二对象的三维排列，该方法包括以下步骤：

-提供三维图像数据集，该三维图像数据集包括被分配给第一对象的第一体素和被分配给第二对象的第二体素；

-识别三维图像数据集的第一体素；

-确定用于体绘制方法的参数集，其中，该参数集包括参数子集和聚焦参数；

-识别碰撞在第一对象上的主射线和错过第一对象的次要射线；以及

-使用参数子集来执行体绘制方法，特别是路径跟踪方法，以用于对第一对象和第二对象进行可视化，

其中，在体绘制方法中用于主射线的聚焦参数不同于在体绘制方法中用于次要射线的聚焦参数。

与现有技术相比，用于主射线的聚焦参数不同于用于次要射线的聚焦参数。因此，可以呈现第一对象和第二对象，使得它们被不同地聚焦，即，它们被呈现为具有不同的清晰度水平。例如，显示聚焦的第一对象和非聚焦的第二对象。这样的呈现帮助用户定向，并且因此用户可以容易地识别至少具有第一对象和第二对象的可视化三维排列的相关或特定部分。此外，与现有技术中已知的平面定向聚焦相比，例如通过用摄像机拍摄照片，可以建立与对象相关的聚焦。换言之，本发明使得即使当第一对象在三维排列的几个平面上延伸时，也可以选择整个第一对象的聚焦呈现。这意味着可以显示在三维上延伸的对象的聚焦轮廓。

术语“图像数据集”优选地表示三维(3D)图像数据集或“四维”(4D)图像数据集。此外，优选地，规定图像数据集是医学图像数据集，例如通过计算机断层摄影(CT)或磁共振(MR)产生的数据集。因此，数据集包括密度，即第一对象和第二对象的每个体积元素的密度值。密度可以是物理密度、光密度、折射率、强度值、颜色值、透明度值和/或不透明度值，并且可以表示为标量值、矢量或张量。特别地，体素表示三维阵列中被分配给第一对象和/或第二对象的特定体积元素的元素。优选地，第一对象和第二对象分别在空间中的所有三个方向上延伸。例如，第一对象表示器官或器官的一部分。优选地，第二对象表示显示器上的可视化图像数据集中除第一对象之外的所有其他对象。特别地，提供处理器或网络用于执行该方法，并且可视化数据被呈现在屏幕上，例如在工作站、平板电脑或智能电话的屏幕上。

优选地，体绘制方法是WO 2016045701A1中公开的路径跟踪方法，其内容在体绘制的上下文中明确提及。术语“参数子集”优选地包括体绘制方法的摄像机参数，例如摄像机位置、开度角和/或观察方向。此外，可以想到，数据集包括多个第一对象和多个第二对象。

特别地，提供了一种可视化单元，其中，可视化单元包括被配置用于执行根据本发明的方法的处理器。例如，可视化单元被包括在记录三维图像数据集的医学成像设备的工作站中。替选地，可视化单元是服务器例如服务器的系统或云的一部分。还可以想到，在服务器或网络处执行根据本发明的方法的至少一个步骤。由此，可视化单元与服务器或网络通信。此外，可以想到，可视化单元被并入到诸如智能电话或平板电脑的移动单元中，或者被并入在用于生成虚拟现实的装置中。优选地，由可视化单元生成的可视化数据被传送到显示器，例如，屏幕(例如，智能电话、平板电脑和/或用于生成虚拟现实的装置的屏幕)。还可以想到，将可视化数据集保存到服务器的存储器，以便用户或操作者可以随时使用。

由如在以下描述中揭示的从属权利要求给出本发明的特别有利的实施方式和特征。不同权利要求类别的特征可以被适当地组合以给出本文未描述的其他实施方式。

根据本发明的另一实施方式，规定聚焦参数适于第一对象的聚焦可视化。因此，在第一对象和第二对象的三维排列的可视化中，第一对象被聚焦，而第二对象不被聚焦。这意味着用户，特别是临床医生，相对快速地识别相关的第一对象。第二对象或者不太相关的第二对象是模糊的，并且不会使用户从第一对象分心。

在另一实施方式中，规定聚焦参数是孔径尺寸，其中，优选地，在体绘制方法中主射线的孔径尺寸被设置为零；以及/或者聚焦参数是焦距，其中，优选地，在体绘制方法中主射线的焦距被设置为与第一对象的距离。通过针对每条主射线将孔径尺寸设置为零或调整焦距，可以容易地将适当的聚焦参数结合到体绘制方法中。

优选地，特别地，根据与主射线的距离，次要射线的孔径尺寸被设置为不同于零的值，以及/或者特别地，根据与主射线的距离，次要射线的焦距被设置为由用户定义的全局焦距。结果，第二对象比第一对象聚焦少。特别地，根据次要射线到主射线的距离来调整聚焦参数允许在三维排列的可视化中调节图像清晰度。例如，位于临近第一对象的第二对象比位于远离第一对象的其他第二对象聚焦多。优选地，连续调节次要射线的聚焦参数，以避免被聚焦的区域和未被聚焦的区域的硬过渡。

在另一实施方式中，规定在三维阵列中对第一体素进行分类，其中，三维阵列被转换为对主射线和次要射线进行分类的二维阵列。因此，二维阵列可以有利地用于在体绘制方法中选择适当的聚焦参数。为了将三维阵列转换为二维阵列，优选地，规定使用与旨在用于随后的体绘制方法的参数子集相同的参数子集。这保证了执行体绘制方法，使得第一对象被聚焦而第二对象不被聚焦。可以想到，在三维阵列到二维阵列的转换期间，孔径尺寸被设置为零。优选地，通过在二维帧缓冲器中渲染图像数据集来执行三维阵列到二维阵列的转换。

根据优选实施方式，规定根据二维阵列修改聚焦参数。特别地，对于主射线，孔径尺寸被设置为零，而对于次要射线，孔径尺寸被设置为不同于零的值。优选地，基于二维阵列中的相应值来调整用于次要参数的聚焦参数的值。因此，包括在二维阵列中的信息可以用于调节次要射线的聚焦参数。使用二维阵列的另一个优点是，在执行体绘制方法之前，可以及时修改或操纵二维阵列。例如，可以选择特定第二对象或区域的聚焦参数，以便引起特定第二对象的甚至更加散焦的呈现。

优选地，在三维阵列中对第一体素进行二元分类，其中，三维阵列通过射线投射被优选地转换为二维阵列。结果，二维阵列包括用于主射线的值“1”和用于次要射线的值“0”。因此，优选地，规定对二维阵列进行平滑，以避免第一对象与第二对象之间的硬过渡。

在另一优选实施方式中，规定在三维阵列中对第一体素进行多边形分类。在此，有利地，可以将三维阵列直接转换为二维阵列。

根据另一优选实施方式，规定在三维阵列中通过距离变换对第一体素进行分类，其中，三维阵列通过射线行进被转换为二维阵列。结果，提供了二维阵列的值，使得值可以直接用于调节次要射线的聚焦参数。特别地，调节聚焦参数，使得远离第一对象的第二对象比靠近第一对象的那些对象聚焦少。结果，通过使用作为射线行进结果的二维阵列，可以实现第一对象与第二对象之间的平滑过渡。因此，有利地，不需要对二维阵列进行额外的平滑或操纵来实现第一对象与第二对象之间的平滑过渡。

在另一优选实施方式中，规定调节次要射线的聚焦参数以用于平滑第一对象与第二对象之间的过渡区域。因此，可以避免第一对象与第二对象之间的硬过渡。优选地，平滑取决于三维阵列中的第一体素的分类类型和/或将三维阵列转换为二维阵列的转换机制。通过调整平滑处理，有利地可以使用适当的机制来优化第一对象与第二对象之间的过渡。

优选地，二维阵列被至少部分地平滑，其中，优选地，使用用于软聚焦的卷积算子和/或高斯滤波器进行平滑。因此，在执行体绘制方法之前，可以及时地调整或修改二维阵列。

在另一实施方式中，规定数据集的第一体素优选地通过神经网络被自动地识别。优选地，术语“自动地”表示子系统由机器学习机制训练，以用于选择适当的第一体素，以用于选择分类和/或将三维阵列转换为二维阵列。

根据优选实施方式，规定第一对象是主动脉或支架。通过选择主动脉作为第一对象，可以有利地改善病理变化的图示，例如在主动脉狭窄或动脉瘤的情况下。图示可以用于规划手术或用于向患者解释当前情况。特别地，可以精确地确定缺陷的位置。此外，图示示出手术的结果。其他第一对象可以是肾脏、泌尿道或血管。

本发明的另一方面是一种用于使图像数据集可视化的系统，其中，所述系统被配置用于：

-提供三维图像数据集，该三维图像数据集包括被分配给第一对象的第一体素和被分配给第二对象的第二体素；

-识别三维图像数据集的第一体素；

-确定用于体绘制方法的参数集，其中，该参数集包括参数子集和聚焦参数；

-识别碰撞在第一对象上的主射线和错过第一对象的次要射线；以及

-使用参数子集来执行体绘制方法，特别是路径跟踪方法，以用于对第一对象和第二对象进行可视化，以及

-针对主射线和次要射线调整聚焦参数。

本发明的另一方面是一种计算机程序产品，用于在该计算机程序产品被加载到可编程设备的存储器中时，执行根据本发明的方法的步骤。

从下面参照附图对根据本发明的分析方法的优选实施方式的描述中将得出其他优点和特征。在本发明的范围内，各个实施方式的各个特征可以在此彼此组合。

本发明的另一方面是一种计算机可读介质，其上存储有程序元素，该程序元素可以由计算机单元读取和执行，以便在程序元素由计算机单元执行时执行根据本发明的方法的步骤。

在附图中：

图1示意性地示出了根据本发明的用于使图像数据集可视化的方法的优选实施方式，

图2示出了根据本发明的优选实施方式的用于使图像数据集可视化的系统，

图3示出通过根据本发明的第一实施方式的用于使图像数据集可视化的方法的可视化的数据集，

图4示出通过根据本发明的第二实施方式的用于使图像数据集可视化的方法的可视化的数据集。

在图1中，示出了根据本发明的用于使图像数据集可视化的方法的优选实施方式。特别地，该方法指的是用于使图像数据集可视化的方法，其中，可视化数据集16示出或显示至少第一对象31和第二对象32的三维排列。优选地，图像数据集是三维图像数据集19，特别是医学三维图像数据集，例如由CT或MR成像生成的数据集。例如，第一对象31和/或第二对象32表示器官或植入物。还可以想到，第一对象31是器官的特定部分，而第二对象32是同一器官的另一部分。优选地，第二对象32表示不是第一对象31并且在三维排列中显示的所有对象。

使图像数据集可视化的基本步骤是体绘制方法14，例如路径跟踪方法。例如，WO2016045701 A1中公开的体绘制方法14用于进行可视化。通过设置在体绘制方法中使用的全局聚焦参数，可以对第一对象31和第二对象32进行可视化，使得第一对象31和第二对象32被聚焦。优选地，为体绘制方法选择或定义参数集，其中参数集包括参数子集(例如，摄像机位置、射线方向或开度角)和聚焦参数(例如，孔径尺寸和焦距)。根据本发明，旨在修改用于使第一对象31和第二对象32可视化的方法，使得在所显示的可视化中，第一对象31被聚焦而第二对象32不被聚焦。因此，对于用户而言，简化了在可视化中识别第一对象31，因为用户可以集中于聚焦的第一对象31。

为了同时建立聚焦的第一对象31和非聚焦的第二对象32，在开始时提供图像数据集，其中，图像数据集包括被分配给第一对象31的第一体素和被分配给第二对象32的第二体素。通过使用分割22，以三维掩模或阵列识别第一体素并且特别地对第一体素进行分类。例如，对第一体素进行二元或多边形分类。优选地，生成三维掩模或阵列以用于识别第一体素11，其中，三维掩模或阵列的每个元素与作为二元或多边形分类结果的对应分类值相关联。随后，例如通过使用旨在用于体绘制的参数集的二维帧缓冲器，将三维掩模变换成二维掩模或阵列，以识别碰撞在第一对象31上的主射线12。在二元分类值的情况下，优选地使用射线投射方法来将三维掩模转换为二维掩模。使用多边形分类的三维掩模可以被直接变换。

二维掩模或阵列根据参数集识别碰撞在第一对象31上的主射线和错过第一对象31的次要射线。优选地，主射线被标记为“1”，并且次要射线被标记为“0”。为了避免硬过渡，也可以想到平滑二维掩模或阵列。可以通过使用图像滤波器(例如用于软聚焦的高斯滤波器或使用卷积的滤波器)至少在与被分配给主射线的二维掩模或阵列的元素临近的过渡区域中平滑二维掩模或阵列。

替选地，通过距离变换21对第一体素进行分类。还可以想到，通过射线行进从作为距离变换的结果的三维阵列生成二维掩模。因此，在二维阵列或掩模中，节省了与第一对象31的最小距离。结果，由于二维阵列中的平滑过渡是自动生成的，因此不需要平滑二维阵列或掩模。

为了对第一对象31和第二对象32进行可视化，规定执行体绘制方法，特别是路径跟踪方法。在体绘制方法14中，使用先前选择或定义的参数集的子集。然而，聚焦参数适于每条射线，特别是适于每条主射线和次要射线。优选地，聚焦参数是孔径尺寸，并且对于每条主射线，孔径尺寸被设置为“0”，而对于每条次要射线，孔径尺寸被设置为不同于“0”的值。结果，第一对象31被可视化为聚焦，而第二对象32被可视化为未聚焦。为了选择适当的孔径尺寸值，使用二维掩模或阵列。例如，将二维阵列的值乘以设定的孔径尺寸。结果，过渡区域中的值引起聚焦的第一对象31与非聚焦的第二对象32之间的平滑过渡。换言之，二维掩模或阵列的值用于调节聚焦参数，特别是孔径尺寸。作为孔径尺寸的替选，焦距可以适于主射线和次要射线以实现不同的聚焦效果。

在图2中，示出了根据本发明的优选实施方式的用于使图像数据集可视化的系统100。特别地，该系统包括医学成像设备10，例如计算机断层摄影(CT)设备或磁共振(MR)设备。该医学成像设备10生成三维图像数据集19，并且将三维图像数据集19传送到包括处理器23的可视化单元20，该处理器23被配置用于特别是根据在图1的背景下描述的方法对图像数据集进行可视化17。此外，医学成像设备10包括用于由用户或操作者例如通过选择平滑参数(例如适当的滤波器)、期望的平滑程度或聚焦程度来配置可视化单元20的输入单元15。还可以想到，第一对象31由操作者经由输入单元15指定或选择。此外，规定可视化单元20与服务器30通信，例如通过使用服务器30或服务器系统来执行上述方法的步骤中的至少一个。例如，服务器30和/或服务器系统30用于识别第一体素。还可以想到，可视化单元20是服务器30或服务器系统的一部分。服务器30或服务器系统优选地形成网络或云。替选地，也可以想到，将可视化单元20并入医学成像设备10中，并且根据需要与服务器通信。此外，规定在可视化之后，将可视化数据集16传送到用于显示可视化数据集16的显示器40(例如工作站、平板电脑、智能电话等的屏幕)。

在图3和图4中，示出了通过用于使图像数据集可视化的方法的可视化的数据集的图示。为了简单起见，示出了二维排列而不是三维排列。第一对象31由实心正方形表示，而空心正方形形成第二对象32。此外，线条的厚度表示聚焦程度，即聚焦程度随着限制空心正方形的线条宽度的减小而减小。在图3a中，实心正方形31表示产生第一对象31的清晰轮廓的聚焦可视化。形成第二对象32的空心正方形具有相同的聚焦程度，但是比第一对象31聚焦少。与图3a相比，图3b的空心正方形不具有相同的聚焦程度，但是仍然比第一对象31聚焦少。特别地，聚焦程度随着与第一对象31的距离的增加而降低。因此，实现了从第一对象31到第二对象32的平滑过渡。

Claims (15)

1.一种用于使图像数据集、特别是医学图像数据集可视化的方法，其中，可视化数据集(16)显示至少具有第一对象(31)和第二对象(32)的三维排列，所述方法包括以下步骤：

-提供三维图像数据集(19)，所述三维图像数据集(19)包括被分配给所述第一对象的第一体素和被分配给所述第二对象的第二体素；

-识别所述三维图像数据集(19)的第一体素(11)；

-确定用于体绘制方法(14)的参数集，其中，所述参数集包括参数子集和聚焦参数；

-识别碰撞在所述第一对象(31)上的主射线(12)和错过所述第一对象(31)的次要射线；以及

-使用所述参数子集来执行所述体绘制方法(14)，特别是路径跟踪方法，以用于对所述第一对象(31)和所述第二对象(32)进行可视化，

其中，在所述体绘制方法中用于所述主射线的聚焦参数不同于在所述体绘制方法中用于所述次要射线的聚焦参数。

2.根据权利要求1所述的方法，其中，所述聚焦参数适于所述第一对象(31)的聚焦可视化。

3.根据前述权利要求中的一项所述的方法，其中，

-所述聚焦参数是孔径尺寸，其中，优选地，在所述体绘制方法(14)中，所述主射线的孔径尺寸被设置为零，以及/或者

-所述聚焦参数是焦距，其中，优选地，在所述体绘制方法(14)中，所述主射线的焦距被设置为与所述第一对象(31)的距离。

4.根据权利要求3所述的方法，其中，

-特别地，根据与所述主射线的距离，所述次要射线的孔径尺寸被设置为不同于零的值，以及/或者

-特别地，根据与所述主射线的距离，所述次要射线的焦距被设置为由用户定义的全局焦距。

5.根据前述权利要求中的一项所述的方法，其中，在三维阵列中对所述第一体素进行分类，其中，所述三维阵列被转换为对所述主射线和所述次要射线进行分类的二维阵列。

6.根据前述权利要求中的一项所述的方法，其中，根据所述二维阵列来修改所述聚焦参数。

7.根据前述权利要求中的一项所述的方法，其中，在三维阵列中对所述第一体素进行二元分类，其中，所述三维阵列通过射线投射被优选地转换为所述二维阵列。

8.根据前述权利要求中的一项所述的方法，其中，在三维阵列中对所述第一体素进行多边形分类。

9.根据前述权利要求中的一项所述的方法，其中，在三维阵列中通过距离变换(21)对所述第一体素进行分类，其中，所述三维阵列通过射线行进被转换为所述二维阵列。

10.根据前述权利要求中的一项所述的方法，调节所述次要射线的聚焦参数，以便平滑(13)所述第一对象(31)与所述第二对象(32)之间的过渡区域。

11.根据权利要求10所述的方法，其中，所述二维阵列被至少部分地平滑，其中，优选地，使用用于软聚焦的卷积算子和/或高斯滤波器进行平滑(13)。

12.根据前述权利要求中的一项所述的方法，其中，所述图像数据集的所述第一体素优选地通过神经元网络被自动识别。

13.一种用于使图像数据集可视化的系统(100)，其中，所述系统被配置用于：

-提供三维图像数据集(19)，所述三维图像数据集(19)包括被分配给第一对象(31)的第一体素和被分配给第二对象(32)的第二体素；

-识别所述三维图像数据集(19)的第一体素(11)；

-确定用于体绘制方法的参数集，其中，所述参数集包括参数子集和聚焦参数；

-识别碰撞在所述第一对象(31)上的主射线(12)和错过所述第一对象(31)的次要射线；以及

-使用所述参数子集来执行所述体绘制方法(14)，特别是路径跟踪方法，以用于对所述第一对象(31)和所述第二对象(32)进行可视化，以及

-针对所述主射线和所述次要射线调整所述聚焦参数。

14.一种计算机程序产品，用于在所述计算机程序产品被加载到可编程设备的存储器中时，执行根据权利要求1至12中任一项所述的方法的步骤。

15.一种计算机可读介质，其上存储有程序单元，所述程序单元能够由计算机单元读取和执行，以便在所述程序单元由所述计算机单元执行时执行根据权利要求1至12中任一项所述的方法的步骤。

Images