CN111047519B - 用于调整图像观感的方法 - Google Patents

Abstract

本发明涉及一种用于调整图像(7)、特别是在医学成像的范围内确定的图像的图像观感的方法，包括以下步骤：提供图像或从中确定图像的输入数据；为图像和/或为图像的至少一个图像片段(16，17)预设相应的理想图像观感类别(9)，所述图像的图像片段直接地或通过预设至少一个片段类型来预先给定，其中，图像和/或相应的图像片段的图像数据与相关联的图像观感类别(14)之间的关系通过分类算法(13)预先给定；通过修改算法(8)改变图像或输入数据，以使与由此形成的图像或相应的图像片段的改变的图像数据(12，18，19)相关联的图像观感类别适应于相应的理想图像观感类别，其中依据分类算法预先给定修改算法的至少一个修改参数。

Description

用于调整图像观感的方法

技术领域

本发明涉及一种用于调整图像、特别是在医学成像的范围内确定的图像的图像观感的方法。此外，本发明还涉及一种处理装置、一种计算机程序和一种电子可读的数据载体。

背景技术

在医学成像的范围内确定的图像通常在诊断的范围内由医学人员进行分析。此外，使用相应的图像以向其他人员、例如同事或患者指出图像中的某些特征。在此，通常不直接将采集到的图像可视化，而是对采集到的数据进行预处理。

当根据采集到的数据、例如计算机断层成像的各个X射线图像，首先重建三维体积数据，并且然后从中产生二维图像、例如截面图像或模拟X射线图像时，尤其是这种情况。在此已知，所确定的图像或图像中的各个特征或片段的图像观感可以取决于在图像确定的范围内选择的参数。例如，在重建体积数据组的范围内，可以选择不同的重建核心，重建核心关于可实现的空间分辨率和结果的噪声水平可以是不同的。根据应用目标，即，例如依据是否要将图像用于可视化患者的某些信息，或者是否要关于特定的异常来检查图像，尤其是依据在哪个图像区域中要识别哪种异常，预处理的不同的参数化并且由此所形成的不同的图像观感在此可以是有利的。此外，不同的用户可以针对相同的目标期望不同的图像观感，因此需要以不同的参数对原始采集的数据进行处理，以便能够为不同的用户分别提供理想的图像。

由于用户不一定知道哪个处理参数对于他或给定的任务来说是理想的，因此可以需要对采集到的数据执行多个处理，直到实现期望的结果。例如由于在使用图像数据的迭代重建时会导致相对高的处理开销，以提供新的图像，因此，改变所期望的图像观感可以会导致明显的延迟，从而影响用户的工作流程。

发明内容

因此，本发明要解决的技术问题是，改进用户在分析图像数据时的工作流程。

该技术问题通过前面所提到类型的方法来解决，该方法包括以下步骤：

-提供图像或从中确定图像的输入数据，

-为图像和/或为图像的至少一个图像片段预设相应的理想图像观感类别，图像的图像片段直接地或通过预设至少一个片段类型预先给定，其中，图像和/或相应的图像片段的图像数据与相关联的图像观感类别之间的关系通过分类算法预先给定，

-通过修改算法来改变图像或输入数据，以使与由此形成的图像或相应的图像片段的改变的图像数据相关联的图像观感类别适应于相应的理想图像观感类别，其中依据分类算法预先给定修改算法的至少一个修改参数。

因此提出，不通过以另外的参数重新处理图像的原始数据的方式来改变图像或图像的特定片段或者特定片段类型的图像观感，取而代之而是通过修改算法本身来修改图像。在此，使用依据分类算法进行参数化的修改算法。如后面还要更详细解释的，例如可以通过机器学习方法来进行相应的参数化。然而，原则上在考虑预先给定的分类算法的情况下也可以进行手动参数化。

所提出的过程可以实现：只要相应的修改算法准备就绪，就可以根据需要调整整个图像或图像的特定片段或特定片段类型的图像观感。在此，这种调整可以根据用户的特定要求手动进行，或者可以依据特定的参数自动进行调整，如后面还要更详细解释的。由于可以快速地调整图像观感，因此实现了用户可以根据需要在图像观感之间快速切换，以便例如在不中断用户的工作流程的情况下为图像找到图像观感，该图像观感在用户的任务中特别良好地支持用户。此外，根据本发明的过程可以实现针对图像的不同片段或不同片段类型设置不同的图像观感。例如可以实现在一些图像片段中将特征再锐化，而在其他图像片段中进行噪声的减少。这在通常的方法中是非常复杂的，因为必须以不同的方式来处理原始数据，并且形成的图像必须由多个这些处理结果组合，以实现局部不同的图像观感。

分类算法不一定要在该方法本身中使用。如果在先前步骤中，即不是作为该方法本身的一部分，确定了修改算法的修改参数，则提供所述先前步骤中的分类算法就足够了。如后面还要更详细解释的，分类算法特别是可以通过机器学习方法被参数化。

修改算法优选地具有多个修改参数，其在根据本发明的方法的范围内确定或者在先前步骤中依据分类算法来确定。这可以通过机器学习来实现。在此，如后面还要更详细解释的，可以共同训练分类算法和修改算法。例如，这些算法在训练的范围内可以共同构成生成对抗网络(GAN)，其中修改算法作为生成器进行工作，而分类算法作为鉴别器进行工作。

图像观感类别例如可以是图像或图像片段的清晰度，或者是显示类型，例如连续区域是否仅作为轮廓线显示，亮度和/或对比度，是否完全显示特定特征等。单个图像片段或片段类型的理想图像观感类别可以直接预先给定。替换地，可以为整个图像或显示任务预先给定理想图像观感类别，该显示任务为多个图像片段或片段类型预设相应的理想图像观感类别。例如可以预先给定，要清晰地显示特定器官，而要以低噪声显示其他图像片段。

片段类型例如可以是特定的解剖学标签，其中通过修改算法本身或者通过前置的图像分割可以识别与相应的标签相关联的图像片段。在此，片段类型可以描述各个器官、骨骼等，但是片段类型还可以描述整组特征。例如，片段类型-骨骼可以与图像的显示骨骼等的所有图像片段相关联。

为了改变特定图像片段的图像观感类别，在最简单的情况下，可以仅将修改算法应用于该图像片段的数据。例如，这例如可以通过先前例如由机器学习训练的分割算法手动或自动分割图像来实现。然而，修改算法本身优选地识别所有重要的图像区域，即例如特定片段类型的图像片段，并对其进行修改。在此，修改算法不必明确地输出分割或者与特定片段相关联的图像数据。更确切地说，作为结果实现了将直接或通过片段类型预先给定的相应的图像片段的图像观感类别与针对该图像片段或该片段类型预先给定的理想图像观感类别相适应就足够了。

图像或图像片段的图像观感类别的适应可以导致，图像或图像片段的图像观感类别随后与理想图像观感类别一致。然而，图像观感类别也可以以特定的方式排列。在此，可以进行一维排列，即例如根据图像或图像片段的所实现的清晰度进行排列，但是也可以是多维排列，即例如根据清晰度和对比度进行排列。在此，适应可以被理解为，在应用修改算法之后，图像或片段的图像观感类别比原始图像或图像片段的图像观感类别更接近理想图像观感类别。

图像数据优选地是二维图像数据。特别地，可以是根据二维体积数据生成的二维图像数据，例如是截面图像或人工投影。

输入数据优选地是多个二维图像，这些二维图像被组合，以提供图像。例如，输入数据可以是在血管造影的范围内完成的掩模图像和具有造影剂的图像，并且可以通过将这些输入图像彼此相减来确定图像。为了改变图像，可以修改形成的图像。但是，也可以单独地通过修改算法来修改输入数据、例如造影剂图像或掩模图像，以便由此间接地改变图像。

修改参数可以通过机器学习方法来确定。在此，在最简单的情况下，可以固定地预先给定分类算法。例如，分类算法可以是先前训练的卷积神经网络(Convolutional NeuralNetwork)。借助分类算法可以实现对修改参数的无监督学习，也就是说，例如不必以已经相应修改的图像的形式预先给定要实现的结果。为了训练修改算法，预先给定训练数据组就足够了，该训练数据组仅包括要修改的图像以及要如何修改它们的指令。

首先可以任意地、例如随机地初始化修改算法的修改参数，即，例如在将神经网络训练为修改算法时初始化单个神经元的加权因子。作为输入数据，为修改算法预先给定例如相应的图像和相应期望的修改，即针对整个图像或针对特定片段或片段类型的理想图像观感类别。借助已知的分类算法，在修改相应的图像之后可以检查，该修改是否成功或有多成功。随后可以将这一点用于修改修改算法的修改参数。修改算法尤其可以是生成网络(generatives Netzwerk)或去卷积网络(Deconvolution-Netzwerk)。这种神经网络特别适合于生成或修改特定的图像数据。

修改算法的训练，即修改参数的确定，可以是根据本发明的方法的方法步骤。然而，还可以将该训练作为单独的过程前置。就此而言，本发明还涉及一种用于训练修改算法的方法，该修改算法用于改变图像或图像的片段以改变图像观感。

为了训练修改算法，可以使用要由修改算法修改的预分割的图像。所述分割可以手动地或者通过尤其是由先前的机器学习训练的分割算法进行。在此，可以将各个片段或者片段组与片段类型相关联。原则上，还可以为修改算法提供与分割有关的分割信息作为输入数据。例如，当要训练修改算法以修改预分割图像时，这可以是有利的。

然而，也可以有利的是，不在修改算法的范围内分析分割信息，而是仅将其用于通过分类算法来为改变的图像数据的各个预先给定的片段确定图像观感类别，并且将其与相应片段或相应片段类型的理想图像观感类别进行比较，并且依据该比较来调整修改参数。在这种情况下，除了图像之外，修改算法还可以获得成对的片段类型和针对片段类型预先给定的理想图像观感类别作为输入数据。因此，修改算法被训练为，自主地识别必须如何修改哪些图像区域，以实现特定片段类型的图像片段的图像观感类别与理想图像观感类别的适应。由此，例如可以避免伪影，当以不同方式修改图像的不同图像片段，以针对这些片段实现不同的图像观感类别时可以产生伪影。

分类算法的至少一个分类参数和修改参数可以共同通过机器学习方法确定。在此，首先特别是执行分类算法的监督训练。例如，训练数据组为此可以包括多个图像，其中例如通过先前的手动分类将相应的图像观感类别与图像或者图像的各个片段或者片段类型相关联。分类算法例如可以是神经网络，例如卷积神经网络。用于监督学习分类算法的方法基本上是已知的，因此不再详细解释。例如，误差反馈可以用于使通过分类算法确定的图像观感类别与利用训练数据组预先给定的图像观感类别之间的偏差最小化。

随后的对分类算法和修改算法的共同训练可以进一步持续改进分类算法，从而也最终改进修改算法。在此，分类算法和修改算法可以交替进行训练，或者可以共同进行训练。

在机器学习的范围内，学习算法可以同时或交替地尝试：选择修改参数，使得在将分类算法应用于结果图像或者应用于结果图像的图像片段时，确定预先给定理想图像观感类别，结果图像通过将修改算法应用于输入图像来确定，结果图像的图像片段直接地或者通过预设至少一个片段类型来预先给定；以及选择分类参数，使得在将分类算法应用于结果图像或者结果图像的至少一个图像片段以及应用于输入图像或者输入图像的图像片段时，确定相同的图像观感类别，输入图像的图像片段与结果图像的图像片段相关联。

换言之，同时尝试训练修改算法，使得在随后应用分类算法时图像或片段具有预先给定的理想图像观感类别，而基于此对分类算法进行训练以识别这种操纵。一种可以的方法是训练生成对抗网络(GAN)，其中将修改算法用作生成网络，并且将分类算法用作鉴别器。通过所描述的学习方法特别是实现了，除了事先对分类算法进行的训练之外，还可以不监督地进行对修改算法的训练，也就是说，不必为修改算法预先给定理想结果，因为借助分类算法进行学习而不是与理想结果进行比较。根据要区分的图像观感类别的数量，使用多个并行或组合的神经网络来确定分类参数和修改参数，也可以是有利的。

在训练的范围内，还可以为多个片段或片段类型预先给定相应的理想图像观感类别。在这种情况下，以上说明适用于每个由结果图像的图像片段和相关联的输入图像的图像片段组成的对。

图像或输入数据可以通过取决于至少一个处理参数的处理算法根据原始数据来确定，其中图像和/或相应图像片段和/或片段类型的图像观感类别取决于处理参数。在此，对原始数据的处理可以是根据本发明的方法的一部分，但是也可以在先前的步骤中执行，从而已经为根据本发明的方法提供了图像或输入数据。在此可以预先给定分类算法或者确定分类算法的至少一个分类参数，使得通过分类算法确定的图像观感类别取决于分别所使用的处理参数。这例如可以通过机器学习实现。优选地，例如通过根据多个预先给定的原始数据组分别利用不同的处理参数生成图像或输入数据，可以实施监督学习。在此，例如基于关于这些处理参数的作用的先验知识，可以将处理参数的组与固定确定的图像观感类别相关联。由此，针对每个图像或每个输入数据组的训练数据组可以包括与处理参数相关联的图像观感类别。例如，如果将分类算法实施为神经网络，则随后可以通过比较所确定的图像观感类别与存储在训练数据组中的图像观感类别来进行学习，并且例如可以通过误差反馈来调整分类算法的分类参数。

处理参数例如可以影响图像中或图像的特定片段中的图像清晰度或图像噪声。例如当处理算法依据处理参数来调整卷积核等时，可以是这种情况。在这种情况下，通过分类算法确定的图像观感类别例如可以说明，图像或图像的特定片段有多清晰或柔和。在这种情况下，修改算法可以用于后补地相应平滑或锐化图像。

处理算法可以包括用于根据二维原始数据、特别是根据X射线图像重建三维体积数据的重建算法，其中重建算法取决于处理参数或处理参数中的至少一个，和/或其中图像或输入数据是通过映射算法根据体积数据生成的二维图像数据，其中映射算法取决于处理参数和/或处理参数中的至少一个。例如，三维体积数据在计算机断层成像的范围内可以根据二维X射线图像，例如通过滤波后的反投影、迭代重建等生成。图像数据或输入数据例如可以是层图像或者由体积数据生成的合成X射线图像。

重建参数例如可以涉及所使用的重建核心的选择或者其参数化。例如，可以选择重建核心，使得体积数据说明亨氏单位(Hounsfield-Einheiten)，或者可以选择强调边缘的重建核心。

在根据本发明的方法中，可以为不同的图像片段和/或不同的片段类型预先给定不同的理想图像观感类别。例如可以期望在特定的重要区域中、例如在特定器官的区域中进行特别清晰的显示或者对边缘进行强调，而在周围的背景区域中期望抑制噪声，即使这可以导致空间分辨率降低。还可以期望不显示或者例如以较低的亮度或较低的对比度显示对于当前的可视化不太重要的特定片段类型，从而更快且更容易地识别重要的特征。在此，可以根据需要自动或者手动地为不同的图像片段或片段类型选择不同的显示，并且因此选择相应的理想图像观感类别的组。例如，通过相应地选择理想图像观感类别可以实现，基于相同的图像或相同的输入数据根据需要或者更愿意强调骨骼或者更愿意强调血管系统。

理想图像观感类别和/或为其预先给定理想图像观感类别的至少一个图像片段和/或至少一个片段类型可以依据用户的操作输入和/或辨别用户的用户信息和/或图像和/或输入数据和/或原始数据和/或与图像的成像和/或与图像中映射的患者有关的附加信息来预先给定。这例如可以用于在用户已经打开图像的情况下自动修改图像，使得形成适合特定用户或特定任务的图像观感。然而，上述参数也可以仅用于在选择合适的修改时对用户进行支持。例如可以依据这些参数仅提出特定的修改，或者例如调整所提出修改的顺序。还可以组合这些方法。例如可以首先进行图像的自动修改，并且用户可以根据需要切换到其他修改，其中就此为用户提供合适的选择。

有利地，可以依据用户信息进行参数的预设，以便使所显示的修改的图像匹配于用户的喜好。这例如可以连续地学习。例如可以起初需要对于系统尚不了解的用户必须手动选择要如何修改图像，即特别是哪个片段或片段类型要具有哪种理想图像观感类别。根据这些输入中的一个或多个，系统例如可以通过机器学习方法或者通过对输入的统计分析，特别是在考虑进行相应输入的相应使用情况的条件下来学习用户的喜好，然后例如根据该喜好已经自动选择了修改或者限制了所提出的修改。在此，还可以在学习了用户喜好之后进一步继续学习，即例如实施反馈回路(Feedbackschleife)，以便当用户在特定情况下从呈现的最佳的修改变换到另外的修改时进行识别，以便例如识别改变的用户喜好。

用户信息例如可以通过用户相对于系统辨别自己来确定，例如通过输入用户识别、通过钥匙卡等。但是也可以执行自动的用户识别。为此，例如可以对输入模式，例如键盘输入的时间顺序、鼠标手势、特定程序选项的选择等进行分析。由此，例如可以使用机器学习算法，以便根据用户在系统上的动作来辨别用户。

理想图像观感类别和/或图像片段和/或片段类型与图像、输入数据和/或原始数据的依赖关系可以是有利的，例如当对这些数据中的特征进行自动识别时。例如可以识别在某些图像片段中存在指出病变、肿瘤或其他异常的特征。通过为该图像片段选择相应的理想图像观感类别或者通过对图像的其他相应的操纵可以实现，用户能够清晰且容易地识别相应的在该情况下高度重要的特征。

作为成像参数，例如可以考虑所使用的曝光时间、辐射强度或管电流、采集X射线图像时的时间走向、进行欠采样的信息等。成像参数可以对图像中的特定特征的显示产生重大影响，由此依据成像参数来调整，要如何修改图像，即要为图像或为图像的特定的图像片段或片段类型选择哪种理想图像观感类别，可以是适合的。

与患者有关的信息例如可以是来自患者档案的信息。例如，根据该信息例如可以得出，该图像拍摄用于何种目标，或者该图像要解决哪种显示任务或诊断任务。由此，对于选择适合的图像观感高度重要的是，对于当前的诊断任务是在图像中显示的血管系统更重要还是骨骼更重要。

选择理想图像观感类别或修改后的图像片段或片段类型所依据的参数的所述列表并不详尽。例如，附加地可以考虑用户的先前的操作输入，特别是在观察同一图像期间，以便进一步推导出用户的期望，或者可以考虑，可视化是在门诊室(即在该情况下针对患者)在测量设备上还是在办公室计算机上进行。

理想图像观感类别的预设，和/或为其预先给定理想图像观感类别的至少一个图像片段和/或片段类型的预设，和/或可由用户选择或推荐的理想图像观感的预设，和/或可选择或推荐或预先给定理想图像观感的图像片段和/或片段类型的预设，可以通过预设算法进行，预设算法通过机器学习进行参数化。训练可以以如下方式实现：用户针对特定的使用情况以及针对在该使用情况中进行的、对一个或多个理想观感类别或者要改变的片段或者片段类型的选择，使用潜在对于选择重要的参数、例如先前讨论的参数，作为训练数据。预设算法可以通过监督学习来训练，其中手动的选择预先给定了预设算法的理想结果，并且所采集的相关参数预先给定了输入参量。在此，在预设算法的学习阶段之后进行用户的另外的监督，以识别例如用户行为中的变化。

修改算法可以被设置为，依据针对图像预先给定的显示任务自动预先给定图像片段和/或片段类型以及分别相关联的理想图像观感类别。在用户要进行对图像修改的手动选择时，以及在至少针对一部分可能的显示任务使用针对不同的图像片段或片段类型的不同的理想图像观感类别时，这尤其是特别适合的。在这种情况下，定义一种宏是有利的，宏允许用户通过选择特定的显示任务来在图像上执行复杂的修改。

在特定的显示任务的范围内(但也可以与此无关)，通过为相应的片段或片段类型预设相应的理想图像观感类型可以实现，例如以低亮度或低对比度显示或不显示或仅示意性显示特定存在的特征或包括这些特征的片段。不显示特定的特征例如可以通过将片段的一部分替换为单色表面或特定图案来实现。例如在要为患者可视化特定的具体情况时并且要隐去与此相关的不重要的特征时，这可以是有利的。

示意性显示例如可以通过在某些的图像片段中仅显示采集到的特征的轮廓线来实现。这例如可以以如下方式实现：在这些片段中建立梯度并且随后进行界限值比较。可选地，还可以使用形态学运算，以建立封闭的轮廓线。当然，还可以进一步的抽象，例如仅通过血管的中心线等来表示血管。如果例如针对数字减影血管造影，要根据包括多个图像的输入数据来确定图像，也可以透明地显示某些的片段或片段类型。例如，根据所选择的显示任务或理想图像观感类别，可以完全隐去血管造影图像的背景，即例如骨骼和/或其他器官，或者为了面向用户以低对比度或低亮度进行显示。

显示任务的可能的示例是从图像中去除骨骼。在此，可以将骨骼预先分割，或者可以通过修改算法本身将骨骼分割。在这种情况下，显示任务“去除骨骼”例如可以预先给定，对于片段类型-骨骼，不显示、以较低的亮度或较低的对比度显示或仅示意性显示相应的片段的内容。

可以为用户显示图像或改变的图像数据，其中对包括特征的至少一个图像区域进行标记，该特征的显示取决于图像或图像的至少一个片段的图像观感类别或者取决于显示任务。在图像中映射的特定特征在图像本身中或者在图像的特定修改的版本中可能很难识别到。这也可能是期望的，因为这可以改进对其他特征的识别。同时，相应的特征仍然可以是对于当前的诊断任务等重要的。因此，对特别是具有在当前显示中难以识别或者不能识别的特征的图像区域进行标记，以向用户指出：通过选择另外的理想图像观感类别或另外的显示任务可以显示或者可以更清晰地显示这些特征，可以是有利的。

特别地，可以规定，用户可以通过操作输入来选择所标记的图像区域。例如，可以在触摸屏上显示图像，并且用户可以触摸相应的图像区域，这些图像区域可以用鼠标进行选择或者通过类似方式。在选择所标记的图像区域时，可以自动地或在询问用户之后预先给定另外的显示任务，或者为整个图像或至少一个片段预先给定另外的理想图像观感类别，以通过对图像的重新修改实现改变的、特别是更清晰的特征显示。

图像可以通过叠加的显示、特别是通过相减，由通过输入数据描述的源图像来确定，其中修改算法对作为输入数据的源图像进行处理。特别地，该图像可以显示数字减影血管造影，其中从利用造影剂拍摄的造影剂图像中减去不使用造影剂拍摄的掩模图像，以实现更清晰地强调患者的血管系统。在此，尤其可以使用CT血管造影，其中可以在利用或没有造影剂的情况下进行CT拍摄，从而造影剂图像和掩模图像尤其可以是各个相应的体积数据组的截面图像。在此，虽然原则上可以将修改算法应用到由叠加形成的图像上。然而，处理作为输入数据的源图像可以实现，相互独立地修改源图像或者调整叠加的类型。由此，对于某些显示任务或某些图像观感可以期望，将数字减影血管造影中通常基本上被完全隐去的器官示意性地或以全对比度插入。还可以将仅显示血管系统的减影图像随后重新与掩模图像叠加，其中对掩模图像和减影图像进行不同的修改，即例如将减影图像锐化，而对掩模图像进行模糊或类似处理。由此，可以向用户提供根据需要的可灵活调整的显示。

对叠加的显示的调整(其中将源图像用作修改算法的输入数据)例如可以用于在图像中共同显示来自体积数据组的不同的并行的层的信息。依据针对整个图像或单个图像片段或单个片段类型的显示任务或理想图像观感类别，修改算法例如可以影响叠加，使得在特定片段或片段类型中仅显示其中一个层的信息，或者使得进行叠加，从而使来自其中一个层的信息作为一种透明层位于另一层的信息之上。

如已经解释的，对分类算法的至少一个分类参数的确定和/或对修改算法的至少一个修改参数的确定可以与根据本发明的方法无关地作为前置步骤进行。在此，分类参数和/或修改参数可以通过相应的机器学习方法，或者特别是共同通过机器学习方法来确定。

因此，本发明还涉及一种用于确定分类算法的分类参数的方法，该方法用于通过机器学习方法将图像观感类别与图像和/或相应的图像片段的图像数据相关联。这在前面已经进行了详细解释。

此外，本发明因此还涉及一种用于确定修改算法的至少一个修改参数的方法，该方法用于改变图像或者从中确定图像的输入数据，使得通过分类算法使图像观感类别与预先给定的理想图像观感类别相适应，图像观感类别与由此形成的图像或者图像的相应的图像片段的改变的图像数据相关联，其中修改参数通过机器学习方法确定。特别地，修改参数和将分类算法参数化的分类参数可以共同通过机器学习方法确定。修改参数的确定或修改参数与分类参数的共同确定已经在前面进行了详细解释。

因此，本发明还涉及一种电子可读的数据载体，在该电子可读的数据载体上存储有通过前述方法确定或可由前述方法确定的分类参数和/或修改参数和/或通过所述分类参数而参数化的分类算法的实施和/或通过所述修改参数而参数化的修改算法的实施。

除了根据本发明的方法之外，本发明还涉及一种用于处理图像的处理装置，该处理装置被设计为用于执行根据本发明的方法。该处理装置尤其可以集成在X射线装置、例如计算机断层成像装置中，或者可以是X射线系统的一部分，X射线系统特别是包括用于采集X射线图像的X射线装置、特别是计算机断层成像装置。然而，处理装置也可以是相应进行编程的工作站计算机或服务器。这种服务器例如可以本地地布置在与所使用的图像采集装置、特别是X射线装置相同的建筑物中，但是与其间隔地进行布置。处理装置还可以被设计为基于云系统，云系统可以由特别是布置在不同地点的多个服务器来实现。处理装置优选地包括存储器，其用于存储在根据本发明的方法的范围内产生的数据。此外，该存储装置或另外的存储装置可以存储实施根据本发明的方法的程序。此外，处理装置优选地包括可以执行根据本发明的方法的步骤的处理器。

此外，本发明还涉及一种计算机程序，该计算机程序可以直接加载到处理装置的存储器中，该计算机程序具有程序部件，以便在处理装置中执行程序时，执行根据本发明的方法的步骤。

本发明还涉及一种具有在其上存储有电子可读的控制信息的电子可读的数据载体，电子可读的控制信息包括至少一个根据本发明的计算机程序，并且电子可读的控制信息被设计为，当在处理装置中使用数据载体时，电子可读的控制信息执行根据本发明的方法。

附图说明

根据下面的实施例和相关附图得出本发明的其他优点和细节。附图中：

图1和图2示意性示出了根据本发明的方法的实施例的流程，

图3和图4示意性示出了可以在图1和图2中所示的方法中使用的修改算法的训练，

图5示意性示出了根据本发明的方法的另外的实施例，

图6示意性示出了根据本发明的方法的实施例中的改变的图像数据的显示，和

图7示意性示出了包括根据本发明的处理装置的X射线系统的实施例。

具体实施方式

图1示出了用于调整图像的图像观感的方法的流程图，其中特别是可以调整在医学成像的范围内确定的图像的图像观感。在图2中示意性示出了在该方法的范围内使用的数据和处理模块。

在步骤S1中，首先确定原始数据1，该原始数据例如可以是在计算机断层成像的范围内从患者拍摄的各个的X射线图像。所述原始数据在步骤S2中通过取决于处理参数3、6的处理算法15进行处理，以提供图像7。在此，图像7或图像7的各个图像片段16、17的图像观感通常取决于处理参数3、6。通过将预先给定的分类算法13应用于图像7或图像7的各个图像片段16、17可以量化这种图像观感，以确定相应的图像观感类别14。如随后还要更详细地解释的，这种分类算法例如可以通过机器学习方法来定义或参数化。

在所示的实施例中，处理算法15包括重建算法2，重建算法根据二维原始数据1重建三维体积数据4。重建算法由处理参数3参数化，处理参数3例如可以说明，在重建的范围内要使用哪个重建核心。例如可以进行重建，使得体积数据4说明了体积中的各个点的亨氏单位。然而，也可以在体积数据中强调边缘。此外，依据具体使用的重建，例如可选地可以实现更高的空间分辨率或更好的信噪比。因此，重建算法2所依据的处理参数3可以直接影响图像观感，并且因此影响整个图像7或各个图像片段16、17的图像观感类别。

在处理算法15的范围内，体积数据4随后通过由另外的处理参数6参数化的映射算法5进行映射，以生成图像7。映射算法例如可以根据体积数据4产生层图像或者合成X射线图像。处理参数6例如可以描述，在生成层图像时考虑垂直于图像平面的层厚度是多少，或者在映射的范围内进行何种程度的模糊或锐化。这些参数还影响图像观感，并因此影响图像7或图像片段16、17的图像观感类别。

在此，针对不同的诊断目标，不同的图像观感可以是有利的。此外，不同的用户喜欢不同的图像观感。为了避免，为了改变图像观感必须分别重新执行完整的处理算法15(这在一些情况下，例如使用迭代重建算法作为重建算法2时，可能是非常计算密集的)，在步骤S3中可以使用修改算法8，以生成改变的图像数据12。在此进行修改，使得图像观感类别14对应于预先给定的理想图像观感类别9，图像观感类别14通过分类算法13与整个图像7的改变的图像数据12或者与相应的图像片段16、17的修改的图像数据18、19相关联。

在此，通过预设算法10根据预设数据11确定理想图像观感类别9，如随后还要详细解释的，预设算法10尤其可以通过机器学习来参数化。预设数据11可以涉及用户，以便使图像观感与用户喜好相适应。此外，预设数据还可以涉及具体的使用情况，即例如显示任务或诊断任务。随后参照图5进一步讨论不同的可能的预设数据。

在将图像7输出给用户之前，在步骤S4中已经可以对图像7进行修改。例如，根据可用的预设数据或用户识别已经可以识别到，特定的图像观感预计是有利的。在步骤S4中输出改变的图像数据12之后，可以在步骤S5中采集操作输入，据此在步骤S3中执行对图像7的重新修改，该修改根据操作输入进行调整。所述过程可以根据需要多次重复，以向用户提供最佳信息。在修改算法的下一个应用中，特别是可以考虑在步骤S5中采集的操作输入作为预设数据11的一部分。

可以修改所描述的过程，使得不直接修改图像7，而是修改从中确定图像7的输入数据，或者可以进行对图像的修改，使得根据输入数据来修改图像的确定。输入数据尤其可以是多个二维图像，这些二维图像叠加或相减以确定图像。例如，这些二维图像可以是掩模图像和造影剂图像，其在数字减影血管造影的范围内彼此相减。在此，输入数据的各个图像可以如图2所示以如下方式生成：首先将相应的二维原始数据1重建为相应的体积数据4，根据体积数据4生成相应的输入图像。例如为了提供掩模图像和造影剂图像，这是适合的。然而，输入图像也可以是根据相同的体积数据4生成的不同的图像、例如不同的层图像，该不同的层图像可以叠加显示。通过使用多个二维输入图像以确定图像以及修改这些图像或将其叠加可以进一步调整所形成的图像观感，例如方式是，预先给定在图像的哪个片段16、17中显示哪个输入图像的图像数据或者在进行叠加时输入图像的图像数据如何加权。

图3和图4示出了用于确定分类算法13的分类参数以及修改算法8的修改参数的方法，该方法可以作为上面描述的方法的一部分来执行，但是也可以用于准备上面描述的方法而与该上面描述的方法无关地执行。在此，图3示出了该方法的流程图，图4示出了在此所使用的数据结构和算法。步骤S6至S9在此用于提供训练数据组20，该训练数据组用于训练分类算法13，并且还可以提供用于训练修改算法18的图像。为此，首先在步骤S6中采集参考数据。例如，可以采集针对不同患者的多个计算机断层成像。在步骤S7中，针对各个参考数据组使用参照图2讨论的处理算法15，以便首先生成体积数据组并且根据该体积数据组产生二维的映射。在此，处理参数3、6发生变化，以便针对在步骤S6中采集的每个参考数据组生成多个输入图像21，这些输入图像基于在处理的范围内使用的不同的处理参数3、6关于整个图像的图像观感或者关于各个图像片段的图像观感彼此不同。

在步骤S8中进行对输入图像21的分割。如果要训练分类算法仅用于对整个图像的图像观感进行分类，或者如果要训练修改算法仅用于对整个图像的图像观感进行修改，则可以省去步骤S8。分割可以由一位或多位专家手动进行。然而，特别优选地，在步骤S8中通过用于自动分割输入图像21的算法来进行分割。例如可以预先通过机器学习来训练这种算法，例如方式是，针对足够大量的图像进行手动的预分割，并且在监督学习的范围内对算法进行训练，使得由算法执行的分割尽可能接近预先给定的分割。

在步骤S9中，将相应的图像观感类别与每个结果图像相关联，或者如果事先已经进行对结果图像的分割，则将相应的图像观感类别与结果图像的各个片段相关联。这种关联也可以不针对各个片段进行，而是针对片段类型、即针对例如显示骨骼或一部分血管系统的所有片段进行。所述关联可以仅根据输入图像本身由一个或多个专家手动进行。然而，由于通常可以假定，至少对于特定片段类型的所有片段，输入图像或图像片段中的图像观感与用于确定图像的处理参数3、6之间存在很强的相关性，因此通常或者针对特定的片段类型也可以将特定的图像观感类别29与处理参数的不同组合或处理参数的特定的值范围相关联。由此可以避免必须手动分类所有的输入图像21，因为定义处理参数3、6与图像观感类别29之间的相应的关联就足够了。

因此，作为步骤S9的结果，存在训练数据组20，该训练数据组包括多个输入图像21和与相应的输入图像21或与输入图像21的各个图像片段相关联的图像观感类别29。借助该训练数据组20，在步骤S10中首先对分类算法13进行初步训练。在所描述的方法中，会在多处使用分类算法13。为了实现尽可能清楚的显示，因此在图4中多次示出分类算法13。然而，如通过虚线双箭头和相同的附图标记所表示的，在此分别是相同的分类算法13。

可以通过监督学习来训练分类算法13。训练用于确定多个分类参数。如果分类算法13是例如人工神经网络、特别地是卷积神经网络，则分类参数可以是各个人工神经元的输入权重。分类参数的初始值可以被任意预先给定，即例如随机选择。在训练的范围内，相应参数化的分类算法13在此分别被应用于输入图像21中的至少一个，以确定图像观感类别22。在此可以确定整个图像和/或先前在步骤S8中确定的片段的图像观感类别22。通过误差反馈23，将所确定的图像观感类别22与在步骤S9中预先给定的图像观感类别29进行比较，并且依据该比较来调整分类算法13的分类参数。用于监督学习分类算法的相应方法原则上已知，并且因此不对其进行详细讨论。

在对分类算法13进行充分训练之后，例如在固定预先给定数量的训练迭代之后或在满足分类参数的收敛标准之后，分类算法13的监督学习首先结束。下面的步骤用于执行分类算法13和修改算法8的共同的无监督的学习。在此，虽然可以继续使用训练数据组20的输入图像21，但也可以任意使用其他输入图像，因为现在不再需要相关联的预先给定的图像观感类别29。下面使用的学习结构在此具有生成对抗网络(Generative AdversarialNetwork)的结构，其中修改算法8用作生成器，而分类算法13用作鉴别器。

在步骤S11中，首先提供输入图像，该输入图像例如可以是训练数据组20的输入图像21或者还可以是其他输入图像。此外，为输入图像或特定的片段或片段类型分别预先给定理想图像观感类别，以便基于此来训练修改算法8，以实现图像或图像片段或片段类型的所有片段的理想图像观感类别。

在步骤S12中，通过修改算法8来改变输入图像。这种改变取决于修改算法的修改参数。修改算法例如可以是神经网络、尤其是“去卷积”或反卷积神经网络。在这种情况下，修改参数例如可以是不同人工神经元的输入权重。首先可以任意、即例如随机选择修改参数。作为处理结果输出结果图像24。

在步骤S13中，使用分类算法，以找到结果图像24或结果图像24的各个片段的图像观感类别。在此，首先通过在先前描述的训练中确定的分类参数将分类算法13参数化，但是，如随后还要解释的，在进一步的训练的过程中可以改变该分类参数。如果要确定各个图像片段的分类，则可以预先分割结果图像24。然而，对步骤S11中提供的输入图像进行分割，并且将相应的分割不改变地传输到结果图像24上，是特别有利的。用于分割的不同可能性已经参照步骤S8进行了解释。

针对改变的图像数据24或其图像片段确定的图像观感类别25通过误差反馈26与步骤S11中为相应的图像或相应的图像片段预先给定的理想图像观感类别进行比较，并且依据比较结果来调整修改算法8的修改参数。

为了实现对修改算法8的更鲁棒的训练，具有优势的是，同时进一步训练分类算法13，使得尽管通过修改算法8进行了修改，分类算法13仍尝试继续识别相同的图像观感类别。由此，特别是可以避免，修改算法被训练为，以几乎不改变实际图像观感但导致图像观感错误分类的方式来改变图像。为了实现这种并行训练，在步骤S14中将分类算法13应用于相同的输入图像，这些输入图像也被馈送给修改算法8，以便为未改变的输入图像或其图像片段确定相应的图像观感类别27。在步骤S15中，通过另外的误差反馈28将未修改的输入图像的各个图像观感类别27与结果图像24的相应的图像观感类别25进行比较。据此来调整分类算法13的分类参数，其中要进行优化，使得如果可能的话，输入图像或其片段的图像观感类别27在很大程度上对应于结果图像24或其片段的图像观感类别25。

重复步骤S12至S15例如特定的迭代次数，或者直到满足对于修改参数和/或分类参数的收敛标准。由于这是无监督的学习过程，因此迭代次数不受所提供的训练数据组的数量的限制。因此，可以实现对修改算法的高质量的训练，其中训练质量最多受到分类算法13的先前训练的质量的限制。

如已经参照图2解释的，图像7的理想图像观感类别9的预设或者图像7的片段16、17的理想图像观感类别9的预设可以通过预设算法10进行，预设算法由机器学习方法进行训练。下面参照图5在实施例上对此进行更详细地解释。在此，训练的目标是由训练后的处理算法10自动地分析预设数据11，以便针对用户和当前的使用情况确定针对图像7的图像片段16、17的特别适合的理想图像观感类别9，从而可以通过修改算法8来提供相应改变的图像数据12。该过程先前已经参照图1和图2进行了解释。

在所示实施例中，作为预设数据11使用了辨别用户的用户信息29、在图像中识别到的特征30、关于成像的附加信息31、关于患者的附加信息32以及在用户侧预先给定的显示任务33，显示任务例如应当说明要为哪种类型的诊断提供图像数据。

预设算法10例如可以是神经网络，其中在训练的范围内例如确定描述网络的人工神经元的输入权重的参数。优选地使用监督学习，也就是说，除了预设数据11之外，至少在训练阶段中采集用户输入34，用户输入直接预先给定，在改变的图像数据12中哪些图像片段16、17或片段类型要呈现哪种理想图像观感类别9。然后，通过预设算法10确定的理想图像观感类别在误差反馈35的范围内可以与由用户输入34预先给定的理想图像观感类别进行比较。相应地可以调整预设算法10的参数化，以使这些信息之间的偏差最小化。

在初始的学习阶段之后，可以省去附加的输入34。然而，例如当用户认为自动预先给定的理想图像观感类别9不适合时，用户应当还可以执行输入34，以根据需要调整图像观感。在此，然后当进行用户输入34时，用户输入可以被用于进一步训练预设算法10。

图6示意性示出了通过修改算法8来改变图像7的示例。在此，原始图像7示出了多个特征36至43，能够以大致相同的清晰度识别到这些特征。现在，如果例如针对特定的诊断目标或患者的可视化，用户想要强调特征37，则可以为包括各个特征36至43的片段预先给定理想图像观感类别，从而强调特征37，即例如以特别强的对比度和特别的锐度进行显示。在此，例如可以将特征36、38模糊，使得它们虽然还可以向观察者提供关于特征37的位置的信息，但是不能从所述特征37分散注意力。相对较小的特征39至43在改变的图像数据12中不能或几乎不能识别到。然而，为了向用户指出这些特征还存在并且通过选择另外的图像修改可以看到或者强调这些特征，可以例如通过用彩色的虚线包围相应的区域来对图像区域44至48进行标记，在改变的图像数据12中不能或几乎不能识别出的特征39至43位于这些图像区域中。

图7示出了X射线系统49，其包括X射线装置50、即计算机断层成像装置和处理装置51。处理装置被设计为，用于处理由X射线装置50提供的原始数据，以在显示装置54上为用户显示图像、特别是截面图像。在此，处理装置51可以在需要时根据先前解释的方法通过修改算法来修改图像，以便为图像或各个图像片段或片段类型预先给定理想图像观感类别。在此，在第一次显示图像时就已经可以进行修改。为了实现这点，例如可以使用与参照图5所讨论的方法类似的方法，其中对预设算法10进行训练，使得不需要对显示任务33的预设。如果用户对所形成的修改后的图像不满意，或者用户例如针对另外的诊断目标想要显示不同的图像修改，则用户可以通过操作部件55预先给定相应的显示任务或者为整个图像或图像的片段预先给定期望的理想图像观感类别。

所阐述的方法可以通过计算机程序来实现，计算机程序可以加载到处理装置51的存储器52中。方法步骤可以由处理器53执行。计算机程序可以在电子可读的数据载体上，例如CD-ROM、DVD、硬盘、USB棒等上提供。

虽然在细节上通过优选的实施例对本发明进行阐述和描述，但是本发明却不限于所公开的示例并且本领域技术人员可以从中导出其它变形方案，而不脱离本发明的保护范围。

Claims (13)

1.一种用于调整图像(7)的图像观感的方法，所述方法包括以下步骤：

-提供图像(7)或从中确定所述图像(7)的输入数据，

-为所述图像(7)的至少一个图像片段(16，17)预设相应的理想图像观感类别(9)，所述图像的图像片段直接地或通过预设至少一个片段类型来预先给定，其中，相应的图像片段(16，17)的图像数据与相关联的图像观感类别(14)之间的关系通过分类算法(13)预先给定，

-通过修改算法(8)改变所述图像(7)或所述输入数据，以使与由此形成的、相应的图像片段(16，17)的改变的图像数据(12，18，19)相关联的图像观感类别(14)适应于相应的理想图像观感类别(9)，其中依据所述分类算法(13)预先给定所述修改算法(8)的至少一个修改参数，

其特征在于，为不同的图像片段(16，17)和/或不同的片段类型预先给定不同的理想图像观感类别(9)。

2.根据权利要求1所述的方法，其特征在于，所述修改参数通过机器学习方法来确定。

3.根据权利要求1所述的方法，其特征在于，所述分类算法(13)的至少一个分类参数和所述修改参数共同通过机器学习方法来确定。

4.根据权利要求3所述的方法，其特征在于，在机器学习的范围内，学习算法同时或交替地尝试：选择所述修改参数，使得在将所述分类算法(13)应用于结果图像的图像片段时，确定预先给定的理想图像观感类别，所述结果图像的图像片段通过将所述修改算法(8)应用于输入图像(21)来确定，所述结果图像的图像片段直接地或者通过预设至少一个片段类型来预先给定；以及选择所述分类参数，使得在将所述分类算法(13)应用于结果图像(24)或者结果图像的至少一个图像片段以及应用于输入图像(21)或者输入图像(21)的图像片段时，确定相同的图像观感类别(25，27)，所述输入图像的图像片段与所述结果图像的图像片段相关联。

5.根据权利要求中1至4中任一项所述的方法，其特征在于，所述图像(7)或所述输入数据通过处理算法(15)根据原始数据(1)来确定，所述处理算法取决于至少一个处理参数(3，6)，其中所述图像(7)和/或相应的图像片段(16，17)和/或片段类型的图像观感类别(14)取决于所述处理参数(3，6)。

6.根据权利要求5所述的方法，其特征在于，所述处理算法(15)包括用于根据二维原始数据(1)、特别是根据X射线图像重建三维体积数据(4)的重建算法(2)，其中所述重建算法取决于处理参数(3)或处理参数(3，6)中的至少一个，和/或其中所述图像(7)或所述输入数据是通过映射算法(5)根据所述体积数据(4)生成的二维图像数据，其中所述映射算法(5)取决于所述处理参数(6)或者所述处理参数(3，6)中的至少一个。

7.根据权利要求5所述的方法，其特征在于，所述理想图像观感类别(9)和/或为其预先给定理想图像观感类别(9)的至少一个图像片段(16，17)和/或至少一个片段类型，依据用户的操作输入(33，34)和/或辨别用户的用户信息(29)和/或所述图像(7)和/或所述输入数据和/或所述原始数据(1)和/或与所述图像(7)的成像和/或与所述图像(7)中映射的患者有关的附加信息(31，32)来预先给定。

8.根据权利要求1至4中任一项所述的方法，其特征在于，所述理想图像观感类别(9)的预设；和/或为其预先给定所述理想图像观感类别(9)的至少一个图像片段(16，17)和/或片段类型的预设；和/或可由用户选择或推荐的理想图像观感(9)的预设；和/或可选择或推荐或预先给定理想图像观感(9)的图像片段(16，17)和/或片段类型的预设，通过预设算法(10)进行，所述预设算法通过机器学习进行参数化。

9.根据权利要求1至4中任一项所述的方法，其特征在于，所述修改算法(8)被设置为，依据针对所述图像(7)预先给定的显示任务(33)自动地预先给定图像片段(16，17)和/或片段类型以及分别相关联的理想图像观感类别(9)。

10.根据权利要求1至4中任一项所述的方法，其特征在于，为用户显示所述图像(7)或改变的图像数据(12，18，19)，其中标记包括特征(39-43)的至少一个图像区域(44-48)，所述特征的显示取决于所述图像(7)或所述图像(7)的至少一个片段(16，17)的图像观感类别(14)或者取决于显示任务(33)。

11.根据权利要求1至4中任一项所述的方法，其特征在于，通过叠加的显示、特别是通过相减，由通过所述输入数据描述的源图像确定所述图像(7)，其中所述修改算法(8)对作为输入数据的源图像进行处理。

12.一种用于处理图像(7)的处理装置，其特征在于，所述处理装置被设计为用于执行上述权利要求中任一项所述的方法。

13.一种电子可读的数据载体，其具有在其上存储的电子可读的控制信息，所述电子可读的控制信息包括计算机程序，并且所述电子可读的控制信息被设计为，当在处理装置(51)中使用数据载体时，所述电子可读的控制信息执行根据权利要求1至11中任一项所述的方法。