CN117640984A - 用于将传输图像中的延迟时间可视化的计算机实现的方法 - Google Patents

Abstract

本发明涉及一种用于将图像中的延迟时间可视化的方法，该延迟时间描述在发送装置在第一处理时间点对图像的处理和接收装置在第二处理时间点对图像的处理之间的时间间隔，该方法包括步骤：发送装置预给定取决于第一处理时间点的第一标记；发送装置处理图像的原始图像数据，使得原始图像数据的描述预给定的图像片段的部分被第一标记所替换，以提供图像的经修改的图像数据；将经修改的图像数据从发送装置传输到接收装置；接收装置预给定取决于第二处理时间点的第二标记；接收装置处理经修改的图像数据，使得经修改的图像数据的至少一部分被第二标记与图像片段中的经修改的图像数据的叠加所替换，以提供图像的最终图像数据；输出最终图像数据。

Description

用于将传输图像中的延迟时间可视化的计算机实现的方法

技术领域

本发明涉及一种计算机实现的方法，该方法用于将从发送装置传输到接收装置的至少一个图像中的延迟时间可视化，其中，该延迟时间描述在发送装置在第一处理时间点对图像的处理和接收装置在第二处理时间点对图像的处理之间的时间间隔。此外，本发明涉及一种用于输出至少一个图像的设备。

背景技术

当图像数据在发送装置和接收装置之间传输时出现延迟时间，尤其在通过公共网络(例如通过互联网或在此搭建的虚拟私人网络等)的传输的情况下，该延迟时间可能强烈波动。通过使用足够大的缓冲存储器，可以在纯被动图像观测中补偿相应的延迟。然而，在图像传输应是控制的一部分的应用中、例如在机器人或工具的远程控制中，如其原则上从工件处理或远程医学领域已知的那样，当面向所接收的图像数据的用户没有认识到或错误地评估这种延迟或波动或者说延迟或波动的程度时，图像传输中的高延迟或强波动尤其可能导致操作错误或损害手眼协调。

因此，当错误操作可能导致显著的成本或者甚至健康危害时，根据视频数据进行过程的远程控制的应用至少在以下情况下才可行：可以保证足够短且稳定的传输时间，例如通过使用专用的封闭网络，然而，该封闭网络在许多应用情况中是不可用的或者由此产生高昂的成本；或者，可以足够鲁棒地识别到在发送装置侧和接收装置侧的处理之间的延迟时间或至少可以通过该延迟时间足够鲁棒地识别到超过边界值。

然而，由于例如在一些远程医学应用情况中错误地未识别到高的延迟时间或波动的延迟时间可能导致关于患者的显著的健康风险，因此，在仅以机械方式监测延迟时间的情况下，需要所有所参与的部件的足够高的初始错误安全性。这可以通过使用足够初始错误安全的部件来实现，从而所参与的软件部件必须符合例如国际标准IEC 62304的软件安全等级C并且通常必须舍弃使用商业硬件和软件，或者通过附加的措施、例如通过冗余来实现。例如，看门狗(Watchdog)机制可以用于监视内部时间计数器，该内部时间计数器具有足够的初始错误安全性或通过附加机制进行验证。

原则上可能的是，有经验的用户在观测图像数据流时已经可以识别到在各个图像之间何时出现较长的延迟。然而，在医学成像或其他应用领域中，在较长时间段内通常只能识别到图像中的轻微运动，因此，例如即使是有经验的用户也不能在所有情况下轻易地识别到在显示另外的图像之前的短暂的附加延迟。

发明内容

因此，本发明要解决的技术问题在于，支持用户估计延迟时间或识别在发送装置侧和接收装置侧的图像处理之间的长的延迟时间，由此尤其应实现，用户能够鲁棒地识别传输时间的波动，由此，即使这些波动不能被自动地识别，也可以避免由于这种延迟导致的用户侧的错误操作。

根据本发明，该技术问题通过开篇提及类型的方法来解决，该方法包括以下步骤：

-通过发送装置预给定第一标记，其中，第一标记取决于第一处理时间点，

-通过发送装置处理图像的原始图像数据，使得原始图像数据的描述预给定的图像片段的部分被第一标记或第一标记与该图像片段中的原始图像数据的叠加所替换，以便提供图像的经修改的图像数据，

-将经修改的图像数据从发送装置传输到接收装置，

-通过接收装置预给定第二标记，其中，第二标记取决于第二处理时间点，

-通过接收装置处理经修改的图像数据，使得预给定的图像片段中的经修改的图像数据的至少一部分被第二标记与图像片段中的经修改的图像数据的叠加所替换，以便提供图像的最终图像数据，

-通过显示装置输出最终图像数据，以便在图像的图像片段中将延迟时间可视化。

在根据本发明的方法中，在图像片段中将第一标记和第二标记叠加。由于第一和第二标记取决于相应的处理时间点，因此可以根据该叠加将在这些时间点之间的延迟时间、并且因此尤其将通常至少主要占据该延迟时间的可变部分的发送和接收装置之间的传输时间可视化给在显示装置上观测图像的用户。

如稍后将更详细阐述的那样，通过合适地选择第一标记和第二标记，尤其可以进行直观的标记，使得例如高于容差时间的延迟时间可以通过插入红色的条形或圆圈段来标记并且足够低的延迟时间可以通过插入绿色的条形或圆圈段来标记，其中，条形的长度或圆圈段所跨越的角度例如可以指示超过或低于容差时间的强度。因此，当在当前存在高延迟时间并且因此例如应避免基于当前图像的远程控制时，用户一眼就识别到。

同时，通过合适地选择标记或该标记与相应的处理时间点的依赖关系，可以确保当图像序列或图像数据流在显示装置上显示时，片段中的图像显示保持运动，由此，用户例如还可以直接识别图像的冻结，从而也可以避免由此导致的错误操作。

优选地，发送装置和接收装置分别具有内部定时器，其中，在现代定时器的情况下可以假设，即使在较长时间段内，由于容差，也仅发生非常小的时间偏差。时间同步可以通过本身已知的同步协议、例如NTP、SNTP、PTP等来进行。在此，由发送装置和接收装置组成的对可以直接彼此同步，其中，装置之一能够用作用于该同步的主装置。然而，优选地，发送装置和接收装置都同步于至少一个外部时间服务器。当发送装置应与不同的接收装置协作时(和/或反之亦然)，这尤其是有利的。作为可预期的错误，在内部定时器中可能出现缓慢漂移或突然跳跃。两者在所阐述的方法中可以固有地被识别为错误，并且通常在图像传输之前已经识别出时间同步中的错误。如果内部定时器的误差将近似地补偿实际发生的延迟时间的波动或增加，则内部定时器中的误差将是成问题的。然而，这是极不可能的。

所描述的用于将延迟时间可视化的过程还具有优点，即除了初始的时间同步之外，可视化本身仅需要一个方向、即从发送装置到接收装置的通信，并且原则上，除了图像的经修改的图像数据之外，无需传输进一步的信息来实现这样的可视化。由于将图像或图像数据流的一部分用于延迟时间的可视化，因此在记录图像或图像数据流的情况下，事后也可以很容易地了解发生了哪些延迟，从而例如也可以记录用户适当地响应于发生的延迟或者用户是否适当地响应于发生的延迟。由于该方法直接依靠图像或视频数据流本身并且不需要任何附加的部件或机制，因此该方法具有固有的安全性。

第一标记与原始图像数据的叠加和/或第二标记与经修改的图像数据的叠加可以是加法或减法叠加。例如，在加法叠加的情况下，可以将相应的标记的颜色值和相应的图像数据的颜色值相加。在此，当第二标记仅包含第一标记中未使用的颜色通道中的颜色信息时，这可能是特别有利的。例如，第一标记可以仅获得绿色颜色通道中的非零条目，并且第二标记可以仅获得红色颜色通道中的非零条目。如果是这种情况，则在相应的叠加中，相应标记所使用的颜色通道中的原始图像或原始的或经修改的图像数据中的先前值也可以简单地被通过标记预给定的值覆盖等。

可以预给定第一标记，使得第一标记随第一处理时间点周期性地变化。补充地或替换地，可以预给定第二标记，使得第二标记随第二处理时间点周期性地变化。第一标记和第二标记变化的周期性在此可以是相同的。换句话说，所使用的第一和第二标记分别可以以固定的时间间隔、例如以几百ms或几s的时间间隔重复。例如当使用1s的周期性时，这可能导致不再能够仅根据该图像来区分200ms的延迟时间和1200ms的延迟时间。然而，由于至少在图像序列中可以容易地识别出非常长的延迟时间，因此这在标记的可直观获取的意义下仍然是有利的。只有当延迟时间发生跳跃式改变时，才会在图像序列中产生由于周期性而基本上不变的叠加表示，其中，改变的大小近似地对应于周期持续时间，并且其中，在该跳跃之前和之后的延迟时间分别基本上保持恒定。一方面，这是非常不可能的，并且图像传输的这种不稳定性通常可以无论如何都被识别到，例如通过合适的标记，如下面将更详细地阐述的那样。

也可能的是，使用多个第一标记和第二标记，该第一标记和第二标记随着彼此不同的周期而改变。如果以相同的周期持续时间分别叠加第一和第二标记，则由此可以根据具有较短周期持续时间的标记的叠加以高的准确度表示延迟时间，并且至少当延迟时间保持低于较长周期时，可以根据具有较长周期持续时间的标记的叠加来消除由于较短的周期性而导致的模糊性。不同的第一和第二标记例如可以表示为同心环。在功能上，这对应于例如使用时钟的时针和分针。例如可以使用1s和5s作为不同的周期性。

可以预给定第一标记，使得预给定的第一标记模板根据第一处理时间点相对于图像片段一方面旋转和/或另一方面至少区段式地移动。补充或替换地，可以预给定第二标记，使得预给定的第二标记模板根据第二处理时间点相对于图像片段一方面旋转和/或另一方面至少区段式地移动。

在相应的标记模板旋转的情况下，尤其可以使用圆形、圆圈段形、圆环形或圆环段形的标记模板，其可以围绕圆中心点的旋转轴线旋转。因此，例如可以使用具有颜色走向或饱和度或亮度梯度的旋转圆作为相应的标记，并且通过叠加两个这样的圆或标记，可以在固定的延迟时间的情况下形成固定的旋转图案。因此，根据叠加图案的旋转的停止，可以直接识别出图像流的中断或停止，并且延迟时间的改变导致旋转图案或旋转的颜色分布的改变。稍后将阐述这方面的特别有利的设计方案。

如果应通过根据相应的处理时间点移动相应的标记模板来提供相应的标记，则例如可以使用矩形的图像片段来显示标记，并且该移动可以平行于矩形的两侧地进行。该移动尤其可以以这种方式进行，即首先移动整个标记模板，之后将标记模板的从图像片段中推出的部分从图像片段的相对置的侧再次推入到图像片段中。因此，类似于旋转，实现连续的、周期性的移动。然而，由于所阐述的变位，标记模板的不同区段因此在不同的方向上移动。

第一和/或第二标记和/或第一和/或第二标记模板可以分别是相应颜色的亮度和/或颜色饱和度的线性或圆形或圆环形或圆圈段形或圆环段形的梯度或包括该梯度。替换地或附加地，梯度内的色调也可以改变。梯度可以准连续地设计，使得例如每个图像点中的亮度和/或颜色饱和度和/或色调沿着梯度路径改变。然而也可能的是，梯度更粗糙地分辨，使得亮度和/或颜色饱和度和/或色调例如以多个、尤其以至少三个阶梯逐阶梯地改变。

相应的标记或标记模板可以尤其除了该标记或标记模板的区段之外完全通过相应的梯度形成，其中，该区段全面地具有相同的颜色(尤其白色或黑色)或者被标记为透明的。该区段中的标记或标记模板尤其无法改变与其叠加的图像信息，这例如在加法叠加的情况下可以通过将所有颜色通道设置为0或将颜色选择为黑色来实现。

下面应根据示例阐述标记或标记模板的这种选择的结果，其中，在第一标记模板中使用绿色梯度，其颜色饱和度和/或亮度在移动或旋转方向上增加，作为第二标记模板使用红色梯度，其颜色饱和度和/或亮度同样在移动或旋转方向上增加。通过选择饱和度或亮度最大值在相应梯度中的位置可以实现：当延迟时间或者说处理时间点的差异恰好对应于容差时间时，饱和度或亮度最大值的位置在旋转情况下恰好在相同的角位置处重合或者在移动情况下在相同的位置处重合。在这种情况下，通过叠加产生连续的黄色的饱和度或亮度梯度。

如果延迟时间从该容差时间开始增加，则将在相同的第一处理时间点的情况下导致更晚的第二处理时间点，并且因此导致第二标记模板的更强的移动或旋转。因此，第二标记的颜色饱和度或亮度的最大值突出于第一标记的颜色饱和度或亮度的最大值，并且因此突出到如下范围内：在该范围中，第一标记具有低的颜色饱和度或亮度或者甚至是黑色或透明的，如上面阐述的那样。由此产生具有强饱和度或亮度的基本上红色的条纹或基本上红色的圆圈段，其在延迟时间超过容差时间之前通知用户并且其宽度取决于超过容差时间的程度。

除了该红色条纹之外，剩余的叠加图案形成黄色的颜色梯度，并且在使用相应标记的黑色或透明的区段的情况下，还剩余纯绿色的单色区域，但在该单色区域中颜色饱和度或亮度较低，因此颜色上不突出。因此，在延迟时间太高的情况下，图像印象的特征是强饱和的红色条纹或圆圈段。

相反地，如果延迟时间低于容差时间，则第一标记的最大饱和或明亮的区域在移动或旋转方向上突出于第二标记的最大饱和或明亮的区域，由此产生绿色圆圈段或绿色条纹，其宽度又显示延迟时间仍低于容差时间多远。

从所阐述的示例可以看出，对于用户而言，只需低的技术开销就可以实现延迟时间的可以非常直观地获取的可视化。如果反转颜色饱和度或亮度走向的方向并且同时调换标记模板的绿色和红色的选择，显然可以实现相同的结果。尽管绿色和红色是用于将无问题或有问题的运行状态可视化的特别明确的信号颜色，但是对于相应的梯度使用其他颜色也可以是合适的，例如以便使得能够适配于用户的色觉缺陷。

在一种替换的设计方案中，例如可以使用数字或符号序列作为第一图案或第一图案模板，并使用掩模作为第二图案或第二图案模板，通过该掩模，在第二图案的特定的片段或区段之外将第一图案完全覆盖。当第二图案模板在其中第一图案应是可识别的特定区域中是黑色并且在所有其他区域中是白色时，这例如可以在加法叠加的情况下实现。在这种情况下，例如可以通过叠加图案将延迟时间表示为数值，等。

在根据本发明的方法中，可以将在时间上彼此相继的多个图像的图像流、尤其医学图像数据采集的图像流从发送装置传输到接收装置，其中，对于每个图像，通过相应的第一标记和相应的第二标记的叠加进行相应延迟时间的可视化。根据本发明的延迟时间的可视化在图像数据流的情况下特别合适，因为一方面可以通过改变叠加图案来直接识别图像数据流期间的延迟时间的改变，并且另一方面，如已经在上面阐述的那样，也可以极其快速识别图像数据流的冻结、即相同图像的持久显示。

医学图像数据采集例如可以是X射线成像、超声波成像或视频成像。成像可以通过成像装置、例如通过布置在导管上的成像装置，或者也通过对患者或患者的部分进行成像的固定的采集装置来进行，例如以便跟踪导管。

可以通过接收装置经由操作器件来采集用户的操作输入，其中，操作输入或由操作输入确定的控制信息从接收装置传输到发送装置，之后由发送装置根据操作输入或控制信息控制至少一个执行器。原则上，根据本发明的方法可以用于任何过程的远程控制。例如，可以远程控制机器人或工件加工，或者可以涉及用于远程医学应用的执行器。

如果执行器用于操纵远程医学框架中的介入装置，则介入装置与患者之间的交互尤其不能成为根据本发明的方法的一部分。因此，例如，在远程医学框架内执行的外科手术可以在所要求保护的方法之外进行。

在许多应用情况中，包括图像采集和控制在内的总延迟应小于500ms，因为较大的总延迟显著地影响手眼协调。在一些医学成像过程中、例如在X射线成像中，已经由成像本身导致大约200ms的延迟，并且必须假设，为了传输操作输入或控制信息需要与为了传输相应图像大致相同的时间，使得例如应遵守大约150ms的容差时间，该容差时间不应被延迟时间超过。

在这种情况下，例如可以分别使用圆作为第一和第二标记模板，其中，四分之一圆是黑色或透明的，而另外的三个四分之一圆形成相应的颜色饱和度或亮度梯度。相应圆的一个完整旋转在此可以对应于相应处理时间点变化了600ms，使得可以选择标记模板，即在假设第一和第二处理时间点相同的情况下，第二标记模板的黑色或透明的四分之一圆相对于第一标记模板的黑色或透明的四分之一圆的旋转相反地偏置了90°，使得在等于容差时间的延迟时间的情况下，这些黑色或透明的四分之一圆叠加，从而导致如上所述的没有彩色条纹的梯度的叠加。

可以通过评估算法来评估图像片段中的最终图像数据的至少一部分，以便确定延迟时间的量度，其中，在满足取决于该量度的触发条件时，向接收装置的用户输出警告信号和/或调整提供图像的成像装置的参数和/或调整执行器的控制所依据的参数。在上面的示例中，其中，使用红色和绿色的饱和度或亮度梯度作为标记模板，例如可以检查在关于像素或最小数量像素的图像片段中，是否超过了红色颜色通道的边界值并且同时没有超过绿色颜色通道的颜色值的边界值。

尽管根据本发明的过程使得用户本身能够直接估计实际上存在的延迟时间，但是仍然可能合适的是，作为预防措施，附加地通知用户延迟时间已经超过边界值或者调整所使用的设备的参数化。例如，在高延迟时间的情况下，可以限制最大运动速度和/或可由被操作输入控制的执行器提供的力，和/或可以尝试影响成像，例如以便实现更高的帧速率，并且因此通过减少图像采集所需的时间来补偿不合理的高的延迟时间。替换地，也可能合适的是，在满足触发条件的情况下降低成像的帧速率，例如以便在X射线成像的情况下减少射线负荷。这可能是合适的，因为在高延迟的情况下、例如在医学介入的情况下，无论如何都应该只是非常缓慢地行动，因此较低的帧速率也可能足够了。

除了根据本发明的方法之外，本发明还涉及一种用于输出至少一个图像的设备，该设备具有发送装置、接收装置和输出装置，

-其中，发送装置被设置为用于：预给定第一标记，该第一标记取决于第一处理时间点，在该第一处理时间点通过发送装置处理图像；并且处理图像的原始图像数据，使得原始图像数据的描述预给定的图像片段的部分被第一标记或第一标记与该图像片段中的原始图像数据的叠加所替换，以便提供图像的经修改的图像数据；并且将经修改的图像数据传输到接收装置，

-其中，接收装置被设置为用于：预给定第二标记，该第二标记取决于第二处理时间点，在该第二处理时间点通过接收装置处理图像；并且处理经修改的图像数据，使得预给定的图像片段中的经修改的图像数据的至少一部分被第二标记与图像片段中的经修改的图像数据的叠加所替换，以便提供图像的最终图像数据；并且控制输出装置，以便输出该最终图像数据，由此，在图像的图像片段中，描述第一处理时间点和第二处理时间点之间的时间间隔的延迟时间被可视化。

根据本发明的设备尤其可以用于实现根据本发明的计算机实现的方法，或者可以在根据本发明的设备的运行中实施根据本发明的计算机实现的方法。不管怎样，根据本发明的设备可以利用关于根据本发明的计算机实现的方法提及的特征以在那里提到的优点进行扩展，反之亦然。

接收装置可以具有用于采集用户的操作输入的操作器件，其中，接收装置被设置为用于将操作输入或由操作输入确定的控制信息从接收装置传输到发送装置，其中，发送装置与该设备的至少一个执行器相关联，其中，发送装置被设置为用于根据操作输入或控制信息来控制执行器。在上文中已经关于根据本发明的方法阐述了用于基于所传输的图像或图像数据流来远程操作执行器的这种装置的有利特性。

该设备尤其可以是远程医学设备，其中，执行器或执行器中的至少一个相应的执行器用于操纵设备的医学成像装置的部件和/或与患者交互的介入器件。因此，通过使用根据本发明的设备，例如可以远程控制成像过程，但是例如也可以执行远程医学的外科手术或介入手术，等。

在根据本发明的计算机实现的方法中或者在根据本发明的设备中，经修改的图像数据的传输原则上可以通过任何通信路径进行。例如可以使用直接的物理数据线路作为通信路径。然而，如果传输时间和/或处理时间可以改变，即例如在数据包代理网络(paketvermittelndes Netzwerk)中的传输中或由于所使用的数据加密，则所阐述的方法和所阐述的设备是特别有利的。在一种有利的设计方案中，经修改的图像数据因此可以通过互联网或通过在互联网上实现的虚拟私人网络来传输。在传输的框架内，可以使用任何认证和/或加密方法、即已知的方法和尚待开发的相应方法。

附图说明

本发明的进一步优点和细节从以下实施例和相关附图中得出。在此在附图中示意性地：

图1示出了根据本发明的方法的实施例的流程图，

图2示出了根据本发明的设备的实施例，并且

图3示出了图1所示实施例中可能的标记模板的示意图以及该标记模板与图像数据的叠加。

具体实施方式

图1示出了一种计算机实现的方法的流程图，该方法用于将从发送装置传输到接收装置的至少一个图像中的延迟时间可视化。附加地参考图2阐述该方法，图2示意性地示出了一种示例性设备，通过该示例性设备可以实现该方法。

为了更好地理解，在逐个论述方法步骤之前，应首先对方法流程进行粗略概述。此处的中心思想是，首先在第一处理时间点4预给定第一标记6，图像3在该第一处理时间点由发送装置1、例如由发送装置1的通信装置13进行处理，该第一标记取决于进行该处理的处理时间点4。该第一标记替换图像片段8中的图像3的原始图像数据7或与其叠加，以便提供经修改的图像数据9，该经修改的图像数据随后传输到接收装置2或其通信装置14。在该示例中，传输通过数据包代理网络15、例如互联网或在互联网上实现的虚拟私人网络进行。

在图像3通过接收装置2进行处理的情况下、例如在该图像紧接在接收之后通过该接收装置的通信装置14进行处理的情况下，预给定第二标记10，该第二标记取决于第二处理时间点5，在该第二处理时间点，通过接收装置2进行处理，该第二标记与图像片段8中的经修改的图像数据9或尤其与第一标记6叠加，以便提供通过显示装置12输出的最终图像数据11。

如稍后还将参考图3根据示例更详细地阐述的那样，根据相应的处理时间点4、5预给定的第一标记和第二标记6、10的叠加使得能够以易于可直观获取的方式将延迟时间、即处理时间点4、5之间的间隔可视化给用户。

在图1所示的示例中，仅传输并修改唯一一个图像3以将延迟时间可视化。然而，如已经在一般部分中更详细阐述的那样，当应对图像数据流或者图像3的序列(其尤其可以以恒定帧速率产生)进行传输和可视化时，所描述的过程是特别有利的。

在图1所示的设计方案中，在步骤S1中，首先通过发送装置1的成像装置30采集待传输的图像3或其原始图像数据7。如果图2所示的设备例如是远程医学设备或者通常应传输医学成像的图像，则成像设备30可以是例如超声波传感器、X射线传感器或者也可以是摄像机。

但是，用于输出图像的所阐述的方法或所阐述的设备与医学成像的关系是纯示例性的。所阐述的过程或所传输的设备通常可以用于图像传输，特别是与远程控制结合，即例如也在机器人或工具控制的领域中使用。

步骤S2和S3用于根据第一处理时间点4预给定第一标记6，在该第一处理时间点，图像3的处理通过发送装置1或者在该示例中具体地通过发送装置的通信装置13进行。在此在该示例中，如稍后还将参考图3更详细地阐述的那样，在步骤S2中首先预给定标记模板17，该标记模板可以预给定为是固定的，随后围绕旋转轴线18旋转了一个角度，该角度取决于第一处理时间点4，如图3中通过箭头19示出的那样。由于360°的倍数的旋转导致相同的标记6，因此第一标记6随着第一处理时间点4周期性地变化。如已经在一般部分中阐述的那样，也可以使用具有彼此不同的周期性的多个标记。然而，为了简单起见，以下阐述基于仅使用恰好一个第一标记和第二标记。

在步骤S4中，图像3的原始图像数据7随后通过发送装置1进行处理，使得原始图像数据7的描述预给定的图像片段8的部分被第一标记6所替换。这在图3所示的示例中可以无问题地实现，因为片段8布置在图像3的标题行中，该标题行可以记录附加信息41、例如患者数据或记录参数，由此，患者组织的图像42不会由于原始图像数据7的替换而被改变。

如果在图像3中没有相应的自由空间可用，则在片段8中，第一标记6可以替换地与原始图像数据7叠加。然而，信息可以保持可分离，例如图像42是黑白数据，而标记6仅包含颜色通道中的数据，等。

通过插入第一标记6，在步骤S4之后提供经修改的图像数据9，其在步骤S5中传输到接收装置2或其通信装置14。

在步骤S6和S7中，由接收装置2或其通信装置14生成第二标记10，该第二标记取决于第二处理时间点5，在该第二处理时间点，图像3的处理通过接收装置2或其通信装置14进行。这以与上面解释的第一标记6的产生类似的方式进行。为此，在步骤S6中首先提供第二标记模板20，如其在图3中示例性地示出的那样。随后在步骤S7中，该第二标记模块围绕旋转轴线21旋转，如在图3中通过箭头52示出的那样，其中，旋转角度取决于第二处理时间点。

随后在步骤S8中，将产生的第二标记10与图像片段8中的经修改的图像数据9叠加并且因此与第一标记6叠加。因此产生叠加图案43至45，其取决于第一和第二标记6、9的相对取向，并且因此取决于第一和第二处理时间点4、5之间的时间间隔或延迟时间。在步骤S16中，通过相应地控制显示装置12输出所产生的最终图像数据11。

如果彼此相继地传输多个图像3，其中，相应的第一处理时间点和第二处理时间点4、5之间的延迟时间基本上保持不变，则在所有这些图像中显示相同的叠加图案43至45，然而，其中，由于图像的不同的处理时间点，叠加图案围绕不同的旋转角度旋转。因此，均匀的图像流设有固定的旋转叠加表示，使得可以容易地识别到图像流的冻结。例如由于图像数据在不同路径上的传输而导致的延迟时间的变化导致叠加图案本身的变化。这将在下面根据图3所示的示例更详细地阐述。

在该示例中，第一标记模板和第二标记模板17、20分别是圆形的并且包括相应颜色的颜色饱和度和/或亮度的梯度22、26。在标记模板17的情况下，绿色的饱和度和/或亮度在梯度22内从梯度22的在旋转方向上靠前边缘23处的最大值变化到在旋转方向上靠后边缘24处的最小值。在标记模板20中，红色的颜色饱和度和/或亮度在梯度26内从旋转方向上靠前边缘27处的最大值变化到旋转方向上靠后边缘28处的最小值。在相应标记模板17、20的剩余区段25、29中，所有颜色通道被设置为0，使得在所使用的产生的标记6、10的加法叠加的情况下，该区段25、29对图像数据没有影响。

因此，标记模板17、20一方面在其角度位置方面彼此不同，另一方面在相应梯度22、26的颜色方面不同。可以选择不同的角度位置，使得当延迟时间对应于预给定的容差时间时，该角度位置被准确地补偿。

例如，如果假设第一处理时间点与0°的旋转角度重合，则第一标记6将与第一标记模板17相同，并且延迟时间对应于用于提供第二标记10的第二标记模板20的以90°的旋转角度，因此产生的标记6、10的无色区段25、29精确地重合。这示例性地关于图3中的叠加表示44示出。在此，圆圈段47保持黑色，因为区段25和29在那里叠加，并且在圆圈段46中产生黄色梯度，因为标记模板17、20的红色和绿色的颜色梯度在那里相加。

相反地，当延迟时间仅对应于大约60°的旋转角度时、即当延迟时间低于容差时间时，产生叠加表示43。在此，圆圈段47继续保持黑色并且圆圈段46继续呈现黄色的饱和度或亮度梯度。相反地，在圆圈段48中，那里的颜色仅由第一标记模板17预给定，使得由于边缘23的区域中的高颜色饱和度和/或亮度，所以那里产生具有高颜色饱和度和/或亮度的绿色区域。

相反地，在圆圈段49中，颜色仅由第二标记模板20预给定。因此在那里产生红色区域，然而，其中，由于边缘28的区域中的颜色饱和度或亮度较低，所以那里的颜色饱和度和/或亮度非常低，因此圆圈段49也至少显现为近似黑色。

因此，低于容差时间的延迟时间通过如下方式被可视化，即在具有黄色梯度的圆圈段46旁边显示了可明确识别的绿色圆圈段48，其中，圆圈段48的角度延伸取决于延迟时间低于容差时间的程度。

相反地，在延迟时间超过容差时间的情况下，产生叠加表示45。圆圈段46、47继续以黄色的饱和度或亮度梯度覆盖或者是黑色的。圆圈段50中的颜色仅由第二标记模板20预给定，因此产生具有高饱和度或亮度的红色。圆圈段51中的颜色仅由第一图案模板17预给定，因此产生低的绿色的饱和度或亮度，其对于观察者而言基本上继续显现为黑色。

因此，通过邻接到黄色颜色梯度的可明确识别的红色颜色片段来标记延迟时间超过容差时间，其中，红色圆圈段50的角度延伸取决于延迟时间超过容差时间的程度。

因此，基于在图像3或图像片段8中示出的叠加表示43至45，对于用户而言可以直接识别出当前的延迟时间多高或者当前的延迟时间是高于还是低于预给定的容差时间以及与容差时间的偏差有多大。

标记6、10或标记模板17、20的进一步有利的设计方案已经在说明书的一般部分中进行了阐述，通过这些设计方案也可以实现这一点。

在一些应用情况中可能有利的是，附加地自动地评估延迟时间。对此的可能的设计方案在图1所示的示例中通过步骤S9至S11示出。

在步骤S9中，通过评估算法35评估图像片段8中的最终图像数据11的至少一部分，以便确定延迟时间的量度36。例如，可以评估在图像片段8内是否存在如下部分片段，在该部分片段中，在红色颜色通道中存在高的值而在其他颜色通道中不存在值或存在非常低的值。延迟时间的量度36例如可以是，对于片段8中的多少图像点是这种情况。

随后在步骤S10中检查是否满足触发条件37，当延迟时间超过容差时间或超过了预给定的边界值时，或者当量度36超过边界值时，则尤其可能是这种情况。

如果不满足触发条件37，则不需要由于高延迟时间的额外的步骤，使得在该示例中可以执行稍后还要阐述的步骤S13至S15。

相反地，如果满足触发条件37，则可以在步骤S11中向接收装置2的用户输出警告信号38。例如，可以进行声音、光学或触觉警告，其通知用户存在高的延迟时间。当用户应基于所传输的图像或多个所传输的图像来远程控制过程时，这尤其可以是合适的，如稍后还要阐述的那样。

补充地或替换地，可以在步骤S12中预给定提供图像的成像装置30的参数39。这例如可以是合适的，以便提高帧速率并且因此降低成像所需的附加延迟，以便由此能够补偿高传输时间等。

补充地或替换地，也可以调整参数40，稍后还要阐述的执行器32的控制取决于该参数。这可以例如用于在存在大的延迟时间的情况下减少由用户远程控制的执行器的力和/或调节路径，以便补偿由于延迟时间而导致的操作者反应的更大惯性。

如已经阐述的那样，当通过显示装置12向其提供相应的图像3的用户基于该图像3或图像序列来远程控制过程时，所阐述的在图像传输或处理的框架中的延迟时间的可视化可以是特别合适的。

为了实现这种远程控制，在步骤S13中，可以首先通过接收装置2的操作器件31采集操作输入33。操作输入33或由其确定的控制信息34在步骤S14中传输回到发送装置1并且在那里在步骤S15中用于控制执行器32。

这种控制通常可以在机器人领域中使用。示例性的应用情况是移动机器人的远程控制、工件处理或远程医学应用。通过延迟时间的可视化，用户总是知道当前图像3与成像对象(例如患者或医学工具)的当前状态的相关程度或当前图像显示由于高延迟而可能不再是最新的的程度。该信息可以在远程控制的框架中被考虑。因此，用户通常可以在较长延迟时间的情况下更加谨慎地行动，或者在非常高的延迟时间的情况下通常可以省去关键步骤或任何操作员输入。

如果图2所示的设备例如是远程医学设备，则执行器32可以控制医学成像装置的部件、例如隔板或C形臂，以便使成像适配于操作者期望。补充地或替换地，该执行器或另外的执行器32例如可以操纵介入器件，通过该介入器件可以远程控制医学介入或者例如可以定位导管。

由于在根据本发明的方法和根据本发明的设备中，相应的标记由发送装置1或接收装置2根据相应的处理时间点4、5分别彼此独立地预给定，因此需要接收装置和发送装置1、2之间的至少近似的时间同步。尽管这种同步可以直接在发送装置和接收装置之间进行，但是通过至少一个共同的时间服务器16来同步发送装置1和接收装置2是合适的，特别是当发送装置1应与多个接收装置2协作时(和/或反之亦然)。

虽然在细节上通过优选的实施例对本发明进行了更详细的阐述和描述，但是本发明却不限于所公开的示例并且本领域技术人员可以从中导出其它变型方案，而不脱离本发明的保护范围。

Claims (10)

1.一种计算机实现的方法，所述方法用于将从发送装置(1)传输到接收装置(2)的至少一个图像(3)中的延迟时间可视化，其中，所述延迟时间描述在所述发送装置(1)在第一处理时间点(4)对所述图像(3)的处理和所述接收装置(4)在第二处理时间点(5)对所述图像(3)的处理之间的时间间隔，所述方法包括步骤：

-通过所述发送装置(1)预给定第一标记(6)，其中，所述第一标记(6)取决于所述第一处理时间点(4)，

-通过所述发送装置(1)处理所述图像(3)的原始图像数据(7)，使得所述原始图像数据(7)的描述预给定的图像片段(8)的部分被所述第一标记(6)或所述第一标记(6)与所述图像片段(8)中的原始图像数据(7)的叠加所替换，以便提供所述图像(3)的经修改的图像数据(9)，

-将所述经修改的图像数据(9)从所述发送装置(1)传输到所述接收装置(2)，

-通过所述接收装置(2)预给定第二标记(10)，其中，所述第二标记(10)取决于所述第二处理时间点(5)，

-通过所述接收装置(2)处理所述经修改的图像数据(9)，使得所述预给定的图像片段(8)中的经修改的图像数据(9)的至少一部分被所述第二标记(10)与所述图像片段(8)中的经修改的图像数据(9)的叠加所替换，以便提供所述图像的最终图像数据(11)，

-通过显示装置(12)输出所述最终图像数据(11)，以便在所述图像(3)的图像片段(8)中将所述延迟时间可视化。

2.根据权利要求1所述的计算机实现的方法，其特征在于，预给定所述第一标记(6)，使得所述第一标记随所述第一处理时间点(4)周期性地变化，和/或预给定所述第二标记(10)，使得所述第二标记随所述第二处理时间点(5)周期性地变化。

3.根据上述权利要求中任一项所述的计算机实现的方法，其特征在于，预给定所述第一标记(6)，使得预给定的第一标记模板(17)根据所述第一处理时间点(4)相对于所述图像片段(8)一方面旋转和/或另一方面至少区段式地移动，和/或预给定所述第二标记(10)，使得预给定的第二标记模板(20)根据所述第二处理时间点(5)相对于所述图像片段(8)一方面旋转和/或另一方面至少区段式地移动。

4.根据上述权利要求中任一项所述的计算机实现的方法，其特征在于，第一和/或第二标记(6，10)和/或第一和/或第二标记模板(17，20)分别是相应颜色的亮度和/或颜色饱和度的线性或圆形或圆环形或圆圈段形或圆环段形的梯度(22，26)或包括所述梯度(22，26)。

5.根据上述权利要求中任一项所述的计算机实现的方法，其特征在于，将在时间上彼此相继的多个图像(3)的图像流、尤其医学图像数据采集的图像流从所述发送装置(1)传输到所述接收装置(2)，其中，对于所述图像(3)中的每个图像，通过相应的第一标记和相应的第二标记(6，10)的叠加进行相应延迟时间的可视化。

6.根据上述权利要求中任一项所述的计算机实现的方法，其特征在于，通过所述接收装置(2)通过操作器件(31)采集用户的操作输入(33)，其中，所述操作输入(33)或由所述操作输入(33)确定的控制信息(34)从所述接收装置(2)传输到所述发送装置(1)，之后由所述发送装置(1)根据所述操作输入(33)或所述控制信息(34)控制至少一个执行器(32)。

7.根据上述权利要求中任一项所述的计算机实现的方法，其特征在于，通过评估算法(35)来评估所述图像片段(8)中的最终图像数据(11)的至少一部分，以便确定所述延迟时间的量度(36)，其中，在满足取决于所述量度(36)的触发条件(37)时，向所述接收装置(2)的用户输出警告信号(38)和/或调整提供所述图像的成像装置(30)的参数(39)和/或调整所述执行器(32)的控制所依据的参数(40)。

8.一种用于输出至少一个图像(3)的设备，所述设备具有发送装置(1)、接收装置(2)和输出装置(12)，

-其中，所述发送装置(1)被设置为用于：预给定第一标记(6)，所述第一标记取决于第一处理时间点(4)，在所述第一处理时间点通过所述发送装置(1)处理所述图像(3)；并且处理所述图像的原始图像数据(7)，使得所述原始图像数据(7)的描述预给定的图像片段(8)的部分被所述第一标记(6)或所述第一标记(6)与所述图像片段(8)中的原始图像数据(7)的叠加所替换，以便提供所述图像(3)的经修改的图像数据(9)；并且将所述经修改的图像数据(9)传输到所述接收装置(2)，

-其中，所述接收装置(2)被设置为用于：预给定第二标记(10)，所述第二标记取决于第二处理时间点(5)，在所述第二处理时间点通过所述接收装置(2)处理所述图像(3)；并且处理所述经修改的图像数据(9)，使得所述预给定的图像片段(8)中的经修改的图像数据(9)的至少一部分被所述第二标记(10)与所述图像片段(8)中的经修改的图像数据(9)的叠加所替换，以便提供所述图像(3)的最终图像数据(11)；并且控制所述输出装置(12)，以便输出所述最终图像数据(11)，由此，在所述图像(3)的图像片段(8)中，描述第一和第二处理时间点(4，5)之间的时间间隔的延迟时间被可视化。

9.根据权利要求8所述的设备，其特征在于，所述接收装置(2)具有操作器件(31)，所述操作器件用于采集来自用户的操作输入(33)，其中，所述接收装置(2)被设置为用于将所述操作输入(33)或由所述操作输入(33)确定的控制信息(34)从所述接收装置(2)传输到所述发送装置(1)，其中，所述发送装置(1)与所述设备的至少一个执行器(32)相关联，其中，所述发送装置(1)被设置为用于根据所述操作输入(33)或所述控制信息(34)来控制所述执行器(32)。

10.根据权利要求9所述的设备，其特征在于，所述设备是远程医学设备，其中，所述执行器(32)或所述执行器(32)中的至少一个相应的执行器用于操纵所述设备的医学成像装置(30)的部件和/或与患者交互的介入器件。