CN116018802A - 实时增强 - Google Patents

Abstract

提出了一种生成医学视频数据和覆盖数据的覆盖的计算机实现的方法。所述方法包括以下步骤：从医学视频模态获取医学视频数据，所述医学视频数据至少包括不同时间点t1和t2的第一视频帧和第二视频帧(步骤S1)；分析所获取的医学视频数据，所述分析包括比较由所述第一视频帧和所述第二视频帧捕获的视频数据(步骤S2)；提供初始覆盖数据(步骤S3)；通过基于对所述医学视频数据的分析的结果调整所述初始覆盖数据来生成经修改的覆盖数据(步骤S4)；以及通过生成至少包括源自所述医学视频模态的医学视频数据并且包括所生成的经修改的覆盖数据的视频输出来生成覆盖(步骤S5)。在特定实施方式中，所确定的第一视频帧和第二视频帧中随时间的变化是在视频帧中成像的对象的空间移位。

Description

实时增强

技术领域

本发明涉及实时增强，尤其涉及一种生成医学视频数据和覆盖数据的覆盖的计算机实现的方法、一种计算机程序、一种存储这种程序的非瞬态程序存储介质和一种用于执行这种程序的计算机，以及一种医学视频模态系统。

背景技术

诊断性医疗过程通常涉及使用相机来使利用肉眼很难或甚至不可能看到的解剖结构可视化。在这种情况下，通过将相机放置在具有无阻碍视线的那些结构的附近，并且通过将接收到的图像发送到医学从业者可以容易地观察到的远程显示器或监视器，相机有助于使那些解剖结构可视化。例如，内窥镜手术利用相机来检查和可视化患者体内的中空器官或腔体的内部。普通内窥镜具有细长的器械主体，该器械主体具有通常放置在患者体内的远端部分和通常保持在患者体外的近端部分。虽然远端内窥镜部分设置有至少一个相机，但是整个内窥镜主体可以通过连接到内窥镜的近端部分并且可以机动化的支撑结构被保持在适当位置，使得医学从业者可以通过经由用户界面控制机动化结构来将内窥镜与相机一起移动到期望位置。

本申请的申请人Brainlab AG已经开发并获得了一种包括独立盒的技术，该独立盒能够实时转发视频信号并且能够实时地使视频信号分支以记录和/或处理视频信号。在该背景下，Brainlab AG获得了由Ayoda GmbH开发的技术，Ayoda GmbH已经提交了公开的专利申请DE 10 2017 010 351A1。该专利申请描述了一种同时公知的用于以高清晰度且实时地覆盖视频信号的技术。

本发明的发明人已经发现，在使用例如内窥镜期间，医学从业者总是需要内窥镜的实况视频图像，因为否则难以控制医疗过程。内窥镜的移动和所显示的视频图像之间的每个时间延迟都会对医学从业者造成刺激。本发明的发明人还发现，在这种情况下，以增强(即覆盖)的形式为医学从业者提供进一步的图像信息将是非常有益的。

因此，本发明的目的是改进医学视频数据对用户的显示。

本发明可以用于医学视频数据处理和医学视频数据成像中，例如结合诸如在DE10 2017 010 351A1中详细描述的系统。

在下文中公开了本发明的方面、示例和示例性步骤以及实施方式。只要技术上适宜和可行，本发明的不同示例性特征可以根据本发明进行组合。

本发明的示例性简短说明

在下文中，给出了本发明的具体特征的简短描述，其不应被理解为将本发明仅限制于本节中描述的特征或特征的组合。

所公开的方法包括从诸如内窥镜、超声装置、显微镜或其任意组合的医学视频模态获取至少两个视频帧。当然，也可以使用其它医学视频模态。在该方法中，将这些视频帧相互比较，其中该比较可以以许多不同的方式实现，如将在下文的具体实施方式的上下文中描述的。例如，在一个实施方式中，在确定/计算视频模态和图像对象之间的运动的影响的意义上执行漂移检测。在另一示例性实施方式中，由医学视频模态捕获的两个视频帧的比较被实现为自动确定第一视频帧中的增强模型的界标(landmark)，并且被实现为在第二视频帧中搜索并查找所述确定的界标。然后，可以在方法的进一步步骤期间使用上文描述的所述“比较”的这两个示例性实施方式的相应结果，其中基于第一视频帧和第二视频帧之间的所述比较的结果来修改初始覆盖数据。初始覆盖数据的这种修改表示经修改的覆盖数据的生成，所述经修改的覆盖数据随后与来自医学视频模态的医学视频数据一起显示给医学从业者。修改的覆盖数据和医学视频数据的组合(所述组合被显示给用户作为视频输出)在本文中被称为“覆盖”，并且被本领域的读者理解为期望的增强。

如本文所公开的，生成医学视频数据和覆盖数据的覆盖的该计算机实现的方法可以在计算机或计算单元上执行。然而，该方法还可以在医学视频模态系统中执行，所述医学视频模态系统包括用于生成所述医学视频数据的这种成像系统。这种成像装置的示例性实施方式是内窥镜、超声装置、显微镜及其任意组合。还必须注意的是，专利申请DE 102017010 351A1中描述的装置可以用于实现这里描述的方法。本发明的发明人已经发现，这种装置的本地处理器、计算单元或本地智能可以有益地用于优化覆盖信号的延迟。特别地，使用现场可编程门阵列(FPGA)的医学视频模态系统通常确实具有大量计算能力，其可以用于优化这种覆盖的生成。

在特定实施方式中，本发明的发明人建议基于对所述第一视频帧和所述第二视频帧的分析来计算初始覆盖数据(即增强数据)的外推。在这样的实施方式中，从医学视频模态获取的第一视频帧和第二视频帧相对于其视频内容的变化进行分析。然后，可以在该实施方式中使用根据第一视频帧和第二视频帧之间的比较而确定的视频内容的变化来计算初始覆盖数据到未来的特定时间点的外推。所提供的初始覆盖数据，在示例性实施方式中被实现为例如患者的成像身体的一部分的增强模型被外推到未来的该稍后时间点。因此，在该实施方式中，本发明建议分析过去视频信号的变化，将该信号外推到未来的特定时间点，然后将初始覆盖数据变形为正确的，即对应的形式。该实施方式例如在图3所示的详细实施方式中实现。

如前所述，在本发明的第二实施方式中，从如下意义上对从医学视频模态获取的第一视频帧和第二视频帧的分析进行比较：执行对第一视频帧中的增强模型的一个或多个界标的自动确定，随后是对第二视频帧内的所述确定的界标的搜索和查找步骤。将在图4所示的实施方式的上下文中更详细地描述该实施方式。

应当注意，所使用的初始覆盖数据可以具有若干不同的性质和来源。特别地，这样的初始覆盖数据可以是来自医疗跟踪系统的视频信号，但是也可以是例如存储在外部数据库中并且由执行所提出的方法的装置或系统检索或至少可访问的增强模型。

从本公开中，对于本领域的技术人员来说显而易见的是，在与医学视频数据相比具有非常短的延迟的意义上，可以利用本发明生成的覆盖是实时覆盖。特别地，可以令人惊奇地实现低于一个视频帧的延迟或者甚至低于视频帧的几个像素的延迟。另外，将在下文中利用更详细的实施方式来描述和说明利用本发明可实现的延迟的减少。

发明内容

在该部分中，例如通过参考本发明的可能实施方式来给出本发明的一般特征的描述。

根据本发明的第一方面，提出了一种生成医学视频数据和覆盖数据的覆盖的计算机实现的方法。所述方法包括在步骤S1中从医学视频模态获取医学视频数据的步骤，所述医学视频数据至少包括不同时间点t1和t2的第一视频帧和第二视频帧。所述方法还包括在步骤S2中分析所获取的医学视频数据，该步骤包括执行由第一视频帧和第二视频帧捕获的视频数据的比较。如前面已经指出的，两个视频帧的捕获视频数据的这种比较可以以几种不同的方式来执行，这将在下文中更详细地解释。此外，在步骤S3中提供初始覆盖数据，并且通过基于医学视频数据的分析结果(即，基于第一视频帧和第二视频帧的视频内容的比较结果)，调整初始覆盖数据，来生成经修改的覆盖数据，即，步骤S4。此外，计算机实现的方法包括通过生成至少包括源自医学视频模态的医学视频数据并且包括生成的经修改的覆盖数据的视频输出来生成覆盖的步骤，即步骤S5。

如前面已经描述的，本发明可以通过以下几个不同的实施方式来执行：比较捕获的第一视频帧和第二视频帧的视频数据，以及生成作为视频输出的覆盖，该视频输出至少包括源自医学视频模态的医学视频数据和生成的经修改的覆盖数据。然而，所有这些实施方式允许实时生成覆盖，即，与医学视频数据相比具有低于一个视频帧的时间延迟，或者特别地，与医学视频数据相比具有视频帧的仅几个像素(例如低于视频帧的二十个像素，低于视频帧的八个像素，或者甚至低于视频帧的四个像素)的延迟。这将从以下公开内容中变得明显。

注意，本发明的低延迟尤其是通过不是读取完整的视频帧并随后对其进行处理，而是在从输入端读取每个像素或连续像素的小子组(2，4，8)之后直接处理和输出所述每个像素或连续像素的小子组(2，4，8)来实现的。处理例如可以是输入颜色与覆盖图像的混合，该覆盖图像包括同时从存储器读取的颜色和不透明度信息。在该读取期间，可以考虑覆盖的已知移位。另选地，处理可以包括与纹理三角形模型进行混合，从而即时地从纹理内插颜色和不透明度。

应当注意，初始覆盖数据以及所生成的经修改的覆盖数据可以是静态数据，但是在其随时间改变的意义上也可以是动态数据。

必须注意，在本发明的上下文中，当然可以使用多于所列举的第一视频帧、第二视频帧和第三视频帧来执行本发明。

本文提出的计算机实现的方法可以通过基于FPGA的硬件来实现。对于特定实现，可以示例性地使用上述德国专利申请中描述的系统。

根据本发明的示例性实施方式，分析所获取的医学视频数据的步骤包括通过比较第一视频帧和第二视频帧来确定医学视频数据随时间的变化。注意，确定这两个视频帧内的视频内容的变化。该方法还包括从医学视频模态获取至少第三时间点t3的第三视频帧的步骤。生成经修改的覆盖数据的步骤(步骤S4)还包括在由该方法执行的计算中使用所确定的第一视频帧和第二视频帧的视频数据随时间的变化。因此，所确定的视频帧的变化用于计算初始覆盖数据到时间点t3的外推(步骤S4a)。此外，覆盖的生成(步骤S5)还包括生成视频输出(步骤S5a)，该视频输出包括第三视频帧和曾被外推到第三时间点t3的初始覆盖数据(即经修改的覆盖数据)。

必须注意，在图3的上下文中描述了上述实施方式的特定进一步发展。存在若干不同的时机来确定医学视频数据的内容随时间的所述变化。最基本的示例是由于在曾获取第一视频帧的时间点t1和曾获取第二视频帧的时间点t2之间已经发生了移动，因此确定曾在第一视频帧中成像并且在第二视频帧中成像在其它坐标处的对象的平移。确定第一视频信号和第二视频信号中的对象位置的所述变化并使用所述检测对象的平移的步骤被本领域技术人员理解为确定视频模态的成像装置和成像对象之间的运动的影响。然后，该确定的医学视频数据的变化可以用于补偿在生成经修改的覆盖数据时已经发生的运动的影响。第一视频帧和第二视频帧中的对象的这种确定的平移在本文中也被称为移位检测或移位分析。然而，根据其它实施方式，也可以利用本发明的方法自动检测描述第一视频帧和第二视频帧之间的变化的旋转或缩放。而且，也可以通过该实施方式中使用的相应图像处理算法来自动确定失真、对象的尺寸的增加、对象的尺寸的减小。

例如，本领域技术人员已知的“光流”方法可用于确定医学视频数据随时间的所述变化。为了确定视频图像跨越屏幕的运动(即图像特征或对象在第一视频帧和第二视频帧之间的运动)的方向和/或速度，可以应用本领域已知的任何可想到的图像处理技术。例如，可以确定所显示的图像内容的“光流”以及相机相对于相机观察到的环境的“自我运动”。此外，可以在本发明的上下文中使用基于边缘和/或特征检测的任何技术以及基于图像比较的任何技术。

第一视频帧和第二视频帧之间的图像内容的比较允许确定医学视频模态的相机实际进行的运动。例如，可以基于所获得的至少两个图像中的多个特征中的(优选)至少一个特征的位置差来计算整体运动向量。在特定情况下，当所有或几乎所有可识别特征已经在两个获得的图像之间以相同的量并且在相同的方向上移动时，即在所显示的图像平面内由相同运动向量描述时，可以假设相机已经平移地且基本上垂直于相机的视线移动。在另一种情况下，如果相机已经绕其视线旋转，则在两个获得的视频帧中看到的可识别特征将描述围绕中心点的向量场，该中心点表示相机在图像平面内的旋转中心。在又一示例性情况下，如果在所获得的视频帧中看到的视频帧/图像特征描述了具有收敛到特定中心点或从特定中心点发散的特定向量的向量场，则可以假设相机沿着相机的视线朝向或远离所观察的对象移动。当然，可以通过上述示例性运动的任何可想到的组合来叠加医疗过程期间相机的实际运动。

总之，本发明利用由医学视频模态获得的至少两个视频帧来确定相机在比较的视频帧之间实际进行的运动。

此外，本发明的方法可以考虑与由医学视频模态接收的图像的平面平行和垂直(即，相对于图像平面“放大”和“缩小”方向)的运动方向。

代替如上所述通过例如“光流”的这种移动检测，还可以在视频帧中检测解剖界标。用于分析所获取的医学视频数据的另一替代方案是识别附接到医疗器械的标记，所述标记显示在第一视频帧和第二视频帧中。当然，也可以使用附加的外部系统，如光学跟踪系统，其检测这样的一个或多个标记的存在并且将关于所述标记位置的数据提供给执行该方法的装置/系统。然而，如本领域技术人员将理解的，在本发明的上下文中也可以使用用于分析所获取的医学视频数据以随后相应地调整初始覆盖数据的其它方法。

如上所述，可以使用分析第一视频帧和第二视频帧中的变化的几种不同可能性。该分析可能需要确定描述在视频帧1和视频帧2中成像的场景之间的潜在移动的向量或向量场。然而，这也可以确定六个自由度，即三个平移自由度和三个旋转自由度，其描述在校准相机前面的成像对象或成像场景的移动。在特定实施方式中，可以考虑额外缩放因子。因此，利用本发明的特定实施方式，可以检测漂移和/或旋转、器械的移动、相机的移动和成像对象的移动。

在一个实施方式中，初始覆盖数据是增强模型，并且所确定的视频数据随时间的变化用于计算该增强模型到时间点t3的外推，即所述模型到时间点t3的变形。然后，执行本发明的该实施方式的系统生成包括第三视频帧和曾被外推到第三时间点t3的初始覆盖数据(即经修改的覆盖数据)的视频输出。换句话说，所述外推的初始覆盖数据是通过本文呈现的方法生成的经修改的覆盖数据。

增强模型可以由优选具有颜色和不透明度信息的位图、或点云、线框、(例如，三角形)表面模型(优选具有颜色不透明度纹理)、体积模型或可以实时再现的任何其它图形模型组成。除了图形信息之外，增强可以包括关于如何调整增强的信息，例如，如何应用所确定的移位或6-D变换或缩放因子，或者在视频帧中检测并用于定义模型到实际覆盖的变换的潜在锚界标。

此外，增强模型例如可以是图像并且对图像的角点进行调整，或者增强模型可以是线模型或者表面模型(三角形和/或正方形)并且对该模型的节点调整。在另一实施方式中，如上文已经详细解释的，当基于第一视频帧和第二视频帧的分析结果来调整增强模型时，可以优选地使用附加透明通道重新渲染纹理模型。在一个实施方式中，使用所谓的扫描线方法，其中模型的复杂性被降低，使得具有模型边缘的线的横截面的最大数量不超过先前定义的特定且恒定的数量。执行本发明的系统可以对在本发明期间处理的数据进行预排序，优选地，使用在图像的垂直轴方向上的预排序。如前面已经详细描述的，可以定义停止或取消标准，使得当检测到的移动显著到增强将不能提供富有成效的结果或者在技术上不可行时，不发生增强，即不产生覆盖。

根据本发明的示例性实施方式，对于所述第一视频帧、所述第二视频帧和所述第三视频帧，关系t1<t2<t3成立。在该实施方式中，第三视频帧优选地直接跟随医学视频模态的视频流中的第二视频帧。

在该实施方式中，定义了三个时间点之间的关系，并且仅优选地并且因此必然限制该实施方式，即第三帧可以直接跟随第二视频帧。

根据本发明的另一示例性实施方式，所确定的第一视频帧和第二视频帧中随时间的变化是在视频帧中成像的对象的空间移位。

换句话说，该实施方式解释了从两个视频帧开始，发生了空间偏移，即成像对象在成像装置的坐标系中的移动。通过该实施方式的使用例如图像处理算法的计算机实现的方法来自动检测该移动。

根据本发明的另一示例性实施方式，初始覆盖数据是增强模型。该增强模型可以存储在执行该方法的装置中，或者也可以经由与外部数据存储器(例如，在其上存储增强模型的服务器)的数据连接进行检索。此外，生成经修改的覆盖数据的步骤(步骤S5)包括将空间移位应用于增强模型、将失真应用于增强模型、新渲染增强模型、调整增强模型的一个或多个参数、用另一增强模型替换增强模型中的至少一个步骤。

基于第一视频帧和第二视频帧的比较，在该计算机实现的方法中确定初始覆盖数据(即，初始增强模型)必须如何进行调整，以便有用地向用户覆盖视频流。该实施方式描述了当增强模型被变形为当前时间点时如何调整增强模型的几种可能性。将在图3、图4和图5的上下文中描述的特定实施方式中更详细地描述解剖模型的这种变形。

根据本发明的另一示例性实施方式，该方法还包括计算医学视频模态的成像装置与成像对象之间的运动的影响并在生成经修改的覆盖数据时补偿所述计算的影响的步骤。

换句话说，该实施方式通过比较第一视频帧和第二视频帧来观察成像场景和视频装置之间的运动的影响，并且通过相应地调整初始覆盖数据来补偿这种运动。可以以许多不同的方式来实现初始覆盖数据的调整，例如通过对初始覆盖数据的空间移位、对初始覆盖数据应用失真、新渲染初始覆盖数据、调整初始覆盖数据的参数、用其它覆盖数据替换初始覆盖数据、以及它们的任何组合。

根据本发明的另一实施方式，计算初始覆盖数据到第四时间点t4的外推，并且视频输出的生成包括第三视频帧和外推到第四时间点t4的初始覆盖数据。此外，在来自t3和t4的第三视频帧和第四视频帧之间，存在低于所述视频模态的一个视频帧、低于视频帧的一行、或低于视频帧的10个、8个、5个或低于4个像素的时间延迟。

在前面描述的一个实施方式中，将初始覆盖数据外推到用于向用户显示的覆盖中的第三视频帧的时间t3。然而，在使用所述“计算到第四时间点t4”的该实施方式中，由于考虑了在视频帧t3和t4处的覆盖的生成之间存在的附加延迟，因此甚至更多地外推增强模型，或者一般地外推初始覆盖数据。然而，该延迟低于一个视频帧、或者低于视频帧的一行或低于视频帧的几个像素。因此，必须从t3添加到t4的以秒为单位的相应时间，即刚才提到的所述非常低的延迟，可以用于外推增强模型/初始覆盖数据。然后，外推到t4的增强模型可以与t3的视频帧一起有利地显示给用户。

根据本发明的另一示例性实施方式，由第一视频帧和第二视频帧捕获的视频数据的比较被执行为对第一视频帧中的增强模型的至少一个界标的自动确定，并且包括在第二视频帧中搜索并查找所述确定的界标。

该界标检测例如在图4所示的示例性实施方式中实现。自动图像分析软件可以用于扫描例如医学视频模态的第一视频帧，并且可以在其中识别增强模型的特定界标。然后，可以在第二视频帧中搜索这种识别的界标，这对应于对界标的实时分析。这将在下文中在图4的上下文中更详细地解释。

根据本发明的示例性实施方式，该方法包括从第一视频帧确定增强模型以及从第一视频帧确定所述确定的增强模型的至少一个界标的步骤。然后，该方法在读出第二视频帧的同时自动识别第二视频帧中的所述确定的至少一个界标。在该方法中，基于第二视频帧中的界标识别的结果来调整增强模型的至少一个参数。以此方式，生成经修改的覆盖数据。换句话说，经修改的覆盖数据是具有经调整的至少一个参数的增强模型。此外，生成覆盖的步骤(步骤S5)，所述覆盖作为包括第二视频帧和经调整的增强模型的视频输出而显示给医学从业者(步骤S10)。此外，界标识别(步骤S8)和增强模型的至少一个参数的调整(步骤S9)与覆盖的生成(步骤S5)同时执行，即在相同视频帧内执行。在优选实施方式中，覆盖的生成与第二视频帧的读出同时执行，即在相同视频帧内执行。

根据本发明的另一示例性实施方式，界标识别的步骤(步骤S8)包括评估在第一视频帧中确定的特定界标是否存在于预定最大数量的视频帧像素内的第二视频帧中从而使用(例如三角形)视频帧读出的步骤。此外，在该实施方式中，如果在所述最大数量的视频帧像素内的第二视频帧中不存在/不能检测或查找所述特定界标，则不生成覆盖。

换句话说，该实施方式的所提出的方法或算法等待直到已经收集到关于第二视频帧的足够信息，并且仅在随后决定是否生成覆盖。换句话说，在该实施方式中预定义最大延迟，即预定最大数量的视频帧像素，并且仅当在所述视频帧的读出期间在这些最大数量的视频帧像素内检测到对应的界标时，才执行增强。如果算法没有检测到或查找这样的对应界标，则不向用户提供增强，即不生成覆盖。换句话说，只要视频帧的变化低于特定阈值，就执行实时增强。根据其优选实施方式，例如通过音频和/或视频信号向用户指示当前没有提供增强。

根据本发明的另一示例性实施方式，该方法包括以下步骤：通过从捕获所述第二视频帧之前的时间点分析所述视频模态的至少两个视频帧，来确定由医学视频模态成像的对象的空间漂移。此外，基于所确定的空间偏移，优选地通过所确定的偏移的量，决定是否接受要在该方法中使用的界标和/或是否生成覆盖。

换句话说，取决于漂移量或取决于已经通过分析第一视频帧和第二视频帧检测到/确定的漂移速度来打开或关闭覆盖。打开和关闭覆盖的这种方法还可以取决于在第一视频帧中自动确定并且在第二视频帧中搜索并查找的界标的位置，如上文在另一实施方式中所描述的。

根据本发明的另一示例性实施方式，该方法包括以下步骤：自动识别第一视频帧中的特定器械，以及从数据库获取所述识别的特定器械的增强模型，从而提供初始覆盖数据。

在该实施方式中，所提出的方法实时分析从医学视频模态获取的视频帧内的界标。当读出所述视频帧的像素时，由执行所提出的方法的装置确定将使用哪个增强模型，即哪个初始覆盖数据。用于识别视频帧中的所述特定医疗器械的已知软件可以由本领域技术人员应用。此外，执行该实施方式的系统/装置然后可以访问内部数据存储单元，或者还可以访问远离执行所提出的方法的系统/装置的某处的数据库。在任何情况下，基于对第一视频帧的实时分析来调整所提供的增强模型，在所述第一视频帧中识别特定的器械。基于该识别，将适配的增强模型与视频帧一起显示给用户。

在第二方面，本发明涉及一种计算机程序，当在至少一个计算机(例如，计算机)的至少一个处理器(例如，处理器)上运行时，或者当加载到至少一个计算机(例如，计算机)的至少一个存储器(例如，存储器)中时，该计算机程序使至少一个计算机执行根据第一方面的上述方法。另选地或附加地，本发明可以涉及携带表示程序(例如前述程序)的信息的(物理的、例如电气的、例如技术上产生的)信号波(例如数字信号波)，其例如包括适于执行根据第一方面的方法的任何或全部步骤的代码装置。存储在盘上的计算机程序是数据文件，并且当文件被读出和传输时，该文件变成例如呈(物理的，例如电气的，例如技术上产生的)信号形式的数据流。信号可以实现为这里描述的信号波。例如，信号或信号波被构造为经由计算机网络(例如LAN、WLAN、WAN(例如互联网))进行传输。因此，根据第二方面的本发明另选地或附加地涉及表示前述程序的数据流。

在第三方面，本发明涉及一种其上存储有根据第四方面的程序的非瞬态计算机可读程序存储介质。

在第四方面，本发明涉及至少一个计算机(例如，计算机)，其包括至少一个处理器(例如，处理器)和至少一个存储器(例如，存储器)，其中，根据第四方面的程序在处理器上运行或者被加载到存储器中，或者其中，所述至少一个计算机包括根据第五方面的计算机可读程序存储介质。

根据本发明的第三方面，提出了一种医学视频模态系统，所述医学视频模态系统包括至少一个计算机，在所述至少一个计算机上运行前述程序，或者在所述计算机的存储器中加载前述程序。所述医学视频模态系统还包括用于生成医学视频数据的医学成像装置。

在其实施方式中，本发明的医学视频模态系统与下文详细描述的导航系统或手术导航系统结合提供。

在其优选实施方式中，医学视频模态系统包括成像装置，该成像装置包括内窥镜、超声装置、显微镜或其任意组合。

定义

在本节中，提供了本公开中使用的具体术语的定义，其也形成了本公开的一部分。

计算机实现的方法

根据本发明的方法例如是计算机实现的方法。例如，可以由计算机(例如，至少一个计算机)执行根据本发明的方法的所有步骤或仅一些步骤(即，小于步骤总数)。计算机实现的方法的一个实施方式是使用计算机来执行数据处理方法。计算机实现的方法的一个实施方式是涉及计算机的操作的方法，使得计算机被操作以执行该方法的一个、多个或所有步骤。

计算机例如包括至少一个处理器和例如至少一个存储器，以便(在技术上)例如电子地和/或光学地处理数据。处理器例如由作为半导体的物质或组合物制成，例如至少部分n型和/或p型掺杂的半导体，例如II型、III型、IV型、V型、VI型半导体材料中的至少一种，例如(掺杂的)硅和/或砷化镓。所描述的计算或确定步骤例如由计算机执行。确定步骤或计算步骤例如是在技术方法的框架内、例如在程序的框架内确定数据的步骤。计算机例如是任何类型的数据处理装置，例如电子数据处理装置。计算机可以是通常所考虑的装置，例如台式PC、笔记本、上网本等，但也可以是任何可编程设备，例如移动电话或嵌入式处理器。计算机可以例如包括“子计算机”的系统(网络)，其中，每个子计算机单独表示一台计算机。术语“计算机”包括云计算机，例如云服务器。术语“云计算机”包括云计算机系统，该云计算机系统例如包括至少一个云计算机和例如多个可操作地互连的云计算机(诸如服务器群)的系统。这种云计算机优选地连接到诸如万维网(WWW)的广域网并且位于所有连接到万维网的所谓计算机云中。这样的基础设施用于“云计算”，其描述计算、软件、数据访问和存储服务，这些服务不需要终端用户知道递送特定服务的计算机的物理位置和/或配置。例如，术语“云”在这方面被用作互联网(万维网)的隐喻。例如，云提供计算基础设施作为服务(IaaS)。云计算机可以用作用于执行本发明的方法的操作系统和/或数据处理应用的虚拟主机。云计算机例如是由Amazon Web Services^TM提供的弹性计算云(EC2)。计算机例如包括接口以便接收或输出数据和/或执行模数转换。数据例如是表示物理特性和/或由技术信号产生的数据。技术信号例如通过(技术)检测装置(诸如例如用于检测标记装置的装置)和/或(技术)分析装置(诸如例如用于执行(医学)成像方法的装置)产生，其中，技术信号例如是电或光信号。技术信号例如表示由计算机接收或输出的数据。计算机优选可操作地联接到显示装置，该显示装置允许例如向用户显示由计算机输出的信息。显示装置的一个示例是可以用作用于导航的“护目镜(goggoles)”的虚拟现实装置或增强现实装置(也称为虚拟现实眼镜或增强现实眼镜)。这种增强现实眼镜的具体示例是Google Glass(Google,Inc.的商标)。增强现实装置或虚拟现实装置既可以用于通过用户交互向计算机输入信息，也可以用于显示由计算机输出的信息。显示装置的另一示例是标准计算机监视器，其包括例如液晶显示器，该液晶显示器可操作地联接到计算机，用于从计算机接收显示控制数据，用于生成用于在显示装置上显示图像信息内容的信号。这种计算机监视器的特定实施方式是数字灯箱。这种数字灯箱的一个示例是

Brainlab AG的产品。监视器还可以是诸如智能电话或个人数字助理或数字媒体播放器的便携式(例如手持)装置的监视器。

本发明还涉及当在计算机上运行时使计算机执行本文描述的一个或多个或全部方法步骤的程序，和/或涉及在其上(特别是以非瞬态形式)存储程序的程序存储介质和/或涉及包括所述程序存储介质的计算机和/或涉及(物理的，例如电气的，例如技术上产生的)信号波，例如数字信号波，其携带表示程序(例如前述程序)的信息，所述程序例如包括适于执行本文所述的任何或全部方法步骤的代码装置。

在本发明的框架内，计算机程序元件可以由硬件和/或软件(这包括固件、驻留软件、微代码等)来实现。在本发明的框架内，计算机程序元件可以采取计算机程序产品的形式，该计算机程序产品可以由计算机可用的、例如计算机可读数据存储介质来实现，该计算机可读数据存储介质包括计算机可用的、例如计算机可读程序指令，在所述数据存储介质中实现的用于在指令执行系统上或与指令执行系统结合使用的“代码”或“计算机程序”。这样的系统可以是计算机；计算机可以是包括用于执行根据本发明的计算机程序元件和/或程序的装置的数据处理装置，例如包括执行计算机程序元件的数字处理器(中央处理单元或CPU)的数据处理装置，以及可选地，易失性存储器(例如，随机存取存储器或RAM)，用于存储用于和/或通过执行计算机程序元件产生的数据。在本发明的框架内，计算机可用的、例如计算机可读数据存储介质可以是任何数据存储介质，其可以包括、存储、通信、传播或传输用于在指令执行系统、设备或装置上或与指令执行系统、设备或装置结合使用的程序。计算机可用的、例如计算机可读数据存储介质例如可以是但不限于电子、磁、光、电磁、红外或半导体系统、设备或装置或传播介质，例如互联网。计算机可用或计算机可读数据存储介质甚至可以是例如其上打印有程序的纸张或另一适当介质，因为程序可以例如通过光学扫描纸张或其它适当介质而电子捕获，然后以适当方式进行编译、解释或以其它方式处理。数据存储介质优选地是非易失性数据存储介质。在示例实施方式中，这里描述的计算机程序产品和任何软件和/或硬件形成用于执行本发明的功能的各种装置。计算机和/或数据处理装置可以例如包括引导信息装置，该引导信息装置包括用于输出引导信息的装置。引导信息可以例如通过视觉指示装置(例如，监视器和/或灯)可视地和/或通过声学指示装置(例如，扬声器和/或数字语音输出装置)声学地和/或通过触觉指示装置(例如，结合到器械中的振动元件或振动元件)触觉地输出给用户。为了本文件的目的，计算机是一种技术计算机，其例如包括技术部件，例如有形部件，例如机械和/或电子部件。本文件中提到的任何装置都是技术装置，例如有形装置。

获取数据

表达“获取数据”例如包括(在计算机实现的方法的框架内)其中数据由计算机实现的方法或程序确定的场景。确定数据的步骤例如包括测量物理量和将测量值转换成数据(例如数字数据)和/或通过计算机例如在根据本发明的方法的框架内计算(和例如输出)数据。“获取数据”的含义还例如包括这样的场景，其中数据由计算机实现的方法或程序接收或检索(例如输入)，例如从另一程序、先前的方法步骤或数据存储介质接收或检索，例如用于由计算机实现的方法或程序进一步处理。要获取的数据的生成可以是但不必是根据本发明的方法的一部分。因此，表述“获取数据”还可以例如表示等待接收数据和/或接收数据。所接收的数据例如可以经由接口输入。表述“获取数据”还可以指计算机实现的方法或程序执行步骤以便(主动地)从数据源(例如数据存储介质(例如ROM、RAM、数据库、硬盘驱动器等))或经由接口(例如从另一计算机或网络)接收或检索数据。分别由所公开的方法或装置获取的数据可以从位于数据存储装置中的数据库获取，该数据存储装置可操作地连接到计算机，用于在数据库和计算机之间进行数据传输，例如从数据库到计算机。计算机获取数据以用作确定数据的步骤的输入。所确定的数据可被再次输出到相同或另一数据库以存储以供以后使用。数据库或用于实现所公开方法的数据库可以位于网络数据存储装置或网络服务器(例如，云数据存储装置或云服务器)或本地数据存储装置(例如，可操作地连接到执行所公开方法的至少一个计算机的大容量存储装置)上。通过在获取步骤之前执行附加步骤，可以使数据“准备好使用”。根据该附加步骤，生成数据以便被获取。数据例如(例如通过分析装置)被检测或捕获。另选地或附加地，根据附加步骤例如经由接口输入数据。生成的数据可以例如被输入(例如到计算机中)。根据附加步骤(在获取步骤之前)，还可以通过执行将数据存储在数据存储介质(例如ROM、RAM、CD和/或硬盘驱动器)中的附加步骤来提供数据，使得数据准备好在根据本发明的方法或程序的框架内使用。因此，“获取数据”的步骤还可以涉及命令装置获得和/或提供要获取的数据。特别地，获取步骤不涉及侵入性步骤，该侵入性步骤将表示对身体的实质性物理干扰，需要进行专业医疗专业知识，并且即使在以所需的专业护理和专业知识进行时也带来实质性健康风险。特别地，获取数据(例如确定数据)的步骤不涉及手术步骤，并且特别地不涉及使用手术或治疗来治疗人体或动物体的步骤。为了区分本方法所使用的不同数据，将数据表示(即，称为)为“XY数据”等，并且数据根据其所描述的信息来定义，然后所描述的信息优选地被称为“XY信息”等。

标记

标记的功能是由标记检测装置(例如，相机或超声接收器或诸如CT装置或MRI装置之类的分析装置)以能够确定其空间位置(即，其空间位置和/或对准)的方式来检测标记。检测装置例如是导航系统的一部分。标记可以是有源标记。有源标记可以例如发射可以在红外、可见和/或紫外光谱范围内的电磁辐射和/或波。然而，标记也可以是无源的，即可以例如反射红外、可见和/或紫外光谱范围内的电磁辐射，或者可以阻挡X射线辐射。为此，标记可以设置有具有相应反射特性的表面或者可以由金属制成以阻挡X射线辐射。标记也可以反射和/或发射射频范围内或超声波长下的电磁辐射和/或波。标记优选具有球形和/或球体形状，因此可称为标记球体；然而，标记也可表现出有角的，例如立方体形状。

标记装置

标记装置例如可以是参考星或指针或单个标记或多个(单独的)标记，这些标记优选地处于预定的空间关系中。标记装置包括一个、两个、三个或更多个标记，其中，两个或更多个这样的标记处于预定空间关系。该预定空间关系例如是导航系统已知的并且例如存储在导航系统的计算机中。

在另一实施方式中，标记装置包括例如在二维表面上的光学图案。光学图案可以包括多个几何形状，如圆形、矩形和/或三角形。光学图案可以在由相机捕获的图像中识别，并且标记装置相对于相机的位置可以根据图像中图案的尺寸、图像中图案的取向和图像中图案的畸变来确定。这允许从单个二维图像确定在多达三个旋转维度和多达三个平移维度中的相对位置。

标记装置的位置可以例如通过医学导航系统来确定。如果标记装置附接到对象，例如骨骼或医疗器械，则可以根据标记装置的位置和标记装置与对象之间的相对位置来确定对象的位置。确定该相对位置也被称为登记标记装置和对象。可以跟踪标记装置或对象，这意味着标记装置或对象的位置随时间被两次或更多次确定。

导航系统

本发明还涉及用于计算机辅助手术的导航系统。该导航系统优选地包括上述计算机，用于处理根据如本文描述的任何一个实施方式中描述的计算机实现的方法提供的数据。导航系统优选地包括检测装置，该检测装置用于检测表示主要点和辅助点的检测点的位置，以便生成检测信号并将生成的检测信号提供给计算机，使得计算机能够基于接收到的检测信号确定绝对主要点数据和绝对辅助点数据。检测点例如是解剖结构表面上的例如通过指针检测到的点。这样，可以将绝对点数据提供给计算机。导航系统还优选地包括用于接收来自计算机的计算结果(例如，主平面的位置、辅助平面的位置和/或标准平面的位置)的用户界面。用户界面将接收到的数据作为信息提供给用户。用户界面的示例包括诸如监视器或扬声器之类的显示装置。用户界面可以使用任何类型的指示信号(例如视觉信号、音频信号和/或振动信号)。显示装置的一个示例是可以用作用于导航的所谓“护目镜”的增强现实装置(也称为增强现实眼镜)。这种增强现实眼镜的具体示例是Google Glass(Google,Inc.的商标)。增强现实装置既可用于通过用户交互将信息输入到导航系统的计算机中，也可用于显示由计算机输出的信息。

手术导航系统

导航系统，例如手术导航系统，被理解为是指可以包括以下各项的系统：至少一个标记装置；发射电磁波和/或辐射和/或超声波的发射器；接收电磁波和/或辐射和/或超声波的接收器；以及连接到接收器和/或发射器的电子数据处理装置，其中，所述数据处理装置(例如，计算机)例如包括处理器(CPU)和工作存储器，并且有利地包括用于发出指示信号的指示装置(例如，诸如监视器的视觉指示装置和/或诸如扬声器的音频指示装置和/或诸如振动器的触觉指示装置)和永久数据存储器，其中，所述数据处理装置处理由接收器转发到所述数据处理装置的导航数据，并且可以有利地经由指示装置向用户输出引导信息。导航数据可以存储在永久数据存储器中，并且例如与预先存储在所述存储器中的数据进行比较。

界标

如本领域技术人员清楚的，在本发明的上下文中，术语“界标”应当被理解为视频图像上具有不同特征的点。这可以是标准特征(例如通常具有特定视觉外观的鼻尖)，或者可以是患者特定特征(肝脏表面上的黑点)，其可以在后续视频帧中被重新检测，但不一定在任何其他患者中被发现。

附图说明

在下文中，参考附图描述本发明，附图给出背景解释并表示本发明的具体实施方式。然而，本发明的范围不限于在附图上下文中公开的特定特征，其中

图1示意性地示出了根据本发明的示例性实施方式的生成医学视频数据和覆盖数据的覆盖的计算机实现的方法的流程图；

图2示意性地示出了根据本发明另一示例性实施方式的医学视频模态系统；

图3示意性地示出了根据本发明的另一示例性实施方式的另一方法实施方式的流程图，其中针对增强模型执行漂移检测并且计算外推；

图4示意性地示出了其中使用了增强模型的实时调整的本发明的另一方法实施方式；以及

图5示意性地示出了本发明的方法实施方式，其中根据检测到的漂移速度或根据检测到的界标位置来执行覆盖(即，增强)。

具体实施方式

图1示意性地示出了计算机实现的向用户(特别是医学从业者)生成医学视频数据和覆盖数据的覆盖方法的流程图。该方法包括步骤S1，其中从所使用的医学视频模态获取所需的医学视频数据。所述医学视频数据包括至少第一视频帧和第二视频帧，第一视频帧和第二视频帧在不同的时间点t1和t2捕获图像场景。此外，在步骤S2中，分析所获取的医学视频数据，并且所述分析包括比较由第一视频帧和第二视频帧捕获的视频数据内容。如上文已详细解释且将在下文中利用实施方式来说明的，所述至少两个视频帧的这种比较可以以若干不同方式来执行。此外，图1所示的方法包括在步骤S3中提供初始覆盖数据。所述提供的初始覆盖数据可以是增强模型，或者可以是从诸如跟踪系统的外部系统接收的覆盖数据。在步骤S3中，基于在步骤S3中执行的医学视频数据的分析/比较的结果来调整所述初始覆盖数据。以此方式，在步骤S4中生成经修改的覆盖数据。然后，所述生成的经修改的覆盖数据被用于生成覆盖，其被用作最终向用户示出的视频输出。

在步骤S5中生成的所述覆盖至少包括源自医学视频模态的医学视频数据，并且包括生成的经修改的覆盖数据。除了前面提到的该方法的几个不同的详细实施方式之外，建议使用两个通用机制来分析所获取的视频数据，并且基于所述分析的结果相应地调整初始覆盖数据。在第一一般实施方式中，使用外推，其例如在图3所示实施方式的上下文中进一步描述。作为第二机制，发明人已经发现并建议算法可以等待其决定是否以及如何生成覆盖，直到算法已经读出视频模态的视频帧，直到特定预定义的最大数量的视频帧像素为止。当已经读出所述视频帧直到该特定数量的像素时，算法可以决定是否将生成增强(即，覆盖)。将相对于在图4和图5的上下文中解释的实施方式更详细地描述该机制。

必须注意，图1中所示的方法以及本文中描述的任何其它方法实施方式可以通过例如使用FPGA结构的装置来执行，如公开的专利申请DE 10 2017 010351A1中所描述的。特别地，所述公开专利申请的图1中描述的装置可用于实施本发明。在此公开的图1的方法还可以被实现为例如与诸如在DE 10 2017010 351A1中详细描述的系统之类的系统相关的已知技术。执行图1中描述的方法步骤S1至S5的装置可以具有一个或更多个处理单元。优选地，实施本发明的这种装置的所有部件都设置在单个壳体内的半导体电路内，并且还包括FPGA块。本领域技术人员清楚的是，这种装置包括相应的数字视频输入和/或数字视频输出。装置还可以包括H264和/或H265视频编码器和视频解码器，以便通过网络接口发送和/或接收视频信号。

图2示意性地示出了包括计算机201的医学视频模态系统200，在计算机201上运行程序，该程序使得计算机执行例如关于先前图1所解释的方法步骤。计算机包括处理器/计算单元208，该处理器/计算单元208使得由计算机201执行步骤S1至S5，如上文所描述且下文将更详细地描述的。医学视频模态系统200还包括成像装置202，其生成提供给计算机201的医学视频数据203。在优选实施方式中，成像装置202被实现为内窥镜、超声装置、显微镜或其任意组合。视频信号203至少包括本文所述的第一视频帧和第二视频帧。视频信号被提供给存储单元204，视频信号可以记录在存储单元204中。另外，视频信号203还被转发到显示器205，根据本发明，包括经修改的覆盖数据的覆盖可以与视频数据一起呈现给显示器205的用户。作为示例性实施方式，用户可以在屏幕205上看到解剖对象206，该解剖对象206与如本文公开的被调整的增强模型207一起被同时显示。

增强模型例如可以是图像并且对图像的角点进行调整，或者增强模型可以是线模型或者表面模型(三角形和/或正方形)并且对该模型的节点进行调整。在另一实施方式中，如上文已经详细解释的，当基于第一视频帧和第二视频帧的分析结果来调整增强模型时，可以优选地使用附加透明通道重新呈现纹理模型。在一个实施方式中，使用所谓的扫描线方法，其中模型的复杂性被降低，使得具有模型边缘的线的横截面的最大数量不超过先前定义的特定且恒定的数量。执行本发明的系统可以对在本发明期间处理的数据进行预排序，优选地，使用在图像的垂直轴方向上的预排序。如前面已经详细描述的，可以定义停止或取消标准，使得当检测到的移动显著到增强将不能提供富有成效的结果或者在技术上不可行时，不发生增强，即不产生覆盖。

图3示意性地示出了根据本发明的另一示例性实施方式的另一方法实施方式的流程图300，其中针对增强模型执行漂移检测并且计算外推。同样在图3的方法300中，生成医学视频数据和覆盖数据的覆盖305，并且包括以下步骤。从医学视频模态(例如从显微镜)获取不同时间点t1和t2的第一视频帧301和第二视频帧303。通过比较第一视频帧和第二视频帧来确定所述两个视频帧301和303的医学视频数据随时间的变化的算法来自动分析所获取的视频数据。此外，在图3所示的方法300中，从作为医学视频模态的显微镜获取至少第三视频帧304。第三视频帧来自第三时间点t3。如图3所示，所有三个视频帧301、303和304被提供为用于执行方法300的处理器、装置或计算机的输入p1、p2和p3。如可以从所示的解剖对象302a看到的，第二视频帧303中的解剖对象的位置已经改变到位置302b。此外，在视频帧304中，解剖对象的位置已经改变为302c。因此，通过比较第一视频帧和第二视频帧，在当前情况下可以以漂移分析的形式确定视频数据中的变化。在步骤307中，初始覆盖数据的外推的计算被计算到时间点t3。此外，产生视频输出305，视频输出305包括作为输入p3的第三视频帧304以及通过将初始覆盖数据外推到第三时间点t3而产生的经修改覆盖数据306，其在图3中与增强模型306一起示出。因此，通过产生视频输出305(其是向用户示出的期望覆盖)，向医学从业者提供实时增强，其中在位置302d处结合增强模型306的实时增强来显示成像对象。换句话说，在第一视频帧301和第二视频帧303中所确定的随时间的变化是在视频帧中成像的对象302a、302b、302c和302d的空间移位。如从图3的描述中可以清楚地看出，在医学视频模态的视频流中，第三视频帧直接跟随第二视频帧。应当注意，如针对图3所描述的漂移分析和覆盖的对应生成被用作图4的实施方式中所示的计算机实现的方法400中的可选特征(参见t0和t1的视频帧401和403)。

注意，根据进一步从刚才描述的实施方式发展而来的类似实施方式，初始覆盖数据的外推被计算到第四时间点t4。这里视频输出的生成包括第三视频帧和外推到第四时间点t4的初始覆盖数据。此外，在来自t3和t4的第三视频帧和第四视频帧之间，存在低于所述视频模态的一个视频帧、低于视频帧的一行、或低于视频帧的10个、8个、5个或低于4个像素的时间延迟。在使用所述“计算到第四时间点t4”的该实施方式中，由于考虑了在视频帧t3和t4处的覆盖的生成之间存在的附加延迟，因此甚至更多地外推增强模型。然而，该延迟低于一个视频帧、或者低于视频帧的一行或低于视频帧的几个像素。因此，必须从t3添加到t4的以秒为单位的相应时间，即刚才提到的所述非常低的延迟，可以用于外推增强模型/初始覆盖数据。然后，外推到t4的增强模型可以与t3的视频帧一起有利地显示给用户。

对于图3所示的实施方式，前面已经详细描述了通过对增强模型应用空间移位来修改初始覆盖数据。然而，本领域技术人员清楚的是，经修改的覆盖数据的生成还可以包括将失真应用于增强模型、新渲染增强模型、调整增强模型的至少一个参数、用另一增强模型替换增强模型或其任意组合。换句话说，在图3所示的实施方式中，计算医学视频模态的成像装置与图像对象之间的运动的影响，并且当生成经修改的覆盖数据时，补偿所计算的影响。

图4示出在此呈现的计算机实现的方法的另一方法实施方式400。在图4的方法中，从医学视频模态获取第一视频帧403以及第二视频帧404。因此，它们在不同的时间点t1和t2捕获场景，并且被用作执行所提出算法的处理器、计算机或装置的输入p1和输入p2。如图4所示，根据第一视频帧403确定增强模型406。此外，还从第一视频帧403确定所述增强模型406的至少一个界标。当执行所提出的算法的处理器、计算机或装置正在读出第二视频帧404时，自动识别在第二视频帧404中存在所述确定的至少一个界标的位置。当然，在算法中可以使用几个界标。基于对一个或多个界标的这种实时分析，调整增强模型406的至少一个参数，从而生成经修改的覆盖数据408。在图4的该实施方式中，生成覆盖的步骤(如上文例如在图1的具有步骤S5的上下文中所描述的)包括以下步骤。由执行所提出算法的处理器、计算机或装置生成的视频输出405包含第二视频帧404和自适应增强模型408。注意，帧404中的界标识别和初始增强模型406的至少一个参数的调整与覆盖405的生成同时执行，即在相同视频帧内执行。然后向用户显示覆盖405。经调整的增强模型408被添加为逐像素输出a2至p2，其是在t2处扫描第二视频帧404(即，实时覆盖)时第二视频帧404的视频内容。如图4所示，参见左手侧，例如可以使用可选的漂移分析来区分可接受的界标。为此目的，可以提供示出对象402a并且源自时间点t0的较早视频帧402作为输入p0。图4所示的漂移分析方面类似于上文例如在图3的上下文中所描述的。

除了图3和图4的实施方式之外，图5示出了根据本发明的另一实施方式500的另一计算机实现的方法。在图5的方法500中，通过分析源自捕获第二视频帧504之前的时间点的至少两个视频帧501和503，来确定由医学视频模态成像的对象502a、502b和502c的空间漂移。在实施方式500中，基于所确定的空间移位量来决定是否接受要在该方法中使用的界标和/或是否生成覆盖505。换句话说，在方法500中评估在视频帧503中确定的特定界标是否存在于视频帧504中预定义的最大数量的视频帧像素内，从而使用逐行视频帧读出。并且如果在视频帧504中所述最大数量的视频帧像素内不存在所述特定界标，则不生成覆盖。此外，类似于图4，基于对第一视频帧503中的界标的分析来确定初始增强模型506。基于所识别的漂移，可以基于检测到的界标移位来决定是接受还是拒绝经调整的增强模型507。在被接受的情况下(在图5中被描述为“基于界标移位接受a2”)，通过将作为输出的视频内容p2与所生成的经修改的覆盖数据507(即经修改的增强模型507)组合在一起来生成覆盖505，其在图5中向用户示出为覆盖到解剖对象502d。

图5中描述的算法500可以有益地将覆盖505生成为与医学视频数据相比具有低于一个视频帧或甚至低于几个像素的时间延迟的实时覆盖。在这种情况下，移位可能向下几行，相当于数万像素(仍然非常小)。

此外，说明书和权利要求书中的术语“第一”、“第二”、“第三”或“(a)”、“(b)”、“(c)”、“(d)”或“(i)”、“(ii)”、“(iii)”、“(iv)”等用于区分相似的元件，而不一定用于描述顺序或时间顺序。应当理解，如此使用的术语在适当的环境下是可互换的，并且本文描述的本发明的实施方式能够以不同于本文描述或图示的其它顺序操作。

在术语“第一”、“第二”、“第三”或“(a)”、“(b)”、“(c)”、“(d)”或“(i)”、“(ii)”、“(iii)”、“(iv)”等涉及方法或用途或测定的步骤的情况下，步骤之间不存在时间或时间间隔一致性，除非另有说明，即步骤可以同时执行，或者这些步骤之间可能存在秒、分钟、天、周、月甚至年的时间间隔，除非在如上文或下文所述的申请中另有说明。

根据对附图、公开内容和所附权利要求的研究，本领域技术人员在实施所要求保护的发明时可以理解和实现所公开实施方式的其它变型。在权利要求中，词语“包括”不排除其它元件或步骤，并且不定冠词“一个”不排除多个。单个处理器或其它单元可以实现权利要求中所述的若干项目或步骤的功能。仅仅在相互不同的从属权利要求中叙述某些措施的事实并不表明这些措施的组合不能被有利地使用。计算机程序可以存储/分布在合适的介质上，诸如与其它硬件一起提供或作为其它硬件的一部分提供的光学存储介质或固态介质，但是也可以以诸如经由互联网或其它有线或无线通信系统的其它形式分布。权利要求中的任何附图标记不应被解释为限制权利要求的范围。

Claims (16)

1.一种生成医学视频数据和覆盖数据的覆盖的计算机实现的方法，所述方法包括以下步骤：

-从医学视频模态获取所述医学视频数据，所述医学视频数据至少包括不同时间点t1和t2的第一视频帧和第二视频帧(步骤S1)，

-分析所获取的医学视频数据，所述分析包括比较由所述第一视频帧和所述第二视频帧捕获的视频数据(步骤S2)；

-提供初始覆盖数据(步骤S3)，

-通过基于对所述医学视频数据的分析的结果调整所述初始覆盖数据来生成经修改的覆盖数据(步骤S4),以及

-通过生成视频输出来生成所述覆盖(步骤S5)，所述视频输出至少包括源自所述医学视频模态的医学视频数据并且包括所生成的经修改的覆盖数据。

2.根据权利要求1所述的方法，

其中，所生成的覆盖是实时覆盖，其特征在于，与所述医学视频数据相比，所生成的覆盖具有低于一个视频帧、低于视频帧的五行、低于视频帧的两行、低于视频帧的一行、低于视频帧的二十个像素、低于视频帧的十个像素、低于视频帧的八个像素、低于视频帧的五个像素、或低于视频帧的四个像素的时间延迟。

3.根据前述权利要求中任一项所述的方法，

其中，分析所获取的医学视频数据的步骤(步骤S2)包括通过比较所述第一视频帧和所述第二视频帧(301、303)来确定所述医学视频数据随时间的变化，所述方法还包括以下步骤：

-从所述医学视频模态获取至少第三时间点t3的第三视频帧(304)，

其中，生成经修改的覆盖数据的步骤(步骤S4)包括：

-在计算所述初始覆盖数据到时间点t3的外推时使用所确定的第一视频帧和第二视频帧的视频数据随时间的变化(步骤S4a)，以及

其中，所述覆盖的生成(步骤S5)包括：

-生成包括所述第三视频帧(304)和被外推(306)到第三时间点t3的初始覆盖数据的视频输出(305)(步骤S5a)。

4.根据权利要求3所述的方法，

其中，以下关系成立：t1<t2<t3；并且

其中优选地，在所述医学视频模态的视频流中，所述第三视频帧直接跟随所述第二视频帧。

5.根据权利要求3或4所述的方法，

其中，所确定的第一视频帧和第二视频帧中随时间的变化是在视频帧中成像的对象的空间移位。

6.根据前述权利要求中任一项所述的方法，

其中，所述初始覆盖数据是增强模型，并且

其中，生成经修改的覆盖数据的步骤包括将空间移位应用于所述增强模型、将失真应用于所述增强模型、新渲染所述增强模型、调整所述增强模型的参数、用另一增强模型替换所述增强模型、及其任意组合中的至少一个。

7.根据前述权利要求中任一项所述的方法，所述方法还包括以下步骤：

-计算所述医学视频模态的成像装置与成像对象之间的运动的影响并在生成经修改的覆盖数据时补偿所计算的影响。

8.根据前述权利要求中任一项所述的方法，

其中，由所述第一视频帧和所述第二视频帧捕获的视频数据的比较被实现为自动确定所述第一视频帧中的增强模型的界标，并且被实现为在所述第二视频帧中搜索并查找所确定的界标。

9.根据前述权利要求中任一项所述的方法，所述方法包括以下步骤：

-从所述第一视频帧(403)确定增强模型(步骤S6)；

-从所述第一视频帧(403)确定所述增强模型的至少一个界标(步骤S7)；

-在读出所述第二视频帧的同时自动识别所述第二视频帧中的所确定的至少一个界标(步骤S8)；

-基于所述第二视频帧中的界标识别的结果来调整所述增强模型(406)的至少一个参数，从而生成所述经修改的覆盖数据(408)(步骤S9)；

其中，生成所述覆盖的步骤(步骤S5)包括：

-生成包括所述第二视频帧(404)和经调整的增强模型的视频输出(405)(步骤S10)，并且

其中，所述界标识别(步骤S8)和所述增强模型的所述至少一个参数的调整(步骤S9)与所述覆盖的生成(步骤S5)同时执行，即在相同视频帧内执行。

10.根据权利要求9所述的方法，

其中，所述覆盖的生成与所述第二视频帧的读出同时执行，即在相同视频帧内执行。

11.根据权利要求9或10所述的方法，

其中，所述界标识别的步骤(步骤S8)包括：

-评估在所述第一视频帧中确定的特定界标是否存在于所述第二视频帧中预定最大数量的视频帧像素内，从而使用逐行视频帧读出，并且

其中，如果在所述第二视频帧中所述最大数量的视频帧像素内不存在所述特定界标，则不生成覆盖。

12.根据前述权利要求中任一项所述的方法，所述方法还包括以下步骤：

-通过从捕获所述第二视频帧(504)之前的时间点分析所述视频模态的至少两个视频帧(501、503)，来确定由所述医学视频模态成像的对象的空间漂移，以及

-基于所确定的空间移位来决定是否接受要在所述方法中使用的界标和/或是否生成覆盖。

13.根据前述权利要求中任一项所述的方法，所述方法包括以下步骤：

-自动识别所述第一视频帧中的特定器械(步骤S10)，

-从数据库获取所识别的特定器械的增强模型(步骤S11)，从而提供初始覆盖数据。

14.一种程序，当在计算机上运行时或当加载到计算机上时，所述程序使所述计算机执行根据前述权利要求中任一项所述的方法的方法步骤；

和/或其上存储有所述程序的程序存储介质；

和/或包括至少一个处理器和存储器和/或程序存储介质的计算机，其中，所述程序在所述计算机上运行或加载到所述计算机的所述存储器中；

和/或携带表示所述程序的信息的信号波或数字信号波；和/或表示所述程序的数据流。

15.一种医学视频模态系统(200)，其包括：

a)根据权利要求14所述的至少一个计算机(201)；

b)成像装置(202)，用于生成所述医学视频数据(203)。

16.根据权利要求15所述的医学视频模态系统，

其中，所述成像装置是或包括内窥镜、超声装置、显微镜或其任意组合。

Images