CN115910256A - 外部数据源与集成医疗数据显示系统之间的数据交换 - Google Patents

Abstract

本发明涉及外部数据源与集成医疗数据显示系统之间的数据交换。描述了一种用于在用于注释(ANO)的外部数据源(5)与集成医疗数据显示系统(1)之间交换数据的方法。该方法包括以下步骤：通过捕获屏幕(2)来确定显示在集成医疗数据显示系统(1)的屏幕(2)上的信息(SCR‑C)；以及执行以下步骤中的至少一个：从分配给所确定的信息(SCR‑C)的外部数据源(5)中选择数据(D‑EXT，ECW)并显示互补的所选择的数据(D‑EXT，ECW)，基于所确定的信息(SCR‑C)从集成医疗数据显示系统(1)中提取注释(ANO)并将提取的注释(ANO)附加到外部数据源(5)以用于注释(ANO)。此外，描述了一种数据交换装置(60)。此外，描述了一种医学数据分析系统(10)。

Description

外部数据源与集成医疗数据显示系统之间的数据交换

技术领域

本发明涉及在用于注释的外部数据源与集成医疗数据显示系统之间交换数据的方法。本发明还涉及用于在外部数据源与集成医疗数据显示系统之间交换数据的数据交换装置。此外，本发明涉及基于AI的数据分析系统。

背景技术

基于AI的应用(AI＝人工智能)在医学评估领域特别是针对医学图像(例如，磁共振图像、计算机断层扫描图像、X射线图像、单光子发射计算机断层扫描图像、正电子发射断层扫描图像或超声图像)的医学评估领域越来越广泛。然而，IT问题特别是集成问题目前阻碍了广泛采用。特别地，在PACS(PACS＝图片存档和通信系统)以及/或者RIS(RIS＝放射信息系统)中缺乏用于显示AI结果以及用于与AI结果进行交互的标准机制，这促使AI供应商使用专有接口合同或使用他们自己的通常在附加应用(例如，web浏览器，也称为“审查屏幕”或“确认屏幕”或“确认UI”(UI＝用户界面))中的应用来将基于AI的应用集成到PACS和/或RIS中。该后一种方法提出了附加窗口的挑战，该附加窗口在大多数时间与主PACS查看器的行为不同步。用户必须执行两次操作。例如，如果他滚动到PACS查看器中的特定切片，他还必须在AI确认屏幕中重新执行此操作。这些方法不便于在放射学中适当且轻松地集成人工智能，并且降低了人工智能的广泛使用：现在众所周知，卓越的常规工作流程集成是AI在医学成像中成功的关键。

一种常规的方法是开发包含查看器和AI工具的产品。工具包括软件，该软件使方法的计算机辅助应用——优选地在会话操作中——成为可能。另一种方法涉及通过专有API(API＝应用编程接口)在两个组件之间建立兼容性。通过两个应用之间的既定标准和实时数据交换、通过iFrame嵌入式方法或类似方法的深度集成来保证通用互操作性。

然而，实际上，在临床现场使用大量PACS和AV(AV＝高级可视化)查看器，因此建立与每个单个医疗查看器进行更深入集成的通用接口相当不切实际且成本高昂，尤其是将外部应用窗口(也被称为确认UI)与现有PACS查看器一起使用是不切实际的，因为这两者是完全不同步的。

因此，开发如下解决方案是合适的，该解决方案将有助于通过使这样的外部AI结果在正确的上下文(即，图像切片)中可用并可能很好地集成到主查看环境(即，覆盖)而将这样的外部AI结果集成和显示到任何PACS查看器上。

在上述场景中出现的另一个问题是附加窗口的挑战，因为附加窗口隐藏了有用的内容，因此附加窗口大多数时间不能很好地适应所选的默认PACS/RIS布局或AV查看器的布局。例如，大多数时候，附加窗口会全屏显示，并且如果位置和大小不合适，则必须手动移动附加窗口。类似地，诸如外部工具栏或小部件(widget)的较小工具通常仅自动定位在某些固定位置处，例如右下角。这些方法不便于在放射学中适当且轻松地集成人工智能。

如上所述，一种方法是让查看器和AI工具属于同一产品。两个组件之间的兼容性可以通过专有API而建立，通用互操作性也可以通过已建立的标准、通过iFrame嵌入式方法或类似方法的深度集成来保证。然而，也如上所述，实际上，在临床现场使用大量PACS查看器和AV查看器，这使得建立通用界面或与每个单个医学查看器更深度集成相当不切实际且成本高昂，例如将外部应用UI(UI＝用户界面)嵌入到现有的PACS/RIS UI(RIS＝放射信息系统)中尤其不切实际，因为这些方法成本高昂且在极少数情况下才进行。

基于AI的医疗信息的示例是对病变的检测和量化，这在减少放射图像的阅读时间方面具有很大的潜力。这可以通过自动去除重复和手动繁琐的任务(例如，肺结节的直径测量)来实现。然而，鉴于AI算法的性能不完美，总是需要考虑用户添加的病变，这些病变也必须在后续扫描中被跟踪。通常，用户添加的病变被添加在PACS/RIS UI中，而确认UI通常无法访问用户添加的病变。如果软件不具备这样的功能，则这将带来更大的工作流程成本。AI发现的结节集合与用户添加的那些结节集合之间的大小排序将不一致，并且目标病变可能不同。在这样的情况下，用户必须在不同的工具之间切换，并考虑AI发现的病变和分别由用户添加的病变。在这样的情况下，所有的工作流程改进都会消失。因此，捕获用户添加的病变至关重要。

此外，如果查看器和AI工具(即，确认UI)属于同一产品，或者两个组件之间的兼容性是通过专有API建立的，或者通过既定标准或类似标准保证通用互操作性，则最后提到的特殊问题通常是可以解决的。然而，在现实中，临床现场使用大量PACS查看器和AV查看器，因此与每个单个医疗查看器建立通用接口相当不切实际且成本过高。

发明内容

因此，本发明潜在的一般问题是改进用于确定注释数据的外部数据源(特别是图像处理应用)与诸如PACS系统的集成医疗数据显示系统之间的数据交换。

前述问题通过根据本发明的技术方案所述的用于在用于注释的外部数据源与集成医疗数据显示系统之间交换数据的方法、通过根据本发明的技术方案所述的用于在外部数据源与集成医疗数据显示系统之间交换数据的交换装置、以及通过根据本发明的技术方案所述的医学数据分析系统来解决。

根据用于在用于注释的外部数据源(该外部数据源优选地基于AI工作)与集成医疗数据显示系统(例如PACS工作站)之间交换数据的方法，通过捕获屏幕来确定显示在集成医疗数据显示系统的屏幕上的信息。如稍后详细讨论的，可以通过屏幕捕获技术来实现捕获屏幕。

屏幕捕获技术可以使用所谓的屏幕相机来实现，屏幕相机包括从计算机屏幕生成数字图像或视频的软件。

在此上下文中，优选地，用于注释数据的外部数据源包括优选地基于AI但不限于此的图像处理应用及其数据库。如稍后还将详细讨论的，显示在集成医疗数据显示系统的屏幕上的信息可以包含医疗数据，例如，由用户标记的医疗图像以及/或者注释。该信息还可以包含形式信息，尤其是可以用于在屏幕上找出适当的区域以定位外部应用的窗口(例如用户界面窗口)的布局信息。另外，执行以下步骤中的至少一个：自动选择来自分配给确定信息的外部数据源的数据，并显示与所显示的信息互补的所选择的数据。这意味着所选择的数据被显示在位置上，使得所选择的数据不会隐藏显示的信息。替选地或另外地，基于确定的信息从集成医疗数据显示系统中提取注释，优选地由用户添加的注释，并且将提取的注释附加到外部数据源以用于注释数据。

有利地，该方法不需要不同系统之间的严格集成，由于多个不同的显示系统和数据源系统，这将是不合适的。

用于分析检索到的信息的工具(例如，被实现为数据交换装置)优选地在本地运行，即在运行集成医疗数据显示系统的硬件(例如，工作站本身)上运行。

该方法还确保在没有手动配置的情况下在确认UI中甚至在第三方PACS/RIS环境中外部数据源的内容的最佳显示以及“嵌入式外观和感觉”。信息可以用于需要与其他系统(例如，查看器或工作列表)结合使用的大量数字健康解决方案的产品，主要是包含查看器的可以因在上下文中被调用和使用而受益的所有产品，例如专注于基于AI的医学图像处理的系统或专注于基于AI的临床路径决策支持的系统。

此外，该方法还确保在没有手动配置或复杂的集成任务的情况下甚至在第三方PACS/RIS环境中用户界面窗口的最佳显示以及“嵌入式外观和感觉”。该方法可以用于需要与其他第三方系统(例如查看器或工作列表)结合使用的数字健康应用处的多种产品，例如AI小部件、来自AI应用或后处理(交互式)应用的结果审查屏幕等。

基于确定的信息从集成医疗数据显示系统中提取注释并将检测到的注释附加到外部数据源以用于注释的附加步骤与主动重新训练基于AI的算法以用于确定(新)注释的可选步骤的组合改进或定制例如用于检测病变的算法性能。此外，该方法可以用于随着时间跟踪可疑对象或诸如病变的现象。

根据本发明的用于在用于注释数据的外部数据源和例如PACS服务器的集成医疗数据显示系统之间交换数据的数据交换装置包括用于通过跟踪屏幕确定显示在集成医疗数据显示系统的屏幕上的信息的确定单元和以下单元中的至少一个：选择和显示单元，其用于从分配给确定信息的外部数据源中选择数据，并显示与显示的信息互补的所选择的数据。所选择的数据被显示为使得选择的数据不对所显示的信息隐藏所显示的信息。替选地或另外地，数据交换装置还可以包括提取单元，该提取单元用于基于确定的信息从集成医疗数据显示系统中提取注释并将检测到的注释附加到外部数据源以用于注释数据。该数据交换装置共享根据本发明的用于在用于注释数据的外部数据源与集成医疗数据显示系统之间交换数据的方法的优点。

根据本发明的优选地基于AI的医学数据分析系统包括用于存储医学图像数据的远程外部数据源、用于评估或处理医学图像数据的优选地基于AI的评估单元，即优选地用于注释数据的外部数据源，根据本发明的用于显示评估的医学图像数据的集成医学数据显示系统和数据交换装置。医疗数据显示系统可以包括第三方PACS系统。根据本发明的医学数据分析系统共享根据本发明的用于在用于注释数据的外部数据源与集成医学数据显示系统之间交换数据的方法的优点。

根据本发明的数据交换装置的主要部件大部分可以以软件组件的形式被设计。这尤其适用于数据交换装置的确定单元、选择和显示单元以及提取单元，而且也适用于部分输入接口。然而，原则上，这些组件中的一些也可以以软件支持的硬件的形式实现，例如处理器或FPGA等，尤其是在涉及特别快速的计算时。同样，例如如果只是从其他软件组件传输数据的问题，则接口可以被设计为软件接口。然而，它们也可以被设计为由合适的软件控制的基于硬件的接口。此外，上述组件的某些部分可以被分布和存储在本地或区域或全球网络或网络和软件的组合中，特别是云系统中。

很大程度上基于软件的实现具有以下优点：已经被使用的医学数据分析系统可以通过软件更新容易地被改装，以便以根据本发明的方式工作。在这方面，该目的还通过具有计算机程序的相应计算机程序产品来实现，该计算机程序可以直接被加载到医学数据分析系统的存储器装置中，该计算机程序具有程序段，以便如果程序在医疗数据分析系统中被执行则执行根据本发明的方法的所有步骤。除了计算机程序之外，这样的计算机程序产品还可以包含附加组件(例如，文档)以及/或者包括硬件组件(例如，用于使用软件的硬件密钥(加密狗等))的附加组件。

为了传输到医学数据分析系统以及/或者为了存储在医学数据分析系统之上或之中，使用计算机可读介质，例如记忆棒、硬盘或一些其他可传输或永久安装的数据载体，其上存储可以由医学数据分析系统的计算机单元读入和执行的计算机程序的程序段。计算机单元可以包括例如用于此目的的一个或更多个协作微处理器等。

从属权利要求和以下描述各自包含本发明的特别有利的实施方式和发展。特别地，一个权利要求类别中的权利要求也可以类似于另一权利要求类别中的从属权利要求进一步发展。此外，在本发明的范围内，不同示例性实施方式和权利要求的各种特征也可以被组合以形成新的示例性实施方式。

在根据本发明的方法的变体中，显示在屏幕上的确定的信息包括以下类型的信息中的至少一种：

-医疗数据的内容以及/或者

-关于显示的数据的格式的正式信息，

-非图像信息，包括患者元数据或检查元数据。

医疗数据的内容包括描述医疗数据的主题的信息。医疗数据包括患者数据和主治医生的标识数据。患者数据包括与患者相关的在医疗机构中确定或获取或处理或存储的所有个人信息。

显示的数据的格式包括有关显示的结构的形状和大小的信息，特别是屏幕的窗口和子窗口。

患者元数据或检查元数据包括属性，用于对患者数据或检查数据进行标记和分类，以实现快速且高效的搜索过程。患者元数据包括例如患者的标识符。例如，检查元数据包括检查的标识符。

如果屏幕上显示的信息包括医学数据的内容(例如，医学图像数据)，则可以对图像数据进行指定和个性化。此外，可以从外部数据源中检索与指定和个性化的图像数据相关的特定注释数据，例如与其相关的注释，并且可以结合当前显示的医学图像进行显示。

如果医学数据包括注释，可以使用根据本发明的方法提取注释并将其添加到外部数据源，该外部数据源使用人工智能生成与相同医学图像相关的注释。注释包括添加到医学图像数据的注释。这样的符号可以包括医学图像数据中发现的标签(例如，某些结节的位置以及/或者分类，其中，分类可以例如对应于相应结节的恶性或良性的水平)或医学图像数据的分割(例如，器官或器官的部分在医学图像日期内被标识，例如，用于放射治疗计划或体积测量)。

在根据本发明的方法的可选步骤中，用户制作注释，并且自动生成的注释被融合到外部数据源中。因此，改进了医学图像的分析。在根据本发明的方法的另一个可选步骤中，用户添加的注释用于(重新)训练优选地基于AI的注释生成，从而改进医学图像的自动分析。

在根据本发明的方法的变体中，显示在屏幕上的确定的信息包括关于所显示的数据的格式的正式信息，并且正式信息包括屏幕布局，屏幕布局包括屏幕部分，屏幕部分包括视口和定界屏幕部分中的至少一个，定界屏幕部分包括图像片段；以及/或者正式信息包括集成医疗数据显示系统中的用户输入。

如果屏幕上显示的确定的信息包括正式信息，例如关于屏幕布局的信息，例如显示的视口的位置和边界，则可以检测活动视口并且可以确定最不感兴趣的监视器部分，即非活动视口或用户已经查看过的或在其他地方复制的患者信息。这些部分可以用于显示外部应用窗口，例如小部件、通知器或确认UI。外部应用窗口可以用作与集成医疗数据显示系统的屏幕上的外部数据源交互的用户界面。正式信息(即正式屏幕内容)还可以包括图像查看器中的用户输入，其可以给出屏幕上优选使用的区域的提示，例如，可能非常适合于显示需要可见性的内容的“高度关注”的区域。

包含患者元数据或检查元数据的非图像信息可以包括来自RIS/报告屏幕的上下文内容，例如工作列表、患者病史等。

在根据本发明的方法的另外的变体中，确定信息的步骤包括以下子步骤中的至少一个：

-使用能够屏幕跟踪的工具来优选地实时捕获屏幕内容，该工具可用于捕获屏幕布局以及/或者用户输入，

-优选地通过OCR(OCR＝光学字符识别)例如通过监测所捕获的屏幕布局的特定区域来检测哪个检查或患者当前被显示在屏幕上，其中显示患者ID或登录号，或在捕获的屏幕布局中寻找这样的数据点，

-基于捕获的屏幕布局例如通过确定限定视口的边界框的(x，y)坐标来分类哪些屏幕部分对应于哪些图像片段，并且对于每个分类的图像片段，通过分析显示在相应视口的角落的元数据或通过将像素数据与外部应用已知的该患者的一组图像(如用于注释数据的外部数据源)互相关来标识用户当前正在可视化并且最终处于活动状态的图像，在这种情况下，还可以确定所显示的图像的切片编号和系列以进行标识，

-标识用户正在针对特定切片使用哪个窗位(window level)，可选地以推断他可能正在查看的器官。例如，肺窗，通常W：1500L：-600，例如灰度值以-600HU(HU＝Hounsfield单位)为中心，并且其中窗宽为1500HU，这表明放射科医生对肺部而不是其他器官感兴趣。

特别地，在确定信息的步骤包括基于捕获的屏幕布局分类的子步骤的情况下，哪些屏幕部分对应于哪些图像片段，在屏幕上显示的确定的信息包括关于显示的数据的格式的正式信息，其中，正式信息包括包含屏幕部分的屏幕布局，其中，屏幕部分包括至少一个包括图像片段的定界屏幕部分。

在这种情况下，必须提到，屏幕可以被划分为多个定界的屏幕部分。这些定界的屏幕部分可以包括边界框或视口作为限制框。这些屏幕部分中的每一个都可以被实现为图像片段，其描绘特殊类型的图像。特别地，图像片段包括或涉及用户正在查看的医学成像数据集的至少一部分。例如，如果要显示三维DICOM检查，图像片段可以对应于通过该三维检查的某个二维切割平面，或者图像片段可以对应于该三维检查的某个投影(例如，最大强度投影)，或者图像片段可以对应于该三维检查的某个渲染结果。

OCR(即光学字符识别)包括将印刷文本的图像电子转换为机器编码的文本。OCR可以用于识别屏幕上的文本。在这种情况下，OCR可以用于识别与关于患者ID或登录号的信息相关的关键字。

加窗是通过CT数字(即HU值)对图像的CT图像灰度分量进行操纵的过程。通过窗位调整图像的亮度。通过窗宽调整对比度。窗宽是图像包含的CT编号的范围的度量。

通常，用户正在工作的窗位的标识也使得能够在确认UI中使用相同的窗位。

可以设想，这些操作(例如相关性)将需要优选地在云或边缘服务器中发生，而不是在用户当前正在使用的工作站中发生，因为这些远程系统优选地是具有必须被关联的缺失部分的位置：例如，PACS/工作站显示切片，并且云/边缘拥有该切片的结果。这意味着数据是使用数据隐私保护方法传输的(例如，通过用非标识元数据(如标识符号或字符串)替换标识元数据(如患者姓名)来伪化图像，而非标识元数据无法通过远程系统与患者相关联)。站点的上传速度和下载速度也可能是此选择的决定性因素。

在根据本发明的方法的另一个变体中，外部数据源包括结果，优选地外部数据源包括AI结果，并且从外部数据源中选择数据的步骤包括：在外部数据源中搜索与所确定的内容相对应的结果，以及/或者过滤外部数据源中的数据可用结果，其中，选择的数据包括结果。这意味着例如查询通过集成医疗数据显示系统的屏幕上的屏幕捕获而标识的图像系列和切片的结果。特别地，结果(优选地AI结果)是与可以使用工作站访问的医学图像相关的结果。

在根据本发明的方法的变体中，显示所选择的数据的步骤包括：在集成医疗数据显示系统的屏幕上显示的图像(切片)的顶部上生成包括与所确定的信息相对应的注释的覆盖，但独立于集成医疗数据显示系统。

集成医疗数据显示系统的屏幕上显示的信息(例如医学图像数据)可以被理解为第一应用窗口。然后可以将覆盖实现为至少部分透明的第二应用窗口。覆盖包括在前景中呈现的与集成医疗数据显示系统的显示信息交叠的第二应用窗口。覆盖与确定的信息(例如PACS的医学图像)配准，使得覆盖所描绘的结果(例如注释)位于所显示信息的对应位置处。特别地，使用配准能够使覆盖的位置和大小适应底层显示的信息。特别地，例如通过调整覆盖的位置和/或大小以匹配所显示的信息来使覆盖与确定的信息在空间上配准。

可以以使用使结果与原始图像很好区分的适当的颜色或样式以最大化可用性的方式来生成覆盖。如果覆盖是交互式的，那么需要具有焦点。在集成医疗数据显示系统(例如PACS)的屏幕上滚动时，可能还需要具有焦点。这可以通过调整覆盖的大小以便在后台应用中启用滚动来解决，或者通过对后台程序实施事件转发逻辑来解决。

替选地，如果没有找到足够合适的最不感兴趣的区域，则可以生成所选择的数据至少部分地与集成医疗数据显示系统的图像的交叠。

在根据本发明的方法的另一个变体中，显示所选择的数据的步骤包括：在紧邻集成医疗数据显示系统打开的特定外部窗口中显示所选择的数据。外部窗口可以包括图像后处理应用的结果审查和可视化屏幕，例如基于AI的图像分析应用。与计算机上发现的其他程序类似，此窗口可能始终停留在前台，并且只能通过点击或切换额外的按钮才能恢复到后台或被隐藏。

例如，此外部窗口中显示的结果可以被呈现在“迷你查看器”中，以显示由AI应用计算的结果，或者此外部窗口中显示的结果可以被呈现在“小部件”中，以显示类似列表的文本和图标信息。例如，如果放射科医生正在查看特定肺部窗口中的胸部CT，即具有较早标识的窗位和窗宽，则应用可以只呈现与肺部相关的结果例如气道、结节、实质，并且省略与骨骼、心脏和主动脉有关的结果。如果该方法以足够的速度/性能即接近实时被获得，则该方法可以为外部应用提供类似同步滚动的功能，该外部应用能够跟随用户在集成医疗数据显示系统例如PACS的屏幕上查看的图像。如果例如因为放射科医生正在快速滚动而无法满足提供放射科医生正在查看的完全相同的切片的结果的性能，则仍然可以推断出下一个发现以显示考虑，例如放射科医生在哪个方向上滚动图像。例如，如果放射科医生已经滚动浏览了切片267-268-269，则工具被准备以显示切片270的发现。

总的来说，“接近实时”的行为可能只能通过使用附加的技术来实现，例如，例如通过下采样或使用基于自动编码器的方法减少图像的维度而不损失信息(无损压缩)。一般来说，数据的流式传输必须在技术上进行优化，这可能导致只使用(本地)边缘服务器而不使用云。

在根据本发明的方法的另一个变体中，显示在屏幕上的信息包括阅读工作场所监视器的当前布局。这意味着有多少视口以及它们在PACS监视器上的位置以及在视口之外显示的元数据(如RIS/报告内容)在哪里的信息最终位于单独的非诊断监视器上。可以通过使用稍后详细讨论的图像处理技术从确定的信息中检索这样的布局信息。该信息可以用于找出一组监视器上最不感兴趣的区域，并且该信息还可以用于显示与外部数据源交互的界面。在本发明的另一个方面中，这可以用于检测最感兴趣的区域，以便使用它们来显示重要的内容(例如，增加要被用户看到的时间关键信息的概率)，或者相反保护它们免受因外部窗口的任何隐藏。

此外，在根据本发明的方法的变体中，确定信息的步骤包括：基于捕获的布局来确定所显示的视口的角或位置或边界。这可以通过基于学习的方法来完成，由于任务非常简单，现在这种基于学习的方法可以提供非常好的性能。另一种替选是标准图像处理技术，如卷积处理。例如，存在众所周知的特定内核，所述特定内核可以检测不同宽度的水平线和竖直线，然后通过阈值处理能够检索不同的视口。线检测在过去已经成为相当广泛研究的图像处理课题，并且也被很好地掌握。最后，我们还可以预见配置设置或一些固定规则。但是这可能会降低系统可以处理的布局的类型的灵活性。为此，一个想法可能是使用第一屏幕截图来捕获所用屏幕的整体结构，然后使用某些用户界面请求用户在此图像上限定可能被视为“最不感兴趣”的区域或例如视口。这可以针对一组常见的布局来完成，然后该组常见的布局将被持久化。

在根据本发明的与用于在集成医疗显示系统的显示器上查找区域的版本相关的方法的变体中，确定信息的步骤包括：

-使用利用屏幕捕获跟踪的鼠标活动来确定一个或更多个活动视口，或者

-确定不包含图像片段的屏幕部分，

-在确定的屏幕部分内显示外部应用窗口。

可以执行这些步骤来查找屏幕上当前没有被用户关注的部分或区域，因此可以用于定位用户与外部数据源之间的界面的窗口。

在根据本发明的方法的另一变体中，确定信息的步骤包括：使用度量来基于确定的信息将至少一个屏幕部分确定为“最不感兴趣的监视器部分”。这样的部分可以包括非活动视口或已经被查看过或在其他地方被复制的患者信息。例如，已经被查看过的患者信息设置有标签或被显示在较小的窗口中，以用于明确标识该类型的患者信息。该变体还包括在确定的屏幕部分内显示外部应用窗口的步骤。

可以定义度量，以使小型监视器部分不像更扩展的监视器部分那样有趣。

然而，这样的度量可以包括更复杂的标准。这些标准可以包括：

在以下情况之一中，监视器部分不感兴趣：

-它只包含非常小的文本，

-它只包含在屏幕上的其他地方更容易看到的文本，因为例如它在那里被显示得更大或更集中，

-它仅包含小图像(也被称为缩略图)，并且所有图像都以大版本被显示在屏幕上的其他位置。

最不感兴趣的部分之一(例如，非活动视口或非图像片段)可以被保留用于在该位置处显示外部应用窗口(例如，小部件、通知器或结果审核UI)，该外部应用窗口可能已经适当地被调整大小以适应此空间并正确显示以供用户交互。这样，由于外部应用没有隐藏原始图像的重要部分，因此用户感觉外部应用被适当地集成并且使得能够观看原始图像的所有相关部分。

通过应用的响应式设计并且通过容器窗口的大小调整，可以轻松实现成功的大小调整。容器窗口是外部应用窗口或它被集成在其中的框或外部应用窗口在屏幕中占用的空间。

在根据本发明的方法的另一个变体中，如果有几个候选位置可用，则可以基于以下技术中的至少一个来选择最佳位置：

-基于外部应用窗口与最不感兴趣的监视器部分之间的最佳大小匹配，

-基于外部应用窗口与最不感兴趣的监视器部分之间的纵横比匹配，

-如果没有找到与外部应用窗口匹配的最不感兴趣的监视器部分，则使集成医疗数据显示系统交叠。

特别地，如果某个监视器部分的大小(宽度和/或高度)小于显示外部应用窗口所需的大小(宽度和/或高度)，则最不感兴趣的某个监视器部分与外部应用窗口不匹配。

第一种技术与监视器部分的面积或长度或宽度的量有关，例如可以被选择用于显示外部应用窗口的窗口或视口。

第二种技术涉及被选择用于显示外部应用窗口的窗口的2D形状。

如果没有足够的位置用于显示外部应用窗口，则可以使用交叠技术。如果最不感兴趣的区域太小，则可能最好将内容显示在其他地方。因此，即使我们隐藏了部分中等感兴趣的内容，内容也会被显示得更大，这是优势。

屏幕捕获工具可以在本地运行，即在用户的工作站上运行。在数字医疗流程的设想场景中，假设该工具与云之间的所有通信都将通过单个端口和网关进行路由，因为医院通常不喜欢从工作站打开到云的直接互联网连接。然而，如果允许的话，可以设想简单的API调用，即从工作站到云，具有直接互联网连接。直接从云或边缘服务器发起交互也是可行的。

可以通过使用标准库来实现提到的屏幕捕获工具。这些库通常将屏幕捕获为图像或最终视频，并允许将其“连续”流式传输到选择的目的地。像Phantom JS这样的扩展到屏幕而不仅仅是网页的开源库可以起作用。另一种选择是依赖非常标准化的东西，例如“屏幕捕获API”，对于这，用户必须“接受”他想用来监视屏幕的哪个部分，可能每个会话一次。

数据隐私可能是这种方法的主要问题。可能有必要应用数据隐私保护技术来修改捕获的图像，以便将它们传输到云。例如，在将包括捕获的图像的文件传输到云之前，该文件被加密，并且访问仅限于经授权的实例，这些经授权的实例具有用于对包括捕获的图像的文件进行解密的密钥。

“外部应用窗口”可以始终保持在前台，并且可能只能被带回到后台，或者通过它携带的附加按钮点击或切换而被隐藏。这样，既不会妨碍与后台应用的交互，同时又可以在“外部应用窗口”中进行交互。

在根据本发明的方法的另外的变体中，确定显示在集成医疗数据显示系统的屏幕上的信息的步骤包括：

-基于信息来检测参考系，

-检测参考系中关于确定的信息的注释。

具体地，这意味着例如使用能够进行屏幕跟踪的工具来实时捕获屏幕内容。为了标识参考系，预先配置和自动检测参考系。阅读工作流程通常足够标准化，以至于可以在分屏上预先配置始终用于注释系列的特定窗口。替选地，也可以通过例如分析显示的元数据(如系列描述)来自动检测特定窗口，这些元数据通常被显示为图像上的覆盖。此外，可以基于rgb值(rgb＝红绿蓝)来检测通常为非白色/非黑色的用户标记。替选地，可以从未注释的图像中减去图像内容以计算注释的掩模。然后确定检测到的用户标记(即注释)的位置。可选地，可以将检测到的用户标记发送到远程位置，并且可以由优选地基于AI的处理单元检测基于用户标记的位置的新病变。在这种情况下，可以使用用户添加的病变作为种子点来自动检测新病变。

在根据本发明的方法的特殊变体中，确定检测到的用户标记的位置的步骤包括：确定检测到的用户标记的切片编号。这可以通过使用例如OCR检测显示的元数据来实现，或者通过将给定切片与未注释的图像栈的每个切片互相关来实现。

此外，确定注释标记的坐标，这意味着确定相对于参考系的相对x坐标和相对y坐标，即确定像素的x值和y值。

在根据本发明的方法的变体中，基于检测到的用户标记检测新病变的步骤包括以下步骤中的至少一个：

-对新病变的完整DICOM数据执行分割任务，

-对新病变的完整DICOM数据执行检测任务，

-对新病变的完整DICOM数据执行表征任务。

因此，可以基于用户添加的病变来改进对新病变的自动检测。

所捕获的注释可以被用作似真性验证器，以仅向用户呈现他可能已经错过的AI发现，例如他还没有为其绘制注释的发现。

附图说明

下面再次参照附图来说明本发明。在不同的附图中，相同的部件具有相同的附图标记。

这些附图通常不是按比例绘制的。

图1示出了PACS屏幕和RIS/报告屏幕的组合的示意图；

图2示出了关于图1中所示的组合的示意图，其中，使用屏幕捕获和像素数据的互相关来标识查看了哪些图像/系列和切片；

图3示出了关于图1和图2中所示的屏幕组合的示意图，其中，通常基于应用于检测到的视口中的图像数据的窗位和宽度来检测用户聚焦在哪个器官上，并且其中，与这些图像并行显示包含有关检测到的图像的附加结果的外部窗口；

图4示出了关于图1至图3中所示的屏幕组合的示意图，其中，由不是PACS的一部分的工具生成覆盖；

图5示出了如下流程图，该流程图示出了根据本发明的用于在用于注释数据的外部数据源与集成医疗数据显示系统之间交换数据的方法；

图6示出了根据本发明的实施方式的包括交换装置的医疗数据分析系统数据的示意图；

图7示出了PACS系统的屏幕的示意图，其中，屏幕捕获用于实时跟踪屏幕内容；

图8示出了图7中所描绘的屏幕的示意图，其中，在屏幕中确定了最不感兴趣的区域；

图9示出了图7和图8中所描绘的屏幕的示意图，其中，确定该区域是否适合于外部内容窗口的显示；

图10示出了图7至图9所描绘的屏幕的示意图，其中，外部内容窗口被显示在最不感兴趣的合适区域上方；

图11示出了PACS系统的屏幕的示意图，其中，确定了屏幕中最不感兴趣的区域；

图12示出了图11中所描绘的屏幕的示意图，其中，外部内容窗口被显示在最不感兴趣的合适区域上方；

图13示出了如下流程图，该流程图示出了根据本发明的第二实施方式的用于在用于注释数据的外部数据源与集成医疗数据显示系统之间交换数据的方法；

图14示出了根据本发明的第二实施方式的包括数据交换装置的医疗数据分析系统的示意图；

图15示出了PACS的屏幕的示意图，其中，确定了参考系；

图16示出了图15中所描绘的屏幕的示意图，其中，检测到注释；

图17示出了图15或图16中所描绘的屏幕的示意图，其中，确定并定位了注释中心；

图18示出了如下流程图，该流程图示出了根据本发明的第三实施方式的用于在用于注释数据的外部数据源与集成医疗数据显示系统之间交换数据的方法；

图19示出了根据本发明的第三实施方式的包括数据交换装置的医疗数据分析系统的示意图。

具体实施方式

在图1中，示出了集成医疗数据显示系统1的示意图，即左侧的第一屏幕2(也称为图像查看器或“PACS监视器”)和右侧的第二屏幕3(也称为“RIS/报告监视器”)的组合1。RIS/报告监视器3主要用于显示非诊断文本信息，不包含图像，但包含文本，如患者信息、报告、工作清单、病历信息等。RIS/报告监视器3特别用于显示基于AI确定的数据。作为PACS系统(PACS＝图片存档和通信系统)的一部分的PACS监视器2包括在左侧显示医学图像(例如患者的肺L)的第一视口(viewport)。在PACS监视器2的右侧，肺L被显示为具有另一个窗口设置(窗位和窗宽)。为了实现根据本发明的第一实施方式的数据交换方法，使用用于跟踪PACS监视器2的屏幕的工具来捕获PACS监视器2(即，图像查看器)的屏幕中的屏幕布局和用户输入。上述工具在本地运行，即在PACS监视器2本身的工作站上运行。屏幕捕获包括跟踪元数据，例如捕获图像片段以及使用的窗位。在图1中，例如检测与肺L的图示有关的窗位。此外，例如通过OCR或其他手段来检测当前打开并显示在第一屏幕2上的检查或患者。此外，通过监视捕获的屏幕布局的其中显示患者ID或登录号的特定区域或通过在捕获的布局中寻找这样的数据点来实现检测。在图1所示的步骤中尚未使用图1右侧的第二屏幕(即，RIS/报告监视器3)。此外，图1中示出了外部数据源5，外部数据源5使用基于AI的应用来分析先前接收到的与PACS监视器2中显示的图像相对应的医学图像数据，并且基于接收到的医学图像数据确定基于AI的注释数据。

图2示出了图1中所示的PACS监视器2和RIS/报告监视器3的组合1的示意图，其中，使用屏幕捕获和像素数据的互相关来标识查看了哪个图像、系列和切片。从图2中可以看出，在PACS监视器2的屏幕的左侧，显示肺L的窗口由虚线分割，而在PACS监视器2的屏幕的左侧和右侧的右上角，检测到同样由虚线框起来的数字“1/270”，这是显示在PACS监视器2的屏幕的右侧的图像切片的切片编号。

因此，PACS监视器2的屏幕的左侧的一个视口包含图像和右上角的切片编号，而右侧的一个视口包含具有不同窗口设置的一个图像和右上角的切片编号SN，其中，切片编号SN可以与第一个相同以用于同步滚动，或者可以与第一个不同以用于不同步滚动。

在图1和图2所示的步骤中，第二屏幕(即，RIS/报告监视器3)尚未使用。

因此，对于每个标识的图像片段IS，通过分析显示在该视口的角落的元数据或通过将第一屏幕(即，PACS监视器2)的像素数据与通过外部数据源5的基于AI的外部应用已知的该患者的一组图像IM互相关来标识用户当前正在可视化并最终处于活动状态的那个图像切片SN。

正如仍然提到的，还可以标识用户正在为这个特定切片工作的那个窗位，以便更准确地推断他可能正在查看哪些器官。这些操作，尤其是关联，被设想在云或边缘服务器中发生，因为电子网络中的这些位置是唯一具有必须关联的“缺失部分”的位置。例如，PACS监视器2在图像片段IS中显示具有检查ST的图像IM的系列SE的切片编号SN的切片，并且云或边缘服务器(例如数据源5)拥有关于该图像片段IS和切片SN的结果，并拥有完整图像堆栈(数据集)的副本，以允许执行相关联。换言之，对于标识的图像系列SE和切片SN以及图像片段IS，关于该特定图像片段IS和切片SN的结果的存在或不存在来查询外部数据源5的基于AI的应用的数据库。

在图3中，示出了图1和图2中所示的屏幕2、3的组合1的示意图，其中，基于检测来当前显示哪个切片被分配给特定的切片编号SN，并且可选地哪个器官被分配给图像片段IS，相应的基于AI的结果被显示在第二屏幕3(即，RIS/报告监视器)上。基于AI的结果由外部数据源5提供，外部数据源5存储基于AI确定的注释数据D-EXT。

如在图3中看到的，在第二屏幕3上显示的肺L的图像中，多个病变LS1、LS2、LS3、LS4被标记为注释数据D-EXT。因此，可用的结果，并且只有与该切片相对应的这些结果被显示在第二屏幕3上的在PACS查看器2(即，第一屏幕2)旁边打开的特定外部窗口中。该第二屏幕3也可以命名为AI应用的“结果审查屏幕”。此窗口可以始终保持在前台，并且可能只能通过点击或切换窗口所携带的附加按钮才能被带回后台并且被隐藏。

例如，此外部窗口中显示的结果可以在迷你查看器中被呈现。例如，如果放射科医生正在查看特定肺部窗口的胸部CT，则应用可以仅呈现与肺部L相关的结果，例如气道、结节、实质(parenchyma)，并省略与骨骼、主动脉和心脏相关的结果。

如果以足够的速度(即接近实时)获得基于AI的信息的显示的适应的过程，则该方法可以为外部应用提供类似同步滚动的功能，能够跟随用户在PACS中正在查看的图像。如果查看这些图像，仍然可以推断出下一个发现，例如考虑放射科医生在哪个方向上滚动图像。总的来说，接近实时的行为可能只能通过使用附加的技术来实现，例如，在不丢失信息的情况下例如通过下采样或使用基于自动编码器的方法来降低(捕获的)图像的维度。一般来说，数据的流式传输必须在技术上进行优化，这可能导致只使用边缘服务器而不使用云。

在图4中，示出了图1和图2中所示的屏幕2、3的组合的替选场景的示意图，其中，覆盖OL由不是PACS的一部分的工具在第一屏幕2上生成。这意味着基于AI的结果(即，病变LS1、LS2、LS3、LS4的注释)与由工具(即，数据交换装置60(如图6所示))生成的覆盖OL一起被显示，其中覆盖OL不是PACS的一部分而是作为“假”覆盖来实现，以确保在PACS监视器2“中”的可编辑性以及与结果的交互，而无需更深入的PACS集成。换言之，PACS监视器2中所示的切片的顶部上的覆盖OL由数据交换装置60生成，对应于将使实现“在上下文中”的结果对象之间的实时交互的结果，但是结果对象不是PACS本身的一部分。覆盖OL可以以最大化可用性的方式被生成，例如使用使结果与原始图像很好区分的适当的颜色和样式。如果覆盖OL是交互式的，那么在PACS中滚动时，也需要将焦点放在覆盖OL上。这可以通过以下来解决：调整覆盖OL的大小，以便在后台应用中启用滚动，或者对后台程序实施事件转发逻辑。

图5示出了流程图500，该流程图500示出了根据本发明的第一实施方式的用于在用于注释数据的外部数据源5与集成医疗数据显示系统1之间交换数据的方法，其中，进行外部数据源的数据与集成医疗数据显示系统的适配。

在步骤5.I中，使用了工具CS-T，该工具能够进行屏幕跟踪以实时捕获屏幕内容SCR-C以及捕获PACS系统的屏幕2上的用户输入UI。

在步骤5.II中，例如通过OCR检测当前在屏幕2上打开了哪个检查ST或患者P。检测通过以下来实现：监测所捕获的屏幕布局的其中显示患者ID P-ID和/或登录号ACN的特定区域或通过应用附加图像处理技术从完整捕获的屏幕中提取这些数据点。

在步骤5.III中，基于捕获的屏幕布局来对哪些屏幕部分SCR-P对应于哪些图像片段IS进行分类。例如，确定限定视口的边界框的(x，y)坐标。

在步骤5.IV中，对于每个标识的图像片段IS，标识用户当前正在可视化并且最终处于活动状态的图像IM。这可以通过分析显示在该视口的角落的元数据或通过将像素数据与通过外部应用已知的该患者的一组图像进行互相关来完成。例如，图像IM被标识为患者P的肺的图像。此外，切片编号SN以及检查ST的序列编号SE也被标识。

在步骤5.V中，选择来自外部数据源5的数据D-EXT(例如，注释数据)，将数据D-EXT分配给确定的信息(例如，肺的图像IM)。外部数据D-EXT包括AI结果，并且选择来自外部数据源5的外部数据D-EXT的步骤包括在外部数据源5中搜索与确定的内容对应的AI结果。例如，请求由图像系列SE、切片SN和检查ST标识的AI结果。

在步骤5.VI中，将选择的数据D-EXT与显示的信息互补地显示，使得选择的数据不隐藏显示的信息。

对于互补的显示，如图4所示，可以使用在PACS监视器2上显示但独立于PACS的显示系统的医学图像的顶部上的覆盖OL。PACS监视器2上显示的医学图像数据可以被理解为第一应用窗口。然后，覆盖层OL被实现为至少部分透明的第二应用窗口。第二应用窗口与PACS监视器2上的PACS应用窗口交叠呈现在前景中。覆盖与PACS的医学图像配准，使得覆盖所描绘的结果位于所显示的医学图像的相应位置处。因此，配准包括将覆盖OL的位置和大小适配到底层图像。覆盖以使用使结果能够与原始图像很好区分的适当的颜色或样式来最大化可用性的方式被生成。如图3中所述，另一个(集成度较低的)选项是在与检测到的图像不交叠的单独窗口中显示结果。

在图6中，示出了医疗数据分析系统10的示意图，即包括根据本发明的实施方式的数据交换装置60、集成医疗数据显示系统1和具有外部数据源5的评估单元15的布置。数据交换装置60包括确定单元61，该确定单元61用于通过跟踪屏幕2来确定显示在集成医疗数据显示系统1的屏幕2上的信息。

确定单元61包括屏幕捕获子单元61a，该屏幕捕获子单元61a够进行屏幕跟踪以实时捕获屏幕内容SCR-C并捕获用户输入UI。

此外，确定单元61包括文本识别子单元61b，该文本识别子单元61b通过OCR或其他文本识别技术检测当前在屏幕上打开了哪些检查ST或患者P。该检测通过以下来实现：监测捕获的屏幕布局的其中显示患者ID P-ID和/或登录号ACN(图6中未示出)的特定区域或从完整捕获的屏幕中提取这些数据点。

此外，确定单元61包括分类单元61c，该分类单元61c基于捕获的屏幕布局来对哪些屏幕部分SCR-P对应于哪些图像片段IS进行分类。例如，限定视口的边界框的(x，y)坐标被确定。

确定单元61还包括标识单元61d，该标识单元61d针对每个标识的图像片段IS来标识用户当前正在可视化并且最终处于活动状态的图像IM。这可以通过分析显示在屏幕上的视口的角落中的元数据或通过将像素数据与通过外部应用已知的该患者的一组图像互相关来完成，外部应用在图6中由评估单元15表示并且被应用于外部数据源5。例如，图像IM被标识为患者P的肺L的图像，其中切片编号为SN，序列为SE。

数据交换装置60还包括选择单元62，该选择单元62用于从分配给确定信息IM的外部数据源5中选择或过滤数据D-EXT。

数据交换装置60然后将选择的数据D-EXT发送到集成医疗数据显示系统1，以用于显示与显示的信息互补的所选择的数据。例如，所选择的数据D-EXT如图4所示在PACS查看器2上被显示为覆盖OL，或如图3所示被显示在分开的第二屏幕3上。

数据交换装置60可以是(个人)计算机、工作站、在主机硬件上运行的虚拟机、微控制器或集成电路。特别地，数据交换装置60可以是移动装置，例如智能电话或平板计算机。作为替选，数据交换装置60可以是真实的或虚拟的计算机组(真实计算机组的技术术语是“集群”，虚拟计算机组的技术术语是“云”)。

一般来说，确定单元61、选择单元62和提取单元63可以包括硬件要素和软件要素，例如，微处理器、CPU(“中央处理器单元”的首字母缩略词)、GPU(“图形处理单元”的首字母缩略词)、现场可编程门阵列(首字母缩略词为“FPGA”)或ASIC(“专用集成电路”的首字母缩略词)。确定单元61、选择单元62和提取单元63可以被配置用于多线程，即确定单元61、选择单元62和提取单元63可以同时托管不同的计算进程，并行地执行这些进程或在主动计算进程和被动计算进程之间切换。具体地，确定单元61、选择单元62和提取单元63可以是几个硬件要素和软件要素的组合，具体地，确定单元61可以包括一个或更多个确定单元作为子组件，选择单元62可以包括一个或更多个选择单元作为子组件，提取单元63可以包括一个或更多个提取单元作为子组件。图7示出了PACS系统的屏幕2的示意图，其中，屏幕捕获用于实时跟踪屏幕内容。图7涉及本发明的第二实施方式，本发明的第二实施方式涉及外部数据源5(图7中未示出)的内容在PACS系统的屏幕2上的适当定位。例如，图7中的屏幕2包括四个视口，并且在右上角有用于显示元数据的在这个示例中像图像缩略图一样的字段2b。

图8示出了图7所描绘的屏幕2的示意图，其中，在屏幕2中确定最不感兴趣的区域2c。基于通过屏幕捕获从屏幕2捕获的信息，检测角位置和边界。这可以通过基于学习的方法来完成。另一替选方法可以基于卷积处理。例如，有一些众所周知的特定内核能够检测不同宽度的水平线和竖直线，其可以用于通过阈值处理来检索屏幕2上的不同视口和区域。最不感兴趣的区域2c的检测也可以交互地来实现。例如，可以使用第一屏幕截图来捕获使用的屏幕2的整体结构，并且请求用户使用一些用户界面以在该图像上限定可以被认为是最不感兴趣的区域2c的区域。对于一组公共布局，可以提前完成请求，然后将其持久化。

在图9中，示出了在图7和图8中描绘的屏幕2的示意图，其中，确定最不感兴趣的区域2c是否适合于显示外部内容窗口ECW(如图10中描绘的)。最终，将执行调整大小以适应该空间并正确显示。通过应用的响应式设计和相应容器窗口的大小调整，可以轻松实现成功的大小调整。如果有多个候选位置可用，则可以基于最佳大小匹配或者基于依赖于不同度量(例如，如果在特定位置放置窗口则将被隐藏的要显示的窗口的纵横比适合度、内容类型)的不同候选者的排名等来选择最佳位置。

图10示出了图7至图9中描绘的屏幕2的示意图，其中，外部内容窗口ECW被显示在最不感兴趣的合适区域2c上方。

在图11中，示出了PACS系统的屏幕2的示意图，其中，确定了屏幕2中最不感兴趣的区域2c，其另外延伸到相邻的视口上。

在图12中，示出了图11中所描绘的屏幕2的示意图，其中，外部内容窗口ECW被显示在最不感兴趣的合适区域2c上方，该合适区域2c被扩展到足以显示当前描绘的截面头部图像的注释图像。

图13示出了流程图1300，该流程图1300示出了根据本发明的第二实施方式的用于在用于注释数据的外部数据源与集成医疗数据显示系统之间交换数据的方法。

在步骤13.I中，使用屏幕捕获方法来实时跟踪屏幕内容SCR-C。为了检测用于在PACS系统的屏幕2上显示提到的外部数据源的内容的合适位置(如图7至图12所示)而进行屏幕捕获。

在步骤13.II中，在屏幕2中确定最不感兴趣的区域2c。基于通过屏幕捕获从屏幕2捕获的信息，检测角位置和边界。这可以通过基于学习的方法来完成。

在步骤13.III中，确定最不感兴趣的区域2c是否适合于显示外部内容窗口ECW。如果是这种情况，则用“y”表示，该方法继续进行步骤13.VII。如果大小不合适，则用“n”表示，在步骤IV中确定是否可以调整RES的大小。如果可以调整RES的大小，这在图13中用“y”表示，则在步骤13.V中执行调整大小以适应该空间并正确显示。

如果调整RES的大小是不可能的或不可行的，这在图13中用“n”表示，例如因为最终经调整大小的窗口会太小或低于某个阈值大小、太失真等，所以在步骤13.VI中，可以通过显式隐藏内容来自动决定在单独的监视器上显示内容，同时承认对于外部窗口中显示的内容将获得更好的可读性。

在步骤13.VII中，根据步骤13.III和13.IV的决定，将外部内容窗口ECW显示在最不感兴趣的合适区域2c上方或单独的监视器上。

在图14中，示出了根据本发明的第二实施方式的医疗数据分析系统10的示意图，该医疗数据分析系统10包括数据交换装置60和集成医疗数据显示系统1。

数据交换装置60包括确定单元61，该确定单元61用于通过跟踪屏幕2来确定显示在集成医疗数据显示系统1的屏幕2(未示出)上的信息。

确定单元61包括屏幕捕获子单元61a，该屏幕捕获子单元61a能够进行屏幕跟踪以实时捕获屏幕内容SCR-C。

此外，确定单元61包括位置检测单元61dd，该位置检测单元61dd用于检测屏幕中最不感兴趣的区域2c。基于通过屏幕捕获从屏幕2捕获的信息，检测角位置和边界。这可以通过基于学习的方法来完成。

数据交换装置60还包括选择单元62，该选择单元62用于从外部数据源5中选择数据D-EXT，以用于在外部内容窗口ECW中显示这些数据D-EXT。选择单元62包括：选择子单元62a，该选择子单元62a用于从外部数据源5检索数据D-EXT；以及形成单元62b，该形成单元62b用于调整检索到的数据D-EXT的大小以使得该数据D-EXT适合于最不感兴趣的区域2c，并且该形成单元62b用于定位包括在最不感兴趣的区域2c中检索到的数据D-EXT的外部内容窗口ECW。

此外，将外部内容窗口ECW传输到集成医疗数据显示系统1，以用于在确定的区域2c处显示外部内容窗口ECW。

替选地，仅传输正确定位和显示外部内容窗口ECW所需的数据。例如，不传输全窗口ECW本身，而仅传输诸如“ECW角位置”、“ECW宽度”、“ECW高度”、“ECW中心”等的一些参数，以便窗口ECW知道如何基于这些接收到的参数来定位自身。

图15示出了PACS的屏幕2的示意图，其中，在屏幕2上确定了参考系2d。在第三实施方式中，在由参考系2d确定的右上方视口中通过屏幕2上的屏幕跟踪工具来捕获作为注释病变LS的到图像查看器2中的用户输入。在图15中还描绘了未被选择的附加视口2a。

对于该对象，会自动检测参考系2d。为此，工作流程通常充分地被标准化，以在分屏上预配置始终用于注释系列的特定窗口。替选地，也可以通过例如分析显示的元数据(如通常被显示为图像上的覆盖的系列描述)来自动检测特定窗口。

图16示出了图15所描绘的屏幕2的示意图，其中，在检测到的帧2d中检测注释ANO。用户标记(即，注释ANO)的检测可以基于rgb值来实现。替选地，可以从未注释的图像中减去图像内容以查看最大偏差，从而计算注释ANO的掩码。注释ANO可以是不同的类型，例如但不限于线条、简单或竖直、矩形、圆形或椭圆形的边界框(感兴趣区域)或十字准线。

图17示出了图15或图16所描绘的屏幕2的示意图，其中，确定并定位注释中心AC。例如，确定注释标记AN的坐标CO。根据注解类型，确定和保持不只是注解的中心可能很有用，例如为每个注解确定多于一个的坐标点。例如，对于十字准线，可以确定中心，还可以确定十字准线的最大直径或两条线的坐标。

作为另一示例，对于圆形注释，可以确定圆的中心和圆的近似半径或直径。然而，使用中心确定注释的大致位置是最低要求，这对于某些应用来说可能已经足够了。此外，对于每个捕获的标记ANO，将注释标识符AN、对应的切片编号SN和对应的以像素为单位的x坐标和y坐标CO保存并发送到远程位置。这个新捕获的注释数据可能会被加密传输，使得获得的知识不会在没有明确许可的情况下被暴露给第三方系统。

图18示出了根据本发明的第三实施方式的用于在外部数据源与集成医疗数据显示系统之间交换数据的方法的流程图。

在步骤18.I中，使用屏幕捕获工具来实时跟踪屏幕内容SCR-C。屏幕捕获用于检测参考系2d。

在步骤18.II中，在检测到的帧2d中检测注释ANO。如上所述，用户标记(即，注释ANO)的检测可以基于rgb值来实现。替选地，可以从未注释的图像中减去图像内容以查看最大偏差，从而计算注释ANO的掩模。

在步骤18.III中，确定并定位注释中心AC。此外，确定注释标记ANO的坐标CO。此外，对于每个捕获的标记AN，将注释标识符AN、对应的切片编号SN和对应的以像素为单位的x坐标和y坐标CO保存并发送到远程位置。

图19示出了根据本发明的第三实施方式的包括数据交换装置60的医疗数据分析系统10的示意图。

数据交换装置60包括确定单元61，该确定单元61用于通过跟踪屏幕2来确定显示在集成医疗数据显示系统1的屏幕2上的信息SCR-C。

确定单元61包括屏幕捕获子单元61a，该屏幕捕获子单元61a能够进行屏幕跟踪以实时捕获屏幕内容SCR-C。

此外，确定单元61包括参考系检测单元61f，该参考系检测单元61f用于基于捕获的屏幕内容SCR-C来检测参考系2d。

此外，确定单元61包括注释检测单元61g，该注释检测单元61g用于对检测到的帧2d中的注释ANO进行检测。

此外，确定单元61包括注释中心检测单元61h，该注释中心检测单元61h用于确定注释中心AC并定位注释中心AC。根据注释类型，也可以确定其他类型的界标，例如“中心+末端”或“中心+半径”。

数据交换装置60还包括注释添加单元63，该注释添加单元63用于针对每个注释ANO来确定注释编号AN、对应的切片编号SN以及对应的以像素为单位的x坐标和y坐标CO并且将附加注释数据ANO保存在外部数据源5中。

以上描述仅是本公开内容的优选实施方式，但是并不旨在限制本公开内容，并且在本公开内容的精神和原则之内所作的任何修改、等同替换、改进等均应包括在本公开内容的保护范围内。

此外，未限定的冠词“一”或“一个”的使用不排除所提及的特征也可以多次出现。同样，术语“单元”或“装置”不排除它由几个部件构成，这些部件也可以是空间分布的。

Claims (15)

1.一种用于在用于注释(ANO)的外部数据源(5)与集成医疗数据显示系统(1)之间交换数据的方法，包括以下步骤：

-通过捕获屏幕(2)来确定显示在所述集成医疗数据显示系统(1)的屏幕(2)上的信息(SCR-C)，

-至少执行以下步骤之一：

-从分配给所确定的信息(SCR-C)的外部数据源(5)中选择数据(D-EXT，ECW)并显示与所显示的信息(SCR-C)互补的所选择的数据(D-EXT，ECW)，

-基于所确定的信息(SCR-C)从所述集成医疗数据显示系统(1)中提取注释(ANO)，并将所提取的注释(ANO)附加到所述外部数据源(5)以用于注释(ANO)。

2.根据权利要求1所述的方法，其中，显示在所述屏幕(2)上的所确定的信息(SCR-C)包括以下类型的信息中的至少一种：

-医疗数据的内容(IM，IS)，以及/或者

-关于所显示的数据的格式的正式信息，以及/或者

-非图像信息，包括患者元数据或检查元数据。

3.根据权利要求2所述的方法，其中，显示在所述屏幕(2)上的所确定的信息(SCR-C)包括关于所显示的数据的格式的正式信息，其中，所述正式信息包括：

-包括屏幕部分的屏幕布局，所述屏幕部分包括视口(2a，2b)和定界屏幕部分中的至少一个，所述定界屏幕部分包括图像片段(IS)；以及/或者

-所述集成医疗数据显示系统(1)中的用户输入。

4.根据权利要求3所述的方法，其中，确定信息(SCR-C)的步骤包括以下中的至少一项：

-使用能够进行屏幕跟踪的工具来捕获屏幕内容(SCR-C)，

-检测当前在所述屏幕(2)上显示哪个检查(ST)或患者(P)，

-基于所捕获的屏幕布局，对哪个屏幕部分对应于哪个图像片段(IS)进行分类，以及对于每个分类的图像片段(IS)，标识所述用户当前正在可视化并且最终处于活动状态的图像(IM)，

-标识所述用户针对特定切片(S)正在使用哪个窗位，并且可选地基于所述窗位来推断所述用户正在查看的器官(L)。

5.根据前述权利要求中任一项所述的方法，其中，

-所述外部数据源(5)包括结果，以及

-从所述外部数据源(5)中选择所述数据(D-EXT，ECW)的步骤包括在所述外部数据源(5)中搜索与所确定的信息(SCR-C)相对应的结果，其中，所选择的数据(D-EXT，ECW)包括所述结果。

6.根据权利要求4或5所述的方法，其中，显示所选择的数据(D-EXT)的步骤包括在所述集成医疗数据显示系统(1)的屏幕(2)上显示的所确定的信息(SCR-C)的顶部上生成覆盖(OL)的步骤，其中，所述覆盖(OL)包括与所确定的信息(SCR-C)对应的注释(ANO)，并且其中，所述覆盖(OL)与显示在所述屏幕(2)上的所确定的信息(SCR-C)配准。

7.根据前述权利要求中任一项所述的方法，其中，显示所选择的数据(D-EXT)的步骤包括以下步骤之一：

-在所述集成医疗数据显示系统(1)旁边打开的特定外部窗口中显示所选择的数据(D-EXT)，

-将所选择的数据(D-EXT)至少部分地与所述集成医疗数据显示系统(1)交叠。

8.根据权利要求3至7中任一项所述的方法，其中，确定信息(SCR-C)的步骤包括基于所捕获的当前屏幕布局确定所述屏幕(2)上显示的视口(2a，2b)的角位置或边界的步骤。

9.根据权利要求3至8中任一项所述的方法，其中，确定信息(SCR-C)的步骤包括：

-使用屏幕捕获跟踪的鼠标活动来确定至少一个活动视口(2a，2b)，以及/或者

-确定不包含图像片段(IS)的屏幕部分(2c)，并且在所确定的屏幕部分(2c)内显示外部应用窗口(ECW)。

10.根据权利要求8或9所述的方法，其中，确定信息(SCR-C)的步骤包括：

-基于所确定的信息(SCR-C)，使用度量来确定至少一个屏幕部分(2c)作为最不感兴趣的监视器部分，

-在至少一个最不感兴趣的监视器部分中的至少一个内显示外部应用窗口(ECW)。

11.根据权利要求10所述的方法，其中，在确定了多个最不感兴趣的监视器部分的情况下，基于以下技术中的至少一种来选择所述外部应用窗口(ECW)的最佳位置：

-基于所述外部应用窗口(ECW)与所述最不感兴趣的监视器部分之间的最佳大小匹配，

-基于所述外部应用窗口(ECW)与所述最不感兴趣的监视器部分之间的纵横比匹配，

-如果没有找到与所述外部应用窗口(ECW)匹配的最不感兴趣的监视器部分，则将所述外部应用窗口(ECW)与所述集成医疗数据显示系统(1)的图像(IM)交叠。

12.根据前述权利要求中任一项所述的方法，其中，确定在所述集成医疗数据显示系统(1)的屏幕(2)上显示的信息(SCR-C)的步骤包括：

-基于所确定的信息(SCR-C)来检测参考系(2d)，

-基于所确定的信息(SCR-C)在所述参考系(2d)中检测注释(ANO)。

13.一种用于在用于注释(ANO)的外部数据源(5)与集成医疗数据显示系统(1)之间交换数据(D-EXT，ECW，ANO)的数据交换装置(60)，包括：

-确定单元(61)，所述确定单元(61)用于通过捕获屏幕(2)来确定显示在所述集成医疗数据显示系统(1)的屏幕(2)上的信息(SCR-C)，以及

-以下单元中的至少一个：

-选择单元(62)，所述选择单元(62)用于从分配给所确定的信息(SCR-C)的外部数据源(5)中选择数据(D-EXT，ECW)并显示与所显示的信息(SCR-C)互补的所选择的数据(D-EXT，ECW)，

-提取单元(63)，所述提取单元(63)用于基于所确定的信息(SCR-C)从所述集成医疗数据显示系统(1)中提取注释(ANO)并将所提取的注释(ANO)附加到所述外部数据源(5)以用于注释(ANO)。

14.一种计算机程序，所述计算机程序包括指令，所述指令在由计算机执行时使所述计算机执行根据权利要求1至12中一项所述的方法。

15.一种计算机可读介质，所述计算机可读介质包括指令，所述指令在由计算机执行时使所述计算机执行根据权利要求1至12中一项所述的方法。

Images