CN117711576A

CN117711576A - 用于提供医学报告的模板数据结构的方法和系统

Info

Publication number: CN117711576A
Application number: CN202311190048.9A
Authority: CN
Inventors: C·蒂延; C·斯派尔; S·科勒; M·胡贝尔; G·科尔
Original assignee: Siemens Healthineers AG
Current assignee: Siemens Healthineers AG
Priority date: 2022-09-14
Filing date: 2023-09-14
Publication date: 2024-03-15
Also published as: EP4339961A1; US20240087697A1

Abstract

提供了用于基于医学图像数据集(MIDS)来标识医学报告(MER)的模板数据结构(TDS)的系统和计算机实现的方法。具体地，公开了以下步骤：‑接收(S10)患者的医学图像数据集(MIDS)，‑生成(S20)用于经由用户接口(10)向用户显示的所述医学图像数据集(MIDS)的表示(R)，‑提供(S30)用于经由用户接口(10)向用户显示的所述表示(R)，‑经由用户接口(10)接收(S40)指向在所述表示(R)中可见的医学发现(MF)的用户输入(INP)，‑基于所述用户输入(INP)来预测(S50)所述医学发现(MF)的发现类型(FT)，‑在数据库(RD)中执行(S60)查找操作，以标识与所预测的发现类型(FT)相对应的医学报告(MER)的模板数据结构(TDS)，以及‑提供(S70)所标识的模板数据结构(TDS)。

Description

用于提供医学报告的模板数据结构的方法和系统

技术领域

本发明涉及自动或半自动地生成结构化医学报告的领域中的系统和方法。具体地，本发明涉及用于提供可用作医学报告的构建块的一个或多个模板数据结构的系统和方法。

背景技术

当生成放射学或病理学报告时，进行审查的放射科医生或病理学家总结她或他在审查医学图像时所做的观察。该报告可以是自由文本报告。然后，它的结构、元素、风格、措辞和布局可能因医生而不同。它们不是直截了当地机器可读的，不是标准化的，并且不是可分析的。此外，它们易于产生伪假象(artefact)，并且可能不清楚、难以解释，或甚至不完整。

为了克服自由文本报告的缺点，引入了所谓的结构化报告。这些报告基于结构化的机器可读的报告模板，用户可以组合并逐步地填充这些模板，以提供最终的医学报告。理想地，结构化报告是机器可读的，具有固定的结构，并且包含标准化的元素、措辞和布局。此外，可以使用预先生成的报告模板或模块作为医学报告的构建块。这些可以提供特定于病例的结构，并且包括所推荐的报告步骤。

虽然结构化报告可以改善医学报告的质量和互操作性，但是这也可能增加个体用户在准备报告时的负担。用户必须选择正确的模板或构建块，并以预定的方式填充这些模板或构建块，而不是或多或少自由地口述医学发现(findings)。而且，通常有各种各样不同的模板，放射科医生必须从其中进行选择。找到正确的模板往往对整个过程至关重要，因为错误的模板可能将报告以及随之将整个诊断置于错误的轨道上。反过来，选择正确的模板是一项困难的任务，因为这可能取决于各种因素，诸如诊断任务、病例境况或可用数据。附加地，对于医学报告，很少有单一的模板。相反，不同的模块或子模板必须被组合，以得到全面的医学报告。

通常，当评估医学图像数据以及准备报告时，放射科医生必须并行地执行若干个任务。首要地，他们必须分析医学图像，并且在放射学报告中总结他们的观察和印象。此外，他们必须进一步考虑关于患者的附加信息。该信息可以例如来自不同模态或测量协议的图像、以及来自患者的健康记录、实验室发现、先前图像等中的信息。因此，要承担的个体报告任务的类型和数量取决于可用的跨学科数据，即医学图像和其他可用的特定于患者的医学数据。

为了帮助用户准备结构化报告，已经开发了若干个概念。例如，已经提出了检查列表的使用。基于这些检查列表，用户可以被引导通过所提出的报告步骤。其他方法基于电子决策树，其中个体节点链接到不同的报告模板。因此，当沿着决策树移动时，可以自动检索正确的模板。

这样的解决方案的一个问题在于：医学报告经常是高度动态的任务，并且检查列表和决策树两者经常被证明过于僵化(rigid)，从而无法映射真实世界的报告工作流程。这是因为要承担的个体报告任务的类型和数量取决于发现和可用数据。而且，这经常只有在报告实际使用了哪些数据以及必须执行哪些诊断步骤的过程中才变得明显。这是因为在该过程期间会生成新的数据和信息，该新的数据和信息然后可以指示进一步的步骤。例如，可能做出需要附加报告任务的次要发现。

针对这种背景，本发明的实施例的目的在于，提供用于提供医学报告的模板数据结构的系统和方法，以便更好地支持用户提供结构化医学报告。特别地，本发明的实施例的目的在于，提供允许基于用户执行的报告动作对医学报告的模板数据结构进行有针对性的检索的系统和方法。

在下文中，关于所要求保护的系统以及关于所要求保护的方法来描述根据本发明的技术解决方案。本文中描述的特征、优点或替代实施例可以同样指派给其他要求保护的对象，并且反之亦然。换句话说，论述本发明方法的权利要求可以通过关于系统所描述或要求保护的特征来改善。在这种情况下，例如，方法的功能性特征由系统的目标单元和元件来体现。

将既关于用于提供医学报告的模板数据结构的方法和系统，又关于用于提供经训练的函数的方法和系统来描述该技术解决方案。用于进行提供的方法和系统的数据结构和/或函数的实施例的特征和替代形式可以被转移到用于提供经训练的函数的方法和系统的类似数据结构和/或函数。可以特别地通过使用前缀“训练”来标识类似的数据结构。此外，在用于提供医学报告的模板数据结构的方法和系统中使用的经训练的函数可能特别地已经由用于调整经训练的函数的方法和系统所调整和/或训练和/或提供。

发明内容

根据一方面，提供了一种用于提供医学报告的模板数据结构的计算机实现的方法。该方法包括多个步骤。第一步骤旨在接收患者的医学图像数据集。另一步骤旨在生成用于经由用户接口向用户显示的该医学图像数据集的表示。另一步骤旨在提供用于经由用户接口向用户显示的该表示。另一步骤旨在经由用户接口接收用户输入，该用户输入指向在该表示中可见的医学发现。另一步骤旨在基于用户输入来预测医学发现的发现类型。另一步骤旨在在数据库中执行查找操作，以标识与所预测的发现类型相对应的医学报告的模板数据结构。另一步骤旨在提供所标识的模板数据结构。

医学图像数据集可以是二维图像。另外，医学图像数据集可以是三维图像。另外，医学图像可以是四维图像，其中存在三个空间维度和一个类时间维度。另外，医学图像数据集可以包括多个个体医学图像。

医学图像数据集包括例如以像素或体素的二维或三维阵列形式的图像数据。这种像素或体素阵列可以代表作为二维或三维位置的函数的颜色、强度、吸收或其他参数，并且可以例如通过对医学成像模态或图像扫描设施所获得的测量信号进行适当的处理来获得。

医学图像数据集可以是描绘患者的身体部位的放射学图像数据集。因此，它可以包含患者的身体部位的二维或三维图像数据。医学图像可以代表图像体积或穿过图像体积的横截面。患者的身体部位可以被包括在图像体积中。

医学成像模态对应于用于生成或产生医学图像数据的系统。例如，医学成像模态可以是计算机断层摄影系统(CT系统)、磁共振系统(MR系统)、血管造影术(或C型臂X射线)系统、正电子发射断层摄影系统(PET系统)等。具体地，计算机断层摄影是一种广泛使用的成像方法，并且它利用由空间上旋转的仪器产生和检测的“硬”X射线。由计算分析软件来处理所得到的衰减数据(也被称为原始数据)，从而产生患者的身体部位的内部结构的详细图像。所产生的图像集被称为CT扫描，该CT扫描可以构成多个系列的顺序图像，以呈现在垂直于人体轴线的横截面中的内部解剖结构。提供另一个示例，磁共振成像(MRI)是一种先进的医学成像技术，它利用磁场对质子运动的影响。在MRI机器中，检测器是天线，并且信号由计算机来分析，从而创建在人体的任何截面中的内部结构的详细图像。

因此，所描绘的患者的身体部位一般将包括多个解剖结构和/或器官。以胸部图像作为示例，医学图像可以示出肺组织、胸腔、淋巴结等等。

医学图像数据集可以包括多个图像或图像切片。切片分别示出了图像体积的横截面视图。切片可以包括作为图像数据的像素或体素的二维阵列。医学图像数据集中的切片的布置可以由成像模态或所使用的任何后处理方案来确定。另外，可以在医学图像数据集所跨越的成像体积中人为地定义切片。可选地，这可以作为医学图像数据集中包括的图像数据的函数而发生，以便为随后的诊断工作流程最优地预处理医学图像数据集。

另外，医学图像数据集可以是二维病理学图像数据集，即所谓的全玻片(whole-slide)图像。全玻片图像可以对患者的组织切片或玻片进行成像。组织切片可以由取自患者的组织样本来制备。另外，组织切片的制备可以包括用组织病理学染色对组织切片进行染色。在这种情况下，染色可以用于突出显示组织切片中的不同结构，诸如例如细胞壁或细胞核，或者用于测试医学指征，诸如例如细胞增殖水平。为了创建全玻片图像，对经染色的组织切片进行数字化或扫描。为此，利用合适的数字化站(诸如例如全玻片扫描仪)来扫描组织切片，该数字化站优选地扫描安装在对象载体(object carrier)上的整个组织切片并将其转换成像素图像。

医学图像可以以诸如医学数字成像和通信(DICOM)格式之类的标准图像格式来存储，并且可以被存储在存储器、或诸如图片存档和通信系统(PACS)、放射学信息系统(RIS)等的计算机存储系统中。无论何时在本文中提及DICOM，都应理解这指代“医学数字成像和通信”(DICOM)标准，例如根据DICOM PS3.1 2020c标准(或所述标准的任何后续或较早版本)。

该表示可以是从医学图像数据集绘制(render)的二维表示图像，以用于在用户接口中向用户显示。该表示可以包括多个图像像素。特别地，该表示可以是医学图像的二维绘制。二维绘制可以一般地依赖于已知的绘制过程，诸如射线投射、射线追踪、纹理绘制等。根据一些示例，绘制可以使得已经标识的医学发现和/或任何候选医学发现与医学图像的图像数据结合地显示。

用户输入可以是旨在指定医学发现的任何输入。用户输入可以包括语音命令或任何其他进入用户接口(特别是图形用户接口)中的输入、特别是物理输入。例如，用户可以使用输入设备，如计算机-鼠标、轨迹球设备、智能笔、触摸板、触敏显示器等。另外，可以通过眼睛跟踪或通过跟踪手势来捕获用户输入。特别地，用户输入可以包括直接在该表示中指定医学发现，例如通过点击、描画轮廓、或者在该表示中的具体位置中调用(invoke)测量工具。用户输入可以是这样的：使得它完全地标出(line out)医学发现，或者使得它指示该表示中的仅部分或者甚至仅一个点，然后该部分或该点自动地与可能的医学发现相关。

根据一些实现方式，用户输入可以包括与用户接口的多个个体用户交互(诸如关于该表示、显示设置、一般设置、测量等的用户输入)。

根据一些实现方式，用户输入还可以包括：激活被配置成检测医学图像数据中的医学发现的计算机辅助检测算法，以及可选地，导航到由计算机辅助检测算法检测到的发现之一。

计算机辅助检测算法可以一般地被配置成检测医学图像中的候选医学发现。例如，发现检测算法可以具有两个阶段：检测阶段，用于检测图像数据中的潜在相关模式；以及分类阶段，用于将潜在相关模式要么分类为候选医学发现、要么分类为将被丢弃的假阳性。原则上，对于候选医学发现的这种计算机辅助检测和分类，已知有数目庞大的功能性和方法，所有这些都可以用发现检测算法来实现。例如，参考US 2009/0 092 300 A1、US2009/0 067 693 A1和US 2016/0 321 427 A1，它们的内容通过引用整体地并入本文中。

每个医学发现可以涉及医学图像中的对应图像数据。医学发现可以指示患者的某种状况或病理(pathology)。该状况或病理可能对于患者的诊断是相关的。

医学发现可以涉及将患者与其他患者区分开的解剖结构。医学发现可以位于患者的不同器官内(例如，患者的肺内、或患者的肝脏内)，或者在患者的器官之间。特别地，医学发现还可以涉及异物(foreign body)。

特别地，医学发现可以涉及肿瘤(也称为“肿块”)，特别是良性肿瘤、原位肿瘤、恶性肿瘤和/或不确定/未知行为的肿瘤。特别地，医学发现可以涉及结节，特别是肺结节。特别地，医学发现可以涉及病变，特别是肺病变。

医学发现可以根据它们的类型或类别来分类。这种类型或类别被称为“发现类型”。发现类型可以指定医学发现的一般性质。另外，发现类型可以指定其中已经找到了医学发现的解剖结构或器官。根据一些实现方式，发现类型也可以被认为是医学发现的标签。例如，发现类型可以是肺结节、肝脏结节、囊肿、肋骨骨折、未定义的病变等。

模板数据结构可以是构建块或模块或子模板，基于它们，可以生成结构化医学报告。可以基于至少一个、一般是多个模板数据结构来生成医学报告。具体地，可以组合多个不同模板数据结构来形成医学报告。

每个模板数据结构可以特定于某个发现类型。例如，某个模板数据结构可以与肺结节相关联，而另一模板数据结构与肝脏结节相关联。

每个模板数据结构可以指定必须被寻址或填充以便完成该报告的一个或多个数据字段。另外，模板数据结构可以包括具有用户可以选择的项目的一个或多个下拉菜单。由此，模板数据结构也可以被认为是使针对给定发现类型提供的信息结构化的输入形式或掩膜(mask)。

数据库可以是存储设备，诸如用作用于模板数据结构的存档的云或本地存储装置。数据库可以提供将模板数据结构链接到对应发现类型的关联。因此，查找可以包括基于所预测的发现类型来查询数据库。这可以涉及基于所预测的发现类型以及该关联来标识(适当的)模板数据结构。

通过至少基于用户输入来自动地预测发现类型，信息段被收集，该信息段可以被馈送到结构化报告流水线中，以用于对模板数据结构的定向检索。以此，用户被自动地提供有适当的模板数据结构。进而，用户从必须自己在潜在的庞大数据库中搜索正确的模板数据结构的负担中解脱。相比之下，用户被自动地提供有可行动的结果，用户可以立即在下游报告工作流程中使用该结果。因此，模板数据结构作为用户做出的具体输入的结果而被检索，并且因此反映了病例和用户输入的即时诊断情境。因此，在此基础上审查医学图像并编写结构化医学报告可以变得高效得多。以此，解决了结构化医学报告在其实际实现方面的主要缺点之一。因此，作为另一个优点，还可以增加结构化医学报告在该领域中的接受度。

根据一方面，该方法进一步包括：

-基于所标识的模板数据结构和用户输入来生成医学报告，以及

-提供医学报告。

根据一方面，提供步骤包括向用户提供模板数据结构，以供用户编辑模板数据结构，并且该方法进一步包括：

-接收旨在编辑模板数据结构的用户输入，以及

-基于用户输入来编辑模板数据结构。

因此，用户可以在模板数据结构被传递到医学报告之前编辑模板数据结构。例如，用户可以利用进一步的观察和测量值来填充由模板数据结构所提供的数据字段。为此，根据一些示例，用户可以从模板数据结构提供的下拉菜单中选择项目。

因此，该方法允许连续的人机交互，在其中基于用户动作向用户连续地提供信息。此外，她或他可以容易地影响和修改所生成的结果。

根据一方面，用户输入旨在生成该表示中所描绘的图像特征的测量，并且提供步骤包括利用该测量来预填充模板数据结构。

通过自动填充模板数据结构，用户输入被自动地传递到模板数据结构，并且随之可以被自动地传递到报告。因此，向用户提供了附加支持。

根据一方面，至少预测发现类型和执行查找操作的步骤在服务器处被执行，数据库由服务器来托管，并且提供步骤包括将模板数据结构传输到与服务器进行数据通信并包括用户接口的客户端。

特别地，客户端可以是阅读和报告工作站，例如，以膝上型电脑或台式PC的形式。客户端可以构成面向用户的前端。服务器可以被认为是后端，该后端托管更多计算繁重的功能性，并且提供对针对模板数据结构或医学图像数据集的数据库的访问。服务器可以是本地服务器或云服务器。可以由医学或健康护理信息系统来提供数据通信，所述系统可以被配置成根据DICOM和/或HL7标准进行通信。卫生信息交换标准(Health Level Seven)或HL7指代针对在各种健康护理提供商所使用的软件应用之间的临床和管理数据传递的一组国际标准。

通过依赖于客户端-服务器设置，可以在不同的客户端之间共享数据、处理功能和计算能力，从而使该设置更高效和更容易扩展。

根据一方面，预测发现类型的步骤进一步基于该表示和/或医学图像数据集，并且特别地基于被包括在该表示和/或医学图像数据集中的图像数据。

根据一些示例，预测发现类型的步骤包括：从该表示和/或医学图像数据集中提取与用户输入相关的图像数据，以及使发现类型的预测基于相关的图像数据。

具体地，可以从该表示和/或医学图像数据集中提取预定大小的图像片块，该图像片块相对于该表示中的用户输入的位置或在该位置周围而定位。

因此，可以附加地考虑用户输入的图像情境来预测发现类型。以此，可以实现对发现类型的更有针对性的预测。为此，预测步骤可以包括应用于被包括在该表示和/或医学图像数据集中的图像数据的图像处理步骤。

根据一方面，该方法进一步包括提供预测函数，该预测函数被配置成至少基于关于医学图像数据集的表示做出的用户输入来预测医学发现的发现类型，其中预测步骤包括将预测函数应用于用户输入，并且可选地，预测函数包括机器学习函数，该机器学习函数被训练成至少基于关于医学图像数据集的表示做出的用户输入来预测发现类型。

特别地，预测函数和/或机器学习函数可以被配置成附加地基于该表示和/或医学图像数据集的图像数据来预测发现类型。

一般地，机器学习函数模仿人类与其他人类心智(mind)相联系的认知功能。特别地，通过基于训练数据的训练，机器学习函数能够适应新的境况，并且检测和外推出模式。用于机器学习函数的其他术语可以是经训练的函数、经训练的机器学习模型、经训练的映射规范、具有经训练的参数的映射规范、具有经训练的参数的函数、基于人工智能的算法、或机器学习算法。

一般地，可以借助于训练来适配机器学习函数的参数。特别地，可以使用监督训练、半监督训练、无监督训练、强化学习和/或主动学习。此外，可以使用表示学习(替代术语是“特征学习”)。特别地，可以通过若干个训练步骤来迭代地适配机器学习函数的参数。

特别地，机器学习函数可以包括神经网络、支持向量机、决策树和/或贝叶斯网络，和/或经训练的函数可以基于k均值聚类、Q学习、遗传算法和/或关联规则。特别地，神经网络可以是深度神经网络、卷积神经网络或卷积深度神经网络。此外，神经网络可以是对抗网络、深度对抗网络和/或生成对抗网络。

例如，机器学习函数可以被配置成从输入数据(即：来自该表示或医学图像数据集的用户输入和/或图像数据和/或其他/补充数据)中提取一个或多个特征，并且将这些特征映射/分类到与不同发现类型相关联的特征空间中，以用于确定所提取的特征指示哪个发现类型。因此，机器学习函数可以包括特征提取器和分类器。特别地，特征提取器和分类器可以实现为神经网络，特别是卷积神经网络，其中一些网络层被训练成提取特征，并且其他网络层被训练成根据最可能的(一个或多个)发现类型来提供分类。

一般地，使用机器学习函数具有的优点是：可以对可用信息进行更全面和更快的筛选。在这点上，机器学习函数可以标识可用数据中对于人类不可访问的模式和属性。

根据一方面，机器学习函数已经基于患者的医学图像数据集被训练，该医学图像数据集包括具有经验证的发现类型的至少一个医学发现。

根据一些示例，医学图像数据集分别对应于医学图像研究的关键图像。

通过基于具有已知发现类型的医学图像数据集或关键图像进行训练，可以执行高效的训练。在一方面，在健康护理信息系统中容易获得该数据。另一方面，这类数据密切地反映了机器学习函数在被部署时将面临的情形。

根据一方面，提供了一种计算机实现的方法，用于提供用于预测在医学图像数据集的图像数据中指示的医学发现的发现类型的机器学习函数。该方法包括多个步骤。第一步骤旨在提供用于预测发现类型的机器学习函数。进一步的步骤旨在提供输入训练数据，该输入训练数据包括具有一个或多个医学发现的医学图像数据集。进一步的步骤旨在提供训练输出数据，该训练输出数据包括医学图像数据集的医学发现的经验证的发现类型。进一步的可选步骤旨在生成指向医学图像数据集的发现的一个或多个假设用户输入。进一步的步骤旨在将医学图像数据集和/或假设用户输入输入到机器学习函数中，以获得被包括在医学图像数据集中的医学发现的一个或多个所预测的发现类型。进一步的步骤旨在将所预测的发现类型与输出训练数据进行比较。进一步的步骤旨在基于比较步骤来调整机器学习函数。进一步的步骤旨在提供经调整的机器学习函数。

可以例如通过仿真将可能由该领域中的用户生成的用户输入来生成假设用户输入，诸如应用测量工具、突出显示或标记某个模式，或者在审查患者病例时与可用数据的任何其他可能的交互。

利用所提出的训练方法，可以针对机器学习函数生成逼真的场景，并且因此，可以确保良好的模型性能。

根据另一方面，提供了一种训练系统，用于提供用于预测在医学图像数据集的图像数据中指示的医学发现的发现类型的机器学习函数。该系统包括被体现用于接收机器学习函数以及输入和输出训练数据的接口。该系统进一步包括被配置成运行机器学习函数的计算单元。该计算单元被进一步配置成根据如先前所描述的用于提供机器学习函数的方法及其方面来执行训练步骤。

根据一方面，该方法进一步包括获得患者的补充医学信息，其中预测步骤进一步基于补充医学信息。

根据一些示例，补充信息可以是患者的非图像数据。获得补充信息可以包括针对患者的补充信息来查询健康护理信息系统，诸如HIS(医院信息系统)、LIS(实验室信息系统)和EMR系统(电子医学记录系统)。这种补充信息可以例如以一个或多个EMR文件的形式来获得。另外，查询健康护理信息系统可以基于患者标识符，诸如ID或患者姓名，该患者标识符以电子方式在该系统中标识患者。

根据一些示例，预测函数/机器学习函数被进一步配置成附加地基于补充医学信息来预测医学发现的发现类型。

通过使预测基于补充信息，可以实现更精确的预测。

根据一些示例，补充信息包括以下元素中的一个或多个：

-患者的在先医学报告，和/或

-患者被怀疑患有的至少一个类型的医学问题的先验知识，和/或

-基于患者的医学图像数据集要执行的诊断任务的指示，和/或

-适用于患者的医学指南，和/或

-患者的电子健康记录。

根据一些示例，电子健康记录可以包括患者的病史，包括任何预先存在的疾病、合并症(comorbidity)、风险因素、转诊信、诸如年龄或性别之类的人口统计信息等。

利用上述补充信息，可以准确定位(pinpoint)诊断情境，这使得能够更精确地预测发现类型。

根据一些示例，在先医学报告包括先前针对患者所报告的发现类型的至少一个指示，该方法进一步包括从医学报告中提取发现类型的指示，并且预测步骤进一步基于所提取的发现类型的指示。

提取指示可以包括：标识在先医学报告中的一个或多个相关数据结构(如果在先医学报告是结构化医学报告的话)或者应用例如被配置成标识自由文本中的一个或多个关键词的自然语言处理函数。也可以以相同的方式处理补充信息，以提取先前报告的发现类型的指示。通过利用先前报告的发现类型，可以缩小可能的发现类型的范围，并且可以改善预测。

根据一些示例，预测函数/机器学习函数被进一步配置成从医学报告(补充信息)中提取发现类型的指示，并且提取步骤包括将预测函数/机器学习函数应用于在先医学报告。

根据一方面，该方法包括：从不同于患者的参考患者的多个参考医学图像中，基于该表示与个体参考医学图像之间的相似性程度来标识至少一个相似医学图像。因此，每个参考医学图像包括具有经验证的发现类型的一个或多个发现，并且预测步骤进一步基于所标识的至少一个相似医学图像的至少一个经验证的发现类型。

参考医学图像可以被存储在对应的数据库中或者在其中保持可用。相似性程度可以特别地基于测量/量化该表示与相应参考医学图像有多相似的图像相似性。特别地，参考医学图像可以是已经从先前患者的医学图像数据集生成的关键图像。特别地，这种关键图像可能已经被用户选择为对于诊断工作流程有重要意义(significant)。

换句话说，发现类型是基于与手头病例相似的病例来预测的。以此，该方法可以利用现有的知识，并且预测发现类型的准确性可以被改善。

根据一些示例，预测函数/机器学习函数被进一步配置成标识相似的医学图像，并且标识步骤包括将预测函数/机器学习函数应用于该表示和参考医学图像。

根据一些示例，标识至少一个相似医学图像的步骤包括：

-从该表示中提取图像描述符；

-分别从该多个参考医学图像中提取对应的图像描述符，以及

-针对该多个参考医学图像中的每一个，确定相似性度量，该相似性度量指示该表示的图像描述符与相应参考医学图像的相应图像描述符之间的相似性程度。

在一些示例中，图像描述符可以是表示或表征了该表示或参考医学图像的底层(underlying)图像数据的向量。如本文中所描述的特征向量可以基于图像数据和非图像数据。在一些示例中，图像描述符可以通过使用特定的图像描述符编码算法(也被称为“向量化器”)对该表示或参考医学图像进行编码来确定。

特征向量的特征可以是视觉特征，诸如由相应医学图像序列的图像所指示的医学异常、模式、解剖结构、医学界标等等的视觉显现(manifestation)。另外，特征向量可以包括非图像特征，例如涉及所使用的成像模态或成像参数。图像描述符可以被在线计算，例如，在预测发现类型时。替代地，参考医学图像的图像描述符可以作为被存储在数据库中(例如，连同参考医学图像一起被存储在数据库中)的预先生成的数据项目而保持可用。

根据一些示例，相似性程度可以通过应用表示了该表示与参考医学图像有多相似的相似性度量来计算。相似性度量的另一表达可以是距离度量。在一些示例中，相似性度量可以被配置成量化该表示的图像描述符与参考医学图像中的相应一个的图像描述符之间的向量或特征空间中的距离。根据一些示例，可以使用预定的数学函数来计算这种距离，诸如余弦相似性或欧几里德距离等等。根据其他示例，相似性或距离度量可以包括已经通过机器学习导出的经学习的度量。根据一些实现方式，图像描述符的提取和/或相似性度量的评估作为整体可以由机器学习函数来执行。

基于特征向量的相似图像选择允许灵活的选择。例如，相对于参数之间的非精确匹配，例如与尝试直接匹配图像相比，特征空间中的特征向量的比较可以更加鲁棒和/或灵活。因此，可以改善发现类型的预测。进而，可以确保所提供的模板数据结构的适用性，并且可以改善在诊断工作流程中对用户的支持。

根据一方面，该方法进一步包括基于用户输入和该表示和/或医学图像数据集来确定用户输入所指向的解剖位置。另外，预测发现类型的步骤进一步基于解剖位置。

根据一方面，解剖位置包括以下元素中的一个或多个：

-用户输入所指向的器官或器官部分的指示，

-医学图像数据集内的切片，该表示对应于该切片，和/或

-用户输入与一个或多个解剖界标的关系。

利用解剖位置，可以检索指示用户输入的解剖情境以及随之指示医学发现的信息。以此，可以缩小潜在适用发现类型的组的范围，从而在预测阶段以及下游报告过程中产生更好的结果。

根据一方面，该方法进一步包括基于解剖位置来过滤补充医学信息，其中预测步骤进一步基于经过滤的补充医学信息。

特别地，过滤步骤可以包括在补充医学信息内标识与解剖位置有关的信息。

换句话说，(潜在地庞大的)补充医学信息中的那些对于用户当前所考虑的解剖位置承担(bear)一定相关性(relevance)的信息段被标识。这可以导致简化的处理和更好的结果。

根据一方面，该方法进一步包括在显示该表示时获得由用户针对该表示所应用的一个或多个显示设置，并且预测发现类型的步骤进一步基于显示设置。

根据一方面，显示设置包括以下设置中的一个或多个：

-应用于该表示的器官分割，

-应用于该表示的强度加窗(intensity windowing)，

-应用于该表示的对比度和/或亮度调整，

-应用于该表示的查找表，

-应用于该表示的自动视图设置，

-应用于该表示的查看平面，和/或

-应用于该表示的缩放级别或平移。

以CT图像数据作为示例，可以对该表示进行强度过滤。CT图像数据集的每个体素通常具有强度值，该强度值表示根据CT测量所确定的体积中的对应位置处的X射线衰减(通常以Hounsfield或HU单位来测量)。由于这种关系，可以仅基于体素强度值的阈值化来执行一个种类的分割。例如，具有特定范围内的强度值的所有体素可以被认为表示骨骼。对应的范围被称为“骨骼窗口(bone window)”。其他窗口可能涉及切除(carve out)软组织或肺部分。在本领域中，这些窗口通常被称为HU窗口。

自动查看设置可以特别地涉及用于特定诊断任务或特定器官的设置。自动查看设置可以由用户接口提供以供用户选择。由于自动查看设置是特定于某个诊断任务或解剖结构的，因此它们的知识可以提供对可能的发现类型的洞察。

特别地，查看平面可以从轴向(axial)或矢状(sagittal)或冠状(coronal)查看平面中选择。一般来说，它涉及在其下正在观看医学图像数据集(或底层图像体积)的查看平面。在诊断工作流程中，查看方向已经是针对用户感兴趣的发现类型的指示。

一般地，在预测发现类型时考虑显示或查看设置是有益的，因为这种显示设置提供了对用户感兴趣的器官种类、解剖结构和医学发现的有价值的洞察。因此，可以改善发现类型的预测以及随之改善随后的报告工作流程。

根据一些实现方式，确定解剖位置的步骤可以进一步基于显示设置。

根据一方面，该方法进一步包括获得医学图像数据集的至少一个成像参数，该成像参数涉及在医学图像数据集的获取和/或预处理或后处理期间使用的设置，其中预测步骤进一步基于成像参数。

根据一方面，成像参数包括以下参数中的一个或多个：

-在图像获取过程期间的患者位置，

-用于获取原始数据的图像获取协议，基于该原始数据，医学图像数据被生成，和/或-用于基于原始数据来生成医学图像数据集的图像重建协议。

获取协议可以涉及用于获取医学图像数据或底层原始数据的医学成像模态的种类。例如，获取协议可以指定是否已经使用了MRI系统或CT系统。另外，获取协议可以涉及用于获取期间的医学成像模态的设置。这里，可以包括在成像模态下被调整的不同物理参数以及与患者的不同生理状况的受控调整有关的参数。以MRI系统作为示例，这可以进一步相当于(amount to)所使用的MR脉冲序列。

重建协议可以涉及用于处理所获取的原始数据以便提供医学图像数据集的重建算法和对应设置。以CT成像过程作为示例，重建协议可以指定所使用的内核(或卷积算法)。内核指代在CT扫描仪中的图像重建期间用于在反向投影之前修改投影数据的频率内容的过程。该过程通过减少模糊来校正图像。内核通过锐化图像来影响图像结构的外观。已经针对具体的解剖应用开发了不同的内核，包括软组织(标准内核)和骨骼(骨骼内核)。

在预测发现类型时考虑成像参数是有益的，因为成像参数提供了对医学图像数据集可能指示的器官种类、解剖结构和医学发现的附加洞察。因此，通过在预测发现类型的步骤中考虑该信息，可以改善发现类型的预测以及随之改善随后的报告工作流程。

根据一方面，用户输入旨在生成在该表示中描绘的图像特征的测量，并且预测发现类型的步骤进一步基于该测量。

例如，该测量可以是该表示中的体积、表面(surface)、角度或距离。另外，该测量可以涉及定义该表示中的感兴趣区域。此外，该测量可以基于与用户输入相关的图像数据。例如，这种图像数据的强度简档(例如，以Hounsfield单位来测量的)可以指示某个医学发现是否涉及囊肿或恶性肿瘤。

由于该测量可以指示发现的类型(例如，所测量的距离可以指示与体积测量相比不同类型的发现)，因此在预测发现类型时考虑该测量可以改善结果。

根据一方面，生成该测量涉及由用户从多个可用的图像测量工具中选择图像测量工具，并且预测发现类型的步骤进一步基于用户选择的测量工具。

一般地，将存在不同种类的测量工具可供用户使用。例如，这种工具可以是几何测量工具、体积测量工具、图像处理工具和/或计算机辅助检测工具。因此，用户调用的工具的种类也指示利用该工具标识的对应医学发现的发现类型。因此，在预测步骤中使用该信息可以进一步改善结果。

根据一方面，预测医学发现的发现类型包括从多个候选发现类型的预定集合中选择发现类型。

具体地，该方法可以进一步包括获得多个候选发现类型的多个不同集合，并且基于以下各项中的一个或多个从该多个集合中选择预定集合：医学图像数据集、补充医学信息、解剖位置、显示设置、成像参数和/或至少一个相似图像。

换句话说，提供了根据病例境况而选择的候选发现类型的多个预先配置的集合。由此，集合可以被认为是桶(bucket)，发现类型可以被分类或分组到该桶中。例如，可以提供针对肺的候选发现类型的集合。如果所收集的信息指示用户将要审查患者的肺，则可以具体地选择该集合。进而，这种预先选择可以便于预测过程，因为已经缩小了潜在医学发现的选择的范围。

根据一方面，该多个集合中的每一个与诊断用例相关联，并且选择预定集合的步骤包括：

-基于医学图像数据集、补充医学信息、解剖位置、显示设置、成像参数和/或至少一个相似图像中的一个或多个来确定医学图像数据集的实际诊断用例，以及

-通过将实际诊断用例与相关联的诊断用例进行比较来选择预定集合。

通过将发现类型与诊断用例相关联，可以实现对发现类型的高效预先选择。因此，通过从相关联的用例中标识最可能适用的诊断用例来确定实际诊断用例。

根据一方面，预测步骤包括：

-预测多个可能的发现类型以供用户选择，

-向用户提供该多个可能的发现类型，

-接收旨在选择可能的发现类型之一的用户输入，

-基于用户选择来提供发现类型。

因此，可以由用户执行对适当发现类型的最终选择。因此，根据连续的人机交互，向用户提供了用于影响和控制该处理的附加手段，以用于在报告工作流程中挑选正确的模板数据结构。仍然，利用可能的发现类型的自动初始选择，向用户提供了大量的辅助。

根据一些示例，可能的发现类型可以涉及针对患者的鉴别诊断(differentialdiagnosis)。以此，鉴别诊断可以系统性地引起用户的注意以供进一步考虑。

根据一方面，该方法进一步包括基于旨在选择的用户输入来适配预测函数/机器学习函数。

根据一方面，选择的步骤包括：

-向用户提供所预测的发现类型，

-接收旨在确认或拒绝所预测的发现类型的用户输入，以及

-该方法进一步包括基于旨在确认或拒绝的用户输入来适配预测函数/机器学习函数。

通过基于来自用户的反馈来适配预测函数/机器学习函数，可以不断地改善预测中所涉及的算法。这改善了该方法的准确性和可靠性。

根据一方面，提供了一种用于提供医学报告的模板数据结构的系统。该系统包括接口单元、计算单元和数据库。数据库被配置成存储医学报告的多个报告模板数据结构，其中每个报告数据模板结构对应于医学发现的不同发现类型。接口单元被配置成：接收描绘了患者的身体部位的医学图像数据集，转发用于向用户显示的该医学图像数据集的表示，接收来自用户的旨在指示该表示中的医学发现的用户输入，以及向用户提供模板数据结构。计算单元被配置成：生成用于向用户显示的该医学图像数据集的表示，基于用户输入来预测医学发现的发现类型，以及在报告数据库中执行查找操作以标识与所预测的发现类型相对应的模板数据结构。

计算单元可以被实现为数据处理系统或数据处理系统的一部分。这种数据处理系统可以例如包括云计算系统、计算机网络、计算机、平板计算机、智能电话等等。计算单元可以包括硬件和/或软件。硬件可以包括例如一个或多个处理器、一个或多个存储器以及其组合。一个或多个存储器可以存储用于执行根据本发明的方法步骤的指令。硬件可以是可由软件来配置的和/或可由软件来操作的。一般地，所有单元、子单元或模块可以至少暂时彼此进行数据交换，例如经由网络连接或相应的接口。因此，个体单元可以彼此分开地定位。

接口单元可以包括用于经由互联网连接与本地服务器或中央web服务器进行数据交换以便接收医学图像数据集的接口。接口单元可以被进一步适配成与该系统的一个或多个用户对接，例如通过向用户显示计算单元的处理结果(例如，在图形用户接口中)，或者通过允许用户调整用于图像处理或可视化的参数。

根据其他方面，本发明进一步涉及一种图像分析系统，该图像分析系统包括上述系统以及被配置成获取、存储和/或转发医学图像的医学图像系统(或医学/健康护理信息系统)。由此，接口单元被配置成从医学图像系统接收医学图像数据集。

根据一些示例，医学图像系统包括用于存储医学图像的一个或多个存档站，该存档站可以被实现为云存储装置，或者被实现为本地或分散存储装置(spread storage)，例如实现为PACS(图片存档和通信系统)。另外，医学图像系统可以包括一个或多个医学成像模态，诸如计算机断层摄影系统、磁共振系统、血管造影术(或C型臂X射线)系统、正电子发射断层摄影系统、乳房摄影术(mammography)系统等。

根据其他方面，所述系统被适配成在用于提供候选医学发现的其各种方面中实现本发明的方法。结合方法方面所描述的优点也可以通过对应地配置的系统的组件来实现。

根据另一方面，本发明涉及一种包括程序元素的计算机程序产品，当该程序元素被加载到被配置成提供医学报告的模板数据结构的系统的计算单元的存储器中时，该程序元素促使该计算单元执行根据上述方法方面中的一个或多个的步骤。

根据另一方面，本发明涉及一种其上存储有程序元素的计算机可读介质，该程序元素可由系统的计算单元读取和执行，该系统用于当该程序元素被计算单元执行时根据一个或多个方法方面来提供医学报告的模板数据结构。

通过计算机程序产品和/或计算机可读介质来实现本发明具有的优点在于：可以容易地通过软件更新来适配现有的提供系统，以便如本发明所提出的那样工作。

计算机程序产品可以是例如计算机程序，或者包括像这样的计算机程序旁边(next to)的另一元素。该另一元素可以是：硬件，例如其上存储有计算机程序的存储器设备、用于使用该计算机程序的硬件密钥等；和/或软件，例如用于使用该计算机程序的文档或软件密钥。计算机程序产品可以进一步包括开发材料、运行时系统和/或数据库或库。计算机程序产品可以分布在若干个计算机实例之间。

附图说明

鉴于对实施例的以下描述，上面描述的本发明的特性、特征和优点以及实现它们的方式变得更清楚且更容易理解，将关于附图来详细地描述所述实施例。以下描述并不将本发明限制在所包含的实施例上。可以在不同的图中用相同的参考符号来标记相同的组件、部件或步骤。一般地，这些图并不是按比例绘制的。在下文中：

图1示意性地描绘了根据一实施例的用于提供模板数据结构的系统，

图2示意性地描绘了根据一实施例的用于提供模板数据结构的方法，

图3示意性地描绘了根据一实施例的用于提供模板数据结构的方法中的数据流程图，

图4示意性地描绘了根据一实施例的用于提供模板数据结构的方法中的可选方法步骤，

图5示意性地描绘了根据一实施例的用于提供模板数据结构的方法中的可选方法步骤，

图6示意性地描绘了根据一实施例的用于提供模板数据结构的方法中的可选方法步骤，

图7示意性地描绘了根据一实施例的用于预测发现类型的预测函数，

图8示意性地描绘了根据一实施例的用于提供用于预测发现类型的预测函数的方法，

图9示意性地描绘了根据一实施例的用于提供预测函数的系统。

具体实施方式

图1描绘了用于提供医学报告MER的模板数据结构TDS的系统1。在这点上，系统1被适配成执行根据一个或多个实施例的方法，例如，如参考图2至6进一步描述的。根据一些示例，系统1的用户可以一般地涉及健康护理专业人员，诸如内科医生、临床医生、技术员、放射科医生、病理学家等等。

系统1包括用户接口10(作为接口单元的一部分)和处理系统20(作为计算单元的一个部分)。另外，系统1可以包括或者连接到医学信息系统40。医学信息系统40可以一般地被配置用于获取和/或存储和/或转发医学图像数据集MIDS和补充(非图像)信息。例如，医学信息系统40可以包括用于医学图像数据集MIDS的一个或多个存档/审查站(未示出)。存档/审查站可以由一个或多个数据库来体现。特别地，存档/审查站可以以一个或多个云存储模块的形式来实现。替代地，存档/审查站可以被实现为本地或分散存储装置，例如实现为PACS(图片归档和通信系统)。根据一些示例，医学图像系统40还可以包括一个或多个医学成像模态(未示出)，诸如计算机断层摄影系统、磁共振系统、血管造影术(或C型臂X射线)系统、正电子发射断层摄影系统、乳房摄影术系统、X射线系统等。

医学图像数据集MIDS可以是例如使用X射线系统、计算机断层摄影系统或磁共振成像系统或其他系统获取的三维图像数据集。图像信息可以以m×n×p个体素的三维阵列来编码。医学图像IM可以包括多个图像切片，该多个图像切片在堆叠方向上被堆叠，以跨越由医学图像数据集MIDS覆盖的图像体积。

另外，医学图像数据集MIDS可以包括二维医学图像数据，其中图像信息以m×n个像素的阵列来编码。根据一些示例，这些二维医学图像数据集MIDS可能已经从三维医学图像数据集中被提取。根据其他示例，二维医学图像数据集MIDS可能已经由专用成像模态(诸如在数字病理学中使用的玻片扫描仪)所生成。

在下文中，体素或像素的集合可以被指定为相应医学图像数据集MIDS的图像数据。一般地，任何种类的成像模态和扫描仪可以用于获取这种图像数据。一般地，放射学医学图像数据集MIDS示出了患者的身体部位或解剖区域或解剖对象，它们可以包括各种解剖结构和器官。将胸部区域视为身体部位，医学图像数据集MIDS可能例如描绘肺叶、胸腔、心脏、淋巴结等。相比之下，病理学医学成像数据集示出了患者的组织截面。

可以根据DICOM格式对医学图像数据集MIDS进行格式化。DICOM(＝医学数字成像和通信)是针对健康护理信息学中的医学成像信息和相关数据的通信和管理的开放标准。DICOM可以用于存储和传输医学图像和相关联信息，从而使得能够集成医学成像设备，诸如扫描仪、服务器、工作站、打印机、网络硬件、以及图片存档和通信系统(PACS)。它由临床联合组织、医院、以及针对较小应用(如医生办公室或诊所)广泛地采用。DICOM数据对象由许多属性组成，包括诸如患者姓名、ID等的项目，以及还由包含从图像数据中提取的元数据和图像像素数据的特殊属性组成。

补充信息可以是提供了与患者和/或医学图像数据集MIDS相关的附加信息的任何数据。补充信息可以包括图像数据，诸如例如处于比所考虑的医学图像数据集MIDS更早的时间点处的患者的其他医学图像数据集MIDS。另外，补充信息可以包括非图像数据、或具有混合类型内容的数据，该混合类型内容包括医学图像和诸如文本之类的非图像内容。非图像数据可以涉及非图像检查结果，诸如实验室数据、生命体征记录(包括例如ECG数据、血压值、通气参数(ventilation parameter)、氧饱和度水平)等等。此外，补充信息可以包括与患者的在先检查有关的结构化和非结构化报告。另外，非图像数据可以包括患者的个人信息，诸如性别、年龄、体重、保险细节等。

补充信息可以以患者的一个或多个电子医学报告的形式而可用。补充信息可以被存储在健康护理信息系统40中。例如，补充信息可以被存储在健康护理信息系统40的专用数据库中，诸如实验室信息系统(LIS)或电子健康/医学记录数据库。

用户接口10可以包括显示单元和输入单元。用户接口10可以由诸如智能电话或平板计算机之类的移动设备来体现。另外，用户接口10可以体现为以台式PC或膝上型电脑形式的工作站。输入单元可以例如以触摸屏的形式集成在显示单元中。替代地或附加地，输入单元可以包括键盘、鼠标、或数字笔以及其任何组合。显示单元可以被配置用于：显示医学图像数据集MIDS的表示R，接收任何用户输入INP，例如用于标识医学发现MF，以及显示在该方法执行的过程中从其导出的任何结果和图像，诸如所预测的发现类型FT或模板数据结构TDS。

用户接口10可以进一步包括接口计算单元，该接口计算单元被配置成执行用于为显示单元和输入单元服务的至少一个软件组件，以便提供图形用户接口，该图形用户接口用于允许用户选择要审查的目标患者的情况并且做出各种输入INP。此外，接口计算单元可以被配置成与医学信息系统40或处理系统20通信，以用于接收医学图像数据集MIDS和任何补充信息。用户可以经由用户接口10来激活软件组件，并且可以例如通过从互联网应用商店下载软件组件来获取软件组件。根据一示例，软件组件也可以是在web浏览器中运行的以web应用形式的客户端-服务器计算机程序。接口计算单元可以是通用处理器、中央处理单元、控制处理器、图形处理单元、数字信号处理器、三维绘制处理器、图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合、或者其他现在已知的用于处理图像数据的设备。用户接口10也可以体现为客户端。

处理系统20可以包括子单元21-24，子单元21-24被配置成：处理医学图像数据集MIDS，以便基于由医学图像数据集MIDS中包括的图像数据所指示的医学发现MF来提供一个或多个模板数据结构TDS，以及可选地，提供用于编辑模板数据结构TDS并且在此基础上起草医学报告MER的平台。

处理系统20可以是处理器。处理器可以是通用处理器、中央处理单元、控制处理器、图形处理单元、数字信号处理器、三维绘制处理器、图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合、或者其他现在已知的用于处理图像数据的设备。处理器可以是单个设备、或串行、并行或分离地操作的多个设备。处理器可以是诸如膝上型或台式计算机之类的计算机的主处理器，或者可以是用于处置较大系统中(诸如医学信息系统或服务器中)的一些任务的处理器。处理器由指令、设计、硬件和/或软件来配置，以执行本文中所讨论的步骤。处理系统20可以被包括在用户接口10中。替代地，处理系统20可以包括真实或虚拟的计算机组，如所谓的“集群”或“云”。这种服务器系统可以是中央服务器，例如云服务器，或者例如位于医院或放射学站点上的本地服务器。另外，处理系统20可以包括诸如RAM之类的存储器，用于临时加载医学图像数据集MIDS。根据一些示例，这种存储器也可以被包括在用户接口10中。

子单元21是数据检索模块或单元。它被配置成针对医学图像数据集MIDS来访问和搜索医学信息系统40。具体地，子单元21可以被配置成制定搜索查询并且将它们解析到医学信息系统40。以相同的方式，子单元21可以被配置成检索患者的补充信息。

子单元22可以被配置为用户交互模块或单元。子单元22可以被配置成提供用于经由用户接口10向用户显示的表示R。表示R可以是以绘制的形式。另外，子单元22可以被配置成基于用户的对应输入INP来标识表示R中(并且随之标识医学图像数据集MIDS中)的医学发现MF。例如，子单元22可以被配置成提供对应的工具，用户可以经由用户接口10来激活该工具。在该工具已经被激活之后，可以评估用户输入INP，诸如语音、手势、眼睛移动、对输入设备(诸如计算机鼠标)的处置等，以导出医学发现MF的位置。根据一示例，这种用户输入INP可以指定表示R中的点或一组点，该点或一组点然后被进一步处理以定义医学发现MF。根据其他示例，该工具可以是测量工具，用户可以利用该测量工具从表示R获得测量。该测量可以涉及体积、表面、角度、距离等。

另外，子单元22可以被配置成还接收和处理其他种类的用户输入，以控制该方法并允许连续的且受引导的人机交互。这种用户输入可以旨在从该系统所提供的多个发现类型中选择适当的发现类型FT，输入用于调整表示R的显示设置，或者编辑模板数据结构TDS。

子单元23可以被认为是预测模块或单元。它被配置成处理医学图像数据集MIDS和/或用户输入INP，以便预测由用户输入INP指示的医学发现MF的一个或多个可能的发现类型FT。具体地，子单元23可以被配置成使用可用的信息来针对发现类型FT提出有根据的猜测。根据一些示例，为了预测发现类型FT，子单元23可以被配置成运行相应地配置的预测函数PF。

子单元24可以被认为是报告模块或单元。具体地，子单元24可以被配置成针对对应于发现类型FT的适当模板数据结构TDS来查询报告数据库RD。例如，这可以基于将发现类型FT链接到对应模板数据结构TDS的电子关联来完成。另外，子单元24可以被配置成基于用户输入INP来预填充模板数据结构TDS。例如，子单元24可以被配置成在模板数据结构TDS中包括测量。此外，子单元24可以被配置成将模板数据结构TDS转换成可被转发和/或存储以供以后使用的医学报告MER格式。为此，子单元24可以被配置成将多个模板数据结构TDS组合成一个医学报告MER。

将通过示例而非限制的方式来解释不同子单元21-24的指定(designation)。因此，子单元21-24可以被集成以形成一个单一单元(例如，以“计算单元”的形式)，或者可以由被配置成执行在处理系统20的处理器等上运行的对应方法步骤的计算机代码段来体现。这同样适用于接口计算单元。每个子单元21-24和接口计算单元可以个体地连接到其中需要数据交换以执行方法步骤的系统1的其他子单元和/或其他组件。例如，子单元21可以经由接口26连接到医学信息系统40，以用于检索医学图像IM。同样地，接口26可以将子单元21-24连接到用户接口10，以用于将计算的结果转发给用户并且收集用户输入。

处理系统20和接口计算单元一起可以构成系统1的计算单元。值得注意的是，该计算单元的布局、即接口计算单元和子单元21-24的物理分布原则上是任意的。例如，子单元22(或其个体元件或具体算法序列)可以同样地位于用户接口10中。这同样适用于其他子单元21-24。具体地，处理系统20也可以集成在用户接口10中。如已经提到的，处理系统20可以替代地体现为服务器系统，例如，云服务器，或例如位于医院或放射学站点上的本地服务器。根据这种实现方式，用户接口10可以被指定为面向用户的“前端”或“客户端”，而处理系统20则可以被认为是“后端”或服务器。可以使用例如https协议来执行用户接口10和处理系统20之间的通信。该系统的计算能力可以分布在服务器和客户端(即，用户接口10)之间。在“瘦客户端”系统中，大部分计算能力存在于服务器处。在“胖客户端”系统中，客户端上存在更多的计算能力和可能的数据。

报告数据库RD是存储设备，诸如用作用于模板数据结构TDS以及可选地医学报告MER的存档的云或本地存储装置。

因此，模板数据结构TDS可以被视为医学报告MER的构建块。模板数据结构TDS可以被配置用于由用户经由用户接口10来编辑。另外，模板数据结构TDS可以被配置成被包括在医学报告MER中。模板数据结构TDS可以包括一个或多个数据字段DF，特定于患者和/或底层医学发现MF的信息可以被指定到这些数据字段DF中。数据字段DF可以是空字段、或用于各种数据(诸如文本、测量值或图像)的占位符。根据一些示例，模板数据结构TDS包括具有条目的一个或多个下拉菜单，用户可以从这些条目中进行选择。

模板数据结构TDS可以特定于某个发现类型FT。换句话说，针对不同发现类型TF的模板数据结构TDS可能是不同的。例如，它们可能在数据字段DF的数量和类型上不同。

系统1的个体组件可以至少暂时彼此连接，以用于数据传递和/或交换。用户接口10经由(数据)接口26与处理系统20通信，以交换例如医学图像数据集MIDS、模板数据结构TDS、最终医学报告MER、或所做出的任何用户输入INP。例如，处理系统20可以基于请求被激活，其中该请求由用户接口10发送。另外，处理系统20可以与医学信息系统40通信，以便检索目标患者的情况。替代地或附加地，用户接口10可以直接与医学信息系统40通信。医学信息系统40可以同样地基于请求被激活，其中该请求由处理系统20和/或用户接口10发送。用于数据交换的数据接口26可以被实现为硬件或软件接口，例如PCI总线、USB或火线。可以使用网络连接来实现数据传递。网络可以被实现为局域网(LAN)、例如内联网、或广域网(WAN)。网络连接优选地是无线的，例如作为无线LAN(WLAN或Wi-Fi)。另外，网络可以包括不同网络示例的组合。用于数据交换的接口26与用于与用户对接的组件一起被视为构成系统1的接口单元。

图2描绘了根据一实施例的用于提供模板数据结构TDS的方法。在图3中图示了对应的数据流。该方法包括若干个步骤。步骤的次序不一定对应于步骤的编号，而是也可以在本发明的不同实施例之间变化。另外，可以重复个体步骤或步骤序列。

在第一步骤S10中，接收医学图像数据集MIDS。这可以涉及从例如存储在医学信息系统40中的多个病例中选择医学图像数据集MIDS。该选择可以由用户手动执行，例如，通过在用户接口10中运行的图形用户接口中选择适当的图像数据。替代地，医学图像数据集MIDS可以由用户通过将医学图像数据集MIDS上传到计算单元来提供给计算单元。

在步骤S20处，绘制用于经由用户接口10向用户显示的医学图像数据集MIDS的表示R。如图3所示，表示R可以示出医学发现MF。

在步骤S30处，经由用户接口10向用户提供表示R。用户可以调整用于显示表示R的显示设置。例如，这种显示设置可以包括由用户应用的一个或多个分割掩膜、由用户应用的一个或多个强度窗口或过滤器、由用户应用的一个或多个对比度、亮度、强度设置、由用户应用的一个或多个缩放、平移或查看平面设置等。

接下来，在步骤S40处，接收用户输入INP。在步骤S40中接收到的用户输入INP可以指向在表示R中可见的医学发现MF。如图3中可以看到的，用户输入INP可以旨在包围(encircle)该发现和/或导出对应的测量，诸如体积或大小。如所提到的，用户输入INP还可以涉及使用测量工具来标识/测量医学发现MF。根据进一步的示例，用户输入还可以包括激活自动检测函数，该自动检测函数被配置成标识医学图像数据集MIDS中的医学发现MF。

在步骤S50处，预测由用户输入INP标识的医学发现MF的发现类型FT。该预测可以基于用户输入INP和/或被包括在表示R或医学图像数据集MIDS中的图像数据。此外，还可以考虑进一步的信息，诸如补充信息或显示设置。将结合图5来提供进一步的细节。

在预测步骤中，可以预测被讨论的多个发现类型FT。该集合可以被视为一组可能的发现类型FT，用户可以从其中挑选用于随后的报告工作流程的“最终”发现类型FT。将在图4中给出关于该半自动选择过程的进一步细节。

发现类型FT的预测可以包括在预测函数PF中输入可用的输入数据，诸如用户输入INP、该表示和任何其他相关数据，该预测函数PF可以包括机器学习模块(参见图7-9)。

根据一实施例，步骤S70可以包括与用户的确认交互。这里，用户可以评估发现类型FT是否正确。为此，用户接口10可以被配置成接收指向拒绝或接受发现类型FT的用户输入。如果发现类型被拒绝，则可以预测另一发现类型。

在步骤S60处，从报告数据库RD中检索与所预测的发现类型FT相匹配的至少一个模板数据结构TDS。为此，可以在报告数据库RP中针对与所预测的发现类型FT相对应的模板数据结构TDS执行查找操作。具体地，可以使用将报告数据库RD中的模板数据结构TDS与适用的发现类型FT链接的关联来查找正确的模板数据结构TDS。

在步骤S70处，提供在步骤S60处标识的模板数据结构TDS。提供可以意味着经由用户接口10向用户显示模板数据结构TDS。特别地，可以提供模板数据结构TDS，使得用户可以编辑模板数据结构TDS，例如，通过填充模板数据结构TDS中提供的数据字段DF。

另外，步骤S70可以包括利用已经可用的信息段来预填充模板数据结构TDS的不同数据字段DF。特别地，这可以包括基于用户输入INP所生成的任何测量。

在可选步骤S80处，基于模板数据结构TDS来生成医学报告MER。这可以涉及经由用户接口10从用户接收旨在编辑模板数据结构TDS的用户输入。这可以包括录入或改变模板数据结构TDS中的内容。对于医学报告MER，用户由此最终确定的模板数据结构TDS可以与可能已经由类似工作流程所提供的与其他医学发现MF相关的其他模板数据结构TDS相组合。然后，所得到的医学报告MER可以例如经由健康护理信息系统40被转发给其他系统或用户。另外，所得到的医学报告MER可以被存档在例如报告数据库RD或健康护理信息系统40中。

图4描绘了可选方法步骤，用于允许用户在步骤S50之后从被讨论的自动检索的发现类型TF的集合中选择发现类型FT。步骤的次序不一定对应于步骤的编号，而是也可以在本发明的不同实施例之间变化。另外，可以重复个体步骤或步骤序列。

首先，在步骤S50-A中，提供候选发现类型FT的集合。候选发现类型FT可以是基于如步骤S50中所描述的预测的最可能的发现类型FT。最可能的发现类型FT可以是基于可用信息具有最大置信得分的那些发现类型FT。

在步骤S50-B处，将候选发现类型FT提供给用户。例如，这可以涉及在用户接口10中向用户显示发现类型FT。根据一些示例，在那个时候(on that occasion)还可以向用户显示任何可用的置信得分。

在步骤S50-C处，接收用户输入，该用户输入旨在选择候选发现类型FT中的一个作为适用的发现类型FT。根据一些实现方式，该信息可以被反馈给实际预测过程，以便改善工作流程。例如，用户选择可以被提供给预测函数PF，以用于进一步的适配/进一步的训练。

最后，在步骤S50-D处，用户由此选择的发现类型FT被包括在工作流程中，作为在步骤S50中提供的发现类型FT。

图5描绘了可选方法步骤，其图示了在预测发现类型FT时可以考虑哪种信息。因此，在预测步骤S50中，可以个体地或以任意组合来使用不同的方法。另外，在预测函数PF被配置成执行这些步骤中的一个或多个的意义上，可以在预测函数PF中实现这些步骤中的一个或多个。步骤的次序不一定对应于步骤的编号，而是也可以在本发明的不同实施例之间变化。另外，可以重复个体步骤或步骤序列。

如所提到的，可以由适当配置的预测函数PF来执行对发现类型FT的预测。因此，步骤S50可以包括提供预测函数PF的可选子步骤S51。例如，预测函数PF可以通过将其保持在处理单元的存储器中可用(例如作为可执行计算机代码)来提供。在可选子步骤S52中，可以将可用的输入数据、即用户输入INP、表示R、医学图像数据集MIDS、补充信息、参考医学图像、显示设置和/或成像参数输入到预测函数PF中，该预测函数PF然后可以输出发现类型FT(或候选发现类型FT的集合)。

为了改善用于预测发现类型FT的基础，可以考虑患者可用的补充信息。在可选子步骤S53中，针对患者获得这种补充医学信息。为此，可以针对患者可用的附加信息来查询健康护理信息系统40。为此，可以基于在该系统中标识患者的电子标识符来制定合适的搜索查询。例如，这种标识符可以由患者姓名或唯一的患者ID来体现。

接下来，补充信息可以用于进一步缩小针对医学发现MF被讨论的潜在发现类型FT的范围。例如，如果在先报告已经指示了针对患者和给定器官的某个发现类型FT，则相同类型的医学发现FT将仍然存在于医学图像数据集MIDS中的可能性增加。

进一步准确定位发现类型FT的另一选项是系统性地分析哪些发现类型FT已经针对类似病例被报告。为此，该处理可以依赖于参考医学图像的集合，每个参考医学图像描绘了具有经验证的发现类型FT的一个或多个医学发现MF。例如，发现类型FT可能已经通过专家注释或由于先前报告工作流程中的确认而被验证。特别地，参考医学图像可以源于除患者之外的参考患者。根据一些示例，参考医学图像可以在类似病例数据库中保持可用，该类似病例数据库可以是健康护理信息系统或处理系统20的一部分。

为了利用参考病例中包含的知识，该方法可以包括可选子步骤S54。该可选子步骤S54旨在：从多个参考医学图像中，基于该表示与个体参考医学图像之间的相似性程度来标识至少一个相似医学图像。由于存在相似医学图像也指示相似发现类型FT的某种可能性，因此可以针对手头的病例来改善发现类型FT的预测。具体地，步骤S50的预测然后可以基于所标识的相似医学图像的至少一个经验证的发现类型FT。

在步骤S55处，可以从用户输入INP中导出位置信息。具体地，可以基于用户输入INP来确定解剖位置。因此，解剖位置可以指示用户输入INP所指向的解剖结构或解剖坐标。例如，可以基于用户输入INP来标识表示R中的点，并且可以导出该点与医学图像数据集MIDS和/或患者解剖结构的关系。例如，该点可以以表示R的像素来给出，并且该关系可以是与广义坐标和/或解剖结构(诸如器官、解剖界标或图谱)的关系。因此，由此导出的解剖位置可以包括用户输入INP所指向的器官或器官部分的指示，或者用户输入与一个或多个解剖界标的关系。此外，表示R所对应的医学图像数据集MIDS内的切片可以被用作解剖位置，因为该信息段已经指示了用户对什么解剖结构感兴趣。

接下来，位置信息可以用于进一步缩小针对医学发现MF被讨论的潜在发现类型FT的范围。例如，如果位置信息指示某个解剖结构或器官，则适用于某个解剖结构或器官的那些发现类型FT将必须被考虑的可能性增加。此外，还可以基于解剖位置来过滤补充医学信息，以便标识那些与解剖位置相关并且对于标识发现类型FT可能承担增加的相关性的信息。

作为用于缩小潜在发现类型FT的范围的又一个信息源，可以在步骤S56处考虑用户当前应用的显示设置。通常，显示设置(诸如查找表、强度、对比度、亮度或其他设置)是特定于某个诊断任务的。因此，利用显示设置可以提供关于被讨论的发现类型FT的提示。

以CT图像数据作为示例，用户在阅读研究时经常会对表示进行强度过滤。CT图像数据集的每个体素通常具有强度值，该强度值表示根据CT测量所确定的体积中的对应位置处的X射线衰减(通常以Hounsfield或HU单位来测量)。由于这种关系，可以仅基于体素强度值的阈值化来执行一个种类的分割。例如，具有特定范围内的强度值的所有体素可以被认为表示骨骼。对应的范围被称为“骨骼窗口”。如果检测到这种窗口，则发现类型FT“骨折”可能是有可能的。其他窗口可能涉及切除软组织或肺部分。这里，发现类型FT“肺结节”将必须相对于发现类型FT“骨折”是优先的(favored)。

然而，提供了对可能的发现类型FT的洞察的显示设置的进一步示例是自动查看设置。自动查看设置经常涉及针对特定诊断任务或特定器官的设置。自动查看设置可以由用户接口提供以供用户选择。由于自动查看设置是特定于某个诊断任务或解剖结构的，因此它们的知识可以提供对可能的发现类型FT的洞察。例如，如果选择了针对肝脏的自动查看设置，则适用于肝脏的发现类型FT变得更有可能。

为了提供另一示例，所选择的查看平面也可以关于哪种发现类型FT是恰当的(pertinent)提供进一步的洞察。通常，查看平面可以从轴向或矢状或冠状查看平面中选择。在诊断工作流程中，查看方向是用户正在观看的诊断问题的指示。因此，查看平面的知识可以帮助缩小发现类型FT的范围。

根据一些示例，在可以附加地基于显示设置来导出解剖位置的意义上，也可以在步骤S55中考虑显示设置。

在已经是境况的医学成像中，获取过程可以提供对底层诊断问题的洞察。因此，可以在步骤S57处获得并评估对应的成像参数，以便预测发现类型FT。一般地，成像参数可以涉及在医学图像数据集MIDS的获取和/或预处理或后处理期间使用的设置。

具体地，成像参数可以包括这种多样化信息，诸如在图像获取过程期间的患者位置、用于获取生成医学图像数据所基于的原始数据的图像获取协议、和/或用于基于原始数据来生成医学图像数据集MIDS的图像重建协议等。

为了提供示例，如果已经扫描了患者的大脑，则在步骤S50中将考虑大脑的发现类型FT，而不是胸部的发现类型FT。类似地，适用于某种疾病的成像协议也可以指示对应发现类型FT的存在。

成像参数可以作为补充信息或者直接从医学图像数据集MIDS——在其中它们可以作为元数据被存储——来获得。

为了进一步改善发现类型FT的预测，可以在步骤S58处对一般地被讨论的发现类型FT进行归类。

这里，所有可用发现类型FT中的每个发现类型FT可以与多个预定类别中的至少一个相关联。以此，可以根据这些类别将发现类型FT分组到列表或桶中。然后，在预测步骤中，仅考虑如下这种发现类型FT：其类别与可用输入数据(诸如补充信息、显示设置和/或成像参数)所指示的类别相匹配。

将发现类型FT与总体(overarching)类别相关联可以带来如下优点：即，发现类型FT可以被高效地预先选择并且根据它们的类别被分组到列表中。根据一些示例，类别可以包括器官、可疑诊断、鉴别诊断、解剖位置、患者在疾病轨迹中的阶段等。针对类别的另一词语可以是诊断用例。

可以使用将特定发现类型FT映射到上位(superordinate)类别的适当本体来执行一个或多个类别的关联。在这个意义上，该方法可以进一步包括定义多个类别并且将每个潜在发现类型FT与该多个类别中的一个或多个相关联的步骤。

因此，步骤S58可以包括：基于医学图像数据集、补充医学信息、解剖位置、显示设置、成像参数和/或至少一个类似图像中的一个或多个来确定医学图像数据集MIDS的适用类别；以及通过将适用类别与关联于可用发现类型FT的类别进行比较来选择发现类型FT。

图6列出了步骤S54的相似医学图像的标识可以如何被投入实践的示例性实施例。在这点上，图6提供了若干个示例，但是不应被视为限制步骤S54的范围，因为它并不意味着排除可以如何确定图像数据之间的相似性的进一步可能性。例如，作为对图像描述符的显式提取以及其随后比较的替代，可以实现基于傅立叶的分析方案(其中个体图像或图像区域将被变换到傅立叶空间中，并且相似性将通过应用数学卷积函数来计算)。

在步骤S54-A处，从表示R生成图像描述符。图像描述符可以包括以特征向量形式的表示R的代表性或表征特征。由于该表示一般还可以包括非图像数据或者与非图像数据相关联，因此图像描述符可以同样地基于图像特征签名(signature)和非图像特征。图像特征签名可以通过图像分析方法来生成，该图像分析方法包括标识、分析和/或测量存在于该表示R中所包括的任何图像数据中的对象、局部和/或全局结构和/或纹理。所生成的图像特征签名可以包括解剖特征和/或结构，如例如界标的存在、或器官的大小、或所标识的组织或器官的结构、纹理和/或密度等等。图像特征签名可以同样地包括表征存在于所分析图像中的颜色和/或灰度方案或对比度特性或局部灰度梯度的参数。图像特征签名优选地不仅包括一个特征，而且还包括众多特征，这些特征作为总和表征了所分析的图像。从被包括在表示R中的非图像数据中提取的非图像特征可以包括与图像数据相关联的元数据。另外，它们可以涉及独立于图像数据的数据，从而提供关于目标患者的进一步情境信息，诸如从电子健康记录、实验室数据等中提取的特征。

在步骤S54-B处，从参考医学图像中提取对应的图像描述符。可以以与针对表示R的(一个或多个)图像描述符相同的方式来生成参考医学图像的图像描述符。根据一些示例，参考医学图像的图像描述符已经被提前生成，并且与参考医学图像一起被存储，例如存储在医学信息系统40中。

在步骤S54-C处，将从表示R中提取的图像描述符与从参考医学图像中提取的图像描述符进行比较。根据一些示例，步骤S54-C的比较可以包括确定表示表示R的图像描述符与从参考医学图像中提取的图像描述符中的相应一个之间的相似性的相似性或距离度量。在一些示例中，相似性度量可以是表示R的图像描述符与参考医学图像的图像描述符中的相应一个之间的向量空间中的距离。例如，该距离可以是相应图像描述符所表示的向量空间中的两个点之间的欧几里德距离。在一些其他示例中，相似性度量可以基于相应图像描述符的L1范数。在一些进一步的示例中，可以使用其他相似性度量，诸如数据描述符之间的余弦相似性。对于所考虑的每个参考医学图像，相似性度量可以表示参考医学图像与表示R有多相似。换句话说，相似性度量表达(量化)表示R与相应参考医学图像之间的相似性程度。在步骤S54-C中确定的相似性可以用于选择参考医学图像中的与表示R中的图像数据具有最大相似性的图像或那些图像。根据一些示例，可以在此基础上标识多个相似图像。

根据一些实现方式，可以由适当配置的预测函数PF来执行前述步骤S54、S54-A、S54-B、S54-C。然而，要理解的是，这些步骤也可以由单独的图像分析函数来执行。

图7描绘了根据一实施例的预测函数PF的示意性表示。根据该实施例的预测函数PF包括经训练的组件或机器学习组件FEX、CLA，该组件FEX、CLA被训练成基于输入数据IN-D来预测发现类型FT，该输入数据IN-D至少包括旨在标识表示R中的医学发现MF的用户输入INP。然而，要理解的是，也可以在不使用经训练的函数的情况下实现预测函数PF的功能性。例如，下文中描述的一个或多个方面也可以通过一个或多个硬编码规则来实现。

一般地，这种机器学习函数或经训练的函数FEX、CAS可以涉及适合于根据经学习的任务对数据进行分类的智能代理(agent)或分类器。该定义包括但不限于数据挖掘工具和技术，诸如支持向量机、决策树、朴素贝叶斯或(卷积)神经网络NN。具体地，根据一实现方式，预测函数PF可以包括一个或多个卷积神经网络NN。在一实施例中，预测函数PF的布置包括全卷积神经网络。可以使用替代的网络布置，例如，3D甚深卷积网络(3D-VGGNet)。

以多个顺序层的形式来定义卷积神经网络。第一组神经网络层FEX可以被应用于从输入数据IN-D中提取特征。由此提取的特征可以作为输入值被馈送到第二组网络层，也被称为分类器CLA，该第二组网络层用于进一步将对象和/或特征指派给存在于输入数据IN-D中的所提取特征中的至少一个。因此，经训练的函数可以被视为至少包括编码器分支FEX和解码器分支CLA。根据一些示例，经训练的函数可以包括用于不同种类的输入数据IN-D(诸如医学图像R、在先报告、显示设置、成像参数等)的多个编码器分支FEX。解码器分支CLA可以被配置成处理所合并的隐描述符数据结构，该隐描述符数据结构是通过聚集从编码器分支获得的特征而获得的。具体地，解码器分支CLA可以将所聚集的特征映射到(经学习的)特征空间中，该特征空间将不同的特征组合与对应的发现类型FT进行相关。特别地，编码器分支中的至少一个可以被配置成从可用输入数据IN-D中提取位置信息。

在编码器FEX和解码器CLA分支的神经网络NN中可以使用各种类型的层，诸如卷积、池化(例如，最大池化或平均池化)、上采样、去卷积、全连接或其他类型的层。卷积层对输入进行卷积，并且通过在输入上移动图像过滤器内核来将其结果传递到下一层。池化层通过将一个层处的节点集群的输出组合到下一层的单个节点中来降低数据的维度，从而简化底层计算。上采样和去卷积层在抽象级别方面逆转了卷积和池化层的作用。全连接层将一个层中的每个节点连接到另一个层中的每个节点，使得基本上每个特征都获得“投票(vote)”。根据一实现方式，可以使用跳过连接，使得层也可以在引入一个或多个残差块或层的情况下输出到除了顺序地下一层之外的其他层。这种配置也被称为ResNet。使用残差块得到了训练深得多的网络的能力，因为这减轻了从甚深神经网络中已知的梯度消失问题。

一般地，该实施例的预测函数PF通过基于训练数据适配个体层和节点的权重或加权参数来进行学习。预测函数PF的架构可以被定义为基于输入数据IN-D在不同的抽象级别学习这些模式，而不是预先编程发现类型FT的潜在迹象(potential sign)。预测函数PF可以优选地使用根据监督学习的方法来训练。公认的是反向传播方法，该方法可以被应用于本发明的实施例。在训练期间，预测函数PF被应用于训练输入值，以产生其目标值已知的对应输出值。所产生的输出值与目标输出值之间的差(例如，以所产生的值与目标值之间的差的均方误差(MSE)的形式)可以用于引入代价或损失函数，作为经训练的函数TF执行得多好或多坏的量度。训练的目标是通过迭代地调整预测函数PF的权重来找到损失函数的(局部)最小值，使得预测函数PF最终能够跨(足够)大的训练数据队列(cohort)生成可接受的结果。可以使用随机梯度下降或本领域已知的其他方法来执行该优化问题。

原则上，包括一个或多个编码器分支和解码器分支的预测函数PF可以通过适配编码(即，特征的提取)或解码(即，根据发现类型FT的分类)或其两者来训练。例如，可以适配一个或多个编码器分支，使得特别有意义的特征集被提取。另外，可以训练解码器分支，使得适当的分类方案被学习和/或应用。

图8描绘了用于提供基于输入数据IN-D来预测发现类型FT的预测函数PF的方法。由此，输入数据IN-D至少包括指示医学图像数据集MIDS中的医学发现MF的用户输入INP。该方法包括若干个步骤。步骤的次序不一定对应于步骤的编号，而是也可以在本发明的不同实施例之间变化。

第一步骤T10旨在提供多个训练数据集。训练数据集分别包括训练输入数据集和对应的经验证的输出数据集。训练输入数据集优选地与要由经部署且被容易地训练的预测函数PF处理的输入数据IN-D具有相同的类型。因此，训练输入数据集均同样地至少包括指示医学图像中的医学发现的用户输入INP。另外，训练输入数据集可以包括如之前所描述的医学图像、补充信息、成像参数、显示设置等。经验证的输出数据集包括由对应的训练输入数据集所指示的经验证的发现类型FT。

接下来，在步骤T20处，将训练数据集提供给(未被容易地训练的)预测函数PF。

基于训练数据集的训练输入数据，预测函数PF在步骤T30中将根据经学习的任务来确定训练发现类型。特别地，训练发现类型可以基于用户输入INP和对应的图像数据。

基于经验证的发现类型FT和训练发现类型的比较，在随后的步骤T40中，评估预测函数PF的性能(即，所预测的发现类型的质量)。

在步骤T50处，该比较被用作调整预测函数PF的权重的损失函数。

在步骤T60处，利用训练输入数据集和输出数据集的成对集合来重复获得训练发现类型的步骤(步骤T30)以及将结果与经验证的发现类型进行比较的步骤(步骤T40)，直到预测函数PF能够生成可接受的结果(即，直到达到损失函数的局部最小值)。一旦已经使用了所有的对，对就被随机地打乱(shuffle)，以用于下一轮(next pass)。

图9图示出了用于训练预测函数PF的系统200的实施例。该系统包括处理器210、接口220、存储器230、存储装置240和数据库250。处理器210、接口220、存储器230和存储装置240可以由计算机290来体现。处理器210控制计算机200的整体操作，这是通过执行定义了这种操作的计算机程序指令来实现的。计算机程序指令可以被存储在存储器230或存储装置240中，并且在期望执行计算机程序指令时被加载到存储器230中。存储装置240可以是作为系统200的组件的本地存储装置，或者是可通过网络访问的远程存储装置，诸如服务器或云系统的组件。图8中所图示的方法步骤可以由存储在存储器230和/或存储装置240中的计算机程序指令来定义，并且由执行计算机程序指令的处理器210来控制。

数据库250是存储设备，诸如用作用于训练数据集(包括如上所引入的那些)的存档的云或本地存储装置。数据库250可以连接到计算机290，用于接收一个或多个医学图像。还有可能将数据库250和计算机290实现为单个设备。进一步可能的是，数据库250和计算机290通过网络无线地通信或者利用有线连接进行通信。接口220被配置成与数据库250交互。

在不限制或扩大本发明的范围的情况下，只要有意义，个体实施例或它们的个体方面和特征就可以彼此组合或交换。关于本发明的一个实施例所描述的优点在任何适用的情况下对于本发明的其他实施例也是有利的。

Claims

1.一种用于提供医学报告(MER)的模板数据结构(TDS)的计算机实现的方法，包括以下步骤：

-接收(S10)患者的医学图像数据集(MIDS)，

-生成(S20)用于经由用户接口(10)向用户显示的所述医学图像数据集(MIDS)的表示(R)，

-提供(S30)用于经由用户接口(10)向用户显示的所述表示(R)，

-经由用户接口(10)接收(S40)指向在所述表示(R)中可见的医学发现(MF)的用户输入(INP)，

-基于所述用户输入(INP)来预测(S50)所述医学发现(MF)的发现类型(FT)，

-在数据库(RD)中执行(S60)查找操作，以标识与所预测的发现类型(FT)相对应的医学报告(MER)的模板数据结构(TDS)，

-提供(S70)所标识的模板数据结构(TDS)。

2.根据权利要求1所述的方法，进一步包括：

-提供(S51)预测函数(PF)，所述预测函数(PF)被配置成至少基于关于医学图像数据集(MIDS)的表示(R)做出的用户输入(INP)来预测医学发现(MF)的发现类型(FT)，

-其中：

-所述预测(S50)的步骤包括将所述预测函数(PF)应用于所述用户输入(INP)(S52)，以及

-可选地，所述预测函数(PF)包括机器学习函数(FEX、CLA)，所述机器学习函数(FEX、CLA)被训练成至少基于关于医学图像数据集(MIDS)的表示(R)做出的用户输入(INP)来预测发现类型(FT)。

3.根据权利要求2所述的方法，其中

-所述机器学习函数(FEX、CLA)已经基于分别描绘了患者的身体部位并且包括具有经验证的发现类型(FT)的至少一个医学发现(MF)的医学图像数据集(MIDS)而被训练。

4.根据前述权利要求中任一项所述的方法，进一步包括：

-获得(S53)所述患者的补充医学信息，

-其中所述预测(S50)的步骤进一步基于所述补充医学信息。

5.根据权利要求4所述的方法，其中

-所述补充医学信息包括以下元素中的一个或多个：

-所述患者的在先医学报告，和/或

-所述患者被怀疑患有的至少一个类型的医学问题的先验知识，和/或

-基于所述患者的所述医学图像数据集(MIDS)要执行的诊断任务的指示，和/或

-适用于所述患者的医学指南，和/或

-所述患者的电子健康记录。

6.根据前述权利要求中任一项所述的方法，其中

-所述方法包括：从不同于所述患者的参考患者的多个参考医学图像中，基于所述表示(R)与个体参考医学图像之间的相似性程度来标识(S54)至少一个相似医学图像，

-每个参考医学图像包括具有经验证的发现类型的一个或多个发现，以及

-所述预测(S50)的步骤进一步基于所标识的至少一个相似医学图像的至少一个经验证的发现类型。

7.根据权利要求6所述的方法，其中

-所述标识(S54)所述至少一个相似医学图像的步骤包括：

-从所述表示(R)中提取(S54-A)图像描述符；

-分别从所述多个参考医学图像中的每一个中提取(S54-B)对应的图像描述符，以及

-针对所述多个参考医学图像中的每一个，确定(S54-C)相似性度量，所述相似性度量指示所述表示(R)的图像描述符与相应参考医学图像的相应图像描述符之间的相似性程度。

8.根据前述权利要求中任一项所述的方法，其中

-所述方法进一步包括基于所述用户输入(INP)和所述表示(R)和/或所述医学图像数据集(MIDS)来确定(S55)所述用户输入(INP)所指向的解剖位置，以及

-所述预测(S50)所述发现类型(FT)的步骤进一步基于所述解剖位置。

9.根据前述权利要求中任一项所述的方法，其中

-所述方法进一步包括在显示所述表示(R)时获得(S56)由用户针对所述表示(R)所应用的一个或多个显示设置，以及

-所述预测(S50)所述发现类型(FT)的步骤进一步基于所述显示设置。

10.根据前述权利要求中任一项所述的方法，其中

-所述方法进一步包括获得(S57)所述医学图像数据集(MIDS)的至少一个成像参数，所述成像参数涉及在所述医学图像数据集(MIDS)的获取和/或预处理期间使用的设置，以及

-所述预测(S50)的步骤进一步基于所述成像参数。

11.根据前述权利要求中任一项所述的方法，其中

-所述用户输入(INP)旨在生成所述表示(R)中描绘的图像特征的测量，以及

-所述预测(S50)所述发现类型(FT)的步骤进一步基于所述测量。

12.根据前述权利要求中任一项所述的方法，其中

-所述预测(S50)的步骤包括：

-预测(S50-A)多个可能的发现类型以供用户选择，

-向用户提供(S50-B)所述多个可能的发现类型，

-接收(S50-C)旨在选择所述可能的发现类型之一的用户输入，

-基于所述用户选择来提供(S50-D)所述发现类型(FT)。

13.一种用于提供医学报告(MER)的模板数据结构(TDS)的系统(1)，所述系统(1)包括接口单元(10)、计算单元(20)和数据库(RD)，

-所述数据库(RD)被配置成存储医学报告(MER)的多个报告模板结构(TDS)，每个报告模板结构(TDS)对应于医学发现(MF)的不同发现类型(FT)，

-所述接口单元(10)被配置成：

-接收(S10)患者的医学图像数据集(MIDS)，

-转发(S30)用于向用户显示的所述医学图像数据集(MIDS)的表示(R)，

-接收(S40)来自用户的旨在指示所述表示(R)中的医学发现(MF)的用户输入(INP)，以及

-向用户提供(S70)所述模板数据结构(TDS)，以及

-所述计算单元(20)被配置成：

-生成(S20)用于向用户显示的所述医学图像数据集(MIDS)的所述表示(R)，

-基于所述用户输入(INP)来预测(S50)所述医学发现(MF)的发现类型(FT)，以及

-在所述数据库(RD)中执行(S60)查找操作，以标识与所预测的发现类型(FT)相对应的模板数据结构(TDS)。

14.一种包括程序元素的计算机程序产品，当所述程序元素被加载到用于提供医学报告(MER)的模板数据结构(TDS)的系统(1)的计算单元(20)的存储器中时，所述程序元素促使所述计算单元(20)实行根据权利要求1至12中任一项所述的方法的步骤。

15.一种其上存储有程序元素的计算机可读介质，所述程序元素可由用于提供医学报告(MER)的模板数据结构(TDS)的系统(1)的计算单元(20)来读取和执行，以在所述程序元素由所述计算单元(20)执行时实行根据权利要求1至12中任一项所述的方法的步骤。