CN107403425A - 从图像自动地生成放射学报告并自动排除没有发现的图像 - Google Patents

Abstract

从图像自动地生成放射学报告并自动排除没有发现的图像。一种用于自动地生成放射学报告的计算机实现方法包括计算机接收包括多个多维患者图像和患者信息的输入数据集，并且使用学习模型来解析输入数据集以确定临床域和相关图像注释。计算机使用相关图像注释来填充注释表，并且基于注释表而应用一个或多个域特定可编写脚本的规则来填充报告模板。计算机然后可以基于报告模板来生成自然语言放射学报告。

Description

从图像自动地生成放射学报告并自动排除没有发现的图像

技术领域

本发明一般地涉及用于从图像自动地生成放射学报告并自动地排除没有发现的图像的方法、系统以及装置。使用公开的方法、系统以及装置可以被应用到针对从多种成像模式收集的信息的处理，所述成像模式在没有限制的情况下包括计算机断层成像（CT）、磁共振（MR）、正电子发射断层成像（PET）、以及超声波（US）技术。

背景技术

放射学中的用于报告的实践的当前标准要求临床医生检查体数据集（例如，MR、CT或PET）中的每个单独切片并口述（dictate）发现的口头概要。此口述稍后被转录成自由形式的书面报告，其中来自图像的总体印记与非图像患者信息（即年龄、患者历史）相关。这个劳动密集型过程是主观的，并且关于哪些图像信息被用来导出临床发现是不明确的。另外，体数据集内的许多图像切片并未呈现发现。常规系统并未提供用来以高置信度识别并排除不具有发现的多维（例如，2D/3D/4D）图像的任何高效方法。

发明内容

本发明的实施例通过提供与放射学报告的自动生成有关的方法、系统以及装置而解决并克服了上述缺点和缺陷中的一个或多个。与放射学报告的自动生成相关联的主要挑战是管理确定放射发现和印记的存在所需的复杂域（domain）知识，并从图像提取其特征的结构化和语义表示。为了解决这些挑战，公开的技术应用域知识及从现有报告和图像的学习以便确定自动地填充临床报告模板所需的关联规则和必要的图像注释。此设计将报告中的语义的复杂性转移到一组（超完整（over-complete））图像注释。

根据某些实施例，一种用于自动地生成放射学报告的计算机实现方法包括计算机接收包括多个多维患者图像和患者信息的输入数据集，并且使用学习模型来解析（parse）输入数据集以确定临床域和相关图像注释。计算机使用相关图像注释来填充注释表，并且基于注释表而应用一个或多个域特定可编写脚本的（scriptable）规则来填充报告模板。计算机然后可以基于报告模板来生成自然语言放射学报告。在某些实施例中，计算机接收正在对输入数据集执行临床研究的指示。自然语言放射学报告然后可以提供有关临床研究的临床发现和对应于该临床发现的一个或多个图像特征的解释。一旦生成，可以在交互式图形用户接口中呈现自然语言放射学报告，该交互式图形用户接口允许用户经由嵌入自然语言放射学报告中的一个或多个链接的激活来取回描绘一个或多个图像特征的图像。

用上述方法生成的自然语言放射学报告可以包括用于修改扫描仪获取协议以获取一个或多个附加患者图像的一个或多个推荐。例如，在某些实施例中，计算机接收正在对所述多个多维患者图像执行临床研究的指示，并且检测有关该临床研究的目标解剖结构部分地或完全在全部的所述多个多维患者图像的视野之外。上述推荐可以包括在成像期间对患者定位的推荐修改。

在某些实施例中，在上述方法期间，计算机在使用学习模型来解析患者图像之前对患者图像应用排除过程。此排除过程是通过接收正在对所述多个多维患者图像执行临床研究的指示并识别与临床研究无关的患者图像的子集来执行。然后，计算机可以忽视来自输入数据集的所述多个多维患者图像的所述子集或者整体上的输入数据集。

在上述方法的某些实施例中，计算机通过基于现有临床报告和域知识（例如，临床标准、临床指南或在临床咨询中提供的信息）来创建临床报告模板而执行离线准备过程。在某些实施例中，计算机使用以北美放射学会标准化格式提供的基本报告模板来基于现有临床报告和域知识而创建临床报告模板。一旦创建了临床报告模板，则计算机基于现有临床报告和域知识来识别一个或多个临床报告概念和有关临床报告概念的可接受数据范围。在此离线准备过程期间，计算机还使用临床报告模板、一个或多个临床报告概念以及有关临床报告概念的可接受数据范围来创建注释规范，其包括一个或多个注释表和一个或多个域特定可编写脚本的规则。另外，计算机使用注释规范来创建注释系统。计算机然后对一个或多个训练图像应用注释系统以产生一个或多个训练图像注释，并且基于该训练图像和训练图像注释来训练一个或多个图像分析模型。

根据本发明的其它实施例，用于自动地生成放射学报告的计算机实现方法包括计算机执行离线训练过程（与上文所讨论的类似）以及在线报告生成过程。在线报告生成过程包括计算机接收包括多个多维患者图像和患者信息的输入数据集，并且基于与临床域相关联的所述多个可能图像注释和一个或多个域特定模型来导出与输入数据集相关联的一个或多个相关图像注释。另外，在此在线报告生成过程期间，计算机使用一个或多个相关图像注释和所述多个可编写脚本的规则来填充域特定临床报告模板，并且基于已填充域特定临床报告模板来识别一个或多个临床相关发现。在某些实施例中，计算机另外基于临床相关发现来生成自然语言放射学报告。然后可以在交互式图形用户接口中呈现此报告。在某些实施例中，计算机还可以基于一个或多个临床相关发现来识别并忽视与临床域无关的患者图像的子集。

在某些实施例中，在在线报告生成过程期间，计算机基于一个或多个临床相关发现来识别对现有图像获取协议的改变。计算机然后可以与设备通信以在图像扫描仪上自动地实现对现有图像获取协议的改变以获取一个或多个新图像。另外（或替换地），可以在图形用户接口中将对现有图像获取协议的改变显示为向用户的推荐。计算机可以检测有关临床域的目标解剖结构部分地或完全在全部的所述多个多维患者图像的视野之外。对现有图像获取协议的改变可以替换地包括在成像期间对患者定位的推荐修改。

根据其它实施例，一种用于自动地生成放射学报告的系统包括医疗信息数据库和一个或多个数据库。该医疗信息数据库包括一个或多个诊断多维（例如2D/3D/4D）图像数据和非图像患者元数据。一个或多个处理器被配置成与医疗信息数据库通信以取回患者特定输入数据集，使用学习模型来解析患者特定输入数据集以确定临床域和相关图像注释，并且使用相关图像注释来填充注释表。处理器进一步被配置成基于注释表而应用一个或多个域特定可编写脚本的规则来填充报告模板，并且基于已填充报告模板来识别一个或多个临床相关发现。在某些实施例中，处理器还可以被配置成基于报告模板而生成自然语言放射学报告。另外，处理器可以用来在交互式图形用户接口中呈现自然语言放射学报告，其允许用户经由嵌入自然语言放射学报告中的一个或多个链接的激活来取回描绘有关临床相关发现的图像特征的图像。

根据参考附图进行的说明性实施例的以下详细描述，本发明的附加特征和优点将变得显而易见。

附图说明

当结合附图来阅读时，根据下面的详细描述来最好地理解本发明的前述及其它方面。为了说明本发明的目的，在图中示出了当前优选的实施例，然而，应理解的是本发明不限于公开的特定手段。被包括在附图中的是以下各图：

图1提供了根据某些实施例的用于从图像自动地生成放射学报告的系统的概览；

图2提供了在某些实施例中可以生成的示例性图形用户接口（GUI），其示出了具有返回到如在发现中描述的图像特征的嵌入式链接的智能放射学报告；

图3A提供了根据某些实施例的在生成注释规范中涉及到的离线过程的示例；

图3B呈现了可以针对来自CT心脏域的输入而在图3A中所示的过程期间生成的信息；

图3C呈现了可以针对来自CT腹部域的输入而在图3A中所示的过程期间生成的信息；

图3D提供了根据某些实施例的在生成图像处理模型中涉及到的离线过程的示例；

图3E呈现了可以针对来自CT心脏和腹部域的输入而在图3D中所示的过程期间生成的信息；

图4A示出了根据某些实施例的可以用来自动地生成放射学报告的过程；

图4B呈现了具有通过在图4A中呈现的各种步骤的输入/输出数据的示例的表；

图5图示出根据某些实施例的用于自动地排除没有放射发现的图像的过程；

图6提供了用于在线系统通过基于多个数据源的推理和最优解析来生成肾发现的样本集的处理步骤的图示，所述多个数据源包括但不限于来自图像分析的图像特征、本体论（ontology）、在先图像&报告以及非图像数据。

图7图示出可以在其之内实现本发明的实施例的示例性计算环境。

具体实施方式

下面的公开根据针对用于自动地且高效地解析医学图像数据以导出放射学发现的方法、系统以及装置的多个实施例来描述本发明。可以应用公开的技术而通过提取结构化报告模板和概念来自动地生成放射学报告并确定可以从图像处理导出的其关联注释。另外，在具有消除没有发现的图像的能力的情况下，公开技术可以用来调整扫描获取并过滤不相关图像以用于疾病（诸如肺癌）的筛查。此外，标准化字段（field）和模板的使用使与纵向数据和来自过去报告的类似情况的比较简单化（streamline），这允许此系统在历史大数据的上下文（context）中快速地处理和解释当前患者数据。本文描述的技术具有不仅通过提供用于图像获取的反馈、消除没有发现的图像而使传统上作为手动任务的事物自动化并简单化，而且通过直接地用临床观察在相关图像中的参考点来证实（substantiate）临床观察而提高报告的质量的潜力。

图1提供了根据某些实施例的用于从图像自动地生成放射学报告的系统100的概览。简要地，此系统100应用域知识和从现有报告和图像的学习以便确定自动地消除没有发现的图像并填充临床报告模板所需的关联规则和必要的图像注释。在将图像注释与临床解释之间的宝贵相关明确地定义为一组规则的此方法中，系统100能够在图像解析中适应（accommodate）不同的方法论以及可适应于多个临床域。

系统100包括用户计算机115、医疗信息数据库120以及放射学报告生成计算机110，其全部被经由网络125连接。网络125一般地可以是一般地在本领域中已知的任何计算机网络或网络组合。例如，在某些实施例中，用户计算机115通过有线或无线局域网连接到放射学报告生成计算机110。在其它实施例中，可以在远离用户计算机115的位置的位置上实现放射学报告生成计算机110。例如，可以使用允许用户计算机115经由因特网连接的“云计算”架构模型来实现放射学报告生成计算机110。

医疗信息数据库120包括诊断多维（例如2D/3D/4D）图像数据、其放射学报告和相关非图像患者元数据。可以例如使用诸如计算机断层成像（CT）、磁共振成像（MRI）、正电子发射断层成像（PET）或超声波（US）之类的模式来捕捉诊断多维图像数据以支持用于疗法的决策。这些图像体积提供稠密解剖或功能数据。先验要求包括确定临床解释（形态和病理）并将其与图像注释相关的临床域知识。

放射学报告生成计算机110通过网络125与医疗信息数据库120通信以取回用以生成用于生成放射学报告的输入数据集的信息。此取回的精确细节可以取决于医疗信息数据库120的实施方式而改变，然而，一般而言，可以使用一般地在本领域中已知的任何适当技术。例如，在某些实施例中，医疗信息数据库120中的信息被基于患者标识符而编索引（index）。因此，通过将此患者标识符提供给医疗信息数据库120，可以取回与对应患者有关的所有信息。应注意的是医疗信息数据库120仅仅是患者医疗信息可以被存储在该处的一个示例。在其它实施例中，例如，可以将患者医疗信息存储在放射学报告生成计算机110上，或者可以由用户经由用户计算机115来提供信息。

放射学报告生成计算机110包括多个模块110A、110B、110C和110D，其被配置成从患者数据（即，医疗图像和非图像信息两者）生成放射学报告，提供可以引导扫描仪获取以改善定位和协议的图像发现。例如，在由机器人c形臂获取锥形束CT的情况下，系统100可以用来检测目标解剖结构何时部分地或完全在视野之外并在放射学报告中提供改善的定位和协议。另外，在某些实施例中，可以应用系统100来自动地排除不具有任何放射学发现的图像。由模块110A、110B、110C和110D执行离线训练过程以执行诸如创建临床模板、用于导出注释的规范以及创建图像解析模型之类的任务。

在离线处理期间，临床报告模块110A应用用于每个临床域的域知识和参考来创建基本临床报告模板并确定与模板相关联的临床报告概念（例如，器官尺寸、器官位置、血管内腔、组织纹理、组织密度、壁厚度等）。另外，临床报告模块110A填充来自所有可用现有样本报告的每个域报告模板并确定用于所有临床报告概念的值的范围。因此，到临床报告模块110A的离线输入包括示例性报告和域知识（例如，标准、指南、教科书信息、经由临床查询收集的信息等）。输出包括用于每个域的基本临床模板、临床报告概念的表以及用于每个模板的可能值的范围（连续、离散）中的一个或多个。在某些实施例中，由北美放射学会标准化的基本报告模板提供了用于提取模板的起始点连同域知识的各种源。

在在线处理期间，临床报告模块110A使用已填充临床报告模板和自然语言生成（NLG）来生成报告。如在本领域中理解的，NLG指的是从在模板中提供的机器表示系统、域特定信息生成自然语言的任务。因此，在在线处理期间到临床报告模块110A的输入包括具有已填充临床报告概念值的临床报告模板，而输出是具有嵌入式链接的自然语言中的智能报告，所述嵌入式链接导航回到与发现相关的特征的图像坐标。图2提供了示例性GUI 200，智能放射学报告在右侧，具有返回到如在发现中描述的图像特征的嵌入式链接。

规则模块110B用临床报告概念来创建可编写脚本的规则和注释。在离线处理期间，针对每个临床域和具有临床概念的关联基本临床报告模板，规则模块110B确定生成用于临床报告概念中的每个的值所必要的图像注释和对应规则。被提供到规则模块以用于离线处理的输入包括基本报告模板、关联临床报告概念以及其值的范围。离线输出是可以包括例如可编写脚本的规则和注释表的注释规范。该规则可以使用一般地在本领域中已知的任何脚本语言（例如，Python）来实现。例如，自然语言中的用于肝尺寸的一般规则可以如下：具有大于X cm的锁骨中线或大于Y cm的横径的成年男性的肝被视为扩大。用于确定肝是否扩大的此规则将要求以下输入：临床信息（例如，年龄、性别）和加注释的肝体积/掩膜（mask）/网格，系统将从其导出锁骨中线和横向测量结果。规则将输出‘扩大’或‘未扩大’的二元结果。关于肝尺寸的规则的输出可以是到评估肝的总体常态（normality）的另一规则的输入。因此，规则可以输入图像导出注释、非图像信息及其它规则。规则可以从给定输入导出附加测量结果。规则的输出可以是二元标签、分类、测量的范围等。

在在线处理期间，规则模块110B选择临床域报告模板，并且应用对应规则来用临床报告概念值填充模板（在线）。因此，在给定注释值的情况下，规则模块110B使用离线生成的可编写脚本的规则来选择临床报告模板并生成用于关联临床报告概念的值。到规则模块110B的在线输入包括已填充注释表、可编写脚本的规则、报告模板、以及临床报告概念。输出是用概念值填充的临床报告模板。

在给定注释规范的情况下，图像注释模块110C构建图像注释系统并将其用来对样本图像加注释。应注意的是图像注释模块110C仅离线操作。到图像注释模块110C的输入包括注释规范（即，可编写脚本的规则和注释表）、图像以及患者信息，而输出是注释系统和图像注释。

图像处理模块110D训练图像解析模型并使用这些模型来确定域、模式和注释。在离线处理期间，图像处理模块110D确定什么是最优算法或用以连续地确定注释值的最优方式（可伸缩（scalable）至大量注释，并且例如包括：确定域、图像类型等）。在这里，输入是有注释图像/非图像患者信息，并且输出是一个或多个最优（分级）图像解析模型。可以由图像处理模块110D生成的图像解析模型的示例在没有限制的情况下包括辨别式（discriminative）分类器（概率推进树（PBT）、边际空间学习（MSL）、边际空间深度学习（MSDL）、神经网络（NN）等）、回归模型、分级模型、统计形状模型、概率图形模型等。学习并表示复杂域的分级结构的方法的示例包括加强学习、递归神经网络（RNN）、深度Q学习、统计建模等。

在在线处理期间，图像处理模块110D对输入图像扫描以使用经训练的图像解析模型来确定注释值。可以例如在已完成注释表（包括域、图像类型等）中表示由图像处理模块110D输出的注释值。

可以使用各种接口来便于用户计算机115与放射学报告生成计算机110之间的通信。例如，在某些实施例中，放射学报告生成计算机110支持在用户计算机115上的网页中显示图形用户接口（GUI）的web应用程序。用户然后可以与放射学报告生成计算机110相交互。在其它实施例中，放射学报告生成计算机110可以被配置成经由定制应用编程接口（API）来接受命令。因此，例如，安装在用户计算机115上的开发工具可以被配置成在生成和显示放射学报告中使用API。

通过经由具有图像和临床解释的关系的结构和透明度的灵活可伸缩系统来自动地消除没有发现的图像并生成放射学报告，图1中所示的系统100克服了与常规医疗信息跟踪系统相关联的许多问题。为了阐明由图1中呈现的每个模块执行的步骤，下面阐述的图提供了用于CT心脏和CT腹部（参见图3A—3E和图4A—4C）的两个样本临床域中的示例，然而，可以容易地扩展系统的设计以用于附加放射学域。为了排除没有放射学发现的图像，相同的架构适用。然而，作为创建临床报告的替代，如果确定将不提供被链接到将包括在结果得到的报告（图5）中的任何发现的特征，则可以标记（flag）特定切片。

图3A提供了根据某些实施例的在生成注释规范中涉及到的离线过程300的示例。具体地，基于报告和域知识来创建并填充报告模板。然后，通过将这些报告模板与临床概念及其范围一起使用，创建注释规范。图3B和3C呈现了可以在图3A中示出的过程期间生成的信息。图3B中呈现的信息对应于CT心脏输入数据集的处理，而图3C示出了用于CT腹部输入数据集的结果。

图3D提供了根据某些实施例的在生成图像处理模型中涉及到的离线过程305的示例。再次地，上文在图1中参考放射学报告生成计算机110描述了功能。首先，创建注释系统并将其用来对图像加注释。然后则使用图像注释来训练图像解析模型。图3E呈现了示出用于CT心脏和CT腹部输入数据集的通过图3D中示出的过程的各种步骤的输入/输出数据的表。

图4A和4B提供了根据本发明的某些实施例的在线处理的示例。图4A示出了根据某些实施例的由在线系统架构及其关联输入/输出要求应用的过程400。简要地，使用学习模型来解析图像以确定域/模式信息以及相关注释。接下来，选择并使用对应可编写脚本的规则来填充模板。然后，基于已填充报告模板而生成自然语言报告。通过使用CT心脏作为样本放射学报告域，图4B呈现了具有通过在图4A中呈现的各种步骤的输入/输出数据的示例的表。图4C提供了示出与对CT腹部域应用图4A中所示的过程相关联的数据的表。

图5图示出根据某些实施例的由在线系统架构和关联输入/输出要求应用的用于自动地排除没有放射学发现的图像的过程500。体数据集内的许多图像切片并未呈现发现。因此，针对要求检查每个单独切片的过程，可以以高置信度识别并排除不具有发现的切片的系统具有影响工作流程效率的可能性。例如，这些特征可以在癌症筛查期间用来滤出不相关图像。通过自动地识别没有发现的图像，此类系统可以帮助放射学家集中于相关图像。此外，还可以自动地处理针对一个疾病的怀疑所获取的图像以排除其它疾病的存在，以便通过全面的筛查提供更多的价值。在图5的示例中，首先用学习模型来解析图像以确定域/模式注释。该注释然后被用来选择模板并用对应可编写脚本的规则填充该模板。通过使用已填充报告模板作为指导，标记没有放射学发现的图像。

图6图示出根据某些实施例的与生成肾发现的样本集相关联的处理步骤600。简要地，此示例被划分成三个阶段：深度学习和特征提取、推理以及发现的自然语言表示的生成。这些阶段对应于分别地由图像处理模块110D、规则模块110B以及临床报告模块119A提供的功能。在图6中，接收患者的肾的输入图像。然后在多个层上（下至像素水平）对图像应用深度学习以便提取特征。然后在推理算法中使用这些特征连同其它相关患者信息。该推理算法然后输出描述图像数据的自然语言报告。请注意，该报告包括用方框突出显示的某些单词或短语。此类突出显示可以用来将临床医生的注意力吸引到重要信息并允许快速地解析报告。另外，在某些实施例中，这些单词被用语言表达成输入数据集中的重要信息。例如，在图6中示出的报告中突出显示短语“小囊肿”。在这种情况下，用户点击短语可以引起显示报告的计算机取回并显示示出囊肿的一个或多个图像。这样，应理解的是输出报告是交互式的，并且允许用户不仅检查在报告中呈现的结论，而且还检查用于那些结论的基础。

图7图示出在其之内可以实现本发明的实施例的示例性计算环境700。例如，计算环境700可以用来实现图1中所示的系统100的一个或多个部件。计算机和计算环境（诸如计算机系统710和计算环境700）是本领域技术人员已知的，并且因此在这里被简要描述。

如图7中所示，计算机系统710可以包括通信机制，诸如用于在计算机系统710内传送信息的系统总线721或其它通信机制。计算机系统710还包括与系统总线721耦合以用于处理信息的一个或多个处理器720。

处理器720可包括一个或多个中央处理单元（CPU）、图形处理单元（GPU）或本领域中已知的任何其它处理器。更一般地，如本文中所使用的处理器是用于执行存储在计算机可读介质上的机器可读指令以用于执行任务的设备，并且可以包括硬件和固件中的任何一个或其组合。处理器还可以包括存储可执行以用于执行任务的机器可读指令的存储器。处理器通过操纵、分析、修改、转换或传输信息以供可执行程序或信息设备使用和/或通过将该信息路由到输出设备来对信息起作用。例如，处理器可以使用或包括计算机、控制器或微处理器的能力，并且被使用可执行指令进行调节以执行未被通用计算机执行的专用功能。处理器可以与任何其它处理器耦合（以电的方式和/或作为包括可执行部件），实现了其之间的交互和/或通信。用户接口处理器或发生器是包括用于生成显示图像或其各部分的电子电路或软件或两者的组合的已知元件。用户接口包括实现与处理器或其它设备进行用户交互的一个或多个显示图像。

继续参考图7，计算机系统710还包括被耦合到系统总线721的用于存储将由处理器720执行的指令和信息的系统存储器730。系统存储器730可以包括采用易失性和/或非易失性存储器（诸如只读存储器（ROM）731和/或随机存取存储器（RAM）732）形式的计算机可读存储介质。RAM 732可以包括（多个）其它动态存储设备（例如，动态RAM、静态RAM以及同步DRAM）。ROM 731可包括（多个）其它静态存储设备（例如，可编程ROM、可擦除PROM以及电可擦PROM）。另外，系统存储器730可以被用于在由处理器720执行指令期间存储临时变量或其它中间信息。可以在ROM 731中存储包含帮助诸如在启动期间在计算机系统710内的元件之间传输信息的基本例程的基本输入/输出系统733（BIOS）。RAM 732可以包含对处理器720立即可访问和/或当前被其操作的数据和/或程序模块。系统存储器730可以另外包括例如操作系统734、应用程序735、其它程序模块736和程序数据737。

计算机系统710还包括被耦合到系统总线721以控制用于存储信息和指令的一个或多个存储设备的磁盘控制器740，所述存储设备诸如磁性硬盘741和可移动媒体驱动器742（例如，软盘驱动、光盘驱动、磁带驱动和/或固态驱动）。可以使用适当的设备接口（例如，小型计算机系统接口（SCSI）、集成电路设备（IDE）、通用串行总线（USB）或火线（FireWire））来向计算机系统710添加存储设备。

计算机系统710还可包括被耦合到系统总线721以控制显示器或监视器766（诸如阴极射线管（CRT）或液晶显示器（LCD））以用于向计算机用户显示信息的显示器控制器765。计算机系统包括输入接口760和一个或多个输入设备，诸如键盘762和定点设备761，以用于与计算机用户相交互并向处理器720提供信息。定点设备761例如可以是用于向处理器720传送方向信息和命令选择并用于控制显示器766上的光标移动的鼠标、光笔、轨迹球、或指示杆。显示器766可以提供触摸屏接口，其允许输入补充或替换由定点设备761进行的方向信息和命令选择的传送。

计算机系统710可以响应于处理器720执行包含于存储器（诸如系统存储器730）中的一个或多个指令的一个或多个序列而执行本发明的实施例的处理步骤的一部分或全部。此类指令可以被从另一计算机可读介质（诸如磁性硬盘741或可移动媒体驱动器742）读取到系统存储器730中。磁性硬盘741可以包含被本发明的实施例使用的一个或多个数据存储和数据文件。数据存储内容和数据文件可被加密以改善安全性。还可以在多处理布置中采用处理器720以执行包含于系统存储器730中的一个或多个指令序列。在替换实施例中，可以代替软件指令或与软件指令相结合地使用硬接线电路。因此，实施例不限于硬件电路和软件的任何特定组合。

如上所述，计算机系统710可包括用于保持根据本发明的实施例编程的指令且用于包含数据结构、表格、记录或本文所述的其它数据的至少一个计算机可读介质或存储器。如本文所使用的术语“计算机可读介质”指的是参与向处理器720提供指令以用于执行的任何介质。计算机可读介质可采取许多形式，包括但不限于非临时性、非易失性介质、易失性介质以及传输介质。非易失性介质的非限制性示例包括光盘、固态驱动、磁盘以及磁光盘，诸如磁性硬盘741或可移动媒体驱动器742。易失性介质的非限制性示例包括动态存储器，诸如系统存储器730。传输介质的非限制性示例包括同轴线缆、铜线、以及光纤，包括构成系统总线721的导线。传输介质还可采取声波或光波（诸如在无线电波和红外数据通信期间生成的那些）的形式。

计算环境700还可以包括使用到一个或多个远程计算机（诸如远程计算设备780）的逻辑连接在联网环境中操作的计算机系统710。远程计算设备780可以是个人计算机（膝上计算机或台式计算机）、移动设备、服务器、路由器、网络PC、对等设备或其它公共网络节点，并且通常包括上文关于计算机系统710所述的元件中的许多或全部。当在联网环境中使用时，计算机系统710可以包括用于通过网络771（诸如因特网）来建立通信的调制解调器772。调制解调器772可经由用户网络接口770或经由另一适当机构连接到系统总线721。

网络771可以是一般地在本领域中已知的任何网络或系统，包括因特网、内联网、局域网（LAN）、广域网（WAN）、城域网（MAN）、直接连接或连接系列、蜂窝式电话网络、或者能够便于计算机系统710与其它计算机（例如，远程计算设备780）之间的通信的任何其它网络或介质。网络771可以是有线的、无线的或其组合。可以使用以太网、通用串行总线（USB）、RJ-6或一般地在本领域中已知的任何其它有线连接来实现有线连接。可以使用Wi-Fi、WiMAX以及蓝牙、红外、蜂窝式网络、卫星或一般地在本领域中已知的任何其它无线连接方法来实现无线连接。另外，多个网络可单独地或相互通信地工作以便于网络771中的通信。

如本文使用的可执行应用程序包括用于调节处理器以例如响应于用户命令或输入而实现预定功能（诸如操作系统、上下文数据采集系统或其它信息处理系统的那些）的代码或机器可读指令。可执行程序是一段代码或机器可读指令、子例程、或用于执行一个或多个特定过程的可执行应用程序的部分或代码的其它不同区段。这些过程可以包括接收输入数据和/或参数、对接收到的输入数据执行操作和/或响应于接收的输入参数而执行功能、以及提供结果得到的输出数据和/或参数。

如本文所使用的图形用户接口（GUI）包括由显示处理器生成且实现与处理器或其它设备的用户交互及关联的数据采集和处理功能的一个或多个显示图像。GUI还包括可执行程序或可执行应用程序。可执行程序或可执行应用程序调节显示处理器以生成表示GUI显示图像的信号。这些信号被供应到显示设备，所述显示设备显示图像以供用户观察。处理器在可执行程序或可执行应用程序的控制下响应于从输入设备接收的信号而操纵GUI显示图像。这样，用户可以使用输入设备与显示图像相交互，其实现与处理器或其它设备的用户交互。

本文中的功能和过程步骤可以被自动地或者完全或部分地响应于用户命令而执行。在没有用户直接发起活动的情况下响应于一个或多个可执行指令或设备操作而执行自动地执行的活动（包括步骤）。

各图的系统和过程并不是排他性的。可以根据本发明的原理导出其它系统、过程和菜单以实现相同目标。尽管已参考特定实施例描述了本发明，但是应理解的是本文中示出和描述的实施例和变化仅仅用于举例说明的目的。在不脱离本发明的范围的情况下，本领域技术人员可以实现对当前设计的修改。如本文所述，可以使用硬件部件、软件部件和/或其组合来实现各种系统、子系统、代理、管理器和过程。不应根据35 U.S.C. 112、第六段的条款来解释本文中的权利要求元件，除非使用短语“用于……的装置”来明确地记载该元件。

Claims (20)

1.一种用于自动地生成放射学报告的计算机实现方法，所述方法包括：

由计算机接收包括多个多维患者图像和患者信息的输入数据集；

由计算机使用学习模型来解析输入数据集以确定临床域和相关图像注释；

由计算机使用相关图像注释来填充注释表；

由计算机应用一个或多个域特定可编写脚本的规则来基于注释表填充报告模板；以及

由计算机基于报告模板生成自然语言放射学报告。

2.权利要求1的方法，还包括：

由计算机接收正在对输入数据集执行临床研究的指示，

其中自然语言放射学报告提供有关临床研究的临床发现和与该临床发现相对应的一个或多个图像特征的解释。

3.权利要求2的方法，还包括：

在交互式图形用户接口中呈现自然语言放射学报告，该交互式图形用户接口允许用户经由嵌入自然语言放射学报告中的一个或多个链接的激活来取回描绘一个或多个图像特征的图像。

4.权利要求1的方法，其中所述自然语言放射学报告包括用于修改扫描仪获取协议以获取一个或多个附加患者图像的一个或多个推荐。

5.权利要求4的方法，还包括：

由计算机接收正在对所述多个多维患者图像执行临床研究的指示；

由计算机检测有关所述临床研究的目标解剖结构部分地或完全在全部的所述多个多维患者图像的视野之外，

其中用于修改扫描仪获取协议的一个或多个推荐包括在成像期间的对患者定位的推荐修改。

6.权利要求1的方法，其中在使用学习模型来解析所述多个多维患者图像之前对所述多个多维患者图像应用排除过程，所述排除过程包括：

由计算机接收正在对所述多个多维患者图像执行临床研究的指示；

由计算机识别与临床研究不相关的所述多个多维患者图像的子集；以及

由计算机忽视来自输入数据集的所述多个多维患者图像的所述子集或者整体上的输入数据集。

7.权利要求1的方法，还包括：

执行离线准备过程，其包括：

基于现有临床报告和域知识来创建临床报告模板；

基于现有临床报告和域知识来识别一个或多个临床报告概念和与临床报告概念有关的可接受数据范围；

使用临床报告模板、一个或多个临床报告概念以及有关临床报告概念的可接受数据范围来创建注释规范，其包括一个或多个注释表和一个或多个域特定可编写脚本的规则；

使用注释规范来创建注释系统；

对一个或多个训练图像应用注释系统以产生一个或多个训练图像注释；以及

基于训练图像和训练图像注释来训练一个或多个图像解析模型。

8.权利要求7的方法，其中所述域知识包括临床标准、临床指南、或者在临床咨询中提供的信息中的一个或多个。

9.权利要求7的方法，还包括：

使用以北美放射学会标准化格式提供的基本报告模板来基于现有临床报告和域知识创建临床报告模板。

10.一种用于自动地生成放射学报告的计算机实现方法，所述方法包括：

由计算机执行离线训练过程，其包括：

确定与临床域相关联的多个可能图像注释；

确定用于用与所述多个可能图像注释有关的信息来填充域特定临床报告模板的多个可编写脚本的规则；

训练一个或多个域特定模型以解析图像信息并输出所述多个可能图像注释中的一个或多个；以及

由计算机执行在线报告生成过程，其包括：

接收包括多个多维患者图像和患者信息的输入数据集；

基于与临床域相关联的所述多个可能图像注释和一个或多个域特定模型来导出与输入数据集相关联的一个或多个相关图像注释；

使用一个或多个相关图像注释和所述多个可编写脚本的规则来填充域特定临床报告模板；以及

基于已填充域特定临床报告模板来识别一个或多个临床相关发现。

11.权利要求10的方法，其中所述在线报告生成过程还包括：

基于一个或多个临床相关发现来生成自然语言放射学报告。

12.权利要求11的方法，其中所述在线报告生成过程还包括：

在交互式图形用户接口中呈现自然语言放射学报告，该交互式图形用户接口允许用户经由嵌入自然语言放射学报告中的一个或多个链接的激活来取回描绘与临床相关发现有关的图像特征的图像。

13.权利要求10的方法，其中所述在线报告生成过程还包括：

基于一个或多个临床相关发现来识别对现有图像获取协议的改变。

14.权利要求13的方法，其中所述在线报告生成过程还包括：

在图像扫描仪上自动地实现对现有图像获取协议的改变以获取一个或多个新图像。

15.权利要求13的方法，其中，所述在线报告生成过程还包括：

在图形用户接口中将对现有图像获取协议的改变显示为向用户的推荐。

16.权利要求15的方法，其中所述在线报告生成过程还包括：

由计算机检测有关所述临床域的目标解剖结构部分地或完全在全部的所述多个多维患者图像的视野之外，

其中，对现有图像获取协议的改变包括在成像期间对患者定位的推荐修改。

17.权利要求13的方法，其中所述在线报告生成过程还包括：

由计算机基于一个或多个临床相关发现来识别与临床域不相关的所述多个多维患者图像的子集；以及

由计算机忽视来自输入数据集的所述多个多维患者图像的所述子集或者整体上的输入数据集。

18.一种用于自动地生成放射学报告的系统，所述系统包括：

医疗信息数据库，其包括一个或多个诊断多维（例如2D/3D/4D）图像数据和非图像患者元数据；

一个或多个处理器，其被配置成：

与医疗信息数据库通信以取回患者特定输入数据集；

使用学习模型来解析患者特定输入数据集以确定临床域和相关图像注释，

使用相关图像注释来填充注释表；

基于注释表而应用一个或多个域特定可编写脚本的规则来填充报告模板；以及

基于已填充报告模板来识别一个或多个临床相关发现。

19.权利要求18的系统，其中所述一个或多个处理器进一步被配置成：

基于报告模板来生成自然语言放射学报告。

20.权利要求19的系统，其中，所述一个或多个处理器进一步被配置成：

在交互式图形用户接口中呈现自然语言放射学报告，该交互式图形用户接口允许用户经由嵌入自然语言放射学报告中的一个或多个链接的激活来取回描绘与临床相关发现有关的图像特征的图像。