CN110097951B - 根据医学文本报告的图像生成 - Google Patents

Abstract

公开了根据医学文本报告的图像生成。一种用于根据医学文本报告来生成第一图像的方法，包括：获取医学文本报告，所述医学文本报告包括一个或多个自然语言陈述；分析所述医学文本报告，其通过使用计算机实现的分析过程，用以为每个自然语言陈述确定：陈述是否满足关于第一医学发现的预定准则；以及响应于确定了所述陈述满足预定准则，将表示第一医学发现的图像添加到图像模板，用以生成第一图像。还公开的是一种装置和计算机程序。

Description

根据医学文本报告的图像生成

技术领域

本发明涉及生成图像，并且更具体地涉及根据医学文本报告、诸如放射学报告来生成图像。

背景技术

医学文本报告、例如放射学报告被使用在医学领域中用以在医学专业人士之间传送信息。例如，患者的医师可以将患者委托给某种医学成像，例如计算机断层摄影血管造影术（CTA）。放射科技师然后实施患者的医学成像，并且放射科医师然后读取或解释结果得到的图像以产生其发现的基于文本的放射学报告。医学发现可以被定义为对患者做出的观察，其例如由医生做出，例如作为检查、成像、或患者其它测试的结果。放射学报告然后被提供给委托的医师。委托的医师然后可以基于放射学报告而做出患者状况的诊断。

放射学报告通常是在放射科医师与委托医师之间的主要通信形式。报告包括由放射科医师所口授的叙述文本，并且在一些情况中根据预定义的格式被结构化。在准备报告时，放射科医师平衡两个相对的方面：要尽可能全面，并且仍确保所有关键的发现被简要地传达给委托医师。这可能导致太冗长的报告，其中一些关键发现（正面或负面）经常被隐藏或难以在叙述文本之中被领会。这可能有严重的后果，诸如误诊或错失的发现。

越来越多地，除了委托医师之外，医学文本报告、诸如放射学报告具有另一读者，即患者。为了与患者的高效通信，报告对于非医学专业人士（例如患者）而言容易可理解是重要的。然而，放射学报告通常不能满足这些相抵触的需求和约束。为了解决这个的现有尝试是使放射科技师采用指南，其可导致具有预定义格式的经结构化的报告。然而，经结构化的报告仍遭受如下缺陷：难以提取既对于医学专业人士也对于非医学专业人士而言最相关的信息，并且潜在地高度重要的次要发现可能仍难以在叙述文本之中被领会，其可能地导致误诊。

呈现使用图像、图示相关医学信息的医学报告例如将会缓解以上问题。因此合期望的是提供一种生成这样的图像的高效方法。

发明内容

根据本发明的第一方面，提供有一种根据医学文本报告来生成第一图像的方法，所述方法包括：获取医学文本报告，所述医学文本报告包括一个或多个自然语言陈述；分析所述医学文本报告，其通过使用计算机实现的分析过程，用以为每个自然语言陈述确定：陈述是否满足关于第一医学发现的预定准则；以及响应于确定了所述陈述满足预定准则，将表示第一医学发现的图像添加到图像模板，从而生成第一图像。

可选地，所述分析过程包括基于文本分类的算法，并且其中所述第一预定准则包括通过文本分类算法关于第一医学发现将陈述分类为正。

可选地，所述方法包括：分析医学文本报告，其通过使用计算机实现的分析过程，用以为被确定为满足关于第一医学发现的预定准则的每个自然语言陈述确定与所述第一医学发现相关联的一个或多个第一参数；以及其中将表示第一医学发现的图像添加到图像模板至少部分地基于所确定的一个或多个第一参数。

可选地，所述第一参数中的至少一个包括与第一医学发现的位置有关的位置参数；并且所述方法包括：基于所述位置参数来确定表示第一医学发现的图像将被添加到的图像模板的区段；以及将表示第一医学发现的图像添加到图像模板的所确定的区段。

可选地，所述第一参数包括以下中的一个或二者：与第一医学发现的类型有关的类型参数，以及与第一医学发现的程度有关的程度参数；并且将表示第一医学发现的图像添加到图像模板至少部分地基于所述类型参数与程度参数中的一个或二者。

可选地，将表示第一医学发现的图像添加到图像模板包括用表示第一医学发现的图像来叠覆图像模板。

可选地，所述医学文本报告是放射学报告。

可选地，所述图像模板包括象形图，所述象形图表示放射学报告所针对的患者解剖体；并且其中表示第一医学发现的图像被添加到所述象形图以便在所述象形图上指示第一医学发现。

可选地，所述计算机实现的分析过程包括基于机器学习的算法。

可选地，所述方法包括基于文本陈述的数据库来训练基于机器学习的算法，每个陈述被标注有与第一医学发现相对应的地面实况标签。

可选地，所述训练包括：基于多个医学文本报告而生成针对所述多个医学文本报告的一个或多个字词的一个或多个字词嵌入；以及为每个文本陈述确定表示所述文本陈述的一个或多个所述字词嵌入；以及其中所述训练基于表示每个文本陈述的字词嵌入。

可选地，所述训练通过使用基于长短期存储器的递归神经网络架构而被实现。

可选地，所述方法包括：生成医学报告，所述医学报告包括第一图像。

根据本发明的第二方面，提供有一种用于根据医学文本报告来生成第一图像的装置；所述装置被配置成执行根据第一方面的方法。

根据本发明的第三方面，提供有一种包括指令的计算机程序，所述指令当在计算机上被执行的时候使得计算机执行根据第一方面的方法。

从对本发明优选实施例的以下描述中，本发明的另外的特征和优点将变得显而易见，以下描述仅仅作为示例被给出，其参考附图而被做出。

附图说明

图1示意性地图示了根据本发明的示例的方法的流程图；

图2示意性地图示了一表，该表对根据示例的文本陈述的数据库进行表示；

图3示意性地图示了根据第一示例的用于根据医学文本报告而生成图像的过程；

图4示意性地图示了根据示例的所生成的图像；

图5示意性地图示了根据第二示例的用于根据医学文本报告而生成图像的过程；以及

图6示意性地图示了根据示例的一系统，所述系统包括用于根据医学文本报告而生成图像的装置。

具体实施方式

图1示意性地图示了根据示例的用于根据医学文本报告而生成第一图像的方法的步骤的流程图。

所述方法包括在步骤102中获取医学文本报告，所述医学文本报告包括一个或多个自然语言陈述（医学文本报告没有在图1中被示出，但是参见例如图3的医学文本报告314）。

所述医学文本报告可以是放射学报告。例如，放射科技师可以实施患者的医学成像，并且放射科医师可以读取或解释结果得到的一个或多个图像并且产生其发现的文本报告。

医学成像可以包括例如计算机断层摄影术（CT）扫描，例如计算机断层摄影血管造影术（CTA），或可以包括例如磁共振成像（MRI），例如应力灌注心脏MRI。

放射学报告可以包括由放射科医师所口授的叙述文本。放射学报告可以根据预定义的格式而被结构化，例如可以包括在报告的一个或多个不同章节下的叙述文本，例如详述所使用的医学成像的类型的“检查（Examination）”章节，详述放射科医师的医学发现的“发现（Findings）”章节，以及详述放射科医师关于患者状况的初始观点的“感想（Impression）”章节。医学发现可以被定义为由医生（例如放射科医师）对患者做出的观察，其例如作为检查、成像、或患者其它测试（例如放射摄影术）的结果。例如，放射科医师的医学发现可以是关于患者所做出的临床上显著的观察，例如特定疾病状态或患者的其它医学特征，其基于患者医学成像或其它检查。例如，医学发现可以包括如由放射科医师所调查的患者的疾病状态、临床异常或其它医学特征的存在或不存在、类型、位置和/或严重性。

医学发现可以被包括在报告的一个或多个自然语言陈述中。自然语言陈述可以是例如以自然语言、例如英语的语句。例如，应力灌注心脏MRI放射学报告的自然语言陈述可以是“应力灌注成像示出了在对于顶部隔膜与顶部前壁的基部中的灌注缺陷”。该自然语言陈述的医学发现可以是：存在灌注缺陷，和/或在对于顶部隔膜壁的基部中存在灌注缺陷，和/或在顶部前壁中存在灌注缺陷。作为另一示例，计算机断层摄影血管造影术（CTA）放射学报告的自然语言陈述可以是“在中间左前降支（LAD）处具有严重狭窄的LAD冠状动脉的分散的钙化扩散”。该自然语言陈述的医学发现可以是：存在狭窄，和/或存在严重狭窄，和/或在中间左前降支冠状动脉处存在严重狭窄。

所述方法包括在步骤104中分析所述医学文本报告，其通过使用计算机实现的分析过程，用以为每个自然语言陈述确定：陈述是否满足关于第一医学发现的预定准则。

所述计算机实现的分析过程可以包括自然语言处理。例如，所述计算机实现的分析过程可以包括基于文本分类的算法，并且所述第一预定准则可以包括通过文本分类算法关于第一医学发现将陈述分类为正。例如，如果所述算法确定了陈述正面地指示存在第一医学发现，则关于第一医学发现所述陈述可以被分类为正。例如，所述第一医学发现可以是“狭窄”。第一预定准则可以是：关于“狭窄”陈述被分类为正，例如陈述正面地指示存在狭窄。例如，陈述“在中间左前降支（LAD）处具有严重狭窄的LAD冠状动脉的分散的钙化扩散”可以关于发现“狭窄”被分类为正，并且因此可以被确定为满足预定准则，而陈述“没有任何狭窄的证据”不可以关于发现“狭窄”被分类为正（例如，可以代替地关于发现“狭窄”被分类为负），并且因此不可以被确定为满足预定准则。注意到以上示例陈述中的二者包括字词“狭窄”，但是关于发现“狭窄”仅仅第一示例陈述被分类为正。

所述计算机实现的分析过程可以包括基于机器学习的算法。例如，机器学习算法可以包括监督式学习，所述监督式学习可以包括根据包括训练示例的加标签的训练数据来推断函数。例如，所述方法可以包括基于文本陈述的数据库来训练基于机器学习的算法，每个陈述被标注有与第一医学发现相对应的地面实况标签。作为一个示例，所述训练可以通过使用递归神经网络架构来被实现，在所述递归神经网络架构中，内部存储器可以用于处理任意输入序列。例如，训练可以通过使用基于长短期存储器（LSTM）递归神经网络架构来被实现，所述架构例如包括一个或多个LSTM单元来用于记住在任意时间间隔上的值。

图2示意性地图示了表250，该表250表示根据示例的训练数据。训练数据可以被存储在数据库（未被示出）中。表250的第一列252列出自然语言陈述。陈述可以来自多个放射学报告，所述放射学报告作为训练数据集和语料库被预收集以用于机器学习算法。表250的第二列254、第三列256和第四列258列出了与针对那些陈述的第一医学发现250相对应的地面实况标签。在该示例中，第一医学发现250是“狭窄”，第二列254列出了针对在第一列252的对应自然语言陈述中所指示的“狭窄”的（正）存在的地面实况标签，第三列256列出了针对在第一列252的对应自然语言陈述中所指示的狭窄的严重性的地面实况标签，以及第四列258列出了针对在第一列252的对应自然语言陈述中所指示的狭窄的位置的地面实况标签。例如，对于第一列252中的陈述“在中间左前降支（LAD）处具有严重狭窄的LAD冠状动脉的分散的钙化扩散”，第二列254读取“Y”，其指示针对该陈述的“狭窄”的（正）存在；第三列读取“严重”，其指示针对该陈述的狭窄的严重性；以及第四列读取“中间”，其指示针对该陈述的狭窄的位置。然而，针对第一列252的陈述“没有任何狭窄的证据”，第二列254读取“N”，其指示针对该陈述的“狭窄”的负存在；并且第三列256和第四列258是空白的。

训练数据的每个陈述可以表示输入对象，以及对应的地面实况标签，监督信号，以用于机器学习算法。机器学习算法可以分析训练数据以产生所推断的函数，所推断的函数然后可以用于对待分析的医学文本报告的自然语言陈述进行分类。

例如，计算机实现的分析过程可以包括语言学模型，其中不同的语言学模型可以通过使用训练数据的不同语料库而被生成。在一个示例中，训练机器学习算法包括获取多个医学文本报告作为训练数据（例如预先存在的相关放射学报告），并且分割来自所述多个医学文本报告的一个或多个字词以生成字词的词汇。然后可以为所生成的字词词汇的一个或多个字词生成一个或多个字词嵌入。字词嵌入可以将来自词汇的字词或短语映射到实数向量。训练然后可以包括为训练数据的陈述中的每一个确定表示文本陈述的一个或多个字词嵌入，并且训练可以基于表示每个文本陈述的字词嵌入。例如，所确定的表示文本陈述的一个或多个字词嵌入（即实数的向量）可以被用作输入对象，并且对应的地面实况标签用作监督信号，用于训练机器学习算法来产生所推断的函数以用于将字词嵌入映射到一个或多个文本分类上。

所述计算机实现的分析过程可以包括将所推断的函数（由所训练的机器学习算法提供或以其它方式提供）应用到针对待分析的医学文本报告的自然语言陈述的字词或短语的字词嵌入，并且确定该陈述是否满足关于第一医学发现的预定准则，例如，关于第一医学发现该陈述是否被分类为正。

再次返回到图1，所述方法包括在步骤106处响应于确定了该自然语言陈述满足预定准则，将表示第一医学发现的图像添加到图像模板，从而生成第一图像。

如以下更详细地描述的，所述图像模板可以包括例如象形图或绘图，所述象形图表示放射学报告所针对的患者解剖体，所述绘图诸如极线绘图模板，其包括与放射学报告所针对的患者解剖体有关的区或轴。表示第一医学发现的图像可以被添加到图像模板以便在所述象形图上指示第一医学发现。例如，表示狭窄（即血管或其它结构中的变窄）的图像可以被添加到冠状象形图模板，以便在象形图上指示来自放射学报告的陈述的“狭窄”医学发现。

所生成的第一图像，其包括图像模板以及表示被添加到其中的第一医学发现的图像然后可以被输出到另外的或“增强的”报告中，例如包括放射学报告的文本以及所生成的第一图像（在以下参考图6被更详细地描述）。

所生成的第一图像可以帮助医学专业人士和非医学专业人士二者理解放射学报告的总体上下文、疾病状态、以及发现的严重性，并且因此降低误解、误诊或错失发现的风险。

放射学报告可以由放射科医师通过分析或读取医学扫描图像、例如CT扫描图像等等来生成。医学扫描图像对于委托医师或非医学专业人士而言可能难以解释，例如因为它可包括不相关的可视信息，和/或相关的可视信息可能是微妙的。然而，通过将表示放射学报告的第一医学发现的图像添加到图像模板来生成第一图像可允许产生的图像关于医学扫描图像中所包含的重要可视信息而言、如与医学扫描图像本身相比是更清楚的。因此可以产生经改善的图像。

此外，第一图像基于表示第一医学发现的图像被添加到的图像模板，这允许高效地生成医学文本报告的发现的图形表示。例如，图像模板可以被存储并且被递归地访问以用于生成针对多个文本报告的第一图像，并且图像生成过程可以包括将图像表示添加到图像模板，其在计算上可以是高效的。例如，这可以在计算上例如比从头开始合成自然语言陈述的图形表示更高效。

将表示第一医学发现的图像添加到图像模板可以包括用表示第一医学发现的图像来叠覆图像模板。该叠覆可以是用于生成第一图像的在计算上高效的过程。例如，这如与从头开始合成图像、或修改、例如递推的修改图像相比在计算上可以更高效。

图3示意性地图示了根据示例的过程，其包括所生成的第一图像318。

图3的过程开始于医学文本报告314，其在该示例中是计算机断层摄影血管造影术（CTA）放射学报告314，包括自然语言陈述。医学文本报告314被输入到计算机实现的分析过程块316中。分析过程块316可以执行以上参考图1和图2所描述的方法。例如，过程块316可以分析放射学报告314用于为每个自然语言陈述确定该陈述是否满足关于狭窄的预定准则，例如关于狭窄该陈述是否被分类为正，并且响应于确定了一个或多个陈述满足预定准则，将各自表示狭窄的图像324、326、328相应地添加到冠状象形图模板320，从而生成第一图像318。过程块316输出第一图像318。

如以上所提及的，第一图像318包括图像模板320，所述图像模板320已经向其中添加了表示第一医学发现的图像324、326、328。在该示例中，图像模板是象形图320，所述象形图320表示放射学报告所针对的患者解剖体。具体地，在该示例中，图像模板是18-分段SCCT（心血管计算机断层摄影术学会）冠状象形图320。象形图320图示了与人类心脏的动脉有关的17个分段，所述分段通过象形图320上的数字来被加标签。象形图包括检索表（key）332，所述检索表332指示经编号的标签所对应的每个分段的名称。例如，检索表332指示：象形图320上的标签“1”对应于象形图320的“近端RCA（右冠状动脉）”分段。

被添加到象形图320的图像324、326和328表示在象形图320上存在狭窄（即血管或其它结构中的变窄），并且结果得到的图像318从而指示第一医学发现——狭窄。

在一些示例中，所述方法（例如由过程块316所执行的和/或参考图1和2所描述的方法）可以包括分析医学文本报告314，其通过使用计算机实现的分析过程，用以为被确定为满足关于第一医学发现的预定准则的每个自然语言陈述确定与所述第一医学发现相关联的一个或多个第一参数。例如，所述一个或多个第一参数可以包括位置参数、程度参数、和或类型参数，其分别指示第一医学发现（例如狭窄）的位置、程度和类型。将表示第一医学发现的图像324、328、326添加到图像模板320于是可以至少部分地基于所确定的一个或多个第一参数。

分析医学文本报告以确定一个或多个第一参数、诸如位置参数可以例如通过上述计算机实现的分析过程来执行，用以关于第一医学发现将医学文本报告314的陈述分类为正或为负。例如，不同的分类和/或量化任务可以同时进行。例如，基于机器学习的分类和/或量化算法可以被训练，例如基于如上所述的训练数据250，不仅用于检测医学文本报告314中不存在或存在第一医学发现（例如狭窄），而且还根据在医学文本报告314中所提供的自然语言文本来确定狭窄的类型、程度和/或位置。

在一些示例中，第一参数中的至少一个可以包括与第一医学发现的位置有关的位置参数。所述方法可以包括：基于所述位置参数来确定表示第一医学发现的图像324、326、328将被添加到的图像模板320的区段或分段；以及将表示第一医学发现的图像324、326、328添加到图像模板320的所确定的区段或分段。例如，放射学报告314可以包括自然语言陈述“存在近端LAD的中度狭窄”。过程块316可以分析该自然语言陈述，并且关于狭窄将该陈述分类为正，并且因此该陈述满足关于狭窄的预定准则。过程块316可以分析该陈述来确定与针对自然语言陈述的狭窄的第一医学发现相关联的位置参数为“近端LAD”。这可以例如以与以上所述的相同方式来被实现，例如通过将所推断的函数（其由所训练的机器学习算法被提供或以其它方式被提供）应用到针对自然语言陈述的字词或短语的字词嵌入。过程块316然后可以在象形图320的适当区段或分段处将表示狭窄的图像326添加、例如叠覆到象形图模板320。例如，过程块316可以将二维形状326叠覆到18-分段SCCT冠状象形图320的被加了标签6的分段（对应于近端LAD），从而生成图像318，所述图像318在象形图320上可视并且即时地指示存在近端LAD的狭窄326。例如，所述二维形状326可以在象形图模板320上被定尺寸并且定位使得近端LAD动脉（被加了标签6）在图像320上看似变窄，因此指示了狭窄。表示其它发现的其它图像324、328可以在适当时被添加在象形图320的其它位置处。

在一些示例中，所述第一参数可以可替换地或附加地包括以下中的一个或二者：与第一医学发现的类型有关的类型参数，以及与第一医学发现的程度有关的程度参数；并且将表示第一医学发现的图像324、326、328添加到图像模板320可以至少部分地基于所述类型参数与程度参数中的一个或二者。例如，所述方法可以包括基于所述类型参数和程度参数中的一个或二者来生成表示第一医学发现的图像324、326、328。继续以上示例，放射学报告314可以包括自然语言陈述“存在近端LAD的中度狭窄”。过程块316可以分析该陈述来确定与针对自然语言陈述的狭窄的第一医学发现相关联的程度参数为“中度”。这可以例如以与以上所述的相同方式来被实现，例如通过将所推断的函数（其由所训练的机器学习算法被提供或以其它方式被提供）应用到针对自然语言陈述的字词或短语的字词嵌入。过程块316然后可以基于所确定的程度参数而将表示狭窄的图像326添加、例如叠覆到象形图模板320。例如，过程块316可以将经适度定尺寸的形状326叠覆到18-分段SCCT冠状象形图320的被加了标签6的分段（对应于近端LAD），从而生成图像318，所述图像318在象形图320上可视并且即时地指示存在近端LAD的中度狭窄326。例如，所述二维形状326可以在象形图模板320上被定尺寸并且定位使得近端LAD动脉（被加了标签6）在图像320上看似中度变窄，因此指示了中度狭窄。可替换地或附加地，所述过程块可以生成形状326或其它表示326以具有特定颜色、例如橙色，用于可视地指示近端LAD的中度狭窄326。表示其它发现的其它图像324、328可以具有如适当的其它大小、颜色和/或其它性质。

可以通过计算机实现的图像生成过程来生成图像318。图像生成过程可以附加于上述计算机实现的分析过程。图像生成过程可以使用图像生成算法。在一些示例中，文本分析算法可以将经结构化的数据传输或以其它方式输出到图像生成算法。例如，文本分析可以输出：对文本分析算法确定了文本报告314所包括的一个或多个自然语言陈述满足关于第一医学发现（例如，即发现了狭窄）的预定准则进行指示的信息；以及对与那些陈述中的每一个相关联的第一参数、例如针对每个发现的位置、程度和/或类型参数中的一个或多个进行指示的信息。

图像生成算法可以被配置成接受经结构化的输出信息，并且至少部分地基于其而生成图像318。例如，图像生成算法可以根据经结构化的输出来确定：相关的模板是18-分段SCCT冠状象形图320，并且因此从存储中检索该模板。图像生成算法然后可以使用对第一参数、例如针对每个发现的位置、程度和/或类型参数中的一个或多个进行指示的信息，用于将表示第一医学发现的适当图像324、326、328叠覆到图像模板320的适当区段上，从而生成图像318。利用经结构化的输出信息的过程可以允许高效地产生对文本报告314的（多个）第一医学发现进行指示的图像318，并且可以促进文本分析和图像生成过程的分布。

图4示意性地图示了根据另一示例可以被生成的第一图像418。图像418可以例如由以上参考图1至图3所描述的方法来生成。在该示例中，关于图3的第一图像318，图像模板420是18-分段SCCT冠状象形图420，已经向其添加了表示放射学报告（没有在图4中示出）的第一医学发现的图像424、426、428。在该示例中，第一医学发现是冠状动脉疾病（CAD）。再次，图像418包括检索表432，所述检索表432指示经编号的标签所对应于的SCCT冠状象形图420的每个分段或区段的名称。

然而，在图4的示例图像418中，表示第一医学发现的图像424、426、428包括对第一医学发现被确定为位于该处（例如基于如上述那样被确定的位置参数）的冠状象形图420的整个分段或区段进行填充或着色或高亮。例如，在图4中，被加了标签1并且对应于近端RCA的冠状象形图420的整个领域或分段或区段被着色，其指示冠状动脉疾病（CAD）存在于近端RCA中（如根据对文本报告（未被示出）的分析所确定的）。所述方法可以因此在按分段或区段的基础上将图像（例如着色的部分）424、426、238添加到图像模板420。这在如下情况中可以是有用的：其中不可能基于放射学报告来确定医学发现（例如狭窄）的精确位置。然而，所产生的图像418清楚地、可视地、高效地、且即时地以图像形式来指示文本报告的医学发现。

此外，图4的示例图像418包括严重性检索表434。严重性检索表包括一系列着色框，其具有对应的严重性标签。尽管在图中没有示出任何颜色，但是“没有任何CAD”的严重性标签可以相关联于白色框，“最小（1-24%）”的严重性标签可以相关联于绿色框，“轻微（25-49%）”的严重性标签可以相关联于蓝色框，“中度（50-69%）”的严重性标签可以相关联于橙色框，以及“严重（＞70%）”的严重性标签可以相关联于红色框。被加了标签1和2、与冠状象形图420的分段“近端RCA”和“中间RCA”相对应的分段或区段各自以橙色被着色或填充，其指示中度冠状动脉疾病（CAD）存在于心脏的那些区中，并且与分段“近端LAD”以及“中间和远端LCx”相对应的分段或区段6以及13各自以蓝色被着色或填充，其指示轻微CAD存在于心脏的那些区中。象形图420的其余分段是白色的，其指示在心脏的其余的区中没有任何CAD。表示第一医学发现的图像424、426、428可以由图像生成算法来生成，以基于如上所述那样被确定的严重性参数而具有特定的颜色或其它指示严重性的特性。例如，具有不同颜色或其它指示严重性的特性的不同图像424、426、428可以预先被存储，并且图像生成算法可以相应地选择适当的图像424、426、428来添加到图像模板。将图像424、426、428添加到模板可以基于例如由如上所述的文本分析算法所输出的位置参数和严重性参数。

图5示意性地图示了根据另一示例的过程，其包括所生成的第一图像518。类似于如在以上参考图3所描述的示例中那样，在图5的过程中，医学文本报告514被输入到过程块516，所述过程块516可以实施根据上述示例中任一个的方法，从而产生第一图像518，所述第一图像518包括已经向其添加了对医学文本报告514的第一医学发现进行表示的图像524、526、522、528的图像模板520。

然而，在图5的示例中，医学文本报告514是应力灌注心脏MRI报告，第一医学发现是“灌注缺陷”，并且图像模板是极线绘图图解模板520。极线绘图图解模板520包括被划分成区段（在图5中被加了标签1至17）的极线绘图。图像518包括检索表532，所述检索表532包括标签1至17，其各自具有对于该标签对应于哪些心脏壁部分的描述。例如，标签1对应于基部前壁。医学文本报告514包括自然语言陈述“应力灌注成像示出了在对于顶部隔膜和顶部前壁、中间下壁的基部以及对于中间下侧壁的基部中的灌注缺陷”。过程块516分析医学文本报告514，例如通过使用如上所述的计算机实现的分析过程。过程块516确定该陈述满足关于第一医学发现的预定准则，在该示例中，确定关于第一医学发现（在该示例中为“灌注缺陷”）该陈述被分类为正。过程块516还例如通过使用计算机实现的分析过程来确定针对第一医学发现的位置参数。响应于确定了该陈述满足预定准则，过程块526将表示第一医学发现的图像522、524、526、528添加到极线绘图图解模板520，从而生成第一图像518。过程块518基于位置参数来确定表示第一医学发现的图像522、524、526、528将被添加到的极线绘图图解模板520的区段（在图5中被加了标签1至17），并且相应地将图像522、524、526、528添加到极线绘图图解模板520的所确定的区段。在一些示例中，处理块516可以分析报告514中的区域性变化的测量，并且相应地添加图像522、524、526、528。在该示例中，表示医学发现的图像522、524、526、528是被叠覆到极线绘图模板520的适当区段上的形状。例如，一个图像是形状524，所述形状524在图5中被加了标签1和2的两个区段上延伸，其在所生成的图像518中指示：在基部隔前和隔下壁中存在灌注缺陷。其它图像522、526、528在如适当的其它位置处被添加到绘图模板520。所产生的图像518清楚地、可视地、高效地、且即时地以图像形式来指示文本报告的医学发现。

将领会到，具有与上述那些不同的形式的其它图像模板可以被使用，并且表示第一医学发现的其它图像、例如符号等等的图像可以被添加到图像模板，从而生成以图像形式来指示文本报告的医学发现的图像。还将领会到，与上述那些不同的医学文本报告可以被使用，例如其它病理报告或其它医学成像报告等等。作为另一示例（未被图示），图像模板可以是或可以包括医学图像、例如CT或其它医学扫描图像，放射学报告或其它医学文本报告基于其上。图像分析算法可以用于检测医学图像中的相关位置或区段或分段。表示医学发现的图像于是可以在适当的位置处被添加到医学扫描图像、例如被叠覆到医学扫描图像上，以便在医学扫描图像上指示医学发现。例如，箭头的图像可以被添加到医学扫描图像上，以便指示如在医学文本报告中所标识的医学发现的位置。作为另一示例，表示与医学发现有关的测量的数字的图像可以被叠覆到医学扫描图像上，例如，患病脉管的直径可以对连接脉管壁的线进行标注。在一些示例中，所述方法可以包括标识医学发现位于其中的医学扫描图像的部分或区段或分段，并且在医学扫描图像上放大或裁剪医学扫描图像，使得所生成的图像示出相关的部分或分段或区段。

图6示意性地图示了根据示例的系统601，所述系统601包括用于根据医学文本报告614而生成第一图像的装置616。所述装置616可以被配置成执行方法和/或实现根据本文中所述的示例中任一个的处理。所述装置616可以是例如计算机。所述装置616包括处理器616a和存储器616b。存储器616b可以存储程序，所述程序当由处理器616a执行的时候使得装置616执行方法和/或实现根据本文中所述的示例中任一个的处理。

图6的系统601包括委托者设备610、放射科医师设备612、放射学报告614、医院信息系统618、第一增强报告628、第二增强报告630以及第三增强报告632。医院信息系统618包括EMR（电子医学记录）系统620、PACS（图片存档和通信）系统622、LIS（实验室信息）系统624以及其它系统626。

在概览中，委托者设备610，其可以是由治疗患者的医师所操作的电子设备，可以将针对报告的命令发送到放射科医师设备612，所述放射科医师设备612可以是由放射科医师所操作的电子设备。例如，委托者设备610可以命令CTA放射学报告。放射科医师设备612可以接收该命令，并且放射科医师可以分析或读取从患者处取得的CTA图像或其它数据，并且产生（例如撰写或口授或以其它方式）放射学报告614，其包括一个或多个自然语言陈述。装置616获取放射学报告614，并且生成第一图像618，其通过将对根据报告614所确定的医学发现进行表示的图像添加到图像模板，例如通过使用以上参考图1至图5所描述的方法。在该示例中，装置616生成多个医学报告628、630、632，其中至少一个包括所生成的第一图像618。

在一些示例中，医学报告628、630、632可以基于接收者类别而被生成。接收者类别可以是所生成的医学报告628、630、632的所意图的接收者的类别，诸如“医学专家”类别或“患者”类别。医学报告628、630、632可以因此被生成使得包括被特制用于给定类别接收者的文本和/或所生成的第一图像618。例如，对于“医学专家”类别，装置616可以被配置成从放射学报告614中提取以特定的、标准化方式、通过使用医学语言和/或缩写词来进一步简化报告而被结构化的最相关发现的简短概要，并且将这包括在所生成的医学报告628中。装置616可以为不同级别的专门知识（例如较资浅相对于较资深的心脏病学家）或医学专业应用不同的报告“样式”。装置616可以从放射学报告所基于的可用放射学扫描提取关键图像，并且将这些添加到报告628。然而，对于“患者”类别，装置616可以往所生成的报告630中添加以易于理解的方式解释发现、上下文和医学术语的叙述文本，在旁边是简单的图形图示618，其帮助甚至外行理解总体上下文、疾病状态和某些发现的严重性。这可以允许报告628、630、632被特别地特制用于给定接收者的需要或理解水平，从而允许有改善的信息效率和/或对报告的经改善的理解。

在一些示例中，可以由装置616为不同的接收者类别运行不同的算法。在其它示例中，对于每个不同的接收者类别，可以由具有不同配置的装置616运行算法。

在一些示例中，可用于放射科医师设备612和/或操作设备612的放射科医师的信息在生成放射学报告614的时候可以被限制。例如，仅有扫描图像以及委托缘由可以可用于放射科医师设备612和/或放射科医师。放射科医师设备612和/或放射科医师可能不能访问委托医院的IT系统。因此，对于放射科医师而言也许不可能将患者医学详情的上下文包括到放射学报告614中，其对于通过委托者的临床决策过程而言可能是重要的。因此，在一些示例中，装置616可以从医院数据库、例如医院信息系统618中获得医学文本报告614所涉及的患者的医学数据，并且将所获得的医学数据的至少一部分添加到医学报告628、630、632中的一个或多个。这允许所生成的医学报告628、630、632包括患者状况的上下文，用以传达患者的状态和历史，从而例如改善通过委托者的临床决策过程的效率，并且例如降低误诊风险。

在一些示例中，装置616可以被连接到医院信息系统618，例如EMR系统620、PACS622、LIS 624以及其它系统626中的每一个。装置616可以访问并且爬取这些系统中的一个或多个以得到相关附加信息，用以添加到增强的报告628、632、630。例如，装置616可以在IT系统中爬取可用信息，以得到与放射学报告所针对的患者相关的数据，例如患者历史等等。能够访问并且爬取医院信息系统618的装置616允许装置616除了所生成的第一图像618之外将附加的相关信息（例如患者历史、用于当前疾病的正确诊断的相关的在先发现、其它成像信息、实验室测试结果或其它测试等等）添加到所生成的报告628、630、632，其可以改善对放射学报告的理解，并且因此可以防止误诊。

在一些示例中，装置616可以往报告628、630、632中包括通过爬取医院信息系统618所发现的、来自其它测试的附加信息，例如测试报告（例如包括具有测量的表、或图像文件）。在一些示例中，装置616可以用与放射学报告614相似的方式来处理测试报告（例如使得朝向某些受众而被特制）。上述计算机实现的分析过程可以被递推地应用以便生成给定报告628、630、632。这样的附加信息可以改善决策（例如在被特制用于治疗医师628的报告的情况中），并且还允许针对特制给患者的报告630的经改善的叙述。

可替换示例

根据可替换的示例，一种用于根据医学文本报告来生成图像的方法包括：获取医学文本报告，所述医学文本报告包括一个或多个自然语言陈述；以及通过使用计算机实现的图像生成过程、并且基于所述一个或多个自然语言陈述来生成图像。

所述医学文本报告可以是放射学报告，例如，如以上参考图1至图6所描述的。

所生成的图像可以用与针对如上参考图1至图6所描述的第一图像的相同方式来被使用。

在该可替换示例中，可以由生成性对抗网络（GAN）来生成图像。GAN可以基于可视描述来生成（例如合成）图像，所述可视描述可以包括医学文本报告的所述一个或多个自然语言陈述。GAN可以是例如深度卷积GAN（DC-GAN）。

GAN可以包括生成器G，所述生成器G生成（例如合成）以查询文本为条件（例如以医学文本报告的一个或多个自然语言陈述、和/或自然语言陈述的一个或多个分段为条件）的合成图像。

GAN可以包括鉴别器D，所述鉴别器D处理生成器G所提供的合成图像。鉴别器D可以尝试在所提供的合成图像与训练数据之间进行鉴别。

鉴别器D可以拒绝不满足一个或多个准则的合成图像或合成图像样本。例如，所述一个或多个准则可以包括图像合理性准则、或条件化准则。该过程可以被递归地应用，从而生成图像。

GAN可以被训练用于根据医学文本报告、例如放射学报告来生成图像（例如关键图形）。例如，可以通过使用训练数据来训练GAN。训练数据可以包括多个医学文本报告、例如放射学报告，其例如被存储在训练数据库中。

在一些示例中，训练数据的医学文本报告中的一个或多个包括一个或多个自然语言陈述以及相关联的关键图像。所述一个或多个自然语言陈述可以描述相关联的关键图像。GAN的训练可以基于自然语言陈述，其使用相关联的关键图像作为地面实况。例如，所述一个或多个自然语言陈述和/或相关联的关键图像可以从医学文本报告（例如放射学报告）提取并且与彼此相关联地被存储在训练数据库中。

在一些示例中，医学文本报告或训练数据、或者来自训练数据的医学文本报告的自然语言陈述可以被标注有地面实况标签。例如，地面实况标注可以与以上参考图1至图6所描述的那个相同或相似。在一个示例中，自然语言陈述的加地面实况标签可以是手动过程。GAN的训练可以基于自然语言陈述，其使用标注作为地面实况。

例如通过使用GAN、基于所述一个或多个自然语言陈述来直接生成（例如合成）图像可以允许根据医学文本报告（例如放射学报告）而直接生成（例如合成）说明性图像，例如在没有对放射学报告的精确主题的先验知识的情况下。关于以上参考图1至图6所描述的第一图像，所生成的图像可以增强对放射学报告的理解，和/或基于其上可以有助于减少误诊。

一种装置、例如计算机或处理系统、其例如包括处理器和存储器，可以被布置成执行根据该可替换示例的方法。可以提供程序，所述程序当在计算机上被执行的时候使得所述计算机执行该可替换示例的方法。一种计算机可读介质可以存储程序。

以上示例（包括可替换示例的那些）要被理解为说明性示例。要理解的是，关于任一个示例所描述的任何特征可以单独地或与所描述的其它特征相组合地被使用，并且还可以与任何其它示例的一个或多个特征、或任何其它示例的任何组合相组合地被使用。此外，还可以采用没有在以上被描述的等同物和修改，而不偏离在随附权利要求中所限定的本发明范围。

Claims (15)

1.一种根据医学文本报告(314、514)来生成第一图像(318、418、518、618)的方法，所述方法包括：

获取医学文本报告(314、514、614)，所述医学文本报告包括一个或多个自然语言陈述；

分析所述医学文本报告(314、514、614)，其通过使用计算机实现的分析过程，用以为每个自然语言陈述确定：陈述是否满足关于第一医学发现的预定准则；以及

响应于确定了所述陈述满足预定准则，将表示第一医学发现的图像(324、326、328、424、426、428、524、526、522、528)添加到表示解剖结构的图像模板(320、420、520)，从而生成第一图像(318、418、518、618)。

2.根据权利要求1所述的方法，其中所述计算机实现的分析过程包括基于文本分类的算法，并且其中所述预定准则包括通过文本分类算法关于第一医学发现将陈述分类为正。

3.根据权利要求1或权利要求2所述的方法，其中所述方法包括：

分析医学文本报告(314、514、614)，其通过使用计算机实现的分析过程，用以为被确定为满足关于第一医学发现的预定准则的每个自然语言陈述确定与所述第一医学发现相关联的一个或多个第一参数；以及

其中将表示第一医学发现的图像(324、326、328、424、426、428、524、526、522、528)添加到图像模板(320、420、520)至少部分地基于所确定的一个或多个第一参数。

4.根据权利要求3所述的方法，其中所述第一参数中的至少一个包括与第一医学发现的位置有关的位置参数；并且所述方法包括：

基于所述位置参数来确定表示第一医学发现的图像将被添加到的图像模板(320、420、520)的区段；以及

将表示第一医学发现的图像(324、326、328、424、426、428、524、526、522、528)添加到图像模板(320、420、520)的所确定的区段。

5.根据权利要求4所述的方法，其中所述第一参数包括以下中的一个或二者：与第一医学发现的类型有关的类型参数，以及与第一医学发现的程度有关的程度参数；并且将表示第一医学发现的图像添加到图像模板至少部分地基于所述类型参数与程度参数中的一个或二者。

6.根据权利要求1所述的方法，其中将表示第一医学发现的图像(324、326、328、424、426、428、524、526、522、528)添加到图像模板(320、420、520)包括用表示第一医学发现的图像(324、326、328、424、426、428、524、526、522、528)来叠覆图像模板(320、420、520)。

7.根据权利要求1所述的方法，其中所述医学文本报告(314、514、614)是放射学报告(314、514、614)。

8.根据权利要求1所述的方法，其中所述图像模板(320、420)包括象形图(320、420)，所述象形图表示医学文本报告所针对的患者解剖体；并且其中表示第一医学发现的图像(324、326、328、424、426、428)被添加到所述象形图(320、420)以便在所述象形图(320、420)上指示第一医学发现。

9.根据权利要求1所述的方法，其中所述计算机实现的分析过程包括基于机器学习的算法。

10.根据权利要求9所述的方法，其中所述方法包括基于文本陈述(252)的数据库来训练基于机器学习的算法，每个陈述被标注有与第一医学发现相对应的地面实况标签(254、256、258)。

11.根据权利要求10所述的方法，其中所述训练包括：

基于多个医学文本报告而生成针对所述多个医学文本报告的一个或多个字词的一个或多个字词嵌入；以及

为每个文本陈述确定表示所述文本陈述(252)的一个或多个所述字词嵌入；以及

其中所述训练基于表示每个文本陈述(252)的字词嵌入。

12.根据权利要求10或权利要求11所述的方法，其中所述训练通过使用基于长短期存储器的递归神经网络架构而被实现。

13.根据权利要求1所述的方法，其中所述方法包括：

生成医学报告(628、630、632)，所述医学报告(628、630、632)包括第一图像(318、418、518、618)。

14.一种用于根据医学文本报告(314、514、614)来生成第一图像的装置(616)；所述装置被配置成执行根据权利要求1至权利要求13中任一项所述的方法。

15.一种计算机可读介质，在其上存储指令，当在计算机(616)上被执行的时候使得所述计算机(616)执行根据权利要求1至权利要求13中任一项所述的方法。