CN112055879A - 用于基于医学报告中的文本数据来生成医学图像的方法和系统 - Google Patents

用于基于医学报告中的文本数据来生成医学图像的方法和系统 Download PDF

Info

Publication number
CN112055879A
CN112055879A CN201980026594.4A CN201980026594A CN112055879A CN 112055879 A CN112055879 A CN 112055879A CN 201980026594 A CN201980026594 A CN 201980026594A CN 112055879 A CN112055879 A CN 112055879A
Authority
CN
China
Prior art keywords
medical
image
generation system
images
image generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980026594.4A
Other languages
English (en)
Inventor
O·F·法里
R·斯里尼瓦桑
V·巴萨瓦劳伊帕蒂尔欧卡里
R·B·帕蒂尔
K·帕拉尼萨米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN112055879A publication Critical patent/CN112055879A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本公开内容的实施例公开了用于基于医学报告中的文本数据来生成医学图像的方法和系统。为了生成，从患者的一个或多个医学报告中的每个医学报告中检索文本数据。文本数据包括一个或多个医学事件和对应的一个或多个属性，该对应的一个或多个属性与一个或多个医学报告中的每个医学报告相关联。另外，使用第一机器学习模型基于文本数据来计算针对多幅参考图像中的每幅参考图像的匹配分数。在计算匹配分数时，基于与多幅参考图像中的每幅参考图像相关联的匹配分数从多幅参考图像中选择一幅或多幅图像。使用第二机器学习模型基于一幅或多幅图像和文本数据来生成针对患者的医学图像。

Description

用于基于医学报告中的文本数据来生成医学图像的方法和 系统
技术领域
本主题总体上涉及健康护理领域，但是更具体地但非排他性地涉及用于基于患者的医学报告中的文本数据来生成医学图像的系统和方法。
背景技术
诸如专科医院、次级专科医院、诊断中心等医学机构中的放射信息系统(RIS)可以被配置为管理与该医学机构相关的每一个患者相关联的医学数据。医学数据可以包括与患者管理、检查、报告、统计、系统管理等相关联的数据。由RIS管理的医学数据可以用于多种目的，例如显示、存储、检索、传输、交换、打印订单、结果、报告等。然而，在医学机构中部署RIS是复杂的流程。而且，可能有些医学机构可能无法负担这样的管理系统。通常，在检查(其可能是计算机断层摄影(CT)扫描、磁共振成像(MRI)扫描、超声心动描记(ECG)等)之后，只会将与该检查相关联的文本报告提供给患者。在检查时生成的图像会由医学机构存档，而不会被提供给患者。而且，可能会发生由于处理不当而使生成的图像不可用或者对生成的图像放置不当的情况。对于检查者(其可能是医生或医师)来说，仅基于文本报告来分析患者的状态可能是困难的。仅利用文本报告，就连对患者的后续咨询也可能很困难。
在本公开内容的背景中公开的信息仅用于增强对本发明的一般背景的理解，而不应被视为对该信息构成本领域技术人员已知的现有技术的承认或任何形式的建议。
发明内容
在一个实施例中，本公开内容涉及一种用于基于患者的医学报告中的文本数据来生成医学图像的方法。首先，为了生成，从患者的一个或多个医学报告中的每个医学报告中检索文本数据。文本数据包括一个或多个医学事件和对应的一个或多个属性，该对应的一个或多个属性与一个或多个医学报告中的每个医学报告相关联。另外，使用第一机器学习模型基于文本数据来计算针对多幅参考图像中的每幅参考图像的匹配分数。在计算匹配分数时，基于与多幅参考图像中的每幅参考图像相关联的匹配分数从多幅参考图像中选择一幅或多幅图像。使用第二机器学习模型基于一幅或多幅图像和文本数据来生成针对患者的医学图像。
在一个实施例中，本公开内容涉及一种用于基于患者的医学报告中的文本数据来生成医学图像的图像生成系统。该图像生成系统包括处理器和被通信地耦合到该处理器的存储器。该存储器存储处理器可执行指令，该处理器可执行指令在执行时令处理器生成医学图像。首先，为了生成，从患者的一个或多个医学报告中的每个医学报告中检索文本数据。文本数据包括一个或多个医学事件和对应的一个或多个属性，该对应的一个或多个属性与一个或多个医学报告中的每个医学报告相关联。另外，使用第一机器学习模型基于文本数据来计算针对多幅参考图像中的每幅参考图像的匹配分数。在计算匹配分数时，基于与多幅参考图像中的每幅参考图像相关联的匹配分数从多幅参考图像中选择一幅或多幅图像。使用第二机器学习模型基于一幅或多幅图像和文本数据来生成针对患者的医学图像。
前述概述仅是说明性的，而并不旨在进行限制。除了上述说明性方面、实施例和特征之外，通过参考附图和以下详细描述，其他方面、实施例和特征将变得显而易见。
附图说明
并入本公开内容并构成本公开内容的部分的附图图示了示例性实施例，并且与说明书一起用于解释所公开的原理。在附图中，附图标记的最左边的(一个或多个)数字标识其中该附图标记首次出现的附图。在所有附图中，相同的附图标记用于指代相似的特征和部件。现在仅以示例的方式并关于附图来描述根据本主题的实施例的系统和/或方法的一些实施例，在附图中：
图1图示了根据本公开内容的一些实施例的用于基于患者的医学报告中的文本数据来生成医学图像的示例性健康护理系统；
图2示出了根据本公开内容的一些实施例的用于基于患者的医学报告中的文本数据来生成医学图像的图像生成系统的详细框图；
图3图示了根据本公开内容的一些实施例的示出用于基于患者的医学报告中的文本数据来生成医学图像的示例性方法的流程图；
图4图示了根据本公开内容的一些实施例的示出用于计算匹配分数的示例性方法的流程图；
图5图示了根据本公开内容的一些实施例的示出使用第二机器学习模型来生成医学图像的示例性方法的流程图；
图6图示了根据本公开内容的一些实施例的用于检索用于生成医学图像的第一序列的示例性方法的流程图；
图7示出了根据本公开内容的一些实施例生成的医学图像的示例性表示；并且
图8图示了用于实施与本公开内容一致的实施例的示例性计算机系统的框图。
本领域技术人员将意识到，本文中的任何框图均表示体现本主题的原理的说明性系统的概念图。类似地，将意识到，任何流程图、流程图表、状态转变图、伪代码等表示可以实质上在计算机可读介质中表示并由计算机或处理器执行的各种过程，无论这样的计算机或处理器是否明确示出均是如此。
附图标记列表
附图标记 描述
100 健康护理系统
101 图像生成系统
102 通信网络
103 医学报告存储库
104 参考图像存储库
105 处理器
106 I/O接口
107 模块
108 存储器
201 文本数据检索模块
202 匹配分数计算模块
203 图像选择模块
204 医学图像生成模块
205 其他模块
206 数据
207 医学报告数据
208 文本数据
209 匹配分数
210 参考图像数据
211 矢量表示数据
212 联合矢量表示数据
213 第一序列数据
214 第二序列数据
215 医学事件图像数据
216 后向隐藏状态数据
217 前向隐藏状态数据
218 医学图像数据
219 其他资料
700 医学图像
701.1…701.4 医学事件图像
800 计算机系统
801 I/O接口
802 处理器
803 网络接口
804 储存接口
805 存储器
806 用户接口
807 操作系统
808 网络服务器
809 输入设备
810 输出设备
811 通信网络
812 医学报告存储库
813 参考图像存储库
具体实施方式
在当前文档中，词语“示例性”在本文中用于表示“用作示例、实例或说明”。在本文中被描述为“示例性”的本主题的任何实施例或实施方式不必被解释为比其他实施例优选或有利。
尽管本公开内容易于进行各种修改和替代形式，但是其具体的实施例已经通过示例的方式在附图中示出并且将在下面进行详细描述。然而，应当理解，这并非旨在将本公开内容限制为所公开的形式，而是相反，本公开内容将覆盖落入本公开内容的精神和范围内的所有修改、等同形式和替代形式。
术语“包括”、“涵盖”或其任何其他变体旨在覆盖非排他性的包括，使得包括部件或步骤的列表的设置、设备或方法不仅仅包括那些部件或步骤，而是还可以包括未明确列出的或这样的设置或设备或方法固有的其他部件或步骤。换句话说，在没有更多限制的情况下，系统或装置中以“包括……”开头的一个或多个元件并不排除系统或方法中其他元件或额外元件的存在。
术语“包含”、“含有”或其任何其他变体旨在覆盖非排他性的包括，使得包括部件或步骤的列表的设置、设备或方法不仅仅包括那些部件或步骤，而是还可以包括未明确列出的或这样的设置或设备或方法固有的其他部件或步骤。换句话说，在没有更多限制的情况下，系统或装置中以“包括……”开头的一个或多个元件并不排除系统或方法中其他元件或额外元件的存在。
在对本公开内容的实施例的以下详细描述中，参考的附图形成本公开内容的部分，并且在附图中通过图示的方式示出了其中可以实践本公开内容的特定实施例。足够详细地描述了这些实施例以使得本领域技术人员能够实践本公开内容，并且应当理解，在不脱离本公开内容的范围的情况下，可以利用其他实施例并且可以做出改变。因此，以下描述不应被视为是限制性的。
本公开内容提供了通过基于医学报告中的文本数据来生成医学图像以评价患者的健康状况的有效方法。本公开内容利用深度学习架构从一个或多个医学报告中提取医学事件及其属性，并且合成在视觉上突出显示健康状况细节的复合医学图像。本公开内容中公开的系统实施用于生成医学图像的机器学习模型。基于文本数据，使用第一机器学习模型来计算针对多幅参考图像中的每幅参考图像的匹配分数。另外，基于匹配分数从多幅参考图像中选择一幅或多幅图像。可以使用第二机器学习模型基于所选择的一幅或多幅图像来生成医学图像。通过所生成的医学图像，能够实现对患者的健康状况的可视化。
图1图示了示例性健康护理系统100，其包括用于基于医学报告中的文本数据来生成医学图像的图像生成系统101。示例性健康护理系统100可以包括图像生成系统101、通信网络102、医学报告存储库103以及参考图像存储库104，以生成医学图像。图像生成系统101可以被配置为通过执行如本公开内容中所公开的步骤来生成医学图像。如图所示，图像生成系统101可以经由通信网络102与医学报告存储库103进行通信。图像生成系统101可以经由通信网络102从医学报告存储库103中检索与患者相关联的一个或多个医学报告，以生成针对患者的医学图像。患者可以是需要由医生或医师或是能够评价健康状况的任何其他人来评价其健康状况的任何人。在实施例中，医学报告存储库103可以是被配置为存储患者的一个或多个医学报告的存储空间。在实施例中，医学报告存储库103可以与以下各项中的至少一项相关联：与患者相关联的用户设备、与患者有关的医学机构以及被配置为存储一个或多个医学报告的第三方。在实施例中，医学报告存储库103可以是云系统，该云系统被配置为接收和存储一个或多个医学报告并将这一个或多个医学报告提供给图像生成系统101以用于生成医学图像。参考图像存储库104被配置为存储多幅参考图像。这多幅参考图像是与放射学检查有关的图像。放射学检查可以与一种或多种模态相关联，这一种或多种模态可以包括但不限于CT扫描、MRI扫描、ECG等。参考图像存储库104可以与医学机构相关联。在实施例中，参考图像存储库可以被配置为从与医学机构相关联的放射系统中动态地检索多幅参考图像。图像生成系统101可以从参考图像存储库104中检索多幅参考图像以用于生成医学图像。在实施例中，图像生成系统101可以经由通信网络102与参考图像存储库104通信以检索多幅参考图像(图中未示出)。在实施例中，医学报告存储库103和参考图像存储库104可以被集成在图像生成系统101内。在实施例中，通信网络102可以包括但不限于直接互连、局域网(LAN)、广域网(WAN)、无线网络(例如使用无线应用协议)、互联网等。
另外，图像生成系统101可以包括处理器105、I/O接口106、一个或多个模块107以及存储器108。在一些实施例中，存储器108可以被通信地耦合到处理器105。存储器108存储处理器可执行指令，如本公开内容中所公开的，该处理器可执行指令在执行时可以令图像生成系统101生成医学图像。图像生成系统101可以在各种计算系统中实施，例如，膝上型计算机、台式计算机、个人计算机(PC)、笔记本电脑、智能电话、平板电脑、电子书阅读器、服务器、网络服务器等。
为了生成医学报告，首先，可以从来自医学报告库103中的患者的一个或多个医学报告中的每个医学报告中检索文本数据。文本数据可以包括一个或多个医学事件和对应的一个或多个属性，该对应的一个或多个属性与一个或多个医学报告中的每个医学报告相关联。与一个或多个医学事件中的每个医学事件相对应的一个或多个属性可以包括与对应的医学事件相关联的日期属性、时间属性、模态属性、定性属性以及定量属性。在实施例中，一个或多个医学事件和对应的一个或多个属性可以在文本数据中按时间顺序排列。
在检索文本数据时，基于文本数据来计算针对来自参考图像存储库104的多幅参考图像中的每幅参考图像的匹配分数。可以使用第一机器学习模型来计算匹配分数。可以通过生成针对多幅参考图像中的每幅参考图像的矢量表示来计算匹配分数。基于对应的矢量表示和文本数据，可以生成针对多幅参考图像中的每幅参考图像的联合矢量表示。基于相应的参考图像的联合矢量表示来计算针对多幅参考图像中的每幅参考图像的匹配分数。在实施例中，第一机器学习模型可以是多模态卷积神经网络(CNN)。
在计算匹配分数时，基于与多幅参考图像中的每幅参考图像相关联的匹配分数从多幅参考图像中选择一幅或多幅图像。在实施例中，可以将多幅图像中的每幅图像的匹配分数与预定义匹配分数进行比较。可以从多幅参考图像中选择与大于预定义匹配分数的匹配分数相关联的、来自多幅参考图像的一幅或多幅图像。在实施例中，一幅或多幅图像可以与较高的匹配分数值相关联。例如，可以从多幅图像中选择具有匹配分数值前十名的一幅或多幅图像。可以使用本领域技术人员已知的一种或多种技术从多幅参考图像中选择一幅或多幅图像。
另外，在选择一幅或多幅图像时，可以实施第二机器学习模型以用于生成针对患者的医学图像。可以基于一幅或多幅图像和文本数据来生成医学图像。为了生成医学图像，首先，可以检索第一序列，该第一序列包括文本数据中的单词和短语中的一项的矢量表示。为了检索第一序列，可以确定与文本数据中的单词和短语中的一项相关联的后向隐藏状态和前向隐藏状态。分别地，可以使用后向长短期记忆(LSTM)单元来确定后向隐藏状态，并且可以使用前向LSTM单元来确定前向隐藏状态。另外，可以将后向隐藏状态和前向隐藏状态进行级联以用于检索第一序列。
在检索第一序列时，可以检索第二序列，该第二序列包括从多幅图像中选择的一幅或多幅图像。基于第一序列和第二序列，可以生成针对文本数据的一个或多个医学事件中的每个医学事件的医学事件图像。在实施例中，可以基于对应的医学事件来生成医学事件图像以表示患者的健康状况。在生成针对一个或多个医学事件中的每个医学事件的医学事件图像时，将针对一个或多个医学事件中的每个医学事件的医学事件图像进行拼接以用于生成医学图像。在实施例中，可以以预定义样式拼接针对一个或多个医学事件中的每个医学事件的医学事件图像。在实施例中，可以基于与一个或多个医学事件相关联的时间顺序来选择预定义样式。
在实施例中，可以训练第二机器学习模型以基于多幅参考图像和预定义文本数据来生成医学图像。在实施例中，从多幅参考图像中选择的一幅或多幅图像还可以用于动态地训练第二机器学习模型。在实施例中，第二机器学习模型可以是递归神经网络(RNN)模型。
图2示出了根据本公开内容的一些实施例的用于生成医学图像的图像生成系统101的详细框图。
本文详细描述了图像生成系统101的存储器108和一个或多个模块107中的数据206。
在一种实施方式中，一个或多个模块107可以包括但不限于文本数据检索模块201、匹配分数计算模块202、图像选择模块203、医学图像生成模块204以及与图像生成系统101相关联的一个或多个其他模块205
在实施例中，存储器108中的数据206可以包括医学报告数据207(也被称为一个或多个医学报告207)、文本数据208、匹配分数209、参考图像数据210(也被称为多幅参考图像210)、矢量表示数据211(也被称为矢量表示211)、联合矢量表示数据212(也被称为联合矢量表示212)、第一序列数据213(也被称为第一序列213)、第二序列数据214(也被称为第二序列214)、医学事件图像数据215(也被称为医学事件图像215)、后向隐藏状态数据216(也被称为后向隐藏状态216)、前向隐藏状态数据217(也被称为前向隐藏状态217)、医学图像数据218(也被称为医学图像218)以及与图像生成系统101相关联的其他数据219。
在实施例中，存储器108中的数据206可以由图像生成系统101的一个或多个模块107来处理。本文使用的术语模块是指专用集成电路(ASIC)、电子电路、现场可编程门阵列(FPGA)、可编程片上系统(PSoC)、组合逻辑电路和/或提供所描述的功能的任何合适部件。一个或多个模块107当被配置有本公开内容中定义的功能时可以产生新颖的硬件。
由文本数据检索模块201从患者的一个或多个医学报告207中的每个医学报告中检索的文本数据208可以包括一个或多个医学事件和对应的一个或多个属性，该对应的一个或多个属性与该一个或多个医学报告207中的每个医学报告相关联。为了检索文本数据208，文本数据检索模块201可以被配置为使用自然语言处理(NLP)来处理一个或多个医学报告207。通过NLP，可以对一个或多个医学报告207执行停止词移除、句子检测和本体查找等。在实施例中，对于NLP，文本数据检索模块201可以使用医学本体(例如，医学临床术语系统命名法(SNOMED CT)和统一医学语言系统(UMLS)内的其他这样的词典)。在实施例中，通过NLP，可以执行对诸如解剖位置、临床体征和症状、暂时性(即，时间表达式)、侧向性以及与一个或多个医学报告207相关联的相关性之类的实体的注释和提取。另外，在执行NLP时，文本数据检索模块201可以实施提取模块以按时间顺序组织一个或多个医学事件和对应的一个或多个属性。在实施例中，一个或多个医学事件中的每个医学事件可以对应于来自一个或多个医学报告207的医学报告。在实施例中，一个或多个属性可以包括与对应的医学事件相关联的日期属性、时间属性、模态属性、定性属性以及定量属性。针对由文本数据检索模块201检索的文本数据208的示例性示例可以在下面给出的表1中示出：
日期属性 时间属性 模态属性 定性属性 定量属性
15-02-2010 11:30:00 血管造影 LAD近侧狭窄增加 90％
19-05-2011 12:49:00 血管造影 LAD近侧狭窄 70％
15-04-2012 11:36:20 血管造影 LAD近侧狭窄 45％
15-04-2013 01:33:00 血管造影 LAD近侧狭窄减少 10％
表格1
在表1所示的文本数据208中，表中的每行都表示医学事件，因此文本数据208包括四个医学事件。每行可以对应于患者的医学报告。表中的每一列都指示来自一个或多个属性中的属性。日期属性可以指示医学事件被记录在医学报告中的日期。时间属性可以指示医学事件被记录在医学报告中的时间。模态属性可以指示与医学报告相关联的放射学领域。例如，放射学领域可以包括但不限于CT、MRI、ECG、血管造影等。定性属性可以指示与患者相关联的问题。定量属性可以指示所述问题的量。例如，考虑表1所示的文本数据208的第一行。对应的医学报告被记录在“15-02-2010”的“11:30:00”，并且与患者的“血管造影”有关。检测到的问题是“LAD近侧狭窄增加”，并且狭窄量为“90％”。
在检索文本数据208时，可以由匹配分数计算模块201基于文本数据208来计算针对来自参考图像存储库104的多幅参考图像210中的每幅参考图像的匹配分数209。可以使用第一机器学习模型来计算匹配分数209。在实施例中，第一机器学习模型可以是多模态卷积神经网络(CNN)。在实施例中，多模态CNN可以包括图像CNN、匹配的CNN以及用于计算匹配分数209的多层感知器209。图像CNN可以用于生成针对多幅参考图像210的矢量表示211。在实施例中，可以使用公式1来生成矢量表示211，如下所示：
Vim＝σ(wim(CNNim(I))+bim) (1)
其中，
“σ”可以是激活函数。例如，σ可以是S型修正线性单元(ReLU)等。
“CNNim(I)”可以是以多幅参考图像210中的每幅参考图像作为输入(即“I”)的图像CNN并生成对应的参考图像的固定长度矢量表示Vim；
“wim”可以是权重矩阵；并且
“bim”可以是偏差。
另外，匹配的CNN可以用于基于矢量表示211来生成联合矢量表示212。矢量表示和文本数据208被提供为针对匹配的CNN的输入以输出联合矢量表示212。
另外，多层感知器可以用于基于对应的联合矢量表示212来计算针对多幅参考图像210中的每幅参考图像的匹配分数209。在实施例中，可以使用公式2来计算匹配分数209，如下所示：
Sm＝ws(σ(wh(VJR)+bh))+bs (2)
其中，
“VJR”可以是联合矢量表示212；
“Σ”是非线性激活函数；
“wh”和“bh”用于将VJR映射到多层感知器的隐藏层中的表示；并且
“ws”和“bs”用于计算匹配分数209。
在计算匹配分数209时，基于与多幅参考图像210中的每幅参考图像相关联的匹配分数209，图像选择模块203从多幅参考图像210中选择一幅或多幅图像。在实施例中，一幅或多幅图像可以是与文本数据208中指示的模态属性有关的图像。在实施例中，可以基于文本数据208中的一个或多个属性来滤除多幅参考图像210。例如，根据表1中示出的文本数据208，可以从多幅参考图像210中滤除与血管造影模态有关的图像，并且进一步将该图像提供给图像选择模块203以用于选择一幅或多幅图像。本领域技术人员已知的一种或多种其他技术也可以用于从多幅参考图像210中选择一幅或多幅图像。
另外，在选择一幅或多幅图像时，医学图像生成模块204可以被配置为使用第二机器学习模型来生成针对患者的医学图像218。在实施例中，第二机器学习模型可以是RNN模型。在实施例中，RNN模型可以包括用于生成医学图像218的双向RNN和生成性RNN模型。另外，双向RNN可以包括后向LSTM单元和前向LSTM单元。通过使用双向RNN，可以检索包括文本数据208中的单词和短语中的一项的矢量表示211的第一序列213。
后向LSTM单元可以被配置为确定文本数据208中的单词和短语中的一项的后向隐藏状态216。前向LSTM单元可以被配置为确定文本数据208中的单词和短语中的一项的前向隐藏状态217。在实施例中，双向RNN可以包括遗忘门以及后向LSTM单元和前向LSTM单元，以确定后向隐藏状态216和前向隐藏状态217。在实施例中，双向RNN可以是基于注意力的双向RNN模型。另外，可以将后向隐藏状态216和前向隐藏状态217进行级联以检索第一序列213。在实施例中，可以通过使最大似然的变化下限最大化来在第一序列213上使用软注意力机制。也可以实施本领域技术人员已知的一种或多种其他技术来检索单词和短语中的一项的第一序列213。
另外，医学图像生成模块204可以被配置为检索第二序列214，第二序列214包括从多幅图像中选择的一幅或多幅图像。在实施例中，可以通过将一幅或多幅图像布置为作为时间的函数的画布上的片块序列来形成第二序列214。生成性RNN模型可以被配置为基于第一序列213和第二序列214来生成针对文本数据208的一个或多个医学事件中的每个医学事件的医学事件图像215。在实施例中，生成性RNN还可以使用包括潜在变量的潜在序列来生成针对一个或多个医学事件中的每个医学事件的医学事件图像215。潜在序列可以用于在潜在序列上计算与第一序列213和第二序列214相关联的近似后验序列，以用于生成医学事件图像215。
在实施例中，可以基于对应的医学事件来生成医学事件图像215以表示患者的健康状况。在生成针对一个或多个医学事件中的每个医学事件的医学事件图像215时，将针对一个或多个医学事件中的每个医学事件的医学事件图像215进行拼接以用于生成医学图像218。图7图示了所生成的医学图像700，其包括一幅或多幅医学事件图像701.1…701.4。考虑表1所示的文本数据208。可以针对具有90％的定量属性的医学事件生成医学事件图像701.1。可以针对具有70％的定量属性的医学事件生成医学事件图像701.2。可以针对具有45％的定量属性的医学事件生成医学事件图像701.3。可以针对具有10％的定量属性的医学事件生成医学事件图像701.4。可以以预定义样式拼接一幅或多幅医学事件图像701.1…701.4以生成医学图像700。在实施例中，预定义样式可以基于与一个或多个医学事件相关联的时间顺序。预定义样式可以基于拼接的配置而变化。图7图示了一幅或多幅医学事件图像701.1…701.4的示例性预定义样式。在实施例中，一幅或多幅医学事件图像701.1…701.4可以以垂直顺序和水平顺序中的一项被布置成序列样式。
在实施例中，图像生成系统101中的一个或多个其他模块可以包括训练模块(图中未示出)。训练模块可以被配置为基于多幅参考图像210和预定义文本数据的第二机器学习模型。在实施例中，多幅参考图像210可以是与历史放射学检查相关联的图像。例如，可以将针对血管造影、CT、MRI和超声的基线扫描报告作为多幅参考图像210而存储在参考图像存储库104中。可以将指示血管造影中的狭窄或血管异常的进展的扫描报告作为多幅参考图像210而存储在参考图像存储库104中。在实施例中，预定义文本数据可以是与一个或多个患者的一个或多个医学报告相关联的历史数据。在实施例中，预定义文本数据可以由用户手动提供以用于训练。在实施例中，训练模块可以从包括历史数据的历史数据存储库中检索预定义文本数据。在实施例中，其他数据219可以包括被存储在图像生成系统101中的预定义文本数据。
在实施例中，图像生成系统101中的一个或多个其他模块可以包括锐化模块(图中未示出)。锐化模块可以被配置为锐化由医学图像生成模块204生成的医学图像218。在实施例中，医学图像218的锐化可以首先包括使用高通滤波器对医学图像218进行滤波。通过过滤，可以提取医学图像218中的高频分量。另外，为了进行锐化，将高通滤波器的输出的缩放版本添加到所生成的医学图像218。通过提出的锐化，可以获得医学图像218的锐化图像。在实施例中，通过本公开内容中提出的锐化，医学图像218的均匀区域可以保持恒定不变。在实施例中，可以使用公式3来执行对医学图像218的锐化，如下所示：
Si,j＝xi,j+λF(xi,j) (3)
其中，
“xi,j”可以是坐标(i,j)处的医学图像；
“F(xi,j)”可以是与高通滤波器相关联的函数；并且
“λ”可以是大于或等于零的调谐参数。
在实施例中，“λ”值取决于所期望的锐度等级。增加“λ”可以得到锐度更好的图像。通过这种方式，可以获得表示一个或多个医学事件的医学图像218的更高分辨率。
可以将医学图像218提供给需要评价患者的健康状况的医生或医师。在实施例中，可以在锐化时将医学图像218提供给医生或医师。
其他数据219可以存储由用于执行图像生成系统101的各种功能的模块生成的数据(包括临时数据和临时文件)。一个或多个模块107还可以包括其他模块205以执行图像生成系统101的各种杂七杂八的功能。将意识到，这样的模块可以被表示为单个模块或不同模块的组合。
图3图示了根据本公开内容的一些实施例的示出用于基于患者的一个或多个医学报告207中的文本数据208来生成医学图像218的示例性方法的流程图。
在框301处，文本数据检索模块201可以被配置为从一个或多个医学报告207中检索文本数据208。文本数据208包括一个或多个医学事件以及对应的一个或多个属性，该对应的一个或多个属性与一个或多个医学报告207中的每个医学报告相关联。一个或多个属性可以包括与对应的医学事件相关联的日期属性、时间属性、模态属性、定性属性以及定量属性。
在框302处，基于检索到的文本数据208，匹配分数计算模块202可以被配置为计算针对多幅参考图像210中的每幅参考图像的匹配分数209。可以使用第二机器学习模块来计算匹配分数。
图4图示了示出用于计算匹配分数209的示例性方法的流程图。
在框401处，匹配分数计算模块202可以生成针对多幅参考图像210中的每幅参考图像的矢量表示211。可以实施本领域技术人员已知的一种或多种技术来生成矢量表示211。
在框402处，匹配分数计算模块202可以基于对应的矢量表示211和文本数据208来生成针对多幅参考图像210中的每幅参考图像的联合矢量表示212。
在框403处，匹配分数计算模块202可以基于相应的参考图像的联合矢量表示212来计算针对多幅参考图像210中的每幅参考图像的匹配分数209。
返回参考图3，在框303处，图像选择模块203可以被配置为从多幅参考图像210中选择一幅或多幅图像。可以基于与多幅参考图像210中的每幅参考图像相关联的匹配分数209来选择一幅或多幅图像。
在框304处，医学图像生成模块204可以被配置为基于一幅或多幅图像和文本数据208来生成针对患者的医学图像218。可以使用第二机器学习模型来生成医学图像。图5图示了示出使用第二机器学习模型来生成医学图像218的示例性方法的流程图。
在框501处，医学图像生成模块204可以检索第一序列213，该第一序列213包括文本数据208中的单词和短语中的一项的矢量表示211。图6图示了示出用于检索用于生成医学图像218的第一序列213的示例性方法的流程图。
在框601处，医学图像生成模块204可以确定与文本数据中的单词和短语中的一项相关联的后向隐藏状态216和前向隐藏状态217。可以分别使用后向长短期记忆(LSTM)单元和前向LSTM单元来确定后向隐藏状态216和前向隐藏状态217。
在框602处，医学图像生成模块204可以将后向隐藏状态216和前向隐藏状态217进行级联，以用于检索第一序列213。
返回参考图5，在框502处，医学图像生成模块204可以生成第二序列214，该第二序列214包括从多幅参考图像210中选择的一幅或多幅图像。
在框503处，医学图像生成模块204可以基于第一序列213和第二序列214来生成针对文本数据208的一个或多个医学事件中的每个医学事件的医学事件图像。
在框504处，医学图像生成模块204可以以预定义样式拼接一个或多个医学事件中的每个医学事件的医学事件图像。
如图3、图4、图5和图6所示，方法300、400、500和600可以包括用于执行图像生成系统101中的处理的一个或多个框。可以在计算机可执行指令的通常背景中描述方法300、400和500。通常，计算机可执行指令能够包括执行特定功能或者实施特定抽象数据类型的例程、程序、对象、部件、数据结构、流程、模块以及功能。
描述方法300、400、500和600的顺序可能并不旨在被解释为限制，并且能够以任意顺序组合任意数量的所描述的方法框以实施该方法。另外，在不脱离本文描述的主题的范围的情况下，可以从该方法中删除个体框。另外，该方法能够以任何合适的硬件、软件、固件或其组合来实施。
计算系统
图8图示了用于实施与本公开内容一致的实施例的示例性计算机系统800的框图。在实施例中，计算机系统800用于实施图像生成系统101。计算机系统800可以包括中央处理单元(“CPU”或“处理器”)802。处理器802可以包括至少一个数据处理器以用于执行虚拟存储区域网络中的处理。处理器802可以包括专用处理单元，例如，集成系统(总线)控制器、存储器管理控制单元、浮点单元、图形处理单元、数字信号处理单元等。
处理器802可以被设置为经由I/O接口801与一个或多个输入/输出(I/O)设备809和810通信。I/O接口801可以采用通信协议/方法，例如但不限于音频、模拟、数字、单声道、RCA、立体声、IEEE-1394、串行总线、通用串行总线(USB)、红外、PS/2、BNC、同轴、部件、复合、数字视觉接口(DVI)、高清多媒体接口(HDMI)、RF天线、S-Video、VGA、EE802.n/b/g/n/x、蓝牙、蜂窝(例如、码分多址(CDMA)、高速分组接入(HSPA+)、全球移动通信系统(GSM)、长期演进(LTE)、WiMax等)等。
通过使用I/O接口801，计算机系统800可以与一个或多个I/O设备809和810通信。例如，输入设备809可以是天线、键盘、鼠标、操纵杆、(红外)遥控器、相机、读卡器、传真机、软件狗、生物识别器、麦克风、触摸屏、触摸板、轨迹球、触控笔、扫描仪、存储设备、收发器、视频设备/源等。输出设备810可以是打印机、传真机、视频显示器(例如、阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、等离子体、等离子体显示面板(PDP)、有机发光二极管显示器(OLED)等)、音频扬声器等。
在一些实施例中，计算机系统800可以包括图像生成系统101。处理器802可以被设置为经由网络接口803与通信网络811通信。网络接口803可以与通信网络811通信。网络接口803可以采用连接协议，包括但不限于直接连接、以太网(例如、双绞线10/100/1000BaseT)、传输控制协议/互联网协议(TCP/IP)、令牌环网、IEEE 802.11a/b/g/n/x等。通信网络811可以包括但不限于直接互连、局域网(LAN)、广域网(WAN)、无线网络(例如使用无线应用协议)、互联网等。通过使用网络接口803和通信网络811，计算机系统800可以与医学报告存储库812和参考图像存储库813通信以用于生成医学图像。网络接口803可以采用连接协议，包括但不限于直接连接、以太网(例如，双绞线10/100/1000Base T)、传输控制协议/互联网协议(TCP/IP)、令牌环网、IEEE 802.11a/b/g/n/x等。
通信网络811包括但不限于直接互连、电子商务网络、对等(P2P)网络、局域网(LAN)、广域网(WAN)、无线网络(例如使用无线应用协议)、互联网、Wi-Fi等。第一网络和第二网络可以是专用网络或共享网络，其表示使用各种协议(例如，超文本传输协议(HTTP)、传输控制协议/互联网协议(TCP/IP)、无线应用协议(WAP)等)进行相互通信的不同类型的网络的关联。另外，第一网络和第二网络可以包括各种网络设备、包括路由器、网桥、服务器、计算设备、存储设备等。
在一些实施例中，处理器802可以被设置为经由存储接口804与存储器805(例如，RAM、ROM等，其在图8中未示出)通信。存储接口804可以采用连接协议(例如，串行高级技术附件(SATA)、集成驱动电子设备(IDE)、IEEE-1394、通用串行总线(USB)、光纤通道、小型计算机系统接口(SCSI)等)来连接到存储器805(包括但不限于存储器驱动器、可移动磁盘驱动器等)。存储器驱动器还可以包括感光鼓、磁盘驱动器、磁光盘驱动器、光盘驱动器、独立磁盘冗余阵列(RAID)、固态存储设备、固态驱动器等。
存储器805可以存储程序或数据库部件的集合，包括但不限于用户接口806、操作系统807等。在一些实施例中，如本公开内容所述，计算机系统800可以存储用户/应用程序数据806，例如数据、变量、记录等。这样的数据库可以被实施为容错的、关联的、可扩展的、安全的数据库，例如，
Figure BDA0002727802270000181
或
Figure BDA0002727802270000182
操作系统807可以促进对计算机系统800的资源管理和操作。操作系统的示例包括但不限于APPLE
Figure BDA0002727802270000183
OS X、
Figure BDA0002727802270000184
类似UNIX的系统分布(例如，BERKELEYSOFTWARE DISTRIBUTIONTM(BSD)、FREEBSDTM、NETBSDTM、OPENBSDTM等)、LINUXDISTRIBUTIONSTM(例如，RED HATTM、UBUNTUTM、KUBUNTUTM等)、IBMTM OS/2、MICROSOFTTMWINDOWSTM(XPTM、VISTATM/7/8、10等)、
Figure BDA0002727802270000185
IOSTM、
Figure BDA0002727802270000186
ANDROIDTM、
Figure BDA0002727802270000187
OS等。
另外，在实施与本公开内容一致的实施例中，可以利用一个或多个计算机可读存储介质。计算机可读存储介质是指可以在其上存储处理器可读的信息或数据的任何类型的物理存储器。因此，计算机可读存储介质可以存储用于由一个或多个处理器执行的指令，包括用于令(一个或多个)处理器执行与本文描述的实施例一致的步骤或阶段的指令。术语“计算机可读介质”应被理解为包括有形物品并且排除载波和瞬态信号(即，是非瞬态的)。示例包括随机存取存储器(RAM)、只读存储器(ROM)、易失性存储器、非易失性存储器、硬盘驱动器、CDROM、DVD、闪存驱动器、磁盘以及任何其他已知的物理存储介质。
优点
本公开内容的实施例通过使用医学报告中的可用文本动态生成所需的医学图像而无需部署复杂且昂贵的医学管理系统。
当在资源贫乏地区的医生或医师仅依赖于可用的医学报告时，本公开内容的实施例最大程度地减小了错误的风险。在本公开内容中生成的医学图像有助于回忆发现并对患者的先前放射学做出准确评估。
本公开内容的实施例促进了基于根据生成的医学图像的视觉检查来更好地评价疾病进展并向患者传达准确的细节。
本公开内容的实施例通过基于在一段时间内的处置介入在视觉上描绘潜在结果来改善患者与其健康护理提供者之间的参与和决策共享以实现期望的健康结果。
本公开内容的实施例使得了解在一段时间内的患者的健康状况的进展并提供指示进展的医学图像。
本公开内容的实施例在扫描医学报告可能丢失或不可用的情况下促进了医学图像的再生。
所描述的操作可以被实施为使用标准编程和/或工程技术来产生软件、固件、硬件或其任何组合的方法、系统或制造品。所描述的操作可以被实施为在“非瞬态计算机可读介质”中维护的代码，其中，处理器可以从计算机可读介质中读取代码并执行代码。处理器是能够处理和执行查询的微处理器和处理器中的至少一项。非瞬态计算机可读介质可以包括例如以下介质：磁性存储介质(例如，硬盘驱动器、软盘、磁带等)，光学存储设备(CD-ROM、DVD、光盘等)、易失性和非易失性存储器设备(例如，EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪速存储器、固件、可编程逻辑单元等)等。另外，非瞬态计算机可读介质可以包括除了瞬态介质之外的所有计算机可读介质。实施所描述的操作的代码可以以硬件逻辑单元(例如，集成电路芯片、可编程门阵列(PGA)、专用集成电路(ASIC)等)来实施。
又另外，实施所描述的操作的代码可以在“传输信号”中实施，其中，传输信号可以通过空间或者通过诸如光纤、铜线等的传输介质来传播。在其中对代码或逻辑单元进行编码的传输信号还可以包括无线信号、卫星传输信号、无线电波、红外信号、蓝牙等。在其中对代码或逻辑单元进行编码的传输信号能够由发送站来发送并由接收站来接收，其中，在传输信号中编码的代码或逻辑单元可以被解码并被存储在接收站或发送站或接收设备或发送设备的硬件或非瞬态计算机可读介质中。“制造品”包括可以在其中实施代码的非瞬态计算机可读介质、硬件逻辑单元和/或传输信号。在其中对实施所描述的操作的实施例的代码进行编码的设备可以包括计算机可读介质或硬件逻辑单元。当然，本领域技术人员将认识到，可以在不脱离本发明范围的情况下对该配置做出许多修改，并且制造品可以包括本领域已知的合适的信息承载介质。
除非另有明确说明，否则术语“一实施例”、“实施例”、“多个实施例”、“该实施例”、“这多个实施例”、“一个或多个实施例”、“一些实施例”以及“一个实施例”是指(一个或多个)发明的一个或多个(但不是全部)实施例。
除非另有明确说明，否则术语“包括”、“包含”、“具有”及其变体意思指“包括但不限于”。
除非另有明确说明，否则列举的项目清单并不意味着任何项目或所有项目是互斥的。
除非另有明确说明，否则术语“一”、“一个”和“该”意指“一个或多个”。
对具有彼此通信的若干部件的实施例的描述并不意味着需要所有这样的部件。相反，描述了多种任选的部件是为了说明本发明的多种可能的实施例。
当在本文中描述单个设备或物品时，将显而易见的是，可以使用一个以上的设备/物品(无论它们是否协作)来代替单个设备/物品。类似地，在本文描述了一个以上的设备或物品(无论它们是否协作)的情况下，将显而易见的是，可以使用单个设备/物品来代替一个以上的设备或物品，或者可以使用不同数量的设备/物品来代替所示数量的设备或程序。设备的功能和/或特征可以替代地由未被明确描述为具有这样的功能/特征的一个或多个其他设备来体现。因此，本发明的其他实施例不需要包括设备本身。
所图示的图3、图4、图5和图6的操作示出了以特定顺序发生的特定事件。在替代实施例中，可以以不同的顺序来执行特定操作，可以修改或移除特定操作。另外，可以将步骤添加到上述逻辑单元并且仍然符合所描述的实施例。另外，可以顺序地发生本文描述的操作，也可以并行地处理某些操作。又另外，可以由单个处理单元或分布式处理单元来执行操作。
最后，主要是出于可读性和指导性目的而选择了本说明书中使用的语言，并且可能没有选择该语言来描绘或限制本发明的主题。因此，本发明的范围并没有受到该详细描述的限制，而是由基于此处发布的申请的任何权利要求来限制。因此，本发明的实施例的公开内容旨在说明而非限制本发明的范围，本发明的范围在权利要求中得到阐明。
尽管本文已经公开了各个方面和实施例，但是其他方面和实施例对于本领域技术人员来说将是显而易见的。本文所公开的各个方面和实施例是出于说明的目的，而不是旨在进行限制，真实的范围和精神由权利要求来指示。

Claims (20)

1.一种用于基于患者的医学报告中的文本数据来生成医学图像的方法，包括：
由图像生成系统(101)从患者的一个或多个医学报告(207)中的每个医学报告中检索文本数据(208)，其中，所述文本数据(208)包括一个或多个医学事件和对应的一个或多个属性，所述对应的一个或多个属性与所述一个或多个医学报告(207)中的每个医学报告相关联；
由所述图像生成系统(101)使用第一机器学习模型基于所述文本数据(208)来计算针对多幅参考图像(210)中的每幅参考图像的匹配分数(209)；
由所述图像生成系统(101)基于与所述多幅参考图像(210)中的每幅参考图像相关联的所述匹配分数(209)从所述多幅参考图像(210)中选择一幅或多幅图像；并且
由所述图像生成系统(101)使用第二机器学习模型基于所述一幅或多幅图像和所述文本数据(208)来生成针对所述患者的医学图像(218)。
2.根据权利要求1所述的方法，其中，所述文本数据(208)中的所述一个或多个医学事件和所述对应的一个或多个属性是按时间顺序排列的。
3.根据权利要求1所述的方法，其中，与所述文本数据(208)中的所述一个或多个医学事件中的每个医学事件相对应的所述一个或多个属性包括与对应的医学事件相关联的日期属性、时间属性、模态属性、定性属性以及定量属性。
4.根据权利要求1所述的方法，其中，计算所述匹配分数(209)包括：
由所述图像生成系统(101)生成针对所述多幅参考图像(210)中的每幅参考图像的矢量表示(211)；
由所述图像生成系统(101)基于对应的矢量表示(211)和所述文本数据(208)来生成针对所述多幅参考图像(210)中的每幅参考图像的联合矢量表示(212)；并且
由所述图像生成系统(101)基于相应的参考图像(210)的所述联合矢量表示(212)来计算针对所述多幅参考图像(210)中的每幅参考图像的所述匹配分数(209)。
5.根据权利要求1所述的方法，其中，从所述多幅参考图像(210)中选择的所述一幅或多幅图像中的每幅图像与大于预定义匹配分数的所述匹配分数(209)相关联。
6.根据权利要求1所述的方法，其中，生成所述医学图像(218)包括：
由所述图像生成系统(101)检索第一序列(213)，所述第一序列包括所述文本数据(208)中的单词和短语中的一项的矢量表示(211)；
由所述图像生成系统(101)生成第二序列(214)，所述第二序列包括所述一幅或多幅图像；
由所述图像生成系统(101)基于所述第一序列(213)和所述第二序列(214)来生成针对所述文本数据(208)的所述一个或多个医学事件中的每个医学事件的医学事件图像(215)；并且
由所述图像生成系统(101)以预定义样式拼接所述一个或多个医学事件中的每个医学事件的所述医学事件图像(215)，以用于生成所述医学图像(218)。
7.根据权利要求6所述的方法，其中，检索所述第一序列(213)包括：
由所述图像生成系统(101)确定与所述文本数据(208)中的所述单词和所述短语中的一项相关联的后向隐藏状态(216)和前向隐藏状态(217)；并且
由所述图像生成系统(101)将所述后向隐藏状态(216)和所述前向隐藏状态(217)进行级联，以用于检索所述第一序列(213)。
8.根据权利要求7所述的方法，其中，所述后向隐藏状态(216)和所述前向隐藏状态(217)是分别使用后向长短期记忆(LSTM)单元和前向LSTM单元来确定的。
9.根据权利要求1所述的方法，其中，所述第二机器学习模型是基于所述多幅参考图像(210)和预定义文本数据来训练的。
10.根据权利要求1所述的方法，其中，所述第一机器学习模型是多模态卷积神经网络(CNN)，并且所述第二机器学习模型是循环神经网络(RNN)模型。
11.一种用于基于患者的医学报告中的文本数据来生成医学图像的图像生成系统，包括：
处理器(105)；以及
存储器(108)，其被通信地耦合到所述处理器(105)，其中，所述存储器(108)存储处理器可执行指令，所述处理器可执行指令在执行时令所述处理器(105)：
从患者的一个或多个医学报告(207)中的每个医学报告中检索文本数据(208)，其中，所述文本数据(208)包括一个或多个医学事件和对应的一个或多个属性，所述对应的一个或多个属性与所述一个或多个医学报告(207)中的每个医学报告相关联；
使用第一机器学习模型基于所述文本数据(208)来计算针对多幅参考图像(210)中的每幅参考图像的匹配分数(209)；
基于与所述多幅参考图像(210)中的每幅参考图像相关联的所述匹配分数(209)从所述多幅参考图像(210)中选择一幅或多幅图像；并且
使用第二机器学习模型基于所述一幅或多幅图像和所述文本数据(208)来生成针对所述患者的医学图像(218)。
12.根据权利要求11所述的图像生成系统，其中，所述文本数据(208)中的所述一个或多个医学事件和所述对应的一个或多个属性是按时间顺序排列的。
13.根据权利要求11所述的图像生成系统，其中，与所述文本数据(208)中的所述一个或多个医学事件中的每个医学事件相对应的所述一个或多个属性包括与对应的医学事件相关联的日期属性、时间属性、模态属性、定性属性以及定量属性。
14.根据权利要求11所述的图像生成系统，其中，计算所述匹配分数(209)包括：
生成针对所述多幅参考图像(210)中的每幅参考图像的矢量表示(211)；
基于对应的矢量表示(211)和所述文本数据(208)来生成针对所述多幅参考图像(210)中的每幅参考图像的联合矢量表示(212)；并且
基于相应的参考图像(210)的所述联合矢量表示(212)来计算针对所述多幅参考图像(210)中的每幅参考图像的所述匹配分数(209)。
15.根据权利要求11所述的图像生成系统，其中，从所述多幅参考图像(210)中选择的所述一幅或多幅图像中的每幅图像与大于预定义匹配分数的所述匹配分数(209)相关联。
16.根据权利要求11所述的图像生成系统，其中，生成所述医学图像(218)包括：
检索第一序列(213)，所述第一序列包括所述文本数据(208)中的单词和短语中的一项的矢量表示(211)；
生成第二序列(214)，所述第二序列包括所述一幅或多幅图像；
基于所述第一序列(213)和所述第二序列(214)来生成针对所述文本数据(208)的所述一个或多个医学事件中的每个医学事件的医学事件图像(215)；并且
以预定义样式拼接所述一个或多个医学事件中的每个医学事件的所述医学事件图像(215)，以用于生成所述医学图像(218)。
17.根据权利要求16所述的图像生成系统，其中，检索所述第一序列(213)包括：
确定与所述文本数据(208)中的所述单词和所述短语中的一项相关联的后向隐藏状态(216)和前向隐藏状态(217)；并且
将所述后向隐藏状态(216)和所述前向隐藏状态(217)进行级联，以用于检索所述第一序列(213)。
18.根据权利要求17所述的图像生成系统，其中，所述后向隐藏状态(216)和所述前向隐藏状态(217)是分别使用后向长短期记忆(LSTM)单元和前向LSTM单元来确定的。
19.根据权利要求11所述的图像生成系统，其中，所述第二机器学习模型是基于所述多幅参考图像(210)和预定义文本数据来训练的。
20.根据权利要求11所述的图像生成系统，其中，所述第一机器学习模型是多模态卷积神经网络(CNN)，并且所述第二机器学习模型是循环神经网络(RNN)模型。
CN201980026594.4A 2018-03-16 2019-03-15 用于基于医学报告中的文本数据来生成医学图像的方法和系统 Pending CN112055879A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862643816P 2018-03-16 2018-03-16
US62/643816 2018-03-16
PCT/EP2019/056577 WO2019175404A1 (en) 2018-03-16 2019-03-15 Method and system for generating medical image based on textual data in medical report

Publications (1)

Publication Number Publication Date
CN112055879A true CN112055879A (zh) 2020-12-08

Family

ID=65812326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980026594.4A Pending CN112055879A (zh) 2018-03-16 2019-03-15 用于基于医学报告中的文本数据来生成医学图像的方法和系统

Country Status (5)

Country Link
US (1) US11403786B2 (zh)
EP (1) EP3766078B1 (zh)
JP (1) JP2021518599A (zh)
CN (1) CN112055879A (zh)
WO (1) WO2019175404A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159134A (zh) * 2021-03-29 2021-07-23 宁波市科技园区明天医网科技有限公司 基于乳腺结构化报告的智能化诊断评估方法
CN113723360A (zh) * 2021-09-16 2021-11-30 益佳福(杭州)科技有限责任公司 基于ecg和对抗增强门控循环网络多源血管内超声关键帧自动检索方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022212771A2 (en) * 2021-03-31 2022-10-06 Sirona Medical, Inc. Systems and methods for artificial intelligence-assisted image analysis
JP2022181645A (ja) * 2021-05-26 2022-12-08 富士フイルム株式会社 内視鏡業務支援装置及び内視鏡業務支援システム並びに内視鏡業務支援装置の作動方法
CN113808712A (zh) * 2021-08-24 2021-12-17 武汉联影医疗科技有限公司 医学数据传输方法、装置、计算机设备和存储介质
CN113990473B (zh) * 2021-10-28 2022-09-30 上海昆亚医疗器械股份有限公司 一种医疗设备运维信息收集分析系统及其使用方法
US11869128B2 (en) 2021-12-14 2024-01-09 Fujitsu Limited Image generation based on ethical viewpoints

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010120061A2 (ko) * 2009-04-16 2010-10-21 주식회사 인트로메딕 클라이언트 단말의 의료 데이터 프로세싱 장치 및 의료 영상데이터 처리 방법
US20170262583A1 (en) * 2016-03-11 2017-09-14 International Business Machines Corporation Image processing and text analysis to determine medical condition
CN107767928A (zh) * 2017-09-15 2018-03-06 深圳市前海安测信息技术有限公司 基于人工智能的医学影像报告生成系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2686809B1 (en) * 2011-03-16 2014-12-24 Koninklijke Philips N.V. Method and system for intelligent linking of medical data
JP6918494B2 (ja) * 2013-09-27 2021-08-11 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 医療画像のレビューの可能化
JP2015203920A (ja) * 2014-04-11 2015-11-16 キヤノン株式会社 類似症例検索システム、類似症例検索方法及びプログラム
US11275905B2 (en) 2015-03-09 2022-03-15 Koninklijke Philips N.V. Systems and methods for semantic search and extraction of related concepts from clinical documents
US9846938B2 (en) 2015-06-01 2017-12-19 Virtual Radiologic Corporation Medical evaluation machine learning workflows and processes
US10269114B2 (en) * 2015-06-12 2019-04-23 International Business Machines Corporation Methods and systems for automatically scoring diagnoses associated with clinical images
WO2017151757A1 (en) * 2016-03-01 2017-09-08 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Recurrent neural feedback model for automated image annotation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010120061A2 (ko) * 2009-04-16 2010-10-21 주식회사 인트로메딕 클라이언트 단말의 의료 데이터 프로세싱 장치 및 의료 영상데이터 처리 방법
US20170262583A1 (en) * 2016-03-11 2017-09-14 International Business Machines Corporation Image processing and text analysis to determine medical condition
CN107767928A (zh) * 2017-09-15 2018-03-06 深圳市前海安测信息技术有限公司 基于人工智能的医学影像报告生成系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159134A (zh) * 2021-03-29 2021-07-23 宁波市科技园区明天医网科技有限公司 基于乳腺结构化报告的智能化诊断评估方法
CN113723360A (zh) * 2021-09-16 2021-11-30 益佳福(杭州)科技有限责任公司 基于ecg和对抗增强门控循环网络多源血管内超声关键帧自动检索方法
CN113723360B (zh) * 2021-09-16 2023-10-27 益佳福(杭州)科技有限责任公司 基于ecg和对抗增强门控循环网络多源血管内超声关键帧自动检索方法

Also Published As

Publication number Publication date
JP2021518599A (ja) 2021-08-02
EP3766078A1 (en) 2021-01-20
US20200410721A1 (en) 2020-12-31
US11403786B2 (en) 2022-08-02
WO2019175404A1 (en) 2019-09-19
EP3766078B1 (en) 2023-11-01

Similar Documents

Publication Publication Date Title
CN112055879A (zh) 用于基于医学报告中的文本数据来生成医学图像的方法和系统
US11967074B2 (en) Method and system for computer-aided triage
US11380432B2 (en) Systems and methods for improved analysis and generation of medical imaging reports
JP5952835B2 (ja) 撮像プロトコルの更新及び／又はリコメンダ
US20180204325A1 (en) Medical evaluation machine learning workflows and processes
US20230014705A1 (en) Method and system for computer-aided triage
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
US11900266B2 (en) Database systems and interactive user interfaces for dynamic conversational interactions
US9600628B2 (en) Automatic generation of semantic description of visual findings in medical images
US20090083072A1 (en) Medical information processing system, medical information processing method, and computer readable medium
JP2007280229A (ja) 類似症例検索装置、類似症例検索方法およびそのプログラム
JP2015203920A (ja) 類似症例検索システム、類似症例検索方法及びプログラム
US20150081315A1 (en) Method for selecting medical imaging protocols
JP2017513590A (ja) 患者履歴の視覚化のための方法及びシステム
US11574717B2 (en) Medical document creation support apparatus, medical document creation support method, and medical document creation support program
JP2019149005A (ja) 医療文書作成支援装置、方法およびプログラム
US10282516B2 (en) Medical imaging reference retrieval
US20190341150A1 (en) Automated Radiographic Diagnosis Using a Mobile Device
US20200020434A1 (en) Information collection processing apparatus, information collection processing method, and recording medium
CN111681749A (zh) 一种病理科规范化工作管理和诊断咨询系统及方法
US11094062B2 (en) Auto comparison layout based on image similarity
US20200043583A1 (en) System and method for workflow-sensitive structured finding object (sfo) recommendation for clinical care continuum
Juluru et al. Building Blocks for Integrating Image Analysis Algorithms into a Clinical Workflow
US20240071586A1 (en) Systems and methods of radiology report processing and display enhancements
WO2022239593A1 (ja) 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination