CN107292086A - 图像分析问答 - Google Patents

图像分析问答 Download PDF

Info

Publication number
CN107292086A
CN107292086A CN201710329190.5A CN201710329190A CN107292086A CN 107292086 A CN107292086 A CN 107292086A CN 201710329190 A CN201710329190 A CN 201710329190A CN 107292086 A CN107292086 A CN 107292086A
Authority
CN
China
Prior art keywords
sentence
embedded
vector
vectorial
natural language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710329190.5A
Other languages
English (en)
Inventor
W·刘
A·莫迪
B·乔治斯库
F·佩赖拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Ag
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN107292086A publication Critical patent/CN107292086A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2452—Query translation
    • G06F16/24522—Translation of natural language queries to structured queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提出了图像分析问答。一种用于预测针对涉及医学图像分析报告的问题的答案的计算机执行的方法包括：将医学图像分析报告分成多个句子和通过将自然语言处理框架应用到多个句子来生成多个句子嵌入向量。接收涉及包括在医学图像分析报告中主题的问题和通过将所述自然语言处理框架应用到所述问题来生成问题嵌入向量。通过将类似性匹配处理应用到所述句子嵌入向量和问题嵌入向量来识别与所述问题嵌入向量最类似的句子嵌入向量子集。基于所述句子嵌入向量子集，使用经训练的递归神经网络(RNN)确定针对所述问题的预测答案。

Description

图像分析问答
对相关应用的交叉参考
本申请要求以2016年4月7日提交的美国临时申请序列号62/319,572和2017年3月10日提交的美国申请序列号15/455,591的权益，两者其全部内容通过引用并入本文。
技术领域
本发明通常涉及用于通过问答系统自动地理解来自图像分析的结果的方法、系统和装置。使用公开的方法、系统和装置可应用到用于从各种成像模式中收集的信息的处理中，所述成像模式包括但不限于计算机断层扫描(CT)、磁共振(MR)、正电子发射断层扫描(PET)和超声(US)技术。
背景技术
传统地，医学图像放射学报告是由放射学专家通过转录图像数据的解释的记录来创建。这导致非结构化的发现收集，其受到个体放射学专家的经验和组织，这在语法和语义方面变化。相比之下，最近的研究显示了来自结构化放射学报告的一致通信和优越评价的优势。因此，有几个正在进行的放射学倡议来标准化模板和词典学。
在医学数据的自然语言处理中的研究已经通过创建诊断语义的综合解释开发了代表语言学和语言的模型。最近，来自国立卫生研究院的工作呈现了对医院图片存档和通信系统数据库执行大规模图像/文本分析的第一研究。虽然以前的研究和专有努力主要集中在特定的领域和本体来导出用于报告的文本描述，但是针对能够适应不同形式的分析数据以及可适合于多个临床领域的通用架构存在一种需求。
发明内容
本发明的实施例通过提供与通过问答系统自动地理解在图像分析报告中呈现的结果相关的方法、系统和装置来解决和克服上述缺点和缺陷中的一个或多个。对于产生自然语言发现以填写结构化放射学报告可以应用在此描述的这些技术。使用标准化报告模板和字段将简化与纵向数据和来自过去报告中类似情况的比较，这允许该系统在历史大数据的上下文中快速处理和解释当前患者数据。
根据一些实施例，用于预测针对有关医学图像分析报告的问题的答案的计算机执行的方法包括：将医学图像分析报告分成句子和通过将自然语言处理框架应用到句子来生成句子嵌入向量。接收涉及包括在医学图像分析报告中的主题的问题和通过将所述自然语言处理框架应用到所述问题来生成问题嵌入向量。通过将类似性匹配处理应用到所述句子嵌入向量和问题嵌入向量来识别与所述问题嵌入向量最类似的句子嵌入向量子集。基于所述句子嵌入向量子集，使用经训练的递归神经网络(RNN)确定针对所述问题的预测答案。在一些实施例中，经训练的RNN是长的短期存储器(LSTM)RNN，并且通过将句子嵌入向量的子集划分成第一词序列并将问题嵌入向量的子集划分成第二词序列来确定预测答案。第一词序列和第二词序列顺序地传送通过LSTM单元，以产生与不同状态对应的输出。使用线性操作将输出组合成单个输入向量，并将softmax函数应用到单个输入向量以生成预测答案。
在本发明的不同实施例中，可以对上述方法进行各种改进，增强和其它修改。例如，在一个实施例中，通过使用自然语言处理框架首先针对特定句子中的每个词生成嵌入来创建每个句子嵌入向量。然后，对特定句子中的每个词的嵌入进行平均，以产生句子嵌入向量。自然语言处理框架可以例如通过将句子匹配到诸如统一医学语言系统(UMLS)数据集的一个或多个本体参考来识别目标医学语法。目标医学语法可以包括一种或多种疾病的描述和/或一个或多个解剖实体的描述。在一些实施例中，使用一个或多个医学知识数据集，例如来自美国放射学学院的放射学指南训练自然语言处理框架。
在上述方法的一些实施例中，类似性匹配过程包括计算每个句子嵌入向量与问题嵌入向量之间的余弦乘积，以产生用于每个句子嵌入向量的相似性分数。句子嵌入向量根据相似度分数进行排序，并且选择预定数量的最高排序句子嵌入向量作为句子嵌入向量的子集。
根据本发明的另一方面，一种用于预测针对有关医学图像分析报告的问题的答案的计算机执行的方法包括通过将自然语言处理框架应用到医学图像分析报告中的句子来生成句子嵌入向量。接收涉及包括在医学图像分析报告中的主题的问题和通过将所述自然语言处理框架应用到所述问题来生成问题嵌入向量。与所述问题嵌入向量最类似的句子嵌入向量子集被识别并且划分成第一词序列。将问题嵌入向量的子集划分成第二词序列。第一词序列和第二词序列顺序地传送通过多个LSTM单元，以产生与不同状态对应的多个输出。将输出组合成单个输入向量，并将softmax函数应用到单个输入向量以生成预测答案。
根据其他实施例，用于预测针对有关医学图像分析报告的问题的答案的系统包括包含一个或多个处理器的主机计算机和包含图形处理单元(GPU)的设备计算机。主机计算机的处理器被配置为通过将自然语言处理框架应用到包括在医学图像分析报告中的多个句子来生成多个句子嵌入向量。处理器还被配置为接收涉及包括在医学图像分析报告中的主题的问题，并且通过将自然语言处理框架应用到该问题来生成问题嵌入向量。此外，处理器通过将类似性匹配处理应用到句子嵌入向量和问题嵌入向量来识别与问题嵌入向量最类似的句子嵌入向量的子集。设备计算机使用基于LSTM的RNN来基于句子嵌入向量的子集来确定对问题的预测答案。包括在句子嵌入向量的子集中的每个元素使用GPU的处理资源由LSTM单元并行处理。
从参照附图进行的以下说明性实施例的详细描述中，本发明的附加特征和优点将变得显而易见。
附图说明
从结合附图阅读的以下详细描述可以更好地理解本发明的前述和其它方面。为了说明本发明的目的，在附图中示出了当前优选的实施例，但是应当理解，本发明不限于所公开的具体手段。附图中包括以下图形：
图1图示出了根据一些实施例的基于报告来回答问题的流水线；
图2图示出了根据一些实施例的其中基于LSTM(长的短期存储器)的RNN被应用于回答问题的示例；
图3示出了上面参考图1描述的流水线的示例应用。
图4提供了根据本发明的一些实施例可以用于实现图1中所示的流水线的并行处理存储器架构400的示例。
具体实施方式
以下公开内容描述了根据涉及用于通过问答系统理解图像分析结果的技术的方法、系统和装置针对的若干实施例的本发明。更具体地，本文描述的技术能够通过问答系统来证明对来自图像分析的结果的理解。考虑到来自图像分析的一组结果和关于数据的自然语言问题，系统能够提供准确的自然语言答案。回答这些问题需要详细理解在适当图像上下文中的图像、语言和推理。这包括例如医学图像数据的放射学读取，其中来自图像解析的定量和定性测量可以作为来自图像分析的结果和关于图像数据的问题的答案来收集以填充放射学报告。在放射学报告的上下文中，这种系统的主要挑战是克服来自不平衡的数据表示的数据稀疏和不一致的注释质量。为了解决这些挑战，本文描述的技术利用自然语言处理解析来选择医学语法，并学习从大型医学文本语料库嵌入的语言。本文所述的问答系统是灵活的，并且适用于生成的报告、模板和临床报告概念的不同(口语)语言。
图1图示出了根据一些实施例的用于基于报告来回答问题的流水线100。在常规系统中，来自医学图像的读取和报告是手动非结构化任务，受到不仅当前数据的人类解释，而且还参照历史信息。为了改进这一过程，流水线100使用经训练的图像分析问答系统来生成用于结构化放射学报告的自然语言发现。输入数据包括来自分析诊断图像数据、其放射学报告和相关非图像患者元数据的结果。这些结果提供了密集的解剖或功能定性和定量测量。可选要求包括适当医学领域中的大型医学文本语料库。
在流水线的初始阶段，医学图像分析报告105(例如，放射学报告)使用本领域中通常已知的技术被分割成句子。接下来，通过将自然语言处理框架应用到来自医学图像分析报告105的句子来生成多个句子嵌入向量110。如本文所使用的术语“嵌入”是指来自词汇的词或短语被映射到实数向量。嵌入同时提供用于每个词的分布式表示以及用于词序列的概率函数。因此，句子嵌入向量110捕获句子的语义。在一些实施例中，通过对在相应句子中每个词的嵌入取平均来计算句子嵌入向量110。可以通过在大型生物医学语料库(例如，PubMed Central)上训练模型(例如word2vec)来获得用于每个词的嵌入。
可以使用本领域已知的各种自然语言处理框架来创建句子嵌入110，包括但不限于Apache cTAKES，Stanford Parser和NLTK。在生成嵌入中使用的框架是针对涉及医学图像分析报告105的主题的临床领域进行专门培训的。此培训的目的是双重的。首先，通过与标准本体参考(例如，统一医学语言系统)匹配来定位和优先化如由患者病历和图像获取目标所指示的目标医学语法，例如已知的解剖实体和疾病。第二，语义解析将有助于解决由低质量注释造成的模糊或错误。强调已知关键词及其在训练数据语义中的作用允许我们解决不一致的注释质量的挑战。
在一些实施例中，将已建立的医学知识库(例如，来自美国放射学学院的放射学指南)的学习嵌入整合到训练中。利用医学文本语料库通知在放射学报告中使用的相邻词和短语的语义关系的模型。在合理的时间内训练这样大的模型(具有数百万个参数)本身就是显著挑战。然而，如下面关于图4所讨论的，通过使用并行计算平台(例如NVIDIACUDATM)可以最小化处理时间。
继续参考图1，问题115涉及医学图像分析报告105的主题。该问题115用于通过将自然语言处理框架应用到问题115来生成问题嵌入向量120。用于使用自然语言处理框架来问题处理的技术和动机类似于上面关于医学图像分析报告105讨论的那些。问题115可以是任何形式，包括但不限于二进制、多选择或开放式。通常，可以使用本领域已知的任何技术来接收和解释该问题。因此，在一些实施例中，临床医生可以将问题115键入与医学图像分析软件(或类似软件)相关联的图形用户界面(GUI)。可替换地，可以从较大的文本(例如，电子邮件)中提取问题115。另外，在问题115由临床医生说出的实施例中，可以使用本领域中通常已知的语音到文本技术将问题解释并翻译成文本形式。
回答一个问题将需要理解医学分析报告中的文本，并缩小对可能包含答案的具体句子的关注。流水线通过计算报告和问题中的句子之间的类似性来实现这个本地注意力集中机制。更具体地说，如图1中所示，将类似度匹配处理125应用到句子嵌入向量110和问题嵌入向量120，以生成用于每个句子嵌入向量110的类似性分数。在一些实施例中，类似性分数是通过计算两个嵌入向量之间的余弦乘积来生成的。基于类似度分数，然后通过该类似性分数对句子进行排序，并且我们选择顶部k(例如，5)个句子。如果类似性分数代表良好的语义匹配，那么这些顶部的k个句子应该包含对于回答所需的信息。
在流水线的最后阶段，来自最类似句子的词135和来自问题的词140被用作到经过训练的递归神经网络(RNN)的输入，以确定对该问题的预测答案。答案可以是完整句子，或可以是生成或匹配的句子片段。整体流水线服从自动评估，因为许多开放式答案只包含几个词或可以以多种选择格式提供的一组封闭的答案。在一些实施例中，答案通过指示用于导出它的图像特征来解释报告中的特定临床发现。
在流水线中使用的RNN通常可以是任何人造神经网络，其中单元之间的连接形成定向循环。图2图示出了其中应用基于LSTM(长的短期存储器)的RNN来回答该问题的示例。对网络的输入是来自句子的词序列(S1，S2等)和问题(Q1，Q2等)。这些顺序地传送通过LSTM单元。在每个状态下的输出被传送到另一个隐藏层，并且所有这些都经由线性操作进行组合，以传送给softmax函数，以预测答案。
图3示出了上面参考图1描述的流水线100的示例应用。在这里，医学图像分析报告是放射学报告，并且提出了“肝脏中最大的低密度病变在哪里”的问题。在这种情况下，在流水线中应用RNN之后不提供单一答案，而是建议三种可能的答案。这些可以是例如根据RNN的概率度量的前三个结果。查看问题的几个可能答案的能力可能用于测试流水线与地面实况。然而，该功能还具有诊断益处，因为每个可能的答案都包括可能对提出原始问题的临床医生来说感兴趣的不同相关信息。
在一些实施例中，流水线100是可以在用于自动放射学报告和其他医学成像处理的工作流程中并入到自然语言发现的生成中的组件。这样的工作流程和相关系统在2016年5月18日提交的题为“Automatic Generation of Radiology Reports from Images andAutomatic Rule Out of Images without Findings”的美国专利申请号15,158,375中有描述，其全部内容通过引用并入本文。
图4提供了根据本发明的一些实施例可以用于实现图1中所示的流水线100的并行处理存储器架构400的示例。在其中使用NVIDIACUDATM(或类似的并行计算平台)的本发明的实施例中，该架构400可以被使用。该架构包括经由总线415(例如，PCIe总线)连接的主机计算单元(“主机”)405和图形处理单元(GPU)设备(“设备”)410。主机405包括中央处理单元或CPU(图4中未示出)以及CPU可访问的主机存储器425。设备410包括图形处理单元(GPU)及其相关联的存储器420，这里称为设备存储器。设备存储器420可以包括各种类型的存储器，每种存储器针对不同的存储器使用进行优化。例如，在一些实施例中，设备存储器包括全局存储器、恒定存储器和纹理存储器。
大型数据平台和/或大型仿真平台(见图4)的平行部分可以在架构400上作为“设备内核”或简单的“内核”被执行。内核包括被配置为执行特定的功能的参数化代码。并行计算平台被配置为基于参数、设置以及由用户提供的其他选择以最佳方式跨越架构400执行这些内核。此外，在一些实施例中，并行计算平台可以包括额外的功能，以允许以最佳的方式自动处理内核，同时用户提供最小输入。
对于每个内核所需的处理由线程块的网格(下面更详细地描述)来执行。使用并发内核执行、流和与轻量级事件的同步，图4的架构400(或类似的架构)可以被用来基于在训练或利用流水线100中执行的操作平行化模型的部分。例如，在一些实施例中，可以执行框架中的自然语言格式或应用RNN的训练。在其他实施例中，可以使用LSTM单元(参见图2)并行地分析每个嵌入向量的元素。
设备410包括表示设备410的计算单元的一个或多个线程块430。术语线程块指可以经由共享存储器协作并使其执行同步以协调存储器访问的一组线程。例如，在图4中，线程440，445和450在线程块430中操作并访问共享存储器435。根据所使用的并行计算平台，线程块可以以网格结构组织。然后可以将计算或一系列计算映射到该网格上。例如，在使用CUDA的实施例中，计算可以映射在一维、二维或三维网格上。每个网格包含多个线程块，并且每个线程块包含多个线程。例如，在图4中，线程块430被组织成具有m+1行和n+1列的二维网格结构。通常，同一网格的不同线程块中的线程不能彼此通信或同步。但是，同一个网格中的线程块能够同时在GPU内的同一个多处理器上运行。每个线程块中的线程数可能受到硬件或软件约束的限制。
继续参考图4，寄存器455、460和465表示可用于线程块430的快速存储器。每个寄存器仅可由单个线程访问。因此，例如，寄存器455可以仅由线程440访问。相反，每个线程块分配共享存储器，因此该块中的所有线程都可以访问相同的共享存储器。因此，共享存储器435被设计为由线程块430中的每个线程440，445和450并行访问。线程可以访问由在同一线程块(例如线程块430)内的其他线程从设备存储器420加载的共享存储器435中的数据。设备存储器420由网格的所有块访问，并且可以使用例如动态随机存取存储器(DRAM)来实现。
每个线程可以具有一个或多个级别的存储器访问。例如，在图4的架构400中，每个线程可能有三个级别的存储器访问。首先，每个线程440，445，450可以读取和写入到其对应的寄存器455，460和465。寄存器为线程提供最快的存储器访问，因为没有同步问题，并且寄存器通常位于靠近执行线程的多处理器。第二，线程块430中的每个线程440，445，450可以将数据读取和写入对应于该块430的共享存储器435。通常，对于线程访问共享存储器所需的时间超过寄存器访问的时间，这是由于需要在线程块中的所有线程之间同步访问。然而，像线程块中的寄存器一样，共享存储器通常位于靠近执行线程的多处理器。第三级别的存储器访问允许设备410上的所有线程读取和/或写入设备存储器。设备存储器需要最长的访问时间，因为必须跨越在设备上运行的线程块来同步访问。因此，在一些实施例中，包括在报告中的每个句子的处理(或句子的相应嵌入的处理)被编码，使得其主要利用寄存器和共享存储器，并且仅在需要时利用设备存储器来将数据移入和移出线程块。
本公开的实施例可以用硬件和软件的任何组合来实现。例如，除了图4中呈现的并行处理架构之外，标准计算平台(例如，服务器，台式计算机等)可以被特别地配置成执行本文讨论的技术。此外，本公开的实施例可以包括在具有例如计算机可读的非暂时介质的制品(例如，一个或多个计算机程序产品)中。介质可以在其中体现用于提供和促进本公开的实施例的机制的计算机可读程序代码。制品可以被包括作为计算机系统的一部分或单独出售。
虽然本文已经公开了各种方面和实施例，但是其他方面和实施例对于本领域技术人员将是显而易见的。本文公开的各个方面和实施例是为了说明的目的而不是旨在限制性的，其中真实范围和精神由所附权利要求书指出。
如本文所使用的，可执行应用包括代码或机器可读指令，用于例如响应于用户命令或输入调节处理器以实现诸如操作系统、上下文数据获取系统或其他信息处理系统的预定功能之类的预定功能。可执行过程是用于执行一个或多个特定过程的代码段或机器可读指令、子例程或代码的其他不同部分或可执行应用的一部分。这些过程可以包括接收输入数据和/或参数，对接收到的输入数据执行操作和/或响应于接收到的输入参数执行功能，以及提供所得到的输出数据和/或参数。
如本文所使用的图形用户界面(GUI)包括由显示处理器生成并使实现用户与处理器或其他设备进行交互以及相关联的数据获取和处理功能的一个或多个显示图像。GUI还包括可执行过程或可执行应用。可执行过程或可执行应用调节显示处理器产生表示GUI显示图像的信号。这些信号被供应给显示由用户要观看的图像的显示设备。处理器在可执行过程或可执行应用的控制下，响应于从输入设备接收的信号来操纵GUI显示图像。以这种方式，用户可以使用输入设备与显示图像交互，使得实现用户与处理器或其他设备进行交互。
这里的功能和处理步骤可以响应于用户命令自动或全部或部分地执行。响应于一个或多个可执行指令或设备操作而执行自动执行的活动(包括步骤)，而无需用户直接启动活动。
附图的系统和过程不是排他的。可以根据本发明的原理导出其它系统、过程和菜单以实现相同的目的。虽然已经参考特定实施例描述了本发明，但是应当理解，本文所示和所描述的实施例和变型仅用于图解的目的。在不脱离本发明的范围的情况下，本领域技术人员可以实现对当前设计的修改。如本文所述，可以使用硬件组件、软件组件和/或其组合来实现各种系统、子系统、代理、管理器和进程。本文中的没有任何权利要求元件要根据35U.S.C112第6段的规定进行解释，除非使用短语“用于...的装置”来明确地记载该元件。

Claims (20)

1.一种用于预测针对有关医学图像分析报告的问题的答案的计算机执行的方法，该方法包括：
将医学图像分析报告分成多个句子；
通过将自然语言处理框架应用到多个句子来生成多个句子嵌入向量；
接收涉及包括在医学图像分析报告中的主题的问题；
通过将所述自然语言处理框架应用到所述问题来生成问题嵌入向量；
通过将类似性匹配处理应用到所述句子嵌入向量和问题嵌入向量来识别与所述问题嵌入向量最类似的句子嵌入向量子集；和
基于所述句子嵌入向量子集，使用经训练的递归神经网络(RNN)确定针对所述问题的预测答案。
2.如权利要求1所述方法，其中所述每个句子嵌入向量通过以下生成：
使用自然语言处理框架针对在特定句子中的每个词生成嵌入；和
将特定句子中的每个词的嵌入进行平均以产生句子嵌入向量。
3.如权利要求1所述的方法，其中通过将所述多个句子匹配到一个或多个本体参考，所述自然语言处理框架识别目标医学语法。
4.如权利要求3所述的方法，其中所述目标医学语法包括一种或多种疾病的描述。
5.如权利要求3所述的方法，其中目标医学语法包括一种或多种解剖实体的描述。
6.如权利要求3所述的方法，其中所述一个或多个本体参考包括统一医学语言系统(UMLS)数据集。
7.如权利要求1所述的方法，进一步包括：
使用一个或多个医学知识数据集训练自然语言处理框架。
8.如权利要求7所述的方法，其中一个或多个医学知识数据集包括来自美国放射学学院的放射学指南。
9.如权利要求1所述的方法，其中所述类似性匹配处理包括：
计算每个句子嵌入向量和问题嵌入向量之间的余弦乘积以产生用于每个句子嵌入向量的类似性分数；
根据所述类似性分数对句子嵌入向量排序；
选择预定数量的最高排序句子嵌入向量作为句子嵌入向量的子集。
10.如权利要求1所述的方法，其中所述经训练的RNN为长的短期存储器(LSTM)RNN，并且预测的答案通过如下确定：
将句子嵌入向量的子集划分成第一词序列；
将问题嵌入向量的子集划分成第二词序列；
将第一词序列和第二词序列顺序地传送通过多个LSTM单元以产生与不同状态对应的多个输出；
使用线性操作将多个输出组合成单个输入向量；和
将softmax函数应用到所述单个输入向量以生成预测答案。
11.一种用于预测针对有关医学图像分析报告的问题的答案的计算机执行的方法，所述方法包括：
通过将自然语言处理框架应用到医学图像分析报告中的句子来生成多个句子嵌入向量；
接收涉及包括在所述医学图像分析报告中的主题的问题；
通过将自然语言处理框架应用到所述问题来生成问题嵌入向量；
识别与所述问题嵌入向量最类似的句子嵌入向量的子集；
将所述句子嵌入向量的子集划分成第一词序列；
将所述问题嵌入向量的子集划分成第二词序列；
将第一词序列和第二词序列顺序地传送通过多个长的短期存储器(LSTM)单元以产生与不同状态对应的多个输出；
将多个输出组合成单个输入向量；和
将softmax函数应用到所述单个输入向量以生成预测答案。
12.如权利要求11所述的方法，其中通过将类似性匹配处理应用到所述句子嵌入向量和所述问题嵌入向量来识别与所述问题嵌入向量最类似的句子嵌入向量的子集。
13.如权利要求11所述的方法，其中所述每个句子嵌入向量通过以下生成：
使用自然语言处理框架生成用于在特定句子中的每个词的嵌入；和
将特定句子中的每个词的嵌入进行平均以产生句子嵌入向量。
14.如权利要求11所述的方法，其中通过将所述多个句子匹配到一个或多个本体参考，所述自然语言处理框架识别目标医学语法。
15.如权利要求14所述的方法，其中所述目标医学语法包括一种或多种疾病的描述。
16.如权利要求14所述的方法，其中目标医学语法包括一种或多种解剖实体的描述。
17.如权利要求11所述的方法，进一步包括：
使用一个或多个医学知识数据集训练自然语言处理框架。
18.如权利要求17所述的方法，其中一个或多个医学知识数据集包括来自美国放射学学院的放射学指南。
19.如权利要求11所述的方法，其中所述类似性匹配处理包括：
计算每个句子嵌入向量和问题嵌入向量之间的余弦乘积以产生用于每个句子嵌入向量的类似性分数；
根据所述类似性分数对句子嵌入向量排序；
选择预定数量的最高排序的句子嵌入向量作为句子嵌入向量的子集。
20.一种用于预测针对有关医学图像分析报告的问题的答案的系统，所述系统包括：
包括一个或多个处理器的主机计算机，其配置为
通过将自然语言处理框架应用到包括在医学图像分析报告中的多个句子来生成多个句子嵌入向量；
接收涉及包括在所述医学图像分析报告中的主题的问题；
通过将自然语言处理框架应用到所述问题来生成问题嵌入向量；
通过将类似性匹配处理应用到所述句子嵌入向量和问题嵌入向量来识别与所述问题嵌入向量最类似的句子嵌入向量的子集；和
包括图形处理单元(GPU)的设备计算机，其配置为基于句子嵌入向量的子集，使用基于LSTM的RNN来确定针对所述问题的预测答案，其中包括在句子嵌入向量的子集中的每个要素使用GPU处理资源由LSTM单元并行处理。
CN201710329190.5A 2016-04-07 2017-04-07 图像分析问答 Pending CN107292086A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662319572P 2016-04-07 2016-04-07
US62/319572 2016-04-07
US15/455591 2017-03-10
US15/455,591 US9984772B2 (en) 2016-04-07 2017-03-10 Image analytics question answering

Publications (1)

Publication Number Publication Date
CN107292086A true CN107292086A (zh) 2017-10-24

Family

ID=58644786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710329190.5A Pending CN107292086A (zh) 2016-04-07 2017-04-07 图像分析问答

Country Status (3)

Country Link
US (1) US9984772B2 (zh)
EP (1) EP3229157A1 (zh)
CN (1) CN107292086A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109979558A (zh) * 2017-12-27 2019-07-05 中国科学院沈阳自动化研究所 基于新型人工智能技术的症状药物关联关系分析方法
CN110097951A (zh) * 2018-01-29 2019-08-06 西门子保健有限责任公司 根据医学文本报告的图像生成
CN110389996A (zh) * 2018-04-16 2019-10-29 国际商业机器公司 实现用于自然语言处理的全句递归神经网络语言模型
CN111126024A (zh) * 2018-10-12 2020-05-08 西门子医疗有限公司 语句生成
CN111445024A (zh) * 2020-03-31 2020-07-24 上海全景医学影像诊断中心有限公司 一种医学影像识别训练方法
CN112309528A (zh) * 2020-10-27 2021-02-02 上海交通大学 一种基于视觉问答方法的医疗影像报告生成方法

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614196B2 (en) 2014-08-14 2020-04-07 Accenture Global Services Limited System for automated analysis of clinical text for pharmacovigilance
US10706234B2 (en) * 2017-04-12 2020-07-07 Petuum Inc. Constituent centric architecture for reading comprehension
US10762169B2 (en) 2017-06-16 2020-09-01 Accenture Global Solutions Limited System and method for determining side-effects associated with a substance
US10325020B2 (en) * 2017-06-29 2019-06-18 Accenture Global Solutions Limited Contextual pharmacovigilance system
US11620506B2 (en) * 2017-09-18 2023-04-04 Koninklijke Philips N.V. Condensed memory networks
WO2019081776A1 (en) * 2017-10-27 2019-05-02 Babylon Partners Limited METHOD AND SYSTEM FOR DETERMINATION IMPLEMENTED BY COMPUTER
CN107766894B (zh) * 2017-11-03 2021-01-22 吉林大学 基于注意力机制和深度学习的遥感图像自然语言生成方法
CN107993724B (zh) * 2017-11-09 2020-11-13 易保互联医疗信息科技（北京）有限公司 一种医学智能问答数据处理的方法及装置
CN108364066B (zh) * 2017-11-30 2019-11-08 中国科学院计算技术研究所 基于n-gram和wfst模型的人工神经网络芯片及其应用方法
EP3499384A1 (en) * 2017-12-18 2019-06-19 Fortia Financial Solutions Word and sentence embeddings for sentence classification
US11151465B2 (en) 2017-12-22 2021-10-19 International Business Machines Corporation Analytics framework for selection and execution of analytics in a distributed environment
US11334806B2 (en) 2017-12-22 2022-05-17 International Business Machines Corporation Registration, composition, and execution of analytics in a distributed environment
US11250038B2 (en) * 2018-01-21 2022-02-15 Microsoft Technology Licensing, Llc. Question and answer pair generation using machine learning
US20190325300A1 (en) * 2018-04-19 2019-10-24 Siemens Healthcare Gmbh Artificial intelligence querying for radiology reports in medical imaging
JP7007469B2 (ja) * 2018-04-24 2022-01-24 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
EP3564964A1 (en) * 2018-05-04 2019-11-06 Avaintec Oy Method for utilising natural language processing technology in decision-making support of abnormal state of object
EP3567605A1 (en) * 2018-05-08 2019-11-13 Siemens Healthcare GmbH Structured report data from a medical text report
GB2573998A (en) * 2018-05-17 2019-11-27 Babylon Partners Ltd Device and method for natural language processing
US11232261B2 (en) 2018-06-06 2022-01-25 Koninklijke Philips N.V. Open domain real-time question answering
CN109002500B (zh) * 2018-06-29 2024-08-27 北京百度网讯科技有限公司 对话生成方法、装置、设备及计算机可读介质
EP3830748A4 (en) * 2018-08-02 2022-04-27 Imedis AI Ltd SYSTEMS AND METHODS FOR IMPROVED ANALYSIS AND GENERATION OF MEDICAL IMAGING REPORTS
CN109376896B (zh) * 2018-08-29 2022-05-20 国网重庆市电力公司南岸供电分公司 一种基于多模融合的配电网短期负荷预测方法
US11036774B2 (en) * 2018-10-04 2021-06-15 Robert Bosch Gmbh Knowledge-based question answering system for the DIY domain
CN109408619B (zh) * 2018-10-10 2021-09-07 桂林电子科技大学 一种面向问答领域动态计算问句与答案相似性的方法
CN109545302B (zh) * 2018-10-22 2023-12-22 复旦大学 一种基于语义的医学影像报告模板生成方法
CN109741824B (zh) * 2018-12-21 2023-08-04 质直(上海)教育科技有限公司 一种基于机器学习的医疗问诊方法
US10949613B2 (en) 2019-01-11 2021-03-16 International Business Machines Corporation Dynamic natural language processing
US10909180B2 (en) * 2019-01-11 2021-02-02 International Business Machines Corporation Dynamic query processing and document retrieval
US10915795B2 (en) * 2019-02-05 2021-02-09 International Business Machines Corporation Image object recognition through multimodal conversation templates
US10956682B2 (en) 2019-02-05 2021-03-23 International Business Machines Corporation Image object disambiguation resolution using learner model based conversation templates
CN111753080B (zh) * 2019-03-28 2023-08-22 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
US11593589B2 (en) * 2019-05-17 2023-02-28 Robert Bosch Gmbh System and method for interpretable sequence and time-series data modeling
CN110427624B (zh) * 2019-07-30 2023-04-25 北京百度网讯科技有限公司 实体关系抽取方法及装置
US11601453B2 (en) * 2019-10-31 2023-03-07 Hewlett Packard Enterprise Development Lp Methods and systems for establishing semantic equivalence in access sequences using sentence embeddings
CN111125335B (zh) 2019-12-27 2021-04-06 北京百度网讯科技有限公司 问答处理方法、装置、电子设备和存储介质
CN113111642B (zh) * 2020-01-13 2024-07-02 京东方科技集团股份有限公司 自然语言识别模型生成、自然语言处理方法及设备
KR102429319B1 (ko) * 2020-05-20 2022-08-04 서울대학교병원 병원 리소스에 대한 환자 니즈 예측 방법 및 시스템
US11508051B2 (en) * 2020-06-05 2022-11-22 Leica Microsystems Cms Gmbh Image and data analystics model compatibility regulation methods
US11574130B2 (en) * 2020-11-24 2023-02-07 International Business Machines Corporation Enhancing multi-lingual embeddings for cross-lingual question-answer system
EP4270403A1 (en) * 2022-04-25 2023-11-01 Fujitsu Limited Health metric and diagnosis determination
CN117407541B (zh) * 2023-12-15 2024-03-29 中国科学技术大学 一种基于知识增强的知识图谱问答方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101377777A (zh) * 2007-09-03 2009-03-04 北京百问百答网络技术有限公司 一种自动问答方法和系统
CN102844761A (zh) * 2010-04-19 2012-12-26 皇家飞利浦电子股份有限公司 使用放射学描述符的报告查看器
US20140236578A1 (en) * 2013-02-15 2014-08-21 Nec Laboratories America, Inc. Question-Answering by Recursive Parse Tree Descent
CN104462489A (zh) * 2014-12-18 2015-03-25 北京邮电大学 一种基于深层模型的跨模态检索方法
CN104598885A (zh) * 2015-01-23 2015-05-06 西安理工大学 街景图像中的文字标牌检测与定位方法
CN105068661A (zh) * 2015-09-07 2015-11-18 百度在线网络技术（北京）有限公司 基于人工智能的人机交互方法和系统
CN105159996A (zh) * 2015-09-07 2015-12-16 百度在线网络技术（北京）有限公司 基于人工智能的深度问答服务提供方法和装置
CN105279495A (zh) * 2015-10-23 2016-01-27 天津大学 一种基于深度学习和文本总结的视频描述方法
CN105468596A (zh) * 2014-08-12 2016-04-06 腾讯科技（深圳）有限公司 图片检索方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1156430A2 (en) * 2000-05-17 2001-11-21 Matsushita Electric Industrial Co., Ltd. Information retrieval system
US20040006567A1 (en) * 2002-07-02 2004-01-08 International Business Machines Corporation Decision support system using narratives for detecting patterns
US7492949B1 (en) * 2005-09-20 2009-02-17 Patrick William Jamieson Process and system for the semantic selection of document templates
US9053089B2 (en) * 2007-10-02 2015-06-09 Apple Inc. Part-of-speech tagging using latent analogy
US8112269B2 (en) * 2008-08-25 2012-02-07 Microsoft Corporation Determining utility of a question
US8488916B2 (en) * 2011-07-22 2013-07-16 David S Terman Knowledge acquisition nexus for facilitating concept capture and promoting time on task
US20140214402A1 (en) * 2013-01-25 2014-07-31 Cisco Technology, Inc. Implementation of unsupervised topic segmentation in a data communications environment
US9754180B2 (en) * 2015-01-15 2017-09-05 Siemens Product Lifecycle Management Software Inc. Robust automatic computation of ridges and valleys of a height field
US10467268B2 (en) * 2015-06-02 2019-11-05 International Business Machines Corporation Utilizing word embeddings for term matching in question answering systems
US20170212872A1 (en) * 2016-01-22 2017-07-27 International Business Machines Corporation Duplicate post handling with natural language processing

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101377777A (zh) * 2007-09-03 2009-03-04 北京百问百答网络技术有限公司 一种自动问答方法和系统
CN102844761A (zh) * 2010-04-19 2012-12-26 皇家飞利浦电子股份有限公司 使用放射学描述符的报告查看器
US20140236578A1 (en) * 2013-02-15 2014-08-21 Nec Laboratories America, Inc. Question-Answering by Recursive Parse Tree Descent
CN105468596A (zh) * 2014-08-12 2016-04-06 腾讯科技（深圳）有限公司 图片检索方法和装置
CN104462489A (zh) * 2014-12-18 2015-03-25 北京邮电大学 一种基于深层模型的跨模态检索方法
CN104598885A (zh) * 2015-01-23 2015-05-06 西安理工大学 街景图像中的文字标牌检测与定位方法
CN105068661A (zh) * 2015-09-07 2015-11-18 百度在线网络技术（北京）有限公司 基于人工智能的人机交互方法和系统
CN105159996A (zh) * 2015-09-07 2015-12-16 百度在线网络技术（北京）有限公司 基于人工智能的深度问答服务提供方法和装置
CN105279495A (zh) * 2015-10-23 2016-01-27 天津大学 一种基于深度学习和文本总结的视频描述方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
FELIX WENINGER 等: "Introducing CURRENNT：The Munich Open-Source CUDA RecurREnt Neural Network Toolkit", 《JOURNAL OF MACHINE LEARNING RESEARCH 16 (2015)》 *
FERNANDO LLOPIS 等: "Passage Selection to Improve Question Answering", 《CITESEER》 *
JONAS MUELLER 等: "Siamese Recurrent Architectures for Learning Sentence Similarity", 《PROCEEDINGS OF THE THIRTIETH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE (AAAI-16)》 *
MARTIN HOVORKA 等: "Training of neural networks using CUDA technology", 《CITESEERX》 *
MING TAN 等: "LSTM-based Deep Learning Models for Non-factoid Answer Selection", 《ICLR 2016》 *
李国垒 等: "面向临床决策的电子病历文本潜在语义分析", 《现代图书情报技术》 *
李怡雪 等: "医院信息化：临床决策支持系统构建", 《医院信息学杂志》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109979558A (zh) * 2017-12-27 2019-07-05 中国科学院沈阳自动化研究所 基于新型人工智能技术的症状药物关联关系分析方法
CN109979558B (zh) * 2017-12-27 2022-12-20 中国科学院沈阳自动化研究所 基于人工智能技术的症状药物关联关系分析方法
CN110097951A (zh) * 2018-01-29 2019-08-06 西门子保健有限责任公司 根据医学文本报告的图像生成
CN110097951B (zh) * 2018-01-29 2024-01-23 西门子保健有限责任公司 根据医学文本报告的图像生成
CN110389996A (zh) * 2018-04-16 2019-10-29 国际商业机器公司 实现用于自然语言处理的全句递归神经网络语言模型
CN110389996B (zh) * 2018-04-16 2023-07-11 国际商业机器公司 实现用于自然语言处理的全句递归神经网络语言模型
CN111126024A (zh) * 2018-10-12 2020-05-08 西门子医疗有限公司 语句生成
CN111126024B (zh) * 2018-10-12 2024-02-02 西门子医疗有限公司 语句生成
CN111445024A (zh) * 2020-03-31 2020-07-24 上海全景医学影像诊断中心有限公司 一种医学影像识别训练方法
CN112309528A (zh) * 2020-10-27 2021-02-02 上海交通大学 一种基于视觉问答方法的医疗影像报告生成方法
CN112309528B (zh) * 2020-10-27 2023-04-07 上海交通大学 一种基于视觉问答方法的医疗影像报告生成方法

Also Published As

Publication number Publication date
US9984772B2 (en) 2018-05-29
EP3229157A1 (en) 2017-10-11
US20170293725A1 (en) 2017-10-12

Similar Documents

Publication Publication Date Title
CN107292086A (zh) 图像分析问答
US10929420B2 (en) Structured report data from a medical text report
CN112992308B (zh) 医学图像报告生成模型的训练方法及图像报告生成方法
US10825167B2 (en) Rapid assessment and outcome analysis for medical patients
JP6542664B2 (ja) 患者情報を臨床基準にマッチングするシステム及び方法
US11037070B2 (en) Diagnostic test planning using machine learning techniques
CN108784655A (zh) 针对医疗患者的快速评估和后果分析
CN111344801A (zh) 针对前列腺癌的多模态计算机辅助诊断系统和方法
Beddiar et al. Automatic captioning for medical imaging (MIC): a rapid review of literature
US11663057B2 (en) Analytics framework for selection and execution of analytics in a distributed environment
US10918309B2 (en) Artificial intelligence-based COPD assessment
US11334806B2 (en) Registration, composition, and execution of analytics in a distributed environment
US20240127436A1 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
RU2720363C2 (ru) Способ формирования математических моделей пациента с использованием технологий искусственного интеллекта
WO2023029348A1 (zh) 基于人工智能的图像实例标注方法及相关设备
Mason et al. Lung ultrasound segmentation and adaptation between COVID-19 and community-acquired pneumonia
Tang et al. Work like a doctor: Unifying scan localizer and dynamic generator for automated computed tomography report generation
US11809826B2 (en) Assertion detection in multi-labelled clinical text using scope localization
Gordon et al. Natural language processing of head CT reports to identify intracranial mass effect: CTIME algorithm
CN114241261B (zh) 基于图像处理的皮肤病识别方法、装置、设备及存储介质
EP3965117A1 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
EP4379672A1 (en) Methods and systems for classifying a medical image dataset
EP4390960A1 (en) Systems and methods for providing an updated machine learning algorithm
US20240087697A1 (en) Methods and systems for providing a template data structure for a medical report
EP3985679A1 (en) Technique for providing an interactive display of a medical image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240902

Address after: German Phu F Haim

Applicant after: Siemens Medical AG

Country or region after: Germany

Address before: Erlangen, Germany

Applicant before: SIEMENS HEALTHCARE GmbH

Country or region before: Germany

TA01 Transfer of patent application right