CN110033859A - 评估患者的医学检查结果的方法、系统、程序和存储介质 - Google Patents

评估患者的医学检查结果的方法、系统、程序和存储介质 Download PDF

Info

Publication number
CN110033859A
CN110033859A CN201910027834.4A CN201910027834A CN110033859A CN 110033859 A CN110033859 A CN 110033859A CN 201910027834 A CN201910027834 A CN 201910027834A CN 110033859 A CN110033859 A CN 110033859A
Authority
CN
China
Prior art keywords
medical
parser
concept
ontology
data structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910027834.4A
Other languages
English (en)
Other versions
CN110033859B (zh
Inventor
R·欧纳赛克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Ag
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Publication of CN110033859A publication Critical patent/CN110033859A/zh
Application granted granted Critical
Publication of CN110033859B publication Critical patent/CN110033859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本公开涉及评估患者的医学检查结果的方法、系统、程序和存储介质。医学检查结果包括患者的至少一个图像数据集和以自然语言编写的至少一个检查报告,方法包括以下步骤:提供医学本体,医学本体包括在多个患者的多个图像数据集和多个检查报告中出现的多个医学概念;使用至少一个第一分析算法来分析至少一个图像数据集,以检测医学本体的医学概念并且在参考医学本体的结果数据结构中标记检测到的医学概念,第一分析算法是人工智能算法;使用至少一个第二分析算法来分析至少一个检查报告,以检测医学本体的医学概念并且在结果数据结构中标记检测到的医学概念,第二分析算法是自然语言处理算法;将结果数据结构提供给处理医学概念的至少一个评估应用。

Description

评估患者的医学检查结果的方法、系统、程序和存储介质
技术领域
本发明涉及用于评估患者的医学检查结果的方法和评估系统、计算机程序和电子可读存储介质。
背景技术
医学成像,即放射学,已被证明是诊断和治疗患者的有力工具。不同的模态可以用于不同的医学任务,其中特别地,X射线成像(包括CT)、磁共振成像和超声成像已经被建立为常见的放射学模态。在不同的医学设施中,例如医院或放射科医生的办公室,患者可以进行放射检查,从而产生患者的图像数据集。
然而,放射检查报告是放射科医师工作的最终产品。这些报告通常由放射科医师自己来用自然语言编辑和表达。放射检查报告和放射图像数据集包括现今可用的大部分数字医学内容,其可能是临床护理、临床研究、临床管理和其他医学相关过程的有价值的信息源。
尽管放射检查报告可以以电子方式存储,例如存储在患者的电子健康记录中,但是它们的自然语言的形式是一个问题,因为它们缺乏已知的结构并且在放射科医师之间是高度可变的。结构的缺乏阻碍了从大量检查报告中提取和可靠地传递信息,从而阻止了大规模的、数据驱动的应用的开发和实现。
医学图像也可以以电子方式存储,并且表现出比放射报告高得多的标准化和再现性,因此基于图像数据集可以快速缩放数据驱动的应用。然而,从图像中可靠地提取高级结构化信息是非常复杂的,并且只能由人类或人工协助完成。
大规模、结构化放射数据的可用性的缺乏限制了现今可用的数据驱动应用的类型和数目。因此,现今可操作的应用受限于这些应用可以提取的信息的类型(例如,来自图像的CAD检测),这些应用对于特定的机构/设施是定制的,或者这些应用使用特定的手工特征,并且总体上缺乏鲁棒性。因此,这些评估应用的使用并不普遍,并且现有的评估应用在功能和目的方面最为受限。
因此,本发明的一个目的是为评估应用的开发和使用提供基础,使这些应用更加稳健并提供更大的适用范围,特别是对于大范围的放射学和医学和/或大量病例。
发明内容
为了实现该目的,本发明提供根据权利要求1的方法、根据权利要求13的评估系统、根据权利要求14的计算机程序和根据权利要求15的电子可读存储介质。优选实施例由从属权利要求描述。
在用于评估患者的医学检查结果的本发明方法中,医学检查结果包括患者的至少一个图像数据集和以自然语言编写的至少一个检查报告,以下步骤使用计算设备来执行:
-提供一个医学本体,医学本体包括在多个患者的多个图像数据集和多个检查报告中出现的多个医学概念,
-使用至少一个第一分析算法来分析至少一个图像数据集,以检测医学本体的医学概念并且在参考医学本体的结果数据结构中标记检测到的医学概念,第一分析算法是人工智能算法,
-使用至少一个第二分析算法来分析至少一个检查报告,以检测医学本体的医学概念并且在结果数据结构中标记检测到的医学概念,第二分析算法是自然语言处理算法,
-将结果数据结构提供给处理医学概念的至少一个评估应用。
医学概念描述了,特别是以自然语言描述了与患者相关的医学状况,特别是患者的医学异常和医学特征,其不一定是疾病本身,但也可以描述患者特有的情况,例如非恶性组织异常等。针对医学概念的示例包括:血管系统疾病,肺结节和骨质疏松症或其他缺陷,或在更广泛的范围内,某些器官的检查和/或发现,例如肺、心脏、肝脏等。通过使用医学图像数据集,即放射图像,该方法的主要应用是放射学,从而医学本体也可以被称为放射学概念本体。
因此提出了一种计算机实现的评估方法和系统,其使用分析算法来从放射检查报告以及放射图像数据集提取结构化信息(即结果数据结构),分析算法特别地至少部分基于机器学习。结构化信息在医学本体内被表示,医学本体也可以称为放射学概念本体,其优选地覆盖受放射学影响的所有或至少大多数医学领域。随后可以使用结果数据结构来启动多个评估应用,特别是处理大量数据(在该情况下例如是结果数据结构的数据库)的数据驱动的评估应用。如下面将进一步详述的,应用可以包括:放射性病例解释辅助,计费,编码,合规和法律责任,临床试验和登记,临床管理和放射报告生成/后处理。
评估方法/系统的输入包括非结构化文本和图像数据集二者,非结构化文本是放射检查报告的形式(包括/可扩展到:电子健康记录,历史记录,其他记录,如病理学、实验室报告等),图像数据集是放射图像的形式(这包括任何图像形态,特别是X射线,MR和/或超声,历史采集,多模态图像,病理图像,侵入图像等)。特别地,可以使用患者的(电子地)可用的完整病史,特别是电子健康记录(EHR,通常也被称为EMR-电子病历),作为用于评价的输入数据。优选地,然而,检查结果至少包括图像数据集及其相关联的检查报告,其中在实施例中,还可以考虑历史采集。
根据本发明的标记可以包括:对在图像数据集和/或检查报告中检测到的医学概念的二元激活。特别地,结果数据结构可以包括:针对本体中的每个医学概念的位。使用二进制激活,评价方法/系统的输出由来自医学本体的预定义医学概念的二元激活列表来表示。总体上,结果数据结构可以被视为被标记的医学概念模式。
该输出可以很容易地用于启动可以基于医学本体独立开发的大量应用。因此,医学本体可以被看作为利用检查结果来工作的应用提供接口。由于结果数据结构和医学本体被明确定义,因此这些应用的稳健性得到改善。
特别地,具有处理器和存储器的评估系统或其计算设备可以包括:用于从图像数据集中提取结构化信息的第一概念检测单元或子系统,用于从文本(即检查报告)中提取结构化信息的第二概念检测单元或子系统,用于数据表示的输出单元或子系统(数据表示的形式为与医学本体有关的结果数据结构),以及用于特定评估应用的多个应用单元/子系统。
在特别优选的实施例中,医学本体是层级结构的,其中至少部分地遵循层级结构来使用多个第一分析算法和/或多个第二分析算法,使得在使用较高层级的第一分析算法或第二分析算法检测到更高层级级别的医学概念时,使用下一个更低层级的至少一个分析算法(如果存在的话)来检测该下一个更低层级的医学概念。使用层级结构的本体允许分析算法的相应检测器的层级运行。这继而使得能够进行有效且灵活的处理。特别地,可以减少处理步骤的数目,因为基于物理依赖性的层级结构允许:在作为先决条件的更高级别医学概念不存在的情况下跳过对子概念的检测。此外,医学本体的层级结构允许:关于后续评估应用的灵活性,以及根据需要来定制分析过程。优选地,层级结构至少部分地在使用解剖学特征来区分医学概念的至少一个层级级别中。例如,放射检查可以根据身体部分和器官而被结构化。更高级别的胸部检查可以包括心脏检查、肺部检查等,作为层级上后续的医学概念。
优选地,医学本体基于至少一个预定义的已知本体和/或至少一个预定义的表示标准,和/或从医学本体到至少一个预定义的已知本体和/或至少一个预定义的表示标准的映射被提供。因此,虽然原则上医学本体可以已经使用这些已知的本体和/或标准,但是至少也可以提供到这些预先已知的实体的映射。这允许评估应用在某种结构基础上工作,例如通过将信息和/或事件分配给被包含在预定义的已知本体或表示标准(通常也称为“词典”)中的某些医学概念,以通过合适的方式来利用数据结构的信息。这些已知的预定义本体/表示标准的示例包括:RadLex作为特定于放射学的本体、SNOMED(系统化医学命名法)、Gamuts、国家癌症研究所概念词库、ICD(疾病和相关健康问题的国际统计分类)、医学主题标题(MeSH)以及针对不同解剖学特征的RADS(报告和数据系统)。评估应用可以使用对应的预定义本体和/或表示标准/词典来使用映射功能。
人工智能用于从图像数据集中提取医学概念。已经证明基于机器学习的方法克服了自动图像解释中的一些问题,允许从图像确定有价值的信息,该信息至少涉及总体概念,并且因此提供了用于对结果数据结构进行稳健确定的基础。
在优选实施例中,卷积神经网络(CNN)被用作至少一个第一分析算法,特别地,至少一个第一分析算法使用深度学习技术来训练。已经证明,CNN特别适用于医学图像数据集的图像处理,可靠地识别与医学概念有关的特征。
优选地,通过将至少一个第二分析算法应用于与训练图像数据集相关联的训练检查报告来确定训练数据集,其中第二分析算法的结果至少部分地形成针对训练图像数据集的真实值。对于放射检查报告和图像数据集的给定训练数据集,用于从文本提取信息的第二分析算法可以用于:通过分析与图像数据集相关联的检查报告,以生成被激活的医学概念的形式的标签。所有检测到的医学概念被认为是针对对应图像数据集的正标签,而未被检测到的医学概念被认为是负标签。可以通过对图像数据集手动注释来增加另外的训练信息,以进一步提高训练数据的质量。优选地,如已经提到的,在训练第一分析算法时应用深度学习技术。
如果至少一个第一分析算法包括针对每个定义的医学概念的检测器,则训练这些检测器,这些检测器特别地是CNN检测器,以从给定的输入图像数据集中检测对应的医学概念的存在。训练数据集可以被结构化,使得包含医学概念(即,被标记为正)的图像数据集用作正实例,而训练数据集的其余部分用作负实例。可以在训练过程中使用现有技术中已知的数据预处理和训练集增强技术。
优选地,针对层级结构的医学本体的个体医学概念和/或医学概念的组来提供第一分析算法,其中当训练第一分析算法时,针对下一个层级更高的医学概念的训练结果至少部分地被用作训练针对相应树中层级更低的从属医学概念的至少一个第一分析算法的起点。为了效率,可以在层级过程中训练分析算法,分析算法特别地是CNN。例如,针对“瓣膜病”概念的第一分析算法训练结果可以用作初始算法参数,以用于训练针对从属“主动脉瓣疾病”概念的第一分析算法。
优选地,使用第二分析算法来分析检查报告包括以下步骤:特征提取和基于所提取的特征的检测。特征提取可以包括部分分离函数,以将放射检查报告划分为多个主部分,包括例如:成像技术、效果、患者历史研究等,特征提取还可以包括句子分割函数和标记化函数来分离句子,并且随后分离词。此外,特征提取可以包括归一化,以确定词根,修复拼写错误,以及解决缩写。还可以提供多语言支持。特征提取可以进一步包括:句法分析,基于存在的词典(RadLex,SNOMED等)的语义分析,以及否定检测。所得信息用于创建随后用于医学概念检测的特征。
基于这些特征,对于医学本体的每个医学概念或医学概念组,可以采用第二分析算法中的检测器或作为第二分析算法的检测器,来从给定的放射检查报告中确定这些医学概念的存在。第二分析算法可以使用基于规则的方法和基于机器学习的方法的组合。换言之,至少一个第二分析算法中的至少一个算法可以至少部分地基于规则和/或至少部分地基于人工智能。一些医学概念通过某些词在报告中的存在来给定,这些医学概念的检测可以是直接的,但是对于更复杂的医学概念,可以使用基于机器学习的系统。该方法的训练数据集是通过利用来自医学本体的特定标签来手动注释检查报告而被提供的。
通过分析图像以及报告,本发明提供了以下可能性:合理性检查和/或拓宽基础已进行进一步分析。虽然这特别地可以由如下所述的评估应用来利用,但是本发明还允许例如在聚合第一分析算法和第二分析算法的结果时进行合理性检查。
在相应的实施例中,可以比较两个分析算法的检测结果,其中当在图像数据集中发现的至少一个医学概念未在检查报告中被发现时,输出关于该医学概念的通知,至少一个医学概念特别地是医学概念的相关性组中的医学概念。以这种方式,例如,可以触发对图像数据集的重新评估。
在具体实施例中,至少一个评估应用选自包括以下的组:解释辅助应用,计费和/或编码和/或质量评估和/或法律评估应用,临床试验和/或临床管理应用,以及放射报告辅助应用。当然,其他应用也是可以想到的。
在第一优选示例性实施例中,解释辅助应用是传播应用,传播应用在医学设施的计算机系统中传播由对结果数据结构的基于规则的评估所检测到的关键发现,和/或解释辅助应用是相关病例查找助手,相关病例查找助手将当前患者的结果数据结构与被存储在数据库中的其他患者的结果数据结构进行比较。特别地,可以在比较期间对医学概念进行加权。例如,可以基于医学本体采用简单的基于规则的算法,以检测关键发现并在计算机系统内传播警报,例如将警报传播到健康护理信息技术系统的信息系统。例如,如果检测到不表示关键发现的“肺结节”概念,则不要求传播。然而,如果已经检测到表示关键发现的“气胸”,则该发现被传播,例如通过触发去往计算机系统的其他子系统的关于患者的警报信号。附加地和/或备选地,基于本发明的评估系统的回顾性结构化数据,可以在医学本体的所标记的医学概念的类似模式的基础上来检索相关的类似病例。每个医学概念可以与权重相关联,以进一步改善相关病例查找助手的类似病例检索功能的性能。
优选地,计费和/或编码应用可以将结果数据结构映射到对应的计费代码,特别是根据计费标准。计费标准可以是,例如,ICD-10和/或CPT(当代操作术语集)。到计费代码的映射可以是基于规则的和/或基于机器学习的。通过这种方式,可以实现自动计费。进一步优选地,法律评估应用可以使用具有基于其他病例的参考值的数据库、根据结果数据结构来计算法律危害潜力评分。
在其他示例性优选实施例中,临床试验应用基于病例的结果数据结构检索以下病例,病例符合针对预期研究和/或历史研究的要求定义,和/或临床管理应用关于预定的临床指南来评估结果数据结构,以生成对与患者相关的进一步过程的推荐。评估系统可以用于回顾性群组生成,以及用于标识前瞻性病例,以用于前瞻性,也即正在进行的临床研究。可以使用医学本体表示来定义规范包括准则。基于针对特定病例/患者的所标记的医学概念模式以及所定义的包括准则,可以确定特定病例是否与任何活跃的临床试验,登记或任何其他研究和/或群组相关。
关于临床管理,评估系统可以用于:总体上针对后续检查和临床管理来生成推荐。可以定义特定的、例如与不确定的结果相关联的医学本体,以提供针对进一步检查的推荐。例如,如果在X射线检查中发现心脏扩大,而没有具体的诊断,可以建议执行某个MR检查以进行澄清。一般而言,所标记的医学概念模式可以用于对后续动态的推荐,特别是根据设施指南和/或标准,诸如LUNG-RADS。在一个示例中,可以根据所标记的医学概念模式来检测特定的LUNG-RADS类,这可以引起对后续检查的推荐。
在特别优选的示例性实施例中,放射报告辅助应用基于先前检查结果的结果数据结构和/或当前图像数据集来生成检查报告的草稿,和/或基于这些结果数据结构来提供实时辅助和/或后处理辅助。因此,评估系统可以例如以交互模式使用,其中在生成检查报告的同时更新结果数据结构。反过来,可以提供:检查报告的部分的自动填充功能,特别是关于预定义的已知本体和/或表示标准/词汇的规划推荐功能,或提出另外的医学概念的推断功能。这些功能还可以参考先前的检查,即,基于相关联的图像数据集和检查报告的集合,或者这些功能可以用于检查报告的后处理。
例如,如果要求放射检查报告从一种语言向另一种语言的翻译,则医学本体可以进一步用于实现多语言支持,用于翻译或生成检查报告。这有助于患者在多个国家接受健康护理服务,并实现全球化驱动和/或健康护理旅游等实践。因此,医学本体可以与针对多种语言的至少一个词典相关联,使得能够将医学概念翻译成其他语言。
根据本发明的计算机程序包括程序装置,该程序装置被配置为:当计算机程序在计算设备中执行时来执行根据本发明的方法的步骤,计算设备特别地是根据本发明的评估系统的计算设备。计算机程序可以存储在电子可读存储介质上,电子可读存储介质上因此存储有:包括根据本发明的计算机程序的电子控制信息,使得当电子可读存储介质在计算设备中使用时,计算设备被控制以执行根据本发明的方法。电子可读存储介质可以是非暂态的,例如CD ROM。
附图说明
从以下结合附图对优选实施例的描述中可以看出本发明的进一步细节和优点,其中
图1示出了根据本发明的方法的流程图,
图2图示了医学本体的层级结构,
图3是根据本发明的评估系统的功能视图,
图4示出了嵌入到计算机系统中的评估系统。
具体实施方式
图1示出了根据本发明的方法的实施例的流程图。如原则上在本领域中已知的,医学图像采集装置被用于采集患者的图像数据集1。例如,通过使用工作站,放射科医师或其他医学人员查看图像数据集1,并在与图像数据集1相关联的、并以自然语言编写的检查报告2中总结他的发现。
该方法使用这些检查结果,即图像数据集1及其相关联的检查报告2,以在结果数据结构3中生成结构化信息,该结构化信息描述与患者相关的医学概念。结果数据结构3参考:包括层级结构的医学概念的医学本体,其中在结果数据结构中,通过二元激活检测到的医学概念来标记检测到的医学概念。
图2对医学本体4的层级结构进行了可视化,示出了医学本体4的医学概念5的摘录(excerpt)。医学本体4可以基于至少一个预定义的已知本体和/或表示标准(词典),其可以例如覆盖医学本体4的某些部分/树。另一方面,提供以下映射函数,该映射函数将在结果数据结构3中所激活或标记的医学本体4的医学概念5映射到预定义的已知本体和/或表示标准(词典),使得稍后讨论的评估应用6可以使用最方便的上下文来工作。
在优选地并行执行的步骤S1、S2中,相应的第一分析算法和第二分析算法用于分析图像数据集1和检查报告2,以检测医学本体4的医学概念5。检测到的医学概念5在结果数据结构3中被标记,特别是以二进制形式。
在步骤S1中,使用至少一个第一分析算法来检测图像数据集1中医学概念5的存在,至少一个第一分析算法包括至少一个卷积神经网络并因此是人工智能算法。在这方面,CNN检测器可以用作第一分析算法或用作第一分析算法的部分,以检测例如在医学本体4中的一个树的层级级别中的个体医学概念5和/或医学概念5的组。这具有多个优点,因为CNN检测器仅需要在以下情况下运行:某些更高层级的医学概念5先前已被检测到,特别是上级医学概念5。另外,如果相关联的医学概念5与所使用的评估应用无关,则可以省略某些检测,从而赋予灵活性。此外,当训练第一分析算法时,可以使用上级医学概念5的训练结果来初始化对从属医学概念5的训练。
训练数据集可以包括训练图像数据集,以及以下医学概念检测的结果和/或手动注释作为真实值,该医学概念检测是通过对相关联的训练检查报告使用第二分析算法。针对其已经标记/激活医学概念5的训练图像集被用作关于该概念5的正实例,在这些训练图像集中医学概念5未被标记为负实例。
在步骤S2中,使用至少一个第二分析算法、通过自然语言处理(NLP)来检测放射检查报告2中医学概念5的存在,例如如在以下文献中所描述的:Ewoud Pons等人,“NaturalLanguage Processing in Radiology:A Systematic Review”,Radiology 279:329-343(2016)。同样,不同的第二分析算法/检测器可以应用于不同的医学概念5和/或医学概念5的组,如关于第一分析算法所讨论的。取决于医学概念5及其复杂性,第二分析算法可以是基于规则的和/或基于机器学习的。
在步骤S1和S2二者中,检测到的概念在结果数据结构3中被标记,从而导致结果的聚合。然而,在可选步骤S3中,可以执行检测结果的比较。如果在该比较中,观察到在图像数据集1中检测到来自预定相关性组的相关医学概念5,但该相关医学概念5未在相关联的检查报告2中检测到,则可以输出引起对图像数据集1进行重新评估(例如关于医学概念5的附加查看)的通知,或者可以触发其他测量。
在图2的示例中,标记的医学概念5以阴影示出;标记的医学概念5可以例如包括:在一个层级树中的“胸部成像”、“气胸”/“肺结节”,在另一棵树中的“心脏成像”、“瓣膜病”、“主动脉瓣”、“主动脉狭窄”和“主动脉瓣钙化”。可以看出,根据解剖学特征来构造至少一些层级。医学概念5的其他示例可以包括:“神经成像”、“左心室增强”、“肺癌”等。
在任何情况下,结果数据结构3然后被提供给评估应用6,评估应用6包括:例如解释辅助应用、计费/编码应用、法律评估应用、临床试验应用、临床管理应用、放射报告辅助应用等。
在特别优选的交互模式中,在起草放射检查报告3的同时进行分析。在该情况下,可以提供对措辞等的建议,并且可以输出对医学概念和其表示的提示。可以添加自动填充功能。还可以提供多语言支持以及关于标准/词典或分类的制定建议。可以通过比较所标记的医学概念模式,特别是相应地对一些医学概念5加权,来检索类似的病例。其中,当出现引起对患者的不同处理的关键医学概念5(即其描述关键发现)时,可以在执行该方法的计算机系统中传播警报。针对这些特征的相关评估算法6包括:放射报告辅助应用,相关病例查找助手和传播应用。
当然,其他评估应用6也可以用于当前结果数据结构3或用于存储在数据库中的不同患者的多个结果数据结构3。其他评估应用6的功能不仅包括检查报告2的后处理,还包括自动计费和编码、群组生成等。
图3示出了根据本发明的评估系统7的功能性结构,因此适于通过使用至少一个计算设备/计算机来执行本发明的方法。评估系统7包括用于接收检查结果的接口8和多个子系统,即,用于从图像数据集1中提取结构化信息的第一概念检测单元9,用于从文本(即检查报告2)中提取结构化信息的第二概念检测单元10,用于以与医学本体4相关的结果数据结构3的形式来表示数据的输出单元11,以及用于特定评估应用6的多个应用单元12。当然,确定的结果数据结构3也可以存储在数据库中,用于其他评估应用6和/或稍后应用的评估应用6。
图4示出了医学设施的计算机系统13的原理图。计算机系统13包括如上所述的评估系统7,以及可以传播关键发现的其他系统14,例如信息系统(HIS/RIS)、图像采集设备、查看站等。
尽管已经参考优选实施例详细描述了本发明,但是本发明不限于所公开的示例,从所公开的示例,本领域技术人员能够在不脱离本发明的范围的情况下得出其他变型。

Claims (15)

1.一种用于评估患者的医学检查结果的方法,所述医学检查结果包括所述患者的至少一个图像数据集(1)和以自然语言编写的至少一个检查报告(2),其中所述方法包括使用计算设备执行的以下步骤:
-提供一个医学本体(4),所述医学本体(4)包括在多个患者的多个图像数据集(1)和多个检查报告(2)中出现的多个医学概念(5),
-使用至少一个第一分析算法来分析所述至少一个图像数据集(1),以检测所述医学本体(4)的医学概念(5)并且在参考所述医学本体(4)的结果数据结构(3)中标记检测到的医学概念(5),所述第一分析算法是人工智能算法,
-使用至少一个第二分析算法来分析所述至少一个检查报告(2),以检测所述医学本体(4)的医学概念(5)并且在所述结果数据结构(3)中标记检测到的医学概念(5),所述第二分析算法是自然语言处理算法,
-将所述结果数据结构(3)提供给处理医学概念(5)的至少一个评估应用(6)。
2.根据权利要求1所述的方法,其特征在于,所述医学本体(4)是层级结构的,其中至少部分地遵循所述层级结构来使用多个第一分析算法和/或多个第二分析算法。
3.根据权利要求1或2所述的方法,其特征在于,所述医学本体(4)基于至少一个预定义的已知本体和/或至少一个预定义的表示标准,和/或从所述医学本体(4)到至少一个预定义的已知本体和/或至少一个预定义的表示标准的映射被提供。
4.根据前述权利要求中任一项所述的方法,其特征在于,卷积神经网络被用作所述至少一个第一分析算法,特别地,所述至少一个第一分析算法使用深度学习技术来训练。
5.根据前述权利要求中任一项所述的方法,其特征在于,针对层级结构的所述医学本体(4)的个体医学概念(5)和/或医学概念(5)的组来提供第一分析算法,其中当训练所述第一分析算法时,针对下一个层级更高的医学概念(5)的训练结果至少部分地被用作训练针对层级更低的医学概念(5)的所述至少一个第一分析算法的起点,和/或其特征在于,通过将所述至少一个第二分析算法应用于与训练图像数据集相关联的训练检查报告来确定训练数据集,其中所述第二分析算法的结果至少部分地形成针对所述训练图像数据集的真实值。
6.根据前述权利要求中任一项所述的方法,其特征在于,使用所述第二分析算法来分析所述检查报告(2)包括以下步骤:特征提取和基于所提取的特征的检测。
7.根据前述权利要求中任一项所述的方法,其特征在于,所述至少一个第二分析算法中的至少一个算法至少部分地基于规则和/或至少部分地基于人工智能。
8.根据前述权利要求中任一项所述的方法,其特征在于,比较两个分析算法的检测结果,其中当在所述图像数据集(1)中发现的至少一个医学概念(5)未在所述检查报告(2)中被发现时,输出关于所述至少一个医学概念(5)的通知,所述至少一个医学概念(5)特别地是医学概念(5)的相关性组中的医学概念。
9.根据前述权利要求中任一项所述的方法,其特征在于,至少一个评估应用(6)选自包括以下的组:解释辅助应用,计费和/或编码和/或质量评估和/或法律评估应用,临床试验和/或临床管理应用,以及放射报告辅助应用。
10.根据权利要求9所述的方法,其特征在于,所述解释辅助应用是传播应用,所述传播应用在医学设施的计算机系统(13)中传播由对所述结果数据结构(3)的基于规则的评估所检测到的关键发现,和/或所述解释辅助应用是相关病例查找助手,所述相关病例查找助手将当前患者的结果数据结构(3)与被存储在数据库中的其他患者的结果数据结构(3)进行比较。
11.根据权利要求9或10所述的方法,其特征在于,所述临床试验应用基于病例的结果数据结构(3)检索以下病例,所述病例符合针对预期研究和/或历史研究的要求定义,和/或所述临床管理应用关于预定的临床指南来评估所述结果数据结构(3),以生成对与所述患者相关的进一步过程的推荐。
12.根据权利要求9至11中任一项所述的方法,其特征在于,所述放射报告辅助应用基于先前检查结果的结果数据结构(3)和/或当前图像数据集(1)来生成检查报告(2)的草稿,和/或基于这些结果数据结构(3)来提供实时辅助和/或后处理辅助。
13.一种评估系统(7),包括:被配置为执行根据前述权利要求中任一项所述的方法的至少一个计算设备。
14.一种计算机程序,其在计算设备上被执行时执行根据权利要求1至12中任一项所述的方法的步骤。
15.一种电子可读存储介质,其上存储有根据权利要求14所述的计算机程序。
CN201910027834.4A 2018-01-12 2019-01-11 评估患者的医学检查结果的方法、系统、程序和存储介质 Active CN110033859B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18151452.2 2018-01-12
EP18151452.2A EP3511941A1 (en) 2018-01-12 2018-01-12 Method and system for evaluating medical examination results of a patient, computer program and electronically readable storage medium

Publications (2)

Publication Number Publication Date
CN110033859A true CN110033859A (zh) 2019-07-19
CN110033859B CN110033859B (zh) 2024-01-02

Family

ID=61131905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910027834.4A Active CN110033859B (zh) 2018-01-12 2019-01-11 评估患者的医学检查结果的方法、系统、程序和存储介质

Country Status (3)

Country Link
US (1) US11056228B2 (zh)
EP (1) EP3511941A1 (zh)
CN (1) CN110033859B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111026799A (zh) * 2019-12-06 2020-04-17 安翰科技(武汉)股份有限公司 胶囊内窥镜检查报告文本结构化方法、设备及介质
CN111192660A (zh) * 2019-12-24 2020-05-22 上海联影智能医疗科技有限公司 一种影像报告分析方法、设备及计算机存储介质
CN111739617A (zh) * 2020-06-15 2020-10-02 中国医学科学院医学信息研究所 医疗影像人工智能质控标注方法、装置、设备及存储介质
CN113159134A (zh) * 2021-03-29 2021-07-23 宁波市科技园区明天医网科技有限公司 基于乳腺结构化报告的智能化诊断评估方法
CN113673710A (zh) * 2020-05-13 2021-11-19 西门子医疗有限公司 用于训练评估算法的计算机实现的方法和系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11883206B2 (en) 2019-07-29 2024-01-30 Hologic, Inc. Personalized breast imaging system
AU2020353680A1 (en) 2019-09-27 2022-02-17 Hologic, Inc. AI system for predicting reading time and reading complexity for reviewing 2D/3D breast images
EP3832689A3 (en) 2019-12-05 2021-08-11 Hologic, Inc. Systems and methods for improved x-ray tube life
CN111292821B (zh) * 2020-01-21 2024-02-13 上海联影智能医疗科技有限公司 一种医学诊疗系统
US11471118B2 (en) 2020-03-27 2022-10-18 Hologic, Inc. System and method for tracking x-ray tube focal spot position
US11481038B2 (en) 2020-03-27 2022-10-25 Hologic, Inc. Gesture recognition in controlling medical hardware or software
CN111445996A (zh) * 2020-03-31 2020-07-24 杭州依图医疗技术有限公司 医疗信息的处理方法、处理系统及存储介质
US11823775B2 (en) * 2020-11-09 2023-11-21 Merative Us L.P. Hashing electronic records
CN112466462B (zh) * 2020-11-26 2023-03-07 华侨大学 一种基于图深度学习的emr信息关联及演化方法
US20220310260A1 (en) * 2021-03-29 2022-09-29 Siemens Healthcare Gmbh System and Methods for Knowledge Representation and Reasoning in Clinical Procedures
EP4145464A1 (en) * 2021-09-07 2023-03-08 Siemens Healthcare GmbH Decision module and method for image-based operational decision support
CN114446467B (zh) * 2021-12-31 2023-09-12 华中科技大学同济医学院附属协和医院 一种基于结构化报告模板的肺功能定量分析方法
CN115831300B (zh) * 2022-09-29 2023-12-29 广州金域医学检验中心有限公司 一种基于患者信息的检测方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080201280A1 (en) * 2007-02-16 2008-08-21 Huber Martin Medical ontologies for machine learning and decision support
CN103069423A (zh) * 2010-08-05 2013-04-24 皇家飞利浦电子股份有限公司 报告创作
US8705825B2 (en) * 2009-12-11 2014-04-22 Leica Biosystems Imaging, Inc. Signal to noise ratio in digital pathology image analysis
CN106295187A (zh) * 2016-08-11 2017-01-04 中国科学院计算技术研究所 面向智能临床辅助决策支持系统的知识库构建方法与系统
US9764162B1 (en) * 2013-10-28 2017-09-19 Elekta, Inc. Automated, data-driven treatment management system for adaptive radiotherapy workflows
CN107408123A (zh) * 2015-02-25 2017-11-28 皇家飞利浦有限公司 用于对临床发现的背景敏感性评价的方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080201280A1 (en) * 2007-02-16 2008-08-21 Huber Martin Medical ontologies for machine learning and decision support
US8705825B2 (en) * 2009-12-11 2014-04-22 Leica Biosystems Imaging, Inc. Signal to noise ratio in digital pathology image analysis
CN103069423A (zh) * 2010-08-05 2013-04-24 皇家飞利浦电子股份有限公司 报告创作
US9764162B1 (en) * 2013-10-28 2017-09-19 Elekta, Inc. Automated, data-driven treatment management system for adaptive radiotherapy workflows
CN107408123A (zh) * 2015-02-25 2017-11-28 皇家飞利浦有限公司 用于对临床发现的背景敏感性评价的方法和系统
CN106295187A (zh) * 2016-08-11 2017-01-04 中国科学院计算技术研究所 面向智能临床辅助决策支持系统的知识库构建方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张娜;王如龙;王伟胜;: "基于本体的医学影像信息整合", 计算机系统应用, no. 06 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111026799A (zh) * 2019-12-06 2020-04-17 安翰科技(武汉)股份有限公司 胶囊内窥镜检查报告文本结构化方法、设备及介质
CN111026799B (zh) * 2019-12-06 2023-07-18 安翰科技(武汉)股份有限公司 胶囊内窥镜检查报告文本结构化方法、设备及介质
CN111192660A (zh) * 2019-12-24 2020-05-22 上海联影智能医疗科技有限公司 一种影像报告分析方法、设备及计算机存储介质
CN111192660B (zh) * 2019-12-24 2023-10-13 上海联影智能医疗科技有限公司 一种影像报告分析方法、设备及计算机存储介质
CN113673710A (zh) * 2020-05-13 2021-11-19 西门子医疗有限公司 用于训练评估算法的计算机实现的方法和系统
CN111739617A (zh) * 2020-06-15 2020-10-02 中国医学科学院医学信息研究所 医疗影像人工智能质控标注方法、装置、设备及存储介质
CN113159134A (zh) * 2021-03-29 2021-07-23 宁波市科技园区明天医网科技有限公司 基于乳腺结构化报告的智能化诊断评估方法

Also Published As

Publication number Publication date
EP3511941A1 (en) 2019-07-17
US20190221304A1 (en) 2019-07-18
US11056228B2 (en) 2021-07-06
CN110033859B (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN110033859A (zh) 评估患者的医学检查结果的方法、系统、程序和存储介质
CN112712879B (zh) 医学影像报告的信息提取方法、装置、设备及存储介质
JP6542664B2 (ja) 患者情報を臨床基準にマッチングするシステム及び方法
JP6657210B2 (ja) テキスト認識に基づくテキストイメージリンキングを伴うピクチャアーカイビングシステム
JP6749835B2 (ja) コンテキスト依存医学データ入力システム
CN106415555B (zh) 用于病理学报告与放射学报告的相关联的系统和方法
CN110459287A (zh) 来自医学文本报告的结构化报告数据
US11244755B1 (en) Automatic generation of medical imaging reports based on fine grained finding labels
EP2601608B1 (en) Report authoring
JP2023123711A (ja) 健康情報に基づく予後スコア
RU2741734C2 (ru) Долгосрочный профиль здоровья пациента для случайных находок
Agu et al. AnaXNet: anatomy aware multi-label finding classification in chest X-ray
US9588950B2 (en) Assignment of measurement data to information data
US11763081B2 (en) Extracting fine grain labels from medical imaging reports
CN113656706A (zh) 基于多模态深度学习模型的信息推送方法及装置
Pellegrini et al. Xplainer: From x-ray observations to explainable zero-shot diagnosis
Iftikhar Iqra Naz, Anmol Zahra, and Syeda zainab Yousuf Zaidi. 2022. Report Generation of Lungs Diseases From Chest X-Ray Using NLP”
JP7097350B2 (ja) 医用画像評価のためのディープラーニングの応用
CN109906487A (zh) 用于针对临床护理连续性进行工作流程敏感的结构化发现对象(sfo)推荐的系统和方法
US20210217535A1 (en) An apparatus and method for detecting an incidental finding
Ogungbe et al. Design and Implementation of Diagnosis System for Cardiomegaly from Clinical Chest X-ray Reports
Akogo A Standardized Radiograph-Agnostic Framework and Platform For Evaluating AI Radiological Systems
Ma et al. Eye-gaze Guided Multi-modal Alignment Framework for Radiology
Iyanda et al. An Adaptable SVM Model for Abnormalities Detection in Chest X-ray Reports
Braz et al. ImTeNet: Image-Text Classification Network for Abnormality Detection and Automatic Reporting on Musculoskeletal Radiographs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240903

Address after: German Phu F Haim

Patentee after: Siemens Medical AG

Country or region after: Germany

Address before: Erlangen

Patentee before: Siemens Healthineers AG

Country or region before: Germany