CN111557032A - 自动诊断报告准备 - Google Patents

自动诊断报告准备 Download PDF

Info

Publication number
CN111557032A
CN111557032A CN201880085371.0A CN201880085371A CN111557032A CN 111557032 A CN111557032 A CN 111557032A CN 201880085371 A CN201880085371 A CN 201880085371A CN 111557032 A CN111557032 A CN 111557032A
Authority
CN
China
Prior art keywords
text
user
prediction
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880085371.0A
Other languages
English (en)
Inventor
A·扎尔巴赫
M·格拉斯
T·布罗施
J·冯贝格
S·扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN111557032A publication Critical patent/CN111557032A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/274Converting codes to words; Guess-ahead of partial word inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

在用于准备关于医学图像中的发现的报告的常规系统中,所述报告的实际制定不由或仅不足地由基于计算机的系统支持。尽管存在通过自动报告改进这样的系统的努力,然而,在先前系统中,误差率太高和/或所述系统的操作太复杂。本申请提出在显示设备上向用户提供文本预测。所述文本预测基于至少当用户经由输入单元激活在显示设备上示出的文本字段时先验分析显示给用户的医学图像的图像内容。所显示的文本预测选自与分析结果相关联的文本模块的预定义集合。

Description

自动诊断报告准备
技术领域
本发明涉及计算机辅助诊断报告准备或创建,其基于医学图像的自动评价。特别地,讨论了用于计算机辅助诊断报告准备的系统以及相关联的方法、计算机程序单元和计算机可读介质。
背景技术
来自医学(特别地放射学)图像中发现的观察或者异常的报告发现表示诊断放射学中的显著的努力量,并且需要时间并且从而引起成本。这些报告还必须以写入和/或数字地记录并且通常是患者的记录的部分。最近,由电子图像处理方法对这样的图像的自动分析已经进步。然而,这尚未或者几乎不改进报告,即,用于创建报告的流程。因此,现今听写和语音识别仍然广泛由放射科医师用于报告。为了降低需要的时间和/或成本,已经做出建议。
美国专利申请US 2009/0171871A1公开了通过利用不同学习方法的计算机辅助检测、查看和诊断。模糊系统被用于将发现映射到使用形式语言构建的诊断报告。
此外,美国专利申请US 2006/0274928A1讨论了一种用于自动分析医学图像并且计算诊断的系统。在由用户选择诊断时,电子地生成诊断报告。
此外,在美国专利申请US 2016/0350919A1中,一种深度学习模型被选择用于图像数据上的特定医学条件的自动化图像识别,并且应用于图像数据以识别特定医学条件的特性。为了报告,在图形用户接口中,可以预先选择报告内容。
此外,在美国专利US 9177110B1中,描述了用于经改进的报告交互和生成的各种系统和方法。
此外,美国专利申请US 2006/0190256A1描述了一种接收固有歧义用户输入的数字处理设备,其中,设备解释针对词汇的接收到的用户输入以产生诸如词语的候选。
然而,可以进一步改进这样的方法。
发明内容
本发明的目的是提供一种提供计算机辅助诊断报告准备的经改进(特别地更高效)的方式。本发明的目的由随附的独立权利要求的主题解决,其中,另外的实施例被并入在从属权利要求中。
根据本发明的第一方面,提供了一种用于计算机辅助诊断报告准备或者创建的系统,其中,报告准备基于通过医学或特别地放射学成像(诸如X射线、计算机断层摄影、磁共振成像、超声成像等)提供的医学图像数据的自动评价。因此,系统特别地适于电子地辅助放射科医师或其他内科医师准备或者创建例如已经通过评价所述图像发现的观察或异常上的报告。
所述系统包括:
-图像处理单元,其适于至少从所提供的图像数据读出图像内容。
在通过以上示范性列出成像方法之一创建一幅或多幅图像并且优选地将其提供给医疗保健管理系统之后,这些借助于计算机辅助图像处理来处理和/或分析,其中,可以使用手工图像分析特征或者深度学习算法。
在该描述中,如图像处理单元的系统单元可以通常被理解为控制器的一部分,诸如软件程序、软件程序的一部分或软件模块、或者对应地配置的电子电路,诸如图形处理器或卡等。尽管在该描述中使用所述单元的功能指定,但是这不必隐含其是个体的分离的单元。相反,功能中的若干可以概括在系统单元中。
-图像分析单元,其适于基于预定义或者经训练的特性来分析所读出的图像内容并且从所分析的图像内容导出分析结果。
换句话说,所述图像分析单元可能能够检测例如所读出的图像内容中的医学异常或者观察(诸如针对疾病的指示器)的特性。因此,其可以确定至少从所读出的图像内容导出的至少一个可能疾病。此外,元数据可以从所述图像读出并且也可以分析。
在图像处理期间或者之后,可以指示可能疾病的报告相关特性(特别地光学可检测观察和/或异常)可以通过图像分析或特别地通过使用手工图像特征或方法、计算机视觉技术或深度学习算法的疾病检测算法来确定。例如,可以执行良性或者恶性肿瘤表征、肺栓塞检测。
-显示设备,其具有或者适于将用于显示写入的文本、文本提示等的至少一个文本字段显示给用户,诸如放射科医师或者其他内科医师。
所述文本字段可以构成或者可以是表示报告掩模的图形用户接口的一部分。理想地,其邻近经处理和/或经分析的图像中的一个或多个显示,使得放射科医师可以当写入所述报告时查看图像或者图像序列。
-输入单元,其用于与所述用户交互以至少激活所述文本字段。
例如,所述输入单元可以是键盘、触摸板、包括麦克风的语音输入引擎等。在最简单的情况中,报告通过经由常规计算机键盘键入文本来创建。
-文本生成单元,其适于至少当所述用户经由所述输入单元激活所述文本字段时,在所述显示设备上向用户提供文本预测,例如,可个体选择的文本建议的视觉显示,其中,所述文本预测选自与所述分析结果相关联的文本模块的预定义集合。
在本描述中,文本预测可以被理解为分别在运行时或者在文本输入期间可个体选择的文本建议的视觉显示。通常,文本建议取决于情况和/或背景。所述文本建议可以包含特定建立医学术语或短语中的单个词语、短语、完整句子等,诸如发现的描述、推荐治疗、后续检查等。优选地,相应建议直接从所读出的图像内容导出,并且所述用户(即,放射科医师)可以返回参考对应的图像部分以便使得分析算法能够通过机器学习来学习文本模块,例如经由热图等。例如,所述文本模块可以使用标准化类别的有限集从公共可用数据库经由适当的数据接口填充或者学习以描述图像内的发现,诸如NIH(参见:https://www.nlm.nih.gov/mesh/)以及可商购的词典,诸如SnoMed(参见:http://www.snomed.org/snomed-ct)。当然,所述文本模块还可以由离线接口预定义或者学习。
取决于所述图像分析、所述报告的当前部分和/或最后用户输入,可以同时显示若干文本建议。在这种情况下,所述文本预测包含同时显示给所述用户(例如作为个体术语或短语的列表)的若干建议,其中,个体建议可以在相应行中显示。
本发明的有利效果在于,尤其是与手工报告(诸如听写、语音识别或无支持的键入)相比较,降低了报告时间效果。鉴于后台生成的报告还存在优点,因为归因于不足的图像识别的文本的潜在校正可以仍然在所述文本生成单元的运行时间期间考虑。因此,不管高自动化程度,仍然存在针对所述用户的介入的恒定可能性。这还降低所述报告的文本内容中的错误概率。另外,如果所述系统适于机器学习,则所述系统可以通过当无论如何被要求用于报告的文本输入时教导稳定地改进。
在实施例中,所述系统或特别地所述文本生成单元还适于当所述文本字段被激活但是仍然没有写入的文本内容时显示初始文本预测。
在这种情况下,所述文本字段可以仍然是空的但是被激活,例如建议并且显示要么适于所确定的可能疾病和/或疾病描述报告从经验开始的术语或短语。
任选地,所述系统或者特别地所述文本生成单元还可以适于响应于经由所述输入单元由所述用户对文本模块部分的输入而创建或者改变所显示的文本预测。
因此,所显示的文本预测对文本的输入连续地做出反应。所述文本输入和所述文本预测可以通过视觉突出显示在视觉上区分。
在实施例中,所述系统或特别地所述文本生成单元还可以适于当所述用户确认要通过经由所述输入单元的相应输入完成的显示的文本预测时,优选地自动完成所述文本字段中的写入的文本内容的所显示的文本预测。
因此,所建议的文本内容不必完全键入,但是可以借助于短输入确认(诸如单个键击)自动完成。
任选地,所述系统或者特别地所述文本生成单元还适于在以下情况中的至少一个下自动完成文本预测:
i)在第一情况下,所述文本字段仍然或在删除已经写入的文本内容之后完全未填充。响应于激活所述文本字段,初始文本预测被显示给所述用户。
所述初始文本预测可以是例如已经由所述系统标记为适当的介绍的报告的介绍部分,其中,这理想地在具有所确定的疾病的背景下可以从先前报告获悉。
ii)在第二情况下,所述用户可以至少将匹配预定义文本模块中的至少一个的初始字母录入到所述文本字段中。作为对录入所述字母并且优选地短确认的反应,匹配文本模块逐字或者逐句自动完成。
在没有提及自己的公式的情况下,所述报告的全部句子部分可以通过来自建议和/或短确认的选择自动完成。
iii)在第三情况下,所述用户录入匹配所述预定义文本模块中的至少一个的至少一个识别初始词语,其中,作为对录入所述词语的反应,匹配文本模块逐段落自动完成。
这还可以通过来自建议和/或短确认的选择自动完成全部段落。
在实施例中,所述文本预测包含利用与至少一类图像相关联的计算标识符标记的至少一个文本模块,并且其中,所述图像内容与相应的一类图像在计算上相关联。
给定标签与对应的一类图像之间的关联可以从根据先前或者当前报告工作流程先前标记的范例图像获悉或知悉。例如,所述系统还可以使用用于所述图像的分类的卷积神经网络(CNN),其中,这样的分类可以例如在正常胸部X射线图像与指示心肥大的胸部X射线图像之间进行区分。基于所述预测,分别地其概率,所述系统可以从术语和/或文本模块导出所述建议。在另外的运行中,所述系统可以从所述用户输入获悉,使得与归因于由一个或多个用户校正(即,偏离建议术语和/或文本模块的选择或者输入)初始计算的高概率初始地显示的所显示的建议的偏离改变概率的选择和/或显示。通过该学习过程,针对同一个分析图像做出的文本建议可以随时间改变。因此,给定标签与对应的一类图像之间的关联可以从用户输入获悉。
任选地,所述文本预测可以包含指示建议文本模块匹配所读出的图像内容和/或所确定的可能疾病的概率的显示部分。
例如,所述文本预测可以被显示为具有个体建议可以逐行选择的线的列表,其中,每个建议还以百分比给定概率。理想地,当显示时,行由概率排序,其由所述系统在后台中计算。概率指示器可以被布置在文本建议的显示之前或者之后。这还可以向所述用户示出在当前自动图像处理中,可以考虑若干可能诊断,并且因此,在这种情况下,由人类专家造成的更准确的分析可以是适当的。如果所述系统能够用于机器学习,针对更不或更加可能的文本建议的单个或者重复偏好可以使得所述系统未来采取不同的概率评分。当然,还可以存在图像分析单元的反馈以便还将其结果适配到所述用户的选择。
在实施例中,所述文本预测包含命名和/或描述所应用的医学成像方法的文本模块。
当一幅或多幅图像被加载到所述系统中和/或在所述系统中处理时,还可以发送采取什么成像方法和/或在什么条件下获取图像的信息。该信息然后可以被建议为针对用户的文本预测。
任选地,所述系统(特别地所述图像分析单元)还可以适于分析所提供的图像数据的图像质量,并且在被认为是含糊和/或不足的图像质量的情况下,所述文本预测包含至少包含针对要应用的额外或备选诊断方法或检查的免责声明和/或建议的文本模块。
因此,放射科医师可以指出利用使用的成像方法,无清楚诊断已经是可能的。或者,应注意到,另外的研究被推荐用于确认或者澄清。
在实施例中,所述系统还可以包括学习单元,其适于响应于经由所述用户单元的用户输入而改变和/或扩展文本模块的预定义集合。
所述学习单元可以特别地适于通过适当的机器学习算法,特别地通过反馈或通过改变这些系统单元的内容之间的关联在功能上调节上文所描述的系统单元中的每一个。因此,考虑至少键入字母和/或相应文本模块匹配相应图像内容的概率,所述系统可以连续响应于所述文本输入并且调节其文本建议。
此外,所述学习单元还可以适于改变和/或扩展预定义文本模块中的至少一个与所读出的图像内容之间的关联,即,映射。
如上文所解释的,所述系统可能能够进行机器学习,使得针对更不或更加可能的文本建议的单个或重复偏好可以使得所述系统为扩展或者修订的关联或者移除相应的预定义文本模块与相应的读出的图像内容之间的关联。因此,所述用户可以在没有复杂用户菜单导航的情况下在文本输入期间在图像内容识别和/或文本预测质量方面调节或者教导系统。
本发明的第二方面提供了一种用于基于通过上文所提到的医学成像技术所提供的医学图像数据对诊断报告进行计算机辅助准备的方法。所述方法可以优选地执行为计算机程序(的一部分),特别地借助于处理或者计算单元,诸如微处理器。
所述方法包括以下步骤:
-从所提供的图像数据读出至少图像内容。
该方法步骤可以包括借助于计算机辅助图像处理电子地处理和/或分析所述图像,其中,可以使用手工图像分析特征或者深度学习算法。
-将所读出的图像内容与预定义的一类图像相关联,其与至少一个特定医学或报告相关特性在计算上相关联。
在读出所述图像内容期间或者之后,所述系统可以分析并且分类其。在该背景下,所述系统可以确定从所述图像内容导出的至少一个特性是否至少与分配给一类图像的一个或多个特性匹配。当然,这样的特性还可以被分配给若干类。同样地,可以分配若干类性质。分配还可以在运行时间或者键入报告期间由上文所提到的学习单元改变或者适配。
-当所述用户至少激活在所述显示器上示出的文本字段时,将文本预测显示给准备显示器上的报告的用户,其中,所述文本预测至少包含利用与预定义的一类图像相关联的计算标识符标记的预定义文本模块。
然而,图像类不仅分配给所述图像内容的特性,而且分配给文本模块的标签和/或计算标识符,由此,所述文本模块命名或者描述从所述图像内容导出的特性或发现,诸如检测到的异常或者完整诊断等。
在实施例中,作为对经由输入单元的用户的输入的反应,所显示的文本预测的文本模块可以改变或者自动完成到写入的文本中,其然后示出在所述文本字段中,和/或非易失性地存储用于准备所述报告诊断。
例如,在键入期间改变的初始字母可以使得所建议的文本模块改变。因此,文本建议可以随着额外字母或者空格的输入连续改变,至少直到不再与给定文本模块一致。
根据第三方面,提供了用于控制根据第一方面的报告准备系统的计算机程序单元,其在由处理单元运行时适于至少执行第二方面的方法步骤。
根据第四方面,提供了一种存储有第三方面的计算机程序单元的计算机可读介质。
应当理解,所述系统、所述方法和所述计算机程序具有相似和/或相同的优选的实施例,尤其是如在从属权利要求中定义的。
应当理解,本发明的优选实施例还可以是从属权利要求或以上实施例的与相应的独立权利要求的任何组合。
本发明的这些和其他方面将参考在下文中所描述的实施例而显而易见并且得到阐述。
附图说明
在以下附图中:
图1示意性并且示范性地示出了根据第一方面的用于基于通过医学成像提供的医学图像数据的计算机辅助诊断报告准备的系统的实施例。
图2示意性并且示范性地示出了根据第一方面的文本生成单元的实施例。
图3示意性并且示范性地示出了显示文本预测的显示单元。
图4示意性并且示范性地示出了根据第一方面的学习单元的实施例。
图5示出了根据第二方面的方法的流程图。
附图标记列表
100系统
110数据库
120图像
130医学成像设备
140图像处理单元
150图像分析单元
160显示设备
161图形字段
170文本字段
171文本字段
172文本字段
173文本字段
174选择字段
175文本字段部分
180输入单元
190文本生成单元
191存储单元
200文本模块
210外部数据库
220学习单元
S1方法步骤
S2方法步骤
S3方法步骤
S4方法步骤
具体实施方式
图1示意性并且示范性地示出了用于基于通过医学成像提供的医学图像数据的计算机辅助诊断报告准备的系统100的实施例。特别地,系统100用于通过用户(未示出)(诸如放射科医师)来准备或者公式化发现的报告,即,实际的基于文本的报告。在该实施例中,系统100主要包括软件部件,其中,其由具有处理单元的个人计算机和可能地还具有处理单元(未示出)的服务器的硬件模块实施。个人计算机还可以是便携式计算机,诸如平板电脑等。例如,系统100的功能或者软件部件被提供为存储在计算机可读介质上的计算机程序单元。
第一,系统100自己或者例如系统100被嵌入的医疗保健或者放射学管理系统(未示出)(诸如Philips的PACS)包括可选的数据库110,例如在服务器上实施的,其中,存储了具有对患者的分配的来自医学成像设备130(诸如X射线探测器)的先前创建的图像120。数据库110例如经由数据网络连接到系统100或者下文所描述的个体系统单元。尽管系统100的系统单元在下文中被描述为个体单元,但是其可以共享公共硬件部件。因此,其主要彼此在功能上区分。
此外,系统100包括图像处理单元140,其适于至少从所提供的图像120电子地读出图像内容。在该实施例中,图像处理单元140使用图形处理器并且包括图像处理程序代码。作为结果,至少在相关图像内容在图像材料中被检测的程度上,图像处理是可能的。另外,例如,还可以读出元数据。为了处理相应图像120,系统100被配置为经由数据网络加载来自数据库110的图像120。
系统100还包括图像分析单元150,其适于基于预定义或者经训练的特性来分析读出的图像内容并且导出分析结果。在该实施例中,图像分析单元150使用与上文的图像处理单元140相同的硬件部件(即,图形处理器)并且因此在功能术语上主要区分。用于分析图像120的常见技术是图像内容中的特定特性、特征和条件的机器识别。由于这样的分析技术通常从上文所提到的现有技术(特别地从US 2016/0350919A1)已知,因此此处省略了更详细的描述。
此外,系统100包括具有用于将写入的文本显示给用户的至少一个文本字段170的显示设备160。在该实施例中,显示设备160包括显示图形用户接口的计算机监测器,其中,除了其他显示器和/或文本字段(参见图3)之外,文本字段170是图形用户接口的集成部分。除了硬件计算机监测器之外,显示设备160包括对应的计算机接口。
系统100还包括输入单元180,用于与用户交互以至少激活文本字段170。在该实施例中,除了对应的计算机接口之外,输入单元180包括计算机键盘和计算机鼠标。
此外,系统100包括文本生成单元190,其适于至少当用户经由输入单元180激活文本字段170时在显示设备160上向用户提供文本预测,其中,文本预测选自与图像分析单元150的分析结果相关联的文本模块200的预定义集合。
为了预定义文本模块200,系统100任选地连接到(外部)公共数据库210,其包含具有标准化分类的有限集合的多个医学词汇以以文本形式描述诸如图像120的图像内的发现。针对这样的数据库210的主导范例包括例如由NIH提出的术语(参见:https://www.nlm.nih.gov/mesh/)以及可商购的词典,诸如SnoMed(http://www.snomed.org/snomed-ct)。应注意到,文本模块200还可以离线学习或预定义,即,在系统100内,例如通过医疗保健或放射学管理系统的数据库或由用户个体地学习或预定义。
系统还包括学习单元220,其至少适于响应于经由输入单元180的用户输入而改变和/或扩展文本模块200的预定义集合。应注意,上文所描述的系统单元中的其他单元也可以由学习单元220教导。
在以下中,现在将更详细地描述以上系统单元中的一些的功能。
第一,参考图2和3,描述了文本生成单元190的功能。因此,如在图2中所指示的,文本生成单元190通常被配置为响应于输入单元180上的用户动作而基于显示单元160的文本字段170中的文本模块200的特定选择以文本输出(即,词语或句子建议)的形式生成文本预测。从而,文本生成单元190还考虑文本字段170的当前状态。出于该目的,文本生成单元190例如经由硬件驱动器或者软件模块具有到至少显示单元160、输入单元180、图像分析单元150和文本模块200被存储的存储单元191的若干直接或间接软件接口。实质上,可以区分文本字段170的两个不同当前状态,即,文本字段170仍然完全空但是经由输入单元180由例如鼠标点击激活,以及文本已经录入到激活文本字段170中。要显示在文本字段170中的文本模块200中的一个或多个的情况和背景敏感选择基于图像分析单元150的分析结果与文本模块200之间的先验关联,如下面更详细地描述的。由于取决于图像分析期间所识别的图像内容,文本模块200的选择改变。作为结果,在文本生成单元190的操作期间,所生成的文本预测包含当文本字段170激活但是空时与图像内容相关的初始文本预测,或者文本预测响应于经由输入单元180由用户对文本模块部分的输入而改变。
此外,文本生成单元190还被配置为当用户确认要经由输入单元由相应输入完成的所显示的文本预测时,自动完成文本字段170中的写入的文本内容的所显示的文本预测。在最简单的情况下,确认是通过按压键盘的相应键造成的单个命令确认。而且,在自动完成中,可以区分以下情况:
1、仍然地或在删除已经写入的文本内容之后,文本字段170完全未填充。在这种情况下,当用户已经激活文本字段170时,显示初始文本预测,例如,描述归因于通过图像分析单元150分析图像内容的发现的医学术语,如上文所描述的。在由用户确认时,所显示的文本然后写入到文本字段170。
2、用户至少将匹配预定义文本模块200中的至少一个的初始字母录入到文本字段170中。作为对录入字母的反应或者通过额外确认,匹配文本模块200逐词语或者逐句自动完成。
3、用户录入匹配预定义文本模块200中的至少一个的至少一个识别初始词语。作为录入词语和/或额外确认的反应,匹配文本模块200逐段落自动完成。
参考图3,可以更详细地描述文本生成单元190的文本预测。其示出了具有用于要创建的报告的输入掩模的显示单元160的示范性实施例,显示单元160包括如上文所解释的文本字段170、图形字段161和其他文本字段171、172、173。应注意到,其他文本字段的功能与文本字段170相同。这些文本字段170至173被分配给要创建的报告的特定部分并且因此被提供例如用于关于使用的成像方法的信息、图像120的视图、实现的图像质量等。基于该分配,文本生成单元190然后做出文本模块200的进一步的预先选择以当相应文本字段被激活和/或填充时显示。
图形字段161示出了图像120中的一幅图像,其由分析单元150先验分析,并且基于其来自文本模块200的选择输出用于当做出文本预测的建议时显示。在该范例中,文本字段171、172和173已经填充有文本,其现在可以使用仍然未填充的文本字段170的范例解释。用户已经点击文本字段170以利用鼠标激活并且然后写入字母C。作为结果,在弹出式选择字段174中,现在(仅)文本模块200的列表显示有初始字母C。如在图3中可以看到,除了相应文本模块200之外,图形字段161中示出的所显示的文本模块200与分析的图像120的适合的关联的概率还以百分比在文本字段部分175中显示。基于该概率,所显示的可选择的文本模块200按升序分类。所显示的文本模块200逐行个体布置,其中,全部句子也是可能的。可以选择列表的特定文本模块200,例如在通过使用方向键选择文本模块经由键盘键入并且通过按压键(诸如回车键)确认时。备选地,文本模块可以由鼠标选择。利用文本模块200的选择和确认,该文本模块自动完成到文本字段170中的写入和显示的文本中,如上文所解释的。
参考图4,现在更详细地描述学习单元220。
学习单元220例如经由硬件驱动器或者软件模块具有到至少输入单元180、图像分析单元150和存储模块200的存储单元191的若干直接或间接软件接口。其适于至少当其不再匹配显示为建议的任何文本模块200时识别经由输入单元180由用户输入的文本。系统然后将新术语或者新句子存储为存储的文本模块200的新文本模块和/或在现有文本模块200的情况下,如由分析单元150分析的图像内容的新分配。
在以下中,将参考图5中所示的流程图描述根据第二方面的方法。例如,方法可以用作用于上文所描述的系统100的控制方法。
在步骤S1中,读出来自所提供的图像120中的一幅或多幅的至少图像内容。这经由分析单元150完成,其任选地还确定图像质量并且做出从其选择文本模块200,例如包括指示报告中的不足的图像质量的免责声明。在步骤S2中,读出的图像内容与预定义的一类图像相关联或者被分配到预定义的一类图像,所述预定义的一类图像与可以是例如特定疾病的至少一个特定发现计算关联。在步骤S3中,当用户至少激活在显示器上示出的文本字段170时,在显示设备160上显示针对准备报告的用户的文本预测,其中,文本预测至少包含利用与预定义的一类图像相关联的计算标识符标记的预定义文本模块200之一。在任选步骤S4中,在选择文本模块200中的一个或多个和/或键入额外(自由)文本之后,报告完成并且可以存储、传送、打印等。
应当指出,本发明的实施例参考不同主题加以描述。具体而言,一些实施例参考方法类型的权利要求加以描述,而其他实施例参考设备类型的权利要求加以描述。然而,本领域技术人员将从以上和下面的描述中了解到,除非另行指出,除了属于一种类型的主题的特征的其他组合之外,涉及不同主题的特征之间的任何组合也被认为由本申请公开。
所有特征能够被组合以提供超过特征的简单加和的协同效应。
尽管已经在附图和前面的描述中详细说明和描述了本发明,但这样的说明和描述被认为是说明性或示范性的而非限制性的。本发明不限于所公开的实施例。
通过研究附图、说明书和从属权利要求,本领域的技术人员在实践请求保护的本发明时能够理解和实现所公开的实施例的其他变型。
在权利要求中,词语“包括”不排除其他单元或步骤,并且,词语“一”或“一个”并不排除多个。单个处理器或其他单元可以履行权利要求书中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施,但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应被解释为对范围的限制。

Claims (15)

1.一种用于基于通过医学成像(130)提供的医学图像数据(120)进行计算机辅助诊断报告准备的系统(100),包括:
图像处理单元(140),其适于从所提供的图像数据(120)至少读出图像内容,
图像分析单元(150),其适于基于预定义特性来分析所读出的图像内容并且导出分析结果,
显示设备(160),其具有用于将写入的文本显示给用户的至少一个文本字段(170、171、172、173),
输入单元(180),其用于与所述用户交互以至少激活所述文本字段(170、171、172、173),以及
文本生成单元(190),其适于至少当所述用户经由所述输入单元(180)激活所述文本字段(170、171、172、173)时在所述显示设备(160)上向用户提供文本预测,所述文本预测例如是能独立选择的文本建议的视觉显示,其中,所述文本预测是从与所述分析结果相关联的文本模块(200)的预定义集合选择的。
2.根据权利要求1所述的系统(100),
其中,所述系统(100)或者所述文本生成单元(190)还适于当所述文本字段(170、171、172、173)被激活但是仍然没有写入的文本内容时显示初始文本预测。
3.根据权利要求1或2所述的系统(100),
其中,所述系统(100)或者所述文本生成单元(190)还适于响应于由所述用户经由所述输入单元(180)对文本模块部分的输入而创建或者改变所显示的文本预测。
4.根据前述权利要求中的任一项所述的系统(100),
其中,所述系统(100)或者所述文本生成单元(190)还适于当所述用户确认要通过经由所述输入单元(180)的相应输入完成的所显示的文本预测时,自动完成对所述文本字段(170、171、172、173)中的写入的文本内容的所显示的文本预测。
5.根据权利要求4所述的系统(100),
其中,所述系统(100)或者所述文本生成单元(190)还适于在以下情况中的至少一个情况下自动完成所述文本预测:
i)所述文本字段(170、171、172、173)仍然完全未填充或者在删除了已经写入的文本内容之后完全未填充,其中,作为对激活所述文本字段(170、171、172、173)的反应,初始文本预测被显示,
ii)所述用户至少将与预定义文本模块中的至少一个相匹配的初始字母录入到所述文本字段(170、171、172、173)中,其中,作为对录入所述字母的反应,匹配文本模块(200)是逐词语或者逐句子地自动完成的,并且
iii)所述用户录入与所述预定义文本模块(200)中的至少一个相匹配的至少一个识别的初始词语,其中,作为对录入所述词语的反应,匹配文本模块是逐段落地自动完成的。
6.根据前述权利要求中的任一项所述的系统(100),
其中,所述文本预测包含利用与一类图像相关联的计算标识符标记的至少一个文本模块(200),并且其中,所述图像内容与相应的一类图像相关联。
7.根据前述权利要求中的任一项所述的系统(100),
其中,所述文本预测包含指示所建议的文本模块(200)与所读出的图像内容相匹配的概率的显示部分(175)。
8.根据前述权利要求中的任一项所述的系统(100),
其中,所述文本预测包含对所应用的医学成像方法进行命名和/或描述的文本模块(200)。
9.根据前述权利要求中的任一项所述的系统(100),
其中,所述系统(100)还适于分析所提供的图像数据的图像质量,并且在被认为不足的图像质量的情况下,所述文本预测包含至少包含针对要应用的额外或备选诊断方法或检查的免责声明和/或建议的文本模块(200)。
10.根据前述权利要求中的任一项所述的系统(100),
其中,所述系统还包括学习单元(220),所述学习单元适于响应于经由所述输入单元(180)的用户输入而改变和/或扩展文本模块(200)的所述预定义集合。
11.根据权利要求10所述的系统(100),
其中,所述学习单元(220)还适于改变和/或扩展所述预定义文本模块(200)中的至少一个与所读出的图像内容之间的关联。
12.一种用于基于通过医学成像提供的医学图像数据对诊断报告进行计算机辅助准备的方法,包括:
从所提供的图像数据至少读出(S1)图像内容,
将所读出的图像内容与预定义的一类图像进行关联(S2),所述预定义的一类图像与至少一个特定发现在计算上相关联,并且
当所述用户至少激活在所述显示设备(160)上示出的文本字段(170、171、172、173)时,将文本预测(S3)显示给对显示设备(160)上的所述报告进行准备的用户,其中,所述文本预测至少包含利用与所述预定义的一类图像相关联的计算标识符标记的预定义文本模块(200)。
13.根据权利要求12所述的方法,
其中,作为对经由输入单元的所述用户的输入的反应,所显示的文本预测的所述文本模块(200)被改变或者自动完成到写入的文本中,所述写入的文本然后被示出在所述文本字段(170、171、172、173)中并且/或者被非易失性地存储以用于准备所述诊断报告。
14.一种用于控制根据权利要求1至11中的任一项所述的系统(100)的计算机程序单元,所述计算机程序单元当由处理单元运行时适于执行根据权利要求12或13所述的方法的步骤。
15.一种存储有根据权利要求14所述的计算机程序单元的计算机可读介质。
CN201880085371.0A 2018-01-02 2018-12-24 自动诊断报告准备 Pending CN111557032A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18150011.7 2018-01-02
EP18150011.7A EP3506279A1 (en) 2018-01-02 2018-01-02 Automatic diagnosis report preparation
PCT/EP2018/086839 WO2019134872A1 (en) 2018-01-02 2018-12-24 Automatic diagnosis report preparation

Publications (1)

Publication Number Publication Date
CN111557032A true CN111557032A (zh) 2020-08-18

Family

ID=60937603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880085371.0A Pending CN111557032A (zh) 2018-01-02 2018-12-24 自动诊断报告准备

Country Status (5)

Country Link
US (1) US20200411150A1 (zh)
EP (2) EP3506279A1 (zh)
JP (1) JP7203119B2 (zh)
CN (1) CN111557032A (zh)
WO (1) WO2019134872A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159134A (zh) * 2021-03-29 2021-07-23 宁波市科技园区明天医网科技有限公司 基于乳腺结构化报告的智能化诊断评估方法
CN115188448A (zh) * 2022-07-12 2022-10-14 广州华见智能科技有限公司 一种基于脑电波的中医医生诊疗经验记录方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11393579B2 (en) * 2019-07-25 2022-07-19 Ge Precision Healthcare Methods and systems for workflow management
WO2021107142A1 (ja) * 2019-11-29 2021-06-03 富士フイルム株式会社 文書作成支援装置、方法およびプログラム
WO2021167018A1 (ja) * 2020-02-18 2021-08-26 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム
KR102513398B1 (ko) * 2021-01-29 2023-03-24 서울대학교병원 뇌파 신호를 정량적으로 분석한 결과를 이용한 뇌파 판독 소견 작성 장치 및 방법
US11923054B2 (en) * 2021-07-21 2024-03-05 Utech Products, Inc. AI platform for processing speech and video information collected during a medical procedure

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030033288A1 (en) * 2001-08-13 2003-02-13 Xerox Corporation Document-centric system with auto-completion and auto-correction
US20060190256A1 (en) * 1998-12-04 2006-08-24 James Stephanick Method and apparatus utilizing voice input to resolve ambiguous manually entered text input
US20060274928A1 (en) * 2005-06-02 2006-12-07 Jeffrey Collins System and method of computer-aided detection
US20090274384A1 (en) * 2007-10-31 2009-11-05 Mckesson Information Solutions Llc Methods, computer program products, apparatuses, and systems to accommodate decision support and reference case management for diagnostic imaging
US20110019882A1 (en) * 2007-09-28 2011-01-27 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US20140278448A1 (en) * 2013-03-12 2014-09-18 Nuance Communications, Inc. Systems and methods for identifying errors and/or critical results in medical reports
US9177110B1 (en) * 2011-06-24 2015-11-03 D.R. Systems, Inc. Automated report generation
US20160350484A1 (en) * 2015-05-27 2016-12-01 Samsung Sds Co., Ltd. Method and apparatus for managing medical metadatabase
US20170091413A1 (en) * 2015-09-29 2017-03-30 Panasonic Intellectual Property Management Co., Ltd. Method and recording medium
US20170192991A1 (en) * 2015-12-30 2017-07-06 Google Inc. Auto-completion of widely shared search queries

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8296247B2 (en) 2007-03-23 2012-10-23 Three Palm Software Combination machine learning algorithms for computer-aided detection, review and diagnosis
JP2009069893A (ja) 2007-09-10 2009-04-02 Fuji Xerox Co Ltd 診断支援装置及びプログラム
JP5486364B2 (ja) 2009-09-17 2014-05-07 富士フイルム株式会社 読影レポート作成装置および方法並びにプログラム
US20130132119A1 (en) * 2011-11-23 2013-05-23 Advanced Medical Imaging and Teleradiology, LLC Report generator for a medical image reading system
JP6353382B2 (ja) 2015-02-25 2018-07-04 富士フイルム株式会社 特徴量管理装置とその作動方法および作動プログラム、並びに特徴量管理システム
US9846938B2 (en) 2015-06-01 2017-12-19 Virtual Radiologic Corporation Medical evaluation machine learning workflows and processes
JP6448588B2 (ja) 2016-08-25 2019-01-09 キヤノン株式会社 医療診断支援装置、医療診断支援システム、情報処理方法及びプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060190256A1 (en) * 1998-12-04 2006-08-24 James Stephanick Method and apparatus utilizing voice input to resolve ambiguous manually entered text input
US20030033288A1 (en) * 2001-08-13 2003-02-13 Xerox Corporation Document-centric system with auto-completion and auto-correction
US20060274928A1 (en) * 2005-06-02 2006-12-07 Jeffrey Collins System and method of computer-aided detection
US20110019882A1 (en) * 2007-09-28 2011-01-27 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US20090274384A1 (en) * 2007-10-31 2009-11-05 Mckesson Information Solutions Llc Methods, computer program products, apparatuses, and systems to accommodate decision support and reference case management for diagnostic imaging
US9177110B1 (en) * 2011-06-24 2015-11-03 D.R. Systems, Inc. Automated report generation
US20140278448A1 (en) * 2013-03-12 2014-09-18 Nuance Communications, Inc. Systems and methods for identifying errors and/or critical results in medical reports
US20160350484A1 (en) * 2015-05-27 2016-12-01 Samsung Sds Co., Ltd. Method and apparatus for managing medical metadatabase
US20170091413A1 (en) * 2015-09-29 2017-03-30 Panasonic Intellectual Property Management Co., Ltd. Method and recording medium
US20170192991A1 (en) * 2015-12-30 2017-07-06 Google Inc. Auto-completion of widely shared search queries

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159134A (zh) * 2021-03-29 2021-07-23 宁波市科技园区明天医网科技有限公司 基于乳腺结构化报告的智能化诊断评估方法
CN115188448A (zh) * 2022-07-12 2022-10-14 广州华见智能科技有限公司 一种基于脑电波的中医医生诊疗经验记录方法

Also Published As

Publication number Publication date
EP3735697A1 (en) 2020-11-11
JP2021508137A (ja) 2021-02-25
US20200411150A1 (en) 2020-12-31
JP7203119B2 (ja) 2023-01-12
EP3735697B1 (en) 2022-04-06
EP3506279A1 (en) 2019-07-03
WO2019134872A1 (en) 2019-07-11

Similar Documents

Publication Publication Date Title
EP3735697B1 (en) Automatic diagnosis report preparation
CN110033859B (zh) 评估患者的医学检查结果的方法、系统、程序和存储介质
US10929420B2 (en) Structured report data from a medical text report
JP6749835B2 (ja) コンテキスト依存医学データ入力システム
CN110097951B (zh) 根据医学文本报告的图像生成
WO2018236497A1 (en) SCANNED ASSISTED EXAMINATION SYSTEM
JP7010946B2 (ja) 健康状態の計算解析を容易化するシステム及び方法
CN111696642A (zh) 用于生成医学图像中的异常的描述的系统和方法
US20040193036A1 (en) System and method for performing probabilistic classification and decision support using multidimensional medical image databases
CN111512322B (zh) 使用神经网络
JP2015524107A (ja) 患者情報を臨床基準にマッチングするシステム及び方法
US9396505B2 (en) Caregiver interface for electronic medical records
CN115516571A (zh) 一种影像学研究报告生成系统
CN113243033A (zh) 综合诊断系统和方法
CN111986182A (zh) 辅助诊断方法、系统、电子设备及存储介质
US20240020342A1 (en) System and method for prioritization and presentation of heterogeneous medical data
US20190252061A1 (en) System and architecture for seamless workflow integration and orchestration of clinical intelligence
US20200294655A1 (en) System and method to automatically prepare an attention list for improving radiology workflow
US20240006039A1 (en) Medical structured reporting workflow assisted by natural language processing techniques
CN113329684A (zh) 注释支持装置、注释支持方法及注释支持程序
US20210357634A1 (en) Methods and systems for processing documents with task-specific highlighting
US20230230678A1 (en) Ad hoc model building and machine learning services for radiology quality dashboard
US20240020740A1 (en) Real-time radiology report completeness check and feedback generation for billing purposes based on multi-modality deep learning
EP4123656A1 (en) Estimating relevance of parts of medical records
EP4273796A1 (en) Processing spectral image data generated by a computed tomography scanner

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination