CN111223556A - 集成医学图像可视化和探索 - Google Patents

集成医学图像可视化和探索 Download PDF

Info

Publication number
CN111223556A
CN111223556A CN201911156535.7A CN201911156535A CN111223556A CN 111223556 A CN111223556 A CN 111223556A CN 201911156535 A CN201911156535 A CN 201911156535A CN 111223556 A CN111223556 A CN 111223556A
Authority
CN
China
Prior art keywords
evaluation
interest
region
image data
tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911156535.7A
Other languages
English (en)
Other versions
CN111223556B (zh
Inventor
斯文·科勒
克里斯蒂安·蒂特延
马库斯·特勒
斯特芬·魏歇特
约翰内斯·贝克
费利克斯·嫩萨
马蒂亚斯·诺伊格鲍尔
费利克斯·里特尔
西尔维·格罗斯曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Siemens Healthcare GmbH
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV, Siemens Healthcare GmbH filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN111223556A publication Critical patent/CN111223556A/zh
Application granted granted Critical
Publication of CN111223556B publication Critical patent/CN111223556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04804Transparency, e.g. transparent or translucent windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及集成医学图像可视化和探索。用于支持医学图像数据集的评估的系统包括接口单元,其被配置成向用户提供医学图像数据集的显示,可视化评估工具,评估工具适于可移动地布置在所显示的图像数据集中,并关于显示的图像数据集提供至少两个评估功能;对评估功能的至少一个结果可视化;接收与以下相关的用户输入:将医学图像数据集中的评估工具导航到感兴趣区域并选择评估功能中至少一个,系统包括计算单元,其被配置成处理用户输入以将医学图像数据集中的评估工具导航到感兴趣区域,执行至少一个评估功能,包括考虑感兴趣区域内图像数据,生成评估功能的该结果的可视化,至少一个结果适于被可视化为对所显示的图像数据集和/或评估工具的覆盖。

Description

集成医学图像可视化和探索
技术领域
本发明涉及用于医学图像可视化和探索例如计算机断层摄影或磁共振断层摄影图像的可视化和探索的方法和系统。本发明还涉及计算机程序,如果在计算机上执行该计算机程序,则该计算机程序执行本发明方法的步骤,并且本发明还涉及其上存储有这样的计算机程序的电子可读存储介质。
本发明还涉及先前的欧洲专利申请EP 18189090和EP 18160372,并且它们的技术教导完全并入本文中。
背景技术
在患者的检查过程中,探索通过现代放射成像模态获取的成百上千的医学图像是耗资的,同时又是费力的。这是因为医学图像需要检查不同的解剖学上的位置,还需要利用不同的成像对比度以识别可疑的结构或区域。这些发现还需要解释以充分评估临床相关性。用于潜在可疑发现的自动检测过程以及自动诊断不断取得进步。但是,这些进步仅适用于次级读取,即,人类专家仍然必须最终判断临床相关性。
用户疲劳的一个主要原因是为了审查不同的信息源(图像、文本、数字)而必需跨多个用户接口(UI)进行频繁的切换。这些资源通常分布在不同的屏幕上。结果是频繁的眼睛移动、关注于不同的UI元素或通过应用鼠标单击交互来执行UI导航任务。用户需要面对具有不同亮度和对比度的多个屏幕区域。因此,放射科医生通常在黑暗的阅览室里工作,宁愿继续专注于审查和解释图像。理想情况下,应该避免任何干扰。
研究表明,用户的眼睛大部分时间(对于许多检查>50%)不是聚焦于图像,而是聚焦在审查或编写文本信息例如临床报告的屏幕上。
已知针对放射科医生的特定使用情况或个人偏好来优化图像和/或信息/工具的连接或集成。例如,乳腺X线摄影读取工作站在5k监测器上显示高分辨率图像,从而以电子方式模仿应用于经典灯箱的常规放大镜。高分辨率显示使得放射科医生能够识别并且详细检查例如微钙化。一些专门用于随访检查的肿瘤学应用允许标记先前已报道过的位置、病灶。其他应用在需要的地方提供基于手势的工具选择。但是,改进仅用于特定过程或单独的检查/报告步骤。
发明内容
因此,本发明的目的是提供一种计算机辅助的图像评估和/或分析工具,其允许直观和预先地操作放射用户接口。具体地,本发明的目的是提供避免在若干应用和/或屏幕和/或图形接口之间进行切换的装置和/或方法。
该目的通过用于支持医学图像数据集的评估的系统来解决。该目的还通过相应的方法、相应的计算机程序产品和计算机可读介质来解决。
在下文中,关于要求保护的装置以及关于要求保护的方法描述了根据本发明的技术方案。本文描述的特征、优点或替选实施方式同样可以分配给其他要求保护的对象,反之亦然。换句话说,可以通过关于装置描述或要求保护的特征来改进解决本发明方法的权利要求。在这种情况下,例如,该方法的功能性特征由该装置的目标单元或元件实施。
因此,本发明的第一方面涉及一种用于支持医学图像数据集的评估的系统。该系统包括若干单元。该系统包括接口单元和计算单元。
该接口单元被配置成:
——向用户提供医学图像数据集的显示,
——对评估工具进行可视化,其中,评估工具适于
——可移动地布置在显示的图像数据集中,并且
——关于所显示的图像数据集提供至少两个评估功能,
——对评估功能的至少一个结果进行可视化,
——接收与以下相关的用户输入
——将医学图像数据集中的评估工具导航到感兴趣区域,并且
——选择评估功能中的至少一个。
该计算单元被配置成:
——处理用户输入,用于
——将医学图像数据集中的评估工具导航到感兴趣区域,
——执行至少一个评估功能,
其中,执行至少一个评估功能包括考虑感兴趣区域内的图像数据,以及
——生成评估功能的至少一个结果的可视化。
本发明的另一方面涉及一种用于支持对医学图像数据集的评估的计算机实现的方法。该方法包括几个步骤。
第一步骤涉及向用户提供医学图像数据集的显示。另一步骤涉及对评估工具进行可视化,以适于
——可移动地布置在显示的图像数据集中,并且
——关于所显示的图像数据集提供至少两个评估功能。
另一步骤涉及接收与以下有关的用户输入:将医学图像数据集中的评估工具导航到感兴趣区域,并且选择评估功能中的至少一个。另一步骤涉及处理用户输入,用于
——将医学图像数据集中的评估工具导航到感兴趣区域,以及
——执行至少一个评估功能。
另一步骤涉及生成评估功能的至少一个结果的可视化。另一步骤涉及对评估功能的结果进行可视化。
根据本发明的两个方面的特征在于,执行至少一个评估功能包括:至少关于感兴趣区域内的图像数据执行评估功能。此外,本发明的特征在于,至少一个结果被呈现给用户,作为对所显示的图像数据集和/或评估工具的覆盖。
换句话说,本发明的思想是为用户提供一种易于使用的图像评估/分析工具,其可以被任意地定位在所显示的图像数据集之中或之上或上方。因此,评估/分析工具允许用户通过直接将工具移动到该位置来在显示的图像体积中容易地选择感兴趣的位置或区域。当评估工具被定位在感兴趣区域处时,其适于提供多个不同的评估/分析功能供用户选择,其中,评估功能中的每一个均适于参考所选择的位置内的图像数据来提供评估/分析结果。此外,本发明提供了图形用户接口,其适于对医学图像数据、评估功能和评估结果的调色板(palette)进行并行可视化。
计算单元可以实现为数据处理系统或数据处理系统的一部分。这样的数据处理系统可以例如包括云计算系统、计算机网络、计算机、平板计算机、智能电话等。计算单元可以包括硬件和/或软件。硬件可以是例如处理器系统、存储器系统及其组合。硬件可以由软件进行配置和/或可由软件进行操作。通常,所有单元、子单元或模块可以例如经由网络连接或相应的接口至少暂时地彼此进行数据交换。因此,各个单元可以彼此分开放置,特别地,评估单元可以与接口单元分开放置。
接口单元可以理解为移动设备、平板计算机、显示屏,或者可替选地理解为包括其显示屏的(放射)工作站。接口单元使得能够为用户输出数据,并且适于接收用户输入。此外,接口单元可以被配置成包括用于经由互联网连接与本地服务器或中央网络服务器进行数据交换的通信单元。
这样,计算单元和接口单元可以如此在物理上彼此分离,并且优选地可以位于不同的位置。然而,可替选地,两个单元可以实现为至少部分地物理集成。
医学图像数据集可以是二维或三维医学图像数据集,该二维或三维医学图像数据集提供例如二个或三个空间维度的图像数据,因此对应于图像切片或体积。可替选地,三维图像数据集提供具有两个空间维度和另一时间维度的图像数据。医学图像数据集可以同样对应于包括三个空间维度和另一时间维度的四维图像数据集。可替选地,医学图像数据集可以包括两个或三个空间维度和一个附加维度,例如,图像对比度或(平均)X射线能量(例如双重计算机断层摄影图像)。医学图像体积可以在例如包含患者身体部位的三维图像数据或二维图像数据的意义上描绘患者的身体部位。可以使用医学成像模态来获取这样的医学数据体积。医学成像模态对应于用于生成或产生医学图像的系统。例如,医学成像模态可以是如此众所周知的计算机断层摄影系统、磁共振系统、血管造影(或C臂X射线)系统、正电子发射断层摄影系统等。具体来说,计算机断层摄影(CT)是一种广泛使用的成像方法,并且利用由特殊旋转仪器产生和检测的“硬”X射线。磁共振成像(MRI)是一种利用磁场对质子运动的影响进行诊断的一种先进技术。在MRI机器中,检测器是天线,并且信号通过计算机进行分析,以创建人体任何部位的内部结构的详细图像。医学图像数据集可以包括多个,即至少两个,优选地,数十个或数百个图像切片(在时间上或在空间上),每个切片描绘患者的成像身体区域的横截面或平面或层。这些层可以等距地间隔开并且垂直于优选的观察方向进行取向。换句话说,医学图像数据集可以是以空间或时间或其他维度的图像堆叠。优选地,图像数据集可以包括例如通过对切片中包含的解剖结构信息进行插值而生成连续的(三维)图像信息。
首先,向用户提供医学图像数据集的显示。换句话说,医学图像体积经由接口单元被呈现给用户或对用户可视化。接口单元因此可以包括输出单元,其被配置成显示医学图像数据集,即,生成医学图像数据集的视觉呈现。因此,接口单元包括至少一个(但优选地一个)显示屏。显示屏优选地具有足够高的分辨率和其他显示特性,使得显示屏能够用于医学读取目的。显示医学图像数据集可以包括:将图像堆叠的一个切片(表示特定的解剖位置或时间点)或图像切片的投影图像显示在预选的图像平面上。医学图像数据集可以逐个切片地滚动,或者可以根据用户请求将投影平面调整为另一视角。图像数据集的显示优选地包括以预定的灰度级例如用于CT图像的Houndsfield单位来渲染图像元素条目。通常,应用于图像生成的成像模态和协议定义了最佳的因此预定义的灰度以及灰度窗口。
本发明还经由显示屏提供评估和/或分析工具的可视化。该工具优选地具有预定的尺寸和形状。但是,两者都可以基于相应的用户请求根据用户喜好或所显示图像数据集的特定要求进行调整,或者可以自动进行调整。一旦启动图像评估软件或应用和/或由用户请求或启动医学图像数据集的显示,就可以自动对评估工具进行可视化。然而,评估工具也可以被去激活,即,根据用户请求隐藏和/或(重新)激活。评估工具可以最初定位在预设的默认位置,例如,所显示的图像数据集的一个角或中心处。
根据本发明的优选实施方式,评估工具适于可视化作为对所显示的图像数据集的覆盖。评估工具被可视化在所显示的图像数据集的顶部,即,作为对所显示的图像数据集的叠加。精确地,评估工具在评估工具所处的位置处至少暂时且至少部分地覆盖或隐藏图像元素,即图像像素。换句话说,所显示的医学图像数据集可能至少暂时在评估工具所覆盖的地方不可见。因此,有利地,在所显示的图像数据集的背景下将本发明的评估工具提供给用户。因此,本发明避免了在隐藏良好的评估菜单或者甚至其他读取或评估应用中对评估功能进行冗长地搜索。
本发明的评估工具适于移动,即,该工具可以在所显示的图像数据集上移动。换句话说,工具位置可以在图像评估的过程例如放射读取过程中改变。优选地,工具位置可以在不同的感兴趣区域之间改变。该运动优选地根据用户请求(即用户输入)而发生。因此,接口单元包括适于接收用户输入的输入单元。输入单元可以优选地包括用于操纵光标的鼠标,该光标还经由显示屏被显示为对所显示的图像数据集和评估工具的覆盖。例如,可以通过在呈现该工具的屏幕像素上单击鼠标并移动鼠标来执行评估工具的移动。当然,替选的输入单元如触摸板、触摸屏、麦克风和/或键盘同样是可能的,并且在本发明的范围内。综上所述,接口单元还可以理解为适于接收关于至少一个所选择的感兴趣的位置或区域和/或要显示的图像切片或投影图像的用户输入的设备。
因此,计算单元可以包括导航单元,该导航单元被配置成将所显示的医学图像数据集中的评估工具导航到感兴趣区域。
最优选地,评估工具可以移动到的感兴趣区域包括至少一个异常或至少可疑的解剖和/或结构特征,例如,囊肿或病变或病理,其需要详细分析以获得深刻的放射结果。优选地,感兴趣区域覆盖表示无疑区域的附加相邻组织,以用于提供附加上下文信息。感兴趣区域可以具有任意形状,优选地,感兴趣区域是圆形或方形。然而,感兴趣区域不一定覆盖可疑的外观或结构。可替选地,感兴趣区域可以对应于任何用户选择的图像部分。感兴趣区域(ROI)也可以是例如根据先前的研究预先已知,或根据最初自动和/或用户图像分析或目视检查来确定/识别。感兴趣区域优选地包括多个图像元素,即,所显示的图像切片或投影图像中的像素。因此,ROI可以是二维的。可替选地,ROI可以是三维的,例如,通过将所显示的切片中的ROI的外轮廓传播到未显示的其他切片。
优选地,可以在读取过程中将评估工具移动到多个感兴趣区域。因此,用户或异常检测单元(如下所述)可以在读取过程中通过重新定位(经由用户输入)将评估工具从ROI移动到ROI。由此,如下所述,不仅对一个图像特征而且对多个图像特征可以进行有利地分析和/或处理。
本发明的评估工具的特征在于,其提供至少两个可以应用于所显示的图像数据集的评估功能。评估功能可以是任何种类的计算图像数据分析操作,例如,识别、比较、过滤、减去、添加、着色、轮廓绘制、提取单个图像元素条目。评估功能同样可以是根据另一对比度设置或X射线能量通道来选择并显示图像日期设置。当对评估工具进行可视化时,可以提供至少两个(优选地更多的)评估功能供用户选择。因此,本发明使得能够生成和/或获取与所显示的图像数据集(即所选择的感兴趣区域)有关的多个信息,而不需要访问除了活动用户接口以外的数据源(资源)。
在用户选择评估功能之一时,评估工具通过以下方式来执行至少一个评估功能:将分析功能应用于至少一个图像元素条目,例如灰度值,优选地,其被应用于ROI中的多个条目。换句话说,每个评估功能特定用于感兴趣区域内的图像内容。另外,至少一个评估功能可以包括进一步考虑感兴趣区域之外的图像元素条目。
因此,计算单元可以包括评估单元,该评估单元被配置成对感兴趣区域内的图像元素条目执行至少一个评估功能。换句话说,本发明基于这样的事实:所选择的评估功能考虑包括在感兴趣区域中的至少一个图像元素条目。这导致了特定用于感兴趣区域的评估结果。
优选地,所选择的评估功能基于所选择的位置中包括的多个图像元素,即,显示的堆叠切片中的所选择的位置。然而,评估功能可以同样考虑不包括在所选择的位置中甚至不包括在所显示的图像切片中的其他图像元素。综上所述,本发明的计算单元根据经由接口单元接收到的用户请求来执行评估功能,用于选择至少一个要执行的评估功能。
评估结果可以采用经调整或操纵的图像元素条目的形式。然而,评估结果可能同样对应于某种分析结果,其中,对图像元素条目进行分析,图像元素条目例如显示病变生长的时间曲线,或从图像元素条目得出的某些值,如大小或直径。
该计算单元还可以包括可视化单元,该可视化单元被配置成生成(对于用户)评估功能的至少一个结果的可视化。该结果还可以经由接口单元的显示屏向用户显示。结果显示被实现为对所显示的图像数据集和/或评估工具的覆盖、批注或叠加。换句话说,评估结果也可以在同一图形用户接口内对用户可视化。评估结果可以包括整数、浮点数或甚至布尔变量,或基于数字或变量的图形图或曲线。在可视化的步骤中,例如,可以将评估结果值变换或转换为可以容易地由人眼评估的表示形式。换句话说,基于结果值生成(计算)可视化(可视表示)。此外,可视化的步骤可以包括平滑相似度的步骤,以便允许更均匀的可视化。
因此,可以以经调整的图像元素条目的形式在视觉上呈现评估结果。可替选地,评估结果可以以文本或图形覆盖和/或附加评估结果窗口的形式在视觉上呈现,例如,用于呈现叠加在所显示的医学图像数据集上的视频。
因此,本发明将图像数据显示、多个图像数据分析/评估选项(每个都针对所选择的感兴趣区域特定或定制)以及评估结果的显示组合在一个并且相同的图形用户接口中。因此,本发明避免了用户访问或切换到几个不同的数据源(资源),例如,其他读取应用、其他用户接口、视图或者甚至其他(远程)数据库以获得评估结果。这不仅增加了用户读取时的舒适度,而且提高了读取效率。
计算单元和接口单元都还可以包括通信单元,通信单元适于在彼此之间进行双向数据交换,例如,关于经由显示屏要向用户可视化的所选择的位置或评估功能或评估结果的用户请求。计算单元还可以适于执行数据交换,优选地,经由通信单元经由互联网连接从本地或中央服务器进行数据检索。
不言而喻,本发明不限于针对一个读取过程的一个感兴趣区域。当针对同一图像数据集内的多个感兴趣区域重复多次本发明时,实现了本发明的全部益处。
本发明的另一实施方式涉及一种系统,其中,接口单元还适于将评估工具显示为被定位为对感兴趣区域的覆盖的圆形评估工具。环形或圆形有利地考虑了多个可疑或异常结构(例如癌性病变、肺结节或囊肿)的典型外观。因此,评估工具的形状可以有利地适合于被检查的病变或病理结构的形状。但是,评估工具的形状可以可替选地调整为其他形状,例如正方形或椭圆形。换句话说,评估工具的形式可以调整为最佳地对应于包括在所选择的位置中的病变的形状。
本发明的另一实施方式涉及一种系统,其中,圆形工具在其中心处包括适于覆盖感兴趣区域的透明圆形视场,并且在其圆周处包括被细分成多个环段的可旋转环,其中,每个环段实施评估功能,其中,可以通过旋转可旋转环以使得与评估功能相对应的环段处于激活位置来激活评估功能。该实施方式有利地提供了透明的观察区域,其允许检查所显示的图像数据集的图像内容,尽管评估工具已经定位在感兴趣区域。优选地,观察区域使得能够看到感兴趣区域内的病变或可疑结构。这使得用户能够在检查感兴趣区域的同时选择评估功能,该实施方式还使得能够在检查感兴趣区域的同时连续选择多于一个评估功能。因此,避免了用户接口和/或屏幕的费时且繁琐的改变。
不管所提供的评估功能的数量,多个评估功能分布在圆形工具的圆周上相应数量的环段上。在任何情况下,这种布置都使得被检查的解剖结构能够连续可见。
使环旋转(例如,经由激活的鼠标移动或经由触摸板),直到与所选择的功能对应的环段到达与用于选择和/或激活评估功能的直观、快速、简便的方法对应的激活位置为止。当然,在不脱离本发明的范围的情况下,替选功能选择机制也是可能的。
本发明的实施方式涉及一种系统,其中,至少一个环段还被配置成在激活时生成交互式操作菜单,其包括多个与评估功能有关的操作。优选地,操作菜单的生成还包括操作菜单可视化为对评估工具和/或所显示的图像数据集的覆盖,同样避免了打开或访问其他用户接口。
本发明的实施方式涉及一种系统,其中,计算单元还被配置成检测图像数据集中的至少一个异常。换句话说,计算单元适于将至少一种计算机辅助检测(CAD,也是计算机辅助诊断)算法自动地应用于图像数据集。CAD算法适于处理数字医学图像数据集,以识别非典型结构或外观,以便协助用户解释医学图像并进行(放射)诊断。CAD算法通常基于人工智能,例如,它们应用卷积神经网络。自动识别异常的可选步骤可以与其他本发明步骤分离。优选地,可以在所有其他步骤之前执行识别异常的步骤,而不是与其他评估步骤所基于的准备图像预处理步骤相关。
本发明的实施方式涉及一种系统,其中,接口单元还适于突出显示所检测到的异常。换句话说,根据该实施方式,在所显示的图像数据集中针对用户视觉上强调了由CAD算法自动检测到的异常。可以通过用颜色或异常灰度值来替换图像元素的灰度值或仅被识别为属于异常的各个轮廓图像元素的灰度值来实现突出显示。可替选地,可以利用文本或符号标签对异常进行可视化。从而,用户可以在滚动图像数据集并相应地定位评估工具的同时轻松地识别异常。
本发明的优选实施方式涉及一种系统,其中,接口单元被配置成将评估工具自动地定位为对突出显示的异常的覆盖。因此,当打开或注视读取应用或相应的图形用户接口时,图像数据集将被可视化,以使得用于特别是对于没有经验的用户可以在与初始视觉引导相对应的评估工具的视场内第一眼看到就可以看到异常。该过程还意味着图像数据集被显示成使得异常被聚焦。例如,可以选择显示包含异常的代表性截面图的图像切片,或者包含对异常作出贡献的所有图像堆叠切片的投影的投影图。
在该实施方式中,用户可以立即开始选择与所显示的感兴趣区域有关的评估功能。
本发明的另一实施方式涉及一种系统,其中,执行至少一个评估功能包括生成作为结果评估数据和/或附加数据,其中,评估数据基于感兴趣区域内的图像数据,并且附加数据至少与感兴趣区域内的图像数据有关,并至少部分地从数据源中检索。换句话说,评估结果可以包括使用在感兴趣区域内的所显示图像的至少一个(优选地多个)图像元素值计算出的数据或值。评估结果可以可替选地包括与感兴趣区域(即至少与感兴趣区域内的一个图像元素条目优选地与多于一个条目)有关的附加数据。因此,附加数据不是在读取过程中计算的,而是从数据源检索的。然而,数据检索可以包括提取和/或搜索特定用于至少一个图像元素条目的附加数据的步骤。例如,可以基于感兴趣区域中病变的特定形状或基于病变相对于界标位置的位置来搜索附加数据。数据源可以是例如医院的本地图像数据库,如PACS(图片存档和通信服务器),或在计算时集成的本地存储系统或云中的(图像)存储单元、医院或放射信息系统(HIS、RIS)。替选的数据源可以是外部数据源,例如外部数据库,例如Thieme数据库、医学知识数据库或类似的患者搜索引擎,例如专利申请EP18189090中所描述的。可替选地,评估结果可以包括评估数据和附加数据或两者的组合。因此,可能存在至少一个评估功能,该评估功能基于对感兴趣区域内的图像元素条目和附加数据两者的计算来生成评估结果。该实施方式涵盖了可以根据本发明应用的评估功能的广泛范围。
如上所述,附加数据和评估数据和/或图像数据即图像元素条目可以一起进行进一步处理。在本发明的实施方式中,计算单元还被配置成将感兴趣区域内的图像数据至少部分地与评估数据和/或附加数据配准。该配准步骤可以作为所选择的评估功能的子步骤进行,并且特别用于量化对同一患者和/或基于模拟模型的预后数据进行的连续研究之间的结构差异。例如,因此可以在治疗期间或无治疗的情况下监测病变的生长或缩小。这样的图像配准技术在本领域中是众所周知的。不言而喻,评估结果中的一些的生成还可以包括图像分割步骤,特别是还需要图像配准的评估结果的步骤。因此,可以将分割步骤作为至少一个评估功能的子步骤进行。如此的图像分割技术在本领域中也是众所周知的。
因此,在本发明的实施方式中,评估数据和/或附加数据可以包括以下数据组中的至少一个:
——至少部分地覆盖感兴趣区域的先前研究的参考医学图像数据,
——指示疾病进展的预后医学图像数据,预后与感兴趣区域相关。
将这些评估结果显示在所显示的图像数据集和/或评估工具的顶部使得能够将当前状态与例如病变的先前状态或病变的预后未来状态进行直接的视觉比较。从多个数据源检索数据以在特定读取过程的上下文中进行进一步处理和/或显示实现了舒适而有效的信息集成。
本发明的另一实施方式涉及一种系统,其中,评估数据和/或附加数据可以包括以下数据组中的至少一个:
——所选择的位置内的图像数据的视频(例如,用于生动地说明病变生长),
——感兴趣区域内的图像数据的三维视图(例如,在小视角上旋转病变的视频剪辑),
——感兴趣区域内的图像数据的放大视图,
——所选择的位置内的图像数据的增强视图(例如,应用特定的颜色编码、开窗或图像对比度)。
创造性地将这些评估结果显示在所显示的图像数据集的顶部以及评估工具的顶部或作为评估工具的一部分,提供对所显示的图像数据集的附加的、具有诊断价值的见解。
根据另一方面,本发明涉及一种计算机程序产品,其包括程序元素,当程序元素被加载到系统的计算单元的存储器中时,该程序元素引导计算单元用于支持医学图像数据集的评估,以执行根据本发明方法的步骤。
本发明的另一方面涉及一种计算机可读介质,其上存储有程序元素,当程序元素由系统的计算单元执行时,程序元素可由计算单元读取和执行,用于支持医学图像数据集的评估,以便执行本发明的方法的步骤。
通过计算机程序产品和/或计算机可读介质实现本发明具有以下优点:可以通过软件更新容易地调整已经存在的系统,以便按照本发明的建议工作。
计算机程序产品可以是例如计算机程序或者包括如此的计算机程序旁边的另一元件。该其他元件可以是硬件,例如在其上存储有计算机程序的存储器设备、用于使用计算机程序的硬件密钥等,和/或软件例如用于使用计算机程序的文档或软件密钥。该计算机程序产品还可以包括开发材料、运行时系统和/或数据库或库。计算机程序产品可以分布在若干计算机实例中。
总之,本发明的优点在于,可以通过为用户例如放射科医生加快对有关补充诊断相关信息的访问来提高读取效率。通过提供在所显示的图像的顶部的集成用户接口可以减轻用户疲劳。不同部件和数据源的组合和紧密集成使得能够减少和过滤掉相关信息,并在需要时提供特定于上下文的信息。
附图说明
根据以下描述和实施方式,以上描述的本发明的特性、特征和优点以及它们的实现方式变得更清楚和更容易理解,这些描述和实施方式将参照附图进行详细描述。以下描述并不将本发明限制于所包含的实施方式。在不同的附图中,相同的组件或部件可以用相同的附图标记进行标记。通常,附图并非是按比例的。在以下附图中:
图1描绘了根据本发明的实施方式的用于执行至少一个医学成像程序的本发明的系统,
图2描绘了处于第一操作状态的根据本发明的实施方式的本发明的评估工具,
图3描绘了处于第二操作状态的根据本发明的实施方式的本发明的评估工具,
图4描绘了处于第三操作状态的根据本发明的实施方式的本发明的评估工具,以及
图5描绘了根据本发明的实施方式的用于支持对三维医学图像数据集的评估的本发明的方法。
具体实施方式
图1描绘了根据本发明的实施方式的用于执行至少一个医学成像程序的本发明的系统1。该系统适于例如如参照图5进一步描述的执行根据一个或更多个实施方式的本发明的方法。该系统包括读取工作站形式的接口单元20。系统1还包括处理器形式的计算单元30,计算单元30包括与执行本发明的方法有关的若干子单元。接口单元20包括输出单元21和输入单元22。输出单元被实现为显示屏,优选地被实现为5k显示屏,该显示屏提供高分辨率,并且因此使得能够例如在放射医学中视觉地读取医学图像。然而,任何其他显示屏也是可能的,只要它符合分辨率和被设置用于显示医学图像以供阅读目的的其他可视化要求,例如颜色保真度。输出单元21适于可视化医学数据集,即,提供三个空间维度的医学图像。医学图像数据集MEDI可以涉及使用患者的身体部位的成像模式进行的检查。例如,输出单元21可以使图像数据集中的所选图像切片或包括多个图像切片的图像信息的投影图像可视化。数据集的显示可以包括接受检查的患者的被检查身体部位中的组织TIS的呈现。所呈现的组织TIS可以包括同样经由输出单元21呈现的可疑的、病理的或异常的结构,即病变LES。感兴趣区域ROI至少由病变LES所覆盖的区域限定,优选地,由稍微较大的区域限定。输出单元21还适于在显示屏上可视化本发明的评估工具40。优选地,评估工具40被可视化为对医学图像数据集MEDI的覆盖,并且最优选地被可视化为对涵盖病变LES的感兴趣区域ROI的覆盖。评估工具40包括视场44,视场44用于使用户能够看到/检查下面的图像信息。所显示的评估工具40还包括此处为环形的区域43,区域43临时隐蔽下面的图像信息。区域30也可以不是圆形,并且包括至少两个评估功能EVA1、EVA2的显示,至少两个评估功能EVA1、EVA2可以由用户选择和/或激活。输出单元21适于可视化不同形状、大小和操作状态下的评估工具40,这将参照图2、图3和图5更详细地描述。然而,输出单元21还适于在显示屏上呈现评估结果窗口45,评估结果窗口45包括至少一个评估结果RES。结果窗口45优选地被呈现为对所显示的医学图像数据集MEDI和/或评估工具40的覆盖。例如,结果窗口45可以被定位成覆盖视场44,并且因此具有与视场44相同的形状。因此,可以将评估结果RES作为评估工具40的一部分呈现。在图1中,在评估工具40附近显示结果窗口45。输出单元21还适于在显示屏上呈现评估工具40上的至少一个操作菜单46(参见图4)。操作菜单46同样可以被显示为对医学图像数据集MEDI和/或评估工具40的覆盖。评估工具40适于在显示屏内即在不同位置之间移动。
因此,接口单元20还包括输入单元22,用于接收与在所显示的图像中将评估工具40优选地导航到感兴趣区域ROI有关的用户输入。此处,输入单元22以计算机鼠标、相应的光标和键盘的形式实现。可以例如通过单击和移动鼠标来导航评估工具。输入单元22还适于接收对评估工具40的至少一个评估功能EVA的选择。例如,可以为每个评估功能EVA分配键盘的键,以进行选择和/或激活。
总之,输出单元21可以适于以图形方式可视化图形用户界面,以用于医学图像读取。此外,输出单元21可以适于可视化评估工具40。输入单元22可以适于接收关于工具导航和/或评估功能选择的用户输入。因此,接口单元20可以包括LCD、等离子或OLED屏或显示器。接口单元20还可以包括触敏屏、键盘、鼠标或麦克风和扬声器。相应地,接口单元20还可以包括适于例如提供如上所述的图形用户界面的相应处理单元,以用于显示医学图像数据集MEDI和/或用于处理从用户接收的输入。根据图1,这些处理单元被作为子单元提供给计算单元。换句话说,计算单元30和接口单元20可以至少部分地形成物理实体。
计算单元30适于处理经由接口单元20接收的用户输入。具体地,计算单元30适于处理用于将评估工具40导航到选定位置例如感兴趣区域ROI的用户输入。计算单元30还适于执行至少一个所选择的评估功能EVA,并生成至少一个评估结果RES。计算单元30还适于生成评估结果RES的可视化表示。因此,计算单元30包括导航单元31,导航单元31适于即时处理关于工具导航的用户输入,以将其布置在新位置处。计算单元30还包括被配置成执行至少一个所选择的评估功能EVA的评估单元32。因此,评估单元32适于对图像数据集的各个图像元素条目尤其是对包括在感兴趣区域ROI中的图像元素的各个图像元素条目执行数学计算。计算单元30还可以包括可视化单元33,可视化单元33被配置成生成评估结果RES的可视化表示,以经由输出单元21进行显示。计算单元30可以可选地包括异常检测单元36,异常检测单元36适于自动检测或识别医学图像数据集MEDI中的示出可疑或异常或有疾病的成像特性例如病变或囊肿的区域或结构。异常检测单元36可以将众所周知的计算机辅助检测算法应用于医学图像数据。计算单元30还可以包括适于至少临时存储评估结果和/或附加数据的存储单元35,每个评估结果和/或附加数据在执行评估功能的过程中能够被检索以用于显示或进一步处理。
计算单元30和/或各个子单元31、32、33可以包括计算机/处理单元、微控制器或集成电路。替选地,计算单元30可以包括真实或虚拟的计算机组,例如所谓的“集群”或“云”。服务器系统可以是中央服务器,例如云服务器或本地服务器,例如位于医院或放射站点上。
计算单元30和接口单元20以及计算单元30的各个子单元也可以至少临时地彼此连接,以进行数据传输和/或交换。接口单元20经由通信单元24和34与计算单元30通信。通信可以包括例如要向用户显示的医学图像数据集MEDI的视觉渲染、图像元素条目、与用户输入对应的信号的传输,或者经由输出单元21呈现的评估结果的传输。例如,可以基于请求来激活导航单元31,其中,该请求由接口单元20发送。评估单元32还可以经由相应的接口与存储装置35或远程数据库通信。此处,检索附加数据以进行显示和/或进一步处理。同样,可以基于请求来激活存储装置35,其中,该请求由评估单元32发送。
子单元31、32、33可以被集成以形成一个单个单元,或者可以由被配置成执行在处理器上运行的相应方法步骤的计算机代码段来实施。每个子单元31、32、33可以单独地连接至需要进行数据交换以执行方法步骤的系统1的其他子单元和/或其他部件。例如,可视化单元33可以连接至存储单元35,以用于将医学图像数据集MEDI检索到接口单元20上,以经由输出单元21向用户转发/显示医学图像数据集MEDI的视觉表示。
存储单元35通常可以被配置用于获取和/或存储和/或转发医学图像数据集MEDI。存储单元35可以包括用于存储医学图像数据集MEDI的存档/复查站。存档/复查站可以被实现为云存储。替选地,存档/复查站可以被实现为本地存储或扩展存储,例如被实现为PACS(图片存档和通信系统)。存档/复查站还可以存储与医学图像数据集MEDI有关的其他临床信息,其中,临床信息可以包括例如相关医学发现、与正在考虑的患者有关的个人信息、患者记录等。替选地,另一数据库(未示出)可以存储该相关信息。
用于数据交换的接口以及通信单元24、34可以被实现为硬件接口或软件接口,例如PCI总线、USB或火线。计算单元30的子单元31、32、33可以包括硬件或软件部件例如微处理器或FPGA(“现场可编程门阵列”)。存储单元35例如数据库可以被实现为随机存取存储器(RAM)、耐用大容量存储装置(硬盘驱动器)、固态盘等。
优选地,使用网络连接来实现数据传输。网络可以被实现为局域网(LAN),例如内联网或广域网(WAN)。网络连接优选地是无线的,例如作为无线LAN(WLAN或WiFi)。网络可以包括不同网络示例的组合。数据传输可以是双向的。
具体地,网络可以包括与DICOM标准(医学中的数字成像和通信)兼容的网络,并且医学图像数据集MEDI的检索可以通过DICOM查询和检索应用类别来执行。同样,可以使用DICOM查询和检索应用类别来执行将评估结果存档在存储单元35中。
计算单元30也可以集成在接口单元20中。如已经提到的,计算单元30可以替选地被实施为服务器系统,例如,如位于医院或放射学站点上的云服务器或本地服务器。在该星座图中,接口单元20可以被指定为面向用户的“前端”或“客户端”,而计算单元30可以对应于“后端”或服务器。接口单元20与计算单元30之间的通信例如可以使用https协议来执行。系统的计算能力可以分配在服务器与客户端之间。在“瘦客户端”系统中,大部分计算能力存在于服务器处。在“胖客户端”系统中,更多的计算能力以及可能的数据存在于客户端上。
图2描绘了处于第一操作状态的根据本发明的实施方式的本发明的评估工具40。该操作状态对应于如下初始状态:当(如关于图5更详细地描述的)例如根据本发明的方法的步骤S2最初可视化工具时,评估工具40所处的初始状态。此处,评估工具40被描绘为在显示屏21上可视化或者经由显示屏21可视化。评估工具40被显示成覆盖所显示的医学图像数据集MEDI。出于说明的目的,除了病变LES1之外,此处没有示出显示屏以及医学图像数据集MEDI。
该实施方式的评估工具40在其中心处包括圆形视场44。该视场是透明的。换句话说,能够经由视场44看到在视场44下方同时显示的在医学图像数据集MEDI中包含的解剖结构。此处,评估工具40位于包括病变LES1的感兴趣区域ROI处,该病变LES1经由视场44可见。评估工具40的圆周处的环43包括激活区域41或激活位置。该区域41相对于环43是固定的。环43还包括多个即至少两个环段42,此处是四个环段42,其中,每个环段都实施了特定的评估功能EVA1、EVA2、EVA3、EVA4。环段2可旋转地布置成使得环段42可以绕视场44的中心点旋转(由双向箭头示出),直到评估功能EVA1、EVA2、EVA3、EVA4之一到达激活位置41。在该实施方式中,一旦经由环段42的旋转移动将评估功能定位在激活位置41处时,就开启相应的评估功能。
可以通过单击环段之一并使用计算机鼠标的滚轮来实现环段的旋转。同样地,可以通过使用鼠标光标单击环段之一而由用户选择评估功能来替代旋转环段。
图3描绘了处于第二操作状态的根据图2的实施方式的本发明的评估工具40。该操作状态对应于如下状态:当选择了评估功能EVA——此处为评估功能EVA2——(根据关于图5描述的可选步骤S41)时,评估工具40所处的状态。评估功能EVA2是向用户提供多个不同的评估操作47的至少一个评估功能。经由操作菜单46的显示向用户提供不同的评估操作47,但不一定是全部的评估操作47。在该实施方式中,操作菜单46包括多个操作窗口,每个窗口实施了不同的评估操作47,在被用户选择时可以对图像元素条目和/或附加数据执行不同的评估操作47。优选地,如图所示,每个操作窗口可以包括对评估操作47的目的的图片/符号/文本指示。例如,一个操作可以涉及基于所显示的医学数据集例如通过提供病变LES1的两个至十个投影视图的短视频剪辑来计算和/或提供病变LES1的三维表示,每个投影视图都与稍微不同的视角(3D)有关,从而将三维印象传递给用户。该评估操作将要求对显示的图像数据集中的病变LES1进行完全分割,并且可能意味着在成像切片之间进行的数据插值步骤。另一评估操作可以涉及提供表示随时间推移病变的生长或萎缩(PROG)的图像系列。该评估操作意味着从例如存储单元35获取以先前的研究图像形式的附加数据以及在不同连续数据集之间进行的分割/登记步骤。在考虑感兴趣区域ROI内的至少一个图像元素条目的情况下进行附加数据的获取。该评估操作还可以包括图像系列中体积/大小随时间变化的量化和颜色编码。可以例如经由鼠标滚轮等按时间在两个方向上切换图像系列,从而突出显示随时间的变化。此外,图像系列可以作为对视场44的覆盖呈现给用户。其他评估操作可以通过获取接受检查的患者的先前报告(PRIREP)的至少一部分或病变分析/量化(ANA)如直径、体积、异质性、生物标记物的存在等的文本表示,并呈现给用户。作为另一替选方案,评估操作可以从其他患者获取与病变LES1相似的病变并呈现给用户,以使得能够进行鉴别诊断。优选地,对相似病变的搜索是基于特定于感兴趣区域ROI的提取的图像特征签名。
不言而喻,每个单独的评估操作47也可以被实施为评估功能EVA。因此,所有示例性评估操作47可能同样对应于评估功能。当然,在不脱离本发明的范围的情况下,存在此处未明确提及的更多可能的功能/操作。
然而,在那些情况下,例如在需要更多数量的评估操作47和更小的环段42——这将阻碍评估工具40的简单且快速的操作——的情况下,将评估操作47分组在一个评估功能EVA下可能是有利的。除此之外,还可以通过执行主题相关来将评估操作47分组在一个评估功能下。例如,与从对接受检查的患者的先前研究中获取图像数据和进一步处理图像数据有关或者涉及的操作功能47可以被分组在一个评估功能下,以促进直观的使用。
图4描绘了处于第三操作状态的根据本发明的实施方式的本发明的评估工具40。该操作状态对应于如下状态:当执行了评估功能EVA并且评估结果RES经由输出单元21被显示给用户时(根据关于图5描述的步骤S6),评估工具40所处的状态。因此,在该操作状态下,图形用户界面包括字段或区域或窗口作为结果窗口45,结果窗口45包括要由用户检查的评估结果RES。在该优选实施方式中,例如以突出显示的(彩色编码的、适合的对比度、放大的视图等)医学图像切片、视频剪辑或图像序列形式的评估结果RES可能被呈现在评估工具40的视场44内。此处,评估结果RES被可视化为对视场44的覆盖。此处,评估结果RES包括使用颜色编码的图示,该颜色编码表示自上次检查以来已经生长了多少病变LES1。那时,病变的大小仅对应于LES0。相应地,病变LES1内的虚线区域一目了然地示出了随时间推移病变的生长或变化。当然,替选地,评估结果RES也可以作为对所显示的医学图像数据集MEDI的覆盖被显示在显示屏内的任意位置处。
图5描绘了根据本发明的实施方式的用于支持对三维医学图像数据集MEDI的评估的本发明的方法。本发明的方法包括许多步骤。该方法是计算机实现的方法。
在步骤S1中,经由输出单元21将三维医学图像数据集MEDI的显示提供给用户。优选地,根据通常应用的灰度窗口来渲染医学数据集MEDI的一个图像切片。
在步骤S2中,评估工具40也被可视化。评估工具40可以对应于关于图2、图3和图4描述的评估工具。评估工具40的可视化被实现为覆盖,即,在所显示的医学图像数据集MEDI上方。因此,评估工具40至少临时隐藏了所显示的图像元素即像素中的一些。在一个替选方案中,评估工具40初始可以被显示在图形用户界面内的预设位置处。例如,初始位置可以在显示屏的角中的之一处。在配置或设置所读取的应用时,还可以根据用户的喜好改变或调整初始位置。本发明的评估工具40适于可移动地布置在显示图像数据集40中,并且针对显示图像数据集MEDI提供至少两个评估功能EAV。换句话说,可以基于用户请求和经由输入单元22的相应输入来移动评估工具。此外,评估工具40的显示包括如关于图3和图4所描述的至少两个评估功能EVA的显示。
在可选步骤S0中,可以在显示的图像数据集MEDI中检测至少一个异常,例如LES1。可以在步骤S1或S2中的任何一个之前进行步骤S0。步骤S0可以优选地由计算单元30、优选地由异常检测单元36来执行。异常检测可以包括将至少一种计算机辅助检测算法应用于医学图像数据集MEDI。异常检测同样可以包括将卷积神经网络应用于医学图像数据集MEDI。步骤S0还可以包括众所周知的这样的图像分割步骤。
根据该选项,步骤S2可以包括自动地将评估工具40显示为对由此检测到的异常的覆盖,即,对异常的覆盖。优选地,异常自动地在评估工具40的透明视场44中居中,如关于图2、图3和图4的病变LES1一样。通过这样做,在视觉上引导用户检查异常。这在某些情况下尤其有利,在这些情况下,第一眼就可能看到异常。作为其他替选方案或附加地,步骤S2还可以包括例如通过颜色编码或通过添加标签来在视觉上突出显示,该标签提供了关于检测到的异常的信息。从而,即时地向用户提供关于检测到的异常的诊断相关信息。
在步骤S3中,经由输入单元22接收与在三维医学图像数据集MEDI中将评估工具40导航到感兴趣区域ROI有关的用户输入。此处,包括麦克风的任何类型的输入设备或者姿势或眼睛的移动控制(使用至少一个摄像机)可以用于接收用户输入。步骤S3还包括将作为用户输入接收的信号发送到计算单元30,优选地发送到导航单元31,并且在计算单元30处优选地在导航单元31处处理用户输入,以在医学图像数据集MEDI中将评估工具40导航到感兴趣区域ROI。换句话说,导航单元31根据将导航工具40移动到用户期望的位置来计算导航命令。优选地,处理是即时发生的,使得用户可以根据“拖放”将评估工具移动到他想详细检查的位置处。
在步骤S4中,选择至少一个显示的评估功能EVA。因此,当与所选择的评估功能EVA相关的至少一个结果RES已经经由输出单元21呈现给用户时,可以选择(优选地连续选择)一个以上的评估功能EVA。优选地,可以继续呈现先前选择的评估功能EVA的评估结果窗口45,同时还显示其他评估功能EVA的另一结果RES。因此,步骤S4包括经由输入单元22接收并且经由计算单元30处理(优选地经由评估单元32处理)关于期望的评估功能EVA的用户输入。评估功能EVA的选择还包括将激活请求从接口单元20发送到评估单元32。
在可选步骤S41中,对评估功能EVA的选择激活了交互式操作菜单46的生成和可视化,交互式操作菜单46包括多个操作,即与评估功能EVA有关的操作功能47。因此,在该替选方案中,对评估功能EVA的选择将用户引导至另一功能菜单,例如如关于图3描述的菜单。用户现在可以根据步骤S4选择操作功能47中的至少一个。对操作功能47的选择同样包括将激活请求从接口单元20发送到评估单元32。
在步骤S5中,评估单元32执行所选择的评估功能EVA/操作功能47,从而生成结果RES。通过执行评估功能EVA/操作功能47,评估单元32考虑感兴趣区域内的图像数据。换句话说,所生成的评估结果RES基于所显示的图像数据集MEDI的图像数据条目,特别是基于感兴趣区域ROI内的图像数据条目,或者例如当评估功能包括获取要与感兴趣区域ROI进行比较的附加图像数据时,指的是感兴趣区域ROI内的至少一个图像元素。步骤S5可以包括将评估结果RES发送到可视化单元33。结果RES可以包括评估数据和/或附加数据,其中,评估数据基于感兴趣区域内的图像数据,并且附加数据至少与在感兴趣区域ROI内并且例如从存储单元35检索的图像数据有关。评估结果RES可以对应于但不限于以下类型的评估结果之一。
-覆盖感兴趣区域ROI的先前研究的参考医学图像数据,
-指示疾病进展的预后医学图像数据,该预后与感兴趣区域有关,
-感兴趣区域ROI内的图像数据的视频,
-感兴趣区域内的图像数据的三维视图,
-感兴趣区域内的图像数据的放大视图,
-感兴趣区域内的图像数据的增强视图。
在步骤S6中,可视化单元33生成评估结果RES的可视化,并经由输出单元21显示给用户。优选地,结果RES被可视化为对评估工具40的覆盖,最优选地,结果RES被可视化在视场44中。可视化单元33将评估结果值转变或转换计算成合适的表示以显示给用户。合适的表示可以是感兴趣区域的适合的图像元素条目的形式,或者可以是要叠加到显示医学图像数据集上的包括附加信息的投影平面的形式。合适的表示还可以包括要被显示为对显示图像数据集MEDI的任何图像区域的覆盖的包含附加数据的评估结果窗口的视觉渲染。因此,可视化单元33可以被配置成运行或执行用于创建要叠加在医学图像数据集MEDI上方的覆盖图像/窗口的算法。可视化单元33可以被配置成隐含已知的体积渲染过程,例如体积光线投射、溅射法(splatting)、剪切包裹(shear wrapping)或纹理映射。
本发明在肿瘤学应用中是特别有利的。此处,评估单元32可以应用基于模型的算法,以基于包括在感兴趣区域中的至少一些图像元素条目预测在治疗的情况下或无治疗的情况下的疾病进展或肿瘤生长。换句话说,在这种使用情况下,一个评估功能可以包括将模型或预测算法应用于属于已识别病变或肿瘤的图像元素条目,以预测其结构发展。该算法还可以包括可以从存储单元35请求的附加数据,例如特定于患者的数据,如年龄、性别、遗传信息等。
可以向用户显示作为如此描述的评估功能EVA的结果RES的图像序列,该图像序列将随时间推移的病变生长可视化为视频剪辑。替选地或附加地,用户可以滚动图像系列以详细检查该系列的各个图像。因此,本发明允许为后续检查和/或确认治疗方案得出深刻地建议(通过进一步可视化对病变的潜在治疗影响)。
总之,本发明涉及一种用于图像可视化和探查的方法和系统,其可以包括多个部件,所述多个部件相互作用以提供用于检测和评估可疑图像区域的易于使用、快速且直观的工具。本发明的接口单元允许用户查看当前的成像体积并在其中导航(例如,通过滚动、3D旋转、时间导航等)。接口单元可以优选地被实施为任何PACS复查/读取站的一部分。本发明的评估工具40与本发明的计算单元30的相应子单元一起(最优选地被实施为圆形工具)允许在需要/不需要图像的先前标记的情况下检查任何图像区域。评估工具40允许快速浏览在应用评估工具的图像区域(ROI)的顶部/附近的相关补充信息。本发明特别提出一种优化的用户界面,以允许在一个特定的成像环境内快速选择/浏览不同的补充信息源。评估结果特别是附加数据形式的评估结果可以被可视化为选定图像区域(ROI)顶部上方的彩色覆盖,例如,旋转的3D视图、多次检查中的动画的病变生长、不同的对比度、文本标签、扩展的工具提示、在ROI的顶部附近和/或上方显示视觉或纹理信息的视图。去激活评估工具40可以即时隐藏工具本身及其所有评估结果RES,从而在医学影像数据集MEDI上提供清晰的视图,如传统显示的那样。
可选地,本发明的异常检测(单元36)可以包括或应用至少一种CAD算法,以自动检测医学图像数据集MEDI中的异常区域,异常检测可以包括向至少一个数据库/存储单元35发送查询,以检索先前报告的发现及其解剖位置。本发明的异常检测还可以显示/可视地指示潜在或已知的异常,并因此直接将用户的注意力吸引到相关位置/区域处的显示的医学图像数据集MEDI内。异常指示可以包括覆盖/标记技术或通过将临时运动场应用于所显示的异常,由于进化的本质人类对此是非常敏感的。
通过为做决策的放射科医生提供高级数据/信息支持,本发明可以为读取前端提供十分重要的改进。本发明的核心在于呈现包括多个评估功能的评估工具的视觉渲染,以帮助用户产生医学发现并简化做出诊断决策。
只要有意义,各个实施方式或其各个方面和特征可以彼此组合或交换,而不限制或扩大本发明的范围。在适用的情况下,关于本发明的一个实施方式描述的优点对本发明的其他实施方式而言也是有利的。

Claims (15)

1.一种用于支持医学图像数据集(MEDI)的评估的系统(1),所述系统包括:
——接口单元(20),其被配置成:
——向用户提供医学图像数据集的显示,
——对评估工具(40)进行可视化,其中,所述评估工具适于:
——可移动地布置在所显示的图像数据集中,并且
——关于所显示的图像数据集提供至少两个评估功能(EVA),
——对评估功能的至少一个结果(RES)进行可视化,
——接收与以下各项相关的用户输入:
——将所述医学图像数据集中的评估工具导航到感兴趣区域(ROI),并且
——选择所述评估功能中的至少一个,
以及
——计算单元(30),其被配置成:
——处理所述用户输入,以便:
——将所述医学图像数据集中的评估工具导航到所述感兴趣区域,
——执行至少一个评估功能,
其中,执行所述至少一个评估功能包括考虑所述感兴趣区域内的图像数据,以及
——生成所述评估功能的至少一个结果的可视化,
其中,所述至少一个结果适于被可视化为对所显示的图像数据集和/或评估工具的覆盖。
2.根据权利要求1所述的系统,其中,所述评估工具适于被可视化为对所显示的图像数据集的覆盖。
3.根据权利要求1或2所述的系统,其中,所述接口单元还适于将所述评估工具显示为圆形的评估工具(40),所述圆形的评估工具(40)被定位为对所述感兴趣区域的覆盖。
4.根据权利要求3所述的系统,其中,所述圆形工具包括:在其中心处适于覆盖所述感兴趣区域的透明圆形视场(44);以及在其圆周处被细分成多个环段(42)的可旋转环(43),其中,每个环段包含评估功能,其中,能够通过旋转可旋转环使得与所选择的评估功能相对应的环段处于激活位置(41)来激活评估功能。
5.根据权利要求4所述的系统,其中,至少一个环段还被配置成在激活时生成交互式操作菜单(46),所述交互式操作菜单(46)包括多个与所述评估功能相关的评估操作(47)。
6.根据前述权利要求中任一项所述的系统,其中,所述计算单元还被配置成检测所述图像数据集中的至少一个异常(LES)。
7.根据权利要求6所述的系统,其中,所述接口单元还适于突出显示所检测到的异常。
8.根据权利要求6或7所述的系统,其中,所述接口单元被配置成将所述评估工具自动定位为对突出显示的异常的覆盖。
9.根据前述权利要求中任一项所述的系统,其中,执行所述至少一个评估功能包括:生成评估数据和/或附加数据作为结果(RES),其中,评估数据基于所述感兴趣区域内的图像数据,并且附加数据至少与所述感兴趣区域内的图像数据相关并且从数据源中检索。
10.根据权利要求9所述的系统,其中,所述计算单元还被配置成至少部分地将所述感兴趣区域内的图像数据与所述评估数据和/或附加数据配准。
11.根据权利要求9或10所述的系统,其中,所述评估数据和/或附加数据可以包括以下数据组中的至少一个:
——覆盖所述感兴趣区域的先前研究的参考医学图像数据,
——指示疾病进展的预后医学图像数据,所述预后与所述感兴趣区域相关。
12.根据权利要求9或10所述的系统,其中,所述评估数据和/或附加数据可以包括以下数据组中的至少一个:
——所述感兴趣区域内的图像数据的视频,
——所述感兴趣区域内的图像数据的三维视图,
——所述感兴趣区域内的图像数据的放大视图,
——所述感兴趣区域内的图像数据的增强视图。
13.一种用于支持医学图像数据集(MEDI)的评估的计算机实现的方法,所述方法包括以下步骤:
——向用户提供医学图像数据集(MEDI)的显示(S1),
——对评估工具(40)进行可视化(S2),所述评估工具适于:
——可移动地布置在所显示的图像数据集中,并且
——关于所显示的图像数据集提供至少两个评估功能(EVA),
——接收与以下各项相关的用户输入:将所述医学图像数据集中的评估工具导航到感兴趣区域(ROI)(S3),并且选择所述评估功能中的至少一个(S4),
——处理所述用户输入,以便:
——将所述医学图像数据集中的评估工具导航到所述感兴趣区域(S3),以及
——执行至少一个评估功能(S4,S5),
其中,执行所述至少一个评估功能包括考虑所述感兴趣区域内的图像数据,
——生成所述评估功能的至少一个结果的可视化(S6),以及
——对所述评估功能的结果进行可视化(S6),
其中,所述至少一个结果被可视化为对所显示的图像数据集和/或评估工具的覆盖。
14.一种包括程序元素的计算机程序产品,当所述程序元素被加载到用于支持医学图像数据集(MEDI)的评估的系统(1)的计算单元(30)的存储器中时,所述程序元素引导所述计算单元以执行根据权利要求13所述的方法的步骤。
15.一种存储有程序元素的计算机可读介质,当所述程序元素由用于支持医学图像数据集(MEDI)的评估的系统(1)的计算单元(30)执行时,所述程序元素能够由所述计算单元读取和执行,以便执行根据权利要求13所述的方法的步骤。
CN201911156535.7A 2018-11-23 2019-11-22 集成医学图像可视化和探索 Active CN111223556B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP18208112.5 2018-11-23
EP18208112 2018-11-23
EP19198904.5A EP3657512B1 (en) 2018-11-23 2019-09-23 Integrated medical image visualization and exploration
EP19198904.5 2019-09-23

Publications (2)

Publication Number Publication Date
CN111223556A true CN111223556A (zh) 2020-06-02
CN111223556B CN111223556B (zh) 2023-11-03

Family

ID=68062829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911156535.7A Active CN111223556B (zh) 2018-11-23 2019-11-22 集成医学图像可视化和探索

Country Status (3)

Country Link
US (1) US11024417B2 (zh)
EP (2) EP3657512B1 (zh)
CN (1) CN111223556B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11232555B2 (en) * 2019-01-15 2022-01-25 Nec Corporation Of America Systems and methods for automated analysis of medical images
CN112231387B (zh) * 2020-09-30 2024-04-30 中国铁道科学研究院集团有限公司 铁路数据可视化交互系统及方法、电子设备及存储介质
CN114171166B (zh) * 2021-01-20 2022-10-18 赛维森(广州)医疗科技服务有限公司 可视化数字病理人工智能的模型的管理系统
EP4125097A1 (en) * 2021-07-27 2023-02-01 Siemens Healthcare GmbH Method and apparatus for annotating a portion of medical imaging data with one or more words

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080152204A1 (en) * 2006-12-22 2008-06-26 Zhimin Huo Enhanced display of medical images
US20080235621A1 (en) * 2007-03-19 2008-09-25 Marc Boillot Method and Device for Touchless Media Searching
US20090073114A1 (en) * 2007-09-13 2009-03-19 Susanne Bay Control of a scrollable context menu
CN101520893A (zh) * 2009-02-23 2009-09-02 暨南大学 一种婴幼儿脑医学计算机扫描图像的分析方法及实现系统
EP2102789A2 (en) * 2006-11-27 2009-09-23 Confirma, Inc. System and method for feature score mapping and visualization of medical images
US20120172700A1 (en) * 2010-05-21 2012-07-05 Siemens Medical Solutions Usa, Inc. Systems and Methods for Viewing and Analyzing Anatomical Structures
JP2013172815A (ja) * 2012-02-24 2013-09-05 Toshiba Corp 医用画像処理装置
CN103827874A (zh) * 2011-09-26 2014-05-28 皇家飞利浦有限公司 医学图像系统和方法
CN104799882A (zh) * 2014-01-28 2015-07-29 三星麦迪森株式会社 用于显示与感兴趣区域相应的超声图像的方法和超声设备
US20170215969A1 (en) * 2014-06-11 2017-08-03 Tsinghua University Human organ movement monitoring method, surgical navigation system and computer readable medium
CN107077731A (zh) * 2014-10-22 2017-08-18 皇家飞利浦有限公司 成像不确定性的可视化
WO2017169650A1 (ja) * 2016-03-31 2017-10-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、映像移動補正方法及び医療用観察システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012176100A1 (en) * 2011-06-22 2012-12-27 Koninklijke Philips Electronics N.V. System and method for processing a medical image
EP3537454B1 (en) 2018-03-07 2020-04-29 Siemens Healthcare GmbH Healthcare network
EP3611733A1 (en) 2018-08-15 2020-02-19 Siemens Healthcare GmbH Searching a medical reference image

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2102789A2 (en) * 2006-11-27 2009-09-23 Confirma, Inc. System and method for feature score mapping and visualization of medical images
US20080152204A1 (en) * 2006-12-22 2008-06-26 Zhimin Huo Enhanced display of medical images
US20080235621A1 (en) * 2007-03-19 2008-09-25 Marc Boillot Method and Device for Touchless Media Searching
US20090073114A1 (en) * 2007-09-13 2009-03-19 Susanne Bay Control of a scrollable context menu
CN101520893A (zh) * 2009-02-23 2009-09-02 暨南大学 一种婴幼儿脑医学计算机扫描图像的分析方法及实现系统
US20120172700A1 (en) * 2010-05-21 2012-07-05 Siemens Medical Solutions Usa, Inc. Systems and Methods for Viewing and Analyzing Anatomical Structures
CN103827874A (zh) * 2011-09-26 2014-05-28 皇家飞利浦有限公司 医学图像系统和方法
JP2013172815A (ja) * 2012-02-24 2013-09-05 Toshiba Corp 医用画像処理装置
CN104799882A (zh) * 2014-01-28 2015-07-29 三星麦迪森株式会社 用于显示与感兴趣区域相应的超声图像的方法和超声设备
US20170215969A1 (en) * 2014-06-11 2017-08-03 Tsinghua University Human organ movement monitoring method, surgical navigation system and computer readable medium
CN107077731A (zh) * 2014-10-22 2017-08-18 皇家飞利浦有限公司 成像不确定性的可视化
WO2017169650A1 (ja) * 2016-03-31 2017-10-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、映像移動補正方法及び医療用観察システム

Also Published As

Publication number Publication date
CN111223556B (zh) 2023-11-03
US20200168321A1 (en) 2020-05-28
EP3657512A1 (en) 2020-05-27
US11024417B2 (en) 2021-06-01
EP4016541A1 (en) 2022-06-22
EP3657512B1 (en) 2022-02-16

Similar Documents

Publication Publication Date Title
US10929508B2 (en) Database systems and interactive user interfaces for dynamic interaction with, and indications of, digital medical image data
US10545582B2 (en) Dynamic customizable human-computer interaction behavior
CN111223556B (zh) 集成医学图像可视化和探索
US10134126B2 (en) Intelligent dynamic preloading and processing
US8244010B2 (en) Image processing device and a control method and control program thereof
JP2014012208A (ja) 効率的な撮像システムおよび方法
EP3893198A1 (en) Method and system for computer aided detection of abnormalities in image data
JP2016530051A (ja) 高度グラフィカルユーザインターフェースを有する放射線治療システム
EP3796210A1 (en) Spatial distribution of pathological image patterns in 3d image data
US20170262584A1 (en) Method for automatically generating representations of imaging data and interactive visual imaging reports (ivir)
US20190348156A1 (en) Customized presentation of data
US10394416B2 (en) User interface system and method for enabling mark-based interaction for images
US10390726B2 (en) System and method for next-generation MRI spine evaluation
US10032296B2 (en) Volumertric image data visualization
US9361711B2 (en) Lesion-type specific reconstruction and display of digital breast tomosynthesis volumes
WO2023205179A1 (en) Development of medical imaging ai analysis algorithms leveraging image segmentation
US20240070860A1 (en) Methods and systems for identifying a candidate medical finding in a medical image and providing the candidate medical finding
EP4310852A1 (en) Systems and methods for modifying image data of a medical image data set
US20240021318A1 (en) System and method for medical imaging using virtual reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant