CN104584018B - 用于有效查看和报告成像研究相关的先前注释的自动检测和检索 - Google Patents

用于有效查看和报告成像研究相关的先前注释的自动检测和检索 Download PDF

Info

Publication number
CN104584018B
CN104584018B CN201380044169.0A CN201380044169A CN104584018B CN 104584018 B CN104584018 B CN 104584018B CN 201380044169 A CN201380044169 A CN 201380044169A CN 104584018 B CN104584018 B CN 104584018B
Authority
CN
China
Prior art keywords
context
current
image
medical image
previous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380044169.0A
Other languages
English (en)
Other versions
CN104584018A (zh
Inventor
T·D·D·S·马博杜瓦纳
钱悦晨
M·塞芬斯特
G·R·曼科维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN104584018A publication Critical patent/CN104584018A/zh
Application granted granted Critical
Publication of CN104584018B publication Critical patent/CN104584018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

一种注释支持系统(10)包括至少一个显示设备(20)。背景提取模块(24、36)，其确定来自当前图像研究的当前医学图像的背景。匹配模块(26、38)，其将所述当前医学图像的背景与来自先前图像研究的先前医学图像的背景进行比较。显示模块(28、40)，其显示来自所述先前图像研究的背景相关注释和背景相关医学图像中的至少一个，所述先前图像研究与所述当前医学研究的背景匹配。

Description

用于有效查看和报告成像研究相关的先前注释的自动检测和 检索
技术领域
本申请总体涉及一种用于对内容进行注释和/或检索的系统和方法。本申请具体与当前研究相关的先前图像研究的有效检索结合应用，并将具体参考其加以描述。然而，应当理解，本申请还适用于其他使用场景，而不必限于上述应用。
背景技术
在例行基础上，放射科医师处理越来越多的图像来以最佳方式对患者做出诊断和治疗。患者(例如，癌症患者)频繁地经历成像检查，并且随着时间在其医疗记录中累积许多成像研究，所述成像研究通常涉及相同的解剖区域。当放射科医师阅读当前检查时，他(她)将当前检查图像与来自先前检查的图像进行比较，以便确定病变随着时间的改变，并且发现是否存在任何新的病变。该过程涉及浏览患者的2D/3D诊断图像集。当查看图像时，放射科医师常常使用一组注释工具对感兴趣区域(或多个区域)(ROI)进行标记，以指示重要的区。在该过程期间，放射科医师也将当前成像研究与先前成像研究进行比较，以确定具体病变在尺寸上的改变和其他细节，以理解患者的整体进展。由于需要查看大量图像，放射科医师识别和查看患者的所有相关先前研究是极为耗时的。为了减少查看的图像的数量，通常的实践是仅仅将来自最近相关研究(即，具有相同模态和身体区域)的图像(常常仅仅是‘关键图像’)与来自当前研究的图像进行比较。该实践的关键缺点是，由于未明确地显露时间进展并且解读由单个放射科医师负责，难以理解随着时间的整体改变/进展。
额外地，如果放射科医师识别当前图像上的病变，他/她可以返回到相同患者的先前研究，打开图像查看器，识别相同患者区域的图像，并且找到提供与当前图像相似的病变视图的图像。例行地，放射科医师对当前图像上的病变做标记以进行比较。找到提供用于适当比较的相似病变视图的先前图像会是耗时的。在先前相关图像中可能并未识别所述病变。而且，当前放射科图像查看系统无法自动地检测与当前ROI有关的先前相关研究。由于缺少在具体基础上的图像链接，放射科医师很难精准地确定ROI随着时间的改变/进展。
US 7184582 B2涉及一种用于医学图像的计算机辅助解读的智能搜索工作站和相应方法。所述方法采用获得医学图像、计算图像数据的特色特征，从数据库中检索具有相似特色特征的图像，以及显示所述图像。特色特征基于由CAD计算的恶性肿瘤可能性测度。所述搜索可以基于来自相似已知情况的测度。
发明内容
本申请提供克服上述问题和其他问题的新的和改进的方法和系统。
根据一个方面，提供一种注释支持系统。所述系统包括至少一个显示设备和至少一个处理器，所述至少一个处理器被编程为：确定来自当前图像研究的当前医学图像的背景(context)，将当前医学图像的背景与来自先前图像研究的先前医学图像的背景进行比较，以及显示来自先前图像研究的背景相关注释和背景相关医学图像，所述先前图像研究与当前医学研究的背景匹配，其中，所述背景包括当前图像研究的模态和被成像的解剖体中的至少一个。
根据另一方面，提供一种用于提供注释支持的方法。所述方法包括：确定来自当前图像研究的当前医学图像上的注释的背景，将当前医学图像的背景与来自先前图像研究的先前注释和先前医学图像的背景进行比较，以及显示来自先前图像研究的背景相关注释和背景相关医学图像，所述先前图像研究与当前医学研究的背景匹配，其中，所述背景包括当前图像研究的模态和被成像的解剖体中的至少一个。
可以提供一种注释支持系统。所述系统包括：至少一个显示设备；语境提取模块，其确定来自当前图像研究的当前医学图像的语境；匹配模块，其将当前医学图像的语境与来自先前图像研究的先前医学图像的语境进行比较；以及，显示模块，其显示来自先前图像研究的语境相关注释和语境相关医学图像中的至少一个，所述先前图像研究与当前医学研究的语境匹配。
一个优点在于提供更有效的机制来对相关图像进行注释，由于注释再使用，导致一组更具一致性的被注释的图像。
另一优点在于提高的工作流程效率。
另一优点在于提供更有效的机制来找到并查看在当前图像上的病变的相关先前注释。
本领域的普通技术人员在阅读和理解下面详细描述的基础上将认识到本发明的其他的优点。
附图说明
本发明可以采用各种部件和部件的布置，以及各种步骤和步骤布置的形式。附图仅出于图示优选实施例的目的，并且不应被解读为对本发明的限制。
图1图示了根据本申请的各方面的注释支持系统的范例性实施例的方框图。
图2图示了根据本申请的各方面的注释支持系统的基于方框的可视化。
图3图示了根据本申请的各方面的另一注释支持系统的基于方框的可视化。
图4图示了根据本申请的各方面的注释支持的方法的方框图。
具体实施方式
在医学成像期间，根据患者的扫描生成一幅或多幅图像。医学图像的类型包括磁共振(MR或MRI)、计算机断层摄影(CT或CAT)、X-射线、超声、正电子发射断层摄影(PET)图像、单光子发射计算机断层摄影(SPECT)等。在已经完成扫描之后，通常的实践是放射科医师利用提供图像的描述性或识别信息的信息对这些图像进行注释。所述注释提供关于图像的语境、图像的统计资料(诸如患者的识别、检查类型、医院、检查日期、采集类型、扫描类型、图像的取向、特定图像处理过滤器的使用、与图像上示出的感兴趣区域相关联的统计数据)等的信息。通常，注释包括文本信息，然而，应当认识到，所述注释包括各种视觉信息，包括图像的形状、维度和具体元素等。
本公开提供注释支持系统10，其使放射科医师利用当前正在调查中的成像研究能够定位和检索先前成像研究，并且重新查看和重新使用来自先前研究的先前注释。在当前放射科工作流程中，每当病变需要被注释时，放射科医师回顾相同患者的先前研究，以找到包含与在当前图像上病变的相似视图的图像。找到提供病变的相似视图的图像会是耗时的。放射科医师通常对具有具体发现细节(例如病变测量)的若干选定的图像(被称为‘关键图像’)进行注释，并且常常，这些先前关键图像注释包含与当前图像相似的语境信息。当查看当前图像时，注释支持系统10利用来自先前图像的语境信息来自动找到相关先前注释。这样的系统提供病变注释之间的一致性，并且提高工作流程效率。
当创建新注释时，注释支持系统10还自动地并且语义地检测来自先前报告的注释，并且使放射科医师能够容易地比较相似的发现。当观察到相似发现时，先前图像上的发现也被链接，允许放射科医师监测随着时间的病变的进展。在当前放射科工作流程中，描述发现的每个注释是独立的，使其难以监测进展。当前在针对给定患者的多个研究间识别相同感兴趣区域是手动、耗时的工作。结果，放射科医师通常仅仅回顾仅仅示出(例如病变的)进展速率的有限视图的最近图像。系统10链接给定患者的发现，并且显示细节的发现特定时间视图，同时很好地集成到现有的工作流程中。归因于先前发现的自动检索，这样的系统提供发现进展的更好的整体视图，潜在地引起更好的结果和提高的工作流程效率。
参考图1，注释支持系统10包括客户注释设备12、任选的注释管理器14、患者信息系统16等。适当地，通过通信网络18(诸如因特网、局域网、广域网、无线网络等)将系统10的部件互相连接。
客户注释设备12显示患者的一幅或多幅图像，并且利用提供图像的描述性或识别信息的信息实现一幅或多幅图像的注释。一幅或多幅图像和对应注释通常被存储在患者信息系统16之内，通过通信网络18由客户注释设备12访问所述患者信息系统16。所述注释适当地包括指示图像的语境、图像的统计资料(诸如患者的识别、检查类型、医院、检查日期、采集类型、扫描类型、图像的位置和取向、特定图像处理过滤器的使用、与图像上示出的感兴趣区域相关联的统计数据)等的视觉数据。能够手动地和/或自动地生成所述注释。对于前者，结合一个或多个输入设备22的客户注释设备12的显示器20使放射科医师能够对显示器20上呈现的一幅或多幅图像进行注释。对于后者，一个或多个先前注释被提供给用户。例如，客户注释设备12基于当前图像语境自动地检测来自先前相关图像的语境敏感注释，并且使放射科医师能够例如重新使用这些注释或编辑并且重新使用。
为了实现该目的，客户注释设备12包括语境提取模块24，其自动地确定在显示器上的当前图像的语境。语境提取模块24也确定先前图像和/或注释的语境，诸如患者的识别、被成像的身体部位或器官、检查类型、医院、检查日期、采集类型、扫描类型、图像的取向。客户注释设备12的匹配模块26将当前图像语境与来自被存储在患者信息系统16中的先前研究的图像的语境进行比较，并且将在先前研究中使用的相关先前语境敏感注释提供给客户注释设备12。显示模块28通过用于对当前图像进行注释的客户注释设备12的显示器20将相关先前语境敏感注释显示给放射科医师。显示模块28也使放射科医师能够定制先前注释的列表，使得例如注释是来自当前放射科医师已经注释的所有先前研究，而非针对当前患者的所有相关先前研究(其可以包含来自其他放射科医师的注释)。然后以应用特定的方式，例如，直接叠加在调查中的当前图像上或作为列表被显示给放射科医师，能够使用相关先前语境敏感注释。
当创建新注释时，客户注释设备12也自动地检测相关先前图像。为了实现该目的，语境提取模块24自动地提取在当前图像上的感兴趣区域(ROI)的语境信息。语境信息能够来自成像技师以描述扫描的属性、被扫描的区域等，或能够来自诊断放射科医师。匹配模块26将在当前图像上的ROI的当前语境信息与来自被存储在患者信息系统16中的先前研究的ROI的语境进行比较，并且提供包括在当前图像上的ROI的相同语境信息的相关先前研究。显示模块28通过客户注释设备12的显示器20将相关先前研究显示给放射科医师。显示模块28使放射科医师能够将当前图像切片‘叠加’在相关先前研究的对应先前图像切片上，提供在图像本身上的ROI的视觉比较，并且从而提供对于先前发现的任何改变。显示模块28还提供沿着时间轴的ROI/发现具体细节的视觉表示。
患者信息系统16将来自注释支持系统10(诸如来自客户注释设备12)的图像和/或图像注释存储在一个或多个数据库30中。例如，患者信息系统16是放射科信息系统(RIS)和/或图片存档与通信系统(PACS)，其存储从医学成像系统采集的图像和/或通过客户注释设备12生成的图像注释。在一些实施例中，患者信息系统14也将来自患者信息系统16的用户输入设备32的图像和/或图像注释存储在数据库30中，和/或允许存储的图像和/或图像注释在患者信息系统16的显示设备34上被查看。显示设备34能够额外地或备选地用于便于接收来自用户输入设备32的图像和/或图像注释。患者信息系统的范例包括，但不限于，电子医疗记录系统、科室系统等。
任选地，注释支持系统10包括注释管理器14，其自动地将来自先前注释的语境敏感注释和/或相关先前图像直接提供给放射科医师和/或客户注释设备12。在执行该功能中，注释管理器14和/或客户注释设备12，两者是独立的设备，可以独立于彼此或协同工作。注释管理器14包括语境提取模块36，其确定在客户注释设备12的显示器上的当前图像的语境。语境提取模块36也确定注释的语境，并且将语境信息连同其他注释信息存储到患者信息系统16。注释管理器14的匹配模块38将当前图像语境与来自被存储在患者信息系统16中的先前研究的图像的语境进行比较，并且将在先前研究中使用的相关先前语境敏感注释提供给客户注释设备12。注释管理器14的显示模块40通过客户注释设备12的显示器20将相关先前语境敏感注释显示给放射科医师。显示模块40使放射科医师能够定制先前注释的列表，使得例如注释来自当前放射科医师已经注释的所有先前研究，而非针对当前患者的所有相关先前研究(其可以包含来自其他放射科医师的注释)。然后能够以具体应用的方式使用相关先前语境敏感注释，例如，直接叠加在调查中的当前图像上或作为列表显示给放射科医师。
当创建新注释时，注释管理器14也自动地检测相关先前图像。为了实现该目的，语境提取模块36自动地提取在客户注释设备12的当前图像上的感兴趣区域(ROI)的语境信息。语境信息能够来自成像技师，以描述扫描的属性、被扫描区域等，或能够来自诊断放射科医师。匹配模块38将在当前图像上的ROI的当前语境信息与来自被存储在患者信息系统16中的先前研究的ROI的语境进行比较，并且提供相关先前研究，所述相关先前研究包括在当前图像上的ROI的相同或语义相似的语境信息。显示模块40通过客户注释设备12的显示器20将相关先前研究显示给放射科医师。显示模块40使放射科医师能够将当前图像切片‘叠加’在相关先前研究的先前图像切片上，提供在图像本身上的ROI的视觉比较，并且从而提供对于先前发现的任何改变。显示模块40还提供沿着时间轴的ROI/发现具体细节的视觉表示。
在一些实施例中，注释管理器14也从注释管理器14的用户输入设备42将来自先前注释的语境敏感注释和/或相关先前图像直接提供给放射科医师和/或客户注释设备14，和/或允许图像和/或图像注释在注释管理器14的显示设备44上被查看。显示设备44能够额外地或备选地用于便于接收来自用户输入设备42的图像和/或图像注释。
参考图2，图示了注释支持系统的基于方框的可视化。在方框100中，语境提取模块24、36自动地确定当前正由放射科医师查看的图像的语境。在一个实施例中，语境提取模块24、36提取被包含在图像的医学数字成像和通信(DICOM)标题中的语境信息以确定图像的语境。DICOM是在医学信息中处置、存储、印刷和传输信息的标准。当生成图像时，生成DICOM标题，其包含与成像系统的模态和被成像的身体部位有关的信息。在另一实施例中，基于模式的分割算法被应用于当前图像。为了确定当前图像的语境，语境提取模块24、36利用基于模式的分割算法来提取与在当前图像中包含的身体部位和/或器官有关的信息。
语境提取模块也自动地确定新注释的语境，所述新注释被应用于当前正由放射科医师查看的图像。当新注释被添加到患者信息系统16时，正被注释的图像的DICOM标题包含与注释有关的语境信息。使用在方框100中描述的语境提取模块24、26操作提取该信息，并且将该信息与注释相关联，使得当前图像的语境对应于新注释的语境。然后所述新注释连同对应的语境信息被存储在患者信息系统16中。
在方框102中，匹配模块26、38将当前图像语境与来自先前研究的图像的语境进行比较。从注释数据库30中检索先前语境，而备选地，能够‘联机’确定所有先前图像语境。匹配模块26、38利用语境信息来确定哪个注释是相关的。例如，匹配模块26、28利用成像系统的模态和被成像的身体部位来确定哪个注释与当前图像的语境相关。匹配模块26、38也利用解剖信息来确定哪个注释与在调查中的图像上正由放射科医师查看的相同器官有关。一旦识别了相关的关键图像，匹配模块26、38从相关图像中检索语境敏感注释，并且将其显示给放射科医师。在一个实施例中，利用已知的自然语言处理方法对先前研究的图像的语境进行解析。在另一实施例中，对先前研究的相关图像进行解析以确定当前研究是否是相关先前研究的后续建议。在另一实施例中，使用自然语言处理对当前临床顺序数据进行解析以确定当前成像数据的语境。
在方框104中，显示模块28、40显示来自先前报告的语境敏感注释的列表。在一个实施例中，根据放射科医师的偏好显示先前注释。每当创建新注释时，其被添加到患者信息系统16，以及正因如此，‘先前注释’也包括已经被添加到当前检查的注释。放射科医师的偏好包括列出所有先前注释(仅仅通过模态和身体部位过滤)，列出由当前放射科医师做出的所有先前注释，列出由当前放射科医师仅针对当前患者做出的先前注释(与由当前用户的所有注释相对)，列出(不仅仅由当前放射科医师)针对当前患者的所有先前注释等。
先前注释列表用于以将在方框104中找到的相关先前注释的列表显示给放射科医师。该列表包含所有注释相关信息，并且注释相关信息的每次使用是具体应用的。例如，在集中于注释重新使用的应用中，能够给用户选项来选择感兴趣的先前注释，以及添加或整个注释或仅仅其选定部分，诸如仅仅描述(当新形状需要与先前描述相关联时使用)或形状被直接应用于当前图像。
在方框106中，将由放射科医师选择的先前注释连同任何新注释添加到所述图像。由于一些放射科医师使用注释的不同术语、类型等，添加来自多个放射科医师累积的先前注释便于他人在进一步搜索中找到相关图像。
参考图3，图示了另一注释支持系统的基于方框的可视化。在方框200中，语境提取模块24、36提取针对当前图像的ROI的语境信息。在一个实施例中，在图像的DICOM标题中包括语境信息，所述图像的DICOM标题包含成像系统的模态、被成像的身体部位、与当前ROI有关的信息(例如长度/直径)等。在一个实施例中，语境提取模块24、36利用图像分割算法来识别驻留/覆盖在ROI的身体部位以及元数据，所述元数据包围在成像研究之间像素/体素区域的连接。在另一实施例中，图像分割算法识别病变的图像特征-例如，边缘、形状、纹理和延伸率，其用于更精准地确定语境。
在方框202中，匹配模块26、28自动地确定相关注释和先前研究。在一个实施例中，匹配模块26、38执行快速经过搜索，其中，匹配模块26、38(或通过排序)仅仅检索与当前ROI的模态和身体部位匹配的注释和先前研究。在另一实施例中，相对于被检测器官的地标的ROI的位置能够用于从被执行的第一快速经过中滤除不相关研究。在第二经过中，匹配模块26、38比较ROI的可测量的量(例如，病变的面积、长度)。来自先前研究发现的先前量度的默认阈值(即±10％)或由放射科医师设置的其他值能够用于所述匹配。在另一实施例中，ROI的特征能够用于从先前研究滤除不相关注释。
为了确保在后续分析中利用正确的先前研究，匹配模块26、28自动地将来自不同先前研究的先前注释和/或研究的列表显示给放射科医师。放射科医师被要求确认在列表中的条目。针对每个列表选项显示默认被选中的复选框，并且如果特定研究是不相关的，放射科医师能够取消选中。对于放射科医师确认的每个先前研究，创建链接当前研究和先前研究的内部参考。
在方框204、206、208中，显示模块28、40将相关先前研究系统地呈现给放射科医师。一旦经先前步骤放射科医师已经确认了相关先前研究，放射科医师能够立刻比较/查看所有这些研究或仅仅选择子集。对于选择的研究，放射科医师能够挑选以：(a)在方框204中，叠加ROI以直接在当前研究上进行视觉比较，或(b)在方框206中，进行研究的并排比较，(c)在方框208中，沿着时间轴回顾与每个研究有关的细节，或(d)时间连续地显示所述研究。
尽管语境提取模块24、36、匹配模块26、38和显示模块28、40被示出为独立的部件，应当认识到，部件中的每个能够是集成客户注释设备12和/或注释管理器14的部分。注释支持系统10的部件中的至少一些的每个包括至少一个处理器46、48、50，其执行来自其中至少一个存储器52、54、56的计算机可执行指令。部件包括客户注释设备12、注释设备14和患者信息系统16。计算机可执行指令体现部件的功能，并且包括客户注释设备12、注释设备14和患者信息系统16的应用。而且，部件中的至少一些的每个包括通信单元58、60、62和/或至少一个系统总线64、68。通信单元提供对应处理器，所述对应处理器具有到至少一个通信网络(诸如通信网络18)的接口。系统总线允许在部件的子部件之间的数据交换。子部件包括处理器、存储器、传感器、显示设备、通信单元等。
参考图4，图示了注释支持的方法的方框图。在步骤300中，确定来自当前图像研究的当前医学图像的语境。在步骤302中，将当前医学图像的语境与来自先前图像研究的先前医学图像的语境进行比较。在步骤304中，显示来自先前图像研究的语境相关注释和语境相关医学图像中的至少一个，所述先前图像研究与当前医学研究的语境匹配。在步骤306中，显示语境相关注释的列表，所述语境相关注释的列表包含由当前放射科医师做出的先前注释、由当前放射科医师针对当前患者做出的先前注释和/或针对当前患者的先前注释。在步骤308中，利用一个或多个语境相关注释的整个或部分对当前医学图像进行注释。在步骤310中，确定针对当前医学图像的感兴趣区域的语境。在步骤312中，显示来自先前图像研究的相关医学图像，其与所述感兴趣区域的语境匹配。在步骤314中，通过将感兴趣区域叠加到当前医学图像、并排地将语境相关医学图像与当前医学图像进行比较以及沿着时间轴放置语境相关医学图像中的至少一个，显示语境相关医学图像。
如本文中使用的，存储器包括以下中的一个或多个：非暂态计算机可读介质；磁盘或其他磁性存储介质；光盘或其他光学存储介质；随机存取存储器(RAM)、只读存储器(ROM)、或其他电子存储设备或芯片或一组可操作地互联的芯片；因特网/内联网服务器，可以经由因特网/内联网或局域网从所述因特网/内联网服务器中检索存储指令等。而且，如本文中使用的，处理器包括微处理器、微控制器、图形处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等中的一个或多个；用户输入设备包括鼠标、键盘、触摸屏显示器、一个或多个按钮、一个或多个开关、一个或多个触发器等中的一个或多个；数据库包括一个或多个存储器；并且，显示设备包括LCD显示器、LED显示器、等离子显示器、投影显示器、触摸屏显示器等中的一个或多个，包括这些的3D版本。
已经参考优选实施例描述了本发明。在阅读和理解以上具体实施方式的情况下对于其他人可能想到修改或替代变型。本文意图将本发明解释为包括所有这种修改和替代变型，只要它们落入所附权利要求及其等价方案的范围之内。

Claims (15)

1.一种注释支持系统(10)，所述系统包括：
至少一个显示设备(20)；
至少一个处理器(46、48)，其被编程为：
确定来自当前图像研究的当前医学图像的背景，其中，所述背景包括所述当前图像研究的模态、被成像的身体部位、以及与当前感兴趣区域有关的信息；
将所述当前医学图像的所述背景与来自先前图像研究的先前医学图像的背景进行比较；并且
显示来自所述先前图像研究的背景相关注释和背景相关医学图像，所述先前图像研究与所述当前医学研究的所述背景匹配，
其中，在第一快速经过搜索和第二经过过程中执行比较和匹配，并且其中：
在所述第一快速经过搜索中，仅检索与所述当前感兴趣区域的模态和身体部位匹配的注释和先前研究；并且
在所述第二经过过程中，比较感兴趣区域的可测量的量。
2.根据权利要求1所述的注释支持系统，其中，所述背景是根据以下中的至少一个来确定的：在所述当前图像的标头中包含的背景信息和与所述当前医学图像中包含的解剖体有关的信息。
3.根据权利要求1-2中的任一项所述的注释支持系统，还被编程为：
显示背景相关注释的列表，所述背景相关注释的列表包含由当前放射科医师做出的先前注释、由所述当前放射科医师针对当前患者做出的先前注释和/或针对所述当前患者的先前注释。
4.根据权利要求1-2中的任一项所述的注释支持系统，还被编程为：
将所述背景相关注释叠加在所述当前医学图像上。
5.根据权利要求1-2中的任一项所述的注释支持系统，还被编程为：
利用一个或多个背景相关注释的整个或部分对所述当前医学图像进行注释。
6.根据权利要求1-2中的任一项所述的注释支持系统，还被编程为：
将所述当前图像的所述背景与新注释的背景相关联；并且
将所述新注释存储为背景相关注释。
7.根据权利要求1-2中的任一项所述的注释支持系统，还被编程为：
确定所述当前医学图像的感兴趣区域的注释的背景；并且
显示来自所述先前图像研究的相关医学图像，所述先前图像研究与所述感兴趣区域的背景匹配。
8.根据权利要求1-2中的任一项所述的注释支持系统，还被编程为：
控制显示设备(20、44)，以通过以下中的至少一种来显示所述背景相关医学图像：将感兴趣区域叠加到所述当前医学图像、并排地将所述背景相关医学图像与所述当前医学图像进行比较、以及在时间轴上显示所述背景相关医学图像。
9.一种提供注释支持的方法，所述方法包括：
确定来自当前图像研究的当前医学图像的背景或针对所述当前医学图像的感兴趣区域的注释的背景，其中，来自当前图像研究的当前医学图像的所述背景包括所述当前图像研究的模态、被成像的身体部位、以及与当前感兴趣区域有关的信息，并且针对所述当前医学图像的感兴趣区域的注释的所述背景包括视觉信息，所述视觉信息包括形状、维度、边缘、纹理、延伸率等特定注释；
将所述当前医学图像的所述背景与来自先前图像研究的先前医学图像的背景进行比较；并且
显示来自所述先前图像研究的背景相关注释和背景相关医学图像，所述先前图像研究与所述当前医学研究的所述背景匹配，
其中，在第一快速经过搜索和第二经过过程中执行比较和匹配，并且其中：
在所述第一快速经过搜索中，仅检索与所述当前感兴趣区域的模态和身体部位匹配的注释和先前研究；并且
在所述第二经过过程中，比较感兴趣区域的可测量的量。
10.根据权利要求9所述的方法，其中，确定所述背景包括根据在所述当前图像的标头中包含的背景信息和与所述当前医学图像中包含的解剖体有关的信息中的至少一个来进行确定。
11.根据权利要求9-10中的任一项所述的方法，还包括：
显示背景相关注释的列表，所述背景相关注释的列表包含由当前放射科医师做出的先前注释、由所述当前放射科医师针对当前患者做出的先前注释和/或针对所述当前患者的先前注释。
12.根据权利要求9-10中的任一项所述的方法，还包括：
利用一个或多个背景相关注释的整个或部分对所述当前医学图像累积地进行注释。
13.根据权利要求9-10中的任一项所述的方法，还包括：
确定针对所述当前医学图像的感兴趣区域的背景；并且
显示来自所述先前图像研究的相关医学图像，所述先前图像研究与所述感兴趣区域的所述背景匹配。
14.根据权利要求9-10中的任一项所述的方法，还包括：
通过以下中的至少一种来显示所述背景相关医学图像：将感兴趣区域叠加到所述当前医学图像、并排地将所述背景相关医学图像与所述当前医学图像进行比较、以及沿着时间轴放置所述背景相关医学图像。
15.一种非暂态计算机可读介质，其承载控制一个或多个处理器(46、48)以执行根据权利要求9-14中的任一项所述的方法的软件。
CN201380044169.0A 2012-08-22 2013-08-12 用于有效查看和报告成像研究相关的先前注释的自动检测和检索 Active CN104584018B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261691951P 2012-08-22 2012-08-22
US61/691,951 2012-08-22
PCT/IB2013/056572 WO2014030092A1 (en) 2012-08-22 2013-08-12 Automatic detection and retrieval of prior annotations relevant for an imaging study for efficient viewing and reporting

Publications (2)

Publication Number Publication Date
CN104584018A CN104584018A (zh) 2015-04-29
CN104584018B true CN104584018B (zh) 2022-09-02

Family

ID=49510450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380044169.0A Active CN104584018B (zh) 2012-08-22 2013-08-12 用于有效查看和报告成像研究相关的先前注释的自动检测和检索

Country Status (7)

Country Link
US (1) US10354049B2 (zh)
EP (1) EP2888686B1 (zh)
JP (1) JP6438395B2 (zh)
CN (1) CN104584018B (zh)
BR (1) BR112015003472B1 (zh)
RU (1) RU2640009C2 (zh)
WO (1) WO2014030092A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2640009C2 (ru) 2012-08-22 2017-12-25 Конинклейке Филипс Н.В. Автоматическое обнаружение и извлечение предшествующих аннотаций, релевантных для визуализирующего исследования, для эффективного просмотра и отчета
WO2014053986A2 (en) * 2012-10-01 2014-04-10 Koninklijke Philips N.V. Multi-study medical image navigation
JP6425905B2 (ja) * 2014-03-18 2018-11-21 キヤノンメディカルシステムズ株式会社 医療レポート作成支援装置
RU2699416C2 (ru) * 2014-09-10 2019-09-05 Конинклейке Филипс Н.В. Идентификация аннотаций к описанию изображения
EP3262550B1 (en) * 2015-02-25 2019-04-10 Koninklijke Philips N.V. Detection of missing findings for automatic creation of longitudinal finding view
JP6536153B2 (ja) * 2015-04-27 2019-07-03 コニカミノルタ株式会社 医用画像表示装置及びプログラム
KR101850772B1 (ko) * 2015-05-27 2018-04-23 삼성에스디에스 주식회사 의료용 메타 데이터베이스 관리 방법 및 그 장치
US20160364527A1 (en) 2015-06-12 2016-12-15 Merge Healthcare Incorporated Methods and Systems for Automatically Analyzing Clinical Images and Determining when Additional Imaging May Aid a Diagnosis
JP6827706B2 (ja) * 2015-09-09 2021-02-10 キヤノン株式会社 情報処理装置及びその方法、情報処理システム、コンピュータプログラム
US10181187B2 (en) 2015-09-09 2019-01-15 Canon Kabushiki Kaisha Information processing apparatus, method thereof, information processing system, and computer-readable storage medium that display a medical image with comment information
JP6646395B2 (ja) 2015-09-28 2020-02-14 キヤノン株式会社 情報処理装置及びその方法、情報処理システム、コンピュータプログラム
CN115376642A (zh) * 2015-10-29 2022-11-22 佳能株式会社 医用图像处理装置及其控制方法和计算机可读介质
US11653897B2 (en) * 2016-07-07 2023-05-23 Canon Medical Systems Corporation Ultrasonic diagnostic apparatus, scan support method, and medical image processing apparatus
US10025902B2 (en) * 2016-08-12 2018-07-17 Verily Life Sciences Llc Enhanced pathology diagnosis
US11081228B2 (en) 2016-09-06 2021-08-03 International Business Machines Corporation Automatic retrospective review of electronic medical records
US11610687B2 (en) * 2016-09-06 2023-03-21 Merative Us L.P. Automated peer review of medical imagery
CN109952613A (zh) * 2016-10-14 2019-06-28 皇家飞利浦有限公司 用于使用pacs日志文件来确定相关的先前放射学研究的系统和方法
WO2018077776A1 (en) * 2016-10-25 2018-05-03 Koninklijke Philips N.V. Device, system, and method for optimizing usage of prior studies
US10235752B2 (en) 2016-11-21 2019-03-19 International Business Machines Corporation Slice selection for interpolation-based 3D manual segmentation
US10467767B2 (en) 2016-12-23 2019-11-05 International Business Machines Corporation 3D segmentation reconstruction from 2D slices
JP7146772B2 (ja) * 2017-01-17 2022-10-04 コーニンクレッカ フィリップス エヌ ヴェ コンテクストオーバレイを提供する拡張現実インターベンションシステム
EP3417781A1 (en) * 2017-06-23 2018-12-26 Koninklijke Philips N.V. Method and system for image analysis of a medical image
US10606982B2 (en) * 2017-09-06 2020-03-31 International Business Machines Corporation Iterative semi-automatic annotation for workload reduction in medical image labeling
US10918346B2 (en) 2017-09-06 2021-02-16 General Electric Company Virtual positioning image for use in imaging
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术（北京）有限公司 用于标注医学图像的方法和装置
US10832808B2 (en) 2017-12-13 2020-11-10 International Business Machines Corporation Automated selection, arrangement, and processing of key images
EP3762935A1 (en) * 2018-03-08 2021-01-13 Koninklijke Philips N.V. Interactive self-improving annotation system for high-risk plaque burden assessment
US11763503B2 (en) * 2019-02-25 2023-09-19 Life Impact Solutions Media alteration based on variable geolocation metadata
US11393579B2 (en) * 2019-07-25 2022-07-19 Ge Precision Healthcare Methods and systems for workflow management
WO2021108793A1 (en) * 2019-11-30 2021-06-03 Ai Metrics, Llc Systems and methods for lesion analysis
US11189375B1 (en) * 2020-05-27 2021-11-30 GE Precision Healthcare LLC Methods and systems for a medical image annotation tool
WO2021250484A1 (en) * 2020-06-10 2021-12-16 Parth Chopra System and method to diagnose respiratory diseases in real-time
WO2022152733A1 (en) * 2021-01-15 2022-07-21 Koninklijke Philips N.V. Post-processing for radiological images
EP4131281A1 (en) * 2021-08-05 2023-02-08 Siemens Healthcare GmbH Determining a body region represented by medical imaging data
WO2023274599A1 (en) * 2021-06-29 2023-01-05 Siemens Healthcare Gmbh Methods and systems for automated follow-up reading of medical image data
EP4134971A1 (en) 2021-08-09 2023-02-15 Ai Medical AG Method and devices for supporting the observation of an abnormality in a body portion
EP4216229A1 (en) * 2022-01-25 2023-07-26 Siemens Healthcare GmbH Subscription and retrieval of medical imaging data

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7184582B2 (en) * 2000-02-04 2007-02-27 Arch Development Corporation Method, system and computer readable medium for an intelligent search workstation for computer assisted interpretation of medical images
CN101396283A (zh) * 2008-10-07 2009-04-01 深圳市蓝韵实业有限公司 一种超声影像辅助诊断系统
US20100080470A1 (en) * 2008-09-30 2010-04-01 International Business Machines Corporation Tagging images by determining a set of similar pre-tagged images and extracting prominent tags from that set
EP2302545A2 (en) * 2009-09-15 2011-03-30 Fujifilm Corporation Diagnosis assisting system, computer readable recording medium having diagnosis assisting program recorded thereon, and diagnosis assisting method
US20110075900A1 (en) * 2009-09-30 2011-03-31 Fujifilm Corporation Diagnosis assisting system, computer readable recording medium having diagnosis assisting program recorded thereon, and diagnosis assisting method

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6041335A (en) 1997-02-10 2000-03-21 Merritt; Charles R. Method of annotating a primary image with an image and for transmitting the annotated primary image
JP2005278786A (ja) * 2004-03-29 2005-10-13 Toshiba Corp 医用画像処理装置
US7865815B2 (en) 2004-12-28 2011-01-04 International Business Machines Corporation Integration and presentation of current and historic versions of document and annotations thereon
US8041093B2 (en) * 2005-04-22 2011-10-18 General Electric Company System and method for definition of DICOM header values
US7646903B2 (en) * 2005-06-22 2010-01-12 Siemens Medical Solutions Usa, Inc. System and method for path based tree matching
RU61442U1 (ru) * 2006-03-16 2007-02-27 Открытое акционерное общество "Банк патентованных идей" /Patented Ideas Bank,Ink./ Система автоматизированного упорядочения неструктурированного информационного потока входных данных
JP2008259622A (ja) * 2007-04-11 2008-10-30 Fujifilm Corp レポート作成支援装置およびそのプログラム
JP2009072412A (ja) * 2007-09-21 2009-04-09 Fujifilm Corp 画像表示システム及び画像表示装置並びに画像表示方法
JP2009093544A (ja) 2007-10-11 2009-04-30 Toshiba Corp 医用レポート装置
US20090217150A1 (en) 2008-02-27 2009-08-27 Yi Lin Systems and methods for collaborative annotation
JP5138431B2 (ja) * 2008-03-17 2013-02-06 富士フイルム株式会社 画像解析装置および方法並びにプログラム
US8956555B2 (en) 2008-05-30 2015-02-17 3M Innovative Properties Company Silylethynyl pentacene compounds and compositions and methods of making and using the same
JP5349384B2 (ja) * 2009-09-17 2013-11-20 富士フイルム株式会社 医用画像表示装置および方法並びにプログラム
JP5551960B2 (ja) * 2009-09-30 2014-07-16 富士フイルム株式会社 診断支援システム、診断支援プログラムおよび診断支援方法
EP2561458B1 (en) * 2010-04-19 2021-07-21 Koninklijke Philips N.V. Report viewer using radiological descriptors
WO2012052040A1 (en) * 2010-10-19 2012-04-26 Mevis Medical Solutions Ag Apparatus for displaying icons representing medical objects
JP5837745B2 (ja) * 2010-12-28 2015-12-24 Ｐｓｐ株式会社 医用レポート作成支援装置
RU2640009C2 (ru) 2012-08-22 2017-12-25 Конинклейке Филипс Н.В. Автоматическое обнаружение и извлечение предшествующих аннотаций, релевантных для визуализирующего исследования, для эффективного просмотра и отчета

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7184582B2 (en) * 2000-02-04 2007-02-27 Arch Development Corporation Method, system and computer readable medium for an intelligent search workstation for computer assisted interpretation of medical images
US20100080470A1 (en) * 2008-09-30 2010-04-01 International Business Machines Corporation Tagging images by determining a set of similar pre-tagged images and extracting prominent tags from that set
CN101396283A (zh) * 2008-10-07 2009-04-01 深圳市蓝韵实业有限公司 一种超声影像辅助诊断系统
EP2302545A2 (en) * 2009-09-15 2011-03-30 Fujifilm Corporation Diagnosis assisting system, computer readable recording medium having diagnosis assisting program recorded thereon, and diagnosis assisting method
US20110075900A1 (en) * 2009-09-30 2011-03-31 Fujifilm Corporation Diagnosis assisting system, computer readable recording medium having diagnosis assisting program recorded thereon, and diagnosis assisting method

Also Published As

Publication number Publication date
RU2640009C2 (ru) 2017-12-25
RU2015109960A (ru) 2016-10-10
US20150205917A1 (en) 2015-07-23
EP2888686A1 (en) 2015-07-01
WO2014030092A1 (en) 2014-02-27
JP6438395B2 (ja) 2018-12-12
BR112015003472B1 (pt) 2022-04-12
JP2015529108A (ja) 2015-10-05
CN104584018A (zh) 2015-04-29
BR112015003472A2 (pt) 2017-07-04
US10354049B2 (en) 2019-07-16
EP2888686B1 (en) 2021-01-06

Similar Documents

Publication Publication Date Title
CN104584018B (zh) 用于有效查看和报告成像研究相关的先前注释的自动检测和检索
AU2004266022B2 (en) Computer-aided decision support systems and methods
US8799013B2 (en) Mammography information system
US8953858B2 (en) Methods and systems for analyzing, prioritizing, visualizing, and reporting medical images
US8786601B2 (en) Generating views of medical images
EP2116974B1 (en) Statistics collection for lesion segmentation
JP6796060B2 (ja) 画像レポート注釈同定
JP6885896B2 (ja) 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP2007275408A (ja) 類似画像検索装置および方法並びにプログラム
JP2008200373A (ja) 類似症例検索装置、方法、およびプログラム、ならびに、類似症例データベース登録装置、方法、およびプログラム
US7492933B2 (en) Computer-aided detection systems and methods for ensuring manual review of computer marks in medical images
US8923582B2 (en) Systems and methods for computer aided detection using pixel intensity values
US20180301216A1 (en) Automatic layout apparatus, automatic layout method, and automatic layout program
JP7426826B2 (ja) 所見の兆候を探る画像スライスのコンピュータ支援検索のためのシステム及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant