CN105473059B - 在成像数据集之间对发现的匹配 - Google Patents

在成像数据集之间对发现的匹配 Download PDF

Info

Publication number
CN105473059B
CN105473059B CN201480042949.6A CN201480042949A CN105473059B CN 105473059 B CN105473059 B CN 105473059B CN 201480042949 A CN201480042949 A CN 201480042949A CN 105473059 B CN105473059 B CN 105473059B
Authority
CN
China
Prior art keywords
image
anatomical structure
acquired
early time
structure image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480042949.6A
Other languages
English (en)
Other versions
CN105473059A (zh
Inventor
E·科昂索拉尔
G·R·曼科维奇
钱悦晨
T·D·D·S·马博杜瓦纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN105473059A publication Critical patent/CN105473059A/zh
Application granted granted Critical
Publication of CN105473059B publication Critical patent/CN105473059B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种方法包括：检测观察者对图像的集合中的解剖结构图像的注意焦点；基于检测到的注意焦点来确定所述解剖结构图像中的位置包括具有感兴趣发现的组织；从早前采集的成像数据集中识别具有与所显示的图像相同的组织部分的解剖结构图像；与所显示的图像同时地视觉显示识别所述早前采集的图像的图形标记。

Description

在成像数据集之间对发现的匹配
技术领域
以下总体上涉及成像并且更具体地涉及在成像数据集之间对发现的匹配。
背景技术
US 2006/0112334A1公开了一种具有凝视跟踪的诊断系统和修改数字图像的部分的方法。在一种布置中，在显示器上显示数字图像，并且确定在显示器上观看该图像的用户的凝视数据。然后确定正被用户观看的图像中对应于所确定的凝视数据的部分，以识别凝视区域。修改所识别的凝视区域以生成经修改的凝视区域，并且在显示器上显示结果得到的经修改的凝视区域。
放射科医师例行地阅读并解读图像。这包括后续行动情况的图像，在所述后续行动情况中，随时间监测经(例如，化疗)处置的病灶的进展或介入(例如，外科手术)的结果。在这样的情况中，放射科医师报告对应于特定临床问题的值得注意的且显著的改变(缩小的肿瘤、在外科手术之后正确疗愈的组织等)。
患者后续行动可以包括利用相同的成像协议(即，相同的模态、相同的被扫描的身体部分和扫描器参数)执行的连续性研究。这些研究能够包括要被查看的几百个切片。最初的研究常常将包含已经被标记为放射科医师审查病例的关键图像。在后续行动研究中，放射科医师将报告先前标记的发现(被注释在关键图像内)。
为此，放射科医师在当前研究中滚动通过图像以确定密切对应于在先研究中识别的发现的相关图像。该任务是通过视觉上将当前研究图像与在先研究图像进行比较，在两个图像集之间来回进行来执行的。遗憾的是，这可能是个枯燥的任务，其中放射科医师在新研究中定位每个发现并将它们中的每个与在先研究中正确的且对应的发现进行比较。
在本文中描述的各方面解决上述问题和其他问题。
发明内容
以下描述了一种用于在当前图像数据集与在先研究之间匹配发现并且任选地当发现匹配时提供通知的方法。用户然后能够决定对建议的后续行动并显示匹配的图像切片和在先研究中的相关发现的位置。在一个实例中，这避免了使临床医师针对给定的系列在搜寻对应的发现中必须经历所有的在前图像切片，得到快得多的视觉比较，更快的发现注释和报告编辑。该方法也能够在当前图像数据集中的新发现尚未在先前图像数据集中被注释时、在先前图像数据集中的发现在当前图像数据集中已被漏掉时进行识别，和/或该方法也能够减少后续行动成像流程中的扫描范围(以及因此剂量)。
在一个方面中，一种方法包括：检测观察者对图像的集合中的解剖结构图像的注意焦点；基于检测到的注意焦点而确定所述解剖结构图像中的位置包括具有感兴趣发现的组织；从早前采集的成像数据集中识别具有与所显示的图像相同的组织部分的解剖结构图像；与所显示的图像同时地视觉显示识别所述早前采集的图像的图形标记。
在另一方面中，一种系统包括：传感器，其感测观察者对被显示在监视器上的图像的集合中的解剖结构图像的注意焦点；映射器，其基于所述监视器的显示几何形状将所述注意焦点映射到所述图像；度量确定器，其基于所述映射来确定度量；逻辑单元，其将所述度量与预定度量进行比较，并且响应于所述度量满足所述预定度量而确定所述解剖结构图像中的位置包括具有感兴趣发现的组织；图像选择器，其从早前采集的成像数据集中识别具有与所显示的图像相同的组织的解剖结构图像；以及显示监视器，其显示识别所述早前采集的图像的图形标记。
在另一方面中，一种被编码有计算机可读指令的计算机可读存储介质，所述计算机可读指令当被处理器运行时令所述处理器：检测观察者对被显示在监视器上的图像的集合中的解剖结构图像的注意焦点；基于所述注意焦点来确定所述解剖结构图像中的位置包括具有感兴趣发现的组织；从早前采集的成像数据集中识别具有与所显示的图像相同的组织的解剖结构图像；并且与所述图像同时地视觉显示识别所述早前采集的图像的图形标记。
附图说明
本发明可以采取各种部件和部件的布置，以及各种步骤和步骤的安排的形式。附图仅出于图示优选实施例的目的，并且不得被解释为对本发明的限制。
图1示意性地图示了与(一个或多个)成像系统和数据储存库相连接的计算系统。
图2图示了用于识别和显示先前采集的数据集中具有注释的先前图像的方法，所述先前图像对应于当前数据集中具有感兴趣发现的当前图像。
图3图示了用于识别和显示先前采集的数据集中没有注释的先前图像的方法，所述先前图像对应于当前数据集中具有感兴趣发现的当前图像。
图4图示了用于识别和显示当前数据集中的图像的方法，所述图像对应于先前采集的数据中具有注释的先前图像。
具体实施方式
图1示意性地图示了与(一个或多个)成像系统102和/或数据储存库104相连接的计算机系统100。成像数据可以以诸如医学中的数字成像与通信(DICOM)、健康水平7(HL7)的标准格式，和/或其他标准格式，和/或非标准的、专有的格式和/或其他格式，由计算机系统100、(一个或多个)成像系统102和/或数据储存库104来存储，和/或在它们之间进行传送。
(一个或多个)成像系统102例如包括以下中的一种或多种：计算机断层摄影(CT)、磁共振成像(MRI)、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)、X射线，和/或其他成像系统。数据储存库104例如包括以下中的一种或多种：图片归档与通信系统(PACS)、放射科信息系统(RIS)、医院信息系统(HIS)，和/或其他数据储存库。
计算机系统100包括一个或多个微处理器以及计算机可读存储介质(存储器)106(即，物理存储器和其他非瞬态存储介质)。计算机系统100还包括诸如键盘、鼠标、麦克风、触摸屏等的(一个或多个)输入设备108以及诸如监视器、胶片机、打印机等的(一个或多个)输出设备110。
计算机可读存储介质106被编码有计算机可读指令，所述计算机可读指令当被一个或多个微处理器运行时令系统100执行在本文中描述的各种功能。一个或多个微处理器额外地或备选地能够运行由载波、信号以及其他瞬态存储介质承载的指令。
计算机系统100还包括数据检索器112，所述数据检索器112经由(一个或多个)输入设备108接收识别成像数据集的信号作为输入，以针对患者进行检索。为此，计算机系统100可以首先在图形用户接口(GUI)等中视觉呈现存储的患者研究的列表，用户能够从所述列表选择要加载的成像数据集。
用户经由(一个或多个)输入设备108选择成像数据集中的一个。在所图示的范例中，数据检索器112从存储器106、(一个或多个)成像系统102和/或图像数据储存库104检索成像数据集。所选择的成像数据集可以为要被阅读的患者的初始成像数据集，或为供阅读并与该患者的先前生成的数据集进行比较的患者的后续行动成像数据集。
在信号识别出后续行动成像数据集时，先前数据识别器114用于识别对应于后续行动成像数据集的先前生成并存储的成像数据集。例如基于成像协议、被扫描的感兴趣解剖结构、成像模态，和/或其他数据，和/或通过对患者的最近的(按年代)扫描，将先前生成并存储的成像数据集识别为与后续行动成像数据集有关。
在对后续行动成像数据集中的图像的观察期间，能够代替地采用先前数据识别器114。在该实例中，通过计算当前观察的图像与数据集的图像之间的归一化加权评分来识别来自先前生成的图像数据集的先前生成的图像。例如，如果图像是利用来自相同模态的数据来生成的，则向评分增加为1的二进制计数。针对解剖结构、系列、图像切片数目等完成相同的计数。
结果，每个发现均具有实时评分。如果最高评分越过某个阈值，则图像被视为匹配。在变型中，时间约束可以通过仅过滤最近的一些在先研究或者通过引入时间衰减函数作为早前提及的归一化加权评分的部分来用于限制所考虑的在先研究。在本文中也预期其他方法。
绘制引擎116经由(一个或多个)输出设备110的监视器视觉呈现所检索的成像数据。在信号识别出后续行动成像数据集时，显示后续行动图像和先前生成的图像两者。能够使用多个监视器(每个监视器一个数据集)或者使用单个监视器(例如，使用分区屏幕、来回切换，和/或其他方法)来显示这两个成像数据集。
图像选择器118允许操作者经由(一个或多个)输入设备108来滚动、跳跃和/或以其他方式浏览并选择图像(切片)，以供绘制引擎116经由(一个或多个)输出设备110的监视器进行视觉呈现。图像选择器118实时地维持所显示的图像切片号、成像检查数据中的系列等。
注释器120经由(一个或多个)输入设备108来接收识别注释的信号作为输入，以在被显示的图像上进行叠加或重叠。注释被传达到绘制引擎116，以经由(一个或多个)输出设备110的监视器来进行视觉呈现。注释器120也允许将一幅图像的注释传播到另一图像。
图像更新器122更新存储器106中的对应图像以包括文件的注释和/或字段，在所述文件中图像为包括注释的部分。经注释的成像数据集例如被存储为DICOM格式，在其中标头包括：模态、解剖结构区域、成像协议、关键图像、发现、注释、位置、切片号、系列识别符、发现特性(例如，形状、边缘、大小等)、(例如，通过用户或任何其他自动或半自动的分割方法所提供的)病灶勾画，和/或其他信息。
眼球跟踪器124检测或跟踪观察者对图像的集合中的解剖结构图像的注意焦点。总体上，眼球跟踪器124能够采用能够识别注意焦点区域的任何方法。在KennethHolmqvist、Marcus 、Richard Andersson、Richard Dewhurst、HalszkaJarodzka、Joost van de Weijer的“Eye Tracking:A comprehensive guide to methodsand measures”(牛津大学出版社，2011年)中讨论了合适的方法的范例。这些方法包括视线、眼球移动、眼球移动的样式、凝思等。在本文中也预期其他方法。
通过非限制性范例的方式，在一个非限制性方法中，眼球跟踪器124测量观察经由(一个或多个)输出设备110被显示的后续行动图像的观察者的(一只或两只)眼球相对于(一个或多个)输出设备110的显示区的几何形状的凝视点和/或运动，并且生成指示所述凝视点和/或所述运动的信号。所图示的眼球跟踪器124包括传感器126，例如，视频相机等。在本文中也预期其他传感器。传感器126例如被安装在诸如桌台、站台、计算系统100等、由观察者穿戴的头戴式设备的设备上，和/或被安装在其他设备上。
所图示的传感器126聚焦在观察者的一只或两只眼球上，并且随着观察者观察经由(一个或多个)输出设备110被显示的图像而记录它们的移动。在一种非限制性范例中，传感器126聚焦在瞳孔的中心上，并且感测可见和/或红外/近红外非准直光，以创建角膜反射。瞳孔中心与角膜反射之间的向量能够用于计算在表面上或凝视方向上的注视点。
眼球跟踪器124还包括映射器128，所述映射器128处理来自传感器126的信号并将(一只或两只)眼球的凝视和/或运动映射到(一个或多个)输出设备110的监视器的坐标系(x、y坐标)。映射器128生成指示映射的信号。在一个实例中，映射针对每个被观察图像，提供视线关于监视器的平面的基于时间的映射。
度量确定器130接收映射器128的输出和/或图像选择器118的输出，并基于其生成一个或多个度量。例如，在一个实例中，度量确定器130处理映射器128的输出，并针对每个被观察图像，生成指示观察者观察每幅图像内的每个位置所花费的总时间量的度量。在另一实例中，度量确定器130处理图像选择器118的输出，并生成指示图像被观察的顺序次序的度量。
逻辑单元132评价度量。在一个实例中，这包括将度量与预定阈值和/或观察样式进行比较。例如，能够将指示观察者观察图像内的每个位置所花费的总时间量的度量与时间阈值进行比较，并且能够将指示图像被观察的顺序次序的度量与观察样式进行比较。
在一个实例中，满足阈值指示所显示的图像中正被观察的位置包括观察者感兴趣的特征。亦即，如果观察者至少花费阈值时间量来观察图像中的特定位置和/或来回几次滚动通过图像的子集，则逻辑单元132确定图像中的该位置或图像的系列中的3D位置包括观察者感兴趣的发现。
响应于度量满足与观察后续行动成像数据集中的图像相联系的阈值，逻辑单元132调用图像选择器118以同时显示来自先前生成并存储的成像数据集的对应图像。在一个实例中，能够通过计算到通过注释定位的在先发现的距离来识别特定图像，其中，在给定阈值以下的最短距离被识别为对应的图像。
在变型中，逻辑单元132可以配准(例如，基于模型或基于分割的)图像，以便具有在它们之间几何对应的相同解剖结构区域(例如，器官水平、切片号、切片内的位置)。这可以改进匹配的精确度。能够使用刚性和/或弹性配准算法。在成像数据集对应于不同模态(例如，CT和MR)时，能够执行对两种类型的图像的配准或融合。
在另一变型中，逻辑单元132可以采用分割，所述分割使用眼球跟踪位置作为种子，以启动对发现(例如，团块、肿瘤、囊肿等)的分割。这可以提供在先发现的更加准确的位置以供匹配，不基于由用户提供的注释而是基于目标自身。另外，这提供了计算形状、边缘和/或(一个或多个)任何其他特征的能力，以进一步计算匹配评分并避免错误匹配(即，基于外观的匹配)。
相反，如果不满足阈值，则逻辑单元132确定图像中的位置不包括观察者感兴趣的特征，并且调用对任何图像的显示。
通过自动显示对应的图像，观察者不需要必须滚动通过先前生成的成像数据集以寻找该图像，从而节省时间。逻辑单元132能够在对后续行动图像的显示上显示视觉反馈或标记，例如，图标、文本、图形等，从而告知观察者匹配被发现并被显示在其他监视器上。观察者经由(一个或多个)输入设备108和注释器120能够注释后续行动图像和/或先前生成的图像。
在变型中，显示标记而不显示先前生成的图像。在该实例中，在标记上点击和/或以其他方式调用显示后，先前生成的图像和/或注释被显示。在该情况中，观察者能够在显示先前生成的图像之前确认所识别的先前生成的图像确实不对应于正被观察的后续行动图像。观察者经由(一个或多个)输入设备108能够拒绝或接受该图像映射。
通过非限制性范例的方式，逻辑单元132能够在观察者的凝视的水平处并在屏幕的一侧处显示图标，以视觉通知观察者。备选地，箭头能够在匹配的水平处和凝视位置处出现在图像上，连同音响信号一起。如果观察者决定考虑该匹配，则观察者能够将鼠标悬停在图标上方和/或在图标上进行点击，并且在先研究中的对应发现出现在其他监视器上，以评价并确认该匹配。
在其中观察者确认正确匹配的情况中，观察者能够在在先发现描述开头无缝编辑图像注释及相关联的文本描述。来自在先研究的文本能够被传播并显示在当前发现的一侧的小窗口中。当完成并提交时，发现细节将被增加到最终报告。来自在先发现的图像注释也能够被定位在当前图像中的凝视位置处，以供最终编辑。
以下提供了非限制性的使用案例情境。在该范例中，系统100为PACS系统。然而，在其他范例中，系统100能够为另一计算机系统。
由咨询医师或专科医师(例如，肿瘤科医师、心脏病科医师等)安排初始成像检查，以达到或确认针对呈现有新医学状况的患者的诊断。例如，患者可以就间歇性腹痛的症状找他/她的咨询医师进行会诊，并且医师提供针对CT腹部-盆腔成像检查的安排。
系统100(和/或其他系统)用于观看结果得到的体积成像数据集中的图像切片。这包括利用注释器120注释被表示在图像中的一幅或多幅中的感兴趣特征以及生成这对该新的医学状况的放射科报告。经注释的成像数据集被保存到存储器106、数据储存库104和/或其他存储设备中。具体的存储设备可以包括针对每个患者的研究中的一些或全部。
当患者在处置期间或在处置之后针对后续行动检查或针对监测目的而返回时，系统100通过建议在由放射科医师当前观察的本发现与来自过去研究的在先发现之间的潜在匹配来减少复查在先图像的堆的导航工作。
任选地，系统100能够用于识别在先研究中被忽视的发现：例如，如果观察者在当前研究中视觉检测到之前未被看到和报告的新发现(本发明不建议匹配)，则逻辑单元132调用图像选择器118来显示来自最近的在先研究(切片号和系列)的、被忽视的发现可能位于其中的对应区域。
对此，观察者的凝视提供了新检测到的发现在来自当前研究的图像中的位置。观察者能够例如通过语音识别或其他方法来要求系统100在在先研究中查找对等的位置。对应的切片被显示以供比较。观察者可能发现被忽视的发现，所述被忽视的发现可能较小并且较不易检测到。
针对当前研究中被忽略的发现。如果放射科医师视觉上未能在当前研究中检查到对应于在先研究中的发现的区，则系统能够在那些被忽略的在先发现的在当前研究中的对应区中进行通知并可视化那些被忽略的在先发现。这能够随着放射科医师已经越过发现向下滚动图像的堆或者在稍后当阅读阶段完成而通知放射科医师一个或多个被忽视的区域时来动态地完成。
前文也可以用于限定对后续扫描的采集，这相对于不限定后续扫描可以降低患者接收的X射线剂量。对次，逻辑单元132确定在先发现位置、相关联的器官和子区域之间的对应区域，并建议成像范围，以将采集限定到仅为对比较有用的区域。
图2、图3和图4图示了范例方法。出于简要和解释的目的，图2、图3和图4是在观察者聚焦在图像的区域上多久的背景中公开的。然而，如在本文中所公开的，也能够利用观察者来回移动通过图像的集合的样式。
应当认识到，动作的排序并非是限制性的。正因如此，在本文中预期其他排序。另外，可以省略一个或多个动作和/或可以包括一个或多个额外的动作。
图2图示了用于识别和显示在先前采集的数据集中具有注释的先前图像的方法，所述先前图像对应于当前数据集中具有感兴趣发现的当前图像。
在202处，加载对象的后续行动成像数据集。
在204处，显示并滚动通过所加载的后续行动成像数据集中的图像。
在206处，针对每幅显示的图像，记录观察者观察所显示的图像中覆盖对象的特定组织的每个位置的时间量。
在208处，针对每幅图像中的每个位置，将观察每个位置所花费的时间量与预定阈值时间间隔进行比较。
在210处，如果观察图像的特定位置所花费的时间量超过预定阈值时间间隔，则针对具有注释的对应图像，评价来自对象的先前成像检查的一个或多个成像数据集。
在212处，如果具有注释的图像被定位，则视觉显示指示图像被定位的标记。
在214处，如果所定位的图像被确认，则与所显示的图像同时显示所定位的图像或注释中的至少一个，以供比较。
图3图示了用于识别和显示先前采集的数据集中没有注释的先前图像的方法，所述先前图像对应于当前数据集中具有感兴趣发现的当前图像。
在302处，加载对象的后续行动成像数据集。
在304处，显示并滚动通过所加载的后续行动成像数据集中的图像。
在306处，针对每幅显示的图像，记录观察者观察所显示的图像中覆盖对象的特定组织的每个位置的时间量。
在308处，针对每幅图像中的每个位置，将观察每个位置所花费的时间量与预定阈值时间间隔进行比较。
在310处，如果观察图像的特定位置所花费的时间量超过预定阈值时间间隔，则针对具有注释的对应图像，评价来自对象的先前成像检查的一个或多个成像数据集。
在312处，如果没有注释的对应图像被定位，则显示指示这样的图像已经被定位的消息。
在314处，注释该图像。
图4图示了用于识别和显示当前数据集中的图像的方法，所述图像对应于先前采集的数据中具有注释的先前图像。
在402处，加载对象的后续行动成像数据集。
在404处，在后续行动成像数据集中注释具有感兴趣发现的图像。
在406处，针对注释评价先前采集的成像数据集。
在408处，将先前所采集的成像数据集与后续行动成像数据集进行比较。
在410处，识别后续行动成像数据集中不包括注释并且对应于先前采集的成像数据中具有注释的图像的图像。
在412处，显示指示所识别的图像的消息。
在414处，注释所识别的图像。
以上方法可以通过计算机可读指令的方式得以实施，所述计算机可读指令被编码或被嵌入在计算机可读存储介质上，所述计算机可读指令在被(一个或多个)计算机处理器运行时，令(一个或多个)处理器执行所描述的动作。额外地或备选地，计算机可读指令中的至少一个由信号、载波或其他瞬态介质承载。
已经参考优选实施例描述了本发明。他人在阅读和理解前面的具体描述的情况下可以想到修改和替代。本文旨在将本发明解释为包括所有这样的修改和替代，只要它们落入权利要求书及其等价方案的范围内。

Claims (15)

1.一种成像方法，包括：
检测(206、208、306、308)观察者对图像集合中的所显示的解剖结构图像的注意焦点；
响应于检测到的注意焦点而确定所述所显示的解剖结构图像中的位置包括具有感兴趣发现的组织；
从早前采集的成像数据集中识别(210、310)具有与所述所显示的解剖结构图像相同的组织部分的早前采集的解剖结构图像；并且
与所述所显示的解剖结构图像同时地视觉显示(214、314)识别所述早前采集的解剖结构图像的图形标记。
2.如权利要求1所述的方法，对所述注意焦点的所述检测包括：
确定(206、306)所述观察者正在对所述所显示的解剖结构图像的特定区域进行凝思，其中，所述位置为所述特定区域。
3.如权利要求1所述的方法，对所述注意焦点的所述检测包括：
确定(206、306)所述观察者观察所述所显示的解剖结构图像中的每个位置所花费的时间量；
将在每个位置处的所述时间量与预定阈值时间间隔进行比较(208、308)；并且
响应于在所述所显示的解剖结构图像中的所述位置处的所述时间量超过所述预定阈值时间间隔而确定所述位置包括具有所述感兴趣发现的组织。
4.如权利要求3所述的方法，还包括：
采用眼球跟踪来确定所述观察者观察每个位置所花费的所述时间量，具体地
采用眼球跟踪以跟踪所述观察者的视线或眼球移动中的至少一个；并且
基于所跟踪的视线或所跟踪的眼球移动中的至少一个来确定所述观察者观察所述所显示的解剖结构图像中的每个位置所花费的所述时间量。
5.如权利要求1至4中的任一项所述的方法，还包括：
响应于接收到指示所述图形标记已经被启用的输入而显示所述早前采集的解剖结构图像和/或对所述早前采集的解剖结构图像的注释。
6.如权利要求5所述的方法，还包括：
将对所述早前采集的解剖结构图像的所述注释传播到所述所显示的解剖结构图像，并且/或者
向所述所显示的解剖结构图像增加注释或改变对所述早前采集的解剖结构图像的所述注释中的至少一项。
7.如权利要求1至4中的任一项所述的方法，还包括：
确定在所述图像集合中的图像之间前后滚动的样式；并且
基于所述样式来从所述早前采集的成像数据集中识别具有与所述所显示的解剖结构图像相同的组织的所述早前采集的解剖结构图像。
8.如权利要求1至4中的任一项所述的方法，其中，所述早前采集的解剖结构图像为初始图像，并且所述所显示的解剖结构图像为所述初始图像的后续行动图像。
9.如权利要求1至4中的任一项所述的方法，还包括：
显示(312)指示所述早前采集的解剖结构图像不包括注释的消息。
10.如权利要求1至4中的任一项所述的方法，还包括：
评价(406)早前采集的解剖结构图像；
识别所评价的早前采集的解剖结构图像中的注释；
确定所述图像集合中的第二图像不包括注释，所述第二图像对应于所述早前采集的解剖结构图像中的第二图像，其中，所述早前采集的解剖结构图像中的所述第二图像包括注释；并且
显示指示所述图像集合中的所述第二图像不包括注释的第二消息。
11.如权利要求1至4中的任一项所述的方法，从所述早前采集的成像数据集中识别具有与所述所显示的解剖结构图像相同的组织的所述早前采集的解剖结构图像，包括：
计算到通过注释来定位的在先发现的距离，其中，在给定阈值以下的最短距离被识别为所述早前采集的解剖结构图像。
12.一种成像系统，包括：
传感器(126)，其感测观察者对被显示在监视器(110)上的图像集合中的所显示的解剖结构图像的注意焦点；
映射器(128)，其基于所述监视器(110)的显示几何形状来将所述注意焦点映射到所述图像；
度量确定器(130)，其基于所述映射来确定度量；
逻辑单元(132)，其将所述度量与预定度量进行比较，并且响应于所述度量满足所述预定度量而确定所述所显示的解剖结构图像中的位置包括具有感兴趣发现的组织；
图像选择器(118)，其从早前采集的成像数据集中识别具有与所述所显示的解剖结构图像相同的组织的早前采集的解剖结构图像；以及
显示监视器(110)，其显示识别所述早前采集的解剖结构图像的图形标记。
13.如权利要求12所述的系统，其中，所述图像集合被与所述早前采集的成像数据集配准，并且来自所述早前采集的成像数据集的具有与所述所显示的解剖结构图像相同的组织的所述早前采集的解剖结构图像是基于所述配准而被识别的，并且/或者
其中，所述图像集合是基于所述注意焦点而被分割的，并且来自所述早前采集的成像数据集的具有与所述所显示的解剖结构图像相同的组织的所述早前采集的解剖结构图像是基于所述分割而被识别的，并且/或者
其中，所述图像集合和所述早前采集的成像数据集对应于两种不同的成像模态，所述图像集合和所述早前采集的成像数据集被融合，并且来自所述早前采集的成像数据集的具有与所述所显示的解剖结构图像相同的组织的所述早前采集的解剖结构图像是基于所融合的图像而被识别的。
14.如权利要求13所述的系统，其中，来自所述早前采集的成像数据集的所述早前采集的解剖结构图像是通过计算在所述所显示的解剖结构图像与所述早前采集的成像数据集中的图像之间的归一化加权评分而被识别的。
15.一种被编码有计算机可读指令的计算机可读存储介质，所述计算机可读指令当被处理器运行时令所述处理器：
检测(206、208、306、308)观察者对被显示在监视器上的图像集合中的所显示的解剖结构图像的注意焦点；
响应于检测到的注意焦点而确定所述所显示的解剖结构图像中的位置包括具有感兴趣发现的组织；
从早前采集的成像数据集中识别(210、310)具有与所述所显示的解剖结构图像相同的组织的早前采集的解剖结构图像；并且
与所述所显示的解剖结构图像同时地视觉显示(214、314)识别所述早前采集的解剖结构图像的图形标记。
CN201480042949.6A 2013-07-30 2014-07-08 在成像数据集之间对发现的匹配 Expired - Fee Related CN105473059B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361859884P 2013-07-30 2013-07-30
US61/859,884 2013-07-30
PCT/IB2014/062936 WO2015015341A1 (en) 2013-07-30 2014-07-08 Matching of findings between imaging data sets

Publications (2)

Publication Number Publication Date
CN105473059A CN105473059A (zh) 2016-04-06
CN105473059B true CN105473059B (zh) 2019-03-08

Family

ID=51539301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480042949.6A Expired - Fee Related CN105473059B (zh) 2013-07-30 2014-07-08 在成像数据集之间对发现的匹配

Country Status (5)

Country Link
US (1) US10614335B2 (zh)
EP (1) EP3027107B1 (zh)
JP (1) JP6230708B2 (zh)
CN (1) CN105473059B (zh)
WO (1) WO2015015341A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7787672B2 (en) 2004-11-04 2010-08-31 Dr Systems, Inc. Systems and methods for matching, naming, and displaying medical images
US9495604B1 (en) 2013-01-09 2016-11-15 D.R. Systems, Inc. Intelligent management of computerized advanced processing
JP6687393B2 (ja) * 2015-04-14 2020-04-22 キヤノンメディカルシステムズ株式会社 医用画像診断装置
US20200168336A1 (en) * 2017-07-31 2020-05-28 Koninklijke Philips N.V. Device, system, and method for determining when to select limited echocardiography exams
US11344371B2 (en) 2018-10-19 2022-05-31 Canon U.S.A., Inc. Visualization of three-dimensional image data on a two-dimensional image
US10778916B2 (en) * 2018-10-24 2020-09-15 Honeywell International Inc. Applying an annotation to an image based on keypoints
DE102019211536A1 (de) * 2019-08-01 2021-02-04 Siemens Healthcare Gmbh Automatische Lokalisierung einer Struktur
US20220392080A1 (en) * 2021-06-03 2022-12-08 Electronics And Telecommunications Research Institute Apparatus and method for supporting attention test based on attention map and attention movement map

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007138510A1 (en) * 2006-05-31 2007-12-06 Koninklijke Philips Electronics N.V. Controlling a viewing parameter
CN101918908A (zh) * 2007-09-28 2010-12-15 阿尔卡特朗讯 用于确定用户对显示页面的特定内容的反应的方法
US8020993B1 (en) * 2006-01-30 2011-09-20 Fram Evan K Viewing verification systems
CN102883660A (zh) * 2010-09-20 2013-01-16 德克萨斯州大学系统董事会 高级多媒体结构化报告

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0370381A (ja) * 1989-08-10 1991-03-26 Fuji Photo Film Co Ltd 画像表示装置
US6381339B1 (en) 1997-01-15 2002-04-30 Winton Emery Brown Image system evaluation method and apparatus using eye motion tracking
GB0229625D0 (en) 2002-12-19 2003-01-22 British Telecomm Searching images
US7396129B2 (en) * 2004-11-22 2008-07-08 Carestream Health, Inc. Diagnostic system having gaze tracking
US7573439B2 (en) * 2004-11-24 2009-08-11 General Electric Company System and method for significant image selection using visual tracking
JP2007029248A (ja) 2005-07-25 2007-02-08 Hitachi Medical Corp 比較読影支援装置及び画像処理プログラム
US7747050B2 (en) 2005-11-23 2010-06-29 General Electric Company System and method for linking current and previous images based on anatomy
US20090132279A1 (en) * 2007-11-21 2009-05-21 General Electric Company Method and apparatus for significant and key image navigation
WO2010051037A1 (en) * 2008-11-03 2010-05-06 Bruce Reiner Visually directed human-computer interaction for medical applications
WO2011066486A2 (en) 2009-11-25 2011-06-03 The Board Of Regents Of The University Of Texas System Advanced multimedia structured reporting
US8311303B2 (en) * 2010-01-12 2012-11-13 Siemens Corporation Method and system for semantics driven image registration
DE102013226244A1 (de) * 2013-12-17 2015-06-18 Siemens Aktiengesellschaft Medizintechnische Steuerung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8020993B1 (en) * 2006-01-30 2011-09-20 Fram Evan K Viewing verification systems
WO2007138510A1 (en) * 2006-05-31 2007-12-06 Koninklijke Philips Electronics N.V. Controlling a viewing parameter
CN101918908A (zh) * 2007-09-28 2010-12-15 阿尔卡特朗讯 用于确定用户对显示页面的特定内容的反应的方法
CN102883660A (zh) * 2010-09-20 2013-01-16 德克萨斯州大学系统董事会 高级多媒体结构化报告

Also Published As

Publication number Publication date
WO2015015341A1 (en) 2015-02-05
EP3027107B1 (en) 2017-10-11
JP2016525426A (ja) 2016-08-25
EP3027107A1 (en) 2016-06-08
JP6230708B2 (ja) 2017-11-15
CN105473059A (zh) 2016-04-06
US10614335B2 (en) 2020-04-07
US20160162745A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
CN105473059B (zh) 在成像数据集之间对发现的匹配
JP5478328B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
KR101539234B1 (ko) 의료 진단 장치의 오류 이벤트 처리 방법, 장치 및 의료 정보 제공 방법, 장치
US9662083B2 (en) Medical image display apparatus and medical image display system
KR101716421B1 (ko) 정보 제공 방법 및 정보 제공을 위한 의료 진단 장치
US11538572B2 (en) Case display apparatus, case displaying method, and storage medium background to seamlessly present diagnostic images captured at different times for comparative reading
US10353461B2 (en) Evaluating clinician
WO2017033516A1 (ja) 読影支援装置及び方法
KR101840350B1 (ko) 의료 영상 판독 과정에서 사용자의 시선 정보를 이용한 판독 효율 증대 방법 및 그 장치
KR20140055152A (ko) 병변 진단 보조 장치 및 방법
US20090080742A1 (en) Image display device and image display program storage medium
KR20160071241A (ko) 컴퓨터 보조 진단 장치 및 방법
KR101520613B1 (ko) 초음파 영상 데이터 제공 방법 및 초음파 영상 데이터 제공 장치
KR101518804B1 (ko) 의료 데이터 관리 방법 및 장치
RU2568262C2 (ru) Соотнесение полученных изображений с объектами
US11238976B2 (en) Interpretation support apparatus and non-transitory computer readable medium
JP7075115B2 (ja) 医療画像処理システムおよび医療画像処理方法
Fujita et al. State-of-the-art of computer-aided detection/diagnosis (CAD)
US20220309658A1 (en) Image display apparatus, non-transitory computer readable storage medium storing control program, and image display system
US10674981B2 (en) Method for contrast medium injection volume estimation based on image analysis
CN117877687A (zh) 信息展示方法、装置、设备和存储介质
JP2022550267A (ja) 血流予備量比を決定するための画像データの自動解析
de Azevedo-Marques et al. Introduction to Content-based Image Retrieval

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190308

Termination date: 20200708

CF01 Termination of patent right due to non-payment of annual fee