CN102292734B - 在图像处理期间预测用户交互 - Google Patents

在图像处理期间预测用户交互 Download PDF

Info

Publication number
CN102292734B
CN102292734B CN201080005092.2A CN201080005092A CN102292734B CN 102292734 B CN102292734 B CN 102292734B CN 201080005092 A CN201080005092 A CN 201080005092A CN 102292734 B CN102292734 B CN 102292734B
Authority
CN
China
Prior art keywords
user interactions
user
series
image
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080005092.2A
Other languages
English (en)
Other versions
CN102292734A (zh
Inventor
S·M·F·施密特
S·P·M·德赖斯
J·冯贝格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102292734A publication Critical patent/CN102292734A/zh
Application granted granted Critical
Publication of CN102292734B publication Critical patent/CN102292734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/048Fuzzy inferencing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pure & Applied Mathematics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种用于借助于用户交互系列处理图像的设备。当处理图像时,用户进行用户交互系列。优选地,这被标准化以确保可重复性和精度。然而,用户要求的所述用户交互系列可以取决于用户的需求、被处理的图像或者甚至用户的偏好。本发明提供了一种能够满足复杂的图像处理需求的设备,在图像可视化过程中提供标准化的步骤或轨迹系列,并且允许用户在必要时偏离这一标准。这加速和简化了当在不同图像上执行已知任务时必须的交互。当用户执行不熟悉的任务时,其还提供了有价值的辅助,从而避免错误,例如图像采集期间不正确的辐射水平,这可能在医学成像环境中造成严重后果。

Description

在图像处理期间预测用户交互
技术领域
本发明涉及用于在图像处理期间预测用户交互的方法和设备,并且涉及一种计算机程序产品,当被加载到计算机并在其上运行时,该计算机程序产品执行所述方法。
本发明还涉及一种医学成像系统,其包括用于在图像处理期间预测用户交互的设备。
背景技术
对例如诊断或治疗图像的医学图像的处理通常要求大量的用户交互。范例包括:采集图像、放大/缩小、选择特定视图、选择特定感兴趣区域、选择特定体积切片、选择特定子体积、应用图像处理算法和滤波器、更改诸如亮度的呈现参数以及伪彩色映射。当处理图像时,用户进行交互系列。优选地,这被标准化以确保可重复性和精度。然而,所述交互系列可能取决于用户的需求、被处理的图像或者甚至用户的偏好。在本发明的上下文中,图像处理是指使用人工或计算机实施的交互处理图像。
当前的医学图像观察应用,例如图像存档与通信系统(PACS)和诸如ExtendedBrillianceWorkspace(EBW)的工作站,提供了大范围的观察和图像处理选项,其意味着执行同一任务的不同用户可以用不同的方式产生可接受的结果。提供了一些标准化的视图,但这对标准化图像处理期间采取的步骤帮助甚微。
可以针对特定类型的图像处理定义标准的交互步骤系列,并指示用户针对每个新的图像数据集进行这些步骤;例如,在处理肥厚型男性心脏图像的过程中,放射科顾问采取的步骤可以如下:
-浏览垂直于心脏纵轴的平面处的数据
-从基点(basis)开始,使大动脉位于左下角
-缩放调节以使左心室填充视图
-设置显示对比度,使得仅心肌处在灰阶值窗口内
-在心室高度的三分之一和三分之二处选择2平面以用于显示
-使用同心圆工具进行测量
-打印在心室高度的三分之一和三分之二处的观察平面
-选择标准平面编号1
-调整水平并调整窗口
-打印平面编号1
-选择标准平面编号2
-调整水平并调整窗口
-打印平面编号2
然而,根据这一范例,对于本领域技术人员而言显而易见的是,为了执行这些步骤用户所采取的实际动作可以显著不同,这取决于图像的参数。例如,在使左心室填充视图的过程中,所选择的实际放大倍率或缩放选择框的尺寸取决于采集原始图像时的放大倍率。图像中心室的位置也可能不同,迫使用户进行缩放和移动,或者在不同的位置绘制缩放选择框。
实践中的情况更为复杂,因为起始图像集可能由于例如用户的偏好、用于采集图像数据集的模态和仪器而不同。此外,用户可能希望基于例如用户的偏好以及被观察视图的内容而改变流程。
已知将放射成像结果与期望的参数集进行比较以确定偏差。Vano、Fernandez等人在Radiology2002第225:283-288页的文章“Real-TimeMeasurementandAuditofRadiationDosetoPatientsUndergoingComputedRadiography”中公开了一种用于审核计算机放射线照相术的实时患者剂量监视系统。来自每次曝光以及针对每种检查类型的技术数据被收集并通过网络发送至工作站,工作站计算进入皮肤剂量的移动平均值以及十位最近被检查患者的剂量-面积乘积。比较平均值与参考值,如果超过了参考值生成警报消息,在必要时提示校正动作。然而,这样的比较系统限制用户的自由,即必须执行该流程,并且事后会出现偏差。
发明内容
本发明的目的是提供一种用于借助于与图像的用户交互系列处理医学图像的医学图像处理设备。
通过独立权利要求限定本发明。在从属权利要求中限定了有利实施例。
根据本发明的第一方面,使用用于借助于与图像的用户交互系列处理医学图像的医学图像处理设备实现该目的,所述设备包括:预测器,其被配置成用于预测与图像的用户交互;监视器,其被配置成用于监视图像处理期间的与图像的所述用户交互系列,其被配置和布置成向预测器提供所述系列中的至少一个步骤,其中,所述预测器被配置成提供与医学图像的至少一个随后的用户交互步骤。
本发明提供了一种能够满足复杂的图像处理要求的设备,在图像可视化过程中提供了标准化的步骤或轨迹系列,并且允许用户在需要时偏离这一标准轨迹。当在不同图像上执行已知任务时,这加速并简化了必要的交互。其还在执行不熟悉的任务时提供了有价值的辅助,从而避免错误,例如当采集图像时不正确的辐射水平,这会在医学成像环境中造成严重后果。
本发明是基于这样的认识,即用户交互相对易于收集,但是对这种数据的实际使用在将其用于已知技术时非常有限。有许多方式可以实现相同的结果,因而在许多实际情况下这些方式彼此间的比较不是有利的。本发明是基于这样的认识,即当本发明与预测模型组合时,可以更充分地利用这一丰富的数据源,从而不仅比较用户交互,而且还比较在其中执行所述用户交互的背景。
根据本发明的一方面,预测器还被配置成执行至少一个随后的步骤。通过这种方式,用户交互可以自动化到更高的程度。
根据本发明的一方面,预测器被配置成提示用户执行所述至少一个随后的步骤。在特定情况下,其还可以有利地提示用户确认应当执行随后的步骤。如果该设备正用于为预测器提供输入,这将尤其有利。
根据本发明的另一方面,监视器还被配置成向用户显示当前图像,并且预测器还被配置成提供至少一个随后的用户交互以向用户显示随后的图像。这可以是有利的,因为其提供了逐图像进行图像处理的方式。在医学成像领域中,这通常是直观的并且用户友好的,因为用户可以逐视图进行浏览。
根据本发明的另一方面,预测器被配置成用于使用在图像处理期间先前记录的至少一个用户交互步骤预测用户交互。根据用户交互系列中预期的变化,其可以有利地在训练模式下为预测器供应一个或多个实际的用户交互。
根据本发明的另一方面,提供了一种方法,用于在医学图像处理期间预测用户交互,包括:确定与医学图像的用户交互的预测模型;监视图像处理期间的与医学图像的用户交互系列;为预测模型提供来自所述交互系列中的至少一个步骤;以及使用预测模型确定与医学图像的至少一个随后的交互步骤。根据本发明的图像处理设备被配置成执行这种方法。
根据本发明的另一方面,提供了一种计算机程序产品,用于当被加载到计算机上被在其上运行时执行根据本发明的方法。
本领域技术人员应当认识到,可以通过任何被认为有用的方式组合两个或更多个上述本发明的实施例、实现方式和/或各方面。
本领域技术人员基于本说明书可以执行对应于所述方法或设备的修改和变型的图像处理设备、工作站、系统和/或计算机程序产品的修改和变型。
本领域技术人员应当认识到,所述方法可以应用于多维图像数据,例如,应用于由各种采集模态采集的2维(2-D)、3维(3-D)或4维(4-D)图像,所述采集模态例如是,但不限于,标准X射线成像、计算机断层摄影(CT)、磁共振成像(MRI)、超声(US)、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)和核医学(NM)。
附图说明
参考下文描述的实施例,本发明的这些方面和其他方面将显而易见并得以阐述。
在附图中:
图1描绘了根据本发明在图像处理期间预测用户交互的方法;
图2描绘了根据本发明的预测模型的范例;
图3示出了根据本发明用于借助于用户交互系列处理图像的设备的范例;
图4描绘了在对脑部图像的处理期间提示用户选择用户交互的显示屏幕的范例;以及
图5描绘了在对心脏图像的处理期间提示用户选择用户交互的显示屏幕的范例。
附图仅仅用于图示说明并且未按照比例绘制。特别是为了清晰,一些尺寸被夸张地放大。附图中的相似部件由尽可能相似的参考标记表示。
具体实施方式
图1描绘了根据本发明在图像处理期间预测用户交互的方法500。图像处理被用作通用术语以涵盖生成或采集图像所需要的步骤的任何部分,包括执行扫描,其中,用户所采取的步骤可以影响图像。处理可以手动地、使用计算机实施的工具或者其任意组合来完成。
方法500包括:
-确定510用户交互的预测模型;
-在图像处理期间监视520用户交互系列;
-为所述预测模型提供530来自所述交互系列的至少一个步骤;以及
-使用所述预测模型确定540至少一个随后的步骤。
在图1描绘的方法500中,确定510用户交互的预测模型。尽管可以使用对于本领域技术人员而言可获得的任何技术来构建预测模型,例如统计或模糊逻辑,优选的实施例利用了马尔可夫模型。马尔可夫模型可以包含用于对所述用户交互系列中时间上离散的步骤进行建模的状态参数以及表示有意义的与图像有关的变量的额外观测变量。在马尔可夫模型中,这些变量可以通过条件概率分布彼此相关——转移概率是已给出先前状态的状态的条件概率,并且输出概率表示已给出当前状态的观测的条件概率。这样的有意义的图像特征包括:
-全局图像属性,例如对比度和直方图
-感兴趣区域图像属性
-相对于解剖界标的感兴趣区域
-相对于自动确定的解剖界标的感兴趣区域
-通过对图像数据集的分析确定的特征
-通过各种简单的图像滤波器(诸如Haar-小波)的大规模训练(提高)确定的特征。
可以有利地生成并优化针对特定检查类型的预测模型,例如检查肥厚型男性心脏,因为这将降低复杂度。
或者,可以训练通用模型使其自动区分检查类型。在马尔可夫模型的框架内,引入隐藏的(未观测到的)变量以定义隐马尔可夫模型(HMM),从而降低对模型库的需求。隐藏的变量指示针对用户交互的轨迹的类型,其仅仅在概率上讲与检查类型相关。对这种模型的优化可以通过对这种隐藏的变量进行聚类来执行。
图2中所描绘的隐马尔可夫模型表示学习到的信息并推断用户交互轨迹中至图像可视化(可视化轨迹)的随后的步骤。其描述了时间序列的数据,例如根据本发明的可视化轨迹,这是通过将观测到的序列分成离散的时间步骤i而实现的,其中i可以是从1到T的整数。在每个时间步骤中,所述模型是一组离散状态(Zi、Xi、Yi)中的一个,其包括不可观测的(“隐藏的”)变量Zi和与不可观测的变量Zi相关联的可观测的特征Xi和Yi。在本文中,所述可观测的变量包括给定时间步骤i中的浏览器设置Xi以及其他可观测的变量Yi(从例如所示图像或对象的观测到的数据导出的)。
这种架构被描述为图2中的概率图模型(ProbabilisticGraphicalModel)。分别描述了在这样的可视化轨迹Z1、Z2、Zi和ZT中的四种隐藏的状态110、120、130、140。箭头170指示从状态Z1到ZT的一般时间进展,并且由水平箭头指示从一种状态到后一状态的转移。
通过状态和节点之间的垂直箭头指示模型内的关联。每种隐藏的状态110、120、130、140都分别与特征节点Y1、Y2、Yi和YT相关联,分别标记为210、220、230和240。每种隐藏的状态Z1到ZT还分别与设置节点X1、X2、Xi和XT相关联,分别标记为310、320、330和340。每个特征节点Y1、Y2、Yi和YT分别与设置节点X1、X2、Xi和XT相关联。状态Z1110、Z2120、Zi130和ZT140以及节点XT340被提供阴影以指示他们被隐藏。其他的状态和节点未被涂阴影并且因此是可观测的。离散的状态Z1110、Z2120、Zi130和ZT140被表示为方形,而连续的特征和设置节点210、220、230、240、310、320、330、340表示为圆圈。所述模型可以用于推断在未来时间点T的随后设置XT。
所示模型通过与状态Z1、Z2、Zi和ZT相关联的两种条件概率对学习的信息进行编码。系统在处于状态Zi-1之后为状态Zi的可能性,由图1中的水平箭头指示,由转移概率P(Zi|Zi-1)给出。观测到系统处在状态Zi的可能性由P(Xi,Yi|Zi)确定。因此,序列的总概率可以表示为:
P 0 ( Z 1 ) Π i = 2 T P ( Zi | Zi - 1 ) P ( Xi , Yi | Zi )
其中P0是在系统的初始状态上的在先分布。
HMM模型的离散状态的有限集表示用户执行的不同类型的中间步骤。为了降低复杂度,可以有利地将每个中间步骤与对特定预期中间图像的观察相关联——换言之,用户交互被聚类为得到预期的中间图像或视图的那些。这为用户提供在各步骤中处理图像的设备,每个步骤都与视图相关联。尽管这些步骤可以被给予不同的名字(例如,“心脏的长轴视图”、“具有窗口设置XY的肺动脉瓣平面视图的视图”),但是他们不需要作为先验而被模型知晓。而是,当模型在学习阶段被优化时,贯穿在典型的观察序列中的公共状态可以根据训练数据被自动发现。
可以使用P(Xi,Yi|Zi)作为联合正态分布(限于状态)将观测建模为连续变量。本领域技术人员还可以使用本领域中所熟知的更为复杂的观测模型,例如混合模型。这些观测包括浏览器设置X1310、X2320、Xi330和XT340,其包括对用户而言可获得的交互可能性的大的选择,例如视图几何结构(例如,观察到的2D平面的选择)或者强度传递函数设置。
其他可观测的特征Y1210、Y2220、Yi230和YT240根据图像数据或者所显示的对象本身进行计算,包括自动分割的解剖学对象的位置和几何结构、全局或局部强度直方图、以及其他通过计算可获得的感兴趣特征,观察决定应当以此为基础。可以通过使缺失特征(例如,由于在模型中考虑的而在图像中未发现的对象导致的)的可能值边缘化来处理所述缺失特征。
离散状态的数量是学习型模型的重要参数。模型拥有的状态越多,其适于训练数据的能力就越好。为了防止可能的过拟合效应,状态的最优数量可以使用标准模型选择方法进行选择,例如为AIC(赤池信息准则)和BIC(贝叶斯信息准则)惩罚似然方法或交叉确认技术。例如在GillesCeleux和Jean-BaptisteDurand在Comput.Stat.,23(4):541--564,2008的文章“SelectinghiddenMarkovmodelstatenumberwithcross-validatedlikelihood”以及Burnham和Anderson、Springer在NewYork,NY,USA,2002上的文章“Modelselectionandmulti--modelinference”中可以发现详细内容。
当所述模型被用于预测时,截至当前时间点的部分观测到的交互序列被馈送到所述模型中。使用例如ViterbiHMM解码算法,恢复最可能的状态序列,其包括用户使该系统进入的最可能的当前(隐藏的)观察状态,连同对模型所发现的状态序列的可能性的估计。后者被用于通过施加阈值来否定低可能性的序列(所述系统所不了解的)。
通过马尔可夫过程(Markovianity),所推断出的最可能的状态还允许相对于先前状态确定随后状态的可能性。因此,对于每种可能的下一状态,能够预测状态转移的效果,得到对所述状态的一组观测。将通过另外地以其作为条件并针对P(XT|YT、ZT)对它们求解而找到与下一状态相关的未知设置。
生成或优化预测模型100可以采用图像处理期间监视到的用户交互作为训练数据。通过这种方式,可以确定并优化至可视化的典型的轨迹。
在图1所描绘的方法500中,监视520图像处理期间的用户交互系列,为所述预测模型提供530来自所述用户交互系列的至少一个步骤,以及使用所述预测模型确定540至少一个随后的步骤。用户例如在图像采集、图像观察、图像分析和图像修改期间可以使用工作站执行这些交互。
在图3中描绘了这样的工作站400的范例。工作站400包括用于显示图像430以及用于显示一个或多个用户交互440的显示屏幕410。用户交互440可以用一种或多种形式提供,例如图标、缩略图、菜单和下拉菜单。
工作站400还包括供用户与工作站400交互的模块420,所述模块可以包括键盘、鼠标、追踪球、指针、画图板。
工作站400还包括用于预测用户交互的预测器460,用于监视在图像处理期间使用交互模块420完成的用户交互系列的监视器450。
预测器460被配置成评估交互系列中何处的用户交互与在预测模型100中可获得的系列有关。监视器450因此被布置成为预测器460提供实际用户交互中的至少一个。
监视520的用户交互可以是标准的组,或者它们可以是基于例如被处理的图像类型、被处理的图像内容以及图像处理的目标定制的。将被监视的典型的用户交互包括:
-选择新的视图
-缩放水平
-距离移动
-显示的区域
-显示的切片
-应用的亮度传递函数
-应用的图像处理滤波器
-使注释可视化
-使分割可视化
-显示融合的视图
为了确保不丢失背景信息,监视器450还可以监视执行交互步骤的次序。其还可以有利地提示用户直接提供信息以优化对随后的步骤的确定540——例如,被处理的图像类型、被处理的图像内容以及图像处理的目标。
可以有利地为监视器450提供与图像相关的信息,例如图像强度、解剖对象内的参考、解剖界标、关于如何采集图像的数据。可以提供这种数据作为具有图像数据的元数据,作为例如DICOM条目的数据集注释,或者其可以使用一些形式的图像处理,例如基于图像特征的聚类程序进行提取。
在一些成像模态中,例如针对人类心脏的MRI,通过使用诸如智能检查(SmartExam)或者计算机辅助检测(CAD)应用的图像处理工具来生成界标。这样的界标识别图像中有解剖学意义的点或者感兴趣区域。
可以有利地为每次用户交互提供时间戳,使得预测器460可以考虑每次交互的持续时间。
预测器460包括预测模型100,并且被配置成基于由监视器450提供的交互向用户提供随后的用户交互。本领域技术人员将认识到,取决于将如何使用随后的步骤信息,可以不同方式提供所述随后的用户交互步骤。可以将所述随后的用户交互步骤提供给监视器450,使得用户可以对其进行选择,或者可以将其直接提供给设备400,使得随后的步骤可以被自动地执行。
工作站400可以被配置成执行这种预测的随后的交互,或者完全自动地或者遵循用户的确认。如果预测器460以高可能性的程度提供单次交互,这将尤其有用。然而,在若干预测的可能性的情况下,如果一种交互具有显著较高的被自动执行的可能性程度,则其甚至可以有利。
此外,可以使用倒数计时器,其与最可能的随后的步骤相关联。在计时时间过去之后,将自动选择最可能的随后的步骤。将通过为用户呈现计时器的表示以及向用户指示最可能的随后的步骤来改善这样的计时器的用户友好性。如果所述模型整合了详细的时间信息,还可以通过模型来确定用于倒数计时器的值。
在本发明的实施例中,手动和自动步骤的执行两者可以进行组合,使得当选择缩略图440时,通过执行由预测模型100确定的一个或多个适当的用户交互来显示由其图形指示的视图。
当呈现缩略图440时,可以有利地使用初始图像来生成缩略图440——然后可以使用预测模型100确定缩略图的特征(参考图像或分割对象、几何结构、对比度)并将其应用于针对当前步骤的图像数据。或者,可以使用利用学习阶段从训练数据收集的典型或平均图像数据生成缩略图440。可以有利地利用多个随后的视图把缩略图制成动画,例如,处在不同观察角度的器官。
在倒数计时器的情况下,可以经由用户接口420提供中止的或舍弃的自动序列选项。
在预测了完整的用户交互系列的情况下,可以通过用户简单地开始完全自动化的模式,所述用户随后将见到图像处理的视频流。
还可以有利地向用户呈现总可视化轨迹的表示460,使得用户能够见到已经执行的步骤以及在轨迹中的当前步骤。优选地,这些被呈现为描绘已经生成的中间图像系列的缩略图。任选地,所述模型还可以确定要在表示460中呈现的随后的中间图像。
工作站400还可以被配置成以适当的方式440在显示屏幕410上向用户呈现一个或多个预测的交互。通过这种方式进行的提示,则用户可以选择他所希望的用户交互440。可以有利地以这样的方式示出交互选项,使得向用户给予选取具有最高可能性程度的一个交互选项的动机。例如,具有最高可能性的选项可以通过如下引起用户的注意:
-可能性的数值指示
-将最高可能性的选项置于列表的顶端,或者显示的前方
-使得最高可能性视觉上不同于剩余的选项,例如,更大、以强度闪烁、制成动画的、或者具有不同的颜色。
在图4和5中示出了在显示屏幕410上向用户呈现的范例。图4描绘了用于使人脑的图像可视化的轨迹中的步骤700。在显示屏幕410上生成主图像431——这是在步骤的可视化系列中的当前步骤中由用户可视化的图像。接近主图像431,向用户呈现三种可能的随后步骤441。已经通过预测模型100确定了这些随后的步骤,并且在这里被呈现为缩略图。在这一范例中,在顶部的缩略图表示最可能的随后的步骤441。如缩略图的表示提供的优势为用户将通过视觉识别被呈现的选项,并给用户从最可能的路径导出的选项,使得用户能够基于他目前已经进行的步骤以及所获得的诊断或治疗结果调整随后的可视化轨迹。使用脑的多幅随后的视图将缩略图制成动画将尤其用户友好。
相似地,图5描绘了用于使人类心脏的图像可视化的轨迹中的步骤600。在显示屏幕410上生成主图像432——这是在步骤的可视化系列的当前步骤中由用户可视化的图像。接近主图像432,向用户呈现三种可能的随后的步骤442。已经通过预测模型100确定了这些随后的步骤,并且在此被呈现为缩略图。在这一范例中,在顶部的缩略图表示最大可能性的随后的步骤442。
用户交互系列还可以通过监视器450记录以提供用于生成或调谐预测器460中的预测模型的输入。通过这种方式,实际使用根据本发明的方法将得到对预测模型100的连续改善。
这些设备的实施例指示各部件,例如用于预测用户交互的预测器以及用于监视用户交互的监视器。对于本领域技术人员而言显而易见的是,这种分离是基于功能的并且不一定指示分离的、离散件的硬件。例如,可以通过单个处理器执行所有的功能,每种功能可以被分配给分立的处理器或者每种功能可以被分到多个处理器。此外,多个处理器的物理位置并不重要——它们可以被分布在一个或多个位置,通过诸如网络或甚至通过因特网的通信路径以某种方式进行连接。在优选实施例中,所述图像处理设备包含在医学工作站中。
应当注意到,上述实施例图示说明而非限制本发明,并且本领域技术人员将能够在不脱离权利要求范围的情况下设计许多备选实施例。在权利要求中,括号之间放置的任何附图标记都不应当解释为对权利要求构成限制。动词“包括”各其衍生词的使用不排除在权利要求中所描述的那些元件或步骤之外的元件或步骤的存在。元件之前的冠词“一”或者“一个”不排除多个这样的元件的存在。本发明可以借助于包括若干不同元件的硬件实施,以及借助于适当编程的计算机实施。在列举了若干模块的装置权利要求中,若干这些模块可以体现为一个且同一个硬件。在互不相同的从属权利要求中引用某些措施这一事实并不表示使用这些措施的组合是不利的。

Claims (12)

1.一种用于借助于与医学图像的用户交互步骤系列处理所述医学图像的医学图像处理设备,包括:
-预测器,其包括与所述医学图像的用户交互步骤的预测模型;
-监视器,其被配置成用于在图像处理期间监视与所述医学图像的所述用户交互步骤系列,所述监视器被配置和布置成向所述预测器提供所述用户交互步骤系列中的至少一个步骤,
其中,所述预测器被配置成使用所述预测模型基于由所述监视器提供的所述用户交互步骤系列中的所述至少一个步骤提供与所述医学图像的至少一个随后的用户交互步骤。
2.根据权利要求1所述的设备,其中,所述预测器还被配置成执行所述至少一个随后的用户交互步骤。
3.根据权利要求1或2所述的设备,其中,所述预测器还被配置成提示所述用户执行所述至少一个随后的用户交互步骤。
4.根据权利要求1或2所述的设备,其中,所述监视器还被配置成向所述用户显示当前图像,并且所述预测器还被配置成提供至少一个随后的用户交互步骤以向所述用户显示随后的图像。
5.根据权利要求1或2所述的设备,其中,所述预测器还被配置成提示所述用户从两个或更多个随后的用户交互步骤中选择用户交互步骤。
6.根据权利要求4所述的设备,其中,所述预测器还被配置成提示所述用户使用选自包含以下的组中的形式选择用户交互步骤:图标、缩略图、菜单、下拉菜单以及其任意组合。
7.根据权利要求1所述的设备,其中,所述预测器包括马尔可夫模型。
8.根据权利要求1所述的设备,其中,所述预测器包括隐马尔可夫模型。
9.根据权利要求1所述的设备,其中,所述预测器被配置成用于使用在图像处理期间先前记录的至少一个用户交互步骤预测用户交互步骤。
10.一种医学成像系统,包括根据权利要求1到9中的任一项所述的设备。
11.一种在医学图像处理期间预测用户交互步骤的方法,包括:
-确定与所述医学图像的用户交互步骤的预测模型;
-监视图像处理期间的与所述医学图像的用户交互步骤系列;
-为所述预测模型提供来自所述用户交互步骤系列中的至少一个步骤,以及
-使用所述预测模型基于来自所述用户交互步骤系列中的所述至少一个步骤确定与所述医学图像的至少一个随后的用户交互步骤。
12.一种在医学图像处理期间预测用户交互步骤的装置,包括:
用于确定与所述医学图像的用户交互步骤的预测模型的模块;
用于监视图像处理期间的与所述医学图像的用户交互步骤系列的模块;
用于为所述预测模型提供来自所述用户交互步骤系列中的至少一个步骤的模块;以及
用于使用所述预测模型基于来自所述用户交互步骤系列中的所述至少一个步骤确定与所述医学图像的至少一个随后的用户交互步骤的模块。
CN201080005092.2A 2009-01-22 2010-01-13 在图像处理期间预测用户交互 Active CN102292734B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09151059 2009-01-22
EP09151059.4 2009-01-22
PCT/IB2010/050123 WO2010084435A2 (en) 2009-01-22 2010-01-13 Predicting user interactions during image processing

Publications (2)

Publication Number Publication Date
CN102292734A CN102292734A (zh) 2011-12-21
CN102292734B true CN102292734B (zh) 2015-11-25

Family

ID=42272399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080005092.2A Active CN102292734B (zh) 2009-01-22 2010-01-13 在图像处理期间预测用户交互

Country Status (5)

Country Link
US (1) US9111223B2 (zh)
EP (1) EP2389647B1 (zh)
JP (1) JP6093501B2 (zh)
CN (1) CN102292734B (zh)
WO (1) WO2010084435A2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103282944A (zh) * 2010-11-05 2013-09-04 皇家飞利浦电子股份有限公司 基于图像内容的预测和图像高速缓存器控制器
US10395762B1 (en) * 2011-06-14 2019-08-27 Merge Healthcare Solutions Inc. Customized presentation of data
US8867807B1 (en) * 2011-09-23 2014-10-21 Dr Systems, Inc. Intelligent dynamic preloading and processing
CA2909036A1 (en) * 2013-04-11 2014-10-16 Philips Medical Systems Technologies Ltd Enabling a user to study image data
CN108352067B (zh) * 2015-11-19 2022-01-25 皇家飞利浦有限公司 用于优化分割中的用户交互的系统和方法
WO2019222135A1 (en) 2018-05-16 2019-11-21 Benevis Informatics, Llc Systems and methods for review of computer-aided detection of pathology in images
US11170889B2 (en) * 2019-01-15 2021-11-09 Fujifilm Medical Systems U.S.A., Inc. Smooth image scrolling
CN110742654B (zh) * 2019-11-05 2020-11-17 深圳度影医疗科技有限公司 一种基于三维超声图像的标准切面的定位和测量方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1759804A (zh) * 2005-11-02 2006-04-19 浙江大学 中医四诊合参智能辨证方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0876955A (ja) * 1994-09-01 1996-03-22 Fujitsu Ltd 選択事項表示システムおよび方法
JP2001273067A (ja) * 2000-03-23 2001-10-05 Nippon Telegr & Teleph Corp <Ntt> 計算機システムにおけるメニュー画面上の項目配列制御法及び装置
US7245749B2 (en) 2002-01-28 2007-07-17 Konica Corporation Image acquiring display apparatus, method and apparatus for editing photographing conditions, and program for arranging photographing conditions
JP4379569B2 (ja) * 2002-01-28 2009-12-09 コニカミノルタホールディングス株式会社 画像取得表示装置及び該装置を用いた撮影条件の編集方法
US6959109B2 (en) * 2002-06-20 2005-10-25 Identix Incorporated System and method for pose-angle estimation
US7949617B1 (en) * 2002-11-11 2011-05-24 Linda Shawn Higgins System and methods for facilitating user thinking and learning utilizing enhanced interactive constructs
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP2004302502A (ja) * 2003-03-28 2004-10-28 Fuji Photo Film Co Ltd 画像処理装置
JP2005149107A (ja) 2003-11-14 2005-06-09 Konica Minolta Medical & Graphic Inc 医用画像管理システム
US7157925B2 (en) 2004-04-09 2007-01-02 Taiwan Semiconductor Manufacturing Co., Ltd. Test structure for speeding a stress-induced voiding test and method of using same
US20070016016A1 (en) 2005-05-31 2007-01-18 Gabriel Haras Interactive user assistant for imaging processes
US20070063998A1 (en) * 2005-09-21 2007-03-22 General Electric Company Self-learning adaptive PACS workstation system and method
US20070076929A1 (en) 2005-10-05 2007-04-05 General Electric Company System and method for automatic post processing image generation
US20080147086A1 (en) * 2006-10-05 2008-06-19 Marcus Pfister Integrating 3D images into interventional procedures
JP5416890B2 (ja) * 2007-06-28 2014-02-12 株式会社東芝 医用画像観察システム、及び医用画像観察装置
US7984000B2 (en) * 2007-10-31 2011-07-19 Microsoft Corporation Predicting and using search engine switching behavior

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1759804A (zh) * 2005-11-02 2006-04-19 浙江大学 中医四诊合参智能辨证方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Micheal Klemm etal..Esodyp+:Prefetching in the Jackal Software DSM.《EURO-PAR 2007 PARALLEL PROCESSING [LECTURE NOTES IN COMPUTER SCIENCE],SPRINGER BERLIN HEIDELBERG》.2007, *
Understanding Human-Computer Interactions in Map Revision;Jun Zhou et al;《Lecture Notes in Computer Science》;20041029;第3138卷;第4页倒数第1段至第6页第4段 *
基于隐马尔可夫模型的运动目标轨迹识别;潘奇明等;《计算机应用研究》;20080731;第25卷(第7期);第1988-1991页 *

Also Published As

Publication number Publication date
JP2012515965A (ja) 2012-07-12
US9111223B2 (en) 2015-08-18
WO2010084435A2 (en) 2010-07-29
US20120095953A1 (en) 2012-04-19
JP6093501B2 (ja) 2017-03-08
EP2389647B1 (en) 2019-08-21
CN102292734A (zh) 2011-12-21
EP2389647A2 (en) 2011-11-30
WO2010084435A3 (en) 2010-09-16

Similar Documents

Publication Publication Date Title
CN102292734B (zh) 在图像处理期间预测用户交互
US11553874B2 (en) Dental image feature detection
US11594002B2 (en) Overlay and manipulation of medical images in a virtual environment
US9113781B2 (en) Method and system for on-site learning of landmark detection models for end user-specific diagnostic medical image reading
CN110121749A (zh) 用于图像采集的深度学习医疗系统和方法
JP2008059071A (ja) 医用画像処理装置
US20170262584A1 (en) Method for automatically generating representations of imaging data and interactive visual imaging reports (ivir)
JP6930411B2 (ja) 情報処理装置及び情報処理方法
US20080132781A1 (en) Workflow of a service provider based CFD business model for the risk assessment of aneurysm and respective clinical interface
US11769599B2 (en) Evaluation of decision tree using ontology
US20220399107A1 (en) Automated protocoling in medical imaging systems
WO2019211131A1 (en) Interactive coronary labeling using interventional x-ray images and deep learning
US11080866B2 (en) Dynamic image processing method and dynamic image processing device
JP6426144B2 (ja) 医療システムに対する聴覚に関する機能強化
US20230316513A1 (en) Medical image processing apparatus, medical image processing method, and non-transitory computer readable medium
US20230154594A1 (en) Systems and methods for protocol recommendations in medical imaging
CN116868280A (zh) 放射学图像的后处理

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant