CN101796559A - 基于接收器操作特性的训练 - Google Patents

基于接收器操作特性的训练 Download PDF

Info

Publication number
CN101796559A
CN101796559A CN200880105450A CN200880105450A CN101796559A CN 101796559 A CN101796559 A CN 101796559A CN 200880105450 A CN200880105450 A CN 200880105450A CN 200880105450 A CN200880105450 A CN 200880105450A CN 101796559 A CN101796559 A CN 101796559A
Authority
CN
China
Prior art keywords
information
assessment
user
computer
recording medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880105450A
Other languages
English (en)
Other versions
CN101796559B (zh
Inventor
H·海因斯
L·邵
Z·赵
X·宋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101796559A publication Critical patent/CN101796559A/zh
Application granted granted Critical
Publication of CN101796559B publication Critical patent/CN101796559B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/286—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for scanning or photography techniques, e.g. X-rays, ultrasonics

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Medical Informatics (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Algebra (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

呈现部件(118)将来自一个或多个数据源(102)的信息呈现给评估器以便评估。接收器操作特性(ROC)分析器120使用ROC分析技术来评价评估器的表现。反馈部件(126)提供关于评估器的表现的反馈。数据操纵器(114)方便操纵所呈现的数据。

Description

基于接收器操作特性的训练
本申请涉及医学上的训练和数据分析，且特别涉及与医学图像和其他信息的解释有关的医疗人员的训练。它同样适用于需要分析和/或解释信息的工业、商业、贸易和其他领域。
成像模态如X射线、计算机断层摄影(CT)、磁共振成像(MRI)、正电子发射技术(PET)、单光子发射计算机断层摄影(SPECT)、超声(US)和混合模态系统如PET/CT和PET/MRI系统可以提供关于被检查对象的结构和/或功能的有用信息。在医学应用中，源于这些和其他检查模态的信息通常被用于诊断和医治疾病，诸如心血管病、神经系统疾病、整形外科疾病和癌症，仅举一些作为示例。
当然，这些系统所提供的信息的适当解释可能导致更准确的诊断并由此导致更适当的医治。因此，对成像数据的评估是提供给住院放射学家的训练的一个组分。主治医师和其他有经验的医学专家也可以得益于这种训练，例如结合新的检查协议，或者增强以前的训练。
与此同时，并非所有的成像技术都具有同等的诊断效用。评价将人类观测者和技术组合起来的医学程序的表现的一种方式是通过使用接收器操作特性(ROC)分析。包括局部ROC(LROC)、自由响应ROC(FROC)、对折(jackknife)FROC(JAFFROC)、可替换FROC(AFROC)方法在内的ROC方法已经被用于比较SPECT和PET成像中的不同的重建技术，以结合计算机辅助鉴别诊断系统中所用的神经网络来评价放射学计算机辅助探测(CAD)系统，在乳房X射线照相技术中作为放射学家的表现的度量，以测定儿科医师对预期具有肺炎的阴性胸腔X射线检查的患者和预期具有阳性X射线检查的患者加以区分的能力，以及比较和量化临床医师对遗漏肺癌的检测的表现。参见：Narayanan等人，Human ObserverReceiver-Operating Characteristic Evaluation of Attenuation，Scatter，andResolution Compensation Strategies for 99m Tc Myocardial Perfusion Imaging，J.Nucl.Med.2003；44：1725-1734；Llacer等人，Results of a Clinical ReceiverOperating Characteristic Study Comparing Filtered Back Projection andMaximum Likelihood Estimator Images in FDG PET Studies，J.Nucl.Med.Vol.34 No.7(1993)；Farquhar等人，ROC and Localization ROC Analyses of LesionDetection in Whole-Body FDG PET：Effects of Acquisition Mode，AttenuationCorrection and Reconstruction Algorithm，J.Nucl.Med.1999；40：2043-2052(1999)；授予Nishikawa等人的题为Methods for Improving the Accuracy inDifferential Diagnosis on Radiologic Examinations的美国专利第6,058,322号；授予Asada等人的题为Method and System for Differential DiagnosisBased on Clinical and Radiological Information Using Artificial NeuralNetworks的美国专利第5,622,171号；Goddard等人，Routine ReceiverOperating Characteristic Analysis in Mammography as a Measure ofRadiologists’Performance，British Journal of Radiology，1998年10月，第1012-1017页；Berwick等人，Receiver Operating Characteristic Analysis ofDiagnostic Skill，Medical Care，第21卷，第9号(1983年9月)，第876-885页。还可参见：Obuchowski等人，Multireader，Multicase Receiver OperatingCharacteristic Analysis：An Empirical Comparison of Five Methods，Acad.Radiol.2004；11：980-995；Monnier-Cholley等人，Detection of Lung Cancer onRadiographs：Receiver Operating Characteristic Analyses of Radiologists’，Pulmonologists’，and Anesthesiologists’Performance，Radiology 2004；233：799-805(2004)。还可参见：Chakraborty，Recent advances in observerperformance methodology：jackknife free-response ROC(JAROC)，RadiationProtection Dosimetry，2005 114(1-3)：26-31(2005)；Chakraborty等人，Jackknifefree-response ROC methodology，Proceeding of the SPIE，第5372卷，第144-153页(2004年)。
本申请的各方面解决这些及其他问题。
根据一个方面，一种训练装置将信息呈现给人类受训者以便评估，并使用接收器操作特性分析来评价该受训者对所呈现的信息的评估。
根据另一个方面，一种计算机可读存储介质包括指令，当被计算机执行时，这些指令促使该计算机实施一种方法。该方法包括接收人类用户对呈现给该用户的信息的评估，并执行对所接收的评估的接收器操作特性分析以评价该人类用户的表现。
根据另一个方面，一种方法包括：经由计算机的用户界面将信息呈现给人类用户；经由计算机的用户界面接收该用户对该信息的评估；重复呈现步骤和接收步骤；确定所接收的评估的敏感性和特异性；利用所确定的敏感性和特异性来评估该用户的表现；以及经由计算机的用户界面将评估结果呈现给该用户。
根据另一个方面，一种计算机可读存储介质包括第一多个记录。每个记录包括受评价者标识符、受评价者对呈现给受评价者的信息的评估、受评价者对信息的评估的接收器操作特性分析结果。
根据另一个方面，一种计算机可读存储介质包括指令，当被计算机执行时，这些指令促使该计算机实施一种方法。该方法包括将第一信息和第二信息呈现给用户以便评估。该第一信息包括来自第一学习类型的信息，且该第二信息包括来自不同于第一学习类型的第二学习类型的信息。该方法还包括：确定用户对第一信息的评估的敏感性；确定用户对第二信息的评估的敏感性；以及利用所确定的敏感性相对于用户对第二信息的评估来评价用户对第一信息的评估。
本领域技术人员通过阅读和理解以下详细描述将认识到本发明的更多方面。
本发明可以表现为各种部件和部件的布置，以及各种步骤和步骤的布置。附图仅用于图示说明优选实施例的目的，而不应被解读为限制本发明。
图1描述一种系统；
图2描述提供给用户的信息；
图3描述ROC分析的各方面；
图4描述一种方法。
参考图1，系统100包括一个或多个数据源1021-N和数据储存库104如计算机可读存储介质。
数据源102提供需要由人类用户评估和/或分析的信息。该信息经由用户界面103被呈现给人类用户，该用户界面的属性依赖于数据源102和所呈现的信息。用户界面103可以处于数据源102所在的局部，或者如图1所示经由通信网络105如互联网、局域网或广域网等与数据源进行数据通信。
为了当前讨论的目的，将假定数据源102包括医学成像扫描器，这些医学成像扫描器提供图像和/或用于评估人类对象的疾病状态或其他特性的其他信息。在这种实现方式中，用户界面103通常包括(多个)基于计算机的工作站，该工作站允许用户开始扫描、选择检查协议和以其他方式与扫描器互动。工作站上存在的或者与扫描器进行数据通信的一个或多个应用软件程序允许放射学家或其他医学专家经由适当的图形用户界面(GUI)访问和/或操纵扫描数据。该应用软件通常专用于成像模态、检查协议和其他应用特定因素。应该理解该数据可以被传送(ported)或者传输到操作者界面，该操作者界面可以远离扫描器或者与扫描器分离。
尽管当前讨论关注于医学成像装备和医学状况的评估，但也预期其他数据源102和应用。非限制性示例包括用于工业和其他应用的成像装备、医学和其他材料分析器(例如血液、组织或化学分析装备)、对象或患者监视器(例如心电图、温度或颤动监视器)、商业、工业、金融或行为系统以及人类数据源(例如通过人类观察来辨别并经由适当用户界面提供的信息的情况下)。
将来自各种数据源102的信息存储在数据储存库104如计算机可读存储介质中。数据储存库104包括含有多个记录1061-M的信息数据库117。每个记录106包括要由受训者或其他用户评估的信息108以及信息108的现有基线评估110。注意到要被评估的信息108可以包括来自不同类型的数据源102的数据(例如其中图像数据和实验室分析结果与评估相关)。
基线评估110用作基础事实(ground truth)或已知状态，该基线评估包括诸如正常或异常的(多个)研究结果、异常的(多个)位置等的数据的一个或多个基线评估。基线评估110优选通过被认为是相对可靠的技术来获得，例如信息108的专家评估、已知的金标准(gold-standard)检查协议。还应理解信息108和评估110的本质通常依赖于应用。还应注意该评估可以在将数据108包括在数据库中之前、过程中或之后执行。
同样在医学图像数据的示例中，每个记录106可以包括来自对特定患者或对象的扫描的数据108和由熟练放射学家执行的数据108的基线评估110。作为另一个示例，可以利用来自其他(多个)数据源102的结果获得或扩充基线评估110。例如，在评估110涉及使用核医学图像数据来评估冠状动脉疾病(CAD)的情况下，评估110可以至少部分基于已知的金标准测试如心脏导管插入的结果。
也可以提供数据操纵器112(如存储在计算机可读介质中并在适当计算机上执行的计算机软件或固件程序)以允许训练员或其他管理员对信息108引入已知特征、去除特征或进行其他操作。数据操纵器112也可以允许合成信息108。这些实现方式在获得可靠数据可能比较困难、昂贵或存在其他问题的情况下是特别吸引人的。
在图像数据的示例中，数据操纵器114可以允许专业人员操纵由数据源102生成的投射数据或经重建的图像数据之一或二者以便向一个或多个记录106的数据108引入已知的模拟病理或其他特征。
还应该注意到数据源102可以位于各种物理上分散的位置处。因此，可以经由适当的通信网络114将来自数据源102的信息传送到数据储存库104。数据储存库104也可以与数据源102成为一体，例如在仅从单一数据源102收集数据的实现方式中。数据储存库104也可以位于各种物理上分散的位置处。
如下面将描述的，系统100也包括训练或信息呈现部件118、ROC分析器120、反馈部件126和评价数据库124。可经由适当计算机软件或固件实施的训练部件118通过用户界面如GUI将来自数据储存库104中的一个或多个记录106的信息108呈现给受训者或其他用户以便评估。同样，该数据呈现是普通应用程序专用的。但是，优选地，呈现信息108的格式模仿或基本等同于用户界面103应用软件所呈现的信息的格式。这种实现方式易于使熟悉训练部件118和/或特定数据呈现所用的时间最小化，由此允许用户关注更实质的内容。
如图1所示，训练部件118、ROC分析器120和反馈部件126可以是与用户界面103相关联的应用软件116的子部件。这种实现方式在期望训练用户或使用户熟悉新的应用软件或检查协议的情况下是特别有用的。应注意，当各种部件远离数据储存库104时，可以经由适当的通信接口115传送信息。
可以类似地通过适当的计算机软件或固件实施的ROC分析器120执行对由训练部件118接收的或者从各种用户获得的评估的接收器操作特性分析。ROC分析可以用于评价各种用户的个体表现，例如通过相对于表现基准评价该表现。
将用户对所呈现的数据108的评估连同ROC分析的结果一起存储在评价数据库124中，该评价数据库位于信息储存库104或其他适当存储器中。评价数据库124包括多个记录1281-P，数据库中的每个记录包括用户标识符130、用户对所呈现的信息的评估132以及ROC分析的(多个)结果134。也可以将基准数据150(如对与用户同等的人的表现、一个或多个专家评估者的表现、一个或多个阈值或等级值等的ROC分析)存储在数据储存库中、被硬编码为ROC分析器120的一部分或进行其他操作。
在比较各种用户的表现可能有用的情况下，也可以基于用户人口统计或其他特性聚集和/或存储来自各种用户的ROC分析结果134。特别是在目标之一是使用户熟悉对经由不同检查协议获得的信息的评估的应用中，针对每个用户的ROC分析结果134可以包括针对每个检查协议的用户表现的分析。ROC分析结果134也可以包括执行评估时的时间或日期，例如以便允许随时间评价特定用户(或者实际上是用户群体)的表现变化。
反馈部件126优选基于个体地向各种用户提供反馈。在一种实现方式中，相对于基准数据150的那些分析来呈现用户的ROC分析结果134。也可以随着时间的变化而呈现用户的ROC分析结果134。反馈部件126也可以识别在记录或学习106中用户的评估132不同于基线评估110的那些。为进一步增强学习经验，来自所识别的学习106的数据108可以被重新呈现给用户以便重新评估。作为替代或附加地，可以呈现用户的评估和基线评估110。
现在将在评估来自心肌灌注SPECT学习的数据以确定是否存在心脏动脉疾病(CAD)的情况下参考图2描述由训练部件118呈现的信息的示例。如所示，GUI窗口202包括学习信息204、图像操纵工具206和用户评估工具208。在心肌灌注SPECT学习的示例性情况下，学习信息204通常将包括图像数据，如处于张紧和/或松弛条件下的对象的一个或多个短轴、水平长轴和垂直长轴视图，以及极坐标图210。图像操纵工具206允许用户观察附加图像、更详细地学习某些图像、改变显示设置等。
评估工具208接收用户对所呈现的数据的评估。在一个示例中，用户在代表存在或不存在CAD的概率的离散的五(5)个点尺度上评价学习。因此，如212处所示，用户可以从包括正常、可能正常、模棱两可、可能异常和异常的评估中进行选择。该尺度也可以包括少于五个点，虽然三(3)个或更多个点是优选的。也可以向用户提供在基本连续的基础上评估概率的机会，例如通过操纵一个滑块或输入数字概率。同样如所示，极坐标图210包括允许用户输入关于左前降支动脉(LAD)、右冠状动脉(RCA)和左旋绕动脉(LCx)的评估的按钮，该评估以0到100之间的数值代表0到1之间的概率。
虽然图2表示了结合示例性学习呈现的信息，但应该理解，如一般在214处所示，通常连续呈现大量这种学习。还应该理解，所呈现的数据的选择和格式以及将从用户接收的评估通常是应用专有的。
在一些情况下，也可能期望在呈现两种或更多种类型的数据、呈现格式等的情况下评价用户的表现。例如，可以向用户呈现类似于上面结合图2所述的那些学习的第一多个学习、以新开发的或者可替换的第二呈现格式呈现的第二多个学习以及以新开发的或者可替换的第三呈现格式呈现的第三多个学习。注意到各种学习类型可以被顺序地呈现(即第一类型的多个学习，接着是第二类型的多个学习，依此类推)、以交织(interleaved)的方式呈现(即第一类型的学习、第二类型的学习、第三类型的学习、第一类型的学习，依此类推)、随机地呈现或者以其他期望的次序呈现。特别地当以不同的格式呈现数据时，下面的数据可以是相同的。
可以针对每种学习类型分别对用户的表现进行评价(例如针对第一学习类型的第一评估、针对第二学习类型的第二评估，依此类推)、针对学习类型的各种组合对用户的表现进行评价(例如，表示针对第一学习类型的用户表现的第一评估，和表示针对第二和第三学习类型的用户的合计表现的第二评估)和/或总体上针对所有学习类型对用户的表现进行评价。可以呈现反馈以便向用户提供关于他或她在各种学习类型上的相对表现的指示。例如，可以相对于第一学习类型的用户表现、横跨各种学习类型的用户合计表现等对第二和第三学习类型的用户表现(单独或总体上)进行比较和呈现。也可以相对于专家用户、同等人或已知基本状态呈现所述反馈。
在一个示例中，前述实现方式被用于训练用户或使用户熟悉对来自新的或不同数据源102的数据、包括不同的或补充数据的数据集、新的数据呈现格式或其他变体的评估。例如，第一学习类型可以包括用户熟悉的学习类型，而附加学习类型可能是新开发的或用户相对不熟悉的。相对于第一学习类型的用户自身表现因此可以作为评价附加学习类型的用户表现所针对的基准数据150。可以继续训练或者可以向用户提供反馈，直到当确定第二学习类型的用户表现满足或超过第一学习类型的用户表现时，例如当针对新学习类型的用户的AUC得分超过针对第一学习类型的用户的表现时。
预期存在各种附加学习类型的示例。例如，在医学领域中，附加学习类型可以包括来自新的或不同的数据源的数据(例如，在相对于基线非光谱CT检查的光谱CT扫描器的情况下)、来自具有不同或改进的性能特性的数据源102的数据(例如，具有改进的时间分辨率的渡越时间PET扫描器，或者相对于现有装置具有不同或改进的空间分辨率、能量分辨率或准确度的检查装置)、新的或不同类型的学习或学习协议(例如，在相对于以前的协议的新开发的心急梗塞协议的情况下)、新的或附加信息的概括(例如，多模态数据、来自光谱CT检查的能量或材料组分信息、功能数据、来自实验室或其他检查的数据的概括)等。
作为另一个示例，第一和第二学习类型可以包括由不同厂商制造的数据源所生成的信息。同样在医学成像的背景下，第一数据源可以包括由厂商A制造的PET扫描器(或PET扫描器的应用程序包或其他组成部分)，而第二数据源可以包括由厂商B制造的PET扫描器(或PET扫描器的应用程序包或其他可比较的组成部分)。作为另一个示例，第一和第二数据源可以包括由相同厂商制造的不同版本或型号的数据源所生成的信息。例如，第一数据源可以包括由厂商A制造的版本1.0的心脏成像应用软件包，而第二数据源可以包括由厂商A制造的版本1.1的应用软件。作为另一个示例，第一数据源可包括由厂商A制造并具有第一扫描架旋转速度和切片数的第一型号的CT扫描器，而第二数据源可以包括具有不同扫描架旋转速度和切片数的第二型号的CT扫描器。
注意到也可以在各种背景下提供所述训练和/或评价。例如，可以在制造商发起应用训练课程如结合介绍新系统、应用软件包等的过程中提供训练。作为另一个示例，可以将训练包作为期望的系统或应用程序包的组成部分包括其中。也可以通过互联网或在独立基础上提供训练。
现在将针对图3描述ROC分析方法的一个示例。依据协定，ROC曲线被绘制，其中纵坐标或y轴上为敏感性且横坐标或x轴上为(1-特异性)。该敏感性代表所呈现的信息的阳性评估(例如，指示存在异常的评估)对应于真阳性的可能性，且有时被称为真阳性分数。该特异性代表阴性评估(例如，指示不存在异常的评估)对应于真阴性的概率，且有时被称为真阴性分数。(1-特异性)有时被称为假阳性分数。
ROC曲线可以被用于评价用户的表现。当根据图3的协定进行绘图时，更准确的评估者的ROC曲线将位于更靠近绘图的左上角。图3描述了三种示例性曲线：第一曲线302描述相对准确的评估者的表现，第二曲线304描述中等评估者的表现，且第三曲线306描述较不熟练的评估者的表现。应该认识到，曲线306描述评估准确性基本上随机的评估者的表现。
可以以各种方式使用ROC曲线。根据曲线下面积(AUC)评估技术，为每个用户计算一些或所有曲线下的面积。当根据图3的协定进行计算时，相对更熟练的用户将比相对不熟练的用户具有相对较高的AUC得分，反之亦然。根据另一种技术，可以在曲线上的一个或多个点处评价用户的表现(例如，通过在一个或多个真阳性分数处评价假阳性分数和/或通过在一个或多个假阳性分数处评价真阳性分数)。这些和其他适当的分析技术也可以由本领域普通技术人员实施。
还注意到各种相关的ROC技术可以由本领域普通技术人员任意实施以满足特殊应用的需求。在LROC分析中，可以询问用户以提供位置和置信等级或其他评估。在AFROC中，可以询问用户以提供针对大量信号的位置和置信等级。在FROC中，可以允许用户报告给定学习中的多于一个病理或其他特征，其中位置信息被用于改进测量。另一个示例包括JAFROC方法，其包括FROC方法和Dorfman-Bernaum-Metz(DBM)ROC方法的元素。
现在将参考图4描述相关操作。
在402处，从一个或多个数据源102采集信息。注意到可以根据需要操纵该信息以模拟异常或其他特征。也可以合成该信息的部分或全部。
在404处，该信息被存储在适当的储存库104中。
在406处，将所存储的信息中的一些或所有呈现给第一用户以便评估。作为示例，所存储的信息可以包括来自Q(例如100)次扫描或学习的信息。相应地，接着可以向用户呈现来自初始数量R＜Q(例如10)个学习的信息。用户被邀请评估每次学习并且被提供关于对每次学习的评估的正确性的立即反馈。这种实现方式可以用于使用户熟悉系统的操作和/或在评估过程中训练用户。
在呈现第一集合之后，提供附加学习，直到已经满足终止条件如学习数量、逝去的时间等。例如，可以接着呈现附加学习直到已经将附加数量的R≤P-Q(例如90个)学习呈现给用户用于评估。在一种实现方式中，反馈被抑制直到用户已经完成他或她对附加学习的评估或者已经以其他方式满足了终止条件。注意到可以在随机的或其他期望的基础上选择所呈现的学习和它们呈现的次序。此外，可以在一个或多个时间上分离的呈现期中呈现该信息。
在408处评价用户的表现。根据需要可以存储评价的结果。
在410处向用户提供反馈。例如，该反馈可以包括通过/失败或其他等级、用户的ROC曲线、AUC得分或其他期望的反馈。该反馈可以包括随时间呈现用户的得分以证明用户表现的进步(或退步)。可以在绝对基础上或其他基础上通过与同等人或专家评估者的(多个)曲线相比来呈现该反馈。也可以向用户提供重新访问那些学习的机会，其中用户的评估被确定为是至少部分错误的。由于在满足终止条件之后通常经由计算机完成和/或执行评价步骤和反馈步骤，因此从人类用户的角度来看提供反馈的延迟通常是可以忽略的。因此，向用户提供充分快捷的反馈。
在412处，按照附加用户和/或给定用户的需要重复这一过程。注意到将信息呈现给各种用户也可以是时间上交织的，特别是在一个或多个用户在两个或更多个呈现期中回顾信息的情况下。
注意到，虽然上面的讨论关注于包括使用医学图像数据以评估心血管疾病的示例，但同样预期了将医学图像数据应用于其他领域如肿瘤学、神经学和整形外科。还预期了涉及非破坏性物体测试的应用、防卫和安全应用、商业和金融分析等。还应该理解这些技术并不局限于诊断和/或识别所呈现的数据中的特征，也可以用于其他目的。例如，训练可以包括适当数据操纵的训练。因此，可以向用户呈现期望的数据或数据集并为其提供操纵数据的机会。例如，在图像数据的情况下，操纵可能包括分割操作，其中向用户提供将图像分割成一个或多个感兴趣区域或材料的机会。然后可以相对于例如由专家用户执行的数据的基线操纵来评价用户的表现。注意到也可以提供其他(多个)操纵操作如计算、分类等，这同样依赖于数据的特性。
注意到上述技术也可以用于评价人类和非人类受评价者的表现。
已经参考优选实施例描述了本发明。通过阅读和理解以上详细描述，人们容易想到各种修改和变化。希望本发明被解读为包括所有这些修改和变化，只要它们处于随附的权利要求或其等价物的范围内。

Claims (47)

1.一种训练装置，其将信息(108)呈现给人类受训者以便评估，并使用接收器操作特性分析来评价所述受训者对所呈现的信息的评估。
2.如权利要求1所述的装置，其中，所述装置将对所述受训者的评估的所述评价的结果呈现给所述受训者。
3.如权利要求2所述的装置，其中，所述装置包括用户界面，并且经由所述用户界面呈现所述信息和所述结果。
4.如权利要求1所述的装置，其中，所述装置相对于所呈现的信息的基线评估(110)来评价所述受训者对所呈现的信息的评估。
5.如权利要求4所述的装置，其中，所述基线评估包括专家评估者对所呈现的信息的评估。
6.如权利要求1所述的装置，其中，所呈现的信息包括医学图像(204，210)。
7.如权利要求1所述的装置，其中，所呈现的信息包括图像，并且所述评估包括所述图像的特征的空间位置。
8.如权利要求1所述的装置，其中，所呈现的信息包括模拟异常。
9.如权利要求1所述的装置，其中，所述装置形成医学检查装置的一部分。
10.如权利要求1所述的装置，其中，所述分析包括曲线分析下的面积。
11.如权利要求1所述的装置，其包括计算机可读存储介质(104)，该计算机可读存储介质包含用于呈现给所述受训者的信息(108)以及对所包含的信息的基线评估(110)。
12.如权利要求1所述的装置，包括：
训练部件(118)，其将信息呈现给所述受训者；
接收器操作特性分析器(120)，其评价所述受训者对所呈现的信息的评估；
反馈部件(126)，其向所述受训者呈现所述评价的结果；
评价数据库(124)，其存储针对多个受训者中的每个的评价的结果。
13.一种包括指令的计算机可读存储介质，当被计算机执行时，所述指令促使所述计算机实施包括下列的方法：
接收人类用户对呈现给所述用户的信息(108)的评估；
执行对所接收的评估的接收器操作特性分析以评价所述人类用户的表现。
14.如权利要求13所述的计算机可读存储介质，其中，所述方法包括：
将第一信息呈现给所述用户以便评估；
比较所述用户对所述第一信息的评估和在呈现所述第一信息之前生成的基线评估(110)；
将所述比较的结果呈现给所述用户。
15.如权利要求14所述的计算机可读存储介质，其中，所述方法包括将第二信息呈现给所述用户，其中，呈现第二信息的步骤在呈现结果的步骤之后执行，并且执行接收器操作特性分析的步骤包括执行对所接收的对所述第二信息的评估的接收器操作特性分析。
16.如权利要求13所述的计算机可读存储介质，其中，所述方法包括将所述分析的结果呈现给所述用户。
17.如权利要求13所述的计算机可读存储介质，其中，执行接收器操作特性分析的步骤包括确定敏感性和特异性。
18.如权利要求13所述的计算机可读存储介质，其中，所述方法包括将所接收的评估限制在至少三个但少于六个值中的一个。
19.如权利要求13所述的计算机可读存储介质，其中，接收包括经由图形用户界面接收所述评估。
20.如权利要求13所述的计算机可读存储介质，其中，所述信息包括金融信息、商业信息或工业信息。
21.如权利要求13所述的计算机可读存储介质，其中，所述信息包括心脏信息(204，210)。
22.如权利要求13所述的计算机可读存储介质，其中，所述方法包括比较所述评价的结果和基准值(150)。
23.如权利要求13所述的计算机可读存储介质，其中，执行包括执行所述用户对利用第一协议生成的信息的评估的第一接收器操作特性分析，和所述用户对利用第二协议生成的信息的评估的第二接收器操作特性分析。
24.如权利要求13所述的计算机可读存储介质，其中，所述接收器操作特性分析包括LROC、FROC、JAFROC或AFROC分析。
25.一种方法，包括
经由计算机的用户界面向人类用户呈现信息(108)；
经由所述计算机的用户界面接收所述用户对所述信息的评估；
重复呈现步骤和接收步骤；
确定所接收的评估的敏感性和特异性；
利用所确定的敏感性和特异性来评估所述用户的表现；
经由所述计算机的用户界面向所述用户呈现所述评估的结果。
26.如权利要求25所述的方法，其中，重复包括重复呈现步骤和接收步骤直到满足终止条件，并且所述方法还包括在满足所述终止条件之后基本上立即执行呈现结果的步骤。
27.如权利要求25所述的方法，其中，利用包括利用所确定的敏感性和特异性来执行曲线分析下的面积。
28.如权利要求25所述的方法，其中，所述评估包括概率。
29.如权利要求25所述的方法，其中，所述信息包括肿瘤学信息、神经学信息或整形外科信息。
30.如权利要求25所述的方法，其中，所述用户是住院医师。
31.如权利要求25所述的方法，其中，所述信息包括由多个数据源(102)生成的信息。
32.如权利要求25所述的方法，其包括从数据库接收所述信息和所述信息的基线评估(110)。
33.如权利要求25所述的方法，其中，所述方法包括呈现指示随时间变化的所述用户的表现的信息。
34.一种计算机可读存储介质，包括：
第一多个记录(106)，其中，所述第一多个记录中的每个记录包括：
受评价者标识符(130)；
所述受评价者对呈现给所述受评价者的信息的评估(132)；
所述受评价者对所述信息的评估的接收器操作特性分析的结果(134)。
35.如权利要求34所述的计算机可读存储介质，包括：
第二多个记录(106)，其中，所述第二多个记录中的每个记录包括：
用于呈现给受评价者的信息(108)；
用于呈现的所述信息的基线评估(110)。
36.如权利要求34所述的计算机可读存储介质，其包括用于评价受评价者的表现的基准数据(150)。
37.一种包括指令的计算机可读存储介质，当被计算机执行时，所述指令促使所述计算机实施包括以下步骤的方法：
将第一信息和第二信息呈现给用户以便评估，其中，所述第一信息包括来自第一学习类型的信息，并且所述第二信息包括来自不同于所述第一学习类型的第二学习类型的信息；
确定所述用户对所述第一信息的评估的敏感性；
确定所述用户对所述第二信息的评估的敏感性；
利用所确定的敏感性相对于所述用户对所述第二信息的评估来评价所述用户对所述第一信息的评估。
38.如权利要求37所述的计算机可读存储介质，其中，所述方法包括添加、删除、编辑和/或修改数据库中的数据集。
39.如权利要求37所述的计算机可读存储介质，其中，所述方法包括向所述用户呈现所述评价的结果。
40.如权利要求37所述的计算机可读存储介质，其中，与所述第一学习类型相比，所述用户相对更熟悉所述第二学习类型。
41.如权利要求37所述的计算机可读存储介质，其中，所述第一学习类型包括以第一格式的信息呈现，并且所述第二学习类型包括以不同于所述第一格式的第二格式的信息呈现。
42.如权利要求37所述的计算机可读存储介质，其中，所述第一学习类型包括作为所述第二学习类型的信息的扩展集的信息。
43.如权利要求37所述的计算机可读存储介质，其中，所述第一学习类型包括由第一厂商制造的第一数据源生成的信息，并且所述第二学习类型包括由与所述第一厂商制造的所述数据源不同的第二版本的数据源生成的信息。
44.如权利要求37所述的计算机可读存储介质，其中，所述第一学习类型包括来自第一模态的由第一厂商制造的第一数据源的信息，并且所述第二学习类型包括来自所述第一模态的由第二厂商制造的第二数据源的信息，其中，所述第一厂商和第二厂商是不同的。
45.如权利要求37所述的计算机可读存储介质，其中，所述第一和第二学习类型包括成像学习。
46.如权利要求37所述的计算机可读存储介质，其中，所述方法包括使用所述用户对所述第一信息的评估作为基准评估(150)并比较所述用户对所述第二信息的评估和所述基准评估。
47.如权利要求37所述的计算机可读存储介质，其中，所述方法包括确定所述用户对所述第一信息的评估的特异性。
CN200880105450XA 2007-09-04 2008-08-26 基于接收器操作特性的训练 Expired - Fee Related CN101796559B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US96970507P 2007-09-04 2007-09-04
US60/969,705 2007-09-04
PCT/IB2008/053428 WO2009031072A2 (en) 2007-09-04 2008-08-26 Receiver operating characteristic-based training

Publications (2)

Publication Number Publication Date
CN101796559A true CN101796559A (zh) 2010-08-04
CN101796559B CN101796559B (zh) 2013-08-21

Family

ID=40344740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880105450XA Expired - Fee Related CN101796559B (zh) 2007-09-04 2008-08-26 基于接收器操作特性的训练

Country Status (4)

Country Link
US (1) US9123260B2 (zh)
EP (1) EP2201555A2 (zh)
CN (1) CN101796559B (zh)
WO (1) WO2009031072A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013029242A1 (zh) * 2011-08-30 2013-03-07 西门子公司 一种医疗培训方法及系统
CN104573907A (zh) * 2013-10-18 2015-04-29 美国注册超声诊断医疗股份有限公司 用于评价医疗保健专业人员的胜任力的系统和方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024083690A1 (en) * 2022-10-20 2024-04-25 Koninklijke Philips N.V. Interactive training and education

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5061187A (en) 1990-04-12 1991-10-29 Ravinder Jerath Ultrasound training apparatus
JP3231810B2 (ja) 1990-08-28 2001-11-26 アーチ・デベロップメント・コーポレーション ニューラル・ネットワークを用いた鑑別診断支援方法
US6058322A (en) 1997-07-25 2000-05-02 Arch Development Corporation Methods for improving the accuracy in differential diagnosis on radiologic examinations
US6669482B1 (en) 1999-06-30 2003-12-30 Peter E. Shile Method for teaching interpretative skills in radiology with standardized terminology
US6546230B1 (en) 1999-12-31 2003-04-08 General Electric Company Method and apparatus for skills assessment and online training
US6959106B1 (en) * 2002-04-16 2005-10-25 General Electric Company Method and apparatus for detecting low contrast object in a diagnostic image
DE10254938A1 (de) * 2002-11-25 2004-06-17 Siemens Ag Verfahren zum Betrieb eines telematischen Systems im Gesundheitswesen
US7529394B2 (en) 2003-06-27 2009-05-05 Siemens Medical Solutions Usa, Inc. CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013029242A1 (zh) * 2011-08-30 2013-03-07 西门子公司 一种医疗培训方法及系统
CN104573907A (zh) * 2013-10-18 2015-04-29 美国注册超声诊断医疗股份有限公司 用于评价医疗保健专业人员的胜任力的系统和方法
CN104573907B (zh) * 2013-10-18 2023-10-31 因特雷欧斯公司 用于评价医疗保健专业人员的胜任力的系统和方法

Also Published As

Publication number Publication date
EP2201555A2 (en) 2010-06-30
US20100311034A1 (en) 2010-12-09
CN101796559B (zh) 2013-08-21
WO2009031072A2 (en) 2009-03-12
US9123260B2 (en) 2015-09-01
WO2009031072A3 (en) 2009-04-30

Similar Documents

Publication Publication Date Title
Lau et al. Clinical value of patient-specific three-dimensional printing of congenital heart disease: Quantitative and qualitative assessments
Trout et al. Liver stiffness measurements with MR elastography: agreement and repeatability across imaging systems, field strengths, and pulse sequences
Storelli et al. Measurement of whole-brain and gray matter atrophy in multiple sclerosis: assessment with MR imaging
NL1024869C2 (nl) Werkwijze en systeem voor het meten van voor ziekte relevante weefselveranderingen.
NL1024858C2 (nl) Werkwijze en systeem voor luchtwegmeting.
Sardanelli et al. Biostatistics for radiologists: planning, performing, and writing a radiologic study
Sahbaee et al. The effect of contrast material on radiation dose at CT: Part I. Incorporation of contrast material dynamics in anthropomorphic phantoms
Huang et al. Meta-analysis of the technical performance of an imaging procedure: guidelines and statistical methodology
CN101006465B (zh) 横跨时间点链接vois以分析疾病进展或者对治疗的响应的系统和方法
CN108230311A (zh) 一种乳腺癌检测方法及装置
Seiberlich et al. Quantitative magnetic resonance imaging
JP4901725B2 (ja) コンパートメント解析のための画像データ処理システム
Ohno et al. Efficacy of ultrashort echo time pulmonary MRI for lung nodule detection and lung-RADS classification
Cheng et al. Validation of algorithmic CT image quality metrics with preferences of radiologists
Varga-Szemes et al. Myocardial late gadolinium enhancement: Accuracy of t1 mapping–based synthetic inversion-recovery imaging
Soto et al. Reader training in CT colonography: how much is enough?
Ismail et al. Evaluation of quantitative MRCP (MRCP+) for risk stratification of primary sclerosing cholangitis: comparison with morphological MRCP, MR elastography, and biochemical risk scores
Chan et al. Deep learning for mammographic breast density assessment and beyond
Demircioğlu et al. Automatic scan range delimitation in chest CT using deep learning
CN101796559B (zh) 基于接收器操作特性的训练
Brown et al. Database design and implementation for quantitative image analysis research
Li et al. Breast Multiparametric MRI for Prediction of Neoadjuvant Chemotherapy Response in Breast Cancer: The BMMR2 Challenge
Didier et al. Novel computerized analytic technique for quantification of amniotic fluid volume in fetal MRI
Blackmore The challenge of clinical radiology research
Vivier et al. In vitro assessment of a 3D segmentation algorithm based on the belief functions theory in calculating renal volumes by MRI

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130821

Termination date: 20160826