CN1820274A - 使用机器学习来利用cad系统的常规使用期间所收集到的知识适配cad过程以对医学成像提供cad(计算机辅助决策 )支持 - Google Patents

Abstract

提供用于医学成像的CAD(计算机辅助决策)支持系统、方法和工具，该系统、方法和工具采用机器学习分类，用于自动化检测和标记医学图像中的感兴趣区域。该机器学习方法被用于采用在CAD系统的常规使用期间所获得的训练数据通过将内科医生知识无缝结合到CAD过程来适匹配/优化该CAD过程。

Description

使用机器学习来利用CAD系统的常规使用期间所收集到 的知识适配CAD过程以对医学成像提供CAD(计算机辅助决策)支持

相关申请的交叉参考

本申请要求于2003年6月27日所提交的序列号为60/483,559的美国临时申请的优先权，该临时申请在此被完全引入作为参考。

本发明的技术领域

本发明通常涉及CAD(计算机辅助决策)支持系统、方法和工具，其采用机器学习分类来通过检测、诊断和标记医学图像中的感兴趣区域提供自动化的决策支持。更准确地说，本发明涉及采用机器学习方法的CAD支持系统、方法和工具，该机器学习方法使用在CAD支持系统的常规使用期间所获得的训练数据通过无缝地将内科医生知识结合到CAD过程来适配/优化该CAD过程。

背景

在医学成像领域中，出于筛选(screen)和评价身体状况的目的，已经开发出各种系统，用于对个体的各种解剖学结构产生医学图像。这些成像系统例如包括CT(计算机断层)成像、MRI(磁共振成像)、X射线系统、超声波系统、PET(正电子发射断层扫描)系统等。每种成像方式与用于筛选和评价某些类型的疾病、身体状况或者解剖学异常的其它方式相比可能提供独特的优点，该解剖学异常例如包括结肠息肉、动脉瘤、肺结节、心脏或者动脉组织的钙化、乳房组织的癌微钙化或者胞块、以及各种其它损伤或者异常。

例如，出于给器官和其它解剖组织成像的目的，可以用CT(计算机断层)成像系统来获得一组患者感兴趣区域(ROI)的横截面图像或者2D“切片”。该CT成像方式通常用于诊断疾病的目的，因为这种方式提供图解诸如器官、软组织和骨的各种解剖学结构的尺寸、形状和位置的精确图像，并使得对损伤和诸如癌、息肉等的异常解剖学结构的评价更精确。

内科医生、临床医生、放射科医生等用来检测、诊断或相反评价身体状况的一种传统方法是手动地检查从所获得的图像数据集重建的医学图像的硬拷贝(X-射线胶片、打印图片、照片等)，以辨别感兴趣的特性特征。例如，在CT检查期间获得的CT图像数据可被用来产生一组2D医学图像(X-射线胶片)，例如可基于进行检查的内科医生、临床医生、放射科医生等的技能和知识来检查该组2D医学图像以识别出潜在的异常解剖学结构或损伤。例如，乳房X线照射程序可以产生包括与乳房组织相对应的正常解剖学结构的医学图像，但是训练有术的放射科医生能识别出这些结构中的潜在癌变的小损伤。然而，训练有术的放射科医生、内科医生或临床医生可能由于人为错误而误诊诸如乳癌的身体状况。

相应地，各种图像数据处理系统和工具已经被开发以协助内科医生、临床医生、放射科医生等去评价医学图像以诊断身体状况。例如，计算机辅助检测/诊断工具已经被开发用于各种临床应用，以提供对医学图像中的身体状况的计算机辅助检测/诊断。通常，这些CAD系统应用图像数据处理方法来自动检测/诊断可能的损伤和诸如结肠息肉、动脉瘤、肺结节、心脏或动脉组织的钙化、乳房组织的微钙化或者胞块等的其它异常解剖学结构。更准确地说，传统的CAD工具包括了用于分析图像数据以自动检测被识别为潜在的损伤、异常、疾病状态等的图像数据中的感兴趣特征的区域的方法。当所处理的图像数据被绘制和显示时，所显示的图像中的被检测的区域或特征被“标记”或相反突出以引起放射科医生对潜在的身体状况的注意。

尽管CAD系统对于诊断/决策支持协助非常有用，但是CAD系统的精确性将取决于CAD过程被编程的方式而变化。一般来说，CAD系统能够使用“专家系统”来实施，在“专家系统”中，所述CAD过程从一组由人类专家所规定的二进制逻辑分类规则衍生和发展而来并被翻译成编码，或者利用相反启发式获得的知识来训练。不幸的是，使用二进制逻辑分类规则或启发式学习方法以开发CAD过程的专家系统固有地服从于专家开发者，并且，因此这样的系统由于这种设计的主观特性而有可能是错误的。

此外，利用这些常规系统，人类领域专家必须学习和理解分类错误的原因并且然后手动地更新这些分类规则以提供可接受的精确水平。同样地，由于对人类专家来说，理解/学习错误以及产生/修改适当的规则以获得更加精确的检测结果需要大量的时间和金钱，因此对这些常规方法的实施和维护也是昂贵的。

进一步地，可以采用原则(机器)学习分类方法来实施CAD系统，其中，“离线”学习过程可以被用于使用从之前所诊断/标记的范例的大数据库中学习到的训练数据来训练/建立一个或多个针对该CAD过程的分类器。尽管在利用用于构建该分类器的训练数据测试时，所述分类器的性能是足够的，但当这样的分类器被用于CAD系统中以分析那些没有被包括在最初的学习数据集中的信息时，该分类器的运行性能是低的。

针对前述的常规编程范例，所述CAD过程可能是次最佳的并且产生不正确的结果。例如，CAD分析的结果通过不正确地标记正常区域而可能包括“假阳性”，或CAD分析可能导致“非标记的”但却不是异常的区域。在这样的情况下，内科医生对不正确的CAD标记的依赖可能导致在患者管理过程中重要的/实质性的变化，原因在于额外的测试或活组织检查、被放射科医生所花费掉的时间、增加的保健开销、对患者的创伤，并且导致缺乏对计算机辅助诊断系统的信任。

发明概要

一般来说，本发明的示范性实施例包括使用机器学习分类以通过检测、诊断和标记医学图像中的感兴趣区域来提供自动化的决策支持的CAD(计算机辅助决策)支持系统、方法和工具。更准确地说，本发明的示范性实施例包括使用机器学习方法的CAD支持系统、方法和工具，该机器学习方法使用在CAD支持系统的常规使用期间所获得的训练数据通过无缝地将内科医生知识结合到该CAD过程中来适配/优化该CAD过程。

在本发明的一个示范性实施例中，针对医学成像的计算机辅助决策(CAD)支持方法包括：使用一CAD过程来处理患者图像数据，以检测患者图像数据中的潜在的感兴趣区域；提供从该CAD过程中所获得的CAD结果供用户检查；基于CAD结果的用户检查而获得训练数据；并且使用所述训练数据来适配该CAD过程。

在本发明的一个示范性实施例中，通过显示至少一部分具有针对所检测到的感兴趣区域(如果有的话)的CAD标记的图像数据，该CAD结果可以被提供给用户。在这样的例子中，通过确定用户所添加的、指示没有被检测到的感兴趣区域的用户标记和利用CAD标记所标记的用户标记，并且收集与用户标记相关的感兴趣区域的图像信息，或者通过确定用户在用户检查期间中所接受的CAD标记并且收集与所接受的CAD标记相关的感兴趣区域的图像信息，或者通过确定在用户检查期间中被用户拒绝的CAD标记和收集与所拒绝的CAD标记相关的感兴趣区域的图像信息，或者通过收集既没有利用CAD标记来标记也没有利用用户标记来标记的感兴趣区域的图像信息，或者其任意组合，训练数据可以被获得。

本发明的这些和其它的示范性实施例、特征和优势将被描述，或者通过下面对示范性实施例的详细的描述而变得明显，这些描述与附图结合来研究。

附图简述

图1是一种用于分析患者医疗记录的系统的框图，该系统包含了实施机器学习分类方法以根据在使用CAD工具期间所获得的知识优化/适配CAD过程的CAD工具。

图2是按照本发明的一示范性实施例的内科医生使用图1的系统检查患者医疗记录的工作流程的流程图。

图3是按照本发明的一示范性实施例的CAD方法的流程图。

图4是解释按照本发明的示范性实施例收集用于优化CAD过程的训练数据的方法的流程图。

示范性实施例详述

一般来说，在这里所述的本发明的示范性实施例包括使用机器学习分类以自动化检测/诊断和标记医学图像中的感兴趣区域的计算机辅助检测/诊断系统和工具(在这里一般地称为CAD系统)。进而，按照本发明的示范性CAD系统和工具使用机器学习方法，用于使用在CAD系统的常规使用期间所获得的训练数据通过无缝地将内科医生知识结合到该CAD过程来适配/优化该CAD过程。本发明的示范性实施例将参照图1、2、3和4在这里被描述。

应理解，按照本发明的在这里被描述的系统和方法可以硬件、软件、固件、专用处理器或其组合的各种形式来实施。在本发明的一个示范性实施例中，这里所描述的系统和方法能够被实施为包含确实被包含在一个或多个程序存储设备(例如，软磁盘、RAM、CD Rom、DVD、ROM和闪存)上的程序指令的软件应用程序，并且可以由包含适当结构的任何设备或机器来执行。

进一步应理解的是，因为附图中所描写的组成系统模块和方法步骤能够用软件来实施，所以系统部件(或者方法步骤的流程)之间的实际连接可能取决于所述应用程序被编程的方式而不同。在此给出教导，相关技术领域中的一个普通技术人员将能够想到本发明的这些和相似的实施方案或配置。

图1是按照本发明的示范性实施例的、用于分析患者医疗记录的系统(10)的框图。一般来说，该系统(10)包括患者记录和文件的储存库(11)、屏幕显示/浏览系统(12)、2D/3D图像绘图和显影系统(13)和数据处理系统(14)(或者CAD系统)。正如下面做进一步详细解释的那样，该CAD系统(14)实施各种方法，以提供用于检测/诊断受检(subject)图像数据集中的潜在的异常解剖学结构和用于使用通过用户与CAD系统(14)交互所获得的诊断知识(例如，基于在用户检查检测结果期间对CAD标记的用户接受和拒绝所获得的知识)来适配/优化CAD过程的计算机辅助决策支持。

患者数据记录和文件(11)包括一个或多个受检患者的患者图像数据和/或医学图像。更准确地说，患者数据记录和文件(1)可以包括原始图像数据形式的数字图像数据(11-1)，该原始图像数据诸如在CT扫描期间所获得的原始的CT数据(氡数据)或采用其它成像方式所获得的原始数据。此外，所述数字图像数据(11-1)可以包括一个或多个2D切片或三维体积图像，这些图像从原始图像数据中被重建并被持久存储。另外，患者数据记录和文件(11)可以包括硬拷贝的、包含从所获得的图像数据中重建的图像的X射线胶片、打印图片、照片等的2D和/或3D医学图像(11-2)。例如，医学图像(11-2)可以包括一组X射线胶片，该X射线胶片包括从对患者的感兴趣区域的CT扫描期间所获得的图像数据集中复制的患者的2D切片。应理解的是，尽管本发明的示范性实施例是参照使用计算机断层(CT)系统所获得的CT图像数据来进行描述的，但是本发明也可用于其它成像方式、诸如MRI、PET等。图像数据可以是2D(例如X射线乳房X线照相术图像)、3D(例如，CT、MRI、PET)、4D(动态3D MRI、利用3D超声波探测所获得的跳动的心脏的多视图)等。

屏幕显示/浏览系统(12)可以使用适于浏览所复制的医学图像(11-2)的任何系统来实施。例如，该屏幕显示/浏览系统(12)可以包括由内科医生、临床医生、放射科医生等所使用的亮的屏幕设备，以浏览被放置在这些设备上的、从所获得的多个CT切片(11-2)的图像数据集中生成的多个X射线胶片。屏幕显示/浏览系统(12)可以使用例如适于滚动多个被重建的2D切片的任何系统来实施。所述浏览系统也可以是硬拷贝，例如利用灯箱所浏览的胶片页、或纸制的打印输出、或其它的本领域普通技术人员所知道的方式。

该图像绘图和显影系统(13)可以包括任何适当的、处理所获得的图像数据集的数字图像数据(11-1)(或其部分)以在计算机监视器上生成和显示2D和/或3D图像的系统/工具/应用程序。更准确地说，该成像系统(13)可以是提供图像数据(11-1)的3D/2D绘图和显影的任何应用程序，并且该应用程序在具有监视器的通用或专用计算机工作站上运行。此外，例如，该成像系统(13)包括使得用户在3D图像或多个2D切片之间浏览的GUI(图形用户界面)。

该CAD系统(14)包含用于处理数字图像数据(11-1)(以及可能的其它的非图像患者数据)以提供计算机辅助检测和诊断以及下面将描述的其它功能的方法、功能和模块。该CAD系统(14)可以包含在通用计算机上或具有专用硬件的计算机上运行的CAD应用程序或工具。该CAD系统(14)接收和处理数字图像数据(11-1)，正如在前面所提到的那样，这些数据可以是原始图像数据、2D重建的数据(例如轴向切片)或者3D重建的数据(体积图像数据或者多平面重定格式)、4D重建的数据的形式或者其它格式。该CAD系统(14)实施方法，以识别或者至少是定位某一感兴趣特征，该感兴趣特征诸如输入图像数据集(11-1)中的解剖学异常，并且为图像数据加上标记(CAD标记)以指示这样的特征或区域。该CAD标记可被绘制为指示器(箭头、十字丝等)，这些指示器(箭头、十字丝等)指向具有潜在的异常结构的感兴趣区域或者指向潜在的损伤或异常的中心位置。此外，该CAD标记可以是虚线，该虚线沿着潜在的损伤的周边或者边缘而形成或者通常是环绕被检测/诊断为潜在的异常结构的感兴趣区域。

该CAD系统(14)的数据处理结果(CAD结果)能够被输出到图像绘图/显影系统(13)，用于根据系统(14)的处理结果生成图像数据2D和/或3D绘图，诸如标记的叠加、分割、颜色或密度变化等等，作为对所绘制的图像数据的覆盖图(overlay)。该CAD系统(14)以及图像绘图和显影系统(13)可以被实施为在计算系统(例如工作站)中运行的单个应用程序。可替换地，系统(13)和(14)可以是分布在计算机网络上的独立的工具，其中，公知的通信协议、诸如DICOM、PACS等被用于系统(13)和(14)之间的通信并且通过网络传输图像数据(11-1)。

在如图1中所示的本发明的一个示范性实施例中，该CAD系统(14)包含了特征提取模块(15)、CAD模块(16)和标记跟踪模块(17)。一般来说，特征提取模块(15)包含了用于从输入到CAD系统(14)的图像数据(11-1)中提取出相关的特征或图像参数的方法。CAD模块(16)分析所提取出的特征并且把图像数据分类，以自动地检测和在受检图像数据集中标记潜在的感兴趣区域(例如，异常解剖学结构)，并且输出所述CAD结果以提供给用户(例如，随着示出所标记的区域的覆盖图显示图像数据，如果有的话，伴随着诊断的概率等)。该标记跟踪模块(17)实施用于在用户检查由CAD系统(14)所输出的检测结果期间跟踪CAD标记和用户标记，以便获得能够被用于适配/优化由CAD模块(16)所实施的CAD过程的专家知识或训练数据。

应理解的是，由特征提取模块(15)所实施的方法将取决于由CAD系统(14)所支持的成像域(图像数据(11-1)的类型)、所使用的分类方法的类型以及在考虑中的解剖学结构的类型而变化。例如，当检测乳癌时，各种与光密度和对照有关的参数能够被提取出来，以识别出乳房组织中的潜在的损伤。那些能够被实施的特征提取方法的类型被本领域普通技术人员所熟知。应理解的是，该特征提取模块(15)能够实施分割方法，用于通过参考已知的或预期的图像特征、诸如边缘、可识别的结构、边界、颜色或密度的变化或过渡、光谱信息的变化或过渡等使用已知方法来分割感兴趣的特征或解剖组织。

一般来说，该CAD模块(16)实施机器学习分类方法，用于分析和分类受检图像数据集(11-1)的特征/参数，以自动地检测和标记该受检图像数据集(11-1)中的潜在的异常的解剖学结构。更准确地说，在图1的示范性实施例中，CAD模块(16)被实施为基于知识的专家系统，该专家系统提供对图像数据中的感兴趣区域的自动化检测(以及可能的诊断)。CAD模块(16)包括CAD过程(16-1)(或者CAD引擎)、知识库(16-2)、学习过程(16-3)和存储了各种下述训练数据的储存库(16-4)。

该CAD过程(16-1)实施一种或多种分类方法，这些方法利用知识库(16-2)来分析和分类所提取出的特征/参数以检测潜在的感兴趣区域(例如，异常的解剖学结构)。知识库(16-2)维护由CAD过程(16-1)所使用的一个或多个被训练的分类模型、参数和/或已学到的知识的其它数据结构等。此外，学习引擎(16-3)实施一种或多种机器学习方法，以使得利用在CAD系统(14)的常规使用期间被收集到的和在储存库(16-4)中持久存储的训练数据能优化知识库(16-2)。

值得注意的是，训练数据代表如在使用CAD系统(14)期间所获得的内科医生的诊断知识。更准确地说，在本发明的一个示范性实施例中，标记跟踪模块(17)包括一种或多种方法，用于在用户检查从CAD系统(14)中所输出的检测结果期间跟踪CAD标记和用户标记，其中，基于与用户所接受和/或拒绝的CAD标记或被用户所包括的用户标记等相关的信息获得训练数据。这样的数据通常代表能够被结合到CAD过程中的内科医生的诊断知识。例如，系统性能能够随时间基于之前的分类器的“遗失”而被改善(例如，连续的学习部件可以在由分类器所做的错误或不正确的预测上被训练)。各种用于收集训练数据以优化CAD过程的示范性方法将在下面例如参照图4而被描述。

需要注意的是，该CAD系统(14)能够实施一种或多种已知的、针对检测过程(16-1)的分类方法，这些方法例如包括神经网络、决策树、支持向量机、贝叶斯网络、概率推理等，以及被本领域普通技术人员所知的其它分类方法。需要注意的是，由检测过程(16-1)所实施的分类方法可以是不能向用户解释它们的预测的“黑盒子”(例如，如果使用神经网络建立分类器，则是这种情况)。分类方法可以是人类可读形式的“白盒子”(例如，如果使用决策树来建立分类器，则是这种情况)。在其它实施例中，分类模块可以是能够部分解释解决方案是如何推导出来的“灰盒子”(例如，“白盒子”和“黑盒子”类型分类器的组合)。

需要注意的是，知识库(16-2)可以包括从各种源中所推导出的临床领域的信息知识库以支持一个或多个临床领域(例如，心脏成像、胸部成像等)。例如，临床域知识(16-2)可以包括“离线地”从与临床领域相关的巨大的所分析的/所标记的范例的数据库中学习到以被CAD系统(14)所支持的知识。所述临床领域知识(16-2)可以进一步包括由专家直接输入的专家临床知识，或者包括关于所支持的临床领域、涉及与医疗机构或保险公司相关的规则、规定和/或方针的信息。

该学习引擎(16-3)可以实施一种或多种已知的机器学习方法，这些机器学习方法能够将额外的知识结合到知识库(26-2)中或相反利用从CAD系统(14)的常规使用中所推导出的训练数据来适配域知识库(16-2)中的信息。例如，增强学习技术(reinforcement learning technique)可以被使用。有利地，机器学习功能通过使分类过程(16-1)随着时间在不需要昂贵的人工干预的情况下连续改善来增加CAD系统(14)的稳定性。

需要理解的是，按照本发明的CAD系统和方法可被实施为对传统的CAD方法或其它用于处理图像数据的自动化诊断方法的扩展。进一步地，需要注意的是，在此所描述的示范性系统和方法可以利用3D医学成像和适于广泛的诸如结肠息肉、动脉瘤、肺结节等的各种异常解剖学结构或损伤的成像方式(CT，MRI等)、诊断和评价的CAD系统或应用程序而易于实施。在这一点上，尽管示范性实施例可以在这里参考特定成像方式或特定解剖学特征而被描述，但是没有什么可以被构造为限制本发明的范围。

此外，在本发明的其它示范性实施例中，在图1中，CAD系统(14)可以从一个或多个成像方式数据(11-1)(例如，超声波图像数据、MRI数据、NMR数据、PET数据、CT数据等)中提取和分析信息(图像参数/特征)，并(可选地)提取和分析非图像数据，用于由该CAD过程进行分析。换句话说，该特征提取模块(15)可以包括一种或多种患者数据提取方法，用于从结构化的和/或非结构化的患者数据记录(11)中提取“非图像”的患者数据，这与在考虑中的临床/图像领域相关，并且以由CAD过程进行适当分析的方式将图像特征/参数与非图像的特征/参数合并在一起。尽管临床的非图像数据可以不查明特定的潜在异常区域，但是例如这样的非临床临床数据在整个CAD评价过程中都有用。实际上，数据分析/数据挖掘方法可以由该提取模块(15)来实施，以便从所有类型的患者数据记录(11)中提取相关的参数，并且处理患者记录中的错误/不一致/遗失信息。为此目的，在本发明的一个示范性实施例中，该CAD系统(14)可以利用数据挖掘方法和特征合并方法，如在通常被指定和共同待决的U.S.序列号为10/287,055的美国专利申请中被描述，该专利申请于2002年11月4日提交，名称为“Patient Data Mining(患者数据挖掘)”，该专利申请要求于2001年11月2日所提交的序列号为60/335,542的美国临时申请的优先权，这两个申请在此均被引入作为参考。

现在参考图2，流程图图解内科医生按照本发明的示范性实施例检查和分析患者图像数据的工作流程。为了解释的目的，图2的示范性方法将参考图1的系统来描述。首先，内科医生、临床医生、放射科医生等将对受检患者的患者图像数据进行初步的(非CAD辅助的)检查和分析(步骤20)，以识别出潜在的异常解剖学结构或疾病状态。例如，在本发明的一个实施例中，内科医生能够使用屏幕显示/检查系统(12)(图1)来检查2D图像切片的一个或多个X射线胶片，这些2D图像切片例如从通过CT检查所获得的图像数据集中产生。

在另一个示范性实施例中，内科医生能够检查在计算机监视器上所显示以识别出可能的异常特征的图像数据集的2D和/或3D绘图。例如，该内科医生能够使用图像显影系统(13)(图1)来绘制和显示所有或部分输入图像数据集的2D和/或3D图像，并且使用合适的GUI去浏览所显示的图像，以识别出潜在的异常特征。在这种情况下，该显影系统(13)简单地构造和显示2D和/或3D图像，以用于内科医生的检查，但是不执行CAD相关的功能去协助分析，也不显示那些基于CAD结果所绘制和显示的图像。

基于最初的检查，该内科医生可以手动地标记或相反识别出图像数据中的感兴趣区域(步骤21)，内科医生认为该感兴趣的区域包括了(或者即将是)潜在的损伤或解剖学异常。此外，使用该显影系统(13)的相关的GUI功能，该内科医生可以标记或相反突出所显示的2D和/或3D图像的特定区域。该内科医生可能基于患者图像数据的非CAD协助检查而产生他/她的最初发现的初步报告。该报告可以包含该内科医生的初步诊断决定和发现，其包括对图像数据中感兴趣的特定区域(或特征)的参考。

此后，该内科医生将执行CAD协助的患者数据的检查，以证实或协调他/她的初步发现。更准确地说，在本发明的一个示范性实施例中，CAD协助检查通过使用CAD系统处理图像数据集(该数据集是该初步检查的主题)所得到的“所标记的”的图像数据开始，以检测和标记图像数据中的潜在的损伤或其它异常解剖学结构(步骤22)。所述处理可以先于首次研究或在首次研究期间的背景中被“离线”地执行，或者这样的处理可以在通过用户明确地运行了CAD系统(14)去处理针对非CAD协助检查(利用可能的被插入的用户标记)的目前(例如，通过系统13)被显示的图像数据的首次研究之后发生。

然后该内科医生将基于被显示在显示设备上的“所标记的”图像数据的2D和/或3D绘图执行对患者图像数据的CAD辅助检查(步骤23)。例如，该CAD系统(14)的输出(例如，“所标记的”的图像数据)能够被输入到该图像绘图/显影系统(13)中，基于该CAD过程的结果(如果有的话)，该图像绘图/显影系统(13)产生和显示那些示出计算机生成的标记(CAD标记)的一个或多个2D和/或3D医学图像。换句话说，所显示的图像可以被标记或相反利用由CAD模块(16)所检测到的潜在的异常的定位标识来注释。在CAD辅助检查期间，通过将新的用户标记增加到内科医生认为其包含了没有被CAD过程所发现的潜在的异常的感兴趣区域中的图像数据，该内科医生可以通过GUI而与系统交互。进而，内科医生可以拒绝或相反删除由CAD过程所发现的CAD标记，但是内科医生认为它们是错误的，或相反接受那些内科医生认为其是正确的CAD标记。在用户检查检测结果期间的用户交互(例如，增加用户标记和接受/拒绝CAD标记)被跟踪，以获得被用于优化/适配该CAD过程的一种或多种不同类型的训练数据，如在下面被描述。

在CAD辅助检查以后，该内科医生可以基于最后的诊断决定增补他的/她的初步报告(步骤24)。所述最后的诊断报告可能或可能不与初步报告相同，这取决于内科医生决定附加的、由CAD工具所提供的诊断信息是否重要。在最后的诊断报告之后，内科医生可以推荐进一步的疗程，其可以不包括进一步的动作或进一步的随后的检查或过程。

图3是解释按照本发明的示范性实施例的CAD方法的一流程图。在本发明的一个实施例中，图3描绘了针对图2的步骤22和23所实施的方法。在本发明的另一个实施例中，图3解释了图1的CAD系统(14)的操作模式。参考图3，受检患者的图像数据集(和从上述患者记录中所挖掘到的可能的非图像数据)被输入到该CAD系统中(步骤30)。该输入图像数据集被处理，以检测和识别出具有潜在异常解剖学结构的图像数据集中的(如果有的话)潜在的感兴趣的区域(或特征)(步骤31)。需要理解的是，该CAD过程(步骤31)可以通过采用适于输入图像数据的成像方式(例如，CT)并且特定地或通常适于检测/诊断在考虑中的解剖学异常(例如，癌症、息肉、结节等)的任意方法来实施。所述CAD过程将标记输入图像数据集中的、被确定为潜在的损伤或其它异常结构的那些感兴趣区域。

此后，该CAD结果被提供给用户。例如，所述“所标记的”图像数据集自CAD模块中输出(步骤33)并且进一步被处理以绘制和显示表示CAD标记(并且，可能是在用户最初的非CAD协助的检查期间由用户所做的之前所插入的用户标记)的2D和/或3D图像。在CAD协助检查期间，该CAD系统实施背景方法(background method)，以获得从CAD协助检查中所得到的训练数据(步骤34)，该训练数据接下来被用在学习过程中，以更新用于CAD过程的知识库。现在，能够被收集到的各种类型的训练数据将参考图4做进一步地详细讨论。

图4是解释按照本发明的示范性实施例收集能够被用于优化CAD过程的训练数据的方法的流程图。特别地，图4解释按照本发明的示范性实施例的、实施图3中的步骤34的各种操作模式。更准确地说，在用户的CAD协助检查期间，该CAD系统(14)将跟踪CAD标记的状态(例如，用户对标记的接受或拒绝)以及用户标记(例如，由用户所增加的而没有被CAD过程发现的标记)的状态(步骤40)，并且收集一种或多种类型的训练数据(步骤41、42、43和/或44)。该示范性类型的训练数据能够被单独地使用，或者以各种组合的方式，用于适配/优化CAD过程。

例如，在本发明的一个示范性实施例中，该CAD系统(16)将保持跟踪CAD标记和用户标记，并且确定哪些标记(如果有的话)是由用户在他/她的独立研究期间所发现的而没有被CAD过程所发现的标记(被称为“假阴性(false negative)”标记)。然后，该CAD系统将与这些假阴性标记相关的数据存储为训练数据(步骤41)。该训练数据例如包括这样的假阴性标记和其它类型的、包括图像子体积数据(sub-volume data)和所提取的特征等的支持数据的位置。为了允许该CAD过程从它的错误中进行学习而使用这种类型的训练数据。

在本发明的另一实施例中，该CAD系统将保持跟踪CAD标记和用户标记，并且确定哪些标记(如果有的话)是由用户在他/她的独立研究期间和CAD过程中所发现的标记(被称为“真阳性(true positive)”标记)(步骤42)，以及上述的任何“假阴性”标记(步骤41)。然后，该CAD系统将与这些“真阳性”和“假阴性”标记相关的数据存储为训练数据。训练数据再次例如包括这些假阴性标记和真阳性标记和其它类型的、包括图像子体积数据和所提取的特征等的支持数据的位置。这种类型的训练数据能够被用来阻止该CAD系统朝其错误的方向偏离。

在本发明的另一个实施例中，该CAD系统将保持跟踪CAD标记和用户标记，并且确定(如果有的话)由CAD过程所发现的而被用户所拒绝的标记(“假阳性”标记)以及前述的任何“假阴性”标记。假阳性标记可以是被放置在类似感兴趣的损伤或异常的解剖学结构上的CAD标记。例如，当诊断癌症时，假阳性CAD标记可以被增加到包括疤痕组织的区域，该区域具有与癌症相似的特征。然后，该CAD系统将与这些“假阳性”标记(步骤43)和“假阴性”标记(步骤41)相关的数据存储为训练数据。训练数据将再次例如包括这些假阳性标记和假阴性标记以及其它类型的、包括图像子体积数据和所提取的特征等的支持数据的位置。

在本发明的另一个实施例中，该CAD系统将保持跟踪CAD标记和用户标记以及确定那些没有被CAD过程或用户所标记的“未被标记的”区域以及(如果有的话)假阳性标记和假阴性标记。然后，该CAD系统将与“未被标记的”标记(步骤44)、“假阳性”标记(步骤43)和“假阴性”标记(步骤41)相关的数据存储为训练数据。训练数据将再次例如包括这些未被标记的区域、或者假阳性标记和假阴性标记以及其它类型的、包括图像子体积数据和所提取的特征等的支持数据的位置。这类训练数据能够被用于阻止CAD系统朝其错误的方向偏离，并且允许使用与那些被用户和CAD过程认为没有包括异常的图像数据相关的训练数据来增强知识库。

需要注意的是，训练数据可以被用来适配知识库，并且合并更多的从专家用户与系统的交互作用中学习到的知识。换句话说，适配是无缝的(无人监督地训练)，因为训练数据从背景中收集并且专家用户可以通过扩展训练数据集而在不知道的情况下训练所述系统。换句话说，该专家用户是无意识地训练所述系统的。该学习过程能够在一连续的基础上被实施，其中使用被收集到的各组训练数据来更新知识库以便CAD系统每次都被使用，模型/参数被更新。在本发明的另一个实施例中，该学习过程被执行直到来自预定数目的范例的训练数据被收集到。学习能够被实施的频率取决于CAD系统的用户经验而变化。例如，如果CAD系统正在被在检查医学图像上没有经验的缺乏经验的用户使用，那么执行连续的学习是不可取的。在这种情况下，如在训练数据集中所捕获到的新增加的知识可能是不正确的或不准确的。

在本发明的其它示范性实施例中，验证过程可以被实施，以评价所更新的/新训练的分类器(多个分类器)的精确性，以确定针对CAD过程的分类器(多个分类器)的效率或精确性。例如，分类器(多个分类器)可以通过处理来自已知输出结果的前述范例的实际训练数据来加以评价，然后将所述分类结果与所期望的或已知的输出结果相比较以获得精确的范围。在这样的情况下，如果精确范围低于期望的门限值，则所述分类器(多个分类器)将被拒绝并且该训练过程将继续。如果分类器(多个分类器)通过了评估，则所更新的/新训练的分类器(多个分类器)能够被使用。

需要注意的是，前面所描述的、用于获得在CAD系统常规使用期间的数据的方法仅仅是示范性的，并且任何一位本领域的普通技术人员能够容易地想象出其它的方法，以基于CAD系统的常规使用而获得或相反提取训练数据，该系统表示了用户的专家知识。例如，除了显示“所标记的”图像和跟踪用户通过GUI交互而实现的对CAD标记的接收或者拒绝，CAD辅助检查可以通过其它的方式被执行，诸如通过打印的图像向用户提供CAD结果，在该情况下，用户可以检查所打印的拷贝并且在他/她的最终报告中标注他/她对CAD结果的接受或拒绝。在这种情况下，CAD系统能够通过分析初步报告和最终报告中的信息以及协调这些报告与已知的CAD结果之间的任何差异和/或相似性来确定或相反推断出用户对CAD结果的接受或者拒绝。

尽管本发明的解释性的实施例已经在这里参考附图做了描述，但是需要理解的是，本发明不局限于那些严格的实施例，并且在不脱离本发明的范围或精神的情况下，本领域的技术人员可以实现各种其它变化和修改。所有的这些变化和修改都意图被包括在由所附权利要求所定义的本发明的范围内。

Claims (22)

1、一种医学成像中的计算机辅助决策(CAD)支持方法，其包括：

使用一CAD过程来处理患者图像数据，以检测患者图像数据中的潜在的感兴趣区域；

提供从该CAD过程中所获得的CAD结果以供用户进行检查；基于用户对该CAD结果的检查而获得训练数据；并且

使用该训练数据适配该CAD过程。

2、如权利要求1所述的方法，其中，使用一CAD过程来处理所述患者图像数据包括自动地从该患者图像数据中提取图像参数并且使用一分类方法来分类所述参数，以及其中，适配该CAD过程是使用一机器学习过程来执行的，以使用所述训练数据重新训练一分类器。

3、如权利要求1所述的方法，其中，如果有针对所检测到的感兴趣区域的CAD标记的话，提供所述CAD结果包括显示至少一部分具有该CAD标记的图像数据。

4、如权利要求3所述的方法，其中，获得训练数据包括：

确定由所述用户增加的用户标记，该用户标记指示没有被检测到并且没有利用CAD标记来标记的感兴趣区域；并且

收集与所述用户标记相关的感兴趣区域的图像信息。

5、如权利要求3所述的方法，其中，获得训练数据包括：

确定在所述用户检查期间由用户所接受的CAD标记；并且

收集与所接受的CAD标记相关的感兴趣区域的图像信息。

6、如权利要求3所述的方法，其中，获得训练数据包括：

确定在所述用户检查期间由用户所拒绝的CAD标记；并且

收集与所拒绝的CAD标记相关的感兴趣区域的图像信息。

7、如权利要求3所述的方法，其中，获得训练数据包括收集既没有利用CAD标记来标记也没有利用用户标记来标记的感兴趣区域的图像信息。

8、如权利要求1所述的方法，其中，使用所述训练数据来适配所述CAD过程包括连续地或周期性地重新训练该CAD过程。

9、如权利要求1所述的方法，进一步包括基于所述患者图像数据的非CAD辅助的用户检查结果而获得训练数据。

10、一种机器可读的程序存储设备，确实包含一由机器可执行的程序指令，以执行用于提供医学成像中的计算机辅助决策(CAD)支持的方法步骤，所述方法步骤包括：

使用一CAD过程来处理患者图像数据，以检测患者图像数据中的潜在的感兴趣区域；

提供从该CAD过程中所获得的CAD结果以供用户进行检查；基于用户对该CAD结果的检查而获得训练数据；并且

使用该训练数据来适配该CAD过程。

11、如权利要求10所述的程序存储设备，其中，用于采用一CAD过程来处理所述患者图像数据的指令包括用于自动地从该患者图像数据中提取图像特征以及使用一分类方法分类所述特征的指令，并且其中，用于适配该CAD过程的指令包括用于使用机器学习过程以采用所述训练数据来重建一分类器的指令。

12、如权利要求10所述的程序存储设备，其中，如果有针对所检测到的感兴趣区域的CAD标记的话，用于提供所述CAD结果的指令包括用于显示至少一部分具有该CAD标记的图像数据的指令。

13、如权利要求12所述的程序存储设备，其中，所述用于获得训练数据的指令包括以下指令：

用于确定由所述用户增加的用户标记的指令，该用户标记指示没有被检测到的以及没有利用CAD标记来标记的感兴趣区域；以及

用于收集与所述用户标记相关的感兴趣区域的图像信息的指令。

14、如权利要求12所述的程序存储设备，其中，用于获得训练数据的指令进一步包括以下指令：

用于确定在用户检查期间被用户所接受的CAD标记的指令；以及

用于收集与所接受的CAD标记相关的感兴趣区域的图像信息的指令。

15、如权利要求12所述的程序存储设备，其中，用于获得训练数据的指令进一步包括以下指令：

用于确定在用户检查期间被用户所拒绝的CAD标记的指令；以及

用于收集与所拒绝的CAD标记相关的感兴趣区域的图像信息的指令。

16、如权利要求12所述的程序存储设备，其中，用于获得训练数据的指令包括用于收集既没有利用CAD标记来标记也没有利用用户标记来标记的感兴趣区域的图像信息的指令。

17、如权利要求10所述的程序存储设备，其中，用于采用所述训练数据来适配所述CAD过程的指令包括用于连续地或周期性地重新训练该CAD过程的指令。

18、如权利要求10所述的程序存储设备，进一步包括用于基于患者图像数据的非CAD辅助的用户检查的结果来获得训练数据的指令。

19、一种计算机辅助决策(CAD)支持方法，其包括：

从使用一CAD过程来处理患者数据来获得CAD结果；

获得用户检查结果，该用户检查结果包括以下结果：(i)患者数据的用户检查，或(ii)该CAD结果的用户检查，或(iii)该患者数据的用户检查和CAD结果的用户检查；

比较该CAD结果和该用户检查结果；以及

基于所述比较结果获得训练数据。

20、如权利要求19所述的方法，其中，比较所述CAD结果和所述用户检查结果包括确定一假阳性CAD结果、或者一假阴性CAD结果、或一真阳性CAD结果、或其任何组合。

21、如权利要求19所述的方法，其中，如果有针对由所述CAD过程检测到的潜在的感兴趣区域的CAD标记的话，所述CAD结果包括患者图像数据中的该CAD标记。

22、如权利要求21所述的方法，其中，该CAD结果的用户检查结果包括关于用户接受或拒绝该CAD标记的指示。

Images