CN105765629A - 病变的早期治疗反应评估 - Google Patents

Abstract

为了治疗反应评估，用于机器学习分类器并且用于使用机器学习的分类器输入纹理特征。而不是使用基于公式的纹理特征或者除了使用基于公式的纹理特征之外，数据所驱动的纹理特征是从训练图像得出的。数据所驱动的纹理特征是独立分析特征，诸如，来自独立子空间分析的特征。所述纹理特征可以用于基于所述患者的少量或者甚至一次扫描来预测治疗结果。

Description

病变的早期治疗反应评估

相关申请

本专利文件要求于2013年9月25日提交的美国临时专利申请第61/882,143号的美国法典35卷119节（e）下提交日期的权益，该申请所公开的内容以引用的方式并入本文。

背景技术

本实施例涉及早期治疗反应评估。具体地，提供了计算机辅助的反应评估。

基于几何测量（诸如，直径（例如，RECIST或者WHO标准）或者体积）测量在治疗下的肿瘤的反应。临床医生利用长时间放射性扫描（例如，CT或者MRI）来监测几何测量，直到可以关于结果做出决定。在临床医生基于有关治疗能否成功的几何测量来做出决定之前，进行多轮治疗。长期治疗可以导致患者所需剂量更高（例如，针对几何测量的放射治疗和/或x-ray成像）以及治疗药物的成本更高。

通常，与病变的几何变化发生相比，病变外观（例如，增强样式）发生变化更早一些。当其组织已经坏死时，病变可以保持其大小更长时间。当病变的大小和形状在很大程度上仍然不受影响时，病变的纹理给出了对在更早阶段的治疗反应的认识。使用纹理作为参数，可以识别数据库中的具有相似的医疗条件的病例，对于这些病例而言，应用的治疗和其结果是已知的。这可帮助医生估计不同治疗的有效性并且选择最好的策略。然而，这类途径是耗费时间的并且/或者对于医生或者其它人而言很难进行。

发明内容

为治疗反应评估提供了系统、方法和计算机可读介质。为机器学习分类器并且为使用机器学习的分类器输入纹理特征。而不是使用基于公式的纹理特征或者除了使用基于公式的纹理特征之外，数据所驱动的纹理特征是从训练图像得出的。这样的数据所驱动的纹理特征是独立分析特征，诸如，来自独立子空间分析的特征。纹理特征可以用于基于患者的少量或者甚至一次扫描来预测治疗结果。

在第一方面中，提供了一种用于治疗反应评估的方法。获得患者的治疗前医学图像和治疗后医学图像。医学图像表示患者的至少一个病变。处理器利用从训练图像学习的纹理特征来对治疗前医学图像和治疗后医学图像进行卷积。处理器利用具有卷积结果的机器学习的分类器来将病变的治疗反应分类为针对机器学习的分类器的输入特征。

在第二方面中，非暂时性计算机可读存储介质已经在其中存储了数据，该数据表示可由用于治疗反应评估的编程处理器执行的指令。存储介质包括指令，所述指令用于：仅仅利用一次或者两次扫描，通过滤波器核心来提取病变的纹理特征，所述滤波器核心独立地基于图像数据；以及预测有关病变的治疗结果，预测是纹理特征的函数。

在第三方面中，提供了一种用于治疗反应评估的方法。处理器使在多个训练数据帧中表现出来的病变斑块受到单独子空间分析。处理器通过斑块的独立子空间分析来创建多个图像滤波器并且通过将图像滤波器应用于在训练数据帧中表现出来的病变来计算纹理特征。处理器根据纹理特征来学习治疗反应的预测器。

可以单独使用或者结合使用上述任何一个或者多个方面。通过优选实施例的结合附图而阅读的以下详细描述，这些和其它方面、特征和优点将变得明显。通过所附权利要求书来定义本发明，并且在该部分中没有当做这些权利要求书的限制。下面结合优选实施例来讨论本发明的另外的方面和优点，并且稍后可以独立地或者结合地对其进行要求保护。

附图说明

组件和附图不必按比例绘出，而是重点示出本发明的各原理。此外，在附图中，相同的元件符号指定贯穿不同视图的相应部件。

图1示出了用于使用几何测量来进行治疗反应评估的示例过程；

图2示出了用于使用纹理特征来进行治疗反应评估的示例过程；

图3是用于训练治疗反应评估的方法的一个实施例的流程图；

图4示出了从训练图像学习的示例纹理特征；

图5A至图5C示出了利用三个不同的病变来对图4的特征进行卷积而得到的结果；

图6是应用于治疗反应评估的方法的一个实施例的流程图；以及

图7是用于治疗反应评估的系统的一个实施例的框图。

具体实施方式

在治疗反应评估中，计算机帮助医生估计不同的癌症治疗的有效性并且选择最好的策略。考虑到病变、成像设置、情况、以及病例数的可变性，可能花医生或者其它医学专业人士不合理的时间量来识别相似的病例和患者，以做出有信息资料根据的预测。结果，由不同的医学专业人士进行的预测可能存在很大的可变性。计算机可以更加快速地访问信息并且更加一致地预测治疗反应。考虑到至少部分地来自医学图像的预测的敏锐，处理器可以更好地进行治疗反应评估或者至少提供有关该治疗反应评估的更加有效的第二观点。

为了以客观的方式判断肿瘤或者病变的状态，使用适合早期治疗阶段的治疗反应测量。尽可能早地对治疗效果进行评估。通过使用两次扫描，或者可能仅仅使用一次扫描，预测器可以决定治疗是否将失败或者成功。可以通过应用了预测器的处理器来识别由医生利用这样一些图像而错过的队列。在更早的阶段作出决定。

图1示出了使用几何测量的途径，其中，进行治疗前扫描，并且在治疗后或者在一系列的治疗应用期间进行一系列的N（例如，5或者更大）次扫描。临床医生然后使用扫描来确定几何变化，以预测治疗成功或者失败。同时，已经将患者暴露于与治疗和/或多次监测相关联的药物和/或放射物。相反地，图2示出了获取治疗前扫描和单一治疗后扫描。提取反映细胞密度、脉管系统、坏死、出血、其它特性、或者它们的组合的纹理特征，并且使用该纹理特征来自动（例如，机器学习）预测治疗成功或者失败。可以在过程的更早时候做出预测，以可能地避免结果可能呈阴性的进一步治疗。在治疗前，可以基于治疗前扫描做出预测。提供早期治疗结果预测，以可能地减少患者暴露于可能不成功的治疗。

在预测中，使用器官和/或病变的纹理来预测未来癌症发展的可能性。通过使用独立子空间分析（ISA）或者其它数据驱动的途径来提取特征。而不是使用用于测量纹理的程序员设计公式或者除了使用用于测量纹理的程序员设计公式之外，使用训练扫描来确定适合并且/或者确定针对给定类型的病变、器官、治疗、和/或其它情况的结果的纹理。这与固定公式描述了如何计算特征值的传统特征不同。由于纹理特征的ISA或者其它数据驱动的发展，不同组的训练图像和地面实况标签可以生成不同的图像滤波器，并且因此生成不同的特征值。这种数据驱动的途径的优点在于，随着训练数据集变得越来越大，在不依赖手动地定义针对样式的启发式的并且次优的数学公式的专业知识的情况下，可以发现更有意义的纹理样式。基于学习的途径也允许训练用于不同治疗类型（例如，化学治疗、靶向治疗、放射治疗）的系统，导致自动学习的具体治疗反应特征。数据驱动的纹理特征允许针对不同类型的病变、组织、治疗、和/或成像模式而学习的不同特征。

图3和图6示出了用于治疗反应评估的方法。用于治疗反应评估的方法可以是学习如何访问治疗结果的方法或者可以是用于利用学习的预测器来访问结果的方法。图3涉及治疗结果预测器的机器训练。图8涉及机器学习的治疗结果预测器的应用。在两种情况下，机器（诸如，处理器、计算机、或者服务器）实施一些或者所有行为。图7的系统实施在一个实施例中的方法。用户可以通过处理器为治疗反应预测器的应用选择图像文件、通过处理器选择待学习特征的图像、并且/或者识别感兴趣的区域。机器的使用允许处理大量（例如，许多像素的图像和/或许多图像）信息，该大量信息可能不会由人有效地处理（至少在针对一定量的信息的比较时间帧中）、在所需时间帧中可能由人处理是不切实际的、或者因为敏锐和/或时限而甚至不可能通过人完成。

按照所示顺序来提供方法，但是也可以提供其它顺序。例如，在图6中，可以按照并行顺序或者相反的顺序来进行行为58和行为60。

另外，可以提供不同的行为或者较少的行为。例如，没有提供图3的行为44。作为另一示例，没有提供图6的行为60和/或行为64。在又一示例中，提供了用于捕获图像的行为和/或使用检测到的信息的行为。可以提供用于构造、输入或者输出的行为。

图3示出了用于在治疗反应评估中学习的方法。处理器进行学习，诸如，通过进行行为44至行为52。处理器在行为46至行为48中通过训练数据创建纹理特征，并且在行为52中利用纹理特征来学习预测器作为输入。学习的特征可以由处理器使用来计算特征值，并且/或者由处理器使用来训练分类器。

在行为40中，获得目标的一个或者多个图像。通过来自存储器的数据传输、捕获、和/或加载来获得图像。

图像是表示在给定时间的患者的数据帧。图像是标量值或者显示值（例如，红绿蓝（RGB））。可能先前已经显示或者还没有显示图像。

通过扫描获取图像。使用任何一个或者多个传感器来捕获图像。例如，使用x射线、计算机断层扫描（CT）、荧光镜检测、血管造影、磁共振、超声、正电子放射断层摄影术、或者单一光子发射计算机断层扫描来捕获器官的图像。给定的治疗前扫描或者治疗后扫描提供了一个或者多个图像。例如，获取针对不同相位的多相对比增强扫描（例如，本地、动脉、和静脉相位对比剂洗入和/或洗出）的图像。作为另一示例，获取包括碘地图的双能CT，作为扫描的部分。

治疗前扫描和治疗后扫描是相同类型的扫描或者不同类型的扫描。每次扫描提供了一个或者多个图像。相同患者或者不同患者的多个图像使用具有相同设置或者不同设置（视场）的相同的成像模式或者不同的成像模式。

在医学图像中的感兴趣的目标可能是器官、囊肿、肿瘤、钙化或者其它异常。可以使任何类型的病变成像。可以对病变周围的器官进行扫描。图像可以表示健康的组织。图像可以表示二维或者三维病变。例如，图像可以是像素或者体素。

为了训练，获取针对具有其它共同布置或者不具有其它共同布置的相同类型的病变（例如，患者特性（男对女或者年龄）、成像模式、器官、治疗类型、和/或阶段）的图像。获得许多个（诸如，十个、百个、千个或者更多）患者的治疗前图像和治疗后图像。图像与已知结果相关联或者联系到该已知结果。例如，利用地面实况来为所有图像贴上标签。为了创建纹理结果，仅仅使用与阳性结果相关联的图像。替代地，仅仅使用与阴性结果相关联或者与阳性结果相关联和阴性结果相关联的图像。为了训练预测器，使用为阳性结果和阴性结果贴上标签的图像。

在行为42中，在每个图像中识别一个或者多个感兴趣的区域（ROI）。使用手动（例如，用户输入）或者自动肿瘤检测或者分割来发现感兴趣的区域。可以使用现在已知的或者随后发展的感兴趣的区域识别。

感兴趣的区域是边界框或者封闭病变的其它形状或者是病变特定的分割。可以在给定图像上提供多于一个感兴趣的区域。例如，在给定图像中表现出多个病变。作为另一示例，识别针对健康组织的一个或者多个感兴趣的区域。在一个实施例中，提供了嵌套的感兴趣的区域，诸如，作为一个整体或者部分的器官的区域以及作为病变的区域的该区域的子组。

感兴趣的区域待用于特征提取。可以从感兴趣的区域内提取与肿瘤相关联的特征。途径是结合用于训练分类器的不同特征的多个组。也可以从图像数据中的其它参考区域（例如整个肝实质）提取这样的特征，以补充从病变特异的ROI内提取的肿瘤特征并且为分类器提供了具有附加信息。

可以扩张所描绘的病变感兴趣的区域，以确保包括从病变到健康组织的边界或者梯度。通过处理器将感兴趣的区域扩大（增大）为包括周围的信息。扩大是通过百分比（例如，5%至10%的扩张）、通过许多样本（例如，添加来自中心的2至10个样本）、或者通过另一过程而进行。替代地或者另外地，感兴趣的区域最初由用户或者处理器定义为包括周围的信息。在替代实施例中，没有提供扩张。

可以对感兴趣的区域进行细分。例如，将移动窗定义为覆盖感兴趣的区域的部分。通过使具有任何步长（例如，1像素、2像素或者其它距离）的窗移动，定义使感兴趣的区域的子组重叠。在具有固定步长的感兴趣的区域内一致地定义这些斑块或者子组。可以使用任何大小的斑块（patch），诸如，8×8像素。在替代实施例中，斑块大小和/或步长改变或者不是一致的。

在行为44中，通过处理器使斑块变白。在每个核心或者斑块内，改变值来将平均值设置为零值并且使方差等于一。可以使用其它标准化。在一个实施例中，利用主成分分析来使斑块变白。替代地，不执行变白。

在行为46中，将独立子空间分析（ISA）或者独立成分分析（ICA）应用于斑块，诸如，变白的斑块。独立分析检查斑块的数据，以发现文本模式。处理器分析来自不同患者的许多或者所有感兴趣的区域的许多或者所有斑块，以学习一个或者更多个纹理特征。通过处理器使用数据驱动的机器学习来识别在各个斑块和患者中很普遍的一个或者多个模式。ISA和ICA都发现形成独立子空间的特征，但是发现，与ICA比较，ISA对于本地变化而言更稳健。

在一个实施例中，通过处理器使斑块受到独立子空间分析（ISA）。在另一实施例中，通过处理器使斑块受到独立成分分析。将斑块分解为不同成分以发现模式。可以使用具有或者不具有独立性的其它模式识别。

由处理器通过许多示例而进行的独立分析或者其它模式识别导致N个图像滤波器，在行为48中，通过在行为46中应用独立分析来创建图像滤波器。在各种训练示例中，可以创建任何数量的共同模式。例如，从训练图像中学习五个图像滤波器。

为了将具有期望反应的病变纹理与其它纹理区分开来，使用地面实况。使用由地面实况指示的与期望结果相关联的训练数据来创建图像滤波器。替代地或者另外，使用其它训练数据。在其它实施例中，独立分析学习纹理特征，该纹理特征将具有期望结果的纹理与具有非期望结果的纹理区别，因此基于地面实况将训练数据分为组。在替代实施例中，在没有考虑地面实况的情况下创建图像滤波器。通过计算机实现的分析来发现坏死病变和非坏死病变所共有的纹理。

图像滤波器作为斑块具有相同的大小和形状。替代地，图像滤波器作为斑块具有不同的大小和形状。图像滤波器是二元掩膜或者包括任何数量的层次，诸如，包括斑块的来自训练数据的平均数或者全动态范围。

图4示出了由处理器从使用独立子空间分析的模式识别学习的五个示例图像滤波器。在行为48中，通过患者的肝肿瘤的CT图像来创建图像滤波器。这些图形滤波器表示在用于训练数据的病变的组中的更多个共同模式。为健康组织创建相同的图像滤波器、不同的滤波器，或者没有为其创建滤波器。考虑到不同的训练数据，可以导致不同的图像滤波器。

在行为50中，通过处理器来计算纹理特征。图像滤波器（例如，参见图4）表示针对给定情况的纹理特征，但是其本身并不是用于学习预测器的输入。将图像滤波器应用于训练数据，以计算针对纹理特征的值。将图像滤波器应用于相同的训练数据，通过该相同的训练数据来创建图像滤波器。替代地，使用了不同的训练数据组。

将图像滤波器应用于适合的感兴趣的区域。对于表示病变纹理的图像滤波器，将图像滤波器应用于在训练数据中表现出来的病变。对于表示健康组织或者健康组织和病变组织的组合的图像滤波器，将图像滤波器应用于针对该组合的感兴趣的区域。

通过空间滤波来应用图像滤波器。图像滤波器是一维、二维或者三维滤波器。通过卷积操作（例如，点积或者其它相似的措施）将N个滤波器应用于每个肿瘤。相对于病变放置图像滤波器，并且将图像滤波器的强度乘以在感兴趣的区域的斑块中的图像的数据。结果乘法的总和或者平均数为在该位置处的图像滤波器提供了值。通过转移图像滤波器，诸如，已经为斑块完成，确定不同位置的值。可以使用利用在训练数据帧中表现出来的病变而对图像滤波器进行的任何卷积。

图5A至图5C示出了利用三个不同的病变的图4的图像滤波器的卷积结果。在图5A至图5C中保持由图4的图像滤波器表示的从左到右的纹理特征顺序。最左侧CT切片图像是正在经受滤波的病变。在病变包括更接近图像滤波器的纹理的地方，结果像素具有更高的强度（例如，更加白）。图5A至图5C之间的比例差异是因病变的比例和/或大小差异而产生的。

将来自卷积的结果值（即，滤波器反应）结合，以基于给定图像滤波器指示该病变的特征值。例如，计算强度值的总和或者平均数。在图5A的示例中，计算每个纹理特征的平均强度，以向每个图像滤波器提供单一值。例如，记录每个肿瘤的每个滤波的平均响应，作为ISA特征的值。替代地，通过卷积的结果来计算特征，诸如，使用来自由具有图像数据的图像滤波器卷积提供的数据驱动的特征的哈尔（Haar）小波特征或者其它预先设计的特征。

结果值是用于行为52中的训练的纹理特征。其它信息可以用作用于训练的输入特征向量的部分。其它信息可以表示患者（例如，年龄、性别或者家族史）、病变阶段、治疗类型、其它情况信息和/或其它图像导出特征。

在一个实施例中，通过训练数据确定其它纹理特征。例如，使用了哈拉里克（Haralick）纹理特征，诸如，对比物、熵、和/或其它。在另一示例中或者另外，使用了同质性、能量、和相异纹理特征。例如，同质性具有以下等式：

其中，P（i，j）对次数进行计数，具有值i的像素与具有值j的像素相邻，并且然后除以做出的这种比较的总数。N _g 是在图像中的灰度级数。纹理特征依赖于预定公式，而不是通过处理器从训练数据学习的特征。可以使用任何现在已知的或者稍后开发的纹理特征。

在另一附加或者替代实施例中，使用基于局部二进制模式的纹理特征。局部二进制模式将每个像素的强度与其邻近像素进行比较并且返回简洁地总结差异的代码。然后通过直方图在ROI之上总结这些代码。可以使用数据金字塔，其中，提供了不同分辨率（例如，通过采样）的相同的图像。然后为金字塔的每个分辨率或者级计算局部二进制模式，因为每个金字塔级按照不同比例并且详细包含纹理信息。

在一个实施例中，通过针对一次治疗前扫描和一次治疗后扫描的训练数据来计算纹理特征。在替代实施例中，仅仅使用治疗前扫描，仅仅使用第一治疗后扫描、或者使用附加治疗后扫描。

纹理特征（无论是数据驱动的纹理特征还是其它纹理特征）对于治疗前扫描和治疗后扫描而言是相同的。在替代实施例中，为相对于治疗的不同扫描提供不同的特征（即，学习治疗前图像的与从治疗后图像学习的纹理特征不同的纹理特征）。

一旦计算和/或获得针对输入特征向量的值，就使用用于治疗反应的地面实况来通过处理器训练治疗反应的预测器。地面实况是二进制的，诸如，来自治疗的成功的或者不成功的结果。替代地，地面实况具有更好的分辨率，诸如，不会重复出现的月份数、缓解时间、大小变化、麻醉时间、或者治疗成功的其它措施。

在行为52中，通过处理器学习治疗反应预测器。在有或者没有训练分类器的其它特征的情况下，处理器都使用地面实况和数据驱动的纹理特征。可以使用任何机器学习，诸如，概率提升树、支持向量机、或者其它机器学习分类器。其它分类器可以包括单类或者二元分类器，可以使用不同分类器的聚集、级联分类器、层次分类器、多类分类器、基于模型的分类器、或者它们的组合。多类分类器包括CART、k-最近邻、神经网络（例如，多层感知）、混合模型或者其它。可以使用纠错输出代码（ECOC）。

在一个实施例中，将特征馈入到用于训练的机器学习分类器或者回归器中，诸如，支持向量机（SVM）或者回归随机森林。训练提供了将特征输入值与输出或者预测相关联的矩阵。矩阵或者训练的分类器（例如，学习的分类器）是治疗反应的预测器。在训练期间，提供具有已知治疗结果的地面实况病例组，以学习系统参数。可以使用预测器来预测在治疗过程早期的治疗结果，诸如，通过一次、两次、或者不到五次扫描。

可以通过使用不同的训练数据来学习不同的预测器。可以为不同的病变实体（肝、肺、淋巴结或者其它）、不同的治疗、不同的患者群体、不同的成像模式、或者其它差异训练系统，导致了自动学习的特异性治疗反应特征。可以对独立系统进行训练或者系统可以对附加非图像特征（诸如，治疗类型、病变实体、或者开始治疗后的时间）进行合并以增加基于图像的特征。替代地，通过具有同类情况的训练数据来对不同情况（例如，不同病变类型、不同器官、或者不同成像模式）的预测器类进行训练。

在使训练预测器优化期间，学习不同的区别特征。在给定的情况下，并不是所有的输入特征都可能是决定的。训练可以选择一些特征，而不是用于预测治疗反应的其它特征。训练仅仅可以指示用于进行分类的特征子组。在替代实施例中，输入特征向量的所有特征都由学习的预测器使用。

学习的预测器应用于访问给定患者的治疗反应。对于具有相同类型的病变或者其它情况的患者，可以使用相同的学习的预测器。图6示出了用于治疗反应评估的应用的一个实施例。除了用于训练，相同的或者不同的处理器进行图6的行为。例如，矩阵由用于客户的在线评估的服务器使用。作为另一示例，医疗机构购买该矩阵并且将该矩阵用于其患者。

在行为54中，获得一个或者多个图像。通过传输、来自存储器的加载、或者扫描后的输出来获得图像。图像是患者的治疗前图像和/或者治疗后图像。在一个实施例中，图像来自治疗前扫描和仅仅一些（例如，仅仅一次或者仅仅两次）治疗后扫描。在又一实施例中，使用来自仅仅一次扫描（例如，治疗前或者治疗后）的一个或多个图像。

图像表示患者的病变。可以表现出多种病变。通过医学成像，诸如，通过利用CT系统的CT扫描，来获得表示病变的数据。安装在起重机架上的x光源和检测器对患者进行扫描。计算机通过检测到的x光衰减来重建患者的体积。可以使用来自体积的切片或者投影，作为表示病变的图像的数据帧。可以使用其它计算机断层扫描图像，诸如，对比度增强的图像或者碘图像。

在行为56中，识别一个或者多个感兴趣的区域。对在每个图像中表现出来的病变进行定位。在应用程序中使用用于训练的相同的或者不同的分割或者区域指定。例如，处理器自动从健康组织分割病变。作为另一示例，用户手动放置标明感兴趣的区域的箱。

感兴趣的区域包括病变和病变的边界。可以包括或者可以不包括周围的信息。可以或者可以不将区域扩大为包括周围的信息。

在行为58中，利用独立分析来提取纹理特征。进行独立分析以通过训练数据来学习纹理特征。结果纹理特征在应用程序中用于提取一个或者多个值。利用由获得的图像表示的病变来对从训练数据学习的图像滤波器或者滤波器核心进行卷积。利用感兴趣的区域来对滤波器核心进行卷积。

为每个表示病变的图像进行卷积。利用滤波器核心来对至少针对感兴趣的区域的治疗前医学图像和/或治疗后医学图像进行卷积。使用任何数量的滤波器核心，诸如，三个或者更多个（例如，在图4的示例中的五个）。利用在每个图像中的每个感兴趣的区域来对每个滤波器核心进行卷积。

由于为早期预测进行了仅仅一次、仅仅两次、或者数次扫描，从该数量有限的图像中提取纹理特征。从许多患者的图像学习用于提取纹理特征的滤波器核心，但是将结果滤波器核心应用于给定患者的用于应用程序的图像。

从具有或者不具有地面实况信息的训练图像自动学习待利用图像而卷积的纹理特征（例如，滤波器核心）。地面实况可以用于从具有非期望结果或者治疗反应的纹理来识别针对期望结果的纹理。用于利用图像的卷积的纹理特征基于独立分析，诸如，独立子空间分析。通过使用数据来发展纹理特征，不同的纹理特征由使用不同的训练数据而造成。使用适合给定应用程序的训练数据来提供纹理特征。

卷积限于适当的感兴趣的区域。例如，为病变开发的滤波器核心用于与病变对应或者表示病变的感兴趣的区域。不在感兴趣的区域外部进行滤波。

滤波器核心用于对患者的图像进行滤波。用于计算用于对分类器进行训练的特征值的相同的或者不同的计算用于计算针对纹理特征的值。例如，为卷积的结果计算总数或者平均数。为从滤波而输出的强度计算总数。可以将总数除以在感兴趣的区域中样本（例如，像素）的数量。

在行为60中，获得其它特征。可以提取其它纹理特征。例如，利用图像来对由数学公式定义的滤波进行卷积。任何基于公式的纹理特征可以诸如上面所讨论的用于训练。可以计算预先设计的纹理特征，诸如，哈尔小波、同质性、或者局部二进制模式。

可以计算其它非纹理特征。特征可以是几何图形的，诸如，区域或者体积变化。特征可能是与患者有关，诸如，吸烟史、药物、或者家族史。特征可能是与病变有关的阶段或者其它分数。

在行为62中，对患者的病变的治疗反应进行分类。实施机器学习的分类器的处理器预测治疗反应。向预测器输入特征，诸如，由对数据驱动的纹理特征或者基于训练数据的纹理特征进行卷积产生的一个或者多个特征。输出是对基于输入特征向量的治疗的预测反应。根据纹理特征，对治疗结果进行预测。

在一个实施例中，在没有作为输入的任何几何测量的情况下进行预测。在其它实施例中，可以在特征向量中包括区域或者体积，但是不包括随着时间过去而发生的几何收缩或者变化。相反，使用了纹理信息。在其它实施例中，将随着时间过去而发生的几何收缩或者其它变化用作具有纹理特征的输入特征。

在一个实施例中，仅仅利用来自数据驱动的或者训练数据学习的纹理特征的成像特征来对治疗反应进行分类。在其它实施例中，使用了其它成像特征，诸如，来自在分类器输入特征向量中的预先设计的或者基于数学公式的纹理特征的纹理特征。

对于来自成像的特征，仅仅使用来自治疗前医学图像和数量有限的治疗后医学图像的特征。数量有限的治疗后医学图像与仅仅一次扫描、仅仅两次扫描、或者仅仅三次扫描对应。这提供了治疗反应的早期评估。在替代实施例中，可以使用来自其它扫描的附加图像。在替代实施例中，仅仅使用了来自仅仅一次扫描的一个图像或者多个图像，诸如，通过治疗前图像或者通过单一治疗后扫描来预测治疗反应。

利用任何机器学习的分类器来进行分类。例如，预测器是支持向量机或者回归随机森林。可以使用其它分类器。

分类器预测给定治疗的结果。预测可以发生在一轮治疗后，因此分类器预测持续治疗的结果。在获得治疗后扫描和相应的一个或多个医学图像之后，在以治疗顺序进一步进行之前，预测治疗顺序是否成功。替代地，在完成治疗之后，但是在病变完全响应治疗之前，预测结果，

分类器输出针对患者的病变的治疗成功或者失败的可能性。可能性是二进制指示，诸如，成功或者失败（例如，病变是否根除或者病变是否停止生长）。替代地，可能性是具有三或者更大的范围的成功率。例如，可能性是治疗成功或者失败的机会百分比。SVM、回归随机森林、贝叶斯定理（Bayesian）、或者其它机器学习的分类器可以提供可能性，作为输出。可能性是病变治疗成功或者失败的排名或者百分比可能性。

可以基于任何成功或者失败的定义来对分类器进行训练。例如，可以使用停止生长、产生百分比收缩、根除、或者产生坏死，作为成功的定义。

在行为84中，输出治疗反应可能性。输出至显示器、计算机、或者存储器。例如，将可能性添加至针对患者的计算机化医学记录。作为另一示例，向用户显示病变的一个图像或者多个图像。在图像上或者邻近图像指示可能性。可以使用颜色编码、文本、或者数值来表示可能性。

图7示出了用于治疗反应评估的系统。系统是主机计算机、控制站、工作站、服务器、或者其它布置。系统包括显示器14、存储器16、以及处理器18。另外，可以提供不同的或者较少的组件。系统用于训练，诸如，使用来自医学成像系统11的图像，作为地面实况。替代地，系统用于应用学习的特征和分类器，诸如，使用来自用于预测对患者的治疗的反应的医学成像系统11的图像。在其它实施例中，医学成像系统11是系统的部分。在其它实施例中，替代用于提供图像的医学成像系统11或者除了用于提供图像的医学成像系统11之外，提供了图像归档及通信系统（PACS）或其它存储器。

显示器14、处理器18、以及存储器18可以是用于来自医学成像系统11的图像处理图像的计算机、服务器、或者其它系统的部分。可以使用用于医学成像系统11的工作站或者控制站。替代地，使用不是医学成像系统11的部分的单独装置或者远程装置。相反，通过医学成像系统11远程进行治疗评估。

在一个实施例中，处理器18和存储器16是由作为客户端的医学专业计算机使用的主持治疗反应评估功能的服务器的一部分。客户端和服务器通过网络（诸如，内联网或者互联网）互相连接。客户端可以是医学成像系统11的计算机或者医学专业的计算机，并且服务器可以由制造商、供应商、主机、或者治疗反应评估系统的创建商提供。

医学成像系统11是任何现在已知的或者稍后开发的成像系统。例如，医学成像系统11是计算机断层扫描、超声、X光、磁共振、或者功能成像系统。作为计算机断层扫描系统，x光源和检测器安装在患者空间和相应患者床的相对侧的起重机架上或者其中。当起重机架使在患者周围的源和检测器移动时，获取患者的一系列的x光投影。处理器（诸如，处理器18或者不同的处理器）在三维中或者为一个或者多个切片重建x光衰减。

显示器14是CRT、LCD、投影器、等离子体、打印机、智能电话或者用于显示图像、学习的纹理特征、和/或治疗反应评估信息的其它现在已知的或者稍后开发的显示装置。例如，显示器14显示两个图像、有关图像的信息、治疗信息、以及预测治疗是否成功的指示。在训练环境中，显示器14可以是数据驱动的特征、统计、特征信息、优化信息、或者其它训练信息。

将纹理特征（例如，数据学习的纹理特征）、其它特征、分类器、矩阵、输出、图像、感兴趣的区域、斑块、和/或其它信息存储在非暂时性计算机可读存储器中，诸如存储器16。存储器16是外部存储装置、RAM、ROM、数据库、和/或本地存储器（例如，固态驱动器或者硬盘驱动器）。相同的或者不同的非暂时性计算机可读介质可以用于指令和其它数据。可以通过使用由处理器18管理并且驻留在存储器（诸如，硬盘、RAM、或者可移动介质）上的数据库管理系统（DBMS）来实现存储器16。替代地，对于处理器18（例如，高速缓存器）而言，存储器16在内部。

用于按照本文所讨论的训练或者应用过程、方法和/或技术来实施治疗反应评估的指令设置在非暂时性计算机可读存储介质或者存储器上，诸如，高速缓存器、缓冲器、RAM、可移除介质、硬盘或者其它计算机可读存储介质（诸如，存储器16）。计算机可读存储介质包括各种类型的易失性存储介质和非易失性存储介质。响应于在计算机可读存储介质中或者在其上的一个或者多个指令组来执行附图所示的或者本文所描述的功能、行为或者任务。功能、行为或者任务独立于特定类型的指令组、存储介质、处理器或者处理策略，并且可以由单独或者组合操作的软件、硬件、集成电路、固件、微代码等进行。

在一个实施例中，通过本地或者远程系统将指令存储在用于读取的可移除介质装置上。在其它实施例中，通过计算机网络将指令存储在用于传输的远程位置中。在其它实施例中，将指令存储在给定计算机、CPU、GPU或者系统内。因为可以用软件来实现在附图中所示的一些组成系统组件和方法步骤，所以在系统部件（或者过程步骤）之间的实际连接可以根据编程本实施例的方式的不同而不同。

可以将程序上传至包括任何合适的架构的处理器18，并且该程序可由该处理器18执行。同样，处理策略可以包括：多处理、多任务、并行处理等。处理器18是在具有硬件的计算机平台上实现的，诸如，一个或者多个中央处理单元（CPU）、随机存取存储器（RAM）、和输入/输出（I/O）界面。计算机平台也包括操作系统和微程序代码。本文所描述的各个过程和功能可以是微程序代码的部分或者经由操作系统执行的程序的部分（或者它们的组合）。替代地，处理器18是网络中的一个或者多个处理器。

处理器18构造为获得图像。感兴趣的区域可以由处理器18确定或者从用户界面接收到。

处理器18构造为学习特征或者提取学习的特征。例如，对表示病变的感兴趣的区域的收集进行独立分析。作为另一示例，学习的纹理特征（诸如，来自独立分析的滤波器核心）由处理器18应用。处理器18可以使用学习的或者数据驱动的特征、训练数据、以及地面实况信息来对分类器进行训练。

处理器18构造为基于学习的特征来进行分类。从针对给定患者的一个或者多个图像提取特征。将特征的值输入至学习的分类器。处理器18基于输入特征来确定机器学习的分类器的输出。向存储器16、显示器14、或者网络接口提供输出。

本文所描述的各种改进可以一起或者单独使用。虽然本文已经参照附图描述了本发明的示例性实施例，但是要理解，本发明并不限于这些精确实施例，并且在不脱离本发明的范围或者精神的情况下，本领域的技术人员可以进行各种其它变化和修改。

Claims (20)

1.一种用于治疗反应评估的方法，所述方法包括：

获得患者的治疗前医学图像，所述治疗前医学图像表示所述患者的至少一个病变；

获得患者的治疗后医学图像，所述患者的所述治疗后医学图像表示所述患者的所述至少一个病变；

通过处理器，利用从训练图像学习的纹理特征来对所述治疗前医学图像和所述治疗后医学图像进行卷积；以及

通过所述处理器，利用具有所述卷积结果的机器学习的分类器来将所述病变的治疗反应分类为针对所述机器学习的分类器的输入特征。

2.根据权利要求1所述的方法，其中，获得所述治疗前医学图像和所述治疗后医学图像包括：获得计算机断层扫描图像。

3.根据权利要求1所述的方法，其中，获得所述治疗后医学图像包括：仅仅获得所述治疗后医学图像或者仅仅获得所述治疗后医学图像和又一个治疗后医学图像，以及其中，分类包括：利用包括仅仅来自成像的特征的所述输入特征来对仅仅来自所述治疗前医学图像和所述治疗后医学图像的特征进行分类。

4.根据权利要求1所述的方法，其中，卷积包括：利用包括独立子空间分析特征的所述纹理特征来进行卷积。

5.根据权利要求1所述的方法，其中，卷积包括：利用所述纹理特征和从所述训练图像学习的至少两个其它纹理特征来进行卷积。

6.根据权利要求1所述的方法，其中，卷积包括：利用从所述训练图像和有标记的地面实况自动学习的所述纹理特征来进行卷积。

7.根据权利要求1所述的方法，其中，卷积包括：利用由所述纹理特征定义的核心来过滤，以及计算来自所述过滤的强度输出的总和，所述结果是所述强度的所述总和的函数。

8.根据权利要求1所述的方法，其中，卷积包括：利用包括基于训练图像的特征的所述纹理特征来进行卷积，从而使不同的训练图像导致不同的纹理特征。

9.根据权利要求1所述的方法，其中，分类包括：利用支持向量机或者回归随机森林来进行分类。

10.根据权利要求1所述的方法，其中，分类包括：在获得所述治疗后医学图像之后，预测继续治疗的结果。

11.根据权利要求1所述的方法，其中，分类包括：指示治疗所述病变成功或者失败的可能性。

12.根据权利要求1所述的方法，其进一步包括：识别在包括所述病变和所述病变的边界的所述治疗前医学图像和所述治疗后医学图像中的感兴趣的区域，以及其中，卷积包括：利用所述感兴趣的区域并且不利用在所述感兴趣的区域外部的区域来对所述纹理特征进行卷积。

13.根据权利要求1所述的方法，其进一步包括：

通过所述处理器，利用基于数学公式的纹理特征来对所述治疗前医学图像和所述治疗后医学图像进行卷积；

其中，分类包括：利用通过利用所述基于数学公式的纹理特征来进行卷积而得到的一个或多个结果来将所述治疗反应分类为包括所述输入特征的输入向量。

14.在非暂时性计算机可读存储介质中，所述非暂时性计算机可读存储介质具有存储在其中的数据，所述数据表示可由用于治疗反应评估的编程处理器执行的指令，所述存储介质包括指令，所述指令用于：

仅仅利用一次或者两次扫描，通过滤波器核心来提取病变的纹理特征，所述滤波器核心独立地基于图像数据；以及

预测有关所述病变的治疗结果，所述预测是所述纹理特征的函数。

15.根据权利要求14所述的非暂时性计算机可读存储介质，其中，提取所述纹理特征包括：利用所述滤波器核心和附加滤波器核心来对所述一次或者两次扫描的扫描数据进行卷积，所述滤波器核心和附加滤波器核心是通过所述图像数据的独立子空间分析而发展的，所述图像数据包括训练图像。

16.根据权利要求14所述的非暂时性计算机可读存储介质，其中，所述预测包括：在不考虑所述病变收缩的情况下，利用机器训练的分类器来进行预测。

17.根据权利要求14所述的非暂时性计算机可读存储介质，其进一步包括：输出针对显示的所述结果的可能性。

18.一种用于治疗反应评估的方法，所述方法包括：

通过处理器，使在多个训练数据帧中表现出来的病变斑块受到单独子空间分析；

通过所述处理器，从所述斑块的所述独立子空间分析来创建多个图像滤波器；

通过所述处理器，通过将所述图像滤波器应用于在所述训练数据帧中表现出来的所述病变来计算纹理特征；以及

通过所述处理器，学习治疗反应预测器作为所述纹理特征的函数。

19.根据权利要求18所述的方法，其进一步包括：在所述创建之前，利用主成分分析来使所述斑块变白。

20.根据权利要求18所述的方法，其中，计算所述纹理特征包括：利用在所述训练数据帧中表现出来的所述病变来对所述图像滤波器进行卷积；以及求出所述卷积的反应的平均数，所述平均数包括所述纹理特征。