CN115705644A - 用于病变的早期检测和定位的方法和系统 - Google Patents

用于病变的早期检测和定位的方法和系统 Download PDF

Info

Publication number
CN115705644A
CN115705644A CN202210856783.8A CN202210856783A CN115705644A CN 115705644 A CN115705644 A CN 115705644A CN 202210856783 A CN202210856783 A CN 202210856783A CN 115705644 A CN115705644 A CN 115705644A
Authority
CN
China
Prior art keywords
images
image
patient
lesion
lesions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210856783.8A
Other languages
English (en)
Inventor
S·穆勒
C·杰林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Precision Healthcare LLC
Original Assignee
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Precision Healthcare LLC filed Critical GE Precision Healthcare LLC
Publication of CN115705644A publication Critical patent/CN115705644A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了用于识别患者的未来发生的病变的多种方法和系统。在一个示例中，一种方法包括训练模型以基于在出现任何病变之前收集的图像(305,307,705,707)和在检测确认的病变期间收集的图像(321,717)来预测未来病变的位置。所预测的位置可以显示在概率图(335,729)中，以实现病变的早期检测。

Description

用于病变的早期检测和定位的方法和系统
技术领域
本文所公开的主题的实施方案涉及放射成像，并且更具体地涉及在由放射科医师进行视觉识别之前检测和定位图像中的病变。
背景技术
在肿瘤学领域中，放射成像(例如，X射线、超声、MRI等)用于识别病变或异常组织的区域，其中可包括肿瘤。病变可以是良性的(例如，非癌性的)或恶性的(例如，癌性的)。通常，在病变在患者体内开始生长数年之后，放射图像上的病变发现变得可见。在放射成像和癌症筛查的情况下，这可导致间隔病变或癌症，在这种情况下在成像后的一段时间(诸如十二个月)内检测到/呈现癌症，在这种情况下发现被认为是正常的。在一些示例中，更频繁的患者检查和/或对患者的监测可使得能够更早地检测到病变。通常，后期病变在患者体内开始生长后被发现，可以使用更强烈的治疗来根除病变，这对患者可能有害。另外，癌细胞转移的概率随着病变的大小而增加，并且可以使用更强烈的治疗来治疗癌细胞转移的病变。
因此，需要一种方法来在医师或放射科医师在放射图像中进行视觉检测(这是常规实践)之前帮助检测病变或可能的病变。对患者图像和数据进行分析以确定图像中的可疑区，这些可疑区呈现出已经通过学习过程识别为与病变相关联的临床发现显现的前兆的特征(signature)，这可以使得在病变在放射图像上可见之前能够识别患者的可能的病变。另外，病变出现之前可以被定位，这可以允许临床医生制定患者的个性化监视和护理。
发明内容
在一个实施方案中，一种方法包括在由放射科医师进行视觉识别之前检测并且定位放射图像中的可能的病变。例如，可以训练机器学习分类器或深度神经网络以基于输入来构建模型，输入为诸如在患者身上未识别出病变时采集的图像和数据集，以及在稍后的时间采集的具有由放射科医师检测到的对应于相同患者中的已证实病变的临床发现的图像和数据集。模型可以应用于新的患者图像和数据集以预测和定位病变，从而输出指示在当前图像上不可见的病变未来在图像中出现的概率的图。这样，相比于由放射科医师进行视觉识别的常规方法，可以更早地检测和定位病变，这可以允许患者在病变生长的早期进行监测或治疗。
应当理解，提供上面的简要描述来以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本公开，其中以下：
图1是根据本公开的实施方案的X射线成像系统的框图。
图2示出了用于检测和定位病变的示例性方法的流程图。
图3A至图3B示出了结合图2的方法的用于训练和实施机器学习分类器的示例性流程图。
图4示出了结合图3A至图3B的方法的配准图像和未配准图像的示例性比较。
图5示出了结合图3A至图3B的方法的配准图像的示例性图像栈。
图6示出了结合图3A至图3B的方法的配准图像的示例性网格变形。
图7A至图7B示出了结合图2的方法的用于训练和实施深度神经网络的示例性流程图。
具体实施方式
以下描述涉及用于通过训练机器学习分类器或深度神经网络，基于在患者身上未识别出病变时以及在相同的患者中识别出病变时采集的图像和数据来构建模型，检测和定位放射图像中的可能的病变的系统和方法的各种实施方案。然后在新患者的图像和数据中实施模型以预测和定位病变，并且输出指示在当前图像上不可见的病变出现的概率的图。
通过包括X射线、超声、MRI等的单个或多个成像模态来生成放射学图像。本文所述的示例性实施方案描述了用于乳房成像的X射线乳房照相的上下文中的系统和方法。图1示出了示例性X射线成像系统的框图。可以在图1的X射线成像系统处实施如图2所示的方法200，以检测并且定位患者图像中的病变。方法200可包括在学习阶段中使用输入到系统诸如图1的系统中的第一组患者数据和图像来训练预测和定位模型(在本文称为“模型”)，以检测和定位可能的病变。另外，方法200可包括将模型应用于第二组患者数据和图像，以在该方法的推断阶段期间检测和定位病变。第二组患者数据和图像相对于从中收集第一组患者数据和图像的患者可属于相同的患者或不同的患者。第一组数据用于训练模型，并且可以统计地表示特定群体，包括提供用于推断阶段的第二组患者数据和图像的患者。
方法200可包括输出指示在推断阶段期间输入的患者图像中出现病变的概率的图。方法200的模型可以是如图3A至图3B所示的机器学习分类器，或者是如图7A至图7B所示的深度学习神经网络。当使用机器学习分类器时，如图3A至图3B所述，在学习阶段期间输入到系统中的图像可以被配准，如图4至图6所示，以匹配与一个或多个参考图像相比较的图像特性，其中参考图像可以是用于在学习阶段期间训练模型或者在推断阶段期间由模型分析的患者图像中的一个或多个患者图像。作为示例，在乳腺X射线摄影筛查检查期间可以采集四个图像：左侧(L)乳房的两个图像(例如，LCC、LMO)和右侧(R)乳房的两个图像(RCC、RMLO)，其中CC是头尾位视图，并且MLO是中外侧斜视图。如果期望识别L和R乳房之间的不对称性，则一个或多个参考图像可以是R图像或L图像中的一者。作为另一示例，一个或多个参考图像可以是在初始时间(t0)采集的RMLO视图，用于根据在相对于t0的不同时间采集的一系列RMLO图像来确定R乳房中的任何变化。
现在转向图1，示出了根据示例性实施方案的成像系统10的实施方案的框图，该成像系统被配置为采集原始图像数据并处理该图像数据以用于进行显示和/或分析。将理解，各种实施方案适用于实现X射线管的许多医学成像系统，诸如X射线或乳房X线照相系统。其他成像系统(诸如采集体积的图像三维数据的计算机断层摄影(CT)系统和数字射线照相(RAD)系统)也受益于本公开。以下对成像系统10的讨论仅仅是一个这种实施方式的示例，并不旨在在模态方面进行限制。
如图1所示，成像系统10包括X射线管或源12，该X射线管或源被配置为穿过对象16投射X射线14束。对象16可包括人类受检者。X射线源12可以是产生X射线14的常规X射线管，该X射线具有范围通常为三十(30)keV至二百(200)keV的能量谱。X射线14穿过对象16，并且在被衰减之后撞击在检测器组件18上。检测器组件18中的每个检测器模块产生模拟或数字电信号，当X射线束穿过对象16时，该模拟或数字电信号表示撞击X射线束的光子的强度或数量，并且因此表示被衰减的束。在一个实施方案中，检测器组件18是基于闪烁体的检测器组件，然而，也可以设想也可实施直接转换或光子计数型检测器(例如，CZT检测器等)。
处理器20接收来自检测器组件18的信号，并且生成与被扫描的对象16相对应的图像。计算机22与处理器20通信，以使操作员能够使用操作员控制台24来控制扫描参数并查看所生成的图像。也就是说，操作员控制台24包括某种形式的操作员界面，诸如键盘、鼠标、语音激活控制器或允许操作员控制成像系统10并在显示单元26上查看来自计算机22的重构图像或其他数据的任何其他合适的输入装置。另外，控制台24允许操作员将所生成的图像存储在存储设备28中，该存储设备可以包括硬盘驱动器、软盘、光盘等。操作员还可以使用控制台24向计算机22提供命令和指令，用于控制向X射线源12提供功率和定时信号的源控制器30。
图2示出了用于预测临床发现诸如病变的发生的示例性方法200的流程图。方法200可以在成像系统诸如图1的X射线系统处实施，并且由成像系统的处理器执行。方法200包括输入患者图像和数据以在学习阶段期间生成和/或训练模型。学习阶段包括分析一组患者的图像和数据，这些图像和数据由放射科医师在图像中未识别出病变时采集，并且将分析输出与在患者身上识别出病变的后续时间采集的图像和数据结合使用。患者组可以表示可以使用模型来应用推断阶段的目标群体。增加包括在患者组中的患者数量可以提高模型预测病变发生的准确度。模型可以由机器学习分类器构建，如图3A至图3B中所述，或者经由深度神经网络生成，如图7A至图7B中所述。两种类型的过程都可以用于预测和定位可能的病变。模型可以在该方法的推断阶段期间应用于患者(例如，任何其他患者)的图像和数据。推断阶段包括使用经训练的模型来预测和定位患者的图像中的病变，患者的图像可以是带有或不带有先前获得的先前图像的新获得的图像。在一些示例中，预测包括先验的图像中的病变的发生可以为模型提供更多的机会来建立稳健的预测，而不管病变是否实际存在。方法200可包括生成指示病变出现的可能性的图并且在显示设备处输出该图。
在202处，方法200包括收集输入的患者图像和数据。输入的患者图像和数据可包括来自一个或多个患者的图像和数据。如上所述，一个或多个患者可以是表示特定群体的一组患者。患者的输入图像可包括在患者身上未识别出病变时采集的先前的图像和数据，以及由放射科医师从中检测到临床发现的相同患者的后续图像，此后称为真值图像。真值图像和在未识别出病变时采集的图像可用于训练模型。患者图像包括从成像系统，诸如图1的系统10收集的放射图像。输入的患者数据可包括但不限于患者病史协变量(例如，性别、年龄、初潮时的年龄、首次足月妊娠时的年龄、绝经时的年龄、产次、家族史、酒精使用、身体质量指数、激素使用、他莫昔芬使用等)，乳腺组成协变量(例如，腺组织百分比、绝对致密组织体积等)，以及基因组学和蛋白质组学协变量(例如，雌激素受体的表达、孕酮受体的表达、BRCA1和BRCA2突变、人表皮生长因子受体2(HER2/neu)的表达、Ki-67蛋白的表达等)。为了进行数字处理，如果无法以数字格式获得数据，则可以对数据进行量化。另外，患者数据可包括对患者身体的生物样本进行的测量以及与患者亲属相关的附加信息。
在204处，在过程的学习阶段处理输入的患者图像和数据，以构建模型来预测和定位病变可能出现在患者解剖结构的成像区域中的位置。在一个示例中，使用在图3A中进一步描述的机器学习分类器或者在图7A中进一步描述的深度神经网络来构建模型。可以基于先前图像、基于先前图像的分析输出，以及分析输出与患者的后续图像的比较来生成和/或训练模型，例如，其中识别一个或多个临床发现。因此，当检测到新的临床发现时，生成训练数据集。训练数据集可用于构建或更新机器学习分类器或深度神经网络以生成模型，并且该模型可以应用于患者图像和数据以预测和定位病变可能出现的位置。
在206处，可以通过成像系统诸如图1的系统10来获得新患者的放射图像，并且将其输入到模型。新患者可以是与图像和数据被输入到学习阶段的一个或多个患者不同的患者，新患者的图像与202的被输入用于学习的图像和数据并行地被输入用于推断。另外，患者的新数据可以被输入，并且可以包括但不限于患者病史协变量、乳腺组成协变量，以及基因组学和蛋白质组学协变量，如上文在202处所述。
在208处，在模型的推断阶段期间将模型应用于输入图像，以预测和定位图像上可能出现病变的位置。根据例如由机器学习分类器(图3A)或深度神经网络(图7A)生成模型的过程，如分别针对机器学习分类器和深度神经网络关于图3B和图7B进一步描述的，预测并且定位可能的病变。对于这两个过程，生成指示图像中发生病变的概率的图，病变在图像上可能还不可见，但未来可能在患者的图像上变得可见。
在210处，方法200在显示设备诸如图1的显示单元26上显示输出结果，例如，所生成的示出病变发生概率的图。方法200结束。
通过学习可能是识别病变的前兆的图像和患者数据的特性，模型可以利用机器学习算法或深度神经网络中的一者来使得能够在图像上的病变的视觉出现之前预测和定位患者图像上的病变。这样，当病变形成的概率被估计为高时，临床医生可以选择更频繁地，或者与通过常规方法(例如，通过放射科医师或其他临床医生的视觉识别)识别病变的情况(此时，与通过方法200识别的病变相比，病变可进一步生长)相比，在病变生长过程中更早地开始治疗。
图3A至图3B分别示出了如方法200中所述的用于训练和实施机器学习分类器的第一过程的示例性流程图。第一过程包括学习阶段300，如图3A所示，其中配准一个或多个代表性患者的输入图像，并且提取输入图像的局部特征，并且用机器学习分类器将其与量化的输入患者数据一起分类。在图4至图6中描述了关于图像配准的另外的细节。此外，带有检测到的病变定位的代表性患者的图像可以用于训练机器学习分类器，如下面进一步描述的。第一过程还包括推断阶段302，如图3B所示，在该推断阶段期间，使用经训练的机器学习分类器来分析新患者的图像，经训练的机器学习分类器基于所提取的局部特征、量化数据和测量的向量来推断病变可能出现的位置。由机器学习分类器进行的分析生成患者图像上的可能的病变的图，该图指示图像中出现病变的概率，病变在当前图像上可能还不可见，但在患者的稍后的图像上可变得可见。
最先转向图3A，该图示出了机器学习分类器的学习阶段300，该学习阶段可以在方法200的204处实施。在303处，从未检测到病变的代表性患者的先前检查输入患者图像305和患者图像307。图像305示出了来自时间t-1、t-2和t-3的先前检查的至少一个乳房的多个视图，其中时间t表示在其中检测到病变的检查。图像307示出了用不同成像模态采集的图像。例如，可以通过超声、MRI等获得图像。因此，输入到模型的图像可以是多模态的，并且可以根据所使用的模态来修改图像的后续处理。图像305和图像307可以在309处配准，将在图4至图6中进一步描述。
在311处，基于图像配准对患者图像305、307的局部感兴趣区域执行特征提取。更具体地，图像配准使得能够识别图像之间的差异，例如，可以在配准之后计算至少一个差异图像，以生成从该至少一个差异图像中的不同感兴趣区域(ROI)计算的特征的向量。可以从包括在303处输入的图像和至少一个差异图像的一组图像中提取特征。特征可以是对该组图像的感兴趣区域(ROI)进行的测量。另外，与图像配准和特征提取并行地，在313处输入患者数据并且在315处量化患者数据。例如，患者数据可包括但不限于患者病史协变量、乳腺组成协变量，以及基因组学和蛋白质组学协变量，如关于图2所述。患者数据还可以包括对患者身体的生物样本进行的测量以及与患者亲属相关的附加信息。为了由机器学习分类器进行数字处理，如果患者数据尚未以数字格式可用，则在315处对患者数据进行数字量化。
在300处，使用在315处量化的患者数据和在311处从该组图像中提取的特征来生成特征的向量。每个特征向量可以对应于从给定ROI的图像集和量化的患者数据计算的特征。每个向量都可以被输入到机器学习分类器。例如，如果特征数量为N，则机器学习分类器在N维空间中运行。作为示例，如果在每个ROI处测量像素灰度的平均值和像素的方差，则可以获得二维向量(例如，N＝2)。然后可以将ROI分配给K个类别(例如，K＝3)中的一者，K个类别被定义为例如正常、良性和恶性。机器学习分类器可被配置为基于每个特征向量的坐标对ROI进行分类。但为了做到这一点，机器学习分类器最先用示例进行训练。示例可以是已知地面真值信息的情况，例如图像和患者数据，其中在时间t处识别图像中的一个或多个病变，以及病变的空间坐标。对于示例的每个ROI，可以通过将ROI的空间坐标与地面真值信息进行比较来计算特征的向量(例如，特征向量)并且将其分配给K个类别中的一者。
在学习过程300的319处描述了在317处呈现给机器学习分类器的地面真值信息的示例。在该示例中，地面真值对应于在时间t处拍摄的患者的一组标记图像321，其中病变(如点所示)由放射科医师检测。图像321的每个像素具有根据由放射科医师检测到的组织的性质(例如，正常、良性和恶性)，对应于K个类别中的一者的标记，其中病变由点指示。在317处将标记图像321馈送到机器学习分类器，以与在配准309之后从第一组图像303和307的ROI提取的特征向量312以及在量化315之后的患者数据313进行比较。第一组图像321的标记与来自第二组图像303和307的特征向量以及患者数据313之间的成对信息被用于修改机器学习分类器的参数，以提高其预测可能发生病变的位置的准确度。
在特征空间图323中示出了机器学习分类器的预测。图323描绘了由虚线在K个类别(例如，K＝3，其中类别对应于良性、正常和恶性组织)之间划分的N维特征空间(在该例示中N＝2)。基于地面真值信息(或标记)与特征向量331的比较来绘制虚线。可以根据向量坐标绘制每个向量，并且随着越来越多的图像和患者数据被输入到机器学习分类器，修改虚线以提高分类器317的准确度，从而减小分类误差。作为示例，从图像303和图像307上的ROI测量的特征向量318在特征空间323中示出，并且对应于由ROI位置处的地面真值图像319的标记指示的恶性组织。可用于训练如图323所示的分类器的机器学习算法包括多层感知器(MLP)、支持向量机(SVM)、随机森林等。
因此，第一过程包括通过将时间t的图像(放射科医师能够在图像上检测到病变)和已知真值的图像(例如，每个图像像素一个类别)与时间t-1、t-2等的图像(放射科医师在图像上未检测到病变)进行比较，从特征向量(量化数据和图像特征)学习分类器参数。在一些示例中，在学习过程300完成之后，可以经由连续训练来更新模型，该连续训练可以基于检测到病变的后续情况来更新机器学习分类器的参数。这些情况可以被标记/报告并且被发送到被配置为更新参数的计算机和算法。
如图3B所示，在推断阶段302期间，在323处将经训练的机器学习分类器应用于不同的患者图像。患者图像可以由成像系统在时间t处生成，诸如图1的系统10，并且可以用任何先前获得的图像(诸如在t-1、t-2处等)来完成。
可以在324处配准新患者的图像，如参考图4至图6进一步详细描述的，并且可以在325处进行ROI处的特征提取，如上文在图3A的学习过程300的311处所述。另外，患者数据在327处被输入并且在329处被量化，与特征提取并行地执行，如图3A的315处所述。在331处，将提取的图像特征和量化数据连接为特征向量，针对每个感兴趣区域组合量化的患者信息和从患者图像提取的特征。
在333处，将经训练的机器学习分类器应用于图像特征的向量和量化的患者数据331。例如，可以在特征空间图323中示出向量，其中类别之间的分区由实线(例如，基于学习过程300的最终边界)定义。为患者图像323和患者数据327的ROI提取的特征向量可以被映射到图323以确定ROI可以被分配给哪一类别。分类的结果可以在335处显示为可能的病变的图。图可以包括图像上的突出显示的感兴趣区域，该突出显示的感兴趣区域已经由经训练的机器学习分类器确定为具有增加的病变出现概率。换句话讲，在推断下病变在患者的当前和先前图像上可能还不可见，但基于经训练的分类器在患者的未来图像上可能变得可见。在一个示例中，与具有较低病变显现概率的区域相比，具有较高病变显现概率的区域可具有更亮或更强的突出显示区域。例如，ROI的亮度可以被修改，或者为该ROI分配颜色，其中机器学习分类器的类别中的每个类别可以用不同的颜色来表示。作为另一示例，可以在ROI的位置处绘制具有表示所分配类别的形状的标记。作为又一示例，注释文本可以被添加到对应于ROI的边界框附近，其中注释文本可以指示由机器学习分类器分配给ROI的类。
如上文参考图2至图3B所述，用于预测病变发生的模型可以由机器学习分类器经由学习阶段生成。无病变图像、示出一个或多个检测到的病变的图像，以及患者信息可用于训练机器学习分类器以准确地预测患者身上可能发生病变的位置。预测的病变位置可以作为概率图呈现给操作员，从而以有效的方式显示结果。
可以在特征提取和图4至图6所示的预处理之前应用图像的可选预处理。例如，如上所述，训练和推断可包括图像的配准。现在转至图4，该图示出了结合图3A和图3B的流程图获得的配准图像和未配准图像的示例性显示。可以例如在不同的日期(例如，t与t-1)和事件(例如，x射线路径，诸如CC视图与MLO视图)以及在不同的成像模态(或装备)下收集未配准图像。多模态图像的使用可以增强基于图像处理的乳房内容的区别。如上所述，可以经由不同的成像模态来收集图像，并且因此可以根据模态来修改图像的配准。例如，x射线图像可以被配准在一起，超声图像可以被配准在一起并且与x射线图像分开，x射线图像可以与超声图像配准，等等。例如，对侧图像可以通过配准算子Γ配准以匹配参考图像406(例如，图像ft)的特性。用f(例如，ft和ft-1)标记的图像可以是右侧乳房的图像，并且用g(例如，gt和gt-1)标记的对侧图像可以是左侧乳房的图像。
可以在时间t处采集第一组图像402。在一个示例中，时间t是基于成像检测到病变时的检查时间。可以在时间t-1处采集第二组图像404，时间t-1可以是时间t之前的时间。在时间t处，参考图像406和第一对侧图像408可以由放射成像系统，诸如图1的系统10捕获。第二组图像404包括第一图像410和第二对侧图像412。参考图像406可以处于其他图像将由配准算子Γ调整到的期望的取向/视图。配准算子Γ可以配准图像以匹配特性，包括但不限于皮肤线、形状、强度等。
例如，在图3A的学习阶段300的309处，由配准算子Γ修改图像以用于配准。图4中的顶行图像示出了来自每个乳房的时间t和t-1的未配准图像。底行图像示出了参考图像406和时间t和t-1的修改的图像，包括修改的第一对侧图像418、修改的第一图像420和修改的第二对侧图像422。修改的图像中的每个图像具有与参考图像406相同的取向。例如，第一对侧图像408可以跨竖直平面翻转以生成修改的第一对侧图像418。类似地，第二对侧图像412可以跨竖直平面翻转以生成第二修改的对侧图像422。下面参考图6详细描述了从未配准图像生成配准图像的更多细节。
如图5所示，修改待配准的图像、以不同取向和视图捕获的图像以产生具有相同取向和视图的图像允许图像之间的直接比较。该直接比较可以帮助识别特征，该特征可以是与病变相关联的临床发现的前兆。模型，诸如由图3A的机器学习分类器生成的模型可以用特征进行训练，以在患者图像中的可能的病变对放射科医师变得可见并且可能要求严格的治疗协议之前检测和定位这些病变。
图5示出了配准图像500的示例性集合。图5所示的图像可以是图4的图像，并且因此具有相同的编号。配准图像500的集合包括参考图像406、图4的修改的图像，以及图像的组合，例如编译的图像。例如，第一编辑图像504是图像406和图像420的组合，第二编辑图像506是图像406和图像422的组合，并且第三编辑图像508是图像406和图像418的组合。图像的不同组合可以揭示感兴趣的特征。例如，具有相同乳房的相同视图但在不同日期采集的父图像之间的差异可以捕获时间演变，示出在相同日期采集的两个乳房的相同视图的父图像之间的差异可以捕获不对称性，或者示出在不同日期采集的两个乳房的相同视图的父图像之间的差异可以捕获时间演变和不对称性。这样，第一编辑图像504示出时间演变，第二编辑图像506示出时间演变和不对称性，并且第三编辑图像508示出不对称性。例如，可以用与特定于左侧乳房的差异不同的颜色来描绘特定于右侧乳房的差异。配准图像500的集合可以被生成为图像配准的输出，例如在图3A的309处，并且被输入到特征提取，例如在图3A的311处以及在图3B的325处。
图6示出了由配准算子Γ使用网格变形进行的翘曲过程的示例。图4的未配准图像，例如参考图像406、第一对侧图像408、第一图像410和第二对侧图像412显示在未配准图像的集合602中。图6的翘曲过程可以应用于未配准图像的集合602以生成图4和图5中所示的配准图像。在未配准图像的集合602的右侧示出了一组处理的图604。
基于参考图像406生成皮肤线614，并且将皮肤线614应用于第一图像410、第一对侧图像408和第二对侧图像412中的每一者。皮肤线614可用于约束网格615的变形，如过程图604的集合中所示，应用于第一图像410、第一对侧图像408和第二对侧图像412。网格615可包括节点617和边缘619并且可以覆盖成像的乳房的区域以使得能够实现满足不同定义的约束(诸如空间和强度约束)的图像的翘曲。例如，修改的图像可以被翘曲，使得修改的图像的皮肤线614可叠加到参考图像406的皮肤线。
如下所述，沿x轴的变形、沿y轴的变形和强度变形可以通过应用于图像的网格615与网格615的节点617处的参考图像406之间的差异来估计。例如，可以将应用于第一图像410的网格615的节点617中的一个节点，例如，如图620所示，与参考图像406处的对应的节点进行比较，并且可以通过移位第一图像410处的节点以匹配参考图像处对应的节点的位置来使第一图像410相应地变形。在测量时，节点617中的每一个节点的变形、每个节点的水平(例如，x轴)和竖直(例如，y轴)位移可以被内插到图像的每个像素(例如，408、410、412)。例如，可以使用双线性或双三次样条插值策略。应用于图像的每个像素的变形可以使得能够通过根据例如皮肤线和强度匹配图像来组合成对的图像，如图5所示。
该组处理的图表604在图604的第一列616处示出了沿x轴的变形(例如，x变形)的测量的运动学，在第二列618处示出了沿y轴的变形(例如，y变形)，以及在第三列619处示出了基于未配准图像的集合602的强度变形。例如，在类似的皮肤线形状和位置的约束下，第一图像410与参考图像406的网格615相匹配的x变形在图620处描绘，第一对侧图像408的x-变形在图624处描绘，并且第二对侧图像412的x-变形在图628处描绘。类似地，第一图像410的y-变形在图622处示出，第一对侧图像408的y-变形在图626处示出，并且第二对侧图像412的y-变形在图630处示出。
基于强度变形的校正也可以应用于未配准图像的集合602。强度的变化可用于使应用网格615的图像变形，匹配翘曲图像和参考图像406共有的强度特征。从而可以识别异常的强度特征。例如，第一图像410的强度变形示于图表632，第一对侧图像408的强度变形示于图表634，并且第二对侧图像412的强度变形示于图表636。图像在经过变形之后，可用于生成图5所示的编译图像。
如图2所示，作为机器学习分类器的替代，在204处的学习阶段和在208处的推断阶段可包括在依赖于训练和实施深度神经网络的第二过程中，以生成用于预测病变发生的模型。第二过程在图7A至图7B中通过用于通过训练深度神经网络来生成模型的示例性流程图来描述。在第二过程的学习阶段700期间，如图7A所示，用患者的输入图像和量化的患者数据来训练深度神经网络。输入图像包括与具有由放射科医师检测到的病变的相同患者的图像配对的没有病变的图像，并且在学习阶段700中用作地面真值信息。在第二过程的推断阶段702期间，如图7B所示，使用经训练的深度神经网络来分析新患者的图像，该经训练的深度神经网络基于输入图像和量化的患者数据来推断病变可能出现在新患者的未来图像中的位置。可能的病变的图可以由经训练的深度神经网络模型输出，该图指示图像中出现病变的概率，病变在当前图像上可能还不可见，但在患者的稍后的图像上可变得可见。
最先转向图7A，该图示出了第二过程的学习阶段700，该学习阶段可以在方法200的204处实施。在703处，患者图像705和患者图像707是从未观察到病变的患者的先前检查进行输入的。图像705示出了来自在时间t-1、t-2和t-3的先前检查的至少一个乳房的多个视图，其中时间t是对应于检测到至少一个病变的检查。图像707示出了经由不同模态，诸如超声、MRI等获得的图像。此外，在709处输入并且在711处量化患者数据。例如，患者数据可包括但不限于患者病史协变量、乳腺组成协变量，以及基因组学和蛋白质组学协变量，如图2中所述。患者数据还可以包括对患者身体的生物样本进行的测量以及与患者亲属相关的附加信息。为了由深度神经网络进行数字处理，如果患者数据还没有以数字格式可用，则可以在711处对患者数据进行数字量化，如上文参考图3A所述。
量化的患者数据和输入图像705、707在713处被馈送到深度神经网络，该深度神经网络可被配置为检测器和分类器。此外，在715处，一组图像717和718，例如，在检测到病变(如点所示)的时间t处拍摄的真值图像，可以与输入图像705和输入图像707配对。真值图像717和真值图像718提供地面真值信息以与深度神经网络基于输入图像和量化数据生成的预测进行比较。类似于机器学习分类器的深度神经网络可以将数据分区为K个类别(例如，正常、良性和恶性)。深度神经网络可被配置为确定类别的预测分区和地面真值信息之间的误差(例如，损失函数)，并且基于误差来更新其内部参数。例如，可以响应于损失函数的计算来修改每个人工神经元的权重和偏差。深度神经网络的训练可以继续进行，例如使用图像与真值图像的其他配对的示例，直到损失函数小到可以接受为止。因此，训练收敛到一个解并且可被认为是完整的，从而使经训练的模型能够用于推断新患者。
如上文针对机器学习分类器模型的学习过程所描述的，在一些示例中，深度神经网络模型可以基于检测到病变的新情况持续训练。新情况可以被标记以及/或者被自动发送至计算机和算法以更新深度神经网络的参数。
在推断阶段702期间，如图7B所示，经训练的深度神经网络可以在719处评估患者图像，对应于新患者的图像，例如，与在703和709处收集图像和数据输入的一个或多个患者不同的患者。可以在721处收集并且在723处量化新患者数据。
在727处将经训练的深度神经网络应用于新患者图像和量化数据，以在729处生成和显示可能的病变的图。图可以类似于从机器学习分类器输出的图，如上文在图3B的335处所描述的。
在一些示例中，如图7A所示，输入图像的翘曲，如上文参考图4至图6所述，可以由深度神经网络隐式地执行。然而，在其他示例中，可以在将输入图像递送到深度神经网络之前执行翘曲过程。此外，在其他示例中，深度神经网络(以及图3A至图3B的机器学习分类器)可以随着附加的真值图像输入到深度神经网络或机器学习分类器而不断更新和训练。随着输入真值图像数量的增加，生成的模型的准确度也可以提高。
这样，基于在患者图像数据集中存在可见的病变之前采集的图像，能够实现病变的早期识别。图像可用于构建基于图像训练的模型，以预测病变的未来发生。该模型可以依赖于机器学习或深度学习，并且除了图像之外还可以结合附加的患者信息。通过从图像中提取特征并且确定图像之间的差异，可以提供关于时间演变和/或不对称性的信息。该模型可以应用于各种成像技术，并且因此可以降低治疗的强度。
如本文所用，以单数形式列举并且以单词“一”或“一个”开头的元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明此类排除。此外，对本发明的“一个实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”具有特定特性的元件或多个元件的实施方案可包括不具有该特性的附加此类元件。术语“包括”和“在...中”用作相应的术语“包含”和“其中”的简明语言等同形式。此外，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要求或特定位置次序。
该书面描述使用示例来公开本发明，包括最佳模式，并且还使相关领域中的普通技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明可取得专利权的范围由权利要求书限定，并且可包括本领域普通技术人员想到的其他示例。如果此类其他示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其他示例旨在落入权利要求书的范围内。

Claims (10)

1.一种用于识别患者的病变的发生的方法，包括：
训练模型以预测未来病变的位置，所述训练包括：
将在出现任何病变之前从一个或多个患者收集的图像中的感兴趣区域(ROI)与也从显示存在一个或多个病变的所述一个或多个患者收集的图像中的对应的ROI进行比较；以及
根据特征的类别之间的所估计的分区对所述ROI进行分类，所述分区是基于所述比较进行估计的；
使用经训练的模型来推断从新患者收集的图像中的未来病变的区域；以及
在概率图中显示所推断的区域，以指示病变形成可能性增加的区。
2.根据权利要求1所述的方法，还包括利用机器学习和深度学习中的一者。
3.根据权利要求1所述的方法，其中根据分区对所述ROI进行分类包括基于特征来识别所述ROI，并且其中所述特征是对描绘在出现任何病变之前收集的所述图像与显示存在一个或多个病变的所述图像之间的差异的区域的测量结果。
4.根据权利要求1所述的方法，其中训练所述模型还包括收集患者数据并且以数字方式量化所述患者数据。
5.根据权利要求4所述的方法，其中训练所述模型还包括根据从所述一个或多个患者收集的所述图像和所述以数字方式量化的患者数据来计算特征向量。
6.根据权利要求5所述的方法，其中计算所述特征向量包括为所述ROI中的每个ROI计算一个向量。
7.根据权利要求6所述的方法，其中训练所述模型还包括根据所述特征向量中的N个特征来划分特征的N维空间，所述N维空间包括所估计的分区。
8.根据权利要求1所述的方法，其中训练所述模型还包括配准从所述一个或多个患者收集的图像，并且其中配准所述图像包括将所述图像的取向调整为参考图像的取向。
9.根据权利要求8所述的方法，其中配准所述图像还包括基于所述参考图像来确定皮肤线，并且使用所述皮肤线来翘曲从所述一个或多个患者收集的所述图像。
10.根据权利要求9所述的方法，其中翘曲所述图像包括将网格应用于所述图像中的每个图像，以及移位所述网格的节点以使所述图像变形，从而允许所变形的图像的皮肤被叠加在所述参考图像的所述皮肤线上。
CN202210856783.8A 2021-08-04 2022-07-20 用于病变的早期检测和定位的方法和系统 Pending CN115705644A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163203920P 2021-08-04 2021-08-04
US63/203,920 2021-08-04

Publications (1)

Publication Number Publication Date
CN115705644A true CN115705644A (zh) 2023-02-17

Family

ID=85153807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210856783.8A Pending CN115705644A (zh) 2021-08-04 2022-07-20 用于病变的早期检测和定位的方法和系统

Country Status (2)

Country Link
US (1) US20230041804A1 (zh)
CN (1) CN115705644A (zh)

Also Published As

Publication number Publication date
US20230041804A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
US10297352B2 (en) Diagnosis support apparatus, method of controlling diagnosis support apparatus, and program therefor
JP5954769B2 (ja) 医用画像処理装置、医用画像処理方法および異常検出プログラム
US7529394B2 (en) CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system
US20160321427A1 (en) Patient-Specific Therapy Planning Support Using Patient Matching
US20070052700A1 (en) System and method for 3D CAD using projection images
KR101919866B1 (ko) 뼈 스캔 영상에서 암 전이 여부의 판정을 지원하는 방법 및 이를 이용한 장치
US20210104044A1 (en) Image processing apparatus, medical image diagnostic apparatus, and program
US20120256920A1 (en) System and Method for Fusing Computer Assisted Detection in a Multi-Modality, Multi-Dimensional Breast Imaging Environment
US20050135707A1 (en) Method and apparatus for registration of lung image data
JP2009502230A (ja) 医用画像における傷病部位の検知
WO2004049948A1 (ja) コンピュータ支援診断装置
US20190150870A1 (en) Classification of a health state of tissue of interest based on longitudinal features
CN112529834A (zh) 病理图像模式在3d图像数据中的空间分布
US20100266173A1 (en) Computer-aided detection (cad) of a disease
JP5456132B2 (ja) 診断支援装置、診断支援装置の制御方法、およびそのプログラム
US20220383621A1 (en) Class-disparate loss function to address missing annotations in training data
JP2006102508A (ja) Ｃａｄシステムにおける解剖学的形状の検出のための方法及びシステム
US11080866B2 (en) Dynamic image processing method and dynamic image processing device
CN115705644A (zh) 用于病变的早期检测和定位的方法和系统
Kim et al. 3D unsupervised anomaly detection through virtual multi-view projection and reconstruction: Clinical validation on low-dose chest computed tomography
Sheng et al. Modeling nodule growth via spatial transformation for follow-up prediction and diagnosis
Cerekci et al. Quantitative evaluation of Saliency-Based Explainable artificial intelligence (XAI) methods in Deep Learning-Based mammogram analysis
EP4270305A1 (en) Learning device, method, and program, and medical image processing device
EP4356837A1 (en) Medical image diagnosis system, medical image diagnosis system evaluation method, and program
CN112292691B (zh) 用于使用深度学习提高癌症检测的方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination