CN109427058B - 医学图像中的自动变化检测 - Google Patents

Abstract

提供了用于识别跟进医学图像中的病理变化的系统和方法。获取参考图像数据。获取跟进图像数据。使用机器学习的网络为参考图像数据和跟进数据生成变形场，该机器学习的网络被训练以生成描述输入参考图像数据和输入跟进图像数据之间的健康解剖变形的变形场。使用变形场对准参考图像数据和跟进图像数据。针对由于病理现象引起的变化分析共同对准的参考图像数据和跟进图像数据。

Description

医学图像中的自动变化检测

相关申请的交叉引用

本申请要求2017年8月17日提交的美国临时申请No.62/546,758的权益，该临时申请通过引用整体并入本文。

技术领域

本实施例涉及医学图像处理，诸如用于计算机断层扫描图像或磁共振图像的图像处理。

背景技术

用于跟进读取和纵向变化评估的图像质量是诸如计算机断层扫描（CT）或磁共振成像（MRI）的医学成像技术中的重要任务。由于区分病理与医学图像中的正常变化的挑战，识别医学图像中变化的任务是技术问题。例如，对于患者的肺或其他器官的跟进扫描，诸如呼吸或正常解剖学差异的正常变化可掩盖诸如癌性结节生长或萎缩的病理变化。

由于可能发生的大量正常变化，因此检测在两个或更多个时间点获取的CT图像或MRI图像的病理变化是困难的。手动检测正常与病理变化可能是困难的或容易出错。计算机辅助图像配准可用于提供改进并增加结果的客观性。图像配准可以被分为两组：刚性和非刚性。非刚性图像配准也称为可变形图像配准（DIR）。在刚性图像配准（RIR）中，所有像素均匀地移动和/或旋转，使得每个像素到像素的关系在变换之前和之后保持相同。然而，在DIR中，像素到像素的关系变化，以对非线性变形建模。

在没有预期解剖变化或变形的情况下，RIR非常有效。然而，一些患者可能由于体重减轻，肿瘤萎缩和/或生理学器官形状变化而经历解剖结构变化。RIR可能无法很好地处理这些变化。与RIR相比，DIR具有显著更大的灵活性。DIR可以管理两个图像集之间的局部失真（例如，解剖结构变化）。对于DIR，数学建模使用已知信息来查找所考虑的器官中的运动或变形的统计量。分割使用该信息将轮廓从参考图像映射到更新的图像。DIR可以检测并使用解剖地标来配准图像集。然而，这些方法不区分正常的解剖变化和病理变化。在示例中，如果DIR太强，则可以在跟进图像中抑制肿瘤的生长。当前的计算机辅助工具（诸如DIR）可能由于图像中表示的正常解剖变化而不准确，并且不能区分异常变化是正常变化，并且因此，提供不一致和混淆的图像配准。

发明内容

作为介绍，下面描述的优选实施例包括用于检测在两个或更多个时间点获取的医学图像中的病理变化的实施例。机器学习的网络有助于在生物力学先验之后对准参考和跟进图像。分析对准的参考图像和跟进图像以识别然后可以呈现给操作者的病理变化。

在第一方面，提供了一种用于识别跟进医学图像中的病理变化的方法。在第一时间获取参考图像数据。在随后时间获取跟进图像数据。使用机器学习的网络为参考图像数据和跟进数据生成变形场，该机器学习的网络被训练以生成描述输入参考图像数据和输入跟进图像数据之间的健康解剖变形的变形场。使用变形场对准参考图像数据和跟进图像数据。分析共同对准的参考图像数据和跟进图像数据以得到由于病理现象引起的变化。

在第二方面，提供了一种用于训练神经网络以在参考体积和跟进体积之间生成生理学变形场的方法。获取多个成对的参考体积和跟进体积。该多个成对的体积被分割。被分割的对被转换为多个网格表面。使用逐点对应关系来匹配多对体积的网格表面。使用有限元方法针对匹配的网格表面求解生物力学运动。使用网格表面和运动为成对的体积集生成变形网格。将成对的体积集输入到被配置为输出生理学变形场的神经网络中。比较变形网格和生理学变形场。根据比较，在神经网络中调整权重。使用成对的体积集重复生成，输入，比较和调整，直到神经网络输出类似于变形场的生理学变形场。

在第三方面，提供了一种用于识别患者的跟进医学图像中的病理变化的系统。该系统包括机器学习的网络和图像处理器。机器学习的网络被配置为在参考图像和跟进图像之间生成生理学变形场。图像处理器被配置为根据生理学变形场来使跟进图像变形；图像处理器还被配置为从参考图像中识别与变形的跟进图像的差异；图像处理器还被配置为将变形的跟进图像和参考图像之间的差异突出显示为病理变化。

本发明由以下权利要求限定，并且该部分中的内容不应当视为对那些权利要求的限制。下面结合优选实施例讨论本发明的其他方面和优点，并且可以在以后单独或组合地要求保护。

附图说明

组件和附图未必按照比例绘制，相反地将重点放在说明本发明的原理上。此外，在附图中，贯穿不同视图，相同参考标号指代对应部分。

图1描绘了医学成像系统的示例。

图2A和图2B描绘了示例计算机断层扫描图像。

图3描绘了根据实施例的用于检测在两个或更多个时间点获取的CT图像中的病理变化的方法。

图4描绘了根据实施例的训练以生成变形场的机器学习的网络。

图5描绘了具有突出显示的病理变化的示例渲染图像。

图6描绘了根据实施例的用于训练机器学习的网络以检测在两个或更多个时间点获取的CT图像中的病理变化的方法。

图7描绘了根据实施例的用于检测在两个或更多个时间点获取的CT图像中的病理变化的系统。

具体实施方式

在例如计算机断层扫描（CT），磁共振图像（MRI）或其他模态的医学图像中自动检测并突出显示病理差异。机器学习的神经网络自动地将跟进医学成像数据与医学成像参考数据对准，其方式是去除或减少正常的解剖学和生理学差异，使得可以突出显示由于病理引起的剩余差异。

生成生物力学模型，其识别正常的解剖学和生理学差异。使用生物力学模型训练神经网络以在给定输入体积数据的情况下产生变形场。变形场用于将参考体积数据与跟进体积数据对准。对准被用于识别两个数据集之间的病理差异。病理差异可以在图像中突出显示或以其他方式呈现给操作者。

在示例中，该方法可以显着减少医生在阅读患者的肺扫描上花费的时间，例如，通过提高肿瘤变化的早期检测率。该方法可以应用于参与肺筛查程序的患者，以比较参考和跟进图像。肺扫描的示例应用包括用于突出显示癌性结节生长或萎缩或检测慢性阻塞性肺病（COPD）的肺部弥漫性变化。该方法可以应用于各种成像情况，诸如用于不同的成像模态（例如，CT，MRI或超声）和/或用于其他解剖结构（例如，肝脏，前列腺，胸部），以例如检测癌性生长或萎缩或其他医学诊断。

图1描绘了示例CT成像系统100。对象110（例如，患者）可以定位在工作台120上，工作台120经由机动系统配置成通过CT成像系统100中的圆形开口130将工作台移动到多个位置。X射线源140（或其他辐射源）和（一个或多个）检测器元件150是CT成像系统的一部分，并且被配置为在对象位于开口130内时围绕对象110旋转。旋转可以与床的移动相结合，以沿着患者的纵向范围扫描。或者，台架使源140和检测器150以围绕患者的螺旋路径移动。在CT成像系统100中，单次旋转可能花费大约一秒或更短的时间。在X射线源140和/或探测器的旋转期间，X射线源140产生狭窄的扇形（或锥形）X射线束，其穿过被成像的对象110的身体的目标部分。（一个或多个）检测器元件150（例如，多环探测器元件）与X射线源140相对并且配准穿过被成像的对象的身体的X射线，并且在该过程中记录被用来创建图像的快照。通过X射线源140和/或（一个或多个）检测器元件150的一次旋转收集穿过对象的许多角度的许多不同快照。由收集的快照生成的图像数据被发送到控制单元，该控制单元基于快照将图像数据存储或处理成由CT成像系统100扫描的对象的身体内部（例如，内部器官或组织）的一个或几个横截面图像或体积。

当在不同时间捕获CT数据时（例如，相隔几小时，几天，几周，几个月或几年发生的不同成像约定），出现的一个问题是将不同的数据集彼此进行比较。对象，例如患者，随时间变化，生长和萎缩，体重减轻，体重增加，体形变化等。此外，例如，当扫描肺部时，呼吸运动或其他运动可能会使图像对准混淆。严格地对准图像允许容易地检测图像中的某些变化。然而，这样的对准不能对来自例如器官变形，患者体重减轻，解剖学运动或萎缩的变化建模。准确评估成像信息可能需要DIR来解决解剖学运动。DIR是用于找到一个图像中的点与另一个图像中的对应点之间的映射的方法。由于在治疗期间或随着时间发生的解剖学变化以及从一个图像到另一个图像的呼吸状态的差异，DIR已被认为是提供软组织（例如肺）的精确纵向映射的重要工具。

图2A和图2B描绘了在两个不同时间点获取的来自患者的两个肺部图像。图2A描绘了初始参考CT图像。图2B描绘了跟进CT图像。如所描绘的，与参考CT图像相比，在跟进CT图像中存在病理和正常变化。例如，某些组织可能已经扩张，或者某些边界可能已经移动。由于扫描区域中的变形，RIR可能无法配准两个图像。DIR可以配准两个图像，但也可以改变可能导致不正确诊断的病理变化。例如，DIR可能缩小肿瘤，因为DIR算法可能不考虑病理变化。观察所得图像的操作者可能由于错误配准而无法理解肿瘤的大小。

图像到图像网络可以用于配准，同时最小化由于解剖学变化引起的病理变化的失真。所公开的图像到图像网络可以被实现为计算上促进医学成像数据的处理并因此改进和优化医学诊断。检测和突出显示医学图像中的病理变化允许提高资源的效率和使用。医生或操作者可以花费较少的时间来诊断患者的医疗状况。改进的病理变化的可见性可以导致更好地诊断医学疾病。改进的诊断可以导致改进的医疗效果。图像到图像网络提供用于配准的技术解决方案，以改进患者的医学成像的诊断质量。

图3描绘了用于检测和突出显示跟进CT数据中的病理变化的示例方法。机器学习的网络被用于生物力学地对准CT数据，然后突出显示相关的病理现象。机器学习的网络是人工神经网络，其在已经使用生物力学组织模型对准的图像对（参考和跟进）的集合上预训练，以产生每个图像对的变形场。一旦经过训练，机器学习的网络就会产生一个新的变形场，用于看不见的图像对，其中解剖或运动差异的变形被最小化，同时保持病理差异。变形场用于共同对准新的对。分析共同对准后的残差图像差异并将其用作进一步图像处理的输入以突出显示病理变化。

这些动作由图1、图4、图7的系统，其他系统，工作站，计算机和/或服务器执行。可以提供附加的、不同的或者更少的动作。动作以所示出的次序（例如，自顶向底）或者其他次序执行。

在动作A110，由医学成像设备在第一时间获取参考CT数据。可以从医学成像设备获取CT数据。CT数据可以被处理成图像，或者可以是要用于形成图像的成像数据（例如医学成像数据）。数据，图像或成像数据由医学成像设备提供或在医学成像设备内提供。或者，获取来自储存器或存储器，诸如从图片存档和通信系统（PACS）获取先前创建的数据集。处理器可以从图片存档和通信系统或医疗记录数据库中提取数据。

CT数据是表示患者的二维切片或三维体积的数据。例如，CT数据将患者的区域或切片表示为像素值。作为另一个示例，CT数据表示体素的体积或三维分布。三维表示可以被格式化为堆叠或多个二维平面或切片。为以二维或三维分布的多个位置中的每一个提供值。

数据可以是任何格式。在使用术语图像和成像时，图像或成像数据可以是在实际显示图像之前的格式。例如，成像数据可以是表示不同于显示格式的笛卡尔坐标或极坐标格式的不同位置的多个标量值。作为另一示例，图像可以是输出到显示器的多个红色，绿色，蓝色（例如，RGB）值，用于以显示格式生成图像。成像数据可以是当前或先前在显示器中显示的图像或另一格式。成像数据是可以用于成像的数据集，诸如表示患者的生成的图像或扫描数据。

可以使用任何类型的医学成像数据和相应的医学扫描仪。在一个实施例中，成像数据是利用CT系统获取的计算机断层扫描（CT）图像。例如，可以通过扫描肺部来获取胸部CT数据集。输出图像可以是二维图像切片。对于三维CT图像，来自检测器的原始数据被重建为三维表示。作为另一示例，利用MR系统获取表示患者的磁共振（MR）数据。使用用于扫描患者的成像序列获取数据。获取表示患者的内部区域的K空间数据。执行傅里叶分析以将来自k空间的数据重建为三维对象或图像空间。数据可以是超声数据。波束形成器和换能器阵列在声学上扫描患者。接收的声学信号被波束形成并被检测到表示患者的极坐标超声数据中。

成像数据表示患者的组织，流体和/或骨骼。为了对肺部进行成像，成像数据可以包括来自肺部的响应和肺部周围的解剖结构（例如，上躯干）。在其他实施例中，医学图像表示功能（诸如灌注）以及结构，诸如核医学（NM）数据。

获取医学成像数据作为一个或多个数据帧。数据帧表示给定时间或期间的扫描区域。数据集可以表示随时间的区域或体积，诸如提供患者的4D表示。可以针对患者在不同阶段内捕获医学成像数据。例如，可以跟踪呼吸阶段并将其与医学成像数据组合以识别医学成像数据的阶段配时。可以用获取数据的阶段标记数据。例如，除了其他呼吸阶段时间点之外，该阶段可以包括峰值吸气，早期吸气，中期吸气，末期吸气，峰值呼气和/或早期呼气。

在动作A120，在第二时间获取跟进CT数据。类似于动作A110，数据，图像或成像数据由医学成像设备提供或在医学成像设备内提供。或者，获取来自储存器或存储器，诸如从图片存档和通信系统（PACS）获取先前创建的数据集。处理器可以从图片存档和通信系统或医疗记录数据库中提取数据。第二时间是比第一时间晚的后续时间。第二时间可能是第一时间之后的几小时，几天，几周，几个月或几年。在第一时间和第二时间之间可能存在介于中间的扫描或程序。在实施例中，使用与参考CT数据相同或类似的设置和参数来获取跟进CT数据。类似的设置和参数可以包括例如相同的医学成像设备，相同的剂量，相同的阶段配时，x射线源电压等。可以针对患者在不同阶段收集跟进CT数据。可以用获取数据的阶段标记数据。例如，对于肺部数据，除了其他呼吸阶段时间点之外，该阶段可以包括峰值吸气，早期吸气，中期吸气，末期吸气，峰值呼气和/或早期呼气。

在动作A130，使用机器学习的网络生成参考CT数据和跟进CT数据的变形场，该机器学习的网络被训练以生成描述输入参考CT数据和输入跟进CT数据之间的解剖变形的变形场。在实施例中，训练机器学习的网络以生成变形场，该变形场类似于由生物力学模型生成的变形场。生物力学模型由一组参考和跟进CT数据生成。生物力学模型的输出是变形网格，其描述解剖学运动或成对参考和跟进数据之间的正常变化。机器学习的网络在参考和跟踪CT数据组上进行训练以生成变形场，该变形场类似于从变形网格导出的变形场。为了训练网络，将生成的变形场与来自生物力学模型的变形场进行比较。比较（例如，差异），即损失函数，被用于向网络提供反馈，使得可以调整网络的权重以生成更好的输出变形场。该过程可以重复多次，直到变形场类似于从变形网格导出的变形场。

机器学习的网络可以是被训练以生成变形场的任何类型的神经网络。在实施例中，机器学习的网络是图像到图像网络。

图4描绘了训练以生成变形场的图像到图像网络的示例表示。机器学习的网络30将输入参考数据40（这里被描绘为2D图像）和跟进数据50（这里被描绘为2D图像）作为输入。机器学习的网络30包括被加权的多个层和节点。机器学习的网络30输出变形场60，该变形场60指示由于参考数据40和跟进数据50之间的解剖变形引起的变形。将变形场60与由生物力学模型（使用参考和跟进数据）生成的变形场进行比较。该比较被用于调整机器学习的网络30中的节点的权重。可以重复输入数据，输出变形场和调整权重的过程，直到输出变形场类似于由生物力学模型生成的变形场。然后，训练的机器学习的网络30可以被用于生成用于看不见的参考和跟进数据对的变形场。

在一个实施例中，机器学习的网络30的布置是用于深度学习的神经网络。可以使用其他网络布置，诸如支持向量机。深度架构包括卷积神经网络（CNN）或深信网络（DBN），但也可以使用其他深度网络。CNN学习前馈映射函数，而DBN学习数据的生成性模型。此外，CNN对所有本地区域使用共享权重，而DBN是完全连接的网络（例如，包括对图像的所有区域的不同的权重）。CNN的训练完全通过反向传播来鉴别。另一方面，DBN采用逐层无监督训练（例如，预训练），然后在必要时使用反向传播进行鉴别细化。在实施例中，机器学习的网络的布置是完全卷积网络（FCN）。可以使用替代网络布置，例如，3D超深卷积网络（3D-VGGNet）。VGGNet堆叠许多包含窄卷积层的层块，然后是最大池化层。可以使用3D深度残差网络（3D-ResNet）架构。Resnet使用残差块和跳过连接来学习残差映射。

机器学习的网络30被定义为多个顺序特征单元或层。顺序被用于指示从一个层到输入到下一个层的输出特征值的一般流程。来自下一层的信息被馈送到下一层，依此类推，直到最终输出。这些层可以仅向前馈送或者可以是双向的，包括对先前层的某种反馈。每个层或单元的节点可以与先前和/或后续层或单元的全部或仅节点的子集连接。可以使用跳过连接，诸如输出到顺序下一层以及其他层的层。

不是预先编程特征并试图将特征与属性相关，而是定义深度架构以基于具有或不具有预处理的输入图像数据来学习不同抽象级别的特征。学习这些特征以重建较低级别的特征（即，更抽象或压缩级别的特征）。例如，学习用于重建图像的特征。对于下一个单元，学习用于重建先前单元的特征的特征，从而提供更多抽象。该单元的每个节点表示一个特征。提供不同的单元用于学习不同的特征。

可以使用各种单元或层，诸如卷积，池化（例如，最大池化），去卷积，完全连接或其他类型的层。在单元或层内，提供任意数量的节点。例如，提供100个节点。之后或后续单元可以具有更多，更少或相同数量的节点。通常，对于卷积，后续单元具有更多抽象。例如，第一单元提供来自图像的特征，诸如一个节点或特征是在图像中找到的线。下一个单元组合线，使得节点中的一个是角。下一个单元可以组合来自先前单元的特征（例如，角和线的长度），使得节点提供形状指示。对于要重建的转置-卷积，抽象的级别反转。每个单元或层都降低了抽象或压缩的级别。

通过机器使用任何构建块来学习节点的特征。例如，使用自动编码器（AE）或受限制的玻尔兹曼机器（RBM）方法。AE线性地转换数据，然后应用非线性整流，如S形函数。AE的目标函数是使用所学习的特征在输入图像和重建图像之间的预期均方误差。可以使用随机梯度下降或其他方法来训练AE，以通过机器学习导致最佳重建的特征。RBM的目标函数是能量函数。与RBM相关联的似然项的精确计算是难以处理的。因此，使用近似算法，诸如基于k步吉布斯采样或其他的对比-发散，来训练RBM以从特征重建图像。

用于训练机器学习的网络30的损失函数可以基于输出变形场和由生物力学模型生成的变形场之间的差异。损失函数可以是例如差异的均方误差。

机器学习的网络30被训练为图像到图像神经网络，以从参考图像和跟进图像生成变形场，其类似于生物力学模型的变形场。为了训练，机器学习的网络30将两个CT图像（图像数据，图像体积）带入其输入层，并且输出层是生成的变形场图像，其与模型生成的场进行比较。变形比较被用作机器学习的网络30的损失函数。该损失被用于迭代地调整机器学习的网络30的内部权重，直到网络能够生成类似于跨大组训练数据的建模变形的变形场。

在动作A140，参考CT数据和跟进CT数据使用变形场彼此对准。机器学习的网络的生物力学模型被训练为模仿表示由于解剖和/或运动引起的变形。未提供由于病理改变引起的变化。结果，机器学习的网络估计解剖和/或运动的变形场，而不包括基于病理的变形。对准参考CT数据和跟进CT数据可以包括点对点配准和/或使数据变形以匹配变形。由于对准，输出的对准对可以包括类似的边界，但是任何病理现象都不会受到影响。

在动作A150，比较对准的参考CT数据和跟进CT数据以识别由于病理现象引起的变化。在实施例中，突出显示变化以显示给操作者。用以突出显示病理变化的一种方法是从彼此中减去生物力学对准的图像。可以突出显示该差异。突出显示可能会引起对跟进CT图像中的区域的注意，其中可能由于诸如结节生长的病理现象而发生变化。变化类型可能具有与生物力学运动模型（和机器学习的网络30）不同的模式。差异图像在大变化区域中具有最大幅度，诸如扩张肿瘤的周围的边界或例如肺气肿等组织疾病的指示。

用以突出显示变化的另一种方法包括变形场的幅度的可视化。基于强度的可变形配准算法可以匹配基线和跟进扫描中的异常生成的不同轮廓。变形的幅度可以描述异常体积变化的规模。可以将幅度体积可视化为热图。

在实施例中，用于改变突出显示的方法使用基于分块的网络，该网络被训练以检测跟进图像中的病理变化。神经网络的训练利用了这样的事实：病变变化导致在已对准图像之后仍然存在的点对应的大的解剖变形或失配。可以使用完全卷积的图像到图像神经网络，其中参考和跟进图像中的对应分块被输入到网络中，并且输出是变化的似然性热图。可以使用已经手动注释的地面真值数据来训练网络。可以使用任何类型的图像到图像神经网络。可以使用替代的机器学习的网络，其被配置或训练以识别对准的参考和跟进图像之间的变化。热图可以在跟进CT上可视化为叠加图像，以帮助引导图像读取。

图5描绘了跟进CT图像中突出显示的变化的示例。可以通过分析对准的图像来识别病理变化。该分析可以提供热图或在对准的图像之间检测到病理变化的位置。渲染图像可以包括突出显示的病理变化80。例如，可以使用符号或颜色突出显示被突出显示的病理变化80。

图6描绘了一种用于训练神经网络以在参考CT体积和跟进CT体积之间生成生理学变形场的方法的一个实施例。这些动作由图1，图4，图7的系统，其他系统，工作站，计算机和/或服务器执行。动作以所示出的次序（例如，自顶向底）或者其他次序执行。

在动作A210，获取多个成对的参考CT体积和跟进CT体积。可以针对不同患者在不同时间段内获取CT体积。可以通过不同的成像设备获取CT体积。从多个成对的参考CT体积和跟进CT体积生成生物力学模型。对于肺部扫描，生物力学模型可以包括诸如肺表面，肺叶，气道，血管，解剖学地标等结构。生物力学模型通过分割CT体积，生成网格和求解运动来生成。一旦生成，生物力学模型就可以用新获取的CT体积更新。不同的生物力学模型可以用于不同类型的患者。例如，取决于体重，体型，性别或年龄等，器官（例如肺）可以不同地操作。

在动作A220，该多个成对的CT体积对被分割。从CT数据（在多个时间点和阶段获取以便捕获肺解剖结构的生物力学运动）分割肺部和相关的组成解剖结构。可以使用任何分割方法。例如，除了其他分割技术之外，分割可以是基于阈值的，基于区域的，基于形状的，基于模型的，基于相邻的和/或基于机器学习的。基于阈值的方法通过基于图像衰减值创建二进制分区来分割图像数据，如通过CT图像上的结构的相对衰减所确定的。基于区域的分割将CT图像中的一个像素与相邻像素进行比较，并且如果满足预定义区域标准（例如，同质性），则将像素分配给与其一个或多个邻居相同的类。基于形状的技术使用基于地图集的方法或基于模型的方法来找到肺边界。基于模型的方法使用先前的形状信息，类似于基于地图集的方法；然而，为了更好地适应形状变化，基于模型的方法通过使用优化程序将肺部的统计形状或外观模型拟合到图像。相邻的解剖学引导方法使用肺的相邻解剖学对象（例如，肋骨，心脏，脊柱）的空间背景来描绘肺部区域。在基于机器学习的方法中，基于从图像数据提取的特征来预测肺异常和边界。

在动作A230，将分割的对转换成描述肺部的结构的多个网格表面。

在动作A240，使用逐点对应关系来匹配多对CT体积的网格表面。通过生成逐点对应关系（例如肺表面上的所有点匹配，血管上的所有点匹配等），网格在根据参考和跟进CT数据的成对体积/图像中匹配。匹配可以通过使用诸如相干点漂移（CPD）或其他基于点或表面的配准方法（诸如迭代最近点（ICP））的算法来完成。CPD是用于两点集的非刚性配准的方法。配准是最大似然性估计问题，其中一点集表示高斯混合模块的质心而另一点集表示数据。CPD使用点的运动和速度进行配准。

在动作A250，使用有限元方法或其他离散求解器方法来求解匹配网格表面的运动。一旦针对肺部分割生成逐点对应关系，则将该对应关系用作描述感兴趣的组织运动的适当生物力学模型的边界条件。有限元方法（FEM）解决方案用于描述肺部变形模式的运动的方程。器官域被离散化为来自肺分割表面的几何结构的四面体网格。3D Navier-Cauchy方程被用于静态平衡时的组织位移场：

其中E是杨氏模量，v是泊松比，u是组织中某一点的3D位移矢量，而F是施加的体力分布。求解组织的每个点处的位移，使得满足方程。

线性基函数在四面体元上被定义，并执行Galerkin加权残差方法，以构造一个线性方程组，具有如下形式：

其中K是包含来自材料属性和本构方程的贡献的刚度矩阵，u是网格节点位移的向量，而f包含应用边界条件的向量。通过使用CPD确定两组肺分割网格之间的对应向量，为f生成患者特异性边界条件。

替代方法可用于生成或增强生物力学模型。例如，应力分布模型和基于有限元方法（FEM）的数值实现可以被用于肺部。FEM提供了一个框架，其允许目标上的应力，应变和力载荷之间的关系用更逼真地描述潜在生理学的运动场来表达。FEM可被用于解决肺部的复杂弹性问题。肺运动也可以被建模为FEM要解决的接触问题。例如，可以使用肺几何结构对通气进行建模。在呼气时，通过根据弹性理论施加负压使肺几何结构膨胀，直到其与吸气时的最终肺形状匹配。

在动作A260，使用网格表面和运动为成对的CT体积集生成变形网格。生物力学模型输出网格变形，其可以作为变形场被转换（光栅化）到图像网格中。变形描述了肺组织的解剖学运动。可以比较在不同时间获取的不同图像。例如，可以比较吸气（INSP）和呼气（EXP）图像以识别肺的变形。该变形也可以描述运动的幅度。例如，肺部的第一部分的变形可以大于另一部分。变形场可以使用用于第一部分而不是其他部分的更大的值来描述差异。当患者吸气或呼气时，肺的形状变化。肺部的下部可能表现出比例如肺中心大的变形。

在动作A270，将成对的CT体积集被输入到被配置为输出生理学变形场的神经网络中。训练图像到图像神经网络，以在输入参考CT体积数据的第一CT参考体积和跟进CT体积数据的第一CT跟进体积时生成生成的变形场。使用变形场和生成的变形场之间的差异来训练图像到图像神经网络作为损失函数。为了训练，图像到图像神经网络将两个CT图像（图像数据，图像体积）带入其输入层，并且输出层是生成的变形场图像，其与模型生成的场进行比较。

在动作A280，比较变形网格和生理学变形场。变形比较用作用以训练图像到图像神经网络的损失函数。

在动作A290，根据比较在机器网络中调整权重。该损失被用于迭代地调整图像到图像神经网络的内部权重，直到网络能够生成类似于跨大组训练数据的建模变形的变形场。

在动作A300，利用成对的CT体积集重复生成（A260），输入（A270），比较（A280）和调整（A290），直到神经网络输出类似于变形场的生理学变形场。生成的变形场被用于对准任何新的CT跟进图像对。

可以存储生物力学模型和训练的机器网络以供以后使用。可以对额外的患者执行额外的跟进程序。在额外程序期间可以使用或增强生物力学模型和训练的机器网络。

图7描绘了用于识别跟进CT数据中的病理变化的系统的实施例。该系统包括控制单元20，成像系统100（这里描述为CT成像系统100）和服务器28。控制单元20包括图像处理器22，存储器24，显示器26和机器学习网络30。可以提供附加的、不同的或者更少的组件。例如，可以提供网络连接或接口，诸如用于与医学成像网络或数据存档系统联网。在另一示例中，提供用户界面作为显示器26或成像系统100的一部分。在其他实施例中，未提供服务器28或CT成像系统100。

图像处理器22，存储器24和显示器26，机器学习的网络30是控制单元20的一部分。或者，图像处理器22，存储器24和机器学习的网络30是存档和/或图像处理系统的一部分，诸如与医疗记录数据库工作站或服务器相关联，与成像系统100分开。在其他实施例中，图像处理器22，机器学习的网络30和存储器24是个人计算机，诸如台式机或膝上型计算机，工作站，服务器28，网络或其组合。可以提供图像处理器22，显示器26，机器学习的网络30和存储器24，而无需通过扫描患者来获取数据的其他组件。

控制单元20，图像处理器22，存储器24，显示器26，机器学习的网络30和成像系统100被提供在相同位置。该位置可以是同一房间，同一建筑物或同一设施。这些设备相对于彼此是本地的并且远离服务器28。服务器28通过在不同的设施中或通过在不同的城市，县，州或国家中由网络间隔开。服务器28可以远离成像系统100的位置。

成像系统100是医学诊断成像系统。可以使用计算机断层扫描（CT），X射线，超声和/或磁共振（MR）系统。成像系统100可以包括发射器并且包括用于扫描或接收表示患者内部的数据的检测器。成像系统100被配置为获取图像切片（2D）或图像体积（3D）。成像系统100可以随时间获取可以用于生成视频的多个图像体积。

在一个实施例中，成像系统100是CT或X射线系统。X射线源连接到台架。检测器还与和X射线源相对的台架连接。患者位于源和检测器之间。源和检测器位于患者的相对侧，并围绕患者旋转和/或平移。检测到的穿过患者的X射线能量被转换，重建或变换成表示患者体内不同空间位置的数据。在一个实施例中，成像系统100可以包括便携式或移动式C形臂。C形臂包括X射线源和图像增强器或平板检测器。C形连接元件允许水平，垂直和围绕旋转轴线移动，使得可以从几乎任何角度产生患者的X射线图像。生成器发射穿透患者身体的X射线。图像增强器或检测器将X射线转换成显示在监视器上的可见图像，或者存储起来供以后使用。

在另一个实施例中，成像系统100是MR系统。MR系统包括主场磁铁，诸如低温磁铁和梯度线圈。提供全身线圈用于发送和/或接收。可以使用局部线圈，诸如用于响应于脉冲接收由原子发射的电磁能量。可以提供其他处理组件，诸如用于计划和生成线圈的发送脉冲以及用于接收和处理接收的k空间数据。采用傅立叶处理将接收的k空间数据转换为对象或图像空间数据。

存储器24可以是图形处理存储器，视频随机存取存储器，随机存取存储器，系统存储器，高速缓冲存储器，硬盘驱动器，光学介质，磁介质，闪存驱动器，缓冲器，数据库，其组合或其他现在已知或以后开发的用于存储数据或视频信息的存储器设备。存储器24是成像系统100的一部分，是与图像处理器22相关联的计算机的一部分，数据库的一部分，另一系统的一部分，图片存档存储器或独立设备。

存储器24存储医学成像数据，图形或显示设置和/或图像。存储器24可以在处理应用期间存储数据和/或可以存储用于机器学习的网络30的训练数据。存储器24可以存储与从CT成像系统100获取的数据生成的生物力学模型有关的数据。

存储器24或其他存储器可替换或另外的是非暂时性计算机可读存储介质，其存储表示可由编程图像处理器22执行的指令的数据，用于识别跟进CT数据（图像或体积）中的病理变化。用于实现本文中讨论的过程、方法和/或技术的指令被提供在非暂时性计算机可读存储介质或存储器（诸如高速缓存、缓冲器、RAM、可移动介质、硬盘驱动器）或其他计算机可读存储介质上。非暂时性计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或上的一个或多个指令集而执行在本文中描述或者附图中图示的功能、动作或任务。功能、动作或任务与指令集、存储介质、处理器或处理策略的特定类型无关，并且可以由单独或组合操作的软件、硬件、集成电路、固件、微代码等执行。同样地，处理策略可以包括多处理、多任务、并行处理等。

在一个实施例中，指令存储在可移动介质设备上以用于由本地或远程系统读取。在其他实施例中，指令存储在远程位置中以用于通过计算机网络或者在电话线上转移。在又其他实施例中，指令存储在给定计算机、CPU、GPU或系统内。

机器学习的网络30可以以软件或硬件配置。机器学习的网络30可以是图像处理器的一部分和/或可以被存储在存储器24中。可以关于存储在存储器24中和/或由成像系统100获取的数据对机器学习的网络30进行训练。机器学习的网络30可以被配置为在参考固定CT体积和由CT成像系统100获取的或存储在存储器24中的跟进CT体积之间生成生理学变形场。机器学习的网络30可以被配置为实现生物力学模型，因为机器学习的网络30可以被配置为输入参考CT体积和跟进CT体积并且生成变形场，该变形场类似于由生物力学模型生成的变形场。机器学习的网络30和/或图像处理器22可以被配置为基于变形场对准参考CT体积和跟进CT体积。机器学习的网络30可以输入和处理二维或三维数据（图像或体积）。

图像处理器22是通用处理器，中央处理单元，控制处理器，图形处理单元，数字信号处理器，三维渲染处理器，图像处理器，专用集成电路，现场可编程门阵列，数字电路，模拟电路，其组合或用于从图像体积渲染二维图像的其他现在已知或以后开发的设备。图像处理器22是单个设备或多个串行，并行或单独操作的设备。图像处理器22可以是计算机的主处理器，所述计算机诸如膝上型计算机或台式计算机，或者可以是用于处理较大系统中的某些任务的处理器，诸如在成像系统100或服务器28中。图像处理器22通过指令，设计，硬件和/或固件进行配置以执行本文所讨论的动作。

图像处理器22和/或服务器28被配置为执行上面讨论的用于识别跟进CT数据中的病理变化的动作。图像处理器22被配置为根据生理学变形场来使跟进移动CT体积变形。图像处理器22还被配置为从参考固定CT体积中减去变形的跟进移动CT体积。图像处理器22还被配置为将变形的跟进移动CT体积和参考固定CT体积之间的差异突出显示为病理变化。

图像处理器22和/或服务器28被配置为向显示器26或存储器24提供图像。显示器26是监视器，LCD，投影仪，等离子显示器，CRT，打印机或其他现在已知或以后开发的用于输出视觉信息的设备。显示器26从图像处理器22，存储器24，成像系统100和/或服务器28接收图像，图形，文本，数量或其他信息。显示器26被配置为向操作者提供图像体积。

控制单元20还可以包括用户界面（未示出），其被配置为从用户接收一个或多个选择。用户界面可以包括输入设备，诸如一个或多个按钮，小键盘，键盘，鼠标，触控笔，轨迹球，摇臂开关，触摸板，语音识别电路或用于输入数据的其他设备或组件。用户界面和显示器26可以被组合为可以是电容式或电阻式的触摸屏。

服务器28经由网络连接到成像系统100。网络是局域网，广域网，企业网，另一网络或其组合。在一个实施例中，网络至少部分地是因特网。使用TCP/IP通信，网络提供图像处理器22和服务器28之间的通信。可以使用任何通信格式。在其他实施例中，使用专用或直接通信。

服务器28是处理器或处理器组。可以提供多于一个的服务器28。服务器28通过硬件和/或软件配置。服务器28可以包括一个或多个图像处理器22。一个或多个图像处理器22可以串行或并行操作以处理和渲染从CT成像系统100接收的图像数据。服务器28可以基于从CT成像系统100获取的或存储在存储器24中的CT数据生成并存储生物力学模型。

在一个实施例中，指令存储在可移动介质设备上以用于由本地或远程系统读取。在其他实施例中，指令存储在远程位置中以用于通过计算机网络或者在电话线上转移。在又其他实施例中，指令存储在给定计算机、CPU、GPU或系统内。

尽管以上已经参照各种实施例描述了本发明，但是应当理解到，可以做出许多改变和修改而不脱离本发明的范围。因此旨在将前述详细描述视为说明性而非限制性的，并且要理解到，旨在限定本发明的精神和范围的是以下的权利要求，包括所有等同方案。

Claims (18)

1.一种用于识别跟进医学图像中的病理变化的方法，该方法包括：

通过成像系统获取第一时间的参考图像数据；

通过成像系统获取随后时间的跟进图像数据；

通过处理器使用机器学习的网络生成用于参考图像数据和跟进图像数据的变形场，该机器学习的网络被训练以生成描述输入参考图像数据和输入跟进图像数据之间的健康解剖变形的变形场；

通过处理器使用所述描述输入参考图像数据和输入跟进图像数据之间的健康解剖变形的变形场对准参考图像数据和跟进图像数据；以及

通过处理器分析共同对准的参考图像数据和跟进图像数据以得到由于病理现象引起的变化，其中，使用从由软组织变形的生物力学模型生成的变形场导出的损失函数来训练所述机器学习的网络。

2.根据权利要求1所述的方法，其中，从多个参考图像数据和跟进图像数据生成所述生物力学模型。

3.根据权利要求2所述的方法，其中，所述生物力学模型由以下方式生成：

通过处理器分割成对的多个参考图像数据和多个跟进图像数据；

通过处理器将所述分割的对转换为网格表面；

通过处理器通过生成参考图像数据和跟进图像数据之间的逐点对应关系，使成对的将多个参考图像数据和跟进图像数据之间的网格表面相匹配；以及

通过处理器使用器官变形的生物力学模型求解匹配网格表面的运动，使用离散求解器方法进行求解。

4.根据权利要求1所述的方法，其中，所述机器学习的网络是深度三维卷积图像到图像神经网络。

5.根据权利要求1所述的方法，还包括：

通过处理器渲染对准的跟进图像数据的图像；以及

通过处理器显示具有由于突出显示的病理现象引起的变化的图像。

6.根据权利要求1所述的方法，其中分析包括：

通过处理器使用神经网络进行分析，所述神经网络被训练以识别共同对准的参考图像数据和跟进图像数据中逐分块变化。

7.根据权利要求1所述的方法，其中，参考图像数据和跟进数据是计算机断层扫描图像数据。

8.根据权利要求1所述的方法，其中，参考图像数据和跟进数据是通过不同的成像系统获取的。

9.根据权利要求1所述的方法，进一步包括第二时间，其中所述第二时间至少在用以观察由于疾病或治疗引起的解剖学变化的足够的时间之后。

10.一种用于训练神经网络以在参考体积和跟进体积之间生成生理学变形场的方法，该方法包括：

获取多个成对的参考体积和跟进体积；

分割所述多个成对的体积；

将分割的对转换为多个网格表面；

使用逐点对应关系来匹配多对体积的网格表面；

使用器官变形的生物力学模型求解匹配网格表面的运动，使用离散求解器方法进行求解；

使用网格表面和运动为成对的体积集生成变形网格；

将成对的体积集输入到被配置为输出生理学变形场的神经网络中；

比较变形网格和生理学变形场；

根据比较，在神经网络中调整权重；以及

使用成对的体积集重复生成，输入，比较和调整，直到神经网络输出类似于变形网络导出的变形场的生理学变形场。

11.根据权利要求10所述的方法，其中，以不同的时间间隔获取所述多个成对的参考体积和跟进体积。

12.根据权利要求10所述的方法，其中，所述多个成对的参考体积和跟进体积包括肺体积。

13.根据权利要求10所述的方法，其中，通过计算机断层扫描成像系统获取所述参考体积和跟进体积。

14.一种用于识别患者的跟进医学图像中的病理变化的系统，该系统包括：

机器学习的网络，其被配置为在参考图像和跟进图像之间生成生理学变形场；以及

图像处理器，其被配置为根据生理学变形场来使跟进图像变形；图像处理器还被配置为从参考图像中识别与变形的跟进图像的差异；图像处理器还被配置为将变形的跟进图像和参考图像之间的差异突出显示为病理变化，其中，训练所述机器学习的网络以回归从所述患者的生物力学模型生成的生理学变形的地面真值。

15.根据权利要求14所述的系统，其中，所述生物力学模型被配置为对患者的肺体积的变形进行建模。

16.根据权利要求15所述的系统，其中，所述生物力学模型是从患者的多个参考图像和多个跟进图像导出的。

17.根据权利要求14所述的系统，还包括：

显示器，其被配置为在变形的跟进运动图像上将突出显示的差异显示为图像。

18.根据权利要求17所述的系统，其中所述图像为热图。

Images