CN116205954A - 用于图像配准的方法和系统 - Google Patents

Abstract

本发明提供了用于自动配准并拼接图像的各种方法和系统。在一个示例中，一种方法包括：将对象的第一图像(224)和该对象的第二图像(225)输入被训练成基于该第一图像(224)和该第二图像(225)输出变换矩阵(270)的模型(260)，其中该模型(260)用多个训练数据集(242)进行训练，每个训练数据集(242)包括图像对(244,245)、指示感兴趣区域(ROI)的遮罩(246,247)以及相关联的地面真值(248)；基于该变换矩阵(270)将该第一图像(224)和该第二图像(225)自动拼接在一起以形成拼接图像；以及输出该拼接图像以显示在显示设备(134)上和/或将该拼接图像存储在存储器(106)中。

Description

用于图像配准的方法和系统

技术领域

本文所公开的主题的实施方案涉及医疗成像。

背景技术

诸如x射线成像的成像技术允许非侵入性采集诸如患者等受检者的内部结构或特征的图像。数字x射线成像系统产生可以处理为放射线图像的数字数据。在数字x射线成像系统中，来自源的辐射朝向受检者。辐射的一部分穿过受检者并冲击检测器。检测器包括离散图片元素或检测器像素的阵列，并且基于冲击每个像素区域的辐射的量或强度来生成输出信号。随后处理输出信号以生成可显示以供查看的图像。这些图像用于识别和/或检查患者体内的内部结构和器官。在一些情况下，可使用多个图像来捕获感兴趣的单个结构或区域。可在相同或不同条件下(例如患者位置、辐射剂量等)捕获多个图像。

发明内容

本文提供了用于配准图像的实施方案。在一个示例中，一种方法包括将对象的第一图像和对象的第二图像输入被训练成基于第一图像和第二图像输出变换矩阵的模型，其中模型用多个训练数据集进行训练，每个训练数据集包括图像对、指示感兴趣区域(ROI)的遮罩以及相关联的地面真值。该方法还包括基于变换矩阵将第一图像和第二图像自动拼接在一起以形成拼接图像，以及输出拼接图像以显示在显示设备上和/或将拼接图像存储在存储器中。

应当理解，提供上面的简要描述来以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。

附图说明

通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本发明，其中以下：

图1示出了图像处理系统的示例性实施方案的框图；

图2示出了变换矩阵预测网络(TMPN)训练和实现系统的示例性实施方案的框图；

图3A示出了用于训练TMPN的第一示例性工作流；

图3B示出了用于训练TMPN的第二示例性工作流；

图4示出了用于训练TMPN基于输入数据生成变换矩阵的示例性方法的流程图；

图5示出了用于实现经训练的TMPN的示例性方法的流程图；

图6A示出了比较针对具有横向运动的X射线图像对的自动粘贴和手动粘贴的示例性图像；

图6B示出了比较针对包括非刚性伪影的X射线图像对的自动粘贴和手动粘贴的示例性图像；

图6C示出了比较针对使用不正确方案选择拍摄的X射线图像对的自动粘贴和手动粘贴的示例性图像；

图6D示出了包括异物的示例性X射线图像；并且

图7示出了根据本公开的方法的比较输入图像对和所得拼接图像的示例性图像。

具体实施方式

以下描述涉及用于训练和实现诸如卷积神经网络(CNN)的深度学习模型以基于图像对的对应性输出变换矩阵并基于变换矩阵将图像对中的图像自动拼接在一起以形成拼接图像的方法的各种实施方案。

诸如用于对脊柱或一个或多个腿骨(例如，股骨)成像的X射线成像方案的一些成像方案包括采集两个重叠图像，然后将这两个重叠图像拼接在一起以形成拼接图像，该拼接图像示出不能用单个图像成像的期望解剖特征的全部范围。用于将两个重叠图像自动拼接在一起的常规机制可包括基于搜索的方法，其中识别重叠图像之间的共同解剖特征并将其用作拼接图像的基础。然而，当图像采集之间发生横向运动时，这些方法经常导致图像的配准不良(例如，使得一个图像中的解剖特征与另一个图像的解剖特征横向偏移)。此外，当图像之间存在少量重叠(例如，小于5cm)时，当存在诸如胃气的非刚性伪影时，或当以不同的X射线剂量水平采集图像时，这些方法可能难以配准和拼接图像。

因此，根据本文所公开的实施方案，可将诸如如上所述的CNN的深度学习模型训练成输出可用于将两个图像拼接在一起的变换矩阵，其中即使在图像之间存在较大横向或垂直运动、图像中的非刚性或刚性伪影、变化的剂量水平和低重叠的情况下，也能将深度学习模型训练成输出准确的变换矩阵。在一些实施方案中，用多个训练数据集来训练深度学习模型，每个训练数据集包括两个训练对和相关联的地面真值。训练对可一起包括由第一图像和第二图像组成的图像对，其中第一图像具有第一视场(FOV)并且第二图像具有第二FOV。第一图像和第二图像中的每一者可捕获FOV至少部分重叠的感兴趣区域(ROI)。ROI可以是刚性结构，诸如刚性解剖特征(例如，脊柱、胫骨)或植入物。训练对还可包括一个或多个遮罩，其中第一遮罩基于第一图像生成和/或第二遮罩基于第二图像生成。每个遮罩可被配置为识别应用于配准图像的ROI。因此，可由模型生成变换矩阵。变换矩阵可包括水平偏移、垂直偏移、旋转、歪斜和缩放功能中的一者或多者。可随后将所生成的变换矩阵与相关联的地面真值进行比较，并且可使用两个或更多个损失函数来计算损失。可随后使用计算出的损失来改进深度学习模型。可使用增强的训练数据集来进一步改进深度学习模型。通过使用多个训练数据集、增强的训练数据集和多个损失函数来训练深度学习模型，经训练的深度学习模型可容忍横向运动、非刚性伪影、异物、剂量不变性等。

可随后实现经训练的深度学习模型以输出用于将图像对(例如，示出公共ROI并具有部分重叠的FOV的第一图像和第二图像)拼接在一起成为包括完整ROI的单个图像的变换矩阵。由于ROI是刚性结构，所以基于ROI生成变换矩阵可比ROI是软组织(这可能在第一图像和第二图像的捕获之间移动位置)的情况下更准确。

这样，可得到通用图像拼接系统，该通用图像拼接系统可容许并且因此可将包括横向运动、非刚性伪影、异物、剂量不变性等中的至少一者的图像拼接在一起，使得第一图像和第二图像的ROI和其他要素在拼接图像中不会失真。

图1示出了图像处理系统的示例性实施方案的框图。图1的图像处理系统包括用诸如CNN或Siamese孪生网络的神经网络配置的神经网络模块，该神经网络模型可由图像处理系统的其他模块训练和部署以基于对象的第一图像和对象的第二图像输出变换矩阵。神经网络因此可被称为变换矩阵预测网络(TMPN)。变换矩阵可用于将第一图像和第二图像自动拼接在一起，其中第一图像和第二图像中的每一者捕获感兴趣区域(ROI)的不同视图，使得所得拼接图像包括完整ROI。图2示出了描述用于训练和实现TMPN的方法的高级工作流。图3A示出了生成用于训练TMPN的训练对的第一示例性方法。训练对可被输入到TMPN中以生成变换矩阵，其中变换矩阵包括使用多个训练对生成的偏移向量(例如，水平偏移、垂直偏移、旋转、歪斜和缩放)。如图2所示，可随后通过比较使用变换矩阵生成的拼接图像和地面真值变换矩阵来计算损失。用于训练TMPN的第二示例性方法示于图3B中，其中图像被输入TMPN以生成预测偏移向量。将预测偏移向量与地面真值偏移向量进行比较，并且将图像的相应遮罩应用于预测偏移向量和地面真值偏移向量以将计算出的损失缩放至ROI。使用图3A至图3B的方法计算出的损失可用于使用图2所示的验证器来改进TMPN。图4示出了用于训练TMPN基于训练数据生成变换矩阵的示例性方法的流程图，该方法包括任选地包括相应遮罩的训练对，如图3A至图3B所述。图5示出了用于实现经训练的TMPN以生成变换矩阵、基于变换矩阵拼接输入图像以及输出拼接图像的示例性方法的流程图。

图6A至图6D示出了比较用于图像自动粘贴和手动粘贴方法的常规方法的拼接图像。图6A比较了自动粘贴和手动粘贴的图像，其中在图像捕获期间或之间存在超过图像自动粘贴方法的横向运动容差的横向运动。图6B比较了自动粘贴和手动粘贴的图像，其中图像包括非刚性伪影，诸如胃气。图6C比较了自动粘贴和手动粘贴的图像，其中为图像自动粘贴选择了不正确的方案。图6D比较了自动粘贴和手动粘贴的图像，其中图像包括异物。TMPN可被训练成容忍上述挑战并拼接类似于使用手工粘贴方法拼接的图像。图7示出了本文所述的经训练的TMPN的示例性具体实施，其中可使用由经训练的TMPN生成的变换矩阵将第一图像和第二图像拼接成单个图像。

图1示出了根据一个实施方案的图像处理系统102的示例性实施方案的框图100。在一些实施方案中，图像处理系统102结合到X射线成像系统中。例如，可在X射线成像系统中提供图像处理系统102以作为X射线成像系统的处理器和存储器。在一些实施方案中，图像处理系统102的至少一部分设置在经由有线连接和/或无线连接通信地耦接到X射线成像系统的设备(例如，边缘设备、服务器等)处。在一些实施方案中，图像处理系统102的至少一部分设置在可从X射线成像系统或从存储由X射线成像系统生成的图像/数据的存储设备接收图像的单独设备(例如，工作站)处。图像处理系统102可以可操作地/通信地耦接到用户输入设备132和显示设备134。至少在一些示例中，用户输入设备132可包括X射线成像系统的用户界面，而显示设备134可包括X射线成像系统的显示设备。在一些实施方案中，用户输入设备132和显示设备134可设置在可从X射线成像系统或从存储由X射线成像系统生成的图像/数据的存储设备接收图像的单独设备(例如，工作站)处。

图像处理系统102包括被配置为执行存储在存储器106中的机器可读指令的处理器104。处理器104可以是单核或多核处理器，并且在其上执行的程序可以被配置用于并行处理或分布式处理。在一些实施方案中，处理器104可任选地包括分布在两个或更多个设备中的单独部件，这些设备可位于远处和/或被配置用于协同处理。在一些实施方案中，处理器104的一个或多个方面可被虚拟化并且由在云计算配置中配置的可远程访问的联网计算设备来执行。

存储器106可存储神经网络模块108、训练模块110、推断模块112、图像数据库114和预处理模块116。在一些实施方案中，如本文进一步所述，预处理模块116可包括两个模块，包括预处理模块和分割模块。神经网络模块108可至少包括深度学习模型(例如，深度学习(DL)神经网络)，诸如CNN，以及用于实现神经网络以基于输入对输出变换矩阵的指令，如下文所详述。神经网络模块108可包括经训练和/或未经训练的神经网络，并且还可包括与存储在其中的一个或多个神经网络有关的各种数据或元数据。

存储器106还可存储训练模块110，该训练模块可包括用于训练存储在神经网络模块108中的神经网络中的一个或多个神经网络的指令。训练模块110可包括指令，该指令在由处理器104执行时使图像处理系统102执行生成用于训练一个或多个神经网络的训练数据集的方法500的一个或多个步骤，这将在下文参考图4更详细地描述。图3A至图3B的工作流程300和350分别提供用于训练神经网络模型的另外或另选方法。在一些实施方案中，训练模块110可包括用于实现一个或多个梯度下降算法、应用一个或多个损失函数和/或训练例程以用于调整神经网络模块108的一个或多个神经网络的指令。训练模块110可包括用于神经网络模块108的一个或多个神经网络的训练数据集。在一些示例中，训练模块110可位于与图像处理系统不同的设备上，例如与图像处理系统通信耦接的边缘设备、服务器或工作站。

存储器106还存储推断模块112。推断模块112可包括用于部署经训练的深度学习模型(例如，CNN)以基于输入对生成变换矩阵的指令。具体地，推断模块112可包括在由处理器104执行时使图像处理系统102执行图5的方法600的一个或多个步骤的指令，如下文所详述。

存储器106还存储图像数据库114。图像数据库114可包括例如经由X射线成像系统采集的X射线图像。图像数据库114可包括用于训练神经网络模块108的一个或多个神经网络的一个或多个训练集。在一些示例中，图像数据库114可位于与图像处理系统不同的设备上，例如与图像处理系统通信耦接的边缘设备、服务器或工作站。

存储器106还存储预处理模块116。在一些实施方案中，如图3A至图3B中进一步所述，预处理模块116可以是两个单独的模块，包括预处理模块和分割模块。预处理模块和分割模块可包括用于分别预处理和分割采集图像(诸如存储在图像数据库114中的图像)的指令。如图3A至图3B中进一步所述，预处理模块和分割模块可独立地或串联地分别由采集图像生成图像和遮罩，以用于生成变换矩阵和/或计算损失以训练神经网络模型。

在一些实施方案中，存储器106可包括设置在两个或更多个设备上的部件，这些部件可位于远处和/或被配置用于协同处理。在一些实施方案中，存储器106的一个或多个方面可包括在云计算配置中配置的可远程访问的联网存储设备。

用户输入设备132可包括触摸屏、键盘、鼠标、触控板、运动感测相机或被配置为使得用户能够与图像处理系统102内的数据交互并操纵该数据的其他设备中的一者或多者。在一个示例中，用户输入设备132可使得用户能够选择图像以用于训练机器学习模型，或者用于使用经训练的机器学习模型进行进一步处理。

显示设备134可包括利用几乎任何类型的技术的一个或多个显示设备。在一些实施方案中，显示设备134可包括计算机监视器，并且可显示超声图像。显示设备134可与处理器104、存储器106和/或用户输入设备132一起组合在共享壳体中，或者可以是外围显示设备，并且可包括监视器、触摸屏、投影仪或本领域中已知的其他显示设备，该显示设备可使得用户能够查看由X射线成像系统生成的X射线图像和/或与存储在存储器106中的各种数据进行交互。

应当理解，图1中示出的图像处理系统102是出于说明而非限制的目的。另一种合适的图像处理系统可以包括更多、更少或不同的部件。

参见图2，示出了用于变换矩阵预测网络(TMPN)的训练和实现系统200的示例。训练和实现系统200可由诸如图1的图像处理系统102的图像处理系统中的一个或多个来实现，以将诸如CNN的DL神经网络训练成基于输入对生成变换矩阵。在一个实施方案中，训练和实现系统200包括要训练的神经网络模块240，它可以是图像处理系统的神经网络训练模块208的一部分。虽然在本文中被描述为一个系统，但训练和实现系统200的训练工作流和实现工作流可以是单独的工作流，并且可存储在不同系统上并由不同模块来实现，如本文进一步所述。可对可存储在数据模块210中的多个训练数据集训练神经网络模块240。每个训练数据集242可包括多个训练对和地面真值目标数据。

在一个实施方案中，每个训练对可包括第一图像和基于第一图像的第一遮罩。例如，第一训练对包括第一图像244和第一遮罩246。第二训练对包括第二图像245和第二遮罩247。第一图像244和第二图像245可以是由成像设备采集的医学图像。例如，医学图像可以是在检查患者的一个或多个解剖结构期间由X射线成像系统采集的X射线图像。第一图像244和第二图像245中的每一者可捕获感兴趣区域(ROI)诸如解剖结构(例如，脊柱)的不同视图。例如，ROI可以是存在于第一图像244和第二图像245两者中的刚性结构。在另一个示例中，可基于所选择的成像方案来识别ROI，其中所选择的成像方案指示至少部分地存在于第一图像244和第二图像245两者中的预定义区域，诸如脊柱、胫骨、肋骨等。此外，第一图像244可捕获对象的第一视场(FOV)并且第二图像245可捕获对象的第二FOV，其中第一FOV和第二FOV部分重叠并且第一FOV和第二FOV中的每一者部分地或完整地包括ROI。因此，第一图像244和第二图像245的拼接可生成包括完整ROI的单个图像，如本文进一步所述。

训练数据集242的第一图像244、第一遮罩246，第二图像245和第二遮罩247可从训练图像数据集228获得。训练图像数据集228可以是由对对象执行的检查生成的图像处理系统的图像数据集，或者训练图像数据集228可以是诸如医学图像的公共数据集的外部图像数据集。训练图像数据集228可存储在图像数据库214中，诸如图1的图像数据库114。

在各种实施方案中，数据集生成器230可选择第一图像244、第一遮罩246、第二图像245和第二遮罩247并将它们分组为训练数据集242。数据集生成器230可通过以下方式生成训练数据集：选择第一图像(例如，第一图像244)和第二图像(例如，第二图像245)，其中第一图像和第二图像包括相同的ROI并重叠至少一定的重叠量；然后将第一图像指定为第一图像244并将第二图像指定为第二图像245。此外，数据集生成器230可预处理第一图像244和第二图像245以减小差异并增大第一图像和第二图像之间的对应性，如图3A至图3B所述。

第一遮罩246可基于第一图像244生成，并且第二遮罩247可基于第二图像245生成。第一遮罩246和第二遮罩247中的每一者都可通过分割模型、计算机视觉或用户注释生成，如本文进一步所述。数据集生成器230可分割第一图像244和第二图像245，以基于相应的图像生成第一遮罩246和第二遮罩247。可由被训练成识别图像的ROI并“分割”图像内的ROI的基于AI的模型(例如，神经网络)来执行分割。分割模块可专用于单一类型的ROI(例如，脊柱、腿骨、植入物)。例如，图像的ROI类型可由图像处理系统的用户来选择(例如，基于所选择的扫描方案)。分割模块可随后识别并分割每个图像的ROI。图像处理系统可被配置为检测何时选择了不正确的扫描方案，例如，何时由于所选择的分割模型用于与图像中存在的ROI不同的ROI而不能通过分割图像来生成遮罩。例如，第一遮罩246可基于第一图像244生成，其中第一遮罩246被配置为识别ROI。第二遮罩247可基于第二图像245生成，其中第二遮罩247被配置为识别ROI。另选地，可通过用户注释或基于计算机视觉的模型来生成遮罩。

遮罩可包括用于ROI中的所有像素的某个像素值(例如，为1的像素值)和用于ROI外的所有像素的不同像素值(例如，为0的像素值)。遮罩可作为输入与第一图像244和第二图像245一起输入模型，例如第一遮罩246可与第一图像244连接并且第二遮罩247可与第二图像245连接，使得每个输入包括两层，一层包括图像像素值并且另一层包括遮罩值。遮罩层可通知神经网络模块240来自图像(例如，由遮罩限定的ROI中)的空间对应像素值对于确定变换矩阵更重要。在其他示例中，每个遮罩可通知神经网络模块不评估图像(例如，由遮罩限定的ROI外)的某些区域。这样，可将网络训练成仅将滤波器应用于图像的包含ROI中的至少一些的部分。在又一些示例中，可仅使用一个遮罩(例如，第一遮罩246)。

另外，训练数据集242的训练对(例如，第一训练对和第二训练对)可分配有地面真值248。训练数据集242的地面真值248可以是地面真值变换矩阵，其中变换矩阵包括指示水平偏移和/或垂直偏移、歪斜，缩放和/或旋转的偏移向量，这些偏移向量可应用于第一图像244和第二图像245中的至少一者以将第一图像244和第二图像245拼接在一起且ROI没有失真。

训练和实现系统200可用于训练神经网络模块240学习识别输入图像(例如，部分地存在于输入图像中的每一者中的ROI)之间的对应性并预测便于有利于图像拼接的变换矩阵。在一个示例中，神经网络模块240可存储在神经网络训练模块208中并被配置为从数据模块210接收训练数据集242，其中第一图像244、第一遮罩246、第二图像245和第二遮罩247被输入神经网络模块240中以基于其生成变换矩阵(例如，包括偏移向量)。所生成的变换矩阵和地面真值248可用于改进神经网络模块240，如图3A中进一步所述。在第二示例中，第一图像244和第二图像245被输入神经网络模块240中以生成预测变换矩阵，并且第一遮罩246和第二遮罩247可用于缩放地面真值248与预测变换矩阵之间的计算出的损失，如图3B中进一步所述。

神经网络训练模块208还可包括验证神经网络模块240的性能的验证器250。验证器250可将经部分训练的神经网络模块240、神经网络模块240的输出(例如，基于训练数据集242的变换矩阵)和训练数据集242(包括地面真值248(例如，地面真值变换矩阵))作为输入。验证器250可使用变换矩阵来拼接第一图像(例如，第一图像244)和第二图像(例如，第二图像245)以生成拼接图像。验证器250可随后将拼接图像与地面真值248进行比较以计算损失，并且使用计算出的损失来调整神经网络模块240的权重和偏置。在另一个示例中，验证器250可将变换矩阵与地面真值248(例如，地面真值变换矩阵)进行比较以计算损失，并且使用计算出的损失来调整神经网络模块240的权重和偏置。

例如，可用训练数据集242中的50个集的测试数据集来验证图像处理系统的经部分训练的神经网络模块240，其中训练数据集242中的50个集中的每个集包括对象的第一图像和对象的第二图像。训练数据集242中的50个集中的每个集可包括同一对象的来自不同FOV的图像或不同对象的图像。可在第一视场(FOV)处采集第一图像，并且可在不同于第一FOV的第二FOV处采集第二图像。第一图像和第二图像中的每一者可包括ROI的至少一部分，使得当第一图像和第二图像重叠时存在ROI的重叠。验证器250可将第一图像和第二图像馈送到经部分训练的神经网络模块240中，并且接收可用于将第一图像和第二图像拼接成单个图像的预测变换矩阵。在一些示例中，验证器还可将第一遮罩和第二遮罩馈送到经部分训练的神经网络模块240中。验证器250可随后将单个拼接图像与地面真值248进行比较，地面真值可由专家来估计(例如，第一图像和第二图像的手动拼接图像)。验证器250可随后迭代地调整神经网络模块240的一个或多个参数(例如，权重和偏置)，以便基于预测变换矩阵最小化两个或更多个损失函数，直到误差率降至低于第一阈值误差率。如果单个拼接图像(例如，基于预测变换矩阵)与地面真值之间的误差低于阈值误差，则经部分训练的神经网络模块240可被验证并确定为是经完全训练的，神经网络训练模块208可输出经训练/经验证的神经网络模块260，并且训练阶段可结束。

训练和实现系统200可包括推断模块212，该推断模块包括经训练/经验证的神经网络模块260(例如，如上所述已被验证器250验证的神经网络240)。推断模块212还可包括用于部署经训练/经验证的神经网络模块260以为输入数据222的一个或多个集生成一个或多个变换矩阵270的指令。

在一些实施方案中，如下文参考图5所详述，输入数据222的一个或多个新集可包括第一图像224和第二图像225。第一图像224和第二图像225中的每一者都可以是已被预处理的采集图像220的结果，如下文进一步所述。例如，采集图像220可在对象的检查期间经由诸如X射线成像系统的成像设备218进行采集，并且可存储在图像数据库214中。类似于训练数据集242的第一图像244和第二图像245，第一图像224和第二图像225可各自在对象的不同FOV处采集，各自包括ROI的至少一部分，使得当第一图像224和第二图像225重叠时存在ROI的重叠。

预处理模块216还可包括用于预处理采集图像220的指令。预处理采集图像220可类似于训练数据集242的预处理图像，如上文和图3A至图3B中所述。简而言之，可对采集图像220进行预处理，以最小化图像对(例如，第一图像224和第二图像225)之间的差异并且出于图像配准目的而最大化对应性。例如，预处理可包括调整一个或两个图像的亮度或对比度，使得两个图像具有相似的对比度和亮度。

如上所述，可将输入数据222输入到经训练/经验证的神经网络模块260中以生成变换矩阵270。在一些示例中，对神经网络模块240进行验证以得到经训练/经验证的神经网络模块260可指示神经网络模块经充分训练以预测变换矩阵。另外地或另选地，经训练/经验证的神经网络模块260可输出线性偏移向量而不是变换矩阵。

变换矩阵270可包括指示例如水平偏移和垂直偏移以及旋转、歪斜、缩放等的偏移向量，可应用这些偏移向量以配准和拼接第一图像224和第二图像225。因此，应用变换矩阵270，使得图像对中的图像(例如，第一图像224和第二图像225)可拼接为单个图像，并且第一图像或第二图像的要素没有失真。因此，在第一图像224和第二图像225的每一者中部分地示出的完整ROI在拼接图像中完整地示出。关于用于图像拼接的变换矩阵的应用的进一步细节描述于图5中。

图3A示出了用于使用包括图像和遮罩的输入对来训练TMPN以生成变换矩阵的示例性工作流300。图3B示出了用于使用图像来训练TMPN以生成预测偏移向量(例如，变换矩阵的预测偏移向量)以及使用遮罩和地面真值偏移向量来改进预测偏移向量的示例性工作流350。图3A至图3B将在本文中同时描述。

采集图像(例如，图2的采集图像220)可作为原始数字成医学像和通信(DICOM)图像302从诸如X射线成像系统的成像设备采集，但其他图像格式也在本申请的范围内。原始DICOM图像302可包含从成像设备采集的图像和将图像链接到相应患者的标识数据。图像可通过所应用的准直方法来采集，其中X射线成像系统的X射线束可被限制在由X射线成像系统的用户限定的区域中。X射线束的准直可对不需要的区域(例如，X射线束被限制的区域以外的区域)减小患者剂量(例如，X射线束暴露量)。另外，准直可通过排除不需要的区域来减少X射线束的散射，这继而可提高X射线图像的图像质量(例如，清晰度)。使用准直方法采集的图像可因此包括准直边界，其中准直边界内的图像数据(例如，X射线束被限制的区域的图像数据)可比准直边界外的图像数据更亮并且具有更高的分辨率。工作流300和工作流350可包括准直去除304，其中采集图像(例如原始DICOM图像302)的在准直边界外的区域被裁剪出图像，其中所得图像显示非准直图像数据(例如，准直边界内的图像数据)。所得图像可包括包含原始DICOM图像302的用户定义解剖区域的图像数据。

所得图像可由预处理模块306预处理以生成图像308并且由分割模块316分割以生成遮罩318。预处理可包括调整图像的亮度或对比度，使得当输入到具有第二图像的TMPN中时，两个图像具有相似的对比度和亮度。在一个示例中，图像亮度和/或对比度可以是例如由TMPN的参数设置的预定量。在另一个示例中，图像亮度和/或对比度值可由用户输入图像处理系统，并且预处理模块可将每个图像的亮度和/或对比度调整成相等的输入值。预处理还可包括对图像进行另外的或不同的调整，以减小差异并增大要输入到TMPN 320中的图像对中的图像(例如，具有相同ROI并且部分FOV重叠的第一图像和第二图像)之间的对应性。

遮罩318被配置为识别(例如，通过将遮罩中的像素值设置为零)图像308的在ROI外的所有像素。这样，当在训练期间使用遮罩318时，通知CNN(例如，TMPN)输入图像的哪些像素对于生成变换矩阵/偏移向量是重要的。这样，CNN可被训练成依赖于用于生成变换矩阵的ROI而不是ROI外的图像数据。

在一个示例中，预处理模块306和分割模块316可以是单个模块。在另一个示例中，预处理模块306和分割模块316可以是单独的模块。在任一示例中，可以不包括分割模块316，并且可使用相应图像的计算机视觉或用户注释来生成遮罩318。

在一个示例中，诸如工作流300中所示，所得图像308和遮罩318可以是训练对310。训练对310可以是图2的训练数据集242的两个训练对中的一个。在工作流300中，训练对310可与第二训练对(例如，使用工作流300或不同的工作流生成的)一起输入到TMPN 320中以计算损失322。

在另一个示例中，诸如工作流350中所示，所得图像308可输入到TMPN 320中以生成偏移向量323。例如，当训练TMPN 320时，将第一图像308输入到TMPN 320中可得到预测偏移向量324。可将可等同于图2的地面真值248的地面真值偏移向量326与预测偏移向量324进行比较以计算TMPN 320的损失328。计算损失328可包括使用遮罩318来缩放损失函数值，使得损失328的计算基于ROI内的图像数据，如由遮罩318限定的那些。例如，可应用遮罩318以使与ROI外的区域相关联的损失归零，使得仅与ROI、腿骨、脊柱等相关联的损失将被用于该损失，并且因此网络的参数将暗中学习对这些区域进行优先级排序。在一个示例中，由CNN输出的预测偏移向量可用于移动输入图像，地面真值偏移向量可用于移动同一图像，然后可确定第一移动图像与第二移动图像之间的差异。可随后使用遮罩，不是比较图像的所有区域处的像素值的所有差异，而是仅考虑图像的非遮罩区域中的差异。

工作流300和工作流350示出了TMPN 320的训练。例如，可实现工作流350至少两次以生成两个图像308，其中每个图像具有对象的不同FOV，每个FOV包括公共ROI。损失328可用来训练TMPN 320，使得预测偏移向量324可等于地面真值偏移向量326。可随后实现经训练的TMPN320以基于输入图像对生成变换矩阵。

类似于工作流300和工作流350的工作流可应用于TMPN 320的实现，如图5中进一步所述。然而，遮罩可仅在训练期间使用，例如，如工作流300和工作流350中所示，并且可以不在经训练的TMPN的推断期间使用。工作流300和工作流350的在将图像308输入到TMPN320中之前的步骤示出了单个图像的处理。可将包括使用上述预处理模块216生成的两个图像(如上所述)并且具有与FOV部分重叠的相同ROI的图像对输入到经训练的神经网络模块中，以基于图像对生成变换矩阵。可随后使用变换矩阵将第一图像和第二图像拼接在一起以形成包括第一图像和第二图像的ROI的拼接图像。拼接图像可输出在显示设备上和/或存储在存储器中。

工作流300和工作流350可以是使用多个训练数据集来训练TMPN320的示例，其中每个训练数据集包括图像对、从该图像对生成的一个遮罩或一对遮罩以及相关联的地面真值，并且其中通过输入图像遮罩对作为模型的输入或通过利用遮罩执行损失缩放来训练模型。TMPN 320可另外地或另选地使用多个增强的训练数据集来训练。可从多个训练数据集中的相应训练数据集生成增强的训练数据集，并且增强的训练数据集包括图像对的增强版本以及与多个训练数据集中的相应训练数据集中相同的相关联的地面真值。图像对的增强版本可包括增强，该增强包括局部图像伽马调整、局部图像亮度调整、异物伪影和重叠调整中的至少一者。在存在异物、胃气、剂量变化等的情况下，可使用一系列增强来训练网络的稳健性。图4中进一步描述了增强的训练数据。这可得到性能稳健的TMPN，其中该方法适用于多种解剖结构、剂量变化等。

训练神经网络模块可因此包括输入，该输入包括输入到AI模型中的第一训练对和第二训练对。第一训练对和第二训练对中的每一者包括图像和基于该图像的遮罩。在一个示例中，第一训练对和第二训练对的ROI是对象的脊柱。例如，第一训练对可示出脊柱的顶部区域(例如，在对象的肩部附近)，而第二训练对可示出脊柱的中间/底部区域(例如，在对象的胃部和臀部附近)。如上所述，遮罩被配置为对ROI外的相应图像的像素进行遮蔽。例如，相应图像的遮罩遮蔽了示出脊柱以外的解剖结构的图像的像素，使得当将相应遮罩应用于AI模型中的图像时，可仅对描绘脊柱的图像数据执行卷积。

AI模型在本文中被称为TMPN并且可包括至少一个DL神经网络结构。例如，DL神经网络可以是Siamese孪生和回归神经网络、Homography网、CNN或另一合适的模型。AI模型还对两个或更多个损失进行训练，这些损失可包括网格损失、均方差(MSE)/均方根误差(RMSE)和基于位置的损失。可使用一个或多个损失函数和正则化的组合来确保回归。例如，网格损失可与MSE结合使用以增大仿射参数的预测的准确性，其中网格损失可确保变换的总体刚性。因为变换矩阵可包括多个变换(例如，线性偏移向量、旋转、缩放等)，所以应用多于一个损失函数可能是有利的，因为不同的损失函数可增大变换矩阵的不同变换的预测的准确性。

可实施经训练的AI模型(例如，TMPN)以生成变换矩阵。例如，变换矩阵可包括偏移向量，这可指示要应用于输入(例如，输入的至少一个图像)的水平或垂直偏移、缩放、旋转、歪斜等，使得第一训练对和第二训练对的图像可拼接成单个图像。

图4示出了用于训练TMPN基于输入数据生成变换矩阵的示例性方法500的流程图。方法500可以是用于训练TMPN的图3A至图3B的工作流和方法的示例，并且结合图1的配置有图2的TMPN训练和实现系统的图像处理系统进行描述。方法500和本文所述的其他方法的指令可存储在图像处理系统的存储器中并如本文所述来实施。例如，处理器诸如图1的处理器104可被配置为执行存储在训练模块110中的方法500以训练TMPN。

在502处，方法500包括生成训练数据集，其中，在504处，每个训练数据集包括重叠图像对、遮罩对和地面真值变换矩阵。参考图2至图3B，训练数据集可因此包括两个训练对，每个训练对具有图像和相应遮罩。例如，重叠图像对可包括具有存在于第一图像和第二图像两者中的刚性结构(例如，ROI)的第一图像和第二图像。第一图像和第二图像可各自示出ROI的不同FOV，其中第一图像的第一FOV和第二图像的第二FOV部分重叠。

遮罩对可包括基于第一图像的第一遮罩和基于第二图像的第二遮罩。例如，可使用分割模块诸如图1至图3B中描述的分割模块，通过用户注释或基于计算机视觉的模块基于第一图像生成第一遮罩。可使用生成第一遮罩的方法中的一种方法基于第二图像生成第二遮罩。可使用相同方法或不同方法来生成第一遮罩和第二遮罩。如上所述，遮罩被配置为遮蔽ROI外的相应图像的所有像素(如果遮罩被应用于相应图像)。

地面真值变换矩阵可由用户或该领域的其他专家生成，并且可定义一系列水平偏移、垂直偏移、缩放、歪斜、旋转等，这些可应用于第一图像和第二图像中的至少一者，以在第一图像和第二图像的重叠处将第一图像和第二图像拼接成单个图像。

另外，在502处生成训练数据集可包括在506处生成具有重叠图像对的增强版本的增强训练数据集。增强重叠图像对可包括应用于每个图像(例如，第一图像和第二图像)中的一者或多者的设备相关调整、患者相关调整和过程相关调整中的一者或多者。例如，增强可包括局部图像伽马调整、局部图像亮度调整、夹杂异物伪影、重叠调整等中的至少一者。设备相关变化可包括局部或全局强度变化。患者相关变化可能是夹杂金属伪影。过程相关调整可以是对图像之间的重叠程度进行的调整。除了训练数据集之外还包含增强训练数据集可增加TMPN的准确性和稳健性，使得当输入图像中的至少一者包括异物、胃气、辐射剂量变化等时，TMPN可准确地生成变换矩阵。当图像被增强时，地面真值可以不变化，使得地面真值基于非增强图像。

在508处，方法500包括将可包括训练数据集和增强训练数据集的训练数据输入未经训练的TMPN。在510处，方法500包括使用输入的训练数据来训练TMPN。在514处，训练TMPN包括将每个遮罩与相应图像配对以形成网络的训练输入。在一个示例中，每个遮罩可与相应图像连接并且输入模型作为输入。在其他示例中，遮罩可用于损失缩放并且仅可将图像输入模型。

在516处，训练TMPN还包括使用两个或更多个损失函数来计算输出层与地面真值变换矩阵之间的损失。例如，损失函数可包括网格损失、MSE/RMSE和基于位置的损失。输出层可以是由TMPN生成的变换矩阵并且可包括水平偏移、垂直偏移、旋转、歪斜和/或缩放。地面真值变换矩阵可通过用户注释、基于计算机视觉的模块或不同于TMPN的另一种变换矩阵生成方法生成。例如，当通过用户注释生成时，可将图像手动拼接在一起，并且可使用计算机程序生成可用于拼接图像以得到与手动拼接图像相等的所得拼接图像的变换矩阵。地面真值变换矩阵可包括一个或多个水平偏移、垂直偏移、旋转、歪斜和缩放，当应用于图像对中的图像中的至少一者(例如，第一图像和第二图像中的至少一者)时，这可允许将图像拼接成包括完整ROI(例如，其部分地显示在第一图像和第二图像中的每一者的不同FOV中)的单个图像。这样，地面真值变换矩阵可被识别为当被应用时准确地拼接输入图像的变换。通过计算输出层与地面真值变换矩阵之间的损失，可确定输出层变换矩阵的精度并因此确定TMPN的准确度。

在518处，方法500包括基于损失来更新TMPN的权重和偏置。这样，TMPN可被改进，使得所生成的变换矩阵可用于将输入图像准确地拼接成包括完整ROI的单个拼接图像。在执行卷积之后，在518处，可基于在516处计算出的损失并基于相应遮罩的应用来更新TMPN的权重和偏置。例如，可应用相应遮罩来缩放损失函数值，使得使用基于如相应遮罩所定义的ROI内的图像数据计算出的损失来对权重和偏置进行更新。

如本文所解释，变换矩阵可包括多个变换(例如，六个变换)。然而，在一些示例中，一些变换对于拼接图像可能比其他变换更重要。为了简化训练，可“遮蔽”变换矩阵的一个或多个参数，以便从所得变换矩阵中去除那些参数。例如，在一些情况下，向上或向下平移图像(y轴平移)可能是优先的，并且在这种情况下，可通过忽略/设置不影响y轴平移的零变换矩阵参数来简化训练。

方法500返回以开始重复并进一步训练TMPN。可用多个训练数据集和增强训练数据集来训练TMPN。在一个示例中，可基于损失来更新TMPN的权重和偏置，直到来自损失的误差低于阈值，在该阈值处确定由TMPN生成的变换矩阵足够准确(例如，拼接图像的ROI可由用户或其他方法来解释并且用于患者诊断或治疗)。在另一个示例中，可针对一定数量的训练数据集和增强训练数据集(例如，1000个训练数据集)来更新权重和偏置，在这之后可确定TMPN已被训练并且可被实现以生成用于拼接图像的变换矩阵。

在已训练TMPN之后，可实现TMPN以生成用于输入图像对的变换矩阵，其中输入图像对中的图像示出了ROI的不同FOV，其中FOV部分重叠。图5示出了用于实现经训练的TMPN的示例性方法600的流程图。方法600可由图1的推断模块112实现。

在602处，方法600包括生成输入数据。输入数据可由用第一采集图像和第二采集图像(诸如图2的采集图像220和/或图3A至图3B的原始DICOM图像302)生成。第一采集图像和第二采集图像可包括重叠图像对，其中第一采集图像的FOV和第二采集图像的FOV部分重叠。

第一采集图像和第二采集图像中的每一者可被预处理，如图3A至图3B所述，以识别ROI。在604处，为重叠图像对中的第一采集图像和第二采集图像识别ROI。在一个示例中，可基于所选择的成像方案来识别ROI，其中成像设备的用户可选择解剖结构作为ROI。如上所述，ROI是存在于两个图像中的刚性结构。预处理可进一步减小第一采集图像和第二采集图像之间的差异并增大其对应性(例如，均衡对比度、亮度等)以分别得到第一图像和第二图像。输入数据被定义为重叠图像对(例如，预处理的第一采集图像和预处理的第二采集图像)。在用一个或多个遮罩作为输入来训练TMPN的示例中(例如，如在图3A的工作流程中)，在推断期间输入的输入数据可包括一个或多个零矩阵。例如，每个图像可与零矩阵配对/连接，使得TMPN接收基于训练的预期输入，但是输入“遮罩”不包括信息，例如，图像与遮罩的预期大小的一个或多个矩阵一起输入，但具有全零值而不是有意义的值。

在610处，方法600包括将输入数据输入到经训练的TMPN中。例如，TMPN可通过图3A至图5中描述的方法中的至少一种方法进行训练。在TMPN配置有CNN的情况下，可对图像执行卷积。经训练的TMPN基于输入数据输出变换矩阵，其中变换矩阵包括水平偏移、垂直偏移、旋转、歪斜和缩放中的一者或多者。

在612处，第一图像和第二图像基于变换矩阵被拼接在一起。第一图像和第二图像的拼接可包括将变换矩阵的一个或多个水平偏移、垂直偏移、旋转、歪斜和缩放应用于第一图像和第二图像中的至少一者。在一个示例中，对第一帧的水平偏移和缩放可应用于第一图像，而对第二帧(例如，比第一帧宽)的垂直偏移和缩放可应用于第二图像。将变换矩阵应用于第一图像和第二图像中的至少一者可允许图像的重叠区域对准，使得完整ROI(例如，在第一图像和第二图像中的每一者中部分示出的ROI)可以ROI不会失真的方式显示在拼接图像中。

可使用本文所述的方法将两个以上图像拼接在一起。在可使用如上所述生成的变换矩阵将n个图像拼接在一起的一个示例中，对于从图像1到图像n的图像系列，拼接包括初始拼接图像的顶部是图像1。对于下面的图像，偏移向量指示相邻图像之间的垂直偏移和水平偏移。拼接图像的总长度是图像1和图像n之间的图像的垂直尺寸的总和减去图像1和图像n之间的图像的垂直方向偏移向量的总和。拼接图像的左手侧是初始拼接图像中最右边的左子图像边缘。拼接图像的右手侧是初始拼接图像中最左边的右子图像边缘。

在614处，拼接图像被输出到显示设备(诸如显示设备134)，和/或存储在存储器上(例如存储在图1的图像数据库114中)。这样，可使用由图像生成的变换矩阵将显示具有不同的部分重叠的FOV的ROI的局部视图的输入图像拼接在一起，使得ROI完整显示在经拼接的单个图像上且ROI没有失真。

图5中描述的方法可以是实现TMPN以生成变换矩阵的一个示例。本文所述的其中图像被输入到被训练成基于图像输出变换矩阵的模型中的方法可使用另外或另选的方法实现。例如，TMPN可使用卷积块以及池化、归一化和注意力来预测变换矩阵。另外地或另选地，可用至少一个辅助任务来训练TMPN，例如以分类解剖视图，这可用于改进TMPN。辅助任务的添加可包括到网络的辅助输出，其中神经网络的附加层以辅助任务为目标。在该示例中，输入可能没有变化(例如，训练数据与没有辅助任务的TMPN训练相同)。可包括附加地面真值数据用于训练辅助任务。例如，可用第一任务(例如，生成变换矩阵)和辅助任务的线性组合来训练TMPN。辅助任务可对输入图像提供附加注意力以提高第一任务的性能。辅助任务还可解决附加的下游任务，诸如视图分类(例如，正面、侧面等)。辅助任务的添加独立于网络，并且可与任何深度学习模型(例如，Siamese孪生和回归神经网络、Homography网、CNN或另一合适的模型)一起使用。

在另一个示例中，TMPN可使用单图像补片方法或多图像补片方法来预测变换矩阵。例如，单图像补片方法可包括将包含解剖标记(例如，脊髓)的单个图像输入到模型诸如配置有CNN或其他AI模型的TMPN中，并且输出单个偏移向量输出。多图像补片方法可包括对多图像对补片进行总体预测(例如，可将每个图像划分成补片并且可对补片的每个相应集进行预测)以使用加权方案来确定最终变换矩阵。在一些示例中，加权方案可生成均值变换矩阵，其中每个图像保持相等的权重。在一个示例中，可使用图像粘贴来并行地粘贴图像(例如，代替将第一图像的底部边缘拼接到第二图像的顶部边缘)。在该示例中，可生成多个变换矩阵以减小或调整输入图像对的不同位置处的视差误差。

在一些示例中，在执行方法600期间，图像处理系统可被配置为检测用户是否选择了用于对患者成像而言不正确的扫描方案。例如，可基于扫描方案来选择包括图像配准和拼接的各种成像系统参数和/或图像后采集处理参数，扫描方案可指示被成像的解剖结构(例如，脊柱、腿等)。如果用户已选择腿部方案而不是对患者的脊柱成像，则图像处理系统可基于分割模块不能识别ROI(例如，腿骨，基于所选择的方案)并且因此TMPN不能输出变换矩阵来检测选择了错误方案。当分割模块不能识别ROI时，可向用户输出指示选择了不正确扫描方案的通知，这可使用户能够选择适当的扫描方案并以针对正确扫描方案定制的期望设置重新扫描患者。

当输入图像各自具有不同的特征时，诸如不同的FOV、图像之间的横向运动、使用不同X射线剂量生成的图像、非刚性伪影的存在、用于识别ROI的方案的不正确选择、低辐射剂量等，用于自动拼接图像的常规方法可能遇到技术挑战。本文所述的用于使用经训练的模型基于重叠图像生成变换矩阵并基于该变换矩阵将图像自动拼接在一起以形成拼接图像的方法包括训练所述模型(例如，TMPN)，使得TMPN能够容忍前述挑战。图6A至图6D示出了比较使用常规图像自动粘贴方法生成的自动粘贴(例如，拼接)图像和通过手动粘贴生成的图像的示例性图像。

图6A示出了比较针对X射线图像对的自动粘贴702和手动粘贴704的示例性图像700，其中横向运动超出常规算法的横向运动容差。横向运动可被定义为水平方向上的运动。在发生横向运动的情况下，由常规方法执行的图像的自动粘贴702可能导致不准确的图像配准。例如，被成像的对象(例如患者)可能在第一图像的捕获和第二图像的捕获之间移动。横向移动可能是由于对象的物理移动或成像设备的移动，诸如框住要被不同地成像的区域(例如，由圆圈706所示)或捕获该区域的偏移视图。当横向运动超过第一偏移阈值(例如，5cm)时，常规图像自动粘贴算法可能导致偏移图像，如自动粘贴702所示。已被自动粘贴702的相同图像的手动粘贴704显示第一图像和第二图像正确对准。如自动粘贴702中的圆圈706所示，拼接的第一图像和第二图像可能偏移。在手动粘贴704中，拼接的第一图像和第二图像可能对准，如圆圈706所示。本文所公开的用于生成变换矩阵并基于所生成的变换矩阵将第一图像和第二图像拼接在一起的方法可被训练成适应任意横向偏移。例如，可针对宽泛范围的水平偏移值和垂直偏移值(例如，容许大于5cm的水平偏移和垂直偏移)来训练本文所述的方法。这样，变换矩阵预测网络可生成在被应用于第一图像和第二图像中的至少一者时可拼接第一图像和第二图像以使得感兴趣区域对准的变换矩阵，类似于示例性图像700的手动粘贴704所示。

另外，将所公开的方法训练成适应任意横向偏移可允许该方法生成针对图像对(例如，第一图像对和第二图像对)的变换矩阵，其中图像对中的图像具有低重叠。例如，低重叠可能是第一图像的第一FOV和第二图像的第二FOV重叠约3.5cm。这样，可在减少对患者的辐射剂量的同时执行该方法，例如，可捕获其间具有低重叠的更少图像，以对通过常规方法使用具有更大(例如，大于或等于4.5cm)重叠的更多图像捕获的区域进行成像。

图6B示出了比较针对包括诸如胃气(例如，示于圆圈712中)的非刚性伪影的X射线图像的自动粘贴708和手动粘贴710的示例性图像720。用于自动拼接图像的常规方法可能是基于搜索的并且可能没有被训练成补偿图像内的非刚性伪影。例如，诸如胃气的非刚性伪影可在图像捕获之间和期间移动并改变形状/体积。因此，当实施常规图像自动拼接方法时，第一图像和第二图像在自动粘贴708时可能配准不良。在图像捕获的至少一部分期间可能被非刚性伪影部分或完全遮挡的第一图像和第二图像内的结构可能配准不良。手动粘贴710示出了第一图像和第二图像的拼接图像，其中尽管存在非刚性伪影，但感兴趣区域被对准。本文所公开的用于生成变换矩阵并基于该变换矩阵将第一图像与第二图像拼接在一起的方法可被训练成适应包括胃气的非刚性伪影，使得变换矩阵预测网络可生成在被应用于第一图像和第二图像中的至少一者时可拼接第一图像和第二图像以使得感兴趣区域对准的变换矩阵，类似于示例性图像720的手动粘贴710所示。

图6C示出了比较针对使用常规图像自动粘贴方法的不正确方案选择拍摄的X射线图像对的自动粘贴714和手动粘贴716的示例性图像740。在图6C的示例中，选择用于将第一图像和第二图像拼接在一起的腿部方案，其中ROI是脊柱。因此，脊柱方案可包括针对腿部方案中不存在的脊柱特征的特征查找器和/或搜索框提取。当选择了不正确的方案时，自动粘贴714可能导致配准不良，如圆圈718所示。手动粘贴716显示所得拼接图像，其中第一图像和第二图像已被正确配准，如圆圈718所示。本文所公开的用于生成变换矩阵并基于该变换矩阵将第一图像和第二图像拼接在一起的方法可被训练成对于所选择的方案是不变的，并且例如在对象扫描图像捕获和/或自动拼接期间对于不正确的方案选择是稳健的。这样，所生成的变换矩阵预测网络可生成在被应用于第一图像和第二图像中的至少一者时可拼接第一图像和第二图像以使得感兴趣区域对准的变换矩阵，类似于示例性图像740的手动粘贴716所示。

图6D示出了包括异物的示例性X射线图像760。视差伪影和异物的组合示于第一图像722中，该第一图像是使用常规图像自动粘贴方法将第一图像和第二图像拼接在一起的结果。例如，圆圈724显示X射线图像中的金属件，该图像在拼接第一图像和第二图像时可能已被正确粘贴。圆圈726显示椎骨配准不良(例如，不准确的粘贴)，这可能是由于在圆圈724中存在金属件。第二图像728示出了多个异物，例如围绕骨盆的金属附件，这可能导致常规图像自动粘贴方法不能将第一图像和第二图像拼接成正确配准的最终图像。异物可与植入的金属或起搏器区分开，从而可在一些实施方案中将图像自动粘贴方法训练成从粘贴系列中去除异物。在其他实施方案中，可有意地将图像自动粘贴方法训练成不去除可帮助由用户限定的测量的异物，诸如例如测量工具或引导标志。本文所公开的用于生成变换矩阵并基于该变换矩阵将第一图像和第二图像拼接在一起的方法可被训练为对于已知异物是不变的并且在获得配准向量(诸如变换矩阵的偏移向量)时改为考虑椎骨。这样，所生成的变换矩阵预测网络可生成在被应用于第一图像和第二图像中的至少一者时可拼接第一图像和第二图像以使得感兴趣区域对准的变换矩阵。

通过将变换矩阵预测网络训练成补偿剂量不变性和低辐射剂量，可解决进一步的临床挑战。例如，如图4所述的包括具有伽马调整的增强训练数据集可将TMPN训练成容忍剂量不变性和低辐射。另外地或另选地，用于训练TMPN的训练对可包括以不同剂量捕获的图像。这样，TMPN可被训练成拼接具有变化剂量水平的图像(例如，具有第一剂量水平的第一图像和具有第二剂量水平的第二图像)。

图7示出了根据本公开的方法的比较输入图像对的图像810和所得拼接图像820的示例性图像800。第一图像802示出了脊柱的顶部部分的X射线图像，并且第二图像804示出脊柱的下部部分的X射线图像。第一图像802和第二图像804根据上述方法拼接在一起成为单个拼接图像820。拼接图像820示出了脊柱的对准的椎骨。此外，第一图像802的部分812未示于拼接图像820的第一图像802区域中，因为第二图像的部分812和部分814是重叠的FOV区域(例如，部分814与部分812重叠)，因此是其中第一图像802和第二图像804被拼接的区域。

训练和实现深度神经网络模型以基于第一图像和第二图像生成变换矩阵以及使用变换矩阵将第一图像和第二图像拼接在一起的技术效果包括减小的操作者误差、与手动拼接图像相比自动拼接X射线图像对的更高准确度、降低的操作者训练成本以及增大的患者诊断效率。该方法还针对扫描之间的低重叠、非刚性对象、异物和横向偏移进行训练，使得可降低对患者的辐射剂量。因此，所公开的模型可在存在前述挑战(例如，低重叠、横向偏移等)的情况下对准并拼接图像，这可导致较少的图像重拍，从而可通过减少图像的捕获、配准和拼接次数来提高X射线系统和执行该模型的计算设备的效率。

本公开还提供对一种方法的支持，该方法包括：将对象的第一图像和对象的第二图像输入被训练成基于第一图像和第二图像输出变换矩阵的模型，其中模型用多个训练数据集进行训练，每个训练数据集包括图像对、指示感兴趣区域(ROI)的遮罩以及相关联的地面真值；基于变换矩阵将第一图像和第二图像自动拼接在一起以形成拼接图像；以及输出拼接图像以显示在显示设备上和/或将拼接图像存储在存储器中。在该方法的第一示例中，该方法还包括使用分割模型、计算机视觉或用户注释基于来自图像对的图像生成遮罩。在该方法的任选地包括第一示例的第二示例中，每个训练数据集还包括基于来自图像对的另一个图像生成的第二遮罩。在该方法的任选地包括第一示例和第二示例中的一者或两者的第三示例中，ROI是存在于图像对的两个图像中的刚性结构。在该方法的任选地包括第一示例至第三示例中的一者或多者或每一者的第四示例中，模型是使用两个或更多个损失函数训练的卷积神经网络(CNN)。在该方法的任选地包括第一示例至第四示例中的一者或多者或每一者的第五示例中，每个遮罩与图像对中的对应图像配对以形成CNN的训练输入。在该方法的任选地包括第一示例至第五示例中的一者或多者或每一者的第六示例中，遮罩用于在训练期间缩放损失函数值。在该方法的任选地包括第一示例至第六示例中的一者或多者或每一者的第七示例中，地面真值包括基于图像对生成的训练变换矩阵，其中模型使用两个或更多个损失函数进行训练，并且其中两个或更多个损失函数包括网格损失、基于位置的损失和均方差损失中的两者或多者。在该方法的任选地包括第一示例至第七示例中的一者或多者或每一者的第八示例中，多个训练数据集包括数据增强，该数据增强包括应用于一个或多个图像的设备相关调整、患者相关调整和过程相关调整中的一者或多者。在该方法的任选地包括第一示例至第八示例中的一者或多者或每一者的第九示例中，变换矩阵包括水平偏移、垂直偏移、旋转、歪斜和缩放中的一者或多者。在该方法的任选地包括第一示例至第九示例中的一者或多者或每一者的第十示例中，该方法还包括用：被定位成捕获对象的第一视场(FOV)的成像系统采集第一图像以及用被定位成捕获对象的第二FOV的成像系统采集第二图像，并且其中第一FOV和第二FOV仅部分重叠。在该方法的任选地包括第一示例至第十示例中的一者或多者或每一者的第十一示例中，成像系统是X射线成像系统。

本公开还提供对一种图像处理系统的支持，该图像处理系统包括：深度学习模型，该深度学习模型用多个训练数据集进行训练，每个训练数据集包括图像度、指示图像对中的感兴趣区域(ROI)的遮罩对以及相关联的地面真值；和处理器，该处理器通信地耦接到存储器，该存储器存储深度学习模型并包括指令，该指令在被执行时使处理器：将对象的第一图像和对象的第二图像输入被训练成基于第一图像和第二图像输出变换矩阵的深度学习模型；作为深度学习模型的输出，接收基于第一图像和第二图像的变换矩阵；基于变换矩阵将第一图像和第二图像自动拼接在一起以形成拼接图像；以及输出拼接图像以显示在显示设备上和/或将拼接图像存储在存储器中。在该系统的第一示例中，深度学习模型使用两个或更多个损失函数进行训练。在该系统的任选地包括第一示例的第二示例中，存储器还存储被配置为基于图像对输出遮罩对的分割模型。

本公开还提供对一种用于X射线成像系统的方法的支持，该方法包括：使用X射线成像系统采集对象的第一图像和对象的第二图像；将第一图像和第二图像作为输入而输入被训练成基于第一图像和第二图像输出变换矩阵的模型，其中模型用多个训练数据集进行训练，每个训练数据集包括基于第一训练图像和第二训练图像中的感兴趣区域(ROI)的第一训练图像的第一遮罩和第二训练图像的第二遮罩；基于变换矩阵将第一图像和第二图像自动拼接在一起以形成拼接图像；以及输出拼接图像以显示在显示设备上和/或将拼接图像存储在存储器中。在该方法的第一示例中，使用分割模型、基于计算机视觉的模型或基于用户输入来生成第一遮罩和第二遮罩。在该方法的任选地包括第一示例的第二示例中，通过输入第一训练图像、第二训练图像、第一遮罩和第二遮罩作为模型的输入或通过利用第一遮罩和第二遮罩执行损失缩放来训练模型，并且其中每个训练数据集包括相关联的地面真值。在该方法的任选地包括第一示例和第二示例中的一者或两者的第三示例中，该模型进一步用多个增强训练数据集进行训练，每个增强训练集由多个训练数据集中的相应训练数据集生成并且包括第一训练图像和第二训练图像的增强版本以及与多个训练数据集中的相应训练数据集中相同的相关联的地面真值。在该方法的任选地包括第一至示例第三示例中的一者或多者或每一者的第四示例中，第一训练图像和第二训练图像的增强版本包括增强，该增强包括局部图像伽马调整、局部图像亮度调整、异物伪影和重叠调整中的至少一者。

如本文所用，以单数形式列举并且以单词“一”或“一个”开头的元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明此类排除。此外，对本发明的“一个实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”具有特定特性的元件或多个元件的实施方案可包括不具有该特性的附加此类元件。术语“包括”和“在…中”用作相应的术语“包含”和“其中”的简明语言等同形式。此外，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要求或特定位置次序。

该书面描述使用示例来公开本发明，包括最佳模式，并且还使相关领域中的普通技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明可取得专利权的范围由权利要求书限定，并且可包括本领域普通技术人员想到的其他示例。如果此类其他示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其他示例旨在落入权利要求书的范围内。

Claims (15)

1.一种方法，所述方法包括：

将对象的第一图像和所述对象的第二图像输入被训练成基于所述第一图像和所述第二图像输出变换矩阵的模型，其中所述模型用多个训练数据集进行训练，每个训练数据集包括图像对、指示感兴趣区域(ROI)的遮罩以及相关联的地面真值；

基于所述变换矩阵将所述第一图像和所述第二图像自动拼接在一起以形成拼接图像；以及

输出所述拼接图像以显示在显示设备上和/或将所述拼接图像存储在存储器中。

2.根据权利要求1所述的方法，所述方法还包括使用分割模型、计算机视觉或用户注释基于来自所述图像对的图像生成所述遮罩。

3.根据权利要求2所述的方法，其中每个训练数据集还包括基于来自所述图像对的另一个图像生成的第二遮罩。

4.根据权利要求3所述的方法，其中所述ROI是存在于所述图像对的两个图像中的刚性结构。

5.根据权利要求3所述的方法，其中所述模型是使用两个或更多个损失函数训练的卷积神经网络(CNN)。

6.根据权利要求5所述的方法，其中每个遮罩与所述图像对中的对应图像配对以形成所述CNN的训练输入。

7.根据权利要求1所述的方法，其中所述遮罩用于在训练期间缩放损失函数值。

8.根据权利要求1所述的方法，其中所述地面真值包括基于所述图像对生成的训练变换矩阵，其中所述模型使用两个或更多个损失函数进行训练，并且其中所述两个或更多个损失函数包括网格损失、基于位置的损失和均方差损失中的两者或多者。

9.根据权利要求1所述的方法，其中所述多个训练数据集包括数据增强，所述数据增强包括应用于一个或多个图像的设备相关调整、患者相关调整和过程相关调整中的一者或多者。

10.根据权利要求1所述的方法，其中所述变换矩阵包括水平偏移、垂直偏移、旋转、歪斜和缩放中的一者或多者。

11.根据权利要求1所述的方法，所述方法还包括用被定位成捕获所述对象的第一视场(FOV)的成像系统采集所述第一图像以及用被定位成捕获所述对象的第二FOV的所述成像系统采集所述第二图像，并且其中所述第一FOV和所述第二FOV仅部分重叠。

12.根据权利要求11所述的方法，其中所述成像系统是X射线成像系统。

13.一种图像处理系统，所述图像处理系统包括：

深度学习模型，所述深度学习模型用多个训练数据集进行训练，每个训练数据集包括图像对、指示所述图像对中的感兴趣区域(ROI)的遮罩对以及相关联的地面真值；和

处理器，所述处理器通信地耦接到存储器，所述存储器存储所述深度学习模型并包括指令，所述指令在被执行时使所述处理器：

将对象的第一图像和所述对象的第二图像输入被训练成基于所述第一图像和所述第二图像输出变换矩阵的所述深度学习模型；

作为所述深度学习模型的输出，接收基于所述第一图像和所述第二图像的所述变换矩阵；

基于所述变换矩阵将所述第一图像和所述第二图像自动拼接在一起以形成拼接图像；以及

输出所述拼接图像以显示在显示设备上和/或将所述拼接图像存储在存储器中。

14.根据权利要求13所述的图像处理系统，其中所述深度学习模型使用两个或更多个损失函数进行训练。

15.根据权利要求13所述的图像处理系统，其中所述存储器还存储被配置为基于所述图像对输出所述遮罩对的分割模型。

Images