CN116664476A - 确定医学图像数据中描绘的解剖异常的变化的方法和系统 - Google Patents

Abstract

本发明涉及用于确定医学图像数据中描绘的解剖异常的变化的方法和系统。提供了用于基于患者的医学图像确定患者的解剖区域中的异常的变化的系统和方法。由此，第一医学图像是在第一时间实例获取的并且描绘解剖区域中的至少一个异常，并且患者的解剖区域的第二医学图像是在第二时间实例获取的。本发明的各方面包括以下步骤：生成第一医学图像的第一异常图像，第一异常图像仅描绘一个或更多个异常的第二医学图像的图像区域；生成第二医学图像的第二异常图像，第二异常图像仅描绘一个或更多个异常的第二医学图像的图像区域，如果有的话；比较第一异常图像和第二异常图像；以及基于比较的步骤来确定至少一个异常的变化。

Description

确定医学图像数据中描绘的解剖异常的变化的方法和系统

技术领域

本实施方式涉及医学图像处理，诸如用于x射线图像或计算机断层扫描图像的图像处理。

背景技术

用于后续读取和纵向变化评估的自动图像处理是诸如计算机断层扫描(CT)或磁共振成像(MRI)的医学成像技术中的重要任务。由于识别医学图像中的异常图案并跟踪它们随时间的进展的挑战，识别医学图像中的变化的任务是一个技术问题。例如，对于具有实变的影像学征象的COVID患者的肺部的后续扫描，重要的是实变是否变得更大/更强，或者肺部是否再次开始看起来更清晰。类似地，对于已经在治疗中的病变，如果病变尺寸变得更大、更小或保持相同，则病变是相关的。

由于任务的固有复杂性，检测在两个或更多个时间点处获取的医学图像中的病理变化是困难的。首先，必须识别异常。此外，异常必须彼此相关以便从直接比较来推断变化。此外，异常的变化经常被在不同时间点处获取的医学图像之间的正常变化掩盖或影响。例如，对于患者的肺部或其他器官的后续扫描，诸如呼吸或其他解剖学差异的正常解剖学变化可能掩盖诸如癌结节生长或收缩的病理变化。另外，变化可能源于不同的图像参数，诸如被成像的身体区域略微不同或放大率不同。

发明内容

本发明的目的是提供允许改进的方式来从患者的医学图像数据确定异常的变化的方法和系统。特别地，本发明的目的是提供能够确定在不同时间实例拍摄的患者的后续医学图像数据集之间的异常的变化的方法和系统。

该目的通过根据独立权利要求的用于确定患者的解剖区域的图像数据中的异常的变化的方法、对应的系统、对应的计算机程序产品和计算机可读存储介质来解决。替选的和/或优选的实施方式是从属权利要求的目的。

下面，关于要求保护的装置以及关于要求保护的方法来描述根据本发明的技术方案。在此描述的特征、优点或替选实施方式同样可以被分配到其他要求保护的对象，反之亦然。换句话说，解决本发明方法的权利要求可以通过关于装置描述或要求保护的特征来改进。在这种情况下，例如该方法的功能特征通过该装置的目标单元或元件来实现。

根据第一方面，提供了一种用于确定患者的解剖区域中的异常的变化的计算机实现的方法。换句话说，提供了一种用于确定患者的解剖区域的图像数据中描绘的异常的变化的方法。该方法包括多个步骤。第一步骤旨在接收患者的解剖区域的第一医学图像，第一医学图像是在第一时间实例获取的，并且描绘该解剖区域中的至少一个异常。另一步骤旨在接收患者的解剖区域的第二医学图像，第二医学图像是在第二时间实例获取的。另一步骤旨在提供分解函数，该分解函数被配置成从具有一个或更多个异常的解剖区域的医学图像提取仅描绘异常的异常图像(一个或更多个异常的医学图像的图像区域)。又一步骤旨在通过将分解函数应用于第一医学图像来生成第一医学图像的第一异常图像。又一步骤旨在通过将分解函数应用于第二医学图像来生成第二医学图像的第二异常图像。又一步骤旨在比较第一异常图像和第二异常图像。又一步骤旨在基于比较的步骤来确定至少一个异常的变化。

特别地，第一医学图像和第二医学图像可以是二维图像。特别地，第一医学图像和第二医学图像可以是三维图像。特别地，第一医学图像和第二医学图像可以是四维图像，其中，存在三个空间维度和一个时间维度。

特别地，医学图像的类型与用于获取医学图像的医学成像装置的类型有关。例如，第一X射线图像和第二X射线图像是相同类型的，即使第一X射线图像和第二X射线图像由不同的X射线成像装置记录。特别地，如果第一医学图像和第二医学图像对应于人体中的相同解剖区域(或感兴趣区域)，则第一医学图像和第二医学图像是相同类型的。例如，人肺部的第一X射线图像和人膝盖的第二X射线图像不是相同类型的，即使第一X射线图像和第二X射线图像涉及相同的患者。

特别地，医学图像的类型可以由用于创建医学图像的模态和由作为医学图像的对象的解剖区域来表征。可选地，医学图像的类型也可以由用于创建医学图像的(成像模态的)参数来表征(例如，可以在“低剂量图像”与“高剂量图像”之间存在区别)。

第一医学图像和第二医学图像可以例如是像素或体素的阵列的形式。这样的像素或体素的阵列可以表示作为三维位置的函数的强度、吸收或其他参数，并且可以例如通过对由医学成像模态获得的测量信号的适当处理来获得。

特别地，第一医学图像和第二医学图像可以是同一患者的医学图像。

医学图像可以与一个或更多个DICOM文件相同或封装在一个或更多个DICOM文件中。无论何时在此提及DICOM时，应当理解，DICOM指的是例如根据DICOM PS3.1 2020c标准(或者所述标准的任何更晚或更早的版本)的“医学数字成像和通信”(DICOM)标准。

在本申请的框架中的“接收”可能意味着从医学成像模态获取第一医学图像和第二医学图像。此外，“接收”可能意味着从适当的存储器(例如图片存档和通信系统(PACS)或任何其他适当的医学图像存储设施)获取第一医学图像和第二医学图像。

第一医学图像可能涉及在第一时间(第一时间实例)对患者的检查，而第二医学图像可能涉及在不同于第一时间的第二时间(第二时间实例)对患者的检查。第二时间可以是第一时间之后或之前的数小时、数天、数周、数月或数年。此外，在第一时间与第二时间之间可以存在介入扫描或过程。

特别地，患者体内的异常(另一个词是“异常结构”)是将所述患者与其他患者区分开的解剖结构。特别地，异常可能与患者的特定病理有关。

异常可以位于患者的不同器官内(例如，在患者的肺部内，或在患者的肝内)，异常也可以位于患者的器官之间。特别地，异常可以是异物。

特别地，异常可以是赘生物(也称为“肿瘤”)，特别是良性赘生物、原位赘生物、恶性赘生物和/或不确定/未知行为的赘生物。特别地，异常可以是结节，特别是肺部结节。特别地，异常可以是病变，特别是肺部病变。

特别地，解剖区域或对象可以涉及患者的身体部位。解剖区域可以包括多个解剖结构和/或器官。以胸部图像作为示例，第一医学图像和第二医学图像可以示出肺部组织、胸腔、淋巴结等。

变化可能涉及患者的疾病状态。变化可能涉及异常从第一医学图像到第二医学图像(即，从第一时间实例到第二时间实例)的增长、收缩、出现或消失。示例包括结节的生长或收缩、新结节和/或病变的发生等。

根据一些示例，分解函数可以基于适于从具有一个或更多个异常的解剖区域的医学图像中提取仅描绘一个或更多个异常的医学图像的图像区域的异常图像的一个或更多个算法。分解函数可以包括计算机程序产品，当在计算单元上执行分解函数时，该计算机程序产品可以控制计算单元以便执行分解函数被配置用于的任务。分解函数可以由计算单元的存储单元上的可执行程序代码提供。

根据一些示例，异常图像可以具有与从其提取的医学图像(即，第一医学图像或第二医学图像)相同的尺寸。也就是说，异常图像可以包括与基础医学图像相同数量的像素或体素。特别地，异常图像可以描绘基础医学图像中与基础医学图像相同的图像区域(或位置)处描绘的异常。描绘异常的图像区域也可以表示为异常图像区域或异常斑块。特别地，异常图像可以包括医学图像中描绘异常的那些图像区域的医学图像的像素/体素值。特别地，异常图像可以包括与在与描绘异常的那些图像区域不同的图像区域中的基础医学图像不同的像素/体素值。特别地，异常图像可以包括与描绘异常的图像区域不同的图像区域中的任意像素/体素值，特别地，零或空白或任何恒定的像素/体素值。异常图像可以被看作是已经从基础医学图像修改的修改图像。换句话说，异常图像可以被看作是合成图像，该合成图像已经从基础医学图像合成地生成。

根据一些示例，该方法还包括经由用户接口向用户提供变化的步骤。根据一些示例，接收第一医学图像和/或第二医学图像的步骤可以包括经由用户接口从用户接收指示第一医学图像和/或第二医学图像的选择。

利用所提出的方法，可以直接比较图像数据，以便导出在患者的身体部位中可见的异常的变化。不需要利用特征检测算法肯定地识别异常。所提出的方法也不需要一旦检测到异常就存档以用于稍后的变化评估。此外，该方法很容易解释。由于图像分解，可以基于异常图像容易地验证相应变化的计算，因此，对于用户来说非常透明。

根据一方面，分解函数还被配置成从具有一个或更多个异常的解剖区域的医学图像中提取解剖区域的未描绘一个或更多个异常的正常图像，并且该方法还包括如下步骤，通过将分解函数应用于第一医学图像来生成第一医学图像的第一正常图像，以及通过将分解函数应用于第二医学图像来生成第二医学图像的第二正常图像。

根据一些示例，正常图像可以具有与已经从其提取的医学图像(即，第一医学图像或第二医学图像)和/或对应的异常图像相同的尺寸。也就是说，正常图像可以包括与基础医学图像和/或对应的异常图像相同数量的像素或体素。特别地，正常图像可能不描绘在基础医学图像中描绘的异常。在基础医学图像描绘异常的图像区域中，正常图像可以替代地示出“正常”或“修复”图像数据。换句话说，可以在正常图像中改变与异常相关的医学图像的像素/体素值，以描绘如果那里没有异常，图像数据看起来(可能)是如何的。正常图像可以被看作是已经从基础医学图像修改的修改图像。换句话说，正常图像可以被看作是合成正常图像，合成正常图像已经从基础医学图像合成地生成。

通过还提供正常图像，可以向用户提供医学图像在没有异常存在的情况下看起来如何的概念，这可以有助于确定是否已经正确地计算了变化。

根据一方面，该方法还可以包括确定第一异常图像与第二异常图像之间的至少一个图像配准，以及确定至少一个异常的变化基于至少一个图像配准的步骤。

根据一些示例，确定至少一个图像配准通常可以包括将目标图像(例如，第一图像或第一正常图像或第一异常图像)与时间序列的参考图像(例如，第二图像或第二正常图像或第二异常图像)配准。根据一些示例，这可以包括获得目标图像与参考图像之间的变形场，其确定目标图像数据与参考图像数据的坐标系之间的关系，使得目标图像中的每个解剖位置被映射到参考图像中的相同解剖位置，反之亦然。因此，变形场可以包括分别与目标图像和参考图像的像素/体素相关联的多个单独的位移向量。

根据一些示例，配准可以包括刚性配准。刚性配准可以包括其中一个图像中的像素/体素的坐标经受旋转和平移以便将该图像配准到另一图像的配准。根据一些示例，配准可以包括仿射配准。仿射配准可以包括其中一个图像中的数据点的坐标经受旋转、平移、缩放和/或剪切以便将该图像配准到另一图像的配准。因此，刚性配准可以被认为是特定类型的仿射配准。根据一些示例，配准可以包括非刚性配准。非刚性配准可以为待配准的图像的每个像素/体素提供不同的位移，并且可以例如使用一个图像中的像素/体素的坐标经受柔性变形的非线性变换以便将该图像配准到另一图像。根据一些示例，非线性变换可以使用诸如扭曲场的矢量场或其他场或函数来定义，从而定义针对图像中的每个像素/体素的单独位移。对于关于图像配准的更详细的信息，参考US 2011/0 081 066和US 2012/0235679。在预期没有解剖变化或变形的情况下，刚性图像配准是非常有效的。与刚性图像配准相比，非刚性图像配准具有显著更大的灵活性，因为非刚性图像配准可以管理两个图像集之间的局部失真(例如，解剖结构变化)，但是处理起来可能更复杂。

基于配准的变化评估具有的优点是，第一异常图像和第二异常图像可以被变换到公共坐标系中。由此，能够确保所有异常具有相同的尺度。反过来，可以更容易地比较异常，并且避免了计算变化时的伪影。

根据一些示例，基于至少一个图像配准确定至少一个异常的变化的步骤包括：使用配准对齐第一异常图像和第二异常图像，以生成共同对齐的图像数据，其中，基于共同对齐的图像数据来确定变化。

根据一些示例，基于至少一个图像配准确定至少一个异常的变化的步骤包括：将第一异常图像变换到第二异常图像的坐标系中或将第二异常图像变换到第一异常图像的坐标系中，以生成经变换的图像数据，其中，基于经变换的图像数据来确定变化。

根据一方面，通过将第一医学图像与第二医学图像配准来确定至少一个图像配准。

由于配准是根据基于所包括的图像数据来识别对应的图像区域，因此使用第一医学图像数据和第二医学图像数据(而不是异常图像)具有可以增加基于第一医学图像数据和第二医学图像数据执行配准的图像信息的优点。因此，可以提供更好的图像配准。由此，所确定的变化更准确。

根据一方面，通过将第一正常图像与第二正常图像配准来确定至少一个图像配准。

基于正常图像的配准具有可以避免由于异常而引起的配准伪影的优点。一个原因是存在许多针对某些主要解剖结构或器官(例如肺部、心脏、肝、肾、脾或脑)而优化的图像配准模型，而较小的结构(例如异常或病变)通常不能通过计算机辅助图像配准技术而很好地处理。这是因为这些结构更小、固有地更动态和/或更分散。因此，可以提供更好的图像配准。由此，所确定的变化更准确。

根据一方面，该方法还包括基于至少一个图像配准来计算变形场，变形场适于将第一异常图像中的至少一个异常的图像区域映射到第二异常图像中的至少一个异常的对应图像区域，其中，基于变形场来确定变化。在此使用的变形场随后也被称为异常变形场。

换句话说，可以从异常变形场导出该变化。与异常的特征(例如异常的尺寸或体积)的单独确定及其随后的比较相比，这可能导致更准确的变化确定。

根据一些示例，基于异常变形场确定变化可以包括：计算异常变形场的一个或更多个(局部)平均场参数，并且基于一个或更多个平均场参数确定变化。平均场参数优选地包括以下中的至少一个：异常从第一时间实例到第二时间实例的变形场矢量的平均幅度和平均取向。

根据一些示例，基于异常变形场确定变化可以包括基于异常变形场确定针对异常从第一时间实例到第二时间实例的映射的像素的数量。映射到第二图像中的一个像素的像素越多，增长越小，反之亦然。

根据一些示例，基于非刚性图像配准来计算异常变形场。

根据一些示例，基于至少一个图像配准确定至少一个异常的变化的步骤包括：将第一异常图像变换到第二异常图像的坐标系中或将第二异常图像变换到第一异常图像的坐标系中，以生成经变换的图像数据，并且基于经变换的图像数据确定异常变形场。因此，换句话说，异常变形场的生成可以被视为在通过(第一)图像配准被带入相同坐标系之后第一异常图像与第二异常图像之间的第二图像配准的结果。

根据一方面，确定变化的步骤包括：计算测量至少一个异常从第一时间实例到第二时间实例的尺寸变化的分数。

由此，可以直接量化病理的进展，这对于做出正确的治疗决定是非常重要的。

根据一方面，分解函数包括修复函数，修复函数被配置成修复医学图像内的异常，以生成医学图像的正常图像，其中，正常图像不描绘任何异常。分解函数还被配置成通过从医学图像中减去正常图像或通过从正常图像中减去医学图像来从医学图像提取异常图像。

通常，在成像领域中，术语修复表示以下处理，图像的缺失或缺陷或简单地不需要的部分被填充以创建合成图像(没有要被校正的部分)。通常，图像的修复可以手动或自动地完成，特别是通过图像处理算法。特别地，自动修复可以利用要校正的部分外部的图像内的信息来推断要校正的部分的合适的“替换内容”。在本申请的框架中，“要校正的部分”可以等同于异常，并且合成图像将是正常图像。

修复算法可以基于图像的结构和/或纹理方面。此外，修复算法可以是经典的或基于学习的修复算法。特别地，修复方法还可以考虑不包含在图像中的外部数据(非局部算法)。对于进一步的信息，可以参考Bertalmío,Marcelo&Sapiro,Guillermo&Caselles,Vicent&Ballester,C.,“图像修复”，ACM SIGRAPH计算机图形学会议的会刊，417-424，(2000)。

通过依赖于修复函数，可以容易地分解医学图像的正常和异常图像分量，这允许异常的迅速比较，以用于医学图像的后续读取。

根据一方面，分解函数包括经训练的函数。根据一些示例，经训练的函数可以特别地包括条件生成式对抗网络(cGAN)。

通常，经训练的函数模仿人类与其他人类思维相关的认知功能。特别地，通过基于训练数据的训练，经训练的函数能够适应于新的环境并且检测和外推模式。

通常，可以借助于训练来调整经训练的函数的参数。特别地，可以使用监督训练、半监督训练、无监督训练、强化学习和/或主动学习。此外，可以使用表示学习(替选的术语是“特征学习”)。特别地，可以通过若干训练步骤来迭代地适配经训练的函数的参数。

特别地，经训练的函数可以包括神经网络、支持向量机、决策树和/或贝叶斯网络，并且/或者经训练的函数可以基于k均值聚类、自学习、遗传算法和/或关联规则。特别地，神经网络可以是深度神经网络、卷积神经网络或卷积深度神经网络。此外，神经网络可以是对抗网络、深度对抗网络和/或生成式对抗网络。

生成式对抗网络或函数包括生成器部分或函数以及分类器或鉴别器部分或函数。根据一些示例，生成器从包括异常的医学图像创建正常图像，并且鉴别器对合成创建的正常图像和真实正常图像进行区分。对生成器和/或鉴别器的训练尤其基于每种情况下对成本函数的最小化。根据一些示例，成本函数被称为对抗损失。特别地，可以通过反向传播来最小化成本函数。如果生成器和鉴别器由网络特别是由人工神经网络给出，那么GA算法也被称为GA网络(也称为“GAN”，其是“生成式对抗网络”的首字母缩写。这些尤其可以从由IanJ.Goodfellow，“生成式对抗网络”，arxiv1406.2661(2014)的出版物中获知。

条件生成式对抗函数或网络另外利用标签来控制生成器的输出。由此，可以促进由生成器进行的图像的条件生成。如果可用的话，图像生成可以以类别标签为条件，允许目标地生成给定类型的图像。根据一些示例，类别标签可以涉及用于不包括在训练期间提供的异常的图像的正常标签或用于包括在训练期间提供的异常的图像的异常标签。

使用经训练的函数通常具有的优点是，可以对可用信息进行更全面和更快速的筛选。在这方面，经训练的学习函数可以识别人类不可访问的可用数据中的异常。尤其是通过生成器和/或鉴别器的训练，利用生成式对抗算法或网络，一方面实现了生成器设法创建合成数据，该合成数据如此之好，以至于鉴别器(错误地)将其分类为真实的。另一方面，鉴别器被优化以尽可能区分实际数据与合成数据。在博弈理论中，生成式对抗网络也可以被解释为零和博弈。生成式对抗网络的使用使得能够有针对性地生成合成的正常图像数据。此外，它可以引起以更稳定的训练、更快的训练和/或生成的具有更好质量的正常图像的形式更好地执行经训练的函数。

根据一些示例，经训练的函数(条件生成式对抗网络)已经基于真实正常图像和/或真实异常图像被训练，真实正常图像描绘不包括解剖区域中的任何异常的患者的解剖区域，并且真实异常图像仅描绘患者的解剖区域中的异常。

根据一些示例，经训练的函数(条件生成式对抗网络)已经通过提供具有标签的训练数据来训练，标签至少指示不包括异常的正常图像。

根据一些示例，基于被实现为对生成器的反馈的第一损失函数来训练条件生成式对抗网络，第一损失函数测量所得到的正常图像的质量。特别地，第一损失函数被实现为从鉴别器到生成器的反馈(对抗损失)。

根据一些示例，基于被实现为对生成器的反馈的第二损失函数来训练条件生成式对抗网络，第二损失函数测量所得到的异常图像的质量。特别地，第二损失函数可以基于与从图像数据获得的验证的(即，地面实况)异常图像的比较和/或基于用以限定异常的结构的度量，特别是稀疏损失。

根据一些示例，稀疏损失基于像素或体素强度对损失函数的贡献的加权，该加权基于像素或体素强度到具有已知强度的像素或体素的空间距离。特别地，加权可以是空间距离的指数函数。

使用第二损失函数通常具有可以达到经训练的函数的双重适应和优化的优点。反过来，这可以改进该方法在随后的读取情况下的性能。

根据另一方面，该方法还包括基于具有被突出显示的变化和/或至少一个异常的第一医学图像和/或第二医学图像提供辅助图像。

辅助图像可以包括具有突出显示的变化的第一医学图像和/或第二医学图像的渲染。渲染可以依赖于已知的渲染过程，诸如射线投射、射线跟踪、纹理渲染、图像投影等。在上下文中术语“突出显示”可以意味着变化在亮度、颜色和/或强度上被视觉地增强。除此之外或作为替选，可以使用符号来突出显示变化。可以基于关于改变的信息，诸如位置、体积和改变量，来实现突出显示。突出显示还可以意味着使用热图，其中例如变化量是颜色编码的。例如，收缩结节可以被分配与生长结节和/或新结节不同的颜色。突出显示可以被可视化为第一医学图像和/或第二医学图像上的叠加图像。

通过提供具有突出显示的变化的所提交的图像数据集的渲染，用户可以立即推断发生了什么变化以及这些变化发生在哪里。这有助于引导图像读取，并且因此增加了该方法的可用性，并且为用户提供了用于获得医疗诊断的改进的辅助。

根据一方面，解剖区域包括患者的肺部，并且至少一个异常包括患者的肺部中的肺部病变，肺部病变特别地包括以下中的任一个：肺部结节、实变或肺气肿。

通过考虑肺部组织和相应的异常，为用户提供了用于判断高临床相关性的病理进展的辅助。

根据一方面，第一医学图像和第二医学图像是患者的胸部的X射线图像。

X射线图像非常适合于确定变化，因为它们被广泛使用的事实。因此，在X射线扫描中进行的图像投影允许筛选宽的感兴趣区域。此外，X射线图像的二维性使得能够以相当低的计算成本迅速应用方法步骤。

根据一方面，比较第一异常图像和第二异常图像的步骤包括：(可选地，基于配准和/或基于第二配准和/或基于异常变形场)将第一异常图像中的至少一个异常的表示与第二异常图像中的至少一个异常的表示进行匹配。根据一些示例，确定至少一个异常的变化的步骤基于匹配步骤。

匹配可以被设想为识别第一异常图像和第二异常图像中的相关联的异常表示或斑块对的步骤。在示例实施方式中，对于每对，可以计算两个表示描述相同异常的概率，例如，考虑变换(对准)位置的接近度、每对是否是相同类型以及其他参数有多相似。一个异常图像中不能与相应的另一个异常图像中的对应斑块匹配的异常块可能与新出现的或消失的异常有关。

根据一方面，并行地(即，非顺序地)生成第一异常图像和第二异常图像和/或第一正常图像和第二正常图像。这具有更快处理的优点。

根据一方面，提供了一种用于确定患者的解剖区域中的异常的变化的系统。该系统包括接口单元和计算单元。接口单元被配置成：接收患者的解剖区域的第一医学图像，第一医学图像是在第一时间实例获取的并且描绘解剖区域中的至少一个异常，以及接收患者的解剖区域的第二医学图像，第二医学图像是在第二时间实例获取的。计算单元被配置成提供分解函数，分解函数被配置成从具有一个或更多个异常的解剖区域的医学图像中提取仅描绘一个或更多个异常的医学图像的图像区域的异常图像。计算单元还被配置成通过将分解函数应用于第一医学图像来生成第一医学图像的第一异常图像。计算单元还被配置成通过将分解函数应用于第二医学图像来生成第二医学图像的第二异常图像。计算单元还被配置成比较第一异常图像和第二异常图像。计算单元还被配置成基于比较的步骤来确定至少一个异常的变化。

计算单元可以包括图像分解单元，图像分解单元被配置成托管、运行和/或应用分解函数。计算单元可以包括图像配准单元，图像配准单元被配置成生成至少一个图像配准。可选地，配准单元还可以被配置成生成一个或更多个变形场作为图像配准的结果。计算单元可以包括比较器单元，用于比较医学图像(特别是异常图像)，并且用于确定异常的变化。可选地，计算单元还可以包括可视化单元，可视化单元被配置成(针对用户)生成突出显示所识别的变化的可视化。

计算单元可以被实现为数据处理系统或数据处理系统的一部分。这样的数据处理系统可以例如包括云计算系统、计算机网络、计算机、平板计算机、智能电话等。计算单元可以包括硬件和/或软件。硬件可以包括例如一个或更多个处理器、一个或更多个存储器及其组合。一个或更多个存储器可以存储用于执行根据本发明的方法步骤的指令。硬件可以由软件配置和/或可由软件操作。通常，所有单元、子单元或模块可以例如经由网络连接或相应的接口至少暂时地彼此进行数据交换。因此，各个单元可以彼此分开定位。

接口单元可以包括用于经由因特网连接与本地服务器或中央网络服务器进行数据交换的接口，以便接收参考图像数据或后续图像数据。接口单元还可以适于例如通过向用户显示计算单元的处理结果(例如，在图形用户接口中)或者通过允许用户调整用于图像处理或可视化的参数和/或选择第一医学图像和/或第二医学图像来与系统的一个或更多个用户对接。

根据其他方面，本发明还涉及一种图像分析系统，图像分析系统包括以上系统和医学图像系统(或医学信息系统)，医学图像系统被配置成获取、存储和/或转发至少第一医学图像和第二医学图像。由此，接口单元被配置成从医学图像系统接收第一医学图像和第二医学图像。

根据一些示例，医学图像系统包括用于存储第一医学图像数据集和第二医学图像数据集的一个或更多个存档站，存档站可以被实现为云存储装置或本地或扩展存储装置，例如，被实现为PACS(图片存档和通信系统)。此外，医学图像系统可以包括一个或更多个医学成像模态，诸如计算机断层扫描系统、磁共振系统、血管造影(或C臂X射线)系统、正电子发射断层摄影系统、乳房X射线照相系统等。

根据其他方面，系统适于在其各个方面中实现本发明的用于确定患者的解剖区域中的异常的变化的方法。结合方法方面描述的优点也可以通过相应配置的系统部件来实现。

根据另一方面，本发明涉及一种计算机程序产品，计算机程序产品包括程序元素，当将程序元素被加载到计算单元的存储器中时，该程序元素使得用于确定患者的解剖区域中的异常的变化的系统的计算单元执行根据以上方法方面中的一个或更多个的步骤。

根据另一方面，本发明涉及一种计算机可读介质，在计算机可读介质上存储有程序元素，该程序元素能够由用于确定患者的解剖区域中的异常的变化的系统的计算单元读取和执行，以便当由计算单元执行该程序元素时，该程序元素执行根据一个或更多个方法方面的步骤。

通过计算机程序产品和/或计算机可读介质实现本发明具有的优点是，可以容易地通过软件更新来修改已经存在的提供系统，以便如本发明所提出的那样工作。

计算机程序产品可以是例如计算机程序或包括计算机程序相邻的另一元素。该其他元素可以是硬件，例如，其上存储计算机程序的存储设备、用于使用计算机程序的硬件密钥等，和/或软件，例如，用于使用计算机程序的文档或软件密钥。计算机程序产品还可以包括开发材料、运行时系统和/或数据库或库。计算机程序产品可以分布在若干计算机实例中。

附图说明

鉴于将关于图详细描述的实施方式的以下描述，上述本发明的特征、特点和优点以及实现这些特征、特点和优点的方式变得更清楚和更容易理解。以下描述不将本发明限制在所包含的实施方式上。在不同的图中，相同的部件、部分或步骤可以用相同的附图标记来标记。通常，图不是按比例绘制的。以下：

图1示意性地描绘了用于确定患者的解剖区域中的异常的变化的系统的实施方式；

图2示意性地描绘了根据实施方式的用于确定患者的解剖区域中的异常的变化的方法；

图3示意性地描绘了根据实施方式的用于确定患者的解剖区域中的异常的变化的方法步骤；

图4示意性地描绘了根据实施方式的用于确定患者的解剖区域中的异常的变化的方法步骤；

图5示意性地示出了根据实施方式的与用于确定患者的解剖区域中的异常的变化的方法有关的示例性数据流图；

图6示意性地描绘了根据实施方式的用于提供用于分解医学图像的经训练函数的方法；

图7示意性地描绘了根据实施方式的与用于提供经训练的函数的方法有关的示例性数据流图；以及

图8示意性地描绘了用于提供经训练的函数的系统。

具体实施方式

图1描绘了用于确定患者的解剖区域中的异常A的变化CA的系统1。在这点上，系统1适于执行根据一个或更多个实施方式的方法，例如，如参照图2至图5进一步描述的。根据一些示例，系统1的用户通常可以涉及诸如医师、临床医师、技术人员、放射科医师、病理学家等的健康护理专业人员。

系统1包括用户接口10(作为接口单元的一部分)和处理系统20(作为计算单元30的一部分)。此外，系统1可以包括或连接至医疗信息系统40。医疗信息系统40通常可以被配置用于获取和/或存储和/或转发第一医疗图像IM1和第二医疗图像IM2。例如，医疗信息系统40可以包括用于存储第一医疗图像IM1和第二医疗图像IM2的一个或更多个存档/检查站(未示出)。存档/检查站可以由一个或更多个数据库来实现。特别地，存档/检查站可以以一个或更多个云存储模块的形式实现。替选地，存档/检查站可以被实现为本地或扩展存储器，例如PACS(图像存档和通信系统)。根据一些示例，医学信息系统40还可以包括一个或更多个医学成像模态(未示出)，诸如计算机断层扫描系统、磁共振系统、血管造影(或C形臂X射线)系统、正电子发射断层摄影系统、乳房X射线摄影系统、X射线系统等。

第一医学图像IM1和第二医学图像IM2可以是例如使用X射线系统、计算机断层扫描系统或磁共振成像系统或其他系统获取的三维图像数据集。图像信息可以编码在m×n×p个体素的三维阵列中。第一医学图像IM1和第二医学图像IM2可以包括多个图像切片，其在堆叠方向上堆叠，以跨越由相应的第一医学图像IM1和第二医学图像IM2覆盖的图像体积。

此外，第一医学图像IM1和第二医学图像IM2可以包括图像信息被编码在m×n像素的阵列中的二维医学图像数据。根据一些示例，可能已经从三维医学图像数据集提取这些二维医学图像。

体素或像素的集合可以被指定为以下相应数据集的图像数据。通常，任何种类的成像模态和扫描器都可以用于获取这样的图像数据。通常，第一医学图像IM1和第二医学图像IM2示出了患者的身体部位或解剖区域或解剖对象，其可以包括各种解剖结构和器官。将胸部区域视为身体部位，第一医学图像IM1和第二医学图像IM2可以例如描绘肺叶、胸腔、心脏、淋巴结等。

虽然在第一时间的早期检查时已经拍摄了第一医学图像IM1和第二医学图像IM2之一(第一医学图像IM1或第二医学图像IM2)，但是相应的另一个涉及在第二时间的后期阶段的后续检查。第二时间可以是第一时间之后的数小时、数天、数周、数月或数年。此外，在第一时间与第二时间之间可以存在介入扫描或过程。在实施方式中，已经使用相同或类似的设置和参数获取了医学图像数据集。类似的设置和参数可以包括例如相同的医学成像模态、类似的剂量(如果可用的话)、相同的相位定时、x射线源电压、造影剂、MRI协议等。替选地，图像数据集(尽管它们描绘相同的身体部位的事实)可能已经使用不同的成像模态和/或用于成像模态的不同设置被获取。

第一医学图像IM1和第二医学图像IM2可以根据DICOM格式来格式化。DICOM(＝医学中的数字成像和通信)是用于医疗信息学中的医学成像信息和相关数据的通信和管理的开放标准。DICOM可以用于存储和传输医学图像和相关信息，使得能够集成医学成像设备，例如扫描仪、服务器、工作站、打印机、网络硬件以及图片存档和通信系统(PACS)。DICOM被临床团体、医院广泛采用，以及用于如医生办公室或诊所的较小应用。DICOM数据对象由多个属性组成，包括诸如患者姓名、ID等的项目，并且还包括包含图像像素数据和从图像数据提取的元数据的特殊属性。

用户接口10包括显示单元11和输入单元12。用户接口10可以由诸如智能电话或平板计算机的移动设备来实现。此外，用户接口10可以体现为台式PC或膝上型计算机形式的工作站。输入单元12可以例如以触摸屏的形式集成在显示单元11中。作为替选或补充，输入单元12可以包括键盘、鼠标或数字笔及其任意组合。显示单元11可以被配置用于显示第一医学图像IM1和第二医学图像IM2以及在方法执行过程中从其导出的任何结果和图像，诸如辅助图像AI和变化CA。

用户接口10还包括接口计算单元13，接口计算单元13被配置成执行用于服务显示单元11和输入单元12的至少一个软件部件，以便提供图形用户接口，用于允许用户选择要重新查看的目标患者的病例。另外，接口计算单元13可以被配置成与医疗信息系统40或处理系统20通信，以接收第一医疗图像IM1和第二医疗图像IM2。用户可以经由用户接口10激活软件部件，并且可以例如通过从因特网应用商店下载来获取该软件部件。根据示例，软件部件还可以是在web浏览器中运行的web应用形式的客户端-服务器计算机程序。接口计算单元13可以是通用处理器、中央处理单元、控制处理器、图形处理单元、数字信号处理器、三维渲染处理器、图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合、或用于处理图像数据的其他现在已知的设备。用户接口10也可以被实现为客户端。

处理系统20可以包括子单元21至25，其被配置成处理第一医学图像IM1和第二医学图像IM2，以便确定第一医学图像IM1与第二医学图像IM2之间的至少异常A的变化CA，并且可选地，例如以辅助图像AI的形式提供变化CA的可视化。

处理系统20可以是处理器。处理器可以是通用处理器、中央处理单元、控制处理器、图形处理单元、数字信号处理器、三维渲染处理器、图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合、或用于处理图像数据的其他现在已知的设备。处理器可以是单个设备或串行、并行或单独操作的多个设备。处理器可以是诸如膝上型或台式计算机的计算机的主处理器，或者可以是用于在诸如医疗信息系统或服务器的较大系统中处理一些任务的处理器。处理器由指令、设计、硬件和/或软件进行配置以执行本文所讨论的步骤。替选地，处理系统20可以包括真实或虚拟的计算机组，如所谓的集群或云。这样的服务器系统可以是例如云服务器的中央服务器，或者例如位于医院或放射科站点的本地服务器。此外，处理系统20可以包括诸如RAM的存储器，用于临时加载第一医学图像IM1和第二医学图像IM2。替选地，这样的存储器也可以被包括在用户接口10中。

子单元21是数据检索模块或单元。子单元21被配置成访问和搜索医疗信息系统40中的第一医学图像IM1和第二医学图像IM2。例如，子单元21可以被配置成检索与第一医学图像IM1有关的第二医学图像IM2。特别地，子单元21可以被配置成制定搜索查询，并将它们解析到医学信息系统40。

子单元22可以被设想为图像分解模块或单元。子单元22被配置成处理第一医学图像IM1和第二医学图像IM2，以便分别将第一医学图像IM1和第二医学图像IM2分解为正常医学图像N-IM1、N-IM2和异常图像A-IM1、A-IM2，正常医学图像N-IM1、N-IM2未描绘第一医学图像IM1和第二医学图像IM2中包括的任何异常A，异常图像A-IM1、A-IM2仅描绘第一医学图像IM1和第二医学图像IM2中包括的异常A。特别地，子单元22可以被配置成通过未描绘异常A的合成图像数据替换与第一医学图像IM1和第二医学图像IM2中的异常A有关的任何图像数据。为此，子单元22可以被配置成以分解函数TF形式运行相应配置的图像处理函数。

子单元23可以被认为是注册模块或单元。子单元23可以被配置成执行第一医学图像IM1和第二医学图像IM2的配准IR1。子单元23还可以被配置成执行第一正常医学图像N-IM1和第二正常医学图像N-IM2的配准IR1。子单元23还可以被配置成执行第二异常图像A-IM2和经变换的第一异常图像A-IM1-T的第二配准IR2，其中，经变换的第一异常图像A-IM1-T已经基于配准IR1进行了变换。注意，第一异常图像A-IM1的变换仅作为示例。同样，第二异常图像A-IM2可以基于配准IR1进行变换。然后，随后的第二配准IR2可以基于第一异常图像A-IM1和基于配准IR1变换的经变换的第二异常图像。换句话说，提供配准IR1的目的是提供图像配准，基于该图像配准，一个异常图像A-IM1、A-IM2图像可以被变换到相应的另一异常图像A-IM2、A-IM1的坐标系中。子单元23还可以被配置成计算坐标变换，该坐标变换基本上将一个图像的图像数据转换到另一个图像的坐标系中。子单元23提供的计算结果可以是二维或三维变换矩阵或变形场DF1、DF2的形式。子单元23可以被配置成应用一个或更多个图像配准技术，所述图像配准技术包括刚性图像配准、仿射图像配准、非刚性图像配准及其任何组合。为了改进配准的结果，子单元23可以可选地被配置成将计算结果数学拟合到用于软组织变形的一个或更多个运动模型。

子单元24可以被配置为比较器模块或单元。子单元24可以被配置成使异常A的不同表示彼此相关。特别地，子单元24可以被配置成基于异常图像A-IM1、A-IM2、经变换的异常图像A-IM1-T以及配准IR1和IR2来进行这一操作。子单元24还可以被配置成基于相关性来量化异常A的变化CA。为此，子单元24可以被配置成确定异常A从第一医学图像IM1到第二医学图像IM2的尺寸和/或体积和/或强度和/或纹理和/或其他参数变化。此外，子单元24可以被配置成从对与第二配准IR2相关联的变形场DF2(也被表示为异常变形场DF2)的评估导出变化CA。

子单元25是可视化模块，子单元25被配置成将由子单元24识别的所确定的变化CA转换或变换为合适的表示用于向用户显示。合适的表示可以是辅助图像AI的形式，其中，变化CA被视觉编码。这可能意味着变化CA在可视化中被增强。特别地，子单元25可以被配置成运行或执行用于根据变化CA渲染半透明覆盖图像的算法，所述半透明覆盖图像将被叠加在相应渲染的第一医学图像IM1或第二医学图像IM2上。此外，子单元25可以被配置成在第一医学图像IM1和/或第二医学图像IM2中以符号或标记的形式突出显示变化CA。

对不同子单元21至25的指定将通过示例而不是限制来解释。因此，子单元21至25可以被集成以形成一个单个单元(例如，以“计算单元30”的形式)，或者可以由被配置成执行在处理系统20的处理器等上运行的相应方法步骤的计算机代码段来体现。这同样适用于接口计算单元13。每个子单元21至25和接口计算单元13可以单独地连接至需要数据交换来执行方法步骤的系统1的其他子单元和/或其他部件。例如，子单元21和25可以经由接口26连接至医疗信息系统40，用于检索医疗图像IM1、IM2。同样，接口26可以将子单元21至25连接至接口计算单元13，以将计算结果转发给用户并收集用户输入。

处理系统20和接口计算单元13可以一起构成计算单元30。注意，计算单元30的布局(即接口计算单元13和子单元21至25的物理分布)原则上是任意的。例如，子单元25(或其单独的元件或特定的算法序列)同样可以位于用户接口10中。这同样适用于其他子单元21至25。特别地，处理系统20也可以集成在用户接口10中。如已经提到的，处理系统20可以替选地被实现为例如云服务器的服务器系统，或者例如位于医院或放射科站点的本地服务器。根据这样的实现方式，用户接口10可以被指定为面向用户的“前端”或“客户端”，而处理系统20则可以被设想为“后端”或服务器。例如，可以使用https协议来执行用户接口10与处理系统20之间的通信。可以在服务器与客户端(即用户接口10)之间分配系统的计算能力。在“瘦客户端”系统中，大多数计算能力存在于服务器处。在“胖客户端”系统中，更多的计算能力以及可能的数据存在于客户端上。

系统1的各个部件可以至少临时地彼此连接以用于数据传送和/或交换。用户接口10经由接口26与处理系统20通信，以交换例如医学图像IM1、IM2、N-IM1、N-IM2、A-IM1、A-IM2或计算的结果CA。例如，处理系统20可以基于请求而被激活，其中，该请求由用户接口10发送。此外，处理系统20可以与医疗信息系统40通信以便检索目标患者病例。作为替选或补充，用户接口10可以直接与医疗信息系统40通信。医疗信息系统40同样可以基于请求而被激活，其中，该请求由处理系统20和/或用户接口10发送。用于数据交换的接口26可以被实现为硬件或软件接口，例如PCI总线、USB或火线。可以使用网络连接来实现数据传输。网络可以被实现为局域网(LAN)，例如，内联网或广域网(WAN)。网络连接优选地是无线的，例如，无线LAN(WLAN或Wi-Fi)。此外，网络可以包括不同网络示例的组合。用于数据交换的接口26以及用于与用户11、12接口的部件可以被认为构成了系统1的接口单元。

图2描绘了根据实施方式的用于确定患者的解剖区域中的异常A的变化CA的方法。在图3和4中示出根据一些实施方式的附加可选子步骤。在图5中示出对应的数据流。该方法包括若干步骤。步骤的顺序不必对应于步骤的编号，而是也可以在本发明的不同实施方式之间变化。此外，可以重复各个步骤或一系列步骤。

在第一步骤S10中，接收第一医学图像IM1。第一医学图像IM1可以被看作是用户想要在其基础上执行后续分析的目标图像。这可以涉及从例如存储在医疗信息系统40中的多个病例中选择第一医疗图像IM1。该选择可以由用户手动执行，例如，通过在运行于用户接口10中的图形用户接口中选择适当的图像数据。替选地，第一医疗图像IM1可以由用户通过将图像数据集IM上载到计算单元30的方式提供给计算单元30。

第二步骤S20旨在从医学信息系统40检索与第一医学图像IM1相对应的至少一个第二医学图像IM2。为此，可以读取第一医学图像IM1以便从第一医学图像IM1提取信息，基于该信息，可以向医学信息系统40查询患者的合适的第二医学图像IM2。该信息可以包括例如登录号或患者ID形式的数据标识符、指示患者、病例和/或疾病类型的信息、医学图像数据集的类型(2D、3D、MR数据、CT数据等)、所使用的成像模态和成像参数、获取图像数据集的时间点、对患者实施的治疗等。该信息可以从(DICOM)报头或第一医学图像IM1和第二医学图像IM2的主体中读取。作为替选，在上传时，该信息的全部或部分可以由用户补充。

步骤S30旨在提供分解函数TF，分解函数TF是被配置成将医学图像IM1、IM2分解为正常图像N-IM1、N-IM2和异常图像A-IM1、A-IM2的图像处理函数。分解函数TF的示例性实施方式将结合图5至7给出。

步骤S40是图像处理步骤，图像处理步骤旨在通过将分解函数TF应用于第一医学图像IM1的图像数据来将第一医学图像IM1分解为第一正常图像N-IM1和第一异常图像A-IM1。根据一些示例，步骤S40包括通过将分解函数TF应用于第一医学图像IM1来生成第一正常图像N-IM1，以及通过从第一医学图像IM1减去第一正常图像N-IM1来生成第一异常图像A-IM1(反之亦然)。

步骤S50是图像处理步骤，图像处理步骤旨在通过将分解函数TF应用于第二医学图像IM2的图像数据来将第二医学图像IM2分解为第二正常图像N-IM2和第二异常图像A-IM2。除了步骤S50旨在分解第二医学图像IM2的事实之外，步骤S50可以基本上对应于步骤S40。可以并行执行步骤S40和S50。

在步骤S60处，将第一异常图像A-IM1和第二异常图像A-IM2相互比较。这可以涉及找到(可选子步骤S61)第一图像IM1和第二图像IM2的图像空间之间的配准IR1以定义公共坐标系，以及变换(可选子步骤S62)第一异常图像A-IM1和/或第二异常图像A-IM2，使得其中包括的图像数据具有公共坐标系。

在步骤S70处，基于步骤S60的处理确定至少一个异常A的变化CA。这可以涉及将第一医学图像IM1和第二医学图像IM2中的异常A的不同表示彼此相关(可选子步骤S71)，确定被变换到公共坐标系中的第一异常图像A-IM1与第二异常图像A-IM2之间的第二配准IR2(可选子步骤S72)，以及量化变化CA(可选子步骤S73)。

在可选步骤S80处，医学发现中量化的变化CA被用于生成进一步的结果。结果可以是用户可查看结果的形式，即，人类可读格式。这样，结果可以是指示至少一个异常A的变化CA的结构化报告的形式。例如，结构化报告可以是由系统1使用所确定的变化CA预填充的放射学报告的形式。此外，在步骤S80中生成的结果可以是辅助图像AI的形式。生成辅助图像AI可以包括例如通过在异常A附近引入符号或数字、应用颜色映射或热图、以及/或者调整渲染的亮度或发光值来渲染具有针对用户突出显示的变化CA的第一医学图像IM1和/或第二医学图像IM2的一个或更多个表示，特别地，以便向用户指示变化CA发生在哪里和/或其具有什么幅度。该渲染可以是基于第一医学图像IM1和第二医学图像IM2的适当表示(例如穿过图像体积的横截面或切片)的二维渲染。此外，可以基于变化CA以表格或趋势图的形式提供结果。注意，结果不仅可以反映第一医学图像IM1与一个第二医学图像IM2的比较，而且可以反映与多个第二医学图像IM2的比较。

在图3中，示意性地示出了步骤S60的可选配置。在子步骤S61中，获得配准IR1，配准IR1链接第一医学图像IM1和第二医学图像IM2的坐标系。换句话说，计算能够将一个医学图像IM1、IM2的相应图像数据变换到相应的另一IM2、IM1的坐标系中的变换。配准IR1可以基于第一医学图像IM1和第二医学图像IM2，或者基于第一正常图像N-IM1和第二正常图像N-IM2。在步骤S61中，将第一医学图像IM1(或第一正常图像N-IM1)的至少一部分与第二医学图像IM2(或第二正常图像N-IM2)的至少一部分配准。实质上，这可以包括识别两个图像中的对应数据点。在识别了这样的对应数据点之后，可以计算这些对应点之间的局部偏移，其提供了两个图像之间的坐标系中的局部移位的指示。针对充分分布在基本图像体积中的多个对应数据点这样做已经提供了对相应图像数据之间的位移和变形的良好指示。为了将这些单独的贡献适当地聚集到相干的二维或三维变换函数或变形场DF1中，可以使用各种配准技术。这些技术可以包括刚性配准、仿射配准、非刚性配准、非仿射配准及其任何组合。

在子步骤S62，配准IR1或更确切地说是变形场DF1被用于将第一异常图像A-IM1和第二异常图像A-IM2变换到公共坐标系中。特别地，第一异常图像A-IM1可以被变换到第二异常图像A-IM2的坐标系中，以生成变换的第一异常图像T-A-IM1，或者反之亦然。

在图4中，示意性地示出了步骤S70的可选配置。一旦已经根据步骤S60处理了异常图像A-IM1、A-IM2，则异常图像A-IM1、A-IM2在原理上是以下形状：其中描绘的异常A可以被比较，并且可以量化变化CA。

在子步骤S71中，可以将第一医学图像IM1和第二医学图像IM2中的异常A的不同表示进行相关。例如，可以计算描绘第一异常图像A-IM1和第二异常图像A-IM2中的异常的图像块与相同的异常相关的概率，例如考虑到异常图像数据的变换(对准)位置的接近度、它们是否具有相同的形态以及其他参数的相似程度。

在子步骤S72中，可以确定第二配准IR2，并且可以计算对应的变形场DF2(异常变形场)，其适于将第一异常图像A-IM1中的异常表示映射到第二异常图像A-IM1中的对应异常表示。这里，可以应用与结合步骤S61所述的基本相同的处理。特别地，步骤S72可以采用非刚性配准。

在子步骤S73中，量化变化CA，并且基于此确定疾病进展评分。

根据一些示例，变化CA可以基于一个或更多个不同的可观察量。根据一些示例，这些可观察量中的一个或更多个可以基于对变形场DF2的评估。例如，一个或更多个可观察量可以基于每个异常A的变形场DF2的平均矢量场特性。例如，对于至少一个异常A，一个或更多个可观察量可以包括变形场DF2中包括的矢量的平均幅度和/或平均取向。根据一些示例，可观察量中的一个或更多个可以基于多个相应像素/体素，所述多个相应像素/体素基于第二配准IR2和/或变形场DF2从第一异常图像A-IM1中的至少一个异常A的表示映射到第二异常图像A-IM2中的至少一个异常A的表示。根据一些示例，可观察量中的一个或更多个可以基于至少一个异常A从第一时间实例到第二时间实例的一个或更多个尺寸相关参数的变化，例如直径、表面或体积。根据一些示例，可观察量中的一个或更多个可以基于至少一个异常A从第一时间实例到第二时间实例的一个或更多个属性相关参数的变化，例如图像图案、图像强度、边界性质(例如，平滑度或毛刺度)。特别地，可以从第一异常图像A-IM1和第二异常图像A-IM2中的至少一个异常A的表示的图像数据中提取属性相关参数。

基于变化CA，可以计算疾病进展评分。疾病进展评分可以特别地基于一个或更多个可观察量。特别地，疾病进展评分可以基于两个或更多个不同的可观察量。根据一些示例，将确定的变化CA映射到合适的疾病进展评分可以通过学习网络进行，学习网络使用疾病进展的专家评级进行训练。

图5中提供了该方法的一个实施方式的概述。代替使用针对在不同阶段获取的不同图像IM1、IM2进行比较的单个时间点测量，直接使用相应的成像数据作为输入(即，在不同时间点获取的两个图像)。首先，在步骤S40和S50中执行两个图像的材料分解。这些材料分解步骤S40和S50分别将第一图像IM1和第二图像IM2分离成“正常”图像N-IM1、N-IM2(即，没有异常A)和仅由至少一个异常A组成的异常图像A-IM1、A-IM2。对图像IM1、IM2两者执行该分解。

然后，在步骤S70，通过比较这两个异常图像A-IM1、A-IM2，例如通过相关，将这两个异常图像用于量化异常的进展。为了使两个异常图像A-IM1、A-IM2的比较尽可能准确，异常A必须具有相同的比例(例如，如果第一图像IM1中的放大率大于第二图像IM2中的放大率，则病变可能被错误地分类为放大，而实际上它保持相同的尺寸)。这是通过对正常图像N-IM1、N-IM2(替选地，原始输入图像IM1、IM2也可以用于配准)的配准步骤S61来实现的。配准步骤S61计算从第一医学IM1的图像空间到第二医学图像IM2的图像空间的映射或配准IR1(例如，根据刚性配准参数，替选地，根据用于非刚性配准的变形场DF1)。然后，配准IR1(变形场DF1)被应用于第一异常图像A-IM1，以生成经变换的第一异常图像A-IM1-T(步骤S62)。替选地，配准IR1(变形场DF1)也可以应用于第二异常图像A-IM2以生成经变换的第二异常图像。结果分别是在相应的另一个异常图像的坐标系中的一个异常图像。这确保了异常表示的相同标度和准确的疾病进展评分。

然后在步骤S70处变换到公共坐标系之后，从异常图像A-IM1、A-IM2计算变化CA(可选地以疾病进展得分的形式)。然后，每个异常图像A-IM1、A-IM2对应于某个时间戳。在许多情况下，异常A的尺寸可能已经是变化CA的足够好的分类器。那么简单的度量如相关或DICE(在二进制化之后)可以是足够好的测量。

替选地，映射可以通过另一网络来学习，该网络使用疾病进展的专家评级来训练。另一替选方案可以是一个经变换的异常图像A-IM1-T朝向另一异常图像A-IM2的非刚性配准步骤S72，以生成第二图像配准IR2。这可以通过变形场映射(变形场DF2)来实现，其中，每个像素被分配定义的矢量，其中，相应的像素从一个图像被映射到另一个图像。然后，这些矢量的平均大小和方向可以是疾病进展的量度(如果相同，则为0，对于大的生长为大的正数，对于大的收缩为大的负数)。疾病的另一度量可以是从第一图像映射到第二图像中的一个像素的像素数量。映射到第二图像中的一个像素的像素越多，增长越小，反之亦然。

图6描绘了根据实施方式的分解函数TF的示意性表示。根据本实施方式的分解函数TF被训练成特别地从胸部X射线图像中分离与异常组织(异常A)有关的图像数据和与正常组织有关的图像数据。正常图像(N-IM1、N-IM2、T-N-IM)的生成是利用相应训练的生成器结构GEN来实现的，该生成器结构GEN可以使用所获取/原始医学图像IM1、IM2、T-IM作为输入来生成正常图像N-IM1、N-IM2、T-N-IM。

由于难以获得仅显示异常组织的图像(用于训练)，建议使用条件生成式对抗网络(cGAN)方法来训练生成器GEN。可以仅使用真实医学图像T-IM来训练cGAN。在训练期间使用的那些医学图像T-IM对应于分解函数TF在部署时将看到的第一医学图像IM1和第二医学图像IM2。训练医学图像T-IM可以包括或不包括异常A。为了进一步提高训练的效率并提供更好的分解函数TF，可以以标签L的形式输入特定的训练医学图像T-IM是否包括异常A的事实。根据一些示例，标签L还可以包括训练医学图像T-IM中异常A的位置。

将训练医学图像T-IM输入到生成器GEN中。该生成器GEN从训练医学图像T-IM中学习得到仅具有正常组织结构的图像-训练正常图像T-N-IM。如果训练医学图像T-IM不包含任何异常A，则生成器GEN当然应当将训练医学图像T-IM基本上作为训练正常图像T-N-IM进行反馈。

一旦生成器GEN已提供了训练正常图像T-N-IM，则可以通过训练正常图像T-N-IM与输入的训练医学图像T-IM之间的差分图像获得训练异常图像T-A-IM。

在分解函数TF的训练阶段，根据一些示例的生成器GEN由来自鉴别器DIS的反馈进行训练。鉴别器DIS同时学习从生成器GEN合成产生的正常图像T-N-IM中鉴别“真实的”正常医学图像(也就是说，没有首先描绘任何异常A的医学图像)。接着，生成器GEN试图产生被鉴别器DIS接受的正常图像T-N-IM，而鉴别器DIS试图将那些合成产生的图像检测为“假正常”图像。通过一起训练这两者，生成器GEN进行学习以将具有异常A的训练医学图像T-IM投影到不包括任何异常A的假想正常图像的图像空间。

基于来自鉴别器DIS的反馈来训练生成器GEN。特别地，来自鉴别器DIS的反馈可以用作第一损失函数LF1以调节生成器GEN。该第一损失函数LF1可以表示为对抗损失。

除了通过第一损失函数LF1的对抗损失之外，可以基于异常图像T-A-IM的出现来训练生成器GEN。基于异常图像T-A-IM的结构的量化，可以定义第二损失函数LF2。根据一些实施方式，第二损失函数LF2可以基于总变差(TV)形式的稀疏损失。如果异常图像可用，则根据其他示例也可以使用在基础事实与训练异常图像T-A-IM之间的图像损失。

图7描绘了一种用于提供分解函数TF的方法，该分解函数TF将描绘了患者的身体部位中的至少一个异常A的医学图像T-IM分解成示出了没有任何异常A的身体部位的合成生成的正常图像T-N-IM和仅示出了异常A的异常图像T-A-IM。该方法包括几个步骤。步骤的顺序不必对应于步骤的编号，而是也可以在本发明的不同实施方式之间变化。

第一步骤T10旨在提供多个训练医学图像T-IM。训练医学图像T-IM优选地与要由部署的且容易训练的机器学习模型TF处理的医学图像IM1、IM2是相同类型的。因此，训练医学图像T-IM每个同样示出具有或不具有异常A的患者的身体部位。

在下一步骤T20中，将训练医学图像T-IM输入到分解函数TF的生成器部件GEN中。接着，在步骤T30中，从生成器GEN获得训练正常图像T-N-IM作为输出。

在步骤T40中，将训练正常图像T-N-IM输入到分解函数TF的鉴别器部分DIS。鉴别器DIS已经被训练成从来自生成器GEN的合成生成的训练正常图像T-N-IM首先鉴别不包括任何异常A的“真实”正常图像。鉴别器DIS的评估结果可以用于通过第一损失函数LF1计算第一损失，即所谓的对抗损失(步骤T50)。

在可选步骤T60中，例如通过从训练图像T-IM中减去训练正常图像T-N-IM或者通过从训练正常图像T-N-IM中减去训练图像T-IM，可以生成训练异常图像T-A-IM。在可选步骤T70中，训练异常图像T-A-IM可以用于通过第二损失函数LF2确定第二损失。实现这一点的一种方式是将训练异常图像T-A-IM与已由人肯定地检查或已由人手动生成的验证异常图像进行比较。实现第二损失函数的另一种方式可以是总变差(TV，Total Variation)方面的稀疏损失。

在步骤T80处，第一损失和第二损失用于调整分解函数TF。随后，利用进一步训练医学图像T-IM重复用于生成训练正常图像T-N-IM、训练异常图像T-A-IM、确定第一损失和/或第二损失的步骤，直到分解函数TF能够生成可接受的结果为止(即，直到达到损失函数LF1、LF2的局部最小值为止)。

图8示出了用于训练经训练的函数TF的系统200的实施方式。该系统包括处理器210、接口220、存储器230、存储装置240和数据库250。处理器210、接口220、存储器230和存储装置240可以由计算机290实现。处理器210通过执行限定这样的操作的计算机程序指令来控制计算机200的整个操作。计算机程序指令可以存储在存储器230中或存储装置240中，并且当期望执行计算机程序指令时被加载到存储器230中。存储装置240可以是作为系统200的部件的本地存储装置，或者是通过网络可访问的远程存储装置，诸如服务器或云系统的部件。图7中所示的方法步骤可以由存储在存储器230和/或存储装置240中的计算机程序指令限定，并且由执行计算机程序指令的处理器210控制。

数据库250是用作训练数据集的存档的存储设备，例如云或本地存储装置，训练数据集包括如上所述的医学图像T-IM和标签L。数据库250可以连接至计算机290，用于接收一个或更多个医学图像。也可以将数据库250和计算机290实现为单个设备。数据库250和计算机290还可以无线地或通过网络有线连接地进行通信。接口220被配置成与数据库250交互。

只要有意义，单独的实施方式或它们的单独的方面和特征可以彼此组合或交换，而不限制或扩大本发明的范围。在任何适用的情况下，关于本发明的一个实施方式描述的优点对于本发明的其他实施方式也是有利的。

Claims (15)

1.一种用于确定患者的解剖区域中的异常(A)的变化(CA)的计算机实现的方法，所述方法包括：

-接收(S10)患者的解剖区域的第一医学图像(IM1)，所述第一医学图像(IM1)是在第一时间实例获取的，并且描绘所述解剖区域中的至少一个异常(A)；

-接收(S20)所述患者的解剖区域的第二医学图像(IM2)，所述第二医学图像(IM2)是在第二时间实例获取的；

-提供(S30)分解函数(TF)，所述分解函数(TF)被配置成从具有一个或更多个异常的解剖区域的医学图像中提取仅描绘所述一个或更多个异常的医学图像的图像区域的异常图像；

-通过将所述分解函数(TF)应用于所述第一医学图像(IM1)来生成(S40)所述第一医学图像(IM1)的第一异常图像(A-IM1)；

-通过将所述分解函数(TF)应用于所述第二医学图像(IM2)来生成(S50)所述第二医学图像(IM2)的第二异常图像(A-IM2)；

-比较(S60)所述第一异常图像(A-IM1)和所述第二异常图像(A-IM2)；

-基于比较的步骤(S60)来确定(S70)所述至少一个异常(A)的变化(CA)。

2.根据权利要求1所述的方法，其中，

-所述分解函数(TF)还被配置成从具有一个或更多个异常的解剖区域的医学图像中提取所述解剖区域的未描绘所述一个或更多个异常的正常图像；以及

所述方法还包括以下步骤：

-通过将所述分解函数(TF)应用于所述第一医学图像(IM1)来生成(S40)所述第一医学图像(IM1)的第一正常图像(N-IM1)；以及

-通过将所述分解函数(TF)应用于所述第二医学图像(IM2)来生成(S50)所述第二医学图像(IM2)的第二正常图像(N-IM2)。

3.根据权利要求1或2中任一项所述的方法，其中：

-所述比较(S60)的步骤包括：确定(S61)所述第一异常图像(A-IM1)的图像空间与所述第二异常图像(A-IM2)的图像空间之间的至少一个图像配准(IR1、IR2)；以及

-确定(S70)所述至少一个异常(A)的变化(CA)的步骤基于所述至少一个图像配准(IR1、IR2)。

4.根据权利要求3所述的方法，其中：

-通过将所述第一医学图像(IM1)与所述第二医学图像(IM2)配准来确定所述至少一个图像配准(IR1)。

5.根据权利要求3结合权利要求2所述的方法，其中：

-通过将所述第一正常图像(N-IM1)与所述第二正常图像(N-IM2)配准来确定所述至少一个图像配准(IR1)。

6.根据权利要求4或5中任一项所述的方法，所述方法还包括：

-基于所述至少一个图像配准(IR1、IR2)来计算(S71)变形场(DF2)，所述变形场(DF2)适于将所述第一异常(A-IM1)图像中的至少一个异常(A)的图像区域映射到所述第二异常图像(A-IM2)中的至少一个异常(A)的对应图像区域；

-其中，基于所述变形场(DF2)来确定(S73)所述变化(CA)。

7.根据前述权利要求中任一项所述的方法，其中：

-确定(S70)变化(CA)的步骤包括：计算测量所述至少一个异常(A)从所述第一时间实例到所述第二时间实例的尺寸变化的分数。

8.根据前述权利要求中任一项所述的方法，其中：

-所述分解函数(TF)包括修复函数，所述修复函数被配置成修复医学图像(IM1、IM2)内的异常(A)，以生成所述医学图像(IM1、IM2)的正常图像(N-IM1、N-IM2)；以及

-所述分解函数(TF)还被配置成：通过从所述医学图像(IM1、IM2)减去所生成的正常图像(N-IM1、N-IM2)，或者通过从所生成的正常图像(N-IM1、N-IM2)减去所述医学图像(IM1、IM2)，来从所述医学图像(IM1、IM2)中提取所述异常图像(A-IM1、A-IM2)。

9.根据前述权利要求中任一项所述的方法，其中：

-所述分解函数(TF)包括训练函数，所述训练函数特别地包括条件生成式对抗网络(cGAN)。

10.根据前述权利要求中任一项所述的方法，还包括：

-基于具有被突出显示的所述变化(CA)和/或所述至少一个异常(A)的第一医学图像和/或所述第二医学图像(IM1、IM2)，特别地以辅助图像(AI)的形式，特别地经由用户接口(10)向用户提供(S80)所确定的变化(CA)。

11.根据前述权利要求中任一项所述的方法，其中：

-所述解剖区域包括所述患者的肺部；以及

-所述至少一个异常(A)包括所述患者的肺部中的肺部病变，所述肺部病变特别地包括以下中的任一个：肺部结节、实变或肺气肿。

12.根据前述权利要求中任一项所述的方法，其中：

-第一医学图像和第二医学图像(IM1、IM2)是所述患者的胸部的X射线图像。

13.一种用于确定患者的解剖区域中的异常(A)的变化(CA)的系统(1)，包括接口单元(10、26)和计算单元(30)，

所述接口单元(10，26)被配置成：

-接收(S10)患者的解剖区域的第一医学图像(IM1)，所述第一医学图像(IM1)是在第一时间实例获取的，并且描绘所述解剖区域中的至少一个异常(A)；以及

-接收(S20)所述患者的解剖区域的第二医学图像(IM2)，所述第二医学图像(IM2)是在第二时间实例获取的；以及

所述计算单元(30)被配置成：

-提供(S30)分解函数(TF)，所述分解函数(TF)被配置成从具有一个或更多个异常(A)的解剖区域的医学图像(IM1、IM2)中提取仅描绘所述一个或更多个异常(A)的异常图像(A-IM1、A-IM2)；

-通过将所述分解函数(TF)应用于所述第一医学图像(IM1)来生成(S40)所述第一医学图像(IM1)的第一异常图像(A-IM1)；

-通过将所述分解函数(TF)应用于所述第二医学图像(IM2)来生成(S50)所述第二医学图像(IM2)的第二异常图像(A-IM2)；

-比较(S60)所述第一异常图像(A-IM1)和所述第二异常图像(A-IM2)；以及

-基于所述第一异常图像(A-IM1)和所述第二异常图像(A-IM2)的比较(S60)来确定(S70)所述至少一个异常(A)的变化(CA)。

14.一种计算机程序产品，所述计算机程序产品包括程序元素，当所述程序元素被加载到用于确定患者的解剖区域中的异常(A)的变化(CA)的系统(1)的计算单元(30)的存储器中时，所述程序元素使得所述计算单元(30)执行根据权利要求1至12中任一项所述的方法的步骤。

15.一种计算机可读介质，在所述计算机可读介质上存储有程序元素，所述程序元素可由用于确定患者的解剖区域中的异常(A)的变化(CA)的系统(1)的计算单元(30)读取和执行，以在由所述计算单元(30)执行所述程序元素时，所述程序元素执行根据权利要求1至12中任一项所述的方法的步骤。