CN115908785A

CN115908785A - 图像处理方法、装置和系统、电子设备和存储介质

Info

Publication number: CN115908785A
Application number: CN202211370493.9A
Authority: CN
Inventors: 李炳轩
Original assignee: Hefei Ruishi Digital Technology Co ltd
Current assignee: Hefei Ruishi Digital Technology Co ltd
Priority date: 2022-11-03
Filing date: 2022-11-03
Publication date: 2023-04-04

Abstract

本申请公开一种图像处理方法、装置和设备、电子设备和存储介质。该图像处理方法可包括：获取从目标对象采集的第一模态图像；获取从所述目标对象采集的第二模态图像；确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间的梯度相关性；根据所述梯度相关性，处理所述第一模态图像和/或第二模态图像。本申请利用不同模态图像之间的视觉特征映射来实现不同模态图像的配准，能够显著改善图像质量。

Description

图像处理方法、装置和系统、电子设备和存储介质

技术领域

本申请涉及图像处理领域，具体涉及图像处理方法、装置和系统，本申请还涉及相关的电子设备和存储介质。

背景技术

正电子发射断层成像(positron emission tomography，简称PET)的原理是对正电子湮灭产生的一对能量均为511keV、飞行方向相反的伽玛光子进行探测，测量其能量、位置和时间信息并进行图像重建。

在PET产生之初，PET探测器由光电倍增管、前端模拟电路和分立的模数转换器件组成。由于模拟器件容易被干扰、测量精度低、功耗高，学术界和产业界一直在不懈探索PET探测器数字化方法，以提高信号探测的效率、精度和稳定性。当前整个业界正处在向全面数字化技术转换的过程中，全数字PET具有以下特征：全面数字化处理信号，抗干扰能力和稳定性明显改善；从源头实现闪烁脉冲精确采样，信号采集效率和精度显著提升；体积小、功耗低。这些特性赋予了全数字PET性能稳定、结构灵活、定量准确等优势，在精准医疗、智能诊断、高端体检等方面拥有巨大的潜力和广阔的前景。在全数字技术驱动下，将为PET成像方法、系统架构、临床应用等领域带来一系列变革，促进具有更高性能、特定功能的产品研制，形成全新的市场与产品路线。

PET能够反映被测对象的代谢变化情况，属于功能影像，而CT和MRI能够反映被测对象的物理结构情况，属于解剖影像。目前，市场上PET设备通常会集成CT、MRI中的至少一种成像系统，这些集成的成像系统的成像数据可以通过配准后辅助PET数据校准，并提供解剖诊断信息。然而多种模态的图像信息并未得到充分利用。首先，在进行配准时，PET图像与CT、MRI等图像通常是直接机械地、像素对像素地使用，忽略了PET与解剖影像之间的差异，如点扩散函数、配准形变等的影响。其次，因缺乏功能影像和解剖影像关联的精确数学表达，在现有的基于解剖影像的PET图像重建方法中，难以对病灶和噪声分别作出有效处理。

因此，希望提供能够有效处理的多种模态的图像的解决方案。

背景技术描述的内容仅为了便于了解本领域的相关技术，不视作对现有技术的承认。

发明内容

因此，本申请意图提供图像处理方法、装置和系统及相关的电子设备和存储介质，其能够有效处理不同模态种类的图像。

在第一方面，提供一种图像处理方法，其可包括：获取从目标对象采集的第一模态图像；获取从所述目标对象采集的第二模态图像；确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间的梯度相关性；根据所述梯度相关性，处理所述第一模态图像和/或第二模态图像。

可选地，所述确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间的梯度相关性，包括：确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间在第一图像方向上的第一梯度相关性分量；确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间在第二图像方向上的第二梯度相关性分量；根据所述第一梯度相关性分量和第二梯度相关性分量确定所述梯度相关性。

可选地，所述第二图像方向垂直于所述第一图像方向。

可选地，所述梯度相关性如下式求得：

其中，C为第一模态图像的局部区域与第二模态图像的对应局部区域之间的梯度相关性，C_d1为第一模态图像的该局部区域与第二模态图像的该对应局部区域之间在第一图像方向上的梯度相关性分量，C_d2为第一模态图像的该局部区域与第二模态图像的该对应局部区域之间在第二图像方向上的梯度相关性分量。

可选地，所述确定第一模态图像和第二模态图像的多个对应局部区域的梯度相关性，包括：确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间在第一图像方向上的第一梯度相关性分量；确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间在第二图像方向上的第二梯度相关性分量；确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间在第三图像方向上的第三梯度相关性分量；根据所述第一梯度相关性分量、第二梯度相关性分量和第三梯度相关性分量确定所述第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间的梯度相关性。

可选地，所述第二图像方向垂直于所述第一图像方向，所述第三图像方向垂直于所述第二图像方向和所述第一图像方向。

可选地，所述梯度相关性如下式求得：

其中，C为第一模态图像的局部区域与第二模态图像的对应局部区域之间的梯度相关性，C_d1为第一模态图像的该局部区域与第二模态图像的该对应局部区域之间在第一图像方向上的梯度相关性分量，C_d2为第一模态图像的该局部区域与第二模态图像的该对应局部区域之间在第二图像方向上的梯度相关性分量，C_d3为第一模态图像的该局部区域与第二模态图像的该对应局部区域之间在第三图像方向上的梯度相关性分量。

可选地，确定在给定图像方向上的梯度相关性分量的步骤包括：在所述给定图像方向上，获取第一模态图像的所述多个局部区域相对于各自相邻局部区域的图像特征梯度；在所述给定图像方向上，获取第二模态图像的所述多个对应局部区域相对于各自相邻局部区域的图像特征梯度；基于预定的相关性模型，由所述第一模态图像的多个局部区域的图像特征梯度和所述第二模态图像的多个对应局部区域的图像特征梯度确定在所述给定图像方向上的梯度相关性分量，其中，所述给定图像方向为第一图像方向、第二图像方向或第三图像方向中的任一个。

可选地，在所述给定图像方向上获取的第一模态图像的所述多个局部区域相对于各自相邻局部区域的图像特征梯度，由下式得到：

其中，d_n表示在所述给定图像方向的第n个局部区域，d_n+1表示在所述给定图像方向的第n+1个局部区域，

表示第一模态图像在所述给定图像方向上的第n个局部区域的图像特征，

表示第一模态图像在所述给定图像方向上的第n+1个局部区域的图像特征，

表示第一模态图像在所述给定图像方向上对应第n个局部区域的图像特征梯度。

可选地，在所述给定图像方向上，获取第二模态图像的所述多个对应局部区域相对于各自相邻局部区域的图像特征梯度，由下式得到：

其中，

表示第二模态图像在所述给定图像方向上的第n个局部区域的图像特征，

表示第二模态图像在所述给定图像方向上的第n+1个局部区域的图像特征，

表示第二模态图像在所述给定图像方向上对应第n个局部区域的图像特征梯度。

可选地，所述相关性模型为皮尔逊相关性模型，由下式确定：

其中，C_d为第一模态图像的局部区域与第二模态图像的对应局部区域之间在给定图像方向上的梯度相关性分量；F_grad为第一模态图像的该局部区域在给定图像方向上的图像特征梯度，A_grad为第二模态图像的该对应局部区域在给定图像方向上的图像特征梯度；

为第一模态图像的多个局部区域在给定图像方向上的图像特征梯度均值；

为第二模态图像的多个对应局部区域在给定图像方向上的图像特征梯度均值。

可选地，所述相关性模型为欧氏相关性模型，由下式确定：

其中，C_d为第一模态图像的局部区域与第二模态图像的对应局部区域之间在给定图像方向上的梯度相关性分量；F_grad为第一模态图像的该局部区域在给定图像方向上的图像特征梯度，A_grad为第二模态图像的该对应局部区域在给定图像方向上的图像特征梯度。

可选地，所述相关性模型为曼哈顿相关性模型，由下式确定：

C_a＝∑|F_grad-A_grad|

可选地，所述相关性模型为余弦相关性模型，由下式确定：

可选地，所述局部区域为像素或由若干个像素构成的像素块。

可选地，所述第一模态图像的局部区域为像素，所述第二模态图像的对应局部区域为像素。

可选地，所述第一模态图像的各局部区域为像素，所述第二模态图像的各对应局部区域为像素块。

可选地，所述第一模态图像的各局部区域为像素块，所述第二模态图像的各对应局部区域为像素块。

可选地，所述第一模态图像的像素块与所述第二模态图像的像素块具有相同尺寸。

作为替代，所述第一模态图像的像素块与所述第二模态图像的像素块具有不同尺寸。

可选地，所述图像处理方法还包括：将所述第一模态图像整体划分成所述第一模态图像的所述多个局部区域；将所述第二模态图像整体划分成所述第二模态图像的所述多个对应局部区域。

作为替代，所述图像处理方法还包括：将所述第一模态图像的一个或多个感兴趣区域划分成所述第一模态图像的所述多个局部区域；将所述第二模态图像的对应的一个或多个感兴趣区域划分成所述第二模态图像的所述多个对应局部区域。

可选地，所述根据所述梯度相关性，处理所述第一模态图像和/或第二模态图像，包括：根据所述梯度相关性，将所述第一模态图像与所述第二模态图像配准。

可选地，所述根据所述梯度相关性，处理所述第一模态图像和/或第二模态图像，包括：根据所述梯度相关性，正则化重建所述第一模态图像以对所述第一模态图像去噪。

可选地，所述根据所述梯度相关性，处理所述第一模态图像和/或第二模态图像，包括：根据所述局部梯度相关性，将所述第一模态图像与所述第二模态图像融合。

在第二方面，提供一种图像处理装置，其可包括：第一获取单元，配置成获取从目标对象采集的第一模态图像；第二获取单元，配置成获取从所述目标对象采集的第二模态图像；确定单元，配置成确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间的梯度相关性；处理单元，配置成根据所述梯度相关性，处理所述第一模态图像和/或第二模态图像。

在第三方面，提供一种电子设备，其可包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时实现本申请任一实施例所述的方法。

在第四方面，提供一种图像处理系统，其可包括用于生成第一模态图像的第一成像装置、用于生成第二模态图像的第二成像装置和根据本申请任一实施例所述的电子设备。

可选地，所述第一成像装置为PET装置、SPECT装置、CT装置、MRI装置、伽马相机、X光装置、DR装置中的任一种，所述第二成像装置为PET装置、CT装置、MRI装置、SPECT装置、伽马相机、X光装置、DR装置中的另一种。

可选地，所述图像处理系统为PET/CT设备、PET/MRI设备、SPECT/CT设备或SPECT/MRI设备。

在第五方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置成被运行时实现本申请任一实施例所述的方法。

本申请实施例的图像处理方案通过挖掘不同模态图像、如PET图像与CT、MRI等图像的视觉表达方法之间的差异，提取不同模态图像之间的局部梯度信息并构建相似性模型，以形成不同模态图像、如功能影像与解剖影像的视觉特征映射，从而可以基于上述视觉特征映射改进或优化这些模态图像的各种处理。

进一步地，当利用本申请实施例的图像处理方案获取的上述视觉特征映射来实现不同模态图像如PET图像与CT、MRI等图像的配准时，能充分考虑到多种模态图像、如功能影像与解剖影像之间的图像信息差异，并藉此消除这些差异对图像配准带来的不利影响，例如因为点扩散函数、配准形变等造成的影响。

另外，当利用本申请实施例的图像处理方案获取的上述视觉特征映射来实现这些模态图像之一、如功能影像、如PET图像的正则化重建时，能够实现该模态图像、如功能影像、如PET图像的高效降噪同时保持其有效信号。由此，根据本发明实施例的图像处理方案可以有效应用于低剂量、短时间、动态扫描、稀疏探测等少数据成像场景。

本申请实施例的可选特征和其他效果一部分在下文描述，一部分可通过阅读本文而明白。

附图说明

结合附图来详细说明本申请的实施例，所示元件不受附图所显示的比例限制，附图中相同或相似的附图标记表示相同或类似的元件，其中：

图1示出了根据本申请实施例的图像处理方法流程图；

图2示出了根据本申请实施例的图像处理方法流程图；

图3示出了根据本申请实施例的图像处理方法流程图；

图4示出了根据本申请实施例的图像处理方法流程图；

图5示出了根据本申请实施例的图像处理方法流程图；

图6示出了根据本申请实施例的图像处理方法流程图；

图7A示意性地示出了两种模态图像，其可以使用根据本申请实施例的图像处理方法来获得基于像素的局部梯度相关性；

图7B示意性地示出了两种模态图像，其可以使用根据本申请实施例的图像处理方法来获得基于像素的局部梯度相关性；

图7C示意性地示出了两种模态图像，其可以使用根据本申请实施例的图像处理方法来获得基于像素块的局部梯度相关性；

图7D示意性地示出了两种模态图像，其可以使用根据本申请实施例的图像处理方法来获得分别基于像素块和基于像素的局部梯度相关性；

图7E示意性地示出了两种模态图像，其可以使用根据本申请实施例的图像处理方法来获得分别基于像素块和基于像素的局部梯度相关性；

图8示出了根据本申请实施例的相关性图谱；

图9示出了应用根据本申请实施例的图像处理方法进行PET图像正则化重建的对比图；

图10示出了根据本申请实施例的图像处理装置的模块连接图；

图11示出了能实施根据本申请实施例的方法的电子设备的示例性硬件结构示意图；

图12示出了根据本申请实施例的图像处理系统的模块连接图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合具体实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

下面将参照附图，对本申请的具体实施例进行详细说明。

本申请实施例提出了一种图像处理方法、装置和系统以及相关的电子设备和存储介质。根据本申请实施例的图像处理方案尤其可以用于医疗影像处理，尤其是各种核成像医疗影像处理。但是可以想到，根据本申请实施例可以应用于其他采用多种模态成像的领域。本文的多个实施例或示例将针对医疗影像应用进行描述，但是本领域技术人员将明白，这些实施例或示例可以以不矛盾的方式应用于其他采用多种模态成像的领域以获得新的实施例或示例，这应当落入本申请的保护范围。

发明人意识到，可以通过挖掘不同模态图像、如PET图像与CT、MRI等图像的视觉表达方法之间的差异，提取不同模态图像之间的局部梯度信息并构建相似性模型，以形成不同模态图像、如功能影像与解剖影像的视觉特征映射模型，并基于上述视觉特征映射模型改进或优化这些模态图像。

相应地，在一些实施例中，如图1所示，提供了一种图像处理方法。该图像处理方法可包括：

S110：获取从目标对象采集的第一模态图像；

S120：获取从所述目标对象采集的第二模态图像；

S130：确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间的梯度相关性；

S140：根据所述梯度相关性，处理所述第一模态图像和/或第二模态图像。

在本申请实施例中，第一模态图像可以是功能影像，第二模态图像可以是解剖影像；或者第一模态图像可以是解剖影像，第二模态图像可以是功能影像。本领域技术人员应当注意的是，功能影像、解剖影像又可以分别称为功能图像、解剖图像，其分别指代的是从功能影像设备比如PET或解剖影像设备比如CT、MRI所获取的影像。

在一些实施例中，所述第一和第二模态图像可以是二维图像。

在替代的实施例中，所述第一和第二模态图像可以是立体(三维)图像，或者第一和第二模态图像中的其中一个为立体(三维)图像。

在一个具体的实施例中，第一模态图像可以是PET或SPECT图像，第二模态图像可以是CT或MRI图像。

在本文公开的多个具体示例中，将以PET图像作为第一模态图像的例子、以CT图像作为第二模态图像的例子进行描述。本领域技术人员将明白，在这些示例中针对PET图像和/或CT图像描述的具体特征可以以不矛盾的方式结合到宽泛地描述第一和第二模态图像的实施例中，以获得新的实施例，这应当落入本申请的保护范围。

在本申请实施例中，所述步骤S110和S120中的获取第一和/或第二模态图像包括间接获取已采集的第一和/或第二模态图像。进一步地，这些实施例的图像处理方法可以不包括图像采集步骤，而是仅对第一和第二模态图像本身进行处理。

在另外的实施例中，所述步骤S110和S120中的获取第一和/或第二模态图像可以包括直接采集第一和/或第二模态图像，或者所述图像处理方法可以包括独立于步骤S110和S120的采集步骤。由此，这些实施例的图像处理方法可以包括图像采集的步骤。

在本申请一些实施例中，第一和第二模态图像可以获取自同一图像处理设备/系统，如本申请实施例所述的图像处理系统(如图12所示)，例如PET/CT设备或SPECT/CT设备，该设备同时集成了PET或SPECT装置和CT装置。在这些实施例中，可以同时和/或在相同的采集位置上对所述目标对象进行采集得到第一和第二模态图像，但不限于此。

根据本申请实施例所述的图像处理系统、如医疗成像系统将在下文参考图12进行进一步描述。

在替代的实施例中，所获取的第一和第二模态图像是异机数据，例如第一模态图像、如PET图像数据来自第一图像处理装置、如PET装置，第二模态图像、如CT图像数据来自独立于第一图像处理装置的第二图像处理装置、如CT装置。在这些实施例中，可以在第一时间对位于第一图像处理装置中的目标对象采集得到第一模态图像，并在第二时间(异步)对位于第二图像处理装置中(异机)的目标对象采集得到第二模态图像。

在一些实施例中，第一和第二模态图像的采集可以具有相同或不同的扫描配置。例如，第一模态图像的采集使用的剂量和/或时长可以不同于第二模态图像的采集，例如，第一模态图像的采集是通过低剂量和/或短时间扫描；第二模态图像的采集是通过相对高剂量和/或相对长时间扫描，或者反过来。例如，当进行第一模态图像的采集时，对目标对象进行动态扫描；当进行第二模态图像的采集时，对目标对象进行静态扫描，或者反过来。例如，当进行第一模态图像的采集时，对目标对象进行稀疏探测；当进行第二模态图像的采集时，对目标对象进行非稀疏探测，或者反过来。这均应落入本申请的保护范围。

如前所述，本申请实施例可以获取图像的对应局部区域之间的梯度相关性。相应地，在一些实施例中，该对应局部区域之间的梯度相关性也可以称为局部梯度相关性。

本领域技术人员应当明白，可以根据对整个第一和第二模态图像或对第一和第二模态图像的一个或多个部分中的对应局部区域求取局部梯度相关性。

相应地，在一些实施例中，例如图7A至图7E所示，可以获取整个第一和第二模态图像中的多个局部区域之间的梯度相关性。具体地，图像处理方法还可包括：将所述第一模态图像整体划分成所述第一模态图像的所述多个局部区域；将所述第二模态图像整体划分成所述第二模态图像的所述多个对应局部区域。

在替代实施例中，可以获取第一和第二模态图像的一个或多个部分中的多个局部区域之间的梯度相关性。具体地，图像处理方法还可包括：将所述第一模态图像的一个或多个部分划分成所述第一模态图像的所述多个局部区域；将所述第二模态图像的对应的一个或多个部分划分成所述第二模态图像的所述多个对应局部区域。

在进一步的实施例中，所述一个或多个部分为一个或多个ROI(Region ofInteresting，感兴趣区域，是指机器视觉、图像处理中以方框、圆、椭圆、不规则多边形等方式从被处理的图像勾勒出需要处理的区域)。

在进一步的实施例中，当第一和第二模态图像为三维图像时，所述一个或多个部分为其中的一个或多个图片帧，或者一个或多个图片帧中的一个或多个部分、如一个或多个图片帧中的一个或多个ROI。

在下文描述的一个或多个具体实施例中，第一和第二模态图像整体被划分成多个对应的局部区域；但是可以想到，这些实施例的特征可以以不矛盾的方式结合到第一和第二模态图像被部分划分成多个对应的局部区域的实施例中来获得新的实施例。

在本申请实施例中，所述局部区域可以有多种形式，例如为像素或由若干个像素构成的像素块。

在不同实施例中，可以有不同的局部区域的划分、形式和对应性组合。

例如，在如图7A所示的实施例中，所述第一模态图像710的局部区域为像素711、712，所述第二模态图像710’的对应局部区域为像素711’、712’。更具体地，在图7A所示的实施例中，第一模态图像710和第二模态图像710’为平面图像，第一模态图像710可以具有与第二模态图像710’相同的(像素)分辨率，从而例如在第一和第二模态图像710、710’中相同位置的像素相对应，例如像素711对应像素711’(第1行，第5列)，像素712对应像素712’(第1行，第6列)。在该实施例中，获取整个第一和第二模态图像710、710’的对应像素的(局部)梯度相关性，例如获取像素711与对应像素711’的(局部)梯度相关性，以及像素712与对应像素712’的(局部)梯度相关性。

在如图7B所示的实施例中，所述第一模态图像的各局部区域为像素，所述第二模态图像的各对应局部区域为像素。更具体地，在图7B所示的实施例中，第一模态图像720和第二模态图像720’为立体图像，第一模态图像720可以具有与第二模态图像720’相同的帧数，而且第一模态图像720与第二模态图像720’的对应帧可以具有相同的(像素)分辨率，例如分辨率为M×N×P(y方向M个像素，x方向N个像素，z方向P个像素，即P帧)。从而例如使第一和第二模态图像720、720’的对应帧中相同位置的像素相对应，例如第一帧720¹的像素721对应像素721’(第1帧，第1行，第5列)，像素722对应像素722’(第1帧，第1行，第6列)；第二帧720²的像素723对应像素723’(第2帧，第1行，第5列)，像素724对应像素724’(第2帧，第1行，第6列)；第二帧720²的像素723对应像素723’(第2帧，第1行，第5列)，像素724对应像素724’(第2帧，第1行，第6列)；第L帧720^L的像素725对应像素725’(第L帧，第1行，第5列)，像素726对应像素726’(第L帧，第1行，第6列)。在该实施例中，获取整个第一和第二模态图像720、720’(全部对应帧)的对应像素的(局部)梯度相关性，例如获取像素721与对应像素721’的(局部)梯度相关性、像素722与对应像素722’的(局部)梯度相关性、像素723与对应像素723’的(局部)梯度相关性、像素724与对应像素724’的(局部)梯度相关性、像素725与对应像素725’的(局部)梯度相关性、像素726与对应像素726’的(局部)梯度相关性。

在如图7C所示的实施例中，所述第一模态图像730的各局部区域为像素块，所述第二模态图像730’的各对应局部区域为像素块。更具体地，在图7C所示的实施例中，第一模态图像730和第二模态图像730’为平面，而且第一模态图像730与第二模态图像730’可以具有相同的(像素)分辨率。在图7C所示的实施例中，用于确定梯度相关性的局部区域为以若干个像素构成的像素块。在图7C所示的实施例中，在第一和第二模态图像730、730’的相同位置的像素块相对应，而且像素块的尺寸相同，如均为2×2像素块。例如，第一模态图像730的像素块731对应第二模态图像730’的像素块731’(第1行、第5列的2×2像素块，即，第1和2行、第9和第7列的4个像素)，第一模态图像730的像素块732对应第二模态图像730’的像素块732’(第1行、第6列的2×2像素块，即，第1和2行、第11和第12列的4个像素)。在该实施例中，获取整个第一和第二模态图像730、730’的对应像素块的(局部)梯度相关性，例如获取像素块731与对应像素块731’的(局部)梯度相关性、像素块732与对应像素块732’的(局部)梯度相关性。尽管在图7C所示的实施例中的在第一和第二模态图像730、730’的对应像素的尺寸相同，但是可以想到所述第一模态图像的像素块与所述第二模态图像的像素块可以具有不同尺寸，优选地第一和第二模态图像的对应像素块的尺寸比例与第一和第二模态图像的分辨率比例相匹配。

作为图7C所示的实施例的替代，在如图7D所示的实施例中，所述第一模态图像740的各局部区域可以为像素，所述第二模态图像740’的各对应局部区域可以为像素块，或者反过来。更具体地，在图7D所示的实施例中，第一模态图像740和第二模态图像740’为二维平面图像，而且第一模态图像740与第二模态图像740’可以具有不同的(像素)分辨率。相应地，在图7D所示的实施例中，所述第一模态图像的像素与所述第二模态图像的像素块的尺寸比例相匹配。例如，在图7D所示的实施例中，第一模态图像的分辨率为M×N(y方向M个像素，x方向N个像素)，第二模态图像的分辨率为2M×2N。相应地，在图7D所示的实施例中，第一模态图像的每个局部区域为1个像素(1×1)，第二模态图像的的每个局部区域为4个像素构成的像素块(2×2)。例如，第一模态图像740的像素741(第1行、第5列的像素)对应第二模态图像740’的像素块741’(第1行、第5列的2×2像素块，即，第1和2行、第9和第10列的4个像素)，第一模态图像740的像素742(第1行、第6列的像素)对应第二模态图像740’的像素块742’(第1行、第6列的2×2像素块，即，第1和2行、第11和第12列的4个像素)。在该实施例中，获取整个第一模态图像740的像素与第二模态图像740’的对应像素块的(局部)梯度相关性，例如获取像素741与对应像素块741’的(局部)梯度相关性、像素742与对应像素块742’的(局部)梯度相关性。

在如图7E所示的实施例中，所述第一模态图像的各局部区域为像素块，所述第二模态图像的各对应局部区域为像素块。在图7E所示的实施例中，用于确定梯度相关性的局部区域为以若干个像素构成的像素块。更具体地，在图7E所示的实施例中，第一模态图像750和第二模态图像750’为立体图像，第一模态图像750可以具有与第二模态图像750’相同的帧数，而且第一模态图像750与第二模态图像750’的对应帧可以具有相同的(像素)分辨率，例如分辨率为2M×2N×L(y方向2M个像素，x方向2N个像素，z方向L个像素，即L帧或L层)。从而，例如在第一和第二模态图像750、750’的对应帧中相同位置的像素块相对应，例如第一帧750¹的像素块751对应像素块751’(第1帧、第1行、第5列的2×2像素块，即，第1帧、第1和2行、第9和第10列的4个像素)，像素752对应像素752’(第1帧、第1行、第6列的2×2像素块，即，第1帧、第1和2行、第11和第12列的4个像素)；第二帧750²的像素块753对应像素块753’(第2帧、第1行、第5列的2×2像素块，即，第2帧、第1和2行、第9和第10列的4个像素)，像素754对应像素754’(第2帧、第1行、第6列的2×2像素块，即，第2帧、第1和2行、第11和第12列的4个像素)；第L帧750^L的像素块755对应像素块755’(第L帧、第1行、第5列的2×2像素块，即，第L帧、第1和2行、第9和第10列的4个像素)，像素756对应像素756’(第L帧、第1行、第6列的2×2像素块，即，第L帧、第1和2行、第11和第12列的4个像素)。在该实施例中，获取整个第一和第二模态图像750、750’(全部对应帧)的对应像素块的(局部)梯度相关性，例如获取像素块751与对应像素块751’的(局部)梯度相关性、像素块752与对应像素块752’的(局部)梯度相关性、像素块753与对应像素块753’的(局部)梯度相关性、像素块754与对应像素块754’的(局部)梯度相关性、像素块755与对应像素块755’的(局部)梯度相关性、像素块756与对应像素块756’的(局部)梯度相关性。

尽管在图7A至图7E所示的实施例中示出了多种不同类型的第一和第二模态图像的局部区域、如像素和/或像素块的对应性，但是可以想到对这些局部区域和/或对应性进行改造以获得新的实施例。

例如，作为图7D的替代，可以将像素与像素块的对应性应用于为立体图像的第一和第二模态图像中。

例如，作为图7E的替代，像素块可以具有不同的尺寸和/或维度。比如，作为图7E所示的实施例中的对应帧中平面像素块的替代，可以在作为立体图像的第一和第二模态图像中限定对应的立体像素块(如2×2×2像素块)，第一和第二模态图像的对应立体像素块的尺寸可以相同或不相同。或者，作为图7E所示的实施例中的对应帧中像素块的替代，可以在作为立体图像的第一和第二模态图像中限定的由相邻帧(z方向)的多个像素构成的对应像素块(如在y方向和z方向上的2×2像素块，或者在x方向和z方向上的2×2像素块)，第一和第二模态图像的对应像素块的尺寸可以相同或不相同。

此外，作为图7B或图7E中示出了相同帧数的第一和第二模态图像的替代，第一和第二模态图像可以具有不同的帧数。相应地，可以想到，其中一个模态图像的单帧的局部区域对应另一个模态图像的多帧的局部区域。或者，可以想到，至少具有较高帧数的模态图像的局部区域为立体像素块或由相邻帧(z方向)的多个像素构成的像素块，且具有较高帧数的模态图像的像素块与具有较低帧数的模态图像的像素块/像素在z方向上的比例与两个模态图像的帧数比例相匹配。

第一和第二模态图像的局部区域、如像素和/或像素块的对应性将在下文中进一步描述。

继续参考图2和图3，本申请实施例可以通过获取第一和第二模态图像在不同图像方向上的梯度相关性分量来进一步确定所述梯度相关性或局部梯度相关性。

如图2所示的实施例中，所述步骤S130可包括：

S131：确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间在第一图像方向上的第一梯度相关性分量；

S132：确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间在第二图像方向上的第二梯度相关性分量；

S134：根据所述第一梯度相关性分量和第二梯度相关性分量确定所述梯度相关性。

在一些实施例中，所述梯度相关性如下式(1)求得：

在一些实施例中，所述第二图像方向大致垂直于所述第一图像方向。

在一个具体实施例中，可以在图像的平面中定义图像方向，例如第一图像方向为长度方向(x方向)，第二图像方向为宽度方向(y方向)。

由此，上式(1)中的梯度相关性将如下式(2)表示：

在该实施例中，第一和第二模态图像可以为平面图像，例如图7A、图7C和图7D所示的。以图7A为例，可以分别获取第一和第二模态图像710、710’的像素(局部区域)713和像素(局部区域)713’在第一图像方向(x方向)的梯度相关性分量C_x和在第二图像方向(y方向)的梯度相关性分量C_y，并由此获取像素713和像素713’的(综合)梯度相关性C。

但是可以想到，在该实施例中，第一和第二模态图像可以为立体图像，例如图7B和图7E所示的。此时，将针对立体的第一和第二模态图像中相对应的图像帧中的对应的局部区域来分别获取在两个方向上、如x方向和y方向上的梯度相关性分量，并由此获得上述(综合)梯度相关性。以图7B为例，可以分别求取第一和第二模态图像720、720’中的第一帧中相对应的像素(局部区域)723和像素(局部区域)723’在该帧所在平面上的第一图像方向(x方向)和第二图像方向(y方向)的梯度相关性分量C_x和C_y，并由此获取该对应的像素(局部区域)723和像素723’的(综合)梯度相关性C。

在一些实施例中，第一和第二模态图像在整个图像上的对应局部区域的(综合)梯度相关性也可表示为第一和第二模态图像的(梯度)相关性图谱。图8示出了根据本申请实施例的相关性图谱。在图8所示的实施例中，第一模态图像为PET图像，第二模态图像为CT图像，经本申请实施例所述的图像处理方法而处理可得到图8右侧所示的相关性图谱。

本领域技术人员将明白，步骤S140所述的根据梯度相关性处理所述第一模态图像和/或第二模态图像，可以根据需要利用本申请实施例的方法所获得的梯度相关性(数值)来进行处理，或者利用本申请实施例的方法所获得的带有梯度相关性特征的相关性图谱来进行处理，这均落入本申请实施例的范围内。

如图3所示的实施例中，所述步骤S130可包括：

S133：确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间在第三图像方向上的第三梯度相关性分量；

S134’：根据所述第一梯度相关性分量、第二梯度相关性分量和第三梯度相关性分量确定所述第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间的梯度相关性。

在一些实施例中，梯度相关性将由下式确定：

在一些实施例中，所述第二图像方向大致垂直于所述第一图像方向，所述第三图像方向大致垂直于所述第二图像方向和所述第一图像方向。

在一个具体实施例中，当第一模态图像和第二模态图像均为立体成像图像时，可以在立体成像图像的三个维度定义图像方向，例如第一图像方向为长度方向(x方向)，第二图像方向为宽度方向(y方向)，第三图像方向为高度方向(z方向)。

由此，上式(3)中的梯度相关性将如下式(4)表示：

在该实施例中，第一和第二模态图像可以为立体图像，例如图7B和图7E所示的。此时，将针对立体的第一和第二模态图像中相对应的图像帧中的对应的局部区域来分别获取在三个方向上、如x方向、y方向和z方向上的梯度相关性分量，并由此获得上述(综合)梯度相关性。以图7B为例，可以分别求取第一和第二模态图像720、720’中的第一帧中相对应的像素(局部区域)723和像素(局部区域)723’在该帧所在平面上的第一图像方向(x方向)和第二图像方向(y方向)的梯度相关性分量C_x和C_y以及垂直于所述帧的第三图像方向(z方向)的梯度相关性分量C_z，并由此获取该对应的像素(局部区域)723和像素723’的(综合)梯度相关性C。经过计算后C的范围通常为[0，1]，C越接近1则说明两种模态图像的局部相似性越高，C越接近于0则说明两种模态图像的局部相似性越低。

在进一步的实施例中，可以通过获取对应的局部区域在各给定方向上的图像特征梯度、如灰度梯度，并基于给定的相关性模型确定对应局部区域在该给定方向的梯度相关性分量。

在进一步的实施例中，对于第一图像方向、第二图像方向和第三图像方向中的给定图像方向而言，确定在给定图像方向上的梯度相关性分量的步骤包括：在所述给定图像方向上，获取第一模态图像的所述多个局部区域相对于各自相邻局部区域的图像特征梯度；在所述给定图像方向上，获取第二模态图像的所述多个对应局部区域相对于各自相邻局部区域的图像特征梯度；基于预定的相关性模型，由所述第一模态图像的多个局部区域的图像特征梯度和所述第二模态图像的多个对应局部区域的图像特征梯度确定在所述给定图像方向上的梯度相关性分量。

在一些实施例中，所述图像特征为灰度。但是，可以想到，在其他实施例中可以为其他图像特征或者与图像特征关联的特征，例如在一些实施例中，可以以衰减系数作为图像特征来获取梯度相关性分量。

在一个具体实施例中，如图4所示，对于第一图像方向而言，步骤S131可包括：

S1311：在第一图像方向上，获取第一模态图像的所述多个局部区域相对于各自相邻局部区域的图像特征梯度；

S1312：在第一图像方向上，获取第二模态图像的所述多个对应局部区域相对于各自相邻局部区域的图像特征梯度；

S1313：基于预定的相关性模型，由所述第一模态图像的多个局部区域的图像特征梯度和所述第二模态图像的多个对应局部区域的图像特征梯度确定在所述第一图像方向上的梯度相关性分量。

在一个实施例中，所述第一图像方向为x方向。

在一个具体实施例中，如图5所示，对于第二图像方向而言，步骤S132可包括：

S1321：在第二图像方向上，获取第一模态图像的所述多个局部区域相对于各自相邻局部区域的图像特征梯度；

S1322：在第二图像方向上，获取第二模态图像的所述多个对应局部区域相对于各自相邻局部区域的图像特征梯度；

S1323：基于预定的相关性模型，由所述第一模态图像的多个局部区域的图像特征梯度和所述第二模态图像的多个对应局部区域的图像特征梯度确定在所述第二图像方向上的梯度相关性分量。

在一个实施例中，所述第二图像方向为y方向。

在一个具体实施例中，如图6所示，如存在第三图像方向，对于第三图像方向而言，步骤S133可包括：

S1331：在第三图像方向上，获取第一模态图像的所述多个局部区域相对于各自相邻局部区域的图像特征梯度；

S1332：在第三图像方向上，获取第二模态图像的所述多个对应局部区域相对于各自相邻局部区域的图像特征梯度；

S1333：基于预定的相关性模型，由所述第一模态图像的多个局部区域的图像特征梯度和所述第二模态图像的多个对应局部区域的图像特征梯度确定在所述第三图像方向上的梯度相关性分量。

在一个实施例中，所述第三图像方向为z方向。

在一些实施例中，在所述给定图像方向上获取的第一模态图像的所述多个局部区域相对于各自相邻局部区域的图像特征梯度，由下式(5)得到：

在该实施例中，所述第n个或第n+1个局部区域是指在所述给定方向上同一行/列的第n个或第n+1个局部区域，如下文将进一步描述。

若以第一图像方向为x方向为例，上式(5)中的第一模态图像的图像特征梯度将表示为下式(6)：

其中，x_n表示在x方向的第n个局部区域，x_n+1表示在x方向的第n+1个局部区域，

表示第一模态图像在x方向上的第n个局部区域的图像特征，

表示第一模态图像在x方向上的第n+1个局部区域的图像特征，

表示第一模态图像在x方向上对应第n个局部区域的图像特征梯度。

对于第二图像方向(y方向)或第三图像方向(z方向)的第一模态图像的图像特征梯度的对应表达式可参考式(6)表示，在此不赘述。

相应地，在所述给定图像方向上，获取第二模态图像的所述多个对应局部区域相对于各自相邻局部区域的图像特征梯度，由下式(7)得到：

其中，

若以第一图像方向为x方向为例，上式(7)中的第二模态图像的图像特征梯度将表示为下式(8)：

其中，

表示第二模态图像在x方向上的第n个局部区域的图像特征，

表示第二模态图像在x方向上的第n+1个局部区域的图像特征，

表示第二模态图像在x方向上对应第n个局部区域的图像特征梯度。

对于第二图像方向(y方向)或第三图像方向(z方向)的第二模态图像的图像特征梯度的对应表达式可参考式(8)，在此不赘述。

在一些实施例中，所述相关性模型为皮尔逊相关性模型，由下式(9)确定：

在一些实施例中，上述F_grad可称为第一模态图像在该给定方向上的梯度图，上述A_grad可称为第二模态图像在该给定方向上的梯度图，上述C_d也可称为第一和第二模态图在该给定方向上的梯度图的相关性。

在一些实施例中，第一模态图像的局部区域在给定图像方向上的图像特征梯度均值可以如下式(10)确定：

其中，N_total为第一和/或第二模态图像或第一和/或第二模态图像的图像(帧)具有的局部区域的图像特征梯度的总量。

在一些实施例中，若第一和/或第二模态图像为平面图像，且局部区域的数量为M×N，以第一图像方向为x方向为例，则N_total＝(M-1)×N，即x方向上，每一行最后一个局部区域(第M个局部区域)不求取图像特征梯度。在另一个实施例中，可以规定每一行最后一个局部区域(第M个局部区域)的图像特征梯度，例如规定x方向上每一行第M个局部区域的图像特征梯度等于第M-1个局部区域的图像特征梯度，此时N_total＝M×N，即等于图像的局部区域的数量。

在一些实施例中，若第一和/或第二模态图像为立体图像，N_total可以为对应图像帧的局部区域的图像特征梯度的总量，即仅在图像帧的范围内求平均；或者N_total可以为整个立体图像的局部区域的图像特征梯度的总量，即在立体图像的范围内求平均。

相应地，第二模态图像的局部区域在给定图像方向上的图像特征梯度均值可以如下式(11)确定：

在另外的实施例中，所述相关性模型为欧氏相关性模型，由下式(12)确定：

在另外的实施例中，所述相关性模型为曼哈顿相关性模型，由下式(13)确定：

C_d＝∑|F_grad-A_grad|(13)

在另外的实施例中，所述相关性模型为余弦相关性模型，由下式(14)确定：

尽管本文的多个实施例提供了多个不同相关性模型的例子，但是可以想到适用其他的相关性模型，仍落入本申请的范围内。

在一些实施例中，可以在步骤S130中或者在另外的独立步骤中对第一和第二模态图像的多个局部区域之间的梯度相关性进行进一步的处理或后处理。在一些实施例中，所述进一步的处理或后处理可以根据需要包括归一化、求均值、减去均值、标准化、缩放、过滤等或这些处理的组合。

如前所述，本申请实施例可以获取图像的对应局部区域之间的梯度相关性，用于第一模态图像和第二模态图像的处理。

在一些实施例中，步骤S140可以包括：根据所述梯度相关性，将所述第一模态图像与所述第二模态图像配准。

在本申请实施例中，可以使用当前已知的各种配准方法实现第一模态图像和第二模态图像的配准，区别在于本申请实施例使用了两个模态图像的局部区域之间的梯度相关性作为配准的控制参数或标准或者在配准的控制参数或标准中增加了所述梯度相关性；或者采用前述的具有梯度相关性特征的相关性图谱来帮助配准。

在一些实施例中，所述配准可以为绝对配准或相对配准。在一些具体实施例中，所述配准可以采用互相关法、惯序相似度检测匹配法、相互信息法、基于变换域的图像配准方法、基于特征的图像配准方法中的一种或多种，并且利用了所述的梯度相关性。

在一个具体示例中，例如以第一模态图像、如PET图像作为参考图像，第二模态图像、如CT图像为待配准图像，可以选择第一和第二模态图像的全局或部分(如ROI)作为搜索区域，搜索第二模态图像与第一模态图像之间的各局部区域之间的梯度相关性，以最大值或大于预定阈值确认为匹配位置。

在一些实施例中，步骤S140可以包括：根据所述梯度相关性，正则化重建所述第一模态图像以对所述第一模态图像去噪。

在一些实施例中，可以利用多种重建方法对第一模态图像进行正则化重建。在进一步的具体实施例中，所述正则化重建是基于迭代重建方法。在进一步的具体实施例中，所述正则化重建可包括最大似然期望最大化法(MLEM)、有序子集最大期望值法(OSEM)、最大后验估计法(MAP)等方法中的一种或多种。

在一些实施例中，可以将获得的梯度相关性用于构建该正则化重建的惩罚项。更具体地，在进行迭代重建时，可以将第一和第二模态图像的梯度相关性用于构建对应重建算法的目标函数的惩罚项。发明人发现，作为解释而非限制地，当利用该梯度相关性用于构建正则化重建的惩罚项时，通过引入衰减图像约束作为惩罚项来实现正则化，能够以少数据实现功能图像的有效去噪，并且还可以应用在低剂量、短时间、动态扫描、稀疏探测等少数据成像场景中。

在一个示例性实施例中，给定正则化重建算法的目标函数可以以式(15)表示：

J(θ)＝L(θ)+λΦ(θ) (15)

其中，J(θ)为目标函数，L(θ)为给定的损失函数，λΦ(θ)为惩罚项。

在本申请实施例中，最大似然期望最大化法(MLEM)先借助最大似然理论进行运算，再基于最大期望值进行求解，以便寻求具有最大似然性的估计解。在一个具体实施例中，可假设光子探测器探测的光子满足独立的泊松分布，由此基于该泊松分布模型设定观测数据(即读出的电脉冲信号)的似然函数，并借此通过迭代方法求最大期望值。在本申请实施例中，例如当针对第一模态图像，如PET图像进行正则化重建时，可以使用最大似然期望最大化法(MLEM)并基于迭代实施，并且利用根据本申请实施例获得的梯度相关性(参数)用于构建该重建算法的目标函数的惩罚项。

在本申请实施例中，有序子集期望最大值法(OSEM)同样是基于最大似然期望法的迭代图像重建算法，将电脉冲信号划分为L个子集，L为自然数，每使用一个子集的数据，全部像素(每个像素对应一个微元)被更新一次。所有子集轮流使用一遍为一次迭代。OSEM包括两个步骤：确定计算似然函数的条件期望值的表达式；通过用导数求极值法导出使似然函数的条件期望值达到最大时的像素更新值。每次更新像素得到的似然函数值都大于或等于上次值，像素值最终收敛到使似然函数达到最大。在本申请实施例中，例如当针对第一模态图像，如PET图像进行正则化重建时，可以使用有序子集期望最大值法(OSEM)并基于迭代实施，并且利用根据本申请实施例获得的梯度相关性(参数)用于构建该重建算法的目标函数的惩罚项。

在本申请实施例中，最大后验估计法(MAP)的实现类似于最大似然法，区别在于最大似然函数引入了待估计参数(即各微元接收到的光子数/光子强度)的先验分布。在本申请实施例中，最大后验估计法(MAP)也可以基于迭代实施。在本申请实施例中，例如当针对第一模态图像，如PET图像进行正则化重建时，可以使用最大后验估计法(MAP)并基于迭代实施，并且利用根据本申请实施例获得的梯度相关性(参数)用于构建该重建算法的目标函数的惩罚项。

在本申请实施例中，可以在利用根据本申请实施例的梯度相关性进行正则化重建之前或之后对第一和/或第二模态图像进行其他处理、如重建处理。例如，在对第一模态图像，如PET图像进行正则化重建之前利用滤波反投影算法(FBP)进行重建。

如图9示出了应用根据本申请实施例的图像处理方法进行PET图像正则化重建的对比图。

在该实施例中，该PET图像为低剂量临床PET图像。图9左侧示出了利用根据本申请实施例所述的图像处理进行正则化重建前和重建后的PET图像，图9右侧示出了非正则化重建前和重建后的PET图像。下表1示出了该正则化重建后PET图像的感兴趣区域(ROI，Regionof Interesting)910与非正则化重建后的PET图像的ROI 920的图像变异率的对比。如图9所示以及表1所述，应用了根据本申请实施例所述的图像处理的正则化重建的PET图像的噪音显著降低，从而能够获得有效改进的去噪效果。

表1.正则化、非正则化重建后PET图像的ROI的图像变异率对比

图像变异率	非高斯(Non-Gauss)变异	高斯(Gauss)变异
			正则化	9.8％	8.3％
未正则化	22.8％	19.1％

在一些实施例中，步骤S140可以包括：根据所述局部梯度相关性，将所述第一模态图像与所述第二模态图像融合。

在本申请实施例中，可以使用当前已知的各种融合方法实现第一模态图像和第二模态图像的融合，区别在于本申请实施例使用了两个模态图像的局部区域之间的梯度相关性作为融合的控制参数或标准或者在融合的控制参数或标准中增加了所述梯度相关性。具体的融合方法，在此不赘述。

本领域技术人员将明白，上述步骤110至140并不必须按照特定的顺序来执行，并且步骤S140可以与之前的步骤结合执行或者多次循环也是可能的。例如，上述步骤S110和步骤S120可以调换顺序或者同时进行，这并不影响后续分别对第一模态图像或者第二模态图像的处理。例如，上述步骤S131和步骤S132可以调换顺序或者同时进行，上述步骤S131、步骤S132、步骤S133之间可以调换顺序或者同时进行，这并不影响后续对梯度相关性的计算。例如，步骤S140所述的处理为配准时，可能需要重复执行S130和S140，这明确落入本申请的保护范围内。

在本申请实施例中，如图10所示，还提供一种图像处理装置1000，其可包括：第一获取单元1010，配置成获取从目标对象采集的第一模态图像；第二获取单元1020，配置成获取从所述目标对象采集的第二模态图像；确定单元1030，配置成确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间的梯度相关性；处理单元1040，配置成根据所述梯度相关性，处理所述第一模态图像和/或第二模态图像。

在本申请实施例所述的图像处理装置1000可以由软件、硬件或软硬件的结合所实现。

在本申请实施例中所述的方法特征可以应用到本申请实施例中所述的装置中，以获得新的实施例，反之亦然。

图11示出了一种可以实施本申请实施例的方法的示例性电子设备1100的示意图，在一些实施例中可以包括比图示更多或更少的电子设备。在一些实施例中，可以利用单个或多个电子设备实施。在一些实施例中，可以利用云端或分布式的电子设备实施。

如图11所示，电子设备1100包括处理器1101，其可以根据存储在只读存储器(ROM)1102中的程序和/或数据或者从存储部分1108加载到随机访问存储器(RAM)1103中的程序和/或数据而执行各种适当的操作和处理。处理器1101可以为单核或多核的处理器，也可以包含多个处理器。在一些实施例中，处理器1101可以包括通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、神经网络处理器(NPU)、数字信号处理器(DSP)或其他通用或专用集成电路等。在RAM1103中，还存储有电子设备1100操作所需的各种程序和数据。处理器1101、ROM1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。

上述处理器与存储器共同用于执行存储在存储器中的程序，所述程序被计算机执行时能够实现上述各实施例描述的方法的步骤或功能。

以下部件可以连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如显示器以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。

图11仅示意性示出示意性的电子设备，但根据本申请实施例的电子设备可以包括比图11所示电子设备更多或更少的组件或者具有与图11所示实施例设备相同、部分相同或不相同的架构。

在本申请实施例中，如图12所示，还提供一种图像处理系统1200，如成像系统，且可包括用于生成第一模态图像的第一成像装置1210、用于生成第二模态图像的第二成像装置1220和电子设备1230。该电子设备可以是本申请实施例中所述的电子设备，例如图11所示的电子设备。

如图12所示的成像装置1210、1220可以选自用于对目标对象进行成像的装置，尤其是核成像装置，包括但不限于PET装置、SPECT装置、CT装置、MRI装置、SPET装置、伽马相机、X光装置、DR装置中的一种或多种。

在本申请一些实施例中，该图像处理系统1200可以为各种医疗成像系统。但是可以想到，该图像处理系统可以为应用于其他场合、如安检、探矿等的成像系统。

在一个优选实施例中，该图像处理系统1200可以为PET/CT设备。但是，也可以想到PET集成其他成像装置如MRI装置的图像处理系统。在应用于PET的本申请实施例中，PET装置优选是全数字的。

作为替代地，该图像处理系统1200可以为SPECT/CT设备。

尽管未示出，在一些实施例中还提供一种计算机可读存储介质，存储有计算机程序，计算机程序配置成被运行时执行任一本申请实施例的方法。该计算机程序包含组成根据本申请实施例的装置的各个程序模块/单元，各个程序模块/单元构成的计算机程序被执行时能够实现与上述实施例中描述的方法中的各个步骤所对应的功能。该计算机程序还可在如本申请实施例所述的电子设备上运行。

在本申请的实施例的存储介质包括非易失性和/或易失性的可以由任何方法或技术来实现信息存储的物品。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本申请实施例所述的方法、装置、设备和存储介质尤其适合应用于全数字PET技术，特别是集成了其他模态影像的全数字PET技术或者便携式PET技术。作为解释而非限制地，全数字PET具有模块化、简洁化、结构灵活、算法驱动等优势，可以根据实际需求设计出各种应用适应性的PET系统。在本申请一些实施例中，可以将全数字PET成像技术与CT、MRI等其他模态影像进行有机结合，实现功能-解剖多维智能诊断。另一方面会发展出脑PET、放疗导航PET等多种专用型设备，仍需额外引入解剖影像辅助校正和诊断。因此，完成“异机”、“异步”多模影像配准，构建PET图像与CT、MRI等解剖图像之间的特征映射，用于PET数据校正与图像重建是实现多模态智能成像的关键一环。传统解剖、功能影像刚性/柔性配准技术主要提取各自图像的轮廓信息，应用于机械、运动校准。本申请实施例的方法、装置、设备和存储介质面向多模态智能成像，基于多模医学影像视觉相似性构建目标函数，提取多种解剖/功能先验信息，实现少数据下高质量PET图像重建，为未来智能PET产品、新型PET应用奠定基础。

基于全数字PET技术提出了“即插即成像”PET系统设计方法，并以此研制出头盔PET、质子治疗导航PET、双动态活体动物观测PET、MRI插入式PET等新型设备。当前这些设备具有一个共同特性，即在物理结构上作为单一模态的影像设备独立存在，其优势在于应用更加灵活、抗干扰能力强，劣势在于无法直接融合CT、MRI等影像用于成像和诊断。然而，本申请实施例的方法、装置、设备和存储介质面向多模态智能成像，能够有效弥补此类“即插即成像”PET无法直接融合CT、MRI等影像用于成像和诊断的劣势。

本领域技术人员应明白，本说明书的实施例可以以方法、系统或计算机程序产品等多种形式实施。因此，本领域技术人员可想到，上述实施例阐明的功能模块/单元或控制器以及相关方法步骤的实现，可以用软件、硬件和软/硬件结合的方式实现。

除非明确指出，根据本申请实施例记载的方法、程序的动作或步骤并不必须按照特定的顺序来执行并且仍然可以实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在本文中，针对多个实施例进行了描述，但为简明起见，各实施例的描述并不是详尽的，各个实施例之间相同或相似的特征或部分可能会被省略。在本文中，“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”意指适用于根据本申请的至少一个实施例或示例中，而非所有实施例。上述术语并不必然意味着指代相同的实施例或示例。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

已参考上述实施例具体示出并描述了本申请的示例性系统及方法，其仅为实施本系统及方法的最佳模式的示例。本领域的技术人员可以理解的是可以在实施本系统及/或方法时对这里描述的系统及方法的实施例做各种改变而不脱离界定在所附权利要求中的本发明的精神及范围。

Claims

1.一种图像处理方法，其特征在于，包括：

获取从目标对象采集的第一模态图像；

获取从所述目标对象采集的第二模态图像；

确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间的梯度相关性；

根据所述梯度相关性，处理所述第一模态图像和/或第二模态图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间的梯度相关性，包括：

确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间在第一图像方向上的第一梯度相关性分量；

确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间在第二图像方向上的第二梯度相关性分量；

根据所述第一梯度相关性分量和第二梯度相关性分量确定所述梯度相关性。

3.根据权利要求2所述的图像处理方法，其特征在于，所述第二图像方向垂直于所述第一图像方向。

4.根据权利要求2所述的图像处理方法，其特征在于，所述梯度相关性由下式确定：

5.根据权利要求1所述的图像处理方法，其特征在于，所述确定第一模态图像和第二模态图像的多个对应局部区域的梯度相关性，包括：

确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间在第三图像方向上的第三梯度相关性分量；

根据所述第一梯度相关性分量、第二梯度相关性分量和第三梯度相关性分量确定所述第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间的梯度相关性。

6.根据权利要求5所述的图像处理方法，其特征在于，所述第二图像方向垂直于所述第一图像方向，所述第三图像方向垂直于所述第二图像方向和所述第一图像方向。

7.根据权利要求5所述的图像处理方法，其特征在于，所述梯度相关性由下式确定：

8.根据权利要求2至7中任一项所述的图像处理方法，其特征在于，确定在给定图像方向上的梯度相关性分量的步骤包括：

在所述给定图像方向上，获取第一模态图像的所述多个局部区域相对于各自相邻局部区域的图像特征梯度；

在所述给定图像方向上，获取第二模态图像的所述多个对应局部区域相对于各自相邻局部区域的图像特征梯度；

基于预定的相关性模型，由所述第一模态图像的多个局部区域的图像特征梯度和所述第二模态图像的多个对应局部区域的图像特征梯度确定在所述给定图像方向上的梯度相关性分量，

其中，所述给定图像方向为第一图像方向、第二图像方向或第三图像方向中的任一个。

9.根据权利要求8所述的图像处理方法，其特征在于，在所述给定图像方向上获取的第一模态图像的所述多个局部区域相对于各自相邻局部区域的图像特征梯度，由下式得到：

表示第一模态图像在所述给定图像方向上对应第n个局部区域的图像特征梯度；

在所述给定图像方向上，获取第二模态图像的所述多个对应局部区域相对于各自相邻局部区域的图像特征梯度，由下式得到：

其中，

10.根据权利要求8所述的图像处理方法，其特征在于，所述相关性模型为皮尔逊相关性模型，由下式确定：

11.根据权利要求8所述的图像处理方法，其特征在于，所述相关性模型为欧氏相关性模型，由下式确定：

12.根据权利要求8所述的图像处理方法，其特征在于，所述相关性模型为曼哈顿相关性模型，由下式确定：

C_d＝∑|F_grad-A_grad|

13.根据权利要求8所述的图像处理方法，其特征在于，所述相关性模型为余弦相关性模型，由下式确定：

14.根据权利要求1至7中任一项所述的图像处理方法，其特征在于，所述局部区域为像素或由若干个像素构成的像素块。

15.根据权利要求14所述的图像处理方法，其特征在于，所述第一模态图像的局部区域为像素，所述第二模态图像的对应局部区域为像素。

16.根据权利要求14所述的图像处理方法，其特征在于，所述第一模态图像的各局部区域为像素，所述第二模态图像的各对应局部区域为像素块。

17.根据权利要求14所述的图像处理方法，其特征在于，所述第一模态图像的各局部区域为像素块，所述第二模态图像的各对应局部区域为像素块。

18.根据权利要求17所述的图像处理方法，其特征在于，所述第一模态图像的像素块与所述第二模态图像的像素块具有相同尺寸。

19.根据权利要求17所述的图像处理方法，其特征在于，所述第一模态图像的像素块与所述第二模态图像的像素块具有不同尺寸。

20.根据权利要求1至7中任一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：

将所述第一模态图像整体划分成所述第一模态图像的所述多个局部区域；

将所述第二模态图像整体划分成所述第二模态图像的所述多个对应局部区域。

21.根据权利要求1至7中任一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：

将所述第一模态图像的一个或多个感兴趣区域划分成所述第一模态图像的所述多个局部区域；

将所述第二模态图像的对应的一个或多个感兴趣区域划分成所述第二模态图像的所述多个对应局部区域。

22.根据权利要求1至7中任一项所述的图像处理方法，其特征在于，所述根据所述梯度相关性，处理所述第一模态图像和/或第二模态图像，包括：

根据所述梯度相关性，将所述第一模态图像与所述第二模态图像配准。

23.根据权利要求1至7中任一项所述的图像处理方法，其特征在于，所述根据所述梯度相关性，处理所述第一模态图像和/或第二模态图像，包括：

根据所述梯度相关性，正则化重建所述第一模态图像以对所述第一模态图像去噪。

24.根据权利要求1至7中任一项所述的图像处理方法，其特征在于，所述根据所述梯度相关性，处理所述第一模态图像和/或第二模态图像，包括：

根据所述局部梯度相关性，将所述第一模态图像与所述第二模态图像融合。

25.一种图像处理装置，其特征在于，包括：

第一获取单元，配置成获取从目标对象采集的第一模态图像；

第二获取单元，配置成获取从所述目标对象采集的第二模态图像；

确定单元，配置成确定第一模态图像的多个局部区域与第二模态图像的多个对应局部区域之间的梯度相关性；

处理单元，配置成根据所述梯度相关性，处理所述第一模态图像和/或第二模态图像。

26.一种电子设备，其特征在于，包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时实现权利要求1至24中任一项所述的方法。

27.一种图像处理系统，其特征在于，包括用于生成第一模态图像的第一成像装置、用于生成第二模态图像的第二成像装置和根据权利要求26所述的电子设备。

28.根据权利要求27所述的图像处理系统，其特征在于，所述第一成像装置为PET装置、SPECT装置、CT装置、MRI装置、伽马相机、X光装置、DR装置中的任一种，所述第二成像装置为PET装置、CT装置、MRI装置、SPECT装置、伽马相机、X光装置、DR装置中的另一种。

29.根据权利要求27所述的图像处理系统，其特征在于，所述图像处理系统为PET/CT设备、PET/MRI设备、SPECT/CT设备或SPECT/MRI设备。

30.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置成被运行时实现权利要求1至24中任一项所述的方法。