CN113962953A - 一种图像处理方法和系统 - Google Patents

Abstract

本说明书实施例提供一种图像处理方法和系统。其中，该方法包括：获取第一模态的第一图像；获取第二模态的第二图像；将所述第一图像输入预测模型，获得所述第二模态的第三图像；以及比较所述第二图像和所述第三图像，确定所述第二图像是否包含伪影。

Description

一种图像处理方法和系统

技术领域

本说明书涉及图像处理领域，特别涉及一种图像处理方法和系统。

背景技术

医学影像中可能由于病人体内的金属植入物和/或药物注射时的残留造成局部图像异常高亮，呼吸、心跳或其他的肢体运动造成图像重叠，系统硬件故障造成图像截断，散射校正系数估计过高造成局部图像空白等原因存在伪影。由于图像伪影来源不一，表现形式各异，很难通过数学建模来表示或者用量化的指标来测量。

目前，对医学影像的图像质量控制通常通过人眼进行观察，即医生根据自己的阅片经验判断当前图像是否存在伪影。对于被认为存在伪影的图像，如果影响诊断，需要对图像重新进行处理或者排除伪影的成因后安排病人进行第二次扫描。

深度学习技术在图像领域展示出远优于传统技术的效果。如何利用深度学习技术实现对图像伪影的识别和消除逐渐成为一个重要的研究课题。

发明内容

本说明书实施例之一提供一种图像处理方法。所述图像处理方法包括：获取第一模态的第一图像；获取第二模态的第二图像；将所述第一图像输入预测模型，获得所述第二模态的第三图像；以及比较所述第二图像和所述第三图像，确定所述第二图像是否包含伪影。

本说明书实施例之一提供一种图像处理系统。所述图像处理系统包括：第一获取模块，用于获取第一模态的第一图像；第二获取模块，用于获取第二模态的第二图像；伪影预测模块，用于将所述第一图像输入预测模型，获得所述第二模态的第三图像；以及伪影判断模块，用于比较所述第二图像和所述第三图像，确定所述第二图像是否包含伪影。

本说明书实施例之一提供一种图像处理装置，包括处理器，所述处理器用于执行上述图像处理方法。

本说明书实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行上述图像处理方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的图像处理系统的示例性应用场景示意图；

图2是根据本说明书一些实施例所示的图像处理系统的示例性模块图；

图3是根据本说明书一些实施例所示的图像处理方法的示例性流程图；

图4是根据本说明书一些实施例所示的定位伪影区域的示例性流程图；

图5是根据本说明书一些实施例所示的定位伪影区域的示意图；

图6是根据本说明书一些实施例所示的定位伪影区域的另一示意图；

图7是根据本说明书一些实施例所示的伪影校正的示例性流程图；

图8是根据本说明书一些实施例所示的伪影校正的示意图；

图9是根据本说明书一些实施例所示的模型训练的示意图；

图10是根据本说明书一些实施例所示的一种示例性计算设备的示意图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

目前，随着医学成像技术的不断发展，采用多种技术融合检测的方式被广泛应用于各种场景，例如，肿瘤、神经系统、心血管系统的研究和相关疾病诊断等。多种技术融合可以包括PET-CT、PET-MR等。

在本说明书一些实施例中，提出了一种结合了神经网络与非机器学习算法的医学图像质控的自动化解决方案：利用生成网络及多模态成像中第一模态(例如，CT或MR)的图像来预测第二模态(例如，PET)的图像，并与实际采集和重建得到的第二模态的图像进行相似性的比较，以确定实际得到的第二模态图像是否存在伪影；对于图像中确定存在伪影的区域，标记该区域并利用生成网络进行伪影校正。由此，避免二次扫描以及简化图像质量分析流程。

需要说明的是，以上例子仅出于示例的目的，并不旨在对本说明书所披露的技术方案的应用场景进行限制。以下通过对附图的描述详细阐述本说明书披露的技术方案。

图1是根据本说明书一些实施例所示的图像处理系统的示例性应用场景示意图。

在一些实施例中，图像处理系统100可以获取第一模态的第一图像；可以获取第二模态的第二图像；图像处理系统100可以将所述第一图像输入预测模型，获得所述第二模态的第三图像；以及可以比较所述第二图像和所述第三图像，确定所述第二图像是否包含伪影。关于各图像、模态、伪影的详细说明，可以参见图3的相关描述。

如图1所示，图像处理系统100可以包括成像设备110、网络120、终端130、处理设备140以及存储设备150。

成像设备110可以用于对目标对象进行扫描获得扫描数据并成像。成像设备110可以是医学成像设备，例如，CT(计算机断层扫描，Computed Tomography)成像设备、PET(正电子发射计算机断层显像，Positron Emission Computed Tomography)成像设备、MR(磁共振，Magnetic Resonance)成像设备、PET-CT成像设备、PET-MR成像设备等。在一些实施例中，成像设备110可以包括机架111、探测器112、扫描区域113和扫描床114。目标对象可以放置于扫描床114上接受扫描。机架111可以支撑探测器112。在一些实施例中，探测器112可以包括一个或多个探测器单元。探测器单元可以是和/或包括单排探测器和/或多排探测器。探测器单元可以包括闪烁探测器(例如，碘化铯探测器)和其他探测器等。在一些实施例中，机架111可以旋转，例如，在CT成像设备中，机架111可以围绕机架旋转轴线顺时针或逆时针旋转。在一些实施例中，成像设备110可以进一步包括放射扫描源，放射扫描源可以与机架111一同旋转。放射扫描源可以发出放射线束(例如，X射线)到目标对象，经目标对象衰减后被探测器112探测到，进而产生图像信号。在一些实施例中，CT图像可以用于对PET图像进行校正。

处理设备140可以处理从成像设备110、终端130和/或存储设备150获得的数据和/或信息。例如，处理设备140可以对探测器112探测进而产生的图像数据进行处理，以获得图像。在一些实施例中，处理设备140可以是单个服务器或服务器组。服务器组可以是集中式的，也可以是分布式的。在一些实施例中，处理设备140可以是本地的或远程的。例如，处理设备140可以通过网络120从成像设备110、终端130和/或存储设备150访问信息和/或数据。又例如，处理设备140可以直接连接成像设备110、终端130和/或存储设备150以访问信息和/或数据。在一些实施例中，处理设备140可以在云平台上实现。例如，云平台可以包括私有云、公共云、混合云、社区云、分布式云、跨云、多云等其中一种或几种的组合。

终端130可以包括移动设备131、平板电脑132、笔记本电脑133等或其任意组合。在一些实施例中，终端130可以通过网络与系统100中的其他组件交互。例如，终端130可以向成像设备110发送一种或多种控制指令以控制成像设备110按照指令对目标对象进行扫描。在一些实施例中，终端130可以是处理设备140的一部分。在一些实施例中，终端130可以与处理设备140整合为一体，作为成像设备110的操作台。例如，系统100的用户/操作者(例如，医生)可以通过该操作台控制设备成像设备110的运行，比如，对目标对象进行扫描等。

存储设备150可以存储数据(例如，对目标对象的扫描数据、第一图像、第二图像等)、指令和/或任何其他信息。在一些实施例中，存储设备150可以存储从成像设备110、终端130和/或处理设备140处获得的数据，例如，存储设备150可以存储从成像设备110获得的目标对象的第一图像和第二图像等。在一些实施例中，存储设备150可以存储处理设备140可以执行或使用的数据和/或指令，以执行本说明书中描述的示例性方法。在一些实施例中，存储设备150可包括大容量存储器、可移除存储器、易失性读写存储器、只读存储器(ROM)等其中一种或几种的组合。在一些实施例中，存储设备150可以通过本说明书中描述的云平台实现。例如，云平台可以包括私有云、公共云、混合云、社区云、分布式云、跨云、多云等其中一种或几种的组合。

在一些实施例中，存储设备150可以连接网络120，以与系统100中的一个或多个组件(例如，处理设备140、终端130等)之间实现通信。系统100中的一个或多个组件可以通过网络120读取存储设备150中的数据或指令。在一些实施例中，存储设备150可以是处理设备140的一部分，也可以是独立的，与处理设备直接或间接相连。

网络120可以包括能够促进图像处理系统100的信息和/或数据交换的任何合适的网络。在一些实施例中，图像处理系统100的一个或多个组件(例如，成像设备110、终端130、处理设备140、存储设备150等)可以通过网络120与图像处理系统100的一个或多个组件之间交换信息和/或数据。例如，处理设备140可以通过网络120从成像设备110中获取扫描数据。网络120可以包括公共网络(如互联网)、私人网络(例如，局域网(LAN)、广域网(WAN))等)、有线网络(如以太网)、无线网络(例如，802.11网络、无线Wi-Fi网络等)、蜂窝网络(例如，长期演进(LTE)网络)、帧中继网络、虚拟专用网络(VPN)、卫星网络、电话网络、路由器、集线器、服务器计算机等其中一种或几种组合。例如，网络120可以包括有线网络、光纤网络、电信网络、局域网、无线局域网(WLAN)、城域网(MAN)，公用电话交换网(PSTN)、

网络，

网络、近场通信(NFC)网络等其中一种或几种的组合。在一些实施例中，网络120可以包括一个或多个网络接入点。例如，网络120可以包括有线和/或无线网络接入点，例如基站和/或因特网交换点，通过所述接入点，系统100的一个或多个组件可以连接网络120以交换数据和/或信息。

图2是根据本说明书一些实施例所示的图像处理系统的示例性模块图。如图2所示，图像处理系统200可以包括第一获取模块210、第二获取模块220、伪影预测模块230、伪影判断模块240和伪影校正模块250。

第一获取模块210可以用于获取第一模态的第一图像。在一些实施例中，第一模态为CT或MR。

第二获取模块220可以用于获取第二模态的第二图像。在一些实施例中，第二模态为PET。

伪影预测模块230可以用于将第一图像输入预测模型，获得第二模态的第三图像。在一些实施例中，预测模型为一个机器学习模型。在一些实施例中，伪影预测模块230可以用于对第一图像进行伪影校正。

伪影判断模块240可以用于比较第二图像和第三图像，确定第二图像是否包含伪影。

伪影校正模块250可以进行伪影校正。在一些实施例中，响应于所述第二图像包含伪影，伪影校正模块250可以确定所述第二图像的伪影区域。例如，伪影校正模块250可以用于在第二图像上运行滑动窗口，获得第二图像的至少一个候选图像块；以及对于每一个所述候选图像块，确定其是否是目标图像块。

在一些实施例中，伪影校正模块250可以用于将所述候选图像块与所述第三图像中对应图像块的相似度；以及基于所述相似度和预设条件，将符合所述预设条件的候选图像块作为目标图像块。

在一些实施例中，第二图像中包括至少一个目标图像块。伪影校正模块250可以用于基于第二图像和至少一个目标图像块，生成伪影校正后的第二图像。在一些实施例中，伪影校正模块250可以基于第二图像和至少一个目标图像块，生成缺失图像。伪影校正模块250可以将缺失图像输入伪影校正模型，生成伪影校正后的第二图像。在一些实施例中，所述伪影校正模型可以是一个机器学习模型。在一些实施例中，伪影校正模块250可以用于将第一图像和缺失图像同时输入伪影校正模型以获得伪影校正后的第二图像。

关于以上系统各模块部分的详细描述，可以参见本说明书流程图部分，例如，图3至图9的相关描述，此处不再赘述。应当理解，图2所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。又例如，在一些实施例中，第一获取模块210、第二获取模块210可以基于软件、成像设备、计算设备的任意组合实现。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。

需要注意的是，以上对于图像处理系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。在一些实施例中，图2中披露的第一图像获取模块、第二图像获取模块、图像处理模块和图像校正模块可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。

图3是根据本说明书一些实施例所示的图像处理方法的示例性流程图。在一些实施例中，流程300可以由处理设备，例如，处理设备140执行。例如，流程300可以以程序或指令的形式存储在存储装置(如处理设备的自带存储单元或外接存储设备)中，所述程序或指令在被执行时，可以实现流程300。流程300可以包括以下操作。

步骤310，获取第一模态的第一图像。在一些实施例中，步骤310可以由第一获取模块210执行。第一模态可以为CT或MR。

第一图像是指通过第一模态的图像设备扫描获得的图像。例如，CT图像或MR图像。

在一些实施例中，处理设备可以获取第一图像。所述第一图像可以是通过使用第一模态成像设备(例如，CT成像设备、MR成像设备)对目标对象进行扫描而获得。在一些实施例中，处理设备可以获取实时采集的第一图像或第一图像对应的图像数据。在一些实施例中，处理设备可以通过从存储设备、数据库读取，调用数据接口的方式获取得到第一图像。

目标对象可以包括患者或者其他医学实验对象(例如，试验用小白鼠或其他动物)等。目标对象还可以是患者或其他医学实验对象的一部分，包括器官和/或组织，例如，病人的心脏或肺等。在一些实施例中，目标对象还可以包括非生物学主体，例如模体、人造物体等。

步骤320，获取第二模态的第二图像。在一些实施例中，步骤320可以由第二获取模块220执行。

第二模态可以与第一模态不同。例如，第一模态为CT或MR，第二模态可以为PET等。

第二图像是指通过第二模态的成像设备扫描获得的图像。例如，PET图像。

在一些实施例中，处理设备可以获取第二图像。所述第二图像可以是通过使用第二模态成像设备(例如，PET成像设备)对目标对象进行扫描而获得。在一些实施例中，处理设备可以获取实时采集的第二图像或第二图像对应的图像数据。在一些实施例中，处理设备可以通过从存储设备、数据库读取，调用数据接口的方式获取得到第二图像。

目标对象的说明参见步骤310。

步骤330，将所述第一图像输入预测模型，获得所述第二模态的第三图像。在一些实施例中，步骤330可以由伪影预测模块230执行。

第三图像是指与第一图像对应的第二模态的预测图像。第三图像与第二图像的区别在于，第三图像由预测模型对第一图像进行处理得到，第二图像通过第二模态的成像设备进行扫描得到。

在一些实施例中，由于多模态成像设备产生的多模态图像之间相互关联且优势互补，伪影预测模块230可以通过训练好的预测模型，利用多模态图像之间的关系，得到与一种模态的图像对应的另一种模态的预测图像，例如，得到第一模态图像对应的第二模态图像。

在一些实施例中，处理设备可以将第一图像输入预测模型，由预测模型输出对应于该第一图像的第二模态的第三图像。

在一些实施例中，预测模型可以包括生成网络和判别网络，其中，生成网络可以是GAN、PixelRNNs、DRAW等具有图像生成能力的深度神经网络及其任意组合，判别网络可以是神经网络模型等。

在一些实施例中，预测模型可以基于多个训练样本及标签训练得到。关于训练预测模型的更多说明，可以参见图9及其相关描述，此处不再赘述。

在一些实施例中，处理设备将第一图像输入预测模型之前，可以先对第一图像做伪影校正。例如，可以通过薄层扫描，软件校正等方法校正第一图像中的伪影。由于多模态图像之间的关联，第一图像中的伪影会影响预测出的第三图像。因此，预先对第一图像进行伪影校正，可以使第三图像更准确。

在本说明书的一些实施例中，通过获取容易、辐射量小的解剖图像(CT图像、MR图像)预测获取时间长、辐射量大的功能图像(PET图像)，可以实现提高效率，减少病人所受辐射等效果。

步骤340，比较所述第二图像和所述第三图像，确定所述第二图像是否包含伪影。在一些实施例中，步骤340可以由伪影判断模块240执行。

在一些实施例中，伪影判断模块240可以比较第二图像和第三图像，并基于比较结果确定第二图像是否包含伪影。

如前所述，第三图像是与伪影校正后的第一图像关联的第二模态的预测图像。第二图像是由第二模态的成像设备采集的第二模态图像。在一些实施例中，如果第二图像与第三图像具有较高的相似度，第二图像被认定为不包含伪影。在一些实施例中，如果第二图像与第三图像具有较低的相似度，第二图像被认定为包含伪影。

在一些实施例中，伪影判断模块240可以计算第二图像和第三图像的相似度；如果相似度低于预设阈值，则判定第二图像包含伪影。在一些实施例中，图像x和y的相似度可以采用如下公式计算：

其中，μ_xμ_y分别是图像x,y的像素均值，

分别是x,y的方差，σ_xy是x,y的协方差，c₁ c₂是常数项。SSIM值的范围为[-1,1]，值越大则两图像相似性越高。

在一些实施例中，图像x和y的相似度可以采用如下公式计算：

其中，m,n为图像x和y各自的维度。MSE值越小，则两图像的相似性越高。

在一些实施例中，伪影判断模块240可以以其他方式比较第二图像和第三图像，例如，感知哈希算法、峰值信噪比法、直方图法等方法。在一些实施例中，伪影判断模块240可以利用训练好的机器学习模型比较第二图像和第三图像。

在一些实施例中，如果第二图像和第三图像的相似度低于预设阈值，例如，0.8，则伪影判断模块240可以确定第二图像包含伪影。处理设备可以进一步定位伪影区域，例如，采用图像分割等方法定位伪影区域。又例如，采用图4所示的利用滑动窗口的方法定位伪影区域。

在一些实施例中，如果第二图像和第三图像的相似度不低于预设阈值，则伪影判断模块240可以确定第二图像不包含伪影。在一些实施例中，处理设备直接输出第二图像做为第二模态的检测结果。

在本说明书的一些实施例中，利用生成网络及多模态成像中一个模态的图像来预测另一模态的图像，并与实际采集和重建得到的图像进行相似性的比较，以此确定实际得到的图像是否存在伪影，避免了人工阅片的劳动，减少了对医生经验的依赖。在本说明书的一些实施例中，结合了通过非机器学习算法确定图像相似度和通过神经网络判断伪影，相对于完全依赖神经网络判断伪影存在的方法，过程更可控，结果更准确。

应当注意的是，上述有关流程300的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程300进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

图4是根据本说明书一些实施例所示的定位伪影区域的示例性流程图。

步骤410，在所述第二图像上运行滑动窗口，获得第二图像的至少一个候选图像块。在一些实施例中，步骤410可以由伪影校正模块250执行。

候选图像块是指第二图像的一部分，或称为子图像块。在一些实施例中，第二图像可包括多个候选图像块。这些候选图像块可以大小相同，位置不同。在本说明书中，如果在一个方向上两个候选图像块中间没有其他候选图像块，这两个图像块可以被称为相邻。在一些实施例中，这些候选图像块中至少两个相邻的候选图像块之间可以至少部分重叠或完全不重叠。在一些实施例中，至少两个相邻的候选图像块可以在至少一个边界处相接。在一些实施例中，全部候选图像块的并集构成第二图像。

在一些实施例中，伪影校正模块250可以在第二图像上运行滑动窗口，获得第二图像的至少一个候选图像块。例如，对于256x256个像素的第二图像，可设定窗口大小为64x64个像素，每次横向或纵向的滑动距离为32个像素，则可以得到7x7＝49个候选图像块。

在一些实施例中，伪影校正模块250可以在第二图像上运行多级滑动窗口，获得第二图像的至少一个候选图像块。关于多级滑动窗口的说明参见图6。

步骤420，对于所述至少一个候选图像块中的每一个候选图像块，执行步骤422-424。在一些实施例中，步骤422-424可以由伪影校正模块250执行。

步骤422，确定候选图像块与所述第三图像中对应图像块的相似度。

第三图像中对应图像块是指第三图像中与候选图像块坐标或相对位置相同的图像块。

在一些实施例中，候选图像块与第三图像中对应图像块的相似度可以通过前述公式(1)或(2)计算得出。在一些实施例中，伪影校正模块250可以利用训练好的机器学习模型(简称相似度模型)计算候选图像块与第三图像中对应图像块的相似度。在一些实施例中，相似度模型可以是伪影校正模型的一部分。在一些实施例中，相似度模型与伪影校正模型可以是单独的两个模型。

步骤424，基于所述相似度和预设条件，将符合所述预设条件的候选图像块作为目标图像块。

预设条件是指预先设定的关于相似度判断的条件。在一些实施例中，预设条件可以由有经验的医生或技师设定。在一些实施例中，预设条件可以根据统计信息设定。

在一些实施例中，伪影校正模块250可以基于相似度和预设条件(例如，相似度低于0.8)，将符合预设条件的候选图像块作为目标图像块，并对该候选图像块进行标记以待进一步处理。

本说明书图5和图6给出了利用(多级)滑动窗口定位第二图像中伪影区域的具体示例。

在本说明书的一些实施例中，利用滑动窗口可以实现细粒度的伪影定位。在本说明书的一些实施例中，利用多级滑动窗口，先筛选大的区域再在大的区域内具体定位，减少了计算量。

图5是根据本说明书一些实施例所示的定位伪影区域的示意图。

如图5所示，伪影校正模块250可以利用滑动窗口确定第二图像的伪影区域。

对于256x256个像素的第二图像510，可设定窗口大小为64x64个像素，每次横向或纵向的滑动距离为32个像素(例如，从520滑动到530)，则可以得到7x7＝49个区域。

分别计算第二图像中49个区域与第三图像540对应的区域的相似度，例如，计算520与550的相似度570，计算530与560的相似度580等。如果相似度小于阈值，则认为该区域存在伪影，将该区域作为一个目标图像块，并对该区域进行标记以待进一步处理。如果相似度不小于阈值，则认为该区域不存在伪影，不做后续处理。

图6是根据本说明书一些实施例所示的定位伪影区域的另一示意图。

如图6所示，伪影校正模块250可以利用多级滑动窗口确定第二图像的伪影区域。

对于256x256个像素的第二图像610，可设定一级窗口大小为128x128个像素，每次横向或纵向的滑动距离为64个像素(例如，从620滑动到630)，则可以得到3x3＝9个一级区域。

分别计算第二图像中9个一级区域与第三图像640对应的一级区域的相似度，例如，计算一级区域620与一级区域650的相似度670，计算一级区域630与一级区域660的相似度680等。如果相似度(例如，相似度680)小于第一阈值，则认为该一级区域(例如，一级区域630)存在伪影。如果相似度(例如，相似度670)不小于第一阈值，则认为该一级区域(例如，一级区域620)不存在伪影，不做后续处理。

对于存在伪影的一级区域，例如，一级区域630，可以进一步将该一级区域划分成二级滑动窗口，例如，可设定二级窗口大小为64x64个像素，每次横向或纵向的滑动距离为32个像素(例如，从631滑动到633)，则可以在一级区域630中得到3x3＝9个二级区域。

分别计算区域630中9个二级区域与区域660中对应的二级区域的相似度，如果相似度小于第二阈值，则认为该二级区域存在伪影，将该二级区域作为一个目标图像块，并对该二级区域进行标记以待进一步处理。

图7是根据本说明书一些实施例所示的伪影校正的示例性流程图。

步骤710，基于所述第二图像和所述至少一个目标图像块，生成缺失图像。在一些实施例中，步骤710可以由伪影校正模块250执行。

缺失图像是指缺失了伪影区域的信息的第二图像。

如图8所示，伪影校正模块250将第二图像中的目标图像块811-819内像素的灰度值全部设为255，即将目标图像块设为全白图像块，得到缺失图像810。

在一些实施例中，还可以采用其他方式生成缺失图像，例如，将目标图像块灰度值全部设为0(全黑)、绘制所有目标图像块并集的边界等。

步骤720，将所述缺失图像输入伪影校正模型。在一些实施例中，步骤720可以由伪影校正模块250执行。

在一些实施例中，伪影校正模块250可以将缺失图像输入伪影校正模型。

在一些实施例中，伪影校正模型可以包括生成网络和判别网络。在一些实施例中，生成网络可以是GAN、PixelRNNs、DRAW等具有图像生成能力的深度神经网络及其任意组合，判别网络可以是神经网络模型、深度学习模型等。伪影校正模型的输入可以是缺失图像，输出可以是完整的图像。该完整的图像中对应的缺失部分(所有目标图像块)可以由伪影校正模型修复完整，该完整的图像中对应的非缺失的部分可以不做改变。由此，伪影校正处理只针对第二图像中被判定为有伪影存在的区域进行，而不是对整个第二图像进行，从而减少了需要处理的图像或图像数据，提高了伪影校正的效率。

在一些实施例中，伪影校正模型可以基于多个训练样本及标签训练得到。关于训练伪影校正模型的更多说明，可以参见图9及其相关描述，此处不再赘述。

在一些实施例中，伪影可能出现在图像的横断面，矢状面或者冠状面上。例如，可以对图像的不同切面分别执行伪影的识别和消除。一张输入伪影校正模型的图像切面(即缺失图像)可以包含正常图像的信息。正常图像是指一个图像(例如，第二图像)中抠掉伪影区域后得到的图像。正常图像的信息可以作为伪影校正模型生成完整图像的基础，缺失图像中缺失的部分占整个缺失图像比例越低，则由深度神经网络修复的图像缺失的区域的准确度越高。如果图像伪影在某一个方向具有较大的覆盖范围，如横断面有连续数层整体被判定为伪影区域，则滑动窗口应放在图像的矢状面或者冠状面上。输入到伪影校正模型的为图像矢状面或冠状面的片层。此时伪影校正模型的训练集需要和图像的切面相对应，即在训练时若使用的是图像的某一切面，则在使用时只能使用图像的同样切面作为输入。

步骤730，将所述第一图像输入伪影校正模型。在一些实施例中，步骤730可以由伪影校正模块250执行。

可选的，在一些实施例中，伪影校正模块250可以将第一图像输入伪影校正模型，即将第一图像和缺失图像同时作为伪影校正模型的输入，完成伪影校正过程。

相对于完全依赖神经网络做伪影校正的方法，在本说明书的一些实施例中，利用正常图像的信息，即不完整的第二图像(抠掉伪影区域的)的信息和正常的解剖图像(第一图像，例如，CT图像、MR图像)的信息，获得的修复图像更准确。

步骤740，获得伪影校正后的第二图像。在一些实施例中，步骤740可以由伪影校正模块250执行。

在一些实施例中，伪影校正模块250可以将伪影校正模型输出的图像(后文简称输出图像)作为伪影校正后的第二图像。

在一些实施例中，伪影校正模块250可以对输出图像中的伪影区域的边缘作平滑处理，将平滑处理后的输出图像，作为伪影校正后的第二图像。

应当注意的是，上述有关各流程的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

图8是根据本说明书一些实施例所示的伪影校正的示意图。

如图8所示，伪影校正模块250将第二图像中目标图像块811-819设为全白图像块，得到缺失图像810，并将缺失图像810和第二图像对应的第一图像820输入伪影校正模型830，得到伪影校正后的第二图像840。图像840中，缺失部分已修复。

图9是根据本说明书一些实施例所示的模型训练方法的示意图。

如图9所示，在一些实施例中，可以基于大量带有标识的训练样本训练初始模型910以更新初始模型的参数来得到训练后的模型920。初始模型910可以包括初始预测模型、初始伪影校正模型，训练后的模型920可以包括预测模型、伪影校正模型。

在一些实施例中，可以基于大量带有标识的第一训练样本训练预测模型以更新初始预测模型的参数来得到预测模型。在一些实施例中，可以将带有标识的第一训练样本输入初始预测模型，通过训练迭代更新初始预测模型的参数。

第一训练样本是指用于对预测模型进行训练的图像数据。该图像数据可以包括历史图像数据。

在一些实施例中，每个第一训练样本可以包括样本第一图像作为训练模型的输入，样本第二图像作为标签。其中，样本第一图像对应于第一模态，样本第二图像对应于第二模态。

在一些实施例中，第一模态为CT或MR，第二模态为PET。相应地，样本第一图像可以为样本CT图像或样本MR图像，样本第二图像可以为样本PET图像。

在一些实施例中，标签所对应的PET图像可以通过第二模态对应的成像设备采集得到。标签可以通过人工添加或自动添加的方式添加，也可以通过其他方式添加，本实施例对此不作限定。

在一些实施例中，处理设备可以通过从数据库、存储设备读取或调用数据接口的方式获取得到多个第一训练样本，包括其对应的标签。

在一些实施例中，处理设备可以将第一训练样本的样本第一图像输入至预测模型，由预测模型输出得到预测结果。

在一些实施例中，处理设备可以基于预测结果与第一训练样本的标签(样本第二图像)构建损失函数。损失函数可以反映预测结果与标签之间的差异大小。处理设备可以基于损失函数对预测模型的参数进行调整，以减小预测结果与标签之间的差异。例如，通过不断调整预测模型的参数，使得损失函数值减小或最小化。

在一些实施例中，还可以根据其他训练方法得到预测模型，例如，为生成网络设置相应的初始学习率(例如，0.1)、学习率衰减策略，基于带有标识的第一训练样本，通过联合训练得到预测模型。本申请在此不做限制。

在一些实施例中，可以基于大量带有标识的第二训练样本训练伪影校正模型以更新初始伪影校正模型的参数来得到伪影校正模型。在一些实施例中，可以将带有标识的第二训练样本输入初始伪影校正模型，通过训练迭代更新初始伪影校正模型的参数。

第二训练样本可以是指用于对伪影校正模型进行训练的图像数据。该图像数据可以包括历史图像数据。

在一些实施例中，每个第二训练样本可以包括不完整的样本第二图像作为训练模型的输入，完整的样本第二图像作为标签。其中，不完整的样本第二图像和完整的样本第二图像均对应于第二模态。

在一些实施例中，可以通过在完整的样本第二图像上设置掩膜，得到不完整的样本第二图像。设置掩膜后，样本第二图像掩膜区域内的灰度值全部设为0(或全部设为255)，视觉效果上相当于以全黑(或全白)的不透明图像块遮盖样本第二图像的掩膜区域。在一些实施例中，掩膜的形状和大小可以与候选图像块有关。例如，掩膜的形状和大小可以与候选图像块大小相同、掩膜可以是图像块横向拉伸1.5倍、2倍、掩膜可以是图像块纵向拉伸1.5倍、2倍或其任意组合。掩膜可以是一个或多个候选图像块的任意组合。例如，由至少一个相邻或不相邻的候选图像块组成掩膜。候选图像块的说明参见图4。

在一些实施例中，掩膜在完整的样本第二图像的位置，可以随机设定。在一些实施例中，可以按预设规律设定掩膜的位置。

在一些实施例中，可以通过在同一完整的样本第二图像上设置不同的掩膜，构建多个第二训练样本。例如，第二训练样本1为完整的样本第二图像A和掩膜1构成不完整的样本第二图像1、第二训练样本2为完整的样本第二图像A和掩膜2构成不完整的样本第二图像2，而样本1和样本2的标签同为完整的样本第二图像A。

在一些实施例中，第二模态为PET。相应地，不完整的样本第二图像可以为不完整的样本PET图像，完整的样本第二图像可以为完整的样本PET图像。

在一些实施例中，标签所对应的PET图像可以通过第二模态对应的成像设备采集得到。

在一些实施例中，处理设备可以通过从数据库、存储设备读取或调用数据接口的方式获取得到多个第二训练样本，包括其对应的标签。

在一些实施例中，处理设备可以将第二训练样本的样本第二图像输入至伪影校正模型，由伪影校正模型输出得到填充结果。

在一些实施例中，处理设备可以基于填充结果与第二训练样本的标签(完整的样本第二图像)构建损失函数。损失函数可以反映填充结果与标签之间的差异大小。处理设备可以基于损失函数对伪影校正模型的参数进行调整，以减小填充结果与标签之间的差异。例如，通过不断调整伪影校正模型的参数，使得损失函数值减小或最小化。

在一些实施例中，还可以根据其他训练方法得到伪影校正模型，例如，为生成网络设置相应的初始学习率(例如，0.1)、学习率衰减策略，基于带有标识的第二训练样本，通过联合训练得到伪影校正模型。本申请在此不做限制。

应当注意的是，上述有关流程900的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程900进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。在一些实施例中，图9中描述的模型生成过程与图像处理(例如，图3-8中描述的生成缺失图像，生成伪影校正后的图像)可以在不同的处理设备上执行。例如，图9中描述的模型生成过程可以在成像设备的生产商的处理设备上进行，而图像处理的一部分或全部可以在成像设备的用户(比如医院)的处理设备上进行。

图10是根据本说明书一些实施例所示的一种示例性计算设备的示意图。

在一些实施例中，图像处理系统100中的一个或多个元件可以在计算设备1000上实现。例如，处理引擎1012可以在计算设备1000上实现并被配置为实现本申请所披露的功能和/或方法。

计算设备1000可以包括用来实现本申请所描述的系统的任意部件。例如，处理设备140可以在计算设备1000上通过其硬件、软件程序、固件或其组合实现。为了方便起见图中仅绘制了一台计算机，但是本说明书所描述的与图像处理系统100相关的计算功能可以以分布的方式、由一组相似的平台所实施，以分散系统的处理负荷。

计算设备1000可以包括与网络120连接的通信端口1050，用于实现数据通信。计算设备1000可以包括处理器(例如，CPU)1020，其可以以一个或多个处理器的形式执行程序指令。示例性的计算设备1000还可以包括内部总线1010，以及不同形式的程序存储器和数据存储器。例如，硬盘1070、只读存储器(ROM)1030或随机存储器(RAM)1040可以用于存储由计算机处理和/或传输的各类数据文件。示例性的计算设备1000可以包括存储在只读存储器1030、随机存储器1040和/或其他类型的非暂时性存储介质中的由处理器1020执行的程序指令。本说明书的方法和/或流程可以以程序指令的方式实现。计算设备1000也可以包括输入/输出部件1060，用于支持电脑与其他部件之间的输入/输出。计算设备1000也可以通过网络通讯接收本申请中的程序和数据。

为理解方便，图10中仅示例性绘制了一个处理器。然而，需要注意的是，本说明书中的计算设备1000可以包括多个处理器，因此本申请中描述的由一个处理器实现的操作和/或方法也可以共同地或独立地由多个处理器实现。例如，如果在本申请中，计算设备1000的处理器执行步骤A和步骤B，应当理解的是，步骤A和步骤B也可以由计算设备1000的两个不同的处理器共同地或独立地执行(例如，第一处理器执行步骤A，第二处理器执行步骤B；或者第一处理器和第二处理器共同地执行步骤A和步骤B)。

本说明书实施例可能带来的有益效果包括但不限于：可以在不增加流程时长的情况下，自动化实现判断图像中是否存在伪影，确定伪影区域以及伪影校正。

需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (11)

1.一种图像处理方法，所述方法包括：

获取第一模态的第一图像；

获取第二模态的第二图像；

将所述第一图像输入预测模型，获得所述第二模态的第三图像；以及

比较所述第二图像和所述第三图像，确定所述第二图像是否包含伪影。

2.根据权利要求1所述的方法，其中，

所述第一模态为CT或MR；

所述第二模态为PET；以及

所述将所述第一图像输入预测模型，获得所述第二模态的第三图像，包括：

对所述第一图像进行伪影校正。

3.根据权利要求1所述的方法，其中，所述预测模型为一个机器学习模型。

4.根据权利要求1所述的方法，还包括：

响应于所述第二图像包含伪影，确定所述第二图像的伪影区域。

5.根据权利要求4所述的方法，所述确定所述第二图像的伪影区域，包括：

在所述第二图像上运行滑动窗口，获得第二图像的至少一个候选图像块；以及

对于所述至少一个候选图像块中的每一个候选图像块，

确定所述候选图像块与所述第三图像中对应图像块的相似度；以及

基于所述相似度和预设条件，将符合所述预设条件的候选图像块作为目标图像块；

基于所述目标图像块确定所述第二图像的伪影区域。

6.根据权利要求1所述的方法，其中，所述第二图像中包括至少一个目标图像块，所述方法还包括：

基于所述第二图像和所述至少一个目标图像块，生成缺失图像；

将所述缺失图像输入伪影校正模型，生成伪影校正后的第二图像。

7.根据权利要求6所述的方法，其中，所述生成伪影校正后的第二图像进一步包括将所述第一图像输入所述伪影校正模型。

8.根据权利要求6所述的方法，其中，所述伪影校正模型为一个机器学习模型。

9.一种图像处理系统，其特征在于，所述系统包括：

第一获取模块，用于获取第一模态的第一图像；

第二获取模块，用于获取第二模态的第二图像；

伪影预测模块，用于将所述第一图像输入预测模型，获得所述第二模态的第三图像；以及

伪影判断模块，用于比较所述第二图像和所述第三图像，确定所述第二图像是否包含伪影。

10.一种图像处理装置，其特征在于，所述装置包括至少一个处理器以及至少一个存储器；

所述至少一个存储器用于存储计算机指令；

所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求1～8中任意一项所述的方法。

11.一种计算机可存储介质，其特征在于，所述存储介质存储有计算机指令，当所述计算机指令中的至少部分指令被处理器执行时，实现如权利要求1～8中任意一项所述的方法。

Images