CN116228916B - 一种图像去金属伪影方法、系统及设备 - Google Patents

Abstract

本发明涉及一种图像去金属伪影方法、系统及设备。包括：获取金属伪影图像；采用金属伪影抑制方法对金属伪影图像进行图像增强或抑制处理，得到预测图像；对预测图像进行强度分布计算，得到强度分布；将强度分布与外部记忆模块进行相关性计算，得到特征图；将特征图输入解码器，得到无金属伪影重建结果。本发明方法旨在通过增强或抑制处理金属伪影图像得到预测图像，结合内外部强度分布特征实现无金属伪影的图像重建，以发掘强度分布特征在去金属伪影中的特异性分析能力和潜在应用价值。

Description

一种图像去金属伪影方法、系统及设备

技术领域

本发明涉及医学图像分析与重建技术领域，具体涉及一种图像去金属伪影方法、系统、设备、计算机可读存储介质及其应用。

背景技术

在进行CT检查时，无论使用何种扫描方式，患者体内的金属植入物都会使原始X射线投影中的信号丢失，从而导致重建得到的CT图像出现严重的金属伪影。这些金属伪影会影响数据的视觉质量，对后续的诊断造成不利影响。目前，进行金属伪影减除 (MetalArtifact Reduction, MAR)的方法主要包括物理影响校正、正弦图信号补全以及迭代重建这三种。物理影响校正对于某些类型金属导致的伪影无法使用，不具有通用性；正弦图信号补全可以去除一部分金属伪影，但同时会引入新的插值伪影；迭代重建基于手工设计的正则优化器进行优化，其问题在于对于多种多样的成像设备以及不同的伪影类型泛化性不佳。

近年来，随着深度学习的方法提出，主要通过原始信号进行金属伪影去除和/或对整个图像区域进行完全一致的计算实现，但其需要使用的原始正弦信号在实际临床应用中很难获得，对整个图像区域进行完全一致的计算在实际上应用中不符合真实的MAR 目标，也会影响整体效果。例如，当采用滤波反投影重建算法时，由于滤波过程中的傅里叶变换是对数据的全局处理，会导致最终重建的结果出现伪影。因此，如何有效地去除金属伪影成为亟待解决的问题。

发明内容

本申请的目的在于，基于上述问题，本申请实施例提供一种图像去金属伪影方法、系统、设备、计算机可读存储介质及其应用，其旨在为有效解决去金属伪影问题，探索将内外部风格一致性学习应用于图像去金属伪影的可行性，提供一种客观、快速、方便、灵敏的去金属伪影方法，以提高数据处理速度和去金属伪影效果，广泛应用于金属伪影区域的预测、判断及去除处理。

根据本申请的第一方面，本申请一实施例提供了一种图像去金属伪影方法，其包括：获取金属伪影图像；采用金属伪影抑制方法对所述金属伪影图像进行图像增强或抑制处理，得到预测图像；对所述预测图像进行强度分布计算，得到强度分布；将所述强度分布与外部记忆模块进行相关性计算，得到特征图，所述外部记忆模块为基于无金属伪影图像的强度分布计算得到的强度分布图；将所述特征图输入解码器，得到无金属伪影重建结果。

进一步，所述金属伪影抑制方法采用下列算法中的任意一种或几种：MAR抑制模型、插值法、反投影法、最小二乘法、最小均方误差法、迭代优化算法、支持向量机、深度学习、压缩感知重建算法、稀疏表示重建算法、马尔可夫随机场模型算法、小波变换。其中，所述MAR抑制模型通过对金属伪影图像进行重建得到初步重建的金属伪影图像，计算初步重建的金属伪影图像与原始金属伪影图像之间逐像素点的误差，和/或计算与无金属伪影图像之间逐像素点的误差作为损失值，然后根据损失值对金属伪影区域进行增强或抑制处理，迭代训练得到。

再进一步，进行图像增强或抑制处理的金属伪影抑制方法还包括通过多流MAR抑制模型实现，所述多流MAR抑制模型的构建过程包括两个阶段：第一阶段，将金属伪影图像输入MAR抑制子模型的编码器中，得到异常特征图，然后将异常特征图输入到解码器直接进行优化得到粗预测；第二阶段，将内部相关正常区域输入编码器中，对正常特征图与异常特征图进行互相关计算来实现特征增强，得到增强特征图，再输入解码器得到精预测。其中，所述多流MAR抑制模型还包括基于金属伪影区域的不同区域类型分类构建的多个子模型。

进一步，所述对所述金属伪影图像进行图像增强或抑制处理还包括对所述金属伪影图像进行区域分割得到相应子区域后，再对分割得到的相应子区域进行图像增强或抑制处理。

在一些可选的实施方案中，所述分割基于外部记忆模块中人体器官解剖结构区域和/或区域性的强度分布特征对所述金属伪影图像进行特征映射得到相应子区域。

进一步，所述相关性计算包括内部风格一致性损失和外部风格一致性损失，所述内部风格表示有金属伪影图像中每个金属伪影区域的强度分布特征，所述外部风格表示无金属伪影图像中每个正常区域的强度分布特征。

再进一步，所述内部风格一致性损失的计算过程包括：对于正常区域，根据属于同一个输入图像的正常区域进行子区域划分和子区域类型分类，选择与金属伪影区域相同类别的子区域，将其与预测图像中对应的区域进行一致性计算得到内部风格一致性损失。

再进一步，所述外部风格一致性损失的计算过程包括：对于金属伪影区域，对金属伪影区域进行子区域划分和子区域类型分类，从外部获取的无金属伪影图像中选择与金属伪影区域相同类别的子区域，将其与预测图像中对应的区域进行一致性计算得到外部风格一致性损失。

更进一步，所述区域划分通过网格划分的方式将图像分割成多个子区域。

再进一步，所述子区域类型分类采用下列模型中的任意一种或几种实现：决策树、逻辑回归、k最近邻、支持向量机、朴素贝叶斯、卷积神经网络、循环神经网络、全连接神经网络、注意力模型、长短期记忆网络、DeepLab、YOLO、SSD、R-CNN、Hopfield网络和玻尔兹曼机。

进一步，所述对所述预测图像进行强度分布计算还包括按照网格划分的方式对所述预测图像进行区域划分得到多个子区域，计算多个子区域中每个区域的强度分布直方图形成强度分布。

在一些实施例中，所述方法还包括：获取金属伪影图像，采用金属伪影抑制方法对所述金属伪影图像进行图像增强或抑制处理，得到预测图像；对所述预测图像进行强度分布计算，得到强度分布；基于外部记忆模块对所述强度分布进行区域划分，得到区域性的强度分布；将所述区域性的强度分布与外部记忆模块进行相关性计算，得到特征图；将所述特征图输入解码器，得到无金属伪影重建结果。其中，所述特征图包括通过相关性计算所述预测图像中金属伪影区域对应的异常特征图，和/或根据解剖结构区域进行相关性计算得到的特征图。

进一步，所述区域划分基于预测图像的强度分布特征与外部记忆模块中的区域性的强度分布特征计算得到，所述区域性的强度分布特征通过对无金属伪影图像按照正常区域特征和/或解剖结构区域进行区域分割得到各个子区域，然后计算各个子区域中每个区域的强度分布直方图得到。

根据本申请的第二方面，本申请一实施例提供了一种图像去金属伪影系统，所述系统在执行时实现上述图像去金属伪影方法。

进一步，该系统的模块化结构包括：获取模块、图像处理模块、强度分布计算模块、相关性计算模块、图像重建模块。

再进一步，获取模块，用于获取金属伪影图像样本数据。

再进一步，图像处理模块，用于采用金属伪影抑制方法对所述金属伪影图像进行图像增强或抑制处理，得到预测图像。

再进一步，强度分布计算模块，用于对所述预测图像进行强度分布计算，得到强度分布。

再进一步，相关性计算模块，用于将所述强度分布与外部记忆模块进行相关性计算，得到特征图，所述外部记忆模块为基于无金属伪影图像的强度分布计算得到的强度分布图。

再进一步，图像重建模块，用于将所述特征图输入解码器，得到无金属伪影重建结果。

进一步，所述金属伪影抑制方法采用下列算法中的任意一种或几种：MAR抑制模型、插值法、反投影法、最小二乘法、最小均方误差法、迭代优化算法、支持向量机、深度学习、压缩感知重建算法、稀疏表示重建算法、马尔可夫随机场模型算法、小波变换。其中，所述深度学习包括通过构建的MAR抑制模型和/或多流MAR抑制模型实现图像增强或抑制处理，所述多流MAR抑制模型的构建过程包括两个阶段：第一阶段，将金属伪影图像输入MAR抑制模型的编码器中，得到异常特征图，其可以通过解码器直接进行优化得到粗预测；第二阶段，将金属伪影图像内部相关正常区域输入编码器中，正常特征图与异常特征图进行互相关计算来实现特征增强，得到增强特征图，再输入解码器得到精预测，根据精预测结果优化得到构建好的多流MAR抑制模型。其中，所述多流MAR抑制模型还包括基于正常区域和/或金属伪影区域的不同子区域类型分类构建的不同MAR抑制子模型。

进一步，所述相关性计算包括内部风格一致性损失和外部风格一致性损失，所述内部风格表示有金属伪影图像中每个金属伪影区域的强度分布特征，所述外部风格表示无金属伪影图像中每个正常区域的强度分布特征。

再进一步，所述内部风格一致性损失的计算过程包括：对于正常区域，根据属于同一个输入图像的正常区域进行子区域划分和子区域类型分类，选择与金属伪影区域相同类别的子区域，将其与预测图像中对应的区域进行一致性计算得到内部风格一致性损失。

再进一步，所述外部风格一致性损失的计算过程包括：对于金属伪影区域，对金属伪影区域进行子区域划分和子区域类型分类，从外部获取的无金属伪影图像中选择与金属伪影区域相同类别的子区域，将其与预测图像中对应的区域进行一致性计算得到外部风格一致性损失。

更进一步，所述区域划分通过网格划分的方式将图像分割成多个子区域。

再进一步，所述子区域类型分类采用下列模型中的任意一种或几种实现：决策树、逻辑回归、k最近邻、支持向量机、朴素贝叶斯、卷积神经网络、循环神经网络、全连接神经网络、注意力模型、长短期记忆网络、DeepLab、YOLO、SSD、R-CNN、Hopfield网络和玻尔兹曼机。

根据本申请的第三方面，本申请一实施例提供了一种图像去金属伪影设备，其包括：存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，程序指令被执行时，实现上述图像去金属伪影方法。

根据本申请的第四方面，本申请一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述图像去金属伪影方法。

根据本申请的第五方面，本申请一实施例提供了其相关应用，主要包括：

上述的设备或系统在进行金属伪影的目标检测和分类任务中的应用；可选的，所述目标分类任务包括对正常区域、金属伪影区域的分类预测；

上述的设备或系统在基于有金属伪影的图像进行智能预测与分析处理的应用；可选的，所述智能预测与分析处理包括对图像进行金属伪影区域的预测与分析，以及实现金属伪影区域的自动校正，重建的图像具有良好的结构信息；

上述的设备或系统在自动去除金属伪影区域中的应用，通过对金属伪影区域的自动抑制或增强处理，以实现区域校正和图像重建，特别是重建的图像具有良好的结构信息，有利于实现更多更大规模的CT影像重构。

本发明提供的一种图像去金属伪影方法、系统及设备，通过对预测图像进行强度分布计算和相关性计算得到特征图，将特征图输入到解码器得到无金属伪影重建结果，旨在基于区域判断以及内外部强度分布特征实现对金属伪影区域的智能化预测和自动抑制或增强处理，以发掘强度分布特征在去伪影过程中的特异性分析能力和潜在应用价值，具有很强的创新性。

本申请的优点：

1.本申请创新性的公开一种基于区域判断和目标区域内外部强度分布特征对金属伪影图像进行增强或抑制的去伪影操作，以发掘强度分布特征在去伪影中的特异性分析能力和潜在应用价值，客观地提高了数据分析的精度和深度；

2.本申请创新性的基于CT影像先验知识，构建多流MAR方案，实现针对不同金属伪影所在区域的最优MAR计算过程，并减少不必要的计算，提供了 一种客观、快速、方便、灵敏的多流MAR抑制模型，实现金属伪影区域的智能检测与自动去伪影处理，时效明显，以在去金属伪影方案选择中提供更充分的支持和潜在应用价值，对于医疗诊断领域具有重要的科学意义和应用前景。

相关名词解释：MAR抑制模型表示金属伪影抑制模型，多流MAR抑制模型表示多个金属伪影抑制模型，MAR重建模型表示金属伪影减除重建模型。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。

图1是本发明实施例提供的一种图像去金属伪影方法流程图；

图2是本发明实施例提供的一种有金属伪影图像的无金属伪影重建流程图；

图3是本发明实施例提供的一种基于区域的多个MAR抑制子模型构建图；

图4是本发明实施例提供的一种图像去金属伪影的训练及应用流程图；

图5是本发明实施例提供的图像去金属伪影模块示意图；

图6是本发明实施例提供的图像去金属伪影设备示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S101、S102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。

本申请实施例提供了一种图像去金属伪影方法、系统、设备和计算机可读存储介质以及其应用。其中，图像去金属伪影方法进行的相应训练装置可以集成在计算机设备中，该计算机设备可以为终端或者服务器等设备。终端可以为智能手机、平板电脑、笔记本电脑、个人计算机等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容发布网络(Content Delivery Network，简称CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接连接，本申请在此不做限制。

请参阅图1，图1是本发明实施例提供的图像去金属伪影方法流程图，具体地过程包括：

S101：获取金属伪影图像。

在一个实施例中，获取的金属伪影图像包括CT图像、MRI图像。

S102：采用金属伪影抑制方法对金属伪影图像进行图像增强或抑制处理，得到预测图像。

在一个实施例中，对获取的金属伪影图像进行图像增强或抑制处理的金属伪影抑制方法，可以采用下列算法中的任意一种或几种：插值法、反投影法、最小二乘法、最小均方误差法、迭代优化算法、支持向量机、深度学习、压缩感知重建算法、稀疏表示重建算法、马尔可夫随机场模型算法、小波变换。

插值法通过已有的像素点信息对缺失的像素进行插值。常见的插值算法有最邻近插值、双线性插值、双三次插值、拉格朗日插值等。

反投影法，基于反投影的重建算法如直接反投影法、滤波反投影法等。

最小二乘法、最小均方误差法、迭代优化算法都是一种基于迭代算法的重建算法。基于加权最小二乘法的重建算法还包括多项式加权最小二乘法、指数加权最小二乘法等。

支持向量机和深度学习均是一种基于统计学习的重建算法。

压缩感知重建算法、稀疏表示重建算法均是一种基于稀疏表示的重建算法。其中，压缩感知算法通过对采集的稀疏信号进行压缩，然后再利用重建算法将信号恢复到原来的完整状态。

马尔可夫随机场模型算法将图像建模成马尔可夫随机场模型，利用最大似然估计或最大后验概率估计等方法对模型参数进行估计，从而实现图像重建。该算法适用于具有空间相关性的图像。

小波变换将图像分解为多个不同尺度和不同频率的小波系数，通过对小波系数的处理，实现图像的去噪、压缩、增强等操作。

进一步，对金属伪影图像进行图像增强或抑制处理还包括将金属伪影图像分割得到金属伪影区域后，再对分割得到的金属伪影区域进行图像增强或抑制处理。其中，分割还包括基于外部记忆模块中人体器官解剖结构区域和/或区域性的强度分布特征对所述金属伪影图像进行特征映射得到相应金属伪影子区域。

再进一步，在一些可选的实施方案中，分割过程包括对金属伪影图像进行特征映射得到重建的金属伪影图像，计算重建的金属伪影图像与原始金属伪影图像之间的特征差异图；对金属伪影图像进行特征提取得到强度分布特征，将强度分布特征与无金属伪影图像的强度分布特征进行比较得到强度分布差；基于差异图和强度分布差，得到正常区域和/或金属伪影区域。

进一步，相关性计算包括内部风格一致性损失和外部风格一致性损失，内部风格表示有金属伪影图像中每个金属伪影区域的强度分布特征，外部风格表示无金属伪影图像中每个正常区域的强度分布特征。

再进一步，内部风格一致性损失的计算过程包括：对于正常区域，根据属于同一个输入图像的正常区域进行子区域划分和子区域类型分类，选择与金属伪影区域相同类别的子区域，将其与预测图像中对应的区域进行一致性计算得到内部风格一致性损失。

再进一步，外部风格一致性损失的计算过程包括：对于金属伪影区域，对金属伪影区域进行子区域划分和子区域类型分类，从外部获取的无金属伪影图像中选择与金属伪影区域相同类别的子区域，将其与预测图像中对应的区域进行一致性计算得到外部风格一致性损失。其中，区域划分通过网格划分的方式将图像分割成多个子区域。

在一个具体实施例中，通过多流MAR抑制模型实现图像增强或抑制处理。如图2所示的是本发明实施例提供的基于区域判断的无金属伪影重建流程图，对获取的有金属伪影图像进行重建和强度分布计算后得到正常区域和金属伪影区域，然后通过区域判断模块选择相应的多流MAR抑制模型进行金属伪影的减除，进而实现无金属伪影的图像重建和预测。具体的无金属伪影重建流程如下：首先，获取有金属伪影图像，将获取的有金属伪影图像输入到训练好的MAR重建模型中得到预测结果，计算预测结果与原始有金属伪影图像的差异图；另外，通过强度分布计算模块计算有金属伪影图像计算的区域性强度分布特征，并与外部记忆模块中的代表性强度分布集合进行比较得到强度分布差。结合差异图和强度分布差这两方面的结果，判断有金属伪影图像中的金属伪影区域，除金属伪影区域之外的区域被定义为正常区域。然后，将金属伪影区域和正常区域，以及无金属伪影图像输入到区域判断模块中，得到内部相关正常区域和外部相关正常区域，再将得到的各区域（包括金属伪影区域）输入到多流MAR抑制模型和外部记忆模块重建得到无金属伪影重建预测结果。

其中， MAR 重建模型是一个编解码器结构，基于无金属伪影 CT 图像对 MAR 重建模型对进行自监督训练，并构建外部记忆模块。MAR 重建模型在构建过程中，将无金属伪影图像编码器中得到中间特征图，在中间特征图通过强度分布被增强过之后，输入到解码器中得到重建图像。具体的MAR 重建模型的重建过程通过两个模块实现，一个是编码器部分，其通过编码过程去除图像信息的冗余，得到中间特征图；另一个是强度分布计算模块，通过网格划分的方式将输入图像分成多个子区域，计算每个区域的强度分布直方图作为当前区域的强度分布特征。当强度分布特征被输入外部记忆模块中，与外部记忆模块进行相似性计算并更新外部记忆模块中的内容。具体来说，通过外部记忆模块维护一个长度为K的记忆字典，来保存最具有代表性的 K 个强度分布模式。

再进一步，在一个实施方案中，MAR 重建模型可以通过将重建图像与原始图像之间的逐像素误差作为损失函数来训练。MAR 重建模型训练完成后，将得到一个具备重建无金属伪影图像能力的MAR重建模型，以及一个包含 K 个代表性无金属伪影强度分布的记忆字典。

进一步，在如图3所示的第二阶段，多流MAR抑制模型主要是基于有金属伪影 CT图像，在MAR 重建模型的基础上训练。多流MAR抑制模型的构建过程包括两个阶段：第一阶段，将金属伪影区域输入MAR抑制模型的编码器中，得到异常特征图，其可以通过解码器直接进行优化得到粗预测；第二阶段，将内部相关正常区域输入编码器中，正常特征图与异常特征图进行互相关计算来实现特征增强，得到增强特征图，再输入解码器得到精预测，根据精预测结果优化得到构建好的多流MAR抑制模型。

再进一步，在进行多流MAR抑制模型的优化过程中，其损失计算包括内部风格一致性损失和外部风格一致性损失两个部分，共同用于多流MAR抑制模型优化。

再进一步，对属于同一个输入图像的正常区域，进行子区域划分并进行区域类型分类，选择与金属伪影区域相同类别的子区域，将其与MAR抑制子模型输出的无金属伪影重建预测计算得到内部风格一致性损失。

再进一步，对于金属伪影区域，从外部无金属伪影图像中，根据区域判断模块的结果挑选与金属伪影区域相同类别的子区域，将其与MAR抑制子模型输出的无金属伪影重建预测计算得到外部风格一致性损失。

更进一步，多流MAR抑制模型还包括基于正常区域和/或金属伪影区域的不同子区域类型分类构建的不同子模型。如图3是本发明实施例提供的一种基于区域的多个MAR抑制子模型构建图。具体的，先获取有金属伪影图像，将有金属伪影图像输入到MAR重建模型，得到金属伪影区域和无金属伪影区域，再将金属伪影区域输入到区域判断模块，分类识别得到多个金属伪影区域的子区域，在经过N个MAR抑制子模型（MAR抑制子模型1、MAR抑制子模型2......MAR抑制子模型N，N为有限自然数，表示第N个MAR抑制子模型）实现无金属伪影预测，即得到训练好的多个MAR抑制子模型。N的取值主要根由区域判断模块实现的子区域类型分类情况确定。其中，在如图3所示的第一个阶段，基于无金属伪影 CT 图像实现MAR 重建模型的构建，即根据标准强度分布规律，在每个解刨结构里，提取每个强度峰以及局部区域的解剖结构特征，然后根据贡献度排序形成相应的记忆力机制。

在一个具体实例中，根据获取的图像的解剖结构来构建多流MAR抑制模型。从临床角度出发，对支架等金属植入物进行判断，有针对性的训练不同植入物的无金属伪影图像，然后通过外部记忆模块自主学习得到不同植入物的无金属伪影图像的强度分布特征，进而使得构建的多流MAR抑制模型更加准确。

再进一步，子区域类型的分类通过下列模型中的任意一种或几种实现：决策树、逻辑回归、k最近邻、支持向量机、朴素贝叶斯、随机森林、主成分分析、梯度提升、卷积神经网络、循环神经网络、全连接神经网络、注意力模型、长短期记忆网络、DeepLab、YOLO、SSD、R-CNN、Hopfield网络和玻尔兹曼机。对金属伪影区域进行子区域类型分类主要是基于区域判断模块进行不同金属类型（如非铁磁性的金属）的子区域划分。

决策树是根据一些特征将数据划分为不同的类别，然后新数据进来后根据之前的划分准则，判断新数据属于哪个分类，进而实现数据分类。

逻辑回归是一种用于解决分类问题的机器学习方法，用于估计某种事物的可能性。

k最近邻是数据挖掘分类技术中最简单的方法之一，主要靠周围有限的邻近的样本来确定所属类别的。

支持向量机是一种分类算法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化。

朴素贝叶斯是常见的一种分类方法，其核心思想是通过考虑特征概率来预测分类，即对于给出的待分类样本，求解概率最大的即待分类样本属于的类别。

随机森林是一组决策树，用于分类和回归的一种主流集成学习方法。随机森林应用于数据科学的群体智慧，是几乎人人都熟悉的解决问题的比喻。

主成分分析是一种常用的数据分析方法，通过线性变换将原始数据变换为一组各维度线性无关的表示，用于提取数据的主要特征分量和高维数据的降维。

梯度提升是一种通过添加弱学习器以最小化损失函数的加法模型，用于解决回归和分类问题，每一步产生一个弱预测模型，并加权累加到总模型中，同时结合粗略和中等不准确的经验法则来产生非常准确的预测规则的一般问题。

卷积神经网络是一种特殊的前馈神经网络，主要用于处理具有网格结构的数据，主要使用卷积层和池化层来提取图像的特征，再使用全连接层进行分类。

循环神经网络是一种递归神经网络，主要用于处理序列数据，使用循环层来处理序列数据，将之前的状态和当前输入的信息结合起来，提取序列的特征。

全连接神经网络是最朴素的神经网络，也是一种多层感知机，感知机的原理是寻找类别间最合理、最具有鲁棒性的超平面。

注意力模型通过定位到感兴趣的信息，抑制无用信息，以概率图或者概率特征向量的形式展示，主要分为空间注意力模型和/或通道注意力模型三种。

长短期记忆网络是循环神经网络的一种特殊形式，特点是能够学习长距离依赖关系。

DeepLab采用了空洞卷积代替池化操作来扩展感受野，获取更多的上下文信息。在DeepLab系列模型中，DeepLab v3改进了空洞卷积空间金字塔池化层，通过不同采样率的空洞卷积并行采样，捕捉图像不同尺度的上下文信息。

YOLO(You Only Look Once)是一个模型家族，通过直接回归的方式获取目标检测的具体位置信息和类别分类信息，其目标是训练的同时解决多个任务。YOLO家族系列模型的演变：从v1到v8，目前，YOLOv8包含五个模型，用于检测、分割和分类任务。

SSD (single shot multibox detector)，包括结合了特征融合和注意力模块的FA-SSD，通过叠加特征来连接目标特征和上下文特征，还包括FF-SSD(feature fusionbased SSD )在原有的损失函数中引入调制因子，通过构建特征金字塔和融合多层特征图的方式，实现对低层特征图的语义信息融合增强。

CNN，全称Region-CNN，通过选择性搜索的方法生成区域目标作为R-CNN在区域选择阶段的策略，目前较为成熟且通用的R-CNN模型有Faster R-CNN、Mask R-CNN、CascadeR-CNN。

Hopfield网络是一种递归神经网络，也是一种结合存储 系统和二元系统的神经网络。

玻尔兹曼机是一种全局归一化模型，可以通过它的一组输入学习概率分布，整体上也是一个双层神经网络，第一层称为可见层，第二层称为隐藏层。

进一步，在多个MAR抑制子模型的训练过程中，其损失值包括基于无金属伪影区域计算得到的内部风格一致性损失，以及通过MAR重建模型对金属伪影区域重建计算得到的外部风格一致性损失。

进一步，上述模型在训练过程中，模型优化方法包括数据预处理、数据增广、随机权重衰减、学习率、对抗训练、正则化、AdamW优化器、自知识蒸馏。

S103：对预测图像进行强度分布计算，得到强度分布。

进一步，对预测图像进行强度分布计算还包括对预测图像进行区域划分得到多个子区域，计算多个子区域中每个区域的强度分布特征得到强度分布。

在一个具体实施例中，对于高度相似区域可以用外部记忆模块中的分布基于直方图配准等方法来优化精预测的强度分布。

S104：将强度分布与外部记忆模块进行相关性计算，得到特征图，所述外部记忆模块为基于无金属伪影图像的强度分布计算得到的强度分布图。

在一个实施例中，将强度分布与基于无金属伪影图像的强度分布计算得到的强度分布图进行相关性计算，得到特征图，然后对特征图中每个区域选择与其全局相似性最高的几个区域进行特征增强，以优化特征的表达能力。

S105：将特征图输入解码器，得到无金属伪影重建结果。

如图4所示，在实际应用阶段，将由第一训练阶段、第二训练阶段联合训练得到的精预测结果输入到强度分布计算模块，得到每个子区域的强度分布，然后与外部记忆模块进行相似性分析得到特征图，将特征图输入到解码器中，得到无金属伪影重建结果。其中，对于高度相似区域可以用外部记忆模块中的强度分布通过直方图配准等方法来优化精预测的强度分布。

在一个实施例中，进行实际应用之前，对金属伪影图像训练的过程主要包括第一训练阶段、第二训练阶段。第一训练阶段主要是对提取的金属伪影区域输入到编码器得到异常特征图，然后将异常特征图输入到解码器完成粗预测；第二训练阶段，是根据提取到的内部相关正常区域输入到编码器得到的正常特征图，将得到的正常特征图和第一训练阶段得到的异常特征图进行特征增强得到增强特征图，通过解码器实现精预测。其中，金属伪影区域和内部相关正常区域通过区域判断模块得到。具体的，采用金属伪影抑制方法对获取的金属伪影图像进行图像增强或抑制处理，得到预测图像；对所述预测图像进行强度分布计算，得到强度分布；将所述强度分布与基于无金属伪影图像的强度分布进行相关性计算，根据相关性计算得到的相似性系数分割得到金属伪影区域和内部相关正常区域，然后分别通过编码器得到正常特征图和异常特征图；将所述特征图输入解码器，得到无金属伪影重建结果。

在一个实施例中，对金属伪影图像通过重建或分割过程得到金属伪影区域，然后通过区域判断模块选择相应的MAR抑制子模型进行金属伪影的减除。对于 MAR 任务来说，没有办法获得同一名患者的“有金属伪影数据-无金属伪影数据”来进行有监督训练。因此，在MAR 重建模型构建过程中，基于无金属伪影图像的强度分布特征作为风格一致性特征学习，通过将重建图像与原始图像之间的逐像素误差作为损失函数来训练。MAR 重建模型训练完成后，将得到一个具备重建无金属伪影图像能力的MAR重建模型，以及一个包含 K 个代表性无金属伪影强度分布的记忆字典。

在一个具体实施例中，上述方法还包括：获取金属伪影图像，对金属伪影图像进行特征映射得到金属伪影区域；对金属伪影区域进行区域类型的分类，将分类结果输入到多流MAR抑制模型中进行增强或抑制处理后，通过外部记忆模块实现金属伪影区域强度分布的优化，经图像重建得到无金属伪影重建结果。

在一个更为具体的实施例中，上述图像去金属伪影方法还包括：获取金属伪影图像，采用金属伪影抑制方法对所述金属伪影图像进行图像增强或抑制处理，得到预测图像；对所述预测图像进行强度分布计算，得到强度分布；基于外部记忆模块对所述强度分布进行区域划分，得到区域性的强度分布；将所述区域性的强度分布与外部记忆模块进行相关性计算，得到特征图；将所述特征图输入解码器，得到无金属伪影重建结果。其中，所述特征图包括通过相关性计算所述预测图像中金属伪影区域对应的异常特征图，和/或根据解剖结构区域进行相关性计算得到的特征图。

将上述方法用于金属伪影区域的分类预测和去伪影处理是可行性的，表明基于区域判断和内外部强度分布特征综合构建的多流MAR抑制模型可以更快的得到分类和预测结果，并为评估提供更准确的金属伪影和无金属伪影特征信息。比如对于胸部CT，其可以大致分为体外区域、体内肺外区域和体内肺部区域三个部分，其体内肺外区域和体内肺内区域的强度分布存在显著差异，若执行相同的MAR算法通常导致在两类区域中MAR结果都无法达到最佳。因此，通过构建的多流MAR抑制模型按照解剖结构划分区域（1个强度分布特征维度+多个子模型，如胸、肺结节）对每个区域的图像质量或者对评估诊断的影像程度分别进行打分可以更好地反映具体的图像质量和去金属伪影处理效果。在具体实施中，通过设定一个基准分数作为标准，当评估预测图像的分数低于基准分数时，将增加惩罚幅度，使得本申请在应用于与有金属伪影数据有关的图像分析预测和金属伪影区域抑制处理方面更有利。

本发明实施例提供的一种图像去金属伪影系统，在执行时实现上述图像去金属伪影方法。

在一个实施例中，该系统的模块化结构如图5所示，包括：获取模块、图像处理模块、强度分布计算模块、相关性计算模块、图像重建模块。

S501：获取模块，用于获取金属伪影图像样本数据。

在一个实施例中，获取的金属伪影图像包括CT图像、MRI图像。

S502：图像处理模块，用于对金属伪影图像进行图像增强或抑制处理，得到预测图像。

进一步，进行图像增强或抑制处理采用下列算法中的任意一种或几种：插值法、反投影法、最小二乘法、最小均方误差法、迭代优化算法、支持向量机、深度学习、压缩感知重建算法、稀疏表示重建算法、马尔可夫随机场模型算法、小波变换。

在一个具体实施例中，通过构建多流MAR抑制模型实现图像增强或抑制处理，多流MAR抑制模型的构建过程包括两个阶段：第一阶段，将金属伪影区域输入MAR抑制模型的编码器中，得到异常特征图，其可以通过解码器直接进行优化得到粗预测；第二阶段，将内部相关正常区域输入编码器中，正常特征图与异常特征图进行互相关计算来实现特征增强，得到增强特征图，再输入解码器得到精预测，根据精预测结果优化得到构建好的多流MAR抑制模型。其中，多流MAR抑制模型还包括基于正常区域和/或金属伪影区域的不同子区域类型分类构建的不同子模型。

进一步，对金属伪影图像进行图像增强或抑制处理还包括将金属伪影图像分割得到正常区域和/或金属伪影区域后，再对分割得到的区域进行图像增强或抑制处理。

再进一步，在一些可选的实施方案中，分割过程包括对金属伪影图像进行特征映射得到重建的去金属伪影图像，计算重建的去金属伪影图像与原始金属伪影图像之间的特征差异图；对金属伪影图像进行特征提取得到强度分布特征，将强度分布特征与无金属伪影图像的强度分布特征进行比较得到强度分布差；基于差异图和强度分布差，得到正常区域和/或金属伪影区域。

S503：强度分布计算模块，用于对预测图像进行强度分布计算，得到强度分布。

S504：相关性计算模块，用于将强度分布与外部记忆模块进行相关性计算，得到特征图，其中，外部记忆模块为基于无金属伪影图像的强度分布计算得到的强度分布图。

进一步，相关性计算包括内部风格一致性损失和外部风格一致性损失，内部风格表示有金属伪影图像中每个金属伪影区域的强度分布特征，外部风格表示无金属伪影图像中每个正常区域的强度分布特征。

再进一步，内部风格一致性损失的计算过程包括：对于正常区域，根据属于同一个输入图像的正常区域进行子区域划分和子区域类型分类，选择与金属伪影区域相同类别的子区域，将其与预测图像中对应的区域进行一致性计算得到内部风格一致性损失。

再进一步，外部风格一致性损失的计算过程包括：对于金属伪影区域，对金属伪影区域进行子区域划分和子区域类型分类，从外部获取的无金属伪影图像中选择与金属伪影区域相同类别的子区域，将其与预测图像中对应的区域进行一致性计算得到外部风格一致性损失。

更进一步，区域划分通过网格划分的方式将图像分割成多个子区域。

再进一步，子区域类型分类采用下列模型中的任意一种或几种实现：决策树、逻辑回归、k最近邻、支持向量机、朴素贝叶斯、卷积神经网络、循环神经网络、全连接神经网络、注意力模型、长短期记忆网络、DeepLab、YOLO、SSD、R-CNN、Hopfield网络和玻尔兹曼机。

S505：图像重建模块，用于将特征图输入解码器，得到无金属伪影重建结果。

进一步，在一些实施例中，一种图像去金属伪影系统还可以包括MAR重建模型、多流MAR抑制模型，以及多个计算、区域判断模块、记忆模块实现，如强度分布计算模块、特征映射模块、多个MAR抑制子模型。

图6是本发明实施例提供的一种图像去金属伪影分析设备，即一种计算机设备，该设备包括：存储器和处理器；该设备还可以包括：输入装置和输出装置。

存储器、处理器、输入装置和输出装置可以通过总线或者其他方式连接。图6所示的以总线连接方式为例；其中，存储器用于存储程序指令；处理器用于调用程序指令，当程序指令被执行时，用于执行或实现上述的图像去金属伪影方法。

本发明提供的一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述图像去金属伪影方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；又例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；再例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或模块的间接耦合或通信连接，可以是电性、机械或其它形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。具体的，可以根据实际需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、磁盘或光盘等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来完成相关硬件的指令，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器、磁盘或光盘等。

以上对本发明所提供的一种图像去金属伪影设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像去金属伪影方法，其特征在于，所述方法包括：

获取金属伪影图像；

采用金属伪影抑制方法对所述金属伪影图像进行图像增强或抑制处理，得到预测图像；

对所述预测图像进行强度分布计算，得到强度分布；

将所述强度分布与外部记忆模块进行相关性计算，得到特征图，所述外部记忆模块为基于无金属伪影图像的强度分布计算得到的强度分布图；所述相关性计算包括内部风格一致性损失和外部风格一致性损失，所述内部风格表示有金属伪影图像中每个金属伪影区域的强度分布特征，所述外部风格表示无金属伪影图像中每个正常区域的强度分布特征；所述内部风格一致性损失的计算过程包括：对于正常区域，根据属于同一个输入图像的正常区域进行子区域划分和子区域类型分类，选择与金属伪影区域相同类别的子区域，将其与预测图像中对应的区域进行一致性计算得到内部风格一致性损失；所述外部风格一致性损失的计算过程包括：对于金属伪影区域，对金属伪影区域进行子区域划分和子区域类型分类，从外部获取的无金属伪影图像中选择与金属伪影区域相同类别的子区域，将其与预测图像中对应的区域进行一致性计算得到外部风格一致性损失；

将所述特征图输入解码器，得到无金属伪影重建结果。

2.根据权利要求1所述的图像去金属伪影方法，其特征在于，所述金属伪影抑制方法采用下列算法中的任意一种或几种：MAR抑制模型、插值法、反投影法、最小二乘法、最小均方误差法、迭代优化算法、支持向量机、深度学习、压缩感知重建算法、稀疏表示重建算法、马尔可夫随机场模型算法、小波变换，所述MAR抑制模型通过对金属伪影图像进行重建得到初步重建的金属伪影图像，计算初步重建的金属伪影图像与原始金属伪影图像之间逐像素点的误差，和/或计算与无金属伪影图像之间逐像素点的误差作为损失值，然后根据损失值对金属伪影区域进行增强或抑制处理，迭代训练得到。

3.根据权利要求1所述的图像去金属伪影方法，其特征在于，所述对所述金属伪影图像进行图像增强或抑制处理还包括对所述金属伪影图像进行区域分割得到相应子区域后，再对分割得到的相应子区域进行图像增强或抑制处理。

4.根据权利要求3所述的图像去金属伪影方法，其特征在于，所述分割过程包括基于外部记忆模块中人体器官解剖结构区域和/或区域性的强度分布特征对所述金属伪影图像进行特征映射得到相应子区域。

5.根据权利要求1所述的图像去金属伪影方法，其特征在于，所述方法还包括：

所述将所述强度分布与外部记忆模块进行相关性计算，得到特征图，具体为：基于外部记忆模块对所述强度分布进行区域划分，得到区域性的强度分布；

将所述区域性的强度分布与外部记忆模块进行相关性计算，得到特征图。

6.根据权利要求5所述的图像去金属伪影方法，其特征在于，所述特征图包括通过相关性计算所述预测图像中金属伪影区域对应的异常特征图，和/或根据解剖结构区域进行相关性计算得到的特征图。

7.根据权利要求5所述的图像去金属伪影方法，其特征在于，所述区域划分基于预测图像的强度分布特征与外部记忆模块中的区域性的强度分布特征计算得到，所述区域性的强度分布特征通过对无金属伪影图像按照正常区域特征和/或解剖结构区域进行区域分割得到各个子区域，然后计算各个子区域中每个区域的强度分布直方图得到。

8.一种图像去金属伪影系统，其特征在于，所述系统包括计算机程序，该计算机程序被处理器执行时实现如权利要求1-7任意一项所述的图像去金属伪影方法。

9.一种图像去金属伪影设备，其特征在于，所述设备包括：存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时，用于执行如权利要求1-7任意一项所述的图像去金属伪影方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，实现如权利要求1-7任意一项所述的图像去金属伪影方法。

Images