CN113850880A

CN113850880A - 使用深度学习网络学习损失函数

Info

Publication number: CN113850880A
Application number: CN202110670934.6A
Authority: CN
Inventors: 达蒂什·达亚南·尚巴格; 哈里哈兰·瑞维享卡; U·阿格拉沃尔
Original assignee: GE Precision Healthcare LLC
Current assignee: GE Precision Healthcare LLC
Priority date: 2020-06-26
Filing date: 2021-06-17
Publication date: 2021-12-28
Also published as: US20210406681A1

Abstract

本发明提供了用于使用DL网络学习损失函数并将这些损失函数集成到基于DL的图像转换架构中的技术。在一个实施方案中，提供了一种方法，该方法包括由操作地联接到处理器的系统促进训练第一深度学习网络以预测损失函数的损失函数度量值。该方法还包括由系统采用第一深度学习网络来预测与训练第二深度学习网络相关联的损失函数度量值以执行定义的深度学习任务。在各种实施方案中，该损失函数包括在现有深度学习包中不易实现的计算上复杂的损失函数，诸如不可微分的损失函数、特征相似性指数匹配(FSIM)损失函数、系统传递函数、视觉信息保真度(VIF)损失函数等。

Description

使用深度学习网络学习损失函数

技术领域

本申请一般涉及深度学习，并且更具体地涉及用于使用深度学习 (DL)网络来学习损失函数的计算机实现的技术。

背景技术

由于基于深度学习(DL)的图像重建能够模拟整个图像重建链并以较少的数据加速扫描，因此近年来基于深度学习(DL)的图像重建已获得较多关注。使用DL网络重建的图像的质量由网络架构决定，并且更重要的是，由用于驱动优化的损失函数决定。这在医学图像重建中尤其重要。

目前，大多数基于DL的图像重建网络基于基于标准均方误差 (MSE)的损失函数、基于平均绝对误差(MAE)的损失函数或基于结构相似性(SSIM)的损失函数。然而，这些损失函数并不总是准确地解释图像质量。因此，依赖于这些损失函的由DL网络数预测的图像通常会遭受图像伪影，诸如模糊、失真或晕影。

在实践中，放射科医生对图像的感知是确定基于DL的图像重建的性能的最终评判因素。最近的研究表明，上文提及的大多数损失函数与放射科医生对图像质量的感知没有很好的相关度。对图像压缩协议的一些感知研究已发现特征相似度指数度量(FSIM)和视觉信息保真度(VIF)度量更好地模拟放射科医师对图像质量的感知。然而，尽管这些度量在图像质量方面提供改善的准确性，但这些指标的数学公式比传统损失函数(诸如MSE、MAE和SSIM)要复杂得多。此外，实现这些损失函数所需的结构在标准DL工具包(诸如TensorFlow)中不容易获得，并且难以使用基本张量结构来实现。因此，这些损失函数尚未成功地集成到DL网络架构中。

发明内容

以下呈现了发明内容以提供对本发明的一个或多个实施方案的基本理解。本发明内容不旨在标识关键或重要元素，也不旨在描绘具体实施方案的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现概念，作为稍后呈现的更详细描述的序言。在本文所述的一个或多个实施方案中，提供了使用DL网络促进学习损失函数并将这些损失函数集成到基于 DL的图像转换架构中的系统、计算机实现的方法、装置和/或计算机程序产品。

根据一个实施方案，提供了一种方法，该方法包括由操作地联接到处理器的系统促进训练第一深度学习网络以预测损失函数的损失函数度量值。该方法还包括由系统采用第一深度学习网络来预测与训练第二深度学习网络相关联的损失函数度量值以执行定义的深度学习任务。在各种实施方案中，该损失函数包括在现有深度学习包中不易实现的计算上复杂的损失函数，诸如不可微分的损失函数、特征相似性指数匹配(FSIM)损失函数、系统传递函数、视觉信息保真度(VIF)损失函数等。在一个或多个实施方案中，该定义的深度学习任务包括图像重建任务。例如，在一些具体实施中，该第二深度学习网络可包括医学图像重建DL网络。

在一些实施方案中，结合所公开的计算机实现的方法描述的元素能够以不同形式体现，诸如计算机系统、计算机程序产品或另一种形式。

附图说明

图1示出了根据本发明所公开的主题的一个或多个实施方案的示例性、非限制性系统的框图，该系统促进使用DL网络来学习损失函数并将这些损失函数集成到基于DL的图像转换架构中。

图2呈现了根据本发明所公开的主题的一个或多个实施方案的膝关节磁共振成像(MRI)扫描的示例性DL模型预测相位一致性图和实况相位一致性图。

图3呈现了根据本发明所公开的主题的一个或多个实施方案的膝关节正电子发射断层摄影(PET)扫描的示例性DL模型预测相位一致性图和实况相位一致性图。

图4示出了根据本发明所公开的主题的一个或多个实施方案的用于训练损失函数DL模型的示例性架构。

图5呈现了根据本发明所公开的主题的一个或多个实施方案的与基于 DL的图像重建任务相关联的示例性计算机断层摄影图像数据。

图6呈现了图像数据，该图像数据比较根据本发明所公开的主题的一个或多个实施方案的使用不同损失函数生成的基于DL的不同图像重建。

图7呈现了图表，该图表比较根据本发明所公开的主题的一个或多个实施方案的具有不同损失函数的基于DL的不同图像重建网络的重建准确性。

图8呈现了另一图表，该图表比较根据本发明所公开的主题的一个或多个实施方案的具有不同损失函数的基于DL的不同图像重建网络的重建准确性。

图9示出了根据本发明所公开的主题的一个或多个实施方案的示例性、非限制性过程的流程图，该过程用于使用第一DL网络学习损失函数并采用这些损失函数来训练第二DL网络。

图10示出了根据本发明所公开的主题的一个或多个实施方案的另一示例性、非限制性过程的流程图，该过程用于使用第一DL网络学习损失函数并采用这些损失函数来训练第二DL网络。

图11示出了示例性、非限制性操作环境的框图，在该操作环境中可以促进本文所述的一个或多个实施方案。

具体实施方式

以下具体实施方式仅仅是示例性，并非旨在限制实施方案和/或实施方案的应用或使用。此外，并不意图受前述“背景技术”或“发明内容”部分或者“具体实施方式”部分中提出的任何明示或暗示信息的约束。

本主题公开提供了促进使用DL网络学习损失函数并将这些损失函数集成到基于DL的图像转换架构中的系统、计算机实现的方法、装置和/或计算机程序产品。已发现各种图像度量(诸如FSIM和VIF)用于提供对图像质量的准确评估。例如，在医学图像的应用中，相对于在基于DL的图像损失函数(包括MSE、MAE和SSIM)中采用的传统图像度量，这些度量被认为与放射科医生对图像质量的评估更紧密地匹配。然而，这些度量是不可微分的，并且计算这些度量所需的计算子部件不是易实现的DL包，这使得它们在DL图像重建网络中的使用具有挑战性。

本发明所公开的主题提供了用于将基于FSIM、VIF等的复杂损失函数有效且高效地集成到用于图像重建和其他任务的DL网络中的技术。本发明所公开的技术涉及训练单独的DL网络，以通过监督训练从其分析对应物学习复杂损失函数。例如，在一个或多个具体实施中，可以训练单独的DL网络以预测损失函数度量，诸如FSIM、VIF等。一旦经过训练，损失函数 DL网络就可以用作“可扩展”损失函数模块，以随后驱动其他神经网络对感兴趣的属性进行建模。

虽然所公开的技术的各种实施方案专注于成像度量，但这些技术可适当地适用于其他域中的度量，诸如信号或系统传递函数；但由于其缺乏实施细节(但最终输出可用)或在训练DL网络中的不可微分标准，迄今为止无法使用。就这一点而言，本发明所公开的技术可用于为DL网络所解决的各种领域专门问题生成可扩展损失函数。

术语“图像处理模型”在本文中用来指被配置为对图像执行图像处理或分析任务的AI/ML模型。图像处理或分析任务可变化。在各种实施方案中，图像处理或分析任务可包括(但不限于)：分割任务、图像重建任务、对象识别任务、运动检测任务、视频跟踪任务、光流任务等。本文所述的图像处理模型可包括二维(2D)图像处理模型以及三维(3D)图像处理模型。图像处理模型可采用各种类型的AI/ML算法，包括(但不限于)：深度学习模型、神经网络模型、深度神经网络模型(DNN)、卷积神经网络模型(CNN)等。

术语“基于图像的推断输出”在本文中用来指图像处理模型被配置为生成的确定或预测。例如，基于图像的推断输出可包括分割掩码、经重建图像、适应图像、带注释图像、分类、值等。基于图像的推断输出可基于模型的类型和该模型被配置为执行的特定任务而变化。基于图像的推断输出可包括可被呈现(例如，视觉数据对象)、存储、用作另一处理任务的输入等的数据对象。术语“基于图像的推断输出”、“推断输出”、“推断结果”、“推断”、“输出”、“预测”等在本文中可互换使用，除非上下文确定这些术语之间需要进行特定区分。

如本文所用，“医学成像处理模型”是指被定制为对一个或多个医学图像执行图像处理/分析任务的图像处理模型。例如，医学成像处理/分析任务可包括(但不限于)：器官分割、异常检测、解剖特征表征、医学图像重建、诊断等。由医学图像处理模型处理/分析的医学图像的类型可包括使用各种类型的成像模态捕获的图像。例如，医学图像可包括(但不限于)：放射治疗(RT)图像、X射线图像、数字放射摄影(DX)X射线图像、X射线血管造影(XA)图像、全景X射线(PX)图像、计算机断层摄影(CT)图像、乳房X线摄影(MG)图像(包括断层合成设备)、磁共振成像(MRI)图像、超声(US)图像、彩色流多普勒(CD)图像、正电子发射断层摄影(PET)图像、单光子发射计算机断层摄影(SPECT)图像、核医学(NM)图像等。医学图像可包括二维(2D)图像以及三维 (3D)图像。

现在参考附图描述一个或多个实施方案，其中相同的附图标号始终用于表示相同的元件。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个实施方案的更透彻理解。然而，很明显，在各种情况下，可以在没有这些具体细节的情况下实践一个或多个实施方案。

现在转到附图，图1示出了根据本发明所公开的主题的一个或多个实施方案的示例性、非限制性系统100的框图，该系统促进使用DL网络来学习损失函数并将这些损失函数集成到基于DL的图像转换架构中。本文描述的系统的实施方案可以包括体现在一个或多个机器内(例如，体现在与一个或多个机器相关联的一个或多个计算机可读存储介质中)的一个或多个机器可执行部件。当由一个或多个机器(例如，处理器、计算机、计算设备、虚拟机等)执行时，这类部件可以使一个或多个机器执行所述操作。

例如，系统100包括损失函数模块104和推断任务模块110，它们可以分别是并且包括机器可执行部件。在所示的实施方案中，损失函数模块104 包括损失函数训练部件106和损失函数DL模型108，其可以分别是并且包括机器可执行部件。推断任务模块110包括可扩展损失函数部件112、任务模型训练部件114、任务DL模型116和运行时模型应用部件118，它们可以分别是并且包括机器可执行部件。推断任务模块110还包括操作地联接其中的部件的系统总线120。

系统100的这些机器可执行部件可存储在与一个或多个机器(未示出)相关联的存储器(未示出)中。存储器还可以操作地联接到至少一个处理器(未示出)，使得部件(例如，损失函数模块104、推断任务模块 110和分别与其相关联的部件)可以由至少一个处理器执行以执行所描述的操作。所述存储器和处理器以及其他合适的基于计算机或计算的元件的示例可参考图11找到，并且可结合实施结合图1或本文所公开的其他附图所示和所述的系统或部件中的一者或多者来使用。

应当理解，本文所公开的各种附图中描绘的本主题公开的实施方案仅用于说明，因此，此类实施方案的架构不限于其中描述的系统、设备和/或部件。在一些实施方案中，系统100的一个或多个部件可由不同的计算设备(例如，包括虚拟机)根据分布式计算系统架构单独地或并行地执行。系统100还可包括本文参考操作环境1100和图11所述的各种附加的基于计算机和/或计算的元件。在若干实施方案中，此类基于计算机和/或计算的元件可与实现本文所公开的结合图1或其他附图所示和所述的系统、设备、部件和/或计算机实现的操作中的一者或多者结合使用。

损失函数训练部件106可以促进训练和开发一个或多个损失函数DL 模型108以预测损失函数的损失函数度量。损失函数度量基本上可以包括任何损失函数的度量。在各种实施方案中，损失函数度量可以包括在计算上复杂和/或以其他方式难以由DL网络使用标准DL工具包或结构(诸如 TensorFlow和类似工具包)来实现的度量。例如，许多标准DL工具包不能实现不可微分的损失函数。因此，在一个或多个实施方案中，损失函数 DL模型108可以包括经过训练以预测或以其他方式生成不可微分的损失函数度量或值的模型，包括但不限于FSIM指数或相关联的度量，或者VIF 指数或相关联的度量。

在其他实施方案中，损失函数度量可以包括难以构建的损失函数的一个或多个度量。例如，损失函数可能由于丢失细节而难以构建，但仍具有可用的分析输出。在另一个示例中，由于需要使用在深度学习包或工具包中没有的构造，损失函数可能难以在标准DL网络中实现。在另一个实施方案中，损失函数度量可以包括系统传递函数的度量，诸如多变量系统传递函数。

用于损失函数DL模型108的DL架构的类型可以变化。在一些实施方案中，损失函数DL模型108可以采用卷积神经网络(CNN)架构。用于损失函数DL模型108的其他合适的DL架构可包括但不限于循环神经网络、递归神经网络和经典神经网络。根据所采用的DL架构的类型，可以使用监督机器学习技术、半监督机器学习技术以及在一些具体实施中的无监督机器学习技术来训练损失函数DL模型108。

一旦经过训练和开发，损失函数DL模型108可以由推断任务模块110 应用以预测损失函数度量，从而训练另一个DL模型以执行特定的推断任务。在所示的实施方案中，该其他DL模型被称为任务DL模型116。由任务DL模型116执行的推断任务可变化。

在一个或多个实施方案中，任务DL模型116可以是图像处理模型。根据这些实施方案，可以训练损失函数DL模型108以预测针对大范围的图像处理任务(例如，合成自然图像的图像纹理)一般化的损失函数度量。附加地或另选地，可以训练损失函数DL模型108以预测针对特定推断任务 (例如，医学图像重建)定制的损失函数度量。应当理解，可以基于用于训练和开发损失函数DL模型的训练数据102来定制损失函数DL模型108 的特异性。

就这一点而言，在一些实施方案中，可使用用于训练损失函数DL模型108的相同或类似的训练数据102来(例如，由任务模型训练部件114) 训练任务DL模型116。在其他实施方案中，用于训练损失函数DL模型 108和任务DL模型116的训练数据可以是相异的。例如，在应用于成像分析时，用于训练损失函数DL模型108的训练数据102可以包括来自多种不同领域的多个图像，而用于训练任务DL模型116的训练数据可以更特定于特定图像数据集和推断任务。例如，在各种实施方案中，在应用于医学图像处理和分析任务(例如，重建任务、分割任务、诊断任务、异常检测等)时，可以训练损失函数DL模型108以预测用于评估医学图像的损失函数成像度量，并且任务DL模型可以是医学图像处理模型。利用这些实施方案，可以在用于训练任务DL模型116的相同类型的医学图像和/或来自多种不同领域的多种不同类型的医学图像上训练损失函数DL模型108。

在所示的实施方案中，推断任务模块110可包括可扩展损失函数部件、任务模型训练部件114、任务DL模型116和运行时模型应用部件 118。可扩展损失函数部件112可以被配置为应用(已训练的)损失函数 DL模型108来预测或以其他方式生成与训练任务DL模型116相关联的损失函数度量。具体地讲，损失函数DL模型108可以用于训练各种类型的任务DL模型116，以通过使用损失函数DL模型108生成的度量来更好地区分任务DL模型116生成的推断输出及它们对应的实况示例，从而提供微调的损失评估。就这一点而言，可扩展损失函数部件112基本上提供“可扩展损失函数”应用，用于将损失函数DL模型108的损失函数度量值插入任务DL模型116中。在一些实施方案中，任务模型训练部件114可以采用与一个或多个其他损失函数度量结合的损失函数DL模型108度量以促进训练任务DL模型116。例如，一个或多个其他损失函数度量可以包括(但不限于)MAE、SSIM、MSE、SSIM等。

一旦使用损失函数DL模型108生成的损失函数度量(以及任选地一个或多个附加损失函数度量)训练了任务DL模型116，运行时模型应用部件118就可以将经训练的任务DL模型应用于未看见的数据样本122以生成对应的推断输出124。

在一个或多个实施方案中，可以训练损失函数DL模型108以预测 FSIM指数度量。如上所述，已发现，在应用于基于DL的医学图像处理任务时，FSIM指数提供对图像质量的评估，该评估相对于传统损失函数度量 (诸如MSE和SSIM)与放射科医师的感知观点更好地关联。然而，FSIM 是不可微分的，并且计算FSIM所需的计算子部件(诸如相位一致性 (PC))是不可微分的，并且在当前的DL包(诸如TensorFlow)中不容易实现。下面的公式1提供了用于给定图像对f1(x)和f2(x)的FSIM的公式。

其中

根据公式1，PC为对应于给定图像f(x)的相位一致性值并且在0至1 之间的范围内，G为针对给定图像f(x)的沿方向x(Gx)和y(Gy)的梯度量值，并且“*”为卷积运算符。T₁和T₂的值是预定义的并且可变化。在一个或多个示例性具体实施中，T₁可被设置为0.85并且T₂可被设置为160。

在一个或多个实施方案中，可以训练损失函数DL模型108以预测用于计算FSIM的PC值。在这些实施方案的一些具体实施中，可扩展损失函数部件112(或推断任务模块110的另一部件)可基于预测的PC值来计算由任务DL模型116使用的FSIM指数值。另选地，损失函数DL模型108 可以被配置为预测PC值并计算用于由可扩展损失函数部件112插入到任务DL模型116中的FSIM。就这一点而言，很难使用标准DL结构(例如， TensorFlow结构等)来实现相位一致性计算(诸如对数伽柏滤波器组)。因此，根据这些实施方案，所公开的技术训练DL网络(即，损失函数DL 模型108)以预测给定输入图像的PC值。

根据一个示例性具体实施，可以训练损失函数DL模型108以使用相应图像的实况PC值来预测各种不同医学图像的PC值。根据该示例性具体实施，训练数据102可包括来自多个成像源的图像数据，包括使用不同模态捕获的医学图像、捕获的不同身体部位的医学图像等。

图2和图3提供了根据本文所述的实施方案的被训练以预测医学图像的PC值(PC图)的示例性损失函数DL模型的结果。具体地讲，图2呈现了膝关节MRI扫描的示例性DL模型预测PC图和实况PC图，并且图3 呈现了膝关节PET的示例性DL模型预测PC图和实况PC图。

根据图2和图3所示的示例，22层CNN(Unet模型)用于损失函数 DL模型108，其中转置卷积用于上采样和基于步幅的下采样、批归一化关闭，并且平均绝对误差(MAE)作为损失函数执行30个时段。对输入数据进行z分数归一化。输出为预测的PC图。为了针对临床场景中使用的各种图像尺寸将模型一般化，通过提供各种尺寸的图像对，将模型训练为对图像尺寸不敏感。具体地讲，用于训练损失函数DL模型108的训练数据102 包括来自多种不同医学领域的图像，包括约130,000次脑和膝关节MRI扫描以及5,000次PET胸部和腹部扫描。出于训练和测试目的，使用80:20的比率分割训练数据。预测PC值与实况PC(GT-PC)值之间的平均绝对误差用作评估度量。使用Keras工具包(v2.2.4)和TensorFlow(v.1.13.1)后端中提供的功能进行所有训练。

参考图2，图像203呈现原始输入图像，即2D膝关节MRI扫描。图像201呈现图像203的DL模型生成的PH图(DL-PC)，并且图像202呈现图像203的实况PC图。参考图3，图像303呈现原始输入图像，即2D 膝关节PET扫描。图像301呈现图像303的DL模型生成的PH图(DL-PC)，并且图像302呈现图像303的实况PC图。如通过将膝关节MRI扫描和膝关节PET扫描两者的GT-PC与预测PC进行比较可以看出，两者的预测PC在视觉上高度类似于它们的实况对应物，表明预测相位一致性值对于图像感知应用而言足够准确。这些结果表明，DL网络实际上可以被训练来预测PC值以计算FSIM损失函数，其由于张量结构约束或者缺少特定实施细节，迄今为止难以实现，但是最终输出度量是可用的。

图4示出了根据本发明所公开的主题的一个或多个实施方案的用于训练损失函数DL模型的示例性架构400。架构400提供了监督训练过程的简化高级示例，该监督训练过程可用于生成损失函数DL模型以预测给定输入图像的PC值。根据架构400，可以将原始输入图像401输入到损失函数 DL模型108(例如，CNN或另一种类型的DL网络)以生成相应的预测 PC402。然后可以将预测的PC402与它们的配对GT-PC403进行比较，然后可以根据差异来调谐损失函数DL模型108。

再次参考图1，在训练损失函数DL模型108以预测给定输入图像的 PC值和/或FSIM矩阵的实施方案中，损失函数DL模型108可以用作其他 DL网络(例如，任务DL模型116)的多种不同图像处理任务的可扩展损失函数。例如，损失函数DL模型108可以应用于促进执行任务DL模型 116的图像重建任务、DL模型116的图像到图像转换任务(例如，去噪，失真校正、伪影移除、对比度增强、分辨率改善等)、任务DL模型116的图像分割任务、任务DL模型DL116的对象识别任务等。

在一个示例性具体实施中，参考图2和图3描述的示例性损失函数DL 模型108作为损失函数应用于训练DL网络以执行图像重建问题。具体地讲，图像重建问题涉及去除医学图像中的金属伪影；即重建医学损坏的医学图像以移除金属伪影，如图5所例示。

就这一点而言，图5呈现了根据本发明所公开的主题的一个或多个实施方案的与基于DL的图像重建任务相关联的示例性CT图像数据。图像 501呈现其中具有对应于金属伪影的条纹的示例性损坏的CT图像。图像 502呈现图像501的去除了金属伪影的期望校正版本，并且图像503呈现包括损坏的图像501的去除部分的残留图像，其在该示例中仅包括金属伪影。

为了展示相对于其他损失函数将预测的FSIM用于主题图像重建问题的有效性，使用不同的损失函数和相同的训练数据集来训练金属伪影移除 DL网络。这些损失函数包括单独的MAE、与SSIM结合的MAE (SSIM+MAE)，以及与MAE组合的FSIM损失函数(使用参考图2和图 3所述的DL模型108中的损失函数计算)。使用标准二维3层UNet网络对金属伪影去除DL网络进行建模。训练数据集包括在各种区域中存在金属的1000张损坏的CT图像，其中900张用于训练，100张用于测试。仅用 MAE损失函数训练的金属伪影去除DL网络在下文中称为MAE网络。仅利用SSIM和MAE损失函数两者训练的金属伪影去除DL网络在下文中称为SSIM+MAE网络，并且利用可扩展FSIM损失函数和MAE损失函数两者训练的金属伪影去除DL网络在下文中称为FSIM+MAE网络。该实验的结果参照图6至图9呈现。

图6呈现了图像数据，该图像数据比较根据上述实验的使用不同损失函数生成的基于DL的不同图像重建。图像601描绘了用于在测试阶段期间由金属伪影DL网络处理的代表性损坏的CT图像的实况图像。图像602呈现对应的损坏的图像。图像603描绘由MAE网络生成的所得图像，图像 604描绘由SSIM+MAE网络生成的所得图像，并且图像605描绘由FSIM+MAE网络生成的所得图像。

图像606-608是来自实况图像601的模型输出图像(图像603-605)的减影图像。具体地讲，图像606为从图像601减去图像603所得的减影图像，图像607为从图像601减去图像604所得的减影图像，并且图像608为从图像601减去图像605所得的减影图像。在减影图像中出现的组织的强度与实况图像和网络生成图像之间的相似度直接相关，其中强度越低，相似度越高。通过比较全部三个减影图像可以看出，FSIM+MAE网络生成的图像605的减影图像608明显具有最少的残余组织。这表明，与单独MAE 网络和SSIM+MAE网络相比，当移除金属伪影时，FSIM+MAE网络更好地保持组织结构。

图7呈现了图表700，该图表比较根据上述实验的基于DL的不同图像重建网络的重建准确性。参考图7和图6，为了生成图表700，在出现在图像中的相同骨结构上测量相应图像601-605的信号强度。例如，图像701呈现图像601-605中的一者的一部分的放大视图，其中图像的较亮部分对应于所评估的骨结构。图像701中标记的两个箭头对应于图表700中标记的箭头，并且指示在其上测量信号强度的骨的对应部分。根据图表700和图像 701，信号强度应在骨结构开始的位置处增大或达到峰值，并且在骨头结构停止的位置处减小。图表700表明，FSIM+MAE网络生成的图像具有比使用SSIM+MAE网络和MAE网络生成的图像的对应测量部分更大的信号强度和保真性。

图8呈现了附加图像数据，该附加图像数据比较根据上述实验的使用不同损失函数生成的基于DL的不同图像重建。具体地讲，图8呈现了不同损失函数训练的网络的若干减影图像。通过从网络生成的图像对应的实况图像中减去该网络生成的图像来生成减影图像。在每一列中彼此堆叠在一起的每个减影图像，使用相同的输入图像生成并使用相同的实况图像评估。通过将FSIM+MAE网络的减影图像与其他两个网络的减影图像进行比较可以看出，FSIM+MAE网络的减影图像总体上始终具有较少的残余组织强度。这表明，相对于使用其他两个网络生成的图像，使用FSIM+MAE训练的网络生成的金属伪影校正图像在外观上更紧密地匹配其对应的实况图像。这指出FSIM+MAE训练的网络已经比其他两个网络更好地学习CT图像结构的背景组织。

图9示出了根据本发明所公开的主题的一个或多个实施方案的示例性、非限制性过程900的流程图，该过程用于使用第一DL网络学习损失函数并采用这些损失函数来训练第二DL网络。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。

在902处，操作地联接到处理器的系统(例如，系统100)可以促进训练(例如，使用损失函数训练部件106)第一深度学习网络(例如，损失函数DL模型108)以预测损失函数(例如，基于FSIM的损失函数)的损失函数度量值(例如，PC值)。在904处，系统可采用第一深度学习网络来预测与训练第二深度学习网络(例如，任务DL模型116)相关联的损失函数度量值，以执行定义的深度学习任务。

图10示出了根据本发明所公开的主题的一个或多个实施方案的另一示例性、非限制性过程100的流程图，该过程用于使用第一DL网络学习损失函数并采用这些损失函数来训练第二DL网络。

在1002处，操作地联接到处理器的系统(例如，系统100)可以使用至少一个损失函数度量值(例如，FSIM指数值)来评估(例如，使用任务模型训练部件114)第一神经网络模型(例如，任务DL模型116)的性能。在1004处，系统可以采用(例如，使用可扩展损失函数部件112)第二神经网络模型(例如，损失函数DL模型108)来生成至少一个损失函数度量值(例如，FSIM度量值)。

应当指出的是，为了简化说明，在一些情况下，计算机实现的方法在本文中被描绘和描述为一系列动作。应当理解和认识到，本发明不受所示出的动作和/或动作顺序的限制，例如，动作可以以各种顺序和/或同时发生，并且具有本文未呈现和描述的其他动作。此外，可能不需要所有示出的动作来实现根据所公开的主题的计算机实现的方法。此外，本领域技术人员将理解并意识到，该计算机实现的方法可以另选地通过状态图或事件表示为一系列相互关联的状态。另外，应当进一步认识到，在下文以及整个说明书中公开的计算机实现的方法能够存储在制品上，以便有利于将此类计算机实现的方法传输和转移到计算机。如本文中所用，术语“制品” 旨在涵盖能够从任何计算机可读设备或存储介质访问的计算机程序。

图11可为本发明所公开的主题的各个方面提供非限制性背景，其旨在提供对其中可实现本发明所公开的主题的各个方面的合适环境的一般描述。图11示出了示例性、非限制性操作环境的框图，在该操作环境中可以促进本文所述的一个或多个实施方案。为简洁起见，省略了对本文描述的其他实施方案中采用的类似元素的重复描述。

参考图11，用于实现本公开的各个方面的合适操作环境1100还可包括计算机1102。计算机1102还可包括处理单元1104、系统存储器1106和系统总线1108。系统总线1108将包括但不限于系统存储器1106的系统部件联接到处理单元1104。处理单元1104可以是各种可用处理器中的任何一种。双微处理器和其他多处理器架构也可用作处理单元1104。系统总线1108可以是多种类型的总线结构中的任一种，包括存储器总线或存储器控制器、外围总线或外部总线以及/或者使用各种可用总线架构的本地总线，包括但不限于工业标准架构(ISA)、微通道架构(MCA)、扩展ISA (EISA)、智能驱动电子设备(IDE)、VESA本地总线(VLB)、外围部件互连件(PCI)、卡总线、通用串行总线(USB)、高级图形端口 (AGP)、火线(IEEE 11124)和小型计算机系统接口(SCSI)。

系统存储器1106还可包括易失性存储器1110和非易失性存储器 1112。基本输入/输出系统(BIOS)(包含在计算机1102内的元件之间传输信息的基本例程，诸如在启动期间)存储在非易失性存储器1112中。计算机1102还可包括可移除/不可移除、易失性/非易失性计算机存储介质。图11示出了例如磁盘存储装置1114。磁盘存储装置1114还可包括但不限于如磁盘驱动器、软盘驱动器、磁带驱动器、Jaz驱动器、Zip驱动器、LS- 100驱动器、闪存存储器卡或记忆棒的设备。磁盘存储装置1114还可包括单独的存储介质或与其他存储介质组合的存储介质。为了便于将磁盘存储装置1114连接到系统总线1108，通常使用可移除或不可移除的接口，诸如接口1116。图11还描绘了充当用户和合适的操作环境1100中所述的基本计算机资源之间的中介的软件。这种软件还可包括例如操作系统1118。可存储在磁盘存储装置1114上的操作系统1118用于控制和分配计算机1102 的资源。

系统应用程序1120利用操作系统1118通过例如存储在系统存储器 1106中或磁盘存储装置1114上的程序模块1122以及程序数据1124对资源的管理。应当认识到，本公开可以用各种操作系统或操作系统的组合来实现。用户通过输入设备1136将命令或信息输入到计算机1102中。输入设备1136包括但不限于诸如鼠标、轨迹球、触笔、触摸板、键盘、麦克风、操纵杆、游戏板、卫星天线、扫描仪、电视调谐卡、数码相机、数码摄像机、网络摄像头等指向设备。这些和其他输入设备经由接口端口1130通过系统总线1108连接到处理单元1104。接口端口1130包括例如串行端口、并行端口、游戏端口和通用串行总线(USB)。输出设备1134使用与输入设备1136相同类型的端口中的一些端口。因此，例如，USB端口可用于向计算机1102提供输入，并将信息从计算机1102输出到输出设备1134。提供输出适配器1128以示出存在如监视器、扬声器和打印机的一些输出设备1134，以及需要特殊适配器的其他输出设备1134。通过举例说明而非限制的方式，输出适配器1128包括在输出设备1134和系统总线1108之间提供连接方式的视频和声卡。应当指出的是，其他设备和/或设备的系统提供输入能力和输出能力两者，诸如远程计算机1140。

计算机1102可使用到一个或多个远程计算机(诸如，远程计算机 114)的逻辑连接而在联网环境中操作。远程计算机1140可以是计算机、服务器、路由器、网络PC、工作站、基于微处理器的设备、对等设备或其他公共网络节点等，并且通常还可包括相对于计算机1102描述的元素中的许多或全部元素。出于简洁的目的，对于远程计算机1140仅示出了存储器存储设备1142。远程计算机1140通过网络接口1138逻辑连接到计算机 1102，然后经由通信连接1132而被物理连接。网络接口1138涵盖有线和/ 或无线通信网络，诸如局域网(LAN)、广域网(WAN)、蜂窝网络等。 LAN技术包括光纤分布式数据接口(FDDI)、铜质分布式数据接口 (CDDI)、以太网、令牌环等。WAN技术包括但不限于点到点链路、如综合业务数字网络(ISDN)及其上的变体的电路交换网络、分组交换网络和数字用户线(DSL)。通信连接1132是指用于将网络接口1138连接到系统总线1108的硬件/软件。虽然为了清楚说明而在计算机1102内示出了通信连接1132，但是该通信连接也可在计算机1102外部。仅出于举例的目的，用于连接到网络接口1138的硬件/软件还可包括内部技术和外部技术，诸如调制解调器，包括常规电话级调制解调器、电缆调制解调器和DSL调制解调器、ISDN适配器，以及以太网卡。

本文所述的一个或多个实施方案可以是处于集成的任何可能技术细节水平的系统、方法、装置和/或计算机程序产品。计算机程序产品可包括其上具有计算机可读程序指令以用于致使处理器执行一个或多个实施方案的各方面的计算机可读存储介质(或多个计算机可读存储介质)。计算机可读存储介质可以是有形设备，该有形设备可以保持和存储供指令执行设备使用的指令。计算机可读存储介质可以是例如但不限于电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备、或前述的任何适当组合。计算机可读存储介质的更具体示例的不完全列表还可包括以下各项：便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存存储器)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能磁盘(DVD)、记忆棒、软盘、机械编码设备(诸如打孔卡或其上记录有指令的凹槽中的凸起结构)，以及上述项的任何适当组合。如本文所用，计算机可读存储介质不应被理解为是暂态信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线传输的电信号。就这一点而言，在各种实施方案中，如本文所用的计算机可读存储介质可包括非暂态和有形计算机可读存储介质。

本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如，互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并且转发计算机可读程序指令以用于存储在相应计算/处理设备内的计算机可读存储介质中。用于执行一个或多个实施方案的操作的计算机可读程序指令可以是汇编器指令、指令集架构(ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、集成电路的配置数据，或以一种或多种编程语言(包括面向对象的编程语言，诸如 Smalltalk、C++等)和过程编程语言(诸如“C”编程语言或类似编程语言)的任何组合编写的源代码或目标代码。计算机可读程序指令可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包执行，部分在用户计算机上并且部分在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过任何类型的网络 (包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以与外部计算机建立连接(例如，通过使用互联网服务提供商的互联网)。在一些实施方案中，包括例如可编程逻辑电路、现场可编程门阵列 (FPGA)或可编程逻辑阵列(PLA)的电子电路可通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路，以便执行一个或多个实施方案的各方面。

本文参考根据实施方案的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述一个或多个实施方案的各方面。应当理解，流程图图示和/或框图的每个框，以及流程图图示和/或框图中的框的组合可由计算机可读程序指令来实现。可以将这些计算机可读程序指令提供给通用计算机、专用计算机、或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令也可存储在计算机可读存储介质中，其可指示计算机、可编程数据处理装置和其他设备以特定方式起作用，使得具有存储在其中的指令的计算机可读存储介质包括制品，该制品包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。也可将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上，以致使一系列操作动作在计算机、其他可编程装置或其他设备上执行以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和框图的一个或多个框中指定的功能/动作。

附图中的流程图和框图示出了根据本文所述的各种实施方案的系统、方法和计算机程序产品的可能实现的架构、功能性和操作。在这方面，流程图或框图中的每个框可以表示指令的模块、片段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些另选具体实施中，框中所指出的功能可不按图中所指出的顺序发生。例如，实际上可基本上同时执行连续示出的两个框，或者有时可能以相反顺序执行这些框，具体取决于所涉及的功能性。还需要说明的是，框图和流程图图示的每个框以及框图和流程图图示中的框的组合可由执行特定功能或动作或者执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。

虽然上文已经在一个或多个计算机上运行的计算机程序产品的计算机可执行指令的一般语境中描述了主题，但本领域的技术人员将认识到，本公开也可以或可以与其他程序模块结合实现。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、部件、数据结构等。此外，本领域技术人员将理解，可以用其他计算机系统配置来实践本发明的计算机实现方法，这些计算机系统配置包括单处理器或多处理器计算机系统、小型计算设备、大型计算机、以及计算机、手持式计算设备(例如， PDA、电话)、基于微处理器或可编程的消费或工业电子器件等。所例示的方面还可在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实践。然而，本公开的一些(如果不是全部)方面可以在独立计算机上实践。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备中。例如，在一个或多个实施方案中，计算机可执行部件可从可包括一个或多个分布式存储器单元或由一个或多个分布式存储器单元构成的存储器执行。如本文所用，术语“存储器”和“存储器单元”可互换。此外，本文所述的一个或多个实施方案可以分布式方式执行计算机可执行部件的代码，例如，多个处理器组合或协同工作以执行来自一个或多个分布式存储器单元的代码。如本文所用，术语“存储器”可涵盖一个位置处的单个存储器或存储器单元，或者一个或多个位置处的多个存储器或存储器单元。

如本申请中所用，术语“部件”、“系统”、“平台”、“接口”等可指代并且可包括计算机相关实体或与具有一个或多个特定功能性的操作机相关的实体。本文公开的实体可以是硬件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于是在处理器上运行的进程、处理器、对象、可执行文件、执行的线程、程序和计算机。通过举例说明的方式，在服务器上运行的应用程序和服务器都可以是部件。一个或多个部件可驻留在进程或执行的线程内，并且部件可位于一台计算机上和/或分布在两台或更多台计算机之间。在另一个示例中，相应部件可以根据其上存储有各种数据结构的各种计算机可读介质执行。部件可以经由本地和/或远程进程进行通信，诸如根据具有一个或多个数据分组的信号(例如，来自一个部件的数据，该部件在本地系统、分布式系统和/或网络(诸如，经由信号与其他系统的互联网)中与另一个部件交互)。作为另一个示例，部件可以是具有由电气或电子电路操作的机械零件提供的特定功能的装置，该电气或电子电路由处理器所执行的软件或固件应用程序操作。在这种情况下，处理器可以在装置的内部或外部，并且可以执行软件或固件应用程序的至少一部分。作为又一个示例，部件可以是可通过电子部件而非机械零件提供特定功能性的装置，其中电子部件可包括处理器或用于执行至少部分地赋予电子部件功能性的软件或固件的其他装置。在一个方面，部件可以例如在云计算系统内经由虚拟机来仿真电子部件。

如本文所用，术语“促进”是在“促进”一个或多个动作或操作的系统、设备或部件的语境中，相对于其中多个部件和/或多个设备可参与一些计算操作的复杂计算环境的性质。可涉及或可不涉及多个部件和/或多个设备的动作的非限制性示例包括发送或接收数据、在设备之间建立连接、为了获得结果而确定中间结果(例如，包括采用ML和/或AI技术来确定中间结果)等。就这一点而言，计算设备或部件可通过参与完成操作的任何部分来促进该操作。因此，当本文描述部件的操作时，应当理解，在操作被描述为由部件促进的情况下，操作可任选地通过一个或多个其他计算设备或部件的协作来完成，所述其他计算设备或部件诸如但不限于：传感器、天线、音频和/或视觉输出设备、其他设备等。

此外，术语“或”旨在表示包含性的“或”而不是排他性的“或”。也就是说，除非另有指明或从上下文中清楚，否则“X采用A或B”旨在表示任何自然的包含性置换。也就是说，如果X采用A；X采用B；或者 X采用A和B两者，则在任何前述情况下都满足“X采用A或B”。此外，本说明书和附图中使用的冠词“一”和“一个”通常应解释为是指 “一个或多个”，除非另有指明或从上下文中清楚是指单数形式。如本文中所用，利用术语“示例”和/或“示例性”来表示用作示例、实例或说明。为了避免疑问，本文所公开的主题不受此类示例的限制。此外，本文中描述为“示例”和/或“示例性”的任何方面或设计不必被解释为比其他方面或设计更优选或有利，也不意味着排除本领域普通技术人员已知的等效示例性结构和技术。

如在本说明书中采用的，术语“处理器”可以基本上指任何计算处理单元或设备，包括但不限于单核处理器；具有软件多线程执行能力的单处理器；多核处理器；具有软件多线程执行能力的多核处理器；具有硬件多线程技术的多核处理器；并行平台；以及具有分布式共享存储器的并行平台。另外，处理器可以指集成电路、专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑控制器(PLC)、复杂可编程逻辑设备(CPLD)、分立栅极或晶体管逻辑部件、分立硬件部件、或被设计为执行本文所述的功能的其任意组合。另外，处理器可利用纳米级架构 (诸如但不限于基于分子和量子点的晶体管、开关和门)以便优化空间使用或增强用户设备的性能。处理器也可以被实现为计算处理单元的组合。在本公开中，术语诸如“存储”、“存储装置”、“数据存储”、“数据存储装置”、“数据库”、以及与部件的操作和功能相关的基本上任何其他信息存储部件用于指代“存储器部件”、体现在“存储器”中的实体、或包括存储器的部件。应当认识到，本文所述的存储器和/或存储器部件可以是易失性存储器或非易失性存储器，或者可以包括易失性和非易失性存储器两者。以举例说明而非限制的方式，非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除 ROM(EEPROM)、闪存存储器、或非易失性随机存取存储器(RAM)(例如，铁电RAM(FeRAM))。例如，易失性存储器可以包括RAM，其可以充当外部高速缓存存储器。以举例说明而非限制的方式，RAM能以多种形式提供，诸如同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM (SDRAM)、双倍数据速率SDRAM(DDRSDRAM)、增强型SDRAM (ESDRAM)、Synchlink DRAM(SLDRAM)、直接Rambus RAM (DRRAM)、直接Rambus动态RAM(DRDRAM)和Rambus动态RAM (RDRAM)。另外，本文所公开的系统或计算机实现的方法的存储器部件旨在包括但不限于包括这些和任何其他合适类型的存储器。

上面已经描述的内容仅包括系统和计算机实现方法的示例。当然，无法为了描述本公开的目的而描述部件或计算机实现方法的每种可想到的组合，但本领域的普通技术人员可以认识到，本公开的许多进一步组合和置换是可能的。此外，关于在具体实施方式、权利要求书、附录和附图中使用术语“包括”、“具有”、“拥有”等的程度，此类术语旨在以类似于术语“包括”的方式为包括性的，如“包括”在权利要求中被用作过渡词时那样解释。

已经出于说明的目的给出了各种实施方案的描述，但这些描述并不旨在是穷举的或限于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下，许多修改和变型对于本领域的普通技术人员而言将是显而易见的。选择本文使用的术语是以最好地解释实施方案的原理、优于市场上发现的技术的实际应用或技术改进，或者使得本领域的其他普通技术人员能够理解本文公开的实施方案。

Claims

1.一种系统，包括：

存储器，所述存储器存储计算机可执行部件；和

处理器，所述处理器执行存储在所述存储器中的所述计算机可执行部件，其中所述计算机可执行部件包括：

损失函数训练部件，所述损失函数训练部件促进训练第一深度学习网络以预测损失函数的损失函数度量值；和

可扩展损失函数部件，所述可扩展损失函数部件促进应用所述第一深度学习网络来预测与训练第二深度学习网络相关联的所述损失函数度量值以执行定义的深度学习任务。

2.根据权利要求1所述的系统，其中所述损失函数包括不可微分的损失函数。

3.根据权利要求1所述的系统，其中所述损失函数包括特征相似性指数匹配(FSIM)损失函数。

4.根据权利要求3所述的系统，其中所述损失函数度量值包括特征相似性指数度量值。

5.根据权利要求3所述的系统，其中所述损失函数度量值包括相位一致性度量值。

6.根据权利要求1所述的系统，其中所述损失函数包括系统传递函数。

7.根据权利要求1所述的系统，其中所述损失函数包括视觉信息保真度(VIF)损失函数。

8.根据权利要求1所述的系统，其中所述第二深度学习网络需要定义的软件框架来执行，并且其中所述定义的软件框架不能执行所述损失函数。

9.根据权利要求8所述的系统，其中所述定义的软件框架采用张量结构，并且其中所述张量结构不能计算所述损失函数。

10.根据权利要求1所述的系统，其中所述定义的深度学习任务包括图像重建任务或图像转换任务。

11.根据权利要求1所述的系统，其中所述第一深度学习网络包括卷积神经网络。

12.一种方法，包括：

由操作地联接到处理器的系统使用至少一个损失函数度量值来评估第一神经网络模型的性能；以及

由所述系统采用第二神经网络模型来生成所述至少一个损失函数度量值。

13.根据权利要求12所述的方法，其中所述损失函数度量值包括不可微分的损失函数度量值。

14.根据权利要求12所述的方法，其中所述损失函数度量值包括特征相似性指数匹配(FSIM)度量值。

15.根据权利要求13所述的方法，其中所述第二神经网络被配置成预测相位一致性度量值并采用所述相位一致性度量值来生成所述相似性指数匹配(FSIM)度量值。

16.根据权利要求12所述的方法，其中所述损失函数度量值包括系统传递函数度量值。

17.根据权利要求12所述的方法，其中所述第一神经网络模型包括图像重建模型或图像转换模型。

18.根据权利要求12所述的方法，其中所述第二深度学习网络包括卷积神经网络，使用监督或半监督机器学习训练来训练所述卷积神经网络以预测所述损失函数度量值。

19.一种方法，包括：

由操作地联接到处理器的系统促进训练第一深度学习网络以预测损失函数的损失函数度量值；以及

由所述系统采用所述第一深度学习网络来预测与训练第二深度学习网络相关联的所述损失函数度量值以执行定义的深度学习任务。

20.根据权利要求19所述的方法，其中所述损失函数包括不可微分的损失函数。