CN111861931A - 模型训练、图像增强方法和装置、电子设备及存储介质 - Google Patents

模型训练、图像增强方法和装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111861931A
CN111861931A CN202010733232.3A CN202010733232A CN111861931A CN 111861931 A CN111861931 A CN 111861931A CN 202010733232 A CN202010733232 A CN 202010733232A CN 111861931 A CN111861931 A CN 111861931A
Authority
CN
China
Prior art keywords
image
level
sub
detail
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010733232.3A
Other languages
English (en)
Inventor
鲁方波
汪贤
樊鸿飞
蔡媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202010733232.3A priority Critical patent/CN111861931A/zh
Publication of CN111861931A publication Critical patent/CN111861931A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请提供的模型训练、图像增强方法和装置、电子设备及存储介质，涉及深度学习技术领域。在本申请中，首先，对第一图像和第二图像分别进行金字塔分解处理，得到多级第一子带图像和多级第二子带图像，其中，该第一图像和该第二图像基于相同图像内容形成，且具有不同的图像细节。其次，基于每一级第一子带图像与第二子带图像之间的图像损失值和预设的多个权重系数，计算得到图像损失总值，其中，在多个权重系数中至少存在两个不同的权重系数。然后，基于图像损失总值对目标神经网络进行参数更新处理，得到图像增强模型。通过上述方法，可以改善基于现有的训练技术得到的图像增强模型存在细节增强效果不佳的问题。

Description

模型训练、图像增强方法和装置、电子设备及存储介质
技术领域
本申请涉及深度学习技术领域，具体而言，涉及一种模型训练、图像增强方法和装置、电子设备及存储介质。
背景技术
随着深度学习技术的不断发展，其应用范围也越来越广，例如，在图像处理领域中就得到了很好的应用，如对图像的细节进行增强处理。
经发明人研究发现，基于现有的神经网络训练技术训练得到的图像增强模型，在对图像进行细节增强处理时，存在细节增强效果不佳的问题。
发明内容
有鉴于此，本申请的目的在于提供一种模型训练、图像增强方法和装置、电子设备及存储介质，以改善基于现有的训练技术得到的图像增强模型存在细节增强效果不佳的问题。
为实现上述目的，本申请实施例采用如下技术方案：
一种图像增强模型训练方法，包括：
对第一图像和第二图像分别进行金字塔分解处理，得到多级第一子带图像和多级第二子带图像，其中，该第一图像和该第二图像基于相同图像内容形成，且具有不同的图像细节；
基于每一级第一子带图像与第二子带图像之间的图像损失值和预设的多个权重系数，计算得到图像损失总值，其中，在所述多个权重系数中至少存在两个不同的权重系数；
基于所述图像损失总值对目标神经网络进行参数更新处理，得到图像增强模型，其中，该图像增强模型用于对目标图像的细节进行增强处理。
本申请实施例还提供了另一种图像增强模型训练方法，包括：
对第一图像和第二图像分别进行金字塔分解处理，得到第一子带图像和第二子带图像，其中，该第一图像和该第二图像基于相同图像内容形成，且具有不同的图像细节，该第一子带图像包括第一细节子带图像和第一近似子带图像，该第二子带图像包括第二细节子带图像和第二近似子带图像；
基于第一损失函数，计算所述第一细节子带图像和所述第二细节子带图像之间的细节损失值；
基于第二损失函数，计算所述第一近似子带图像和所述第二近似子带图像之间的近似损失值，其中，该第二损失函数不同于所述第一损失函数；
基于所述细节损失值和所述近似损失值对目标神经网络进行参数更新处理，得到图像增强模型，其中，该图像增强模型用于对目标图像的细节进行增强处理。
在上述基础上，本申请实施例还提供了一种图像增强方法，包括：
将获得的目标图像输入至预设的图像增强模型，其中，该图像增强模型基于上述的图像增强模型训练方法训练得到；
通过所述图像增强模型，对所述目标图像的细节进行增强处理。
本申请实施例还提供了一种图像增强模型训练装置，包括：
第一图像分解模块，用于对第一图像和第二图像分别进行金字塔分解处理，得到多级第一子带图像和多级第二子带图像，其中，该第一图像和该第二图像基于相同图像内容形成，且具有不同的图像细节；
图像损失计算模块，用于基于每一级第一子带图像与第二子带图像之间的图像损失值和预设的多个权重系数，计算得到图像损失总值，其中，在所述多个权重系数中至少存在两个不同的权重系数；
第一网络更新模块，用于基于所述图像损失总值对目标神经网络进行参数更新处理，得到图像增强模型，其中，该图像增强模型用于对目标图像的细节进行增强处理。
本申请实施例还提供了另一种图像增强模型训练装置，包括：
第二图像分解模块，用于对第一图像和第二图像分别进行金字塔分解处理，得到第一子带图像和第二子带图像，其中，该第一图像和该第二图像基于相同图像内容形成，且具有不同的图像细节，该第一子带图像包括第一细节子带图像和第一近似子带图像，该第二子带图像包括第二细节子带图像和第二近似子带图像；
细节损失计算模块，用于基于第一损失函数，计算所述第一细节子带图像和所述第二细节子带图像之间的细节损失值；
近似损失计算模块，用于基于第二损失函数，计算所述第一近似子带图像和所述第二近似子带图像之间的近似损失值，其中，该第二损失函数不同于所述第一损失函数；
第二网络更新模块，用于基于所述细节损失值和所述近似损失值对目标神经网络进行参数更新处理，得到图像增强模型，其中，该图像增强模型用于对目标图像的细节进行增强处理。
在上述基础上，本申请实施例还提供了一种图像增强装置，包括：
目标图像输入模块，用于将获得的目标图像输入至预设的图像增强模型，其中，该图像增强模型基于上述的图像增强模型训练装置训练得到；
目标图像增强模块，用于通过所述图像增强模型，对所述目标图像的细节进行增强处理。
在上述基础上，本申请实施例还提供了一种电子设备，包括：
存储器，用于存储计算机程序；
与所述存储器连接的处理器，用于执行该存储器存储的计算机程序，以实现上述的图像增强模型训练方法，或者，实现上述的图像增强方法。
在上述基础上，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被执行时，实现上述的图像增强模型训练方法，或者，实现上述的图像增强方法。
本申请提供的模型训练、图像增强方法和装置、电子设备及存储介质，在计算图像损失总值时，针对不同的计算对象采用不同的计算方式(如设置不同的权重系数或不同的损失函数)，可以实现有针对性的图像损失计算，使得计算得到的图像损失总值精确度更高。如此，由于计算得到的图像损失总值具有更高的精确度，使得基于该图像损失总值对目标神经网络进行参数更新处理(即模型训练)时，可以提高对参数更新的高精度约束，从而使得得到的图像增强模型具有更高的图像处理能力，即在对目标图像进行细节增强处理时，细节增强的效果更为显著，能够有效提高目标图像的图像质量，因而，可以改善基于现有的训练技术得到的图像增强模型存在细节增强效果不佳的问题，具有较高的实用价值。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
图1为本申请实施例提供的电子设备的结构框图。
图2为本申请实施例提供的图像增强模型训练方法的流程示意图。
图3为图2中步骤S110包括的子步骤的流程示意图。
图4为图2中步骤S120包括的子步骤的流程示意图。
图5为图4中步骤S121包括的子步骤的流程示意图。
图6为本申请实施例提供的近似子带图像之间的像素对比示意图。
图7为图4中步骤S122包括的子步骤的流程示意图。
图8为本申请实施例提供的另一种图像增强模型训练方法的流程示意图。
图9为本申请实施例提供的图像增强方法的流程示意图。
图10为基于现有的图像增强模型处理后的目标图像的效果示意图。
图11为基于本申请的图像增强模型处理后的目标图像的效果示意图。
图12为本申请实施例提供的第一图像增强模型训练装置包括的功能模块的方框示意图。
图13为本申请实施例提供的第二图像增强模型训练装置包括的功能模块的方框示意图。
图14为本申请实施例提供的图像增强装置包括的功能模块的方框示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本申请的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，本申请实施例提供了一种电子设备10。其中，该电子设备10可以包括存储器12和处理器14。
详细地，所述存储器12和处理器14之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器12中可以存储有至少一个可以以软件或固件(firmware)的形式，存在的软件功能模块。所述处理器14可以用于执行所述存储器12中存储的可执行的计算机程序，如前述的软件功能模块，从而实现本申请实施例(如后文所述)提供的图像增强模型训练方法，以训练得到图像增强模型，或实现本申请实施例(如后文所述)提供的图像增强方法，以对目标图像的细节进行增强处理。
可选地，所述存储器12可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。
并且，所述处理器14可以是一种通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)、片上系统(System onChip，SoC)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解，所述电子设备10可以是一种具有数据处理能力的服务器。
并且，图1所示的结构仅为示意，所述电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置，例如，还可以包括用于与其它设备进行信息交互的通信单元，如与其它数据库进行信息交互，以获得第一图像，或与终端设备进行信息交互，以获得目标图像。
结合图2，本申请实施例还提供一种可应用于上述电子设备10的图像增强模型训练方法。其中，该图像增强模型训练方法有关的流程所定义的方法步骤，可以由所述电子设备10实现。下面将对图2所示的具体流程，进行详细阐述。
步骤S110，对第一图像和第二图像分别进行金字塔分解处理，得到多级第一子带图像和多级第二子带图像。
在本实施例中，在需要对目标神经网络进行训练(参数更新处理)时，所述电子设备10一方面可以对获得的第一图像进行金字塔分解处理，以得到对应的多级第一子带图像，另一方面可以对获得的第二图像也进行金字塔分解处理，以得到对应的多级第二子带图像。
其中，所述第一图像和所述第二图像可以基于相同的图像内容形成，且可以具有不同的图像细节。
步骤S120，基于每一级第一子带图像与第二子带图像之间的图像损失值和预设的多个权重系数，计算得到图像损失总值。
在本实施例中，在基于步骤S110得到多级所述第一子带图像和多级所述第二子带图像之后，所述电子设备10可以基于预设的多个权重系数，对每一级第一子带图像与第二子带图像之间的图像损失值，进行加权计算，得到对应的图像损失总值。
其中，在所述多个权重系数中，至少存在两个不同的权重系数。
步骤S130，基于所述图像损失总值对目标神经网络进行参数更新处理，得到图像增强模型。
在本实施例中，在基于步骤S120得到所述图像损失总值之后，所述电子设备10可以基于所述图像损失总值对所述目标神经网络进行参数更新处理，以得到对应的图像增强模型。
其中，所述图像增强模型可以用于对目标图像的细节进行增强处理。
基于上述方法，由于在计算图像损失总值时，设置有不同的权重系数，可以实现有针对性的图像损失计算，使得计算得到的图像损失总值精确度更高，从而在基于该图像损失总值对目标神经网络进行参数更新处理(即模型训练)时，可以提高对参数更新的高精度约束，进而使得训练得到的图像增强模型具有更高的图像处理能力，即在对目标图像进行细节增强处理时，细节增强的效果更为显著，能够有效提高目标图像的图像质量。
第一方面，对于步骤S110需要说明的是，所述第一图像和所述第二图像中具体的图像细节不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，所述图像细节可以通过噪声来表示。也就是说，所述第一图像和所述第二图像，可以具有不同的噪声，如噪声更大的图像具有更少的图像细节，噪声更小的图像具有更多的图像细节。
又例如，在另一种可以替代的示例中，所述图像细节也可以通过分辨率来表示。也就是说，所述第一图像和所述第二图像，可以具有不同的分辨率，如具有高分辨率的图像具有更多的图像细节，具有低分辨率的图像具有更少的图像细节。
对于步骤S110还需要说明的是，所述第一图像和所述第二图像由于是基于相同的图像内容形成，但是，具体的形成方式也不受限制，也可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，所述第一图像和所述第二图像，可以分别是指，基于同一设备在不同分辨率模式下，针对同一拍摄对象拍摄的两张图像。
又例如，在另一种可以替代的示例中，所述第一图像和所述第二图像，可以分别是指，基于同一设备在不同分辨率模式下，针对同一拍摄对象拍摄的两张图像，且其中在较低分辨率模式下的图像可以经过所述目标神经网络的细节增强处理。
再例如，在另一种可以替代的示例中，所述第一图像和所述第二图像，可以是指，基于同一样本图像，分别基于其他已经训练完成的神经网络和还未训练完成的目标神经网络分别进行细节增强处理得到的两张图像。
再例如，在另一种可以替代的示例中，为了使得基于所述第一图像和所述第二图像计算得到的图像损失值可以更为有效地对所述目标神经网络进行训练，结合图3，步骤S110可以包括步骤S111、步骤S112和步骤S113，具体内容如下所示。
步骤S111，对第一图像进行细节减弱处理，得到训练图像。
在本实施例中，在需要对目标神经网络进行训练时，可以先对获得的第一图像进行细节减弱处理，以得到对应的训练图像。
也就是说，在所述第一图像和所述第二图像中，所述第一图像具有较多的图像细节，所述训练图像具有较少的图像细节。
步骤S112，基于目标神经网络对所述训练图像进行细节增强处理得到第二图像。
在本实施例中，在基于步骤S111得到所述训练图像之后，在得到所述训练图像之后，可以基于所述目标神经网络对该训练图像进行细节增强处理，以得到对应的第二图像。
也就是说，在所述训练图像和所述第二图像中，所述第二图像具有较多的图像细节，所述训练图像具有较少的图像细节。并且，由于所述目标神经网络还需要进行训练，因而，相较于所述第一图像，所述第二图像也具有更少的图像细节。
步骤S113，对所述第一图像进行金字塔分解处理得到多级第一子带图像，对所述第二图像进行金字塔分解处理得到多级第二子带图像。
在本实施例中，在获得所述第一图像之后，可以对该第一图像进行金字塔分解处理，以得到对应的多级第一子带图像。并且，在基于步骤S112得到所述第二图像之后，也可以对该第二图像进行金字塔分解处理，以得到对应的多级第二子带图像。
可选地，执行步骤S111以对第一图像进行细节减弱处理的具体方式不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，可以对所述第一图像进行噪声增大处理，以使得该第一图像的图像细节减少，从而得到训练图像。
又例如，在另一种可以替代的示例中，可以对所述第一图像进行分辨率降低处理，以使得该第一图像的图像细节减少，从而得到训练图像。
可选地，执行步骤S112以对训练图像进行细节增强处理的具体方式也不受限制，也可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，若得到所述训练图像是基于噪声增大处理，且所述目标神经网络(如去噪神经网络)可以用于进行去噪处理，如此，可以对所述训练图像进行去噪处理，从而实现对该训练图像的细节增强处理。
又例如，在另一种可以替代的示例中，若得到所述训练图像是基于分辨率降低处理，且所述目标神经网络(如超分神经网络)可以用于进行分辨率增强处理，如此，可以对所述训练训练图像进行分辨率增强处理，从而实现对该训练图像的细节增强处理。
可选地，执行步骤S113以进行金字塔分解处理的具体方式也不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，所述金字塔分解处理可以为高斯金字塔分解处理，如此，通过对所述第一图像进行高斯金字塔分解处理，可以得到多级第一近似子带图像；通过对所述第二图像进行高斯金字塔分解处理，可以得到多级第二近似子带图像。
也就是说，在此示例中，每一级所述第一子带图像包括第一近似子带图像，每一级所述第二子带图像包括第二近似子带图像。
又例如，在另一种可以替代的示例中，所述金字塔分解处理可以为拉普拉斯金字塔分解处理，如此，通过对所述第一图像进行拉普拉斯金字塔分解处理，可以得到多级第一细节子带图像；通过对所述第二图像进行拉普拉斯金字塔分解处理，可以得到多级第二细节子带图像。
也就是说，在此示例中，每一级所述第一子带图像包括第一细节子带图像，每一级所述第二子带图像包括第二细节子带图像。
再例如，在另一种可以替代的示例中，所述金字塔分解处理可以包括拉普拉斯金字塔分解处理和高斯金字塔分解处理，如此，通过对所述第一图像分别进行拉普拉斯金字塔分解处理和高斯金字塔分解处理，可以分别得到多级第一细节子带图像和多级第一近似子带图像；通过对所述第二图像分别进行拉普拉斯金字塔分解处理和高斯金字塔分解处理，可以分别得到多级第二细节子带图像和多级第二近似子带图像。
也就是说，在此示例中，每一级所述第一子带图像包括第一细节子带图像和第一近似子带图像，每一级所述第二子带图像包括第二细节子带图像和第二近似子带图像。
可以理解的是，高斯金字塔分解处理可以是指，通过连续的模糊和下采样，可以依次得到图像细节越来越少的多级近似子带图像，例如，若高斯金字塔的层级为6，其中，第一级的近似子带图像具有最多的图像细节，第六级的近似子带图像具有最少的图像细节。
其中，拉普拉斯金字塔分解处理可以是指，高斯金字塔每一层级产生的过程中都会丢失掉很多的图像信息，而这一信息构成了拉普拉斯金字塔，例如，对高斯金字塔中第六级的近似子带图像进行上采样可获得一图像，然后，将高斯金字塔中第五级的近似子带图像与该图像进行求差处理，就可以得到第六级的细节子带图像。
如此，由于拉普拉斯金字塔分解处理是在高斯金字塔分解处理的基础上进行的，因而，在前述的示例中，在每一级所述第一子带图像包括第一细节子带图像，每一级所述第二子带图像包括第二细节子带图像的情况下，实际上，也是进行了高斯金字塔分解处理，只是可以仅获得基于拉普拉斯金字塔分解处理得到的细节子带图像即可，而不用获得基于高斯金字塔分解处理得到的近似子带图像。
第二方面，对于步骤S120需要说明的是，计算图像损失总值的具体方式也不受限制，也可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，若每一级所述第一子带图像包括第一细节子带图像和第一近似子带图像，每一级所述第二子带图像包括第二细节子带图像和第二近似子带图像，可以针对第一细节子带图像与第二细节子带图像之间的细节损失值设置细节权重系数，针对第一近似子带图像与第二近似子带图像之间的近似损失值设置近似权重系数。
其中，每一级所述细节损失值对应的细节权重系数可以相同，每一级所述近似损失值对应的近似权重系数可以相同。并且，一个细节权重系数与一个近似权重系数的和可以为1，但不相同。
又例如，在另一种可以替代的示例中，为了使得训练得到的图像增强模型具有更好的细节增强能力，结合图4，步骤S120可以包括步骤S121和步骤S122，具体内容如下所述。
步骤S121，针对每一级第一子带图像和第二子带图像，确定该级第一子带图像和第二子带图像之间的图像损失值，得到多级图像损失值。
在本实施例中，基于步骤S110得到多级所述第一子带图像和多级所述第二子带图像之后，可以对每一级的第一子带图像和第二子带图像之间的图像损失值进行确定，如此，可以得到多级的图像损失总值。
步骤S122，基于多级所述图像损失值和预设的多级层级权重系数，得到图像损失总值。
在本实施例中，在基于步骤S121得到多级图像损失值之后，可以基于预设的多级层级权重系数，对该多级图像损失值进行加权计算，以得到对应的图像损失总值。
其中，多级所述层级权重系数中至少存在两级不同的层级权重系数。如此，可以实现对至少两级重要程度不同的图像损失值，设置不同的层级权重系数，使得计算得到的图像损失总值具有更高的精度。
可选地，执行步骤S121以确定图像损失值的具体方式不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，为了使得在确定图像损失值的过程中，所述电子设备10的运算量相对较小，每一级第一子带图像可以包括第一近似子带图像，每一级第二子带图像可以包括第二近似子带图像。
基于此，为了确定每一级第一子带图像和第二子带图像之间的图像损失值，步骤S121可以包括以下子步骤：
首先，可以针对每一级第一近似子带图像和第二近似子带图像，确定该级第一近似子带图像和第二近似子带图像之间的近似损失值。其次，可以针对每一级第一近似子带图像和第二近似子带图像，将该级第一近似子带图像和第二近似子带图像之间的近似损失值，作为对应的第一子带图像和第二子带图像之间的图像损失值。
也就是说，在此示例中，子带图像仅包括近似子带图像，如此，可以直接将近似子带图像之间的近似损失值，作为子带图像之间的图像损失值。
又例如，在另一种可以替代的示例中，为了使得在确定图像损失值的过程中，所述电子设备10的运算量相对较小，且进一步提高训练得到的图像增强模型的细节增强能力，每一级所述第一子带图像可以包括第一细节子带图像，每一级所述第二子带图像可以包括第二细节子带图像。
基于此，为了确定每一级第一子带图像和第二子带图像之间的图像损失值，步骤S121可以包括以下子步骤：
首先，可以针对每一级第一细节子带图像和第二细节子带图像，确定该级第一细节子带图像和第二细节子带图像之间的细节损失值；其次，可以针对每一级第一细节子带图像和第二细节子带图像，将该级第一细节子带图像和第二细节子带图像之间的细节损失值，作为对应的第一子带图像和第二子带图像之间的图像损失值。
也就是说，在此示例中，子带图像仅包括细节子带图像，如此，可以直接将细节子带图像之间的细节损失值，作为子带图像之间的图像损失值。
再例如，在另一种可以替代的示例中，为了充分保证训练得到的图像增强模型具有较高的细节增强能力，每一级所述第一子带图像可以包括第一细节子带图像和第一近似子带图像，每一级所述第二子带图像可以包括第二细节子带图像和第二近似子带图像。
基于此，为了确定每一级第一子带图像和第二子带图像之间的图像损失值，结合图5，步骤S121可以包括步骤S121a、步骤S121b和步骤S121c，具体内容如下所述。
步骤S121a，针对每一级第一细节子带图像和第二细节子带图像，确定该级第一细节子带图像和第二细节子带图像之间的细节损失值。
在本示例中，基于步骤S110得到多级所述第一细节子带图像和多级所述第二细节子带图像之后，可以对每一级的第一细节子带图像和第二细节子带图像之间的细节损失值进行确定，如此，可以得到多级的细节损失值。
步骤S121b，针对每一级第一近似子带图像和第二近似子带图像，确定该级第一近似子带图像和第二近似子带图像之间的近似损失值。
在本示例中，基于步骤S110得到多级所述第一近似子带图像和多级所述第二近似子带图像之后，可以对每一级的第一近似子带图像和第二近似子带图像之间的近似损失值进行确定，如此，可以得到多级的近似损失值。
步骤S121c，针对每一级第一子带图像和第二子带图像，基于该级第一子带图像和第二子带图像之间的细节损失值和近似损失值，得到该级第一子带图像和第二子带图像之间的图像损失值。
在本实施例中，在基于步骤S121a和步骤S121c分别得到多级所述细节损失值和多级所述近似损失值之后，可以基于每一级第一子带图像和第二子带图像之间的细节损失值和近似损失值，得到该级第一子带图像和第二子带图像之间的图像损失值。
例如，可以基于第一级的第一子带图像和第二子带图像之间的细节损失值(即第一级的第一细节子带图像和第二细节子带图像之间的细节损失值)和近似损失值(即第一级的第一近似子带图像和第二近似子带图像之间的细节损失值)，得到第一级子带图像和第二子带图像之间图像损失值。
对于步骤S121a和步骤S121b，可以理解的是，确定所述细节损失值和所述近似损失值的具体方式不受限制，可以根据实际需求进行选择。
例如，在一种可以替代的示例中，可以基于相同的损失函数，分别确定细节子带图像之间的细节损失值和近似子带图像之间的近似损失值。
又例如，在另一种可以替代的示例中，经过本申请的发明人的长期研究，发现细节子带图像之间的差异与近似子带图像之间的差异表征的内容不同，如此，为了使得确定的细节损失值和近似损失值能够更好地反应对应子带图像之间的差异，可以基于不同损失函数，分别确定细节子带图像之间的细节损失值和近似子带图像之间的近似损失值。
也就是说，一方面，执行步骤S121a时，可以针对每一级第一细节子带图像和第二细节子带图像，基于第一损失函数，计算该级第一细节子带图像和第二细节子带图像之间的细节损失值。
另一方面，执行步骤S121b时，可以针对每一级第一近似子带图像和第二近似子带图像，基于不同于所述第一损失函数的第二损失函数，计算该级第一近似子带图像和第二近似子带图像之间的近似损失值。
其中，所述第一损失函数和所述第二损失函数的具体内容，也不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，所述第一损失函数可以为最小绝对偏差损失函数，所述第二损失函数可以为最小平方误差损失函数。
又例如，在另一种可以替代的示例中，经过本申请的发明人的进一步研究，发现由于训练得到的神经网络模型是用于对目标图像的图像细节进行增前处理，且最小平方误差损失函数对于子带图像之间的差异具有更好的捕捉能力，因而，可以将所述第一损失函数配置为最小平方误差损失函数，所述第二损失函数配置为最小绝对偏差损失函数。
也就是说，可以基于以下公式计算细节子带图像之间的细节损失值：
Figure BDA0002604068420000121
可以基于以下公式计算近似子带图像之间的近似损失值：
Figure BDA0002604068420000122
在上述两个公式中，S1为所述细节损失值，S2为所述近似损失值，j1为细节子带图像中的目标像素点，j2为近似子带图像中的目标像素点，n1为细节子带图像中像素点的总数量，n2为近似子带图像中像素点的总数量，Yj1为第一细节子带图像中目标像素点的像素值，Yj2为第一近似子带图像中目标像素点的像素值，f(xj1)为第二细节子带图像中目标像素点的像素值，f(xj2)为第二近似子带图像中目标像素点的像素值。
结合图6，以第一近似子带图像和第二近似子带图像分别包括对应的4个像素点为例进行说明，其中，像素点A1的像素值可以为111、像素点A2的像素值可以为171、像素点A3的像素值可以为98、像素点A4的像素值可以为100，像素点B1的像素值可以为101、像素点B2的像素值可以为151、像素点B3的像素值可以为91、像素点B4的像素值可以为87。
基于此，计算得到的近似损失值S2可以为，(111-101)+(171-151)+(98-91)+(100-87)＝50。
并且，对于步骤S121c可以理解的是，基于细节损失值和近似损失值计算图像损失值的具体方式，也不受限制，可以根据实际需求进行选择。
例如，在一种可以替代的示例中，针对每一级第一子带图像和第二子带图像，可以将该级第一子带图像和第二子带图像之间的细节损失值和近似损失值，直接进行相加，得到的和值可以作为图像损失值。
又例如，在另一种可以替代的示例中，考虑到基于不同的需求，所述细节损失值和所述近似损失值的重要程度会不同，因而，为了满足不同的应用需求，步骤S121c可以包括以下子步骤：
首先，可以针对每一级第一子带图像和第二子带图像之间的细节损失值和近似损失值，分别获得对应的细节权重系数和近似权重系数；其次，可以针对每一级第一子带图像和第二子带图像，基于对应的细节损失值、近似损失、细节权重系数、近似权重系数，加权计算得到该级第一子带图像和第二子带图像之间的图像损失值。
也就是说，针对一级第一子带图像和第二子带图像，可以将对应的细节损失值和细节权重系数进行相乘处理，得到第一乘积，并将对应的近似损失值和近似权重系数进行相乘处理，得到第二乘积；然后，可以将第一乘积和第二乘积进行相加，得到的和值可以作为图像损失值。
其中，考虑到细节损失系数和近似权重系数，是用于表征细节损失值与近似损失值之间的相对重要程度关系，与所属的金字塔层级之间并无直接关系，因而，每一级所述细节损失值对应的细节权重系数可以相同，每一级所述近似损失值对应的近似权重系数也可以相同。
并且，一个细节权重系数与一个近似权重系数的和为1。
而且，对于所述细节损失系数和所述近似损失系数，具体数值的设置，经过本申请的发明人的长期研究，发现，细节损失系数的数值越大，训练得到的图像增强模型的细节增强能力会越强。
例如，若该图像增强模型用于对目标图像进行去噪处理，在需要去噪处理之后，使得目标图像保留更多地图像细节，可以设置一个具有较大数值的细节损失系数。
可选地，执行步骤S122以计算图像损失总值的具体方式也不受限制，也可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，在多级所述图像损失值中，可以针对较为重要的层级设置一个相同的层级权重系数、较为不重要的层级设置另一个相同的层级权重系数。
详细地，在一种具体的应用示例中，若所述金字塔层级为6，如此，可以针对前三层设置一个相同的层级权重系数，针对后三层设置另一个相同的层级权重系数。
又例如，在另一种可以替代的示例中，在多级所述图像损失值中，可以针对最重要的层级设置一个层级权重系数，其它层级设置另一个相同的层级权重系数。
详细地，在一种具体的应用示例中，若所述金字塔层级为6，如此，可以针对第一层设置一个层级权重系数，针对其它5层设置另一个相同的层级权重系数。
再例如，在另一种可以替代的示例中，为了充分保证计算得到的图像损失总值具有较高的精度，使得该图像损失总值能够反映不同金字塔层级之间的重要程度，结合图7，步骤S122可以包括步骤S121a和步骤S122b，具体内容如下所述。
步骤S122a，针对每一级所述图像损失值，获得该级图像损失值对应的层级权重系数。
在本实施例中，在基于步骤S121获得多级所述图像损失值之后，可以获得每一级图像损失值对应的层级权重系数，以得到多级的层级权重系数。
其中，每一级所述图像损失值对应的层级权重系数可以不同。
步骤S122b，基于多级所述层级权重系数和多级所述图像损失值，进行加权求和计算处理，得到图像损失总值。
在本实施例中，在基于步骤S122a获得多级所述层级权重系数之后，可以基于该层级权重系数，对多级所述图像损失值进行加权求和计算处理，以得到对应的图像损失总值。
也就是说，针对每一级图像损失值，可以将该级图像损失值和对应的层级权重系数进行相乘处理，得到对应的乘积，如此，可以得到多个乘积。然后，将该多个乘积进行相加处理，得到的和值可以作为图像损失总值。
在上述示例中，对于步骤S122a，可以理解的是，获得多级不同的层级权重系数的具体方式不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，可以设置多个层级权重系数，且该多个层级权重系数可以随机设置，只要数值不同即可。如此，根据不同层级的图像损失值的重要性，按照各层级权重系数的大小，进行对应分配，如将数值最大的层级权重系数，配置为最重要的图像损失值的权重系数。
又例如，在另一种可以替代的示例中，为了使得图像损失总值能够精确反映不同金字塔层级之间的具体重要程度，即保证层级权重系数的具体数值可以表征对应图像损失值的具体重要程度，且经过本申请的发明人的长期研究，发现，不同金字塔层级的图像损失值的具体重要程度之间具有一定的规律性，可以通过具体的函数关系进行表征，因此，步骤S122a可以包括以下子步骤：
首先，可以针对每一级所述图像损失值，获得该级图像损失值对应的子带图像所属的金字塔层级；其次，可以针对每一级所述图像损失值，基于该级图像损失值对应的金字塔层级和预设的对应函数关系，确定该级图像损失值的层级权重系数。
其中，在所述对应函数关系中，所述层级权重系数随着所述金字塔层级的增加而减小。也就是说，金字塔层级越高，对应的图像损失值的重要程度越低；金字塔层级越低，对应的图像损失值的重要程度越高。
并且，本申请的发明人基于金字塔分解处理过程中，不同金字塔层级之间的图像细节信息的具体损失程度，进行了长期的研究，提供了以下的对应函数关系，以精确表征不同金字塔层级的图像损失值之间的重要程度：
WO＝21-i；
在上述对应函数关系中，WO可以为所述层级权重系数，i可以为所述金字塔层级。也就是说，第一层的层级权重系数可以为1、第二层的层级权重系数可以为0.5、第三层的层级权重系数可以为0.25、......、第六层的层级权重系数可以为0.03125。
第三方面，对于步骤S130需要说明的是，对所述目标神经网络进行参数更新处理(训练)的具体方式也不受限制，可以根据实际需求进行选择。
例如，可以基于现有的神经网络训练方法，结合计算得到的图像损失总值进行训练，在此不再一一赘述。
其中，可以理解的是，执行步骤S130的具体次数不受限制。例如，为了保证最后得到的图像增强模型，可以具有较好的细节增强能力，可以多次执行步骤S130，以进行多次更新处理(如此，相邻两次更新中，基于前一次更新处理得到的图像增强模型可以作为下一次更新处理的更新对象，即目标神经网络)，直到最后得到的图像损失总值减小到预设值(即收敛)。
结合图8，基于与前述的图像模型增强训练方法相同的技术构思，在计算图像损失总值时，针对不同的计算对象采用不同的计算方式，本申请实施例还提供另一种可应用于上述电子设备10的图像增强模型训练方法。其中，该图像增强模型训练方法有关的流程所定义的方法步骤，可以由所述电子设备10实现。下面将对图8所示的具体流程，进行详细阐述。
步骤S210，对第一图像和第二图像分别进行金字塔分解处理，得到第一子带图像和第二子带图像。
在本实施例中，在需要对目标神经网络进行训练(参数更新处理)时，所述电子设备10一方面可以对获得的第一图像进行金字塔分解处理，以得到对应的第一子带图像，另一方面可以对获得的第二图像也进行金字塔分解处理，以得到对应的第二子带图像。
其中，所述第一图像和该第二图像可以基于相同图像内容形成，且可以具有不同的图像细节，并且，所述第一子带图像可以包括第一细节子带图像和第一近似子带图像，所述第二子带图像可以包括第二细节子带图像和第二近似子带图像。
步骤S220，基于第一损失函数，计算所述第一细节子带图像和所述第二细节子带图像之间的细节损失值。
在本实施例中，在基于步骤S210得到所述第一细节子带图像和所述第二细节子带图像之后，所述电子设备10可以基于第一损失函数，计算该第一细节子带图像和该第二细节子带图像之间的细节损失值。
步骤S230，基于第二损失函数，计算所述第一近似子带图像和所述第二近似子带图像之间的近似损失值。
在本实施例中，在基于步骤S210得到所述第一近似子带图像和所述第二近似子带图像之后，所述电子设备10可以基于第二损失函数，计算该第一近似子带图像和该第二近似子带图像之间的细节损失值。
其中，所述第二损失函数可以不同于所述第一损失函数。
步骤S240，基于所述细节损失值和所述近似损失值对目标神经网络进行参数更新处理，得到图像增强模型。
在本实施例中，在基于步骤S220和步骤S230分别得到所述细节损失值和所述近似损失值之后，所述电子设备10可以基于该细节损失值和该近似损失值，对所述目标神经网络进行参数更新处理，以得到图像增强模型。
其中，所述图像增强模型可以用于对目标图像的细节进行增强处理。
基于上述方法，由于所述细节损失值和所述近似损失值表征的内容不同，因而，通过设置不同的第一损失函数和第二损失函数进行计算，使得得到的细节损失值和近似损失值的精度可以更高，从而在基于该细节损失值和近似损失值对目标神经网络进行参数更新处理(即模型训练)时，可以提高对参数更新的高精度约束，进而使得训练得到的图像增强模型具有更高的图像处理能力，即在对目标图像进行细节增强处理时，细节增强的效果更为显著，能够有效提高目标图像的图像质量。
对于步骤S210-步骤S240的具体处理过程，可以参照前文对步骤S110-步骤S130的相关解释说明，在此不再一一赘述。
其中，需要说明的是，在执行步骤S240时，可以先计算所述细节损失值和近似损失值之间的和值，即得到图像损失总值，然后，再基于该图像损失总值对所述目标神经网络进行参数更新处理，以得到图像增强模型。
结合图9，本申请实施例还提供一种可应用于上述电子设备10的图像增强方法。其中，该图像增强方法有关的流程所定义的方法步骤，可以由所述电子设备10实现。下面将对图9所示的具体流程，进行详细阐述。
步骤S310，将获得的目标图像输入至预设的图像增强模型。
在本实施例中，在需要对目标图像进行细节增强处理时，所述电子设备10可以将获得的目标图像输入至预设的图像增强模型。
其中，所述图像增强模型可以基于上述的图像增强模型训练方法(如步骤S110-步骤S130对应的图像增强模型训练方法，或步骤S210-步骤S240对应的图像增强模型训练方法)，训练得到。
步骤S320，通过所述图像增强模型，对所述目标图像的细节进行增强处理。
在本实施例中，在基于步骤S310将所述目标图像输入至所述图像增强模型之后，所述电子设备10可以通过该图像增强模型，对该目标图像的细节进行增强处理。
基于上述方法，由于所述图像增强模型是基于前述的图像增强模型训练方法训练得到，因而，具有较高的细节增强能力，使得可以有效地提高目标图像的图像细节，保证可以得到具有较高图像质量的图像。
详细地，如图10所示，是基于现有的图像增强模型得对目标图像进行细节增强处理之后的图像；如图11所示，是基于本申请实施例提高的图像增强模型对目标图像进行细节增强处理之后的图像。可以较为明显的看出，在头发部分和睫毛部分，后者会具有更多的图像细节(清晰度更高)。
结合图12，本申请实施例还提供一种第一图像增强模型训练装置100，可应用于上述的电子设备10。其中，所述第一图像增强模型训练装置100可以包括第一图像分解模块110、图像损失计算模块120和第一网络更新模块130。
所述第一图像分解模块110，可以用于对第一图像和第二图像分别进行金字塔分解处理，得到多级第一子带图像和多级第二子带图像，其中，该第一图像和该第二图像基于相同图像内容形成，且具有不同的图像细节。在本实施例中，所述第一图像分解模块110可用于执行图2所示的步骤S110，关于所述第一图像分解模块110的相关内容可以参照前文对步骤S110的描述。
所述图像损失计算模块120，用于基于每一级第一子带图像与第二子带图像之间的图像损失值和预设的多个权重系数，计算得到图像损失总值，其中，在所述多个权重系数中至少存在两个不同的权重系数。在本实施例中，所述图像损失计算模块120可用于执行图2所示的步骤S120，关于所述图像损失计算模块120的相关内容可以参照前文对步骤S120的描述。
所述第一网络更新模块130，可以用于基于所述图像损失总值对目标神经网络进行参数更新处理，得到图像增强模型，其中，该图像增强模型用于对目标图像的细节进行增强处理。在本实施例中，所述第一网络更新模块130可用于执行图2所示的步骤S130，关于所述第一网络更新模块130的相关内容可以参照前文对步骤S130的描述。
结合图13，本申请实施例还提供一种第二图像增强模型训练装置200，可应用于上述的电子设备10。其中，所述第二图像增强模型训练装置200可以包括第二图像分解模块210、细节损失计算模块220、近似损失计算模块230和第二网络更新模块240。
所述第二图像分解模块210，可以用于对第一图像和第二图像分别进行金字塔分解处理，得到第一子带图像和第二子带图像，其中，该第一图像和该第二图像基于相同图像内容形成，且具有不同的图像细节，该第一子带图像包括第一细节子带图像和第一近似子带图像，该第二子带图像包括第二细节子带图像和第二近似子带图像。在本实施例中，所述第二图像分解模块210可用于执行图8所示的步骤S210，关于所述第二图像分解模块210的相关内容可以参照前文对步骤S210的描述。
所述细节损失计算模块220，可以用于基于第一损失函数，计算所述第一细节子带图像和所述第二细节子带图像之间的细节损失值。在本实施例中，所述细节损失计算模块220可用于执行图8所示的步骤S220，关于所述细节损失计算模块220的相关内容可以参照前文对步骤S220的描述。
所述近似损失计算模块230，可以用于基于第二损失函数，计算所述第一近似子带图像和所述第二近似子带图像之间的近似损失值，其中，该第二损失函数不同于所述第一损失函数。在本实施例中，所述近似损失计算模块230可用于执行图8所示的步骤S230，关于所述近似损失计算模块230的相关内容可以参照前文对步骤S230的描述。
所述第二网络更新模块240，可以用于基于所述细节损失值和所述近似损失值对目标神经网络进行参数更新处理，得到图像增强模型，其中，该图像增强模型用于对目标图像的细节进行增强处理。在本实施例中，所述第二网络更新模块240可用于执行图8所示的步骤S240，关于所述第二网络更新模块240的相关内容可以参照前文对步骤S240的描述。
结合图14，本申请实施例还提供一种图像增强装置300，可应用于上述的电子设备10。其中，所述图像增强装置300可以包括目标图像输入模块310和目标图像增强模块320。
所述目标图像输入模块310，可以用于将获得的目标图像输入至预设的图像增强模型，其中，该图像增强模型基于上述的图像增强模型训练装置(如上述的第一图像增强模型训练装置100，或第二图像增强模型训练装置200)训练得到。在本实施例中，所述目标图像输入模块310可用于执行图9所示的步骤S310，关于所述目标图像输入模块310的相关内容可以参照前文对步骤S310的描述。
所述目标图像增强模块320，可以用于通过所述图像增强模型，对所述目标图像的细节进行增强处理。在本实施例中，所述目标图像增强模块320可用于执行图9所示的步骤S320，关于所述目标图像增强模块320的相关内容可以参照前文对步骤S320的描述。
在本申请实施例中，对应于上述的图像增强模型训练方法，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序运行时执行上述图像增强模型训练方法的各个步骤。
其中，前述计算机程序运行时执行的各步骤，在此不再一一赘述，可参考前文对所述图像增强模型训练方法的解释说明。
并且，在本申请实施例中，对应于上述的图像增强方法，也提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序运行时执行上述图像增强方法的各个步骤。
其中，前述计算机程序运行时执行的各步骤，在此不再一一赘述，可参考前文对所述图像增强方法的解释说明。
需要说明的是，在上述示例中，多个是指，两个及其以上。
综上所述，本申请提供的模型训练、图像增强方法和装置、电子设备及存储介质，在计算图像损失总值时，针对不同的计算对象采用不同的计算方式(如设置不同的权重系数或不同的损失函数)，可以实现有针对性的图像损失计算，使得计算得到的图像损失总值精确度更高。如此，由于计算得到的图像损失总值具有更高的精确度，使得基于该图像损失总值对目标神经网络进行参数更新处理(即模型训练)时，可以提高对参数更新的高精度约束，从而使得得到的图像增强模型具有更高的图像处理能力，即在对目标图像进行细节增强处理时，细节增强的效果更为显著，能够有效提高目标图像的图像质量，因而，可以改善基于现有的训练技术得到的图像增强模型存在细节增强效果不佳的问题，具有较高的实用价值。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (20)

1.一种图像增强模型训练方法，其特征在于，包括：
对第一图像和第二图像分别进行金字塔分解处理，得到多级第一子带图像和多级第二子带图像，其中，该第一图像和该第二图像基于相同图像内容形成，且具有不同的图像细节；
基于每一级第一子带图像与第二子带图像之间的图像损失值和预设的多个权重系数，计算得到图像损失总值，其中，在所述多个权重系数中至少存在两个不同的权重系数；
基于所述图像损失总值对目标神经网络进行参数更新处理，得到图像增强模型，其中，该图像增强模型用于对目标图像的细节进行增强处理。
2.根据权利要求1所述的图像增强模型训练方法，其特征在于，所述基于每一级第一子带图像与第二子带图像之间的图像损失值和预设的多个权重系数，计算得到图像损失总值的步骤，包括：
针对每一级第一子带图像和第二子带图像，确定该级第一子带图像和第二子带图像之间的图像损失值，得到多级图像损失值；
基于多级所述图像损失值和预设的多级层级权重系数，得到图像损失总值，其中，多级所述层级权重系数中至少存在两级不同的层级权重系数。
3.根据权利要求2所述的图像增强模型训练方法，其特征在于，所述基于多级所述图像损失值和预设的多级层级权重系数，得到图像损失总值的步骤，包括：
针对每一级所述图像损失值，获得该级图像损失值对应的层级权重系数，其中，每一级所述图像损失值对应的层级权重系数不同；
基于多级所述层级权重系数和多级所述图像损失值，进行加权求和计算处理，得到图像损失总值。
4.根据权利要求3所述的图像增强模型训练方法，其特征在于，所述针对每一级所述图像损失值，获得该级图像损失值对应的层级权重系数的步骤，包括：
针对每一级所述图像损失值，获得该级图像损失值对应的子带图像所属的金字塔层级；
针对每一级所述图像损失值，基于该级图像损失值对应的金字塔层级和预设的对应函数关系，确定该级图像损失值的层级权重系数，其中，在该对应函数关系中，所述层级权重系数随着所述金字塔层级的增加而减小。
5.根据权利要求4所述的图像增强模型训练方法，其特征在于，所述对应函数关系，包括：
WO＝21-i；
其中，WO为所述层级权重系数，i为所述金字塔层级。
6.根据权利要求2-5任意一项所述的图像增强模型训练方法，其特征在于，每一级所述第一子带图像包括第一细节子带图像和第一近似子带图像，每一级所述第二子带图像包括第二细节子带图像和第二近似子带图像；
所述针对每一级第一子带图像和第二子带图像，确定该级第一子带图像和第二子带图像之间的图像损失值的步骤，包括：
针对每一级第一细节子带图像和第二细节子带图像，确定该级第一细节子带图像和第二细节子带图像之间的细节损失值，其中，所述第一细节子带图像和所述第二细节子带图像分别基于对所述第一图像和所述第二图像进行拉普拉斯金字塔分解处理得到；
针对每一级第一近似子带图像和第二近似子带图像，确定该级第一近似子带图像和第二近似子带图像之间的近似损失值，其中，所述第一近似子带图像和所述第二近似子带图像分别基于对所述第一图像和所述第二图像进行高斯金字塔分解处理得到；
针对每一级第一子带图像和第二子带图像，基于该级第一子带图像和第二子带图像之间的细节损失值和近似损失值，得到该级第一子带图像和第二子带图像之间的图像损失值。
7.根据权利要求6所述的图像增强模型训练方法，其特征在于，所述针对每一级第一子带图像和第二子带图像，基于该级第一子带图像和第二子带图像之间的细节损失值和近似损失值，得到该级第一子带图像和第二子带图像之间的图像损失值的步骤，包括：
针对每一级第一子带图像和第二子带图像之间的细节损失值和近似损失值，分别获得对应的细节权重系数和近似权重系数；
针对每一级第一子带图像和第二子带图像，基于对应的细节损失值、近似损失、细节权重系数、近似权重系数，加权计算得到该级第一子带图像和第二子带图像之间的图像损失值。
8.根据权利要求7所述的图像增强模型训练方法，其特征在于，每一级所述细节损失值对应的细节权重系数相同，每一级所述近似损失值对应的近似权重系数相同；
其中，一个细节权重系数与一个近似权重系数的和为1。
9.根据权利要求6所述的图像增强模型训练方法，其特征在于，所述针对每一级第一细节子带图像和第二细节子带图像，确定该级第一细节子带图像和第二细节子带图像之间的细节损失值的步骤，包括：
针对每一级第一细节子带图像和第二细节子带图像，基于第一损失函数，计算该级第一细节子带图像和第二细节子带图像之间的细节损失值；
所述针对每一级第一近似子带图像和第二近似子带图像，确定该级第一近似子带图像和第二近似子带图像之间的近似损失值的步骤，包括：
针对每一级第一近似子带图像和第二近似子带图像，基于第二损失函数，计算该级第一近似子带图像和第二近似子带图像之间的近似损失值；
其中，所述第一损失函数不同于所述第二损失函数。
10.根据权利要求9所述的图像增强模型训练方法，其特征在于，所述第一损失函数为最小平方误差损失函数，所述第二损失函数为最小绝对偏差损失函数。
11.根据权利要求2-5任意一项所述的图像增强模型训练方法，其特征在于，每一级所述第一子带图像包括第一细节子带图像，每一级所述第二子带图像包括第二细节子带图像；
所述针对每一级第一子带图像和第二子带图像，确定该级第一子带图像和第二子带图像之间的图像损失值的步骤，包括：
针对每一级第一细节子带图像和第二细节子带图像，确定该级第一细节子带图像和第二细节子带图像之间的细节损失值，其中，所述第一细节子带图像和所述第二细节子带图像分别基于对所述第一图像和所述第二图像进行拉普拉斯金字塔分解处理得到；
针对每一级第一细节子带图像和第二细节子带图像，将该级第一细节子带图像和第二细节子带图像之间的细节损失值，作为对应的第一子带图像和第二子带图像之间的图像损失值。
12.根据权利要求2-5任意一项所述的图像增强模型训练方法，其特征在于，每一级所述第一子带图像包括第一近似子带图像，每一级所述第二子带图像包括第二近似子带图像；
所述针对每一级第一子带图像和第二子带图像，确定该级第一子带图像和第二子带图像之间的图像损失值的步骤，包括：
针对每一级第一近似子带图像和第二近似子带图像，确定该级第一近似子带图像和第二近似子带图像之间的近似损失值，其中，所述第一近似子带图像和所述第二近似子带图像分别基于对所述第一图像和所述第二图像进行高斯金字塔分解处理得到；
针对每一级第一近似子带图像和第二近似子带图像，将该级第一近似子带图像和第二近似子带图像之间的近似损失值，作为对应的第一子带图像和第二子带图像之间的图像损失值。
13.根据权利要求1-5任意一项所述的图像增强模型训练方法，其特征在于，所述对第一图像和第二图像分别进行金字塔分解处理，得到多级第一子带图像和多级第二子带图像的步骤，包括：
对第一图像进行细节减弱处理，得到训练图像；
基于目标神经网络对所述训练图像进行细节增强处理得到第二图像；
对所述第一图像进行金字塔分解处理得到多级第一子带图像，对所述第二图像进行金字塔分解处理得到多级第二子带图像。
14.一种图像增强模型训练方法，其特征在于，包括：
对第一图像和第二图像分别进行金字塔分解处理，得到第一子带图像和第二子带图像，其中，该第一图像和该第二图像基于相同图像内容形成，且具有不同的图像细节，该第一子带图像包括第一细节子带图像和第一近似子带图像，该第二子带图像包括第二细节子带图像和第二近似子带图像；
基于第一损失函数，计算所述第一细节子带图像和所述第二细节子带图像之间的细节损失值；
基于第二损失函数，计算所述第一近似子带图像和所述第二近似子带图像之间的近似损失值，其中，该第二损失函数不同于所述第一损失函数；
基于所述细节损失值和所述近似损失值对目标神经网络进行参数更新处理，得到图像增强模型，其中，该图像增强模型用于对目标图像的细节进行增强处理。
15.一种图像增强方法，其特征在于，包括：
将获得的目标图像输入至预设的图像增强模型，其中，该图像增强模型基于权利要求1-14任意一项所述的图像增强模型训练方法训练得到；
通过所述图像增强模型，对所述目标图像的细节进行增强处理。
16.一种图像增强模型训练装置，其特征在于，包括：
第一图像分解模块，用于对第一图像和第二图像分别进行金字塔分解处理，得到多级第一子带图像和多级第二子带图像，其中，该第一图像和该第二图像基于相同图像内容形成，且具有不同的图像细节；
图像损失计算模块，用于基于每一级第一子带图像与第二子带图像之间的图像损失值和预设的多个权重系数，计算得到图像损失总值，其中，在所述多个权重系数中至少存在两个不同的权重系数；
第一网络更新模块，用于基于所述图像损失总值对目标神经网络进行参数更新处理，得到图像增强模型，其中，该图像增强模型用于对目标图像的细节进行增强处理。
17.一种图像增强模型训练装置，其特征在于，包括：
第二图像分解模块，用于对第一图像和第二图像分别进行金字塔分解处理，得到第一子带图像和第二子带图像，其中，该第一图像和该第二图像基于相同图像内容形成，且具有不同的图像细节，该第一子带图像包括第一细节子带图像和第一近似子带图像，该第二子带图像包括第二细节子带图像和第二近似子带图像；
细节损失计算模块，用于基于第一损失函数，计算所述第一细节子带图像和所述第二细节子带图像之间的细节损失值；
近似损失计算模块，用于基于第二损失函数，计算所述第一近似子带图像和所述第二近似子带图像之间的近似损失值，其中，该第二损失函数不同于所述第一损失函数；
第二网络更新模块，用于基于所述细节损失值和所述近似损失值对目标神经网络进行参数更新处理，得到图像增强模型，其中，该图像增强模型用于对目标图像的细节进行增强处理。
18.一种图像增强装置，其特征在于，包括：
目标图像输入模块，用于将获得的目标图像输入至预设的图像增强模型，其中，该图像增强模型基于权利要求16或17所述的图像增强模型训练装置训练得到；
目标图像增强模块，用于通过所述图像增强模型，对所述目标图像的细节进行增强处理。
19.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
与所述存储器连接的处理器，用于执行该存储器存储的计算机程序，以实现权利要求1-14任意一项所述的图像增强模型训练方法，或者，实现权利要求15所述的图像增强方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被执行时，实现权利要求1-14任意一项所述的图像增强模型训练方法，或者，实现权利要求15所述的图像增强方法。
CN202010733232.3A 2020-07-27 2020-07-27 模型训练、图像增强方法和装置、电子设备及存储介质 Pending CN111861931A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010733232.3A CN111861931A (zh) 2020-07-27 2020-07-27 模型训练、图像增强方法和装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010733232.3A CN111861931A (zh) 2020-07-27 2020-07-27 模型训练、图像增强方法和装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111861931A true CN111861931A (zh) 2020-10-30

Family

ID=72948850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010733232.3A Pending CN111861931A (zh) 2020-07-27 2020-07-27 模型训练、图像增强方法和装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111861931A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767294A (zh) * 2021-01-14 2021-05-07 Oppo广东移动通信有限公司 深度图像的增强方法、装置、电子设备以及存储介质
CN112866505A (zh) * 2021-01-18 2021-05-28 北京小米松果电子有限公司 图像处理方法、装置及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767294A (zh) * 2021-01-14 2021-05-07 Oppo广东移动通信有限公司 深度图像的增强方法、装置、电子设备以及存储介质
CN112767294B (zh) * 2021-01-14 2024-04-26 Oppo广东移动通信有限公司 深度图像的增强方法、装置、电子设备以及存储介质
CN112866505A (zh) * 2021-01-18 2021-05-28 北京小米松果电子有限公司 图像处理方法、装置及存储介质
CN112866505B (zh) * 2021-01-18 2023-04-25 北京小米松果电子有限公司 图像处理方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN109101975B (zh) 基于全卷积神经网络的图像语义分割方法
KR101871098B1 (ko) 이미지 처리 방법 및 장치
Li et al. Fast guided global interpolation for depth and motion
JP6656111B2 (ja) 画像のノイズを除去する方法及びシステム
CN112132959B (zh) 数字岩心图像处理方法、装置、计算机设备及存储介质
CN111861931A (zh) 模型训练、图像增强方法和装置、电子设备及存储介质
CN110852973A (zh) 一种脉冲噪声模糊图像非线性复原方法及系统
CN112489063A (zh) 图像分割方法、图像分割模型的训练方法和装置
CN114169508A (zh) 一种神经网络系统中数据处理的方法及系统
CN111325671B (zh) 网络训练方法、装置、图像处理方法及电子设备
CN110782398B (zh) 图像处理方法、生成式对抗网络系统和电子设备
CN114241388A (zh) 基于时空记忆信息的视频实例分割方法和分割装置
JP7294275B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
CN115619678B (zh) 一种图像变形的矫正方法、装置、计算机设备及存储介质
CN112270343A (zh) 一种图像分类方法、装置及相关组件
CN117274072A (zh) 一种基于二维多模态范围图像的点云去噪方法及装置
CN115358952A (zh) 一种基于元学习的图像增强方法、系统、设备和存储介质
CN114494065A (zh) 图像去模糊方法、装置、设备及可读存储介质
CN113160103B (zh) 图像处理方法及装置、存储介质、终端
CN112767264B (zh) 基于图卷积神经网络的图像去模糊方法与系统
WO2020241074A1 (ja) 情報処理方法及びプログラム
Dang et al. A Bayesian non parametric approach to learn dictionaries with adapted numbers of atoms
JP6950647B2 (ja) データ判定装置、方法、及びプログラム
Yousaf et al. Closed-loop restoration approach to blurry images based on machine learning and feedback optimization
CN116309086A (zh) 图像降噪方法、终端设备以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination