CN112991223A - 基于可逆神经网络的图像增强方法、装置、设备及介质 - Google Patents

基于可逆神经网络的图像增强方法、装置、设备及介质 Download PDF

Info

Publication number
CN112991223A
CN112991223A CN202110371064.2A CN202110371064A CN112991223A CN 112991223 A CN112991223 A CN 112991223A CN 202110371064 A CN202110371064 A CN 202110371064A CN 112991223 A CN112991223 A CN 112991223A
Authority
CN
China
Prior art keywords
image
neural network
reversible neural
enhancement
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110371064.2A
Other languages
English (en)
Inventor
贺永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Prism Space Intelligent Technology Co Ltd
Original Assignee
Shenzhen Prism Space Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Prism Space Intelligent Technology Co Ltd filed Critical Shenzhen Prism Space Intelligent Technology Co Ltd
Priority to CN202110371064.2A priority Critical patent/CN112991223A/zh
Publication of CN112991223A publication Critical patent/CN112991223A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于可逆神经网络的图像增强方法、装置、设备及介质，获取初始图像，基于所述初始图像构建样本数据集，所述样本数据集包含初始图像、增强图像与噪声图像，所述初始图像与所述增强图像之间的差为增强信息；基于所述样本数据集对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络；根据所述目标可逆神经网络所学习的所述映射关系对待处理图像进行处理，生成增强图像。本发明通过预设可逆神经网络学习初始图像、噪声图像与增强信息之间的映射关系，再由学习得到的目标可逆神经网络对待处理图像进行图像增强，有效提高当前图像增强的可用性。

Description

基于可逆神经网络的图像增强方法、装置、设备及介质
技术领域
本发明涉及处理技术领域，尤其涉及一种基于可逆神经网络的图像增强方法、装置、设备及介质。
背景技术
图像增强是增强图像中的有用信息，改善图像的视觉效果。传统的图像增强方法主要是人为设计一些滤波器对图像进滤波来提升图像的质量，其中最为典型的是双边滤波器和引导滤波。前者根据图像的边缘强弱决定滤波的程度进而实现去噪保边的功能；后者利用引导图像指明边缘的位置实现保边滤波的功能。人工设计滤波器需要非常丰富的经验，而且只能针对特定的场景有效果。其次，现有基于深度学习的图像增强方法，直接学习原始图像(低质图像)到增强图像(高质图像)的映射关系，其本质是对数据的拟合，并没有真正挖掘出低质图像到高质图像的变化关系，导致当前图像增强的可用性较低。
发明内容
本发明的主要目的在于提供一种基于可逆神经网络的图像增强方法、装置、设备及介质，旨在解决当前图像增强的可用性较低的技术问题。
为实现上述目的，本发明实施例提供一种基于可逆神经网络的图像增强方法，所述基于可逆神经网络的图像增强方法包括：
获取初始图像，基于所述初始图像构建样本数据集，所述样本数据集包含初始图像、增强图像与噪声图像，所述初始图像与所述增强图像之间的差为增强信息；
基于所述样本数据集对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络；
根据所述目标可逆神经网络所学习的所述映射关系对待处理图像进行处理，生成增强图像。
优选地，所述基于所述样本数据集对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络的步骤包括：
根据所述样本数据集中的初始图像与增强图像计算增强信息；
基于所述初始图像与所述增强信息对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络。
优选地，所述基于所述初始图像与所述增强信息对预设可逆神经网络进行训练的步骤还包括：
对预设可逆神经网络的损失函数进行优化，以求解所述预设可逆神经网络的网络参数。
优选地，所述根据所述目标可逆神经网络所学习的所述映射关系对待处理图像进行处理，生成增强图像的步骤包括：
获取服从高斯分布的目标噪声图像；
获取待处理图像，将所述待处理图像及所述目标噪声图像输入所述目标可逆神经网络；
基于所述目标可逆神经网络中学习的所述映射关系对所述待处理图像及所述目标噪声图像进行处理，生成增强图像。
优选地，所述基于所述目标可逆神经网络中学习的所述映射关系对所述待处理图像及所述目标噪声图像进行处理，生成增强图像的步骤包括：
基于所述目标可逆神经网络中学习的所述映射关系对所述待处理图像及所述目标噪声图像进行处理，生成由增强信息形成的残差图像；
根据所述残差图像与所述待处理图像生成增强图像。
优选地，所述基于所述初始图像构建样本数据集的步骤包括：
计算所述初始图像的平均图像，将所述平均图像确定为增强图像；
获取服从高斯分布的噪声图像；
根据所述初始图像、所述增强图像与所述噪声图像构建样本数据集。
优选地，所述预设可逆神经网络基于预设可逆函数构建。
为实现上述目的，本发明还提供一种基于可逆神经网络的图像增强装置，所述基于可逆神经网络的图像增强装置包括：
构建模块，用于获取初始图像，基于所述初始图像构建样本数据集，所述样本数据集包含初始图像、增强图像与噪声图像，所述初始图像与所述增强图像之间的差为增强信息；
训练模块，用于基于所述样本数据集对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络；
生成模块，用于根据所述目标可逆神经网络所学习的所述映射关系对待处理图像进行处理，生成增强图像。
进一步地，为实现上述目的，本发明还提供一种基于可逆神经网络的图像增强设备，所述基于可逆神经网络的图像增强设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于可逆神经网络的图像增强程序，所述基于可逆神经网络的图像增强程序被所述处理器执行时实现上述的基于可逆神经网络的图像增强方法的步骤。
进一步地，为实现上述目的，本发明还提供一种介质，所述介质上存储有基于可逆神经网络的图像增强程序，所述基于可逆神经网络的图像增强程序被处理器执行时实现上述的基于可逆神经网络的图像增强方法的步骤。
本发明实施例提供一种基于可逆神经网络的图像增强方法、装置、设备及介质，获取初始图像，基于所述初始图像构建样本数据集，所述样本数据集包含初始图像、增强图像与噪声图像，所述初始图像与所述增强图像之间的差为增强信息；基于所述样本数据集对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络；根据所述目标可逆神经网络所学习的所述映射关系对待处理图像进行处理，生成增强图像。本发明通过预设可逆神经网络学习初始图像、噪声图像与增强信息之间的映射关系，再由学习得到的目标可逆神经网络对待处理图像进行图像增强，有效提高当前图像增强的可用性。
附图说明
图1为本发明基于可逆神经网络的图像增强方法实施例方案涉及的硬件运行环境的结构示意图；
图2为本发明基于可逆神经网络的图像增强方法第一实施例的流程示意图；
图3为本发明基于可逆神经网络的图像增强方法第二实施例的流程示意图；
图4为本发明基于可逆神经网络的图像增强装置较佳实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种基于可逆神经网络的图像增强方法、装置、设备及介质，获取初始图像，基于所述初始图像构建样本数据集，所述样本数据集包含初始图像、增强图像与噪声图像，所述初始图像与所述增强图像之间的差为增强信息；基于所述样本数据集对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络；根据所述目标可逆神经网络所学习的所述映射关系对待处理图像进行处理，生成增强图像。本发明通过预设可逆神经网络学习初始图像、噪声图像与增强信息之间的映射关系，再由学习得到的目标可逆神经网络对待处理图像进行图像增强，有效提高当前图像增强的可用性。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的基于可逆神经网络的图像增强设备结构示意图。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
本发明实施例基于可逆神经网络的图像增强设备可以是PC，也可以是平板电脑、便携计算机等可移动式终端设备。
如图1所示，该基于可逆神经网络的图像增强设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的基于可逆神经网络的图像增强设备结构并不构成对基于可逆神经网络的图像增强设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于可逆神经网络的图像增强程序。
在图1所示的设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的基于可逆神经网络的图像增强程序，并执行以下操作：
获取初始图像，基于所述初始图像构建样本数据集，所述样本数据集包含初始图像、增强图像与噪声图像，所述初始图像与所述增强图像之间的差为增强信息；
基于所述样本数据集对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络；
根据所述目标可逆神经网络所学习的所述映射关系对待处理图像进行处理，生成增强图像。
进一步地，所述基于所述样本数据集对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络的步骤包括：
根据所述样本数据集中的初始图像与增强图像计算增强信息；
基于所述初始图像与所述增强信息对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络。
进一步地，所述基于所述初始图像与所述增强信息对预设可逆神经网络进行训练的步骤还包括：
对预设可逆神经网络的损失函数进行优化，以求解所述预设可逆神经网络的网络参数。
进一步地，所述根据所述目标可逆神经网络所学习的所述映射关系对待处理图像进行处理，生成增强图像的步骤包括：
获取服从高斯分布的目标噪声图像；
获取待处理图像，将所述待处理图像及所述目标噪声图像输入所述目标可逆神经网络；
基于所述目标可逆神经网络中学习的所述映射关系对所述待处理图像及所述目标噪声图像进行处理，生成增强图像。
进一步地，所述基于所述目标可逆神经网络中学习的所述映射关系对所述待处理图像及所述目标噪声图像进行处理，生成增强图像的步骤包括：
基于所述目标可逆神经网络中学习的所述映射关系对所述待处理图像及所述目标噪声图像进行处理，生成由增强信息形成的残差图像；
根据所述残差图像与所述待处理图像生成增强图像。
进一步地，所述基于所述初始图像构建样本数据集的步骤包括：
计算所述初始图像的平均图像，将所述平均图像确定为增强图像；
获取服从高斯分布的噪声图像；
根据所述初始图像、所述增强图像与所述噪声图像构建样本数据集。
进一步地，所述预设可逆神经网络基于预设可逆函数构建。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
参照图2，本发明第一实施例提供一种基于可逆神经网络的图像增强方法的流程示意图。该实施例中，所述基于可逆神经网络的图像增强方法包括以下步骤：
步骤S10，获取初始图像，基于所述初始图像构建样本数据集，所述样本数据集包含初始图像、增强图像与噪声图像，所述初始图像与所述增强图像之间的差为增强信息；
本实施例中基于可逆神经网络的图像增强方法应用于基于可逆神经网络的图像增强系统，为方便描述，后续将基于可逆神经网络的图像增强系统简称为系统。系统中可以包含有相机，用于对不同的场景采集图像，用户可以针对不同的静止场景架设相机来进行图像采集。进一步地，当接收到用户发送的图像采集指令时，系统控制相机对当前场景进行图像采集，假设某个场景共采集n幅图像(10<＝n<＝30)，n幅图像分别记为O1，O2，...，On，通过控制多个相机对多个场景进行图像采集，并且通过对相机的固定保证每个场景采集的图像没有发生平移，其中每一场景可以采集一定数量的图像，本实施例中可以为采集10-30幅图像，在每一场景完成图像采集后得到一组初始图像，完成多个场景的图像采集后得到多组初始图像，可以通过多组初始图像同时对初始可逆神经网络进行训练，本实施例后续可以其中一组初始图像对初始可逆神经网络进行训练的过程进行举例。
在获取到多个场景分别对应的多组初始图像后，系统先分别对每一组初始图像生成增强图像，同时获取服从高斯分布的噪声图像，再由多组初始图像、与多组初始图像分别对应的增强图像，以及获取的噪声图像共同构建样本数据集，其中初始图像与增强图像之间在整体内容上基本相同，但在细节部分存在差异，而初始图像与增强图像之间的差为初始图像与增强图像之间的增强信息，该增强信息服从某种概率分布，噪声图像为与增强图像具有相同大小的图像。
进一步地，所述基于所述初始图像构建样本数据集的步骤包括：
步骤S11，计算所述初始图像的平均图像，将所述平均图像确定为增强图像；
步骤S12，获取服从高斯分布的噪声图像；
步骤S13，根据所述初始图像、所述增强图像与所述噪声图像构建样本数据集。
在获取到初始图像后，由于通常相机成像的噪声或干扰等服从某种分布且其期望为0，故采用多个初始图像的平均图像E作为增强图像；具体地，针对多组初始图像，分别计算出每一组初始图像的平均图像，得到各组初始图像分别对应的增强图像，具体地，通过如下公式计算每一组初始图像中多个初始图像的平均图像：
Figure BDA0003008033310000081
其中，Oi为第i幅初始图像，i＝1，2，3，...，n；n为当前场景采集的初始图像数目(10<＝n<＝30)；E为平均图像(即增强图像)。
进一步地，系统将每一初始图像以及与该初始图像对应的增强图像形成一组图像对，得到多组图像对(O1，E)，(O2，E)，…，(On，E)；同时通过高斯分布采样获取服从高斯分布的噪声图像；进一步地，系统通过多组图像对以及噪声图像共同构建出用于对预设可逆神经网络进行训练的样本数据集。
可以理解地，本实施例只是给出了一种获取增强图像的方法，实际上通过其它途径获得的增强图像同样适应于本申请基于可逆神经网络的图像增强方法。
步骤S20，基于所述样本数据集对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络；
进一步地，系统先通过样本数据集中图像对的初始图像与增强图像计算出初始图像与增强图像之间增强信息，具体地，计算每一初始图像与增强图像之间的增强信息，得到多个增强信息，再通过多个初始图像及与多个初始图像分别对应的增强信息对预设可逆神经网络进行训练，以使预设可逆神经网络对样本数据集中的初始图像、噪声图像等信息与增强信息之间的映射关系进行学习，其中预设可逆神经网络基于预设可逆函数构建。预设可逆神经网络需要将输入分成两部分：
Figure BDA0003008033310000091
和
Figure BDA0003008033310000092
假设输入的图像对为(Oi，Ei)，对应的残差图像(增强信息)为Ri＝Oi-Ei，则有：
Figure BDA0003008033310000093
Figure BDA0003008033310000094
其中，Oi为第i幅初始图像，Ri为第i幅初始图像对应的残差图像(增强信息)，Ei为增强图像，一组初始图像中的多个初始图像对应一个增强图像。
由于我们只学习残差图像(即增强信息)所服从的概率分布，故预设可逆神经网络输出的第一部分为初始图像，第二部分为噪声图像(服从高斯分布)。实际上，可以使用任意可逆神经网络进行操作，这里我们提出一种常用的预设可逆函数来构建网络，预设可逆函数如下所示：
Figure BDA0003008033310000095
Figure BDA0003008033310000096
其中，ψ(.)，φ(.)，ρ(.)，η(.)均为输入与输出维数相同的任意形式的函数。
预设可逆函数的逆函数如下所示：
Figure BDA0003008033310000097
Figure BDA0003008033310000098
可以理解地，上述的一组可逆函数可以构成一个InvBlock(可逆神经网络块)，而预设可逆神经网络由多个InvBlock构成。
由预设可逆函数构建的预设可逆神经网络的函数如下所示：
fθ(O，R)＝[Y，Z]
其中，O表示输入的初始图像，R表示输入的残差图像(即增强信息)，Y表示输出的初始图像，Z表示输出的噪声数据(即噪声图像)，θ为函数的参数。为了方便描述，对应项记为：
Figure BDA0003008033310000101
Figure BDA0003008033310000102
相应的逆函数记为
Figure BDA0003008033310000103
Figure BDA0003008033310000104
其中，O表示输入的初始图像，R表示输入的残差图像(即增强信息)，Y表示输出的初始图像，Z表示输出的噪声数据(即噪声图像)，θ为函数的参数。
为了方便描述，对应项记为：
Figure BDA0003008033310000105
Figure BDA0003008033310000106
在训练完成后即得到学习了样本数据集中的初始图像、噪声图像等信息与增强信息之间映射关系的目标可逆神经网络，可以理解地，目标可逆神经网络即为当前最优的可逆神经网络，便于后续根据目标可逆神经网络所学习的映射关系生成待处理图像的增强图像，以提高当前图像增强的可用性，其中待处理图像为需要进行图像增强的图像。目标可逆神经网络的函数如下所示：
Figure BDA0003008033310000111
其中，E’为增强图像，O’为待处理图像，Z’为服从高斯分布的目标噪声图像。
步骤S30，根据所述目标可逆神经网络所学习的所述映射关系对待处理图像进行处理，生成增强图像。
在训练得到当前最优的目标可逆神经网络后，系统先获取待处理图像，同时获取目标噪声图像，再通过目标可逆神经网络中学习得到的初始图像、噪声图像与增强信息之间的映射关系，对待处理图像及目标噪声图像进行处理，通过逆向处理得到由增强信息形成的残差图像，再根据待处理图像与残差图像生成增强图像，有效提高当前图像增强的可用性。
进一步地，所述根据所述目标可逆神经网络所学习的所述映射关系对待处理图像进行处理，生成增强图像的步骤包括：
步骤S31，获取服从高斯分布的目标噪声图像；
步骤S32，获取待处理图像，将所述待处理图像及所述目标噪声图像输入所述目标可逆神经网络；
步骤S33，基于所述目标可逆神经网络中学习的所述映射关系对所述待处理图像及所述目标噪声图像进行处理，生成增强图像。
进一步地，系统获取待处理图像，具体获取方式可以为通过架设的相机获取，也可以通过内部存储器读取，还可以通过网络获取。在获取到待处理图像后，系统通过高斯分布采样生成服从高斯分布的目标噪声图像，再将待处理图像及目标噪声图像一同输入至训练得到的目标可逆神经网络中，由目标可逆神经网络运用其学习的初始图像、噪声图像与所述增强信息之间的映射关系将待处理图像及目标噪声图像生成增强图像，提高图像增强的可用性。
进一步地，所述基于所述目标可逆神经网络中学习的所述映射关系对所述待处理图像及所述目标噪声图像进行处理，生成增强图像的步骤包括：
步骤S331，基于所述目标可逆神经网络中学习的所述映射关系对所述待处理图像及所述目标噪声图像进行处理，生成由增强信息形成的残差图像；
步骤S332，根据所述残差图像与所述待处理图像生成增强图像。
进一步地，由于在训练时已经学习了初始图像、噪声图像与增强信息之间的映射关系，系统通过目标可逆神经网络对待处理图像及目标噪声图像进行处理，具体地，通过学习得到的初始图像、噪声图像与增强信息之间的映射关系，由待处理图像及目标噪声图像逆向计算出增强信息，生成由增强信息形成的残差图像。进一步地，系统将待处理图像与残差图像进行加和运算，具体地，将待处理图像与残差图像相加，得到待处理图像的增强图像。
本实施例提供一种基于可逆神经网络的图像增强方法、装置、设备及介质，获取初始图像，基于所述初始图像构建样本数据集，所述样本数据集包含初始图像、增强图像与噪声图像，所述初始图像与所述增强图像之间的差为增强信息；基于所述样本数据集对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络；根据所述目标可逆神经网络所学习的所述映射关系对待处理图像进行处理，生成增强图像。本发明通过预设可逆神经网络学习初始图像、噪声图像与增强信息之间的映射关系，再由学习得到的目标可逆神经网络对待处理图像进行图像增强，有效提高当前图像增强的可用性。
进一步地，参照图3，基于本发明基于可逆神经网络的图像增强方法的第一实施例，提出本发明基于可逆神经网络的图像增强方法的第二实施例，在第二实施例中，所述基于所述样本数据集对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络的步骤包括：
步骤S21，根据所述样本数据集中的初始图像与增强图像计算增强信息；
步骤S22，基于所述初始图像与所述增强信息对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络。
可以理解地，初始图像与增强图像之间在整体内容上基本相同，在细节部分存在差异，使得初始图像和增强图像之间的关系为：
Figure BDA0003008033310000121
其中，O表示输入的初始图像，R表示输入的残差图像(即增强信息)，E表示增强图像。
可以理解地，残差图像描述了对初始图像进行增强的细节部分，通常信息量很少且服从某种未知的分布，该分布与输入的初始图像有一定的相关性，因此我们利用可逆神经网络来学习这种分布进而实现对相机成像图像的增强。
进一步地，系统提取样本数据集中的所有初始图像，分别将每一初始图像和与其对应的增强图像进行差值运算，计算每一初始图像与其增强图像之间的增强信息，在运算完成后得到多个增强信息，可以理解地，每一场景采集的初始图像均具有对应的增强图像，每一场景对应的增强图像与其他场景的增强图像可能相同也可能不同。进一步地，系统将多个初始图像及与多个初始图像分别对应的多个增强信息输入至预设可逆神经网络中，通过多个初始图像及与多个初始图像分别对应的多个增强信息对预设可逆神经网络进行训练，以学习样本数据集中初始图像、噪声图像与增强信息之间的映射关系，其中一个初始图像及其对应的增强信息可以作为一组训练数据，因此多个初始图像以及与多个初始图像分别对应的多个增强信息可以组成多组训练数据。在通过多组训练数据完成对预设可逆神经网络的训练后，得到学习了样本数据集中的初始图像、噪声图像等信息与增强信息之间映射关系的目标可逆神经网络，便于后续根据目标可逆神经网络所学习的映射关系生成待处理图像的增强图像，以提高当前图像增强的可用性。
进一步地，所述基于所述初始图像与所述增强信息对预设可逆神经网络进行训练的步骤还包括：
步骤S221，对预设可逆神经网络的损失函数进行优化，以求解所述预设可逆神经网络的网络参数。
进一步地，预设可逆神经网络的损失函数L如下所示的三部分组成：
L＝λ1L1+λ2L2+λ3L3
其中，λ1，λ2，λ3为人为设定的大于0的比例权重，L1、L2、L3分别如下所示：
Figure BDA0003008033310000141
Figure BDA0003008033310000142
Figure BDA0003008033310000143
其中，O表示输入的初始图像，R表示输入的残差图像(即增强信息)，E表示增强图像，Z表示噪声图像，Zi为第i幅初始图像对应的噪声图像，Oi为第i幅初始图像，Ri为第i幅初始图像对应的残差图像(增强信息)；i＝1，2，3，...，N；q(r)为给定的残差分布；
整个网络的目的在于学习残差图像的分布，初始图像不在学习范围内，故第一项表示生成的图像要与初始图像尽可能地相同；第二项要求重构出的增强图像要与原始的增强图像尽可能的相似；Zi由高斯分布采样生成；第三项要求在给定的残差分布q(r)生成的残差样本R，产生的数据
Figure BDA0003008033310000144
服从高斯分布p(z)的概率尽可能的大。整个网络通过不断迭代优化使得损失函数L最小来求解网络参数θ，使得生成的目标可逆神经网络的网络参数达到最优，进一步使得通过目标可逆神经网络处理得到的增强图像可用性更高。
本实施例通过预设可逆神经网络学习初始图像、噪声图像与增强信息之间的映射关系，以便于后续根据学习得到的目标可逆神经网络对待处理图像进行图像增强，有效提高当前图像增强的可用性。
进一步地，本发明还提供一种基于可逆神经网络的图像增强装置。
参照图4，图4为本发明基于可逆神经网络的图像增强装置第一实施例的功能模块示意图。
所述基于可逆神经网络的图像增强装置包括：
构建模块10，用于获取初始图像，基于所述初始图像构建样本数据集，所述样本数据集包含初始图像、增强图像与噪声图像，所述初始图像与所述增强图像之间的差为增强信息；
训练模块20，用于基于所述样本数据集对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络；
生成模块30，用于根据所述目标可逆神经网络所学习的所述映射关系对待处理图像进行处理，生成增强图像。
进一步地，所述构建模块10包括：
第一计算单元，用于计算所述初始图像的平均图像，将所述平均图像确定为增强图像；
第一获取单元，用于获取服从高斯分布的噪声图像；
构建单元，用于根据所述初始图像、所述增强图像与所述噪声图像构建样本数据集。
进一步地，所述训练模块20包括：
第二计算单元，用于根据所述样本数据集中的初始图像与增强图像计算增强信息；
训练单元，用于基于所述初始图像与所述增强信息对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络。
进一步地，所述训练模块20还包括：
优化单元，用于对预设可逆神经网络的损失函数进行优化，以求解所述预设可逆神经网络的网络参数。
进一步地，所述生成模块30包括：
第二获取单元，用于获取服从高斯分布的目标噪声图像；
输入单元，用于获取待处理图像，将所述待处理图像及所述目标噪声图像输入所述目标可逆神经网络；
第一生成单元，用于基于所述目标可逆神经网络中学习的所述映射关系对所述待处理图像及所述目标噪声图像进行处理，生成增强图像。
进一步地，所述生成模块30还包括：
第二生成单元，用于基于所述目标可逆神经网络中学习的所述映射关系对所述待处理图像及所述目标噪声图像进行处理，生成由增强信息形成的残差图像；
第三生成单元，用于根据所述残差图像与所述待处理图像生成增强图像。
此外，本发明还提供一种介质，所述介质优选为计算机可读存储介质，其上存储有基于可逆神经网络的图像增强程序，所述基于可逆神经网络的图像增强程序被处理器执行时实现上述基于可逆神经网络的图像增强方法各实施例的步骤。
在本发明基于可逆神经网络的图像增强装置和计算机可读介质的实施例中，包含了上述基于可逆神经网络的图像增强方法各实施例的全部技术特征，说明和解释内容与上述基于可逆神经网络的图像增强方法各实施例基本相同，在此不做赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是固定终端，如物联网智能设备，包括智能空调、智能电灯、智能电源、智能路由器等智能家居；也可以是移动终端，包括智能手机、可穿戴的联网AR/VR装置、智能音箱、自动驾驶汽车等诸多联网设备)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于可逆神经网络的图像增强方法，其特征在于，所述基于可逆神经网络的图像增强方法包括：
获取初始图像，基于所述初始图像构建样本数据集，所述样本数据集包含初始图像、增强图像与噪声图像，所述初始图像与所述增强图像之间的差为增强信息；
基于所述样本数据集对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络；
根据所述目标可逆神经网络所学习的所述映射关系对待处理图像进行处理，生成增强图像。
2.如权利要求1所述的基于可逆神经网络的图像增强方法，其特征在于，所述基于所述样本数据集对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络的步骤包括：
根据所述样本数据集中的初始图像与增强图像计算增强信息；
基于所述初始图像与所述增强信息对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络。
3.如权利要求2所述的基于可逆神经网络的图像增强方法，其特征在于，所述基于所述初始图像与所述增强信息对预设可逆神经网络进行训练的步骤还包括：
对预设可逆神经网络的损失函数进行优化，以求解所述预设可逆神经网络的网络参数。
4.如权利要求1所述的基于可逆神经网络的图像增强方法，其特征在于，所述根据所述目标可逆神经网络所学习的所述映射关系对待处理图像进行处理，生成增强图像的步骤包括：
获取服从高斯分布的目标噪声图像；
获取待处理图像，将所述待处理图像及所述目标噪声图像输入所述目标可逆神经网络；
基于所述目标可逆神经网络中学习的所述映射关系对所述待处理图像及所述目标噪声图像进行处理，生成增强图像。
5.如权利要求4所述的基于可逆神经网络的图像增强方法，其特征在于，所述基于所述目标可逆神经网络中学习的所述映射关系对所述待处理图像及所述目标噪声图像进行处理，生成增强图像的步骤包括：
基于所述目标可逆神经网络中学习的所述映射关系对所述待处理图像及所述目标噪声图像进行处理，生成由增强信息形成的残差图像；
根据所述残差图像与所述待处理图像生成增强图像。
6.如权利要求1所述的基于可逆神经网络的图像增强方法，其特征在于，所述基于所述初始图像构建样本数据集的步骤包括：
计算所述初始图像的平均图像，将所述平均图像确定为增强图像；
获取服从高斯分布的噪声图像；
根据所述初始图像、所述增强图像与所述噪声图像构建样本数据集。
7.如权利要求1所述的基于可逆神经网络的图像增强方法，其特征在于，所述预设可逆神经网络基于预设可逆函数构建。
8.一种基于可逆神经网络的图像增强装置，其特征在于，所述基于可逆神经网络的图像增强装置包括：
构建模块，用于获取初始图像，基于所述初始图像构建样本数据集，所述样本数据集包含初始图像、增强图像与噪声图像，所述初始图像与所述增强图像之间的差为增强信息；
训练模块，用于基于所述样本数据集对预设可逆神经网络进行训练，以学习所述样本数据集中初始图像、噪声图像与所述增强信息之间的映射关系，得到目标可逆神经网络；
生成模块，用于根据所述目标可逆神经网络所学习的所述映射关系对待处理图像进行处理，生成增强图像。
9.一种基于可逆神经网络的图像增强设备，其特征在于，所述基于可逆神经网络的图像增强设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于可逆神经网络的图像增强程序，所述基于可逆神经网络的图像增强程序被所述处理器执行时实现如权利要求1-7中任一项所述的基于可逆神经网络的图像增强方法的步骤。
10.一种介质，其特征在于，所述介质上存储有基于可逆神经网络的图像增强程序，所述基于可逆神经网络的图像增强程序被处理器执行时实现如权利要求1-7中任一项所述的基于可逆神经网络的图像增强方法的步骤。
CN202110371064.2A 2021-04-06 2021-04-06 基于可逆神经网络的图像增强方法、装置、设备及介质 Pending CN112991223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110371064.2A CN112991223A (zh) 2021-04-06 2021-04-06 基于可逆神经网络的图像增强方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110371064.2A CN112991223A (zh) 2021-04-06 2021-04-06 基于可逆神经网络的图像增强方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN112991223A true CN112991223A (zh) 2021-06-18

Family

ID=76339246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110371064.2A Pending CN112991223A (zh) 2021-04-06 2021-04-06 基于可逆神经网络的图像增强方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN112991223A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114781628A (zh) * 2022-03-29 2022-07-22 清华大学 基于忆阻器噪声的数据增强方法、装置、电子设备及介质
CN117194900A (zh) * 2023-09-25 2023-12-08 中国铁路成都局集团有限公司成都供电段 一种基于自适应感知的设备运行轻量化监测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140254930A1 (en) * 2013-03-07 2014-09-11 Cyberlink Corp. Systems and Methods for Performing Edge Enhancement in Digital Images
CN105825484A (zh) * 2016-03-23 2016-08-03 华南理工大学 一种基于深度学习的深度图像去噪及增强方法
CN107798667A (zh) * 2017-11-23 2018-03-13 中电科新型智慧城市研究院有限公司 基于残差学习的人脸增强方法
CN109544487A (zh) * 2018-09-30 2019-03-29 西安电子科技大学 一种基于卷积神经网络的红外图像增强方法
CN111368849A (zh) * 2020-05-28 2020-07-03 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140254930A1 (en) * 2013-03-07 2014-09-11 Cyberlink Corp. Systems and Methods for Performing Edge Enhancement in Digital Images
CN105825484A (zh) * 2016-03-23 2016-08-03 华南理工大学 一种基于深度学习的深度图像去噪及增强方法
CN107798667A (zh) * 2017-11-23 2018-03-13 中电科新型智慧城市研究院有限公司 基于残差学习的人脸增强方法
CN109544487A (zh) * 2018-09-30 2019-03-29 西安电子科技大学 一种基于卷积神经网络的红外图像增强方法
CN111368849A (zh) * 2020-05-28 2020-07-03 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱宜生;孙成;: "基于卷积神经网络的红外图像去噪方法研究", 环境技术, no. 06 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114781628A (zh) * 2022-03-29 2022-07-22 清华大学 基于忆阻器噪声的数据增强方法、装置、电子设备及介质
CN117194900A (zh) * 2023-09-25 2023-12-08 中国铁路成都局集团有限公司成都供电段 一种基于自适应感知的设备运行轻量化监测方法及系统

Similar Documents

Publication Publication Date Title
CN107392842B (zh) 图像风格化处理方法、装置、计算设备及计算机存储介质
CN112991223A (zh) 基于可逆神经网络的图像增强方法、装置、设备及介质
WO2018018470A1 (zh) 一种去除图像噪声的方法、装置、设备及卷积神经网络
CN107277615B (zh) 直播风格化处理方法、装置、计算设备及存储介质
CN110148088B (zh) 图像处理方法、图像去雨方法、装置、终端及介质
CN107516290B (zh) 图像转换网络获取方法、装置、计算设备及存储介质
CN111192226B (zh) 一种图像融合去噪方法及装置、系统
JP2021531571A (ja) 証明書画像抽出方法及び端末機器
CN111967477A (zh) Rgb-d图像显著性目标检测方法、装置、设备及存储介质
CN112532911A (zh) 图像数据处理方法、装置、设备及存储介质
CN107392316B (zh) 网络训练方法、装置、计算设备及计算机存储介质
CN113658091A (zh) 一种图像评价方法、存储介质及终端设备
Liu et al. Toward visual quality enhancement of dehazing effect with improved Cycle-GAN
CN108665455B (zh) 图像显著性预测结果的评价方法和装置
WO2020044630A1 (ja) 検出器生成装置、モニタリング装置、検出器生成方法及び検出器生成プログラム
US10354125B2 (en) Photograph processing method and system
CN114821730A (zh) 人脸识别方法、装置、设备及计算机可读存储介质
CN115393177A (zh) 脸部图像处理方法及电子设备
CN114742774A (zh) 融合局部和全局特征的无参考图像质量评价方法及系统
CN110060210B (zh) 图像处理方法及相关装置
CN114004974A (zh) 对弱光环境下拍摄的图像的优化方法及装置
CN112561817A (zh) 基于am-gan的遥感图像去云方法、装置、设备及存储介质
CN112183727A (zh) 一种对抗生成网络模型、以及基于所述对抗生成网络模型的散景效果渲染方法及系统
CN112508801A (zh) 图像处理方法及计算设备
CN111489407B (zh) 光场图像编辑方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination