CN111316316A - 用于图像复原的神经网络及其训练与使用方法 - Google Patents

用于图像复原的神经网络及其训练与使用方法 Download PDF

Info

Publication number
CN111316316A
CN111316316A CN201980005463.8A CN201980005463A CN111316316A CN 111316316 A CN111316316 A CN 111316316A CN 201980005463 A CN201980005463 A CN 201980005463A CN 111316316 A CN111316316 A CN 111316316A
Authority
CN
China
Prior art keywords
network
layer
sub
input
priori
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980005463.8A
Other languages
English (en)
Inventor
蔡剑锐
李志强
曹子晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111316316A publication Critical patent/CN111316316A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于图像复原的神经网络及其训练与使用方法，所述神经网络包括：至少一个子网络，子网络设有先验嵌入层(1)，先验嵌入层用于从输入先验嵌入层的输入信息中提取特定通道特征，并从输入信息中获取第一特征图，根据特定通道特征对第一特征图进行特征调整并输出，其中输入信息为待复原图像的图像特征信息，基于特定通道特征的先验，提高了动态场景下图像复原的表现。

Description

用于图像复原的神经网络及其训练与使用方法
技术领域
本发明涉及图像处理领域，尤其涉及一种用于图像复原的神经网络及其训练与使用方法。
背景技术
数字摄影的一个重要目标是再现出符合场景的高质量图像。很多情况下，若存在震动、物体运动、失焦等影响，拍摄装置会获取到较为模糊、分辨率较低等画质不佳的图像，这些画质不佳的图像对后续的图像分析工作也会产生重大影响。因此，图像去模糊、提高分辨率等具有非常重大的意义。
以图像去模糊为例，图像去模糊目的是从模糊的观测图像x中恢复潜在的清晰图像y，它们之间的关系可以表示为
Figure BDA0002472293150000011
其中，k是未知的模糊核(均匀或者非均匀的)，n是额外的高斯白噪声，
Figure BDA0002472293150000012
表示卷积操作。这是一个逆向求解的问题，并且需要利用潜在清晰图中的额外信息来约束解空间才能更好地求解。
相关技术中，利用潜在清晰图中的额外信息来约束解空间的方式包括两大类：基于优化的方法和基于深度学习的方法，然而，基于优化的方法大都存在优化迭代耗时的缺点；而现有深度学习的方法仅仅是学习从模糊图像到清晰图像的直接映射，没有利用采集到的图像的先验知识。
发明内容
本发明提供一种用于图像复原的神经网络及其训练与使用方法。
具体地，本发明是通过如下技术方案实现的：
根据本发明的第一方面，提供一种用于图像复原的神经网络，所述神经网络包括：
至少一个子网络，所述子网络的输入为待复原图像，且所述子网络设有先验嵌入层，所述先验嵌入层用于从输入所述先验嵌入层的输入信息中提取特定通道特征，并从所述输入信息中获取第一特征图，根据所述特定通道特征对所述第一特征图进行特征调整并输出，其中所述输入信息为所述待复原图像的图像特征信息。
根据本发明的第二方面，提供一种图像复原方法，所述方法包括：
将原始待复原图像输入用于图像复原的神经网络中，所述神经网络包括至少一个子网络，所述子网络设有先验嵌入层，其中，所述先验嵌入层用于从输入所述先验嵌入层的输入信息中获取特定通道特征以及第一特征图，并用于根据所述特定通道特征对所述先验嵌入层获取的第一特征图进行特征调整并输出，所述输入信息为所述待复原图像的图像特征信息；
获取所述神经网络根据所述特定通道特征对所述原始待复原图像进行图像复原处理后输出的目标图像。
根据本发明的第三方面，提供一种用于图像复原的神经网络的训练方法，所述方法包括：
将原始训练图像输入至神经网络中，所述神经网络包括至少一个子网络，所述子网络设有先验嵌入层，所述先验嵌入层用于从该先验嵌入层的输入信息中获取特定通道特征，所述输入信息为所述原始训练图像的图像特征信息；
根据所述特定通道特征，调整所述子网络的性能参数。
由以上本发明实施例提供的技术方案可见，本发明的用于图像复原的神经网络能够基于先验嵌入层学习原始待复原的图像的特定通道特征，并将学习到的特定通道特征作为有效先验来更好地进行图像复原，获得清晰的复原图像，提高了动态场景下图像复原的表现；并实现了在神经网络中以端到端的方式加入先验知识来学习的目的。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中的图像复原方法的方法流程图；
图2A是本发明一实施例中的用于图像复原的神经网络的结构示意图；
图2B是本发明另一实施例中的用于图像复原的神经网络的结构示意图；
图3A是本发明一实施例中的用于图像复原的神经网络的先验嵌入层的结构示意图；
图3B是本发明另一实施例中的用于图像复原的神经网络的先验嵌入层的结构示意图；
图3C是本发明又一实施例中的用于图像复原的神经网络的先验嵌入层的结构示意图；
图4是本发明一实施例中的用于图像复原的神经网络的结构框图；
图5是本发明一实施例中的用于图像复原的神经网络的第一残差网络层的结构示意图；
图6是本发明一实施例中的用于图像复原的神经网络的第二残差网络层的结构示意图；
图7是本发明一实施例中的用于图像复原的神经网络的训练方法的方法流程图。
附图标记：
100：编码器；200：特征映射器；300：解码器；
1：先验嵌入层；11：第一特征提取层；111第一网络层；112：第二网络层；12：第二特征提取层；13：特征调整层；2：卷积层；3：第一残差网络层；31：第二残差网络层；4：下采样层；5：上采样层。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的用于图像复原的神经网络及其训练与使用方法进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
本发明实施例提供一种图像复原方法，参见图1，该图像复原方法可包括如下步骤：
S101：将原始待复原图像输入用于图像复原的神经网络中，神经网络包括至少一个子网络，子网络设有先验嵌入层，其中，先验嵌入层用于从输入先验嵌入层的输入信息中获取特定通道特征以及第一特征图，并用于根据特定通道特征对先验嵌入层获取的第一特征图进行特征调整并输出，输入信息为待复原图像的图像特征信息；
S102：获取神经网络根据特定通道特征对原始待复原图像进行图像复原处理后输出的目标图像。
本发明实施例的用于图像复原的神经网络，基于先验嵌入层学习原始待复原图像的特定通道特征，并将学习到的特定通道特征作为有效先验来更好地对原始待复原图像进行复原，获得清晰的复原图像，提高了动态场景下图像复原的表现；并实现了在神经网络中以端到端的方式加入先验知识来学习的目的。
可选的，原始待复原图像的尺寸大小为H*W，其中，H为待原始复原图像的高度和W为待原始复原图像的宽度；当然，原始待复原图像的尺寸大小也可为其它，并不限于H*W。
其中，图像复原可包括如下至少一种：图像去模糊、图像增强、图像分辨率提升、图像过曝修复或其他。
以下实施例将对用于图像复原的神经网络的网络结构进行详细说明。需要说明的是，本发明实施例中，根据神经网络中特征的流向来对应确定各网络层在该神经网络中的先后顺序。
请结合图2A以及图2B，神经网络包括至少一个子网络，子网络设有先验嵌入层1，本实施例的先验嵌入层1用于从输入先验嵌入层1的输入信息中提取特定通道特征，也即编码器100和解码器300中至少一个提取的特征包括特定通道特征。并且，本实施例的先验嵌入层1还用于从输入信息中获取第一特征图，根据特定通道特征对第一特征图进行特征调整并输出。
本实施例中，子网络的输入为待复原图像，其中，该待复原图像与原始待复原图像相关，可选的，待复原图像为原始待复原图像；可选的，待复原图像为原始待复原图像下采样获得的图像。其中，输入信息为待复原图像的图像特征信息。
下述实施例中，输入信息为图像的特征图。
参见图3A，先验嵌入层1包括第一特征提取层11、第二特征提取层12以及特征调整层13，其中，第一特征提取层11的输出以及第二特征提取层12的输出，输入特征调整层12。在本实施例中，第一特征提取层11用于从输入先验嵌入层1的输入信息中提取特定通道特征，第二特征提取层12用于从输入信息中获取第一特征图，特征调整层用于根据特定通道特征对第一特征图进行特征调整后输出。
在某些实施例中，特定通道特征可包括以下至少一种：亮通道特征、暗通道特征。可选的，特定通道特征包括亮通道特征和暗通道特征；可选的，特定通道特征包括亮通道特征或暗通道特征。当然，特定通道特征还可包括其他，如色彩通道特征等。需要说明的是，本发明实施例中，特定通道特征还可包括特定通道特征的变形，如，特定通道特征为：亮通道特征与暗通道特征的差值。
下述实施例中，特定通道特征包括亮通道特征和/或暗通道特征。
本发明实施例的用于图像复原的神经网络，基于先验嵌入层学习原始待复原图像的亮通道特征和/或暗通道特征，并将学习到的亮通道特征和/或暗通道特征作为有效先验来更好地对原始待复原图像进行复原，获得清晰的复原图像，提高了动态场景下图像复原的表现；并实现了在神经网络中以端到端的方式加入先验知识来学习的目的。
在某些实施例中，第一特征提取层11包括第一网络层和/或第二网络层，例如，在图3B所示实施例中，第一特征提取层11包括第一网络层111和/或第二网络层112。
其中，第一网络层111从输入信息中提取亮通道特征，第二网络层112从输入信息中提取暗通道特征。
在某些实施例中，输入信息包括多个区域块。
其中，第一网络层111从输入信息中提取亮通道特征包括获取输入信息中各区域块的特征值中的最大值。
可选的，参见图3C，第一网络层111包括至少一个卷积层，第一网络层111的工作过程可包括如下步骤：
首先，第一网络层111会从输入信息中获取亮通道的特征；
在第一网络层111中，可按照第一预设划分策略，将输入的特征图划分为多个区域块。例如，按照第一预设大小以及第一预设滑动步长，将特征图划分为多个区域块。若区域块的太小，则会导致计算量较大；若区域块的太大，则确定的亮通道特征不明显，故本实施例的区域块不宜太小或太大。本实施例中，各子网络的区域块的大小与输入该子网络的待复原图像的尺寸相匹配。可选的，第一预设大小可为31*31、19*19、11*11或其他。第一预设滑动步长可为1个步长、2个步长或者其他数值大小。
接着，第一网络层111会获取每个区域块的亮通道的特征中的最大值，并将最大值作为对应区域块的亮通道特征。
作为一种可行的实现方式，亮通道特征IB[h,w]的公式描述可如下：
Figure BDA0002472293150000051
IB[h,w]＝argmaxi*∈Ψ[h,w,c]Ω[i*] (1)
公式(1)中，h、w分别为第一网络层111的输入特征图的高度和宽度；
c表示第一网络层111的输入特征图的通道数；
Ω表示亮通道的特征；
i为区域块的标号；
B(Ω)[h,w]表示提取到的亮通道的特征；
Ψ[h,w,c]表示第一网络层111的输入特征图。
第二网络层112从输入信息中提取暗通道特征包括获取输入信息中各区域块的特征值中的最小值。
可选的，第二网络层112包括至少一个卷积层，第二网络层112的工作过程可包括如下步骤：
首先，第二网络层112会从输入信息中获取暗通道的特征；
在第二网络层112中，可按照第二预设划分策略，将输入的特征图划分为多个区域块。例如，按照第二预设大小以及第二预设滑动步长，将输入的特征图划分为多个区域块。若区域块的太小，则会导致计算量较大；若区域块的太大，则确定的暗通道特征不明显，故本实施例的区域块不宜太小或太大。本实施例中，各子网络的区域块的大小与输入该子网络的待复原图像的尺寸相匹配。可选的，第二预设大小可为31*31、19*19、11*11或其他。第二预设滑动步长可为1个步长、2个步长或者其他数值大小。
可选的，第一预设划分策略与第二预设划分策略相同。
接着，第二网络层112会获取每个区域块的暗通道的特征中的最小值，并将最小值作为对应区域块的暗通道特征。
作为一种可行的实现方式，暗通道特征ID[h,w]的公式描述可如下：
Figure BDA0002472293150000061
ID[h,w]＝argmaxi*∈Ψ[h,w,c]Λ[i*] (2)
公式(2)中，h、w分别为输入的特征图的高度和宽度；
c表示第二网络层112的输入特征图通道数；
Λ表示暗通道的特征；
i为区域块的标号；
D(Λ)[h,w]表示提取到的暗通道的特征；
Ψ[h,w,c]表示第二网络层112的输入特征图。
可选的，参见图3C，第二特征提取层12包括至少一个卷积层，用于对输入第二特征提取层12的特征图做进一步的特征提取，获得第一特征图；
特征调整层13会根据亮通道特征和/或暗通道特征，对第一特征图的对应区域块进行特征调整并输出。其中，特征调整层13可选择不同的方式对第一特征图进行特征调整，例如，在某些实施例中，参见图3C，特征调整层13为concat层，将亮通道特征和/或暗通道特征与第一特征图在通道方向进行拼接。可选的，如图3C所示，将第一网络层111、第二网络层112、第二特征提取层12的输出，输入concat层，对亮通道特征和/或暗通道特征与第一特征图在通道方向进行拼接。
上述实施例中，第一网络层111的输入特征图、第二网络层112的输入特征图以及第二特征提取层12的输入特征图相同，均为输入先验嵌入层1的特征图。
在某些实施例中，结合图2A、图2B以及图4，子网络可包括编码器100(即encoder)、特征映射器200(即feature mapper)和解码器300(即decoder)。其中，编码器100的输入为待复原图像，编码器100的输出作为特征映射器200的输入，特征映射器200的输出作为解码器300的输入。
其中，编码器100能够用于对输入该编码器100的待复原图像进行特征提取并输出，本实施例的编码器100能够逐渐减少空间维度，随着神经网络深度的逐渐增加，编码器100输出的特征图的尺寸大小不断减小；特征映射器200用于对编码器100的输出进一步进行特征提取并输出；解码器300用于对特征映射器200的输出进行图像恢复，获得复原图像并输出，本实施例中，随着神经网络深度的逐渐增加，编码器300输出的特征图的尺寸大小逐渐增大，解码器300能够逐步修复物体的细节和空间维度。
需要说明的是，本发明实施例中，上述包括编码器100、特征映射器200以及解码器300的子网络只是示例性的，并不是神经网络结构的一种限制。可以理解，任何能够渐减少空间维度的网络层可被称为编码器，任何能够逐步修复物体的细节和空间维度的网络层可被称为解码器，并且，任何能够进行特征提取的网络层可被称为特征映射器。
下述实施例中，子网络包括编码器100、特征映射器200和解码器300。
本实施例中，编码器100与解码器300中的至少一个设有先验嵌入层。
在某些实施例中，如图2A和图2B所示，编码器100与解码器300的网络结构对称，编码器100和解码器300分别设有先验嵌入层1。当然，在其他某些实施例中，编码器100与解码器300的网络结构不对称，例如，编码器100和解码器300中的一个设有先验嵌入层1。
可选的，编码器100中的先验嵌入层1的输入信息为待复原图像进行特征提取后获得的特征图，比如，编码器100中的先验嵌入层1的输入为待复原图像经至少一个卷积层处理获得的特征图。
相应地，解码器300中的先验嵌入层1的输入也为待复原图像进行特征提取后获得的特征图，比如，解码器300中的先验嵌入层1为待复原图像经编码器100和特征映射器200依次进行特征提取获得的特征图，或者解码器300中的先验嵌入层1为待复原图像经编码器100、特征映射器200和至少一个卷积层依次进行特征提取后获得的特征图。
参见图2A和图2B，编码器100还包括至少一个卷积层(如图2A和2B中的附图标记为2的结构，即为卷积层)。
可选的，编码器100包括位于编码器100的先验嵌入层1之前的多个卷积层以及位于编码器100的先验嵌入层1之后的多个卷积层。本实施例中，编码器100进行特征提取的过程包括：待复原图像->位于编码器100的先验嵌入层1之前的多层卷积层->编码器100的先验嵌入层1->位于编码器100的先验嵌入层1之后的多个卷积层，也即，编码器的先验嵌入层1的输入信息为待复原图像经编码器100中位于该编码器100的先验嵌入层1之前的多个卷积层依次处理(也即特征提取)后获得的特征图。在编码器100中，待复原图像经位于编码器100的先验嵌入层1之前的多层卷积层依次处理后输出的特征图，由编码器100的先验嵌入层1处理并输出；编码器100的先验嵌入层1的输出再由位于先验嵌入层1之后的多个卷积层依次处理后输出。可选的，特征映射器200的输入为位于先验嵌入层1之后的多个卷积层依次处理后的输出。
在图2A和图2B所示的实施例中，编码器100包括位于编码器100的先验嵌入层1之前的两个卷积层以及位编码器100的先验嵌入层1之后的两个卷积层。
可以理解，编码器100的网络结构并不限于图2A和图2B所示实施例中的编码器100的网络结构，也可设置为其他网络结构。
请再次参见图2A和图2B，解码器300还可包括至少一个卷积层。
可选的，解码器300包括位于解码器300的先验嵌入层1之前的多个卷积层以及位于解码器300的先验嵌入层1之后的多个卷积层。本实施例中，解码器300进行特征提取的过程包括：特征映射器200的输出->位于解码器300的先验嵌入层1之前的多个卷积层->解码器300的先验嵌入层1->位于解码器300的先验嵌入层1之后的多个卷积层，也即，解码器的先验嵌入层1的输入信息为待复原图像经编码器、特征映射器和解码器中位于该解码器的先验嵌入层之前的多个卷积层依次处理(也即特征提取)后获得的特征图。本实施例中，特征映射器200的输出经位于解码器300的先验嵌入层1之前的多个卷积层依次处理后输出的特征图，由解码器300的先验嵌入层1处理后输出；解码器300的先验嵌入层1的输出再由位于解码器300的先验嵌入层1之后的多个卷积层依次处理后输出。
可选的，子网络的最终输出为该子网络的解码器300中，位于解码器300的先验嵌入层1之后的多个卷积层依次处理后输出；本实施例中，解码器300输出的为待复原图像进行复原后的复原图像。
在图2A和图2B所示的实施例中，解码器300包括位于解码器300的先验嵌入层1之前的两个卷积层以及位解码器300的先验嵌入层1之后的两个卷积层。
可以理解，解码器300的网络结构并不限于图2A和图2B所示实施例中的解码器300的网络结构，也可设置为其他网络结构。
请再次参见图2A和图2B，特征映射器200包括第一残差网络层3，特征映射器200通过第一残差网络层3对编码器100的输出进一步进行特征提取，通过第一残差网络层3进一步提取编码器100输出的特征图中的特征信息，从而学习到更多的特征信息。
如图2A和图2B所示的实施例中，特征映射器200包括多个串联连接的第一残差网络层3，也可称作RIRBlock，如图5所示，为一个RIRBlock。特征映射器200中的第一残差网络层3的数量可根据需要选择，如，特征映射器200可包16个串联连接的第一残差网络层3。
在某些实施例中，参见图5，每个第一残差网络层3包括多个串联连接的第二残差网络层31，其中，第二残差网络层31也可称作ResBlock(也即，残差块residual block)，ResBlock能够加速训练过程，以解决较深的网络存在难以收敛的问题，如图5所示，为一个ResBlock。进一步的，第二残差网络层31可包括依次连接的至少两个卷积层。
其中，对于第二残差网络层31中，相邻连接的卷积层，前一个卷积层的输出经激活函数处理后，作为后一个卷积层的输入，从而通过采用激活函数能够保留对应特征图中更多的细节。
其中，激活函数可为参数化修正线性单元PReLU(Parametric Rectified LinearUnit)、修正线性单元ReLU(Rectified Linear Unit)或其他。
在某些实施例中，激活函数为PReLU，通过PReLU处理来提升网络的兼容性。
第二残差网络层31的数量可为2、3、4、5、6、7或其他。并且，第二残差网络层31中的卷积层的数量也可根据需要选择，例如，参见图6，第二残差网络层31包括两个卷积层。
为充分利用深层特征信息和浅层特征信息，加速网络收敛，可在第一残差网络层3内部设计跳跃连接关系，和/或，在第二残差网络层31内部设计跳跃关系。
例如，在某些实施例中，参见图5，在第一残差网络层3中，首个第二残差网络层31的输入和最后一个第二残差网络层31的输出共同作为第一残差网络层3的输出。可选的，在第一残差网络层3中，首个第二残差网络层31的输入和最后一个第二残差网络层31的输出进行处理后，作为第一残差网络层3的输出，并作为下一个网络层的输入，例如，可选的，在第一残差网络层3中，首个第二残差网络层31的输入和最后一个第二残差网络层31的输出进行特征求和后，作为第一残差网络层3的输出。可选的，在第一残差网络层3中，第二残差网络层31首个第二残差网络层31的输入和最后一个第二残差网络层31的输出经过其它的融合处理，作为第一残差网络层3的输出。
又如，在某些实施例中，参见图6，在第二残差网络层31中，首个卷积层的输入和最后一个卷积层的输出共同作为第二残差网络层31的输出。可选的，在第二残差网络层31中，首个卷积层的输入和最后一个卷积层的输出进行处理后，作为第二残差网络层31的输出，并作为下一个网络层的输入，例如，可选的，在第二残差网络层31中，首个卷积层的输入和最后一个卷积层的输出进行特征求和后，作为第二残差网络层31的输出。可选的，在第二残差网络层31中，首个卷积层的输入和最后一个卷积层的输出经过其它的融合处理，作为第二残差网络层31的输出。
上述实施例的求和可为直接求和，也可为加权求和。
此外，在某些实施例中，神经网络还包括上采样层(如图2B和图2B中的附图标记5)和/或下采样层(如图2A和图2B中的附图标记4)，以获得不同尺度的信息流，并根据不同尺度的信息流达到更好的图像复原效果。
请再次参见图2A和图2B，在某些实施例中，编码器100还包括一个或多个下采样层，用于对编码器100中位于该编码器100的先验嵌入层1之后的任一个卷积层的输出进行下采样。可选的，编码器100中，先验嵌入层1和首个下采样层之间串联连接有至少一个卷积层，例如，在图2A和图2B所示的实施例中，在编码器100中，先验嵌入层1之后包括两个卷积层以及一个下采样层，该下采样层串联连接在两个卷积层之间。
请再次参见图2A和图2B，在某些实施例中，解码器300还包括一个或多个上采样层，用于对解码器300中位于该解码器300的先验嵌入层1之前的任一个卷积层的输出进行上采样。可选的，解码器300中，先验嵌入层1和最后一个上采样层之间串联连接有至少一个卷积层。例如，在图2A和图2B所示的实施例中，在解码器300中，先验嵌入层1之前包括两个卷积层以及一个上采样层，该上采样层串联连接在两个卷积层之间。
进一步，在某些实施例中，参见图2A和图2B，将编码器100中位于该编码器100的先验嵌入层1与该编码器100的首个下采样层之间的任一个卷积层的输出作为解码器300中位于解码器300的先验嵌入层1和该解码器300的最后一个上采样层之间的任一个卷积层的输入的一部分，从而基于长跳跃连接方式充分利用各网络层之间的特征的目的。当然，在其它实施例中，也可以将编码器100中位于先验嵌入层1之后的并经过下采样层之后的任一卷积层的输出作为解码器300中位于先验嵌入层1之前任一卷积层的输入的一部分，只需要满足编码器100中对应卷积层输出的特征图的大小和解码器300中对应卷积层的上一层网络层输出的特征图的大小一样，将两部分输出的特征图在通道方向上进行拼接作为解码器300中该卷积层的输入。
在某些实施例中，特征映射器200还包括一个或多个下采样层和/或一个或多个上采样层。可选的，特征映射器200还包括一个或多个下采样层和一个或多个上采样层。在本实施例的特征映射器200中，一个或多个下采样层与一个或多个上采样层相对应，即下采样层和上采样层的个数相同，且上下采样的倍率相对应，使得特征映射器200的输入与特征映射器200的输出对应的特征图的尺寸大小相等。当然，在其它实施例中，特征映射器200中，一个或多个下采样层与一个或多个上采样层也可为非对应设置，特征映射器200的输入与特征映射器200的输出对应的特征图的尺寸大小可相等，也可不相等。
在某些实施例中，特征映射器200中，一个或多个上采样层与多个第一残差网络层3间隔设置，和/或，一个或多个下采样层与多个第一残差网络层3间隔设置，也即，特征映射器200可包括多个下采样层和/或多个上采样层。
在图2A和图2B所示的实施例中，特征映射器200包括一个下采样层和一个上采样层，例如，特征映射器200包括第一下采样层和第一上采样层。其中，可选的，第一下采样层的输入与编码器100的输出之间串联连接有至少两个第一残差网络层3，相应地，第一上采样层的输出与解码器300的输入之间串联连接有至少两个第一残差网络层3。进一步可选地，第一下采样层的输出与第一上采样层的输入之间串联连接有至少两个第一残差网络层3。
进一步参见图2A和图2B，在某些实施例中，特征映射器200中，首个下采样层之前的任一个第一残差网络层3的输出作为最后一个上采样层之后的任一个第一残差网络的输入的一部分，从而基于长跳跃连接方式充分利用各网络层之间的特征的目的。当然，在其它实施例中，也可以将位于特征映射器200中最后一个下采样层之前的任一个第一残差网络层3的输出作为特征映射器200中第一个上采样层之后的任一个第一残差网络层3的输入的一部分，只需要满足最后一个下采样层之前的任一个第一残差网络层3输出的特征图大小和特征映射器200中第一个上采样层之后的任一个第一残差网络层3的上一层网络输出的特征图大小一样，将两部分输出的特征图在通道方向上进行拼接作为该特征映射器200中第一个上采样层之后的任一个第一残差网络层3的输入。
上述实施例中，基于长跳跃和/或短跳跃连接方式使得子网络融入多尺寸信息的操作，充分利用多尺寸图像的信息流和感受野，有利于提高图像复原效果。
此外，上述实施例的下采样层可基于shuffle操作或卷积操作实现下采样，上采样层可基于shuffle操作、反卷积操作、双三次插值(Bicubic interpolation)、最邻近插值(nearest neighbour interpolation)或双线性采样(bilinear interpolation)等实现上采样。
进一步的，在某些实施例中，参见图2A，神经网络包括至少两个子网络，至少两个子网络的编码器100的输入为不同尺寸的待复原图像。其中，子网络的个数可为2、3、4或其他。
以神经网络包括至少3个子网络为例进一步说明。
本实施例中，神经网络可包括第一子网络、第二子网络以及第三子网络，其中，输入第一子网络的待复原图像的尺寸大于输入第二子网络的待复原图像的尺寸，输入第二子网络的待复原图像的尺寸大于输入第三子网络的待复原图像的尺寸。
可在不同子网络之间融入多尺寸信息的操作，从而充分利用不同尺寸的图像的信息流和感受野，提高图像复原效果。
例如，在某些实施例中，第一子网络的编码器100中，任一网络层的输出作为第二子网络的编码器100和/或第三子网络的编码器100中，任一网络层的输入的一部分；第二子网络的编码器100中，任一网络层的输出作为第二子网络的编码器100中，任一网络层的输入的一部分。
可选的，第一子网络的编码器100中，位于该第一子网络的编码器100的先验嵌入层1之后的任一卷积层的输出，作为第二子网络中位于该第二子网络的编码器100的先验嵌入层1之前的任一卷积层的输入的一部分，和/或第三子网络的编码器100中位于该第三子网络中位于该第三子网络的编码器100的先验嵌入层1之前的任一卷积层的输入的一部分。具体实现时，可选的，第一子网络的编码器100中，位于该第一子网络的编码器100的先验嵌入层1之后的任一卷积层的输出在特征图的通道方向叠加至第二子网络中位于该第二子网络的编码器100的先验嵌入层1之前的任一卷积层的输入上，和/或第三子网络的编码器100中位于该第三子网络中位于该第三子网络的编码器100的先验嵌入层1之前的任一卷积层的输入上。
可选的，第二子网络的编码器100中，位于该第二子网络的编码器100的先验嵌入层1之后的任一卷积层的输出，作为第三子网络的编码器100中位于该第三子网络中位于该第三子网络的编码器100的先验嵌入层1之前的任一卷积层的输入的一部分。具体实现时，可选的，第二子网络的编码器100中，位于该第二子网络的编码器100的先验嵌入层1之后的任一卷积层的输出在特征图的通道方向叠加至第三子网络的编码器100中位于该第三子网络中位于该第三子网络的编码器100的先验嵌入层1之前的任一卷积层的输入上。
又如，在某些实施例中，第三子网络的解码器300中，任一网络层的输出作为第二子网络的解码器300和/或第一子网络的解码器300中，任一网络层的输入的一部分；第二子网络的解码器300中，任一网络层的输出作为第一子网络的解码器300中，任一网络的输入的一部分。
可选的，第三子网络中，位于该第三子网络的解码器300的先验嵌入层1之后的任一卷积层的输出，作为第一子网络中位于该第一子网络的解码器300的先验嵌入层1之前的任一卷积层的输入的一部分，和/或第二子网络中位于该第二子网络的解码器300的先验嵌入层1之前的任一卷积层的输入的一部分。具体实现时，可选的，第三子网络中，位于该第三子网络的解码器300的先验嵌入层1之后的任一卷积层的输出在特征图的通道方向叠加至第一子网络中位于该第一子网络的解码器300的先验嵌入层1之前的任一卷积层的输入上，和/或第二子网络中位于该第二子网络的解码器300的先验嵌入层1之前的任一卷积层的输入上。
可选地，第二子网络中，位于该第二子网络的解码器300的先验嵌入层1之后的任一卷积层的输出，作为第一子网络中位于该第一子网络的解码器300的先验嵌入层1之前的任一卷积层的输入的一部分。具体实现时，可选的，第二子网络中，位于该第二子网络的解码器300的先验嵌入层1之后的任一卷积层的输出在特征图的通道方向叠加至第一子网络中位于该第一子网络的解码器300的先验嵌入层1之前的任一卷积层的输入上。
在图2A所示的实施例中，第一子网络的编码器100中，位于该第一子网络的编码器100的先验嵌入层1之后的任一卷积层的输出，作为第二子网络中位于该第二子网络的编码器100的先验嵌入层1之前的任一卷积层的输入的一部分，并且，第二子网络的编码器100中，位于该第二子网络的编码器100的先验嵌入层1之后的任一卷积层的输出，作为第三子网络的编码器100中位于该第三子网络中位于该第三子网络的编码器100的先验嵌入层1之前的任一卷积层的输入的一部分。第三子网络中，位于该第三子网络的解码器300的先验嵌入层1之后的任一卷积层的输出，作为第一子网络中位于该第一子网络的解码器300的先验嵌入层1之前的任一卷积层的输入的一部分，并且，第二子网络中，位于该第二子网络的解码器300的先验嵌入层1之后的任一卷积层的输出，作为第一子网络中位于该第一子网络的解码器300的先验嵌入层1之前的任一卷积层的输入的一部分。
进一步可选的，神经网络还可包括输入层，输入层与各子网络中的编码器相连。在本实施例中，输入层用于接收原始待复原图像，并根据原始待复原图像，获得多个不同尺寸的待复原图像；并且，输入层能够将多个不同尺寸的待复原图像作为对应多个子网络的编码器100的输入，也即，本实施例的待复原图像的数量与子网络的个数相等。
作为一种可行的实现方式，输入层能够对原始待复原图像进行下采样处理，获得至少一个尺寸的第一图像。可选的，待复原图像包括原始待复原图像和至少一个尺寸的第一图像。可选的，待复原图像包括多个尺寸的第一图像。
例如，原始待复原图像的尺寸为H*W，输入层对原始待复原图像进行两次下采样，获得尺寸大小分别为H/2*W/2和H/4*W/4的第一图像；待复原图像包括尺寸大小为H*W的原始待复原图像、尺寸大小为H/2*W/2的第一图像以及尺寸大小为H/4*W/4的第一图像。
可选的，第一子网络的输入为原始待复原图像，第二子网络的输入为H/2*W/2的第一图像，第三子网络的输入为H/4*W/4的第一图像。可选的，对于输入H*W的待复原图像的第一子网络，该第一子网络中的先验嵌入层1按照31*31的大小将对应特征图划分为多个区域块；对于输入H/2*W/2的第一图像的第二子网络，该第二子网络中的先验嵌入层1按照19*19的大小将对应特征图划分为多个区域块；对于输入H/4*W/4的第一图像的第三子网络，该第三子网络中的先验嵌入层1按照11*11的预设大小将对应特征图划分为多个区域块。
本实施例中，各子网络的解码器300输出的复原图像与输入该子网络的编码器100的待复原图像的尺寸大小相等。
更进一步的，在某些实施例中，神经网络还可包括输出层，输出层与各子网络中的解码器300相连，该输出层用于根据至少一个子网络的解码器300输出的复原图像确定目标图像并输出。
其中，当神经网络包括一个子网络时，输出层用于根据子网络的解码器300输出的复原图像确定目标图像，并将目标图像作为神经网络的输出。可选的，目标图像为子网络的解码器300输出的复原图像；可选的，目标图像为根据子网络的解码器300输出的复原图像进行上采样和/或下采样处理后获得的图像。
当神经网络包括多个子网络时，输出层用于根据多个子网络中至少一个子网络的解码器300输出的复原图像，确定目标图像，并将目标图像作为神经网络的输出。例如，在一些实施例中，输出层用于根据任一子网络的解码器300输出的复原图像确定目标图像。可选的，目标图像为任一子网络的解码器300输出的复原图像；可选的，目标图像为根据任一子网络的解码器300输出的复原图像进行上采样和/或下采样处理后获得的图像。
又如，在一些实施例中，输出层用于根据多个子网络的解码器300输出的复原图像共同确定目标图像。可选的，目标图像包括多个子网络的解码器300输出的复原图像，也即，目标图像包括多个不同尺寸的图像；可选的，目目标图像包括多个子网络的解码器300输出的复原图像融合确定的图像，可选择现有图像融合方式对多个子网络的解码器300输出的复原图像进行融合，获得目标图像。
可选的，上述实施例的神经网络的输出(也即目标图像)能够传输至显示设备或其他设备，可根据所需的图像尺寸，使得上述实施例的神经网络输出多个不同的目标图像，用于不同规格的显示设备。
可以理解，神经网络中，每个卷积层的参数如卷积核大小和参数可能均不相同，以提取不同的特征。可选的，神经网络中的每一卷积层的卷积核均为3*3，以减少参数数量和增加网络的非线性。并且，每一卷积层的卷积步长stride为1，每一卷积层获得的特征图的通道数为64。此外，每个网络层的卷积层的个数可能不相同，以提取不同的特征。
此外，各上采样层、各下采样层的倍率可根据需要设置。
参见图7，本发明实施例还提供一种用于图像复原的神经网络的训练方法，经该训练方法训练获得的神经网络的网络结构可参见上述实施例。
具体的，训练方法可包括如下步骤：
S701：将原始训练图像输入至神经网络中，神经网络设有先验嵌入层，先验嵌入层用于从该先验嵌入层的输入信息中获取特定通道特征，输入信息为原始训练图像的图像特征信息；
可以理解，神经网络的网络结构与上述实施例的神经网络的网络结构相同，不同之处在于，神经网络的性能参数未确定，需要反复训练获得。
S702：根据特定通道特征，调整子网络的性能参数。
可选的，性能参数包括对应子网络中的权重参数，如卷积层的卷积核的权重参数。可以理解，性能参数也可包括其他。
本发明实施例中，在训练过程中，根据神经网络的先验嵌入层获取的原始训练图像的特定通道特征对子网络的性能参数进行调整，调整后的性能参数能够有利于图像复原的效果，提高了动态场景下图像复原的表现。可以理解，子网络的性能参数的优化包括多次执行S701和S702。
其中，各子网络的输入为对应尺寸大小的训练图像，也即，当神经网络包括多个子网络时，输入多个子网络的训练图像的尺寸大小不相同。其中，该训练图像根据原始训练图像确定。进一步的，各子网络的解码器的输出为对应训练图像进行训练后获得的初始复原图像，各子网络的初始复原图像的尺寸大小与输入该子网络的训练图像的尺寸大小相同。
可选的，神经网络的输入层在接收到原始训练图像后，会对原始训练图像进行下采样处理，可选的，输入层下采样获得的图像个数为：(子网络个数-1)；接着，输入层会将训练图像和该输入层下采样获得的图像作为训练图像输入对应的子网络中。
如上述实施例，特定通道特征可包括以下至少一种：亮通道特征、暗通道特征。可选的，特定通道特征包括亮通道特征和暗通道特征；可选的，特定通道特征包括亮通道特征或暗通道特征。当然，特定通道特征还可包括其他，如色彩通道特征等。需要说明的是，本发明实施例中，特定通道特征还可包括特定通道特征的变形，如，特定通道特征为：亮通道特征与暗通道特征的差值。
下述实施例中，特定通道特征包括亮通道特征和/或暗通道特征。
在某些实施例中，S702可包括但不限于以下步骤：
1)、根据各子网络的先验嵌入层提取的亮通道特征和/或暗通道特征、以及各子网络中解码器输出的初始复原图像的图像特征信息、与输入各子网络的训练图像尺寸大小对应的样本图像的图像特征信息，确定对应子网络的第一损失函数；
其中，样本图像通过预先标注获得。可选的，原始训练图像对应的样本图像(也即原始样本图像)通过预先标注获得，而其它训练图像对应的样本图像根据原始样本图像获得，可选的，对原始样本图像进行下采样得到其它训练图像对应的样本图像，对原始样本图像进行下采样的倍率与原始训练图像下采样得到其它训练图像的下采样倍率相同。
本实施例中，当神经网络包括多个子网络时，同一子网络的训练图像和样本图像的尺寸大小相同。
例如，原始训练图像的尺寸为H*W，可基于神经网络的输入层对原始训练图像进行下采样，获得尺寸分别为H/2*W/2和H/4*W/4的第一训练图像；训练图像包括尺寸为H*W的原始训练图像、尺寸为H/2*W/2的第一训练图像以及尺寸为H/4*W/4的第一训练图像。相应的，原始样本图像的尺寸为H*W，可基于神经网络的输出层对原始样本图像进行下采样，获得尺寸分别为H/2*W/2和H/4*W/4的第一样本图像，样本图像包括尺寸为H*W的原始样本图像、以及尺寸分别为H/2*W/2和H/4*W/4的第一样本图像。
2)、根据第一损失函数，调整对应子网络的性能参数。
可选地，将第一损失函数反向传播对对应子网络的相应网络层的性能参数进行优化。
通过第一损失函数不断的更新神经网络中每个子网络的性能参数，以提高图像复原的性能。这些性能参数是在用于图像复原的神经网络训练完成之后，实际应用神经网络时用来给待复原图像进行图像去模糊、或者图像增强等。
作为一种可行的实现方式，第一损失函数L的公式可描述为：
Figure BDA0002472293150000161
公式(4)中，N表示总的参与训练的图像对(一个图像对包括一个训练图像和一个样本图像，其中，同一图像对的训练图像和样本图像相对应)数量；
j表示子网络个数，可选的，子网络为3个；
yi表示训练图像对应的样本图像的图像特征信息(例如，颜色分量)；
Fθ表示子网络的解码器输出的初始复原图像的图像特征信息；
Figure BDA0002472293150000162
表示表示第j个子网络中考虑亮暗通道特征；
Figure BDA0002472293150000163
表示第j个子网络中考虑亮暗通道特征后的输出；
Dj表示第j个子网络中所有先验嵌入层1获得的暗通道特征；
Bj表示第j个子网络中所有先验嵌入层1获得的亮通道特征；
λ和ω为经验系数。
此处，通过亮通道特征和暗通道特征引入正则项来增强暗通道特征和亮通道特征的稀疏性，使得神经网络模型更容易求得最优解，加速网络收敛。
其中，可根据需要确定第一损失函数L为公式(4)中等号后的部分的最大值或最小值。
在某些实施例中，根据第一损失函数，调整对应子网络的性能参数可包括但不限于以下步骤：
1)、根据第一损失函数，确定对应子网络的第二损失函数；
该步骤为第一损失函数反向传播至神经网络中的先验嵌入层得到第二损失函数。
2)根据第二损失函数，对对应子网络的先验嵌入层的性能参数进行调整。
作为一可行的实现方式，第二损失函数L′的公式描述可包括但不限于下述公式(4)：
Figure BDA0002472293150000171
公式(4)中，L′为第一损失函数；
Λ表示暗通道的特征；
D(Λ)[h,w]表示提取到的暗通道的特征；
Ω表示亮通道的特征；
B(Ω)[h,w]表示提取到的亮通道的特征；
h，w分别为输入先验嵌入层1的特征图的高度和宽度；
c表示通道数；
i＝ID[h,w]表示暗通道特征为ID[h,w]的大小的像素点i；
i＝IB[h,w]表示亮通道特征为IB[h,w]的大小的像素点i。
作为一种可行的实现方式，根据第一损失函数L确定第二损失函数L′的公式描述为：
Figure BDA0002472293150000181
也即，通过公式(3)分别对D(Λ)[h,w]和B(Ω)[h,w]进行求导，对应获得第二损失函数L′与Λ、Ω求导，可基于公式(3)和(5)，确定第一损失函数L′。
进一步的，神经网络包括第一子网络、第二子网络以及第三子网络；其中，输入第一子网络的训练图像的尺寸大于输入第二子网络的训练图像的尺寸，输入第二子网络的训练图像的尺寸大于输入第三子网络的训练图像的尺寸。
可选的，子网络包括编码器、特征映射器和解码器，其中，编码器的输入为输入对应子网络的训练图像。编码器和解码器的至少一个设有先验嵌入层，具体可参见上述实施例的相应部分的描述，此处不再赘述。
可在不同子网络之间融入多尺寸信息的操作，从而充分利用多个尺寸的图像的信息流和感受野，利于性能参数的优化，使得训练获得的性能参数更好地进行图像复原。
例如，在一些例子中，所述训练方法还包括：将第一子网络的编码器中，任一网络层的输出作为第二子网络的编码器和/或第三子网络的编码器中，任一网络层的输入的一部分；并将第二子网络的编码器中，任一网络层的输出作为第二子网络的编码器中，任一网络层的输入的一部分。
具体实现时，可将第一子网络的编码器中，位于该第一子网络的编码器的先验嵌入层之后的任一卷积层的输出，作为第二子网络中位于该第二子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分，和/或第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分；并将第二子网络的编码器中，位于该第二子网络的编码器的先验嵌入层之后的任一卷积层的输出，作为第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分。例如，可将第一子网络的编码器中，位于该第一子网络的编码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至第二子网络中位于该第二子网络的编码器的先验嵌入层之前的任一卷积层的输入上，和/或第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入上；并将第二子网络的编码器中，位于该第二子网络的编码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入上。
又如，在一些例子中，所述训练方法还包括：将第三子网络的解码器中，任一网络层的输出作为第二子网络的解码器和/或第一子网络的解码器中，任一网络层的输入的一部分；并将第二子网络的解码器中，任一网络层的输出作为第一子网络的解码器中，任一网络的输入的一部分。
具体实现时，可将第三子网络中，位于该第三子网络的解码器的先验嵌入层之后的任一卷积层的输出，作为第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分，和/或第二子网络中位于该第二子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分；并将第二子网络中，位于该第二子网络的解码器的先验嵌入层之后的任一卷积层的输出，作为第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分。例如，将第三子网络中，位于该第三子网络的解码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入上，和/或第二子网络中位于该第二子网络的解码器的先验嵌入层之前的任一卷积层的输入上；并将第二子网络中，位于该第二子网络的解码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入上。
此外，本发明实施例还提供一种计算机存储介质，其编码有指令，指令在由一个或多个处理器执行时，引起所述一个或多个处理器实现如上述实施例所述的图像复原方法或用于图像复原的神经网络的训练方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (82)

1.一种用于图像复原的神经网络，其特征在于，所述神经网络包括：
至少一个子网络，所述子网络的输入为待复原图像，且所述子网络设有先验嵌入层，所述先验嵌入层用于从输入所述先验嵌入层的输入信息中提取特定通道特征，并从所述输入信息中获取第一特征图，根据所述特定通道特征对所述第一特征图进行特征调整并输出，其中所述输入信息为所述待复原图像的图像特征信息。
2.根据权利要求1所述的神经网络，其特征在于，所述先验嵌入层包括：
第一特征提取层；
第二特征提取层；以及
特征调整层；
所述第一特征提取层的输出以及所述第二特征提取层的输出，输入所述特征调整层；
其中，所述第一特征提取层用于从所述输入信息中提取特定通道特征，所述第二特征提取层用于从所述输入信息获取第一特征图，所述特征调整层用于根据所述特定通道特征对所述第一特征图进行特征调整后输出。
3.根据权利要求2所述的神经网络，其特征在于，所述特定通道特征包括以下至少一种：亮通道特征、暗通道特征。
4.根据权利要求3所述的神经网络，其特征在于，所述第一特征提取层包括第一网络层和/或第二网络层；
所述第一网络层从所述输入信息中提取亮通道特征，所述第二网络层从所述输入信息中提取暗通道特征。
5.根据权利要求4所述的神经网络，其特征在于，所述第一网络层和/或所述第二网络层、以及所述第二特征提取层包括至少一个卷积层；
其中，所述输入信息包括多个区域块；
所述第一网络层从所述输入信息中提取亮通道特征包括获取输入信息中各区域块的特征值中的最大值；
所述第二网络层从所述输入信息中提取暗通道特征包括获取输入信息中各区域块的特征值中的最小值；
所述特征调整层根据所述亮通道特征和/或所述暗通道特征对所述第一特征图进行特征调整后输出包括根据所述亮通道特征和/或所述暗通道特征，对所述第一特征图中对应区域块进行特征调整并输出。
6.根据权利要求1或2所述的神经网络，其特征在于，所述特征调整层为concat层，将所述特定通道特征与所述第一特征图在通道方向进行拼接。
7.根据权利要求1所述的神经网络，其特征在于，所述子网络包括编码器、特征映射器和解码器，其中，所述编码器的输入为所述待复原图像，所述编码器的输出作为所述特征映射器的输入，所述特征映射器的输出作为所述解码器的输入，所述解码器的输出为复原图像；
所述编码器和所述解码器中的至少一个设有所述先验嵌入层。
8.根据权利要求7所述的神经网络，其特征在于，所述编码器与所述解码器的网络结构对称，所述编码器和所述解码器分别设有所述先验嵌入层。
9.根据权利要求7所述的神经网络，其特征在于，所述编码器包括先验嵌入层，位于所述编码器的先验嵌入层之前的多个卷积层以及位于所述编码器的先验嵌入层之后的多个卷积层，所述编码器的先验嵌入层的输入信息为所述待复原图像经所述编码器中位于该编码器的先验嵌入层之前的多个卷积层依次处理后获得的特征图；和/或
所述解码器包括先验嵌入层，位于所述解码器的先验嵌入层之前的多个卷积层以及位于所述解码器的先验嵌入层之后的多个卷积层，所述解码器的先验嵌入层的输入信息为所述待复原图像经所述编码器、所述特征映射器和所述解码器中位于该解码器的先验嵌入层之前的多个卷积层依次处理后获得的特征图。
10.根据权利要求9所述的神经网络，其特征在于，所述编码器还包括一个或多个下采样层，所述编码器的所述一个或多个下采样层用于对所述编码器中位于该编码器的先验嵌入层之后的任一个卷积层的输出进行下采样；和/或
所述解码器还包括一个或多个上采样层，所述解码器的所述一个或多个上采样层用于对所述解码器中位于该解码器的先验嵌入层之前的任一个卷积层的输出进行上采样。
11.根据权利要求10所述的神经网络，其特征在于，所述编码器中，所述先验嵌入层和首个下采样层之间串联连接有至少一个卷积层；和/或
所述解码器中，所述先验嵌入层和最后一个上采样层之间串联连接有至少一个卷积层。
12.根据权利要求11所述的神经网络，其特征在于，所述编码器中位于所述编码器的先验嵌入层与该编码器的首个下采样层之间的任一个卷积层的输出作为所述解码器中位于所述解码器的先验嵌入层和该解码器的最后一个上采样层之间的任一个卷积层的输入的一部分。
13.根据权利要求7所述的神经网络，其特征在于，所述特征映射器包括多个串联连接的第一残差网络层，所述多个第一残差网络层用于对所述编码器的输出进行特征提取。
14.根据权利要求13所述的神经网络，其特征在于，所述第一残差网络层包括多个串联连接的第二残差网络层，所述第二残差网络层包括至少两个串联连接的卷积层；
其中，对于所述第二残差网络层中，相邻连接的所述卷积层，前一个所述卷积层的输出经激活函数处理后，作为后一个所述卷积层的输入。
15.根据权利要求14所述的神经网络，其特征在于，所述激活函数为参数化修正线性单元PReLU。
16.根据权利要求14所述的神经网络，其特征在于，在所述第一残差网络层中，首个所述第二残差网络层的输入和最后一个所述第二残差网络层的输出共同作为所述第一残差网络层的输出，和/或
在所述第二残差网络层中，首个所述卷积层的输入和最后一个所述卷积层的输出共同作为所述第二残差网络层的输出。
17.根据权利要求16所述的神经网络，其特征在于，在所述第一残差网络层中，首个所述第二残差网络层的输入和最后一个所述第二残差网络层的输出进行特征求和后，作为所述第一残差网络层的输出；和/或
在所述第二残差网络层中，首个所述卷积层的输入和最后一个所述卷积层的输出进行特征求和后，作为所述第二残差网络层的输出。
18.根据权利要求13所述的神经网络，其特征在于，所述特征映射器还包括一个或多个下采样层和一个或多个上采样层。
19.根据权利要求18所述的神经网络，其特征在于，所述特征映射器中，所述一个或多个下采样层与所述一个或多个上采样层相对应，使得所述特征映射器的输入与所述特征映射器的输出对应的特征图的尺寸大小相等。
20.根据权利要求18所述的神经网络，其特征在于，所述特征映射器中，所述一个或多个上采样层与所述多个第一残差网络层间隔设置；和/或所述一个或多个下采样层与所述多个第一残差网络间隔设置。
21.根据权利要求18所述的神经网络，其特征在于，所述特征映射器中，首个下采样层之前的任一第一残差网络层的输出作为最后一个上采样层之后的任一第一残差网络层的输入的一部分。
22.根据权利要求7所述的神经网络，其特征在于，所述神经网络包括至少两个子网络，所述至少两个子网络的编码器的输入为不同尺寸的待复原图像，且所述至少两个子网络的解码器的输出为输入该子网络的编码器的待复原图像的尺寸大小相同的复原图像。
23.根据权利要求22所述的神经网络，其特征在于，所述神经网络包括第一子网络、第二子网络以及第三子网络；
其中，输入所述第一子网络的编码器的待复原图像的尺寸大于输入所述第二子网络的编码器的待复原图像的尺寸，输入所述第二子网络的编码器的待复原图像的尺寸大于输入所述第三子网络的编码器的待复原图像的尺寸。
24.根据权利要求23所述的神经网络，其特征在于，所述第一子网络的编码器中，任一网络层的输出作为所述第二子网络的编码器和/或所述第三子网络的编码器中，任一网络层的输入的一部分；
所述第二子网络的编码器中，任一网络层的输出作为所述第二子网络的编码器中，任一网络层的输入的一部分。
25.根据权利要求24所述的神经网络，其特征在于，所述第一子网络的编码器中，位于该第一子网络的编码器的先验嵌入层之后的任一卷积层的输出，作为所述第二子网络中位于该第二子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分，和/或所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分；
所述第二子网络的编码器中，位于该第二子网络的编码器的先验嵌入层之后的任一卷积层的输出，作为所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分。
26.根据权利要求25所述的神经网络，其特征在于，所述第一子网络的编码器中，位于该第一子网络的编码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第二子网络中位于该第二子网络的编码器的先验嵌入层之前的任一卷积层的输入上，和/或所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入上；
所述第二子网络的编码器中，位于该第二子网络的编码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入上。
27.根据权利要求23或24所述的神经网络，其特征在于，所述第三子网络的解码器中，任一网络层的输出作为所述第二子网络的解码器和/或所述第一子网络的解码器中，任一网络层的输入的一部分；
所述第二子网络的解码器中，任一网络层的输出作为所述第一子网络的解码器中，任一网络的输入的一部分。
28.根据权利要求27所述的神经网络，其特征在于，所述第三子网络中，位于该第三子网络的解码器的先验嵌入层之后的任一卷积层的输出，作为所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分，和/或所述第二子网络中位于该第二子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分；
所述第二子网络中，位于该第二子网络的解码器的先验嵌入层之后的任一卷积层的输出，作为所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分。
29.根据权利要求28所述的神经网络，其特征在于，所述第三子网络中，位于该第三子网络的解码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入上，和/或所述第二子网络中位于该第二子网络的解码器的先验嵌入层之前的任一卷积层的输入上；
所述第二子网络中，位于该第二子网络的解码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入上。
30.根据权利要求22所述的神经网络，其特征在于，所述神经网络还包括输入层，所述输入层与各子网络中的编码器相连；
所述输入层能够用于接收原始待复原图像，并根据所述原始待复原图像，获得多个不同尺寸的待复原图像；并且，将所述多个不同尺寸的待复原图像对应作为所述多个子网络的编码器的输入。
31.根据权利要求30所述的神经网络，其特征在于，所述输入层用于对所述原始待复原图像进行下采样处理，获得至少一个尺寸的第一图像；
所述多个不同尺寸的待复原图像包括所述原始待复原图像和所述至少一个尺寸的第一图像，或者所述多个不同尺寸的待复原图像包括多个尺寸的第一图像。
32.根据权利要求22所述的神经网络，其特征在于，所述神经网络还包括输出层，所述输出层与各子网络中的解码器相连，用于根据至少一个子网络的解码器输出的复原图像确定目标图像并输出。
33.根据权利要求32所述的神经网络，其特征在于，所述输出层用于根据任一子网络的解码器输出的复原图像确定目标图像，或者，所述输出层用于根据至少两个子网络中的解码器输出的复原图像共同确定目标图像。
34.根据权利要求33所述的神经网络，其特征在于，所述目标图像包括所述任一子网络中的解码器输出的复原图像，或者所述目标图像包括所述任一子网络中的解码器输出的复原图像经上采样或下采样获得的图像；或者，
所述目标图像包括所述至少两个子网络中的解码器输出的复原图像，或者所述目标图像包括所述至少两个子网络中的解码器输出的复原图像融合确定的图像。
35.根据权利要求1所述的神经网络，其特征在于，所述复原可包括如下至少一种：图像去模糊、图像增强、图像分辨率提升、图像过曝修复。
36.一种图像复原方法，其特征在于，所述方法包括：
将原始待复原图像输入用于图像复原的神经网络中，所述神经网络包括至少一个子网络，所述子网络设有先验嵌入层，其中，所述先验嵌入层用于从输入所述先验嵌入层的输入信息中获取特定通道特征以及第一特征图，并用于根据所述特定通道特征对所述先验嵌入层获取的第一特征图进行特征调整并输出，所述输入信息为所述待复原图像的图像特征信息；
获取所述神经网络根据所述特定通道特征对所述原始待复原图像进行图像复原处理后输出的目标图像。
37.根据权利要求36所述的方法，其特征在于，所述先验嵌入层包括：
第一特征提取层；
第二特征提取层；以及
特征调整层；
所述第一特征提取层的输出以及所述第二特征提取层的输出，输入所述特征调整层；
其中，所述第一特征提取层用于从所述输入信息中提取特定通道特征，所述第二特征提取层用于从所述输入信息获取第一特征图，所述特征调整层用于根据所述特定通道特征对所述第一特征图进行特征调整后输出。
38.根据权利要求37所述的方法，其特征在于，所述特定通道特征包括以下至少一种：亮通道特征、暗通道特征。
39.根据权利要求38所述的方法，其特征在于，所述第一特征提取层包括第一网络层和/或第二网络层；
所述第一网络层从所述输入信息中提取亮通道特征，所述第二网络层从所述输入信息中提取暗通道特征。
40.根据权利要求39所述的方法，其特征在于，所述第一网络层和/或所述第二网络层、以及所述第二特征提取层包括至少一个卷积层；
其中，所述输入信息包括多个区域块；
所述第一网络层从所述输入信息中提取亮通道特征包括获取输入信息中各区域块的特征值中的最大值；
所述第二网络层从所述输入信息中提取暗通道特征包括获取输入信息中各区域块的特征值中的最小值；
所述特征调整层根据所述亮通道特征和/或所述暗通道特征对所述第一特征图进行特征调整后输出包括根据所述亮通道特征和/或所述暗通道特征，对所述第一特征图中对应区域块进行特征调整并输出。
41.根据权利要求36或37所述的方法，其特征在于，所述特征调整层为concat层，将所述特定通道特征与所述第一特征图在通道方向进行拼接。
42.根据权利要求36所述的方法，其特征在于，所述子网络包括依次连接的编码器、特征映射器和解码器，其中，所述编码器和所述解码器中的至少一个设有所述先验嵌入层。
43.根据权利要求42所述的方法，其特征在于，所述编码器与所述解码器的网络结构对称，所述编码器和所述解码器分别设有所述先验嵌入层。
44.根据权利要求42所述的方法，其特征在于，所述编码器包括先验嵌入层，位于所述编码器的先验嵌入层之前的多个卷积层以及位于所述编码器的先验嵌入层之后的多个卷积层，所述编码器的先验嵌入层的输入信息为所述待复原图像经所述编码器中位于该编码器的先验嵌入层之前的多个卷积层依次处理后获得的特征图；和/或
所述解码器包括先验嵌入层，位于所述解码器的先验嵌入层之前的多个卷积层以及位于所述解码器的先验嵌入层之后的多个卷积层，所述解码器的先验嵌入层的输入信息为所述待复原图像经所述编码器、所述特征映射器和所述解码器中位于该解码器的先验嵌入层之前的多个卷积层依次处理后获得的特征图。
45.根据权利要求44所述的方法，其特征在于，所述编码器还包括一个或多个下采样层，所述编码器的所述一个或多个下采样层用于对所述编码器中位于该编码器的先验嵌入层之后的任一个卷积层的输出进行下采样；和/或
所述解码器还包括一个或多个上采样层，所述解码器的所述一个或多个上采样层用于对所述解码器中位于该解码器的先验嵌入层之前的任一个卷积层的输出进行上采样。
46.根据权利要求45所述的方法，其特征在于，所述编码器中，所述先验嵌入层和首个下采样层之间串联连接有至少一个卷积层；和/或
所述解码器中，所述先验嵌入层和最后一个上采样层之间串联连接有至少一个卷积层。
47.根据权利要求46所述的方法，其特征在于，所述编码器中位于所述编码器的先验嵌入层与该编码器的首个下采样层之间的任一个卷积层的输出作为，所述解码器中位于所述解码器的先验嵌入层和该解码器的最后一个上采样层之间的任一个卷积层的输入的一部分。
48.根据权利要求42所述的方法，其特征在于，所述特征映射器包括多个串联连接的第一残差网络层，所述多个第一残差网络层用于对所述编码器的输出进行特征提取。
49.根据权利要求48所述的方法，其特征在于，所述第一残差网络层包括多个串联连接的第二残差网络层，所述第二残差网络层包括至少两个串联连接的卷积层；
其中，对于所述第二残差网络层中，相邻连接的所述卷积层，前一个所述卷积层的输出经激活函数处理后，作为后一个所述卷积层的输入。
50.根据权利要求49所述的方法，其特征在于，所述激活函数为参数化修正线性单元PReLU。
51.根据权利要求49所述的方法，其特征在于，在所述第一残差网络层中，首个所述第二残差网络层的输入和最后一个所述第二残差网络层的输出共同作为所述第一残差网络层的输出，和/或
在所述第二残差网络层中，首个所述卷积层的输入和最后一个所述卷积层的输出共同作为所述第二残差网络层的输出。
52.根据权利要求51所述的方法，其特征在于，在所述第一残差网络层中，首个所述第二残差网络层的输入和最后一个所述第二残差网络层的输出进行特征求和后，作为所述第一残差网络层的输出；和/或
在所述第二残差网络层中，首个所述卷积层的输入和最后一个所述卷积层的输出进行特征求和后，作为所述第二残差网络层的输出。
53.根据权利要求48所述的方法，其特征在于，所述特征映射器还包括一个或多个下采样层和一个或多个上采样层。
54.根据权利要求53所述的方法，其特征在于，所述特征映射器中，所述一个或多个下采样层与所述一个或多个上采样层相对应，使得所述特征映射器的输入与所述特征映射器的输出对应的特征图的尺寸大小相等。
55.根据权利要求53所述的方法，其特征在于，所述特征映射器中，所述一个或多个上采样层与所述多个第一残差网络层间隔设置；和/或所述一个或多个下采样层与所述多个第一残差网络间隔设置。
56.根据权利要求53所述的方法，其特征在于，所述特征映射器中，首个下采样层之前的任一第一残差网络层的输出作为最后一个上采样层之后的任一第一残差网络层的输入的一部分。
57.根据权利要求42所述的方法，其特征在于，所述神经网络包括至少两个子网络，所述至少两个子网络的编码器的输入为不同尺寸的待复原图像，且所述至少两个子网络的解码器的输出为输入该子网络的编码器的待复原图像的尺寸大小相同的复原图像。
58.根据权利要求57所述的方法，其特征在于，所述神经网络包括第一子网络、第二子网络以及第三子网络；
其中，输入所述第一子网络的编码器的待复原图像的尺寸大于输入所述第二子网络的编码器的待复原图像的尺寸，输入所述第二子网络的编码器的待复原图像的尺寸大于输入所述第三子网络的编码器的待复原图像的尺寸。
59.根据权利要求58所述的方法，其特征在于，所述第一子网络的编码器中，任一网络层的输出作为所述第二子网络的编码器和/或所述第三子网络的编码器中，任一网络层的输入的一部分；
所述第二子网络的编码器中，任一网络层的输出作为所述第二子网络的编码器中，任一网络层的输入的一部分。
60.根据权利要求59所述的方法，其特征在于，所述第一子网络的编码器中，位于该第一子网络的编码器的先验嵌入层之后的任一卷积层的输出，作为所述第二子网络中位于该第二子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分，和/或所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分；
所述第二子网络的编码器中，位于该第二子网络的编码器的先验嵌入层之后的任一卷积层的输出，作为所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分。
61.根据权利要求60所述的方法，其特征在于，所述第一子网络的编码器中，位于该第一子网络的编码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第二子网络中位于该第二子网络的编码器的先验嵌入层之前的任一卷积层的输入上，和/或所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入上；
所述第二子网络的编码器中，位于该第二子网络的编码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入上。
62.根据权利要求58或59所述的方法，其特征在于，所述第三子网络的解码器中，任一网络层的输出作为所述第二子网络的解码器和/或所述第一子网络的解码器中，任一网络层的输入的一部分；
所述第二子网络的解码器中，任一网络层的输出作为所述第一子网络的解码器中，任一网络的输入的一部分。
63.根据权利要求62所述的方法，其特征在于，所述第三子网络中，位于该第三子网络的解码器的先验嵌入层之后的任一卷积层的输出，作为所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分，和/或所述第二子网络中位于该第二子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分；
所述第二子网络中，位于该第二子网络的解码器的先验嵌入层之后的任一卷积层的输出，作为所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分。
64.根据权利要求62所述的方法，其特征在于，所述第三子网络中，位于该第三子网络的解码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入上，和/或所述第二子网络中位于该第二子网络的解码器的先验嵌入层之前的任一卷积层的输入上；
所述第二子网络中，位于该第二子网络的解码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入上。
65.根据权利要求57所述的方法，其特征在于，所述神经网络还包括输入层，所述输入层与各子网络中的编码器相连；
所述输入层能够用于接收原始待复原图像，并根据所述原始待复原图像，获得多个不同尺寸的待复原图像；并且，将所述多个不同尺寸的待复原图像对应作为所述多个子网络的编码器的输入。
66.根据权利要求65所述的方法，其特征在于，所述输入层用于对所述原始待复原图像进行下采样处理，获得至少一个尺寸的第一图像；
所述多个不同尺寸的待复原图像包括所述原始待复原图像和所述至少一个尺寸的第一图像，或者所述多个不同尺寸的待复原图像包括多个尺寸的第一图像。
67.根据权利要求57所述的方法，其特征在于，所述神经网络还包括输出层，所述输出层与各子网络中的解码器相连，用于根据至少一个子网络的解码器输出的复原图像确定目标图像并输出。
68.根据权利要求55所述的方法，其特征在于，所述输出层用于根据任一子网络的解码器输出的复原图像确定目标图像，或者，所述输出层用于根据至少两个子网络中的解码器输出的复原图像共同确定目标图像。
69.根据权利要求68所述的方法，其特征在于，所述目标图像包括所述任一子网络中的解码器输出的复原图像，或者所述目标图像包括所述任一子网络中的解码器输出的复原图像经上采样或下采样获得的图像；或者，
所述目标图像包括所述至少两个子网络中的解码器输出的复原图像，或者所述目标图像包括所述至少两个子网络中的解码器输出的复原图像融合确定的图像。
70.根据权利要求36所述的方法，其特征在于，所述复原可包括如下至少一种：图像去模糊、图像增强、图像分辨率提升、图像过曝修复。
71.一种用于图像复原的神经网络的训练方法，其特征在于，所述方法包括：
将原始训练图像输入至神经网络中，所述神经网络包括至少一个子网络，所述子网络设有先验嵌入层，所述先验嵌入层用于从该先验嵌入层的输入信息中获取特定通道特征，所述输入信息为所述原始训练图像的图像特征信息；
根据所述特定通道特征，调整所述子网络的性能参数。
72.根据权利要求71所述的训练方法，其特征在于，所述性能参数包括对应子网络中的权重参数。
73.根据权利要求71所述的训练方法，其特征在于，所述特定通道特征包括以下至少一种：亮通道特征、暗通道特征。
74.根据权利要求71所述的训练方法，其特征在于，各子网络的输入为对应尺寸大小的训练图像，所述训练图像根据所述原始训练图像确定，各子网络的输出为对应训练图像进行训练后获得的初始复原图像；
所述根据所述特定通道特征，调整所述子网络的性能参数，包括：
根据各子网络的先验嵌入层提取的特定通道特征、以及各子网络输出的初始复原图像的图像特征信息、与输入各子网络的训练图像尺寸大小对应的样本图像的图像特征信息，确定对应子网络的第一损失函数，其中，所述样本图像根据原始样本图像确定；
根据所述第一损失函数，调整对应子网络的性能参数。
75.根据权利要求74所述的训练方法，其特征在于，所述据所述第一损失函数，调整所述子网络的性能参数，包括：
将所述第一损失函数反向传播，以调整所述子网络的性能参数。
76.根据权利要求74或75所述的训练方法，其特征在于，所述根据所述第一损失函数，调整对应子网络的性能参数，包括：
根据所述第一损失函数，确定对应子网络的第二损失函数；
根据所述第二损失函数，对对应子网络的先验嵌入层的性能参数进行调整。
77.根据权利要求71所述的训练方法，其特征在于，所述神经网络包括第一子网络、第二子网络以及第三子网络；其中，输入所述第一子网络的训练图像的尺寸大于输入所述第二子网络的训练图像的尺寸，输入所述第二子网络的训练图像的尺寸大于输入所述第三子网络的训练图像的尺寸；
其中，每一子网络包括编码器、特征映射器和解码器，所述编码器的输入为输入对应子网络的训练图像；
所述方法还包括：
将所述第一子网络的编码器中，任一网络层的输出作为所述第二子网络的编码器和/或所述第三子网络的编码器中，任一网络层的输入的一部分；
并将所述第二子网络的编码器中，任一网络层的输出作为所述第二子网络的编码器中，任一网络层的输入的一部分。
78.根据权利要求77所述的训练方法，其特征在于，所述编码器设有所述先验嵌入层，所述方法具体包括：
将所述第一子网络的编码器中，位于该第一子网络的编码器的先验嵌入层之后的任一卷积层的输出，作为所述第二子网络中位于该第二子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分，和/或所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分；
并将所述第二子网络的编码器中，位于该第二子网络的编码器的先验嵌入层之后的任一卷积层的输出，作为所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分。
79.根据权利要求78所述的训练方法，其特征在于，所述方法具体包括：
将所述第一子网络的编码器中，位于该第一子网络的编码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第二子网络中位于该第二子网络的编码器的先验嵌入层之前的任一卷积层的输入上，和/或所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入上；
并将所述第二子网络的编码器中，位于该第二子网络的编码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入上。
80.根据权利要求77所述的训练方法，其特征在于，所述方法还包括：
将所述第三子网络的解码器中，任一网络层的输出作为所述第二子网络的解码器和/或所述第一子网络的解码器中，任一网络层的输入的一部分；
并将所述第二子网络的解码器中，任一网络层的输出作为所述第一子网络的解码器中，任一网络的输入的一部分。
81.根据权利要求80所述的训练方法，其特征在于，所述解码器设有所述先验嵌入层，所述方法具体包括：
将所述第三子网络中，位于该第三子网络的解码器的先验嵌入层之后的任一卷积层的输出，作为所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分，和/或所述第二子网络中位于该第二子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分；
并将所述第二子网络中，位于该第二子网络的解码器的先验嵌入层之后的任一卷积层的输出，作为所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分。
82.根据权利要求80所述的训练方法，其特征在于，所述方法具体包括：
将所述第三子网络中，位于该第三子网络的解码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入上，和/或所述第二子网络中位于该第二子网络的解码器的先验嵌入层之前的任一卷积层的输入上；
并将所述第二子网络中，位于该第二子网络的解码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入上。
CN201980005463.8A 2019-04-10 2019-04-10 用于图像复原的神经网络及其训练与使用方法 Pending CN111316316A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/082049 WO2020206630A1 (zh) 2019-04-10 2019-04-10 用于图像复原的神经网络及其训练与使用方法

Publications (1)

Publication Number Publication Date
CN111316316A true CN111316316A (zh) 2020-06-19

Family

ID=71161142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980005463.8A Pending CN111316316A (zh) 2019-04-10 2019-04-10 用于图像复原的神经网络及其训练与使用方法

Country Status (2)

Country Link
CN (1) CN111316316A (zh)
WO (1) WO2020206630A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102184A (zh) * 2020-09-04 2020-12-18 西北工业大学 基于Scale-Encoder-Decoder-Net网络的图像去模糊方法
CN113192022A (zh) * 2021-04-27 2021-07-30 长治学院 基于深度学习的病原孢子识别计数方法和装置
CN113643207A (zh) * 2021-08-20 2021-11-12 Oppo广东移动通信有限公司 图像处理方法、装置及电子设备
WO2022100490A1 (en) * 2020-11-16 2022-05-19 Huawei Technologies Co.,Ltd. Methods and systems for deblurring blurry images
CN117726549A (zh) * 2024-02-07 2024-03-19 中国科学院长春光学精密机械与物理研究所 基于事件引导的图像去模糊方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669234A (zh) * 2020-12-28 2021-04-16 苏州大学 基于神经网络的高分辨率图像复原方法及系统
CN112927157B (zh) * 2021-03-08 2023-08-15 电子科技大学 采用加权最小二乘滤波的改进暗通道去雾方法
CN112950521B (zh) * 2021-04-27 2024-03-01 上海海事大学 一种图像去雾方法及生成器网络
CN113870126B (zh) * 2021-09-07 2024-04-19 深圳市点维文化传播有限公司 一种基于注意模块的Bayer图像恢复方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160005152A1 (en) * 2014-07-01 2016-01-07 Adobe Systems Incorporated Multi-Feature Image Haze Removal
CN107301624A (zh) * 2017-06-05 2017-10-27 天津大学 基于区域划分及浓雾预处理的卷积神经网络去雾算法
CN109360171A (zh) * 2018-10-26 2019-02-19 北京理工大学 一种基于神经网络的视频图像实时去模糊方法
CN109584170A (zh) * 2018-10-29 2019-04-05 西安电子科技大学 基于卷积神经网络的水下图像复原方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3064771A1 (en) * 2017-06-01 2018-12-06 Royal Bank Of Canada System and method for test generation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160005152A1 (en) * 2014-07-01 2016-01-07 Adobe Systems Incorporated Multi-Feature Image Haze Removal
CN107301624A (zh) * 2017-06-05 2017-10-27 天津大学 基于区域划分及浓雾预处理的卷积神经网络去雾算法
CN109360171A (zh) * 2018-10-26 2019-02-19 北京理工大学 一种基于神经网络的视频图像实时去模糊方法
CN109584170A (zh) * 2018-10-29 2019-04-05 西安电子科技大学 基于卷积神经网络的水下图像复原方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
干宗良 等: "基于图像先验和结构特征的盲图像复原算法" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102184A (zh) * 2020-09-04 2020-12-18 西北工业大学 基于Scale-Encoder-Decoder-Net网络的图像去模糊方法
WO2022100490A1 (en) * 2020-11-16 2022-05-19 Huawei Technologies Co.,Ltd. Methods and systems for deblurring blurry images
US11741579B2 (en) 2020-11-16 2023-08-29 Huawei Technologies Co., Ltd. Methods and systems for deblurring blurry images
CN113192022A (zh) * 2021-04-27 2021-07-30 长治学院 基于深度学习的病原孢子识别计数方法和装置
CN113643207A (zh) * 2021-08-20 2021-11-12 Oppo广东移动通信有限公司 图像处理方法、装置及电子设备
CN117726549A (zh) * 2024-02-07 2024-03-19 中国科学院长春光学精密机械与物理研究所 基于事件引导的图像去模糊方法
CN117726549B (zh) * 2024-02-07 2024-04-30 中国科学院长春光学精密机械与物理研究所 基于事件引导的图像去模糊方法

Also Published As

Publication number Publication date
WO2020206630A1 (zh) 2020-10-15

Similar Documents

Publication Publication Date Title
CN111316316A (zh) 用于图像复原的神经网络及其训练与使用方法
CN111311629B (zh) 图像处理方法、图像处理装置及设备
CN107403415B (zh) 基于全卷积神经网络的压缩深度图质量增强方法及装置
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
US20180158177A1 (en) System for processing images
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
US20190294931A1 (en) Systems and Methods for Generative Ensemble Networks
CN111754446A (zh) 一种基于生成对抗网络的图像融合方法、系统及存储介质
CN112070670B (zh) 全局-局部分离注意力机制的人脸超分辨率方法及系统
CN113168684A (zh) 提升低亮度图像的质量的方法、系统和计算机可读介质
CN113450290B (zh) 基于图像修补技术的低照度图像增强方法及系统
CN110288535B (zh) 一种图像去雨方法和装置
CN112150400B (zh) 图像增强方法、装置和电子设备
CN112200732B (zh) 一种清晰特征融合的视频去模糊方法
CN111627038A (zh) 一种背景去除方法、装置、设备及可读存储介质
CN114897711A (zh) 一种视频中图像处理方法、装置、设备及存储介质
CN116843553B (zh) 一种基于核不确定学习和退化嵌入的盲超分辨率重建方法
CN112200719B (zh) 图像处理方法、电子设备及可读存储介质
CN111932594B (zh) 一种基于光流的十亿像素视频对齐方法及装置、介质
CN115965844B (zh) 基于视觉显著性先验知识的多聚焦图像融合方法
CN116128768B (zh) 一种带有去噪模块的无监督图像低照度增强方法
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN110555414B (zh) 目标检测方法、装置、设备及存储介质
CN112489103A (zh) 一种高分辨率深度图获取方法及系统
CN110852947A (zh) 一种基于边缘锐化的红外图像超分辨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200619