CN113076966B - 图像处理方法及装置、神经网络的训练方法、存储介质 - Google Patents
图像处理方法及装置、神经网络的训练方法、存储介质 Download PDFInfo
- Publication number
- CN113076966B CN113076966B CN202010010385.5A CN202010010385A CN113076966B CN 113076966 B CN113076966 B CN 113076966B CN 202010010385 A CN202010010385 A CN 202010010385A CN 113076966 B CN113076966 B CN 113076966B
- Authority
- CN
- China
- Prior art keywords
- image
- processing
- output
- level
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 330
- 238000012549 training Methods 0.000 title claims abstract description 187
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 92
- 238000003672 processing method Methods 0.000 title claims abstract description 62
- 238000003860 storage Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 298
- 230000008569 process Effects 0.000 claims abstract description 269
- 238000004458 analytical method Methods 0.000 claims abstract description 110
- 238000011176 pooling Methods 0.000 claims abstract description 105
- 238000005070 sampling Methods 0.000 claims abstract description 57
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 37
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 22
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims description 60
- 238000001994 activation Methods 0.000 claims description 24
- 238000010606 normalization Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 7
- 230000035945 sensitivity Effects 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 149
- 238000013527 convolutional neural network Methods 0.000 description 38
- 238000010586 diagram Methods 0.000 description 17
- 238000005286 illumination Methods 0.000 description 17
- 230000004913 activation Effects 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005251 gamma ray Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000002346 layers by function Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种基于神经网络的图像处理方法、图像处理装置、神经网络的训练方法以及存储介质。该神经网络包括循环解析网络、合成网络和叠加网络，该图像处理方法包括：使用神经网络对输入图像进行处理，以得到输出图像。循环解析网络的处理包括多个层级的逐层嵌套的解析处理；除了最后一个层级的解析处理外，每个层级的解析处理包括编码处理、池化处理、标准上采样处理和解码处理；下一层级的解析处理嵌套在上一层级的池化处理和标准上采样处理之间；最后一个层级的解析处理包括：多尺度池化处理和与之对应的多尺度上采样处理，以提取特征图像的不同区域范围的特征信息，用于对输入图像的不同区域进行自适应亮度调整。
Description
技术领域
本公开的实施例涉及一种基于神经网络的图像处理方法、图像处理装置、神经网络的训练方法以及存储介质。
背景技术
当前，基于人工神经网络的深度学习技术已经在诸如图像分类、图像捕获和搜索、面部识别、年龄和语音识别等领域取得了巨大进展。深度学习的优势在于可以利用通用的结构以相对类似的系统解决非常不同的技术问题。卷积神经网络(Convolutional NeuralNetwork，CNN)是近年发展起来并引起广泛重视的一种人工神经网络，CNN是一种特殊的图像识别方式，属于非常有效的带有前向反馈的网络。现在，CNN的应用范围已经不仅仅限于图像识别领域，也可以应用在人脸识别、文字识别、图像处理等应用方向。
发明内容
本公开至少一个实施例提供一种基于神经网络的图像处理方法，其中，所述神经网络包括循环解析网络、合成网络和叠加网络，所述图像处理方法包括：获取输入图像；使用所述循环解析网络对所述输入图像进行循环解析处理，以得到中间特征图像；使用所述合成网络对所述中间特征图像进行合成处理，以得到中间输出图像；以及使用所述叠加网络对所述中间输出图像与所述输入图像进行对位相加处理，以得到输出图像；其中，所述循环解析网络的所述循环解析处理包括：N个层级的逐层嵌套的解析处理；除了第N层级的解析处理外，其余每个层级的解析处理包括编码处理、池化处理、标准上采样处理和解码处理；第i+1层级的解析处理嵌套在第i层级的池化处理和第i层级的标准上采样处理之间；第i层级的解析处理的输入作为第i层级的编码处理的输入，第i层级的编码处理的输出作为第i层级的池化处理的输入，第i层级的池化处理的输出作为第i+1层级的解析处理的输入，第i+1层级的解析处理的输出作为第i层级的标准上采样处理的输入，第i层级的编码处理的输出和第i层级的标准上采样处理的输出经过拼接处理后作为第i层级的解码处理的输入，第i层级的解码处理的输出作为第i层级的解析处理的输出；所述输入图像作为第1层级的解析处理的输入，第1层级的解析处理的输出作为所述中间特征图像；第N层级的解析处理包括：对第N层级的解析处理的输入进行编码处理，以得到第一特征图像；基于所述第一特征图像，进行多尺度池化处理和与所述多尺度池化处理对应的多尺度上采样处理，以得到多个第二特征图像，其中，所述多个第二特征图像的尺寸大小与所述第一特征图像的尺寸大小相同；将所述第一特征图像与所述多个第二特征图像进行拼接，以得到第三特征图像；以及，基于所述第三特征图像，得到第N层级的解析处理的输出；其中，N、i均为整数，且N≥2，1≤i≤N-1。
例如，在本公开一些实施例提供的图像处理方法中，基于所述第一特征图像，进行所述多尺度池化处理和与所述多尺度池化处理对应的所述多尺度上采样处理，以得到所述多个第二特征图像，包括：对所述第一特征图像进行所述多尺度池化处理，以得到多种尺度的第四特征图像；分别对所述多种尺度的第四特征图像进行降维处理，以得到多种尺度的第五特征图像；对所述多种尺度的第五特征图像进行所述多尺度上采样处理，以得到具有相同尺度的所述多个第二特征图像。
例如，在本公开一些实施例提供的图像处理方法中，基于所述第三特征图像，得到所述第N层级的解析处理的输出，包括：对所述第三特征图像进行解码处理，以得到所述第N层级的解析处理的输出；或者，将所述第三特征图像作为所述第N层级的解析处理的输出。
例如，在本公开一些实施例提供的图像处理方法中，所述第i层级的编码处理包括标准卷积处理和池化处理；第i层级的编码处理的输入作为所述第i层级的编码处理中的标准卷积处理的输入，第i层级的编码处理中的标准卷积处理的输出作为所述第i层级的编码处理中的池化处理的输入，第i层级的编码处理中的池化处理的输出作为第i层级的编码处理的输出。
例如，在本公开一些实施例提供的图像处理方法中，采用最大值池化算法执行所述第i层级的编码处理中的池化处理。
例如，在本公开一些实施例提供的图像处理方法中，所述第i层级的解码处理包括标准上采样处理和标准卷积处理；第i层级的解码处理的输入作为所述第i层级的解码处理中的标准上采样处理的输入，第i层级的解码处理中的标准上采样处理的输出作为所述第i层级的解码处理中的标准卷积处理的输入，第i层级的解码处理中的标准卷机处理的输出作为第i层级的解码处理的输出。
例如，在本公开一些实施例提供的图像处理方法中，所述标准上采样处理包括依次执行的上采样处理和卷积处理。
例如，在本公开一些实施例提供的图像处理方法中，采用双线性插值算法执行所述第N层级的解析处理中的多尺度上采样处理，以及执行所述第i层级的解码处理中的上采样处理。
例如，在本公开一些实施例提供的图像处理方法中，所述第i层级的编码处理中的标准卷积处理连续执行两次，所述第i层级的解码处理中的标准卷积处理连续执行两次。
例如，在本公开一些实施例提供的图像处理方法中，所述标准卷积处理包括依次执行的卷积处理、激活处理和批量标准化处理。
例如，在本公开一些实施例提供的图像处理方法中，在第1层级的解码处理包括一次标准卷积处理的情况下，第1层级的解码处理中的该次标准卷积处理包括依次执行的卷积处理、激活处理；在第1层级的解码处理包括多次标准卷积处理的情况下，第1层级的解码处理中的最后一次标准卷积处理包括依次执行的卷积处理、激活处理。
例如，在本公开一些实施例提供的图像处理方法中，所述输入图像为低光照图像，所述低光照图像包括在环境照度低于照度阈值的情况下拍摄得到的图像。
本公开至少一个实施例还提供一种神经网络的训练方法，其中，所述神经网络包括循环解析网络、合成网络和叠加网络，所述训练方法包括：获取训练输入图像；使用所述循环解析网络对所述训练输入图像进行循环解析处理，以得到训练中间特征图像；使用所述合成网络对所述训练中间特征图像进行合成处理，以得到训练中间输出图像；使用所述叠加网络对所述训练中间输出图像与所述训练输入图像进行对位相加处理，以得到训练输出图像；基于所述训练输出图像，通过损失函数计算所述神经网络的损失值；以及基于所述神经网络的损失值对所述神经网络的参数进行修正；其中，所述循环解析网络的所述循环解析处理包括：N个层级的逐层嵌套的解析处理；除了第N层级的解析处理外，其余每个层级的解析处理包括编码处理、池化处理、标准上采样处理和解码处理；第i+1层级的解析处理嵌套在第i层级的池化处理和第i层级的标准上采样处理之间；第i层级的解析处理的输入作为第i层级的编码处理的输入，第i层级的编码处理的输出作为第i层级的池化处理的输入，第i层级的池化处理的输出作为第i+1层级的解析处理的输入，第i+1层级的解析处理的输出作为第i层级的标准上采样处理的输入，第i层级的编码处理的输出和第i层级的标准上采样处理的输出经过拼接处理后作为第i层级的解码处理的输入，第i层级的解码处理的输出作为第i层级的解析处理的输出；所述训练输入图像作为第1层级的解析处理的输入，第1层级的解析处理的输出作为所述训练中间特征图像；第N层级的解析处理包括：对第N层级的解析处理的输入进行编码处理，以得到第一训练特征图像；基于所述第一训练特征图像，进行多尺度池化处理和与所述多尺度池化处理对应的多尺度上采样处理，以得到多个第二训练特征图像，其中，所述多个第二训练特征图像的尺寸大小与所述第一训练特征图像的尺寸大小相同；将所述第一训练特征图像与所述多个第二训练特征图像进行拼接，以得到第三训练特征图像；以及，基于所述第三训练特征图像，得到第N层级的解析处理的输出；其中，N、i均为整数，且N≥2，1≤i≤N-1。
例如，在本公开一些实施例提供的训练方法中，所述损失函数包括感知损失函数和L1范数损失函数。
例如，在本公开一些实施例提供的训练方法中，所述感知损失函数表示为：
其中，Lp(Isrc,Iout)表示所述感知损失函数，Isrc表示所述训练输入图像，Iout表示所述训练输出图像，φ表示预训练的损失网络，所述损失网络包括至少一个用于提取特征图像的卷积层，φj表示所述损失网络中的用于提取特征图像的第j个卷积层，φj(Isrc)表示所述训练输入图像输入所述损失网络时所述损失网络的第j个卷积层输出的特征图像，φj(Iout)表示所述训练输出图像输入所述损失网络时所述损失网络的第j个卷积层输出的特征图像，Cj表示所述损失网络的第j个卷积层输出的特征图像的数量，Hj表示所述损失网络的第j个卷积层输出的特征图像的高度，Wj表示所述损失网络的第j个卷积层输出的特征图像的宽度。
例如，在本公开一些实施例提供的训练方法中，在所述神经网络的训练过程中，所述损失网络的参数保持不变。
例如，在本公开一些实施例提供的训练方法中，所述L1范数损失函数表示为：
其中，LL1(Itgt,Iout)表示所述L1范数损失函数，Itgt表示所述训练输入图像对应的目标输出图像，
表示所述目标输出图像中的第m行第n列的值，Iout表示所述训练输出图像，/>
表示所述训练输出图像中的第m行第n列的值。/>
例如，在本公开一些实施例提供的训练方法中，所述训练输入图像包括在环境照度低于照度阈值的情况下采用第一模式的相机拍摄得到的图像，所述目标输出图像包括在同一情况下采用第二模式的相机拍摄得到的图像，且所述目标输出图像与所述训练输入图像的场景相同；与所述第一模式的相机相比，所述第二模式的相机采用更大光圈和更高感光度的摄像头，同时采用高动态范围图像增强、降噪的图像优化算法进行图像优化处理。
本公开至少一个实施例还提供一种图像处理装置，包括：存储器，用于非暂时性存储计算机可读指令；以及处理器，用于运行所述计算机可读指令，所述计算机可读指令被所述处理器运行时，执行本公开任一实施例提供的图像处理方法，或者执行本公开任一实施例提供的神经网络的训练方法。
本公开至少一个实施例还提供一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时能够执行本公开任一实施例提供的图像处理方法的指令，或者能够执行本公开任一实施例提供的神经网络的训练方法的指令。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1为一种卷积神经网络的示意图；
图2A为一种卷积神经网络的结构示意图；
图2B为一种卷积神经网络的工作过程示意图；
图3为本公开至少一实施例提供的一种神经网络的结构示意框图；
图4为本公开至少一实施例提供的一种基于神经网络的图像处理方法的流程图；
图5为本公开至少一实施例提供的一种对应于第N层级的解析处理的步骤的示例性流程图；
图6为本公开至少一实施例提供的一种神经网络的训练方法的流程图；
图7A为一种训练输入图像的示例图；
图7B为图7A所示的训练输入图像对应的训练输出图像的示例图；
图7C为图7A所示的训练输入图像对应的目标输出图像的示例图；
图8为本公开至少一实施例提供的一种图像处理装置的示意性框图；以及
图9为本公开至少一实施例提供的一种存储介质的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
下面通过几个具体的实施例对本公开进行说明。为了保持本公开实施例的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。当本公开实施例的任一部件在一个以上的附图中出现时，该部件在每个附图中由相同或类似的参考标号表示。
随着数码产品特别是智能手机等的普及，人们可以方便的采集到各种各样的图像信息。在实际生活中，有相当数量的图像是在光照较暗(例如黄昏、夜间等)或光照失衡(例如，亮部和暗部反差较大)等条件下拍摄得到的，这些图像统称为低光照图像。低光照图像经常会存在视觉效果较差的问题，例如图像整体或部分区域偏暗、细节信息难以捕获、颜色失真以及噪声严重等。低光照图像的这些问题严重影响人们的视觉感受或者计算机对图像的处理工作。因此，如何对低光照图像进行增强，以提高图像的亮度、对比度等，使其在人眼观看及在其他领域应用时都能达到想要的效果，一直是图像处理领域的研究热点。
低光照图像增强技术可以对低光照图像进行增强，从而在尽可能保持原有图像的纹理、结构信息的基础上，提高图像的亮度、对比度等特征，恢复图像中较暗区域的细节，使图像更美观，也能够作为一种预处理方法，满足后期其他应用使用的需要。
例如，通常的基于全局亮度调整的增强技术，可以对低光照图像的不同区域进行等比例地提亮。然而，对于亮部与暗部区域共存的图片，如果为了显示暗部区域细节而升高提亮幅度，则原有亮部区域容易产生过曝(亮度过高以致泛白)的情况；如果为了避免亮部区域过曝而降低提亮幅度，则原有暗部区域仍不够明亮，其中的细节信息依然难以分辨。
利用深度神经网络进行低光照图像增强是随着深度学习技术的发展而新兴起来的技术。例如，Chen Wei等人提出了一种基于卷积神经网络实现低光照图像增强的方法，请参见文献，Chen Wei,Wenjing Wang,Wenhan Yang,Jiaying Liu,Deep RetinexDecomposition for Low-Light Enhancement.arXiv:1708.04560v1[cs.CV]。在此将该文献全文引用结合于此，以作为本申请的一部分。该方法构建了一种Retinex-Net，它分为Decom-Net和Enhance-Net两个子网络；其中，Decom-Net能够对图像进行解耦，得到光照图和反射图；Enhance-Net可以对得到的光照图进行增强，增强后的光照图和原来的反射图相乘就得到了增强结果。同时，该方法还构建了成对的低光照/正常光照数据集，并基于该数据集对前述Retinex-Net进行训练。采用该方法对低光照图像进行增强处理，可以得到较高质量的提亮后的图像，但是，在一些情况下，该方法仍然存在丢失原图中的细节信息的问题。
本公开至少一实施例提供一种基于神经网络的图像处理方法。该神经网络包括循环解析网络、合成网络和叠加网络，该图像处理方法包括：获取输入图像；使用循环解析网络对输入图像进行循环解析处理，以得到中间特征图像；使用合成网络对中间特征图像进行合成处理，以得到中间输出图像；以及使用所述叠加网络对中间输出图像与输入图像进行对位相加处理，以得到输出图像。循环解析网络的循环解析处理包括：N个层级的逐层嵌套的解析处理；除了第N层级的解析处理外，其余每个层级的解析处理包括编码处理、池化处理、标准上采样处理和解码处理；第i+1层级的解析处理嵌套在第i层级的池化处理和第i层级的标准上采样处理之间；第i层级的解析处理的输入作为第i层级的编码处理的输入，第i层级的编码处理的输出作为第i层级的池化处理的输入，第i层级的池化处理的输出作为第i+1层级的解析处理的输入，第i+1层级的解析处理的输出作为第i层级的标准上采样处理的输入，第i层级的编码处理的输出和第i层级的标准上采样处理的输出经过拼接处理后作为第i层级的解码处理的输入，第i层级的解码处理的输出作为第i层级的解析处理的输出；输入图像作为第1层级的解析处理的输入，第1层级的解析处理的输出作为中间特征图像；第N层级的解析处理包括：对第N层级的解析处理的输入进行编码处理，以得到第一特征图像；基于第一特征图像，进行多尺度池化处理和与多尺度池化处理对应的多尺度上采样处理，以得到多个第二特征图像，其中，多个第二特征图像的尺寸大小与第一特征图像的尺寸大小相同；将第一特征图像与多个第二特征图像进行拼接，以得到第三特征图像；以及，基于第三特征图像，得到第N层级的解析处理的输出；其中，N、i均为整数，且N≥2，1≤i≤N-1。
本公开的一些实施例还提供对应于上述基于神经网络的图像处理方法的图像处理装置、神经网络的训练方法以及存储介质。
本公开的实施例提供的基于神经网络的图像处理方法，可以通过循环解析处理实现浅层特征和深层特征的特征融合，有利于在输出图像中保留输入图像的细节信息，同时，循环解析处理中的第N层级的解析处理还可以提取特征图像的不同区域范围的特征信息，以用于对输入图像的不同区域进行自适应亮度调整。从而，该图像处理方法适用于对低光照图像进行增强处理，在自适应地提亮图像的不同区域的同时，保留原图像的细节信息，提升图像的视觉效果和美感。
最初，卷积神经网络(Convolutional Neural Network，CNN)主要用于识别二维形状，其对图像的平移、比例缩放、倾斜或其他形式的变形具有高度不变性。CNN主要通过局部感知野和权值共享来简化神经网络模型的复杂性、减少权重的数量。随着深度学习技术的发展，CNN的应用范围已经不仅仅限于图像识别领域，其也可以应用在人脸识别、文字识别、动物分类、图像处理等领域。
图1示出了一种卷积神经网络的示意图。例如，该卷积神经网络可以用于图像处理，其使用图像作为输入和输出，并通过卷积核替代标量的权重。图1中仅示出了具有3层结构的卷积神经网络，本公开的实施例对此不作限制。如图1所示，卷积神经网络包括输入层101、隐藏层102和输出层103。输入层101具有4个输入，隐藏层102具有3个输出，输出层103具有2个输出，最终该卷积神经网络最终输出2幅图像。例如，输入层101的4个输入可以为4幅图像，或者1幅图像的四种特征图像。隐藏层102的3个输出可以为经过输入层101输入的图像的特征图像。
例如，如图1所示，卷积层具有权重
和偏置/>
权重/>
表示卷积核，偏置/>
是叠加到卷积层的输出的标量，其中，k是表示输入层101的标签，i和j分别是输入层101的单元和隐藏层102的单元的标签。例如，第一卷积层201包括第一组卷积核(图1中的/>
)和第一组偏置(图1中的/>
)。第二卷积层202包括第二组卷积核(图1中的/>
)和第二组偏置(图1中的/>
)。通常，每个卷积层包括数十个或数百个卷积核，若卷积神经网络为深度卷积神经网络，则其可以包括至少五层卷积层。
例如，如图1所示，该卷积神经网络还包括第一激活层203和第二激活层204。第一激活层203位于第一卷积层201之后，第二激活层204位于第二卷积层202之后。激活层(例如，第一激活层203和第二激活层204)包括激活函数，激活函数用于给卷积神经网络引入非线性因素，以使卷积神经网络可以更好地解决较为复杂的问题。激活函数可以包括线性修正单元(ReLU)函数、带泄露的线性修正单元函数(LeakyReLU)、S型函数(Sigmoid函数)或双曲正切函数(tanh函数)等。ReLU函数和LeakyReLU函数为非饱和非线性函数，Sigmoid函数和tanh函数为饱和非线性函数。例如，激活层可以单独作为卷积神经网络的一层，或者激活层也可以被包含在卷积层(例如，第一卷积层201可以包括第一激活层203，第二卷积层202可以包括第二激活层204)中。例如，LeakyReLU函数可以表示为：
其中，α为(0，1)区间内的固定参数。
例如，在第一卷积层201中，首先，对每个输入应用第一组卷积核中的若干卷积核
和第一组偏置中的若干偏置/>
以得到第一卷积层201的输出；然后，第一卷积层201的输出可以通过第一激活层203进行处理，以得到第一激活层203的输出。在第二卷积层202中，首先，对输入的第一激活层203的输出应用第二组卷积核中的若干卷积核/>
和第二组偏置中的若干偏置/>
以得到第二卷积层202的输出；然后，第二卷积层202的输出可以通过第二激活层204进行处理，以得到第二激活层204的输出。例如，第一卷积层201的输出可以为对其输入应用卷积核/>
后再与偏置/>
相加的结果，第二卷积层202的输出可以为对第一激活层203的输出应用卷积核/>
后再与偏置/>
相加的结果。
在利用卷积神经网络进行图像处理前，需要对卷积神经网络进行训练。经过训练之后，卷积神经网络的卷积核和偏置在图像处理期间保持不变。在训练过程中，各卷积核和偏置通过多组输入/输出示例图像以及优化算法进行调整，以获取优化后的卷积神经网络模型。
图2A示出了一种卷积神经网络的结构示意图，图2B示出了一种卷积神经网络的工作过程示意图。例如，如图2A和2B所示，输入图像通过输入层输入到卷积神经网络后，依次经过若干个处理过程(如图2A中的每个层级)后输出类别标识。卷积神经网络的主要组成部分可以包括多个卷积层、多个池化层和全连接层。在本公开中，应该理解的是，多个卷积层、多个池化层和全连接层等这些层每个都指代对应的处理操作，即卷积处理、池化处理、全连接处理等，所描述的神经网络(模型)也都指代对应的处理操作，后续将要描述的批量标准化层、上采样层等也与此类似，不再重复说明。例如，一个完整的卷积神经网络可以由这三种层叠加组成。例如，图2A仅示出了一种卷积神经网络的三个层级，即第一层级、第二层级和第三层级。例如，每个层级可以包括一个卷积模块和一个池化层。例如，每个卷积模块可以包括卷积层。由此，每个层级的处理过程可以包括：对输入图像进行卷积(convolution)处理以及池化(pooling)处理。例如，根据实际需要，每个卷积模块还可以包括激活层和批量标准化(batch normalization)层，从而每个层级的处理过程还可以包括激活处理和批量标准化处理。
例如，批量标准化层用于对小批量(mini-batch)的样本的特征图像进行批量标准化处理，以使各特征图像的像素的灰度值在预定范围内变化，从而降低计算难度，提高对比度。例如，预定范围可以为[-1，1]，但不限于此。例如，批量标准化层可以根据每个小批量的样本的特征图像的均值和方差，对各特征图像进行批量标准化处理。
例如，假设小批量的样本数量为T，某一卷积层输出的特征图像的数量为C，且每个特征图像均为H行W列的矩阵，则特征图像的模型表示为(T,C,W,H)。批量标准化层的批量标准化处理包括对每个通道的特征图像分别进行标准化(normalize)处理以及尺度变换和位移(scale and shift)处理，具体公式如下：
其中，xtijk为某一卷积层输出的特征图像集合中的第t个特征块(patch)、第i个特征通道、第j列、第k行的值。ytijk表示xtijk输入批量标准化层得到的结果。γi、βi为批量标准化层的批量标准化参数，γi表示第i个特征通道的尺度变换，βi表示第i个特征通道的位移。e为一个很小的正数，以避免分母为0。
卷积层是卷积神经网络的核心层。在卷积神经网络的卷积层中，一个神经元只与部分相邻层的神经元连接。卷积层可以对输入图像应用若干个卷积核(也称为滤波器)，以提取输入图像的多种类型的特征。每个卷积核可以提取一种类型的特征。卷积核一般以随机小数矩阵的形式初始化，在卷积神经网络的训练过程中卷积核将通过学习以得到合理的权值。对输入图像应用一个卷积核之后得到的结果被称为特征图像(feature map)，特征图像的数目与卷积核的数目相等。每个特征图像由一些矩形排列的神经元组成，同一特征图像的神经元共享权值，这里共享的权值就是卷积核。一个层级的卷积层输出的特征图像可以被输入到相邻的下一个层级的卷积层并再次处理以得到新的特征图像。例如，如图2A所示，第一层级的卷积层可以输出第一特征图像，该第一特征图像被输入到第二层级的卷积层再次处理以得到第二特征图像。
例如，如图2B所示，卷积层可以使用不同的卷积核对输入图像的某一个局部感受域的数据进行卷积；例如，卷积结果可以被输入激活层，该激活层根据相应的激活函数进行计算以得到输入图像的特征信息。
例如，如图2A和2B所示，池化层设置在相邻的卷积层之间，池化层是下采样的一种形式。一方面，池化层可以用于缩减输入图像的规模，简化计算的复杂度，在一定程度上减小过拟合的现象；另一方面，池化层也可以进行特征压缩，提取输入图像的主要特征。池化层能够减少特征图像的尺寸，但不改变特征图像的数量。例如，一个尺寸为12×12的输入图像，通过6×6的池化层过滤器对其进行采样，那么可以得到2×2的输出图像，这意味着输入图像上的36个像素合并为输出图像中的1个像素。最后一个池化层或卷积层可以连接到一个或多个全连接层，全连接层用于连接提取的所有特征。例如，全连接层的输出可以为一个一维矩阵，也就是向量。
下面结合附图对本公开的一些实施例及其示例进行详细说明。
图3为本公开至少一实施例提供的一种神经网络的结构示意框图。图4为本公开至少一实施例提供的一种基于神经网络的图像处理方法的流程图。例如，如图3所示，该神经网络包括循环解析网络PN、合成网络MG和叠加网络AN。例如，该神经网络可用于执行图4所示的图像处理方法。以下，结合图3所示的神经网络对图4所示的图像处理方法进行详细说明。
例如，如图4所示，该图像处理方法包括步骤S110至步骤S140。
步骤S110：获取输入图像。
例如，在步骤S110中，输入图像可以包括通过智能手机的摄像头、平板电脑的摄像头、个人计算机的摄像头、数码照相机的镜头、监控摄像头或者网络摄像头等拍摄采集的照片，其可以包括人物图像、动植物图像或风景图像等，本公开的实施例对此不作限制。
例如，输入图像可以为灰度图像，也可以为彩色图像。例如，彩色图像包括但不限于3个通道的RGB图像等。
例如，输入图像为低光照图像，其质量较低，为了提高其质量，可以对其进行图像增强处理。例如，在一些实施例中，输入图像包括在环境照度低于照度阈值的情况下拍摄得到的图像；例如，在一些示例中，照度阈值为0.1～0.2Lux(勒克斯)，但不限于此。例如，在另一些实施例中，输入图像是在光线较暗或光照失衡的条件下拍摄得到的。例如，在又一些实施例中，输入图像包括在正常光线条件下拍摄得到的短曝光图像，其中，短曝光图像的曝光时间小于拍摄得到正常图像所需的曝光时间，短曝光图像的质量未达到预设质量条件，例如存在图像不清晰、存在较多噪点、图像的视觉效果不能满足用户的需求等问题。
应当理解的是，在一些实施例中，步骤S110还可以包括判断输入图像是否为低光照图像，如果判断输入图像为低光照图像，则执行后续步骤S120至步骤S140；反之，则不执行后续步骤S120至步骤S140。例如，在一些示例中，可以通过获取摄像头所处的当前环境信息(例如，照度信息等)，来判断将要得到的输入图像是否为低光照图像；例如，在另一些示例中，可以通过评估输入图像的灰度直方图是否满足正常光照下图像的统计特性，来判断已经得到的输入图像是否为低光照图像。
步骤S120：使用循环解析网络对输入图像进行循环解析处理，以得到中间特征图像。
例如，在一些实施例中，可以使用图3中所示的循环解析网络PN执行上述循环解析处理，以得到中间特征图像FM。
例如，如图3所示，循环解析网络PN的循环解析处理包括：N个层级的逐层嵌套的解析处理，其中，N为整数，且N≥2。例如，图3中示出了循环解析处理包括5个层级(Level 1-5)的解析处理，即N＝5的情形，但不应视作对本公开的限制。
在本公开中，“嵌套”是指一个对象中包括与该对象在结构或功能方面相似或相同的另一个对象，所述对象包括但不限于流程或者网络结构等。特别地，在本公开的实施例中，第N层级的解析处理不同于前N-1个层级的解析处理。
例如，如图3所示，除了第N层级(图3中的第5层级(Level 5))的解析处理之外，其余每个层级(图3中的第1-4层级(Level 1-4))的解析处理包括编码处理、池化处理、标准上采样处理和解码处理。
例如，如图3所示，上述编码处理和解码处理均可以通过标准卷积模块CN实现。例如，在一些实施例中，标准卷积模块CN可以包括卷积层、激活层和批量标准化层，例如，卷积层、激活层和批量标准化层依次连接，但不限于此。也就是说，编码处理和解码处理各自均可以包括卷积处理、激活处理和批量标准化处理，例如，卷积处理、激活处理和批量标准化处理依次执行，但不限于此。例如，卷积处理可以采用3×3的卷积核，但不限于此。例如，在一些实施例中，激活处理可以采用LeakyReLU函数作为激活函数，但不限于此；例如，在一些示例中，LeakyReLU函数的固定参数α的取值区间为(0.05，0.3)，例如α的取值可以为0.05、0.1、0.15、0.2、0.25、0.3等，但不限于此。
需要说明的是，在本公开的实施例中，“连接”可以表示在信号(例如，特征图)传输的方向上将两个功能对象(例如，子网络、下采样层、上采样层等)中的在前的一个功能对象的输出作为在后的另一个功能对象的输入。
例如，如图3所示，上述池化处理可以通过池化层PL实现。例如，池化处理可以采用2×2的池化层过滤器，但不限于此。例如，采用2×2的池化层过滤器进行池化处理时，输出的特征图像的宽度为输入特征图像的宽度的1/2，输出的特征图像的高度为输入特征图像的高度的1/2，即池化处理的下采样因子为1/2。例如，在一些实施例中，可以采用最大值池化(max pooling)算法进行池化处理；例如，在另一些实施例中，可以采用平均值池化(average pooling)算法进行池化处理。需要说明的是，本公开的实施例包括但不限于此。
例如，如图3所示，上述标准上采样处理可以通过标准上采样模块USC实现。例如，在一些实施例中，标准上采样模块USC可以包括依次连接的上采样层和卷积层，也就是说，标准上采样处理可以包括依次执行的上采样处理和卷积处理。例如，上采样处理用于增大特征图像的尺寸，从而增加特征图像的数据量。例如，上采样层可以采用跨度转置卷积(strided transposed convolution)、插值算法等上采样方法实现上采样处理。插值算法例如可以包括内插值、双线性插值(Bilinear Interprolation)、双立方插值(BicubicInterprolation)等算法。例如，在本公开的一些实施例中，可以采用双线性插值算法进行上采样处理，从而可以对低光照图像具有较好的图像增强效果。例如，在使用双线性插值算法进行上采样处理时，输出的特征图像的宽度为输入特征图像的宽度的2倍，输出的特征图像的高度为输入特征图像的高度的2倍，即上采样处理的上采样因子为2。
例如，如图3所示，在i为整数且1≤i≤N-1的情况下，第i+1层级的解析处理嵌套在第i层级的池化处理和第i层级的标准上采样处理之间。第i层级的解析处理的输入作为第i层级的编码处理的输入，第i层级的编码处理的输出作为第i层级的池化处理的输入，第i层级的池化处理的输出作为第i+1层级的解析处理的输入，第i+1层级的解析处理的输出作为第i层级的标准上采样处理的输入，第i层级的编码处理的输出和第i层级的标准上采样处理的输出经过拼接处理(如图3中的第1-4层级的CONCAT所示)后作为第i层级的解码处理的输入，第i层级的解码处理的输出作为第i层级的解析处理的输出。例如，拼接处理CONCAT是指：将待拼接的多个(例如，两个或两个以上)图像的各通道图像沿通道方向堆叠，从而使得拼接得到的图像的通道数为待拼接的多个图像的通道数之和。应当理解的是，待拼接的多个图像通常具有相同的尺寸大小，即具有相同的高度和宽度。
例如，如图3所示，输入图像作为第1层级的解析处理的输入，第1层级的解析处理的输出作为中间特征图像。
图5为本公开至少一实施例提供的一种对应于第N层级的解析处理的步骤的示例性流程图。以下，结合图3所示的第N层级(图3中的第5层级(Level5))的解析处理，对图5所示的第N层级的解析处理的步骤进行详细说明。
例如，如图5所示，第N层级的解析处理包括步骤S210至步骤S240。
步骤S210：对第N层级的解析处理的输入进行编码处理，以得到第一特征图像。
例如，如图3所示，第N-1层级的池化处理的输出作为第N层级的解析处理的输入，对其进行编码处理，以得到第一特征图像F1。例如，如图3所示，第N层级的解析处理中的编码处理也可以通过前述标准卷积模块CN实现，在此不再重复赘述。
步骤S220：基于第一特征图像，进行多尺度池化处理和与多尺度池化处理对应的多尺度上采样处理，以得到多个第二特征图像。
例如，在步骤S220中，该多个第二特征图像的尺寸大小相同，且与所第一特征图像的尺寸大小相同。例如，在一些实施例中，如图3所示，步骤S220可以包括以下步骤(1)-(3)。
(1)对第一特征图像F1进行多尺度池化处理，以得到多种尺度的第四特征图像F4。
例如，如图3所示，多尺度池化处理SPL可以包括采用多种不同尺寸大小的池化层过滤器分别对第一特征图像F1进行池化处理(例如，采用最大值池化算法，但不限于此)，每种尺寸大小的池化层过滤器可以对应得到一种尺度的第四特征图像F4。例如，图3中示出了采用4种不同尺寸大小的池化层过滤器的情形；例如，在一些示例中，上述4种不同尺寸大小分别为2×2、4×4、6×6、8×8。应当理解的是，图3是示例性的，不应视作对本公开的限制。也就是说，多尺度池化处理SPL包括的池化层过滤器的种类和具体的尺寸数值均可以根据实际需要进行设置，本公开的实施例对此不作限制。
例如，在一些实施例中，多尺度池化处理SPL中的各种尺度的池化处理均可以采用最大值池化算法实现，但不限于此。
(2)分别对多种尺度的第四特征图像F4进行降维处理，以得到多种尺度的第五特征图像F5。
例如，如图3所示，可以使用卷积层Cv对每种尺度的第四特征图像F4进行降维处理；例如，在一些示例中，卷积层Cv可以采用1×1的卷积核对数据进行降维处理，减少特征图像的数量(即减少通道数)，从而减少后续处理中的参数数量，降低计算量，提高处理速度。
例如，在一些实施例中，步骤(1)中的多尺度池化处理包括M种同尺寸大小的池化层过滤器，在此情况下，降维处理用于将特征图像的数量减少为原来的1/M；例如，每种尺度对应的第三特征图像F3的通道数为该种尺度的第二特征图像F2的通道数的1/M。
应当理解的是，降维处理不影响特征图像的尺寸大小，也就是说，每种尺度的第五特征图像F5与对应的第四特征图像F4具有相同的尺寸大小。
(3)对多种尺度的第五特征图像F5进行多尺度上采样处理，以得到具有相同尺度的多个第二特征图像F2。
例如，如图3所示，多尺度上采样处理SUS中包括多种不同尺度的上采样处理，各种尺度的上采样处理与多尺度池化处理SPL中的各种尺度的池化处理一一对应，每种尺度的上采样处理的上采样因子与该种尺度的池化处理的下采样因子对应，即：当某种尺度的池化处理的下采样因子为1/y时，该种尺度对应的上采样处理的上采样因子为y，其中，y为整数且y≥2。从而，得到的多个第二特征图像F2具有相同尺度(即具有相同的尺寸大小)，同时，该多个第二特征图像F2与第一特征图像F1也具有相同的尺寸大小。
例如，在一些实施例中，多尺度上采样处理SUS中的各种尺度的上采样处理均可以采用双线性插值算法实现，但不限于此。
步骤S230：将第一特征图像与多个第二特征图像进行拼接，以得到第三特征图像。
例如，由于多个第二特征图像F2与第一特征图像F1也具有相同的尺寸大小，因此，如图3所示，可以将第一特征图像F1与多个第二特征图像F2进行拼接，以得到第三特征图像F3。例如，此处的拼接操作可以参考前述拼接处理CONCAT的相关描述，在此不再重复赘述。
例如，步骤的S220中的多尺度池化处理SPL可以提取特征图像的不同区域范围的特征信息，相应地，步骤S220中得到的多个第二特征图像也包含该不同区域范围的特征信息；由于该不同区域范围的特征信息有助于神经网络模型理解输入图像的全局内容，因此，在步骤S230中将该多个第二特征图像与第一特征图像沿通道方向拼接起来后参与后续处理，有助于实现对输入图像的不同区域进行自适应亮度调整。
步骤S240：基于第三特征图像，得到第N层级的解析处理的输出。
例如，在一些实施例中，如图3所示，步骤S240包括：对第三特征图像F3进行解码处理，以得到第N层级的解析处理的输出。例如，在一些示例中，如图3所示，第N层级的解析处理中的解码处理可以通过卷积层Cv实现，即该解码处理可以包括卷积处理；例如，在另一些示例中，第N层级的解析处理中的解码处理也可以通过前述标准卷积模块CN实现，即该解码处理可以包括卷积处理、激活处理和批量标准化处理。应当理解的是，在另一些实施例中，可以直接将第三特征图像F3作为第N层级的解析处理的输出，本公开的实施例对此不作限制。
例如，如图3所示，第N层级的解析处理的输出作为第N-1层级的标准上采样处理的输入。
应当理解的是，在本公开的实施例提供的神经网络中，循环解析网络采用了类似于U型网络(U-net)的网络架构，通过浅层特征和深层特征的特征融合，有利于在输出图像中保留输入图像的细节信息；同时，循环解析处理中的第N层级的解析处理不同于其余N-1层的解析处理，该第N层级的解析处理可以提取特征图像的不同区域范围的特征信息，以用于对输入图像的不同区域进行自适应亮度调整。
应当理解的是，图3中所示的循环解析网络是示例性的，而非限制性的，在应用过程中，可以根据实际需要对其结构进行变型或微调。例如，在一些实施例中，在图3所示的循环解析网络中，第i层级的编码处理中的标准卷积处理可以连续执行两次，同时，第i层级的解码处理中的标准卷积处理也可以连续执行两次。例如，在一些实施例中，第1层级的解码处理在输出中间特征图像时，可以省略批量标准化处理，从而减少运算量，提高神经网络的处理速度。例如，在一些示例中，在第1层级的解码处理包括一次标准卷积处理的情况下，第1层级的解码处理中的该次标准卷积处理可以包括依次执行的卷积处理、激活处理，即省略该次标准卷积处理中的批量标准化处理；例如，在另一些实施例中，在第1层级的解码处理包括多次标准卷积处理的情况下，第1层级的解码处理中的最后一次标准卷积处理包括依次执行的卷积处理、激活处理，即省略该次标准卷积处理中的批量标准化处理。
步骤S130：使用合成网络对所述中间特征图像进行合成处理，以得到中间输出图像。
例如，在一些实施例中，如图3所示，可以使用合成网络MG对中间特征图像FM进行合成处理，以得到中间输出图像OM。例如，在一些示例中，合成网络可以包括卷积层等，也就是说，合成处理包括卷积处理等。例如，中间输出图像OM的通道数与输入图像的通道数对应。例如，在一些示例中，当输入图像为1个通道的灰度图像时，中间输出图像OM可以包括1个通道的特征图像；例如，在另一些示例中，当输入图像为例如3个通道的RGB图像(即彩色图像)时，中间输出图像OM可以包括3个通道的特征图像，该3个通道的特征图像分别与输入图像的3个通道一一对应。需要说明的是，本公开的实施例对合成网络MG的结构和参数不作限制，只要其能将卷积特征维度(即中间特征图像FM)转换为中间输出图像OM即可。
步骤S140：使用叠加网络对中间输出图像与输入图像进行对位相加处理，以得到输出图像。
例如，在一些实施例中，如图3所示，可以使用叠加网络AN对中间输出图像OM与输入图像进行对位相加处理ADD，以得到输出图像。例如，对位相加处理ADD通常是指将输入图像的每个通道的图像矩阵的每一行、每一列的数值与中间输出图像的对应通道的图像矩阵的每一行、每一列的数值对应相加。例如，输出图像的通道数与输入图像的通道数对应。例如，在一些示例中，当输入图像为1个通道的灰度图像时，输出图像可以为1个通道的灰度图像；例如，在另一些示例中，当输入图像为例如3个通道的RGB图像(即彩色图像)时，输出图像可以为3个通道的RGB图像。
需要说明的是，在本公开的实施例中，图3所示的神经网络是示例性的，而非限制性的。还需要说明的是，在对神经网络进行训练之前，该神经网络可能完全不具有图像增强处理的功能，或者也可能具有图像增强处理的功能，但是图像增强处理的效果不好；对待训练的神经网络进行训练后得到的神经网络具有图像增强处理的功能，可以对低光照图像进行图像增强处理。
需要说明的是，在本公开的实施例中，神经网络以及神经网络中的各种网络、模块和功能层等均可以采用软件、硬件、固件或其任意组合等方式实现，从而执行相应的处理过程。
需要说明的是，在本公开的实施例中，上述图像处理方法的流程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行。虽然上文描述的图像处理方法的流程包括特定顺序出现的多个操作，但是应该清楚地了解，多个操作的顺序并不受限制。上文描述的图像处理方法可以执行一次，也可以按照预定条件执行多次。
本公开的实施例提供的基于神经网络的图像处理方法，可以通过循环解析处理实现浅层特征和深层特征的特征融合，有利于在输出图像中保留输入图像的细节信息，同时，循环解析处理中的第N层级的解析处理还可以提取特征图像的不同区域范围的特征信息，以用于对输入图像的不同区域进行自适应亮度调整。从而，该图像处理方法适用于对低光照图像进行增强处理，在自适应地提亮图像的不同区域的同时，保留原图像的细节信息，提升图像的视觉效果和美感。
本公开至少一实施例还提供一种神经网络的训练方法。例如，该训练方法可以用于训练前述图像处理方法中使用的神经网络，例如包括但不限于图3所示的神经网络。例如，如图3所示，该神经网络包括循环解析网络PN、合成网络MG和叠加网络AN。图6为本公开至少一实施例提供的一种神经网络的训练方法的流程图。以下结合图3所示的神经网络对本公开的实施例提供的训练方法进行说明。
例如，如图6所示，该训练方法包括步骤S310至步骤S360。
步骤S310：获取训练输入图像。
例如，与前述步骤S110中的输入图像类似，训练输入图像也可以包括通过智能手机的摄像头、平板电脑的摄像头、个人计算机的摄像头、数码照相机的镜头、监控摄像头或者网络摄像头等拍摄采集的照片，其可以包括人物图像、动植物图像或风景图像等，本公开的实施例对此不作限制。
例如，训练输入图像可以为灰度图像，也可以为彩色图像。例如，彩色图像包括但不限于3个通道的RGB图像等。
例如，训练输入图像为低光照图像，其质量较低，为了提高其质量，可以对其进行图像增强处理。例如，在一些实施例中，训练输入图像包括在环境照度低于照度阈值的情况下拍摄得到的图像；例如，在一些示例中，照度阈值为0.1～0.2Lux(勒克斯)，但不限于此。例如，在另一些实施例中，训练输入图像是在光线较暗或光照失衡的条件下拍摄得到的。例如，在又一些实施例中，训练输入图像包括在正常光线条件下拍摄得到的短曝光图像，其中，短曝光图像的曝光时间小于拍摄得到正常图像所需的曝光时间，短曝光图像的质量未达到预设质量条件，例如存在图像不清晰、存在较多噪点、图像的视觉效果不能满足用户的需求等问题。
例如，在一些实施例中，上述训练方法还包括：在获取训练输入图像的同时，获取与训练输入图像对应的目标输出图像，以得到成对的训练输入图像/目标输出图像构成的训练集。
例如，在一些示例中，训练输入图像包括在环境照度低于照度阈值的情况下采用第一模式(例如，普通模式等)的相机拍摄得到的图像，目标输出图像包括在同一情况下采用第二模式(例如，夜景模式等)的相机拍摄得到的图像，且目标输出图像与训练输入图像的场景相同。例如，上述相机(包括具有相机功能的智能手机、平板电脑等)为同一款相机，而该同一款相机具备第一模式和第二模式。例如，与第一模式的相机相比，第二模式的相机采用更大光圈和更高感光度的摄像头，同时采用高动态范围图像(High Dynamic Range，HDR)增强、降噪的图像优化算法进行图像优化处理。在此情况下，训练输入图像为低光照图像，而目标输出图像相当于正常光照图像。
例如，在另一些示例中，训练输入图像包括在正常光线条件下拍摄得到的短曝光图像，而目标输出图像包括在同一条件下拍摄得到的正常曝光图像。例如，训练输入图像和目标输出图像采用同一款相机(采用同一模式，例如，普通模式等)拍摄得到。在此情况下，训练输入图像相当于低光照图像，而目标输出图像为正常光照图像。
需要说明的是，本公开的实施例对上述训练集的构建方法不作限制。
需要说明的是，在训练过程中，图3中的输入图像应当理解为训练输入图像，相应地，图3中的输出图像应当理解为训练输出图像，其他特征图像FM、OM以及F1-F5等也应当理解为训练过程中的特征图像，下文中不再重复赘述。
步骤S320：使用循环解析网络对训练输入图像进行循环解析处理，以得到训练中间特征图像。
例如，如图3所示，可以使用循环解析网络PN执行上述循环解析处理，以得到训练中间特征图像FM。
例如，如图3所示，循环解析网络PN的循环解析处理包括：N个层级的逐层嵌套的解析处理，其中，N为整数，且N≥2。例如，如图3所示，除了第N层级的解析处理之外，其余每个层级的解析处理包括编码处理、池化处理、标准上采样处理和解码处理。
例如，如图3所示，在i为整数且1≤i≤N-1的情况下，第i+1层级的解析处理嵌套在第i层级的池化处理和第i层级的标准上采样处理之间。第i层级的解析处理的输入作为第i层级的编码处理的输入，第i层级的编码处理的输出作为第i层级的池化处理的输入，第i层级的池化处理的输出作为第i+1层级的解析处理的输入，第i+1层级的解析处理的输出作为第i层级的标准上采样处理的输入，第i层级的编码处理的输出和第i层级的标准上采样处理的输出经过拼接处理后作为第i层级的解码处理的输入，第i层级的解码处理的输出作为第i层级的解析处理的输出。例如，如图3所示，训练输入图像作为第1层级的解析处理的输入，第1层级的解析处理的输出作为训练中间特征图像FM。
例如，第N层级的解析处理包括：对第N层级的解析处理的输入进行编码处理，以得到第一训练特征图像F1；基于第一训练特征图像F1，进行多尺度池化处理和与多尺度池化处理对应的多尺度上采样处理，以得到多个第二训练特征图像F2，其中，多个第二训练特征图像F2的尺寸大小与第一训练特征图像F1的尺寸大小相同；将第一训练特征图像F1与多个第二训练特征图像F2进行拼接，以得到第三训练特征图像F3；以及，基于第三训练特征图像F3，得到第N层级的解析处理的输出。例如，如图3所示，第N层级的解析处理的输出作为第N-1层级的标准上采样处理的输入。
例如，步骤S320中的循环缩放网络PN和循环解析处理的更具体的过程和更多细节可以参考前述步骤S120中的相关描述，在此不再重复赘述。
步骤S330：使用合成网络对训练中间特征图像进行合成处理，以得到训练中间输出图像。
例如，如图3所示，可以使用合成网络MG对训练中间特征图像FM进行合成处理，以得到训练中间输出图像OM。
例如，步骤S330中的合成网络MG和合成处理的具体过程和更多细节可以参考前述步骤S130中的相关描述，在此不再重复赘述。
步骤S340：使用叠加网络对训练中间输出图像与训练输入图像进行对位相加处理，以得到训练输出图像。
例如，如图3所示，可以使用叠加网络AN对训练中间输出图像OM与训练输入图像进行对位相加处理，以得到训练输出图像。
例如，步骤S340中的叠加网络AN和对位相加处理的具体过程和更多细节可以参考前述步骤S140中的相关描述，在此不再重复赘述。
步骤S350：基于训练输出图像，通过损失函数计算神经网络的损失值。
例如，该神经网络的参数包括循环解析网络PN的参数和合成网络MG的参数(例如，叠加网络不包括参数)。例如，该神经网络的初始参数可以为随机数，例如随机数符合高斯分布，本公开的实施例对此不作限制。
例如，在一些实施例中，损失函数可以包括感知损失函数和L1范数损失函数。
例如，在一些示例中，感知损失函数可以表示为：
其中，Lp(Isrc,Iout)表示感知损失函数，Isrc表示训练输入图像，Iout表示训练输出图像，φ表示预训练的损失网络，损失网络包括至少一个用于提取特征图像的卷积层，φj表示损失网络中的用于提取特征图像的第j个卷积层，φj(Isrc)表示训练输入图像输入损失网络时损失网络的第j个卷积层输出的特征图像，φj(Iout)表示训练输出图像输入损失网络时损失网络的第j个卷积层输出的特征图像，Cj表示损失网络的第j个卷积层输出的特征图像的数量，Hj表示损失网络的第j个卷积层输出的特征图像的高度，Wj表示损失网络的第j个卷积层输出的特征图像的宽度。
例如，在神经网络的训练过程中，上述预训练的损失网络(即训练好的损失网络)的参数保持不变。例如，上述预训练的损失网络可以采用AlexNet、GoogleNet、VGG(例如，VGG-16或VGG-19)、Deep Residual Learning等常用的神经网络模型，本公开的实施例对此不作限制。例如，VGG网络为深度卷积神经网络的一种，由牛津大学视觉几何组(VisualGeometry Group)开发，已经在视觉识别领域得到广泛应用。
例如，感知损失函数的主要作用在于保留原图中的细节。
例如，在一些示例中，L1范数损失函数可以表示为：
其中，LL1(Itgt,Iout)表示L1范数损失函数，Itgt表示训练输入图像对应的目标输出图像，
表示目标输出图像中的第m行第n列的值，Iout表示训练输出图像，/>
表示训练输出图像中的第m行第n列的值。
例如，L1范数损失函数的主要作用在于控制训练输出图像和目标输出图像在每个像素位置上的亮度趋向于一致。
因此，联合使用感知损失函数和L1范数损失函数，可以在保留原图像的细节信息的同时，对原图像进行提亮(基于前述循环解析处理，还可以实现对图像的不同区域实现自适应的提亮)，从而提升图像的视觉效果和美感。
需要说明的是，上述损失函数是示例性的，本公开的实施例对此不作限制，即神经网络的损失函数可以根据实际需要进行设置。
步骤S360：基于神经网络的损失值对神经网络的参数进行修正。
例如，在神经网络的训练过程中还可以包括优化函数，优化函数可以根据损失函数计算得到的损失值计算神经网络的参数的误差值，并根据该误差值对神经网络的参数进行修正。例如，优化函数可以采用批量梯度下降(batch gradient descent,BGD)算法、随机梯度下降(stochastic gradient descent，SGD)算法等计算神经网络的参数的误差值。
例如，神经网络的训练方法还可以包括：判断神经网络的训练是否满足预定条件，若不满足预定条件，则重复执行上述训练过程(即步骤S310至步骤S360)；若满足预定条件，则停止上述训练过程，得到训练好的神经网络。例如，在一个示例中，上述预定条件为连续两幅(或更多幅)训练输出图像对应的损失值不再显著减小。例如，在另一个示例中，上述预定条件为神经网络的训练次数或训练周期达到预定数目。本公开对此不作限制。
需要说明的是，上述实施例仅是示意性说明神经网络的训练过程。本领域技术人员应当知道，在训练阶段，需要利用大量样本图像对神经网络进行训练；同时，在每一幅样本图像训练过程中，都可以包括多次反复迭代以对神经网络的参数进行修正。又例如，训练阶段还包括对神经网络的参数进行微调(fine-tune)，以获取更优化的参数。
例如，训练好的神经网络可以用于执行前述图像处理方法。
图7A为一种训练输入图像的示例图，图7B为使用训练好的神经网络对图7A所示的训练输入图像进行处理得到的训练输出图像的示例图，图7C为图7A所示的训练输入图像对应的目标输出图像的示例图。应当理解的是，图7A所示的训练输入图像可以视为前述图像处理方法的输入图像，图7B所示的训练输出图像可以视为前述图像处理方法的输出图像。
例如，与图7A所示的训练输入图像(例如，低光照图像)相比，图7B所示的训练输出图像实现了不同区域的自适应提亮，同时保留了原图像的细节信息，提高了对比度，削弱了噪声，从而，图7B所示的训练输出图像的质量及视觉效果接近于图7C所示的目标输出图像(例如，正常光照图像)的质量及视觉效果。
需要说明的是，在本公开的实施例中，上述神经网络的训练方法的流程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行。虽然上文描述的神经网络的训练方法的流程包括特定顺序出现的多个操作，但是应该清楚地了解，多个操作的顺序并不受限制。上文描述的神经网络的训练方法可以执行一次，也可以按照预定条件执行多次。
本公开的实施例提供的神经网络的训练方法的技术效果可以参考前述实施例中关于图像处理方法的相应描述，在此不再重复赘述。
本公开至少一实施例还提供一种图像处理装置。图8为本公开至少一实施例提供的一种图像处理装置的示意性框图。例如，如图8所示，该图像处理装置500包括存储器510和处理器520。
例如，存储器510用于非暂时性存储计算机可读指令，处理器520用于运行该计算机可读指令，该计算机可读指令被处理器520运行时执行本公开任一实施例提供的图像处理方法或/和神经网络的训练方法。
例如，存储器510和处理器520之间可以直接或间接地互相通信。例如，在一些示例中，如图8所示，该图像处理装置500还可以包括系统总线530，存储器510和处理器520之间可以通过系统总线530互相通信，例如，处理器520可以通过系统总线1006访问存储器510。例如，在另一些示例中，存储器510和处理器520等组件之间可以通过网络连接进行通信。网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。网络可以包括局域网、互联网、电信网、基于互联网和/或电信网的物联网(Internet of Things)、和/或以上网络的任意组合等。有线网络例如可以采用双绞线、同轴电缆或光纤传输等方式进行通信，无线网络例如可以采用3G/4G/5G移动通信网络、蓝牙、Zigbee或者WiFi等通信方式。本公开对网络的类型和功能在此不作限制。
例如，处理器520可以控制图像处理装置中的其它组件以执行期望的功能。处理器520可以是中央处理单元(CPU)、张量处理器(TPU)或者图形处理器GPU等具有数据处理能力和/或程序执行能力的器件。中央处理器(CPU)可以为X86或ARM架构等。GPU可以单独地直接集成到主板上，或者内置于主板的北桥芯片中。GPU也可以内置于中央处理器(CPU)上。
例如，存储器510可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。
例如，在存储器510上可以存储一个或多个计算机指令，处理器520可以运行所述计算机指令，以实现各种功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如中间特征图像、中间输出图像以及应用程序使用和/或产生的各种数据等。
例如，存储器510存储的一些计算机指令被处理器520执行时可以执行根据上文所述的图像处理方法中的一个或多个步骤。又例如，存储器510存储的另一些计算机指令被处理器520执行时可以执行根据上文所述的神经网络的训练方法中的一个或多个步骤。
例如，如图8所示，图像处理装置500还可以包括允许外部设备与图像处理装置500进行通信的输入接口540。例如，输入接口540可被用于从外部计算机设备、从用户等处接收指令。图像处理装置500还可以包括使图像处理装置500和一个或多个外部设备相互连接的输出接口550。例如，图像处理装置500可以通过输出接口550显示图像等。通过输入接口1010和输出接口1012与图像处理装置500通信的外部设备可被包括在提供任何类型的用户可与之交互的用户界面的环境中。用户界面类型的示例包括图形用户界面、自然用户界面等。例如，图形用户界面可接受来自用户采用诸如键盘、鼠标、遥控器等之类的(诸)输入设备的输入，以及在诸如显示器之类的输出设备上提供输出。此外，自然用户界面可使得用户能够以无需受到诸如键盘、鼠标、遥控器等之类的输入设备强加的约束的方式来与图像处理装置500交互。相反，自然用户界面可依赖于语音识别、触摸和指示笔识别、屏幕上和屏幕附近的手势识别、空中手势、头部和眼睛跟踪、语音和语音、视觉、触摸、手势、以及机器智能等。
另外，图像处理装置500尽管在图8中被示出为单个系统，但可以理解，图像处理装置500也可以是分布式系统，还可以布置为云设施(包括公有云或私有云)。因此，例如，若干设备可以通过网络连接进行通信并且可共同执行被描述为由图像处理装置500执行的任务。
例如，关于图像处理方法的处理过程的详细说明可以参考上述图像处理方法的实施例中的相关描述，关于神经网络的训练方法的处理过程的详细说明可以参考上述神经网络的训练方法的实施例中的相关描述，重复之处不再赘述。
例如，在一些示例中，该图像处理装置可以包括但不限于智能手机、平板电脑、个人计算机、监控系统等设备或系统。
需要说明的是，本公开的实施例提供的图像处理装置是示例性的，而非限制性的，根据实际应用需要，该图像处理装置还可以包括其他常规部件或结构，例如，为实现图像处理装置的必要功能，本领域技术人员可以根据具体应用场景设置其他的常规部件或结构，本公开的实施例对此不作限制。
本公开的实施例提供的图像处理装置的技术效果可以参考上述实施例中关于图像处理方法以及神经网络的训练方法的相应描述，在此不再赘述。
本公开至少一实施例还提供一种存储介质。图9为本公开一实施例提供的一种存储介质的示意图。例如，如图9所示，该存储介质600非暂时性地存储计算机可读指令601，当非暂时性计算机可读指令601由计算机(包括处理器)执行时可以执行本公开任一实施例提供的压缩与加速方法的指令或者可以执行本公开任一实施例提供的数据处理方法的指令。
例如，在存储介质600上可以存储一个或多个计算机指令。存储介质600上存储的一些计算机指令可以是例如用于实现上述压缩与加速方法中的一个或多个步骤的指令。存储介质上存储的另一些计算机指令可以是例如用于实现上述数据处理方法中的一个或多个步骤的指令。例如，在存储介质上可以存储上述位宽可调的量化模型。
例如，存储介质可以包括平板电脑的存储部件、个人计算机的硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、光盘只读存储器(CD-ROM)、闪存、或者上述存储介质的任意组合，也可以为其他适用的存储介质。
本公开的实施例提供的存储介质的技术效果可以参考上述实施例中关于图像处理方法以及神经网络的训练方法的相应描述，在此不再赘述。
对于本公开，有以下几点需要说明：
(1)本公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
(2)在不冲突的情况下，本公开同一实施例及不同实施例中的特征可以相互组合。
以上，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。
Claims (20)
1.一种基于神经网络的图像处理方法，其中，所述神经网络包括循环解析网络、合成网络和叠加网络，所述图像处理方法包括：
获取输入图像；
使用所述循环解析网络对所述输入图像进行循环解析处理，以得到中间特征图像；
使用所述合成网络对所述中间特征图像进行合成处理，以得到中间输出图像；以及
使用所述叠加网络对所述中间输出图像与所述输入图像进行对位相加处理，以得到输出图像；其中，
所述循环解析网络的所述循环解析处理包括：N个层级的逐层嵌套的解析处理；
除了第N层级的解析处理外，其余每个层级的解析处理包括编码处理、池化处理、标准上采样处理和解码处理；
第i+1层级的解析处理嵌套在第i层级的池化处理和第i层级的标准上采样处理之间；
第i层级的解析处理的输入作为第i层级的编码处理的输入，第i层级的编码处理的输出作为第i层级的池化处理的输入，第i层级的池化处理的输出作为第i+1层级的解析处理的输入，第i+1层级的解析处理的输出作为第i层级的标准上采样处理的输入，第i层级的编码处理的输出和第i层级的标准上采样处理的输出经过拼接处理后作为第i层级的解码处理的输入，第i层级的解码处理的输出作为第i层级的解析处理的输出；
所述输入图像作为第1层级的解析处理的输入，第1层级的解析处理的输出作为所述中间特征图像；
第N层级的解析处理包括：
对第N层级的解析处理的输入进行编码处理，以得到第一特征图像；
基于所述第一特征图像，进行多尺度池化处理和与所述多尺度池化处理对应的多尺度上采样处理，以得到多个第二特征图像，其中，所述多个第二特征图像的尺寸大小与所述第一特征图像的尺寸大小相同；
将所述第一特征图像与所述多个第二特征图像进行拼接，以得到第三特征图像；以及，
基于所述第三特征图像，得到第N层级的解析处理的输出；
其中，N、i均为整数，且N≥2，1≤i≤N-1。
2.根据权利要求1所述的图像处理方法，其中，基于所述第一特征图像，进行所述多尺度池化处理和与所述多尺度池化处理对应的所述多尺度上采样处理，以得到所述多个第二特征图像，包括：
对所述第一特征图像进行所述多尺度池化处理，以得到多种尺度的第四特征图像；
分别对所述多种尺度的第四特征图像进行降维处理，以得到多种尺度的第五特征图像；
对所述多种尺度的第五特征图像进行所述多尺度上采样处理，以得到具有相同尺度的所述多个第二特征图像。
3.根据权利要求1或2所述的图像处理方法，其中，基于所述第三特征图像，得到所述第N层级的解析处理的输出，包括：
对所述第三特征图像进行解码处理，以得到所述第N层级的解析处理的输出；或者，
将所述第三特征图像作为所述第N层级的解析处理的输出。
4.根据权利要求1-3任一项所述的图像处理方法，其中，所述第i层级的编码处理包括标准卷积处理和池化处理；
第i层级的编码处理的输入作为所述第i层级的编码处理中的标准卷积处理的输入，第i层级的编码处理中的标准卷积处理的输出作为所述第i层级的编码处理中的池化处理的输入，第i层级的编码处理中的池化处理的输出作为第i层级的编码处理的输出。
5.根据权利要求4所述的图像处理方法，其中，采用最大值池化算法执行所述第i层级的编码处理中的池化处理。
6.根据权利要求4所述的图像处理方法，其中，所述第i层级的解码处理包括标准上采样处理和标准卷积处理；
第i层级的解码处理的输入作为所述第i层级的解码处理中的标准上采样处理的输入，第i层级的解码处理中的标准上采样处理的输出作为所述第i层级的解码处理中的标准卷积处理的输入，第i层级的解码处理中的标准卷积处理的输出作为第i层级的解码处理的输出。
7.根据权利要求6所述的图像处理方法，其中，所述标准上采样处理包括依次执行的上采样处理和卷积处理。
8.根据权利要求7所述的图像处理方法，其中，采用双线性插值算法执行所述第N层级的解析处理中的多尺度上采样处理，以及执行所述第i层级的解码处理中的上采样处理。
9.根据权利要求6所述的图像处理方法，其中，所述第i层级的编码处理中的标准卷积处理连续执行两次，所述第i层级的解码处理中的标准卷积处理连续执行两次。
10.根据权利要求4-9任一项所述的图像处理方法，其中，所述标准卷积处理包括依次执行的卷积处理、激活处理和批量标准化处理。
11.根据权利要求10所述的图像处理方法，其中，在第1层级的解码处理包括一次标准卷积处理的情况下，第1层级的解码处理中的该次标准卷积处理包括依次执行的卷积处理、激活处理；
在第1层级的解码处理包括多次标准卷积处理的情况下，第1层级的解码处理中的最后一次标准卷积处理包括依次执行的卷积处理、激活处理。
12.根据权利要求1-11任一项所述的图像处理方法，其中，所述输入图像为低光照图像，所述低光照图像包括在环境照度低于照度阈值的情况下拍摄得到的图像。
13.一种神经网络的训练方法，其中，所述神经网络包括循环解析网络、合成网络和叠加网络，所述训练方法包括：
获取训练输入图像；
使用所述循环解析网络对所述训练输入图像进行循环解析处理，以得到训练中间特征图像；
使用所述合成网络对所述训练中间特征图像进行合成处理，以得到训练中间输出图像；
使用所述叠加网络对所述训练中间输出图像与所述训练输入图像进行对位相加处理，以得到训练输出图像；
基于所述训练输出图像，通过损失函数计算所述神经网络的损失值；以及
基于所述神经网络的损失值对所述神经网络的参数进行修正；其中，
所述循环解析网络的所述循环解析处理包括：N个层级的逐层嵌套的解析处理；
除了第N层级的解析处理外，其余每个层级的解析处理包括编码处理、池化处理、标准上采样处理和解码处理；
第i+1层级的解析处理嵌套在第i层级的池化处理和第i层级的标准上采样处理之间；
第i层级的解析处理的输入作为第i层级的编码处理的输入，第i层级的编码处理的输出作为第i层级的池化处理的输入，第i层级的池化处理的输出作为第i+1层级的解析处理的输入，第i+1层级的解析处理的输出作为第i层级的标准上采样处理的输入，第i层级的编码处理的输出和第i层级的标准上采样处理的输出经过拼接处理后作为第i层级的解码处理的输入，第i层级的解码处理的输出作为第i层级的解析处理的输出；
所述训练输入图像作为第1层级的解析处理的输入，第1层级的解析处理的输出作为所述训练中间特征图像；
第N层级的解析处理包括：
对第N层级的解析处理的输入进行编码处理，以得到第一训练特征图像；
基于所述第一训练特征图像，进行多尺度池化处理和与所述多尺度池化处理对应的多尺度上采样处理，以得到多个第二训练特征图像，其中，所述多个第二训练特征图像的尺寸大小与所述第一训练特征图像的尺寸大小相同；
将所述第一训练特征图像与所述多个第二训练特征图像进行拼接，以得到第三训练特征图像；以及，
基于所述第三训练特征图像，得到第N层级的解析处理的输出；
其中，N、i均为整数，且N≥2，1≤i≤N-1。
14.根据权利要求13所述的训练方法，其中，所述损失函数包括感知损失函数和L1范数损失函数。
15.根据权利要求14所述的训练方法，其中，所述感知损失函数表示为：
其中，Lp(Isrc,Iout)表示所述感知损失函数，Isrc表示所述训练输入图像，Iout表示所述训练输出图像，φ表示预训练的损失网络，所述损失网络包括至少一个用于提取特征图像的卷积层，φj表示所述损失网络中的用于提取特征图像的第j个卷积层，φj(Isrc)表示所述训练输入图像输入所述损失网络时所述损失网络的第j个卷积层输出的特征图像，φj(Iout)表示所述训练输出图像输入所述损失网络时所述损失网络的第j个卷积层输出的特征图像，Cj表示所述损失网络的第j个卷积层输出的特征图像的数量，Hj表示所述损失网络的第j个卷积层输出的特征图像的高度，Wj表示所述损失网络的第j个卷积层输出的特征图像的宽度。
16.根据权利要求15所述的训练方法，其中，在所述神经网络的训练过程中，所述损失网络的参数保持不变。
17.根据权利要求14-16任一项所述的训练方法，其中，所述L1范数损失函数表示为：
其中，LL1(Itgt,Iout)表示所述L1范数损失函数，Itgt表示所述训练输入图像对应的目标输出图像，
表示所述目标输出图像中的第m行第n列的值，Iout表示所述训练输出图像，
表示所述训练输出图像中的第m行第n列的值。
18.根据权利要求17所述的训练方法，其中，所述训练输入图像包括在环境照度低于照度阈值的情况下采用第一模式的相机拍摄得到的图像，所述目标输出图像包括在同一情况下采用第二模式的相机拍摄得到的图像，且所述目标输出图像与所述训练输入图像的场景相同；
与所述第一模式的相机相比，所述第二模式的相机采用更大光圈和更高感光度的摄像头，同时采用高动态范围图像增强、降噪的图像优化算法进行图像优化处理。
19.一种图像处理装置，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行根据权利要求1-12任一项所述的图像处理方法，或者执行根据权利要求13-18任一项所述的神经网络的训练方法。
20.一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，能够执行根据权利要求1-12任一项所述的图像处理方法的指令，或者能够执行根据权利要求13-18任一项所述的神经网络的训练方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010010385.5A CN113076966B (zh) | 2020-01-06 | 2020-01-06 | 图像处理方法及装置、神经网络的训练方法、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010010385.5A CN113076966B (zh) | 2020-01-06 | 2020-01-06 | 图像处理方法及装置、神经网络的训练方法、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113076966A CN113076966A (zh) | 2021-07-06 |
| CN113076966B true CN113076966B (zh) | 2023-06-13 |
Family
ID=76608869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010010385.5A Active CN113076966B (zh) | 2020-01-06 | 2020-01-06 | 图像处理方法及装置、神经网络的训练方法、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113076966B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113807290B (zh) * | 2021-09-24 | 2024-04-09 | 深圳蓝宝利电子有限公司 | 用于家用电器的感应开关及其工作方法 |
| CN116851856B (zh) * | 2023-03-27 | 2024-05-10 | 浙江万能弹簧机械有限公司 | 纯水线切割加工工艺及其系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107818302A (zh) * | 2017-10-20 | 2018-03-20 | 中国科学院光电技术研究所 | 基于卷积神经网络的非刚性多尺度物体检测方法 |
| CN108009637A (zh) * | 2017-11-20 | 2018-05-08 | 天津大学 | 基于跨层特征提取的像素级台标识别网络的台标分割方法 |
| CN108986124A (zh) * | 2018-06-20 | 2018-12-11 | 天津大学 | 结合多尺度特征卷积神经网络视网膜血管图像分割方法 |
| CN109377530A (zh) * | 2018-11-30 | 2019-02-22 | 天津大学 | 一种基于深度神经网络的双目深度估计方法 |
| CN109903301A (zh) * | 2019-01-28 | 2019-06-18 | 杭州电子科技大学 | 一种基于多级特征信道优化编码的图像轮廓检测方法 |
| CN110163815A (zh) * | 2019-04-22 | 2019-08-23 | 桂林电子科技大学 | 基于多阶段变分自编码器的低照度还原方法 |
| CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109426858B (zh) * | 2017-08-29 | 2021-04-06 | 京东方科技集团股份有限公司 | 神经网络、训练方法、图像处理方法及图像处理装置 |
-
2020
- 2020-01-06 CN CN202010010385.5A patent/CN113076966B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107818302A (zh) * | 2017-10-20 | 2018-03-20 | 中国科学院光电技术研究所 | 基于卷积神经网络的非刚性多尺度物体检测方法 |
| CN108009637A (zh) * | 2017-11-20 | 2018-05-08 | 天津大学 | 基于跨层特征提取的像素级台标识别网络的台标分割方法 |
| CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
| CN108986124A (zh) * | 2018-06-20 | 2018-12-11 | 天津大学 | 结合多尺度特征卷积神经网络视网膜血管图像分割方法 |
| CN109377530A (zh) * | 2018-11-30 | 2019-02-22 | 天津大学 | 一种基于深度神经网络的双目深度估计方法 |
| CN109903301A (zh) * | 2019-01-28 | 2019-06-18 | 杭州电子科技大学 | 一种基于多级特征信道优化编码的图像轮廓检测方法 |
| CN110163815A (zh) * | 2019-04-22 | 2019-08-23 | 桂林电子科技大学 | 基于多阶段变分自编码器的低照度还原方法 |
Non-Patent Citations (1)
| Title |
|---|
| Denseaspp for semantic segmentation in street scenes;Yang M et al.;《Proceedings of the IEEE conference on computer vision and pattern recognition》;3684-3692 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113076966A (zh) | 2021-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111311629B (zh) | 图像处理方法、图像处理装置及设备 | |
| CN110717851B (zh) | 图像处理方法及装置、神经网络的训练方法、存储介质 | |
| CN113095470B (zh) | 神经网络的训练方法、图像处理方法及装置、存储介质 | |
| CN115442515B (zh) | 图像处理方法和设备 | |
| CN109426858B (zh) | 神经网络、训练方法、图像处理方法及图像处理装置 | |
| US20230080693A1 (en) | Image processing method, electronic device and readable storage medium | |
| CN109993707B (zh) | 图像去噪方法和装置 | |
| CN111767979A (zh) | 神经网络的训练方法、图像处理方法、图像处理装置 | |
| CN110675336A (zh) | 一种低照度图像增强方法及装置 | |
| CN112446834A (zh) | 图像增强方法和装置 | |
| CN113096023B (zh) | 神经网络的训练方法、图像处理方法及装置、存储介质 | |
| WO2022134971A1 (zh) | 一种降噪模型的训练方法及相关装置 | |
| CN112348747A (zh) | 图像增强方法、装置及存储介质 | |
| CN111833360B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
| CN113076966B (zh) | 图像处理方法及装置、神经网络的训练方法、存储介质 | |
| CN112257759A (zh) | 一种图像处理的方法以及装置 | |
| Ma et al. | RetinexGAN: Unsupervised low-light enhancement with two-layer convolutional decomposition networks | |
| CN113011562A (zh) | 一种模型训练方法及装置 | |
| CN111914997A (zh) | 训练神经网络的方法、图像处理方法及装置 | |
| Li et al. | Hdrnet: Single-image-based hdr reconstruction using channel attention cnn | |
| AU2013258866A1 (en) | Reducing the dynamic range of image data | |
| CN113592726A (zh) | 高动态范围成像方法、装置、电子设备和存储介质 | |
| CN113284055A (zh) | 一种图像处理的方法以及装置 | |
| CN115239581A (zh) | 一种图像处理方法及相关装置 | |
| CN115035011A (zh) | 一种融合策略下自适应RetinexNet的低照度图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |