CN113095470A - 神经网络的训练方法、图像处理方法及装置、存储介质 - Google Patents

神经网络的训练方法、图像处理方法及装置、存储介质 Download PDF

Info

Publication number
CN113095470A
CN113095470A CN202010017343.4A CN202010017343A CN113095470A CN 113095470 A CN113095470 A CN 113095470A CN 202010017343 A CN202010017343 A CN 202010017343A CN 113095470 A CN113095470 A CN 113095470A
Authority
CN
China
Prior art keywords
image
processing
input
training
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010017343.4A
Other languages
English (en)
Other versions
CN113095470B (zh
Inventor
刘鼎
熊维
沈晓辉
方晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ByteDance Inc
Original Assignee
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ByteDance Inc filed Critical ByteDance Inc
Priority to CN202010017343.4A priority Critical patent/CN113095470B/zh
Publication of CN113095470A publication Critical patent/CN113095470A/zh
Application granted granted Critical
Publication of CN113095470B publication Critical patent/CN113095470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种神经网络的训练方法、图像处理方法、图像处理装置及存储介质。该训练方法包括：获取训练输入图像；使用神经网络对训练输入图像进行处理，以得到训练输出图像；基于训练输出图像，计算神经网络的系统损失值；基于系统损失值对神经网络的参数进行修正；其中，系统损失值包括对比损失值和颜色损失值至少之一；计算对比损失值包括：获取与训练输入图像对应且尺寸大小与训练输出图像相同的目标输出图像，对目标输出图像和训练输出图像分别进行图像标准化处理，以得到第一图像和第二图像，并根据L1范数损失函数计算对比损失值；计算颜色损失值包括：对训练输入图像和训练输出图像分别进行模糊化处理，以得到第三图像和第四图像，并计算颜色损失值。

Description

神经网络的训练方法、图像处理方法及装置、存储介质
技术领域
本公开的实施例涉及一种神经网络的训练方法、图像处理方法、图像处理装置以及存储介质。
背景技术
当前，基于人工神经网络的深度学习技术已经在诸如图像分类、图像捕获和搜索、面部识别、年龄和语音识别等领域取得了巨大进展。深度学习的优势在于可以利用通用的结构以相对类似的系统解决非常不同的技术问题。卷积神经网络(Convolutional NeuralNetwork，CNN)是近年发展起来并引起广泛重视的一种人工神经网络，CNN是一种特殊的图像识别方式，属于非常有效的带有前向反馈的网络。现在，CNN的应用范围已经不仅仅限于图像识别领域，也可以应用在人脸识别、文字识别、图像处理等应用方向。
发明内容
本公开至少一个实施例提供一种神经网络的训练方法，包括：获取训练输入图像；使用所述神经网络对所述训练输入图像进行处理，以得到训练输出图像；基于所述训练输出图像，计算所述神经网络的系统损失值；以及基于所述系统损失值对所述神经网络的参数进行修正；其中，所述系统损失值包括对比损失值和颜色损失值至少之一；计算所述对比损失值包括：获取与所述训练输入图像对应的目标输出图像，所述目标输出图像的尺寸大小与所述训练输出图像的尺寸大小相同；对所述目标输出图像进行图像标准化处理，以得到第一图像，并对所述训练输出图像进行所述图像标准化处理，以得到第二图像；以及基于所述第一图像和所述第二图像，根据L1范数损失函数计算所述对比损失值；计算所述颜色损失值包括：对所述训练输入图像进行模糊化处理，以得到第三图像，并对所述训练输出图像进行所述模糊化处理，以得到第四图像，以及基于所述第三图像和所述第四图像，计算所述颜色损失值。
例如，在本公开一些实施例提供的训练方法中，所述图像标准化处理包括去均值处理和归一化处理。
例如，在本公开一些实施例提供的训练方法中，所述训练输入图像、所述训练输出图像和所述目标输出图像均为包括分别对应于三原色的三种颜色通道的图像，所述三种颜色通道包括第一颜色通道、第二颜色通道和第三颜色通道。
例如，在本公开一些实施例提供的训练方法中，所述第三图像和所述第四图像均为具有所述三种颜色通道的图像，且所述第三图像尺寸大小与所述第四图像的尺寸大小相同；基于所述第三图像和所述第四图像，计算所述颜色损失值，包括：计算所述第三图像和所述第四图像在每个像素点的余弦相似度；以及基于全部像素点的余弦相似度，计算所述颜色损失值。
例如，在本公开一些实施例提供的训练方法中，所述余弦相似度的计算公式表示为：
Figure BDA0002359399330000021
其中，COSINE(xi,yi)表示所述第三图像和所述第四图像在任一像素点i的余弦相似度，xi表示所述第三图像在所述像素点i的色彩向量，yi表示所述第四图像在所述像素点i的色彩向量，|| ||2表示求二范数的运算。
例如，在本公开一些实施例提供的训练方法中，所述颜色损失值的计算公式表示为：
Figure BDA0002359399330000022
其中，Lcolor表示所述颜色损失值，N表示所述第三图像或所述第四图像包括的像素点的数量。
例如，在本公开一些实施例提供的训练方法中，所述第三图像和所述第四图像均为具有所述三种颜色通道的图像，所述第三图像尺寸大小与所述第四图像的尺寸大小相同；基于所述第三图像和所述第四图像，计算所述颜色损失值，包括：对所述第三图像进行格式转换处理，以得到第五图像，并对所述第四图像进行所述格式转换处理，以得到第六图像，所述第五图像和所述第六图像均为包括第一亮度信道、第一色度信道和第二色度信道的图像；以及基于所述第五图像在两个色度信道的数据矩阵和所述第六图像在两个色度信道的数据矩阵，计算所述颜色损失值。
例如，在本公开一些实施例提供的训练方法中，所述第一颜色通道为红色通道，所述第二颜色通道为绿色通道，所述第三通道为蓝色通道；所述格式转换处理的计算公式表示为：
Figure BDA0002359399330000031
其中，R、G和B分别表示所述格式转换处理之前的图像的第一颜色通道、第二颜色通道和第三颜色通道的数据矩阵，Y、U和V分别表示所述格式转换处理得到的图像的第一亮度信道、第一色度信道和第二色度信道的数据矩阵。
例如，在本公开一些实施例提供的训练方法中，所述颜色损失值的计算公式表示为：
Figure BDA0002359399330000032
其中，Lcolor表示所述颜色损失值，N表示所述第五图像或所述第六图像包括的像素点的数量，
Figure BDA0002359399330000033
表示第五图像的第一色度信道中的数据矩阵在任一像素点i的像素值，
Figure BDA0002359399330000034
表示第六图像的第一色度信道中的数据矩阵在所述像素点i的像素值，
Figure BDA0002359399330000035
表示第五图像的第二色度信道中的数据矩阵在所述像素点i的像素值，
Figure BDA0002359399330000036
表示第六图像的第二色度信道中的数据矩阵在所述像素点i的像素值，|| ||1表示求一范数的运算。
例如，在本公开一些实施例提供的训练方法中，所述系统损失值的计算公式表示为：
Ltotal＝LL1(I1,I2)+λLcolor
其中，Ltotal表示所述系统损失值，LL1(,)表示所述L1范数损失函数，I1表示所述第一图像，I2表示所述第二图像，λ表示平衡参数，λ的取值范围为0.1-10。
例如，在本公开一些实施例提供的训练方法中，采用平均值池化算法或高斯模糊化算法进行所述模糊化处理。
例如，在本公开一些实施例提供的训练方法中，所述训练输入图像与所述目标输出图像具有相同的场景，所述训练输入图像的亮度低于所述目标输出图像的亮度。
例如，在本公开一些实施例提供的训练方法中，所述神经网络的处理包括：N个层级的逐层嵌套的解析处理；除了第N层级的解析处理外，其余每个层级的解析处理包括下采样处理、上采样处理、第一标准卷积处理和第一对位相加处理；第i+1层级的解析处理嵌套在第i层级的下采样处理和第i层级的上采样处理之间；第i层级的解析处理的输入作为第i层级的下采样处理的输入，第i层级的下采样处理的输出作为第i+1层级的解析处理的输入，第i+1层级的解析处理的输出作为第i层级的上采样处理的输入，第i层级的上采样处理的输出作为第i层级的第一标准卷积处理的输入，第i层级的下采样处理的输入和第i层级的第一标准卷积处理的输出经过第一对位相加处理后作为第i层级的解析处理的输出；所述训练输入图像作为第1层级的解析处理的输入，第1层级的解析处理的输出作为所述训练输出图像；第N层级的解析处理包括：标准残差分析处理和第二对位相加处理，第N层级的解析处理的输入作为所述标准残差分析处理的输入，所述标准残差分析处理的输入和所述标准残差分析处理的输出经过第二对位相加处理后作为第N层级的解析处理的输出；其中，N、i均为整数，且N≥2，1≤i≤N-1。
例如，在本公开一些实施例提供的训练方法中，在第i层级的解析处理中，第i层级的第一标准卷积处理连续执行两次。
例如，在本公开一些实施例提供的训练方法中，所述标准残差分析处理包括第二标准卷积处理、第三对位相加处理和第一激活处理；所述标准残差分析处理的输入作为所述第二标准卷积处理的输入，所述第二标准卷积处理的输入和所述第二标准卷积处理的输出经过第三对位相加处理后作为所述第一激活处理的输入，所述第一激活处理的输出作为所述标准残差分析处理的输出。
例如，在本公开一些实施例提供的训练方法中，在第N层级的解析处理中，所述标准残差分析处理执行一次或连续执行多次。
例如，在本公开一些实施例提供的训练方法中，在所述标准残差分析处理中，所述第二标准卷积处理连续执行两次。
例如，在本公开一些实施例提供的训练方法中，所述第一标准卷积处理和所述第二标准卷积处理各自均包括依次执行的卷积处理、批量标准化处理和第二激活处理。
本公开至少一个实施例还提供一种图像处理方法，包括：获取输入图像；以及使用根据本公开任一实施例提供的训练方法训练得到的所述神经网络对所述输入图像进行处理，以得到输出图像。
本公开至少一个实施例还提供一种图像处理方法，该图像处理方法包括：获取输入图像；以及使用神经网络对所述输入图像进行处理，以得到输出图像；其中，所述神经网络的处理包括：N个层级的逐层嵌套的解析处理；除了第N层级的解析处理外，其余每个层级的解析处理包括下采样处理、上采样处理、第一标准卷积处理和第一对位相加处理；第i+1层级的解析处理嵌套在第i层级的下采样处理和第i层级的上采样处理之间；第i层级的解析处理的输入作为第i层级的下采样处理的输入，第i层级的下采样处理的输出作为第i+1层级的解析处理的输入，第i+1层级的解析处理的输出作为第i层级的上采样处理的输入，第i层级的上采样处理的输出作为第i层级的第一标准卷积处理的输入，第i层级的下采样处理的输入和第i层级的第一标准卷积处理的输出经过第一对位相加处理后作为第i层级的解析处理的输出；所述输入图像作为第1层级的解析处理的输入，第1层级的解析处理的输出作为所述输出图像；第N层级的解析处理包括：标准残差分析处理和第二对位相加处理，第N层级的解析处理的输入作为所述标准残差分析处理的输入，所述标准残差分析处理的输入和所述标准残差分析处理的输出经过第二对位相加处理后作为第N层级的解析处理的输出；其中，N、i均为整数，且N≥2，1≤i≤N-1。
本公开至少一个实施例还提供一种图像处理装置，包括：存储器，用于非暂时性存储计算机可读指令；以及处理器，用于运行所述计算机可读指令，所述计算机可读指令被所述处理器运行时，执行本公开任一实施例提供的神经网络的训练方法，或者执行本公开任一实施例提供的图像处理方法。
本公开至少一个实施例还提供一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时能够执行本公开任一实施例提供的神经网络的训练方法的指令，或者能够执行本公开任一实施例提供的图像处理方法的指令。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1为一种卷积神经网络的示意图；
图2A为一种卷积神经网络的结构示意图；
图2B为一种卷积神经网络的工作过程示意图；
图3为本公开至少一实施例提供的一种神经网络的训练方法的流程图；
图4为本公开至少一实施例提供的一种神经网络的结构示意图；
图5A为本公开至少一实施例提供的一种标准卷积模块的结构示意图；
图5B为本公开至少一实施例提供的一种标准残差分析模块的结构示意图；
图6A为一种训练输入图像的示例图；
图6B为图6A所示的训练输入图像对应的训练输出图像的示例图；
图6C为图6A所示的训练输入图像对应的目标输出图像的示例图；
图7为本公开至少一实施例提供的一种图像处理方法的流程图；
图8为本公开至少一实施例提供的一种图像处理装置的示意性框图；以及
图9为本公开至少一实施例提供的一种存储介质的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
下面通过几个具体的实施例对本公开进行说明。为了保持本公开实施例的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。当本公开实施例的任一部件在一个以上的附图中出现时，该部件在每个附图中由相同或类似的参考标号表示。
随着数码产品特别是智能手机等的普及，人们可以方便的采集到各种各样的图像信息。在实际生活中，有相当数量的图像是在光照较暗(例如黄昏、夜间等)或光照失衡(例如，亮部和暗部反差较大)等条件下拍摄得到的，这些图像统称为低光照图像。低光照图像经常会存在视觉效果较差的问题，例如图像整体或部分区域偏暗、细节信息难以捕获、颜色失真以及噪声严重等。低光照图像的这些问题严重影响人们的视觉感受或者计算机对图像的处理工作。因此，如何对低光照图像进行增强，以提高图像的亮度、对比度等，使其在人眼观看及在其他领域应用时都能达到想要的效果，一直是图像处理领域的研究热点。
低光照图像增强技术可以对低光照图像进行增强，从而在尽可能保持原有图像的纹理、结构信息的基础上，提高图像的亮度、对比度等特征，恢复图像中较暗区域的细节，使图像更美观，也能够作为一种预处理方法，满足后期其他应用使用的需要。
常用的低光照图像的增强方法，一般会对低光照图像进行提亮处理，然而，提亮的结果与正常光照图像相比，原有的噪点容易被放大，细节上容易出现色彩不一致的问题。例如，Ruixing Wang等人提出了一种基于卷积神经网络实现低光照图像增强的方法，请参见文献，Ruixing Wang,Qing Zhang,Chi-Wing Fu,Xiaoyong Shen,Wei-Shi Zheng,JiayaJia,Underexposed Photo Enhancement using Deep IlluminationEstimation.CVPR2019。在此将该文献全文引用结合于此，以作为本申请的一部分。该方法提供了一种新型端到端的深度神经网络，用于提亮低光照图像，能够快速恢复出具有清晰细节、鲜明对比度和自然色彩的增强结果。但是，由于未专门对画质增强和降噪做处理，该方法的结果容易放大原有图片中的噪点，从而，可能会降低增强结果的质量和美感。
本公开至少一实施例提供一种神经网络的训练方法。该训练方法包括：获取训练输入图像；使用神经网络对训练输入图像进行处理，以得到训练输出图像；基于训练输出图像，计算神经网络的系统损失值；以及基于系统损失值对神经网络的参数进行修正；其中，系统损失值包括对比损失值和颜色损失值至少之一；计算对比损失值包括：获取与训练输入图像对应的目标输出图像，目标输出图像的尺寸大小与训练输出图像的尺寸大小相同，对目标输出图像进行标准化处理，以得到第一图像，并对训练输出图像进行标准化处理，以得到第二图像，以及基于第一图像和第二图像，根据L1范数损失函数计算对比损失值；计算颜色损失值包括：对训练输入图像进行模糊化处理，以得到第三图像，并对训练输出图像进行模糊化处理，以得到第四图像，以及基于第三图像和所述第四图像，计算颜色损失值。
本公开的一些实施例还提供对应于上述训练方法的图像处理方法、图像处理装置以及存储介质。
本公开的实施例提供的神经网络的训练方法，可以基于对比损失值和颜色损失值至少之一对神经网络进行训练，其中，对比损失值可以用于实现图像细节增强和降噪，颜色损失值可以用于实现色彩保真。从而，基于该训练方法训练得到的神经网络适用于对图像尤其是低光照图像进行增强处理，可以提升图像的质量、视觉效果和美感。
最初，卷积神经网络(Convolutional Neural Network，CNN)主要用于识别二维形状，其对图像的平移、比例缩放、倾斜或其他形式的变形具有高度不变性。CNN主要通过局部感知野和权值共享来简化神经网络模型的复杂性、减少权重的数量。随着深度学习技术的发展，CNN的应用范围已经不仅仅限于图像识别领域，其也可以应用在人脸识别、文字识别、动物分类、图像处理等领域。
图1示出了一种卷积神经网络的示意图。例如，该卷积神经网络可以用于图像处理，其使用图像作为输入和输出，并通过卷积核替代标量的权重。图1中仅示出了具有3层结构的卷积神经网络，本公开的实施例对此不作限制。如图1所示，卷积神经网络包括输入层101、隐藏层102和输出层103。输入层101具有4个输入，隐藏层102具有3个输出，输出层103具有2个输出，最终该卷积神经网络最终输出2幅图像。例如，输入层101的4个输入可以为4幅图像，或者1幅图像的四种特征图像。隐藏层102的3个输出可以为经过输入层101输入的图像的特征图像。
例如，如图1所示，卷积层具有权重
Figure BDA0002359399330000091
和偏置
Figure BDA0002359399330000092
权重
Figure BDA0002359399330000093
表示卷积核，偏置
Figure BDA0002359399330000094
是叠加到卷积层的输出的标量，其中，k是表示输入层101的标签，i和j分别是输入层101的单元和隐藏层102的单元的标签。例如，第一卷积层201包括第一组卷积核(图1中的
Figure BDA0002359399330000095
)和第一组偏置(图1中的
Figure BDA0002359399330000096
)。第二卷积层202包括第二组卷积核(图1中的
Figure BDA0002359399330000097
)和第二组偏置(图1中的
Figure BDA0002359399330000098
)。通常，每个卷积层包括数十个或数百个卷积核，若卷积神经网络为深度卷积神经网络，则其可以包括至少五层卷积层。
例如，如图1所示，该卷积神经网络还包括第一激活层203和第二激活层204。第一激活层203位于第一卷积层201之后，第二激活层204位于第二卷积层202之后。激活层(例如，第一激活层203和第二激活层204)包括激活函数，激活函数用于给卷积神经网络引入非线性因素，以使卷积神经网络可以更好地解决较为复杂的问题。激活函数可以包括线性修正单元(ReLU)函数、带泄露的线性修正单元函数(LeakyReLU)、S型函数(Sigmoid函数)或双曲正切函数(tanh函数)等。ReLU函数和LeakyReLU函数为非饱和非线性函数，Sigmoid函数和tanh函数为饱和非线性函数。例如，激活层可以单独作为卷积神经网络的一层，或者激活层也可以被包含在卷积层(例如，第一卷积层201可以包括第一激活层203，第二卷积层202可以包括第二激活层204)中。例如，ReLU函数可以表示为：
Figure BDA0002359399330000099
其中，x表示ReLU函数的输入，f(x)表示ReLU函数的输出。
例如，在第一卷积层201中，首先，对每个输入应用第一组卷积核中的若干卷积核
Figure BDA00023593993300000910
和第一组偏置中的若干偏置
Figure BDA00023593993300000911
以得到第一卷积层201的输出；然后，第一卷积层201的输出可以通过第一激活层203进行处理，以得到第一激活层203的输出。在第二卷积层202中，首先，对输入的第一激活层203的输出应用第二组卷积核中的若干卷积核
Figure BDA00023593993300000912
和第二组偏置中的若干偏置
Figure BDA00023593993300000913
以得到第二卷积层202的输出；然后，第二卷积层202的输出可以通过第二激活层204进行处理，以得到第二激活层204的输出。例如，第一卷积层201的输出可以为对其输入应用卷积核
Figure BDA00023593993300000914
后再与偏置
Figure BDA00023593993300000915
相加的结果，第二卷积层202的输出可以为对第一激活层203的输出应用卷积核
Figure BDA00023593993300000916
后再与偏置
Figure BDA00023593993300000917
相加的结果。
在利用卷积神经网络进行图像处理前，需要对卷积神经网络进行训练。经过训练之后，卷积神经网络的卷积核和偏置在图像处理期间保持不变。在训练过程中，各卷积核和偏置通过多组输入/输出示例图像以及优化算法进行调整，以获取优化后的卷积神经网络模型。
图2A示出了一种卷积神经网络的结构示意图，图2B示出了一种卷积神经网络的工作过程示意图。例如，如图2A和2B所示，输入图像通过输入层输入到卷积神经网络后，依次经过若干个处理过程(如图2A中的每个层级)后输出类别标识。卷积神经网络的主要组成部分可以包括多个卷积层、多个下采样层和全连接层。在本公开中，应该理解的是，多个卷积层、多个下采样层和全连接层等这些功能层每个都指代对应的处理操作，即卷积处理、下采样处理、全连接处理等，所描述的神经网络(模型)也都指代对应的处理操作，后续将要描述的批量标准化层、上采样层等也与此类似，不再重复说明。例如，一个完整的卷积神经网络可以由这三种层叠加组成。例如，图2A仅示出了一种卷积神经网络的三个层级，即第一层级、第二层级和第三层级。例如，每个层级可以包括一个卷积模块和一个下采样层。例如，每个卷积模块可以包括卷积层。由此，每个层级的处理过程可以包括：对输入图像进行卷积(convolution)处理以及下采样(pooling)处理。例如，根据实际需要，每个卷积模块还可以包括批量标准化(batch normalization，BN)层和激活层，从而每个层级的处理过程还可以包括批量标准化处理和激活处理。
例如，批量标准化层用于对小批量(mini-batch)的样本的特征图像进行批量标准化处理，以使各特征图像的像素的灰度值在预定范围内变化，从而降低计算难度，提高对比度。例如，预定范围可以为[-1，1]，但不限于此。例如，批量标准化层可以根据每个小批量的样本的特征图像的均值和方差，对各特征图像进行批量标准化处理。
例如，假设小批量的样本数量为T，某一卷积层输出的特征图像的数量为C，且每个特征图像均为H行W列的矩阵，则特征图像的模型表示为(T,C,W,H)。批量标准化层的批量标准化处理包括对每个通道的特征图像分别进行标准化(normalize)处理以及尺度变换和位移(scale and shift)处理，具体公式如下：
Figure BDA0002359399330000111
其中，xtijk为某一卷积层输出的特征图像集合中的第t个特征块(patch)、第i个特征通道、第j列、第k行的值。ytijk表示xtijk输入批量标准化层得到的结果。γi、βi为批量标准化层的批量标准化参数，γi表示第i个特征通道的尺度变换，βi表示第i个特征通道的位移。ε为一个很小的正数，以避免分母为0。
卷积层是卷积神经网络的核心层。在卷积神经网络的卷积层中，一个神经元只与部分相邻层的神经元连接。卷积层可以对输入图像应用若干个卷积核(也称为滤波器)，以提取输入图像的多种类型的特征。每个卷积核可以提取一种类型的特征。卷积核一般以随机小数矩阵的形式初始化，在卷积神经网络的训练过程中卷积核将通过学习以得到合理的权值。对输入图像应用一个卷积核之后得到的结果被称为特征图像(feature map)，特征图像的数目与卷积核的数目相等。每个特征图像由一些矩形排列的神经元组成，同一特征图像的神经元共享权值，这里共享的权值就是卷积核。一个层级的卷积层输出的特征图像可以被输入到相邻的下一个层级的卷积层并再次处理以得到新的特征图像。例如，如图2A所示，第一层级的卷积层可以输出第一特征图像，该第一特征图像被输入到第二层级的卷积层再次处理以得到第二特征图像。
例如，如图2B所示，卷积层可以使用不同的卷积核对输入图像的某一个局部感受域的数据进行卷积；例如，卷积结果可以被输入激活层，该激活层根据相应的激活函数进行计算以得到输入图像的特征信息。
例如，如图2A和2B所示，下采样层设置在相邻的卷积层之间，下采样层是下采样的一种形式。一方面，下采样层可以用于缩减输入图像的规模，简化计算的复杂度，在一定程度上减小过拟合的现象；另一方面，下采样层也可以进行特征压缩，提取输入图像的主要特征。下采样层能够减少特征图像的尺寸，但不改变特征图像的数量。例如，一个尺寸为12×12的输入图像，通过6×6的下采样层过滤器对其进行采样，那么可以得到2×2的输出图像，这意味着输入图像上的36个像素合并为输出图像中的1个像素。最后一个下采样层或卷积层可以连接到一个或多个全连接层，全连接层用于连接提取的所有特征。例如，全连接层的输出可以为一个一维矩阵，也就是向量。
下面结合附图对本公开的一些实施例及其示例进行详细说明。
图3为本公开至少一实施例提供的一种神经网络的训练方法的流程图。例如，如图3所示，该训练方法包括步骤S110至步骤S140。
步骤S110：获取训练输入图像。
例如，在一些实施例中，步骤S110还可以包括：获取与训练输入图像对应的目标输出图像。从而，在该训练方法中，可以基于训练输出图像和该目标输出图像计算对比损失值，具体细节可以参考下文中相关描述。
例如，在步骤S110中，训练输入图像和目标输出图像可以包括通过智能手机的摄像头、平板电脑的摄像头、个人计算机的摄像头、数码照相机的镜头、监控摄像头或者网络摄像头等拍摄采集的照片，其可以包括人物图像、动植物图像或风景图像等，本公开的实施例对此不作限制。
例如，训练输入图像和目标输出图像可以为彩色图像。例如，彩色图像包括但不限于具有三种颜色通道的图像等。例如，该三种颜色通道包括第一颜色通道、第二颜色通道和第三颜色通道。例如，该三种颜色通道分别对应于三原色。例如，在一些实施例中，第一颜色通道为红色(R)通道，第二颜色通道为绿色(G)通道，第三颜色通道为蓝色(B)通道，但不限于此。
例如，训练输入图像与目标输出图像具有相同的场景，而训练输入图像的亮度低于所述目标输出图像的亮度。例如，训练输入图像与目标输出图像具有相同的尺寸大小。例如，在一些实施例中，训练输入图像中的每个像素点的亮度均不高于目标输出图像中与之对应的像素点的亮度，例如，训练输入图像中的大部分或全部像素点的亮度均低于目标输出图像中对应的像素点的亮度。
例如，训练输入图像为低光照图像，其质量较低；目标输出图像为正常光照图像，其质量较高；例如，为了提高训练输入图像的质量，可以对其进行图像增强处理，以使经过增强处理得到的图像的质量至少接近于目标输出图像的质量。
例如，在一些实施例中，训练输入图像包括在环境照度低于照度阈值的情况下采用第一模式(例如，普通模式等)的相机拍摄得到的图像，目标输出图像包括在同一情况下采用第二模式(例如，夜景模式等)的相机拍摄得到的图像。例如，照度阈值为0.1～0.2Lux(勒克斯)，但不限于此。例如，上述相机(包括具有相机功能的智能手机、平板电脑等)为同一款相机，而该同一款相机具备第一模式和第二模式。例如，与第一模式的相机相比，第二模式的相机采用更大光圈和更高感光度的摄像头，同时采用高动态范围图像(HighDynamic Range，HDR)增强、降噪的图像优化算法进行图像优化处理。在此情况下，训练输入图像为低光照图像，而目标输出图像相当于正常光照图像。
例如，在另一些实施例中，训练输入图像包括在正常光线条件下拍摄得到的欠曝光图像，其中，欠曝光图像的曝光时间小于拍摄得到正常图像所需的曝光时间，欠曝光图像的质量未达到预设质量条件，例如存在图像不清晰、存在较多噪点、图像的视觉效果不能满足用户的需求等问题；而目标输出图像包括在同一条件下拍摄得到的正常曝光图像。例如，训练输入图像和目标输出图像采用同一款相机(采用同一模式，例如，普通模式等)拍摄得到。在此情况下，训练输入图像相当于低光照图像，而目标输出图像为正常光照图像。
例如，在该训练方法中，使用成对的训练输入图像/目标输出图像构成的训练集对神经网络进行训练。需要说明的是，本公开的实施例对上述成对的训练输入图像/目标输出图像的获取方法不作限制。
步骤S120：使用神经网络对训练输入图像进行处理，以得到训练输出图像。
例如，在一些实施例中，训练输出图像的尺寸大小与训练输入图像的尺寸大小相同，从而，训练输出图像的尺寸大小也与目标输出图像的尺寸大小相同。例如，对应于训练输入图像和目标输出图像，训练输出图像也可以为彩色图像，例如，具有前述三种颜色通道的图像。
图4为本公开至少一实施例提供的一种神经网络的结构示意图。例如，如图4所示，该神经网络的处理包括：N个层级的逐层嵌套的解析处理，其中，N为整数，且N≥2。例如，图4中示出了N＝4(即包括4个层级(Level1-4)的解析处理)的情形，但不应视作对本公开的限制。也就是说，N可以根据实际需要进行设置。
在本公开中，“嵌套”是指一个对象中包括与该对象在结构或功能方面相似或相同的另一个对象，所述对象包括但不限于处理流程或者网络结构等。特别地，在本公开的实施例中，第N层级的解析处理不同于前N-1个层级的解析处理。
例如，如图4所示，除了第N层级(图4中的第4层级(Level 4))的解析处理之外，其余每个层级(图4中的第1-3层级(Level 1-3))的解析处理包括下采样处理DS、上采样处理US、第一标准卷积处理CN1和第一对位相加处理ADD1。
下采样处理DS用于减小特征图像的尺寸，从而减少特征图像的数据量，例如可以通过下采样层进行下采样处理，但不限于此。例如，下采样层可以采用最大值池化(maxpooling)、平均值池化(average pooling)、跨度卷积(strided convolution)、欠采样(decimation，例如选择固定的像素)、解复用输出(demuxout，将输入图像拆分为多个更小的图像)等下采样方法实现下采样处理。例如，在一些实施例中，可以采用跨度卷积算法实现下采样处理DS，但不限于此；例如，在一些示例中，跨度卷积算法中的步长(stride)为2，但不限于此。
上采样处理US用于增大特征图像的尺寸，从而增加特征图像的数据量，例如可以通过上采样层进行上采样处理，但不限于此。例如，上采样层可以采用跨度转置卷积(strided transposed convolution)、插值算法等上采样方法实现上采样处理。插值算法例如可以包括最近邻插值(Nearest Neighbor Interpolation)、双线性插值(BilinearInterprolation)、双立方插值(Bicubic Interprolation)等算法。例如，在一些实施例中，可以采用最近邻插值算法实现上采样处理US，但不限于此；例如，在一些示例中，最近邻插值算法的输出特征的宽度和高度均为输入特征的2倍，但不限于此；例如，采用最近邻插值算法可以减少运算量，从而提高处理速度。
例如，在一些实施例中，第一标准卷积处理CN1和下文中将要介绍的第二标准卷积处理CN2均可以包括卷积处理、批量标准化处理和第二激活处理，例如，卷积处理、批量标准化处理和第二激活处理可以依次执行，但不限于此。例如，第一标准卷积处理CN1和第二标准卷积处理CN2均可以通过标准卷积模块实现。图5A为本公开至少一实施例提供的一种标准卷积模块的结构示意图。例如，如图5A所示，标准卷积模块CN可以包括卷积层conv、批量标准化层BN和激活层AC2，分别用于对应执行卷积处理、批量标准化处理和第二激活处理，例如，卷积层conv、批量标准化层BN和激活层AC2依次连接，即卷积处理、批量标准化处理和第二激活处理依次执行，但不限于此。例如，卷积处理可以采用3×3的卷积核，但不限于此。例如，批量标准化处理可以参考前述相关描述，在此不再重复赘述。例如，第二激活处理可以采用ReLU函数作为激活函数，但不限于此。
需要说明的是，在本公开的实施例中，“连接”可以表示在信号(例如，特征图)传输的方向上将两个功能对象(例如，功能模块或功能层等)中的在前的一个功能对象的输出作为在后的另一个功能对象的输入。
例如，第一对位相加处理ADD1与下文中将要介绍的第二对位相加处理ADD2和第三对位相加处理ADD3均属于对位相加处理ADD。对位相加处理ADD通常是指将一组输入的图像的每个通道的图像矩阵的每一行、每一列的数值与另一组输入的图像的对应通道的图像矩阵的每一行、每一列的数值相加。例如，作为对位相加处理ADD的输入的两组图像的通道数相同，例如，对位相加处理ADD的输出的图像的通道数也与输入的任一组图像的通道数相同。
需要说明的是，在本公开的实施例中，为了使描述更加清楚、明确、简洁，部分处理操作(例如，第一标准卷积处理和第二标准卷积处理，第一对位相加处理、第二对位相加处理和第三对位相加处理)附上了前缀“第一”、“第二”、“第三”等，这些前缀仅用于区分处在不同处理流程或步骤中的功能基本相同的处理操作，而不表示任何顺序、数量或者重要性。在本公开的实施例中，功能基本相同的处理操作可以采用基本相同的方法或程序实现。
例如，如图4所示，在i为整数且1≤i≤N-1的情况下，第i+1层级的解析处理嵌套在第i层级的下采样处理和第i层级的上采样处理之间。第i层级的解析处理的输入作为第i层级的下采样处理的输入，第i层级的下采样处理的输出作为第i+1层级的解析处理的输入，第i+1层级的解析处理的输出作为第i层级的上采样处理的输入，第i层级的上采样处理的输出作为第i层级的第一标准卷积处理的输入，第i层级的下采样处理的输入和第i层级的第一标准卷积处理的输出经过第一对位相加处理后作为第i层级的解析处理的输出。
例如，如图4所示，训练输入图像作为第1层级的解析处理的输入，第1层级的解析处理的输出作为训练输出图像。
例如，如图4所示，第N层级(图4中的第4层级(Level 4))的解析处理包括标准残差分析处理RS和第二对位相加处理ADD2。第N层级的解析处理的输入作为标准残差分析处理RS的输入，标准残差分析处理RS的输入和标准残差分析处理RS的输出经过第二对位相加处理ADD2后作为第N层级的解析处理的输出。应当理解的是，在第N层级的解析处理中，标准残差分析处理RS可以执行一次或连续执行多次。例如，图4中示出了标准残差分析处理RS连续执行三次的情形，但不应视作对本公开的限制，即在第N层级的解析处理中，标准残差分析处理RS的执行次数可以根据实际需要进行设置。
例如，标准残差分析处理RS可以通过标准残差分析模块实现。图5B为本公开至少一实施例提供的一种标准残差分析模块的结构示意图。例如，在一些实施例中，如图5B所示，标准残差分析处理RS包括第二标准卷积处理CN2、第三对位相加处理ADD3和第一激活处理AC1。例如，如图5B所示，标准残差分析处理RS的输入作为第二标准卷积处理CN2的输入，第二标准卷积处理CN2的输入和第二标准卷积处理CN2的输出经过第三对位相加处理ADD3后作为第一激活处理AC1的输入，第一激活处理AC1的输出作为标准残差分析处理的输出。例如，与第一标准卷积处理CN1类似，第二标准卷积处理CN2也可以通过前述标准卷积模块CN实现，在此不再重复赘述。例如，与第二激活处理类似，第一激活处理AC1也可以采用ReLU函数作为激活函数，但不限于此。应当理解的是，在标准残差分析处理RS中，第二标准卷积处理CN2可以执行一次，或连续执行两次或更多次。例如，图5B中示出了第二标准卷积处理CN2连续执行两次的情形，但不应视作对本公开的限制，即在标准残差分析处理RS中，第二标准卷积处理CN2的执行次数可以根据实际需要进行设置。
应当理解的是，图4中所示的神经网络是示例性的，而非限制性的，在应用过程中，可以根据实际需要对其结构进行变型或微调。例如，在一些实施例中，在图4所示的神经网络中，在第i层级的解析处理中，第i层级的第一标准卷积处理CN1可以连续执行两次或更多次；需要说明的是，所述变型或微调不限于此。
还应当理解的是，本公开的实施例提供的训练方法不只适用于图4所示的神经网络，还可以适用于其他神经网络(对其结构不作限制)，只要该神经网络的输出图像和输入图像满足的尺寸大小相同即可。例如，本公开的实施例提供的训练方法可以适用于DnCNN网络，但不限于此；例如，关于DnCNN网络的结构和细节，请参见文献，Kai Zhang,WangmengZuo,Yunjin Chen,Deyu Meng,Lei Zhang,Beyond a Gaussian Denoiser:ResidualLearning of Deep CNN for Image Denoising.arXiv:1608.03981v1[cs.CV]。在此将该文献全文引用结合于此，以作为本申请的一部分。
步骤S130：基于训练输出图像，计算神经网络的系统损失值。
例如，在一些实施例中，神经网络的系统损失值包括对比损失值和颜色损失值至少之一。
例如，在一些实施例中，计算对比损失值可以包括：获取与训练输入图像对应的目标输出图像；对目标输出图像进行图像标准化处理，以得到第一图像，并对训练输出图像进行所述图像标准化处理，以得到第二图像；以及基于第一图像和第二图像，根据L1范数损失函数计算所述对比损失值。
例如，获取目标输出图像的步骤可以结合在前述步骤S110中。例如，目标输出图像的具体细节可以参考前述步骤S110中的相关描述，在此不再重复赘述。
例如，图像标准化处理包括去均值处理和归一化处理。例如，去均值处理包括：计算待处理图像(例如，目标输出图像或训练输出图像)的全部通道(例如，全部颜色通道)的全部像素值的平均值，并将每个像素值减去该平均值，以得到去均值处理后的图像的对应像素值；归一化处理包括：计算待处理图像(例如，目标输出图像或训练输出图像)的全部通道(例如，全部颜色通道)的全部像素值的方差，并将去均值处理后的图像的每个像素值除以该方差的算术平方根(即标准差)，以得到归一化处理后的图像的对应像素值。从而，当待处理图像为目标输出图像时，经过上述图像标准化处理(即去均值处理和归一化处理)，可以得到第一图像；当待处理图像为训练输出图像时，经过上述图像标准化处理(即去均值处理和归一化处理)，可以得到第二图像。例如，第一图像、第二图像的通道数(颜色通道数)和尺寸大小均与目标输出图像、训练输出图像的通道数和尺寸大小相同。
例如，在一些实施例中，可以根据下述公式进行图像标准化处理：
Figure BDA0002359399330000181
其中，z表示待处理图像，INS(z)表示对待处理图像进行图像标准化处理得到的结果(即图像)，E(z)表示待处理图像的全部通道的全部像素值的平均值，VAR(z)表示待处理图像的全部通道的全部像素值的方差，ε为一个较小的正数，用于避免分母为0。例如，在一些实施例中，待处理图像的每个像素值的取值范围为0-255，但不限于此；例如，在一些实施例中，ε的取值范围为0.1-0.5，但不限于此。
例如，基于第一图像和第二图像，根据L1范数损失函数计算所述对比损失值，可以包括：根据对比损失值计算公式计算对比损失值。例如，在一些实施例中，对比损失值计算公式可以表示为：
Figure BDA0002359399330000182
其中，LL1(,)表示L1范数损失函数，I1表示第一图像，I2表示第二图像，I1j表示第一图像的全部通道(颜色通道)的全部像素值中的第j个像素值，I2j表示第二图像的全部通道(颜色通道)的全部像素值中的第j个像素值。
例如，对比损失值的主要作用在于使训练输出图像在像素级别的细节与目标输出图像保持一致，从而实现细节增强等。
例如，在一些实施例中，计算颜色损失值包括：对训练输入图像进行模糊化处理，以得到第三图像，并对训练输出图像进行模糊化处理，以得到第四图像；以及基于第三图像和第四图像，计算颜色损失值。
例如，在一些实施例中，可以采用平均值池化算法或高斯模糊化算法等进行上述模糊化处理。例如，在一些示例中，可以采用平均值池化算法对训练输入图像和训练输出图像进行池化处理(即下采样处理)，得到的第三图像和第四图像分别相当于是训练输入图像和训练输出图像的模糊版本；例如，该池化处理可以采用例如2×2的过滤器，但不限于此。例如，第三图像、第四图像的通道数(颜色通道数)和尺寸大小均相同，例如，第三图像和所述第四图像均为具有前述三种颜色通道的图像；另一方面，第三图像、第四图像的尺寸大小均小于训练输入图像、训练输出图像的尺寸大小。
本公开的实施例提供两种基于第三图像和第四图像计算颜色损失值的方法，在实际应用中，可以择一使用，但不应视作对本公开的限制。
例如，在一些实施例中，第一种基于第三图像和第四图像计算颜色损失值的方法，可以包括：计算第三图像和第四图像在每个像素点的余弦相似度；以及基于全部像素点的余弦相似度，计算颜色损失值。
例如，在一些示例中，余弦相似度的计算公式可以表示为：
Figure BDA0002359399330000191
其中，COSINE(xi,yi)表示第三图像和第四图像在任一像素点i的余弦相似度，xi表示第三图像在像素点i的色彩向量，yi表示第四图像在像素点i的色彩向量，|| ||2表示求二范数的运算。
以第三图像具有前述三种颜色通道为例，第三图像在像素点i的色彩向量xi可以表示为(d1,d2,d3)，其中，d1为第三图像的第一颜色通道中的图像数据矩阵在像素点i的像素值，d2为第三图像的第二颜色通道中的图像数据矩阵在像素点i的像素值，d3为第三图像的第三颜色通道中的图像数据矩阵在像素点i的像素值。也就是说，每个像素点i对应三个像素值，该三个像素值分别属于所述三种颜色通道。第四图像在像素点i的色彩向量yi的内涵可以参考第三图像在像素点i的色彩向量xi的相关描述，在此不再重复赘述。
例如，基于全部像素点的余弦相似度，计算颜色损失值，可以包括：根据第一颜色损失值计算公式计算颜色损失值。例如，在一些示例中，第一颜色损失值计算公式可以表示为：
Figure BDA0002359399330000192
其中，Lcolor表示颜色损失值，N表示第三图像或第四图像包括的像素点的数量。
例如，在另一些实施例中，第二种基于第三图像和第四图像计算颜色损失值的方法，可以包括：对第三图像进行格式转换处理，以得到第五图像，并对第四图像进行格式转换处理，以得到第六图像，其中，第五图像和第六图像均为包括第一亮度信道、第一色度信道和第二色度信道的图像；以及，基于第五图像在两个色度信道的数据矩阵和所述第六图像在两个色度信道的数据矩阵，计算颜色损失值。
例如，在一些示例中，前述三种颜色通道包括红色(R)通道、绿色通道(G)和蓝色通道(B)；例如，第一颜色通道为红色通道，第二颜色通道为绿色通道，第三通道为蓝色通道。例如，格式转换处理的计算公式可以表示为：
Figure BDA0002359399330000201
其中，R、G和B分别表示格式转换处理之前的图像(例如，第三图像、第四图像)的第一颜色通道、第二颜色通道和第三颜色通道的数据矩阵，Y、U和V分别表示格式转换处理得到的图像(例如，第五图像、第六图像)的第一亮度信道、第一色度信道和第二色度信道的数据矩阵。
例如，基于第五图像在两个色度信道的数据矩阵和第六图像在两个色度信道的数据矩阵，计算颜色损失值。可以包括：根据第二颜色损失值计算公式计算颜色损失值。例如，在一些示例中，第二颜色损失值计算公式可以表示为：
Figure BDA0002359399330000202
其中，Lcolor表示颜色损失值，N表示第五图像或第六图像包括的像素点的数量，
Figure BDA0002359399330000203
表示第五图像的第一色度信道中的数据矩阵在任一像素点i的像素值，
Figure BDA0002359399330000204
表示第六图像的第一色度信道中的数据矩阵在像素点i的像素值，
Figure BDA0002359399330000205
表示第五图像的第二色度信道中的数据矩阵在像素点i的像素值，
Figure BDA0002359399330000206
表示第六图像的第二色度信道中的数据矩阵在像素点i的像素值，||||1表示求一范数的运算。
例如，颜色损失值的主要作用在于最小化训练输出图像和训练输入图像在每个像素位置的色彩的差别，从而实现色彩保真等。需要说明的是，上述两种方法计算得到的颜色损失值均能实现上述技术效果。
例如，在一些实施例中，系统损失值包括对比损失值和颜色损失值，从而可以同时实现对比损失值和颜色损失值的技术效果。例如，在此情况下，系统损失值的计算公式可以表示为：
Ltotal＝LL1(I1,I2)+λLcolor
其中，Ltotal表示系统损失值，LL1(I1,I2)表示对比损失值，LL1(,)表示L1范数损失函数，I1表示第一图像，I2表示第二图像，Lcolor表示颜色损失值，λ表示平衡参数。例如，颜色损失值可以采用前述两种方法中的任一种计算得到。例如，平衡参数λ用于平衡对比损失值的细节增强效果和颜色损失值的色彩保真效果；例如，λ的取值范围为0.1-10，但不限于此。
步骤S140:基于系统损失值对神经网络的参数进行修正。
例如，神经网络的初始参数可以为随机数，例如随机数符合高斯分布，本公开的实施例对此不作限制。
例如，在神经网络的训练过程中还可以包括优化函数，优化函数可以根据损失函数计算得到的损失值计算神经网络的参数的误差值，并根据该误差值对神经网络的参数进行修正。例如，优化函数可以采用批量梯度下降(batch gradient descent,BGD)算法、随机梯度下降(stochastic gradient descent，SGD)算法等计算神经网络的参数的误差值。
例如，神经网络的训练方法还可以包括：判断神经网络的训练是否满足预定条件，若不满足预定条件，则重复执行上述训练过程(即步骤S120至步骤S140)；若满足预定条件，则停止上述训练过程，得到训练好的神经网络。例如，在一个示例中，上述预定条件为连续两幅(或更多幅)训练输出图像对应的系统损失值不再显著减小。例如，在另一个示例中，上述预定条件为神经网络的训练次数或训练周期达到预定数目。本公开对此不作限制。
需要说明的是，上述实施例仅是示意性说明神经网络的训练过程。本领域技术人员应当知道，在训练阶段，需要利用大量样本图像对神经网络进行训练；同时，在每一幅样本图像训练过程中，都可以包括多次反复迭代以对神经网络的参数进行修正。又例如，训练阶段还包括对神经网络的参数进行微调(fine-tune)，以获取更优化的参数。
图6A为一种训练输入图像的示例图，图6B为使用训练好的神经网络对图6A所示的训练输入图像进行处理得到的训练输出图像的示例图，图6C为图6A所示的训练输入图像对应的目标输出图像的示例图。应当理解的是，图6A所示的训练输入图像可以视为后续将要介绍的图像处理方法中的输入图像，图6B所示的训练输出图像可以视为该图像处理方法中的输出图像。
例如，图6A为采用第一模式(例如，普通模式等)的相机拍摄得到的夜景图像；图6B为使用训练好的图4所示的神经网络对图6A所示的训练输入图像进行处理得到的训练输出图像，其中，在图4所示的神经网络训练过程中，系统损失值包括对比损失值和颜色损失值；图6C为采用第二模式(例如，夜景模式等)的相机拍摄得到的同一场景的图像。
例如，一方面，与图6A所示的训练输入图像相比，图6C所示的目标输出图像的质量更高，但是二者之间存在色调不一致的问题；另一方面，与图6A所示的训练输入图像相比，图6B所示的训练输出图像的质量得到了明显增强(接近于图6C所示的目标输出图像的质量)，既增强了原图像的细节信息，提高了对比度，削弱了噪声，又实现了色彩保真。
需要说明的是，在本公开的实施例中，上述神经网络的训练方法的流程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行。虽然上文描述的神经网络的训练方法的流程包括特定顺序出现的多个操作，但是应该清楚地了解，多个操作的顺序并不受限制。上文描述的神经网络的训练方法可以执行一次，也可以按照预定条件执行多次。
需要说明的是，在本公开的实施例中，神经网络以及神经网络中的各种功能模块和功能层等均可以采用软件、硬件、固件或其任意组合等方式实现，从而执行相应的处理过程。
本公开的实施例提供的神经网络的训练方法，可以基于对比损失值和颜色损失值至少之一对神经网络进行训练，其中，对比损失值可以用于实现图像细节增强和降噪，颜色损失值可以用于实现色彩保真。从而，基于该训练方法训练得到的神经网络适用于对图像尤其是低光照图像进行增强处理，可以提升图像的质量、视觉效果和美感。
本公开至少一实施例还提供一种图像处理方法。图7为本公开至少一实施例提供的一种图像处理方法的流程图。例如，如图7所示，该图像处理方法包括步骤S210至步骤S220。
步骤S210：获取输入图像。
例如，与前述步骤S110中的训练输入图像类似，输入图像也可以包括通过智能手机的摄像头、平板电脑的摄像头、个人计算机的摄像头、数码照相机的镜头、监控摄像头或者网络摄像头等拍摄采集的照片，其可以包括人物图像、动植物图像或风景图像等，本公开的实施例对此不作限制。
例如，输入图像可以为彩色图像。例如，彩色图像包括但不限于三种颜色通道的图像等。例如，该三种颜色通道包括第一颜色通道、第二颜色通道和第三颜色通道。例如，该三种颜色通道分别对应于三原色。例如，在一些实施例中，第一颜色通道为红色(R)通道，第二颜色通道为绿色(G)通道，第三颜色通道为蓝色(B)通道，但不限于此。
例如，输入图像为低光照图像，其质量较低，为了提高其质量，可以对其进行图像增强处理。例如，在一些实施例中，输入图像包括在环境照度低于照度阈值的情况下拍摄得到的图像；例如，在一些示例中，照度阈值为0.1～0.2Lux(勒克斯)，但不限于此。例如，在另一些实施例中，输入图像是在光线较暗或光照失衡的条件下拍摄得到的。例如，在又一些实施例中，输入图像包括在正常光线条件下拍摄得到的欠曝光图像，其中，欠曝光图像的曝光时间小于拍摄得到正常图像所需的曝光时间，欠曝光图像的质量未达到预设质量条件，例如存在图像不清晰、存在较多噪点、图像的视觉效果不能满足用户的需求等问题。
应当理解的是，在一些实施例中，步骤S210还可以包括判断输入图像是否为低光照图像，如果判断输入图像为低光照图像，则执行后续步骤S220(例如，智能手机、平板电脑等被设置为在自动判断且确定输入图像为低光照图像的基础上，可以自动执行步骤220)；反之，则不执行后续步骤S220。例如，在一些示例中，可以通过获取摄像头所处的当前环境信息(例如，照度信息等)，来判断将要得到的输入图像是否为低光照图像；例如，在另一些示例中，可以通过评估输入图像的灰度直方图是否满足正常光照下图像的统计特性，来判断已经得到的输入图像是否为低光照图像。
步骤S220：使用神经网络对输入图像进行处理，以得到输出图像。
例如，在一些实施例中，可以使用本公开上述任一实施例提供的训练方法训练得到的神经网络(包括但不限于图4所示的神经网络)对输入图像进行处理，以得到输出图像。
例如，在一些实施例中，可以使用例如图4所示的神经网络对输入图像进行处理，以得到输出图像。例如，如图4所示，该神经网络的处理包括N个层级的逐层嵌套的解析处理，其中，N为整数，且N≥2。除了第N层级的解析处理外，其余每个层级的解析处理包括下采样处理、上采样处理、第一标准卷积处理和第一对位相加处理；第i+1层级的解析处理嵌套在第i层级的下采样处理和第i层级的上采样处理之间；第i层级的解析处理的输入作为第i层级的下采样处理的输入，第i层级的下采样处理的输出作为第i+1层级的解析处理的输入，第i+1层级的解析处理的输出作为第i层级的上采样处理的输入，第i层级的上采样处理的输出作为第i层级的第一标准卷积处理的输入，第i层级的下采样处理的输入和第i层级的第一标准卷积处理的输出经过第一对位相加处理后作为第i层级的解析处理的输出，其中，i为整数，且1≤i≤N-1。输入图像作为第1层级的解析处理的输入，第1层级的解析处理的输出作为输出图像。第N层级的解析处理包括：标准残差分析处理和第二对位相加处理，第N层级的解析处理的输入作为标准残差分析处理的输入，标准残差分析处理的输入和标准残差分析处理的输出经过第二对位相加处理后作为第N层级的解析处理的输出。例如，图4所示的神经网络的具体处理过程和更多细节可以参考前述相关描述，在此不再重复赘述。
例如，输出图像为输入图像经过前述神经网络进行增强处理后形成的图像。例如，输出图像的尺寸大小于输入图像的尺寸大小相同。例如，与输入图像(例如，参考图6A所示的图像)相比，输出图像(例如，参考图6B所示的图像)实现了图像增强(包括提亮、降噪、细节增强)和色彩保真，提高了图像的对比度，改善了输入图像过暗、噪声过多的问题，提升了图像的质量、视觉效果和美感。
需要说明的是，在本公开的实施例中，上述图像处理方法的流程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行。虽然上文描述的图像处理方法的流程包括特定顺序出现的多个操作，但是应该清楚地了解，多个操作的顺序并不受限制。上文描述的图像处理方法可以执行一次，也可以按照预定条件执行多次。
本公开的实施例提供的图像处理方法的技术效果可以参考前述实施例中关于神经网络的训练方法的技术效果的相应描述，在此不再重复赘述。
本公开至少一实施例还提供一种图像处理装置。图8为本公开至少一实施例提供的一种图像处理装置的示意性框图。例如，如图8所示，该图像处理装置500包括存储器510和处理器520。
例如，存储器510用于非暂时性存储计算机可读指令，处理器520用于运行该计算机可读指令，该计算机可读指令被处理器520运行时执行本公开任一实施例提供的图像处理方法或/和神经网络的训练方法。
例如，存储器510和处理器520之间可以直接或间接地互相通信。例如，在一些示例中，如图8所示，该图像处理装置500还可以包括系统总线530，存储器510和处理器520之间可以通过系统总线530互相通信，例如，处理器520可以通过系统总线1006访问存储器510。例如，在另一些示例中，存储器510和处理器520等组件之间可以通过网络连接进行通信。网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。网络可以包括局域网、互联网、电信网、基于互联网和/或电信网的物联网(Internet of Things)、和/或以上网络的任意组合等。有线网络例如可以采用双绞线、同轴电缆或光纤传输等方式进行通信，无线网络例如可以采用3G/4G/5G移动通信网络、蓝牙、Zigbee或者WiFi等通信方式。本公开对网络的类型和功能在此不作限制。
例如，处理器520可以控制图像处理装置中的其它组件以执行期望的功能。处理器520可以是中央处理单元(CPU)、张量处理器(TPU)或者图形处理器GPU等具有数据处理能力和/或程序执行能力的器件。中央处理器(CPU)可以为X86或ARM架构等。GPU可以单独地直接集成到主板上，或者内置于主板的北桥芯片中。GPU也可以内置于中央处理器(CPU)上。
例如，存储器510可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。
例如，在存储器510上可以存储一个或多个计算机指令，处理器520可以运行所述计算机指令，以实现各种功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如中间特征图像、中间输出图像以及应用程序使用和/或产生的各种数据等。
例如，存储器510存储的一些计算机指令被处理器520执行时可以执行根据上文所述的图像处理方法中的一个或多个步骤。又例如，存储器510存储的另一些计算机指令被处理器520执行时可以执行根据上文所述的神经网络的训练方法中的一个或多个步骤。
例如，如图8所示，图像处理装置500还可以包括允许外部设备与图像处理装置500进行通信的输入接口540。例如，输入接口540可被用于从外部计算机设备、从用户等处接收指令。图像处理装置500还可以包括使图像处理装置500和一个或多个外部设备相互连接的输出接口550。例如，图像处理装置500可以通过输出接口550显示图像等。通过输入接口1010和输出接口1012与图像处理装置500通信的外部设备可被包括在提供任何类型的用户可与之交互的用户界面的环境中。用户界面类型的示例包括图形用户界面、自然用户界面等。例如，图形用户界面可接受来自用户采用诸如键盘、鼠标、遥控器等之类的(诸)输入设备的输入，以及在诸如显示器之类的输出设备上提供输出。此外，自然用户界面可使得用户能够以无需受到诸如键盘、鼠标、遥控器等之类的输入设备强加的约束的方式来与图像处理装置500交互。相反，自然用户界面可依赖于语音识别、触摸和指示笔识别、屏幕上和屏幕附近的手势识别、空中手势、头部和眼睛跟踪、语音和语音、视觉、触摸、手势、以及机器智能等。
另外，图像处理装置500尽管在图8中被示出为单个系统，但可以理解，图像处理装置500也可以是分布式系统，还可以布置为云设施(包括公有云或私有云)。因此，例如，若干设备可以通过网络连接进行通信并且可共同执行被描述为由图像处理装置500执行的任务。
例如，关于图像处理方法的处理过程的详细说明可以参考上述图像处理方法的实施例中的相关描述，关于神经网络的训练方法的处理过程的详细说明可以参考上述神经网络的训练方法的实施例中的相关描述，重复之处不再赘述。
例如，在一些示例中，该图像处理装置可以包括但不限于智能手机、平板电脑、个人计算机、监控系统等设备或系统。
需要说明的是，本公开的实施例提供的图像处理装置是示例性的，而非限制性的，根据实际应用需要，该图像处理装置还可以包括其他常规部件或结构，例如，为实现图像处理装置的必要功能，本领域技术人员可以根据具体应用场景设置其他的常规部件或结构，本公开的实施例对此不作限制。
本公开的实施例提供的图像处理装置的技术效果可以参考上述实施例中关于图像处理方法以及神经网络的训练方法的相应描述，在此不再赘述。
本公开至少一实施例还提供一种存储介质。图9为本公开一实施例提供的一种存储介质的示意图。例如，如图9所示，该存储介质600非暂时性地存储计算机可读指令601，当非暂时性计算机可读指令601由计算机(包括处理器)执行时可以执行本公开任一实施例提供的压缩与加速方法的指令或者可以执行本公开任一实施例提供的数据处理方法的指令。
例如，在存储介质600上可以存储一个或多个计算机指令。存储介质600上存储的一些计算机指令可以是例如用于实现上述压缩与加速方法中的一个或多个步骤的指令。存储介质上存储的另一些计算机指令可以是例如用于实现上述数据处理方法中的一个或多个步骤的指令。例如，在存储介质上可以存储上述位宽可调的量化模型。
例如，存储介质可以包括平板电脑的存储部件、个人计算机的硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、光盘只读存储器(CD-ROM)、闪存、或者上述存储介质的任意组合，也可以为其他适用的存储介质。
本公开的实施例提供的存储介质的技术效果可以参考上述实施例中关于图像处理方法以及神经网络的训练方法的相应描述，在此不再赘述。
对于本公开，有以下几点需要说明：
(1)本公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
(2)在不冲突的情况下，本公开同一实施例及不同实施例中的特征可以相互组合。
以上，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (22)

1.一种神经网络的训练方法，包括：
获取训练输入图像；
使用所述神经网络对所述训练输入图像进行处理，以得到训练输出图像；
基于所述训练输出图像，计算所述神经网络的系统损失值；以及
基于所述系统损失值对所述神经网络的参数进行修正；其中，
所述系统损失值包括对比损失值和颜色损失值至少之一；
计算所述对比损失值包括：
获取与所述训练输入图像对应的目标输出图像，所述目标输出图像的尺寸大小与所述训练输出图像的尺寸大小相同，
对所述目标输出图像进行图像标准化处理，以得到第一图像，并对所述训练输出图像进行所述图像标准化处理，以得到第二图像，以及
基于所述第一图像和所述第二图像，根据L1范数损失函数计算所述对比损失值；计算所述颜色损失值包括：
对所述训练输入图像进行模糊化处理，以得到第三图像，并对所述训练输出图像进行所述模糊化处理，以得到第四图像，以及
基于所述第三图像和所述第四图像，计算所述颜色损失值。
2.根据权利要求1所述的训练方法，其中，所述图像标准化处理包括去均值处理和归一化处理。
3.根据权利要求1或2所述的训练方法，其中，所述训练输入图像、所述训练输出图像和所述目标输出图像均为包括分别对应于三原色的三种颜色通道的图像，所述三种颜色通道包括第一颜色通道、第二颜色通道和第三颜色通道。
4.根据权利要求3所述的训练方法，其中，所述第三图像和所述第四图像均为具有所述三种颜色通道的图像，且所述第三图像尺寸大小与所述第四图像的尺寸大小相同；
基于所述第三图像和所述第四图像，计算所述颜色损失值，包括：
计算所述第三图像和所述第四图像在每个像素点的余弦相似度；以及
基于全部像素点的余弦相似度，计算所述颜色损失值。
5.根据权利要求4所述的训练方法，其中，所述余弦相似度的计算公式表示为：
Figure FDA0002359399320000021
其中，COSINE(xi,yi)表示所述第三图像和所述第四图像在任一像素点i的余弦相似度，xi表示所述第三图像在所述像素点i的色彩向量，yi表示所述第四图像在所述像素点i的色彩向量，|| ||2表示求二范数的运算。
6.根据权利要求5所述的训练方法，其中，所述颜色损失值的计算公式表示为：
Figure FDA0002359399320000022
其中，Lcolor表示所述颜色损失值，N表示所述第三图像或所述第四图像包括的像素点的数量。
7.根据权利要求3所述的训练方法，其中，所述第三图像和所述第四图像均为具有所述三种颜色通道的图像，所述第三图像尺寸大小与所述第四图像的尺寸大小相同；
基于所述第三图像和所述第四图像，计算所述颜色损失值，包括：
对所述第三图像进行格式转换处理，以得到第五图像，并对所述第四图像进行所述格式转换处理，以得到第六图像，所述第五图像和所述第六图像均为包括第一亮度信道、第一色度信道和第二色度信道的图像；以及
基于所述第五图像在两个色度信道的数据矩阵和所述第六图像在两个色度信道的数据矩阵，计算所述颜色损失值。
8.根据权利要求7所述的训练方法，其中，所述第一颜色通道为红色通道，所述第二颜色通道为绿色通道，所述第三通道为蓝色通道；
所述格式转换处理的计算公式表示为：
Figure FDA0002359399320000023
其中，R、G和B分别表示所述格式转换处理之前的图像的第一颜色通道、第二颜色通道和第三颜色通道的数据矩阵，Y、U和V分别表示所述格式转换处理得到的图像的第一亮度信道、第一色度信道和第二色度信道的数据矩阵。
9.根据权利要求8所述的训练方法，其中，所述颜色损失值的计算公式表示为：
Figure FDA0002359399320000031
其中，Lcolor表示所述颜色损失值，N表示所述第五图像或所述第六图像包括的像素点的数量，
Figure FDA0002359399320000033
表示第五图像的第一色度信道中的数据矩阵在任一像素点i的像素值，
Figure FDA0002359399320000032
表示第六图像的第一色度信道中的数据矩阵在所述像素点i的像素值，
Figure FDA0002359399320000034
表示第五图像的第二色度信道中的数据矩阵在所述像素点i的像素值，
Figure FDA0002359399320000035
表示第六图像的第二色度信道中的数据矩阵在所述像素点i的像素值，|| ||1表示求一范数的运算。
10.根据权利要求6或9所述的训练方法，其中，所述系统损失值的计算公式表示为：
Ltotal＝LL1(I1,I2)+λLcolor
其中，Ltotal表示所述系统损失值，LL1(,)表示所述L1范数损失函数，I1表示所述第一图像，I2表示所述第二图像，λ表示平衡参数，λ的取值范围为0.1-10。
11.根据权利要求1-10任一项所述的训练方法，其中，采用平均值池化算法或高斯模糊化算法进行所述模糊化处理。
12.根据权利要求1-11任一项所述的训练方法，其中，所述训练输入图像与所述目标输出图像具有相同的场景，所述训练输入图像的亮度低于所述目标输出图像的亮度。
13.根据权利要求1-12任一项所述的训练方法，其中，所述神经网络的处理包括：N个层级的逐层嵌套的解析处理；
除了第N层级的解析处理外，其余每个层级的解析处理包括下采样处理、上采样处理、第一标准卷积处理和第一对位相加处理；
第i+1层级的解析处理嵌套在第i层级的下采样处理和第i层级的上采样处理之间；
第i层级的解析处理的输入作为第i层级的下采样处理的输入，第i层级的下采样处理的输出作为第i+1层级的解析处理的输入，第i+1层级的解析处理的输出作为第i层级的上采样处理的输入，第i层级的上采样处理的输出作为第i层级的第一标准卷积处理的输入，第i层级的下采样处理的输入和第i层级的第一标准卷积处理的输出经过第一对位相加处理后作为第i层级的解析处理的输出；
所述训练输入图像作为第1层级的解析处理的输入，第1层级的解析处理的输出作为所述训练输出图像；
第N层级的解析处理包括：标准残差分析处理和第二对位相加处理，第N层级的解析处理的输入作为所述标准残差分析处理的输入，所述标准残差分析处理的输入和所述标准残差分析处理的输出经过第二对位相加处理后作为第N层级的解析处理的输出；
其中，N、i均为整数，且N≥2，1≤i≤N-1。
14.根据权利要求13所述的训练方法，其中，在第i层级的解析处理中，第i层级的第一标准卷积处理连续执行两次。
15.根据权利要求13或14所述的训练方法，其中，所述标准残差分析处理包括第二标准卷积处理、第三对位相加处理和第一激活处理；
所述标准残差分析处理的输入作为所述第二标准卷积处理的输入，所述第二标准卷积处理的输入和所述第二标准卷积处理的输出经过第三对位相加处理后作为所述第一激活处理的输入，所述第一激活处理的输出作为所述标准残差分析处理的输出。
16.根据权利要求15所述的训练方法，其中，在第N层级的解析处理中，所述标准残差分析处理执行一次或连续执行多次。
17.根据权利要求15或16所述的训练方法，其中，在所述标准残差分析处理中，所述第二标准卷积处理连续执行两次。
18.根据权利要求15-17任一项所述的训练方法，其中，所述第一标准卷积处理和所述第二标准卷积处理各自均包括依次执行的卷积处理、批量标准化处理和第二激活处理。
19.一种图像处理方法，包括：
获取输入图像；以及
使用根据权利要求1-18任一项所述的训练方法训练得到的所述神经网络对所述输入图像进行处理，以得到输出图像。
20.一种图像处理方法，包括：
获取输入图像；以及
使用神经网络对所述输入图像进行处理，以得到输出图像；其中，
所述神经网络的处理包括：N个层级的逐层嵌套的解析处理；
除了第N层级的解析处理外，其余每个层级的解析处理包括下采样处理、上采样处理、第一标准卷积处理和第一对位相加处理；
第i+1层级的解析处理嵌套在第i层级的下采样处理和第i层级的上采样处理之间；
第i层级的解析处理的输入作为第i层级的下采样处理的输入，第i层级的下采样处理的输出作为第i+1层级的解析处理的输入，第i+1层级的解析处理的输出作为第i层级的上采样处理的输入，第i层级的上采样处理的输出作为第i层级的第一标准卷积处理的输入，第i层级的下采样处理的输入和第i层级的第一标准卷积处理的输出经过第一对位相加处理后作为第i层级的解析处理的输出；
所述输入图像作为第1层级的解析处理的输入，第1层级的解析处理的输出作为所述输出图像；
第N层级的解析处理包括：标准残差分析处理和第二对位相加处理，第N层级的解析处理的输入作为所述标准残差分析处理的输入，所述标准残差分析处理的输入和所述标准残差分析处理的输出经过第二对位相加处理后作为第N层级的解析处理的输出；
其中，N、i均为整数，且N≥2，1≤i≤N-1。
21.一种图像处理装置，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行根据权利要求1-18任一项所述的神经网络的训练方法，或者执行根据权利要求19或20所述的图像处理方法。
22.一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，能够执行根据权利要求1-18任一项所述的神经网络的训练方法的指令，或者能够执行根据权利要求19或20所述的图像处理方法的指令。
CN202010017343.4A 2020-01-08 2020-01-08 神经网络的训练方法、图像处理方法及装置、存储介质 Active CN113095470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010017343.4A CN113095470B (zh) 2020-01-08 2020-01-08 神经网络的训练方法、图像处理方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010017343.4A CN113095470B (zh) 2020-01-08 2020-01-08 神经网络的训练方法、图像处理方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN113095470A true CN113095470A (zh) 2021-07-09
CN113095470B CN113095470B (zh) 2024-04-23

Family

ID=76664034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010017343.4A Active CN113095470B (zh) 2020-01-08 2020-01-08 神经网络的训练方法、图像处理方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN113095470B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343949A (zh) * 2021-08-03 2021-09-03 中国航空油料集团有限公司 一种通用的嵌入式平台的行人检测模型训练方法
CN113576508A (zh) * 2021-07-21 2021-11-02 华中科技大学 一种基于神经网络的脑出血辅助诊断系统
CN114529713A (zh) * 2022-01-14 2022-05-24 电子科技大学 一种基于深度学习的水下图像增强方法
CN114760447A (zh) * 2022-06-14 2022-07-15 智联信通科技股份有限公司 一体式机房环境检测装置
CN115424118A (zh) * 2022-11-03 2022-12-02 荣耀终端有限公司 一种神经网络训练方法、图像处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447036A (zh) * 2018-03-23 2018-08-24 北京大学 一种基于卷积神经网络的低光照图像增强方法
CN110188776A (zh) * 2019-05-30 2019-08-30 京东方科技集团股份有限公司 图像处理方法及装置、神经网络的训练方法、存储介质
CN110188760A (zh) * 2019-04-01 2019-08-30 上海卫莎网络科技有限公司 一种图像处理模型训练方法、图像处理方法及电子设备
CN110378845A (zh) * 2019-06-17 2019-10-25 杭州电子科技大学 一种基于卷积神经网络的极端条件下的图像修复方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447036A (zh) * 2018-03-23 2018-08-24 北京大学 一种基于卷积神经网络的低光照图像增强方法
CN110188760A (zh) * 2019-04-01 2019-08-30 上海卫莎网络科技有限公司 一种图像处理模型训练方法、图像处理方法及电子设备
CN110188776A (zh) * 2019-05-30 2019-08-30 京东方科技集团股份有限公司 图像处理方法及装置、神经网络的训练方法、存储介质
CN110378845A (zh) * 2019-06-17 2019-10-25 杭州电子科技大学 一种基于卷积神经网络的极端条件下的图像修复方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANDREY IGNATOV.ET AL: "DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks", 《ARXIV》, pages 63 *
杨海清等: "基于深度强化学习和循环卷积神经网络的图像恢复算法", 《高技术通讯》 *
郝韵: "基于生成对抗网络的视频监控图像增强方法研究", 公安海警学院学报, no. 06 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113576508A (zh) * 2021-07-21 2021-11-02 华中科技大学 一种基于神经网络的脑出血辅助诊断系统
CN113343949A (zh) * 2021-08-03 2021-09-03 中国航空油料集团有限公司 一种通用的嵌入式平台的行人检测模型训练方法
CN114529713A (zh) * 2022-01-14 2022-05-24 电子科技大学 一种基于深度学习的水下图像增强方法
CN114760447A (zh) * 2022-06-14 2022-07-15 智联信通科技股份有限公司 一体式机房环境检测装置
CN114760447B (zh) * 2022-06-14 2022-08-12 智联信通科技股份有限公司 一体式机房环境检测装置
CN115424118A (zh) * 2022-11-03 2022-12-02 荣耀终端有限公司 一种神经网络训练方法、图像处理方法及装置

Also Published As

Publication number Publication date
CN113095470B (zh) 2024-04-23

Similar Documents

Publication Publication Date Title
WO2021164429A1 (zh) 图像处理方法、图像处理装置及设备
WO2020192483A1 (zh) 图像显示方法和设备
Wang et al. Gladnet: Low-light enhancement network with global awareness
WO2021073493A1 (zh) 图像处理方法及装置、神经网络的训练方法、合并神经网络模型的图像处理方法、合并神经网络模型的构建方法、神经网络处理器及存储介质
CN113095470B (zh) 神经网络的训练方法、图像处理方法及装置、存储介质
WO2020199831A1 (zh) 图像处理模型的训练方法、图像处理方法、网络设备及存储介质
US20220189029A1 (en) Semantic refinement of image regions
CN111914997B (zh) 训练神经网络的方法、图像处理方法及装置
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN113096023B (zh) 神经网络的训练方法、图像处理方法及装置、存储介质
CN112348747A (zh) 图像增强方法、装置及存储介质
CN114730456A (zh) 神经网络模型的训练方法、图像处理方法及其装置
CN115035011A (zh) 一种融合策略下自适应RetinexNet的低照度图像增强方法
CN113076966B (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
CN114708172A (zh) 图像融合方法、计算机程序产品、存储介质及电子设备
WO2020187029A1 (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
CN113284055A (zh) 一种图像处理的方法以及装置
WO2023029559A1 (zh) 一种数据处理方法以及装置
CN116309213A (zh) 一种基于生成对抗网络的高实时多源图像融合方法
US20220164934A1 (en) Image processing method and apparatus, device, video processing method and storage medium
CN113379608A (zh) 一种图像处理方法、存储介质及终端设备
WO2023028866A1 (zh) 图像处理方法、装置和车辆
WO2022183325A1 (zh) 视频块处理方法及装置、神经网络的训练方法和存储介质
CN116363442A (zh) 目标检测方法及装置、非瞬时性存储介质
Tian et al. AMDCENR: Attention Mechanism and Deep Curve Estimation under Noise Reduction Network for low-light image enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant