CN113781345A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN113781345A
CN113781345A CN202111069845.2A CN202111069845A CN113781345A CN 113781345 A CN113781345 A CN 113781345A CN 202111069845 A CN202111069845 A CN 202111069845A CN 113781345 A CN113781345 A CN 113781345A
Authority
CN
China
Prior art keywords
image
map
channel map
channel
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111069845.2A
Other languages
English (en)
Inventor
刘一群
鲍松泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202111069845.2A priority Critical patent/CN113781345A/zh
Publication of CN113781345A publication Critical patent/CN113781345A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法、装置、电子设备和存储介质。所述方法包括：获取第一图像，并基于所述第一图像获取对应的第一亮度通道图；对所述第一图像进行降噪处理，得到第二图像，并基于所述第二图像获取对应的第二亮度通道图；根据所述第一亮度通道图和所述第二亮度通道图之间的差值图，确定亮度通道纹理图；基于所述亮度通道纹理图和所述第二图像，生成目标图像。采用本方法能够在降噪的同时更多地保留图像纹理信息。

Description

图像处理方法、装置、电子设备和计算机可读存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。
背景技术
随着计算机技术的发展，越来越多的电子设备上安装有图像传感器，可以通过图像传感器拍摄出各种类型的图像，如YUV(Y表征明度，UV表征色度)图像、RGB(Red、Green、Blue，红色、绿色、蓝色)图像等。通常地，图像中会残留大量噪声，影响图像整体观感，因此需要对图像进行降噪。
传统的对图像进行降噪的方式，有空域滤波(如双边滤波，非局部均值算法等)、频域降噪(小波，离散余弦变换等)等。然而，传统的图像处理方法，对图像进行降噪处理后，生成的图像无法保留纹理信息，存在生成的图像涂抹过度、纹理信息丢失的问题。
发明内容
本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质，可以在降噪的同时保留更多的图像纹理信息，提高图像处理的准确性。
一种图像处理方法，包括：
获取第一图像，并基于所述第一图像获取对应的第一亮度通道图；
对所述第一图像进行降噪处理，得到第二图像，并基于所述第二图像获取对应的第二亮度通道图；
根据所述第一亮度通道图和所述第二亮度通道图之间的差值图，确定亮度通道纹理图；
基于所述亮度通道纹理图和所述第二图像，生成目标图像。
一种图像处理装置，包括：
获取模块，用于获取第一图像，并基于所述第一图像获取对应的第一亮度通道图；
降噪模块，用于对所述第一图像进行降噪处理，得到第二图像，并基于所述第二图像获取对应的第二亮度通道图；
确定模块，用于根据所述第一亮度通道图和所述第二亮度通道图之间的差值图，确定亮度通道纹理图；
图像生成模块，用于基于所述亮度通道纹理图和所述第二图像，生成目标图像。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的图像处理方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。
上述图像处理方法、装置、电子设备、计算机可读存储介质，获取第一图像，并基于第一图像获取对应的第一亮度通道图；对第一图像进行降噪处理，可以得到经过降噪的第二图像，并基于第二图像获取对应的经过降噪的第二亮度通道图。可以理解的是，第一亮度通道图是未经过降噪处理的表征亮度的通道图，包含有较多的高频纹理信息，则根据第一亮度通道图和第二亮度通道图之间的差值图，可以确定出亮度通道纹理图，该亮度通道纹理图表征第一亮度通道图中被降噪处理抹去的高频纹理信息，那么，基于亮度通道纹理图和第二图像，可以生成经过降噪处理，并且保留更多高频纹理信息的目标图像，提高了图像处理的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的流程图；
图2为一个实施例中构建训练对的示意图；
图3为一个实施例中镜头阴影现象的示意图；
图4为一个实施例中得到YUV类型的标签图像的示意图；
图5为一个实施例中确定第二图像相对于标签图像的目标损失值的步骤的流程图；
图6为一个实施例中对图像进行低通滤波前后的对比图；
图7为另一个实施例中图像处理方法的流程图；
图8为一个实施例中对第一图像进行降噪处理得到第二图像的步骤的流程图；
图9为另一个实施例中图像处理方法的流程图；
图10为另一个实施例中图像处理方法的流程图；
图11为另一个实施例中图像处理方法的流程图；
图12为一个实施例中下采样模块的示意图；
图13为一个实施例中上采样模块的示意图；
图14为一个实施例中全局平均池化模块的示意图；
图15为一个实施例中非局部模块的示意图；
图16为另一个实施例中图像处理方法的示意图；
图17为另一个实施例中对第一图像进行降噪处理得到第二图像的步骤的流程图；
图18为一个实施例中图像处理装置的结构框图；
图19为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
在一个实施例中，如图1所示，提供了一种图像处理方法，本实施例以该方法应用于电子设备进行举例说明。其中，电子设备可以是终端，也可以是服务器。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。可以理解的是，该方法也可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤102，获取第一图像，并基于第一图像获取对应的第一亮度通道图。
第一图像指的是电子设备获取的进行图像处理的图像。在一个实施例中，第一图像的颜色空间类型为YUV，Y表征第一图像的亮度(Luminance或Luma)通道，UV表征第一图像的颜色(Chrominance或Chroma)通道。在另一个实施例中，第一图像的颜色空间类型可以为RGB(Red、Green、Blue，红色、绿色、蓝色)。在其他实施例中，第一图像的颜色空间类型还可以是CMY(Cyan、Magenta、Yellow，青色、洋红色、黄色)或HSV(Hue、Saturation、Value，色调、饱和度、明度)等。
电子设备获取第一图像，检测第一图像的原始颜色空间类型，若该原始颜色空间类型为非目标颜色空间类型，则将第一图像的原始颜色空间类型转换为目标颜色空间类型；若该原始颜色空间类型为目标颜色空间类型，则基于第一图像获取对应的第一亮度通道图。
颜色空间类型是指图像的颜色系统的类型。颜色空间类型至少可以包括YUV、RGB、CMY和HSV等。原始颜色空间类型是第一图像原始的颜色空间类型。目标颜色空间类型是第一图像所期望的颜色空间类型。
若该原始颜色空间类型为非目标颜色空间类型，则电子设备调用颜色空间转换模型，将原始颜色空间类型转换为目标颜色空间类型。
例如，电子设备获取第一图像，该第一图像的原始颜色空间类型为RGB，而目标颜色空间类型为YUV，即该第一图像的原始颜色空间类型RGB为非目标颜色空间类型YUV，则调用颜色空间转换模型将第一图像的原始颜色空间类型RGB转换为YUV。
又如，电子设备获取第一图像，该第一图像的原始颜色空间类型为YUV，目标颜色空间类型也为YUV，则执行对第一图像进行编码处理，得到第一特征图。
第一亮度通道图是第一图像中表征亮度的通道图。第一图像还包括第一颜色通道图，该第一颜色通道图是第一图像中表征颜色的通道图。若第一图像为YUV图像，则第一图像对应的亮度通道图为Y通道图，第一图像对应的颜色通道图为UV通道图。
在一种实施方式中，电子设备可以从第一图像中分别提取表征亮度的第一亮度通道图和表征颜色的第一颜色通道图。在另一种实施方式中，电子设备可以基于第一图像中各个像素，插值出表征亮度的第一亮度通道图，以及表征颜色的第一颜色通道图。在其他实施方式中，电子设备还可以采用其他方式生成第一亮度通道图和第一颜色通道图，在此不做限定。
步骤104，对第一图像进行降噪处理，得到第二图像，并基于第二图像获取对应的第二亮度通道图。
第二图像指的是第一图像经过降噪处理得到的图像。第二亮度通道图是第二图像中表征亮度的通道图。第二图像还包括第二颜色通道图，该第二颜色通道图是第二图像中表征颜色的通道图。若第二图像为YUV图像，则第二图像对应的亮度通道图为Y通道图，第二图像对应的颜色通道图为UV通道图。
电子设备对第一图像进行降噪处理，具体可以是滤波处理、上采样/下采样处理或裁剪处理等，在此不做限定。
在一种实施方式中，电子设备可以从第二图像中分别提取表征亮度的第二亮度通道图和表征颜色的第二颜色通道图。在另一种实施方式中，电子设备可以基于第二图像中各个像素，插值出表征亮度的第二亮度通道图，以及表征颜色的第二颜色通道图。在其他实施方式中，电子设备还可以采用其他方式生成第二亮度通道图和第二颜色通道图，在此不做限定。
步骤106，根据第一亮度通道图和第二亮度通道图之间的差值图，确定亮度通道纹理图。
差值图是第一亮度通道图和第二亮度通道图进行差值处理得到的图像。亮度通道纹理图是第一图像对应的第一亮度通道图表征高频纹理信息的图像。
可以理解的是，亮度通道图包括图像高频纹理信息，可以决定图像的细节，而颜色通道图主要包括颜色信息。而电子设备对第一图像进行降噪处理时，会抹去第一亮度通道中的高频信息，因此，根据第一亮度通道图和第二亮度通道图之间的差值图，从而确定出被抹去的图像中的高频纹理信息，即亮度通道纹理图。
具体地，电子设备根据第一亮度通道图和第二亮度通道图之间的差值图，去除该差值图中的亮度噪声，提取出差值图中的高频纹理信息，从而生成亮度通道纹理图。
步骤108，基于亮度通道纹理图和第二图像，生成目标图像。
目标图像是最终生成的图像。
具体地，电子设备将亮度通道纹理图和第二图像对应的第二亮度通道图进行融合，得到目标亮度通道图，再基于目标亮度通道图和第二图像对应的第二颜色通道图生成目标图像。
上述图像处理方法，获取第一图像，并基于第一图像获取对应的第一亮度通道图；对第一图像进行降噪处理，可以得到经过降噪的第二图像，并基于第二图像获取对应的经过降噪的第二亮度通道图。可以理解的是，第一亮度通道图是未经过降噪处理的表征亮度的通道图，包含有较多的高频纹理信息，则根据第一亮度通道图和第二亮度通道图之间的差值图，可以确定出亮度通道纹理图，该亮度通道纹理图表征了第一亮度通道图中被降噪处理抹去的高频纹理信息，那么，基于亮度通道纹理图和第二图像，可以生成经过降噪处理，并且保留更多高频纹理信息的目标图像，提高了图像处理的准确性。
在一个实施例中，在电子设备进行运动抓拍图像时，采用上述图像处理方法对运动抓拍的图像进行处理，可以生成目标图像，该目标图像可以有效去除短曝图像中的噪声，同时保留更多的图像纹理信息和边缘信息。
在一个实施例中，获取第一图像，包括：获取第一数量的单帧图像和第二数量的融合图像；其中，融合图像是多个单帧图像融合得到的图像；基于第一数量的单帧图像和第二数量的融合图像，构建输入图像集合；从输入图像集合包含的各个图像中获取第一图像。
单帧图像指的是初始的一帧图像。融合图像是多个单帧图像融合得到的图像。第一数量是单帧图像的数量。第二数量是融合图像的数量。输入图像集合是存储单帧图像和融合图像的集合，也是用于获取输入降噪网络的第一图像的集合。
其中，上述的单帧图像、融合图像和第一图像的图像颜色类型可以均为YUV。电子设备直接将YUV类型的多个单帧图像进行融合得到融合图像，也可以先将YUV类型的多个单帧图像均转换为RGB类型的单帧图像，将多个RGB类型的单帧图像进行平均处理，得到RGB类型的融合图像，再将RGB类型的融合图像转换为YUV类型的融合图像。
电子设备获取初始图像集合，从初始图像集合中选择第一数量的初始图像，将每一个初始图像作为一个单帧图像；从初始图像集合中多次获取多个初始图像(单帧图像)进行平均处理，将每次平均处理得到的图像作为一个融合图像，得到第二数量的融合图像。
需要指出的是，融合图像所融合的单帧图像的数量，在此并不限定。例如，融合图像可以是4个单帧图像融合得到，也可以是8个单帧图像融合得到，还可以是10个单帧图像融合得到。
例如，电子设备获取初始图像集合，该初始图像集合中包括120个初始图像，从初始图像中选择第一数量的初始图像，将每一个初始图像作为单帧图像single；从初始图像集合中多次获取4个初始图像进行融合，得到多个融合图像avg4，从初始图像集合中多次获取8个初始图像进行融合，得到多个融合图像avg8。则构建输入图像集合{single，avg4，avg8}，包括三种图像，分别是单帧图像single、4个初始图像融合得到的融合图像avg4和8个初始图像融合得到的融合图像avg8。
在一种实施方式中，电子设备从输入图像集合包含的各个图像中随机获取一个图像作为第一图像。在另一种实施方式中，电子设备从输入图像集合包含的各个图像中选择数量占比更高的一种图像，并从该数量占比更高的一种图像中选择一个图像作为第一图像。例如，单帧图像的第一数量为20个，融合图像的第二数量为10个，则单帧图像的第一数量占比更高，则从单帧图像中选择一个作为第一图像。需要说明的是，电子设备从输入图像集合包含的各个图像中获取第一图像的方式，可以根据需要进行设置，在此不做限定。
可以理解的是，单帧图像的噪声水平较高，而融合图像的噪声水平较低。在本实施例中，通过平均不同张数的单帧图像来模拟实际应用中不同噪声水平的第一图像，从而构建包含不同噪声水平的图像的输入图像集合，可以在后续更准确地、更有针对性地对降噪网络进行训练。
在一个实施例中，上述方法还包括：获取第一图像对应的标签图像；基于标签图像和第一图像，构建训练对；训练对用于对第一降噪网络进行训练，得到训练完成的第二降噪网络；其中，第一降噪网络用于对第一图像进行降噪处理。
标签图像是预先定义的用于与目标图像进行参照的图像。训练对指的是标签图像和第一图像所构成的一对用于训练第一降噪网络的图像。第一降噪网络是对第一图像进行降噪处理的网络。第二降噪网络是第一降噪网络训练完成后得到的网络。
在本实施例中，单帧图像的噪声水平较高，而融合图像的噪声水平较低。输入图像集合中包含各种噪声水平的图像，则从输入图像集合中获取不同噪声水平的第一图像，可以训练出不同降噪能力的第二降噪网络。例如，电子设备从输入图像集合中获取噪声水平较高的单帧图像，则训练完成的第二降噪网络的降噪能力较弱，同时该第二降噪网络也对图像中的高频纹理信息抹去更多。又如，电子设备从输入图像集合中获取噪声水平较低的融合图像，则训练完成的第二降噪网络的降噪能力较弱，同时该第二降噪网络也保留图像中更多的高频纹理信息。
在一个实施例中，如图2所示，电子设备将4个单帧图像进行融合得到4个单帧图像融合得到的融合图像avg4，将8个单帧图像进行融合得到8个单帧图像融合得到的融合图像avg8，从而获取到总数为第二数量的融合图像avg4和avg8，以及获取第一数量的单帧图像。电子设备将第一数量的单帧图像，以及总数为第二数量的融合图像avg4和avg8，构建输入图像集合，可以从输入图像集合包含的各个图像中获取第一图像。电子设备对同一拍摄场景拍摄120个场景图像，每个场景图像为单帧图像，将120个单帧图像进行平均处理，得到第一图像对应的标签图像，则基于第一图像和标签图像可以构建训练对。
在一个实施例中，单帧图像的噪声水平高于融合图像的噪声水平；上述方法还包括：调整输入图像集合中第一数量和第二数量之间的比例关系；基于比例关系调整后的输入图像集合，得到训练完成的第二降噪网络。
在一种实施方式中，电子设备可以通过调整输入图像集合中获取的单帧图像的第一数量，以及融合图像的第二数量，来调整第一数量和第二数量的比例关系。在另一种实施方式中，电子设备也可以通过复制单帧图像，或者复制融合图像，来调整第一数量和第二数量之间的比例关系。
电子设备对第一降噪网络进行多次迭代训练，在每次迭代训练时，从输入图像集合中随机获取第一图像，以及同一拍摄场景得到的标签图像进行训练。每一次迭代训练即第一降噪网络的一次前向传播与一次反向传播。
可以理解的是，单帧图像的噪声水平较高，融合图像的噪声水平较低，则单帧图像的第一数量和融合图像的第二数量之间的比例关系可以决定获取的第一图像的噪声水平的概率，从而决定第一降噪网络的降噪能力。通过调整单帧图像的第一数量和融合图像的第二数量之间的比例关系，可以训练出更有针对性、更符合用户需求的第二降噪网络。
例如，单帧图像的第一数量的占比较高，则从输入图像集合中获取的第一图像为单帧图像的概率更高，则训练完成的第二降噪网络具有更强的降噪能力，同时降噪之后的图像会丢失较多的高频纹理信息、图像细节。又如，融合图像的第二数量的占比较高，则从输入图像集合中获取的第二图像为融合图像的概率更高，则训练完成的第二降噪网络具有较弱的降噪能力，但是可以更多的保留图像的高频纹理信息。
进一步地，融合图像可以包括不同数量的单帧图像融合得到的图像。例如，融合图像可以包括4个单帧图像融合得到的图像，也可以包括8个单帧图像融合得到的图像，而融合图像所对应的单帧图像的数量越多，则该融合图像的噪声水平越低，因此，可以调整第一数量、以及各种融合图像的数量之间的比例关系，基于比例关系调整后的输入图像集合，得到训练完成的第二降噪网络。
例如，单帧图像single、4个单帧图像融合得到的融合图像avg4和8个单帧图像融合得到的融合图像avg8的噪声水平依次递减，则输入图像集合中single的数量占比越高，则训练完成的第二降噪网络的降噪能力越强，avg4的数量占比越高，则训练完成的第二降噪网络的降噪能力中等，同时也可以保留较多的高频纹理信息，avg8的数量占比越高，则训练完成的第二降噪网络的降噪能力越弱，可以保留更多的高频纹理信息。
在本实施例中，通过调整第一数量和第二数量之间的比例关系，可以调整第一降噪网络的降噪强度，从而训练出更准确的、更符合用户需求的第二降噪网络。
在一个实施例中，根据第一亮度通道图和第二亮度通道图之间的差值图，确定亮度通道纹理图，包括：确定第一亮度通道图和第二亮度通道图之间的差值图，对差值图进行下采样处理和上采样处理，得到第一中间图；基于差值图和第一中间图，确定亮度通道纹理图。
第一中间图是电子设备对差值图依次进行下采样处理和上采样处理后得到的图像。电子设备对差值图进行双线性插值(bilinear interpolation)，得到亮度通道图，具体包括：对差值图依次进行下采样处理(downsample)和上采样处理(upsample)，再将差值图和第一中间图进行差值处理，可以提取出第一图像对应的第一亮度通道图中被降噪处理抹去的高频纹理信息，得到亮度通道纹理图。
在一种实施方式中，电子设备对差值图先下采样处理再上采样处理，得到第一中间图。在另一种实施方式中，电子设备对差值图先上采样处理再下采样处理，得到第一中间图。
若第一图像和第二图像的颜色空间类型为YUV，则电子设备可以采用以下公式确定亮度通道纹理图：
blendY＝noiseY-upsamle(downsample(noiseY))；
其中，noiseY＝IinputY-IdenoiseY。其中，blendY是亮度通道纹理图，noiseY是差值图，IinputY是第一图像的第一亮度通道图，即第一图像Iinput的Y通道图，IdenoiseY是第二图像的第二亮度通道图，即第二图像Idenoise的Y通道图，upsamle(downsample(noiseY))为第一中间图。
在本实施例中，确定第一亮度通道图和第二亮度通道图之间的差值图，对差值图进行下采样处理和上采样处理，得到第一中间图，可以基于差值图和第一中间图，提取出第一图像对应的第一亮度通道图中被降噪处理抹去的高频纹理信息，更准确地得到亮度通道纹理图。
在一个实施例中，基于亮度通道纹理图和第二图像，生成目标图像，包括：获取矫正参数；基于矫正参数和亮度通道纹理图生成矫正的亮度通道纹理图；将矫正的亮度通道纹理图和第二图像对应的第二亮度通道图进行融合，得到目标亮度通道图；基于目标亮度通道图和第二图像对应的第二颜色通道图，生成目标图像。
矫正参数是对亮度通道纹理图进行矫正的参数。目标亮度通道图是将矫正的亮度通道纹理图和第二亮度通道图进行融合，并且表征目标图像的亮度的通道图。
可以理解的是，在电子设备中，广泛出现镜头阴影现象，带来的直观感觉是图像边角位置过暗，如图3所示，则需要在ISP(Image Signal Processor，图像信号处理)流程中需要对其矫正提亮。因此，在本实施例中，电子设备获取矫正参数，对亮度通道纹理图进行矫正，得到更准确的矫正的亮度通道纹理图，从而生成更准确的目标亮度通道图和目标图像。
具体地，电子设备将亮度通道纹理图除以矫正参数，得到矫正的亮度通道纹理图，再将矫正的亮度通道纹理图和第二图像对应的第二亮度通道图进行叠加，得到补充了高频纹理信息的目标亮度通道图。电子设备可以将目标亮度通道图和第二图像对应的第二颜色通道图拼接成目标格式的拼接成的目标图像。例如，目标格式可以为nv21格式、nv12格式等，不限于此。
矫正参数为预设尺寸的矩阵，获取亮度通道纹理图的图像尺寸，若矫正参数的预设尺寸与图像尺寸不一致，则将矫正参数的预设尺寸调整至图像尺寸；若矫正参数的预设尺寸与图像尺寸一致，则执行将亮度通道纹理图除以矫正参数的步骤。例如，矫正参数是预设尺寸13*17的矩阵，亮度通道纹理图的图像尺寸为3072*4096，则先将矫正参数的矩阵的预设尺寸13*17插值到3072*4096，与图像尺寸一致，再执行将亮度通道纹理图除以矫正参数的步骤。
若第一图像和第二图像的颜色空间类型为YUV，电子设备可以采用以下公式计算得到目标亮度通道图：
Figure BDA0003259766390000061
其中，IdenoiseY_blend是目标亮度通道图，LSC是矫正参数，blendY是亮度通道纹理图，IdenoiseY第二图像的第二亮度通道图，即第二图像Idenoise的Y通道图。
在本实施例中，电子设备获取矫正参数，对亮度通道纹理图进行矫正，得到矫正的亮度通道纹理图，将矫正的亮度通道纹理图和第二图像对应的第二亮度通道图进行融合，可以得到更准确的目标亮度通道图。则基于目标亮度通道图和第二图像对应的第二颜色通道图，可以生成目标图像，该目标图像可以避免镜头的阴影现象。并且，本实施例生成目标图像的方式，还可以应用于其他像素级任务中、或者AI(Artificial Intelligence，人工智能)算法，可以提高图像质量。其中，像素级任务指的是网络的输出和输入是同分辨率的图像，而非单个数字表示的类别或由数组表示的目标检测框。
在一个实施例中，上述方法还包括：获取第一图像对应的标签图像；确定第二图像相对于标签图像的目标损失值；基于目标损失值对第一降噪网络进行训练，直到满足训练截止条件，得到训练完成的第三降噪网络；其中，第一降噪网络用于对第一图像进行降噪处理。
目标损失值是目标图像相对于标签图像的损失值。第三降噪网络是基于目标损失值对第一降噪网络进行训练得到的网络。
电子设备获取目标损失函数，采用目标损失函数计算目标图像相对于标签图像之间的目标损失值，基于目标损失值，通过梯度下降法优化网络参数，最小化目标损失值，可以得到更准确的第三降噪网络。其中，目标损失函数可以是L1(Least Abosulote Error，最小化绝对误差)，也可以是其他函数，如L2(Least Square Error，最小化平方误差)损失函数、TV(Total Variation，总变差)损失函数等，不限于此。
训练截止条件可以根据需要进行设置。在一个实施例中，训练截止条件可以是目标损失值小于预设阈值。在另一个实施例中，训练截止条件可以是训练次数达到预设次数。在其他实施例中，训练截止条件还可以是训练时长达到预设时长。其中，预设阈值、预设次数、预设时长均可以根据需要进行设置。
在本实施例中，获取第一图像对应的标签图像，可以确定出第二图像相对于标签图像的目标损失值。那么，基于目标损失值对第一降噪网络进行训练，直到满足训练截止条件，可以训练得到更准确的第三降噪网络，该第三降噪网络可以在后续对待处理图像进行更准确的降噪处理。
在一个实施例中，获取第一图像对应的标签图像，包括：对同一拍摄场景拍摄多帧场景图像；对多帧场景图像进行平均处理，得到第一图像对应的标签图像。
其中，场景图像是对同一场景拍摄得到，并且用于生成目标图像对应的标签图像的图像。场景图像可以是短曝图像，即采用较短的曝光时长进行曝光得到的图像。电子设备对同一拍摄场景拍摄的场景图像的数量可以根据需要进行设置。例如，电子设备对同一拍摄场景拍摄120帧场景图像，对120帧场景图像进行平均处理，得到目标图像对应的标签图像。又如，电子设备对同一拍摄场景拍摄150帧场景图像，对150帧场景图像进行平均处理，得到目标图像对应的标签图像。
特别地，由于外界环境振动干扰，第一帧场景图像与最后一帧场景图像与存在微小位移，平均后会导致图像模糊，故场景图像的数量不宜过多，通过测试可知对120帧场景图像进行平均处理，得到的标签图像可以达到噪声水平与模糊程度较好的平衡。当然，在其他情况下，电子设备也可以对同一拍摄场景拍摄130帧场景图像，并对130帧场景图像进行平均处理得到标签图像；还可以对同一拍摄场景拍摄125帧场景图像，并对125帧场景图像进行平均处理得到标签图像。
可以理解的是，单张场景图像中的噪声符合0均值分布，而对多帧场景图像进行平均处理，可以有效消除噪声。并且，标签图像中的噪声水平与场景图像的数量成负相关关系。也就是说，场景图像的数量越多，标签图像的噪声水平越低。
进一步地，目标图像和场景图像的颜色空间类型为YUV；对多帧场景图像进行平均处理，得到第一图像对应的标签图像，包括：将每一帧场景图像的颜色空间类型转换为RGB，得到RGB类型的场景图像；将多帧RGB类型的场景图像进行平均处理，得到RGB类型的标签图像；将RGB类型的标签图像的颜色空间类型转换为YUV，得到YUV类型的标签图像。
可以理解的是，电子设备若在YUV域对多帧场景图像进行平均处理，则得到的YUV类型的标签图像会产生偏色的问题。因此，在本实施例中，电子设备先将每一帧YUV类型的场景图像转换为RGB类型的场景图像，在RGB域中将多帧RGB类型的场景图像进行平均处理，得到RGB类型的标签图像，再将RGB类型的标签图像转换为YUV类型的标签图像，则可以避免生成的YUV类型的标签图像偏色的问题，提高了生成的标签图像的准确性，从而可以更准确地计算出目标图像和标签图像之间的目标损失值。
在一个实施例中，如图4所示，电子设备对同一拍摄场景拍摄得到n个YUV类型的场景图像，将每个YUV类型的场景图像进行颜色空间类型，得到RGB类型的场景图像，将n个RGB类型的场景图像进行平均处理，得到RGB类型的标签图像，将RGB类型的标签图像进行颜色空间类型转换，得到YUV类型的标签图像。
在一个实施例中，目标图像和标签图像的形状相同，均为(H，W，C)。其中H、W和C分别为高，宽和通道数。标签图像的颜色空间类型和目标图像的颜色空间类型相同。例如，目标图像的颜色空间类型为YUV，标签图像的颜色空间类型也为YUV；目标图像的颜色空间类型为RGB，标签图像的颜色空间类型也为RGB。
在一个实施例中，对多帧场景图像进行平均处理，得到第一图像对应的标签图像，包括：从多帧场景图像中选择指定数量的场景图像，对指定数量的场景图像进行平均处理，得到第一图像对应的标签图像。其中，指定数量可以根据用户需要进行设置。例如，指定数量为10，45等。
例如，电子设备对同一拍摄场景拍摄100帧场景图像，指定数量为50，则从100帧场景图像中选择50帧场景图像，对50帧场景图像进行平均处理，得到第一图像对应的标签图像。
在一个实施例中，第二图像和标签图像的颜色空间类型均为YUV，Y表征图像的亮度通道，UV表征图像的颜色通道。如图5所示，确定第二图像相对于标签图像的目标损失值，包括：
步骤502，基于第二图像和标签图像，分别对第二图像对应的第二亮度通道图、第二颜色通道图进行第一损失计算，得到第二图像的第一损失值；第一损失值用于训练第一降噪网络在进行降噪处理时，保留颜色通道图的低频信息。
YUV是编译true-color颜色空间(color space)的种类。“Y”表示明度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。
第二亮度通道图即第二图像的Y通道图。第二颜色通道图即第二图像的U通道图和V通道图。第一损失值是针对损失图像的第二亮度通道图和第二颜色通道图计算得到的损失值。第一损失值用于训练第一降噪网络在进行降噪处理时，保留颜色通道图的低频信息。其中，低频信息是图像中颜色变化缓慢的信息，即连续渐变的区域的信息。
具体地，基于第二图像和标签图像，采用L1(Least Abosulote Error，最小化绝对误差)损失函数分别对第二图像对应的第二亮度通道图和第二颜色通道图进行L1损失计算，得到第二图像的第一损失值。
在另一个实施例中，基于损失图像和标签图像，采用L2(Least Square Error，最小化平方误差)损失函数分别对第二图像对应的第二亮度通道图和第二颜色通道图进行L2损失计算，得到第二图像的第一损失值。
在另一个实施例中，基于损失图像和标签图像，采用TV(Total Variation，总变差)损失函数分别对第二图像对应的第二亮度通道图和第二颜色通道图进行TV损失计算，得到第二图像的第一损失值。
在一个实施例中，基于第二图像和标签图像，分别对第二图像对应的第二亮度通道图和第二颜色通道图进行第一损失计算，得到第二图像的第一损失值之前，还包括：根据第二图像分别生成第二亮度通道图和第二颜色通道图，根据标签图像分别生成标签亮度通道图和标签颜色通道图。
以生成第二亮度通道图和第二颜色通道图为例进行说明：
在一种实施方式中，电子设备可以从第二图像中分别提取同一通道图的数据，生成第二亮度通道图和第二颜色通道图。在另一种实施方式中，电子设备可以将第二图像进行拆分，得到第二亮度通道图和第二颜色通道图。在另一种实施方式中，电子设备还可以基于第二图像中各个像素，插值出表征明度的第二亮度通道图，以及表征色度的第二颜色通道图。在其他实施方式中，电子设备还可以采用其他方式生成第二亮度通道图和第二颜色通道图，在此不做限定。
需要说明的是，标签亮度通道图和标签颜色通道图也可以同样采用上述方式生成，在此不做赘述。
步骤504，基于第二图像对应的第二亮度通道图和标签图像的标签亮度通道图，对第二亮度通道进行第二损失计算，得到第二亮度通道图的第二损失值。
第二损失值针对第二图像的第二亮度通道图计算得到的损失值。
具体地，基于第二图像对应的第二亮度通道图和标签图像的标签亮度通道图，电子设备采用感知损失函数、低通滤波损失函数、传统边缘算子损失函数和多尺度结构相似损失函数中的至少一种损失函数对第二亮度通道图进行第二损失计算，得到第二亮度通道图的第二损失值。
在一个实施例中，电子设备采用感知损失函数、低通滤波损失函数、传统边缘算子损失函数和多尺度结构相似损失函数中的任意一种损失函数对第二亮度通道图进行第二损失计算，得到第二亮度通道图的第二损失值。
在另一个实施例中，电子设备采用感知损失函数、低通滤波损失函数、传统边缘算子损失函数和多尺度结构相似损失函数中的至少两种损失函数对第二亮度通道图进行第二损失计算，得到第二亮度通道图的第二损失值。其中，至少两种损失函数的计算顺序可以根据需要进行设置。
例如，电子设备依次采用感知损失函数、低通滤波损失函数、传统边缘算子损失函数和多尺度结构相似损失函数对第二亮度通道图进行第二损失计算，得到第二亮度通道图的第二损失值。又如，电子设备依次采用低通滤波损失函数、感知损失函数和多尺度结构相似损失函数对第二亮度通道图进行第二损失计算，得到第二亮度通道图的第二损失值。
步骤506，基于第一损失值和第二损失值，确定第二图像相对于标签图像的目标损失值。
目标损失值是第二图像与标签图像进行对比之后得到的最终的损失值。
具体地，电子设备将第一损失函数和第二损失函数进行组合，构建目标损失函数；将第一损失值和第二损失值代入该目标损失函数中，得到第二图像的目标损失值。其中，第一损失函数用于进行第一损失计算，第二损失函数用于进行第二损失计算。第一损失函数和第二损失函数进行组合可以是相加，也可以是先与权重因子相乘后再进行相加，在此不做限定。
可以理解的是，YUV类型的图像，Y通道图所表征的明度信息(亮度信息)决定了图像中的细节，故需要重点进行优化，而U通道图和V通道图所表征的色度信息仅需要保留低频信息，不需要额外约束。因此，上述图像处理方法，对第二图像对应的第二亮度通道图、第二颜色通道图进行第一损失计算得到第二图像的第一损失值，以及对第二亮度通道图进行第二损失计算得到第二亮度通道图的第二损失值，从而可以基于第一损失值和第二损失值，确定第二图像的目标损失值。也就是说，该目标损失值不仅有针对第二亮度通道图的第二损失值，第二损失值可以用于训练降噪网络在进行降噪处理时，更准确地降低亮度通道图中的亮度噪声，还有针对第二图像的第二亮度通道图和第二颜色通道图计算得到的第一损失值，该第一损失值可以用于训练第一降噪网络在进行降噪处理时，保留颜色通道图的低频信息，从而去除颜色通道图的高频噪声(彩色噪声)，因此可以确定出更准确的目标损失值。进一步地，基于该更准确的目标损失值可以训练出更准确的降噪网络，该降噪网络可以在去除图像中的彩色噪声的同时更好地保留了纹理信息。
在一个实施例中，基于第二图像和标签图像，分别对第二图像对应的第二亮度通道图、第二颜色通道图进行第一损失计算，得到第二图像的第一损失值，包括：基于第二图像和标签图像，分别对第二图像对应的第二亮度通道图、第二颜色通道图进行第一损失计算，得到第二亮度通道图的第一亮度损失值、第二颜色通道图的第一颜色损失值；基于第一亮度损失值和第一颜色损失值，确定第二图像的第一损失值。
第一亮度通道损失值是针对第二图像的第二亮度通道图进行第一损失计算得到的损失值。第一颜色损失值是针对第二图像的第二颜色通道图进行第一损失计算得到的损失值。
具体地，电子设备基于第二图像的第二亮度通道图和标签图像的标签亮度通道图，采用L1损失函数对第二亮度通道图进行L1损失计算，得到第一亮度损失值；基于第二图像的第二颜色通道图和标签图像的标签颜色通道图，采用L1损失函数对第二颜色通道图进行L1损失计算，得到第一颜色损失值。
电子设备采用以下L1损失函数对第二图像的Y通道图进行L1损失计算得到第一亮度损失值：
Figure BDA0003259766390000091
其中，LY是第一亮度损失值，H表示第二图像的Y通道图的高，W表示第二图像的Y通道图的宽，IdenoiseY是第二图像的Y通道图，IgtY是标签图像的Y通道图。
电子设备采用以下L1损失函数对第二图像的U通道图进行L1损失计算得到U通道的第一颜色损失值：
Figure BDA0003259766390000092
其中，LU是第二图像的U通道的第一颜色损失值，H表示第二图像的U通道图的高，W表示第二图像的U通道图的宽，IdenoiseU是第二图像的U通道图，IgtU是标签图像的U通道图。
电子设备采用以下L1损失函数对第二图像的V通道图进行L1损失计算得到V通道的第一颜色损失值：
Figure BDA0003259766390000093
其中，LV是第二图像的V通道图的第一颜色损失值，H表示第二图像的V通道图的高，W表示第二图像的V通道图的宽，IdenoiseV是第二图像的V通道图，IgtV是标签图像的V通道图。
需要说明的是，在其他实施例中，电子设备还可以采用其他的如L2损失函数或TV损失函数等损失函数进行第一损失计算，从而可以得到第二图像的Y通道图的第一亮度损失值、第二图像的U通道图的第一颜色损失值和第二图像的V通道图的第一颜色损失值。
在本实施例中，基于第二图像和标签图像，分别对第二图像对应的第二亮度通道图、第二颜色通道图进行第一损失计算，得到第二亮度通道图的第一亮度损失值、第二颜色通道图的第一颜色损失值，从而可以基于第一亮度损失值和第一颜色损失值，准确地确定出第二图像的第一损失值。
在一个实施例中，电子设备还可以基于第二图像的U通道图和标签图像的U通道图进行第一损失计算，得到第二图像的U通道图的第一颜色损失值，基于第二图像的V通道图和标签图像的V通道图进行第一损失计算，得到第二图像的V通道图的第一颜色损失值。可以理解的是，第二图像的U通道图的第一颜色损失值和第二图像的V通道图的第一颜色损失值均是针对表征色度的通道图(U通道图和V通道图)的损失值，则第二图像的U通道图的第一颜色损失值和第二图像的V通道图的第一颜色损失值，可以用于训练第一降噪网络在进行降噪处理时对色度处理进行优化。
同样的，电子设备还可以基于第二图像的第二亮度通道图和标签图像的标签亮度通道图分别进行第一损失计算和第二损失计算，得到第二亮度通道图的第一损失值和第二损失值。该第二损失值也是针对第二亮度通道图计算得到的损失值。可以理解的是，第一损失值和第二损失值均是针对表征明度的第二亮度通道图的损失值，则第一损失值和第二损失值可以用于训练降噪网络在进行降噪处理时对明度处理进行优化。
在一个实施例中，基于第一亮度损失值和第一颜色损失值，确定第二图像的第一损失值，包括：分别获取第一亮度损失值对应的亮度损失权重，以及第一颜色损失值对应的颜色损失权重；其中，亮度损失权重和颜色损失权重不同；将第一亮度损失值与对应的亮度损失权重相乘，以及将第一颜色损失值与对应的颜色损失权重相乘，再将相乘得到的乘积相加得到第二图像的第一损失值。
亮度损失权重是第一亮度损失值对应的权重因子。颜色损失权重是第一颜色损失值对应的权重因子。亮度损失权重和颜色损失权重可以根据实际调试得到的经验值进行设置，也可以根据实际场景进行设置。例如，根据白天和晚上的不同场景，可以设置不同的亮度损失权重和颜色通道损失权重。
在一个实施例中，亮度损失权重的数值高于颜色损失权重的数值，即经过更高的权重进行加权处理的第一亮度损失值，可以用于训练第一降噪网络在进行降噪处理时，保留亮度通道图的高频信息。其中，高频信息即图像中频率变化快的信息，也即图像中的边缘信息。
进一步地，亮度通道图包括Y通道图，颜色通道图包括U通道图和V通道图。则亮度损失权重可以高于U通道图的颜色损失权重，也高于V通道图的颜色损失权重。
例如，亮度损失权重设置为3，U通道图的颜色损失权重和V通道图的颜色损失权重均设置为1。又如，亮度损失权重设置为3，U通道图的颜色损失权重设置为2，V通道图的颜色损失权重设置为1。
可以理解的是，电子设备分别获取第一亮度损失值对应的亮度损失权重、以及第一颜色损失值对应的颜色损失权重，并且亮度损失权重和颜色损失权重不同，那么，经过加权处理的第一亮度损失值，可以用于训练第一降噪网络在进行降噪处理时，保留亮度通道图的高频信息。
第一亮度通道图包括Y通道图，第一颜色通道图包括U通道图和V通道图。电子设备采用以下公式计算得到第二图像的第一损失值：L1＝LY+γ(LU+LV)。其中，L1是第一损失值，LY是第一图像的Y通道图的第一亮度损失值，LU是第一图像的U通道图的第一颜色损失值，LV是第一图像的V通道图的第一颜色损失值，γ是Y通道的亮度损失权重，而U通道图和V通道图的颜色损失权重均为1。
在一个实施例中，基于第二图像对应的第二亮度通道图和标签图像的标签亮度通道图，对第二亮度通道进行第二损失计算，得到第二亮度通道图的第二损失值，包括：基于第二图像对应的第二亮度通道图和标签图像的标签亮度通道图，对第二亮度通道图分别进行感知损失计算、低通滤波损失计算、传统边缘算子损失计算和多尺度结构相似损失计算，得到第二亮度通道图的感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失；基于第二亮度通道图的感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失，确定第二亮度通道图的第二损失值。
具体地，电子设备基于第二图像对应的第二亮度通道图和标签图像的标签亮度通道图，采用感知损失函数进行感知损失计算得到第二亮度通道图的感知损失，采用低通滤波损失函数进行低通滤波损失计算得到第二亮度通道图的低通滤波损失，采用传统边缘算子损失函数进行传统边缘算子损失计算得到传统边缘算子损失，采用多尺度结构相似损失函数进行多尺度结构相似损失计算得到多尺度结构相似损失；分别获取感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失的权重因子，将感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失分别与对应的权重因子进行相乘，再将相乘得到的四个乘积相加得到第二亮度通道图的第二损失值。
电子设备基于第二图像对应的第二亮度通道图和标签图像的标签亮度通道图，采用感知损失函数进行感知损失计算得到第二亮度通道图的感知损失，具体地，电子设备将第二图像对应的第二亮度通道图和标签图像的标签亮度通道图输入VGG-16(VisualGeometry Group Network，视觉几何群网络)网络中，从VGG-16网络中提取出指定层的输出特征，并对指定层的输出特征进行感知损失计算，得到第二亮度通道图的感知损失。
其中，VGG-16网络包括13个卷积层和3个全链接层。可以理解的是，VGG-16网络中不同层可以提取出不同尺度的特征。指定层可以根据需要进行设置。在本实施例中，指定层可以选用第4层和第7层。
以指定层为第4层和第7层进行说明。电子设备定义VGG-16网络中第i层输出的特征形状为(Hi，Wi，Ci)，Hi表示第i层输出的特征形状的高，Wi表示第i层输出的特征形状的宽，Ci表示第i层输出的特征形状的通道数。电子设备从VGG-16网络中提取出第4层和第7层的输出特征，第4层和第7层输出的标签图像的特征分别为F4gtY和F7gtY，第4层和第7层输出的第二图像的特征分别为F4denoiseY和F7denoiseY，获取感知损失参数alpha＝0.8，则感知损失
Figure BDA0003259766390000101
Figure BDA0003259766390000102
其中，Lperceptual是第二亮度通道图的感知损失，C4*H4*W4是第4层输出的特征形状，C7*H7*W7是第7层输出的特征形状。
可以理解的是，感知损失只作用于第二亮度通道图，可以借助VGG-16网络提取到更多的语义信息以及高频信息，使得该感知损失用于训练第一降噪网络在进行降噪处理时保留图像中的细节。
电子设备基于第二图像对应的第二亮度通道图和标签图像的标签亮度通道图，通过指定核大小的高斯滤波器调用低通滤波损失函数进行低通滤波损失计算，得到第二亮度通道图的低通滤波损失。其中，指定核大小可以根据需要进行设置。例如，指定核大小为9。
可以理解的是，电子设备基于第二图像对应的第二亮度通道图和标签图像的标签亮度通道图进行低通滤波损失计算，得到第二亮度通道图的低通滤波损失，该低通滤波损失可以用于训练第一降噪网络在进行降噪处理时提取出图像中的低频信息，而该低频信息可以保证图像的整体轮廓。如图6所示，为一个实施例中对图像进行低通滤波前后的对比图。
以第二亮度通道图为第二图像的Y通道图，标签亮度通道图为标签图像的Y通道图为例进行说明。第二图像的Y通道图的低通滤波损失采用以下公式计算得到：
Figure BDA0003259766390000111
其中，Llowpass是第二图像的Y通道图的低通滤波损失，H是第二图像的Y通道图的高，W是第二图像的Y通道图的宽，IdenoiseY是第二图像的Y通道图，IgtY是标签图像的Y通道图。
电子设备采用四方向的sobel算子提取第二亮度通道图和标签亮度通道图的边缘信息，可以计算得到第二亮度通道图的传统边缘算子损失。
以第二亮度通道图为第二图像的Y通道图，标签亮度通道图为标签图像的Y通道图为例进行说明。第二图像的Y通道图的低传统边缘算子损失采用以下公式计算得到：
Figure BDA0003259766390000112
其中，Lsobel是第二图像的Y通道图的低传统边缘算子损失，H是第二图像的Y通道图的高，W是第二图像的Y通道图的宽，IdenoiseY是第二图像的Y通道图，IgtY是标签图像的Y通道图。
可以理解的是，通过计算第二亮度通道图的传统边缘算子损失，可以用于训练第一降噪网络在进行降噪处理时约束边缘信息。
以第二亮度通道图为第二图像的Y通道图，标签亮度通道图为标签图像的Y通道图为例进行说明。第二图像的Y通道图的多尺度结构相似损失采用以下公式计算得到：
LMS-SSIM＝1-MS-SSIM(IgtY，IdenoiseY)。其中，LMS-SSIM是第二图像的Y通道图的多尺度结构相似损失，IdenoiseY是第二图像的Y通道图，IgtY是标签图像的Y通道图。
可以理解的是，通过计算第二亮度通道图的多尺度结构相似损失，可以用于训练第一降噪网络在进行降噪处理时保证图像的空间结构的相似性。
进一步地，电子设备采用以下公式计算得到第二图像的目标损失值：
LYUV＝L1+0.01*Lperceptual+0.1*Llowpass+0.1*Lsobel+0.1*LMS-SSIM。其中，LYUV是目标损失值，L1是第一损失值，Lperceptual是感知损失，Llowpass是低通滤波损失，Lsobel是传统边缘算子损失，LMS-SSIM是多尺度结构相似损失。
在本实施例中，基于第二图像对应的第二亮度通道图和标签图像的标签亮度通道图，对第二亮度通道图分别进行感知损失计算、低通滤波损失计算、传统边缘算子损失计算和多尺度结构相似损失计算，得到第二亮度通道图的感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失，则基于第二亮度通道图的感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失，确定第二亮度通道图的第二损失值，而第二损失值所包含的感知损失可以用于训练第一降噪网络在进行降噪处理时保留图像中的细节，第二损失值所包含的低通滤波损失可以用于训练第一降噪网络在进行降噪处理时提取出图像中的低频信息，第二损失值所包含的传统边缘算子损失可以用于训练第一降噪网络在进行降噪处理时约束边缘信息，第二损失值所包含的多尺度结构相似损失可以用于训练第一降噪网络在进行降噪处理时保证图像的空间结构的相似性。也就是说，第一降噪网络在训练之后，可以在去除彩色噪声和亮度噪声的基础上，更好地保留图像中的边缘信息、空间结构和高低频重要信息，提高了对图像进行降噪的精细度，可以更准确地对图像进行降噪。
在其他实施例中，上述的降噪网络可以应用于图像降噪任务中，也可以应用于图像超分任务中，还可以应用于图像去模糊任务中，不限于此。
在一个实施例中，如图7所示，电子设备获取第一图像，将第一图像输入第一降噪网络中，得到经过降噪处理的第二图像，以及获取该第一图像对应的标签图像，通过预先构建的目标损失函数，对该第二图像和标签图像进行计算，可以得到该第二图像的目标损失值。其中，第一降噪网络可以是卷积神经网络。该目标损失函数可以应用于YUV域深度学习像素级任务中，深度学习像素级任务如图像超分、图像去模糊等。其中，像素级任务指的是网络的输出和输入是同分辨率的图像，而非单个数字表示的类别或由数组表示的目标检测框。
在一个实施例中，如图8所示，对第一图像进行降噪处理，得到第二图像，包括：
步骤802，对第一图像进行编码处理，得到第一特征图。
第一特征图是对第一图像进行编码处理得到的包含特征的图像。图像编码也称图像压缩，是指在满足一定质量(信噪比的要求或主观评价得分)的条件下，以较少比特数表示图像或图像中所包含信息的技术。
具体地，通过编码器对第一图像进行编码处理，得到第一特征图。其中编码器可以包括多个子编码器，通过多个子编码器对第一图像进行编码处理，将最后一个子编码器输出的图像作为第一特征图。
在一个实施例中，编码处理可以包括卷积处理和下采样处理。在其他实施例中，编码处理包括卷积处理和下采样处理，还可以包括裁剪处理、合并处理等。
步骤804，对第一特征图进行噪声处理，得到噪声处理特征图。
噪声处理特征图指的是第一特征图经过噪声处理后得到的包含噪声处理相关特征的图像。噪声处理图可以包括全局池化特征图和非局部特征图。
电子设备对第一特征图进行噪声处理，得到噪声处理特征图。其中，电子设备对第一特征图进行噪声处理，可以是对第一特征图进行降噪处理，也可以提取出第一特征图的噪声特征，具体噪声处理的方式可以根据用户需要进行设置，在此不做限定。
步骤806，将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理得到第二特征图。
串联特征图是第一特征图和噪声处理特征图串联得到的特征图。第二特征图是对串联特征图进行解码处理得到的包含特征的图像。
具体地，通过解码器对串联特征图进行解码处理，得到第二特征图。其中，解码器可以包括多个子解码器，通过多个子解码器对串联特征图进行解码处理，将串联特征图输入第一个子解码器中，并将最后一个子解码器输出的图像作为第二特征图。
在一个实施例中，解码处理可以包括上采样处理和卷积处理。在其他实施例中，解码处理可以包括上采样处理和卷积处理，还可以包括插值处理、拼接处理等。
步骤808，基于第一图像和第二特征图生成第二图像。
可以理解的是，电子设备在处理器前端获取到第一图像，通过跳跃连接(skipconnection)至处理器后端，则处理器后端可以获取到第一图像和第二特征图，基于第一图像和第二特征图生成目标图像。
在一个实施例中，电子设备可以将第一图像和第二特征图进行逐元素相加(element-wise add)，得到目标图像。在另一个实施例中，电子设备还可以将第一图像和第二特征图进行平均处理，得到目标图像。在其他实施例中，电子设备还可以采用其他方式将第一图像和第二特征图进行融合生成目标图像，在此不做限定。
在本实施例中，对获取的第一图像进行编码处理得到第一特征图，对第一特征图进行噪声处理得到噪声处理特征图，再将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理，可以得到降噪处理后的第二特征图，并且第一图像通过跳跃连接至处理器后端，而该第一图像中包含了更多的纹理信息和边缘信息，则基于该第一图像和第二特征图，可以生成经过降噪处理，并且保留更多纹理信息的目标图像，提高了图像处理的准确性。
并且可以有效去除短曝图像中的大量亮度噪声和彩色噪声，对于图像中不同明暗区域、不同空间位置强度不一致的噪声也有较好的降噪效果。还能对不同噪声强度的输入图像进行处理，可有效去除单帧图像或融合图像中的亮度噪声和彩色噪声，不依赖特定的输入噪声模式，可作为独立的降噪模块使用。进一步地，通过改变编码器模块中第一个卷积层的输入通道数，还能实现对不同颜色空间类型的图像进行降噪处理，如对YUV图像、RGB图像或Raw图像的降噪处理，可以适应不同颜色空间类型的输入图像。
在一个实施例中，第一图像的颜色空间类型为YUV，Y表征第一图像的亮度通道，UV表征第一图像的颜色通道。如图9所示，对第一图像进行编码处理，得到第一特征图之前，还包括：
步骤902，基于第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；第一分辨率是第二分辨率的2倍。
第一亮度通道图是表征第一图像的亮度的通道图，也即Y通道图。第一颜色通道图是表征第一图像的颜色的通道图，也即UV通道图。
第一分辨率是第一亮度通道图的分辨率。第二分辨率是第一颜色通道图的分辨率。并且，第一分辨率是第二分辨率的2倍，即第一图像的YUV格式为NV21格式。NV21格式是一种two-plane模式，即Y和UV分为两个Plane，4个Y分量共用两个UV分量，也即第一亮度通道图的第一分辨率(H，W)是第一颜色通道图的第二分辨率(H/2，W/2)的2倍。
在一种实施方式中，电子设备可以从第一图像中分别提取表征亮度的第一亮度通道图和表征颜色的第一颜色通道图。在另一种实施方式中，电子设备可以基于第一图像中各个像素，插值出表征亮度的第一亮度通道图，以及表征颜色的第一颜色通道图。在其他实施方式中，电子设备还可以采用其他方式生成第一亮度通道图和第一颜色通道图，在此不做限定。
步骤904，对第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联，得到串联的第一通道图。
空间维度转至通道维度(Space to depth)即将第一亮度通道图在空间维度上的像素转换至通道维度上，可以调整第一亮度通道图在空间维度上的分辨率。第一通道图是第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联得到的图像。
电子设备对第一亮度通道图进行空间维度转至通道维度，可以将第一分辨率的第一亮度通道图转换为第二分辨率的第一亮度通道图，即将第一亮度通道图的空间维度上的分辨率降至原来的一半，则第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图具有相同的分辨率，可以将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联，从而得到串联的第一通道图。
对第一图像进行编码处理，得到第一特征图，包括：
步骤906，对第一通道图进行编码处理，得到第一特征图。
在本实施例中，基于第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图，该第一分辨率是第二分辨率的2倍；对第一亮度通道图进行空间维度转至通道维度，可以得到与第一颜色通道图的分辨率相同的第一亮度通道图，即降低了第一亮度通道图的分辨率，可以缩小网处理的图像的尺寸，从而加快网络对图像处理的速度。并且，将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联，可以充分利用图像信息，同时去除第一亮度通道图的亮度噪声与第一颜色通道图的彩色噪声。
在一个实施例中，如图10所示，对串联特征图进行解码处理得到第二特征图之后，还包括：
步骤1002，从第二特征图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图。
中间亮度通道图是从第二特征图中分离出的表征亮度的通道图。中间颜色通道图是从第二特征图中分离出的表征颜色的通道图。
第三分辨率是从第二特征图中分离出的中间亮度通道图和中间颜色通道图的分辨率，即中间亮度通道图和中间颜色通道图的分辨率相同。
具体地，第二特征图中包含中间亮度通道图和中间颜色通道图，并且该中间亮度通道图和中间颜色通道图相互串联。电子设备从第二特征图中确定中间亮度通道图和中间颜色通道图之间的串联节点，基于该串联节点将第二特征图分离出中间亮度通道图和中间颜色通道图。
步骤1004，对第三分辨率的中间亮度通道图进行通道维度转至空间维度，得到第四分辨率的中间亮度通道图；第四分辨率是第三分辨率的2倍。
通道维度转至空间维度(Depth to space)即将中间亮度通道图在通道维度上的像素转换至空间维度上，可以调整中间亮度通道图在空间维度上的分辨率。第四分辨率是通道维度转至空间维度后得到的中间亮度通道图的分辨率。
电子设备对第三分辨率的中间亮度通道图进行通道维度转至空间维度，可以将第三分辨率的中间亮度通道图转换为第四分辨率的中间亮度通道图，即将中间亮度通道图的空间维度上的分辨率调整至原来的2倍。
步骤1006，基于第四分辨率的中间亮度通道图和第三分辨率的中间颜色通道图，生成第二中间图。
电子设备基于第四分辨率的中间亮度通道图和第三分辨率的中间颜色通道图，可以生成NV21格式的第一中间图。该第一中间图的格式与第一图像的格式相同，均是亮度通道图的分辨率为颜色通道图的分辨率的2倍，保证了输出的图像与输入的图像之间格式的一致性，从而提高图像处理的准确性。
基于第一图像和第二特征图生成第二图像，包括：
步骤1008，基于第一图像和第二中间图生成第二图像。
在本实施例中，从第二特征图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图；对第三分辨率的中间亮度通道图进行通道维度转至空间维度，得到第四分辨率的中间亮度通道图；第四分辨率是第三分辨率的2倍；基于第四分辨率的中间亮度通道图和第三分辨率的中间颜色通道图，生成第一中间图，即该第一中间图的格式与第一图像的格式相同，均是亮度通道图的分辨率为颜色通道图的分辨率的2倍，从而可以准确地基于格式相同的第一图像和第一中间图，生成并输出目标图像，保证了输出的图像与输入的图像之间格式的一致性，从而提高图像处理的准确性。
在一个实施例中，如图11所示，提供了一种图像处理方法，包括以下步骤：
步骤1102，获取第一图像，并基于第一图像获取对应的第一亮度通道图；第一图像的颜色空间类型为YUV，Y表征第一图像的亮度通道，UV表征第一图像的颜色通道。
步骤1104，基于第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；第一分辨率是第二分辨率的2倍。
步骤1106，对第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联，得到串联的第一通道图。
步骤1108，对第一通道图进行编码处理，得到第一特征图。
步骤1110，对第一特征图进行噪声处理，得到噪声处理特征图。
步骤1112，将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理得到第二特征图。
步骤1114，基于第一通道图以及第二特征图，生成第三中间图。
第三中间图是基于串联的第一通道图和第二特征图生成的图像。具体地，电子设备将串联的第一通道图和第二特征图进行串联，得到第三中间图。
电子设备在处理器前端获取到第一图像，并对第一图像进行处理从而得到串联的第一通道图后，通过跳跃连接至处理器后端，则处理器后端可以获取到第一通道图和第二特征图，基于第一通道图和第二特征图生成第三中间图。
可以理解的是，从第一图像获取到第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图，对第一亮度通道图进行空间维度转至通道维度得到第二分辨率的第一亮度通道图，再将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联得到串联的第一通道图，而串联的第一通道图未经过编码处理，还保留有更多的图像纹理信息。那么，将串联的第一通道图通过跳跃连接至处理器后端，则处理器后端可以基于第一通道图和第二特征图，获取到经过降噪处理，同时保留有更多图像纹理信息的第二中间图。
步骤1116，从第三中间图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图。
步骤1118，对第三分辨率的中间亮度通道图进行通道维度转至空间维度，得到第四分辨率的中间亮度通道图；第四分辨率是第三分辨率的2倍。
步骤1120，基于第四分辨率的中间亮度通道图和第三分辨率的中间颜色通道图，生成第二中间图。
步骤1122，基于第一图像和第二中间图生成第二图像，并基于第二图像获取对应的第二亮度通道图。
步骤1124，根据第一亮度通道图和第二亮度通道图之间的差值图，确定亮度通道纹理图。
步骤1126，基于亮度通道纹理图和第二图像，生成目标图像。
在本实施例中，电子设备将处理器前端的第一图像通过跳跃连接至处理器后端，并且将处理器前端的第一通道图通过跳跃连接至处理器后端，两个处于处理器前端不同节点位置的图像通过跳跃连接至对应的处理器后端，则可以在处理器后端获取到不同的图像纹理信息，从而可以在对图像进行降噪的同时，保留更多的图像纹理信息，提高图像处理的准确性。
在一个实施例中，对第一图像进行编码处理，得到第一特征图，包括：通过编码器中的第一个子编码器，对第一图像进行卷积和下采样处理，得到浅层特征图；对于第一个子编码器之后的每个子编码器，对上一个子编码器输出的浅层特征图进行卷积和下采样处理，得到浅层特征图；其中，每个子编码器包含至少一个卷积层和至少一个下采样模块，每个下采样模块包含至少一个卷积层和至少一个平均池化层；直到获得最后一个子编码器输出的浅层特征图，并将最后一个子编码器输出的浅层特征图作为第一特征图。
编码器中所包括的子编码器的数量，可以根据需要进行设置。例如，编码器中包括4个子编码器、3个子编码器或6个子编码器等。下采样指的是对信号的抽取。
每个子编码器包含至少一个卷积层和至少一个下采样模块，每个下采样模块包含至少一个卷积层和至少一个平均池化层。在本实施例中，每个子编码器包含一个3x3卷积层和一个下采样模块，每个下采样模块包含一个3x3卷积层和一个步长为2的平均池化层。如图12所示，下采样模块包含一个3x3卷积层和一个平均池化层。在其他实施例中，子编码器还可以包括多个卷积层和多个下采样模块，每个下采样模块可以包括多个卷积层和多个平均池化层。
在一个实施例中，对串联特征图进行解码处理得到第二特征图，包括：通过解码器中的第一个子解码器，对串联特征图进行上采样和卷积处理，得到高层特征图；对于第一个子解码器之后的每个子解码器，对上一个子解码器输出的高层特征图进行上采样和卷积处理，得到输出的高层特征图；其中，每个子解码器包含至少一个上采样模块和至少一个卷积层，每个上采样模块包含至少一个卷积层和至少一个上采样层。
同样的，解码器中所包括的子解码器的数量，也可以根据需要进行设置。例如，解码器中包括3个子解码器、6个子解码器或2个子解码器等。上采样是下采样的逆过程，也称增取样(Upsampling)或内插(Interpolating)。
每个子解码器包含至少一个上采样模块和至少一个卷积层，每个上采样模块包含至少一个卷积层和至少一个上采样层。在本实施例中，每个子解码器包含一个上采样模块和一个3x3卷积层，每个上采样模块包含两个并列的1x1卷积层、一个2倍上采样层和一个3x3卷积层。如图13所示，上采样模块包含两个并列的1x1卷积层、一个2倍上采样层和一个3x3卷积层。在其他实施例中，子解码器还可以包括多个上采样模块和多个卷积层，每个上采样模块还可以包括一个或多个卷积层和多个上采样层。
需要说明的是，编码器中包含的子编码器的数量和解码器中包含的子解码器的数量可以相同，也可以不同。例如，编码器包含4个子编码器，解码器包含3个子解码器。子编码器包含的卷积层数量和子解码器包含的卷积层数量可以相同，也可以不同。下采样模块包含的卷积层数量和上采样模块包含的卷积层数量可以相同，也可以不同。
在本实施例中，在编码过程中，通过编码器中的第一个子编码器，对第一图像进行卷积和下采样处理，得到浅层特征图；对于第一个子编码器之后的每个子编码器，对上一个子编码器输出的浅层特征图进行卷积和下采样处理，得到浅层特征图；其中，每个子编码器包含至少一个卷积层和至少一个下采样模块，每个下采样模块包含至少一个卷积层和至少一个平均池化层；直到获得最后一个子编码器输出的浅层特征图，并将最后一个子编码器输出的浅层特征图作为第一特征图。。而在解码过程中，通过解码器中的第一个子解码器，对串联特征图进行上采样和卷积处理，得到高层特征图；对于第一子解码器之后的每个子解码器，对上一个子解码器输出的高层特征图进行上采样和卷积处理，得到输出的高层特征图；其中，每个子解码器包含至少一个上采样模块和至少一个卷积层，每个上采样模块包含至少一个卷积层和至少一个上采样层；直到获得最后一个子解码器输出的高层特征图，并将最后一个子解码器输出的高层特征图作为第二特征图，可以准确地实现对图像进行编码和解码处理，从而更准确地处理图像。
在一个实施例中，每个子解码器得到输出的高层特征图的方式，还包括：将每个子编码器输出的浅层特征图跳跃连接至对应的子解码器中；将串联特征图作为高层特征图输入第一个子解码器中，对于每个子解码器，将获得的浅层特征图和输入的高层特征图进行上采样和卷积处理，得到输出的高层特征图。
上述图像处理方法应用于电子设备的图像处理网络中，该图像处理网络包括编码器模块和解码器模块，还可以包括噪声处理模块。其中，编码器模块用于对原始输入图进行编码处理提取出第一特征图；噪声处理模块用于对第一特征图进行噪声处理提取出噪声处理特征图；解码器模块用于将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理得到第二特征图。在本实施例中，图像处理网络具体可以是UNet结构的网络。
浅层特征图是编码器中卷积层输出的特征图，位于网络较浅的位置，包含较多的空间细节信息和较少的语义信息。高层特征图是解码器中卷积层输出的特征图，位于网络较深的位置，包含较多的语义信息但缺少空间细节信息。
在本实施例中，将每个子编码器输出的浅层特征图跳跃连接至对应的子解码器中；将串联特征图作为高层特征图输入第一个子解码器中，对于每个子解码器，将获得的浅层特征图和输入的高层特征图进行上采样和卷积处理，得到输出的高层特征图，可以准确地对第一图像进行编码和解码处理。并且，采用上采样模块替换传统技术中的反卷积层，可以避免棋盘格或混叠效应，提高图像处理的准确性。
在一个实施例中，对于每个子解码器，将获得的浅层特征图和输入的高层特征图进行上采样和卷积处理，得到输出的高层特征图，包括：对于每个子解码器，将获得的浅层特征图和输入的高层特征图分别进行1x1卷积处理，得到1x1卷积的浅层特征图和1x1卷积的高层特征图；对1x1卷积的高层特征图进行上采样处理，得到上采样高层特征图；将1x1卷积的浅层特征图和上采样高层特征图进行串联，再将串联得到的特征图进行卷积处理，得到输出的高层特征图。
可以理解的是，浅层特征图的分辨率较高，而高层特征图的分辨率较低，电子设备将当前子解码器获得的浅层特征图和上一个子解码器输出的高层特征图分别进行1x1卷积处理，可以统一高分辨率的浅层特征图和低分辨率的高层特征图之间的通道数，得到1x1卷积的浅层特征图和1x1卷积的高层特征图。
电子设备对1x1卷积的高层特征图进行上采样处理，可以统一高分辨率的浅层特征图和低分辨率的高层特征图之间的分辨率，得到与浅层特征图分辨率相一致的上采样高层特征图。
那么，电子设备可以将通道数一致，并且分辨率一致的1x1卷积的浅层特征图和上采样高层特征图进行串联，再将串联得到的特征图进行卷积处理，准确地输出当前子解码器的高层特征图。
在一个实施例中，对第一特征图进行噪声处理，得到噪声处理特征图，包括：对第一特征图进行全局平均池化处理，得到全局池化特征图；和/或，对第一特征图进行非局部处理，得到非局部特征图；将第一特征图和噪声处理特征图进行串联得到串联特征图，包括：将全局池化特征图和非局部特征图中的至少一个特征图，以及第一特征图进行串联得到串联特征图。
全局池化特征图是第一特征图进行全局平均池化处理(Global average pool)后得到的特征图。非局部特征图是第一特征图进行非局部处理(non-local)得到的特征图。
电子设备通过全局平均池化模块对第一特征图进行全局平均池化处理，得到全局池化特征图，该全局池化特征图能够综合全图特征，准确地估计出第一特征图中的平均噪声水平。如图14所示，全局平均池化模块包括一个全局平均池化层和一个上采样层。
电子设备通过非局部模块对第一特征图进行非局部处理，即采用第一特征图全图其他位置特征的加权之和表示当前位置的特征，权重是特征向量间的相似性，可以充分利用图像中其他位置的相似特征，捕获长范围依赖，在特征空间中寻找出特征相似的位置，从而可以显著扩大网络的感受野(Receptive Field)，有助于提高特征的鲁棒性。
其中，感受野是卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小。如图15所示，非局部模块包括两个并列的1x1卷积层和逻辑回归层，通过两个并列的1x1卷积层分别对输入数据进行1x1卷积处理，分别得到1x1卷积数据；将其中一个得到的输入逻辑回归层进行逻辑回归处理，得到逻辑回归数据，再将1x1卷积数据和逻辑回归数据进行逐元素相乘，得到相乘数据；将相乘数据与输入数据进行逐元素相加，得到输出数据。在一个实施例中，电子设备还可以采用简化的非局部处理方式，从而减少计算量。
在本实施例中，电子设备对第一特征图进行全局平均池化处理得到全局池化特征图，和/或，对第一特征图进行非局部处理得到非局部特征图；将全局池化特征图和所述非局部特征图中的至少一个特征图，以及第一特征图进行串联得到串联特征图，从而可以对串联特征图进行处理的过程中，可以估计出第一特征图中的平均噪声水平，和/或提高特征的鲁棒性，更准确地进行图像处理。
在一个实施例中，上述方法还包括：基于第一图像和第二特征图对第一降噪网络进行残差学习，直到满足第一截止条件，得到第四降噪网络；第一降噪网络用于对第一图像进行降噪处理。
第四降噪网络是第一降噪网络经过残差学习之后得到的网络。在本实施例中，第一降噪网络可以是UNet结构的模型。
残差在数理统计中是指实际观察值与估计值(拟合值)之间的差。电子设备基于第一图像和第二特征图之间的残差，对第一降噪网络进行残差学习，可以使得第一降噪网络学习第一图像中的纹理信息，直到满足第一截止条件，得到第二降噪网络。那么，第二降噪网络可以用于对待处理图像进行处理时，生成降噪的图像，同时保留更多的图像纹理信息，降低第一降噪网络的训练难度，提高图像的保真度。
第一截止条件可以根据需要进行设置。在一个实施例中，第一截止条件可以是残差学习次数达到预设次数。在其他实施例中，第一截止条件还可以是残差学习时长达到预设时长。其中，预设次数、预设时长均可以根据需要进行设置。
在一个实施例中，如图16所示为一个轻量级的第一降噪网络，该第一降噪网络采用UNet结构。通过该轻量级的第一降噪网络可以保证速度较快、功耗较低的基础上提升去除亮度噪声和彩色噪声的能力，同时保持良好的纹理细节以及图像自然感。其中，该轻量级的第一降噪网络可以应用于YUV域深度学习像素级任务中，深度学习像素级任务如图像超分、图像去模糊等。
电子设备获取第一图像，通过空间维度转至通道维度模块获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图，再对第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联(concat)，得到串联的第一通道图；第一分辨率是第二分辨率的2倍。
编码器包括4个子编码器，通过编码器中的第一个子编码器，对第一通道图进行卷积和下采样处理，得到浅层特征图；对于第一个子编码器之后的每个子编码器，对上一个子编码器输出的浅层特征图进行卷积和下采样处理(3x3conv+relu)，得到浅层特征图；其中，每个子编码器包含一个3×3卷积层和一个下采样模块，每个下采样模块包含至少一个卷积层和至少一个平均池化层；直到获得最后一个子编码器输出的浅层特征图，并将最后一个子编码器输出的浅层特征图作为第一特征图。同时，电子设备将每个子编码器输出的浅层特征图跳跃连接至对应的子解码器中。
通过噪声处理模块对第一特征图进行噪声处理，得到噪声处理特征图。具体地，电子设备对第一特征图进行全局平均池化处理，得到全局池化特征图；和/或，对第一特征图进行非局部处理，得到非局部特征图；再将全局池化特征图和非局部特征图中的至少一个特征图，以及第一特征图进行串联得到串联特征图。
解码器包括3个子解码器，电子设备将串联特征图作为高层特征图输入第一个子解码器中，通过第一个子解码器，对串联特征图和获得的浅层特征图进行上采样和卷积处理，得到输出的高层特征图；对于第一个子解码器之后的每个子解码器，将获得的浅层特征图和上一个子解码器输出的高层特征图进行上采样和卷积处理，得到输出的高层特征图；其中，每个子解码器包含一个上采样模块和一个3×3卷积层，每个上采样模块包含至少一个卷积层和至少一个上采样层；直到获得最后一个子解码器输出的高层特征图，并将最后一个子解码器输出的高层特征图作为第二特征图。
通过上采样模块对第二特征图进行上采样处理，将第二特征图的尺寸调整至与第一图像的尺寸相一致，得到调整后的第二特征图。处理器前端得到的第一通道图通过跳跃连接至处理器后端，则将调整后的第二特征图和第一通道图进行串联，得到第三中间图。
通过卷积层对第三中间图进行卷积处理，得到卷积处理后的第三中间图。在本实施例中，卷积模块包括两个3×3卷积层。
通过通道维度转至空间维度模块从卷积处理后的第三中间图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图；对所述第三分辨率的中间亮度通道图进行通道维度转至空间维度，得到第四分辨率的中间亮度通道图；所述第四分辨率是所述第三分辨率的2倍；基于所述第四分辨率的中间亮度通道图和所述第三分辨率的中间颜色通道图，生成第二中间图。
处理器前端得到的第一图像通过跳跃连接至处理器后端，则将第一图像和第二中间图进行逐元素相加，得到目标图像。
在一个实施例中，第一图像的颜色空间类型为YUV，Y表征第一图像的亮度通道，UV表征第一图像的颜色通道。如图17所示，对第一图像进行降噪处理，得到第二图像，包括：
步骤1702，基于第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；第一分辨率是第二分辨率的2倍。
步骤1704，对第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联，得到第一通道图。
步骤1706，对第一通道图进行编码处理，得到第一特征图。
步骤1708，对第一特征图进行噪声处理，得到噪声处理特征图。
步骤1710，将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理得到第二特征图。
步骤1712，基于第一通道图和第二特征图生成第二图像。
在本实施例中，基于颜色空间类型为YUV的第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；第一分辨率是第二分辨率的2倍；对第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联，得到第一通道图；对第一通道图进行编码处理，得到第一特征图；对第一特征图进行噪声处理，得到噪声处理特征图；将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理得到第二特征图；将处理器前端的串联的第一通道图通过跳跃连接至处理器后端，则基于第一通道图和第二特征图，可以生成经过降噪处理，并且保留更多纹理信息的目标图像，提高了图像处理的准确性。
应该理解的是，虽然图1、图5、图7至图11以及图17的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、图5、图7至图11以及图17中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图18为一个实施例的图像处理装置的结构框图。如图18所示，提供了一种图像处理装置，包括：获取模块1802、降噪模块1804、确定模块1806和图像生成模块1808，其中：
获取模块1802，用于获取第一图像，并基于第一图像获取对应的第一亮度通道图。
降噪模块1804，用于对第一图像进行降噪处理，得到第二图像，并基于第二图像获取对应的第二亮度通道图。
确定模块1806，用于根据第一亮度通道图和第二亮度通道图之间的差值图，确定亮度通道纹理图。
图像生成模块1808，用于基于亮度通道纹理图和第二图像，生成目标图像。
上述图像处理装置，获取第一图像，并基于第一图像获取对应的第一亮度通道图；对第一图像进行降噪处理，可以得到经过降噪的第二图像，并基于第二图像获取对应的经过降噪的第二亮度通道图。可以理解的是，第一亮度通道图是未经过降噪处理的表征亮度的通道图，包含有较多的高频纹理信息，则根据第一亮度通道图和第二亮度通道图之间的差值图，可以确定出亮度通道纹理图，该亮度通道纹理图表征了第一亮度通道图中被降噪处理抹去的高频纹理信息，那么，基于亮度通道纹理图和第二图像，可以生成经过降噪处理，并且保留更多高频纹理信息的目标图像，提高了图像处理的准确性。
在一个实施例中，上述获取模块1802还用于获取第一数量的单帧图像和第二数量的融合图像；其中，融合图像是多个单帧图像融合得到的图像；基于第一数量的单帧图像和第二数量的融合图像，构建输入图像集合；从输入图像集合包含的各个图像中获取第一图像。
在一个实施例中，上述装置还包括训练模块，用于获取第一图像对应的标签图像；基于标签图像和第一图像，构建训练对；训练对用于对第一降噪网络进行训练，得到训练完成的第二降噪网络；其中，第一降噪网络用于对第一图像进行降噪处理。
在一个实施例中，单帧图像的噪声水平高于融合图像的噪声水平；上述训练模块还用于调整输入图像集合中第一数量和第二数量之间的比例关系；基于比例关系调整后的输入图像集合，得到训练完成的第二降噪网络。
在一个实施例中，上述确定模块1806还用于确定第一亮度通道图和第二亮度通道图之间的差值图，对差值图进行下采样处理和上采样处理，得到第一中间图；基于差值图和第一中间图，确定亮度通道纹理图。
在一个实施例中，上述图像生成模块1808还用于获取矫正参数；基于矫正参数和亮度通道纹理图生成矫正的亮度通道纹理图；将矫正的亮度通道纹理图和第二图像对应的第二亮度通道图进行融合，得到目标亮度通道图；基于目标亮度通道图和第二图像对应的第二颜色通道图，生成目标图像。
在一个实施例中，上述训练模块还用于获取第一图像对应的标签图像；确定第二图像相对于标签图像的目标损失值；基于目标损失值对第一降噪网络进行训练，直到满足训练截止条件，得到训练完成的第三降噪网络；其中，第一降噪网络用于对第一图像进行降噪处理。
在一个实施例中，上述训练模块还用于对同一拍摄场景拍摄多帧场景图像；对多帧场景图像进行平均处理，得到第一图像对应的标签图像。
在一个实施例中，场景图像的颜色空间类型为YUV；上述训练模块还用于将每一帧场景图像的颜色空间类型转换为RGB，得到RGB类型的场景图像；将多帧RGB类型的场景图像进行平均处理，得到RGB类型的标签图像；将RGB类型的标签图像的颜色空间类型转换为YUV，得到YUV类型的标签图像。
在一个实施例中，第二图像和标签图像的颜色空间类型均为YUV，Y表征图像的亮度通道，UV表征图像的颜色通道；上述训练模块还用于基于第二图像和标签图像，分别对第二图像对应的第二亮度通道图、第二颜色通道图进行第一损失计算，得到第二图像的第一损失值；第一损失值用于训练第一降噪网络在进行降噪处理时，保留颜色通道图的低频信息；基于第二图像对应的第二亮度通道图和标签图像的标签亮度通道图，对第二亮度通道进行第二损失计算，得到第二亮度通道图的第二损失值；基于第一损失值和第二损失值，确定第二图像相对于标签图像的目标损失值。
在一个实施例中，上述训练模块还用于基于第二图像和标签图像，分别对第二图像对应的第二亮度通道图、第二颜色通道图进行第一损失计算，得到第二亮度通道图的第一亮度损失值、第二颜色通道图的第一颜色损失值；基于第一亮度损失值和第一颜色损失值，确定第二图像的第一损失值。
在一个实施例中，上述训练模块还用于分别获取第一亮度损失值对应的亮度损失权重，以及第一颜色损失值对应的颜色损失权重；其中，亮度损失权重和颜色损失权重不同；将第一亮度损失值与对应的亮度损失权重相乘，以及将第一颜色损失值与对应的颜色损失权重相乘，再将相乘得到的乘积相加得到第二图像的第一损失值。
在一个实施例中，上述训练模块还用于基于第二图像对应的第二亮度通道图和标签图像的标签亮度通道图，对第二亮度通道图分别进行感知损失计算、低通滤波损失计算、传统边缘算子损失计算和多尺度结构相似损失计算，得到第二亮度通道图的感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失；基于第二亮度通道图的感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失，确定第二亮度通道图的第二损失值。
在一个实施例中，上述降噪模块1804还用于对第一图像进行编码处理，得到第一特征图；对第一特征图进行噪声处理，得到噪声处理特征图；将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理得到第二特征图；基于第一图像和第二特征图生成第二图像。
在一个实施例中，第一图像的颜色空间类型为YUV，Y表征第一图像的亮度通道，UV表征第一图像的颜色通道；上述装置还包括转换模块，用于基于第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；第一分辨率是第二分辨率的2倍；对第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联，得到串联的第一通道图；上述降噪模块1804还用于对第一通道图进行编码处理，得到第一特征图。
在一个实施例中，上述转换模块还用于从第二特征图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图；对第三分辨率的中间亮度通道图进行通道维度转至空间维度，得到第四分辨率的中间亮度通道图；第四分辨率是第三分辨率的2倍；基于第四分辨率的中间亮度通道图和第三分辨率的中间颜色通道图，生成第二中间图；上述降噪模块1804还用于基于第一图像和第二中间图生成第二图像。
在一个实施例中，上述图像生成模块1808还用于基于第一通道图以及第二特征图，生成第三中间图；上述转换模块还用于从第三中间图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图。
在一个实施例中，上述降噪模块1804还用于通过编码器中的第一个子编码器，对第一图像进行卷积和下采样处理，得到浅层特征图；对于第一个子编码器之后的每个子编码器，对上一个子编码器输出的浅层特征图进行卷积和下采样处理，得到浅层特征图；其中，每个子编码器包含至少一个卷积层和至少一个下采样模块，每个下采样模块包含至少一个卷积层和至少一个平均池化层；直到获得最后一个子编码器输出的浅层特征图，并将最后一个子编码器输出的浅层特征图作为第一特征图。
在一个实施例中，上述降噪模块1804还用于通过解码器中的第一个子解码器，对串联特征图进行上采样和卷积处理，得到高层特征图；对于第一个子解码器之后的每个子解码器，对上一个子解码器输出的高层特征图进行上采样和卷积处理，得到输出的高层特征图；其中，每个子解码器包含至少一个上采样模块和至少一个卷积层，每个上采样模块包含至少一个卷积层和至少一个上采样层；直到获得最后一个子解码器输出的高层特征图，并将最后一个子解码器输出的高层特征图作为第二特征图。
在一个实施例中，上述降噪模块1804还用于将每个子编码器输出的浅层特征图跳跃连接至对应的子解码器中；将串联特征图作为高层特征图输入第一个子解码器中，对于每个子解码器，将获得的浅层特征图和输入的高层特征图进行上采样和卷积处理，得到输出的高层特征图。
在一个实施例中，上述降噪模块1804还用于对于每个子解码器，将获得的浅层特征图和输入的高层特征图分别进行1x1卷积处理，得到1x1卷积的浅层特征图和lx1卷积的高层特征图；对1x1卷积的高层特征图进行上采样处理，得到上采样高层特征图；将1x1卷积的浅层特征图和上采样高层特征图进行串联，再将串联得到的特征图进行卷积处理，得到输出的高层特征图。
在一个实施例中，上述降噪模块1804还用于对第一特征图进行全局平均池化处理，得到全局池化特征图；和/或，对第一特征图进行非局部处理，得到非局部特征图；将全局池化特征图和非局部特征图中的至少一个特征图，以及第一特征图进行串联得到串联特征图。
在一个实施例中，第一图像的颜色空间类型为YUV，Y表征第一图像的亮度通道，UV表征第一图像的颜色通道；上述降噪模块1804还用于基于第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；第一分辨率是第二分辨率的2倍；对第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将第二分辨率的第一亮度通道图和第二分辨率的第一颜色通道图进行串联，得到第一通道图；对第一通道图进行编码处理，得到第一特征图；对第一特征图进行噪声处理，得到噪声处理特征图；将第一特征图和噪声处理特征图进行串联得到串联特征图，对串联特征图进行解码处理得到第二特征图；基于第一通道图和第二特征图生成第二图像。
上述图像处理装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图19为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器可以包括一个或多个处理单元。处理器可为CPU(Central Processing Unit，中央处理单元)或DSP(Digital Signal Processing，数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括ROM(Read-Only Memory，只读存储器)、PROM(Programmable Read-only Memory，可编程只读存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-only Memory，电可擦除可编程只读存储器)或闪存。易失性存储器可包括RAM(Random Access Memory，随机存取存储器)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如SRAM(Static Random Access Memory，静态随机存取存储器)、DRAM(Dynamic RandomAccess Memory，动态随机存取存储器)、SDRAM(Synchronous Dynamic RandomAccessMemory，同步动态随机存取存储器)、双数据率DDRSDRAM(Double Data Rate Synchronous Dynamic Random Access memory，双数据率同步动态随机存取存储器)、ESDRAM(Enhanced Synchronous Dynamic Random Access memory，增强型同步动态随机存取存储器)、SLDRAM(Sync Link Dynamic Random Access Memory，同步链路动态随机存取存储器)、RDRAM(Rambus Dynamic Random Access Memory，总线式动态随机存储器)、DRDRAM(Direct Rambus Dynamic Random Access Memory，接口动态随机存储器)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (26)

1.一种图像处理方法，其特征在于，包括：
获取第一图像，并基于所述第一图像获取对应的第一亮度通道图；
对所述第一图像进行降噪处理，得到第二图像，并基于所述第二图像获取对应的第二亮度通道图；
根据所述第一亮度通道图和所述第二亮度通道图之间的差值图，确定亮度通道纹理图；
基于所述亮度通道纹理图和所述第二图像，生成目标图像。
2.根据权利要求1所述的方法，其特征在于，所述获取第一图像，包括：
获取第一数量的单帧图像和第二数量的融合图像；其中，所述融合图像是多个单帧图像融合得到的图像；
基于第一数量的单帧图像和第二数量的融合图像，构建输入图像集合；
从所述输入图像集合包含的各个图像中获取第一图像。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取所述第一图像对应的标签图像；
基于所述标签图像和所述第一图像，构建训练对；所述训练对用于对第一降噪网络进行训练，得到训练完成的第二降噪网络；其中，所述第一降噪网络用于对所述第一图像进行降噪处理。
4.根据权利要求3所述的方法，其特征在于，所述单帧图像的噪声水平高于所述融合图像的噪声水平；所述方法还包括：
调整所述输入图像集合中所述第一数量和所述第二数量之间的比例关系；
基于比例关系调整后的输入图像集合，得到训练完成的第二降噪网络。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一亮度通道图和所述第二亮度通道图之间的差值图，确定亮度通道纹理图，包括：
确定所述第一亮度通道图和所述第二亮度通道图之间的差值图，对所述差值图进行下采样处理和上采样处理，得到第一中间图；
基于所述差值图和所述第一中间图，确定亮度通道纹理图。
6.根据权利要求1所述的方法，其特征在于，所述基于所述亮度通道纹理图和所述第二图像，生成目标图像，包括：
获取矫正参数；
基于所述矫正参数和所述亮度通道纹理图生成矫正的亮度通道纹理图；
将所述矫正的亮度通道纹理图和所述第二图像对应的第二亮度通道图进行融合，得到目标亮度通道图；
基于所述目标亮度通道图和所述第二图像对应的第二颜色通道图，生成目标图像。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述第一图像对应的标签图像；
确定所述第二图像相对于所述标签图像的目标损失值；
基于所述目标损失值对第一降噪网络进行训练，直到满足训练截止条件，得到训练完成的第三降噪网络；其中，所述第一降噪网络用于对所述第一图像进行降噪处理。
8.根据权利要求7所述的方法，其特征在于，所述获取所述第一图像对应的标签图像，包括：
对同一拍摄场景拍摄多帧场景图像；
对所述多帧场景图像进行平均处理，得到所述第一图像对应的标签图像。
9.根据权利要求8所述的方法，其特征在于，所述场景图像的颜色空间类型为YUV；所述对所述多帧场景图像进行平均处理，得到所述第一图像对应的标签图像，包括：
将所述多帧场景图像中的每一帧场景图像的颜色空间类型转换为RGB，得到RGB类型的场景图像；
将多帧RGB类型的场景图像进行平均处理，得到RGB类型的标签图像；
将所述RGB类型的标签图像的颜色空间类型转换为YUV，得到YUV类型的标签图像。
10.根据权利要求7所述的方法，其特征在于，所述第二图像和所述标签图像的颜色空间类型均为YUV，Y表征图像的亮度通道，UV表征图像的颜色通道；
所述确定所述第二图像相对于所述标签图像的目标损失值，包括：
基于所述第二图像和所述标签图像，分别对所述第二图像对应的第二亮度通道图、第二颜色通道图进行第一损失计算，得到所述第二图像的第一损失值；所述第一损失值用于训练第一降噪网络在进行降噪处理时，保留颜色通道图的低频信息；
基于所述第二图像对应的第二亮度通道图和所述标签图像的标签亮度通道图，对所述第二亮度通道进行第二损失计算，得到所述第二亮度通道图的第二损失值；
基于所述第一损失值和所述第二损失值，确定所述第二图像相对于所述标签图像的目标损失值。
11.根据权利要求10所述的方法，其特征在于，所述基于所述第二图像和所述标签图像，分别对所述第二图像对应的第二亮度通道图、第二颜色通道图进行第一损失计算，得到所述第二图像的第一损失值，包括：
基于所述第二图像和所述标签图像，分别对所述第二图像对应的第二亮度通道图、第二颜色通道图进行第一损失计算，得到所述第二亮度通道图的第一亮度损失值、所述第二颜色通道图的第一颜色损失值；
基于所述第一亮度损失值和所述第一颜色损失值，确定所述第二图像的第一损失值。
12.根据权利要求11所述的方法，其特征在于，所述基于所述第一亮度损失值和所述第一颜色损失值，确定所述第二图像的第一损失值，包括：
分别获取所述第一亮度损失值对应的亮度损失权重，以及所述第一颜色损失值对应的颜色损失权重；其中，所述亮度损失权重和所述颜色损失权重不同；
将所述第一亮度损失值与对应的亮度损失权重相乘，以及将所述第一颜色损失值与对应的颜色损失权重相乘，再将相乘得到的乘积相加得到所述第二图像的第一损失值。
13.根据权利要求10所述的方法，其特征在于，所述基于所述第二图像对应的第二亮度通道图和所述标签图像的标签亮度通道图，对所述第二亮度通道进行第二损失计算，得到所述第二亮度通道图的第二损失值，包括：
基于所述第二图像对应的第二亮度通道图和所述标签图像的标签亮度通道图，对所述第二亮度通道图分别进行感知损失计算、低通滤波损失计算、传统边缘算子损失计算和多尺度结构相似损失计算，得到所述第二亮度通道图的感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失；
基于所述第二亮度通道图的感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失，确定所述第二亮度通道图的第二损失值。
14.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行降噪处理，得到第二图像，包括：
对所述第一图像进行编码处理，得到第一特征图；
对所述第一特征图进行噪声处理，得到噪声处理特征图；
将所述第一特征图和所述噪声处理特征图进行串联得到串联特征图，对所述串联特征图进行解码处理得到第二特征图；
基于所述第一图像和所述第二特征图生成第二图像。
15.根据权利要求14所述的方法，其特征在于，所述第一图像的颜色空间类型为YUV，Y表征所述第一图像的亮度通道，UV表征所述第一图像的颜色通道；
所述对所述第一图像进行编码处理，得到第一特征图之前，还包括：
基于所述第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；所述第一分辨率是所述第二分辨率的2倍；
对所述第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将所述第二分辨率的第一亮度通道图和所述第二分辨率的第一颜色通道图进行串联，得到串联的第一通道图；
所述对所述第一图像进行编码处理，得到第一特征图，包括：
对所述第一通道图进行编码处理，得到第一特征图。
16.根据权利要求15所述的方法，其特征在于，所述对所述串联特征图进行解码处理得到第二特征图之后，还包括：
从所述第二特征图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图；
对所述第三分辨率的中间亮度通道图进行通道维度转至空间维度，得到第四分辨率的中间亮度通道图；所述第四分辨率是所述第三分辨率的2倍；
基于所述第四分辨率的中间亮度通道图和所述第三分辨率的中间颜色通道图，生成第二中间图；
所述基于所述第一图像和所述第二特征图生成第二图像，包括：
基于所述第一图像和所述第二中间图生成第二图像。
17.根据权利要求16所述的方法，其特征在于，所述从所述第二特征图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图之前，还包括：
基于所述第一通道图以及所述第二特征图，生成第三中间图；
所述从所述第二特征图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图，包括：
从所述第三中间图分离出第三分辨率的中间亮度通道图和第三分辨率的中间颜色通道图。
18.根据权利要求14所述的方法，其特征在于，所述对所述第一图像进行编码处理，得到第一特征图，包括：
通过编码器中的第一个子编码器，对所述第一图像进行卷积和下采样处理，得到浅层特征图；对于第一个子编码器之后的每个子编码器，对上一个子编码器输出的浅层特征图进行卷积和下采样处理，得到浅层特征图；其中，每个子编码器包含至少一个卷积层和至少一个下采样模块，每个下采样模块包含至少一个卷积层和至少一个平均池化层；
直到获得最后一个子编码器输出的浅层特征图，并将最后一个子编码器输出的浅层特征图作为第一特征图。
19.根据权利要求18所述的方法，其特征在于，所述对所述串联特征图进行解码处理得到第二特征图，包括：
通过解码器中的第一个子解码器，对所述串联特征图进行上采样和卷积处理，得到高层特征图；对于第一个子解码器之后的每个子解码器，对上一个子解码器输出的高层特征图进行上采样和卷积处理，得到输出的高层特征图；其中，每个子解码器包含至少一个上采样模块和至少一个卷积层，每个上采样模块包含至少一个卷积层和至少一个上采样层；
直到获得最后一个子解码器输出的高层特征图，并将最后一个子解码器输出的高层特征图作为第二特征图。
20.根据权利要求19所述的方法，其特征在于，每个子解码器得到输出的高层特征图的方式，还包括：
将每个所述子编码器输出的浅层特征图跳跃连接至对应的子解码器中；
将所述串联特征图作为高层特征图输入第一个子解码器中，对于每个子解码器，将获得的浅层特征图和输入的高层特征图进行上采样和卷积处理，得到输出的高层特征图。
21.根据权利要求20所述的方法，其特征在于，所述对于每个子解码器，将获得的浅层特征图和输入的高层特征图进行上采样和卷积处理，得到输出的高层特征图，包括：
对于每个子解码器，将获得的浅层特征图和输入的高层特征图分别进行1x1卷积处理，得到1x1卷积的浅层特征图和1x1卷积的高层特征图；
对所述1x1卷积的高层特征图进行上采样处理，得到上采样高层特征图；
将所述1x1卷积的浅层特征图和所述上采样高层特征图进行串联，再将串联得到的特征图进行卷积处理，得到输出的高层特征图。
22.根据权利要求14所述的方法，其特征在于，所述对所述第一特征图进行噪声处理，得到噪声处理特征图，包括：
对所述第一特征图进行全局平均池化处理，得到全局池化特征图；和/或，对所述第一特征图进行非局部处理，得到非局部特征图；
所述将所述第一特征图和所述噪声处理特征图进行串联得到串联特征图，包括：
将所述全局池化特征图和所述非局部特征图中的至少一个特征图，以及所述第一特征图进行串联得到串联特征图。
23.根据权利要求1所述的方法，其特征在于，所述第一图像的颜色空间类型为YUV，Y表征所述第一图像的亮度通道，UV表征所述第一图像的颜色通道；
所述对所述第一图像进行降噪处理，得到第二图像，包括：
基于所述第一图像，获取第一分辨率的第一亮度通道图和第二分辨率的第一颜色通道图；所述第一分辨率是所述第二分辨率的2倍；
对所述第一亮度通道图进行空间维度转至通道维度，得到第二分辨率的第一亮度通道图，并将所述第二分辨率的第一亮度通道图和所述第二分辨率的第一颜色通道图进行串联，得到第一通道图；
对所述第一通道图进行编码处理，得到第一特征图；
对所述第一特征图进行噪声处理，得到噪声处理特征图；
将所述第一特征图和所述噪声处理特征图进行串联得到串联特征图，对所述串联特征图进行解码处理得到第二特征图；
基于所述第一通道图和所述第二特征图生成第二图像。
24.一种图像处理装置，其特征在于，包括：
获取模块，用于获取第一图像，并基于所述第一图像获取对应的第一亮度通道图；
降噪模块，用于对所述第一图像进行降噪处理，得到第二图像，并基于所述第二图像获取对应的第二亮度通道图；
确定模块，用于根据所述第一亮度通道图和所述第二亮度通道图之间的差值图，确定亮度通道纹理图；
图像生成模块，用于基于所述亮度通道纹理图和所述第二图像，生成目标图像。
25.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至23中任一项所述的图像处理方法的步骤。
26.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至23中任一项所述的方法的步骤。
CN202111069845.2A 2021-09-13 2021-09-13 图像处理方法、装置、电子设备和计算机可读存储介质 Pending CN113781345A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111069845.2A CN113781345A (zh) 2021-09-13 2021-09-13 图像处理方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111069845.2A CN113781345A (zh) 2021-09-13 2021-09-13 图像处理方法、装置、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113781345A true CN113781345A (zh) 2021-12-10

Family

ID=78843085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111069845.2A Pending CN113781345A (zh) 2021-09-13 2021-09-13 图像处理方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113781345A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115293985A (zh) * 2022-08-11 2022-11-04 北京拙河科技有限公司 一种用于图像优化的超分降噪方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115293985A (zh) * 2022-08-11 2022-11-04 北京拙河科技有限公司 一种用于图像优化的超分降噪方法及装置

Similar Documents

Publication Publication Date Title
CN110324664B (zh) 一种基于神经网络的视频补帧方法及其模型的训练方法
Li et al. Underwater image enhancement via medium transmission-guided multi-color space embedding
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
KR101059403B1 (ko) 이미지 정보를 필터링하기 위한 적응적 공간 이미지 필터
US8639056B2 (en) Contrast enhancement
CN111028137B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US8311355B2 (en) Skin tone aware color boost for cameras
CN103854259B (zh) 图像处理设备以及处理图像的方法
CN112889069B (zh) 用于提高低照度图像质量的方法、系统和计算机可读介质
JP6432214B2 (ja) 画像処理装置、画像処理方法、記憶媒体及びプログラム
CN109978774B (zh) 多帧连续等曝光图像的去噪融合方法及装置
CN106485720A (zh) 图像处理方法和装置
CN109074637B (zh) 用于从多个相应的输入图像通道生成输出图像的方法和系统
CN113781320A (zh) 一种图像处理方法、装置、终端设备及存储介质
CN112150400B (zh) 图像增强方法、装置和电子设备
CN112132769B (zh) 图像融合方法、装置以及计算机设备
CN112602088A (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
CN113344773B (zh) 基于多级对偶反馈的单张图片重构hdr方法
CN116051428A (zh) 一种基于深度学习的联合去噪与超分的低光照图像增强方法
CN115035011B (zh) 一种融合策略下自适应RetinexNet的低照度图像增强方法
US12051173B2 (en) Methods and apparatus for blending unknown pixels in overlapping images
CN113781345A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN117455785A (zh) 图像处理方法、装置及终端设备
CN113781346A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
Siddiqui et al. Hierarchical color correction for camera cell phone images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination