CN113781347A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN113781347A
CN113781347A CN202111071017.2A CN202111071017A CN113781347A CN 113781347 A CN113781347 A CN 113781347A CN 202111071017 A CN202111071017 A CN 202111071017A CN 113781347 A CN113781347 A CN 113781347A
Authority
CN
China
Prior art keywords
loss
image
channel
channel map
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111071017.2A
Other languages
English (en)
Inventor
刘一群
鲍松泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202111071017.2A priority Critical patent/CN113781347A/zh
Publication of CN113781347A publication Critical patent/CN113781347A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像处理方法、装置、电子设备和存储介质。所述方法包括：获取经过指定任务处理之后的损失图像，以及获取损失图像对应的标签图像；损失图像和标签图像的颜色空间类型均为YUV；基于损失图像和标签图像，分别对损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行第一损失计算，得到损失图像的第一损失值；第一损失值用于训练指定任务模型在进行指定任务处理时，保留U通道图和V通道图的低频信息；基于损失图像对应的损失Y通道图和标签图像的标签Y通道图，对损失Y通道进行第二损失计算，得到损失Y通道图的第二损失值；基于第一损失值和第二损失值，确定损失图像的目标损失值。采用本方法能够确定出更准确的损失值。

Description

图像处理方法、装置、电子设备和计算机可读存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。
背景技术
随着计算机技术的发展，越来越多的电子设备上安装有图像传感器，可以通过图像传感器拍摄出图像。通常地，图像中会残留大量噪声，影响图像整体观感，因此需要对图像进行降噪。
传统的降噪方式，通常是基于损失值对降噪网络进行训练，从而可以对图像进行降噪得到降噪后的图像。然而，传统的图像处理方法，存在确定的损失值不准确的问题。
发明内容
本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质，可以确定出更准确的损失值，从而提高图像处理的准确性。
一种图像处理方法，包括：
获取经过指定任务处理之后的损失图像，以及获取所述损失图像对应的标签图像；所述损失图像和所述标签图像的颜色空间类型均为YUV；
基于所述损失图像和所述标签图像，分别对所述损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行第一损失计算，得到所述损失图像的第一损失值；所述第一损失值用于训练指定任务模型在进行指定任务处理时，保留U通道图和V通道图的低频信息；
基于所述损失图像对应的损失Y通道图和所述标签图像的标签Y通道图，对所述损失Y通道进行第二损失计算，得到所述损失Y通道图的第二损失值；
基于所述第一损失值和所述第二损失值，确定所述损失图像的目标损失值。
一种图像处理装置，包括：
获取模块，用于获取经过指定任务处理之后的损失图像，以及获取所述损失图像对应的标签图像；所述损失图像和所述标签图像的颜色空间类型均为YUV；
损失计算模块，用于基于所述损失图像和所述标签图像，分别对所述损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行第一损失计算，得到所述损失图像的第一损失值；所述第一损失值用于训练指定任务模型在进行指定任务处理时，保留U通道图和V通道图的低频信息；
所述损失计算模块还用于基于所述损失图像对应的损失Y通道图和所述标签图像的标签Y通道图，对所述损失Y通道进行第二损失计算，得到所述损失Y通道图的第二损失值；
所述损失计算模块还用于基于所述第一损失值和所述第二损失值，确定所述损失图像的目标损失值。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的图像处理方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。
上述图像处理方法、装置、电子设备、计算机可读存储介质，对损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行第一损失计算得到损失图像的第一损失值，以及对损失Y通道进行第二损失计算得到损失Y通道图的第二损失值，从而可以基于第一损失值和第二损失值，确定损失图像的目标损失值。也就是说，该目标损失值不仅有针对损失Y通道图的第二损失值，第二损失值可以用于训练指定任务模型在进行指定任务处理时，更准确地降低Y通道图中的亮度噪声，还有针对损失图像的损失Y通道图、损失U通道图和损失V通道图计算得到的第一损失值，该第一损失值可以用于训练指定任务模型在进行指定任务处理时，保留U通道图和V通道图的低频信息，从而去除U通道图和V通道图的高频噪声，因此可以确定出更准确的目标损失值。进一步地，基于该更准确的目标损失值可以训练出更准确的指定任务模型。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程图；
图3为一个实施例中对图像进行低通滤波前后的对比图；
图4为另一个实施例中图像处理方法的流程图；
图5为一个实施例中图像处理装置的结构框图；
图6为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一损失值称为第二损失值，且类似地，可将第二损失值称为第一损失值。第一损失值和第二损失值两者都是损失值，但其不是同一损失值。
图1为一个实施例中图像处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备110。电子设备获取经过指定任务处理之后的损失图像，以及获取损失图像对应的标签图像；损失图像和标签图像的颜色空间类型均为YUV；基于损失图像和标签图像，分别对损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行第一损失计算，得到损失图像的第一损失值；第一损失值用于训练指定任务模型在进行指定任务处理时，保留U通道图和V通道图的低频信息；基于损失图像对应的损失Y通道图和标签图像的标签Y通道图，对损失Y通道进行第二损失计算，得到损失Y通道图的第二损失值；基于第一损失值和第二损失值，确定损失图像的目标损失值。基于目标损失值对指定任务模型进行训练，可以得到训练完成的指定任务模型；将输入图像输入该训练完成的指定任务模型，可以更准确地对输入图像进行指定任务的处理，得到更准确的目标图像。其中，指定任务可以包括降噪任务或超分任务。
其中，电子设备110可以是终端或服务器。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
图2为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法，以运行于图1中的电子设备上为例进行描述。如图2所示，图像处理方法包括步骤202至步骤208。
步骤202，获取经过指定任务处理之后的损失图像，以及获取损失图像对应的标签图像；损失图像和标签图像的颜色空间类型均为YUV。
指定任务是用户所指定的任务，可以根据需要进行设置。例如，指定任务可以是降噪任务、超分任务或美颜任务等。损失图像指的是用于与标签图像进行对比，从而计算出损失值的图像。标签图像是预先定义的用于参照计算出损失值的图像。可以理解的是，损失图像和标签图像的形状相同，均为(H,W,C)。其中H、W和C分别为高，宽和通道数。
YUV是编译true-color颜色空间(color space)的种类。“Y”表示明度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。
电子设备获取待处理图像，将待处理图像经过指定任务处理之后，得到损失图像，以及获取该损失图像对应的标签图像。其中，待处理图像的颜色空间类型可以为YUV，也可以为非YUV的其他颜色空间类型。若待处理图像的颜色空间类型为非YUV，则将非YUV类型的待处理图像的颜色空间类型转换为YUV，得到YUV类型的待处理图像。非YUV的其他颜色空间类型具体可以是RGB(Red、Green、Blue，红色、绿色、蓝色)、CMY(Cyan、Magenta、Yellow，青色、洋红色、黄色)或HSV(Hue、Saturation、Value，色调、饱和度、明度)等。
步骤204，基于损失图像和标签图像，分别对损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行第一损失计算，得到损失图像的第一损失值；第一损失值用于训练指定任务模型在进行指定任务处理时，保留U通道图和V通道图的低频信息。
损失Y通道图是损失图像对应的Y通道图，该损失Y通道图中的像素均是表征损失图像的明度的像素。损失U通道图是损失图像对应的U通道图，该损失U通道图中的像素均是表征损失图像的色度的像素。损失V通道图是损失图像对应的V通道图，该损失V通道图中的像素均是表征损失图像的色度的像素。
同样的，标签图像对应的标签Y通道图是标签图像对应的Y通道图，该标签Y通道图中的像素均是表征标签图像的明度的像素。标签U通道图是标签图像对应的U通道图，该标签U通道图中的像素均是表征标签图像的色度的像素。标签V通道图是标签图像对应的V通道图，该标签V通道图中的像素均是表征标签图像的色度的像素。
第一损失值是针对损失图像的损失Y通道图、损失U通道图和损失V通道图计算得到的损失值。第一损失值用于训练指定任务模型在进行指定任务处理时，保留U通道图和V通道图的低频信息。其中，低频信息是图像中颜色变化缓慢的信息，即连续渐变的区域的信息。
具体地，基于损失图像和标签图像，采用L1(Least Abosulote Error，最小化绝对误差)损失函数分别对损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行L1损失计算，得到损失图像的第一损失值。
在另一个实施例中，基于损失图像和标签图像，采用L2(Least Square Error，最小化平方误差)损失函数分别对损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行L2损失计算，得到损失图像的第一损失值。
在另一个实施例中，基于损失图像和标签图像，采用TV(Total Variation，总变差)损失函数分别对损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行TV损失计算，得到损失图像的第一损失值。
在一个实施例中，基于损失图像和标签图像，分别对损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行第一损失计算，得到损失图像的第一损失值之前，还包括：根据损失图像分别生成损失Y通道图、损失U通道图和损失V通道图，根据标签图像分别生成标签Y通道图、标签U通道图和标签V通道图。
以生成损失Y通道图、损失U通道图和损失V通道图为例进行说明：
在一种实施方式中，电子设备可以从损失图像中分别提取同一通道图的数据，生成损失Y通道图、损失U通道图和损失V通道图。在另一种实施方式中，电子设备可以将损失图像进行拆分，得到损失Y通道图、损失U通道图和损失V通道图。在另一种实施方式中，电子设备还可以基于损失图像中各个像素，插值出表征明度的损失Y通道图，以及表征色度的损失U通道图和损失V通道图。在其他实施方式中，电子设备还可以采用其他方式生成损失Y通道图、损失U通道图和损失V通道图，在此不做限定。
需要说明的是，标签Y通道图、标签U通道图和标签V通道图也可以同样采用上述方式生成，在此不做赘述。
步骤206，基于损失图像对应的损失Y通道图和标签图像的标签Y通道图，对损失Y通道进行第二损失计算，得到损失Y通道图的第二损失值。
第二损失值针对损失图像的损失Y通道图计算得到的损失值。
具体地，基于损失图像对应的损失Y通道图和标签图像的标签Y通道图，电子设备采用感知损失函数、低通滤波损失函数、传统边缘算子损失函数和多尺度结构相似损失函数中的至少一种损失函数对损失Y通道图进行第二损失计算，得到损失Y通道图的第二损失值。
在一个实施例中，电子设备采用感知损失函数、低通滤波损失函数、传统边缘算子损失函数和多尺度结构相似损失函数中的任意一种损失函数对损失Y通道图进行第二损失计算，得到损失Y通道图的第二损失值。
在另一个实施例中，电子设备采用感知损失函数、低通滤波损失函数、传统边缘算子损失函数和多尺度结构相似损失函数中的至少两种损失函数对损失Y通道图进行第二损失计算，得到损失Y通道图的第二损失值。其中，至少两种损失函数的计算顺序可以根据需要进行设置。
例如，电子设备依次采用感知损失函数、低通滤波损失函数、传统边缘算子损失函数和多尺度结构相似损失函数对损失Y通道图进行第二损失计算，得到损失Y通道图的第二损失值。又如，电子设备依次采用低通滤波损失函数、感知损失函数和多尺度结构相似损失函数对损失Y通道图进行第二损失计算，得到损失Y通道图的第二损失值。
步骤208，基于第一损失值和第二损失值，确定损失图像的目标损失值。
目标损失值是损失图像与标签图像进行对比之后得到的最终的损失值。
具体地，电子设备将第一损失函数和第二损失函数进行组合，构建目标损失函数；将第一损失值和第二损失值代入该目标损失函数中，得到损失图像的目标损失值。其中，第一损失函数用于进行第一损失计算，第二损失函数用于进行第二损失计算。第一损失函数和第二损失函数进行组合可以是相加，也可以是先与权重因子相乘后再进行相加，在此不做限定。
可以理解的是，YUV类型的图像，Y通道图所表征的明度信息(亮度信息)决定了图像中的细节，故需要重点进行优化，而U通道图V和V通道图所表征的色度信息仅需要保留低频信息，不需要额外约束。因此，上述图像处理方法，对损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行第一损失计算得到损失图像的第一损失值，以及对损失Y通道进行第二损失计算得到损失Y通道图的第二损失值，从而可以基于第一损失值和第二损失值，确定损失图像的目标损失值。也就是说，该目标损失值不仅有针对损失Y通道图的第二损失值，第二损失值可以用于训练指定任务模型在进行指定任务处理时，更准确地降低Y通道图中的亮度噪声，还有针对损失图像的损失Y通道图、损失U通道图和损失V通道图计算得到的第一损失值，该第一损失值可以用于训练指定任务模型在进行指定任务处理时，保留U通道图和V通道图的低频信息，从而去除U通道图和V通道图的高频噪声(彩色噪声)，因此可以确定出更准确的目标损失值。进一步地，基于该更准确的目标损失值可以训练出更准确的指定任务模型，该指定任务模型可以在去除图像中的彩色噪声的同时更好地保留了纹理信息。
在一个实施例中，基于损失图像和标签图像，分别对损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行第一损失计算，得到损失图像的第一损失值，包括：基于损失图像和标签图像，分别对损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行第一损失计算，得到损失Y通道图的第一Y通道损失值、损失U通道图的第一U通道损失值和损失V通道图的第一V通道损失值；基于第一Y通道损失值、第一U通道损失值和第一V通道损失值，确定损失图像的第一损失值。
第一Y通道损失值是针对损失图像的损失Y通道图进行第一损失计算得到的损失值。第一U通道损失值是针对损失图像的损失U通道图进行第一损失计算得到的损失值。第一V通道损失值是针对损失图像的损失V通道图进行第一损失计算得到的损失值。
具体地，电子设备基于损失图像的损失Y通道图和标签图像的标签Y通道图，采用L1损失函数对损失Y通道图进行L1损失计算，得到第一Y通道损失值；基于损失图像的损失U通道图和标签图像的标签U通道图，采用L1损失函数对损失U通道图进行L1损失计算，得到第一U通道损失值；基于损失图像的损失V通道图和标签图像的标签V通道图，采用L1损失函数对损失V通道图进行L1损失计算，得到第一V通道损失值。
电子设备采用以下L1损失函数对损失Y通道图进行L1损失计算得到第一Y通道损失值：
Figure BDA0003260268390000101
其中，LY是第一Y通道损失值，H表示损失Y通道图的高，W表示损失Y通道图的宽，IdenoiseY是损失Y通道图，IgtY是标签Y通道图。
电子设备采用以下L1损失函数对损失U通道图进行L1损失计算得到第一U通道损失值：
Figure BDA0003260268390000102
其中，LU是第一U通道损失值，H表示损失U通道图的高，W表示损失U通道图的宽，IdenoiseU是损失U通道图，IgtU是标签U通道图。
电子设备采用以下L1损失函数对损失V通道图进行L1损失计算得到第一V通道损失值：
Figure BDA0003260268390000103
其中，LV是第一V通道损失值，H表示损失V通道图的高，W表示损失V通道图的宽，IdenoiseV是损失V通道图，IgtV是标签V通道图。
需要说明的是，在其他实施例中，电子设备还可以采用其他的如L2损失函数或TV损失函数等损失函数进行第一损失计算，从而可以得到损失Y通道图的第一Y通道损失值、损失U通道图的第一U通道损失值和损失V通道图的第一V通道损失值。
在本实施例中，基于损失图像和标签图像，分别对损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行第一损失计算，得到损失Y通道图的第一Y通道损失值、损失U通道图的第一U通道损失值和损失V通道图的第一V通道损失值，从而可以基于第一Y通道损失值、第一U通道损失值和第一V通道损失值，准确地确定出损失图像的第一损失值。
在一个实施例中，电子设备还可以基于损失图像的损失U通道图和标签图像的标签U通道图进行第一损失计算，得到损失U通道图的第一U通道损失值，基于损失图像的损失V通道图和标签图像的标签V通道图进行第一损失计算，得到损失V通道图的第一V通道损失值。可以理解的是，第一U通道损失值和第一V通道损失值均是针对表征色度的通道图(损失U通道图和损失V通道图)的损失值，则第一U通道损失值和第一V通道损失值可以用于训练指定任务模型在进行指定任务处理时对色度处理进行优化。
同样的，电子设备还可以基于损失图像的损失Y通道图和标签图像的标签Y通道图分别进行第一损失计算和第二损失计算，得到损失Y通道图的第一Y通道损失值和第二损失值。该第二损失值也是针对损失Y通道图计算得到的损失值。可以理解的是，第一Y通道损失值和第二损失值均是针对表征明度的Y通道图的损失值，则第一Y通道损失值和第二损失值可以用于训练指定任务模型在进行指定任务处理时对明度处理进行优化。
在一个实施例中，基于第一Y通道损失值、第一U通道损失值和第一V通道损失值，确定损失图像的第一损失值，包括：分别获取第一Y通道损失值对应的Y通道损失权重、第一U通道损失值对应的U通道损失权重和第一V通道损失值对应的V通道损失权重；其中，Y通道损失权重和U通道损失权重不一致，Y通道损失权重和V通道损失权重不一致；将第一Y通道损失值与对应的Y通道损失权重相乘，将第一U通道损失值与对应的U通道损失权重相乘，以及将第一V通道损失值与对应的V通道损失权重相乘，再将相乘得到的三个乘积相加得到损失图像的第一损失值。
Y通道损失权重是第一Y通道损失值对应的权重因子。U通道损失权重是第一U通道损失值对应的权重因子。V通道损失权重是第一V通道损失值对应的权重因子。Y通道损失权重、U通道损失权重和V通道损失权重均可以根据实际调试得到的经验值进行设置，也可以根据实际场景进行设置。例如，根据白天和晚上的不同场景，可以设置不同的Y通道损失权重、U通道损失权重和V通道损失权重。
在一个实施例中，Y通道损失权重的数值均高于U通道损失权重和V通道损失权重的数值，即经过更高的权重进行加权处理的第一Y通道损失值，可以用于训练指定任务模型在进行指定任务处理时，保留Y通道图的高频信息。其中，高频信息即图像中频率变化快的信息，也即图像中的边缘信息。
例如，Y通道损失权重设置为3，U通道损失权重和V通道损失权重均设置为1。又如，Y通道损失权重设置为3，U通道损失权重设置为2，V通道损失权重设置为1。
可以理解的是，分别获取第一Y通道损失值对应的Y通道损失权重、第一U通道损失值对应的U通道损失权重和第一V通道损失值对应的V通道损失权重，并且Y通道损失权重和U通道损失权重不一致，Y通道损失权重和V通道损失权重不一致，那么，经过加权处理的第一Y通道损失值，可以用于训练指定任务模型在进行指定任务处理时，保留Y通道图的高频信息。
电子设备采用以下公式计算得到损失图像的第一损失值：L1＝LY+γ(LU+LV)。其中，L1是第一损失值，LY是第一Y通道损失值，LU是第一U通道损失值，LV是第一V通道损失值，γ是Y通道损失权重，而U通道损失权重和V通道损失权重均为1。
在一个实施例中，基于损失图像对应的损失Y通道图和标签图像的标签Y通道图，对损失Y通道进行第二损失计算，得到损失Y通道图的第二损失值，包括：基于损失图像对应的损失Y通道图和标签图像的标签Y通道图，对损失Y通道图分别进行感知损失计算、低通滤波损失计算、传统边缘算子损失计算和多尺度结构相似损失计算，得到损失Y通道图的感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失；基于损失Y通道图的感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失，确定损失Y通道图的第二损失值。
具体地，电子设备基于损失图像对应的损失Y通道图和标签图像的标签Y通道图，采用感知损失函数进行感知损失计算得到损失Y通道图的感知损失，采用低通滤波损失函数进行低通滤波损失计算得到损失Y通道图的低通滤波损失，采用传统边缘算子损失函数进行传统边缘算子损失计算得到传统边缘算子损失，采用多尺度结构相似损失函数进行多尺度结构相似损失计算得到多尺度结构相似损失；分别获取感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失的权重因子，将感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失分别与对应的权重因子进行相乘，再将相乘得到的四个乘积相加得到损失Y通道图的第二损失值。
电子设备基于损失图像对应的损失Y通道图和标签图像的标签Y通道图，采用感知损失函数进行感知损失计算得到损失Y通道图的感知损失，具体地，电子设备将损失图像对应的损失Y通道图和标签图像的标签Y通道图输入VGG-16(Visual Geometry GroupNetwork，视觉几何群网络)网络中，从VGG-16网络中提取出指定层的输出特征，并对指定层的输出特征进行感知损失计算，得到损失Y通道图的感知损失。
其中，VGG-16网络包括13个卷积层和3个全链接层。可以理解的是，VGG-16网络中不同层可以提取出不同尺度的特征。指定层可以根据需要进行设置。在本实施例中，指定层可以选用第4层和第7层。
以损失图像为降噪图像，指定层为第4层和第7层进行说明。电子设备定义VGG-16网络中第i层输出的特征形状为(Hi，Wi，Ci)，Hi表示第i层输出的特征形状的高，Wi表示第i层输出的特征形状的宽，Ci表示第i层输出的特征形状的通道数。电子设备从VGG-16网络中提取出第4层和第7层的输出特征，第4层和第7层输出的标签图像的特征分别为F4gtY和F7gtY，第4层和第7层输出的降噪图像的特征分别为F4denoiseY和F7denoiseY，获取感知损失参数alpha＝0.8，则感知损失
Figure BDA0003260268390000141
Figure BDA0003260268390000142
其中，Lperceptual是损失Y通道图的感知损失，C4*H4*W4是第4层输出的特征形状，C7*H7*W7是第7层输出的特征形状。
可以理解的是，感知损失只作用于损失Y通道图，可以借助VGG-16网络提取到更多的语义信息以及高频信息，使得该感知损失用于训练指定任务模型在进行指定任务处理时保留图像中的细节。
电子设备基于损失图像对应的损失Y通道图和标签图像的标签Y通道图，通过指定核大小的高斯滤波器调用低通滤波损失函数进行低通滤波损失计算，得到损失Y通道图的低通滤波损失。其中，指定核大小可以根据需要进行设置。例如，指定核大小为9。
可以理解的是，电子设备基于损失图像对应的损失Y通道图和标签图像的标签Y通道图进行低通滤波损失计算，得到损失Y通道图的低通滤波损失，该低通滤波损失可以用于训练指定任务模型在进行指定任务处理时提取出图像中的低频信息，而该低频信息可以保证图像的整体轮廓。如图3所示，为一个实施例中对图像进行低通滤波前后的对比图。
以损失图像为降噪图像进行说明。损失Y通道图的低通滤波损失采用以下公式计算得到：
Figure BDA0003260268390000151
其中，Llowpass是降噪图像的Y通道图的低通滤波损失，H是降噪图像的Y通道图的高，W是降噪图像的Y通道图的宽，IdenoiseY是降噪图像的Y通道图，IgtY是标签Y通道图。
电子设备采用四方向的sobel算子提取损失Y通道图和标签Y通道图的边缘信息，可以计算得到损失Y通道图的传统边缘算子损失。
以损失图像为降噪图像进行说明。降噪图像的Y通道图的低传统边缘算子损失采用以下公式计算得到：
Figure BDA0003260268390000152
其中，Lsobel是降噪图像的Y通道图的低传统边缘算子损失，H是降噪图像的Y通道图的高，W是降噪图像的Y通道图的宽，IdenoiseY是降噪图像的Y通道图，IgtY是标签Y通道图。
可以理解的是，通过计算损失Y通道图的传统边缘算子损失，可以用于训练指定任务模型在进行指定任务处理时约束边缘信息。
以损失图像为降噪图像进行说明。降噪图像的Y通道图的多尺度结构相似损失采用以下公式计算得到：
LMS-SSIM＝1-MS-SSIM(IgtY,IdenoiseY)。其中，LMS-SSIM是多尺度结构相似损失，IdenoiseY是降噪图像的Y通道图，IgtY是标签Y通道图。
可以理解的是，通过计算损失Y通道图的多尺度结构相似损失，可以用于训练指定任务模型在进行指定任务处理保证图像的空间结构的相似性。
进一步地，电子设备采用以下公式计算得到损失图像的目标损失值：
LYUV＝L1+0.01*Lperceptual+0.1*Llowpass+0.1*Lsobel+0.1*LMS-SSIM。其中，LYUV是目标损失值，L1是第一损失值，Lperceptual是感知损失，Llowpass是低通滤波损失，Lsobel是传统边缘算子损失，LMS-SSIM是多尺度结构相似损失。
在本实施例中，基于损失图像对应的损失Y通道图和标签图像的标签Y通道图，对损失Y通道图分别进行感知损失计算、低通滤波损失计算、传统边缘算子损失计算和多尺度结构相似损失计算，得到损失Y通道图的感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失，则基于损失Y通道图的感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失，确定损失Y通道图的第二损失值，而第二损失值所包含的感知损失可以用于训练指定任务模型在进行指定任务处理时保留图像中的细节，第二损失值所包含的低通滤波损失可以用于训练指定任务模型在进行指定任务处理时提取出图像中的低频信息，第二损失值所包含的传统边缘算子损失可以用于训练指定任务模型在进行指定任务处理时约束边缘信息，第二损失值所包含的多尺度结构相似损失可以用于训练指定任务模型在进行指定任务处理保证图像的空间结构的相似性。也就是说，训练完成的指定任务模型可以在去除彩色噪声和亮度噪声的基础上，更好地保留图像中的边缘信息、空间结构和高低频重要信息，提高了对图像进行降噪的精细度，可以更准确地对图像进行降噪。
在一个实施例中，电子设备采用训练完成的指定任务模型对运动抓拍得到的图像进行指定任务的处理，可以在指定任务的处理的基础上，更准确地进行降噪，得到更准确、更清晰的图像。
在一个实施例中，获取经过指定任务处理之后的损失图像，包括：获取待处理图像；在降噪任务中对待处理图像进行降噪处理，得到降噪图像，将降噪图像作为损失图像，或者，在超分任务中对待处理图像进行超分处理，得到超分图像，将超分图像作为损失图像。
降噪任务是对待处理图像进行降噪处理的任务。超分任务是对待处理图像进行超分处理的任务。降噪图像是待处理图像经过降噪处理后得到的图像。超分图像是待处理图像经过超分处理后得到的图像。
电子设备获取待处理图像，将待处理图像输入降噪网络中，通过卷积神经网络对待处理图像进行降噪处理，得到降噪图像。其中，降噪网络为卷积神经网络。电子设备获取待处理图像，将待处理图像输入超分模型中，通过超分模型对待处理图像进行超分处理，得到超分图像。
在本实施例中，电子设备对待处理图像进行降噪处理得到降噪图像，或者对待处理图像进行超分处理得到超分图像，将该降噪图像或超分图像作为损失图像，则可以准确地计算出降噪图像或超分图像与标签图像之间的损失值。
在一个实施例中，获取损失图像对应的标签图像，包括：若损失图像为降噪图像，对同一拍摄场景拍摄多帧场景图像；对多帧场景图像进行平均处理，得到降噪图像对应的标签图像。
其中，场景图像是对同一场景拍摄得到，并且用于生成降噪图像对应的标签图像的图像。电子设备对同一拍摄场景拍摄的场景图像的数量可以根据需要进行设置。例如，电子设备对同一拍摄场景拍摄120帧场景图像，对120帧场景图像进行平均处理，得到降噪图像对应的标签图像。
可以理解的是，单张场景图像中的噪声符合0均值分布，而对多帧场景图像进行平均处理，可以有效消除噪声。并且，标签图像中的噪声水平与场景图像的数量成负相关关系。也就是说，场景图像的数量越多，标签图像的噪声水平越低。
在一个实施例中，场景图像的颜色空间类型为YUV；对多帧场景图像进行平均处理，得到损失图像对应的标签图像，包括：将每一帧场景图像的颜色空间类型转换为RGB，得到RGB类型的场景图像；将多帧RGB类型的场景图像进行平均处理，得到RGB类型的标签图像；将RGB类型的标签图像的颜色空间类型转换为YUV，得到YUV类型的标签图像。
可以理解的是，电子设备若在YUV域对多帧场景图像进行平均处理，则得到的YUV类型的标签图像会产生偏色的问题。因此，在本实施例中，电子设备先将每一帧YUV类型的场景图像转换为RGB类型的场景图像，在RGB域中将多帧RGB类型的场景图像进行平均处理，得到RGB类型的标签图像，再将RGB类型的标签图像转换为YUV类型的标签图像，则可以避免生成的YUV类型的标签图像偏色的问题，提高了生成的标签图像的准确性，从而可以更准确地计算出损失图像和标签图像之间的目标损失值。
在一个实施例中，上述方法还包括：基于目标损失值对指定任务模型进行训练，直到满足训练截止条件，得到训练完成的指定任务模型；通过训练完成的指定任务模型对输入图像进行指定任务的处理，得到目标图像；其中，指定任务包括降噪任务或超分任务。
若指定任务是降噪任务，则指定任务模型可以是降噪模型，即降噪网络。其中，降噪网络为卷积神经网络。若指定任务是超分任务，则指定任务模型可以是超分模型。
训练截止条件可以根据需要进行设置。在一个实施例中，训练截止条件可以是目标损失值小于预设阈值。在另一个实施例中，训练截止条件可以是训练次数达到预设次数。在其他实施例中，训练截止条件还可以是训练时长达到预设时长。其中，预设阈值、预设次数、预设时长均可以根据需要进行设置。
输入图像是输入训练完成的指定任务模型的图像。目标图像是通过训练完成的指定任务模型对输入图像进行指定任务的处理后，得到的图像。
在本实施例中，电子设备基于目标损失值对指定任务模型进行训练，直到满足训练截止条件，可以得到训练完成的指定任务模型，该训练完成的指定任务模型可以更准确地对输入图像进行指定任务的处理，从而得到更准确的目标图像。
在一个实施例中，如图4所示，电子设备获取待处理图像，将待处理图像输入指定任务模型中，得到经过指定任务处理的损失图像，以及获取该损失图像对应的标签图像，通过预先构建的目标损失函数，对该损失图像和标签图像进行计算，可以得到该损失图像的目标损失值。
应该理解的是，虽然图2和图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图5为一个实施例的图像处理装置的结构框图。如图5所示，提供了一种图像处理装置，包括：获取模块502和损失计算模块504，其中：
获取模块502，用于获取经过指定任务处理之后的损失图像，以及获取损失图像对应的标签图像；损失图像和标签图像的颜色空间类型均为YUV。
损失计算模块504，用于基于损失图像和标签图像，分别对损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行第一损失计算，得到损失图像的第一损失值；第一损失值用于训练指定任务模型在进行指定任务处理时，保留U通道图和V通道图的低频信息。
损失计算模块504还用于基于损失图像对应的损失Y通道图和标签图像的标签Y通道图，对损失Y通道进行第二损失计算，得到损失Y通道图的第二损失值。
损失计算模块504还用于基于第一损失值和第二损失值，确定损失图像的目标损失值。
上述图像处理装置，对损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行第一损失计算得到损失图像的第一损失值，以及对损失Y通道进行第二损失计算得到损失Y通道图的第二损失值，从而可以基于第一损失值和第二损失值，确定损失图像的目标损失值。也就是说，该目标损失值不仅有针对损失Y通道图的第二损失值，第二损失值可以用于训练指定任务模型在进行指定任务处理时，更准确地降低Y通道图中的亮度噪声，还有针对损失图像的损失Y通道图、损失U通道图和损失V通道图计算得到的第一损失值，该第一损失值可以用于训练指定任务模型在进行指定任务处理时，保留U通道图和V通道图的低频信息，从而去除U通道图和V通道图的高频噪声，因此可以确定出更准确的目标损失值。进一步地，基于该更准确的目标损失值可以训练出更准确的指定任务模型。
在一个实施例中，损失计算模块504还用于基于损失图像和标签图像，分别对损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行第一损失计算，得到损失Y通道图的第一Y通道损失值、损失U通道图的第一U通道损失值和损失V通道图的第一V通道损失值；基于第一Y通道损失值、第一U通道损失值和第一V通道损失值，确定损失图像的第一损失值。
在一个实施例中，损失计算模块504还用于分别获取第一Y通道损失值对应的Y通道损失权重、第一U通道损失值对应的U通道损失权重和第一V通道损失值对应的V通道损失权重；其中，Y通道损失权重和U通道损失权重不一致，Y通道损失权重和V通道损失权重不一致；将第一Y通道损失值与对应的Y通道损失权重相乘，将第一U通道损失值与对应的U通道损失权重相乘，以及将第一V通道损失值与对应的V通道损失权重相乘，再将相乘得到的三个乘积相加得到损失图像的第一损失值。
在一个实施例中，损失计算模块504还用于基于损失图像对应的损失Y通道图和标签图像的标签Y通道图，对损失Y通道图分别进行感知损失计算、低通滤波损失计算、传统边缘算子损失计算和多尺度结构相似损失计算，得到损失Y通道图的感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失；基于损失Y通道图的感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失，确定损失Y通道图的第二损失值。
在一个实施例中，获取模块502还用于获取待处理图像；在降噪任务中对待处理图像进行降噪处理，得到降噪图像，将降噪图像作为损失图像，或者，在超分任务中对待处理图像进行超分处理，得到超分图像，将超分图像作为损失图像。
在一个实施例中，获取模块502还用于若损失图像为降噪图像，对同一拍摄场景拍摄多帧场景图像；对多帧场景图像进行平均处理，得到降噪图像对应的标签图像。
在一个实施例中，场景图像的颜色空间类型为YUV；获取模块502还用于将每一帧场景图像的颜色空间类型转换为RGB，得到RGB类型的场景图像；将多帧RGB类型的场景图像进行平均处理，得到RGB类型的标签图像；将RGB类型的标签图像的颜色空间类型转换为YUV，得到YUV类型的标签图像。
在一个实施例中，上述装置还包括训练模块，用于基于目标损失值对指定任务模型进行训练，直到满足训练截止条件，得到训练完成的指定任务模型；通过训练完成的指定任务模型对输入图像进行指定任务的处理，得到目标图像；其中，指定任务包括降噪任务或超分任务。
上述图像处理装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图6为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Pointof Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器可以包括一个或多个处理单元。处理器可为CPU(Central Processing Unit,中央处理单元)或DSP(Digital Signal Processing，数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括ROM(Read-Only Memory，只读存储器)、PROM(Programmable Read-only Memory，可编程只读存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-only Memory，电可擦除可编程只读存储器)或闪存。易失性存储器可包括RAM(Random Access Memory，随机存取存储器)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如SRAM(Static Random Access Memory，静态随机存取存储器)、DRAM(Dynamic Random Access Memory，动态随机存取存储器)、SDRAM(Synchronous Dynamic Random Access Memory，同步动态随机存取存储器)、双数据率DDRSDRAM(Double Data Rate Synchronous Dynamic Random Access memory，双数据率同步动态随机存取存储器)、ESDRAM(Enhanced Synchronous Dynamic Random Access memory，增强型同步动态随机存取存储器)、SLDRAM(Sync Link Dynamic Random Access Memory，同步链路动态随机存取存储器)、RDRAM(Rambus Dynamic Random Access Memory，总线式动态随机存储器)、DRDRAM(Direct Rambus Dynamic Random Access Memory，接口动态随机存储器)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种图像处理方法，其特征在于，包括：
获取经过指定任务处理之后的损失图像，以及获取所述损失图像对应的标签图像；所述损失图像和所述标签图像的颜色空间类型均为YUV；
基于所述损失图像和所述标签图像，分别对所述损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行第一损失计算，得到所述损失图像的第一损失值；所述第一损失值用于训练指定任务模型在进行指定任务处理时，保留U通道图和V通道图的低频信息；
基于所述损失图像对应的损失Y通道图和所述标签图像的标签Y通道图，对所述损失Y通道进行第二损失计算，得到所述损失Y通道图的第二损失值；
基于所述第一损失值和所述第二损失值，确定所述损失图像的目标损失值。
2.根据权利要求1所述的方法，其特征在于，所述基于所述损失图像和所述标签图像，分别对所述损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行第一损失计算，得到所述损失图像的第一损失值，包括：
基于所述损失图像和所述标签图像，分别对所述损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行第一损失计算，得到所述损失Y通道图的第一Y通道损失值、所述损失U通道图的第一U通道损失值和所述损失V通道图的第一V通道损失值；
基于所述第一Y通道损失值、所述第一U通道损失值和所述第一V通道损失值，确定所述损失图像的第一损失值。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一Y通道损失值、所述第一U通道损失值和所述第一V通道损失值，确定所述损失图像的第一损失值，包括：
分别获取所述第一Y通道损失值对应的Y通道损失权重、所述第一U通道损失值对应的U通道损失权重和所述第一V通道损失值对应的V通道损失权重；其中，所述Y通道损失权重和所述U通道损失权重不一致，所述Y通道损失权重和所述V通道损失权重不一致；
将所述第一Y通道损失值与对应的Y通道损失权重相乘，将所述第一U通道损失值与对应的U通道损失权重相乘，以及将所述第一V通道损失值与对应的V通道损失权重相乘，再将相乘得到的三个乘积相加得到所述损失图像的第一损失值。
4.根据权利要求1所述的方法，其特征在于，所述基于所述损失图像对应的损失Y通道图和所述标签图像的标签Y通道图，对所述损失Y通道进行第二损失计算，得到所述损失Y通道图的第二损失值，包括：
基于所述损失图像对应的损失Y通道图和所述标签图像的标签Y通道图，对所述损失Y通道图分别进行感知损失计算、低通滤波损失计算、传统边缘算子损失计算和多尺度结构相似损失计算，得到所述损失Y通道图的感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失；
基于所述损失Y通道图的感知损失、低通滤波损失、传统边缘算子损失和多尺度结构相似损失，确定所述损失Y通道图的第二损失值。
5.根据权利要求1所述的方法，其特征在于，所述获取经过指定任务处理之后的损失图像，包括：
获取待处理图像；
在降噪任务中对所述待处理图像进行降噪处理，得到降噪图像，将所述降噪图像作为损失图像，或者，在超分任务中对所述待处理图像进行超分处理，得到超分图像，将所述超分图像作为损失图像。
6.根据权利要求1所述的方法，其特征在于，所述获取所述损失图像对应的标签图像，包括：
若所述损失图像为降噪图像，对同一拍摄场景拍摄多帧场景图像；
对多帧所述场景图像进行平均处理，得到所述降噪图像对应的标签图像。
7.根据权利要求6所述的方法，其特征在于，所述场景图像的颜色空间类型为YUV；所述对多帧所述场景图像进行平均处理，得到所述降噪图像对应的标签图像，包括：
将每一帧所述场景图像的颜色空间类型转换为RGB，得到RGB类型的场景图像；
将多帧RGB类型的场景图像进行平均处理，得到RGB类型的标签图像；
将所述RGB类型的标签图像的颜色空间类型转换为YUV，得到YUV类型的标签图像。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：
基于所述目标损失值对所述指定任务模型进行训练，直到满足训练截止条件，得到训练完成的指定任务模型；
通过所述训练完成的指定任务模型对输入图像进行指定任务的处理，得到目标图像；其中，所述指定任务包括降噪任务或超分任务。
9.一种图像处理装置，其特征在于，包括：
获取模块，用于获取经过指定任务处理之后的损失图像，以及获取所述损失图像对应的标签图像；所述损失图像和所述标签图像的颜色空间类型均为YUV；
损失计算模块，用于基于所述损失图像和所述标签图像，分别对所述损失图像对应的损失Y通道图、损失U通道图和损失V通道图进行第一损失计算，得到所述损失图像的第一损失值；所述第一损失值用于训练指定任务模型在进行指定任务处理时，保留U通道图和V通道图的低频信息；
所述损失计算模块还用于基于所述损失图像对应的损失Y通道图和所述标签图像的标签Y通道图，对所述损失Y通道进行第二损失计算，得到所述损失Y通道图的第二损失值；
所述损失计算模块还用于基于所述第一损失值和所述第二损失值，确定所述损失图像的目标损失值。
10.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的图像处理方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。
CN202111071017.2A 2021-09-13 2021-09-13 图像处理方法、装置、电子设备和计算机可读存储介质 Pending CN113781347A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111071017.2A CN113781347A (zh) 2021-09-13 2021-09-13 图像处理方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111071017.2A CN113781347A (zh) 2021-09-13 2021-09-13 图像处理方法、装置、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113781347A true CN113781347A (zh) 2021-12-10

Family

ID=78843241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111071017.2A Pending CN113781347A (zh) 2021-09-13 2021-09-13 图像处理方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113781347A (zh)

Similar Documents

Publication Publication Date Title
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
CN111629262B (zh) 视频图像处理方法和装置、电子设备及存储介质
US9779491B2 (en) Algorithm and device for image processing
CN115442515A (zh) 图像处理方法和设备
CN113034358B (zh) 一种超分辨率图像处理方法以及相关装置
CN110728722B (zh) 图像颜色迁移方法、装置、计算机设备和存储介质
CN112602088B (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
Parihar et al. Fusion‐based simultaneous estimation of reflectance and illumination for low‐light image enhancement
CN108230256A (zh) 图像处理方法、装置、计算机装置及计算机可读存储介质
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN110599554A (zh) 人脸肤色的识别方法和装置、存储介质及电子装置
CN107564085B (zh) 图像扭曲处理方法、装置、计算设备及计算机存储介质
CN113240608A (zh) 图像去噪方法、装置、电子设备和可读存储介质
CN113744294B (zh) 图像处理方法及相关装置
CN114581318A (zh) 一种低照明度图像增强方法及系统
CN113935934A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN111681187B (zh) 降彩噪方法、装置、电子设备和可读存储介质
CN111160063B (zh) 一种物联网ipc二维码配网图像增强方法及系统
US20240013358A1 (en) Method and device for processing portrait image, electronic equipment, and storage medium
CN113052923A (zh) 色调映射方法、装置、电子设备和存储介质
CN112565887A (zh) 一种视频处理方法、装置、终端及存储介质
CN112541853A (zh) 数据处理方法、装置及设备
CN111160240A (zh) 图像对象的识别处理方法、装置及智能设备、存储介质
CN113781347A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN115471413A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination