CN116843580A - 图像去噪方法、装置、计算机设备、存储介质和程序产品 - Google Patents

图像去噪方法、装置、计算机设备、存储介质和程序产品 Download PDF

Info

Publication number
CN116843580A
CN116843580A CN202310927740.9A CN202310927740A CN116843580A CN 116843580 A CN116843580 A CN 116843580A CN 202310927740 A CN202310927740 A CN 202310927740A CN 116843580 A CN116843580 A CN 116843580A
Authority
CN
China
Prior art keywords
image
data
preset
image data
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310927740.9A
Other languages
English (en)
Inventor
谢朝毅
苏坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202310927740.9A priority Critical patent/CN116843580A/zh
Publication of CN116843580A publication Critical patent/CN116843580A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像去噪方法、装置、计算机设备、存储介质和程序产品。上述方法包括：获取待处理图像；将待处理图像输入至目标图像去噪模型中进行图像去噪，生成去噪后的目标图像；目标图像去噪模型为基于多帧图像的预设图像数据进行训练所生成的；输出去噪后的目标图像。采用本方法能够在低功耗的嵌入式平台上对图像进行去噪。

Description

图像去噪方法、装置、计算机设备、存储介质和程序产品
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像去噪方法、装置、计算机设备、存储介质和程序产品。
背景技术
随着图像数据处理技术的发展，图像处理技术的应用越来越广泛。而图像去噪技术是图像处理过程中的核心技术之一。通过图像去噪技术可以对图像进行去噪，从而提高图像的清晰度，进而改善视频的画质。
然而，传统的图像去噪方法对运行平台的要求较高。因此，传统的图像去噪方法无法在低功耗的嵌入式平台上对图像进行去噪。
发明内容
基于此，有必要针对上述技术问题，提供一种能够在低功耗的嵌入式平台上对图像进行去噪的图像去噪方法、装置、计算机设备、存储介质和程序产品。
第一方面，本申请提供了一种图像去噪方法。所述方法包括：
获取待处理图像；
将所述待处理图像输入至目标图像去噪模型中进行图像去噪，生成去噪后的目标图像；所述目标图像去噪模型为基于多帧图像的预设图像数据进行训练所生成的；
输出所述去噪后的目标图像。
在其中一个实施例中，所述方法还包括：
获取所述多帧图像的预设图像数据；所述预设图像数据包括第一类预设图像数据及第二类预设图像数据，所述第一类预设图像数据的噪声参数小于预设噪声参数阈值，所述第二类预设图像数据的噪声参数大于或等于所述预设噪声参数阈值；
针对各帧图像的预设图像数据，获取所述预设图像数据对应的预设降噪强度；所述预设降噪强度为基于所述预设图像数据对应的感光度所得到；
将所述各帧图像的预设图像数据及与所述预设图像数据对应的预设降噪强度，输入至中间图像去噪模型中进行训练，生成所述目标图像去噪模型。
在其中一个实施例中，所述方法还包括：
获取初始图像去噪模型；所述初始图像去噪模型包括至少一层初始图像去噪网络，所述初始图像去噪网络包括语义分割网络或多阶段视频去噪网络；
对所述初始图像去噪模型进行结构剪枝，生成结构剪枝后的初始图像去噪模型；
对所述结构剪枝后的初始图像去噪模型进行优化处理，生成所述中间图像去噪模型。
在其中一个实施例中，所述对所述结构剪枝后的初始图像去噪模型进行优化处理，生成所述中间图像去噪模型，包括：
对所述结构剪枝后的初始图像去噪模型进行模型稀疏化处理及模型量化处理，生成所述中间图像去噪模型。
在其中一个实施例中，所述对所述结构剪枝后的初始图像去噪模型进行优化处理，生成所述中间图像去噪模型，包括：
基于预设卷积层对所述结构剪枝后的初始图像去噪模型中的卷积层进行替换，生成替换后的图像去噪模型；所述预设卷积层包括resblock层或Bottleneck层；
对所述替换后的图像去噪模型进行模型稀疏化及模型量化处理，生成所述中间图像去噪模型。
在其中一个实施例中，所述获取所述多帧图像的预设图像数据，包括：
获取所述多帧图像的历史图像数据；所述历史图像数据包括第一类历史图像数据及第二类历史图像数据，所述第一类历史图像数据的噪声参数小于预设噪声参数阈值，所述第二类历史图像数据的噪声参数大于或等于预设噪声参数阈值；
针对各帧图像的历史图像数据进行数据处理，生成所述多帧图像的预设图像数据。
在其中一个实施例中，所述获取所述多帧图像的历史图像数据，包括：
获取所述多帧图像的历史RAW数据；
针对各帧图像的历史RAW数据，基于预设噪声参数对所述历史RAW数据添加噪声，生成添加噪声后的历史RAW数据；所述预设噪声参数为基于拍摄所述多帧图像的图像传感器的参数所确定；
对所述图像的历史RAW数据及所述图像的添加噪声后的历史RAW数据进行图像信号处理，生成所述图像的第一类历史图像数据及第二类历史图像数据；
基于所述多帧图像中各帧图像的第一类历史图像数据及所述各帧图像的第二类历史图像数据，生成所述多帧图像的历史图像数据。
在其中一个实施例中，所述针对各帧图像的历史图像数据进行数据处理，生成所述多帧图像的预设图像数据，包括：
针对各帧图像的历史图像数据，对所述图像的历史图像数据进行数据增广处理，生成所述图像的中间图像数据；
对所述多帧图像中各帧图像的中间图像数据进行数据格式转换，生成所述多帧图像的预设图像数据；所述中间图像数据包括第一通道数据、第二通道数据及第三通道数据，所述预设图像数据包括基于所述第一通道数据生成的四组新的通道数据、所述第二通道数据及所述第三通道数据。
第二方面，本申请还提供了一种图像去噪装置。所述装置包括：
获取模块，用于获取待处理图像；
图像去噪模块，用于将所述待处理图像输入至目标图像去噪模型中进行图像去噪，生成去噪后的目标图像；所述目标图像去噪模型为基于多帧图像的预设图像数据进行训练所生成的；
输出模块，用于输出所述去噪后的目标图像。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项实施例中的方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项实施例中的方法的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面中任一项实施例中的方法的步骤。
上述图像去噪方法、装置、计算机设备、存储介质和程序产品，获取待处理图像；将待处理图像输入至目标图像去噪模型中进行图像去噪，生成去噪后的目标图像；目标图像去噪模型为基于多帧图像的预设图像数据进行训练所生成的；输出去噪后的目标图像。由于获取预设图像数据的过程运行在低功耗的嵌入式平台上，因此，可以在低功耗的嵌入式平台上对预设图像数据进行数据处理，即预设图像数据可以运行在低功耗的嵌入式平台上。由于本申请采用的目标图像去噪模型为基于多帧图像的预设图像数据进行训练所生成的，因此，基于运行在低功耗的嵌入式平台上的预设图像数据进行训练所生成的目标图像去噪模型能够应用于低功耗的嵌入式平台上，即本申请中的目标图像去噪模型能够在低功耗的嵌入式平台上进行图像去噪。从而，将获取的待处理图像输入至目标图像去噪模型中进行图像去噪，就能够在低功耗的嵌入式平台上较准确地生成去噪后的目标图像。
附图说明
图1为一个实施例中图像去噪方法的应用环境图；
图2为一个实施例中图像去噪方法的流程示意图；
图3为另一个实施例中目标图像去噪模型生成步骤的流程示意图；
图4为另一个实施例中中间图像去噪模型生成步骤的流程示意图；
图5为一个实施例中预设图像数据生成步骤的流程示意图；
图6为一个可选的实施例中图像去噪方法的流程示意图；
图7为一个实施例中图像去噪装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
随着图像数据处理技术的发展，图像处理技术的应用越来越广泛。而图像去噪技术是图像处理过程中的核心技术之一。通过图像去噪技术可以对图像进行去噪，从而提高图像的清晰度，进而改善视频的画质。
传统的图像去噪方法，通常是针对RAW域图像进行去噪。然而，针对相机内特定的图像传感器(也可称为感光元件，sensor)所得到的RAW域图像，需要对RAW域图像进行图像信号处理(Image Signal Processor，ISP)，生成YUV域图像。其中，图像信号处理过程通常可以应用于嵌入式低功耗平台。然而，由于嵌入式低功耗平台的算力不足，因此，传统的图像去噪方法无法适用于嵌入式低功耗平台。从而，传统的图像去噪方法无法在低功耗的嵌入式平台上对图像进行去噪。
本申请实施例提供的图像去噪方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器104获取待处理图像；服务器104将待处理图像输入至目标图像去噪模型中进行图像去噪，生成去噪后的目标图像；目标图像去噪模型为基于多帧图像的预设图像数据进行训练所生成的；服务器104输出去噪后的目标图像。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种图像去噪方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
S220，获取待处理图像。
可选地，服务器104可以直接从终端102中获取用户上传的待处理图像。或者，服务器104也可以先从预设相机中获取待处理图像的RAW数据(即从预设相机中获取的原始图像数据)，再将待处理图像的RAW数据进行图像信号处理，从而生成待处理图像。其中，待处理图像是指需要进行去噪的图像。待处理图像的RAW数据是指从数码相机、扫描器或电影胶片扫描仪的图像传感器中获得的待处理图像的原始图像文件。RAW数据尚未被处理，即未被打印或用于编辑。图像传感器(也可称为感光元件，sensor)是指相机的感光元件，图像传感器可以将相机的感光面上的光像转换为与光像成相应比例关系的电信号。图像传感器一般可以分为两大类：基于互补金属氧化物半导体(Complementary Metal OxideSemiconductor，CMOS)的图像传感器或基于电荷耦合器件(Charge Coupled Device，CCD)的图像传感器。
其中，图像信号处理(Image Signal Processor，ISP)用于对图像传感器输出的信号进行处理，图像信号处理过程可以适用于不同的图像传感器。待处理图像是指需要进行图像去噪的图像。当然，本申请实施例中的待处理图像可以是YUV域的图像、或者RGB域的图像、或者RAW域的图像，本申请实施例对于待处理图像的类型及格式不做限定。在其中一个实施例中，待处理图像可以是对待处理图像的RAW数据进行图像信号处理后所生成的YUV域图像。YUV是一种颜色编码方法，经常应用于各个视频处理组件中。采用YUV的颜色编码方法对照片或视频进行编码时，考虑到人类的感知能力，允许降低色度的带宽。“Y”表示明亮度(Luminance或Luma)，即灰阶值；“U”和“V”表示色度(Chrominance或Chroma)，用于描述影像的色彩及饱和度，也可用于指定像素的颜色。一般的，视频保存的格式都是YUV420或者NV12格式的YUV数据。示例性的，YUV数据可以指YUV420格式或者NV12格式的YUV数据，此时，Y通道的数据大小(即数据的宽高)是UV通道的数据大小的两倍。
S240，将待处理图像输入至目标图像去噪模型中进行图像去噪，生成去噪后的目标图像；目标图像去噪模型为基于多帧图像的预设图像数据进行训练所生成的。
可选地，服务器104可以将待处理图像输入至目标图像去噪模型中进行图像去噪，生成去噪后的目标图像。其中，目标图像去噪模型可以是基于多帧图像的预设图像数据进行训练所生成的图像去噪模型。在其中一个实施例中，预设图像数据可以是YUV域的图像数据。示例性的，可以先获取历史视频中的多帧图像，再基于历史视频中的多帧图像进行图像处理，生成多帧图像的预设图像数据。从而，可以基于多帧图像的预设图像数据训练模型，就可以生成训练好的目标图像去噪模型。当然，本申请实施例中的目标图像去噪模型不仅可以对YUV域的图像进行图像去噪，而且，本申请实施例中的目标图像去噪模型还可以对RGB域的图像或者RAW域的图像进行图像去噪，本申请实施例对于待处理图像不做限定。
其中，图像或视频的噪声是指存在于图像数据中的不必要的或多余的干扰信息。由于图像噪声的存在严重影响了图像(例如遥感图像)的质量，因此，在进行图像增强处理和图像分类处理之前，需要进行图像去噪，以去除或减少图像噪声。在其中一个实施例中，去噪后的目标图像可以是进行图像去噪之后的YUV图像数据。
S260，输出去噪后的目标图像。
可选地，服务器104可以将去噪后的目标图像输出至终端102，从而用户可以从终端102上获取去噪后的目标图像。或者，服务器104也可以先将去噪后的目标图像进行图像信号处理的逆处理，生成去噪后的RAW图像数据；再将去噪后的RAW图像数据输出至终端102，从而用户可以从终端102上获取去噪后的RAW图像数据。
上述图像去噪方法中，获取待处理图像；将待处理图像输入至目标图像去噪模型中进行图像去噪，生成去噪后的目标图像；目标图像去噪模型为基于多帧图像的预设图像数据进行训练所生成的；输出去噪后的目标图像。由于获取预设图像数据的过程运行在低功耗的嵌入式平台上，因此，可以在低功耗的嵌入式平台上对预设图像数据进行数据处理，即预设图像数据可以运行在低功耗的嵌入式平台上。由于本申请采用的目标图像去噪模型为基于多帧图像的预设图像数据进行训练所生成的，因此，基于运行在低功耗的嵌入式平台上的预设图像数据进行训练所生成的目标图像去噪模型能够应用于低功耗的嵌入式平台上，即本申请中的目标图像去噪模型能够在低功耗的嵌入式平台上进行图像去噪。从而，将获取的待处理图像输入至目标图像去噪模型中进行图像去噪，就能够在低功耗的嵌入式平台上较准确地生成去噪后的目标图像。
在上面的实施例中，涉及到了将待处理图像输入至目标图像去噪模型中进行图像去噪，生成去噪后的目标图像；目标图像去噪模型为基于多帧图像的预设图像数据进行训练所生成的。下面就对生成目标图像去噪模型的具体方法进行介绍。在一个实施例中，如图3所示，图像去噪方法还包括：
S320，获取多帧图像的预设图像数据；预设图像数据包括第一类预设图像数据及第二类预设图像数据，第一类预设图像数据的噪声参数小于预设噪声参数阈值，第二类预设图像数据的噪声参数大于或等于预设噪声参数阈值。
可选地，服务器104可以直接从终端102或者预设数据库中获取多帧图像的预设图像数据。或者，服务器104也可以先从预设相机中获取多帧图像的RAW数据，再将多帧图像的RAW数据进行图像信号处理，从而生成多帧图像的图像数据。其中，多帧图像是指已有的历史视频中的各帧图像。多帧图像的RAW数据是指从数码相机、扫描器或电影胶片扫描仪的图像传感器中获得的多帧图像的原始图像文件。在其中一个实施例中，多帧图像的图像数据可以是对多帧图像的RAW数据进行图像信号处理后所生成的YUV域图像。
其中，多帧图像的预设图像数据包括多组预设图像数据，且各组预设图像数据包括第一类预设图像数据及第二类预设图像数据。在其中一个实施例中，预设图像数据可以是YUV域的图像数据。第一类预设图像数据的噪声参数小于预设噪声参数阈值，即可以理解为第一类预设图像数据是无噪声的或干净的预设图像数据；第二类预设图像数据的噪声参数大于或等于预设噪声参数阈值，即可以理解为第二类预设图像数据是有噪声的预设图像数据。噪声参数是用于描述噪声特性的参数。预设噪声参数阈值可以根据不同的图像进行具体设置，当然，本申请实施例对预设噪声参数阈值不做限定。即第一类预设图像数据是无噪声的预设图像数据；第二类预设图像数据是根据不同的噪声参数所生成的有噪声的预设图像数据。其中，第一类预设图像数据和第二类预设图像数据是经过相同的图像信号处理过程所得到的。
S340，针对各帧图像的预设图像数据，获取预设图像数据对应的预设降噪强度；预设降噪强度为基于预设图像数据对应的感光度所得到。
可选地，为了确保训练的模型可以更好地平衡不同噪声水平下的降噪过程，在本申请实施例中，可以设置预设图像数据对应的预设降噪强度，并将预设图像数据对应的预设降噪强度作为一个参数传入到需要训练的模型中。其中，可以将生成预设图像数据过程中所使用的感光度(也可称为iso值)作为预设图像数据对应的预设降噪强度，并将预设图像数据对应的预设降噪强度处理成和预设图像数据一样大小、且单通道的数据。其中，预设降噪强度的数据大小为[1,H,W]，且单通道中所有的值都是iso值。
或者，也可以基于生成预设图像数据过程中所使用的感光度、以及预设图像数据的局部区域亮度，确定出预设图像数据对应的预设降噪强度。示例性的，可以先将预设图像数据的Y通道进行高斯模糊，生成高斯模糊后的Y通道；然后将Y通道调整(resize)为预设数据大小(即预设高度乘以预设宽度，HxW)，并根据调整后的Y通道设置局部区域提亮比例；再将局部区域提亮比例乘以iso值作为预设图像数据对应的预设降噪强度。因此，服务器104可以针对各帧图像的预设图像数据，基于各帧图像的预设图像数据对应的感光度，获取预设图像数据对应的预设降噪强度。其中，预设降噪强度为基于预设图像数据对应的感光度所得到。
S360，将各帧图像的预设图像数据及与预设图像数据对应的预设降噪强度，输入至中间图像去噪模型中进行训练，生成目标图像去噪模型。
可选地，首先，服务器104可以将各帧图像的预设图像数据及与预设图像数据对应的预设降噪强度，输入至中间图像去噪模型中进行训练，得到预测去噪后的预设图像数据。其次，针对各帧图像的预设图像数据，根据该帧图像对应的预测去噪后的预设图像数据、以及该帧图像对应的第一类预设图像数据之间的像素差异进行计算，得到损失函数的值。之后，服务器104可以根据计算出的损失函数的值，对中间图像去噪模型的中间模型参数进行调整。并使用新的中间模型参数再次计算新的损失函数的值，直到新的损失函数的值达到最小值时，将此时损失函数的值所对应的中间模型参数作为目标模型参数。最后，基于目标模型参数对中间图像去噪模型的中间模型参数进行更新，生成目标图像去噪模型。其中，中间图像去噪模型为基于初始图像去噪模型进行结构重构的图像去噪模型。
本实施例中，获取包括第一类预设图像数据及第二类预设图像数据的多帧图像的预设图像数据，就能够较准确地获取特定图像信号处理后的、无噪声的预设图像数据、以及特定图像信号处理后的、有噪声的预设图像数据，从而能够为针对相机内特定的图像传感器(sensor)对应的预设图像数据的图像降噪算法提供训练数据。针对各帧图像的预设图像数据，基于预设图像数据对应的感光度，获取预设图像数据对应的预设降噪强度，就能够较准确地确定出训练模型时需要输入模型的参数。从而，将各帧图像的预设图像数据及与预设图像数据对应的预设降噪强度，输入至中间图像去噪模型中进行训练，就能够较准确地生成训练好的目标图像去噪模型。
在上面的实施例中，涉及到了生成目标图像去噪模型的具体方法，下面就对生成中间图像去噪模型的具体方法进行介绍。在一个实施例中，如图4所示，图像去噪方法还包括：
S420，获取初始图像去噪模型；初始图像去噪模型包括至少一层初始图像去噪网络，初始图像去噪网络包括语义分割网络或多阶段视频去噪网络。
可选地，为了得到更稳定的图像去噪结果，在本申请实施例中，可以采用多步法构建初始图像去噪模型，从而，服务器104可以获取构建好的初始图像去噪模型。其中，初始图像去噪模型包括至少一层初始图像去噪网络，初始图像去噪网络可以包括但不局限于语义分割网络(unet网络结构)或多阶段视频去噪网络(Efficient Multi-Stage VideoDenoising，emvd的网络结构)。当然，本申请实施例对于初始图像去噪网络的网络结构不做限定。
示例性的，假设采用两步法构建初始图像去噪模型，即分别构建降噪网络1和降噪网络2。其中，降噪网络1的输入是单帧图像的预设图像数据以及与预设图像数据对应的预设降噪强度，或者多帧图像的预设图像数据以及与预设图像数据对应的预设降噪强度。从而，将降噪网络1的输入通过降噪网络1进行降噪处理，得到中间结果。之后，将中间结果作为降噪网络2的输入，也就是将中间结果输入至降噪网络2进行降噪处理，得到最终的降噪结果。通过降噪网络2可以进一步地提升图像细节和时域稳定性。其中，降噪网络1和降噪网络2都可以采用语义分割网络(unet网络结构)或多阶段视频去噪网络(Efficient Multi-Stage Video Denoising，emvd的降噪网络结构)。
S440，对初始图像去噪模型进行结构剪枝，生成结构剪枝后的初始图像去噪模型。
可选地，为了进一步得到可以在嵌入式低功耗平台上实时处理高清视频的图像去噪模型，服务器104可以对构建好的初始图像去噪模型进行结构剪枝，生成结构剪枝后的初始图像去噪模型。示例性的，原始的语义分割网络(unet网络结构)可以按照[32,64,128,256,512]5层网络结构进行降噪处理，然而，原始的语义分割网络所占用的内存太大，推理时间太高，并不适用于嵌入式低功耗平台。因此，服务器104可以将[32,64,128,256,512]进行通道剪枝，就可以将[32,64,128,256,512]改成[8,16,32,64,112]，以减少初始图像去噪模型中每一层的通道数。当然，[8,16,32,64,112]是根据初始图像去噪模型的去噪效果和网络性能所确定的。针对初始图像去噪模型而言，也可以剪枝为其他的通道组合形式，本申请实施例对此不做限定。
S460，对结构剪枝后的初始图像去噪模型进行优化处理，生成中间图像去噪模型。
可选地，为了进一步提升结构剪枝后的初始图像去噪模型的性能，服务器104可以对结构剪枝后的初始图像去噪模型进行优化处理，生成中间图像去噪模型。其中，优化处理的方法可以包括但不局限于卷积层替换的方法、模型稀疏化的方法及模型量化的方法中的至少一种。当然，本申请实施例对于优化处理初始图像去噪模型的方法不做限定。
本实施例中，可以基于至少一层的初始图像去噪网络获取初始图像去噪模型，从而能够基于语义分割网络或多阶段视频去噪网络构建出多层的初始图像去噪模型。对初始图像去噪模型进行结构剪枝，生成结构剪枝后的初始图像去噪模型，就能够构建出性能符合的、可以适用于嵌入式低功耗平台的模型。再对结构剪枝后的初始图像去噪模型进行优化处理，就能够进一步提升结构剪枝后的初始图像去噪模型的性能，从而能够生成模型性能较高的中间图像去噪模型。
在上面的实施例中，涉及到了对结构剪枝后的初始图像去噪模型进行优化处理，生成中间图像去噪模型，下面就对其具体方法进行介绍。在一个实施例中，S460包括：
对结构剪枝后的初始图像去噪模型进行模型稀疏化处理及模型量化处理，生成中间图像去噪模型。
在另一个实施例中，S460也可以包括：
基于预设卷积层对结构剪枝后的初始图像去噪模型中的卷积层进行替换，生成替换后的图像去噪模型；预设卷积层包括resblock层或Bottleneck层。
对替换后的图像去噪模型进行模型稀疏化及模型量化处理，生成中间图像去噪模型。
可选地，服务器104可以对结构剪枝后的初始图像去噪模型进行模型稀疏化处理及模型量化处理，从而生成中间图像去噪模型。或者，服务器104也可以先使用预设卷积层对结构剪枝后的初始图像去噪模型中的卷积层进行替换，生成替换后的图像去噪模型。其中，预设卷积层包括但不局限于resblock层(构成ResNet的模块)或Bottleneck层(轻量级卷积模块，适用于移动端等低功耗平台)，或者通过NAS(网络附属存储，Network AttachedStorage，用于存储资料)进行搜索所得到的、且适用于嵌入式低功耗平台的网络结构中的卷积层。之后，服务器104可以再对替换后的图像去噪模型进行模型稀疏化处理及模型量化处理，生成中间图像去噪模型。
在本申请实施例中，模型稀疏化处理的过程可以是：将模型参数中对模型性能的影响因素比较小的模型参数设置为0，且设置为0的模型参数不用参与卷积运算。其中，模型参数可以是结构剪枝后的初始图像去噪模型的模型参数；或者，也可以是替换后的图像去噪模型的模型参数。此外，为了在进一步提升模型性能的同时不降低图像降噪效果，可以通过计算PSNR(峰值信噪比，Peak Signal-to-Noise Ratio)、SSIM(结构相似性，StructuralSIMilarity)以及采集测试的预设视频文件(例如YUV视频文件)的方式，确保中间图像去噪模型可以进一步模型网络性能。
在本申请实施例中，由于YUV数据都是uint8整型数，因此，YUV数据对应的精度要求不是很高。因此，模型量化处理的过程可以是：将结构剪枝后的初始图像去噪模型，或者替换后的图像去噪模型中的float32浮点数的计算，改成float16浮点数的计算或者int8整型数的计算。此外，如果直接采用上述方式进行模型量化的结果不够理想，则可以通过边模型量化、边训练的方式去提升模型的效果。
本实施例中，可以对结构剪枝后的初始图像去噪模型进行模型稀疏化处理及模型量化处理，生成中间图像去噪模型。或者，也可以基于预设卷积层对结构剪枝后的初始图像去噪模型中的卷积层进行替换，生成替换后的图像去噪模型；对替换后的图像去噪模型进行模型稀疏化处理及模型量化处理，生成中间图像去噪模型。就能够通过卷积层替换、模型稀疏化处理及模型量化处理的方式，进一步提升结构剪枝后的初始图像去噪模型的性能，从而能够生成模型性能较高的中间图像去噪模型。
在上面的实施例中，涉及到了获取多帧图像的预设图像数据，下面就对其具体方法进行介绍。在一个实施例中，如图5所示，S320包括：
S520，获取多帧图像的历史图像数据；历史图像数据包括第一类历史图像数据及第二类历史图像数据，第一类历史图像数据的噪声参数小于预设噪声参数阈值，第二类历史图像数据的噪声参数大于或等于预设噪声参数阈值。
在其中一个实施例中，S520包括：
S522，获取多帧图像的历史RAW数据。
可选地，服务器104可以通过单反相机获取多帧图像的历史RAW数据；或者，服务器104也可以先获取已有的开源的高清视频，再对已有的开源的高清视频进行图像信号处理的逆处理过程(即逆isp过程)，从而得到多帧图像的历史RAW数据。其中，多帧图像的历史RAW数据是指干净的(即无噪声的)历史RAW数据。
S524，针对各帧图像的历史RAW数据，基于预设噪声参数对历史RAW数据添加噪声，生成添加噪声后的历史RAW数据；预设噪声参数为基于拍摄多帧图像的图像传感器的参数所确定。
可选地，服务器104可以针对各帧图像的历史RAW数据，标定特定的图像传感器(sensor)对应的各帧图像的历史RAW数据的预设噪声参数。从而，可以基于预设噪声参数对历史RAW数据添加噪声，生成添加噪声后的历史RAW数据。其中，预设噪声参数为基于拍摄多帧图像的图像传感器的参数所确定的。添加噪声后的历史RAW数据是指有噪声的历史RAW数据。
S526，对图像的历史RAW数据及图像的添加噪声后的历史RAW数据进行图像信号处理，生成图像的第一类历史图像数据及第二类历史图像数据。
可选地，服务器104可以对图像的历史RAW数据及图像的添加噪声后的历史RAW数据进行相同的图像信号处理(Image Signal Processor，ISP)，生成图像的第一类历史图像数据及第二类历史图像数据。其中，在其中一个实施例中，第一类历史图像数据及第二类历史图像数据可以均为YUV域的图像数据。第一类历史图像数据的噪声参数小于预设噪声参数阈值，第二类历史图像数据的噪声参数大于或等于预设噪声参数阈值。即可以理解为，第一类历史图像数据与图像的历史RAW数据相对应，第一类历史图像数据与图像的历史RAW数据均为干净的(即无噪声的)数据。第二类历史图像数据与图像的添加噪声后的历史RAW数据相对应，第二类历史图像数据与图像的添加噪声后的历史RAW数据均为有噪声的数据。
S528，基于多帧图像中各帧图像的第一类历史图像数据及各帧图像的第二类历史图像数据，生成多帧图像的历史图像数据。
可选地，服务器104可以将多帧图像中各帧图像的第一类历史图像数据及各帧图像的第二类历史图像数据作为符合图像传感器(sensor)特性和图像信号处理后的一组各帧图像的历史图像数据。从而，服务器104可以基于各帧图像的历史图像数据，生成多帧图像的历史图像数据。其中，每一组各帧图像的历史图像数据中包括各帧图像的第一类历史图像数据及各帧图像的第二类历史图像数据。在其中一个实施例中，历史图像数据可以是YUV域的图像数据。此外，服务器104还可以将多帧图像的历史图像数据切成相同大小的、小块区域的多帧图像的历史图像数据，并将相同大小的、小块区域的多帧图像的历史图像数据保存为二进制文件，将该二进制文件作为最终的训练数据集。
S540，针对各帧图像的历史图像数据进行数据处理，生成多帧图像的预设图像数据。
在其中一个实施例中，S540包括：
S542，针对各帧图像的历史图像数据，对图像的历史图像数据进行数据增广处理，生成图像的中间图像数据。
可选地，服务器104可以针对各帧图像的历史图像数据，采用预设数据增广方法对图像的历史图像数据进行数据增广处理，生成图像的中间图像数据。其中，预设数据增广方法包括隔帧采样、图像旋转、图像仿射变换及图像参数调整中的至少一种。
在本申请实施例中，隔帧采样的过程可以为：输入至中间图像去噪模型的数据可以是连续帧图像的历史图像数据，或者，也可以是间隔多帧图像的历史图像数据。示例性的，假设历史图像数据总共20帧图像数据，且假设每次需要输入至中间图像去噪模型的数据是3帧图像数据，那么，可以随机地选取第0，1，2帧；或者，第0，2，4帧；或者，也可以是逆序的第4，3，2帧；或者，还可以是乱序的第3，2，4帧等帧图像作为中间图像去噪模型的输入数据。
示例性的，图像旋转的过程可以为：将各帧图像的历史图像数据旋转90，180，270度。图像仿射变换的过程可以为：将各帧图像的历史图像数据拉伸一个角。图像参数调整的过程可以为：对饱和度、对比度、亮度进行调整。例如，将各帧图像的历史图像数据的UV通道乘以相应的随机数，以调整饱和度；和/或，针对帧图像的历史图像数据的Y通道，通过亮度曲线调整画面亮度和对比度。需要说明的是，针对各帧图像的第一类历史图像数据及各帧图像的第二类历史图像数据，均需要进行相同的上述数据增广处理过程。
S544，对多帧图像中各帧图像的中间图像数据进行数据格式转换，生成多帧图像的预设图像数据；中间图像数据包括第一通道数据、第二通道数据及第三通道数据，预设图像数据包括基于第一通道数据生成的四组新的通道数据、第二通道数据及第三通道数据。
可选地，为了解决图像数据中各个通道大小不一致的问题，服务器104可以对多帧图像中各帧图像的中间图像数据进行数据格式转换，生成多帧图像的预设图像数据。其中，各帧图像的中间图像数据包括第一通道数据、第二通道数据及第三通道数据，预设图像数据包括基于第一通道数据生成的四组新的通道数据、第二通道数据及第三通道数据。在其中一个实施例中，若中间图像数据为YUV域的图像数据，则第一通道数据可以是Y通道数据，第二通道数据可以是U通道数据，第三通道数据可以是V通道数据，此时，中间图像数据可以包括Y通道数据、U通道数据及V通道数据，多帧图像中各帧图像的预设图像数据可以包括基于Y通道数据生成的四组新的通道数据、U通道数据及V通道数据。
示例性的，若中间图像数据为YUV域的图像数据，则可以通过预设数据格式转换方法，将中间图像数据中的Y通道数据转换成4通道数据。之后，将该4通道数据与U通道数据及V通道数据相连接(concat)，得到6通道的各帧图像的预设图像数据。其中，假设U通道数据及V通道数据的宽为W，高为H，则6通道的各帧图像的预设图像数据的数据分辨率为[6,H,W]。预设数据格式转换方法可以包括但不局限于像素取消重组方法(pixel_unshuffle)或者小波变换方法。
此外，由于输入至中间图像去噪模型中进行训练的数据为6通道的各帧图像的预设图像数据，因此，得到的预测去噪后的预设图像数据也是6通道的数据。因此，在模型训练的过程中，需要根据预设数据格式转换方法的逆过程，先将6通道的预测去噪后的预设图像数据转换成Y通道、U通道及V通道数据格式的数据，再根据该Y通道、U通道及V通道数据格式的数据、以及该帧图像对应的第一类预设图像数据，计算损失函数的值，以及后续的模型训练过程。示例性的，假设预设数据格式转换方法为像素取消重组方法(pixel_unshuffle)，则预设数据格式转换方法的逆过程为像素重组(pixel_shuffle)，即可以根据像素重组方法(pixel_shuffle)，将6通道的预测去噪后的预设图像数据中的前4通道数据转换为Y通道数据，再将2通道的数据分别作为U通道及V通道的数据。
示例性的，若中间图像数据为RAW域的图像数据，则可以直接采用像素取消重组方法(pixel_unshuffle)或者小波变换方法，将中间图像数据的数据格式转换为4通道的数据，得到该RAW域的图像数据对应的预设图像数据。
示例性的，若中间图像数据为RGB域的图像数据，则可以直接将该RGB域的图像数据作为该RGB域的图像数据对应的预设图像数据。
本实施例中，获取多帧图像的历史图像数据，就能够较准确地获取无噪声的历史设图像数据以及有噪声的历史图像数据。针对各帧图像的历史图像数据进行数据处理，生成多帧图像的预设图像数据，就能够通过数据增广处理以及数据格式转换的方式，生成符合中间图像去噪模型训练要求的多帧图像的预设图像数据。
在一个可选的实施例中，如图6所示，提供了一种图像去噪方法，应用于服务器104，包括：
S602，获取多帧图像的历史RAW数据；
S604，针对各帧图像的历史RAW数据，基于预设噪声参数对历史RAW数据添加噪声，生成添加噪声后的历史RAW数据；预设噪声参数为基于拍摄多帧图像的图像传感器的参数所确定；
S606，对图像的历史RAW数据及图像的添加噪声后的历史RAW数据进行图像信号处理，生成图像的第一类历史图像数据及第二类历史图像数据；
S608，基于多帧图像中各帧图像的第一类历史图像数据及各帧图像的第二类历史图像数据，生成多帧图像的历史图像数据；
S610，针对各帧图像的历史图像数据，对图像的历史图像数据进行数据增广处理，生成图像的中间图像数据；
S612，对多帧图像中各帧图像的中间图像数据进行数据格式转换，生成多帧图像的预设图像数据；中间图像数据包括第一通道数据、第二通道数据及第三通道数据，预设图像数据包括基于第一通道数据生成的四组新的通道数据、第二通道数据及第三通道数据；
S614，针对各帧图像的预设图像数据，获取预设图像数据对应的预设降噪强度；预设降噪强度为基于预设图像数据对应的感光度所得到；
S616，获取初始图像去噪模型；初始图像去噪模型包括至少一层初始图像去噪网络，初始图像去噪网络包括语义分割网络或多阶段视频去噪网络；
S618，对初始图像去噪模型进行结构剪枝，生成结构剪枝后的初始图像去噪模型；
S620，基于预设卷积层对结构剪枝后的初始图像去噪模型中的卷积层进行替换，生成替换后的图像去噪模型；预设卷积层包括resblock层或Bottleneck层；
S622，对替换后的图像去噪模型进行模型稀疏化及模型量化处理，生成中间图像去噪模型；
S624，将各帧图像的预设图像数据及与预设图像数据对应的预设降噪强度，输入至中间图像去噪模型中进行训练，生成目标图像去噪模型；
S626，获取待处理图像；
S628，将待处理图像输入至目标图像去噪模型中进行图像去噪，生成去噪后的目标图像；目标图像去噪模型为基于多帧图像的预设图像数据进行训练所生成的；
S630，输出去噪后的目标图像。
上述图像去噪方法中，由于获取预设图像数据的过程运行在低功耗的嵌入式平台上，因此，可以在低功耗的嵌入式平台上对预设图像数据进行数据处理，即预设图像数据可以运行在低功耗的嵌入式平台上。由于本申请采用的目标图像去噪模型为基于多帧图像的预设图像数据进行训练所生成的，因此，基于运行在低功耗的嵌入式平台上的预设图像数据进行训练所生成的目标图像去噪模型能够应用于低功耗的嵌入式平台上，即本申请中的目标图像去噪模型能够在低功耗的嵌入式平台上进行图像去噪。从而，将获取的待处理图像输入至目标图像去噪模型中进行图像去噪，就能够在低功耗的嵌入式平台上较准确地生成去噪后的目标图像。因此，本申请的图像去噪方法可以在低功耗嵌入式平台上实时处理高清视频。此外，若待处理图像是YUV域的图像，则本申请可以较好地适配特定的图像信号处理过程所得到的YUV图像数据，还可以较好地滤除噪声、并保留图像细节。当然，若待处理图像是RGB域的图像或者RAW域的图像，本申请也可以较好地对RGB域的图像或者RAW域的图像滤除噪声、并保留图像细节。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像去噪方法的图像去噪装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像去噪装置实施例中的具体限定可以参见上文中对于图像去噪方法的限定，在此不再赘述。
在一个实施例中，如图7所示，提供了一种图像去噪装置700，包括：获取模块720、图像去噪模块740和输出模块760，其中：
获取模块720，用于获取待处理图像。
图像去噪模块740，用于将待处理图像输入至目标图像去噪模型中进行图像去噪，生成去噪后的目标图像；目标图像去噪模型为基于多帧图像的预设图像数据进行训练所生成的。
输出模块760，用于输出去噪后的目标图像。
在一个实施例中，图像去噪装置700还包括：
预设图像数据获取模块，用于获取多帧图像的预设图像数据；预设图像数据包括第一类预设图像数据及第二类预设图像数据，第一类预设图像数据的噪声参数小于预设噪声参数阈值，第二类预设图像数据的噪声参数大于或等于预设噪声参数阈值；
预设降噪强度获取模块，用于针对各帧图像的预设图像数据，获取预设图像数据对应的预设降噪强度；预设降噪强度为基于预设图像数据对应的感光度所得到；
模型训练模块，用于将各帧图像的预设图像数据及与预设图像数据对应的预设降噪强度，输入至中间图像去噪模型中进行训练，生成目标图像去噪模型。
在一个实施例中，图像去噪装置700还包括：
初始图像去噪模型获取模块，用于获取初始图像去噪模型；初始图像去噪模型包括至少一层初始图像去噪网络，初始图像去噪网络包括语义分割网络或多阶段视频去噪网络；
结构剪枝后的初始图像去噪模型生成模块，用于对初始图像去噪模型进行结构剪枝，生成结构剪枝后的初始图像去噪模型；
中间图像去噪模型生成模块，用于对结构剪枝后的初始图像去噪模型进行优化处理，生成中间图像去噪模型。
在一个实施例中，中间图像去噪模型生成模块包括：
第一中间图像去噪模型生成单元，用于对结构剪枝后的初始图像去噪模型进行模型稀疏化处理及模型量化处理，生成中间图像去噪模型。
在一个实施例中，中间图像去噪模型生成模块包括：
替换后的图像去噪模型生成单元，用于基于预设卷积层对结构剪枝后的初始图像去噪模型中的卷积层进行替换，生成替换后的图像去噪模型；预设卷积层包括resblock层或Bottleneck层；
第二中间图像去噪模型生成单元，用于对替换后的图像去噪模型进行模型稀疏化及模型量化处理，生成中间图像去噪模型。
在一个实施例中，预设图像数据获取模块包括：
历史图像数据获取单元，用于获取多帧图像的历史图像数据；历史图像数据包括第一类历史图像数据及第二类历史图像数据，第一类历史图像数据的噪声参数小于预设噪声参数阈值，第二类历史图像数据的噪声参数大于或等于预设噪声参数阈值；
预设图像数据生成单元，用于针对各帧图像的历史图像数据进行数据处理，生成多帧图像的预设图像数据。
在一个实施例中，历史图像数据获取单元包括：
历史RAW数据获取子单元，用于获取多帧图像的历史RAW数据；
添加噪声子单元，用于针对各帧图像的历史RAW数据，基于预设噪声参数对历史RAW数据添加噪声，生成添加噪声后的历史RAW数据；预设噪声参数为基于拍摄多帧图像的图像传感器的参数所确定；
图像信号处理子单元，用于对图像的历史RAW数据及图像的添加噪声后的历史RAW数据进行图像信号处理，生成图像的第一类历史图像数据及第二类历史图像数据；
历史图像数据生成子单元，用于基于多帧图像中各帧图像的第一类历史图像数据及各帧图像的第二类历史图像数据，生成多帧图像的历史图像数据。
在一个实施例中，预设图像数据生成单元包括：
中间图像数据生成子单元，用于针对各帧图像的历史图像数据，对图像的历史图像数据进行数据增广处理，生成图像的中间图像数据；
预设图像数据生成子单元，用于对多帧图像中各帧图像的中间图像数据进行数据格式转换，生成多帧图像的预设图像数据；中间图像数据包括第一通道数据、第二通道数据及第三通道数据，预设图像数据包括基于第一通道数据生成的四组新的通道数据、第二通道数据及第三通道数据。
上述图像去噪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像去噪数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像去噪方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待处理图像；
将待处理图像输入至目标图像去噪模型中进行图像去噪，生成去噪后的目标图像；目标图像去噪模型为基于多帧图像的预设图像数据进行训练所生成的；
输出去噪后的目标图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取多帧图像的预设图像数据；预设图像数据包括第一类预设图像数据及第二类预设图像数据，第一类预设图像数据的噪声参数小于预设噪声参数阈值，第二类预设图像数据的噪声参数大于或等于预设噪声参数阈值；
针对各帧图像的预设图像数据，获取预设图像数据对应的预设降噪强度；预设降噪强度为基于预设图像数据对应的感光度所得到；
将各帧图像的预设图像数据及与预设图像数据对应的预设降噪强度，输入至中间图像去噪模型中进行训练，生成目标图像去噪模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取初始图像去噪模型；初始图像去噪模型包括至少一层初始图像去噪网络，初始图像去噪网络包括语义分割网络或多阶段视频去噪网络；
对初始图像去噪模型进行结构剪枝，生成结构剪枝后的初始图像去噪模型；
对结构剪枝后的初始图像去噪模型进行优化处理，生成中间图像去噪模型。
在一个实施例中，对结构剪枝后的初始图像去噪模型进行优化处理，生成中间图像去噪模型，处理器执行计算机程序时还实现以下步骤：
对结构剪枝后的初始图像去噪模型进行模型稀疏化处理及模型量化处理，生成中间图像去噪模型。
在一个实施例中，对结构剪枝后的初始图像去噪模型进行优化处理，生成中间图像去噪模型，处理器执行计算机程序时还实现以下步骤：
基于预设卷积层对结构剪枝后的初始图像去噪模型中的卷积层进行替换，生成替换后的图像去噪模型；预设卷积层包括resblock层或Bottleneck层；
对替换后的图像去噪模型进行模型稀疏化及模型量化处理，生成中间图像去噪模型。
在一个实施例中，获取多帧图像的预设图像数据，处理器执行计算机程序时还实现以下步骤：
获取多帧图像的历史图像数据；历史图像数据包括第一类历史图像数据及第二类历史图像数据，第一类历史图像数据的噪声参数小于预设噪声参数阈值，第二类历史图像数据的噪声参数大于或等于预设噪声参数阈值；
针对各帧图像的历史图像数据进行数据处理，生成多帧图像的预设图像数据。
在一个实施例中，获取多帧图像的历史图像数据，处理器执行计算机程序时还实现以下步骤：
获取多帧图像的历史RAW数据；
针对各帧图像的历史RAW数据，基于预设噪声参数对历史RAW数据添加噪声，生成添加噪声后的历史RAW数据；预设噪声参数为基于拍摄多帧图像的图像传感器的参数所确定；
对图像的历史RAW数据及图像的添加噪声后的历史RAW数据进行图像信号处理，生成图像的第一类历史图像数据及第二类历史图像数据；
基于多帧图像中各帧图像的第一类历史图像数据及各帧图像的第二类历史图像数据，生成多帧图像的历史图像数据。
在一个实施例中，针对各帧图像的历史图像数据进行数据处理，生成多帧图像的预设图像数据，处理器执行计算机程序时还实现以下步骤：
针对各帧图像的历史图像数据，对图像的历史图像数据进行数据增广处理，生成图像的中间图像数据；
对多帧图像中各帧图像的中间图像数据进行数据格式转换，生成多帧图像的预设图像数据；中间图像数据包括第一通道数据、第二通道数据及第三通道数据，预设图像数据包括基于第一通道数据生成的四组新的通道数据、第二通道数据及第三通道数据。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待处理图像；
将待处理图像输入至目标图像去噪模型中进行图像去噪，生成去噪后的目标图像；目标图像去噪模型为基于多帧图像的预设图像数据进行训练所生成的；
输出去噪后的目标图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取多帧图像的预设图像数据；预设图像数据包括第一类预设图像数据及第二类预设图像数据，第一类预设图像数据的噪声参数小于预设噪声参数阈值，第二类预设图像数据的噪声参数大于或等于预设噪声参数阈值；
针对各帧图像的预设图像数据，获取预设图像数据对应的预设降噪强度；预设降噪强度为基于预设图像数据对应的感光度所得到；
将各帧图像的预设图像数据及与预设图像数据对应的预设降噪强度，输入至中间图像去噪模型中进行训练，生成目标图像去噪模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取初始图像去噪模型；初始图像去噪模型包括至少一层初始图像去噪网络，初始图像去噪网络包括语义分割网络或多阶段视频去噪网络；
对初始图像去噪模型进行结构剪枝，生成结构剪枝后的初始图像去噪模型；
对结构剪枝后的初始图像去噪模型进行优化处理，生成中间图像去噪模型。
在一个实施例中，对结构剪枝后的初始图像去噪模型进行优化处理，生成中间图像去噪模型，计算机程序被处理器执行时还实现以下步骤：
对结构剪枝后的初始图像去噪模型进行模型稀疏化处理及模型量化处理，生成中间图像去噪模型。
在一个实施例中，对结构剪枝后的初始图像去噪模型进行优化处理，生成中间图像去噪模型，计算机程序被处理器执行时还实现以下步骤：
基于预设卷积层对结构剪枝后的初始图像去噪模型中的卷积层进行替换，生成替换后的图像去噪模型；预设卷积层包括resblock层或Bottleneck层；
对替换后的图像去噪模型进行模型稀疏化及模型量化处理，生成中间图像去噪模型。
在一个实施例中，获取多帧图像的预设图像数据，计算机程序被处理器执行时还实现以下步骤：
获取多帧图像的历史图像数据；历史图像数据包括第一类历史图像数据及第二类历史图像数据，第一类历史图像数据的噪声参数小于预设噪声参数阈值，第二类历史图像数据的噪声参数大于或等于预设噪声参数阈值；
针对各帧图像的历史图像数据进行数据处理，生成多帧图像的预设图像数据。
在一个实施例中，获取多帧图像的历史图像数据，计算机程序被处理器执行时还实现以下步骤：
获取多帧图像的历史RAW数据；
针对各帧图像的历史RAW数据，基于预设噪声参数对历史RAW数据添加噪声，生成添加噪声后的历史RAW数据；预设噪声参数为基于拍摄多帧图像的图像传感器的参数所确定；
对图像的历史RAW数据及图像的添加噪声后的历史RAW数据进行图像信号处理，生成图像的第一类历史图像数据及第二类历史图像数据；
基于多帧图像中各帧图像的第一类历史图像数据及各帧图像的第二类历史图像数据，生成多帧图像的历史图像数据。
在一个实施例中，针对各帧图像的历史图像数据进行数据处理，生成多帧图像的预设图像数据，计算机程序被处理器执行时还实现以下步骤：
针对各帧图像的历史图像数据，对图像的历史图像数据进行数据增广处理，生成图像的中间图像数据；
对多帧图像中各帧图像的中间图像数据进行数据格式转换，生成多帧图像的预设图像数据；中间图像数据包括第一通道数据、第二通道数据及第三通道数据，预设图像数据包括基于第一通道数据生成的四组新的通道数据、第二通道数据及第三通道数据。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取待处理图像；
将待处理图像输入至目标图像去噪模型中进行图像去噪，生成去噪后的目标图像；目标图像去噪模型为基于多帧图像的预设图像数据进行训练所生成的；
输出去噪后的目标图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取多帧图像的预设图像数据；预设图像数据包括第一类预设图像数据及第二类预设图像数据，第一类预设图像数据的噪声参数小于预设噪声参数阈值，第二类预设图像数据的噪声参数大于或等于预设噪声参数阈值；
针对各帧图像的预设图像数据，获取预设图像数据对应的预设降噪强度；预设降噪强度为基于预设图像数据对应的感光度所得到；
将各帧图像的预设图像数据及与预设图像数据对应的预设降噪强度，输入至中间图像去噪模型中进行训练，生成目标图像去噪模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取初始图像去噪模型；初始图像去噪模型包括至少一层初始图像去噪网络，初始图像去噪网络包括语义分割网络或多阶段视频去噪网络；
对初始图像去噪模型进行结构剪枝，生成结构剪枝后的初始图像去噪模型；
对结构剪枝后的初始图像去噪模型进行优化处理，生成中间图像去噪模型。
在一个实施例中，对结构剪枝后的初始图像去噪模型进行优化处理，生成中间图像去噪模型，计算机程序被处理器执行时还实现以下步骤：
对结构剪枝后的初始图像去噪模型进行模型稀疏化处理及模型量化处理，生成中间图像去噪模型。
在一个实施例中，对结构剪枝后的初始图像去噪模型进行优化处理，生成中间图像去噪模型，计算机程序被处理器执行时还实现以下步骤：
基于预设卷积层对结构剪枝后的初始图像去噪模型中的卷积层进行替换，生成替换后的图像去噪模型；预设卷积层包括resblock层或Bottleneck层；
对替换后的图像去噪模型进行模型稀疏化及模型量化处理，生成中间图像去噪模型。
在一个实施例中，获取多帧图像的预设图像数据，计算机程序被处理器执行时还实现以下步骤：
获取多帧图像的历史图像数据；历史图像数据包括第一类历史图像数据及第二类历史图像数据，第一类历史图像数据的噪声参数小于预设噪声参数阈值，第二类历史图像数据的噪声参数大于或等于预设噪声参数阈值；
针对各帧图像的历史图像数据进行数据处理，生成多帧图像的预设图像数据。
在一个实施例中，获取多帧图像的历史图像数据，计算机程序被处理器执行时还实现以下步骤：
获取多帧图像的历史RAW数据；
针对各帧图像的历史RAW数据，基于预设噪声参数对历史RAW数据添加噪声，生成添加噪声后的历史RAW数据；预设噪声参数为基于拍摄多帧图像的图像传感器的参数所确定；
对图像的历史RAW数据及图像的添加噪声后的历史RAW数据进行图像信号处理，生成图像的第一类历史图像数据及第二类历史图像数据；
基于多帧图像中各帧图像的第一类历史图像数据及各帧图像的第二类历史图像数据，生成多帧图像的历史图像数据。
在一个实施例中，针对各帧图像的历史图像数据进行数据处理，生成多帧图像的预设图像数据，计算机程序被处理器执行时还实现以下步骤：
针对各帧图像的历史图像数据，对图像的历史图像数据进行数据增广处理，生成图像的中间图像数据；
对多帧图像中各帧图像的中间图像数据进行数据格式转换，生成多帧图像的预设图像数据；中间图像数据包括第一通道数据、第二通道数据及第三通道数据，预设图像数据包括基于第一通道数据生成的四组新的通道数据、第二通道数据及第三通道数据。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像去噪方法，其特征在于，所述方法包括：
获取待处理图像；
将所述待处理图像输入至目标图像去噪模型中进行图像去噪，生成去噪后的目标图像；所述目标图像去噪模型为基于多帧图像的预设图像数据进行训练所生成的；
输出所述去噪后的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述多帧图像的预设图像数据；所述预设图像数据包括第一类预设图像数据及第二类预设图像数据，所述第一类预设图像数据的噪声参数小于预设噪声参数阈值，所述第二类预设图像数据的噪声参数大于或等于所述预设噪声参数阈值；
针对各帧图像的预设图像数据，获取所述预设图像数据对应的预设降噪强度；所述预设降噪强度为基于所述预设图像数据对应的感光度所得到；
将所述各帧图像的预设图像数据及与所述预设图像数据对应的预设降噪强度，输入至中间图像去噪模型中进行训练，生成所述目标图像去噪模型。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取初始图像去噪模型；所述初始图像去噪模型包括至少一层初始图像去噪网络，所述初始图像去噪网络包括语义分割网络或多阶段视频去噪网络；
对所述初始图像去噪模型进行结构剪枝，生成结构剪枝后的初始图像去噪模型；
对所述结构剪枝后的初始图像去噪模型进行优化处理，生成所述中间图像去噪模型。
4.根据权利要求3所述的方法，其特征在于，所述对所述结构剪枝后的初始图像去噪模型进行优化处理，生成所述中间图像去噪模型，包括：
对所述结构剪枝后的初始图像去噪模型进行模型稀疏化处理及模型量化处理，生成所述中间图像去噪模型。
5.根据权利要求3所述的方法，其特征在于，所述对所述结构剪枝后的初始图像去噪模型进行优化处理，生成所述中间图像去噪模型，包括：
基于预设卷积层对所述结构剪枝后的初始图像去噪模型中的卷积层进行替换，生成替换后的图像去噪模型；所述预设卷积层包括resblock层或Bottleneck层；
对所述替换后的图像去噪模型进行模型稀疏化及模型量化处理，生成所述中间图像去噪模型。
6.根据权利要求2-5中任一项所述的方法，其特征在于，所述获取所述多帧图像的预设图像数据，包括：
获取所述多帧图像的历史图像数据；所述历史图像数据包括第一类历史图像数据及第二类历史图像数据，所述第一类历史图像数据的噪声参数小于预设噪声参数阈值，所述第二类历史图像数据的噪声参数大于或等于预设噪声参数阈值；
针对各帧图像的历史图像数据进行数据处理，生成所述多帧图像的预设图像数据。
7.根据权利要求6所述的方法，其特征在于，所述获取所述多帧图像的历史图像数据，包括：
获取所述多帧图像的历史RAW数据；
针对各帧图像的历史RAW数据，基于预设噪声参数对所述历史RAW数据添加噪声，生成添加噪声后的历史RAW数据；所述预设噪声参数为基于拍摄所述多帧图像的图像传感器的参数所确定；
对所述图像的历史RAW数据及所述图像的添加噪声后的历史RAW数据进行图像信号处理，生成所述图像的第一类历史图像数据及第二类历史图像数据；
基于所述多帧图像中各帧图像的第一类历史图像数据及所述各帧图像的第二类历史图像数据，生成所述多帧图像的历史图像数据。
8.根据权利要求6所述的方法，其特征在于，所述针对各帧图像的历史图像数据进行数据处理，生成所述多帧图像的预设图像数据，包括：
针对各帧图像的历史图像数据，对所述图像的历史图像数据进行数据增广处理，生成所述图像的中间图像数据；
对所述多帧图像中各帧图像的中间图像数据进行数据格式转换，生成所述多帧图像的预设图像数据；所述中间图像数据包括第一通道数据、第二通道数据及第三通道数据，所述预设图像数据包括基于所述第一通道数据生成的四组新的通道数据、所述第二通道数据及所述第三通道数据。
9.一种图像去噪装置，其特征在于，所述装置包括：
获取模块，用于获取待处理图像；
图像去噪模块，用于将所述待处理图像输入至目标图像去噪模型中进行图像去噪，生成去噪后的目标图像；所述目标图像去噪模型为基于多帧图像的预设图像数据进行训练所生成的；
输出模块，用于输出所述去噪后的目标图像。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
12.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202310927740.9A 2023-07-26 2023-07-26 图像去噪方法、装置、计算机设备、存储介质和程序产品 Pending CN116843580A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310927740.9A CN116843580A (zh) 2023-07-26 2023-07-26 图像去噪方法、装置、计算机设备、存储介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310927740.9A CN116843580A (zh) 2023-07-26 2023-07-26 图像去噪方法、装置、计算机设备、存储介质和程序产品

Publications (1)

Publication Number Publication Date
CN116843580A true CN116843580A (zh) 2023-10-03

Family

ID=88161724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310927740.9A Pending CN116843580A (zh) 2023-07-26 2023-07-26 图像去噪方法、装置、计算机设备、存储介质和程序产品

Country Status (1)

Country Link
CN (1) CN116843580A (zh)

Similar Documents

Publication Publication Date Title
Wang et al. Real-esrgan: Training real-world blind super-resolution with pure synthetic data
US20230080693A1 (en) Image processing method, electronic device and readable storage medium
US10579908B2 (en) Machine-learning based technique for fast image enhancement
TW202134997A (zh) 用於對影像進行去雜訊的方法、用於擴充影像資料集的方法、以及使用者設備
US11127117B2 (en) Information processing method, information processing apparatus, and recording medium
WO2020108009A1 (en) Method, system, and computer-readable medium for improving quality of low-light images
CN112889069B (zh) 用于提高低照度图像质量的方法、系统和计算机可读介质
US20220189029A1 (en) Semantic refinement of image regions
CN112348747A (zh) 图像增强方法、装置及存储介质
CN111986084A (zh) 一种基于多任务融合的多相机低光照图像质量增强方法
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
CN113781320A (zh) 一种图像处理方法、装置、终端设备及存储介质
Lu et al. Progressive joint low-light enhancement and noise removal for raw images
Xing et al. GQE-Net: a graph-based quality enhancement network for point cloud color attribute
JP2023543520A (ja) 機械学習を基にしたピクチャコーディングにおけるクロマサブサンプリングフォーマット取り扱いのための方法
CN114627034A (zh) 一种图像增强方法、图像增强模型的训练方法及相关设备
CN112019827A (zh) 视频图像色彩增强的方法、装置、设备及存储介质
CN110717864B (zh) 一种图像增强方法、装置、终端设备及计算机可读介质
CN115035011A (zh) 一种融合策略下自适应RetinexNet的低照度图像增强方法
CN113052768A (zh) 一种处理图像的方法、终端及计算机可读存储介质
Zhang et al. Hardware implementation for haze removal with adaptive filtering
CN116508320A (zh) 基于机器学习的图像译码中的色度子采样格式处理方法
CN111861940A (zh) 一种基于条件连续调节的图像调色增强方法
CN114926348B (zh) 一种去除低照度视频噪声的装置和方法
Zhao et al. End‐to‐End Retinex‐Based Illumination Attention Low‐Light Enhancement Network for Autonomous Driving at Night

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination