CN115471417A - 图像降噪处理方法、装置、设备、存储介质和程序产品 - Google Patents

图像降噪处理方法、装置、设备、存储介质和程序产品 Download PDF

Info

Publication number
CN115471417A
CN115471417A CN202211128666.6A CN202211128666A CN115471417A CN 115471417 A CN115471417 A CN 115471417A CN 202211128666 A CN202211128666 A CN 202211128666A CN 115471417 A CN115471417 A CN 115471417A
Authority
CN
China
Prior art keywords
sampling
module
downsampling
noise reduction
sampling module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211128666.6A
Other languages
English (en)
Inventor
潘叶峰
胡胜发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Ankai Microelectronics Co ltd
Original Assignee
Guangzhou Ankai Microelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Ankai Microelectronics Co ltd filed Critical Guangzhou Ankai Microelectronics Co ltd
Priority to CN202211128666.6A priority Critical patent/CN115471417A/zh
Publication of CN115471417A publication Critical patent/CN115471417A/zh
Priority to PCT/CN2022/138842 priority patent/WO2024055458A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像降噪处理方法、装置、设备、存储介质和程序产品。所述方法包括：将目标图像数据输入至图像降噪模型中，得到降噪图像数据，目标图像数据包括目标图像的各个通道的像素值；其中，图像降噪模型包括级联的下采样模型、上采样模型和输出层，下采样模型包括n个级联的下采样模块，上采样模型包括与n个下采样模块一一对应的n个级联的上采样模块；下采样模块包括第一下采样模块、第二下采样模块以及与第一下采样模块和第二下采样模块均级联的融合模块；第一下采样模块包括第一卷积层和第一下采样层，第二下采样模块包括第二下采样层。采用本方法能够满足ISP芯片的实时性要求且用于对视频图像进行降噪处理。

Description

图像降噪处理方法、装置、设备、存储介质和程序产品
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像降噪处理方法、装置、设备、存储介质和程序产品。
背景技术
图像降噪技术是图像处理领域的重点工作。而ISP(Image Signal Processor，图像信号处理器)芯片主要用于对终端拍摄的实时视频图像进行图像处理，在图像降噪处理方面，其对图像降噪算法的实时性要求较高。
然而，目前的图像降噪算法无法同时具备降噪效果优异且满足ISP芯片的实时性要求的能力。
发明内容
基于此，有必要针对上述技术问题，提供一种能够满足ISP芯片的实时性要求且用于对视频图像进行降噪处理的图像降噪处理方法、装置、设备、存储介质和程序产品。
第一方面，本申请提供了一种图像降噪处理方法。该方法包括：
将目标图像数据输入至图像降噪模型中，得到该图像降噪模型输出的降噪图像数据，该目标图像数据包括目标图像的各个通道的像素值；
其中，该图像降噪模型包括级联的下采样模型、上采样模型和输出层，该下采样模型包括n个级联的下采样模块，该上采样模型包括与n个该下采样模块一一对应的n个级联的上采样模块；该下采样模块包括第一下采样模块、第二下采样模块以及与该第一下采样模块和该第二下采样模块均级联的融合模块；该第一下采样模块包括级联的第一下采样层和第一卷积层，该第二下采样模块包括第二下采样层。
在其中一个实施例中，该将目标图像数据输入至图像降噪模型中，得到该图像降噪模型输出的降噪图像数据，包括：
将该目标图像数据输入至该下采样模型中，由该下采样模型中的各下采样模块对该目标图像数据进行下采样处理，得到下采样特征数据；将该下采样特征数据输入至该上采样模型中，由该上采样模型中的各上采样模块对该下采样特征数据进行上采样处理，得到上采样特征数据；由该输出层基于该上采样特征数据和该目标图像数据得到该降噪图像数据。
在其中一个实施例中，目标图像各通道的图像数据分辨率相同，该由该下采样模型中的各下采样模块对该目标图像数据进行下采样处理，得到下采样特征数据，包括：
对于第i个下采样模块，对该第i个下采样模块的输入数据进行下采样处理，得到该第i个下采样模块输出的中间下采样特征数据；其中，在i＝1的情况下，该第i个下采样模块的输入数据为该目标图像数据，在i大于1的情况下，该第i个下采样模块的输入数据为第i-1个下采样模块输出的中间下采样特征数据；将最后一个该下采样模块输出的中间下采样特征数据作为该下采样特征数据。
在其中一个实施例中，该由该上采样模型中的各上采样模块对该下采样特征数据进行上采样处理，得到上采样特征数据，包括：
对于第i个上采样模块，对该第i个上采样模块的输入数据进行上采样处理，得到该第i个上采样模块输出的中间上采样特征数据；其中，在i＝1的情况下，该第i个上采样模块的输入数据为该下采样特征数据，在i大于1的情况下，该第i个上采样模块的输入数据为第i-1个上采样模块输出的中间上采样特征数据和与该第i个上采样模块对应的下采样模块输出的中间下采样特征数据融合处理得到的聚合特征数据；将最后一个该上采样模块输出的中间上采样特征数据作为该上采样特征数据。
在其中一个实施例中，该由该输出层基于该上采样特征数据和该目标图像数据得到该降噪图像数据，包括：
将该上采样特征数据和该目标图像数据输入至该输出层进行融合处理，得到该输出层输出的该降噪图像数据。
在其中一个实施例中，目标图像各通道的图像数据分辨率不同，该下采样模型还包括附加下采样模块，该将该目标图像数据输入至该下采样模型中，由该下采样模型中的各下采样模块对该目标图像数据进行下采样处理，得到下采样特征数据，包括：
将该目标图像数据中包含的该目标图像的第一通道像素值输入至该附加下采样模块，得到该附加下采样模块输出的通道特征数据；将该通道特征数据与该目标图像数据中包含的该目标图像的第二通道像素值进行融合处理，得到候选目标图像数据；对于第i个下采样模块，对该第i个下采样模块的输入数据进行下采样处理，得到该第i个下采样模块输出的中间下采样特征数据；其中，在i＝1的情况下，该第i个下采样模块的输入数据为该候选目标图像数据，在i大于1的情况下，该第i个下采样模块的输入数据为第i-1个下采样模块输出的中间下采样特征数据；将最后一个该下采样模块输出的中间下采样特征数据作为该下采样特征数据。
在其中一个实施例中，该上采样模型还包括附加上采样模块，该将该下采样特征数据输入至该上采样模型中，由该上采样模型中的各上采样模块对该下采样特征数据进行上采样处理，得到上采样特征数据，包括：
对于第i个上采样模块，对该第i个上采样模块的输入数据进行上采样处理，得到该第i个上采样模块输出的中间上采样特征数据；其中，在i＝1的情况下，该第i个上采样模块的输入数据为该下采样特征数据，在i大于1的情况下，该第i个上采样模块的输入数据为第i-1个上采样模块输出的中间上采样特征数据和与该第i个上采样模块对应的下采样模块输出的中间下采样特征数据融合处理得到的聚合特征数据；将最后一个上采样模块输出的中间上采样特征数据中包括的与该第一通道像素值对应的第一中间通道特征数据输入至该附加上采样模块中，得到该附加上采样模块输出的该上采样特征数据。
在其中一个实施例中，由该输出层基于该上采样特征数据和该目标图像数据得到该降噪图像数据，包括：
将该上采样特征数据和该目标图像数据中的该第一通道像素值输入至该输出层中进行融合处理，得到该输出层输出的候选降噪图像数据；根据该候选降噪图像数据和该最后一个上采样模块输出的中间上采样特征数据中包括的与该第二通道像素值对应的第二中间通道特征数据得到该降噪图像数据。
在其中一个实施例中，对该第i个下采样模块的输入数据进行下采样处理，得到该第i个下采样模块输出的中间下采样特征数据，包括：
利用该第一下采样层对该第i个下采样模块的输入数据进行下采样处理，得到该第一下采样层输出的第一下采样特征数据；利用该第一卷积层对该第一下采样特征数据进行卷积处理，得到该第一卷积层输出的第一卷积特征数据；利用该第二下采样层对该第i个下采样模块的输入数据进行下采样处理，得到该第二下采样层输出的第二下采样特征数据；利用该融合模块对该第一卷积特征数据和该第二下采样特征数据进行融合处理，得到该融合模块输出的该中间下采样特征数据。
在其中一个实施例中，该上采样模块包括级联的第二卷积层和上采样层；该对该第i个上采样模块的输入数据进行上采样处理，得到该第i个上采样模块输出的中间上采样特征数据，包括：
利用该第二卷积层对该第i个上采样模块的输入数据进行卷积处理，得到该第二卷积层输出的第二卷积特征数据；利用该上采样层对该第二卷积特征数据进行上采样处理，得到该上采样层输出的该中间上采样特征数据。
在其中一个实施例中，该图像降噪模型用于ISP芯片中的RAW图像降噪模块、RGB图像降噪模块或者YUV图像降噪模块中；对应的，该目标图像的格式为RAW格式、RGB格式或者YUV格式。
在其中一个实施例中，该上采样层通过卷积处理、反池化处理或者插值处理对该上采样层的输入数据进行上采样处理。
第二方面，本申请还提供了一种图像降噪处理装置。该装置包括：
降噪模块，用于将目标图像数据输入至图像降噪模型中，得到该图像降噪模型输出的降噪图像数据，该目标图像数据包括目标图像的各个通道的像素值；
其中，该图像降噪模型包括级联的下采样模型、上采样模型和输出层，该下采样模型包括n个级联的下采样模块，该上采样模型包括与n个该下采样模块一一对应的n个级联的上采样模块；该下采样模块包括第一下采样模块、第二下采样模块以及与该第一下采样模块和该第二下采样模块均级联的融合模块；该第一下采样模块包括级联的第一下采样层和第一卷积层，该第二下采样模块包括第二下采样层。
在其中一个实施例中，该降噪模块，具体用于：
将该目标图像数据输入至该下采样模型中，由该下采样模型中的各下采样模块对该目标图像数据进行下采样处理，得到下采样特征数据；将该下采样特征数据输入至该上采样模型中，由该上采样模型中的各上采样模块对该下采样特征数据进行上采样处理，得到上采样特征数据；由该输出层基于该上采样特征数据和该目标图像数据得到该降噪图像数据。
在其中一个实施例中，目标图像各通道的图像数据分辨率相同，该降噪模块，具体用于：
对于第i个下采样模块，对该第i个下采样模块的输入数据进行下采样处理，得到该第i个下采样模块输出的中间下采样特征数据；其中，在i＝1的情况下，该第i个下采样模块的输入数据为该目标图像数据，在i大于1的情况下，该第i个下采样模块的输入数据为第i-1个下采样模块输出的中间下采样特征数据；将最后一个该下采样模块输出的中间下采样特征数据作为该下采样特征数据。
在其中一个实施例中，该降噪模块，具体用于：
对于第i个上采样模块，对该第i个上采样模块的输入数据进行上采样处理，得到该第i个上采样模块输出的中间上采样特征数据；其中，在i＝1的情况下，该第i个上采样模块的输入数据为该下采样特征数据，在i大于1的情况下，该第i个上采样模块的输入数据为第i-1个上采样模块输出的中间上采样特征数据和与该第i个上采样模块对应的下采样模块输出的中间下采样特征数据融合处理得到的聚合特征数据；将最后一个该上采样模块输出的中间上采样特征数据作为该上采样特征数据。
在其中一个实施例中，该降噪模块，具体用于：
将该上采样特征数据和该目标图像数据输入至该输出层进行融合处理，得到该输出层输出的该降噪图像数据。
在其中一个实施例中，目标图像各通道的图像数据分辨率不同，该下采样模型还包括附加下采样模块，该降噪模块，具体用于：
将该目标图像数据中包含的该目标图像的第一通道像素值输入至该附加下采样模块，得到该附加下采样模块输出的通道特征数据；将该通道特征数据与该目标图像数据中包含的该目标图像的第二通道像素值进行融合处理，得到候选目标图像数据；对于第i个下采样模块，对该第i个下采样模块的输入数据进行下采样处理，得到该第i个下采样模块输出的中间下采样特征数据；其中，在i＝1的情况下，该第i个下采样模块的输入数据为该候选目标图像数据，在i大于1的情况下，该第i个下采样模块的输入数据为第i-1个下采样模块输出的中间下采样特征数据；将最后一个该下采样模块输出的中间下采样特征数据作为该下采样特征数据。
在其中一个实施例中，该上采样模型还包括附加上采样模块，该降噪模块，具体用于：
对于第i个上采样模块，对该第i个上采样模块的输入数据进行上采样处理，得到该第i个上采样模块输出的中间上采样特征数据；其中，在i＝1的情况下，该第i个上采样模块的输入数据为该下采样特征数据，在i大于1的情况下，该第i个上采样模块的输入数据为第i-1个上采样模块输出的中间上采样特征数据和与该第i个上采样模块对应的下采样模块输出的中间下采样特征数据融合处理得到的聚合特征数据；将最后一个上采样模块输出的中间上采样特征数据中包括的与该第一通道像素值对应的第一中间通道特征数据输入至该附加上采样模块中，得到该附加上采样模块输出的该上采样特征数据。
在其中一个实施例中，该降噪模块，具体用于：
将该上采样特征数据和该目标图像数据中的该第一通道像素值输入至该输出层中进行融合处理，得到该输出层输出的候选降噪图像数据；根据该候选降噪图像数据和该最后一个上采样模块输出的中间上采样特征数据中包括的与该第二通道像素值对应的第二中间通道特征数据得到该降噪图像数据。
在其中一个实施例中，该降噪模块，具体用于：
利用该第一下采样层对该第i个下采样模块的输入数据进行下采样处理，得到该第一下采样层输出的第一下采样特征数据；利用该第一卷积层对该第一下采样特征数据进行卷积处理，得到该第一卷积层输出的第一卷积特征数据；利用该第二下采样层对该第i个下采样模块的输入数据进行下采样处理，得到该第二下采样层输出的第二下采样特征数据；利用该融合模块对该第一卷积特征数据和该第二下采样特征数据进行融合处理，得到该融合模块输出的该中间下采样特征数据。
在其中一个实施例中，该上采样模块包括级联的第二卷积层和上采样层；该降噪模块，具体用于：
利用该第二卷积层对该第i个上采样模块的输入数据进行卷积处理，得到该第二卷积层输出的第二卷积特征数据；利用该上采样层对该第二卷积特征数据进行上采样处理，得到该上采样层输出的该中间上采样特征数据。
在其中一个实施例中，该图像降噪模型用于ISP芯片中的RAW图像降噪模块、RGB图像降噪模块或者YUV图像降噪模块中；对应的，该目标图像的格式为RAW格式、RGB格式或者YUV格式。
在其中一个实施例中，该上采样层通过卷积处理、反池化处理或者插值处理对该上采样层的输入数据进行上采样处理。
第三方面，本申请还提供了一种电子设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现上述第一方面任一项所述的方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面中任一项所述的方法的步骤。
第五方面，本申请还提供了一种计算机程序产品，该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面中任一项所述的方法的步骤。
上述图像降噪处理方法、装置、设备、存储介质和程序产品，可直接将包括目标图像的各个通道的像素值的目标图像数据输入至图像降噪模型中，即可得到该图像降噪模型输出的降噪图像数据，实现对目标图像的降噪处理。其中，通常在ISP芯片中，需要基于YUV图像的Y通道的像素值以及UV通道的像素值分别进行降噪处理，得到降噪处理后的图像数据，由于Y通道和UV通道同时处理，需要反复调用图像数据，其处理效率较差，无法满足ISP芯片的实时性要求，而本申请中，由于可以直接将包括目标图像的各个通道的像素值的目标图像数据输入至图像降噪模型中进行降噪处理，也即对目标图像各个通道的数据同时进行降噪处理，相比于各通道分开进行降噪处理，其数据量和计算量大大减小，可以有效提升数据处理效率，满足实时性的要求；并且，在降噪处理过程中，目标图像中各通道之间的信息可以相互参考从而达到更优异的降噪处理效果。其中，该图像降噪模型的网络结构精简，其包括级联的下采样模型、上采样模型和输出层，该下采样模型包括n个级联的下采样模块，该上采样模型包括与n个该下采样模块一一对应的n个级联的上采样模块；该下采样模块包括第一下采样模块、第二下采样模块以及与该第一下采样模块和该第二下采样模块均级联的融合模块；该第一下采样模块包括级联的第一下采样层和第一卷积层，该第二下采样模块包括第二下采样层，通过精简的图像降噪模型即可实现对目标图像数据的有效降噪处理，使得该图像降噪模型可以完全适配于ISP芯片中用于对实时的视频图像进行降噪处理。
附图说明
图1为一个实施例中图像降噪模型的结构示意图；
图2为一个实施例中多卷积并行模块的结构示意图；
图3为一个实施例中传统ISP芯片图像处理流程示意图；
图4为一个实施例中第一种改进的ISP芯片图像处理流程示意图；
图5为一个实施例中第二种改进的ISP芯片图像处理流程示意图；
图6为一个实施例中降噪处理的流程示意图；
图7为一个实施例中一种降噪神经网络的结构示意图；
图8为一个实施例中另一种图像降噪模型的结构示意图；
图9为一个实施例中另一种降噪神经网络的结构示意图；
图10为一个实施例中按元素加的融合处理的示意图；
图11为一个实施例中按通道拼接的融合处理的示意图；
图12为一个实施例中图像降噪处理装置的结构框图；
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在图像处理领域，图像降噪一直是难以完美处理的一个图像处理工作。图像降噪是图像还原技术中的一种，其目的是要准确找出图像中的信号值或者噪声值，或者说把图像中的信号部分和噪声部分分离。
图像降噪算法目前主要分为传统算法和基于神经网络的算法。现有的基本情况是传统算法的降噪效果较差，无法满足降噪效果的需求；而神经网络算法计算量非常大且对现有芯片不够友好，无法满足ISP芯片实时性的需求。
其中，传统的图像降噪按照分离信号噪声的特征空间可以分为空域降噪、频域降噪、空频域结合降噪；按照降噪处理使用的图像范围可以分为局域降噪和非局域降噪。具体的传统降噪有均值滤波、中值滤波、高斯滤波、双边滤波、非局域均值滤波、导向滤波、离散余弦域滤波、小波变换域滤波等。传统的降噪方法都是基于统计学上信号和噪声特征差异的简单假设，使用固定的一套方式将信号和噪声分离开。由于对噪声的特征假设过于简单，分离噪声的时候会同时夹杂一部分信号，或者分离噪声不够彻底使得有噪声残留，在实际场景中尤其是噪声较为显著时(比如低照度环境成像)降噪效果较差。
近年来，除去传统的图像降噪算法，各种基于神经网络的图像降噪算法极大地提升了图像降噪的效果。此类神经网络的几个代表性网络有直链式的DnCNN(DenoisingConvolutional Neural Network，去噪卷积神经网络)、包含评估噪声水平子网络的CBDNet(卷积盲去噪网络)，基于注意力机制的RIDNet(基于特征注意的真实图像去噪)等。基于神经网络的图像降噪算法优点是效果较传统算法明显提升，但相应的缺点是计算量远超传统算法，在实际应用中尤其是对实时性要求较高的ISP(Image Signal Processor)芯片上难以实现。
有鉴于此，本申请实施例中，提供了一种满足ISP芯片实时性要求的可以较好的对视频图像降噪处理的图像降噪处理方法。
在一个实施例中，提供了一种图像降噪处理方法，本申请实施例以该方法应用于包括ISP芯片的终端中进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。具体的，该方法的执行主体可以是终端中的ISP芯片。终端可以但不限于是各种计算机设备或者拍摄设备等，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本申请实施例中，该方法包括：将目标图像数据输入至图像降噪模型中，得到图像降噪模型输出的降噪图像数据，目标图像数据包括目标图像的各个通道的像素值。其中，如图1所示，其示出了本申请实施例提供的一种图像降噪模型的结构示意图，该图像降噪模型包括级联的下采样模型、上采样模型和输出层，下采样模型包括n个级联的下采样模块，上采样模型包括与n个下采样模块一一对应的n个级联的上采样模块；下采样模块包括第一下采样模块、第二下采样模块以及与第一下采样模块和第二下采样模块均级联的融合模块；第一下采样模块包括级联的第一下采样层和第一卷积层，第二下采样模块包括第二下采样层。
其中，ISP(Image Signal Processor，图像信号处理器)芯片用于获取终端中前端的图像传感器拍摄的图像进行一系列图像处理并输出处理后的图像。通常，ISP芯片对从图像传感器(Image Sensor)中以RAW格式传入的图像进行处理的步骤包括：对RAW图像经过坏点校正、暗电流校正、镜头阴影校正、RAW图像降噪、白平衡、颜色插值等得到RGB图像，再经过Gamma校正(伽马校正)、颜色校正、RGB图像转YUV图像等得到YUV图像，YUV图像经过降噪、边缘增强、亮度/对比度/色调/饱和度调整等处理后，最后对图像数据进行编码得到最终输出的视频图像。可选的，ISP芯片处理的图像可以是单图图像，也可以是连续帧构成的视频图像。ISP芯片中可集成各种图像处理算法以实现上文中的ISP芯片对图像的处理步骤。本申请实施例中，图像降噪模型即为应用于ISP芯片中用于实现图像降噪处理步骤的算法。
需要说明的是，图1中仅以3个下采样模块以及三个上采样模块作为示例，并不用于限定本申请。
本申请实施例中，目标图像为ISP芯片中需要进行降噪处理的图像，目标图像数据即为该目标图像的各个通道的像素值，其中，若前端图像传感器获取的是单图图像，则目标图像为单图图像；若前端图像处理器获取的是实时视频图像，则该目标图像为实时视频图像中的单帧图像。
可选的，该目标图像可以为RAW格式、RGB格式或者YUV格式等，本申请实施例对此不作具体限定。
该图像降噪模型可以根据所处理的目标图像的各个通道的图像数据的分辨率是否一致进行不同的处理。具体的，对于各个通道的图像数据分辨率一致的目标图像，该图像降噪模型为单输入输出，可以直接对输入的目标图像数据进行降噪处理；对于各个通道的图像数据分辨率不一致的目标图像，该图像降噪模型为多输入输出，可将目标图像数据中不同通道的图像数据分别输入至该图像降噪模型中以进行降噪处理。由此，使得该图像降噪模型可以适配于对各种类型的目标图像进行降噪处理。
其中，如今，图像降噪分为单图降噪和多帧图像联合降噪等类型。考虑到ISP芯片的计算量和数据缓存，单图降噪相比于多帧图像联合降噪更适合用于实时处理场景。结合实际降噪效果和网络计算复杂度、数据读写量等，本申请实施例结合U-Net网络，对网络的结构和计算单元进行优化，提出了一种非常精简的单图降噪网络结构，也即该图像降噪模型，该图像降噪模型的主体是网络的主体结构是U-Net网络。该图像降噪模型的下采样模型用于对目标图像数据进行下采样处理，上采样模型用于对上采样处理后得到的特征数据进行上采样处理，输出层用于基于上采样模型输出的数据以及目标图像数据输出该目标图像对应的降噪图像数据。各上采样模块的输入为上一个上采样模块的输出数据以及与该上采样模块对应的下采样模块的输出数据。由此，可以对深层浅层的图像特征进行融合处理，提升降噪效果。
该下采样模型由n个级联的下采样模块构成，各下采样模块为多卷积并行模块，用于提取更多的图像特征。为了对该多卷积并行模块有更清晰的认识，请参考图2，其示出了本申请实施例提供的一种多卷积并行模块的结构示意图，示例性的，该多卷积并行模块包括两个下采样层201、一个卷积层202以及融合层203。可选的，该多卷积并行模块200还可以包括其它数量的下采样层和卷积层，本申请实施例中对此不作具体限定，换言之，对应的，该下采样模块在包括第一卷积层、第一下采样层以及第二下采样层之外，还可以包括其它数量的卷积层和下采样层，具体可以基于ISP芯片本身的算力和带宽等参数确定，本申请实施例对此不作具体限定。需要说明的是，图像降噪模型包括本申请实施例中所提供的该结构的下采样模块即可实现较好的下采样效果，在保证降噪效果的同时还可以满足ISP芯片的实时性要求。
相应的，该图像降噪模型中下采样模块以及上采样模块的个数可以基于ISP芯片本身的算力和带宽等参数确定，本申请实施例对此不作具体限定。
可选的，下采样模块中的融合模块的通道融合的方式可以选择按元素加或者通道拼接等方式，本申请实施例对此不作具体限定。
上述图像降噪处理方法，可直接将包括目标图像的各个通道的像素值的目标图像数据输入至图像降噪模型中，即可得到该图像降噪模型输出的降噪图像数据，实现对目标图像的降噪处理。其中，通常在ISP芯片中，需要基于YUV图像的Y通道的像素值以及UV通道的像素值分别进行降噪处理，得到降噪处理后的图像数据，由于Y通道和UV通道同时处理，需要反复调用图像数据，其处理效率较差，无法满足ISP芯片的实时性要求，而本申请中，由于可以直接将包括目标图像的各个通道的像素值的目标图像数据输入至图像降噪模型中进行降噪处理，也即对目标图像各个通道的数据同时进行降噪处理，相比于各通道分开进行降噪处理，其数据量和计算量大大减小，可以有效提升数据处理效率，满足实时性的要求；并且，在降噪处理过程中，目标图像中各通道之间的信息可以相互参考从而达到更优异的降噪处理效果。其中，该图像降噪模型的网络结构精简，其包括级联的下采样模型、上采样模型和输出层，该下采样模型包括n个级联的下采样模块，该上采样模型包括与n个该下采样模块一一对应的n个级联的上采样模块；该下采样模块包括第一下采样模块、第二下采样模块以及与该第一下采样模块和该第二下采样模块均级联的融合模块；该第一下采样模块包括第一卷积层和第一下采样层，该第二下采样模块包括第二下采样层，通过精简的图像降噪模型即可实现对目标图像数据的有效降噪处理，使得该图像降噪模型可以完全适配于ISP芯片中用于对实时的视频图像进行降噪处理。
在一个实施例中，图像降噪模型用于ISP芯片中的RAW图像降噪模块、RGB图像降噪模块或者YUV图像降噪模块中；对应的，目标图像的格式为RAW格式、RGB格式或者YUV格式。
请参考图3，其示出了本申请实施例提供的一种传统ISP芯片图像处理流程示意图，传统的ISP芯片的处理过程包括：获取前端图像传感器传输的视频图像中各帧对应的RAW图像，经过坏点校正、暗电流校正、镜头阴影校正、RAW图像降噪、白平衡、颜色插值等得到RGB图像，再经过Gamma校正、颜色校正、RGB转YUV等得到YUV图像，YUV图像的Y(亮度)通道数据进行降噪处理并进行边缘增强和亮度/对比度调整，YUV图像的UV(颜色)通道的数据进行色调/饱和度调整实现对YUV图像的降噪处理，然后对降噪处理后的YUV图像进行数据码得到最终输出的视频图像。
RAW图像是图像传感器采集格式，本质上是一种特殊的RGB格式。RAW图像经过一系列处理后做颜色插值得到普通的RGB图像，再经过一系列处理后转换得到YUV图像。YUV图像格式是一种把图像的亮度和颜色分离开的格式，其中亮度由Y通道表示，颜色由UV两个通道表示。YUV图像的处理中，Y通道和UV通道会分开处理会对Y(亮度)通道和UV(颜色)通道分别用降噪算法，然后对亮度分量做边缘增强、亮度和对比度调整，对颜色分量做色调和饱和度调整。
由于传统的ISP芯片处理中需要对YUV图像分通道处理，在此过程中需要反复读写各通道的图像数据进行处理，降噪效果较差且处理效率较低。基于此，本申请实施例中将该图像降噪模型应用于ISP芯片中，可直接用于对RGB图像、RAW图像或者YUV图像进行降噪处理。例如，将该图像降噪模型应用于ISP芯片中的RAW图像降噪模块，则对应的目标图像的格式为RAW格式；将该图像降噪模型应用于ISP芯片中的RGB图像降噪模块，则对应的目标图像的格式为RGB格式；将该图像降噪模型应用于ISP芯片中的YUV图像降噪模块，则对应的目标图像的格式为YUV格式。
以替代传统中YUV图像分通道降噪处理的过程，以提升降噪效果以及处理效率。
在一种情况中，请参考图4，其示出了本申请实施例提供的第一种改进的ISP芯片图像处理流程示意图，将该图像降噪模型应用于ISP芯片中YUV图像降噪模块中，以对YUV图像的各个通道的数据直接进行降噪处理，该情况中，输入至图像降噪模型的目标图像数据为YUV图像各个通道的像素值。由此，以大大提升YUV图像的降噪处理效果和处理效率，在处理实时视频图像的场景中，该图像降噪模型的处理效率的成果更加显著。
在另一种情况中，请参考图5，其示出了本申请实施例提供的第二种改进的ISP芯片图像处理流程示意图，将该图像降噪模型应用于ISP芯片中的RGB图像降噪模块中，以对RGB图像的各个通道的数据进行降噪处理，然后ISP芯片可以直接将降噪处理得到的RGB图像转换得到YUV图像并进行后续的处理，而无需再次对YUV图像分通道进行降噪处理，提升图像降噪处理的效率。该情况中，输入至图像降噪模型的目标图像数据为RGB图像各个通道的像素值。
可选的，该图像降噪模型还可以应用于ISP芯片中的RAW图像降噪模块中，以对RAW图像直接进行降噪处理。对应的，该情况中，输入至图像降噪模型的目标图像数据为RAW图像各个通道的像素值。
本申请实施例中，对传统的ISP芯片中的降噪模块稍作调整，将亮度降噪和颜色降噪合并到一起通过图像降噪模型实现整体的降噪处理，可以提升降噪处理中提取图像信号的能力，提升信噪比和主观降噪效果。对于YUV图像来说，在图像各个通道(Y、U、V)降噪的同时可以参考各个通道之间的信息以达到较好的降噪效果；另外，合并通道进行处理实际计算量和数据读写量都少于分开通道处理的总和，因此，将图像的通道合并处理不论从性能还是效果上来说都是有正向收益的，因此，将该图像降噪模型应用于ISP芯片中进行图像降噪处理，无论从降噪效果还是实时性方面来说，均满足ISP芯片的要求。
下面将对该图像降噪模型对目标图像数据的具体处理过程进行说明。
在一个实施例中，如图6所示，其示出了本申请实施例提供的一种降噪处理的流程示意图；将目标图像数据输入至图像降噪模型中，得到图像降噪模型输出的降噪图像数据，包括：
步骤601，将目标图像数据输入至下采样模型中，由下采样模型中的各下采样模，块对目标图像数据进行下采样处理，得到下采样特征数据。
步骤602，将下采样特征数据输入至上采样模型中，由上采样模型中的各上采样模块对下采样特征数据进行上采样处理，得到上采样特征数据。
步骤603，由输出层基于上采样特征数据和目标图像数据得到降噪图像数据。
其中，下采样模型由n个级联的下采样模块构成，可选的，可以基于芯片的实际运算情况和存储情况等确定n的取值，从而确定下采样模型和上次采样模型的结构，申请实施例对上采样模块和下采样模块的个数不作具体限定，当然，上采样模块的数量应与下采样模块的数量保持一致。
各下采样模块用于对输入数据进行下采样处理，用于提取更多的图像特征。经过下采样处理后图像缩小，相应的，对应采用上采样模块进行上采样处理恢复图像大小。
n个级联的下采样模块中的最后一个模块输出的为下采样特征数据，n个级联的上采样模块中的最后一个模块输出的是上采样特征数据。
将该上采样特征数据以及目标图像数据均输入至输出层进行融合处理，并基于该输出层输出的数据即可得到该降噪图像数据。
本申请实施例中，目前几乎所有单图降噪(single image denoising)算法难以在ISP芯片上实时运行，申请通过精简网络结构，构造适应于芯片运行的轻量级神经网络模型，得到图像降噪模型，使得单图降噪算法可以应用于ISP芯片实时降噪，同时满足图像降噪效果和算法实时性的需求，解决神经网络在芯片上部署和实时运行的问题，同时，相对于传统芯片在降噪效果上有明显提升。
具体的，对于不同类型的目标图像对应的目标图像数据，其输入至该图像降噪模型中进行处理的过程也不同，下面对于两种类型的目标图像对应的目标图像数据处理的过程分别进行说明。
在一种情况中，该目标图像为各通道的图像数据分辨率相同的格式的图像，例如RAW格式、RGB格式、YUV444格式的目标图像，此时，由下采样模型中的各下采样模块对目标图像数据进行下采样处理，得到下采样特征数据，包括：
对于第i个下采样模块，对第i个下采样模块的输入数据进行下采样处理，得到第i个下采样模块输出的中间下采样特征数据；将最后一个下采样模块输出的中间下采样特征数据作为下采样特征数据。其中，在i＝1的情况下，第i个下采样模块的输入数据为目标图像数据，在i大于1的情况下，第i个下采样模块的输入数据为第i-1个下采样模块输出的中间下采样特征数据。
在ISP芯片中图像在不同的模块中以不同的数据格式(比如RAW、RGB、YUV444，YUV420)存储。若图像降噪模型的输入输出是RAW、RGB、YUV444等各通道分辨率相同的格式时，对于第一个下采样模块，将目标图像数据整体作为该第一个下采样模块的输入，对于其它下采样模块，将上一个下采样模块输出的中间下采样特征数据作为该下采样模块的输入数据。各下采样模块均用于提取图像特征得到中间下采样特征数据。
对应的，在一个实施例中，由上采样模型中的各上采样模块对下采样特征数据进行上采样处理，得到上采样特征数据，包括：
对于第i个上采样模块，对第i个上采样模块的输入数据进行上采样处理，得到第i个上采样模块输出的中间上采样特征数据；将最后一个上采样模块输出的中间上采样特征数据作为上采样特征数据。其中，在i＝1的情况下，第i个上采样模块的输入数据为下采样特征数据，在i大于1的情况下，第i个上采样模块的输入数据为第i-1个上采样模块输出的中间上采样特征数据和与第i个上采样模块对应的下采样模块输出的中间下采样特征数据融合处理得到的聚合特征数据。
其中，对于第一个上采样模块，将上采样特征数据作为该第一个上采样模块的输入。对于其它上采样模块，将上一个上采样模块输出的中间上采样特征数据以及与该上采样模块对应的下采样模块输出的中间下采样特征数据进行融合处理得到聚合特征数据，将该聚合特征数据作为该上采样模块的输入数据，由此，可以对目标图像数据中的深层特征和浅层特征、各不同分辨率的特征均可以进行充分融合，提升降噪处理的效果。
对应的，在一个实施例中，由输出层基于上采样特征数据和目标图像数据得到降噪图像数据，包括：将上采样特征数据和目标图像数据输入至输出层进行融合处理，得到输出层输出的降噪图像数据。
具体的，该输出层主要用于对输入数据进行融合处理。换言之，该输出层与下采样模块中的融合模块均用于进行特征融合处理。可选的，输出层可以是对输入数据进行简单的按元素加处理或者按通道叠加处理以实现融合处理。
经过一系列处理，最后一个上采样模块输出的上采样特征数据中包含目标图像的噪声特征数据，将目标图像数据与该上采样特征数据进行融合处理，即可从目标图像数据去除噪声特征，输出层输出的即为去除噪声特征数据的降噪图像数据，实现对目标图像的降噪处理，也即，整个图像降噪模型实际上是输出噪声残差，然后在输出层中将该噪声残差和目标图像做叠加后，获得输出层输出的降噪后的图像。
可选的，该上采样模块可由级联的卷积层和上采样层构成。
基于上文中的内容，可得到本申请实施例提供的一种单输入输出的图像降噪模型。请参考图7，其示出了本申请实施例提供的一种降噪神经网络的结构示意图。示例性的，图7中所示的图像降噪模型包括三个下采样模块、三个上采样模块，输出层和下采样模块中的融合模块以及其它融合处理均以按元素加的融合方式为例，下采样层和上采样层可通过卷积处理实现下采样或者上采样。
可见，本申请实施例提供的基于U-net网络结构的图像降噪模型，其结构简单，且直接对图像各通道的数据整体进行降噪处理，保证了良好的降噪效果且处理效率较高。
在神经网络框架和基础计算单元结构不变的情况下，下采样模块个上采样模块的个数可以根据实际算力和带宽限制修改，可以适当提升降噪效果。图7中以三次下采样和三次上采样为例，实际还可以增加次数(如4次、5次等)或者减少次数(如2次)。通道融合的方式可以选择按元素加或者通道拼接等。
在另一种情况中，该目标图像为各通道的图像数据分辨率不相同的格式的图像，例如YUV420等格式的目标图像，此时，该图像降噪模型中的下采样模型还包括附加下采样模块。该图像降噪模型中的上采样模型还包括附加上采样模块。请参考图8，其示出了本申请实施例提供的另一种图像降噪模型的结构示意图。
对应的，将目标图像数据输入至下采样模型中，由下采样模型中的各下采样模块对目标图像数据进行下采样处理，得到下采样特征数据，包括：
将目标图像数据中包含的目标图像的第一通道像素值输入至附加下采样模块，得到附加下采样模块输出的通道特征数据。将通道特征数据与目标图像数据中包含的目标图像的第二通道像素值进行融合处理，得到候选目标图像数据作为第一个下采样模块的输入数据。对于第i个下采样模块，对第i个下采样模块的输入数据进行下采样处理，得到第i个下采样模块输出的中间下采样特征数据。将最后一个下采样模块输出的中间下采样特征数据作为下采样特征数据。
其中，在i＝1的情况下，第i个下采样模块的输入数据为候选目标图像数据，在i大于1的情况下，第i个下采样模块的输入数据为第i-1个下采样模块输出的中间下采样特征数据。
在ISP芯片中图像在不同的模块中以不同的数据格式(比如RAW、RGB、YUV444，YUV420)存储，若该图像降噪模型嵌入芯片中输入输出的图像的格式为YUV420等各通道分辨率不一致的位置时，则需要使用到多输入多输出网络结构，也即图8中的结构。
具体的，对于各通道分辨率的目标图像，该目标图像对应的目标图像数据由第一通道像素值和第二通道像素值构成，以YUV420格式的目标图像为例，该第一通道像素值即为Y通道像素值，该第二通道像素值即为UV通道像素值。由于分辨率不同，因此，需要先对第一通道像素值也即Y通道像素值采用附加下采样模块预先进行下采样处理，附加下采样模块输出的通道特征数据即可与第二通道像素值也即UV通道像素值分辨率相同，此时，即可将通道特征数据和第二通道像素值直接进行融合处理并采用各下采样模块执行正常的下采样处理。
对应的，在一个实施例中，将下采样特征数据输入至上采样模型中，由上采样模型中的各上采样模块对下采样特征数据进行上采样处理，得到上采样特征数据，包括：
对于第i个上采样模块，对第i个上采样模块的输入数据进行上采样处理，得到第i个上采样模块输出的中间上采样特征数据。将最后一个上采样模块输出的中间上采样特征数据中包括的与第一通道像素值对应的第一中间通道特征数据输入至附加上采样模块中，得到附加上采样模块输出的上采样特征数据。
其中，在i＝1的情况下，第i个上采样模块的输入数据为下采样特征数据，在i大于1的情况下，第i个上采样模块的输入数据为第i-1个上采样模块输出的中间上采样特征数据和与第i个上采样模块对应的下采样模块输出的中间下采样特征数据融合处理得到的聚合特征数据，由此，可以对目标图像数据中的深层特征和浅层特征、各不同分辨率的特征均可以进行充分融合，提升降噪处理的效果。
与包含第一通道像素值和第二通道像素值的目标图像数据对应，该图像降噪模型输出的降噪图像数据也应包括分辨率不同的不同通道的降噪图像数据。
对于上采样模块而言，与前文中的图像降噪模型相同，各上采样模块对输入数据进行上采样处理，得到最后一个上采样模块输出的中间上采样特征数据。此时，该最后一个上采样模块输出的中间上采样特征数据包括第一中间通道特征数据以及第二中间通道特征数据，该第一中间通道特征数据与第一通道像素值也即Y通道图像数据对应，换言之，第一中间通道特征数据是对第一通道像素值降噪处理后得到的；相应的，第二中间通道特征数据是对第二通道像素值降噪处理后得到的。
由于第一通道像素值经过附加下采样模块的下采样处理，对应的，第一中间通道特征数据还需经过附加上采样模块进行上采样处理，从而将该附加上采样模块的输出作为该上采样模型最终输出的上采样特征数据。以使得输出层基于该上采样特征数据以及目标图像数据中的第一通道像素值进行进一步的融合处理。
对应的，在一个实施例中，由输出层基于上采样特征数据和目标图像数据得到降噪图像数据，包括：将上采样特征数据和目标图像数据中的第一通道像素值输入至输出层中进行融合处理，得到输出层输出的候选降噪图像数据。根据候选降噪图像数据和最后一个上采样模块输出的中间上采样特征数据中包括的与第二通道像素值对应的第二中间通道特征数据得到降噪图像数据。
具体的，经过一系列处理，该上采样特征数据中包含第一通道像素值对应的噪声特征，也即提取到目标图像的噪声残差。通过输出层将该上采样特征数据与第一通道像素值进行融合处理，也即在输出层中将该噪声残差和目标图像做叠加，即可去掉第一通道像素值中的噪声特征，得到输出层输出的候选降噪图像数据。
基于该候选图像降噪数据以及最后一个上采样模块输出的中间上采样特征数据中包括的第二中间通道特征数据即可得到该降噪图像数据。
由此，对于各通道分辨率不同的图像，该多输入输出的图像降噪模型也可以实现降噪处理，扩展了ISP芯片的应用。
可选的，该附加下采样模块由级联的下采样层和卷积层构成，该附加上采样模块由级联的卷积层和上采样层构成。
基于上文的内容，可得到本申请实施例提供的多输入输出的图像降噪模型的结构示意图。请参考图9，其示出了本申请实施例提供的另一种降噪神经网络的结构示意图。示例性的，图9中所示的图像降噪模型包括两个下采样模块、两个上采样模块，输出层和下采样模块中的融合模块以及其它融合处理均以按元素加的融合方式为例，下采样层和上采样层可通过卷积处理实现下采样。
本申请实施例中，图像降噪处理模块作为ISP芯片中的重要模块，输入和输出的格式、数据排布方式，都要和传统的ISP芯片中的降噪处理模块一致，以减小对ISP芯片原始布局的更改，加快应用过程。因此，本申请实施例中提供了多输入输出格式的降噪神经网络，替换原有降噪模块而不需要对ISP芯片的布局做大幅修改。和传统的神经网络相比，本申请实施例中使用了多输入多输出的网络结构，嵌入在ISP芯片中，较好地解决了单图降噪神经网络无法适配ISP芯片布局以及实时性的问题。
与现有ISP芯片中的图像处理算法相比，本申请实施例中的图像降噪模型可以充分融合目标图像数据中各个通道像素值的信息，能更好的挖掘图像中的信息，剔除图像中的噪声。其中，通道融合的ISP降噪算法可以有效的提高图像的信噪比。和传统的降噪算法相比，使用轻量级的降噪神经网络，可以较大程度的提升图像的清晰度、降低噪声。在降低噪声的同时，由于图像质量的提升，同时可以提升图像中运动物体的拖尾噪声，可以提升目标图像后续进行目标检测或者人脸识别等图像任务时的精度，扩展降噪处理后的目标图像的应用范围。
如上文所说，各下采样模块包括第一下采样模块、第二下采样模块以及与第一下采样模块和第二下采样模块均级联的融合模块；第一下采样模块包括第一卷积层和第一下采样层，第二下采样模块包括第二下采样层。下面将对下采样模块的处理过程进行说明。
在一个实施例中，对第i个下采样模块的输入数据进行下采样处理，得到第i个下采样模块输出的中间下采样特征数据，包括：利用第一下采样层对第i个下采样模块的输入数据进行下采样处理，得到第一下采样层输出的第一下采样特征数据；利用第一卷积层对第一下采样特征数据进行卷积处理，得到第一卷积层输出的第一卷积特征数据；利用第二下采样层对第i个下采样模块的输入数据进行下采样处理，得到第二下采样层输出的第二下采样特征数据；利用融合模块对第一卷积特征数据和第二下采样特征数据进行融合处理，得到融合模块输出的中间下采样特征数据。
可选的，第一下采样层和第二下采样层可通过卷积处理实现下采样处理。
可选的，各下采样模块可以选择合适的卷积结构，例如，可选择第一下采样层和第一卷积层为5x5卷积核的卷积处理，第二卷积层为3x3卷积核的卷积处理等。当然，下采样模块中各层的卷积处理可以使用直连、1x1卷积、3x3卷积、5x5卷积、7x7卷积等任意的组合，本申请实施例对此不作具体限定。
下面将对上采样模块的处理过程进行说明。
在一个实施例中，该上采样模块包括级联的第二卷积层和上采样层；对第i个上采样模块的输入数据进行上采样处理，得到第i个上采样模块输出的中间上采样特征数据，包括：利用第二卷积层对第i个上采样模块的输入数据进行卷积处理，得到第二卷积层输出的第二卷积特征数据；利用上采样层对第二卷积特征数据进行上采样处理，得到上采样层输出的中间上采样特征数据。
可选的，上采样层通过卷积处理、反池化处理或者插值处理对上采样层的输入数据进行上采样处理。
可选的，各上采样模块还可以包括其它数量的卷积层和上采样层，具体可基于ISP芯片的算力、带宽或存储能参数确定。
其中，第二卷积层和上采样层可以选择合适的卷积结构，各层的卷积处理可以使用直连、1x1卷积、3x3卷积、5x5卷积、7x7卷积等任意的组合，本申请实施例对此不作具体限定。
在一个实施例中，对于上文中融合模块的融合处理、输出层的融合处理以及图像降噪模型中的其它融合处理中，融合处理可以对图像深层浅层的特征融合，其均可以采用按元素加或者按通道拼接的方式实现该融合处理。请参考图10，其示出了本申请实施例提供的一种按元素加的融合处理的示意图；请参考图11，其示出了本申请实施例提供的一种按通道拼接的融合处理的示意图。
其中，按元素加方式融合特征通道的方式可以显著减少数据读取量和计算量，但也可能会损失掉已经提取出来的部分特征。在芯片算力和缓存足够的情形下则可选择使用通道拼接方式。按通道加方法需要确保两组被融合的特征的分辨率和通道数完全一致，而通道拼接方法不需要两组被融合的特征通道数一致。基于此，对于不同的ISP芯片，选择不同的通道融合方式和上采样方式，在最终降噪效果上有微小差异，但对于一些芯片来说运算时间和效率差别非常大。因此，可基于该ISP芯片预先确定的图像处理需求确定融合处理的方式具体为按元素加或者通道拼接，以充分提升芯片图像处理的效率。
在一个实施例中，本申请实施例提供了一种部署在ISP芯片上的神经网络降噪算法，主要部署过程如下：
步骤1：构造U-Net的神经网络的基础结构，具体的，包括确定网络框架、网络的输入输出格式(RAW、RGB、YUV444等)、下采样和上采样的层数以及各层的采样率。
步骤2：确定网络结构中下采样模块的结构。
步骤3：选择通道融合方式以及上采样方式，这例如通道融合采用按元素加的处理方式，上采样采用转置卷积的处理实现上采样。
步骤4：确定网络嵌入ISP芯片图像处理过程中的具体位置，例如RAW图像降噪模块、RGB图像降噪模块或者YUV图像降噪模块。
步骤5：运行和调试完整的神经网络降噪算法。
进一步的，如步骤1中所述，示例性的，整个网络可以包括3个用于下采样处理的多卷积并行子模块，以及与之对应的用于上采样处理的3个普通卷积层和3个上采样层。在每次下采样前保留原分辨率的特征并在相应的上采样层后融合，使得图像中的深层和浅层特征、各不同分辨率的特征可以充分融合。整个网络一共15层卷积和上采样层，每层卷积后加入激活层，以输入为256x256x3大小的YUV格式图像作为输入数据为例，15层网络输出的数据大小分别为128x128x16、128x128x16、128x128x16、64x64x32、64x64x32、64x64x32、32x32x64、32x32x64、32x32x64、32x32x16、64x64x16、64x64x16、128x128x16、128x128x16、256x256x3(YUV格式输出)。
可选的，步骤1中的下采样层数可以为N层，N大于等于1。在ISP芯片算力和缓存足够的情况下，N可以设置为4或更大的整数。
可选的，步骤1中的下采样率可为N:1，N大于1。N可以设置为3、4等。不同的下采样层也可以使用不同的采样率。
可选的，步骤3中的上采样方式可为反池化或者插值算法等。反池化或者插值方法可以有效减少上采样层的参数量。
与现有ISP芯片中图像处理的算法相比，本申请实施例中，在降噪处理中充分融合了图像各个通道的信息，能更好的挖掘图像中的信息，剔除图像中的噪声。通道融合的ISP降噪算法可以有效的提高图像的信噪比。和传统的降噪算法相比，使用轻量级的降噪神经网络，可以较大程度的提升图像的清晰度、降低噪声。在降低噪声的同时，由于图像质量的提升，同时可以提升图像中运动物体的拖尾噪声，可以提升目标检测、人脸识别等图像任务的精度。和普通的降噪神经网络相比，本申请实施例中使用的神经网络改进了网络结构和基本算子，可以较好地在ISP芯片上实时运行，从而解决了普通神经网络无法在移动设备上实时运行的问题。和普通的神经网络相比，本申请实施例中使用了多输入多输出的网络结构，嵌入在ISP芯片的图像处理流程中的同时，较好地解决了单图降噪神经网络无法适配ISP芯片的图像处理流程的问题。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像降噪处理方法的图像降噪处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像降噪处理装置实施例中的具体限定可以参见上文中对于图像降噪处理方法的限定，在此不再赘述。
在一个实施例中，如图12所示，提供了一种图像降噪处理装置，图像降噪处理装置1200包括：降噪模块1201，其中：
降噪模块1201，用于将目标图像数据输入至图像降噪模型中，得到图像降噪模型输出的降噪图像数据，目标图像数据包括目标图像的各个通道的像素值；其中，图像降噪模型包括级联的下采样模型、上采样模型和输出层，下采样模型包括n个级联的下采样模块，上采样模型包括与n个下采样模块一一对应的n个级联的上采样模块；下采样模块包括第一下采样模块、第二下采样模块以及与第一下采样模块和第二下采样模块均级联的融合模块；第一下采样模块包括级联的第一下采样层和第一卷积层，第二下采样模块包括第二下采样层。
在一个实施例中，降噪模块1201，具体用于：将目标图像数据输入至下采样模型中，由下采样模型中的各下采样模块对目标图像数据进行下采样处理，得到下采样特征数据；将下采样特征数据输入至上采样模型中，由上采样模型中的各上采样模块对下采样特征数据进行上采样处理，得到上采样特征数据；由输出层基于上采样特征数据和目标图像数据得到降噪图像数据。
在一个实施例中，目标图像各通道的图像数据分辨率相同，降噪模块1201，具体用于：对于第i个下采样模块，对第i个下采样模块的输入数据进行下采样处理，得到第i个下采样模块输出的中间下采样特征数据；其中，在i＝1的情况下，第i个下采样模块的输入数据为目标图像数据，在i大于1的情况下，第i个下采样模块的输入数据为第i-1个下采样模块输出的中间下采样特征数据；将最后一个下采样模块输出的中间下采样特征数据作为下采样特征数据。
在一个实施例中，降噪模块1201，具体用于：对于第i个上采样模块，对第i个上采样模块的输入数据进行上采样处理，得到第i个上采样模块输出的中间上采样特征数据；其中，在i＝1的情况下，第i个上采样模块的输入数据为下采样特征数据，在i大于1的情况下，第i个上采样模块的输入数据为第i-1个上采样模块输出的中间上采样特征数据和与第i个上采样模块对应的下采样模块输出的中间下采样特征数据融合处理得到的聚合特征数据；将最后一个上采样模块输出的中间上采样特征数据作为上采样特征数据。
在一个实施例中，降噪模块1201，具体用于：将上采样特征数据和目标图像数据输入至输出层进行融合处理，得到输出层输出的降噪图像数据。
在一个实施例中，目标图像各通道的图像数据分辨率不同，下采样模型还包括附加下采样模块，降噪模块1201，具体用于：将目标图像数据中包含的目标图像的第一通道像素值输入至附加下采样模块，得到附加下采样模块输出的通道特征数据；将通道特征数据与目标图像数据中包含的目标图像的第二通道像素值进行融合处理，得到候选目标图像数据；对于第i个下采样模块，对第i个下采样模块的输入数据进行下采样处理，得到第i个下采样模块输出的中间下采样特征数据；其中，在i＝1的情况下，第i个下采样模块的输入数据为候选目标图像数据，在i大于1的情况下，第i个下采样模块的输入数据为第i-1个下采样模块输出的中间下采样特征数据；将最后一个下采样模块输出的中间下采样特征数据作为下采样特征数据。
在一个实施例中，上采样模型还包括附加上采样模块，降噪模块1201，具体用于：对于第i个上采样模块，对第i个上采样模块的输入数据进行上采样处理，得到第i个上采样模块输出的中间上采样特征数据；其中，在i＝1的情况下，第i个上采样模块的输入数据为下采样特征数据，在i大于1的情况下，第i个上采样模块的输入数据为第i-1个上采样模块输出的中间上采样特征数据和与第i个上采样模块对应的下采样模块输出的中间下采样特征数据融合处理得到的聚合特征数据；将最后一个上采样模块输出的中间上采样特征数据中包括的与第一通道像素值对应的第一中间通道特征数据输入至附加上采样模块中，得到附加上采样模块输出的上采样特征数据。
在一个实施例中，降噪模块1201，具体用于：将上采样特征数据和目标图像数据中的第一通道像素值输入至输出层中进行融合处理，得到输出层输出的候选降噪图像数据；根据候选降噪图像数据和最后一个上采样模块输出的中间上采样特征数据中包括的与第二通道像素值对应的第二中间通道特征数据得到降噪图像数据。
在一个实施例中，降噪模块1201，具体用于：利用第一下采样层对第i个下采样模块的输入数据进行下采样处理，得到第一下采样层输出的第一下采样特征数据；利用第一卷积层对第一下采样特征数据进行卷积处理，得到第一卷积层输出的第一卷积特征数据；利用第二下采样层对第i个下采样模块的输入数据进行下采样处理，得到第二下采样层输出的第二下采样特征数据；利用融合模块对第一卷积特征数据和第二下采样特征数据进行融合处理，得到融合模块输出的中间下采样特征数据。
在一个实施例中，上采样模块包括级联的第二卷积层和上采样层；降噪模块1201，具体用于：利用第二卷积层对第i个上采样模块的输入数据进行卷积处理，得到第二卷积层输出的第二卷积特征数据；利用上采样层对第二卷积特征数据进行上采样处理，得到上采样层输出的中间上采样特征数据。
在一个实施例中，图像降噪模型用于ISP芯片中的RAW图像降噪模块1201、RGB图像降噪模块1201或者YUV图像降噪模块1201中；对应的，目标图像的格式为RAW格式、RGB格式或者YUV格式。
在一个实施例中，上采样层通过卷积处理、反池化处理或者插值处理对上采样层的输入数据进行上采样处理。
上述图像降噪处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像降噪处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，在一个实施例中，还提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (16)

1.一种图像降噪处理方法，其特征在于，所述方法包括：
将目标图像数据输入至图像降噪模型中，得到所述图像降噪模型输出的降噪图像数据，所述目标图像数据包括目标图像的各个通道的像素值；
其中，所述图像降噪模型包括级联的下采样模型、上采样模型和输出层，所述下采样模型包括n个级联的下采样模块，所述上采样模型包括与n个所述下采样模块一一对应的n个级联的上采样模块；所述下采样模块包括第一下采样模块、第二下采样模块以及与所述第一下采样模块和所述第二下采样模块均级联的融合模块；所述第一下采样模块包括级联的第一下采样层和第一卷积层，所述第二下采样模块包括第二下采样层。
2.根据权利要求1所述的方法，其特征在于，所述将目标图像数据输入至图像降噪模型中，得到所述图像降噪模型输出的降噪图像数据，包括：
将所述目标图像数据输入至所述下采样模型中，由所述下采样模型中的各所述下采样模块对所述目标图像数据进行下采样处理，得到下采样特征数据；
将所述下采样特征数据输入至所述上采样模型中，由所述上采样模型中的各所述上采样模块对所述下采样特征数据进行上采样处理，得到上采样特征数据；
由所述输出层基于所述上采样特征数据和所述目标图像数据得到所述降噪图像数据。
3.根据权利要求2所述的方法，其特征在于，所述目标图像各通道的图像数据分辨率相同，所述由所述下采样模型中的各所述下采样模块对所述目标图像数据进行下采样处理，得到下采样特征数据，包括：
对于第i个下采样模块，对所述第i个下采样模块的输入数据进行下采样处理，得到所述第i个下采样模块输出的中间下采样特征数据；其中，在i＝1的情况下，所述第i个下采样模块的输入数据为所述目标图像数据，在i大于1的情况下，所述第i个下采样模块的输入数据为第i-1个下采样模块输出的中间下采样特征数据；
将最后一个所述下采样模块输出的中间下采样特征数据作为所述下采样特征数据。
4.根据权利要求3所述的方法，其特征在于，所述由所述上采样模型中的各所述上采样模块对所述下采样特征数据进行上采样处理，得到上采样特征数据，包括：
对于第i个上采样模块，对所述第i个上采样模块的输入数据进行上采样处理，得到所述第i个上采样模块输出的中间上采样特征数据；其中，在i＝1的情况下，所述第i个上采样模块的输入数据为所述下采样特征数据，在i大于1的情况下，所述第i个上采样模块的输入数据为第i-1个上采样模块输出的中间上采样特征数据和与所述第i个上采样模块对应的下采样模块输出的中间下采样特征数据融合处理得到的聚合特征数据；
将最后一个所述上采样模块输出的中间上采样特征数据作为所述上采样特征数据。
5.根据权利要求4所述的方法，其特征在于，所述由所述输出层基于所述上采样特征数据和所述目标图像数据得到所述降噪图像数据，包括：
将所述上采样特征数据和所述目标图像数据输入至所述输出层进行融合处理，得到所述输出层输出的所述降噪图像数据。
6.根据权利要求2所述的方法，其特征在于，所述目标图像各通道的图像数据分辨率不同，所述下采样模型还包括附加下采样模块，所述将所述目标图像数据输入至所述下采样模型中，由所述下采样模型中的各所述下采样模块对所述目标图像数据进行下采样处理，得到下采样特征数据，包括：
将所述目标图像数据中包含的所述目标图像的第一通道像素值输入至所述附加下采样模块，得到所述附加下采样模块输出的通道特征数据；
将所述通道特征数据与所述目标图像数据中包含的所述目标图像的第二通道像素值进行融合处理，得到候选目标图像数据；
对于第i个下采样模块，对所述第i个下采样模块的输入数据进行下采样处理，得到所述第i个下采样模块输出的中间下采样特征数据；其中，在i＝1的情况下，所述第i个下采样模块的输入数据为所述候选目标图像数据，在i大于1的情况下，所述第i个下采样模块的输入数据为第i-1个下采样模块输出的中间下采样特征数据；
将最后一个所述下采样模块输出的中间下采样特征数据作为所述下采样特征数据。
7.根据权利要求6所述的方法，其特征在于，所述上采样模型还包括附加上采样模块，所述将所述下采样特征数据输入至所述上采样模型中，由所述上采样模型中的各所述上采样模块对所述下采样特征数据进行上采样处理，得到上采样特征数据，包括：
对于第i个上采样模块，对所述第i个上采样模块的输入数据进行上采样处理，得到所述第i个上采样模块输出的中间上采样特征数据；其中，在i＝1的情况下，所述第i个上采样模块的输入数据为所述下采样特征数据，在i大于1的情况下，所述第i个上采样模块的输入数据为第i-1个上采样模块输出的中间上采样特征数据和与所述第i个上采样模块对应的下采样模块输出的中间下采样特征数据融合处理得到的聚合特征数据；
将最后一个上采样模块输出的中间上采样特征数据中包括的与所述第一通道像素值对应的第一中间通道特征数据输入至所述附加上采样模块中，得到所述附加上采样模块输出的所述上采样特征数据。
8.根据权利要求7所述的方法，其特征在于，所述由所述输出层基于所述上采样特征数据和所述目标图像数据得到所述降噪图像数据，包括：
将所述上采样特征数据和所述目标图像数据中的所述第一通道像素值输入至所述输出层中进行融合处理，得到所述输出层输出的候选降噪图像数据；
根据所述候选降噪图像数据和所述最后一个上采样模块输出的中间上采样特征数据中包括的与所述第二通道像素值对应的第二中间通道特征数据得到所述降噪图像数据。
9.根据权利要求3或6任一所述的方法，其特征在于，所述对所述第i个下采样模块的输入数据进行下采样处理，得到所述第i个下采样模块输出的中间下采样特征数据，包括：
利用所述第一下采样层对所述第i个下采样模块的输入数据进行下采样处理，得到所述第一下采样层输出的第一下采样特征数据；
利用所述第一卷积层对所述第一下采样特征数据进行卷积处理，得到所述第一卷积层输出的第一卷积特征数据；
利用所述第二下采样层对所述第i个下采样模块的输入数据进行下采样处理，得到所述第二下采样层输出的第二下采样特征数据；
利用所述融合模块对所述第一卷积特征数据和所述第二下采样特征数据进行融合处理，得到所述融合模块输出的所述中间下采样特征数据。
10.根据权利要求4或7所述的方法，其特征在于，所述上采样模块包括级联的第二卷积层和上采样层；所述对所述第i个上采样模块的输入数据进行上采样处理，得到所述第i个上采样模块输出的中间上采样特征数据，包括：
利用所述第二卷积层对所述第i个上采样模块的输入数据进行卷积处理，得到所述第二卷积层输出的第二卷积特征数据；
利用所述上采样层对所述第二卷积特征数据进行上采样处理，得到所述上采样层输出的所述中间上采样特征数据。
11.根据权利要求1所述的方法，其特征在于，所述图像降噪模型用于ISP芯片中的RAW图像降噪模块、RGB图像降噪模块或者YUV图像降噪模块中；对应的，所述目标图像的格式为RAW格式、RGB格式或者YUV格式。
12.根据权利要求10所述的方法，其特征在于，所述上采样层通过卷积处理、反池化处理或者插值处理对所述上采样层的输入数据进行上采样处理。
13.一种图像降噪处理装置，其特征在于，所述装置包括：
降噪模块，用于将目标图像数据输入至图像降噪模型中，得到所述图像降噪模型输出的降噪图像数据，所述目标图像数据包括目标图像的各个通道的像素值；
其中，所述图像降噪模型包括级联的下采样模型、上采样模型和输出层，所述下采样模型包括n个级联的下采样模块，所述上采样模型包括与n个所述下采样模块一一对应的n个级联的上采样模块；所述下采样模块包括第一下采样模块、第二下采样模块以及与所述第一下采样模块和所述第二下采样模块均级联的融合模块；所述第一下采样模块包括级联的第一下采样层和第一卷积层，所述第二下采样模块包括第二下采样层。
14.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
16.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
CN202211128666.6A 2022-09-16 2022-09-16 图像降噪处理方法、装置、设备、存储介质和程序产品 Pending CN115471417A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211128666.6A CN115471417A (zh) 2022-09-16 2022-09-16 图像降噪处理方法、装置、设备、存储介质和程序产品
PCT/CN2022/138842 WO2024055458A1 (zh) 2022-09-16 2022-12-14 图像降噪处理方法、装置、设备、存储介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211128666.6A CN115471417A (zh) 2022-09-16 2022-09-16 图像降噪处理方法、装置、设备、存储介质和程序产品

Publications (1)

Publication Number Publication Date
CN115471417A true CN115471417A (zh) 2022-12-13

Family

ID=84333965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211128666.6A Pending CN115471417A (zh) 2022-09-16 2022-09-16 图像降噪处理方法、装置、设备、存储介质和程序产品

Country Status (2)

Country Link
CN (1) CN115471417A (zh)
WO (1) WO2024055458A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024055458A1 (zh) * 2022-09-16 2024-03-21 广州安凯微电子股份有限公司 图像降噪处理方法、装置、设备、存储介质和程序产品

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199516B (zh) * 2019-12-30 2023-05-05 深圳大学 基于图像生成网络模型的图像处理方法、系统及存储介质
CN114494918A (zh) * 2020-11-11 2022-05-13 京东方科技集团股份有限公司 目标识别方法及系统、可读存储介质
CN113344827B (zh) * 2021-08-05 2021-11-23 浙江华睿科技股份有限公司 一种图像去噪方法、图像去噪网络运算单元及设备
CN114913094A (zh) * 2022-06-07 2022-08-16 中国工商银行股份有限公司 图像修复方法、装置、计算机设备、存储介质和程序产品
CN115471417A (zh) * 2022-09-16 2022-12-13 广州安凯微电子股份有限公司 图像降噪处理方法、装置、设备、存储介质和程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024055458A1 (zh) * 2022-09-16 2024-03-21 广州安凯微电子股份有限公司 图像降噪处理方法、装置、设备、存储介质和程序产品

Also Published As

Publication number Publication date
WO2024055458A1 (zh) 2024-03-21

Similar Documents

Publication Publication Date Title
Liang et al. Swinir: Image restoration using swin transformer
CN111127336B (zh) 一种基于自适应选择模块的图像信号处理方法
CN112602088B (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
CN111028150A (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN112991203A (zh) 图像处理方法、装置、电子设备及存储介质
CN113781320A (zh) 一种图像处理方法、装置、终端设备及存储介质
WO2020093782A1 (en) Method, system, and computer-readable medium for improving quality of low-light images
US20210133940A1 (en) Image processing method and device, image capture apparatus, and mobile terminal
CN111260580A (zh) 一种基于图像金字塔的图像去噪方法、计算机装置及计算机可读存储介质
CN112802139A (zh) 一种图像处理方法、装置、电子设备及可读存储介质
WO2024055458A1 (zh) 图像降噪处理方法、装置、设备、存储介质和程序产品
CN111724448A (zh) 一种图像超分辨重建方法、装置和终端设备
CN113822803A (zh) 图像超分处理方法、装置、设备及计算机可读存储介质
US20220343468A1 (en) Image processing method, electronic device and computer-readable storage medium
CN112184587A (zh) 一种边缘数据增强模型、以及基于所述模型的高效边缘数据增强方法及系统
WO2023202447A1 (zh) 画质提升模型的训练方法和视频会议系统画质的提升方法
CN113724151B (zh) 一种图像增强方法、电子设备和计算机可读存储介质
CN115330633A (zh) 图像色调映射方法及装置、电子设备、存储介质
CN111598781B (zh) 一种基于混合高阶注意网络的图像超分辨率方法
CN111383171B (zh) 一种图片处理方法、系统及终端设备
CN113781346A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN113674153A (zh) 图像处理芯片、电子设备、图像处理方法和存储介质
CN117522742B (zh) 图像处理方法、架构、装置和计算机设备
Ling et al. PRNet: Pyramid Restoration Network for RAW Image Super-Resolution
CN113365107B (zh) 视频处理方法、影视视频处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination