CN112950503A - 训练样本的生成方法及装置、真值图像的生成方法及装置 - Google Patents

训练样本的生成方法及装置、真值图像的生成方法及装置 Download PDF

Info

Publication number
CN112950503A
CN112950503A CN202110221204.8A CN202110221204A CN112950503A CN 112950503 A CN112950503 A CN 112950503A CN 202110221204 A CN202110221204 A CN 202110221204A CN 112950503 A CN112950503 A CN 112950503A
Authority
CN
China
Prior art keywords
noise
image
noise reduction
images
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110221204.8A
Other languages
English (en)
Inventor
黄彬
赵振海
李绰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Pinecone Electronic Co Ltd filed Critical Beijing Xiaomi Pinecone Electronic Co Ltd
Priority to CN202110221204.8A priority Critical patent/CN112950503A/zh
Publication of CN112950503A publication Critical patent/CN112950503A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本公开是关于训练样本的生成方法及装置、真值图像的生成方法及装置。该方法包括：分别获取相机采用第一曝光参数拍摄得到的多张第一噪声图像，以及采用第二曝光参数拍摄得到的第二噪声图像；对所述多张第一噪声图像进行多帧降噪处理，得到真值图像；将所述真值图像和所述第二噪声图像确定为模型训练的训练样本对，所述模型用于对输入的图像进行降噪处理。对具有低噪声残留的多张第一噪声图像进行多帧降噪处理，得到真值图像，将该真值图像和真实采集的第二噪声图像作为模型训练的训练样本对，第二噪声图像所含的噪声是真实噪声而非通过模拟得到，该训练样本对的真实性、准确性非常高，能够提高模型训练的准确度。

Description

训练样本的生成方法及装置、真值图像的生成方法及装置
技术领域
本公开涉及图像处理技术领域，尤其涉及训练样本的生成方法及装置、真值图像的生成方法及装置。
背景技术
手机成像过程中因为各种原因会引入噪声，所以图像降噪是成像中的重要环节。AI模型能提取深层的图像特征，能够在高维度拟合噪声形态，目前常基于AI模型实现图像降噪。但AI模型依赖样本数据，具有非常强的数据驱动的特点，用于训练模型的样本数据的数目、质量好坏、多样性直接影响模型的准确度，从而用于降噪的AI模型所用的样本数据成为限制降噪效果提升的主要因素。
发明内容
本公开提供一种训练样本的生成方法及装置、真值图像的生成方法及装置，以解决相关技术中的不足。
根据本公开实施例的第一方面，提供了一种训练样本的生成方法，包括：
分别获取相机采用第一曝光参数拍摄得到的多张第一噪声图像，以及采用第二曝光参数拍摄得到的第二噪声图像；
对所述多张第一噪声图像进行多帧降噪处理，得到真值图像；
将所述真值图像和所述第二噪声图像确定为模型训练的训练样本对，所述模型用于对输入的图像进行降噪处理。
可选地，分别获取相机采用第一曝光参数拍摄得到的多张第一噪声图像，以及采用第二曝光参数拍摄得到的至少一张第二噪声图像之前，包括：
确定所述相机在拍摄场景下的自动曝光参数以及所述拍摄场景的环境参数；
根据所述自动曝光参数和环境参数确定对应于期望环境参数的所述第一曝光参数和所述第二曝光参数。
可选地，对所述多张第一噪声图像进行多帧降噪处理，包括：
将所述多张第一噪声图像输入预先训练的多帧时域降噪模型，由所述多帧时域降噪模型对所述多张第一噪声图像进行多帧降噪处理，输出所述真值图像。
可选地，还包括：
获取图像样本；
将模拟噪声叠加于所述图像样本上，得到噪声图像样本；
将所述图像样本和所述噪声图像样本作为训练样本对训练初始多帧时域降噪模型，得到所述多帧时域降噪模型。
可选地，对所述多张第一噪声图像进行多帧降噪处理，包括：
以所述多张第一噪声图像中的一张噪声图像作为参考图像，对所述多张第一噪声图像中除所述参考图像之外的其他噪声图像进行空间对齐处理；
对所述参考图像和经过空间对齐处理的其他噪声图像进行多帧降噪处理。
可选地，将所述真值图像和所述第二噪声图像确定为模型训练的训练样本对，包括：
对所述真值图像和所述第二噪声图像进行亮度对齐处理；
将经过亮度对齐处理的真值图像和第二噪声图像作为模型训练的训练样本对。
可选地，将所述真值图像和所述第二噪声图像确定为模型训练的训练样本对，包括：
将所述第二噪声图像中每个像素的像素值减去所述真值图像中对应位置的像素的像素值以得到噪声采样图；
对所述真值图像进行降质处理，并将所述噪声采样图叠加于经过降质处理的真值图像上，得到新的第二噪声图像；
将所述真值图像和所述新的第二噪声图作为模型训练的训练样本对。
可选地，所述第一曝光参数包括第一感光度，所述第二曝光参数包括第二感光度，所述第一感光度小于所述第二感光度；
和/或，所述第一噪声图像和所述第二噪声图像均为所述相机的图像传感器输出的原始图像。
根据本公开实施例的第二方面，提供了一种真值图像的生成方法，包括：
获取相机采用第一曝光参数拍摄得到多张第一噪声图像；
将所述多张第一噪声图像输入预先训练的多帧时域降噪模型，由所述多帧时域降噪模型对所述多张第一噪声图像进行多帧降噪处理，输出对应于所述多张第一噪声图像的真值图像。
可选地，获取相机采用第一曝光参数拍摄得到多张第一噪声图像之前，包括：
确定所述相机在拍摄场景下的自动曝光参数以及所述拍摄场景的环境参数；
根据所述自动曝光参数和环境参数确定对应于期望环境参数的所述第一曝光参数。
根据本公开实施例的第三方面，提供了一种图像降噪方法，包括：
获取待降噪图像；
将所述待降噪图像输入降噪模型，以对所述待降噪图像进行降噪处理；其中，所述降噪模型由多组训练样本对对初始降噪模型训练得到，每组训练样本对包括对采用第一曝光参数拍摄得到的多张第一噪声图像进行多帧降噪处理得到的真值图像以及采用第二曝光参数拍摄得到的第二噪声图像。
根据本公开实施例的第四方面，提供了一种训练样本的生成装置，包括：
获取模块，用于分别获取相机采用第一曝光参数拍摄得到的多张第一噪声图像，以及采用第二曝光参数拍摄得到的第二噪声图像；
处理模块，用于对所述多张第一噪声图像进行多帧降噪处理，得到真值图像；
确定模块，用于将所述真值图像和所述第二噪声图像确定为模型训练的训练样本对，所述模型用于对输入的图像进行降噪处理。
根据本公开实施例的第五方面，提供了一种真值图像的生成装置，包括：
获取模块，用于获取相机采用第一曝光参数拍摄得到多张第一噪声图像；
输入模块，用于将所述多张第一噪声图像输入预先训练的多帧时域降噪模型，由所述多帧时域降噪模型对所述多张第一噪声图像进行多帧降噪处理，输出对应于所述多张第一噪声图像的真值图像。
根据本公开实施例的第六方面，提供了一种图像降噪装置，包括：
获取模块，用于获取待降噪图像；
处理模块，用于将所述待降噪图像输入降噪模型，以对所述待降噪图像进行降噪处理；其中，所述降噪模型由多组训练样本对对初始降噪模型训练得到，每组训练样本对包括对采用第一曝光参数拍摄得到的多张第一噪声图像进行多帧降噪处理得到的真值图像以及采用第二曝光参数拍摄得到的第二噪声图像。
根据本公开实施例的第七方面，提供了一种电子设备，包括：
处理器；
用于存储处理器可执行请求的存储器；
其中，所述处理器被配置为执行所述可执行请求以实现上述任一项所述的方法。
根据本公开实施例的第八方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述的方法中的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例中，对具有低噪声残留的多张第一噪声图像进行多帧降噪处理，得到真值图像，将该真值图像和真实采集的第二噪声图像作为模型训练的训练样本对，第二噪声图像所含的噪声是真实噪声而非通过模拟得到，该训练样本对的真实性、准确性非常高，能够提高模型训练的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据本公开的实施例示出的一种训练样本的生成方法的流程图；
图2是根据本公开的实施例示出的另一种训练样本的生成方法的流程图；
图3是根据本公开的实施例示出的一种真值图像的生成方法的流程图；
图4是根据本公开的实施例示出的一种图像降噪方法的流程图；
图5是根据本公开的实施例示出的一种训练样本的生成装置的模块示意图；
图6是根据本公开的实施例示出的一种真值图像的生成装置的模块示意图；
图7是根据本公开的实施例示出的一种图像降噪装置的模块示意图；
图8是根据本公开的实施例示出的一种用于训练样本的生成装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据本公开的实施例示出的一种训练样本的生成方法的流程图，参见图1，该方法包括以下步骤：
步骤101、分别获取相机采用第一曝光参数拍摄得到的多张第一噪声图像，以及采用第二曝光参数拍摄得到的第二噪声图像。
其中，第一曝光参数和第二曝光参数可以包括以下参数：曝光时长、感光度(ISO)和光圈等。
第一噪声图像和第二噪声图像作为用于生成降噪模型的训练样本对的基础图像，第一噪声图像和第二噪声图像的图像内容应该是极度相似的，也即第一噪声图像和第二噪声图像的图像内容的相似度大于相似度阈值。其中，该相似度阈值可以根据实际需求自行设置。第一噪声图像和第二噪声图像可以是对同一被摄物体拍摄得到的。
每组降噪模型的训练样本对需要一张真值图像作为预测标签，以及至少一张噪声图像作为输入(给定数据)。真值图像也即不含噪声或者噪声残留较小的图像，噪声图像也即存在较多噪声的图像。
第一噪声图像用于生成训练样本对中的真值(ground truth，GT)图像，为了得到质量较好的真值图像，在拍摄时可以采用较低感光度的第一曝光参数进行拍摄，得到噪声含量较低的第一噪声图像。这是因为感光度越高，图像所含的噪声越多，感光度越低，图像所含的噪声越少。因此，在拍摄得到第一噪声图像时，可以采用相机所能达到的最小感光度进行拍摄。但是即便采用相机所能达到的最小感光度进行拍摄，拍摄得到的图像(第一噪声图像)难免还是残留噪声，因此需要执行步骤102进一步消除第一噪声图像中的噪声。
需要说明的是，每个相机的所能达到的最小感光度根据各个相机的硬件性能的不同而不同。
第二噪声图像作为训练样本对中的给定数据，第二曝光参数可以根据实际需求自行设置，例如需要获取噪声含量较高的第二噪声图像，则以较高感光度的第二曝光参数进行拍摄；需要获取噪声含量较低的第二噪声图像，则以较低感光度的第二曝光参数进行拍摄。
步骤102、对多张第一噪声图像进行多帧降噪处理，得到真值图像。
多张第一噪声图像是对同一被摄对象进行多次连续曝光得到的，多次曝光过程中存在相机抖动等原因导致多张第一噪声图像的图像内容有差异的情况，为了确保多张第一噪声图像的图像内容一致，在进行多帧降噪之前，先对多张第一噪声图像进行空间对象处理，具体的：以多张第一噪声图像输中的一张噪声图像作为参考图像，对多张第一噪声图像中除了参考图像之外的其他噪声图像依次进行空间对齐处理，对经过空间对齐处理的多张第一噪声图像进行多帧降噪处理。其中，空间对齐可以但不限于采用计算光流算法实现。
关于多帧降噪，在一个实施例中，采用预先训练的多帧时域降噪模型实现，具体的：将多张第一噪声图像输入预先训练的多帧时域降噪模型，由多帧时域降噪模型对多张第一噪声图像进行多帧降噪处理，输出真值图像。若多张第一噪声图像经过空间对齐处理，则将经过空间对齐的多张第一噪声图像输入预先训练的多帧时域降噪模型。
其中，输入多帧时域降噪模型的第一噪声图像的张数由多帧噪声模型确定，也即若多帧噪声模型支持输入n张噪声图像，则将n张第一噪声图像输入多帧时域降噪模型。
下面简单介绍多帧时域降噪模型的训练过程：
S1、获取多张连续拍摄的图像样本。
该图像样本作为训练多帧时域降噪模型的训练样本对的预测标签，采用噪声含量低的图像，也即较低ISO拍摄得到。在一个实施例中，获取raw格式的图像(原始图像)作为图像样本。原始图像也即图像传感器输出的未经过图像处理的图像，其噪声由硬件成像过程引入，噪声的信号强度为线性，所以具有噪声可较为精确建模的优点。原始图像可以通过对RGB格式的图像进行反转图像处理得到。反转图像处理的过程与对图像传感器输出的原始图像进行图像处理的过程相关。举例来说，若RGB图像是对原始图像依次进行数字增益处理(Digital Gain)、白平衡处理(White Balance)、颜色校正处理(Color Correction)得到的，则将对RGB图像依次进行反颜色矫正处理、反白平衡处理，反数字增益处理得到图像确定为图像样本。
S2、将模拟噪声叠加于每张图像样本上，得到对应的噪声图像样本。
其中，模拟噪声可以但不限于根据相机的感光度与噪声强度的关系数据，并采用泊松高斯噪声模型模拟得到。
多帧时域降噪模型用于对第一噪声图像进行降噪，第一噪声图像为噪声含量较低的图像，因此叠加于图像样本上的模拟噪声应为低噪声。
可以理解地，训练样本对的数量、种类越多，训练得到的模型的准确度越高，因此可以在每张图像样本上叠加多种不同类型的模拟噪声，与样本图像组成多对训练样本对。
S3、将图像样本和噪声图像样本作为训练样本对训练初始多帧时域降噪模型，得到多帧时域降噪模型。
训练样本对中包括在多张连续拍摄的图像样本上叠加了模拟噪声的多张噪声图像样本和一张图像样本(多张连续拍摄的图像样本中任意选取一张)。进行模型训练时，对于每对训练样本对，将训练样本对中的多张噪声图像样本输入初始多帧时域降噪模型，并确定初始多帧时域降噪模型输出的预测图像与作为预测标签的图像样本的差异，根据该差异调整初始多帧时域降噪模型的模型参数，将训练完成的初始多帧时域降噪模型确定为多帧时域降噪模型。其中，初始多帧时域降噪模型可以但不限于采用机器学习模型或者神经网络模型搭建。
该多帧时域降噪模型在训练时参考了图像之间的时域信息，由该多帧时域降噪模型对多张第一噪声图像进行降噪，不仅能够消除第一噪声图像中的噪声，还能最大可能的保留第一噪声图像的最多细节，得到图像质量较好的真值图像。
步骤103、将真值图像和第二噪声图像作为模型训练的训练样本对，该模型用于对输入的图像进行降噪处理。
经过步骤101～步骤103可以得到一组训练样本对，该训练样本对中真值图像作为预测标签，第二噪声图像作为输入。通过改变第一曝光参数、改变第二曝光参数、改变拍摄场景等中的至少一项，并重复步骤101～步骤103即可得到多组训练样本对。
需要说明的是，步骤101中采用第二曝光参数可以拍摄得到一张第二噪声图像，这样训练样本对包括一张真值图像和一张第二噪声图像，该训练样本对可以用于训练单帧降噪模型。步骤101中采用第二曝光参数可以连续拍摄多张第二噪声图像，这样训练样本对包括一张真值图像和多张第二噪声图像，该训练样本对可以用于训练多帧降噪模型。
由于第一噪声图像与第二噪声图像采用不同的拍摄参数拍摄得到，两者存在亮度不一致的问题，导致真值图像与第二噪声图像存在亮度不一致的问题，针对该问题，可以对真值图像和第二噪声图像进行亮度对齐处理，将经过亮度对齐处理的真值图像和第二噪声图像作为模型训练的训练样本对。模型训练时，则使用经过亮度对齐的训练样本对进行模型训练。
基于Raw格式的图像(原始图像)的噪声是由硬件成像过程引入的，信号强度为线性，具有噪声可较为精确建模的优点，相较于YUV格式和RGB格式，原始图像在其上降噪能达到在降噪的同时更好的保留细节，更真实的重建真实图像，因此上述任一实施例中可以采集Raw格式的第一噪声图像和第二噪声图像，作为生成训练样本对的基础图像。
若第一噪声图像和第二噪声图像均为Raw格式，得到的真值图像也为Raw格式，在进行亮度对齐时，可以采用亮度均值的方式，具体的：对真值图像的所有像素值求均值以及对第二噪声图像的所有像素值求均值，将真值图像的像素均值与第二噪声图像的像素均值之比与真值图像的各个像素值相乘，实现亮度对齐。
若考虑到中裁剪或过度曝光对噪声图像的影响，进行亮度对齐时需要设置上下限low_light及hight_light，对真值图像中(low_light，hight_light)范围内的所有像素值求均值以及对第二噪声图像中(low_light，hight_light)范围内的所有像素值求均值，将真值图像的像素均值与第二噪声图像的像素均值之比与真值图像的各个像素值相乘，实现亮度对齐。
在上述任一实施例中，进一步地，还可以对真值图像进行降质处理，并根据经过降质处理的真值图像生成训练样本对，具体的：将第二噪声图像中每个像素的像素值减去真值图像中对应位置的像素的像素值，相减的结果为噪声采样图；对真值图像进行降质处理，例如可以是模糊化处理；将噪声采样图叠加于经过降质处理的真值图像上，得到新的第二噪声图像；将真值图像和新的第二噪声图作为模型训练的训练样本对。将真值图像和新的第二噪声图作为训练样本对训练模型，不仅可以训练模型的降噪能力，还能训练模型的图像处理能力(将模糊图像变清晰)，使得训练完成的降噪模型满足对图像细节保留或增强方面的需求。
图2是根据本公开的实施例示出的另一种训练样本的生成方法的流程图，本实施例中，针对特定应用场景的降噪需求(比如夜景)，根据手机的自动曝光原理，设计了一套自动曝光逻辑，使得即使在白天也能拍出夜景效果，反之亦然，以降低获取训练样本时对拍照场景的限制。参见图2，该方法包括以下步骤：
步骤201、确定相机在拍摄场景下的自动曝光参数以及该拍摄场景的环境参数，根据自动曝光参数和环境参数确定对应于期望环境参数的第一曝光参数和第二曝光参数。
其中，拍摄场景的环境参数和期望环境参数通过亮度表征。期望环境参数可以根据实际需求自行设置。
可以但不限于采用以下公式确定第一曝光参数和第二曝光参数：
Figure BDA0002954981040000101
其中，luxidx0表征当前拍摄环境的环境亮度；luxidx′表征期望环境参数的环境亮度；T0表征在当前拍摄环境的环境亮度luxidx0下自动曝光的曝光时长；G0表征在当前拍摄环境的环境亮度luxidx0下自动曝光的感光度；T′表征在拍摄环境的环境亮度luxidx′下曝光的曝光时长；G′表征在拍摄环境的环境亮度luxidx′下曝光的感光度；其中，a表征曝光增量，可以通过对相机进行测试得到，也可以设置为固定值，固定值例如可以为1.03。
若第一曝光参数的感光度为Gc，根据上述公式可以确定对应的曝光时长为
Figure BDA0002954981040000102
若第二曝光参数的感光度为Gn，根据上述公式可以确定对应的曝光时长为
Figure BDA0002954981040000103
其中，Gc小于Gn，且Gc为相机所能达到的最小感光度。
经过上述公式转换，获取训练样本时可不受拍摄场景的亮度限制，即使在白天也能拍出夜景效果，方便采集适用多种不同拍摄场景的、用于生成训练样本对的第一噪声图像和第二噪声图像。
步骤202、以感光度为Gc、曝光时长为Tc连续拍摄得到多张第一噪声图像，以及以感光度为Gn、曝光时长为Tn拍摄得到第二噪声图像。
其中，拍摄第一噪声图像和第二噪声图像时除了感光度和曝光时长不同，其余的光圈、拍摄模式等拍摄参数均相同，且被摄对象也相同。
步骤203、对多张第一噪声图像进行多帧降噪处理，得到真值图像。
步骤204、将真值图像和第二噪声图像作为模型训练的训练样本对，该模型用于对输入的图像进行降噪处理。
其中，步骤203和步骤204的具体实现过程与步骤202和步骤203类似，此处不再赘述。
图3是根据本公开的实施例示出的一种真值图像的生成方法的流程图，参见图3，该方法包括以下步骤：
步骤301、获取相机采用第一曝光参数拍摄得到多张第一噪声图像。
其中，多张第一噪声图像是对同一被摄对象进行多次连续曝光得到的。第一曝光参数包括以下参数：曝光时长、感光度(ISO)和光圈等。
第一曝光参数可以根据用户对拍摄环境的预期而确定，具体的：确定所述相机在拍摄场景下的自动曝光参数以及所述拍摄场景的环境参数，根据所述自动曝光参数和环境参数确定对应于期望环境参数的所述第一曝光参数。
其中，可以但不限于采用以下公式确定第一曝光参数：
Figure BDA0002954981040000111
其中，luxidx0表征当前拍摄环境的环境亮度；luxidx′表征期望环境参数的环境亮度；T0表征在当前拍摄环境的环境亮度luxidx0下自动曝光的曝光时长；G0表征在当前拍摄环境的环境亮度luxidx0下自动曝光的感光度；T′表征在拍摄环境的环境亮度luxidx′下曝光的曝光时长；G′表征在拍摄环境的环境亮度luxidx′下曝光的感光度。
若第一曝光参数的感光度为Gc，根据上述公式可以确定对应的曝光时长为
Figure BDA0002954981040000112
步骤302、将多张第一噪声图像输入预先训练的多帧时域降噪模型，由多帧时域降噪模型对该多张第一噪声图像进行多帧降噪处理，输出对应于该多张第一噪声图像的真值图像。
为了确保多张第一噪声图像的图像内容一致，在进行多帧降噪之前，先对多张第一噪声图像进行空间对象处理，具体的：以多张第一噪声图像输中的一张噪声图像作为参考图像，对多张第一噪声图像中除了参考图像之外的其他噪声图像依次进行空间对齐处理，对经过空间对齐处理的多张第一噪声图像进行多帧降噪处理。其中，空间对齐可以但不限于采用计算光流算法实现。
关于多帧降噪，在一个实施例中，采用预先训练的多帧时域降噪模型实现，具体的：将多张第一噪声图像输入预先训练的多帧时域降噪模型，由多帧时域降噪模型对多张第一噪声图像进行多帧降噪处理，输出真值图像。若多张第一噪声图像经过空间对齐处理，则将经过空间对齐的多张第一噪声图像输入预先训练的多帧时域降噪模型。其中，多帧时域降噪模型的训练过程参见对步骤102的解释说明部分，此处不再赘述。
图4是根据本公开的实施例示出的一种图像降噪方法的流程图，参见图4，该方法包括以下步骤：
步骤401、获取待降噪图像。
其中，该待降噪图像可以是相机拍摄得到的经过图像处理的图像，可以是图像传感器输出的未经图像处理的图像，也可以是从网络下载的图像，本公开对待降噪图像的获取方式不作特别限定。
步骤402、将待降噪图像输入降噪模型，以对待降噪图像进行降噪处理。
其中，降噪模型由多组训练样本对对初始降噪模型训练得到，该初始降噪模型可以但不限于采用机器学习模型或者神经网络模型搭建，该训练样本对采用上述任一实施例提供的训练样本的生成方法得到。
降噪模型可以是单帧降噪模型，也可以是多帧降噪模型，降噪模型的类型由模型训练时训练样本对包含的第二噪声图像的数量确定。
在单帧降噪场景，获取一张待降噪图像，输入降噪模型，由降噪模型对输入的待降噪图像进行降噪处理，得到经过降噪的、清晰的图像。
在多帧降噪场景，获取多张待降噪图像，输入降噪模型，由降噪模型对输入的多张待降噪图像进行降噪处理，得到一张经过降噪的、清晰的图像。与前述的训练样本的生成方法的实施例相对应，本公开还提供了训练样本的生成装置的实施例。
图5是根据本公开的实施例示出的一种训练样本的生成装置的模块示意图，该装置包括：
获取模块51，用于分别获取相机采用第一曝光参数拍摄得到的多张第一噪声图像，以及采用第二曝光参数拍摄得到的第二噪声图像；
处理模块52，对所述多张第一噪声图像进行多帧降噪处理，得到真值图像；
第一确定模块53，将所述真值图像和所述第二噪声图像确定为模型训练的训练样本对，所述模型用于对输入的图像进行降噪处理。
可选地，还包括：
第二确定模块，用于确定所述相机在拍摄场景下的自动曝光参数以及所述拍摄场景的环境参数，并根据所述自动曝光参数和环境参数确定对应于期望环境参数的所述第一曝光参数和所述第二曝光参数。
可选地，处理模块用于：
将所述多张第一噪声图像输入预先训练的多帧时域降噪模型，由所述多帧时域降噪模型对所述多张第一噪声图像进行多帧降噪处理，输出所述真值图像。
可选地，还包括模型训练模块，用于：
获取图像样本；
将模拟噪声叠加于所述图像样本上，得到噪声图像样本；
将所述图像样本和所述噪声图像样本作为训练初始多帧时域降噪模型，得到所述多帧时域降噪模型。
可选地，处理模块用于：
以所述多张第一噪声图像中的一张噪声图像作为参考图像，对所述多张第一噪声图像中除所述参考图像之外的其他噪声图像进行空间对齐处理；
对所述参考图像和经过空间对齐处理的其他噪声图像进行多帧降噪处理。
可选地，确定模块用于：
对所述真值图像和所述第二噪声图像进行亮度对齐处理；
将经过亮度对齐处理的真值图像和第二噪声图像作为模型训练的训练样本对。
可选地，确定模块用于：
将所述第二噪声图像中每个像素的像素值减去所述真值图像中对应位置的像素的像素值以得到噪声采样图；
对所述真值图像进行降质处理，并将所述噪声采样图叠加于经过降质处理的真值图像上，得到新的第二噪声图像；
将所述真值图像和所述新的第二噪声图作为模型训练的训练样本对。
可选地，所述第一曝光参数包括第一感光度，所述第二曝光参数包括第二感光度，所述第一感光度小于所述第二感光度；
和/或，所述第一噪声图像和所述第二噪声图像均为所述相机的图像传感器输出的原始图像。
与前述的真值图像的生成方法的实施例相对应，本公开还提供了真值图像的生成装置的实施例。
图6是根据本公开的实施例示出的一种真值图像的生成装置的模块示意图，该装置包括：
获取模块61，用于获取相机采用第一曝光参数拍摄得到多张第一噪声图像；
输入模块62，用于将所述多张第一噪声图像输入预先训练的多帧时域降噪模型，由所述多帧时域降噪模型对所述多张第一噪声图像进行多帧降噪处理，输出对应于所述多张第一噪声图像的真值图像。
可选地，还包括：
确定模块，用于确定所述相机在拍摄场景下的自动曝光参数以及所述拍摄场景的环境参数，并根据所述自动曝光参数和环境参数确定对应于期望环境参数的所述第一曝光参数。
与前述的图像降噪方法的实施例相对应，本公开还提供了图像降噪装置的实施例。
图7是根据本公开的实施例示出的一种图像降噪装置的模块示意图，该装置包括：
获取模块71，用于获取待降噪图像；
处理模块72，用于将所述待降噪图像输入降噪模型，以对所述待降噪图像进行降噪处理；其中，所述降噪模型由多组训练样本对对初始降噪模型训练得到，每组训练样本对包括对采用第一曝光参数拍摄得到的多张第一噪声图像进行多帧降噪处理得到的真值图像以及采用第二曝光参数拍摄得到的第二噪声图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在相关方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本公开的实施例还提出一种电子设备，包括：
处理器；
用于存储处理器可执行请求的存储器；
其中，所述处理器被配置为实现上述任一实施例所述的无线通信方法。
本公开的实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述的无线通信方法中的步骤。
图8是根据本公开的实施例示出的一种用于训练样本的生成装置的框图。该装置可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
如图8所示，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行请求，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的请求，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述任一实施例所述的方法。
在示例性实施例中，还提供了一种包括请求的非临时性计算机可读存储介质，例如包括请求的存储器804，上述请求可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种训练样本的生成方法，其特征在于，包括：
分别获取相机采用第一曝光参数拍摄得到的多张第一噪声图像，以及采用第二曝光参数拍摄得到的第二噪声图像；
对所述多张第一噪声图像进行多帧降噪处理，得到真值图像；
将所述真值图像和所述第二噪声图像确定为模型训练的训练样本对，所述模型用于对输入的图像进行降噪处理。
2.根据权利要求1所述的训练样本的生成方法，其特征在于，分别获取相机采用第一曝光参数拍摄得到的多张第一噪声图像，以及采用第二曝光参数拍摄得到的至少一张第二噪声图像之前，包括：
确定所述相机在拍摄场景下的自动曝光参数以及所述拍摄场景的环境参数；
根据所述自动曝光参数和环境参数确定对应于期望环境参数的所述第一曝光参数和所述第二曝光参数。
3.根据权利要求1所述的训练样本的生成方法，其特征在于，对所述多张第一噪声图像进行多帧降噪处理，包括：
将所述多张第一噪声图像输入预先训练的多帧时域降噪模型，由所述多帧时域降噪模型对所述多张第一噪声图像进行多帧降噪处理，输出所述真值图像。
4.根据权利要求3所述的训练样本的生成方法，其特征在于，还包括：
获取图像样本；
将模拟噪声叠加于所述图像样本上，得到噪声图像样本；
将所述图像样本和所述噪声图像样本作为训练样本对训练初始多帧时域降噪模型，得到所述多帧时域降噪模型。
5.根据权利要求1所述的训练样本的生成方法，其特征在于，对所述多张第一噪声图像进行多帧降噪处理，包括：
以所述多张第一噪声图像中的一张噪声图像作为参考图像，对所述多张第一噪声图像中除所述参考图像之外的其他噪声图像进行空间对齐处理；
对所述参考图像和经过空间对齐处理的其他噪声图像进行多帧降噪处理。
6.根据权利要求1所述的训练样本的生成方法，其特征在于，将所述真值图像和所述第二噪声图像确定为模型训练的训练样本对，包括：
对所述真值图像和所述第二噪声图像进行亮度对齐处理；
将经过亮度对齐处理的真值图像和第二噪声图像作为模型训练的训练样本对。
7.根据权利要求1所述的训练样本的生成方法，其特征在于，将所述真值图像和所述第二噪声图像确定为模型训练的训练样本对，包括：
将所述第二噪声图像中每个像素的像素值减去所述真值图像中对应位置的像素的像素值以得到噪声采样图；
对所述真值图像进行降质处理，并将所述噪声采样图叠加于经过降质处理的真值图像上，得到新的第二噪声图像；
将所述真值图像和所述新的第二噪声图作为模型训练的训练样本对。
8.根据权利要求1所述的训练样本的生成方法，其特征在于，所述第一曝光参数包括第一感光度，所述第二曝光参数包括第二感光度，所述第一感光度小于所述第二感光度；
和/或，所述第一噪声图像和所述第二噪声图像均为所述相机的图像传感器输出的原始图像。
9.一种真值图像的生成方法，其特征在于，包括：
获取相机采用第一曝光参数拍摄得到多张第一噪声图像；
将所述多张第一噪声图像输入预先训练的多帧时域降噪模型，由所述多帧时域降噪模型对所述多张第一噪声图像进行多帧降噪处理，输出对应于所述多张第一噪声图像的真值图像。
10.根据权利要求9所述的真值图像的生成方法，其特征在于，获取相机采用第一曝光参数拍摄得到多张第一噪声图像之前，包括：
确定所述相机在拍摄场景下的自动曝光参数以及所述拍摄场景的环境参数；
根据所述自动曝光参数和环境参数确定对应于期望环境参数的所述第一曝光参数。
11.一种图像降噪方法，其特征在于，包括：
获取待降噪图像；
将所述待降噪图像输入降噪模型，以对所述待降噪图像进行降噪处理；其中，所述降噪模型由多组训练样本对对初始降噪模型训练得到，每组训练样本对包括对采用第一曝光参数拍摄得到的多张第一噪声图像进行多帧降噪处理得到的真值图像以及采用第二曝光参数拍摄得到的第二噪声图像。
12.一种训练样本的生成装置，其特征在于，包括：
获取模块，用于分别获取相机采用第一曝光参数拍摄得到的多张第一噪声图像，以及采用第二曝光参数拍摄得到的第二噪声图像；
处理模块，用于对所述多张第一噪声图像进行多帧降噪处理，得到真值图像；
确定模块，用于将所述真值图像和所述第二噪声图像确定为模型训练的训练样本对，所述模型用于对输入的图像进行降噪处理。
13.一种真值图像的生成装置，其特征在于，包括：
获取模块，用于获取相机采用第一曝光参数拍摄得到多张第一噪声图像；
输入模块，用于将所述多张第一噪声图像输入预先训练的多帧时域降噪模型，由所述多帧时域降噪模型对所述多张第一噪声图像进行多帧降噪处理，输出对应于所述多张第一噪声图像的真值图像。
14.一种图像降噪装置，其特征在于，包括：
获取模块，用于获取待降噪图像；
处理模块，用于将所述待降噪图像输入降噪模型，以对所述待降噪图像进行降噪处理；其中，所述降噪模型由多组训练样本对对初始降噪模型训练得到，每组训练样本对包括对采用第一曝光参数拍摄得到的多张第一噪声图像进行多帧降噪处理得到的真值图像以及采用第二曝光参数拍摄得到的第二噪声图像。
15.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行请求的存储器；
其中，所述处理器被配置为执行所述可执行请求以实现权利要求1-11中任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-11中任一项所述的方法中的步骤。
CN202110221204.8A 2021-02-26 2021-02-26 训练样本的生成方法及装置、真值图像的生成方法及装置 Pending CN112950503A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110221204.8A CN112950503A (zh) 2021-02-26 2021-02-26 训练样本的生成方法及装置、真值图像的生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110221204.8A CN112950503A (zh) 2021-02-26 2021-02-26 训练样本的生成方法及装置、真值图像的生成方法及装置

Publications (1)

Publication Number Publication Date
CN112950503A true CN112950503A (zh) 2021-06-11

Family

ID=76246729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110221204.8A Pending CN112950503A (zh) 2021-02-26 2021-02-26 训练样本的生成方法及装置、真值图像的生成方法及装置

Country Status (1)

Country Link
CN (1) CN112950503A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538223A (zh) * 2021-07-28 2021-10-22 维沃移动通信有限公司 噪声图像生成方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251303A (zh) * 2016-07-28 2016-12-21 同济大学 一种使用深度全卷积编码‑解码网络的图像降噪方法
CN106952239A (zh) * 2017-03-28 2017-07-14 厦门幻世网络科技有限公司 图像生成方法和装置
CN110072052A (zh) * 2019-04-09 2019-07-30 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法、装置、电子设备
CN110570364A (zh) * 2019-08-05 2019-12-13 天津大学 基于深度神经网络的分焦平面偏振图像去噪方法
CN111028176A (zh) * 2019-12-10 2020-04-17 北京迈格威科技有限公司 指纹图像处理方法、装置、电子设备及计算机可读介质
CN111275653A (zh) * 2020-02-28 2020-06-12 北京松果电子有限公司 图像去噪方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251303A (zh) * 2016-07-28 2016-12-21 同济大学 一种使用深度全卷积编码‑解码网络的图像降噪方法
CN106952239A (zh) * 2017-03-28 2017-07-14 厦门幻世网络科技有限公司 图像生成方法和装置
CN110072052A (zh) * 2019-04-09 2019-07-30 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法、装置、电子设备
CN110570364A (zh) * 2019-08-05 2019-12-13 天津大学 基于深度神经网络的分焦平面偏振图像去噪方法
CN111028176A (zh) * 2019-12-10 2020-04-17 北京迈格威科技有限公司 指纹图像处理方法、装置、电子设备及计算机可读介质
CN111275653A (zh) * 2020-02-28 2020-06-12 北京松果电子有限公司 图像去噪方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538223A (zh) * 2021-07-28 2021-10-22 维沃移动通信有限公司 噪声图像生成方法、装置、电子设备及存储介质
WO2023005818A1 (zh) * 2021-07-28 2023-02-02 维沃移动通信有限公司 噪声图像生成方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109345485B (zh) 一种图像增强方法、装置、电子设备及存储介质
CN108154465B (zh) 图像处理方法及装置
CN106408603B (zh) 拍摄方法及装置
CN113472994B (zh) 拍照方法及装置、移动终端及存储介质
CN111709891B (zh) 图像去噪模型的训练方法、图像去噪方法、装置及介质
CN111275653B (zh) 图像去噪方法及装置
CN110060215B (zh) 图像处理方法及装置、电子设备和存储介质
CN109784164B (zh) 前景识别方法、装置、电子设备及存储介质
CN112614064B (zh) 图像处理方法、装置、电子设备及存储介质
CN111340731A (zh) 图像处理方法及装置、电子设备和存储介质
CN109509195B (zh) 前景处理方法、装置、电子设备及存储介质
CN112449085A (zh) 图像处理方法及装置、电子设备、可读存储介质
CN112188091B (zh) 人脸信息识别方法、装置、电子设备及存储介质
CN112634160A (zh) 拍照方法及装置、终端、存储介质
CN111583142A (zh) 图像降噪方法及装置、电子设备和存储介质
CN112669231B (zh) 图像处理方法、图像处理模型的训练方法、装置、介质
CN112950503A (zh) 训练样本的生成方法及装置、真值图像的生成方法及装置
CN107451972B (zh) 图像增强方法、装置及计算机可读存储介质
CN113592733A (zh) 图像处理方法、装置、存储介质及电子设备
CN114640815A (zh) 一种视频的处理方法、装置、电子设备及存储介质
CN115552415A (zh) 图像处理方法、装置、电子设备及存储介质
CN115641269A (zh) 一种图像修补方法、装置及可读存储介质
CN111583144A (zh) 图像降噪方法及装置、电子设备和存储介质
CN112188095B (zh) 拍照方法、拍照装置及存储介质
CN116347248B (zh) 图像获取方法和装置、电子设备、介质及芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination