CN112288657A - 图像处理方法、图像处理装置及存储介质 - Google Patents

Abstract

本公开是关于一种图像处理方法、图像处理装置及存储介质，图像处理方法应用于电子设备，电子设备中安装有图像采集装置，图像处理方法包括：获取图像采集装置采集的包括噪声的原始图像；将原始图像输入多尺度去噪网络模型，得到去除噪声的目标图像；多尺度去噪网络模型为基于图像采集装置采集的原始图像，以及对原始图像进行下间隔采样后的图像训练得到。本公开实施例通过基于图像采集装置采集的包括噪声的原始图像，以及对原始图像进行下间隔采样后的图像训练，得到多尺度去噪网络模型，将待处理图像输入多尺度去噪网络模型，得到去除噪声的目标图像，有效地去除图像采集装置采集的待处理图像中包括的噪声，提高图像质量。

Description

图像处理方法、图像处理装置及存储介质

技术领域

本公开涉及图像处理领域，尤其涉及图像处理方法、图像处理装置及存储介质。

背景技术

随着终端技术领域的发展，终端的配置越来越高，终端的拍摄功能渐渐成为终端的必备功能。用户使用终端的拍摄需求也随之日益增加，利用终端拍摄视频、图像由于其便利性。成为日常生活的一部分，希望通过终端拍摄具有高质量的图像。

进行图像以及视频的拍摄时，在图像采集、传输、压缩等各个步骤中，不可避免的会引入噪声。消除图片中的噪声，恢复高清的图像是目前广受关注的焦点问题。

终端由于其设计的限制，摄像头光圈较小，导致在亮度低的环境进行拍摄时，例如，夜景拍摄时，由于环境光线暗，相对于正常亮度拍摄的图像，图像中的噪声，尤其低频噪声更加严重。当前技术中，对于低频噪声的无法进行有效处理，降低了图像质量，影响用户体验。

发明内容

为克服相关技术中存在的问题，本公开提供一种图像处理方法、图像处理装置及存储介质。

根据本公开实施例的第一方面，提供一种图像处理方法，应用于电子设备，所述电子设备中安装有图像采集装置，所述图像处理方法包括：获取所述图像采集装置采集的包括噪声的待处理图像；将所述待处理图像输入多尺度去噪网络模型，得到去除噪声的目标图像；所述多尺度去噪网络模型为基于所述图像采集装置采集的原始图像，以及对所述原始图像进行下间隔采样后的图像训练得到。

在一实施例中，所述多尺度去噪网络模型采用如下方式基于所述图像采集装置采集的原始图像，以及对所述原始图像进行下间隔采样后的图像得到：基于所述图像采集装置采集预设数量的原始图像，并基于所述预设数量的原始图像构建第一训练样本对集合，所述第一训练样本对集合中的第一样本对包括基于所述原始图像确定的第一噪声图像以及第一无噪声图像；对所述第一训练样本对集合中的第一训练样本进行至少一次下间隔采样，并基于所述第一训练样本对集合，以及进行至少一次下间隔采样后获得的训练样本对集合，训练得到所述多尺度去噪网络模型。

在一实施例中，对所述第一训练样本对集合中的第一训练样本进行至少一次下间隔采样，并基于所述第一训练样本对集合，以及进行至少一次下间隔采样后的训练样本对集合，训练得到所述多尺度去噪网络模型，包括：对所述第一训练样本对集合中的第一训练样本对进行下间隔采样，得到第二训练样本对集合和第三训练样本对集合，所述第二训练样本对集合中的第二训练样本对包括第二噪声图像和第二无噪声图像，且相对所述第一训练样本对具有第一下间隔采样倍数，所述第三训练样本对集合中的第三训练样本对包括第三噪声图像和第三无噪声图像，且相对所述第一训练样本对具有第二下间隔采样倍数，所述第一下间隔采样倍数与所述第二下间隔采样倍数不同；基于所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合，训练得到所述多尺度去噪网络模型。

在一实施例中，所述基于所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合，训练得到所述多尺度去噪网络模型，包括：确定所述第一训练样本对集合对应的第一目标损失函数，所述第二训练样本对集合对应的第二目标损失函数，以及所述第三训练样本对集合对应的第三目标损失函数；对所述第一目标损失函数、所述第二目标损失函数以及所述第三目标损失函数进行加权求和，得到用于训练所述多尺度去噪网络模型的多尺度目标损失函数，其中，所述第一目标损失函数、所述第二目标损失函数以及所述第三目标损失函数各自对应的权重依次减小；基于所述多尺度目标损失函数训练所述多尺度去噪网络模型。

在一实施例中，所述基于所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合，训练得到所述多尺度去噪网络模型，包括：分别对所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合进行特征提取，得到第一特征、第二特征以及第三特征；将所述第三特征以第二间隔倍数进行上间隔采样后与所述第二特征进行特征融合，得到第一融合特征，并将所述第二特征以第一间隔倍数进行上间隔采样后与所述第一特征进行特征融合，得到第二融合特征；将所述第一融合特征和所述第二融合特征进行特征融合得到第三融合特征；基于所述第一特征，所述第一融合特征以及所述第三融合特征，训练得到所述多尺度去噪网络模型。

在一实施例中，基于所述预设数量的原始图像构建第一训练样本对集合，包括：基于所述图像采集装置采集的预设数量的原始图像中，选择清晰度最高的原始图像作为参考图像；基于所述参考图像进行对齐融合，得到与所述原始图像对应的无噪声图像；将所述参考图像和所述无噪声图像作为第一训练样本对，构建第一训练样本对集合。

在一实施例中，所述基于所述图像采集装置采集预设数量的原始图像，包括：基于所述图像采集装置针对同一场景目标采集预设数量的原始图像。

根据本公开实施例的第二方面，提供一种图像处理装置，应用于电子设备，所述电子设备中安装有图像采集装置，所述图像处理装置包括：获取模块，用于获取所述图像采集装置采集的包括噪声的待处理图像；图像处理模块，用于将所述待处理图像输入多尺度去噪网络模型，得到去除噪声的目标图像；所述多尺度去噪网络模型为基于所述图像采集装置采集的原始图像，以及对所述原始图像进行下间隔采样后的图像训练得到。

在一实施例中，所述多尺度去噪网络模型采用如下方式基于所述图像采集装置采集的原始图像，以及对所述原始图像进行下间隔采样后的图像得到：基于所述图像采集装置采集预设数量的原始图像，并基于所述预设数量的原始图像构建第一训练样本对集合，所述第一训练样本对集合中的第一样本对包括基于所述原始图像确定的第一噪声图像以及第一无噪声图像；对所述第一训练样本对集合中的第一训练样本进行至少一次下间隔采样，并基于所述第一训练样本对集合，以及进行至少一次下间隔采样后获得的训练样本对集合，训练得到所述多尺度去噪网络模型。

在一实施例中，所述多尺度去噪网络模型采用如下方式对所述第一训练样本对集合中的第一训练样本进行至少一次下间隔采样，并基于所述第一训练样本对集合，以及进行至少一次下间隔采样后的训练样本对集合，训练得到：对所述第一训练样本对集合中的第一训练样本对进行下间隔采样，得到第二训练样本对集合和第三训练样本对集合，所述第二训练样本对集合中的第二训练样本对包括第二噪声图像和第二无噪声图像，且相对所述第一训练样本对具有第一下间隔采样倍数，所述第三训练样本对集合中的第三训练样本对包括第三噪声图像和第三无噪声图像，且相对所述第一训练样本对具有第二下间隔采样倍数，所述第一下间隔采样倍数与所述第二下间隔采样倍数不同；基于所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合，训练得到所述多尺度去噪网络模型。

在一实施例中，所述多尺度去噪网络模型采用如下方式基于所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合，训练得到：确定所述第一训练样本对集合对应的第一目标损失函数，所述第二训练样本对集合对应的第二目标损失函数，以及所述第三训练样本对集合对应的第三目标损失函数；对所述第一目标损失函数、所述第二目标损失函数以及所述第三目标损失函数进行加权求和，得到用于训练所述多尺度去噪网络模型的多尺度目标损失函数，其中，所述第一目标损失函数、所述第二目标损失函数以及所述第三目标损失函数各自对应的权重依次减小；基于所述多尺度目标损失函数训练所述多尺度去噪网络模型。

在一实施例中，所述多尺度去噪网络模型采用如下方式基于所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合，训练得到：分别对所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合进行特征提取，得到第一特征、第二特征以及第三特征；将所述第三特征以第二间隔倍数进行上间隔采样后与所述第二特征进行特征融合，得到第一融合特征，并将所述第二特征以第一间隔倍数进行上间隔采样后与所述第一特征进行特征融合，得到第二融合特征；将所述第一融合特征和所述第二融合特征进行特征融合得到第三融合特征；基于所述第一特征，所述第一融合特征以及所述第三融合特征，训练得到所述多尺度去噪网络模型。

在一实施例中，所述多尺度去噪网络模型采用如下方式基于所述预设数量的原始图像构建第一训练样本对集合：基于所述图像采集装置采集的预设数量的原始图像中，选择清晰度最高的原始图像作为参考图像；基于所述参考图像进行对齐融合，得到与所述原始图像对应的无噪声图像；将所述参考图像和所述无噪声图像作为第一训练样本对，构建第一训练样本对集合。

在一实施例中，所述多尺度去噪网络模型采用如下方式基于所述图像采集装置采集预设数量的原始图像：基于所述图像采集装置针对同一场景目标采集预设数量的原始图像。

根据本公开实施例的第三方面，提供一种功能控制装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为：执行前述任意一项所述的图像处理方法。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行前述任意一项所述的图像处理方法。

本公开的实施例提供的技术方案可以包括以下有益效果：通过基于图像采集装置采集的包括噪声的原始图像，以及对原始图像进行下间隔采样后的图像训练，得到多尺度去噪网络模型，将待处理图像输入多尺度去噪网络模型，得到去除噪声的目标图像，有效地去除图像采集装置采集的图像中包括的噪声，提高图像质量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据本公开一示例性实施例示出的一种图像处理方法的流程图。

图2是根据本公开一示例性实施例示出的一种多尺度去噪网络模型训练方法的流程图。

图3是根据本公开一示例性实施例示出的一种多尺度去噪网络模型训练方法的流程图。

图4是根据本公开一示例性实施例示出的一种多尺度去噪网络模型训练方法的流程图。

图5是根据本公开一示例性实施例示出的一种多尺度去噪网络模型训练方法的流程图。

图6是根据本公开一示例性实施例示出的一种多尺度去噪网络模型训练方法的流程图。

图7是根据本公开一示例性实施例示出的一种多尺度去噪网络模型训练方法的示意图。

图8是根据本公开一示例性实施例示出的一种图像处理装置框图。

图9是根据一示例性实施例示出的一种用于图像处理装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

终端的拍摄功能成为其必备功能，随着用户使用终端的拍摄需求的日益增加，终端的配置越来越高。利用终端拍摄视频、图像由于其便利性。成为日常生活的一部分，希望通过终端拍摄具有高质量的图像。

进行图像以及视频的拍摄时，在图像采集、传输、压缩等各个步骤中，不可避免的会引入噪声。消除图片中的噪声，恢复高清的图像是目前广受关注的焦点问题。

终端由于其设计的限制，摄像头光圈较小，导致在亮度低的环境进行拍摄时，例如，夜景拍摄时，由于环境光线暗，相对于正常亮度拍摄的图像，图像中的噪声，尤其低频噪声更加严重。当前技术中，对于低频噪声的无法进行有效处理，降低了图像质量，影响用户体验。

由此，本公开提供一种图像处理方法，通过基于图像采集装置采集的包括噪声的原始图像，以及对原始图像进行下间隔采样后的图像训练，得到多尺度去噪网络模型，将待处理图像输入多尺度去噪网络模型，得到去除噪声的目标图像，有效地去除图像采集装置采集的图像中包括的噪声，提高图像质量。

图1是根据本公开一示例性实施例示出的一种图像处理方法的流程图，如图1所示，图像处理方法用于电子设备，电子设备中安装有图像采集装置，图像处理方法包括以下步骤。

在步骤S101中，获取图像采集装置采集的包括噪声的待处理图像。

在步骤S102中，将待处理图像输入多尺度去噪网络模型，得到去除噪声的目标图像，多尺度去噪网络模型为基于图像采集装置采集的原始图像，以及对原始图像进行下间隔采样后的图像训练得到。

诸如数码相机、手机等电子设备中的图像采集装置，根据光源的不同强度调节图像采集装置的感光能力。为了保证画质，当快门时间固定，光圈大小固定，通过调整信号的放大倍率来实现信息的放大。信号放大使得电路暗电流增加，导致采集的图像产生杂色斑点，即图像的噪声。同时，信号中的噪声放大，产生粗微粒的影。图像中像素灰度值变化快的就是高频部分，变化慢的就是低频部分，在夜景等光线较暗的拍摄场景下，电子设备通过放大信号来提升图像亮度，进一步加剧图像的彩噪，尤其低频彩噪。

在本公开实施例中，图像采集装置采集的原始图像可以理解为是未经处理的图像，通常可以理解为是包括噪声的原始图像。

对原始图像进行下间隔采样，可以得到相对于原始图像更小尺度的图像，用于实现对信号的不同粒度的采样，以在不同的尺度下提取不同的特征，获取更强大的特征表达。基于图像采集装置采集的包括噪声的原始图像，以及对原始图像进行下间隔采样的图像，训练去噪网络模型，得到的网络模型为多尺度的。利用多尺度网络模型进行图像去噪声处理，网络模型的准确度高，去噪效果好。

根据本公开的实施例，通过基于图像采集装置采集的包括噪声的原始图像，以及对原始图像进行下间隔采样后的图像训练，得到多尺度去噪网络模型，将待处理图像输入多尺度去噪网络模型，得到去除噪声的目标图像，有效地去除图像采集装置采集的图像中包括的噪声，提高图像质量。

图2是根据本公开一示例性实施例示出的一种多尺度去噪网络模型训练方法的流程图，如图2所示，多尺度去噪网络模型训练方法包括以下步骤。

在步骤S201中，基于图像采集装置采集预设数量的原始图像，并基于预设数量的原始图像构建第一训练样本对集合，第一训练样本对集合中的第一样本对包括基于原始图像确定的第一噪声图像以及第一无噪声图像。

在步骤S202中，对第一训练样本对集合中的第一训练样本进行至少一次下间隔采样，并基于第一训练样本对集合，以及进行至少一次下间隔采样后获得的训练样本对集合，训练得到多尺度去噪网络模型。

在本公开实施例中，基于图像采集装置采集预设数量的原始图像，原始图像可以是图像采集装置采集的，针对不同场景，固定场景目标采集的、包括噪声的图像，预设数量可以是根据图像处理的要求预先设定。基于原始图像确定的第一噪声图像，以及第一噪声图像对应的第一无噪声图像，第一噪声图像与对应的第一无噪声图像组成第一样本对，多个第一样本对构建成第一训练样本对集合。可以理解地，第一训练样本对集合中的第一样本对的数量，小于原始图像的预设数量。

对第一训练样本对集合中的第一训练样本进行下间隔采样，以得到相对于第一训练样本更小尺度的训练样本，实现对信号的不同粒度的采样，以在提取不同尺度的图像特征。在本公开实施例中，对第一训练样本对集合中的第一训练样本进行至少一次下间隔采样，对应得到至少一组下间隔采样后的训练样本对集合。可以理解地，分别对第一训练样本对集合中的第一噪声图像以及第一无噪声图像进行下间隔采样，得到至少一组下间隔采样后的训练样本对集合。

基于第一训练样本对集合，以及进行至少一次下间隔采样后的训练样本对集合，训练得到多尺度去噪网络模型，训练去噪网络模型，对多尺度去噪网络模型的训练效果好，对利用多尺度网络模型进行图像去噪声处理提供良好的模型基础。

根据本公开的实施例，通过基于图像采集装置采集的包括噪声的原始图像，以及对原始图像进行下间隔采样后的图像训练，得到多尺度去噪网络模型，将待处理图像输入多尺度去噪网络模型，得到去除噪声的目标图像，有效地去除图像采集装置采集的图像中包括的噪声，提高图像质量。

图3是根据本公开一示例性实施例示出的一种多尺度去噪网络模型训练方法的流程图，如图3所示，多尺度去噪网络模型训练方法包括以下步骤。

在步骤S301中，对第一训练样本对集合中的第一训练样本对进行下间隔采样，得到第二训练样本对集合和第三训练样本对集合。

第二训练样本对集合中的第二训练样本对包括第二噪声图像和第二无噪声图像，且相对第一训练样本对具有第一下间隔采样倍数，第三训练样本对集合中的第三训练样本对包括第三噪声图像和第三无噪声图像，且相对第一训练样本对具有第二下间隔采样倍数，第一下间隔采样倍数与第二下间隔采样倍数不同。

在步骤S302中，基于第一训练样本对集合、第二训练样本对集合以及第三训练样本对集合，训练得到多尺度去噪网络模型。

在本公开实施例中，对第一训练样本对集合中的第一训练样本进行下间隔采样，以得到相对于第一训练样本更小尺度的训练样本，即第二训练样本对集合和第三训练样本对集合，实现对信号的不同粒度的采样，提取不同尺度的图像特征。

一种实施方式中，本公开实施例中对第一训练样本对集合中的第一训练样本对以第一下间隔采样倍数进行下间隔采样，得到第二训练样本对集合，第二训练样本对集合中的第二训练样本对包括第二噪声图像和第二无噪声图像。

本公开实施例中针对第三训练样本对集合一方面可以是对第一训练样本对集合进行下间隔采样得到，或者也可以是对第二训练样本对集合进行下间隔采样得到。

在本公开一实施例中，对第一训练样本对集合中的第一训练样本对以第二下间隔采样倍数进行下间隔采样，得到第三训练样本对集合。第三训练样本对集合中的第三训练样本对包括第三噪声图像和第三无噪声图像，第二下间隔采样倍数不同于第一下间隔采样倍数，例如第二下间隔采样倍数大于第一下间隔采样倍数。

在本公开一实施例中，还可以是对第二训练样本对集合中的第二训练样本对以第三下间隔采样倍数进行下间隔采样，得到第三训练样本对集合。第三训练样本对集合中的第三训练样本对包括第三噪声图像和第三无噪声图像。第三下间隔采样倍数与第一下间隔采样倍数相同或不同。

一示例中，例如，对第一训练样本对集合中的第一训练样本对进行2倍间隔下采样，即对第一训练样本间隔两个像素进行采样，得到第二训练样本对集合。第一训练样本的图像，即原始图像的像素值为512×512的大尺度图像时，第二训练样本对相对于第一训练样本对为中尺度图像，且第二训练样本的图像像素值为256×256。

其中，得到第三训练样本对集合的方法，可以是对第一训练样本对集合中的第一训练样本对进行4倍间隔下采样，即对第一训练样本间隔四个像素进行采样，得到第三训练样本对集合。第一训练样本的图像，即原始图像的像素值为512×512的大尺度图像时，第三训练样本对相对于第一训练样本对为小尺度图像，且第三训练样本的图像像素值为128×128。得到第三训练样本对集合的方法，还可以是对第二训练样本对集合中的第二训练样本对以2倍间隔下采样，即对第二训练样本间隔两个像素进行采样，得到第三训练样本对集合。

根据本公开的实施例，基于大尺度、中尺度、小尺度的第一训练样本对集合、第二训练样本对集合以及第三训练样本对集合，训练得到多尺度去噪网络模型，得到多尺度去噪网络模型，将待处理图像输入多尺度去噪网络模型，得到去除噪声的目标图像，有效地去除图像采集装置采集的图像中包括的噪声，提高图像质量。

图4是根据本公开一示例性实施例示出的一种多尺度去噪网络模型训练方法的流程图，如图4所示，多尺度去噪网络模型训练方法包括以下步骤。

在步骤S401中，确定第一训练样本对集合对应的第一目标损失函数，第二训练样本对集合对应的第二目标损失函数，以及第三训练样本对集合对应的第三目标损失函数。

在步骤S402中，对第一目标损失函数、第二目标损失函数以及第三目标损失函数进行加权求和，得到用于训练多尺度去噪网络模型的多尺度目标损失函数，其中，第一目标损失函数、第二目标损失函数以及第三目标损失函数各自对应的权重依次减小。

在步骤S403中，基于多尺度目标损失函数训练多尺度去噪网络模型。

在本公开实施例中，单个图像中的平坦区域往往占比较多，富含结构像素的例如边缘、轮廓、纹理区域偏少，即图像中高频信息较少，低频信息相对较多。训练多尺度去噪网络模型的后期，损失函数将在稳定值附近波动，难以继续收敛以达到更高精度，不利于占据比例较少的结构像素进一步学习，对于高频细节恢复难以得到充分的学习。由于小尺度图像中低频信息占比较大，在确定多尺度目标损失函数时，小尺度图像的权重可以是取为小于大尺度图像的权重。对第一目标损失函数、第二目标损失函数以及第三目标损失函数进行加权求和，得到训练多尺度去噪网络模型的多尺度目标损失函数，第一目标损失函数、第二目标损失函数以及第三目标损失函数各自对应的权重依次减小。

确定多尺度目标损失函数时，可以采用如下公式，即：

Loss＝a×Loss1+b×Loss2+c×Loss3

其中，Loss1、Loss2和Loss3分别代表大尺度图像、中尺度图像及低尺度图像三种尺度图像的第一目标损失函数、第二目标损失函数以及第三目标损失函数，a、b、c依次对应大尺度图像、中尺度图像及低尺度图像的权重。第一目标损失函数、第二目标损失函数以及第三目标损失函数各自对应的权重依次减小，即a>b>c，a、b、c在0到1之间取值，使大尺度图像，即原始图像的权重取为大值。例如，可以是取为a＝1，b＝0.7,c＝0.4。

根据本公开的实施例，对大尺度图像对应的第一目标损失函数、中尺度图像对应的第二目标损失函数以及小尺度图像对应的第三目标损失函数进行加权求和，得到用于训练多尺度去噪网络模型的多尺度目标损失函数，第一目标损失函数、第二目标损失函数以及第三目标损失函数各自对应的权重依次减小，使得利用多尺度目标损失函数进行训练得到的模型，在进行图像处理时，避免图像中的高频细节被消除造成的处理结果偏平滑，提高图像处理的质量。

图5是根据本公开一示例性实施例示出的一种多尺度去噪网络模型训练方法的流程图，如图5所示，多尺度去噪网络模型训练方法包括以下步骤。

在步骤S501中，分别对第一训练样本对集合、第二训练样本对集合以及第三训练样本对集合进行特征提取，得到第一特征、第二特征以及第三特征。

在步骤S502中，将第三特征以第二间隔倍数进行上间隔采样后与第二特征进行特征融合，得到第一融合特征，并将第二特征以第一间隔倍数进行上间隔采样后与第一特征进行特征融合，得到第二融合特征。

在步骤S503中，将第一融合特征和第二融合特征进行特征融合得到第三融合特征。

在步骤S504中，基于第一特征，第一融合特征以及第三融合特征，训练得到多尺度去噪网络模型。

在本公开实施例中，分别对第一训练样本对集合、第二训练样本对集合以及第三训练样本对集合进行特征提取，得到第一特征、第二特征以及第三特征。第一训练样本对集合对应原始图像，即大尺度图像，第二训练样本对集合对应中尺度图像，第三训练样本对集合对应中尺度图像。即第一特征对应表示原始图像特征、第二特征对应表示中尺度图像特征以及第三特征对应表示小尺度图像特征。

将小尺度图像特征以第二间隔倍数进行上间隔采样后，与中尺度图像特征进行特征融合，得到第一融合特征，并将中尺度图像特征以第一间隔倍数进行上间隔采样后与大尺度图像特征进行特征融合，得到第二融合特征。将第一融合特征和第二融合特征进行特征融合得到第三融合特征。基于原始图像特征，第一融合特征以及第三融合特征，训练得到多尺度去噪网络模型。

在进行特征融合时，例如，可以是将得到的三个不同尺度大小的特征图，通过特征通道连接得到一个多道数的特征块，然后经过多个残差块，并通过反卷积进行上采样。将不同尺度的特征连接到后面对应大小的特征上，实现不同尺度大小图像的特征融合。可以理解地，也可以采用图像处理技术中的其它特征融合方法，本公开对多尺度特征融合的方法不作限定。

根据本公开的实施例，分别对第一训练样本对集合、第二训练样本对集合以及第三训练样本对集合进行特征提取，并基于第一特征，第一融合特征以及第三融合特征训练得到多尺度去噪网络模型，使得多尺度去噪网络模型的信息更加丰富，进一度提高模型的精度，从而提高图像处理的质量。

在本公开实施例中，对多尺度去噪网络模型的训练，可以是采用随机梯度下降法，例如，Adam优化算法，对不同的参数进行自适应调节学习率。例如，多尺度去噪网络模型的初始学习率设置为0.0001，训练时每迭代10000次，学习率就进行衰减0.7，图像大小设置为512×512，每一个批次设置为4。

图6是根据本公开一示例性实施例示出的一种多尺度去噪网络模型训练方法的流程图，如图6所示，多尺度去噪网络模型训练方法包括以下步骤。

在步骤S601中，基于图像采集装置采集的预设数量的原始图像中，选择清晰度最高的原始图像作为参考图像。

在步骤S602中，基于参考图像进行对齐融合，得到与原始图像对应的无噪声图像。

在步骤S603中，将参考图像和无噪声图像作为第一训练样本对，构建第一训练样本对集合。

在本公开实施例中，基于图像采集装置采集的预设数量的原始图像中，选择清晰度最高的原始图像作为参考图像。可以通过图像识别算法或者人工选择，确定清晰度最高的原始图像。基于参考图像进行对齐融合，对齐融合，得到不同帧中像素之间的对应关系且将对应像素加权平均，得到与原始图像对应的无噪声图像，无噪声图像作为(GroundTruth，GT)。参考图像和对应的无噪声图像作为第一训练样本对，多个第一训练样本对构建第一训练样本对集合。

根据本公开的实施例，选择图像采集装置采集的原始图像中清晰度最高的原始图像作为参考图像，基于参考图像得到无噪声图像，组成第一训练样本对，构建第一训练样本对集合，采用更为精准的图像数据进行去噪网络模型的训练，使得训练出的模型适用于噪声图像的处理，提高图像处理的质量。

在一实施例中，基于图像采集装置针对同一场景目标采集预设数量的原始图像。

在本公开实施例中，可以是将电子设备进行固定，以确定图像拍摄条件的一致性，针对同一场景目标，采集预设数量的原始图像，例如，针对同一场景，固定场景目标，连续拍摄预设数量的原始图像。

根据本公开的实施例，基于图像采集装置针对同一场景目标采集预设数量的原始图像，即采用真实的噪声数据进行去噪网络模型的训练，使得模型训练效果更好，为图像处理提供支持。

图7是根据本公开一示例性实施例示出的一种多尺度去噪网络模型训练方法的示意图。参照图7，由上至下示意出了三种尺度图像进行图像处理的过程。即大尺度图像、中尺度图像和小尺度图像分别经过多层卷积，分别对第一训练样本对集合、第二训练样本对集合以及第三训练样本对集合进行特征提取，得到第一特征、第二特征以及第三特征。将小尺度图像的第三特征以第二间隔倍数进行上间隔采样后与中尺度图像的第二特征进行特征融合，得到第一融合特征，并将中尺度图像的第二特征以第一间隔倍数进行上间隔采样后与大尺度图像的第一特征进行特征融合，得到第二融合特征。将第一融合特征和第二融合特征进行特征融合得到第三融合特征，基于第一特征，第一融合特征以及第三融合特征，训练得到多尺度去噪网络模型，利用多尺度去噪网络模型进行图像去噪声处理，提高模型的精度，从而提高图像处理的质量。

基于相同的构思，本公开实施例还提供一种图像处理装置。

可以理解的是，本公开实施例提供的图像处理装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。

图8是根据本公开一示例性实施例示出的一种图像处理装置框图。参照图8，该图像处理装置100应用于电子设备，电子设备中安装有图像采集装置，图像处理装置100包括获取模块101和图像处理模块102。

获取模块101，用于获取图像采集装置采集的包括噪声的待处理图像。

图像处理模块102，用于将待处理图像输入多尺度去噪网络模型，得到去除噪声的目标图像，多尺度去噪网络模型为基于图像采集装置采集的原始图像，以及对原始图像进行下间隔采样后的图像训练得到。

在一实施例中，多尺度去噪网络模型采用如下方式基于图像采集装置采集的原始图像，以及对原始图像进行下间隔采样后的图像得到：基于图像采集装置采集预设数量的原始图像，并基于预设数量的原始图像构建第一训练样本对集合，第一训练样本对集合中的第一样本对包括基于原始图像确定的第一噪声图像以及第一无噪声图像；对第一训练样本对集合中的第一训练样本进行至少一次下间隔采样，并基于第一训练样本对集合，以及进行至少一次下间隔采样后获得的训练样本对集合，训练得到多尺度去噪网络模型。

在一实施例中，多尺度去噪网络模型采用如下方式对第一训练样本对集合中的第一训练样本进行至少一次下间隔采样，并基于第一训练样本对集合，以及进行至少一次下间隔采样后的训练样本对集合，训练得到：对第一训练样本对集合中的第一训练样本对进行下间隔采样，得到第二训练样本对集合和第三训练样本对集合，第二训练样本对集合中的第二训练样本对包括第二噪声图像和第二无噪声图像，且相对第一训练样本对具有第一下间隔采样倍数，第三训练样本对集合中的第三训练样本对包括第三噪声图像和第三无噪声图像，且相对第一训练样本对具有第二下间隔采样倍数，第一下间隔采样倍数与第二下间隔采样倍数不同；基于第一训练样本对集合、第二训练样本对集合以及第三训练样本对集合，训练得到多尺度去噪网络模型。

在一实施例中，多尺度去噪网络模型采用如下方式基于第一训练样本对集合、第二训练样本对集合以及第三训练样本对集合，训练得到：确定第一训练样本对集合对应的第一目标损失函数，第二训练样本对集合对应的第二目标损失函数，以及第三训练样本对集合对应的第三目标损失函数；对第一目标损失函数、第二目标损失函数以及第三目标损失函数进行加权求和，得到用于训练多尺度去噪网络模型的多尺度目标损失函数，其中，第一目标损失函数、第二目标损失函数以及第三目标损失函数各自对应的权重依次减小；基于多尺度目标损失函数训练多尺度去噪网络模型。

在一实施例中，多尺度去噪网络模型采用如下方式基于第一训练样本对集合、第二训练样本对集合以及第三训练样本对集合，训练得到：分别对第一训练样本对集合、第二训练样本对集合以及第三训练样本对集合进行特征提取，得到第一特征、第二特征以及第三特征；将第三特征以第二间隔倍数进行上间隔采样后与第二特征进行特征融合，得到第一融合特征，并将第二特征以第一间隔倍数进行上间隔采样后与第一特征进行特征融合，得到第二融合特征；将第一融合特征和第二融合特征进行特征融合得到第三融合特征；基于第一特征，第一融合特征以及第三融合特征，训练得到多尺度去噪网络模型。

在一实施例中，多尺度去噪网络模型采用如下方式基于预设数量的原始图像构建第一训练样本对集合：基于图像采集装置采集的预设数量的原始图像中，选择清晰度最高的原始图像作为参考图像；基于参考图像进行对齐融合，得到与原始图像对应的无噪声图像；将参考图像和无噪声图像作为第一训练样本对，构建第一训练样本对集合。

在一实施例中，多尺度去噪网络模型采用如下方式基于图像采集装置采集预设数量的原始图像：基于图像采集装置针对同一场景目标采集预设数量的原始图像。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图9是根据一示例性实施例示出的一种用于图像处理的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图9，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。

进一步可以理解的是，除非有特殊说明，“连接”包括两者之间不存在其他构件的直接连接，也包括两者之间存在其他元件的间接连接。

进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种图像处理方法，其特征在于，应用于电子设备，所述电子设备中安装有图像采集装置，所述图像处理方法包括：

获取所述图像采集装置采集的包括噪声的待处理图像；

将所述待处理图像输入多尺度去噪网络模型，得到去除噪声的目标图像；

所述多尺度去噪网络模型为基于所述图像采集装置采集的原始图像，以及对所述原始图像进行下间隔采样后的图像训练得到。

2.根据权利要求1所述的图像处理方法，其特征在于，所述多尺度去噪网络模型采用如下方式基于所述图像采集装置采集的原始图像，以及对所述原始图像进行下间隔采样后的图像得到：

基于所述图像采集装置采集预设数量的原始图像，并基于所述预设数量的原始图像构建第一训练样本对集合，所述第一训练样本对集合中的第一样本对包括基于所述原始图像确定的第一噪声图像以及第一无噪声图像；

对所述第一训练样本对集合中的第一训练样本进行至少一次下间隔采样，并基于所述第一训练样本对集合，以及进行至少一次下间隔采样后获得的训练样本对集合，训练得到所述多尺度去噪网络模型。

3.根据权利要求2所述的图像处理方法，其特征在于，对所述第一训练样本对集合中的第一训练样本进行至少一次下间隔采样，并基于所述第一训练样本对集合，以及进行至少一次下间隔采样后的训练样本对集合，训练得到所述多尺度去噪网络模型，包括：

对所述第一训练样本对集合中的第一训练样本对进行下间隔采样，得到第二训练样本对集合和第三训练样本对集合，

所述第二训练样本对集合中的第二训练样本对包括第二噪声图像和第二无噪声图像，且相对所述第一训练样本对具有第一下间隔采样倍数，

所述第三训练样本对集合中的第三训练样本对包括第三噪声图像和第三无噪声图像，且相对所述第一训练样本对具有第二下间隔采样倍数，

所述第一下间隔采样倍数与所述第二下间隔采样倍数不同；

基于所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合，训练得到所述多尺度去噪网络模型。

4.根据权利要求3所述的图像处理方法，其特征在于，所述基于所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合，训练得到所述多尺度去噪网络模型，包括：

确定所述第一训练样本对集合对应的第一目标损失函数，所述第二训练样本对集合对应的第二目标损失函数，以及所述第三训练样本对集合对应的第三目标损失函数；

对所述第一目标损失函数、所述第二目标损失函数以及所述第三目标损失函数进行加权求和，得到用于训练所述多尺度去噪网络模型的多尺度目标损失函数，其中，所述第一目标损失函数、所述第二目标损失函数以及所述第三目标损失函数各自对应的权重依次减小；

基于所述多尺度目标损失函数训练所述多尺度去噪网络模型。

5.根据权利要求3或4所述的图像处理方法，其特征在于，所述基于所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合，训练得到所述多尺度去噪网络模型，包括：

分别对所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合进行特征提取，得到第一特征、第二特征以及第三特征；

将所述第三特征以第二间隔倍数进行上间隔采样后与所述第二特征进行特征融合，得到第一融合特征，并将所述第二特征以第一间隔倍数进行上间隔采样后与所述第一特征进行特征融合，得到第二融合特征；

将所述第一融合特征和所述第二融合特征进行特征融合得到第三融合特征；

基于所述第一特征，所述第一融合特征以及所述第三融合特征，训练得到所述多尺度去噪网络模型。

6.根据权利要求2所述的图像处理方法，其特征在于，基于所述预设数量的原始图像构建第一训练样本对集合，包括：

基于所述图像采集装置采集的预设数量的原始图像中，选择清晰度最高的原始图像作为参考图像；

基于所述参考图像进行对齐融合，得到与所述原始图像对应的无噪声图像；

将所述参考图像和所述无噪声图像作为第一训练样本对，构建第一训练样本对集合。

7.根据权利要求6所述的图像处理方法，其特征在于，所述基于所述图像采集装置采集预设数量的原始图像，包括：

基于所述图像采集装置针对同一场景目标采集预设数量的原始图像。

8.一种图像处理装置，其特征在于，应用于电子设备，所述电子设备中安装有图像采集装置，所述图像处理装置包括：

获取模块，用于获取所述图像采集装置采集的包括噪声的待处理图像；

图像处理模块，用于将所述待处理图像输入多尺度去噪网络模型，得到去除噪声的目标图像；

所述多尺度去噪网络模型为基于所述图像采集装置采集的原始图像，以及对所述原始图像进行下间隔采样后的图像训练得到。

9.根据权利要求8所述的图像处理装置，其特征在于，所述多尺度去噪网络模型采用如下方式基于所述图像采集装置采集的原始图像，以及对所述原始图像进行下间隔采样后的图像得到：

基于所述图像采集装置采集预设数量的原始图像，并基于所述预设数量的原始图像构建第一训练样本对集合，所述第一训练样本对集合中的第一样本对包括基于所述原始图像确定的第一噪声图像以及第一无噪声图像；

对所述第一训练样本对集合中的第一训练样本进行至少一次下间隔采样，并基于所述第一训练样本对集合，以及进行至少一次下间隔采样后获得的训练样本对集合，训练得到所述多尺度去噪网络模型。

10.根据权利要求9所述的图像处理装置，其特征在于，所述多尺度去噪网络模型采用如下方式对所述第一训练样本对集合中的第一训练样本进行至少一次下间隔采样，并基于所述第一训练样本对集合，以及进行至少一次下间隔采样后的训练样本对集合，训练得到：

对所述第一训练样本对集合中的第一训练样本对进行下间隔采样，得到第二训练样本对集合和第三训练样本对集合，

所述第二训练样本对集合中的第二训练样本对包括第二噪声图像和第二无噪声图像，且相对所述第一训练样本对具有第一下间隔采样倍数，

所述第三训练样本对集合中的第三训练样本对包括第三噪声图像和第三无噪声图像，且相对所述第一训练样本对具有第二下间隔采样倍数，

所述第一下间隔采样倍数与所述第二下间隔采样倍数不同；

基于所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合，训练得到所述多尺度去噪网络模型。

11.根据权利要求10所述的图像处理装置，其特征在于，所述多尺度去噪网络模型采用如下方式基于所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合，训练得到：

确定所述第一训练样本对集合对应的第一目标损失函数，所述第二训练样本对集合对应的第二目标损失函数，以及所述第三训练样本对集合对应的第三目标损失函数；

对所述第一目标损失函数、所述第二目标损失函数以及所述第三目标损失函数进行加权求和，得到用于训练所述多尺度去噪网络模型的多尺度目标损失函数，其中，所述第一目标损失函数、所述第二目标损失函数以及所述第三目标损失函数各自对应的权重依次减小；

基于所述多尺度目标损失函数训练所述多尺度去噪网络模型。

12.根据权利要求10或11所述的图像处理装置，其特征在于，所述多尺度去噪网络模型采用如下方式基于所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合，训练得到：

分别对所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合进行特征提取，得到第一特征、第二特征以及第三特征；

将所述第三特征以第二间隔倍数进行上间隔采样后与所述第二特征进行特征融合，得到第一融合特征，并将所述第二特征以第一间隔倍数进行上间隔采样后与所述第一特征进行特征融合，得到第二融合特征；

将所述第一融合特征和所述第二融合特征进行特征融合得到第三融合特征；

基于所述第一特征，所述第一融合特征以及所述第三融合特征，训练得到所述多尺度去噪网络模型。

13.根据权利要求9所述的图像处理装置，其特征在于，所述多尺度去噪网络模型采用如下方式基于所述预设数量的原始图像构建第一训练样本对集合：

基于所述图像采集装置采集的预设数量的原始图像中，选择清晰度最高的原始图像作为参考图像；

基于所述参考图像进行对齐融合，得到与所述原始图像对应的无噪声图像；

将所述参考图像和所述无噪声图像作为第一训练样本对，构建第一训练样本对集合。

14.根据权利要求13所述的图像处理装置，其特征在于，所述多尺度去噪网络模型采用如下方式基于所述图像采集装置采集预设数量的原始图像：

基于所述图像采集装置针对同一场景目标采集预设数量的原始图像。

15.一种图像处理装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行权利要求1至7中任意一项所述的图像处理方法。

16.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行权利要求1至7中任意一项所述的图像处理方法。

Images