CN110677557B - 图像处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备，其中，通过获取待拍摄场景的多帧场景图像；获取多帧场景图像在每一像素位置的像素均值；在像素均值的小数部分增加预设小数值，以使得像素均值的小数部分在取整后进位为1，或者退位为0；对增加预设小数值后的像素均值进行取整处理，并根据取整得到的整数像素值生成多帧场景图像的合成场景图像，使得合成场景图像相较于单帧的场景图像具有更少的噪点，达到提升图像质量的目的。

Description

图像处理方法、装置、存储介质及电子设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像处理方法、装置、存储介质及电子设备。

背景技术

目前，用户通常利用具有拍摄功能的电子设备拍摄图像，能够通过这些电子设备随时随地的记录身边发生的事情，看到的景物等。在电子设备给用户的日常拍摄带来便捷的同时，用户对电子设备的图像拍摄质量的要求也越来越高。然而，由于电子设备的自身硬件原因，导致拍摄的图像中存在噪点，影响了图像质量。

发明内容

本申请实施例提供了一种图像处理方法、装置、存储介质及电子设备，能够提升电子设备拍摄图像的质量。

第一方面，本申请实施例提供了一种图像处理方法，应用于电子设备，所述图像处理方法包括：

获取待拍摄场景的多帧场景图像；

获取所述多帧场景图像在每一像素位置的像素均值；

在所述像素均值的小数部分增加预设小数值，以使得所述像素均值的小数部分在取整后进位为1，或者退位为0；

对增加所述预设小数值后的像素均值进行取整处理，并根据取整得到的整数像素值生成所述多帧场景图像的合成场景图像。

第二方面，本申请实施例提供了一种图像处理装置，应用于电子设备，所述图像处理装置包括：

图像获取模块，用于获取待拍摄场景的多帧场景图像；

均值获取模块，用于获取所述多帧场景图像在每一像素位置的像素均值；

均值更新模块，用于在所述像素均值的小数部分增加预设小数值，以使得所述像素均值的小数部分在取整后进位为1，或者退位为0；

图像生成模块，用于对增加所述预设小数值后的像素均值进行取整处理，并根据取整得到的整数像素值生成所述多帧场景图像的合成场景图像。

第三方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，当所述计算机程序被处理器调用时，使得所述处理器执行如本申请实施例提供的图像处理方法。

第四方面，本申请实施例提供了一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，且所述处理器通过调用所述计算机程序，用于执行如本申请实施例提供的图像处理方法。

相比于相关技术，本申请通过获取待拍摄场景的多帧场景图像；获取多帧场景图像在每一像素位置的像素均值；在像素均值的小数部分增加预设小数值，以使得像素均值的小数部分在取整后进位为1，或者退位为0；对增加预设小数值后的像素均值进行取整处理，并根据取整得到的整数像素值生成多帧场景图像的合成场景图像，使得合成场景图像相较于单帧的场景图像具有更少的噪点，达到提升图像质量的目的。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像处理方法的一流程示意图。

图2是本申请实施例中输入成像指令的一示例图。

图3是本申请实施例中对合成场景图像进行图像增强的效果示意图。

图4是本申请实施例提供的图像处理方法的另一流程示意图。

图5是本申请实施例提供的图像处理装置的一结构示意图。

图6是本申请实施例提供的电子设备的一结构示意图。

图7是本申请实施例提供的电子设备的另一结构示意图。

具体实施方式

应当说明的是，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

本申请实施例提供一种图像处理方法、图像处理装置、存储介质以及电子设备。其中，该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置，或者集成了该图像处理装置的电子设备，其中该图像处理装置可以采用硬件或者软件的方式实现，电子设备可为计算设备诸如膝上型计算机、包含嵌入式计算机的计算机监视器、平板电脑、蜂窝电话、媒体播放器、或其他手持式或便携式电子设备、较小的设备(诸如腕表设备、挂式设备、耳机或听筒设备、被嵌入在眼镜中的设备或者佩戴在用户的头部上的其他设备，或其他可佩戴式或微型设备)、电视机、不包含嵌入式计算机的计算机显示器、游戏设备、导航设备、嵌入式系统(诸如其中具有显示器的电子设备被安装在信息亭或汽车中的系统)等。

请参照图1，图1为本申请实施例提供的图像处理方法的流程示意图，以下将从电子设备的角度进行说明，如图1所示，本申请实施例提供的图像处理方法的流程可以如下：

在101中，获取待拍摄场景的多帧场景图像。

应当说明的是，为了消除图像中噪点，通常采用多帧合成降噪的方式。多帧合成降噪最简单的实现方式就是多帧图像像素值相加取平均值，不稳定的高斯白噪声因为分布的规律性，会在叠加过程中相互抵消，而真实的细节不会发生变化，由此实现降噪的目的。

本申请的发明人发现，虽然多帧降噪合成能够有效的实现降噪，但是在某些特殊场景，使用多帧降噪合成反而可能恶化图像质量。

比如，在低环境照度(环境照度低于1勒克斯)的场景下，拍摄得到的图像有些部分的像素值十分低，几乎接近于0。经过多帧叠加取均值的操作后，因为不能整除的关系会产生1左右的误差，因为相同位置的像素点可能不完全相同，有可能出现一个较小的变化。举例来说，有五帧图像参与多帧叠加取均值，某一像素位置的像素值分别是1,1,1,0,0，经过叠合之后的像素值因为取整的关系就会取0，这个误差在环境照度较高较亮的场景下影响不大，但是在低环境照度的场景下，1的误差经过白平衡之后会产生明显的色偏。

因此，本申请提出一种改进的多帧合成降噪方案。

其中，电子设备可以在接收到输入的成像指令时，根据该成像指令通过摄像头拍摄得到待拍摄场景的多帧场景图像。其中。成像指令可以通过多种方式触发，包括但不限于通过虚拟按键的方式触发、通过物理按键的方式触发、通过语音指令的方式触发等。

例如，请参照图2，用户在操作电子设备启动拍照类应用(比如电子设备的系统应用“相机”)之后，通过移动电子设备，使得电子设备的摄像头对准待拍摄场景(比如图2所示的夜景)之后，可以通过点击“相机”应用界面提供的“拍照”按键(为虚拟按键)触发成像指令。

又例如，使用者在操作电子设备启动拍照类应用之后，通过移动电子设备，使得电子设备的摄像头对准待拍摄场景之后，可以说出语音指令“拍照”，触发成像指令，或者是直接点击电子设备设置的物理拍摄按键，触发成像指令。

在102中，获取多帧场景图像在每一像素位置的像素均值。

在获取到待拍摄场景的多帧场景图像之后，电子设备进一步获取多帧场景图像在每一像素位置的像素均值。

其中，电子设备首先从多帧场景图像中确定出清晰度最大的场景图像作为基准图像，然后，将其它场景图像与基准图像对齐，使得多帧场景图像位于同一坐标空间。

在将多帧场景图像对齐之后，电子设备即获取多帧场景图像在每一像素位置的像素均值。

比如，假设共获取到的五帧场景图像，在对齐这五帧场景图像之后，若这五帧场景图像在某一像素位置的像素值分别为A、B、C、D、E，则这五帧场景图像在该像素位置的像素均值可以表示为(A+B+C+D+E)/5。

在103中，在前述像素均值的小数部分增加预设小数值，以使得前述像素均值的小数部分在取整后进位为1，或者退位为0。

本申请实施例中，在获取得到多帧场景图像在每一像素位置的像素均值之后，电子设备在每一像素位置的像素均值的小数部分增加预设小数值，该预设小数值作为调节因子使得每一像素位置的像素均值的小数部分在取整后进位为1，或者退位为0，从而消除因取整导致的1左右的误差。

在104中，对增加预设小数值后的像素均值进行取整处理，并根据取整得到的整数像素值生成多帧场景图像的合成场景图像。

应当说明的是，在本申请实施例中，摄像头包括图像传感器和图像信号处理器，以上获取的多帧场景图像为从图像传感器直接获取且未经图像信号处理器处理的多帧原始场景图像，也即是RAW格式的场景图像。通俗的说，RAW格式图像就是图像传感器将捕捉到的光源信号转化为数字信号的原始图像。

相应的，本申请实施例中合成得到合成场景图像的图像格式同样为RAW格式。之后，将该RAW格式的合成场景图像送入图像信号处理做进一步处理，比如进行白平衡调整、色度调整、对比度调整、饱和度调整以及伽马校正等。

由上可知，本申请实施例通过获取待拍摄场景的多帧场景图像；获取多帧场景图像在每一像素位置的像素均值；在像素均值的小数部分增加预设小数值，以使得像素均值的小数部分在取整后进位为1，或者退位为0；对增加预设小数值后的像素均值进行取整处理，并根据取整得到的整数像素值生成多帧场景图像的合成场景图像，使得合成场景图像相较于单帧的场景图像具有更少的噪点，达到提升图像质量的目的。

在一实施例中，“获取待拍摄场景的多帧场景图像”之前，还包括：

(1)在预设环境照度下按照预设短曝光时长拍摄得到短曝光图像，并获取短曝光图像的短曝光图像亮度；

(2)以预设短曝光时长为基础逐渐增加拍摄图像的曝光时长，直至拍摄得到清晰度为第一预设清晰度的第一图像时，获取第一图像对应的第一曝光时长；

(3)以预设环境照度为基础逐渐降低环境照度，并确定环境照度改变过程中人眼感受到亮度变化的多个目标环境照度，根据多个目标环境照度标定得到适于人眼感知的亮度变化系数；

(4)根据短曝光图像亮度、第一曝光时长以及亮度变化系数构建用于曝光时长控制的图像亮度和曝光时长的对应关系。

应当说明的是，照度，是一个客观的参量，为单位面积上所能够接收可见光的光通量，单位为勒克斯。亮度，是指物体发射出或反射出的光被人眼所感知的程度。

预设环境照度可由本领域普通技术人员根据实际需要配置，比如，考虑到在低照度环境(环境照度小于或等于1勒克斯)下，当环境照度连续变化时，电子设备所拍摄得到图像的图像亮度将无法适应人眼对低照度环境下的亮度感知，因此，本申请实施例中配置预设环境照度为1勒克斯。

本申请实施例中，预先搭建不透光的测试环境，该测试环境中设置有测试光源，电子设备可以通过控制指令对测试光源的发光量进行调整，以改变测试环境的环境照度。

首先，电子将测试环境的环境照度配置为预设环境照度，从而在预设环境照度下按照预设短曝光时长拍摄，并将此时拍摄得到的图像记为短曝光图像。通常的，长曝光是指曝光时长大于1秒的曝光，短曝光是指曝光时长低于1秒的曝光，以此为约束，可由本领域普通技术人员根据实际需要配置预设短曝光时长，比如，本申请实施例中配置预设短曝光时长为17毫秒。

在拍摄得到短曝光图像之后，电子设备获取该短曝光图像的图像亮度，记为短曝光图像亮度，将短曝光图像亮度作为预设环境照度下人眼所感知到的环境亮度。比如，电子设备获取短曝光图像中各像素点亮度值的平均亮度，设为短曝光图像亮度。

在获取到短曝光图像的短曝光图像亮度之后，电子设备进一步以预设短曝光时长为基础逐渐增加拍摄图像的曝光时长，直至拍摄得到清晰度为第一预设清晰度的第一图像时，获取第一图像对应的第一曝光时长。

比如，在预设环境照度下，电子设备以预设短曝光时长为基础，按照预先设置的时间步长增加拍摄图像的曝光时长，并在每次拍摄得到图像时，获取到该图像的清晰度，并判断该图像的清晰度是否达到第一预设清晰度，是则停止拍摄，将清晰度达到第一预设清晰度的图像记为第一图像，否则继续增加曝光时长，直至拍摄得到清晰度为第一预设清晰度的第一图像。其中，时间步长可由本领域普通技术人员根据实际需要进行设置，本申请实施例中对此不作具体限制，比如，可以设置为1毫秒。

应当说明的是，第一预设清晰度为表征图像为清晰图像的清晰度，可由本领域普通技术人员根据实际需要取经验值。此处对于衡量图像清晰度的方式不做具体限制，可由本领域技术人员采用合适的方式来衡量图像的清晰度，比如，可以采用对比度来衡量图像的清晰度，或者采用空间频率响应值来衡量图像的清晰度。

在拍摄得到清晰度为第一预设清晰度的第一图像时，电子设备获取该第一图像对应的曝光时长，记为第一曝光时长。

此外，电子设备还以预设环境照度为基础逐渐降低环境照度，并确定环境照度改变过程中人眼感受到亮度变化的多个目标环境照度，根据多个目标环境照度标定得到适于人眼感知的亮度变化系数。

比如，电子设备可以发送控制指令到测试光源，以使得测试环境的环境照度按照预先设置的照度步长逐渐降低，并确定环境照度的改变过程中人眼感受到亮度变化多个目标环境照度。其中，照度步长可由本领域普通技术人员根据实际需要进行设置，本申请实施例中对此不作具体限制，比如，可以设置为0.1勒克斯。

示例性的，预先约定测试人员在感知到亮度变化时说出口令“变化”，这样，电子设备可以在改变环境照度的过程中监听测试人员发出的口令“变化”，并将此时的环境照度记为一个目标环境照度，从而确定出环境照度改变过程中人眼感受到亮度变化的多个目标环境照度。

在确定出环境照度改变过程中人眼感受到亮度变化的多个目标环境照度之后，电子设备根据确定出的多个目标环境照度标定得到适于人眼感知的亮度变化系数。

在获取到短曝光图像亮度、第一曝光时长以及亮度变化系数之后，电子设备基于获取到的短曝光图像亮度、第一曝光时长以及亮度变化系数构建用于曝光时长控制的图像亮度和曝光时长的对应关系。

应当说明的是，环境照度从预设环境照度不断降低，按照预设短曝光时长拍摄得到图像的图像亮度也将随之降低，为了保持图像亮度的一致性，以前述短曝光图像亮度为基准，图像亮度每下降多少倍，则曝光时长就应该提高多少倍，因此，图像亮度和曝光时长的对应关系可以表示为：

expVal(cur_luxIndex)＝init_expVal*beta^{alpha*(init_luxIndex-cur_luxIndex)}；

其中，expVal表示曝光时长，cur_luxIndex表示按照预设短曝光时长拍摄得到图像的图像亮度，init_expVal表示第一曝光时长，luxIndex0表示短曝光图像亮度，beta表示亮度变化系数，alpha表示归一化系数，用于将“按照预设短曝光时长拍摄得到图像的图像亮度”和短曝光图像亮度的差值缩放预设的数量值等级，可由本领域普通技术人员根据实际需要参照电子设备摄像头的相关参数设置。

在一实施例中，“根据多个目标环境照度标定得到适于人眼感知的亮度变化系数”，包括：

(1)在每一目标环境照度下按照预设短曝光时长拍摄得到目标短曝光图像，获取每一目标短曝光图像的图像亮度；

(2)根据多个目标短曝光图像的图像亮度进行幂函数拟合，得到亮度变化系数。

本申请实施例中，在每一确定的目标环境照度下，电子设备按照预设短曝光时长进行拍摄，将拍摄得到的图像记为目标短曝光图像，并获取目标短曝光图像的图像亮度。其中，当最后一个目标环境照度不为零时，电子设备将环境照度为0也记为目标环境照度。

比如，以确定的第一个目标环境照度为例，此时拍摄得到第一个目标短曝光图像，获取到其图像亮度记为luxIndex1，即认为当图像亮度介于短曝光图像亮度luxIndex0和luxIndex1之间时，人眼无法分辨出亮度变化。

重复以上步骤，可以得到luxIndex2、luxIndex3，……luxIndexn。

以(0，luxIndex0)，(1，luxIndex1)，...，(n，luxIndexn)作为坐标对进行幂函数拟合，即可以得到亮度变化系数:

即认为人眼能明显感受到亮度每次beta倍数的变化。实际操作中仅需要少量的坐标对就能够得到误差允许范围内的beta值。

在一实施例中，“获取待拍摄场景的多帧场景图像”，包括：

(1)获取当前预览图像的图像亮度，当前预览图像通过摄像头按照预设短曝光时长对待拍摄场景拍摄得到；

(2)根据当前预览图像的图像亮度，以及预设的图像亮度和曝光时长的对应关系，确定出目标曝光时长；

(3)通过摄像头按照目标曝光时长对待拍摄场景进行多次拍摄，得到多帧场景图像。

应当说明的是，本申请实施例中建立图像亮度和曝光时长的对应关系的目的在于控制拍摄时的曝光时长。

相应的，电子设备在获取待拍摄场景的多帧场景图像，可以首先获取到当前预览图像的图像亮度，该当前预览图像为电子设备通过摄像头按照预设短曝光时长拍摄得到，即通过当前预览图像的图像亮度来表征待拍摄场景的环境亮度。

然后，电子设备根据当前预览图像的图像亮度以及预先构建的图像亮度和曝光时长的对应关系，确定出对应的曝光时长，记为目标曝光时长。

在确定出对应待拍摄场景的目标曝光时长之后，电子设备即可通过摄像头按照目标曝光时长对待拍摄场景进行多次拍摄，从而得到多帧适于人眼感知的场景图像，用于后续的多帧合成降噪。

在一实施例中，“通过摄像头按照目标曝光时长对待拍摄场景进行多次拍摄”，包括：

(1)根据当前预览图像的图像亮度，以及预设的图像亮度和拍摄次数的对应关系，确定出目标拍摄次数；

(2)通过摄像头按照目标曝光时长以及目标拍摄次数对待拍摄场景进行多次拍摄。

应当说明的是，在本申请实施例中，采用当前预览图像(即采用预设短曝光时长拍摄得到的预览图像)的图像亮度来表征待拍摄场景的环境亮度，相应的，还预先设置有图像亮度和拍摄次数的对应关系，用于控制进行多帧合成降噪的图像帧数。其中，对于图像亮度和拍摄次数的对应关系，以图像亮度和拍摄次数负相关为约束，可由本领域普通技术人员根据实际需要进行设置。

由此，电子设备在通过摄像头按照目标曝光时长对待拍摄场景进行多次拍摄时，首先根据当前预览图像的图像亮度，以及预设的图像亮度和拍摄次数的对应关系，确定出对应的拍摄次数，记为目标拍摄次数。

在确定出目标拍摄次数之后，电子设备即通过摄像头按照目标曝光时长以及目标拍摄次数对待拍摄场景进行多次拍摄。

比如，假设确定出的目标曝光时长为T，确定出的目标拍摄次数为N，则电子设备按照目标曝光时长T对待拍摄场景进行N次拍摄，相应得到N帧场景图像。

在一实施例中，“在前述像素均值的小数部分增加预设小数值”，包括：

(1)获取摄像头中图像传感器的型号信息；

(2)生成包括型号信息的查询请求，并将查询请求发送至服务器，指示服务器返回对应型号信息的预设小数值；

(3)在像素均值的小数部分增加对应型号信息的预设小数值。

应当说明的是，摄像头拍摄图像所产生的噪点与摄像头中的图像传感器相关。本申请实施例中，在服务器统一维护对应不同图像传感器的预设小数值，实时对预设小数值进行更新。

相应的，电子设备在前述像素均值的小数部分增加预设小数值时，可以获取到摄像头中图像传感器的型号信息，使用型号信息来表征对应的图像传感器。

之后，电子设备按照与服务器预先约定的报文格式，生成包括前述型号信息的查询请求，并将该查询请求发送至服务器，指示服务器返回对应该型号信息的预设小数值。

另一方面，服务器在接收到来自于电子设备的查询请求后，即根据查询请求中型号信息表征的图像传感器所对应的预设小数值，并将该对应前述型号信息的预设小数值返回至电子设备。

相应的，电子设备在接收到服务器返回的对应前述型号信息的预设小数值之后，即在前述像素均值的小数部分增加对应前述型号信息的预设小数值，由此，可以进一步通过多帧合成降噪的效果。

在一实施例中，预设环境照度为预设低环境照度，获取第一图像对应的第一曝光时长之后，还包括：

(1)继续增加曝光时长，直至拍摄得到清晰度为第二预设清晰度的第二图像时，获取第二图像对应的第二曝光时长，第二预设清晰度小于第一预设清晰度；

(2)根据图像亮度和曝光时长的对应关系确定对应第二曝光时长的第二图像亮度；

根据当前预览图像的图像亮度，以及预设的图像亮度和曝光时长的对应关系，确定出目标曝光时长之前，还包括：

(3)判断当前预览图像的图像亮度是否小于第二图像亮度；

(4)若否，则根据当前预览图像的图像亮度，以及预设的图像亮度和曝光时长的对应关系，确定出目标曝光时长。

本申请实施例中，预设环境照度被配置为预设低环境照度，比如1勒克斯。

应当说明的是，根据以上图像亮度和曝光时长的对应关系可知，图像亮度越低，曝光时长越长，当电子设备在手持状态拍摄时，曝光时长过长会因为随机抖动而使得图像模糊，还会导致局部过曝丢失细节，因此，本申请实施例中还标定最长曝光时长以及对应的图像亮度。

其中，在拍摄得到清晰度为第一预设清晰度的第一图像，并获取得到该第一图像对应的第一曝光时长之后，电子设备继续按照预先设置的时间步长增加拍摄图像的曝光时长，并在每次拍摄得到图像时，获取到该图像的清晰度，并判断该图像的清晰度是否达到第二预设清晰度，是则停止拍摄，将清晰度达到第二预设清晰度的图像记为第二图像，否则继续增加曝光时长，直至拍摄得到清晰度为第二预设清晰度的第二图像。应当说明的是，第二预设清晰度小于第一预设清晰度，为表征图像不为模糊图像的临界清晰度，可由本领域普通技术人员根据实际需要取经验值。

在拍摄得到清晰度为第二预设清晰度的第二图像时，电子设备获取该第二图像对应的曝光时长，记为第二曝光时长，并根据图像亮度和曝光时长的对应关系确定对应第二曝光时长的第二图像亮度，将第二曝光时长作为最长曝光时长。

在标定有最长曝光时长及其对应的图像亮度的情况下，电子设备在手持状态下获取到当前预览图像的图像亮度之后，并不立即根据以上图像亮度和曝光时长的对应关系确定出目标曝光时长，而是首先判断当前预览图像的图像亮度是否小于第二图像亮度，若不小于，再根据当前预览图像的图像亮度以及图像亮度和曝光时长的对应关系，确定出目标曝光时长，以确保按照目标曝光时长拍摄得到的场景图像不会模糊。

在一实施例中，判断当前预览图像的图像亮度是否小于第二图像亮度之后，还包括：

若是，则将第二曝光时长设为目标曝光时长，执行通过摄像头按照目标曝光时长对待拍摄场景进行多次拍摄。

其中，若得到当前预览图像的图像亮度小于第二图像亮度的判断结果，则说明按照以上图像亮度和曝光时长的对应关系所确定的目标曝光时长将大于标定的最长曝光时长“第二曝光时长”，而当曝光时长大于标定的最长曝光时长“第二曝光时长”时，拍摄得到的图像将变得模糊。因此，电子设备在当前预览图像的图像亮度小于第二图像亮度时，直接将标定的最长曝光时长“第二曝光时长”设为目标曝光时长进行拍摄。

在一实施例中，“根据取整得到的整数像素值生成多帧场景图像的合成场景图像”之后，还包括：

将合成场景图像输入预先训练的图像增强模型进行图像增强处理，得到增强后的合成场景图像。

应当说明的是，本申请实施例中预先训练有图像增强模型，比如，首先获取到图像训练集，其中包括多个训练样本，每一训练样本由训练图像及其配对的目标图像组成。训练图像以及目标图像配对是指：训练图像是需要进行图像增强的图像，而目标图像是利用图像增强模型对训练图像进行图像增强后所期望得到的图像。

本申请实施例中，训练图像以及配对的目标图像的图像内容相同，但是图像质量不同。图像质量不同可以是亮度、清晰度不同，目标图像的图像质量高于训练图像。例如，可以采用不同的图像拍摄参数对同一景象进行拍摄，得到训练图像以及配对的目标图像。可以理解，训练图像以及配对的目标图像的图像内容相同是指同一训练样本的图像内容相同，但是不同的训练样本的图像内容可以是不同的。例如，A训练样本为对楼宇进行拍摄得到的图像，B训练样本为对树木进行拍摄得到的图像。

图像增强是指对需要增强的图像数据进行数据变换，有选择地突出图像中感兴趣的特征以及抑制图像中某些不需要的特征，使增强后的图像质量的视觉效果得到改善。有监督学习是从标签化训练数据集中推断出模型参数的机器学习任务。在有监督学习中，训练样本包括输入对象和期望的输出。在本发明实施例中，输入对象为训练样本中的训练图像，期望的输出为配对的目标图像。初始图像增强模型是需要进一步进行模型训练，以调整模型参数的图像增强模型。初始图像增强模型的类型可以根据需要设置，例如可以是深度卷积神经网络模型或者残差卷积网络模型。模型训练的目标是得到更好的模型参数，以提高图像增强的效果。在进行训练时，将训练图像输入到初始图像增强模型中，得到输出的模型增强图像，然后根据模型增强图像与配对的目标图像的差异调整模型参数，使得根据调整后的模型参数进行图像增强得到的模型增强图像越来越接近目标图像，比如采用梯度下降方法朝着使模型对应的损失值下降的方向对模型参数进行调整，直至收敛，得到图像增强模型。

本申请实施例中，在生成得到前述多帧场景图像的合成场景图像之后，电子设备进一步将该合成场景图像输入到预先训练的图像增强模型中进行图像增强处理，得到增强后的合成场景图像。

比如，请参照图3，图3左侧所示为对应待拍摄场景的合成场景图像，电子设备将该合成场景图像输入到预先训练的图像增强模型中对合成场景图像的亮度和清晰度进行增强，得到右侧所示增强后的合成场景图像，可以看出，经过图像增强处理，增强后的合成场景图像的亮度和清晰度得以明显提升，由此，采用本申请实施例提供的图像处理方法即使在低照度环境下也能够拍摄得到明亮清晰的图像。

以下以预设环境照度为预设低环境照度为例对本申请实施例提供的图像处理方法进行说明，请参照图4，该图像处理方法的流程还可以为：

在201中，电子设备获取当前预览图像的图像亮度，当前预览图像通过摄像头按照预设短曝光时长对待拍摄场景拍摄得到。

在202中，电子设备根据当前预览图像的图像亮度，以及预设的图像亮度和曝光时长的对应关系，确定出目标曝光时长。

在203中，电子设备通过摄像头按照目标曝光时长对待拍摄场景进行多次拍摄，得到多帧场景图像。

在204中，电子设备获取多帧场景图像在每一像素位置的像素均值；

在205中，电子设备获取摄像头中图像传感器的型号信息，并生成包括型号信息的查询请求，并将查询请求发送至服务器，指示服务器返回对应型号信息的预设小数值；

在206中，电子设备在像素均值的小数部分增加对应型号信息的预设小数值，以使得像素均值的小数部分在取整后进位为1，或者退位为0；

在207中，电子设备对增加预设小数值后的像素均值进行取整处理，并根据取整得到的整数像素值生成多帧场景图像的合成场景图像；

在208中，电子设备将合成场景图像输入预先训练的图像增强模型进行图像增强处理，得到增强后的合成场景图像。

本申请实施例还提供一种图像处理装置。请参照图5，图5为本申请实施例提供的图像处理装置的结构示意图。其中该图像处理装置应用于电子设备，该图像处理装置包括图像获取模块301、均值获取模块302、均值更新模块303以及图像生成模块304，如下：

图像获取模块301，用于获取待拍摄场景的多帧场景图像；

均值获取模块302，用于获取多帧场景图像在每一像素位置的像素均值；

均值更新模块303，用于在前述像素均值的小数部分增加预设小数值，以使得前述像素均值的小数部分在取整后进位为1，或者退位为0；

图像生成模块304，用于对增加预设小数值后的像素均值进行取整处理，并根据取整得到的整数像素值生成多帧场景图像的合成场景图像。

在一实施例中，在获取待拍摄场景的多帧场景图像时，图像获取模块301用于：

获取当前预览图像的图像亮度，当前预览图像通过摄像头按照预设短曝光时长对待拍摄场景拍摄得到；

根据当前预览图像的图像亮度，以及预设的图像亮度和曝光时长的对应关系，确定出目标曝光时长；

通过摄像头按照目标曝光时长对待拍摄场景进行多次拍摄，得到多帧场景图像。

在一实施例中，在通过摄像头按照目标曝光时长对待拍摄场景进行多次拍摄时，图像获取模块301用于：

根据当前预览图像的图像亮度，以及预设的图像亮度和拍摄次数的对应关系，确定出目标拍摄次数；

通过摄像头按照目标曝光时长以及目标拍摄次数对待拍摄场景进行多次拍摄。

在一实施例中，在前述像素均值的小数部分增加预设小数值时，均值更新模块303用于：

获取摄像头中图像传感器的型号信息；

生成包括型号信息的查询请求，并将查询请求发送至服务器，指示服务器返回对应型号信息的预设小数值；

在像素均值的小数部分增加对应型号信息的预设小数值。

在一实施例中，本申请实施例提供的图像处理装置还包括关系构建模块，用于：

在预设环境照度下按照预设短曝光时长拍摄得到短曝光图像，并获取短曝光图像的短曝光图像亮度；

以预设短曝光时长为基础逐渐增加拍摄图像的曝光时长，直至拍摄得到清晰度为第一预设清晰度的第一图像时，获取第一图像对应的第一曝光时长；

以预设环境照度为基础逐渐降低环境照度，并确定环境照度改变过程中人眼感受到亮度变化的多个目标环境照度，根据多个目标环境照度标定得到适于人眼感知的亮度变化系数；

根据短曝光图像亮度、第一曝光时长以及亮度变化系数构建用于曝光时长控制的图像亮度和曝光时长的对应关系。

在一实施例中，预设环境照度为预设低环境照度，在获取第一图像对应的第一曝光时长之后，关系构建模块还用于：

继续增加曝光时长，直至拍摄得到清晰度为第二预设清晰度的第二图像时，获取第二图像对应的第二曝光时长，第二预设清晰度小于第一预设清晰度；

根据图像亮度和曝光时长的对应关系确定对应第二曝光时长的第二图像亮度；

在根据当前预览图像的图像亮度，以及预设的图像亮度和曝光时长的对应关系，确定出目标曝光时长之前，图像获取模块301还用于：

判断所述当前预览图像的图像亮度是否小于所述第二图像亮度；

若否，则根据所述当前预览图像的图像亮度，以及预设的图像亮度和曝光时长的对应关系，确定出目标曝光时长。

在一实施例中，在根据取整得到的整数像素值生成多帧场景图像的合成场景图像之后，图像生成模块304还用于：

将合成场景图像输入预先训练的图像增强模型进行图像增强处理，得到增强后的合成场景图像。

应当说明的是，本申请实施例提供的图像处理装置与上文实施例中的图像处理方法属于同一构思，在图像处理装置上可以运行图像处理方法实施例中提供的任一方法，其具体实现过程详见图像处理方法实施例，此处不再赘述。

本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当其存储的计算机程序在计算机上执行时，使得计算机执行如本申请实施例提供的图像处理方法中的步骤。其中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM，)或者随机存取器(Random Access Memory，RAM)等。

本申请实施例还提供一种电子设备，请参照图6，电子设备包括处理器401、存储器402，其中，处理器401与存储器402电性连接。

处理器401是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器402内的计算机程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能并处理数据。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

在本申请实施例中，电子设备中的处理器401会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中，并由处理器401运行存储在存储器402中的计算机程序，从而实现各种功能，如下：

获取待拍摄场景的多帧场景图像；

获取多帧场景图像在每一像素位置的像素均值；

在前述像素均值的小数部分增加预设小数值，以使得前述像素均值的小数部分在取整后进位为1，或者退位为0；

对增加预设小数值后的像素均值进行取整处理，并根据取整得到的整数像素值生成多帧场景图像的合成场景图像。

请参照图7，图7为本申请实施例提供的电子设备的另一结构示意图，与图6所示电子设备的区别在于，电子设备还包括输入单元403和输出单元404等组件。

其中，输入单元403可用于接收输入的数字、字符信息或用户特征信息(比如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入等。

输出单元404可用于显示由用户输入的信息或提供给用户的信息，如屏幕。

在本申请实施例中，处理器401通过调用存储器402中的计算机程序，用于执行：

获取待拍摄场景的多帧场景图像；

获取多帧场景图像在每一像素位置的像素均值；

在前述像素均值的小数部分增加预设小数值，以使得前述像素均值的小数部分在取整后进位为1，或者退位为0；

对增加预设小数值后的像素均值进行取整处理，并根据取整得到的整数像素值生成多帧场景图像的合成场景图像。

在一实施例中，在获取待拍摄场景的多帧场景图像时，处理器401执行：

获取当前预览图像的图像亮度，当前预览图像通过摄像头按照预设短曝光时长对待拍摄场景拍摄得到；

根据当前预览图像的图像亮度，以及预设的图像亮度和曝光时长的对应关系，确定出目标曝光时长；

通过摄像头按照目标曝光时长对待拍摄场景进行多次拍摄，得到多帧场景图像。

在一实施例中，在通过摄像头按照目标曝光时长对待拍摄场景进行多次拍摄时，处理器401执行：

根据当前预览图像的图像亮度，以及预设的图像亮度和拍摄次数的对应关系，确定出目标拍摄次数；

通过摄像头按照目标曝光时长以及目标拍摄次数对待拍摄场景进行多次拍摄。

在一实施例中，在前述像素均值的小数部分增加预设小数值时，处理器401执行：

获取摄像头中图像传感器的型号信息；

生成包括型号信息的查询请求，并将查询请求发送至服务器，指示服务器返回对应型号信息的预设小数值；

在像素均值的小数部分增加对应型号信息的预设小数值。

在一实施例中，在获取待拍摄场景的多帧场景图像之前，处理器401还执行：

在预设环境照度下按照预设短曝光时长拍摄得到短曝光图像，并获取短曝光图像的短曝光图像亮度；

以预设短曝光时长为基础逐渐增加拍摄图像的曝光时长，直至拍摄得到清晰度为第一预设清晰度的第一图像时，获取第一图像对应的第一曝光时长；

以预设环境照度为基础逐渐降低环境照度，并确定环境照度改变过程中人眼感受到亮度变化的多个目标环境照度，根据多个目标环境照度标定得到适于人眼感知的亮度变化系数；

根据短曝光图像亮度、第一曝光时长以及亮度变化系数构建用于曝光时长控制的图像亮度和曝光时长的对应关系。

在一实施例中，预设环境照度为预设低环境照度，在获取第一图像对应的第一曝光时长之后，处理器401还执行：

继续增加曝光时长，直至拍摄得到清晰度为第二预设清晰度的第二图像时，获取第二图像对应的第二曝光时长，第二预设清晰度小于第一预设清晰度；

根据图像亮度和曝光时长的对应关系确定对应第二曝光时长的第二图像亮度；

在根据当前预览图像的图像亮度，以及预设的图像亮度和曝光时长的对应关系，确定出目标曝光时长之前，处理器401还执行：

判断所述当前预览图像的图像亮度是否小于所述第二图像亮度；

若否，则根据所述当前预览图像的图像亮度，以及预设的图像亮度和曝光时长的对应关系，确定出目标曝光时长。

在一实施例中，在根据取整得到的整数像素值生成多帧场景图像的合成场景图像之后，处理器401还执行：

将合成场景图像输入预先训练的图像增强模型进行图像增强处理，得到增强后的合成场景图像。

应当说明的是，本申请实施例提供的电子设备与上文实施例中的图像处理方法属于同一构思，在电子设备上可以运行图像处理方法实施例中提供的任一方法，其具体实现过程详见特征提取方法实施例，此处不再赘述。

需要说明的是，对本申请实施例的图像处理方法而言，本领域普通测试人员可以理解实现本申请实施例的图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的至少一个处理器执行，在执行过程中可包括如图像处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。

对本申请实施例的图像处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。

以上对本申请实施例所提供的一种图像处理方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种图像处理方法，其特征在于，包括：

获取待拍摄场景的多帧场景图像，所述多帧场景图像为摄像头在预设低环境照度下拍摄得到且未经图像信号处理器处理的RAW格式图像；

获取所述多帧场景图像在每一像素位置的像素均值；

在所述像素均值的小数部分增加对应所述摄像头中图像传感器的预设小数值，以使得所述像素均值的小数部分在取整后进位为1，或者退位为0；

对增加所述预设小数值后的像素均值进行取整处理，并根据取整得到的整数像素值生成所述多帧场景图像的合成场景图像；

将所述合成场景图像输入预先训练的图像增强模型，通过所述图像增强模型对所述合成场景图像的亮度和清晰度进行增强，得到增强后的合成场景图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述获取待拍摄场景的多帧场景图像，包括：

获取当前预览图像的图像亮度，所述当前预览图像通过所述摄像头按照预设短曝光时长对所述待拍摄场景拍摄得到；

根据所述当前预览图像的图像亮度，以及预设的图像亮度和曝光时长的对应关系，确定出目标曝光时长；

通过所述摄像头按照所述目标曝光时长对所述待拍摄场景进行多次拍摄，得到所述多帧场景图像。

3.根据权利要求2所述的图像处理方法，其特征在于，所述通过所述摄像头按照所述目标曝光时长对所述待拍摄场景进行多次拍摄，包括：

根据所述当前预览图像的图像亮度，以及预设的图像亮度和拍摄次数的对应关系，确定出目标拍摄次数；

通过所述摄像头按照所述目标曝光时长以及所述目标拍摄次数对所述待拍摄场景进行多次拍摄。

4.根据权利要求2所述的图像处理方法，其特征在于，所述在所述像素均值的小数部分增加对应所述摄像头中图像传感器的预设小数值，包括：

获取所述图像传感器的型号信息；

生成包括所述型号信息的查询请求，并将所述查询请求发送至服务器，指示所述服务器返回对应所述型号信息的预设小数值；

在所述像素均值的小数部分增加对应所述型号信息的预设小数值。

5.根据权利要求2-4任一项所述的图像处理方法，其特征在于，所述获取待拍摄场景的多帧场景图像之前，还包括：

在预设低环境照度下，按照所述预设短曝光时长拍摄得到短曝光图像，并获取所述短曝光图像的短曝光图像亮度；

以所述预设短曝光时长为基础逐渐增加拍摄图像的曝光时长，直至拍摄得到清晰度为第一预设清晰度的第一图像时，获取所述第一图像对应的第一曝光时长；

以所述预设低环境照度为基础逐渐降低环境照度，并确定环境照度改变过程中人眼感受到亮度变化的多个目标环境照度，根据所述多个目标环境照度标定得到适于人眼感知的亮度变化系数；

根据所述短曝光图像亮度、所述第一曝光时长以及所述亮度变化系数构建用于曝光时长控制的图像亮度和曝光时长的对应关系。

6.根据权利要求5所述的图像处理方法，其特征在于，所述获取所述第一图像对应的第一曝光时长之后，还包括：

继续增加曝光时长，直至拍摄得到清晰度为第二预设清晰度的第二图像时，获取所述第二图像对应的第二曝光时长，所述第二预设清晰度小于所述第一预设清晰度；

根据所述图像亮度和曝光时长的对应关系确定对应所述第二曝光时长的第二图像亮度；

所述根据所述当前预览图像的图像亮度，以及预设的图像亮度和曝光时长的对应关系，确定出目标曝光时长之前，还包括：

判断所述当前预览图像的图像亮度是否小于所述第二图像亮度；

若否，则根据所述当前预览图像的图像亮度，以及预设的图像亮度和曝光时长的对应关系，确定出目标曝光时长。

7.一种图像处理装置，其特征在于，所述图像处理装置包括：

图像获取模块，用于在预设低环境照度下，获取待拍摄场景的多帧场景图像，所述多帧场景图像为摄像头在预设低环境照度下拍摄得到且未经图像信号处理器处理的RAW格式图像；

均值获取模块，用于获取所述多帧场景图像在每一像素位置的像素均值；

均值更新模块，用于在所述像素均值的小数部分增加对应所述摄像头中图像传感器的预设小数值，以使得所述像素均值的小数部分在取整后进位为1，或者退位为0；

图像生成模块，用于对增加所述预设小数值后的像素均值进行取整处理，并根据取整得到的整数像素值生成所述多帧场景图像的合成场景图像；以及将所述合成场景图像输入预先训练的图像增强模型，通过所述图像增强模型对所述合成场景图像的亮度和清晰度进行增强，得到增强后的合成场景图像。

8.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器调用时，使得所述处理器执行如权利要求1至6任一项所述的图像处理方法。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，且所述处理器通过调用所述计算机程序，用于执行如权利要求1至6任一项所述的图像处理方法。

Images