CN110740266A - 图像选帧方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请实施例公开了一种图像选帧方法、装置、存储介质及电子设备，其中，本申请实施例获取对同一拍摄场景进行拍摄得到的多帧候选图像；计算多帧候选图像的清晰度，并将清晰度最高的候选图像作为第一基准图像，将清晰度次高的候选图像作为第二基准图像；判断第一基准图像与第二基准图像之间的第一清晰度差异是否超出第一预设范围；若是，则将第一基准图像作为目标图像；若否，则获取多帧候选图像中除第一基准图像和第二基准图像之外的其他候选图像与第二基准图像之间的第二清晰度差异；将第二清晰度差异未超出第二预设范围的候选图像、第一基准图像和第二基准图像作为目标图像，提高了图像选帧的质量。

Description

图像选帧方法、装置、存储介质及电子设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像选帧方法、装置、存储介质及电子设备。

背景技术

随着智能终端技术的不断发展，电子设备(如智能手机、平板电脑等)的使用越来越普及。绝大多数电子设备都内置有摄像头，并且随着移动终端处理能力的增强以及摄像头技术的发展，用户对拍摄的图像质量的要求也越来越高。

为了拍摄出更好效果的图像，会采用一些图像合成处理算法来提升输出图像的质量，例如HDR(High-Dynamic Range，高动态范围)合成算法或者多帧降噪算法等，在应用这些算法时，都需要进行图像选帧处理，但是常规的图像选帧方案容易出现踢帧过度的问题，导致图像选帧质量差。

发明内容

本申请实施例提供一种图像选帧方法、装置、存储介质及电子设备，能够提高图像选帧质量。

第一方面，本申请实施例提供一种图像选帧方法，包括：

获取对同一拍摄场景进行拍摄得到的多帧候选图像；

计算所述多帧候选图像的清晰度，并将清晰度最高的候选图像作为第一基准图像，将清晰度次高的候选图像作为第二基准图像；

判断所述第一基准图像与所述第二基准图像之间的第一清晰度差异是否超出第一预设范围；

若是，则将所述第一基准图像作为目标图像；

若否，则获取所述多帧候选图像中除所述第一基准图像和所述第二基准图像之外的其他候选图像与所述第二基准图像之间的第二清晰度差异；

将所述第二清晰度差异未超出第二预设范围的候选图像、所述第一基准图像和所述第二基准图像作为目标图像。

第二方面，本申请实施例提供一种图像选帧装置，包括：

获取模块，用于获取对同一拍摄场景进行拍摄得到的多帧候选图像

计算模块，用于计算所述多帧候选图像的清晰度，并将清晰度最高的候选图像作为第一基准图像，将清晰度次高的候选图像作为第二基准图像；

检测模块，用于判断所述第一基准图像与所述第二基准图像之间的第一清晰度差异是否超出第一预设范围；

选帧模块，用于若所述第一清晰度差异超出第一预设范围，则将所述第一基准图像作为目标图像；

所述检测模块还用于：若所述第一清晰度未超出第一预设范围，则获取所述多帧候选图像中除所述第一基准图像和所述第二基准图像之外的其他候选图像与所述第二基准图像之间的第二清晰度差异；

所述选帧模块还用于：将所述第二清晰度差异未超出第二预设范围的候选图像、所述第一基准图像和所述第二基准图像作为目标图像。

第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如本申请任一实施例提供的图像选帧方法。

第四方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器有计算机程序，所述处理器通过调用所述计算机程序，用于执行如本申请任一实施例提供的图像选帧方法。

本申请实施例提供的方案，获取对同一拍摄场景进行拍摄得到的多帧候选图像，计算这多帧候选图像的清晰度，并将清晰度最高的候选图像作为第一基准图像，同时将清晰度次高的候选图像作为第二基准图像，在第一基准图像与第二基准图像之间的第一清晰度差异超出第一预设范围时，将第一基准图像作为目标图像，否则，获取多帧候选图像中除第一基准图像和第二基准图像之外的其他候选图像与第二基准图像之间的清晰度差异，将第二清晰度差异未超出第二预设范围的候选图，以及第一基准图像和第二基准图像作为目标图像，该方案在确定出基准图像后，使用两个不同的阈值分别将第二基准图像向第一基准图像、将剩余图像向第二基准图像进行清晰度差异的检测，实现通过二次模糊的方式进行图像选帧，避免了最清晰帧与其余帧差异较大时的踢帧过度问题，提高了图像选帧的质量。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的图像选帧方法的第一种流程示意图。

图2为本申请实施例提供的图像选帧方法的第二种流程示意图。

图3是本发明实施例提供的图像降噪方法的应用场景示意图。

图4为本申请实施例提供的图像选帧装置的结构示意图。

图5为本申请实施例提供的电子设备的结构示意图。

图6为本申请实施例提供的电子设备的图像选帧电路的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例提供一种图像选帧方法，该图像选帧方法的执行主体可以是本申请实施例提供的图像选帧装置，或者集成了该图像选帧装置的电子设备，其中该图像选帧装置可以采用硬件或者软件的方式实现。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。

请参照图1，图1为本申请实施例提供的图像选帧方法的第一种流程示意图。本申请实施例提供的图像选帧方法的具体流程可以如下：

101、获取对同一拍摄场景进行拍摄得到的多帧候选图像。

本申请实施例提出的图像选择选帧方案，可以应用于需要使用多帧图像进行合成处理的场景，在这样的场景下，电子设备一般会连续拍摄同一场景的多帧图像，从这些图像中选择多帧作为后续合成方案的输入图像。例如，在拍摄夜景或者在暗光环境下拍摄时，需要对同一拍摄场景拍摄多帧图像，并对多帧图像进行选帧处理，得到拍摄效果最好的多帧的图像，进行降噪融合以及亮度提升处理；或者，在拍摄HDR(High Dynamic Range，高动态范围)图像时，需要从拍摄的图像中选择多帧效果最好的图像进行融合处理。

其中，电子设备可以是在拍摄模式下，通过摄像头对同一拍摄场景进行拍摄得到多帧候选图像，也可以是由其他设备对同一拍摄场景进行拍摄得到多帧候选图像后发送至电子设备，由电子设备进行选帧处理。

以下以夜景模式下的拍摄为例，电子设备在夜景拍摄模式下，会按照对应的曝光参数对拍摄场景进行拍摄。其中，在一些实施例中，多帧候选图像可以具有不同的曝光参数。在另一些实施例中，多帧候选图像也可以具有相同的曝光参数。例如，电子设备在获取候选图像时，先根据相机的自动测光系统确定正常曝光的曝光参数，然后，在正常曝光的曝光参数的基础上对曝光参数进行调节，增大曝光程度，再进行拍摄，例如，增加1EV(Exposure Values，曝光值，是反映曝光多少的一个量)的曝光量，比如可以通过延长曝光时长增加曝光量。其中，多帧候选图像的具体数量可以根据实际需要设置，本申请对此不做限制。例如，可以根据当前的拍摄模式进行设置，若当前拍摄模式需要较多的图像用于合成，则可以拍摄较多数量的候选图像，若当前拍摄模式需要用于合成的图像数量较少，则可以拍摄较少数量的候选图像。

102、计算所述多帧候选图像的清晰度，并将清晰度最高的候选图像作为第一基准图像，将清晰度次高的候选图像作为第二基准图像。

在获取到多帧候选图像后，对于每一候选图像，计算其清晰度，以基于每帧候选图像的清晰度进行图像选帧。为了使得合成图像具有较高的成像指令，在图像选帧时，其主要目的在于从一组多帧候选图像中选择出最清晰的几帧图像，剔除模糊帧，以避免失真图像对后续处理结果造成不好的影响。

关于候选图像的清晰度计算，可以有多种实现方式，以下列举其中的几种进行说明。方式一，在频域对图像的清晰度进行评价，而一般在频域评价一幅图像是否清晰通常是考察图像高频信息的多少，对焦清晰的图像高频分量较多，对焦模糊的图像低频分量较多。而高频信息的特征之一是经过低通滤波器之后，图像的高频信息变化较大，低频信息变化较小。因此，该实施例中，先对获取到的全部图像进行低通滤波处理，具体如下：计算所述多帧候选图像的清晰度，包括：对每一所述候选图像进行低通滤波处理，得到对应的退化图像；对于每一所述候选图像，计算所述候选图像中像素点与对应的退化图像中像素点的差值绝对值之和，将所述差值绝对值之和作为所述候选图像的清晰度。

该实施方式中，对获取的每一候选图像进行低通滤波处理，得到其对应的退化图像。其中，候选图像的清晰度越高，则该候选图像中的高频分量越多，当完全聚焦时，图像最清晰，图像中的高频分量也最多。那么，在对候选图像进行了低通滤波处理之后，清晰度高的候选图像相对于清晰度低的候选图像来说，具有更大的高频信息变化量。基于此，接下来可以将原始的候选图像与对应的退化图像进行图像相减处理，即在两幅图像之间对应像素做减法运算，以得到候选图像中像素点与对应的退化图像中每一组对应像素点之间的差值绝对值，然后，计算全部的像素点之间的差值绝对值之和，作为候选图像的清晰度。

方式二，计算所述多帧候选图像的清晰度，包括：对于每一所述候选图像，统计所述候选图像中相邻像素点的灰度差的平方值之和，作为所述候选图像的清晰度。该实施方式中，采用空域指标来评价候选图像的清晰度，具体地，针对每一候选图像，计算候选图像中相邻像素点之间的灰度特征变化，比如，采用灰度差的平方值之和，作为候选图像的清晰度。

在其他实施方式中，还可以通过能量梯度函数、熵函数等方式来衡量图像的清晰度，本申请实施例对清晰度计算方式不作具体限定，在此不再对各计算方式一一赘述。

计算得到每一帧候选图像的清晰度之后，将清晰度最高的一帧候选图像作为第一基准图像，将清晰度次高的一帧图像作为第二基准图像。

103、判断所述第一基准图像与所述第二基准图像之间的第一清晰度差异是否超出第一预设范围。

104、若是，则将所述第一基准图像作为目标图像。

105、若否，则获取所述多帧候选图像中除所述第一基准图像和所述第二基准图像之外的其他候选图像与所述第二基准图像之间的第二清晰度差异。

接下来判断第一基准图像与第二基准图像之间的第一清晰度差异是否超出第一预设范围，如果第二基准图像与第一基准图像之间的差异超出第一预设范围，则说明第二基准图像的清晰度相较于第一基准图像较差，那么，除第一基准图像与第二基准图像之外的剩余候选图像相对于第一基准图像的清晰度只会更差，此时为了保证最终的成像质量，只将清晰度最高的第一基准图像作为图像选帧的输出。

106、将所述第二清晰度差异未超出第二预设范围的候选图像、所述第一基准图像和所述第二基准图像作为目标图像。

如果第二基准图像与第一基准图像之间的第一清晰度差异较小，未超出第一预设范围，则计算除第一基准图像与第二基准图像之外的剩余候选图像相对于第二基准图像的第二清晰度差异，并从剩余候选图像中选择出第二清晰度差异未超出第二预设范围的候选图像，将选择出的图像与第一基准图像和所述第二基准图像作为目标图像。

该方案中设置了两个阈值用于图像选帧，包括第一预设范围和第二预设范围，上述两个阈值均为经验值，通过多次实验调整第一预设范围和第二预设范围，以确定最合适的阈值，使得能够得到最好的选帧效果。第一预设范围用于第二清晰帧和第一基准帧的差异对比，第二预设范围用于剩余帧向第二清晰帧配准时判定。通过这种二次模糊的筛选方式，可以避免最清晰帧与其余帧差异较大时踢帧过度，提升图像选帧质量。

具体实施时，本申请不受所描述的各个步骤的执行顺序的限制，在不产生冲突的情况下，某些步骤还可以采用其它顺序进行或者同时进行。

由上可知，本申请实施例提出的图像选帧方法，获取对同一拍摄场景进行拍摄得到的多帧候选图像，计算这多帧候选图像的清晰度，并将清晰度最高的候选图像作为第一基准图像，同时将清晰度次高的候选图像作为第二基准图像，在第一基准图像与第二基准图像之间的第一清晰度差异超出第一预设范围时，将第一基准图像作为目标图像，否则，获取多帧候选图像中除第一基准图像和第二基准图像之外的其他候选图像与第二基准图像之间的清晰度差异，将第二清晰度差异未超出第二预设范围的候选图，以及第一基准图像和第二基准图像作为目标图像，该方案在确定出基准图像后，使用两个不同的阈值分别将第二基准图像向第一基准图像、将剩余图像向第二基准图像进行清晰度差异的检测，实现通过二次模糊的方式进行图像选帧，避免了最清晰帧与其余帧差异较大时的踢帧过度问题，提高了图像选帧的质量。

请参阅图2，图2是本发明实施例提供的图像降噪方法的第二流程示意图。

201、获取对同一拍摄场景进行拍摄得到的多帧候选图像。

请参阅图3，图3是本发明实施例提供的图像降噪方法的应用场景示意图。用户使用电子设备中的相机应用对拍摄场景进行拍摄，得到多帧候选图像，多帧候选图像可以具有相同的曝光参数。

202、对每一所述候选图像进行低通滤波处理，得到对应的退化图像。

由于对焦清晰的图像高频分量较多，对焦模糊的图像低频分量较多。经过低通滤波器之后，图像的高频信息变化较大，低频信息变化较小。也就是说，当完全聚焦时，图像最清晰，图像中的高频分量也最多。因此，该实施例中，先对获取到的全部图像进行低通滤波处理，得到对应的退化图像。

203、对于每一所述候选图像，计算所述候选图像中像素点与对应的退化图像中像素点的差值绝对值之和，将所述差值绝对值之和作为所述候选图像的清晰度。

在对候选图像进行了低通滤波处理之后，清晰度高的候选图像相对于清晰度低的候选图像来说，具有更大的高频信息变化量。基于此，接下来可以将原始的候选图像与对应的退化图像进行图像相减处理，即在两幅图像之间对应像素做减法运算，以得到候选图像中像素点与对应的退化图像中每一组对应像素点之间的差值绝对值，然后，计算全部的像素点之间的差值绝对值之和，作为候选图像的清晰度。

例如，电子设备共拍摄十帧候选图像，分别为A1、A2、A3、……A10。分别对这十帧候选图像进行低通滤波处理，得到对应退化图像B1、B2、B3……B10。然后，将图像A1与图像B1进行图像相减处理，得到图像A1与图像B1之间对应像素点的差值绝对值之和，作为候选图像A1的清晰度；将图像A2与图像B2进行图像相减处理，得到图像A2与图像B2之间对应像素点的差值绝对值之和，作为候选图像A2的清晰度；将图像A3与图像B3进行图像相减处理，得到图像A3与图像B3之间对应像素点的差值绝对值之和，作为候选图像A3的清晰度；……，将图像A10与图像B10进行图像相减处理，得到图像A10与图像B10之间对应像素点的差值绝对值之和，作为候选图像A10的清晰度。

204、将清晰度最高的候选图像作为第一基准图像，将清晰度次高的候选图像作为第二基准图像。

根据上述计算得到的数值确定出清晰度最高的候选图像，假设为图像A1，将图像A1作为第一基准图像，确定出图像清晰度次高的图像，假设为图像A3，将图像A3作为第二基准图像。可以理解的是，在一些实施例中，特别是在拍摄一些静态场景时，清晰度最高的图像可能有多帧。如果确定出清晰度最高的图像有多帧，则将这多帧图像都作为第一基准图像，在图像选帧完成后，可以从多帧第一基准图像中选择任意一帧图像作为图像配准或者合成的基准。

205、计算所述第二基准图像的清晰度与所述第一基准图像清晰度的比值，并判断所述比值是否大于第一预设阈值。

206、若否，则将所述第一基准图像作为目标图像。

207、若是，则计算所述多帧候选图像中除所述第一基准图像和所述第二基准图像之外的其他候选图像，与所述第二基准图像的比值。

208、将所述比值大于第二预设阈值的候选图像、所述第一基准图像和所述第二基准图像作为目标图像。

计算图像A3与图像A1的清晰度的比值，该比值一般位于(0，1)区间。第一预设阈值也位于该区间，该值为经验值，例如，设置为0.85，如果图像A3的清晰度与图像A1的清晰度的比值大于0.85，则计算除图像A1和图像A3之外的其他图像与图像A3的清晰度的比值。反之，只将图像A1作为目标图像输出。

假设第二预设阈值为0.8，则将剩余图像中与图像A1的清晰度比值大于0.8的图像作为目标图像，同时将图像A1和A3也作为目标图像，其中，目标图像即为选帧结果。这种选帧方式相对于通过一个单一的阈值进行选帧(将其他图像的清晰度与清晰度最高的图像进行对比)，能够避免最清晰帧与其余帧差异较大时的踢帧过度问题。请参阅表1，表1为本申请实施例提出的图像选帧算法的伪代码流程。

表1图像选帧算法的伪代码流程

可以理解的是，除了通过图像与图像的清晰度的比值来判断图像之间的清晰度差异是否超出预设范围之外，还可以根据清晰度差值，以及清晰度差值与第一基准图像或第二基准图像之间的比值等来判断。

在一些实施例中，所述判断所述第一基准图像与所述第二基准图像之间的第一清晰度差异是否超出第一预设范围之前，还包括：确定当前的目标拍摄模式；根据拍摄模式与预设阈值的映射关系，将所述目标拍摄模式对应的预设阈值，作为所述第一预设阈值。

由于不同的拍摄模式下，在进行图像合成处理时对合成图像的成像效果要求不同，并且需求的图像帧数也不尽相同，故对图像选帧质量要求也不同，因此，该实施例中，在对比第一基准图像和第二图像之前，先对电子设备当前的拍摄模式进行识别，对于不同的拍摄模式使用不同的第一预设阈值和第二预设阈值。该实施例的方案通过检测照度的大小判断是否处于暗光环境拍摄，当照度小于一定阈值(例如0.5lux)时，判定当前的拍摄模式为夜景模式。或者，通过拍摄模式对应的标志位来识别当前的拍摄模式，例如，电子设备进入夜景模式拍摄时，标志位为1，进入HDR模式拍摄时，标志位为2等。预先对不同的拍摄模式设置各自对应的第一预设阈值和第二预设阈值，在确定拍摄模式后，根据拍摄模式与预设阈值之间的映射关系，确定与当前的拍摄模式对应的预设阈值。例如，在夜景模式下，第一预设阈值为0.85，第二预设阈值为0.8；在HDR模式下，第一预设阈值为0.9，第二预设阈值为0.7。

本实施例提出的图像选帧方法，在获取到多帧候选图像之后，先对候选图像进行模糊处理，得到退化图像，然后根据候选图像的原始图像和退化图像在频域衡量每一帧候选图像的清晰度，选出第一清晰帧之后，使用第一阈值将第二清晰帧图像向第一基准帧配准，以衡量清晰度差异，然后剩余帧图像向第二清晰帧图像配准，再次衡量清晰度差异，采用二次模糊的方式筛选帧，避免了最清晰帧与其余帧差异较大时的踢帧过度问题，提高图像选帧质量。

在一实施例中还提供了一种图像选帧装置。请参阅图4，图4为本申请实施例提供的图像选帧装置300的结构示意图。其中该图像选帧装置300应用于电子设备，该图像选帧装置300包括获取模块301、计算模块302、检测模块303以及选帧模块304，如下：

获取模块301，用于获取对同一拍摄场景进行拍摄得到的多帧候选图像

计算模块302，用于计算所述多帧候选图像的清晰度，并将清晰度最高的候选图像作为第一基准图像，将清晰度次高的候选图像作为第二基准图像；

检测模块303，用于判断所述第一基准图像与所述第二基准图像之间的第一清晰度差异是否超出第一预设范围；

选帧模块304，用于若所述第一清晰度差异超出第一预设范围，则将所述第一基准图像作为目标图像；

检测模块303还用于：若所述第一清晰度未超出第一预设范围，则获取所述多帧候选图像中除所述第一基准图像和所述第二基准图像之外的其他候选图像与所述第二基准图像之间的第二清晰度差异；

选帧模块304还用于：将所述第二清晰度差异未超出第二预设范围的候选图像、所述第一基准图像和所述第二基准图像作为目标图像。

在一些实施例中，计算模块302还用于：对每一所述候选图像进行低通滤波处理，得到对应的退化图像；

对于每一所述候选图像，计算所述候选图像中像素点与对应的退化图像中像素点的差值绝对值之和，将所述差值绝对值之和作为所述候选图像的清晰度。

在一些实施例中，计算模块302还用于：对于每一所述候选图像，统计所述候选图像中相邻像素点的灰度差的平方值之和，作为所述候选图像的清晰度。

在一些实施例中，检测模块303还用于：计算所述第二基准图像的清晰度与所述第一基准图像清晰度的比值，并判断所述比值是否大于第一预设阈值，其中，若是，则判定所述第一清晰度差异未超出第一预设范围，若否，则判定所述第一清晰度差异超出第一预设范围。

在一些实施例中，该图像选帧装置300还包括阈值选择模块，该阈值选择模块用于：在检测模块303判断所述第一基准图像与所述第二基准图像之间的第一清晰度差异是否超出第一预设范围之前，确定当前的目标拍摄模式；根据拍摄模式与预设阈值的映射关系，将所述目标拍摄模式对应的预设阈值，作为所述第一预设阈值。

具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。

应当说明的是，本申请实施例提供的图像选帧装置与上文实施例中的图像选帧方法属于同一构思，在图像选帧装置上可以运行图像选帧方法实施例中提供的任一方法，其具体实现过程详见图像选帧方法实施例，此处不再赘述。

由上可知，本申请实施例提出的图像选帧装置，获取模块301获取对同一拍摄场景进行拍摄得到的多帧候选图像，计算模块302计算这多帧候选图像的清晰度，并将清晰度最高的候选图像作为第一基准图像，同时将清晰度次高的候选图像作为第二基准图像，在检测模块303检测到第一基准图像与第二基准图像之间的第一清晰度差异超出第一预设范围时，选帧模块304将第一基准图像作为目标图像，否则，检测模块303获取多帧候选图像中除第一基准图像和第二基准图像之外的其他候选图像与第二基准图像之间的清晰度差异，选帧模块304将第二清晰度差异未超出第二预设范围的候选图，以及第一基准图像和第二基准图像作为目标图像，该方案在确定出基准图像后，使用两个不同的阈值分别将第二基准图像向第一基准图像、将剩余图像向第二基准图像进行清晰度差异的检测，实现通过二次模糊的方式进行图像选帧，避免了最清晰帧与其余帧差异较大时的踢帧过度问题，提高了图像选帧的质量。

本申请实施例还提供一种电子设备，该电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图5，图5为本申请实施例提供的电子设备的结构示意图。电子设备800可以包括摄像模组801、存储器802、处理器803、触摸显示屏804、扬声器805、麦克风806等部件。

摄像模组801可以包括图像选帧电路，图像选帧电路可以利用硬件和/或软件组件实现，可包括定义图像信号处理(Image Signal Processing)管线的各种处理单元。图像选帧电路至少可以包括：摄像头、图像信号处理器(Image Signal Processor，ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息，并提供可由图像信号处理器处理的一组原始图像数据。

图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，图像信号处理器可对原始图像数据进行一个或多个图像选帧操作、收集关于图像数据的统计信息。其中，图像选帧操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。

图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像存储器的图像数据时，图像信号处理器可进行一个或多个图像选帧操作，如时域滤波。处理后的图像数据可发送给图像存储器，以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，图像信号处理器的输出还可发送给图像存储器，且显示器可从图像存储器读取图像数据。在一种实施方式中，图像存储器可被配置为实现一个或多个帧缓冲器。

图像信号处理器确定的统计数据可发送给控制逻辑器。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。

控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据，确定摄像头的控制参数以及ISP控制参数。例如，摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵等。

请参阅图6，图6为本实施例中图像选帧电路的结构示意图。为便于说明，仅示出与本发明实施例相关的图像选帧技术的各个方面。

例如图像选帧电路可以包括：摄像头、图像信号处理器、控制逻辑器、图像存储器、显示器。其中，摄像头可以包括一个或多个透镜和图像传感器。在一些实施例中，摄像头可为长焦摄像头或广角摄像头中的任一者。

摄像头采集的图像传输给图像信号处理器进行处理。图像信号处理器处理图像后，可将图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器。控制逻辑器可根据统计数据确定摄像头的控制参数，从而摄像头可根据控制参数进行自动对焦、自动曝光等操作。图像经过图像信号处理器进行处理后可存储至图像存储器中。图像信号处理器也可以读取图像存储器中存储的图像以进行处理。另外，图像经过图像信号处理器进行处理后可直接发送至显示器进行显示。显示器也可以读取图像存储器中的图像以进行显示。

此外，图中没有展示的，电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、图像信号处理器、图像存储器和显示器均连接，CPU用于实现全局控制。供电模块用于为各个模块供电。

存储器802存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器803通过运行存储在存储器802的应用程序，从而执行各种功能应用以及数据处理。

处理器803是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器802内的应用程序，以及调用存储在存储器802内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

触摸显示屏804可以用于接收用户对电子设备的触摸控制操作。扬声器805可以播放声音信号。麦克风806可以用于拾取声音信号。

在本实施例中，电子设备中的处理器803会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器802中，并由处理器803来运行存储在存储器802中的应用程序，从而执行：

获取对同一拍摄场景进行拍摄得到的多帧候选图像；

计算所述多帧候选图像的清晰度，并将清晰度最高的候选图像作为第一基准图像，将清晰度次高的候选图像作为第二基准图像；

判断所述第一基准图像与所述第二基准图像之间的第一清晰度差异是否超出第一预设范围；

若是，则将所述第一基准图像作为目标图像；

若否，则获取所述多帧候选图像中除所述第一基准图像和所述第二基准图像之外的其他候选图像与所述第二基准图像之间的第二清晰度差异；

将所述第二清晰度差异未超出第二预设范围的候选图像、所述第一基准图像和所述第二基准图像作为目标图像。

由上可知，本申请实施例提供了一种电子设备，所述电子设备获取对同一拍摄场景进行拍摄得到的多帧候选图像，计算这多帧候选图像的清晰度，并将清晰度最高的候选图像作为第一基准图像，同时将清晰度次高的候选图像作为第二基准图像，在第一基准图像与第二基准图像之间的第一清晰度差异超出第一预设范围时，将第一基准图像作为目标图像，否则，获取多帧候选图像中除第一基准图像和第二基准图像之外的其他候选图像与第二基准图像之间的清晰度差异，将第二清晰度差异未超出第二预设范围的候选图，以及第一基准图像和第二基准图像作为目标图像，该方案在确定出基准图像后，使用两个不同的阈值分别将第二基准图像向第一基准图像、将剩余图像向第二基准图像进行清晰度差异的检测，实现通过二次模糊的方式进行图像选帧，避免了最清晰帧与其余帧差异较大时的踢帧过度问题，提高了图像选帧的质量。

本申请实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，所述计算机执行上述任一实施例所述的图像选帧方法。

需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

此外，本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是某些实施例还包括没有列出的步骤或模块，或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

以上对本申请实施例所提供的图像选帧方法、装置、存储介质及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像选帧方法，其特征在于，包括：

获取对同一拍摄场景进行拍摄得到的多帧候选图像；

计算所述多帧候选图像的清晰度，并将清晰度最高的候选图像作为第一基准图像，将清晰度次高的候选图像作为第二基准图像；

判断所述第一基准图像与所述第二基准图像之间的第一清晰度差异是否超出第一预设范围；

若是，则将所述第一基准图像作为目标图像；

若否，则获取所述多帧候选图像中除所述第一基准图像和所述第二基准图像之外的其他候选图像与所述第二基准图像之间的第二清晰度差异；

将所述第二清晰度差异未超出第二预设范围的候选图像、所述第一基准图像和所述第二基准图像作为目标图像。

2.如权利要求1所述的图像选帧方法，其特征在于，所述计算所述多帧候选图像的清晰度，包括：

对每一所述候选图像进行低通滤波处理，得到对应的退化图像；

对于每一所述候选图像，计算所述候选图像中像素点与对应的退化图像中像素点的差值绝对值之和，将所述差值绝对值之和作为所述候选图像的清晰度。

3.如权利要求1所述的图像选帧方法，其特征在于，所述计算所述多帧候选图像的清晰度，包括：

对于每一所述候选图像，统计所述候选图像中相邻像素点的灰度差的平方值之和，作为所述候选图像的清晰度。

4.如权利要求1所述的图像选帧方法，其特征在于，所述判断所述第一基准图像与所述第二基准图像之间的第一清晰度差异是否超出第一预设范围，包括：

计算所述第二基准图像的清晰度与所述第一基准图像清晰度的比值，并判断所述比值是否大于第一预设阈值，其中，若是，则判定所述第一清晰度差异未超出第一预设范围，若否，则判定所述第一清晰度差异超出第一预设范围。

5.如权利要求4所述的图像选帧方法，其特征在于，所述判断所述第一基准图像与所述第二基准图像之间的第一清晰度差异是否超出第一预设范围之前，还包括：

确定当前的目标拍摄模式；

根据拍摄模式与预设阈值的映射关系，将所述目标拍摄模式对应的预设阈值，作为所述第一预设阈值。

6.一种图像选帧装置，其特征在于，包括：

获取模块，用于获取对同一拍摄场景进行拍摄得到的多帧候选图像

计算模块，用于计算所述多帧候选图像的清晰度，并将清晰度最高的候选图像作为第一基准图像，将清晰度次高的候选图像作为第二基准图像；

检测模块，用于判断所述第一基准图像与所述第二基准图像之间的第一清晰度差异是否超出第一预设范围；

选帧模块，用于若所述第一清晰度差异超出第一预设范围，则将所述第一基准图像作为目标图像；

所述检测模块还用于：若所述第一清晰度未超出第一预设范围，则获取所述多帧候选图像中除所述第一基准图像和所述第二基准图像之外的其他候选图像与所述第二基准图像之间的第二清晰度差异；

所述选帧模块还用于：将所述第二清晰度差异未超出第二预设范围的候选图像、所述第一基准图像和所述第二基准图像作为目标图像。

7.如权利要求6所述的图像选帧装置，其特征在于，所述计算模块还用于：

对每一所述候选图像进行低通滤波处理，得到对应的退化图像；

对于每一所述候选图像，计算所述候选图像中像素点与对应的退化图像中像素点的差值绝对值之和，将所述差值绝对值之和作为所述候选图像的清晰度。

8.如权利要求6所述的图像选帧装置，其特征在于，所述计算模块还用于：对于每一所述候选图像，统计所述候选图像中相邻像素点的灰度差的平方值之和，作为所述候选图像的清晰度。

9.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至5任一项所述的图像选帧方法。

10.一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器通过调用所述计算机程序，用于执行如权利要求1至5任一项所述的图像选帧方法。

Images