CN113938602B - 图像处理方法、电子设备、芯片及可读存储介质 - Google Patents

Abstract

本申请实施例适用于显示技术领域，提供一种图像处理方法、电子设备、芯片及可读存储介质，通过获取原始图像队列，对原始图像队列进行筛选得到待选图像队列，然后再获取待选图像队列的拍摄场景的信息，并根据拍摄场景的信息在候选策略集合中确定目标策略，进而根据目标策略在待选图像队列中确定目标图像，由于在确定目标图像的过程中，不是简单地根据单一的标准从待选图像队列中选择至少一个图像，而是根据待选图像队列的拍摄场景信息，适应性的在候选策略集合中确定待选图像队列的目标策略，提高了待选图像队列与目标策略匹配程度，进而使得采用匹配度更高的目标策略在待选图像队列中选择出的目标图像更加准确。

Description

图像处理方法、电子设备、芯片及可读存储介质

技术领域

本申请实施例涉及显示技术领域，尤其涉及一种图像处理方法、电子设备、芯片及可读存储介质。

背景技术

随着人们对电子设备的功能的日益完善，人们对电子设备的拍照效果的需求也不断地提高。

当用户打开电子设备的拍照功能时，通常电子设备的显示屏上会显示预览画面。当电子设备捕捉到用户心仪的画面时，用户点击拍照控件拍照。为了提高拍照质量，通常从电子设备在预览画面的状态下采集的图像及响应用户的拍照操作得到的图像中，选取抖动量小的图像作为最终输出的图像。采用传统方法选取的图像质量不高。

发明内容

本申请实施例提供一种图像处理方法、电子设备、芯片及可读存储介质，提高了选取的图像质量。

第一方面，提供了一种图像处理方法，包括：

获取原始图像队列，原始图像队列是指根据预览图像与拍摄图像得到的图像队列，拍摄图像是指响应于用户的拍照操作采集的图像；

对原始图像队列进行颜色筛选，和/或，对原始图像队列进行亮度筛选得到待选图像队列；颜色筛选是指根据颜色信息对原始图像队列进行图像筛选；亮度筛选是指根据亮度信息对原始图像队列进行图像筛选；

获取待选图像队列的拍摄场景的信息；

根据拍摄场景的信息在候选策略集合中确定目标策略，候选策略集合中包括至少两个选帧策略，选帧策略用于在待选图像队列中确定至少一个图像；

根据目标策略在待选图像队列中确定目标图像，目标图像用于向用户进行显示。

本申请实施例中，通过获取原始图像队列，对原始图像队列进行颜色筛选，和/或，对原始图像队列进行亮度筛选得到待选图像队列，然后再获取待选图像队列的拍摄场景的信息，并根据拍摄场景的信息在候选策略集合中确定目标策略，进而根据目标策略在待选图像队列中确定目标图像，由于在确定目标图像的过程中，不是简单地根据单一的标准从待选图像队列中选择至少一个图像，而是根据待选图像队列的拍摄场景信息，适应性的在候选策略集合中确定待选图像队列的目标策略；因此，提高了待选图像队列与目标策略匹配程度，进而使得采用匹配度更高的目标策略在待选图像队列中选择出的目标图像更加准确。另外，本申请实施例中的待选图像队列，是将颜色异常和/或亮度异常的图像筛除掉之后得到的图像队列，因此避免了颜色异常和/或亮度异常的图像对选择目标策略的异常影响，提高了所选择的目标策略的准确定性。

在一个实施例中，颜色信息包括T值；其中，T值为根据以下公式得到：

其中，x用于表示待选图像中第一像素值与第二像素值的比值，待选图像是指原始图像队列中的任意一个图像，第一像素值是指待选图像中红色信号的增益；第二像素值是指待选图像中绿色信号的增益；y用于表示预览图像或拍摄图像中第三像素值与第二像素值的比值；第三像素值是指待选图像中蓝色信号的增益，根据T值对原始图像队列进行颜色筛选。

本申请实施例中，根据公式

得到T值，进而根据T值对原始图像队列进行颜色筛选得到待选图像队列，使得待选图像队列是筛除了颜色异常的图像得到的图像队列，也即是说，待选图像队列中不存在颜色异常的图像，避免了颜色异常的图像对从待选图像队列中确定目标图像的影响，提高了目标图像的准确度。

在一个实施例中，亮度信息包括图像曝光时间、图像增益及平均亮度值，根据图像曝光时间、图像增益及平均亮度值对原始图像队列进行亮度筛选。

本申请实施例中，根据图像曝光时间、图像增益及平均亮度值对原始图像队列进行颜色筛选得到待选图像队列，使得待选图像队列是筛除了亮度异常的图像得到的图像队列，也即是说，待选图像队列中不存在亮度异常的图像，避免了亮度异常的图像对从待选图像队列中确定目标图像的影响，提高了目标图像的准确度。

在一个实施例中，根据图像曝光时间、图像增益及平均亮度值对原始图像队列进行亮度筛选之前，该方法还包括：对原始图像队列中的图像进行下采样处理，得到处理后的原始图像队列；根据图像曝光时间、图像增益及平均亮度值对处理后的原始图像队列进行亮度筛选。

本申请实施例中，对原始图像队列中的图像进行下采样处理，得到处理后的原始图像队列，再根据图像曝光时间、图像增益及平均亮度值对处理后的原始图像队列进行亮度筛选，也即是说，在亮度筛选的过程中，所筛选的图像大小是较小的图像，相当于降低了亮度筛选的过程中计算量，提高了对原始图像队列的亮度筛选的效率。

在一个实施例中，上述根据拍摄场景的信息在候选策略集合中确定目标策略，包括：在拍摄场景为第一场景时，在候选策略集合中确定抖动量选帧策略为目标策略，其中，第一场景包括点光源场景、运动场景及夜景场景中的任意一项；抖动量选帧策略是指根据待选图像队列的抖动量排序选取前N个图像，抖动量排序是指将待选图像队列的图像按照抖动量从小到大的顺序进行排序，N为正整数。

本申请的实施例中，当待选图像队列的拍摄场景为点光源场景、运动场景及夜景场景中的任意一项时，待选图像队列中的各图像的抖动量的变化相对于图像对比度的变化较大，抖动量越小图像质量越好。因此在待选图像队列的拍摄场景为点光源场景、运动场景及夜景场景中的任意一项的情况下，将抖动量选帧策略(即Gyro选帧)作为目标策略，可以更加准确地从待选图像队列选择出图像质量好的图像。

在一个实施例中，上述根据拍摄场景的信息在候选策略集合中确定目标策略，包括：在拍摄场景为第二场景时，在候选策略集合中确定对比度选帧策略为目标策略，其中，第二场景包括三脚架场景；对比度选帧策略是指根据待选图像队列的图像对比度排序选取前M个图像，图像对比度排序是指将待选图像队列中的图像按照图像对比度从大到小的顺序进行排序，M为正整数。

其中，第二场景包括三脚架场景。

本申请的实施例中，当待选图像队列的拍摄场景三脚架场景时，由于三脚架的支撑作用，待选图像队列中的图像的抖动量变化不大。也即是说，待选图像队列中图像的图像对比度的变化相对于图像的抖动量的变化较大，对比度越大图像质量越好。因此在待选图像队列的拍摄场景三脚架场景的情况下，将图像对比度选帧策略(即FV选帧策略)作为目标策略，可以更加准确地从待选图像队列选择出图像质量好的图像。

在一个实施例中，上述根据拍摄场景的信息在候选策略集合中确定目标策略，包括：在拍摄场景为第三场景时，根据变焦信息在候选策略集合中确定抖动量选帧策略或者对比度选帧策略为目标策略；其中，第三场景为包括除点光源场景、运动场景、夜景场景及三脚架场景之外的场景；变焦信息用于指示电子设备的变焦马达为开环马达、闭环马达，或者电子设备的拍摄装置为定焦拍摄装置；抖动量选帧策略是指根据待选图像队列的抖动量排序选取前N个图像，抖动量排序是指将待选图像队列的图像按照抖动量从小到大的顺序进行排序，N为正整数；对比度选帧策略是指根据待选图像队列的图像对比度排序选取前M个图像，图像对比度排序是指将待选图像队列中的图像按照图像对比度从大到小的顺序进行排序，M为正整数。

其中，第三场景为包括除点光源场景、运动场景、夜景场景及三脚架场景之外的场景。变焦信息用于指示电子设备的变焦马达为开环马达、闭环马达，或者电子设备的拍摄装置为定焦拍摄装置。

在一个实施例中，上述根据变焦信息在候选策略集合中确定抖动量选帧策略或者对比度选帧策略为目标策略，包括：当变焦信息指示电子设备的变焦马达为闭环马达时，确定抖动量选帧策略为目标策略。

本申请的实施例中，若电子设备的变焦马达为闭环马达，由于在镜头上加装霍尔芯片，能够将镜头实际的移动位置作为反馈信号准确的调整镜头的位置。因此，采用闭环马达的拍摄装置进行拍照的图像，其焦距设置得更加准确。因此采用抖动量选帧策略为目标策略，能够更加准确地从待选图像队列选择出图像质量好的图像。

在一个实施例中，上述根据变焦信息在候选策略集合中确定抖动量选帧策略或者对比度选帧策略为目标策略，包括：当变焦信息指示电子设备的变焦马达为开环马达，或者，电子设备的拍摄装置为定焦拍摄装置时，根据待选图像的深度图确定目标策略。

本申请的实施例中，若电子设备的变焦马达为开环马达，或者，电子设备的拍摄装置为定焦拍摄装置时，在采集图像的过程中，并不需要频繁的调整镜头的位置，因此出现镜头抖动的概率较小，因此可以进一步地根据待选图像的深度图确定目标策略。

在一个实施例中，上述根据待选图像的深度图确定目标策略，包括：根据深度图确定平坦度，平坦度用于指示深度图中各像素点的深度值的方差；根据平坦度确定目标策略。

在一个实施例中，上述根据平坦度确定目标策略，包括：在平坦度的变化范围大于预设阈值时，确定对比度选帧策略为目标策略；在平坦度的变化范围小于等于预设阈值时，确定抖动量选帧策略为目标策略。

本申请的实施例中，在电子设备的变焦马达为开环马达，或者，电子设备的拍摄装置为定焦拍摄装置的情况下，图像的平坦度中的数值变化越剧烈，则图像中拍摄的目标物之间的距离越大，目标物之间的对比度相差较大，图像的清晰度取决于图像的对比度，对比度越大越清晰，因此采用对比度选帧策略为目标策略，能够提高从待选图像队列中选取目标图像的准确度。图像的平坦度中的数值变化越平缓，则图像中目标物之间的距离越小，目标物之间的对比度相差较小，图像的清晰程度取决于拍摄时抖动的情况，抖动量越小越清晰。因此采用抖动量选帧策略为目标策略能够提高从待选图像队列中选取目标图像的准确度。

第二方面，提供了一种图像处理装置，包括用于执行第一方面中任一种方法的单元。该装置可以是终端设备，也可以是终端设备内的芯片。该装置可以包括输入单元和处理单元。

当该装置是终端设备时，该处理单元可以是处理器，该输入单元可以是通信接口；该终端设备还可以包括存储器，该存储器用于存储计算机程序代码，当该处理器执行该存储器所存储的计算机程序代码时，使得该终端设备执行第一方面中的任一种方法。

当该装置是终端设备内的芯片时，该处理单元可以是芯片内部的处理单元，该输入单元可以是输出接口、管脚或电路等；该芯片还可以包括存储器，该存储器可以是该芯片内的存储器(例如，寄存器、缓存等)，也可以是位于该芯片外部的存储器(例如，只读存储器、随机存取存储器等)；该存储器用于存储计算机程序代码，当该处理器执行该存储器所存储的计算机程序代码时，使得该芯片执行第一方面中的任一种方法。

在一种可能的实现方式中，存储器用于存储计算机程序代码；处理器，处理器执行该存储器所存储的计算机程序代码，当该存储器存储的计算机程序代码被执行时，该处理器用于执行：获取原始图像队列，原始图像队列是指根据预览图像与拍摄图像得到的图像队列，拍摄图像是指响应于用户的拍照操作采集的图像；对原始图像队列进行颜色筛选，和/或，对原始图像队列进行亮度筛选得到待选图像队列；颜色筛选是指根据颜色信息对原始图像队列进行图像筛选；亮度筛选是指根据亮度信息对原始图像队列进行图像筛选；获取待选图像队列的拍摄场景的信息；根据拍摄场景的信息在候选策略集合中确定目标策略，候选策略集合中包括至少两个选帧策略，选帧策略用于在待选图像队列中确定至少一个图像；根据目标策略在待选图像队列中确定目标图像，目标图像用于向用户进行显示。

第三方面，提供了一种电子设备，电子设备包括处理器，处理器用于与存储器耦合，并读取存储器中的指令并根据指令使得电子设备执行第一方面提供的方法。

第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行第一方面提供的方法。

第五方面，提供了一种芯片，芯片包括处理器，处理器用于与存储器耦合，并执行存储器中的计算机程序，以执行第一方面提供的方法。

第六方面，提供了一种包含指令的计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行第一方面提供的方法。

附图说明

图1为本申请实施例提供的电子设备的一种结构示意图；

图2为本申请实施例提供的电子设备的软件结构框图；

图3为本申请一个实施例中图像处理方法的应用场景的示意图；

图4为本申请另一个实施例中图像处理方法的应用场景的示意图；

图5为本申请一个实施例中图像处理方法的流程示意图；

图6为本申请一个实施例中拍摄界面的示意图；

图7为本申请一个实施例ZSL队列中目标图像的示意图；

图8为本申请另一个实施例ZSL队列中目标图像的示意图；

图9为本申请一个实施例中显示图像的界面示意图；

图10为本申请另一个实施例中图像处理方法的流程示意图；

图11为本申请一个实施例中颜色异常的图像对应的坐标点在坐标系中的示意图；

图12为本申请另一个实施例中图像处理方法的流程示意图；

图13为本申请一个实施例中待选图像队列中各图像的T值的示意图；

图14为本申请一个实施例中待选图像队列中各图像的ratio值的示意图；

图15为本申请一个实施例中图像的平坦度的示意图；

图16为本申请另一个实施例中图像的平坦度的示意图；

图17为本申请一个实施例中图像处理装置的结构示意图；

图18为本申请一个实施例中电子设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者更多个该特征。

为了便于理解，下面先对本申请实施例可能涉及的相关术语和概念进行介绍。

(1)原始图像(RAW图像)

原始图像，也称RAW图像，是指电子设备的拍摄装置采集到的图像。这些图像尚未被处理(例如图像渲染处理、白平衡处理等)，因此RAW图像保留有图像最多的信息。RAW图像通常并不会作为显示用的图像，而是作为包含图像的原始数据被使用。

(2)零秒延迟(zero shutter lag，ZSL)队列

使用电子设备的摄像头进行拍摄之前，通常会向用户展示待拍摄画面的图像，其中，这些向用户展示的图像也被称为预览图像。电子设备将预览图像和实际的拍摄图像按时间顺序依次缓存在一个图像队列中，该图像队列被称为ZSL队列。需要说明的是，ZSL队列中的图像通常是RAW图像。

(3)自动对焦系统

电子设备上拍摄装置(例如摄像头)通常会采用自动对焦系统进行对焦。自动对焦系统主要由镜头、马达、马达驱动芯片和感光芯片构成。其中，镜头和感光芯片是成像的主要器件，马达和马达驱动芯片是自动对焦的主要器件。镜头和感光芯片之间的距离别称为焦距。拍摄对象距离摄像头的位置不同，对应的成像位置不同，需要调整镜头和感光芯片的距离(焦距)，使得感光芯片上可以获得清晰的成像。自动对焦系统通常是通过马达带动镜头移动来调整焦距的。

(4)开环马达(open loop)

开环马达是指带动镜头移动的马达是根据输入的电流大小确定镜头的移动距离，在移动镜头的过程中没有反馈信号来修正所移动的距离。相当于输入开环马达的马达驱动芯片的是电流值，输出的是镜头的移动距离，马达驱动芯片不会根据镜头实际的移动距离调整输出的移动距离。因此，采用开环马达的定焦通常精度不高。

(5)闭环马达(close loop)

与开环马达相比，闭环马达在镜头上加装霍尔芯片，通过霍尔芯片来感应四周磁铁的磁通量，进而推算出镜头实际的位置。闭环马达可以将镜头的实际位置作为反馈信号输入马达驱动芯片，马达驱动芯片根据该反馈信号调整输出的移动距离。也即是说，闭环马达可以将镜头实际的移动位置作为反馈信号，精确调整镜头的位置，成像质量高。

(6)深度图

深度图(depth image)也被称为距离影像(range image)，是指将从拍摄装置到拍摄到的画面中各点的距离(深度)作为像素值的图像，它直接反映了拍摄画面中各对象的可见表面的几何形状。

(7)图像对比度

图像对比度是指一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的差值，即指一幅图像灰度反差的大小。差异范围越大代表图像对比度越大，差异范围越小代表图像对比度越小。

(8)抖动量

在手执电子设备进行拍摄图像的过程，电子设备的抖动会导致采集的图像定焦不准，呈现的图像较为模糊。在电子设备中包括用于检测摄像头是否发生抖动的陀螺仪传感器，当陀螺仪传感器采集的角速度信息发生变化时，则说明摄像头发生了抖动。基于此，可以用陀螺仪采集的角速度信息来计算得到抖动量。

本申请实施例提供的图像处理方法，可以应用于电子设备。可选的，电子设备可以为笔记本电脑、平板电脑、掌上电脑、车载终端、销售终端、可穿戴设备及手机等。

示例性的，图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于拍摄应用图标时，执行拍摄指令。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。在本申请的实施例中，陀螺仪传感器180B记录的角速度信息可以用于计算图像的抖动量。

距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

需要说明的是，本申请实施例提到的任一电子设备可以包括电子设备100中更多或者更少的模块。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。

图2是本申请实施例的电子设备100的软件结构框图。

电子设备100的分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动，Wi-Fi驱动等。

下面结合显示拍照场景，示例性说明电子设备100的软件系统和硬件系统的工作流程。

当用户在触摸传感器180K上进行触摸操作时，相应的硬件中断被发送至内核层，内核层将触摸操作加工成原始输入事件，原始输入事件例如包括触摸坐标和触摸操作的时间戳等信息。原始输入事件被存储在内核层，应用程序框架层从内核层获取原始输入事件，识别出原始输入事件对应的控件，并通知该控件对应的应用程序(application，APP)。例如，上述触摸操作为单击操作，上述控件对应的APP为相机APP，相机APP被单击操作唤醒后，可以通过API调用内核层的摄像头驱动，通过摄像头驱动控制摄像头193进行拍摄。

下面对本申请实施例的应用场景进行简要说明。

应用场景一

当用户打开相机APP时，电子设备按照预设的采样频率采集到预览图像，并在电子设备的显示屏显示。当电子设备接收到用户的拍摄操作之后，响应于该拍摄操作，通过摄像装置采集拍摄图像。如图3所示，电子设备将预览图像和拍摄图像缓存在ZSL队列中，并从ZSL队列选取质量好的图像向用户展示。

应用场景二

当用户打开相机APP时，按照预设的采样频率采集到预览图像，并在电子设备的显示屏显示。当电子设备接收到用户的拍摄操作之后，响应于该拍摄操作，通过摄像装置采集拍摄图像。电子设备将预览图像和拍摄图像缓存在ZSL队列中。电子设备可以从ZSL队列中选择出至少两帧图像进行融合处理，例如如图4所示，电子设备将ZSL队列中第2帧图像与第4帧图像进行融合，得到融合后的图像，并向用户展示融合后的图像。

应理解，上述为对应用场景的举例说明，并不对本申请的应用场景作任何限定。

下面结合图5至图16对本申请实施例提供的图像处理方法进行详细描述。

在一个示例中，本申请实施例提供的图像处理方法的流程示意图可以如图5所示，包括：

S101、获取原始图像队列。

其中，原始图像队列是指获取的拍摄场景的图像得到的图像队列。

示例性的，原始图像队列可以是指在响应于用户的拍照操作，采集到的预览图像和拍摄图像形成的ZSL队列。

S102、对原始图像队列进行颜色筛选，和/或，对原始图像队列进行亮度筛选得到待选图像队列。

S103、获取待选图像队列的拍摄场景的信息。

其中，待选图像队列为根据预览图像与拍摄图像得到的，拍摄图像是指响应于用户的拍照操作采集的图像。

当用户打开电子设备的相机APP时，电子设备开始按照预设的采样频率采集预览图像。电子设备采集到预览图像之后，可以对预览图像进行绘制渲染处理，然后再向用户展示。同时电子设备还可以按照拍摄时间顺序依次存储上述预览图像，以便需要时调用。当用户按下拍摄控件进行拍照操作之后，电子设备响应于用户的拍照操作采集的拍摄图像，并将拍摄图像存储起来。预览图像和拍摄图像被缓存在同一个图像队列中，该图像队列被称为ZSL队列。

需要说明的是，当用户打开电子设备的相机APP时，电子设备可以显示如图6所示的界面，该界面包括：拍摄控件10和拍摄场景选择控件20。其中，不同的场景信息对应不同的拍摄参数。例如，在夜景场景下，由于夜间的自然光微弱，呈现的画面背景通常为黑色，因此星光及灯光等其他光源的变化相对比较明显。为了适应夜间丰富的光线变化，获得正确的曝光和较好的画质，需要采用光圈优先模式，电子设备会采用小光圈进行拍摄，例如F10或者更小的光圈。同时需要使用较慢的快门和较低的感光度，例如将感光度设置为100，快门速度为30。

用户在点击拍摄控件10之前，可以在拍摄场景选择控件20中选择不同的拍摄场景。电子设备根据用户所选择的拍摄场景，调整拍摄参数。此后采集的预览图像是按照调整后的拍摄参数采集得到的。当用户点击了拍摄控件10之后，也会按照调整后的拍摄参数采集拍摄图像。应理解，采集到的预览图像和拍摄图像中携带有拍摄场景的信息。电子设备可以读取预览图像和拍摄图像中携带有拍摄场景的信息，获取待选图像队列的拍摄场景的信息。

应理解，待选图像队列可以是ZSL队列，也可以是对ZSL队列中的图像进行筛选得到的图像队列，本申请实施例对此不作限制。

S104、根据拍摄场景的信息在候选策略集合中确定目标策略。

其中，候选策略集合中包括至少两个选帧策略，选帧策略用于在待选图像队列中确定至少一个图像。

选帧策略可以是基于图像的抖动量大小从待选图像队列中确定至少一个图像；也可以是基于图像对比度大小从待选图像队列中确定至少一个图像；还可以是同时基于图像的抖动量大小和图像对比度的大小在待选图像队列中确定至少一个图像；本申请实施例对此不作限制。

示例性的，选帧策略可以是Gyro选帧策略，即，按照待选图像队列中各图像的抖动量大小从小到大的顺序将待选图像队列中的图像进行排序，选取前N个图像，N为正整数。

示例性的，选帧策略可以是对比度(Focus Value，FV)选帧策略，即，按照待选图像队列中各图像的图像对比度大小从大到小的顺序将待选图像队列中的图像进行排序，选取前M个图像，M为正整数。

在一种可能的情况下，选帧策略还可以将Gyro选帧策略和FV选帧策略相结合的策略进行选帧。

由S103的描述可知，电子设备可以读取待选图像队列中的图像的拍摄场景的信息，进而电子设备可以根据预存的拍摄场景与选帧策略的对应关系，为待选图像队列确定目标策略。

S105、根据目标策略在待选图像队列中确定目标图像。

其中，目标图像可以是待选图像队列中的一个图像，也可以是待选图像队列中的至少两个图像，本申请实施例对此不作限制。

示例性的，待选图像队列可以如图7所示，其中包括8帧图像。目标图像可以是图7中的第5帧图像。

在目标图像是待选图像队列中的一个图像的情况下，可以将目标图像作为响应于拍摄操作得到的图像向用户展示，也可以对目标图像进行绘制渲染处理，将处理后的目标图像向用户展示，本申请实施例对此不作限制。

示例性的，待选图像队列可以如图8所示，其中包括8帧图像。目标图像可以是图8中的第2帧图像、第5帧图像和第6帧图像。

在目标图像是待选图像队列中的至少两个图像的情况下，可以对目标图像进行融合处理，得到融合后的图像，并向用户展示融合后的图像。

进一步地，向用户展示拍摄得到的图像可以是根据目标图像得到的。例如，如图9所示，向用户展示的图像是根据从ZSL队列中确定的目标图像得到的。应理解，向用户展示的图像可以是目标图像，也可以是对目标图像进行融合处理得到的图像，本申请实施例对此不作限制。

本申请实施例中，获取待选图像队列的拍摄场景的信息，并根据拍摄场景的信息在候选策略集合中确定目标策略，进而根据目标策略在待选图像队列中确定目标图像；在本申请中由于在确定目标图像的过程中，不是简单地根据单一的标准从待选图像队列中选择至少一个图像，而是根据待选图像队列的拍摄场景信息，适应性的在候选策略集合中确定待选图像队列的目标策略；因此，提高了待选图像队列与目标策略匹配程度，进而使得采用匹配度更高的目标策略在待选图像队列中选择出的目标图像更加准确。

在一个示例中，本申请实施例提供的图像处理方法的流程示意图可以如图10所示，包括：

S201、获取原始图像队列。

其中，原始图像队列是指获取的拍摄场景的图像得到的图像队列。

示例性的，原始图像队列可以是指对在响应于用户的拍照操作，采集到的预览图像和拍摄图像形成的ZSL队列。

S202、对原始图像队列进行颜色筛选，和/或，对原始图像队列进行亮度筛选得到待选图像队列。

其中，颜色筛选是指根据颜色信息对原始图像队列进行图像筛选；亮度筛选是指根据亮度信息对原始图像队列进行图像筛选。

对原始图像队列进行颜色筛选可以是根据图像的自动白平衡(Auto WhiteBalance，AWB)数据进行。其中，AWB数据中包括一对数值(x,y)。

R_gain表示待选图像中红色信号的增益，B_gain表示待选图像中蓝色信号的增益，G_gain表示待选图像中绿色信号的增益，待选图像是指原始图像队列中的任意一个图像。在以X为横坐标、Y为纵坐标的坐标系中，原始图像队列中各图像的(x,y)分别对应坐标系上的一个坐标点，例如如图11所示。当存在颜色异常的图像时，颜色异常的图像对应的坐标点偏离其他图像对应的坐标点。

对原始图像队列进行亮度筛选可以是根据Meta数据进行的，Meta数据中包括图像曝光时间和图像增益。当存在亮度异常的图像时，亮度异常的图像的Meta数据偏离其他图像的Meta数据。

S203、获取待选图像队列的拍摄场景的信息。

其中，S203“获取待选图像队列的拍摄场景的信息”的实现方法与上述S101类似，此处不再赘述。

S204、在拍摄场景为第一场景时，在候选策略集合中确定抖动量选帧策略为目标策略。

其中，第一场景包括点光源场景、运动场景及夜景场景中的任意一项。

当待选图像队列的拍摄场景为点光源场景、运动场景及夜景场景中的任意一项时，待选图像队列中的各图像的抖动量的变化相对于图像对比度的变化较大，抖动量越小图像质量越好。在待选图像队列的拍摄场景为点光源场景、运动场景及夜景场景中的任意一项的情况下，将抖动量选帧策略(即Gyro选帧)作为目标策略，可以更加准确地从待选图像队列选择出图像质量好的图像。

S205、在拍摄场景为第二场景时，在候选策略集合中确定对比度选帧策略为目标策略。

其中，第二场景包括三脚架场景。

当待选图像队列的拍摄场景三脚架场景时，由于三脚架的支撑作用，待选图像队列中的图像的抖动量变化不大。也即是说，待选图像队列中图像的图像对比度的变化相对于图像的抖动量的变化较大，对比度越大图像质量越好。在待选图像队列的拍摄场景三脚架场景的情况下，将图像对比度选帧策略(即FV选帧策略)作为目标策略，可以更加准确地从待选图像队列选择出图像质量好的图像。

S206、在拍摄场景为第三场景，根据变焦信息在候选策略集合中确定抖动量选帧策略或者对比度选帧策略为目标策略。

其中，第三场景为包括除点光源场景、运动场景、夜景场景及三脚架场景之外的场景。变焦信息用于指示电子设备的变焦马达为开环马达、闭环马达，或者电子设备的拍摄装置为定焦拍摄装置。

需要说明的是，在电子设备制造完成时，电子设备的变焦信息已经确定，不会随着拍摄图像的不同而改变。因此，可以读取电子设备的硬件参数，得到上述变焦信息。

在拍摄场景为第三场景的情况下，可以根据变焦信息和选帧策略的对应关系，为待选图像队列选择目标策略。

S207、根据目标策略在待选图像队列中确定目标图像。

其中，S207“根据目标策略在待选图像队列中确定目标图像”的实现方法与上述S103类似，此处不再赘述。

在一个示例中，本申请实施例提供的图像处理方法的流程示意图可以如图12所示，包括：

S301、获取原始图像队列。

S302、对原始图像队列进行颜色筛选。

对原始图像队列进行颜色筛选可以是根据颜色信息进行的，其中颜色信息可以是根据公式

得到T值。由上述S202的描述可知，x和y是AWB数据中的一对数值。

R_gain表示待选图像中红色信号的增益，B_gain表示待选图像中蓝色信号的增益，G_gain表示待选图像中绿色信号的增益。

通过公式

得到各待选图像的T值之后，可以计算得到各待选图像的T值平均值。颜色异常的待选图像的T值与上述T值平均值之间的差值较大。例如，如图13所示，颜色异常的待选图像的T值与T值平均值之间的差值较大。对原始图像队列进行颜色筛选可以是将T值与T值平均值之间的差值大于预设阈值的待选图像从原始图像队列中筛除。

需要说明的是，用于对原始图像队列进行颜色筛选的预设阈值可以是用户根据经验设置的数值，也可以是电子设备对历史数据进行机器学习得到的数值，本申请实施例对此不作限制。

本申请实施例中，根据公式

得到T值，进而根据T值对原始图像队列进行颜色筛选得到待选图像队列，使得待选图像队列是筛除了颜色异常的图像得到的图像队列，也即是说，待选图像队列中不存在颜色异常的图像，避免了颜色异常的图像对从待选图像队列中确定目标图像的影响，提高了目标图像的准确度。

S303、对原始图像队列中的图像进行下采样处理，得到处理后的原始图像队列。

对原始图像队列中的图像进行下采样处理相当于缩小原始图像队列中的图像。例如，原始图像队列中的图像的图像大小M*N，对原始图像队列中的图像进行s倍下采样，即将原始图像队列中的图像缩小s倍，得到的处理后的图像大小为(M/s)×(N/s)。

在一个示例中，下采样处理后得到的图像大小为32×32。

需要说明的是，在对原始图像队列进行亮度筛选之前，可以对原始图像队列中的图像进行下采样处理，得到处理后的原始图像队列；也可以不对原始图像队列中的图像进行下采样处理，直接对原始图像队列进行亮度筛选；本申请实施例对此不作限制。

本申请实施例中，对原始图像队列中的图像进行下采样处理，得到处理后的原始图像队列，再根据图像曝光时间、图像增益及平均亮度值对处理后的原始图像队列进行亮度筛选，也即是说，在亮度筛选的过程中，所筛选的图像大小是较小的图像，相当于降低了亮度筛选的过程中计算量，提高了对原始图像队列的亮度筛选的效率。

S304、根据图像曝光时间、图像增益及平均亮度值对处理后的原始图像队列进行亮度筛选。

应理解，图像的每个像素点均存在一个对应的亮度值，图像的平均亮度值是指各个像素点的亮度值的平均值。

当电子设备的拍摄装置采集到图像时，会将图像曝光时间和图像增益存入Meta数据，通过调用待选图像的Meta数据，即可得到待选图像的图像曝光时间和图像增益。

在得到了待选图像的图像曝光时间、图像增益及平均亮度值之后，可以通过公式ratio＝(Expo_time*gain)/avgluma计算得到待选图像的亮度信息，其中，ratio值用于指示图像的亮度信息；Expo_time表示获取图像曝光时间，gain表示图像增益；avgluma表示平均亮度值。

当原始图像队里中存在亮度异常的图像时，通过上述公式计算得到亮度异常的图像的ratio值会偏离其他图像的ratio值，例如图14所示，亮度异常的图像的ratio值与原始图像队列中各图像的ratio平均值之间差距较大。对原始图像队列进行亮度筛选可以是将ratio值与ratio平均值之间的差值大于预设阈值的待选图像从原始图像队列中筛除。

需要说明的是，用于对原始图像队列进亮度筛选的预设阈值可以是用户根据经验设置的数值，也可以是电子设备对历史数据进行机器学习得到的数值，本申请实施例对此不作限制。

本申请实施例中，根据图像曝光时间、图像增益及平均亮度值对原始图像队列进行颜色筛选得到待选图像队列，使得待选图像队列是筛除了亮度异常的图像得到的图像队列，也即是说，待选图像队列中不存在亮度异常的图像，避免了亮度异常的图像对从待选图像队列中确定目标图像的影响，提高了目标图像的准确度。

应理解，在对原始图像队列进行筛选时，可以仅对原始图像队列进行颜色筛选；也可以仅对原始图像队列进行亮度筛选；还可以同时对原始图像队列进行颜色筛选和亮度筛选；本申请实施例对此不作限制。

S305、获取待选图像队列的拍摄场景的信息。

其中，S305“获取待选图像队列的拍摄场景的信息”的实现方法与上述S101类似，此处不再赘述。

S306、在拍摄场景为第三场景，确定待选图像队列的变焦信息。

变焦信息用于指示电子设备的变焦马达为开环马达、闭环马达，或者电子设备的拍摄装置为定焦拍摄装置。在电子设备制造完成时，电子设备的变焦信息已经确定，不会随着拍摄图像的不同而改变。因此，可以读取电子设备的硬件参数，得到上述变焦信息。

S307、当变焦信息指示电子设备的变焦马达为闭环马达时，确定抖动量选帧策略为目标策略。

若电子设备的变焦马达为闭环马达，由于在镜头上加装霍尔芯片，能够将镜头实际的移动位置作为反馈信号准确的调整镜头的位置。因此，采用闭环马达的拍摄装置进行拍照的图像，其焦距设置得更加准确。

在本申请的实施例中，采用抖动量选帧策略为目标策略，能够更加准确地从待选图像队列选择出图像质量好的图像。

S308、当变焦信息指示电子设备的变焦马达为开环马达，或者，电子设备的拍摄装置为定焦拍摄装置时，根据深度图确定平坦度。

若电子设备的变焦马达为开环马达，或者，电子设备的拍摄装置为定焦拍摄装置时，在采集图像的过程中，并不需要频繁的调整镜头的位置，因此出现镜头抖动的概率较小。因此可以采用其他方法来确定目标策略。

在一种可能的情况下，可以获取待选图像队列中的图像标识，并获取该图像标识对应的深度图，也即是待选图像队列中的图像对应的深度图。然后再根据深度图确定待选图像队列中的图像的平坦度，并基于平坦度，为待选图像队列的确定目标策略。

应理解，待选图像队列中的图像的标识可以是指时间戳，也可以是指该图像在待选图像队列中的帧序号，本申请实施例对此不作限制。

其中，平坦度可以是指深度图中各个像素点的深度值的方差，也即是说，图像的平坦度是一组数值，其中包括各像素点的深度值与该图像平均深度值之间的差值。在电子设备的变焦马达为开环马达，或者，电子设备的拍摄装置为定焦拍摄装置的情况下，图像的平坦度中的数值变化越剧烈(如图15所示)，则图像中拍摄的目标物之间的距离越大，目标物之间的对比度相差较大，图像的清晰度取决于图像的对比度，对比度越大越清晰。图像的平坦度中的数值变化越平缓(如图16所示)，则图像中目标物之间的距离越小，目标物之间的对比度相差较小，图像的清晰程度取决于拍摄时抖动的情况，抖动量越小越清晰。

S309、在平坦度的变化范围大于预设阈值时，确定对比度选帧策略为目标策略。

S310、在平坦度的变化范围小于等于预设阈值时，确定抖动量选帧策略为目标策略。

需要说明的是，上述预设阈值可以是用户根据经验设置的数值，也可以是电子设备对历史数据进行机器学习得到的数值，本申请实施例对此不作限制。

S311、根据目标策略在待选图像队列中确定目标图像。

其中，S311“根据目标策略在待选图像队列中确定目标图像”的实现方法与上述S103类似，此处不再赘述。

应该理解的是，虽然上述实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图17为本申请实施例提供的图像处理装置的一种结构示意图。

应理解，图像处理装置600可以执行图5至图16所示的图像处理方法；图像处理装置600包括：获取单元610和处理单元620。

在一个示例中，获取单元610用于获取原始图像队列，原始图像队列是指根据预览图像与拍摄图像得到的图像队列，拍摄图像是指响应于用户的拍照操作采集的图像；处理单元620用于对原始图像队列进行颜色筛选，和/或，对原始图像队列进行亮度筛选得到待选图像队列；其中，颜色筛选是指根据颜色信息对原始图像队列进行图像筛选；亮度筛选是指根据亮度信息对原始图像队列进行图像筛选；获取单元610还用于获取待选图像队列的拍摄场景的信息；处理单元620还用于根据拍摄场景的信息在候选策略集合中确定目标策略，候选策略集合中包括至少两个选帧策略，选帧策略用于在待选图像队列中确定至少一个图像；根据目标策略在待选图像队列中确定目标图像，目标图像用于向用户进行显示。

在一个示例中，颜色信息包括T值；其中，T值为根据以下公式得到：

其中，x用于表示待选图像中第一像素值与第二像素值的比值，待选图像是指原始图像队列中的任意一个图像，第一像素值是指待选图像中红色信号的增益；第二像素值是指待选图像中绿色信号的增益；y用于表示预览图像或拍摄图像中第三像素值与第二像素值的比值；第三像素值是指待选图像中蓝色信号的增益，根据T值对原始图像队列进行颜色筛选。

在一个示例中，亮度信息包括图像曝光时间、图像增益及平均亮度值，处理单元620具体用于根据图像曝光时间、图像增益及平均亮度值对原始图像队列进行亮度筛选。

在一个示例中，处理单元620还用于对原始图像队列中的图像进行下采样处理，得到处理后的原始图像队列；根据图像曝光时间、图像增益及平均亮度值对处理后的原始图像队列进行亮度筛选。

在一个示例中，处理单元620具体用于在拍摄场景为第一场景时，在候选策略集合中确定抖动量选帧策略为目标策略，其中，第一场景包括点光源场景、运动场景及夜景场景中的任意一项；抖动量选帧策略是指根据待选图像队列的抖动量排序选取前N个图像，抖动量排序是指将待选图像队列的图像按照抖动量从小到大的顺序进行排序，N为正整数。

在一个示例中，处理单元620具体用于在拍摄场景为第二场景时，在候选策略集合中确定对比度选帧策略为目标策略，其中，第二场景包括三脚架场景；对比度选帧策略是指根据待选图像队列的图像对比度排序选取前M个图像，图像对比度排序是指将待选图像队列中的图像按照图像对比度从大到小的顺序进行排序，M为正整数。

在一个实施例中，处理单元620具体用于在拍摄场景为第三场景时，根据变焦信息在候选策略集合中确定抖动量选帧策略或者对比度选帧策略为目标策略；其中，第三场景为包括除点光源场景、运动场景、夜景场景及三脚架场景之外的场景；变焦信息用于指示电子设备的变焦马达为开环马达、闭环马达，或者电子设备的拍摄装置为定焦拍摄装置；抖动量选帧策略是指根据待选图像队列的抖动量排序选取前N个图像，抖动量排序是指将待选图像队列的图像按照抖动量从小到大的顺序进行排序，N为正整数；对比度选帧策略是指根据待选图像队列的图像对比度排序选取前M个图像，图像对比度排序是指将待选图像队列中的图像按照图像对比度从大到小的顺序进行排序，M为正整数。

在一个示例中，处理单元620具体用于当变焦信息指示电子设备的变焦马达为闭环马达时，确定抖动量选帧策略为目标策略。

在一个示例中，处理单元620具体用于当变焦信息指示电子设备的变焦马达为开环马达，或者，电子设备的拍摄装置为定焦拍摄装置时，根据待选图像的深度图确定目标策略。

在一个示例中，处理单元620具体用于根据深度图确定平坦度，平坦度用于指示深度图中各像素点的深度值的方差；根据平坦度确定目标策略。

在一个示例中，处理单元620具体用于在平坦度的变化范围大于预设阈值时，确定对比度选帧策略为目标策略；在平坦度的变化范围小于等于预设阈值时，确定抖动量选帧策略为目标策略。

本实施例提供的图像处理装置，用于执行上述实施例的图像处理方法，技术原理和技术效果相似，此处不再赘述。

需要说明的是，上述图像处理装置600以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。

例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

图18示出了本申请提供的一种电子设备的结构示意图。图18中的虚线表示该单元或该模块为可选的。电子设备700可用于实现上述方法实施例中描述的图像处理方法。

电子设备700包括一个或多个处理器701，该一个或多个处理器701可支持电子设备700实现方法实施例中的图像处理方法。处理器701可以是通用处理器或者专用处理器。例如，处理器701可以是中央处理器(central processing unit，CPU)、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其它可编程逻辑器件，如分立门、晶体管逻辑器件或分立硬件组件。

处理器701可以用于对电子设备700进行控制，执行软件程序，处理软件程序的数据。电子设备700还可以包括通信单元705，用以实现信号的输入(接收)和输出(发送)。

例如，电子设备700可以是芯片，通信单元705可以是该芯片的输入和/或输出电路，或者，通信单元705可以是该芯片的通信接口，该芯片可以作为终端设备或其它电子设备的组成部分。

又例如，电子设备700可以是终端设备，通信单元705可以是该终端设备的收发器，或者，通信单元705可以是该终端设备的收发电路。

电子设备700中可以包括一个或多个存储器702，其上存有程序704，程序704可被处理器701运行，生成指令703，使得处理器701根据指令703执行上述方法实施例中描述的图像处理方法。

可选地，存储器702中还可以存储有数据。可选地，处理器701还可以读取存储器702中存储的数据，该数据可以与程序704存储在相同的存储地址，该数据也可以与程序704存储在不同的存储地址。

处理器701和存储器702可以单独设置，也可以集成在一起；例如，集成在终端设备的系统级芯片(system on chip，SOC)上。

示例性地，存储器702可以用于存储本申请实施例中提供的图像处理方法的相关程序704，处理器701可以用于在对终端设备进行图像修复时调用存储器702中存储的图像处理方法的相关程序704，执行本申请实施例的图像处理方法；例如，获取原始图像队列，原始图像队列是指根据预览图像与拍摄图像得到的图像队列，拍摄图像是指响应于用户的拍照操作采集的图像；对原始图像队列进行颜色筛选，和/或，对原始图像队列进行亮度筛选得到待选图像队列；颜色筛选是指根据颜色信息对原始图像队列进行图像筛选；亮度筛选是指根据亮度信息对原始图像队列进行图像筛选；获取待选图像队列的拍摄场景的信息；根据拍摄场景的信息在候选策略集合中确定目标策略，候选策略集合中包括至少两个选帧策略，选帧策略用于在待选图像队列中确定至少一个图像；根据目标策略在待选图像队列中确定目标图像，目标图像用于向用户进行显示。

本申请还提供了一种计算机程序产品，该计算机程序产品被处理器701执行时实现本申请中任一方法实施例所述的图像处理方法。

该计算机程序产品可以存储在存储器702中，例如是程序704，程序704经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器701执行的可执行目标文件。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本申请中任一方法实施例所述的图像处理方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。

该计算机可读存储介质例如是存储器702。存储器702可以是易失性存储器或非易失性存储器，或者，存储器702可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmableROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(randomaccess memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamicRAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种图像处理方法，其特征在于，包括：

获取原始图像队列，所述原始图像队列是指根据预览图像与拍摄图像得到的图像队列，所述拍摄图像是指响应于用户的拍照操作采集的图像；

对所述原始图像队列进行颜色筛选，和/或，对所述原始图像队列进行亮度筛选得到待选图像队列；所述颜色筛选是指根据颜色信息对所述原始图像队列进行图像筛选；所述亮度筛选是指根据亮度信息对所述原始图像队列进行图像筛选；

获取所述待选图像队列的拍摄场景的信息；

根据所述拍摄场景的信息在候选策略集合中确定目标策略，所述候选策略集合中包括至少两个选帧策略，所述选帧策略用于在所述待选图像队列中确定至少一个图像；

根据所述目标策略在所述待选图像队列中确定目标图像，所述目标图像用于向所述用户进行显示；

其中，所述根据所述拍摄场景的信息在候选策略集合中确定目标策略，包括：

在所述拍摄场景为第三场景时，根据变焦信息在所述候选策略集合中确定抖动量选帧策略或者对比度选帧策略为所述目标策略；

其中，所述第三场景为包括除点光源场景、运动场景、夜景场景及三脚架场景之外的场景；所述变焦信息用于指示电子设备的变焦马达为开环马达、闭环马达，或者所述电子设备的拍摄装置为定焦拍摄装置；所述抖动量选帧策略是指根据所述待选图像队列的抖动量排序选取前N个图像，所述抖动量排序是指将所述待选图像队列的图像按照抖动量从小到大的顺序进行排序，N为正整数；所述对比度选帧策略是指根据所述待选图像队列的图像对比度排序选取前M个图像，所述图像对比度排序是指将所述待选图像队列中的图像按照图像对比度从大到小的顺序进行排序，M为正整数。

2.根据权利要求1所述的方法，其特征在于，所述颜色信息包括T值；其中，T值为根据以下公式得到：

其中，x用于表示待选图像中第一像素值与第二像素值的比值，所述待选图像是指所述原始图像队列中的任意一个图像，所述第一像素值是指所述待选图像中红色信号的增益；所述第二像素值是指所述待选图像中绿色信号的增益；y用于表示所述预览图像或所述拍摄图像中第三像素值与所述第二像素值的比值；所述第三像素值是指所述待选图像中蓝色信号的增益；

所述对所述原始图像队列进行颜色筛选，包括：

根据T值对所述原始图像队列进行所述颜色筛选。

3.根据权利要求1或2所述的方法，其特征在于，所述亮度信息包括图像曝光时间、图像增益及平均亮度值，所述对所述原始图像队列进行亮度筛选，包括：

根据所述图像曝光时间、所述图像增益及所述平均亮度值对所述原始图像队列进行所述亮度筛选。

4.根据权利要求3所述的方法，其特征在于，所述根据所述图像曝光时间、所述图像增益及所述平均亮度值对所述原始图像队列进行所述亮度筛选之前，还包括：

对所述原始图像队列中的图像进行下采样处理，得到处理后的原始图像队列；

所述根据所述图像曝光时间、所述图像增益及所述平均亮度值对所述原始图像队列进行所述亮度筛选，包括：

根据所述图像曝光时间、所述图像增益及所述平均亮度值对所述处理后的原始图像队列进行所述亮度筛选。

5.根据权利要求1、2或4任一项所述的方法，其特征在于，所述根据所述拍摄场景的信息在候选策略集合中确定目标策略，包括：

在所述拍摄场景为第一场景时，在所述候选策略集合中确定抖动量选帧策略为所述目标策略，其中，所述第一场景包括点光源场景、运动场景及夜景场景中的任意一项；所述抖动量选帧策略是指根据所述待选图像队列的抖动量排序选取前N个图像，所述抖动量排序是指将所述待选图像队列的图像按照抖动量从小到大的顺序进行排序，N为正整数。

6.根据权利要求1、2或4任一项的方法，其特征在于，所述根据所述拍摄场景的信息在候选策略集合中确定目标策略，包括：

在所述拍摄场景为第二场景时，在所述候选策略集合中确定对比度选帧策略为所述目标策略，其中，所述第二场景包括三脚架场景；所述对比度选帧策略是指根据所述待选图像队列的图像对比度排序选取前M个图像，所述图像对比度排序是指将所述待选图像队列中的图像按照图像对比度从大到小的顺序进行排序，M为正整数。

7.根据权利要求1所述的方法，其特征在于，所述根据变焦信息在所述候选策略集合中确定抖动量选帧策略或者对比度选帧策略为所述目标策略，包括：

当所述变焦信息指示所述电子设备的变焦马达为所述闭环马达时，确定所述抖动量选帧策略为所述目标策略。

8.根据权利要求1所述的方法，其特征在于，所述根据变焦信息在所述候选策略集合中确定抖动量选帧策略或者对比度选帧策略为所述目标策略，包括：

当所述变焦信息指示所述电子设备的变焦马达为所述开环马达，或者，所述电子设备的拍摄装置为所述定焦拍摄装置时，根据所述待选图像队列的图像的深度图确定所述目标策略。

9.根据权利要求8所述的方法，其特征在于，所述根据所述待选图像队列的图像的深度图确定所述目标策略，包括：

根据所述深度图确定平坦度，所述平坦度用于指示所述深度图中各像素点的深度值的方差；

根据所述平坦度确定所述目标策略。

10.根据权利要求9所述的方法，其特征在于，所述根据所述平坦度确定所述目标策略，包括：

在所述平坦度的变化范围大于预设阈值时，确定所述对比度选帧策略为所述目标策略；

在所述平坦度的变化范围小于等于所述预设阈值时，确定所述抖动量选帧策略为所述目标策略。

11.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于与存储器耦合，并读取存储器中的指令并根据所述指令使得所述电子设备执行如权利要求1至10中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1至10中任一项所述的方法。

13.一种芯片，其特征在于，所述芯片包括处理器，所述处理器用于与存储器耦合，并执行存储器中的计算机程序，以执行如权利要求1至10中任一项所述的方法。

Images