CN109729279B - 一种图像拍摄方法和终端设备 - Google Patents

Abstract

一种图像拍摄方法和终端设备。该方法包括：终端设备响应于预设操作，开启摄像头；终端设备根据所述摄像头的初始曝光值，确定曝光最大值和曝光最小值；其中，所述摄像头基于所述曝光最大值采集的图像的暗区的清晰度能够满足第一条件，基于所述曝光最小值采集的图像的亮区的清晰度能够满足第二条件；所述终端设备根据所述曝光最大值和曝光最小值，确定曝光帧数序列，所述曝光帧数序列中包括N个曝光取值，N为大于等于2的整数；所述终端设备根据所述曝光帧数序列中的N个曝光取值，采集N帧原始图像，每帧原始图像对应一个曝光取值；所述终端设备将所述N帧原始图像融合得到最终图像。该方法有助于提升拍摄的图像质量。

Description

一种图像拍摄方法和终端设备

技术领域

本申请涉及终端技术领域，尤其涉及一种图像拍摄方法和终端设备。

背景技术

随着终端技术的进步，终端设备的各种功能不断完善。以手机为例，手机中图像拍摄功能是用户使用频率较高的功能之一，而且，用户越来越关注手机的成像质量。

然而，目前的手机拍摄图像时，曝光度不好把控，容易出现过曝或欠曝的问题。导致在图像中亮部细节清晰但是暗部细节丢失，或者暗部细节清晰但是亮部细节丢失，最终导致图像的成像质量不佳。

发明内容

本申请实施例提供一种图像拍摄方法和终端设备，用以提高图像拍摄的质量。

第一方面，本申请实施例提供一种图像拍摄方法，该方法可由终端设备(比如手机，ipad等具有图像采集功能的设备)执行。该方法包括：终端设备响应于预设操作，开启摄像头；终端设备根据所述摄像头的初始曝光值，确定曝光最大值和曝光最小值；其中，所述摄像头基于所述曝光最大值采集的图像的暗区的清晰度能够满足第一条件，基于所述曝光最小值采集的图像的亮区的清晰度能够满足第二条件；所述终端设备根据所述曝光最大值和曝光最小值，确定曝光帧数序列，所述曝光帧数序列中包括N个曝光取值，N为大于等于2的整数；所述终端设备根据所述曝光帧数序列中的N个曝光取值，采集N帧原始图像，每帧原始图像对应一个曝光取值；所述终端设备将所述N帧原始图像融合得到最终图像。

在本申请实施例中，由于曝光最大值和曝光最小值分别能够使得图像上暗区的清晰度满足条件和亮区的清晰度满足条件，所以终端设备可以根据曝光最大值和曝光最小值确定曝光帧数序列，然后基于该曝光帧数序列采集N帧图像，融合得到最终图像。通过这种方式，有助于提升图像拍摄质量，提升用户体验。

在一种可能的设计中，终端设备根据所述曝光最大值和曝光最小值，确定曝光帧数序列，包括：所述终端设备确定所述曝光最大值和所述曝光最小值的比值；若所述比值小于阈值，则所述曝光帧数序列中N个曝光取值相同，且所述N个曝光取值为所述曝光最大值、所述曝光最小值或所述曝光最大值和所述曝光最小值的中间值；若所述比值大于等于所述阈值，则所述曝光帧数序列中N个曝光取值不同，且所述每个曝光取值在[T1，T2]的区间内，其中，T1为曝光最小值，T2为曝光最大值。

在本申请实施例中，若曝光最大值和曝光最小值的比值较大，说明图像中明暗差异较大，终端设备可以采集较多帧原始图像，且每帧原始图像的曝光取值不同，有助于更好的恢复图像中细节。若曝光最大值和曝光最小值的比值较小，说明图像中明暗差异较小，所以终端设备可以采集较少帧原始图像，且每帧原始图像的曝光取值相同，足够恢复细节，有助于提高运算效率。

在一种可能的设计中，所述终端设备根据所述曝光最大值和曝光最小值，确定曝光帧数序列，包括：若所述终端设备确定当前处于手持状态，所述终端设备采集一帧参考图像；所述参考图像是所述终端设备在检测到当前处于手持状态，且持续稳定预设时长时，采集的图像；所述终端设备确定所述曝光帧数序列，所述曝光帧数序列中包括所述参考图像对应的参考曝光取值和N个曝光取值，所述N个曝光取值中每个曝光取值在[T1，T2]的区间内，其中，T1为曝光最小值，T2为曝光最大值，且所述N个曝光取值中每个曝光取值与所述参考曝光取值的差值均小于预设差值。

在本申请实施例中，当终端设备处于手持状态时，可能出现抖动，导致拍摄画面(预览图像)不稳定。终端设备可以采集一参考图像，曝光帧数序列中每个曝光取值与参考曝光取值(参考图像对应的曝光取值)之间的差值小于预设差值。通过这种方式，即便终端设备处于手持状态，仍然可以较为准确的确定曝光帧数序列，有助于提升图像拍摄质量，提升用户体验。

在一种可能的设计中，所述N个曝光取值中每个曝光取值与所述参考曝光取值的差值均小于预设差值，包括：所述N个曝光取值中每个曝光取值对应的图像的第一亮度值与所述参考图像的第二亮度值之间的亮度差均小于预设亮度差。

在本申请实施例中，当终端设备处于手持状态时，可能出现抖动，导致拍摄画面(预览图像)不稳定。终端设备可以采集一参考图像，曝光帧数序列中每个曝光取值对应的图像与参考图像之间的亮度差小于预设差值。通过这种方式，即便终端设备处于手持状态，仍然可以较为准确的确定曝光帧数序列，有助于提升图像拍摄质量，提升用户体验。

在一种可能的设计中，终端设备根据设置的初始曝光值，确定曝光最大值，包括：所述终端设备按照第一预设步长，增大初始曝光值，得到第一曝光值；其中，所述第一曝光值T2符合下述公式：

其中，Lmax表示预设的目标亮度值，T1表示初始曝光值，L1表示初始图像对应的亮度值，所述初始图像时基于所述初始曝光值采集的图像；所述W1表示所述第一预设步长；若所述摄像头基于所述第一曝光值采集的图像的暗区的清晰度满足第一条件，所述终端设备确定所述第一曝光值为所述曝光最大值。

在本申请实施例中，终端设备按照第一预设步长增大初始曝光值，得到第一曝光值，若摄像头基于该第一曝光值采集的图像的暗区的清晰度满足条件，终端设备确定第一曝光值为曝光最大值。通过这种方式，终端设备可以较为准确的确定曝光最大值，进而较为准确的得到曝光帧数序列，然后基于曝光帧数序列采集N帧图像，融合得到最终图像，有助于提升图像拍摄质量，提升用户体验。

在一种可能的设计中，若所述摄像头基于所述第一曝光值采集的图像的暗区的清晰度不满足第一条件，所述终端设备继续按照第二预设步长，增大所述第一曝光值，得到第二曝光值；其中，所述第二曝光值T3符合下述公式：

其中，Lmax表示预设的目标亮度值，L2表示第一图像对应的亮度值，所述第一图像是基于所述第一曝光值采集的图像；所述W2表示所述第二预设步长；若所述摄像头基于所述第二曝光值采集的图像的暗区的清晰度满足第一条件，所述终端设备确定所述第二曝光值为所述曝光最大值。

在本申请实施例中，当终端设备按照第一预设步长增大初始曝光值，得到第一曝光值之后，若摄像头基于该第一曝光值采集的图像的暗区的清晰度不满足条件，终端设备可以继续按照第二预设步长增大第一曝光值。其中，第一预设步长和第二预设步长不同。因此，终端设备在增大初始曝光取值的过程中，每次增大的步长不同，有助于提升确定的曝光最大值的准确性，进而较为准确的得到曝光帧数序列，然后基于曝光帧数序列采集N帧图像，融合得到最终图像，有助于提升图像拍摄质量，提升用户体验。

在一种可能的设计中，图像的暗区的清晰度能够满足第一条件，包括：图像中暗区的像素点个数占整张图像中像素点总数的比例小于预设比例；其中，所述暗区用于指示图像中最低灰阶到第一灰阶的区域，所述第一灰阶小于128灰阶。

在本申请实施例中，当图像上最低灰阶到第一灰阶的区域的像素点较少时，说明图像过暗区域较少，暗区的清晰度满足条件。通过这种方式，可以较为准确的确定曝光最小值，进而较为准确的得到曝光帧数序列，然后基于曝光帧数序列采集N帧图像，融合得到最终图像，有助于提升图像拍摄质量，提升用户体验。

在一种可能的设计中，图像的亮区的清晰度能够满足第二条件，包括：图像中亮区的像素点个数占整张图像中像素点总数的比例小于预设比例；其中，所述亮区用于指示所述图像中第一灰阶到最高灰阶的区域，所述第一灰阶大于128。

在本申请实施例中，当图像上第一灰阶到最高灰阶的区域的像素点较少时，说明图像过亮区域较少，亮区的清晰度满足条件。通过这种方式，可以较为准确的确定曝光最大值，进而较为准确的得到曝光帧数序列，然后基于曝光帧数序列采集N帧图像，融合得到最终图像，有助于提升图像拍摄质量，提升用户体验。

在一种可能的设计中，所述终端设备将N帧原始图像融合，得到最终图像，包括：所述终端设备将每帧原始图像处理为RGB图像，得到N帧RGB图像；所述终端设备根据像素点的亮度值和叠加系数的对应关系，确定每帧RGB图像上的每个像素点对应的叠加系数；所述终端设备确定每个像素点对应的亮度值和叠加系数的乘积；所述终端设备分别将N帧RGB图像上属于同一位置的像素点的乘积求和，得到最终图像上该同一个像素点的亮度值。

在本申请实施例中，终端设备融合N帧图像得到最终图像时，最终图像上的一个位置处的像素点的亮度值是N帧图像上同一位置的像素点的亮度值叠加得到，但是N帧图像上该位置处的像素点的叠加系数不同。通过这种方式，可以较为准确的融合得到的图像的亮度值，提升图像拍摄质量，提升用户体验。

在一种可能的设计中，在终端设备响应于预设操作，开启摄像头之前，所述终端设备确定处于锁屏状态；所述终端设备响应于预设操作，开启摄像头，包括：所述终端设备检测到用户人脸与所述终端设备的距离小于预设距离时，开启摄像头；所述终端设备采集的每帧原始图像中包括所述人脸；所述终端设备将N帧原始图像融合得到最终图像之后，所述方法还包括：所述终端设备将所述最终图像和预存的人脸图像比较；若一致，所述终端设备解锁。

在本申请实施例提供的图像拍摄方法可以适用于人脸解锁领域，由于拍摄的最终图像的质量较高，有助于提高人脸解锁的准确性，提高终端设备的安全性，提升用户体验。

在一种可能的设计中，在终端设备响应于用户操作，开启摄像头之前，所述终端设备显示支付验证界面；所述终端设备响应于预设操作，开启摄像头，包括：所述终端设备接收到用于指示人脸支付的操作时，开启摄像头；所述终端设备采集的每帧原始图像中包括所述人脸；所述终端设备将N帧原始图像融合得到最终图像之后，所述终端设备将所述最终图像与预存的人脸图像比较；若一致，所述终端设备执行支付流程。

在本申请实施例提供的图像拍摄方法可以适用于人脸支付领域，由于拍摄的最终图像的质量较高，有助于提高支付安全性，提升用户体验。

第二方面，本申请实施例还提供一种终端设备。该终端设备包括摄像头、处理器和存储器；所述摄像头：用于采集原始图像；所述存储器用于存储一个或多个计算机程序；当所述存储器存储的一个或多个计算机程序被所述处理器执行时，使得所述终端设备能够实现第一方面及其第一方面任一可能设计的技术方案。

第三方面，本申请实施例还提供了一种终端设备，所述终端设备包括执行第一方面或者第一方面的任意一种可能的设计的方法的模块/单元；这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。

第四方面，本申请实施例的一种芯片，所述芯片与电子设备中的存储器耦合，执行本申请实施例第一方面及其第一方面任一可能设计的技术方案；本申请实施例中“耦合”是指两个部件彼此直接或间接地结合。

第五方面，本申请实施例的一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，当计算机程序在终端设备上运行时，使得所述终端设备执行本申请实施例第一方面及其第一方面任一可能设计的技术方案。

第六方面，本申请实施例的中一种计算机程序产品，包括指令，当所述计算机程序产品在终端设备上运行时，使得所述终端设备执行本申请实施例第一方面及其第一方面任一可能设计的技术方案。

附图说明

图1为本申请实施例提供的手机100的结构示意图；

图2为本申请实施例提供的手机100的结构示意图；

图3为本申请实施例提供的手机100获取预览图像的流程示意图；

图4为本申请实施例提供的手机100确定曝光帧数序列的流程示意图；

图5为本申请实施例提供的一种曝光帧数序列的示意图；

图6为本申请实施例提供的手机100确定曝光帧数序列的流程示意图；

图7为本申请实施例提供的另一种曝光帧数序列的示意图；

图8为本申请实施例提供的手机100确定曝光帧数序列的流程示意图；

图9为本申请实施例提供的手机100的结构示意图；

图10为本申请实施例提供的又一种曝光帧数序列的示意图；

图11为本申请实施例提供的图像融合过程的示意图；

图12为本申请实施例提供的图像融合过程的示意图；

图13为本申请实施例提供的亮度值和叠加系数之间的曲线关系示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

以下，对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

本申请实施例涉及的应用(application，简称app)，为能够实现某项或多项特定功能的计算机程序。通常，终端设备中可以安装多个应用。比如，相机应用、短信应用、彩信应用、各种邮箱应用、聊天软件应用、WhatsApp Messenger、连我(Line)、照片分享(instagram)、Kakao Talk、钉钉应用等。下文中提到的应用，可以是终端设备出厂时自带的应用，也可以是用户在使用终端设备的过程中从网络侧下载的应用。本申请实施例提供的图像拍摄方法可以集成在一个或多个应用中，比如集成在相机应用或者微信应用(比如微信中的视频通话，表情包拍摄等)中。以相机应用为例，终端设备可以启动相机应用时，默认采用本申请实施例提供的图像拍摄方法，或者，终端设备启动相机应用，显示取景界面，取景界面中可以包括一控件，该控件被激活时，终端设备才启动本申请实施例提供的图像拍摄方法。

本申请实施例涉及的像素，为一张图像上的最小成像单元。一个像素可以对应图像上的一个坐标点。像素可以包括一个参数(比如灰度)，也可以是多个参数的集合(比如灰度、颜色等)。如果像素包括一个参数，那么像素值就是该参数的取值，如果像素是多个参数的集合，那么像素值包括所述集合中每个参数的取值。

本申请实施例涉及的曝光参数，是终端设备在拍摄图像时设置的参数。曝光参数可以用于指示设备在拍摄景物时，接收景物发出的光线的总量。曝光参数可以包括曝光时间和/或感光度(international standardization organization，ISO)等。通过，曝光取值是曝光时间和ISO的乘积。

通常，曝光参数的取值的大小可以决定最终拍摄的图像的亮度值的大小。例如曝光时间较长较大，则设备在拍摄图像时的进光量较大，所以拍摄的图像的亮度较大。如果曝光时间较短，则设备在拍摄图像时的进光量较小，所以拍摄的图像的亮度较小。

本申请实施例提供的原始图像，是摄像头的输出图像，即摄像头将采集的物体反射的光信息转化为数字图像信号而得到的原始数据，该原始数据未经过加工处理。比如，原始图像可以是raw格式数据。该raw格式数据中可以包括物体的信息和摄像头参数。其中，摄像头参数可以包括ISO、快门速度、光圈值、白平衡等。

本申请实施例涉及的RGB图像，是ISP的输出图像，由ISP对原始图像进行处理得到RGB格式的图像。其中，一帧RGB图像上的一个像素点具有三种基础颜色，即红(Red，下文以R表示)，绿(Green，下文以G表示)，蓝(Blue，下文以B表示)，RGB图像上呈现的颜色可以通过这三种基础颜色组合而成。因此，一帧RGB图像上的每个像素点可以包含R、G、B三种颜色信息，且每个像素点上的R、G、B三种颜色信息的取值不同。比如，一个像素点对应的R、G、B三种颜色信息的取值均为266时，该像素点呈现白色，一个像素点对饮的R、G、B三种颜色信息的取值均为0时，该像素点呈现黑色。

当然，ISP也可以对原始图像进行处理得到YUV格式的图像，本申请实施例不限定。下文中，以RGB图像为例。

应理解，一帧RGB图像上一个像素点对应一个灰阶，灰阶即亮度级别(比如灰阶0-255)，灰阶较高的，亮度较大，灰阶较低的亮度较小。因此，一个像素点也可以对应一个亮度值(即灰阶)。一个像素点包括RGB三种颜色以及灰阶，呈现出彩色且明亮差异的图像。

需要说明的是，本申请实施例涉及的“图像”，例如原始图像、RGB图像等，可以是指图片，也可以是一些参数(比如，像素信息，颜色信息、亮度信息)的集合。

本申请实施例涉及的多个，是指大于或等于两个。

需要说明的是，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。且在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

以下介绍终端设备、用于这样的终端设备的图形用户界面(graphical userinterface，GUI)、和用于使用这样的终端设备的实施例。在本申请一些实施例中，终端设备可以是便携式设备，诸如手机、平板电脑、具备无线通讯功能的可穿戴设备(如智能手表)等。便捷式终端具备图像采集功能和算法运算能力(能够运行本申请实施例提供的图像拍摄算法)。便携式设备的示例性实施例包括但不限于搭载

或者其它操作系统的便携式设备。上述便携式设备也可以是其它便携式设备，只要能够实现图像采集功能和算法运算能力(能够运行本申请实施例提供的图像拍摄算法)即可。还应当理解的是，在本申请其他一些实施例中，上述终端设备也可以不是便携式设备，而是能够实现图像采集功能和算法运算能力(能够运行本申请实施例提供的图像拍摄算法)的台式计算机。

在本申请另一些实施例中，终端设备还可以具有图像采集功能和通信功能，而无需具有运行本申请实施例提供的图像拍摄算法的能力。比如，终端设备启动摄像头后，摄像头采集图像。终端设备可以将采集的图像发送给能够运行本申请实施例提供的图像拍摄算法的其它设备，由其它设备运行该图像拍摄算法得到质量较好的图像，将图像发送给终端设备即可。以手机为例，手机打开相机应用，启动摄像头采集图像，并显示取景界面。手机将采集的图像发送给能够运行本申请实施例提供的图像拍摄算法的其它设备，由其它设备运行该图像拍摄算法得到质量较好的预览图像，手机在取景界面中显示接收的预览图像。再以手机为例，手机打开相机应用，启动摄像头采集图像，并显示取景界面，取景界面中包括预览图像。当手机检测到用户触发拍摄按钮的操作时，将采集的图像发送给能够运行本申请实施例提供的图像拍摄算法的其它设备，由其它设备运行该图像拍摄算法得到质量较好的图像，手机将接收的图像存储。在下文中，以终端设备自身具有图像采集功能和算法运算功能为例，且以终端设备运行算法得到质量较好的预览图像，然后显示预览图像为例。

以终端设备是手机为例，图1示出了手机100的结构示意图。

手机100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块151，无线通信模块152，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括陀螺仪传感器180A，加速度传感器180B，指纹传感器180H，温度传感器，触摸传感器180K(当然，手机100还可以包括其它传感器，比如压力传感器、加速度传感器、陀螺仪传感器、环境光传感器、骨传导传感器等，图中未示出)。

可以理解的是，本发明实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中，手机100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

其中，处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。其中，控制器可以是手机100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

处理器110可以运行本申请实施例提供的图像拍摄算法，以得到质量较好的预览图像。当处理器110集成不同的器件，比如集成CPU和GPU时，CPU和GPU可以配合执行本申请实施例提供的图像拍摄算法，比如图像拍摄算法中部分算法由CPU执行，另一部分算法由GPU执行，以得到质量较好的预览图像。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，手机100可以包括1个或N个显示屏194，N为大于1的正整数。

显示屏194可以显示相机应用的取景界面，当处理器110运行本申请实施例提供的图像拍摄算法后，得到质量较好的，显示屏194可以在取景界面中显示该预览图像。

摄像头193(前置摄像头或者后置摄像头)用于捕获静态图像或视频。通常，摄像头193可以包括感光元件比如镜头组和图像传感器，其中，镜头组包括多个透镜(凸透镜或凹透镜)，用于采集待拍摄物体反射的光信号，并将采集的光信号传递给图像传感器。图像传感器根据所述光信号生成待拍摄物体的原始图像。摄像头193采集到原始图像后，可以将原始图像发送给处理器110，处理器110运行本申请实施例提供的图像拍摄算法，基于原始图像得到图像质量较好的预览图像。显示屏194显示预览图像。

另外，图1所示的摄像头193可以包括1-N个摄像头。如果包括一个摄像头(或者包括多个摄像头，但是同一时刻只有一个摄像头开启)，手机100采用本申请实施例提供的图像拍摄算法对该摄像头(或者当前时刻开启的摄像头)采集的原始图像进行处理，得到预览图需即可。如果包括多个摄像头，且多个摄像头同时开启，手机100可以用本申请实施例提供的图像拍摄算法对每个摄像头(开启的摄像头)采集的原始图像均进行处理，得到预览图像。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行手机100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，应用程序(比如相机应用，微信应用等)的代码等。存储数据区可存储手机100使用过程中所创建的数据(比如相机应用采集的图像、视频等)等。

内部存储器121还可以存储本申请实施例提供的图像拍摄算法的代码。当内部存储器121中存储的图像拍摄算法的代码被处理器110运行时，实现图像拍摄功能，拍摄得到图像质量较好的图像。

此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

当然，本申请实施例提供的图像拍摄算法的代码还可以存储在外部存储器中。这种情况下，处理器110可以通过外部存储器接口120运行存储在外部存储器中的图像拍摄算法的代码，实现图像拍摄功能，拍摄得到图像质量较好的图像。

下面介绍传感器模块180的功能。

陀螺仪传感器180A，可以用于确定手机100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180A确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。即陀螺仪传感器180A可以用于检测手机100当前的运动状态，比如抖动还是静止。

加速度传感器180B可检测手机100在各个方向上(一般为三轴)加速度的大小。即陀螺仪传感器180A可以用于检测手机100当前的运动状态，比如抖动还是静止。

陀螺仪传感器180A(或加速度传感器180B)可以将检测到的运动状态信息(比如角速度)发送给处理器110。处理器110基于运动状态信息确定当前是手持状态还是脚架状态(比如，角速度不为0时，说明手机100处于手持状态)。

指纹传感器180H用于采集指纹。手机100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于手机100的表面，与显示屏194所处的位置不同。

示例性的，手机100的显示屏194显示主界面，主界面中包括多个应用(比如相机应用、微信应用等)的图标。用户通过触摸传感器180K点击主界面中相机应用的图标，触发处理器110启动相机应用，打开摄像头193。显示屏194显示相机应用的界面，例如取景界面。取景界面中显示预览图像，该预览图像是处理器110通过本申请实施例提供的图像拍摄算法得到的图像效果较好的图像，有助于提升图像拍摄质量。

手机100的无线通信功能可以通过天线1，天线2，移动通信模块151，无线通信模块152，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。终端设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块151可以提供应用在终端设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块151可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块151可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块151还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块151的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块151的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块151或其他功能模块设置在同一个器件中。

无线通信模块152可以提供应用在终端设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块152可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块152经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块152还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在本申请一些实施例中，手机100可以通过移动通信模块151或者无线通信模块152将采集的图像发送给其它设备，由其它设备采用本申请实施例提供的图像拍摄算法，得到图像质量较好的预览图像，手机100还可以通过移动通信模块151或者无线通信模块152接收其它设备发送的预览图像。手机100的显示屏194显示接收的预览图像。

另外，手机100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。手机100可以接收按键190输入，产生与手机100的用户设置以及功能控制有关的键信号输入。手机100可以利用马达191产生振动提示(比如来电振动提示)。手机100中的指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。手机100中的SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和手机100的接触和分离。

应理解，在实际应用中，手机100可以包括比图1所示的更多或更少的部件，本申请实施例不作限定。

为了方便描述本申请实施例提供的图像拍摄方法，下文将通过与本申请实施例提供的图像拍摄方法相关的部件介绍本申请实施例的图像拍摄方法，具体请参见图2，图2中的部件可参考关于图1的相关描述。需要说明的是，在图2中，以处理器110集成ISP110-1、CPU110-2、GPU110-3为例，实际上处理器110还可以集成更多或很少的器件，本申请实施例不限定。

在本申请一些实施例中，通过图2所示的手机100进行图像拍摄的过程为：

以图像拍摄功能集成于手机100中的相机应用中为例，手机100的显示器194显示主界面，主界面中包括多个应用(比如相机应用、微信应用等)的图标。用户通过触摸传感器180K(图2中未示出，可参见图1)点击主界面中相机应用的图标，触发CPU110-1启动相机应用，打开摄像头193。显示器194显示相机应用的界面，例如取景界面。取景界面中显示预览图像，该预览图像是手机100运行本申请实施例提供的图像拍摄算法得到的图像效果较好的图像，有助于提升图像拍摄质量。

下面介绍手机100运行本申请实施例提供图像拍摄算法得到预览图像的过程。

请参见图3所示，为本申请实施例提供的图像拍摄方法的流程示意图。请结合图2和图3理解。手机100中的相机应用启动，摄像头193打开之后，采集一帧初始图像(基于初始曝光取值采集的图像)，然后将该初始图像发送给GPU110-3，这一过程在图2中未示出。应理解，该初始图像可以是摄像头193的输出图像，也可以是经过ISP110-1处理后的初始RGB图像，本申请实施例不限定。

请继续参见图3所示，GPU110-3根据初始图像确定一个曝光最大值和曝光最小值。比如，GPU110-3增大初始曝光值，得到一帧新图像1(比如，GPU110-3将增大后的曝光值下发到摄像头193，摄像头193采集一帧新图像)，若该新图像1的暗区细节清楚，增大后的曝光值即为曝光最大值。再比如，GPU110-3降低初始曝光值，得到一帧新图像1，若新图像2的亮区细节清楚，则降低后的曝光值即为曝光值小值。当然，GPU110-3还可以根据其它方式确定曝光最大值和曝光最小值，只要曝光最大值能够保证图像中的暗区细节足够清楚，曝光最小值能够保证亮区细节足够清楚即可。

GPU110-3基于该曝光最大值和曝光最小值确定曝光帧数序列(具体将在后文介绍)。其中，曝光帧数序列包括N个曝光取值的对应关系。比如，采集第一帧原始图像时需要多大的曝光值，采集第二帧原始图像时需要多大的曝光值等等。

请参见图2所示，GPU110-3将曝光帧数序列发送给CPU110-2。CPU110-2将曝光帧数序列发送给ISP110-1。ISP110-1以曝光帧数序列控制摄像头193采集与曝光帧数序列对应的原始图像。这样的话，摄像头193可以按照曝光帧数序列依次输出原始图像。比如，请参见图3所示，曝光帧数序列中包括4帧图像各自对应的曝光值，那么摄像头193依次输出4帧原始图像，每帧原始图像对应的曝光值不同。GPU110-3可以得到多帧原始图像，进而得到多帧GRB图像(GPU110-3可以请求ISP110-1对多帧原始图像进行处理，得到多帧RGB图像)。GPU110-3将多帧RGB图像融合得到预览图像；或者，GPU110-3也可以将多帧RGB图像发送给CPU110-2，由CPU110-2将多帧RGB图像融合得到预览图像。显示器194显示该预览图像。

在图2所示的手机100中，以处理器110集成ISP110-1、CPU110-2、GPU110-3为例的，实际上处理器110可以只集成GPU110-3，即上述的ISP110-1或者CPU110-2的功能由GPU110-3执行；或者，处理器110可以只集成CPU110-2、即上述的ISP110-1或者GPU110-3的功能由CPU110-2执行，本申请实施例不限定。

在上述的描述中，手机100中的摄像头193打开时，就开始采用本申请实施例提供的图像拍摄算法获取预览图像。因此，手机100中相机应用的取景界面中呈现出的预览图像是经过图像拍摄算法处理之后得到的图像。在本申请另一些实施例中，手机100打开摄像头193时，可以暂时不执行本申请实施例提供的图像拍摄算法，当手机100检测到用户触发拍摄按钮时，再执行该算法，使得最终拍摄得到的图像的质量较好。该实施例中，用户没有触发拍摄按钮时，手机100就无需执行该算法，有助于节省计算量。下文中，以手机100中的摄像头193打开时，就开始采用本申请实施例提供的图像拍摄算法获取预览图像为例。

如前述内容可知，GPU110-3根据曝光最大值和曝光最小值确定曝光帧数序列，后续根据该曝光帧数序列出图。下面介绍GPU110-3确定曝光帧数序列的过程。请参见图4，为本申请实施例提供的曝光帧数序列确定过程示意图。如图4所示，该流程包括：

S401，手机100响应于用户操作，进入相机应用，打开摄像头193，摄像头193基于设置的初始曝光取值采集初始图像，并将初始图像发送给GPU110-3。

手机100启动摄像头193的过程在前面已经描述过，在此不赘述。通常，初始曝光取值可以是用户手动设置的取值，也可以是上一次拍摄图像时设置的曝光取值，还可以是默认的取值(比如每一次启动摄像头都采用相同的初始曝光取值)，本申请实施例不限定。

可选的，如前述内容可知，摄像头193输出图像是raw格式的图像，所以这里的初始图像可以是摄像头183的输出图像即raw格式图像，也可以是经过ISP100-1处理后的得到的RGB图像。

S402，GPU110-3增大初始曝光取值，将增大后的曝光取值下发给摄像头193，重新采集一帧图像。

作为一种示例，GPU110-3增大初始曝光取值的过程中，可以以一定的步长增加。其中，步长可以是预先设置好的，也可以是用户自定义的，还可以是GPU110-3根据一定的算法确定出的。下面介绍GPU110-3根据一定的算法确定步长的过程。

示例性的，GPU110-3确定初始图像对应的亮度值(以L1表示)，初始曝光值以T1表示。GPU110-3确定目标亮度值(以Lmax表示)，其中目标亮度值可以是预先设置好的，或者是用户自定义的；当然，目标亮度值可以只是初始图像上的暗区(比如最暗的30％的像素，即从灰阶0到某一灰阶比如灰阶30之间的像素点个数，占整张图像上所有像素点总数的30％)的像素的亮度值达到的预设亮度值(关于这部分内容将在后文介绍)。

GPU110-3可以根据如下公式(1)，确定步长：

其中，W1表示步长，即GPU110-3增大初始曝光取值到T2，然后将T2下发给摄像头193，重新采集一帧图像(为了方便描述称之为第二帧图像)。

若下一帧图像仍然不满足条件(暗区细节不清楚)。GPU110-3可以继续增大曝光取值，在继续增大曝光取值时，可以采用的根据公式(1)确定出的步长，也可以重新计算新的步长。下面介绍GPU110-3继续确定新的步长的过程。

示例性的，GPU110-3确定第二帧图像对应的亮度值(以L2表示)，第二帧图像对应的曝光值以T2表示。GPU110-3可以根据如下公式(2)，确定新的步长：

其中，W2表示新的步长，即GPU110-3继续增大曝光取值，由T2增大到T3，然后将T3发给摄像头193，采集第三帧图像。GPU110-3判断第三帧图像是否满足条件(下文介绍)，假设第三帧图像满足条件，那么T3即为曝光最大值。

通过以上描述可知，在本申请实施例中，GPU110-3在增大曝光取值的过程中，可以以不同的步长增大。这样的话，有助于提升确定的曝光最大值的准确性。

如前述内容可知，GPU110-3在确定步长时，会考虑目标亮度，即GPU110-3在逐渐增大曝光取值，以尽可能的接近目标亮度，但是在这一过程中，一旦哪一个曝光取值对应的图像能够满足条件，就可以停止增加曝光取值，该曝光取值就是曝光最大值。因此，目标亮度可以设置的较大一些，或者目标亮度可以是根据经验值设置好，或者目标亮度值还可以是根据初始图像的初始亮度值设置能够满足初始图像上的暗区清晰的亮度值即目标亮度值(参见前述内容)，将目标亮度值存储在手机100中的。因为曝光增大亮度增大，所以手机100在增大曝光取值的过程中，不断尝试增大曝光取值之后采集的图像的暗区是否达到目标亮度，以次确定最合适的曝光取值即曝光最大值。

S403，GPU110-3判断重新采集的图像中暗区是否满足条件，若不满足，则执行S402，若满足，则执行S404。

作为一种示例，图像中暗区的细节满足条件可以是，该图像中暗区(比如最暗的30％的像素，即从最低灰阶比如灰阶0到某一灰阶比如灰阶30之间的像素总数，占整张图像上所有像素数的30％)的像素点的平均亮度值达到阈值(比如目标亮度值)，即认为该图像中暗区的细节满足条件。

作为另一种示例，图像中暗区的细节满足条件可以是，图像中暗区的像素点个数占全部像素点个数的比例小于阈值，即认为该图像中暗区的细节满足条件；其中，图像中暗区的像素点个数占全部像素点个数的比例，可以是图像中灰阶0到某一灰阶的像素个数占整张图像上所有像素个数比值。

S404，GPU110-3确定增大后的曝光值为曝光最大值。

S405，GPU110-3降低初始曝光取值，下发到摄像头193，重新采集一帧图像。

作为一种示例，GPU110-3增大初始曝光取值的过程中，可以以一定的步长增加。其中，步长可以是预先设置好的，也可以是用户自定义的，还可以是GPU110-3根据一定的算法确定出的。GPU110-3的算法确定步长的过程前面已经描述过，在此不重复赘述。

S406，GPU110-3判断重新采集的图像中亮区是否满足条件，若不满足，则执行S405；若满足，则执行S407。

作为一种示例，图像中亮区的细节满足条件可以是，该图像中亮区(比如，灰阶在某一灰阶(比如灰阶200)到最高灰阶(比如灰阶255)范围内的像素点占整张图像上所有像素数的0.5％)的像素值点的平均亮度值小于阈值，即认为该图像中亮区的细节满足条件。

作为另一种示例，图像中亮区的细节满足条件可以是，图像中亮区的像素点个数占全部像素个数的比例小于阈值，即认为该图像中亮区的细节满足条件；其中，图像中亮区的像素点个数占全部像素点个数的比例，可以是图像中处于某一灰阶到最高灰阶范围内的像素个数占整张图像上所有像素个数比值。

S407，GPU110-3确定降低后的曝光值为曝光最小值。

S408，GPU110-3基于曝光最大值和曝光最小值，确定曝光帧数序列。

可选的，GPU110-3可以在最小曝光值和最大曝光值之间，设置多个曝光取值，比如，报告最小值开始，依次增大曝光值，直到曝光最大值。

可选的，GPU110-3在最小曝光值和最大曝光值之间设置多个曝光取值时，可以以一定的步长逐渐增大曝光取值，该步长可以就是前述通过公式(1)-(2)确定出的步长相同，也可以不是。比如，前述通过公式(1)和公式(2)确定出的步长不相同，但是GPU110-3在最小曝光值和最大曝光值之间设置多个曝光取值时可以采用相同的步长增加曝光取值。再比如，GPU110-3，可以考虑要采集的图像的帧数。比如，要采集较多帧图像时，可以设置步长较短，要采集较少帧图像时，可以设置步长较长。

请参见图5所示，为本申请实施例提供的一种曝光帧数序列的示意图。如图5所示，曝光帧数序列在二维坐标系中呈现，坐标轴的横坐标为帧数，纵坐标为曝光取值的取值。比如，第1帧图像对应的曝光值是曝光取值1，曝光取值1可以最小曝光值或者是靠近最小曝光值的一个曝光值(比如与最小曝光值之间的差值小于预设值的一个曝光值)。第2帧图像对应的曝光值2大于最小曝光值，以此类推。第4帧图像对应的曝光取值4可以最大曝光值或者是靠近最大曝光值的一个曝光值(比如与最大曝光值之间的差值小于预设值的一个曝光值)。当然图5所示的曝光帧数序列仅是一种示例，曝光帧数序列还可以有其它表现形式比如表格形式，只要能够表现出帧数和曝光取值的对应关系即可。

在图4所示的实施例中，手机100以初始曝光值为基准增大初始曝光值或者降低初始曝光值，以确定曝光最大值和曝光最小值。在本申请另一些实施例中，手机100基于初始曝光值采集一帧初始图像后，若该初始图像存在过曝问题(比如亮区细节不清晰，不满足前述的条件)，那么手机100可以降低初始曝光值，以确定曝光最大值和曝光最小值。简单而言，该实施例中，手机100确定出的曝光最大值和曝光最小值都是小于初始曝光值的。在本申请另一些实施例中，手机100基于初始曝光值采集一帧初始图像后，若该初始图像存在欠曝问题(比如暗区细节不清晰，不满足前述的条件)，那么手机100可以增大初始曝光值，以确定曝光最大值和曝光最小值。简单而言，该实施例中，手机100确定出的曝光最大值和曝光最小值都是大于初始曝光值的。

在本申请另一些实施例中，手机100还可以有其它方式确定曝光帧数序列，即图4所示的实施例中的S408还可以有其它实现方式。请参见图6所示，为本申请实施例提供的手机100确定曝光帧数序列的示意图。图6中示出的步骤也可以理解为图4所示的实施例中的S408所包含的子步骤。如图6所示，该流程包括：

S408-1：GPU110-3确定曝光最大值和曝光最小值的比值。

如前述内容可知，曝光值可以包括曝光时间和/或感光度ISO。因此，曝光值可以是曝光时间T，也可以是ISO，还可以是曝光时间和ISO的乘积即T*ISO。因此，GPU110-3确定曝光最大值和曝光最小值的比值可以是Tmax/Tmin；也可以是ISOmax/ISOmin；还可以是(Tmax*ISOmax)/(Tmin*ISOmin)。

S408-2：GPU110-3判断该比值是否小于等于阈值，若是，则执行S408-3，若否，则执行408-4。

手机100确定曝光最大值和曝光最小值的比值，若该比值大于阈值，说明初始图像中明暗差异较大，为了更好的恢复图像中的细节，手机100可以采集较多帧原始图像，且每帧原始图像的曝光取值不同(或者每帧原始图像对应的曝光取值差异较大)。

再比如，若该比值小于等于阈值，说明初始图像中明暗差异较小，所以手机100可以采集较少帧原始图像，且每帧原始图像的曝光取值相同(或者每帧原始图像的曝光取值差异较小)。

S408-3：GPU110-3确定曝光帧数序列，该曝光帧数序列中每个曝光取值相同。

由于曝光最大值和曝光最小值的比值较小，说明初始图像中明暗差异较小，无需采集不同曝光程度的图像，所以曝光帧数序列中每帧图像对应的曝光值可以相同。比如，每帧图像对应的曝光值可以是曝光最大值，也可以是曝光最小值，还可以是基于曝光最大值和曝光最小值确定出的中间值。

请参见图7所示，为本申请实施例提供的曝光帧数序列的示意图。如图7所示，曝光帧数序列中每帧图像对应的曝光取值相同，且曝光取值是曝光最大值和曝光最小值的中间值。

S408-4：GPU110-3确定曝光帧数序列，该曝光帧数序列中每个曝光取值不同，且每个曝光取值在[曝光最小值，曝光最小值]的区间内。比如，曝光帧数序列中第1帧图像对应曝光最小值，最后一帧图像对应曝光最大值；或者，曝光帧数序列中第1帧图像对应曝光最大值，最后一帧图像对应曝光最小值。

由于曝光最大值和曝光最小值的比值较大，说明初始图像中明暗差异较大，需要采集不同曝光程度的图像，所以曝光帧数序列中每帧图像对应的曝光值可以不同。比如，曝光帧数序列中第1帧图像对应曝光最小值，最后一帧图像对应曝光最大值；或者，曝光帧数序列中第1帧图像对应曝光最大值，最后一帧图像对应曝光最小值。曝光帧数序列可参见图5所示。

在本申请另一些实施例中，手机100确定曝光帧数序列时，还可以考虑其它参数。比如手机100在确定曝光帧数序列时，还可以参考手机100当前的运动状态。请参见图8所示，为本申请实施例提供的曝光帧数序列的确定流程的示意图。图8中示出的步骤也可以理解为图4所示的实施例中的S408所包含的子步骤。如图8所示，该流程包括：

S408-1：GPU110-3获取当前运动状态参数。

可选的，手机100中的运动传感器比如陀螺仪传感器180A，检测手机100当前运动状态参数。运动传感器将采集到的运动状态参数发送给GPU110-3。请参见图9所示，为本申请实施例提供的手机100的结构示意图。如图9所示，陀螺仪传感器180A采集运动状态参数，并将该运动状态参数发送给CPU110-2。CPU110-2将运动状态参数发送给GPU110-3。当然，陀螺仪传感器180A也可以直接将采集到的运动状态参数发送给GPU110-3。

S408-2：GPU110-3根据当前运动状态参数确定是手持状态还是脚架状态，若是手持状态，则执行S408-3；若是脚架状态，则执行S408-7。

手机100处于手持状态时，画面易抖动，而处于脚架状态时，画面稳定。因此，手机100当前处于手持状态还是脚架状态时，采取的策略不同。

在实际应用中，手机100还可以通过其他方式判断手持状态还是脚架状态。比如，手机100检测到用户手部与手机100的接触面的面积大于预设面积，则确定处于手持状态。

S408-3：GPU110-3获取参考图像。

当手机100处于手持状态时，考虑到手持时不同帧之间存在帧间抖动，所以手机100可以采集一帧参考图像。比如，手机100处于手持状态时，稳定时长达到预设时长(比如3秒)时采集一帧图像，该图像可以作为参考图像。参考图像对应的曝光取值为参考曝光取值。参考图像对应的亮度值为参考亮度值。

S408-4：GPU110-3判断曝光最大值和曝光最小值之间的比值是否大于阈值，若否，则执行S408-5，若是，则执行S408-6。

S408-5：GPU110-3确定曝光帧数序列，所述曝光帧数序列中包括所述参考图像对应的参考曝光取值和N个曝光取值，所述N个曝光取值中每个曝光取值在[曝光最小值，曝光最大值]的区间内，且所述N个曝光取值每个曝光取值与所述参考曝光取值的差值小于预设差值，且N个曝光取值不同。

如前述内容可知，GPU110-3从曝光初始值开始，逐渐增大曝光取值，以确定曝光最大值。在这一过程中，GPU110-3每增大一次曝光取值都会采集一帧图像，然后判断这帧图像是否满足条件，比如，可以确定该图像的亮度值和与参考亮度值(参考图像对应的亮度值)之间的亮度差小于预设亮度差。这是因为，手部抖动时，会使得手机100采集到不相关的图像，比如从某一个拍摄角度抖动到另一个拍摄角度。通常，两个拍摄角度下采集的图像的亮度存在差异，所以，GPU110-3每增大一次曝光取值采集一帧图像后，确定该图像的亮度值和与参考亮度值之间的亮度差小于预设亮度差，若小于预设亮度差，说明采集的图像是抖动后采集到的图像，该图像可以删除，重新采集一帧图像(重新以增大后的曝光取值采集一帧图像)，这样的话，可以保证手机100没有采集的不相关的图像，有助于提升图像拍摄质量。

请参见图10所示，为本申请实施例提供的曝光帧数序列的示意图。如图10所示，曝光帧数序列中包括参考图像对应的曝光取值3是参考曝光取值。其中，曝光帧数序列中第1帧图像对应曝光最小值，最后一帧图像对应曝光最大值。

S408-6：GPU110-3确定曝光帧数序列，所述曝光帧数序列中包括所述参考图像对应的参考曝光取值和N个曝光取值，所述N个曝光取值中每个曝光取值在[曝光最小值，曝光最大值]的区间内，且所述N个曝光取值每个曝光取值与所述参考曝光取值的差值小于预设差值，且N个曝光取值相同。

S408-7：GPU110-3判断曝光最大值和曝光最小值之间的比值是否大于阈值，若否，则执行S408-8，若是，则执行S408-9。

S408-8：GPU110-3确定曝光帧数序列，曝光帧数序列中N个曝光取值不同，且所述N个曝光取值中每个曝光取值在[曝光最小值，曝光最大值]的区间内。

应理解，当手机100处于脚架状态时，曝光帧数序列中可以不包括参考图像的曝光取值。如图5所示的曝光帧数序列。

S408-9：GPU110-3确定曝光帧数序列，曝光帧数序列中N个曝光取值相同，且所述N个曝光取值中每个曝光取值在[曝光最小值，曝光最大值]的区间内。

可选的，手持状态和脚架状态下，当比值小于阈值时(说明图像中明暗差异较小)，曝光帧数序列中每帧图像的曝光取值可以相同。请参见图7所示的曝光帧数序列。

上述实施例中介绍了手机100确定曝光帧数序列的确定过程。GPU110-3确定曝光帧数序列之后，可以基于该曝光帧数序列得到多帧原始图像(请参见图2所示)，进而得到多帧RGB图像(ISP110-1对每帧原始图像进行处理，得到RGB图像)。GPU110-3可以将多帧RGB图像融合得到预览图像。

应理解，摄像头193基于曝光帧数序列得采集原始图像时，是一帧一帧采集的。请参见图2所示，摄像头193按照曝光帧数序列依次采集得到每帧原始图像。摄像头193每得到一帧原始图像就将这帧原始图像发送给GPU110-3。GPU110-3请求ISP110-1对原始图像进行处理，得到GRB图像。因此，GPU110-3也是依次得到每帧原始图像对应的RGB图像的。

因此，作为一种示例，GPU110-3在融合多帧RGB图像时，可以等到得到所有RGB图像之后，将多有RGB图像融合得到预览图像。以图10为例，曝光帧数序列中包括的帧数为5帧，那么GPU110-3会得到5帧GRB图像，然后将这5帧GRB图像融合得到预览图像。

作为另一示例，GPU110-3在融合多帧GRB图像时，也可以是每得到一帧RGB图像后，就将该RGB图像和之前得到的预览图像(通过之前的RGB图像融合得到的预览图像)融合，得到新的预览图像。请参见图11所示，为本申请实施例提供的一种图像融合的过程示意图。如图11所示，GPU110-3将第一帧RGB图像和第二帧RGB图像融合得到预览图像1，显示器194显示预览图像1。GPU110-3得到第三帧RGB图像之后，将预览图像1和第三帧RGB图像融合，得到预览图像2，显示器194显示预览图像2。因此，显示器194显示的预览图像时变化的，且是将之前得到的预览图像和新得到的RGB图像融合得到的图像。

如前述内容可知，曝光帧数序列有两种，第一种如图5所示，每帧图像对应的曝光取值不同；第二种如图7所示，每帧图像对应的曝光取值相同。在本申请实施例中，不同曝光帧数序列可以对应不同的融合方式。请参见图12所示，为本申请实施例提供的图像融合过程的示意图。

第一种融合方式，针对上述第二种曝光帧数序列(每帧图像对应的曝光取值相同)。

第一步，待融合图像中的拍摄对象对齐。以图11中的第一帧RGB图像和第二帧RGB图像融合为例，假设第一帧RGB图像和第二帧RGB图像中同一个拍摄对象在图像中的位置不同，手机100可以将这两帧RGB图像中的同一个拍摄对象对齐，即设置到图像中的同一位置处。

第二步，时域降噪。

第三步，空域降噪。手机100可以按照现有技术执行第二步和第三步，本申请实施例不限定。

第四步，动图范围压缩算法。范围压缩算法可以是现有技术算法，比如线性移位算法、对数映射算法、分段函数映射算法、自适应性对数映射算法、高动态范围图像可视化算法等，本申请实施例不限定。

第五步，图像融合。图像融合方式有多种，可以采用现有技术的融合方式，本申请实施例不限定。

通过上述五步，完成图像融合。以图11为例，手机100每融合两帧图像，可以执行一次上述五步。

第二种融合方式，针对上述第一种曝光帧数序列(每帧图像对应的曝光取值不同)。

第一步，待融合图像中的拍摄对象对齐。

第二步，亮度叠加。

需要说明的是，在本申请实施例中，手机100在亮度叠加时，两张图像上每个像素点对应的叠加系数不同。比如，一个像素点的亮度值越是接近亮度中间值，则该像素点的叠加系数越大，一个像素点的亮度值越是远离亮度中间值，则该像素点的叠加系数越小。亮度中间值可以是128。对于接近128的像素点(比如130)，叠加系数较大(比如0.9)，对于远离128的像素点(比如255)，融合系数较小(比如0.1)。

请参见图13所示，为本申请实施例提供的亮度值和叠加系数的曲线关系。如图13所示，横坐标表示亮度值，纵坐标标识叠加系数。以图11中的第一帧RGB图像和第二帧RGB图像融合为例。假设第一帧RGB图像上的像素点A的亮度为130，手机100根据图13所示的曲线确定亮度为130时，对应的叠加系数为0.9。再假设第二帧RGB图像上的像素点B(与第一帧图像上的像素点A对应的像素点)的亮度为200，手机100根据图13所示的曲线确定亮度为200时，对应的叠加系数为0.3。那么像素点A和像素点B的亮度叠加时，公式为：130*0.9+200*0.3。

上述介绍了亮度叠加的过程，在本申请实施例中，为了尽可能的避免叠加后的亮度过亮，手机100可以对叠加后的亮度值作进一步处理，比如归一化处理，以防止叠加后亮度过亮。

继续以上述例子为例，手机100将像素点A和像素点B的亮度叠加后，作归一化处理，归一化公式如下：

(130*0.9+200*0.3)/(0.9+0.3)

即，归一化的计算是像素点A和像素点B的亮度加权求和的结果与叠加系数之和的比值。通过这种方式，避免亮度叠加后图像过亮，提升图像拍摄的质量。

对于两张图像上每个像素点的亮度叠加都可以采用上述的方式。这样的话，可以使得最终融合得到的图像的亮度向亮度中间值靠近，不再出现极暗或者过曝的区域。

第三步，图像融合。图像融合方式有多种，可以采用现有技术的融合方式，本申请实施例不限定。

第四步，图像增强算法。图像增强算法有多种，可以采用现有技术的图像增强算法，本申请实施例不限定。

当然，手机100融合图像时还可以采用除去上述两种融合方式之外的其它融合方式，本申请实施例不限定。

在上述实施例中，当曝光最大值和曝光最小值的比值小于等于阈值时，手机100确定的曝光帧数序列中每帧图像对应的曝光取值相同；当曝光最大值和曝光最小值的比值大于阈值时，手机100确定的曝光帧数序列中每帧图像对应的曝光取值不同。在本申请另一些实施例中，手机100检测到画面中存在运动物体时，无论曝光最大值和曝光最小值的比值大于或者小于阈值，都可以采用每帧图像对应的曝光取值相同的曝光帧数序列采集多帧原始图像。这是因为，当画面中存在运动物体时，再融合多帧图像时，容易出现“鬼影”，即上一帧图像和下一帧图像中同一拍摄对象的显示位置差异较大，所以采集多帧相同曝光程度的图像，有助于比较每帧图像中的同一拍摄对象，多帧图像融合之后，有助于消除鬼影，得到图像质量较高的图像。

本申请实施例提供的图像拍摄方法可以适用于能够进行图像采集的任何场景。比如，手机100的相机应用中设置有一控件，当该控件被激活时，手机100采用上述图像拍摄方法检测采集的人脸图像。当然，上述图像拍摄方法还可以应用在人脸解锁领域，比如手机100中存储人脸图像。当用户要解锁手机100时，手机100采用上述图像拍摄方法采集另一张人脸图像，将新采集的人脸图像与存储的人脸图像比对，若一致，则解锁设备，由于手机100采用上述图像拍摄方法采集的人脸图像较为清晰，有助于提高人脸解锁的准确性，提高设备安全性。

上述图像拍摄方法还可以应用刷脸支付、刷脸打卡等领域。以刷脸支付为例，手机100显示支付验证界面；支付验证界面中显示取景框，当手机100采用上述图像拍摄方法采集到人脸图像(取景框中显示人脸图像)，可以将采集的人脸图像与存储的人脸图像比对，若匹配，则执行支付流程；若不匹配，则输出提示信息，以提示用户支付失败。这种方式中，可以提升支付的安全性。

本申请实施例提供的图像拍摄方法还可以适用于其它场景。比如，手机100与其它设备通过微信、QQ等视频通话的场景，或者微信的表情包制作等等场景。

本申请的各个实施方式可以任意进行组合，以实现不同的技术效果。

上述本申请提供的实施例中，从终端设备(手机100)作为执行主体的角度对本申请实施例提供的方法进行了介绍。为了实现上述本申请实施例提供的方法中的各功能，终端可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于技术方案的特定应用和设计约束条件。

本申请实施例还提供一种计算机可读存储介质，该存储介质可以包括存储器，该存储器可存储有程序，该程序被执行时，使得电子设备执行包括如前的图4、图6、图7、图12所示的方法实施例中记载的全部或部分步骤。

本申请实施例还提供一种包含计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行包括如前的图4、图6、图7、图12所示的方法实施例中记载的全部或部分步骤。

需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。本发明实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。例如，上述实施例中，第一获取单元和第二获取单元可以是同一个单元，也不同的单元。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。

为了解释的目的，前面的描述是通过参考具体实施例来进行描述的。然而，上面的示例性的讨论并非意图是详尽的，也并非意图要将本申请限制到所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施例是为了充分阐明本申请的原理及其实际应用，以由此使得本领域的其他技术人员能够充分利用具有适合于所构想的特定用途的各种修改的本申请以及各种实施例。

上述本申请提供的实施例中，从终端设备作为执行主体的角度对本申请实施例提供的方法进行了介绍。为了实现上述本申请实施例提供的方法中的各功能，终端设备可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于技术方案的特定应用和设计约束条件。

Claims (13)

1.一种图像拍摄方法，其特征在于，所述方法包括：

终端设备响应于预设操作，开启摄像头；

终端设备根据所述摄像头的初始曝光值，确定曝光最大值和曝光最小值；其中，所述摄像头基于所述曝光最大值采集的图像的暗区的清晰度能够满足第一条件，基于所述曝光最小值采集的图像的亮区的清晰度能够满足第二条件；

所述终端设备根据所述曝光最大值和曝光最小值，确定曝光帧数序列，所述曝光帧数序列中包括N个曝光取值，N为大于等于2的整数；

所述终端设备根据所述曝光帧数序列中的N个曝光取值，采集N帧原始图像，每帧原始图像对应一个曝光取值；

所述终端设备将所述N帧原始图像融合得到最终图像；

所述终端设备根据所述曝光最大值和曝光最小值，确定曝光帧数序列，包括：

所述终端设备确定所述曝光最大值和所述曝光最小值的比值；

若所述比值小于阈值，则所述曝光帧数序列中N个曝光取值相同，且所述N个曝光取值为所述曝光最大值、所述曝光最小值或所述曝光最大值和所述曝光最小值的中间值；

若所述比值大于等于所述阈值，则所述曝光帧数序列中N个曝光取值不同，且每个曝光取值在[T1，T2]的区间内，其中，T1为曝光最小值，T2为曝光最大值。

2.如权利要求1所述的方法，其特征在于，所述曝光帧数序列中包括参考图像对应的参考曝光取值和N个曝光取值，所述参考图像是所述终端设备在检测到当前处于手持状态，且持续稳定预设时长时，采集的图像；所述N个曝光取值中每个曝光取值与所述参考曝光取值的差值均小于预设差值。

3.如权利要求2所述的方法，其特征在于，所述N个曝光取值中每个曝光取值与所述参考曝光取值的差值均小于预设差值，包括：

所述N个曝光取值中每个曝光取值对应的图像的第一亮度值与所述参考图像的第二亮度值之间的亮度差均小于预设亮度差。

4.如权利要求1-3任一所述的方法，其特征在于，终端设备根据设置的初始曝光值，确定曝光最大值，包括：

所述终端设备按照第一预设步长，增大初始曝光值，得到第一曝光值；

其中，所述第一曝光值T2符合下述公式：

其中，Lmax表示预设的目标亮度值，T1表示初始曝光值，L1表示初始图像对应的亮度值，所述初始图像时基于所述初始曝光值采集的图像；所述W1表示所述第一预设步长；

若所述摄像头基于所述第一曝光值采集的图像的暗区的清晰度满足第一条件，所述终端设备确定所述第一曝光值为所述曝光最大值。

5.如权利要求4所述的方法，其特征在于，所述方法还包括：

若所述摄像头基于所述第一曝光值采集的图像的暗区的清晰度不满足第一条件，所述终端设备继续按照第二预设步长，增大所述第一曝光值，得到第二曝光值；

其中，所述第二曝光值T3符合下述公式：

其中，Lmax表示预设的目标亮度值，L2表示第一图像对应的亮度值，所述第一图像是基于所述第一曝光值采集的图像；所述W2表示所述第二预设步长；

若所述摄像头基于所述第二曝光值采集的图像的暗区的清晰度满足第一条件，所述终端设备确定所述第二曝光值为所述曝光最大值。

6.如权利要求1-3任一所述的方法，其特征在于，图像的暗区的清晰度能够满足第一条件，包括：

图像中暗区的像素点个数占整张图像中像素点总数的比例小于预设比例；

其中，所述暗区用于指示图像中最低灰阶到第一灰阶的区域，所述第一灰阶小于128灰阶。

7.如权利要求1-3任一所述的方法，其特征在于，图像的亮区的清晰度能够满足第二条件，包括：

图像中亮区的像素点个数占整张图像中像素点总数的比例小于预设比例；

其中，所述亮区用于指示所述图像中第一灰阶到最高灰阶的区域，所述第一灰阶大于128。

8.如权利要求1-3任一所述的方法，其特征在于，所述终端设备将N帧原始图像融合，得到最终图像，包括：

所述终端设备将每帧原始图像处理为RGB图像，得到N帧RGB图像；

所述终端设备根据像素点的亮度值和叠加系数的对应关系，确定每帧RGB图像上的每个像素点对应的叠加系数；

所述终端设备确定每个像素点对应的亮度值和叠加系数的乘积；

所述终端设备分别将N帧RGB图像上属于同一位置的像素点的乘积求和，得到最终图像上所述同一位置的像素点的亮度值。

9.如权利要求1-3任一所述的方法，其特征在于，在终端设备响应于预设操作，开启摄像头之前，所述方法还包括：

所述终端设备确定处于锁屏状态；

所述终端设备响应于预设操作，开启摄像头，包括：

所述终端设备检测到用户人脸与所述终端设备的距离小于预设距离时，开启摄像头；

所述终端设备采集的每帧原始图像中包括所述人脸；

所述终端设备将N帧原始图像融合得到最终图像之后，所述方法还包括：

所述终端设备将所述最终图像和预存的人脸图像比较；

若一致，所述终端设备解锁。

10.如权利要求1-3任一所述的方法，其特征在于，在终端设备响应于用户操作，开启摄像头之前，所述方法还包括：

所述终端设备显示支付验证界面；

所述终端设备响应于预设操作，开启摄像头，包括：

所述终端设备接收到用于指示人脸支付的操作时，开启摄像头；

所述终端设备采集的每帧原始图像中包括所述人脸；

所述终端设备将N帧原始图像融合得到最终图像之后，所述方法还包括：

所述终端设备将所述最终图像与预存的人脸图像比较；

若一致，所述终端设备执行支付流程。

11.一种终端设备，其特征在于，包括摄像头、处理器和存储器；

所述摄像头：用于采集图像；

所述存储器用于存储一个或多个计算机程序；当所述存储器存储的一个或多个计算机程序被所述处理器执行时，使得所述终端设备能够实现如权利要求1-10任一所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序，当计算机程序在终端设备上运行时，使得所述终端执行如权利要求1至10任一所述的方法。

13.一种包含指令的计算机程序产品，其特征在于，包括指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-10任一项所述的方法。

Images