CN115086567A - 延时摄影方法和装置 - Google Patents

Abstract

本申请实施例提供一种延时摄影方法和装置，应用于终端技术领域，方法包括：终端设备判断预览图像的亮度是否大于第一阈值；当终端设备确定预览图像的亮度大于第一阈值时，终端设备从预览流数据中抽取第一图像帧，生成包含多个第一图像帧的延时摄影视频；当终端设备确定预览图像的亮度小于或等于第一阈值时，终端设备对基于拍照流数据生成的第一图像序列中的图像帧进行图像融合处理，并从图像融合处理得到的融合图像中抽取第二图像帧，生成包含多个第二图像帧的延时摄影视频。这样，终端设备可以根据预览图像的场景采用不同的延时摄影方法，并根据不同场景下采取的图像处理方式得到拍摄效果较好的延时摄影视频。

Description

延时摄影方法和装置

技术领域

本申请涉及终端技术领域，尤其涉及一种延时摄影方法和装置。

背景技术

随着终端设备的普及以及基于相机应用的拍摄功能的增多，用户可以使用各种方式记录所见，比如通过相机应用中的特定功能实现新的记录方式，如夜景拍照、长焦拍照、广角拍照以及延时摄影等。其中，延时摄影(time-lapse photography)可以理解为缩时摄影，是一种将时间压缩的技术，可以将几分钟、几小时甚至几天录制的影像合成为一段视频，在短时间内再现景物变化的过程。

通常情况下，当录制速率确定后，终端设备可以在延时摄影时按照设置好的固定帧率进行抽帧，进而将抽取的数据帧合成为延时摄影的视频。

然而，基于上述延时摄影方法得到的延时摄影视频的拍摄效果较差。

发明内容

本申请实施例提供一种延时摄影方法和装置，可以针对不同场景下发相应的多张曝光图像序列，并基于对该多张曝光照片图像的融合得到画质较好的多帧图像，进而通过对该多帧图像的视频编码可以得到拍摄效果较好的延时摄影视频。

本申请实施例提供一种延时摄影方法，方法包括：终端设备判断预览图像的亮度是否大于第一阈值；当终端设备确定预览图像的亮度大于第一阈值时，终端设备从预览流数据中抽取第一图像帧，生成包含多个第一图像帧的延时摄影视频；当终端设备确定预览图像的亮度小于或等于第一阈值时，终端设备对基于拍照流数据生成的第一图像序列中的图像帧进行图像融合处理，并从图像融合处理得到的融合图像中抽取第二图像帧，生成包含多个第二图像帧的延时摄影视频。这样，终端设备可以根据预览图像的场景采用不同的延时摄影方法，如在暗光场景下下发相应的多张曝光图像序列，并基于对该多张曝光图像的融合得到画质较好的多帧图像，进而通过对该多帧图像的视频编码可以得到拍摄效果较好的延时摄影视频。其中，该预览图像的亮度可以与本申请实施例中的ISO值相关。

在一种可能的实现方式中，还包括：当终端设备确定预览图像的亮度小于或等于第一阈值时，终端设备比较预设灰度直方图与预览图像的灰度直方图之间的相似度。这样，终端设备可以通过预览图像的灰度直方图进一步区分暗光场景与暗光光源场景。其中，该预设灰度直方图可以为本申请实施例中的暗光场景下的典型灰度直方图。

在一种可能的实现方式中，当终端设备确定预览图像的亮度小于或等于第一阈值时，终端设备对基于拍照流数据生成的第一图像序列中的图像帧进行图像融合处理，包括：当终端设备确定预览图像的亮度小于或等于第一阈值，且，预览图像的灰度直方图与预设灰度直方图的相似度大于第二阈值时，终端设备对基于拍照流数据生成的第一图像序列中的亮度相同的图像帧进行图像融合处理；或者，当终端设备确定预览图像的亮度小于或等于第一阈值，且，预览图像的灰度直方图与预设灰度直方图的相似度小于或等于第二阈值时，终端设备对基于拍照流数据生成的第一图像序列中的亮度不同的图像帧进行图像融合处理；其中，亮度不同的图像帧中包括至少一个第三图像帧和至少一个第四图像帧，第三图像帧的曝光时间小于第四图像帧的曝光时间。这样，终端设备可以通过对暗光场景下针对亮度相同的图像帧的图像融合，或者，通过对暗光光源场景下针对亮度不同的图像帧的图像融合，得到画面亮度较好的图像。

其中，该第三图像帧可以为本申请实施例中的短帧；该第四图像帧可以为本申请实施例中的常量提亮帧；该预览图像的亮度小于或等于第一阈值，且，预览图像的灰度直方图与预设灰度直方图的相似度大于第二阈值所在的场景可以理解为本申请实施例中的暗光场景；该预览图像的亮度小于或等于第一阈值，且，预览图像的灰度直方图与预设灰度直方图的相似度小于或等于第二阈值所在的场景可以理解为本申请实施例中的暗光光源场景。

在一种可能的实现方式中，终端设备对基于拍照流数据生成的第一图像序列中的亮度不同的图像帧进行图像融合处理，包括：终端设备对第一图像序列中的除至少一个第三图像帧外的其他图像帧，进行亮度融合处理，得到亮度融合后的图像帧；终端设备对亮度融合后的图像帧，与至少一个第三图像帧进行图像融合处理。这样，终端设备可以通过图像的亮度融合处理提升图像的亮度；并且，终端设备可以基于短帧曝光融合，压制由该第一图像序列中对其他图像融合得到的图像中的过曝区域，显著提升图像质量，使得终端设备可以基于融合后的图像得到拍摄效果较好的延时摄影视频。

在一种可能的实现方式中，终端设备对第一图像序列中的除至少一个第三图像帧外的其他图像帧，进行亮度融合处理，得到亮度融合后的图像帧，包括：终端设备对第一图像序列中的除至少一个第三图像帧外的其他图像帧分别进行图像预处理，得到预处理后的第一图像序列；终端设备对预处理后的第一图像序列进行时域降噪处理，得到时域降噪后的第一图像序列；终端设备对时域降噪后的第一图像序列进行亮度融合处理，得到亮度融合后的图像帧。这样，终端设备可以基于时域降噪抑制图像中随机波动的噪点，并通过亮度融合处理提升图像中的暗部区域并保持亮部区域不过曝，改善图像质量。

在一种可能的实现方式中，终端设备对第一图像序列中的除至少一个第三图像帧外的其他图像帧分别进行图像预处理，得到预处理后的第一图像序列，包括：终端设备对第一图像序列中的除至少一个第三图像帧外的其他图像帧分别进行特征提取处理，得到特征提取后的第一图像序列；终端设备对特征提取后的第一图像序列中的图像帧分别进行图像配准处理，得到配准处理后的第一图像序列；终端设备对配准处理后的第一图像序列中的图像帧分别进行鬼影矫正处理，得到预处理后的第一图像序列。这样，终端设备可以基于图像预处理改善图像质量。

在一种可能的实现方式中，终端设备对基于拍照流数据生成的第一图像序列中的亮度相同的图像帧进行图像融合处理，包括：终端设备对第一图像序列中的亮度相同的图像帧进行图像预处理，得到预处理后的第一图像序列；终端设备对预处理后的第一图像序列进行时域降噪处理，得到时域降噪后的第一图像序列；终端设备对时域降噪后的第一图像序列进行亮度融合处理。这样，终端设备可以基于时域降噪抑制图像中随机波动的噪点，并通过亮度融合处理提升图像中的暗部区域并保持亮部区域不过曝，改善图像质量。

在一种可能的实现方式中，从图像融合处理得到的融合图像中抽取第二图像帧，生成包含多个第二图像帧的延时摄影视频，包括：终端设备对图像融合处理得到的融合图像进行空域降噪处理，得到空域降噪后的融合图像；终端设备从空域降噪后的融合图像中抽取第二图像帧，生成包含多个第二图像帧的延时摄影视频。这样，使得终端设备可以通过空域降噪平滑图像，保护图像细节避免被柔化。

在一种可能的实现方式中，还包括：终端设备显示第一界面；第一界面中包括用于保存延时摄影视频的控件；终端设备接收针对用于保存延时摄影视频的控件的操作；响应于用于保存延时摄影视频的控件的操作，终端设备将延时摄影视频保存至第一应用。这样，用户可以通过第一界面中对延时摄影视频的查看，确定是否保存该延时摄影视频，进而提高用户使用延时摄影功能的体验感。其中，该第一应用可以为图库应用。

在一种可能的实现方式中，第一界面中还包括下述一种或多种：延时摄影视频、用于播放延时摄影视频的控件、用于调整延时摄影视频的分辨率的控件、用于删除延时摄影视频的控件、用于调整延时摄影视频的时长的控件、或用于查看延时摄影中的任一图像帧的滑动杆。这样，用户可以通过第一界面中的多个控件，实现延时摄影视频的再次编辑、或调整延时摄影视频的分辨率等功能，进而提高用户使用延时摄影功能的体验感。

第二方面，本申请实施例提供一种延时摄影装置，装置包括：判断单元，用于判断预览图像的亮度是否大于第一阈值；当终端设备确定预览图像的亮度大于第一阈值时，处理单元，用于从预览流数据中抽取第一图像帧，生成包含多个第一图像帧的延时摄影视频；当终端设备确定预览图像的亮度小于或等于第一阈值时，处理单元，还用于对基于拍照流数据生成的第一图像序列中的图像帧进行图像融合处理，并从图像融合处理得到的融合图像中抽取第二图像帧，生成包含多个第二图像帧的延时摄影视频。

在一种可能的实现方式中，当终端设备确定预览图像的亮度小于或等于第一阈值时，处理单元，还用于比较预设灰度直方图与预览图像的灰度直方图之间的相似度。

在一种可能的实现方式中，当终端设备确定预览图像的亮度小于或等于第一阈值，且，预览图像的灰度直方图与预设灰度直方图的相似度大于第二阈值时，处理单元，具体用于对基于拍照流数据生成的第一图像序列中的亮度相同的图像帧进行图像融合处理；或者，当终端设备确定预览图像的亮度小于或等于第一阈值，且，预览图像的灰度直方图与预设灰度直方图的相似度小于或等于第二阈值时，处理单元，还具体用于对基于拍照流数据生成的第一图像序列中的亮度不同的图像帧进行图像融合处理；其中，亮度不同的图像帧中包括至少一个第三图像帧和至少一个第四图像帧，第三图像帧的曝光时间小于第四图像帧的曝光时间。

在一种可能的实现方式中，处理单元，具体用于：对第一图像序列中的除至少一个第三图像帧外的其他图像帧，进行亮度融合处理，得到亮度融合后的图像帧；对亮度融合后的图像帧，与至少一个第三图像帧进行图像融合处理。

在一种可能的实现方式中，处理单元，具体用于：对第一图像序列中的除至少一个第三图像帧外的其他图像帧分别进行图像预处理，得到预处理后的第一图像序列；对预处理后的第一图像序列进行时域降噪处理，得到时域降噪后的第一图像序列；对时域降噪后的第一图像序列进行亮度融合处理，得到亮度融合后的图像帧。

在一种可能的实现方式中，处理单元，具体用于：对第一图像序列中的除至少一个第三图像帧外的其他图像帧分别进行特征提取处理，得到特征提取后的第一图像序列；对特征提取后的第一图像序列中的图像帧分别进行图像配准处理，得到配准处理后的第一图像序列；对配准处理后的第一图像序列中的图像帧分别进行鬼影矫正处理，得到预处理后的第一图像序列。

在一种可能的实现方式中，处理单元，具体用于：对第一图像序列中的亮度相同的图像帧进行图像预处理，得到预处理后的第一图像序列；对预处理后的第一图像序列进行时域降噪处理，得到时域降噪后的第一图像序列；对时域降噪后的第一图像序列进行亮度融合处理。

在一种可能的实现方式中，处理单元，具体用于：对图像融合处理得到的融合图像进行空域降噪处理，得到空域降噪后的融合图像；从空域降噪后的融合图像中抽取第二图像帧，生成包含多个第二图像帧的延时摄影视频。

在一种可能的实现方式中，显示单元，用于显示第一界面；第一界面中包括用于保存延时摄影视频的控件；处理单元，还用于接收针对用于保存延时摄影视频的控件的操作；响应于用于保存延时摄影视频的控件的操作，处理单元，还用于将延时摄影视频保存至第一应用。

在一种可能的实现方式中，第一界面中还包括下述一种或多种：延时摄影视频、用于播放延时摄影视频的控件、用于调整延时摄影视频的分辨率的控件、用于删除延时摄影视频的控件、用于调整延时摄影视频的时长的控件、或用于查看延时摄影中的任一图像帧的滑动杆。

第三方面，本申请实施例提供一种延时摄影装置，包括处理器和存储器，存储器用于存储代码指令；处理器用于运行代码指令，使得电子设备以执行如第一方面或第一方面的任一种实现方式中描述的延时摄影方法。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有指令，当指令被执行时，使得计算机执行如第一方面或第一方面的任一种实现方式中描述的延时摄影方法。

第五方面，一种计算机程序产品，包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面或第一方面的任一种实现方式中描述的延时摄影方法。

应当理解的是，本申请的第三方面至第五方面与本申请的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

附图说明

图1为本申请实施例提供的一种场景示意图；

图2为本申请实施例提供的一种终端设备的结构示意图；

图3为本申请实施例提供的一种拍摄原理示意图；

图4为本申请实施例提供的一种典型场景下的灰度直方图分布示意图；

图5为本申请实施例提供的一种延时摄影方法的流程示意图；

图6为本申请实施例提供的一种开启延时摄影的界面示意图；

图7为本申请实施例提供的另一种开启延时摄影的界面示意图；

图8为本申请实施例提供的又一种开启延时摄影的界面示意图

图9为本申请实施例提供的一种延时摄影的界面示意图；

图10为本申请实施例提供的一种固定间隔采样的原理示意图；

图11为本申请实施例提供的一种多帧图像处理及合成结果视频存储示意图；

图12为本申请实施例提供的一种暗光场景亮度提升算法的流程示意图；

图13为本申请实施例提供的一种暗光光源场景亮度提升算法的流程示意图；

图14为本申请实施例提供的一种编辑延时摄影视频的界面示意图；

图15为本申请实施例提供的一种暗光延时摄影的效果示意图；

图16为本申请实施例提供的另一种暗光延时摄影的效果示意图；

图17为本申请实施例提供的另一种延时摄影方法的流程示意图；

图18为本申请实施例提供的一种延时摄影装置的结构示意图；

图19为本申请实施例提供的一种控制设备的硬件结构示意图；

图20为本申请实施例提供的一种芯片的结构示意图。

具体实施方式

为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一值和第二值仅仅是为了区分不同的值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，或a、b和c，其中a，b，c可以是单个，也可以是多个。

随着手机等终端设备的广泛使用，以及短视频等记录方式的普及，越来越多的用户开始通过视频的方式记录所见所闻。例如，用户可以利用终端设备中的延时摄影功能记录风景或事件等内容。

示例性的，图1为本申请实施例提供的一种场景示意图。如图1所示，该场景中可以包括具有延时摄影功能的终端设备101，例如该终端设备101可以为手机等，以及用户利用终端设备101拍摄的画面102，例如该画面102中可以包括昙花。

通常情况下，当终端设备接收到用户触发开启延迟摄影的控件的操作时，终端设备可以获取基于摄像头采集到画面102的预览流数据，并对预览流数据进行固定间隔采样(或称固定帧率抽帧)，例如若终端设备在每120帧的图像中提取一帧保存，则采样率为1/120(或也可以理解为抽帧间隔为120x)，按照帧率为30帧/秒(fps)计算，则采样间隔时间为4秒。

进一步的，终端设备可以将采样得到的数据帧保存下来并依次播放，达到快速播放的目的。其中，该采样率可以由用户在终端设备中设置，例如终端设备可以提供不同的采样率，进而用户可以根据利用延时摄影记录的场景的不同，设置相应的采样率。例如，当用户利用延时摄影记录日出或日落等场景时，则可以将采样率设置为1/15等；当用户利用延时摄影记录昙花一现的场景时，则可以将采样率设置为1/120或1/600等；当用户利用延时摄影记录白昼交替的场景时，则可以将采样率设置为1/1000等。其中，通常情况下，终端设备可以支持15x-1800x之间内的抽帧间隔，即终端设备可以支持15x-1800x的拍摄速率。

然而，当在夜晚环境下，对拍摄对象进行延时摄影拍摄时，由于夜晚环境的环境光较暗，使得基于上述延时摄影拍摄方法拍摄得到的延时摄影视频中画面的大部分为黑色区域，且画面的噪声较大，因此得到的延时摄影视频拍摄效果较差。另外，在暗光或背光场景中，存在视频动态范围低、以及视频播放画面跳动等一系列问题，也影响用户延时摄影视频的拍摄体验。

有鉴于此，本申请实施例提供一种延时摄影方法，终端设备可以基于不同场景下发相应的多张曝光图像序列，并基于对该多张曝光图像序列的融合，得到画质较好的一帧图像，进而通过对多个采样处的曝光融合后的图像的视频编码可以得到拍摄效果较好的延时摄影视频。

可以理解的是，本申请实施例提供的延时摄影方法不仅可以应用于终端设备进行延时摄影拍摄的场景中，还可以应用于视频监控等场景中，本申请实施例中对此不做限定。

可以理解的是，上述终端设备也可以称为终端，(terminal)、用户设备(userequipment，UE)、移动台(mobile station，MS)、移动终端(mobile terminal，MT)等。终端设备可以为具有延时摄影功能等的手机(mobile phone)、智能电视、穿戴式设备、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。本申请实施例中对终端设备所采用的具体技术和具体设备形态不做限定。

因此，为了能够更好地理解本申请实施例，下面对本申请实施例的终端设备的结构进行介绍。示例性的，图2为本申请实施例提供的一种终端设备的结构示意图。

终端设备可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，指示器192，摄像头193，以及显示屏194等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对终端设备的具体限定。在本申请另一些实施例中，终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中还可以设置存储器，用于存储指令和数据。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为终端设备充电，也可以用于终端设备与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块141用于连接充电管理模块140与处理器110。

终端设备的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。终端设备中的天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。

移动通信模块150可以提供应用在终端设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。

无线通信模块160可以提供应用在终端设备上的包括无线局域网(wirelesslocalarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)等无线通信的解决方案。

终端设备通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。在一些实施例中，终端设备可以包括1个或N个显示屏194，N为大于1的正整数。本申请实施例中，该显示屏194可以显示延时摄影模式下的预览界面和拍摄界面等，还可以通过显示信息的方式给用户以相关提示。

终端设备可以通过图像信号处理器(image signal processor，ISP)，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。

摄像头193用于捕获静态图像或视频。在一些实施例中，终端设备可以包括1个或N个摄像头193，N为大于1的正整数。摄像头193可以为前置摄像头也可以为后置摄像头。本申请实施例中，终端设备可以基于摄像头193得到预览流数据，并基于对上述预览流数据的固定采样等处理，得到延时摄影。

示例性的，图3为本申请实施例提供的一种拍摄原理示意图。如图3所示，摄像头193可以包括镜头(lens)和感光元件(sensor)，该感光元件可以为电荷耦合元件(charge-coupled device，CCD)或者互补金属氧化物半导体(complementary metal oxidesemiconductor，CMOS)等任意感光器件。

如图3所示，在拍摄过程中，被拍摄物体的反射光线经过镜头可以生成光学图像，该光学图像投射到感光元件上，感光元件将接收到的光学图像对应的光信号转换为电信号，进而，摄像头193可以将得到的电信号发送至数字信号处理(digital signalprocessing，DSP)模块进行数字信号处理，最终得到一帧数字图像。

类似的，在录制视频的过程中，DSP可按照上述拍摄原理得到连续的多帧的数字图像，该连续的多帧数字图像按照一定帧率编码后可形成一段视频。由于人类眼睛的特殊生理结构，当所看画面的帧率高于16fps时，人眼就会认为是看到的画面是连贯的，此现象可称为视觉停留。为了保证用户观看视频的连贯性，终端设备可按照一定帧率(例如24fps或30fps)对DSP输出的多帧数字图像进行编码。例如，如果DSP通过摄像头193采集到300帧数字图像，则终端设备可按照30fps的预设帧率，将该300帧数字图像编码为一段10秒(300帧/30fps＝10)的视频。

其中，DSP输出的一帧或多帧数字图像可通过显示屏194在终端设备上输出，也可以将该数字图像存储在内部存储器121(或外部存储器120)中，本申请实施例对此不做任何限制。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端设备在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。终端设备可以支持一种或多种视频编解码器。这样，终端设备可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现终端设备的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。处理器110通过运行存储在内部存储器121的指令，从而执行终端设备的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储终端设备使用过程中所创建的数据(比如终端设备拍摄获得的照片，确定的目标拍摄参数，音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

在本申请实施例中，处理器110通过运行存储在内部存储器121的指令，可以检测当前的拍摄场景，根据当前的拍摄场景下发相应的多张曝光图像序列，从而基于对该多张曝光图像序列的融合，得到多张画质较好的图像，并将多张图像进行视频编码从而生成延时摄影视频。

终端设备可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。终端设备可以通过扬声器170A收听音乐，或收听免提通话。受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当终端设备接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。耳机接口170D用于连接有线耳机。麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。陀螺仪传感器180B可以用于确定终端设备的运动姿态。气压传感器180C用于测量气压。磁传感器180D包括霍尔传感器。加速度传感器180E可检测终端设备在各个方向上(一般为三轴)加速度的大小。距离传感器180F，用于测量距离。接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。环境光传感器180L用于感知环境光亮度。指纹传感器180H用于采集指纹。温度传感器180J用于检测温度。

触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。骨传导传感器180M可以获取振动信号。本申请的实施例中，终端设备可以通过触摸传感器180K接收用户用于指示开始和/或停止拍摄延时摄影视频的操作。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备可以接收按键输入，产生与终端设备的用户设置以及功能控制有关的键信号输入。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

本申请的实施例中，在延时摄影模式下，显示屏194可以显示预览界面或拍摄界面等界面。处理器110通过运行存储在内部存储器121的指令，可以检测当前的拍摄场景，根据当前的拍摄场景下发相应的多张曝光图像序列，从而基于对该多张曝光图像序列的融合，得到多张画质较好的图像，并将多张图像进行视频编码从而生成延时摄影视频。

终端设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构等，在此不再赘述。

下面对本申请实施例中所描述的词汇进行说明。可以理解，该说明是为更加清楚的解释本申请实施例，并不必然构成对本申请实施例的限定。

延时摄影：可以理解为缩时摄影或缩时录影，是一种可将时间压缩的拍摄技术，该延时摄影可以在短时间内再现景物缓慢变化的过程。本申请实施例中，当终端设备接收到用户开启延时摄影功能的操作时，终端设备可以开始采集摄像头捕捉到的每一帧拍摄画面。并且，终端设备可按照一定的抽帧频率从摄像头捕捉到的N(N＞1)帧拍摄画面中抽取M(M＜N)帧拍摄画面作为本次延时摄影的延时摄影视频。后续，当终端设备接收到用户打开该延时摄影视频的操作时，终端设备可以按照一定的帧率播放抽取到的上述M帧拍摄画面，从而通过这M帧拍摄画面重现终端设备实际拍摄的N帧拍摄画面中的景物变化。

预览流数据：可以为基于终端设备的摄像头实时采集到的预览数据(或称为预览图像)。本申请实施例中，当终端设备接收到用户开启与拍照或录像等相关的应用程序的操作时，终端设备可以采集摄像头捕捉到的每一帧画面，并实时显示在该应用程序的界面中，该界面中呈现的预览数据可以为预览流数据。

拍照流数据：可以为基于终端设备中的拍照控件获取数据，并对该数据进行相关处理得到的拍照数据。本申请实施例中，当终端设备接收到用户触发延时摄影对应的控件的操作时，终端设备可以在相应的采样点处获取多帧拍照流数据，并通过对该拍照流数据的图像处理、融合处理、以及编码处理等，得到延时摄影视频。

普通场景：可以为环境光亮度大于亮度阈值的场景，例如白天、或者光线较多的场景。本申请实施例中，终端设备可以利用图像感光度(international organization forstandardization，ISO)确定当前的拍摄场景，例如当终端设备检测到当前预览场景中ISO小于(或小于等于)阈值T1时，则终端设备可以确定当前为普通场景。其中，该普通场景可以包括高亮的高动态场景。

暗光场景：可以理解为环境光亮度低于亮度阈值的场景，例如夜晚或者光线较暗的场景。本申请实施例中，终端设备可以利用ISO值以及暗光场景典型灰度直方图等确定当前的拍摄场景，例如当终端设备检测到当前预览场景中ISO大于等于(或大于)阈值T1时，并且当前预览场景的灰度直方图与暗光场景典型灰度直方图的相似度大于(或大于等于)阈值X1时，则终端设备可以确定当前为暗光场景。其中，该暗光场景典型灰度直方图可以为终端设备中预设的。

示例性的，图4为本申请实施例提供的一种典型场景下的灰度直方图分布示意图。如图4中的a(或b)所示，该灰度直方图的横坐标为灰度值，该灰度直方图的纵坐标为像素点个数。图4中的a为暗光场景典型灰度直方图，可见，暗光场景像素灰度值较低，并且像素点集中在灰度直方图的左侧，右侧近乎没有像素点。

暗光光源场景：可以理解为环境光亮度低于亮度阈值，且存在光源的场景，例如在晚上开启台灯，夜晚由灯光围绕的的建筑物等场景。本申请实施例中，终端设备可以利用ISO值以及暗光光源场景典型灰度直方图等确定当前的拍摄场景，例如当终端设备检测到当前预览场景中ISO大于等于(或大于)阈值T1时，并且当前预览场景的灰度直方图与暗光光源场景典型灰度直方图的相似度大于(或大于等于)阈值X2时，则终端设备可以确定当前为暗光光源场景。其中，该暗光光源场景典型灰度直方图可以为终端设备中预设的。

示例性的，图4中的b为暗光光源场景典型灰度直方图，可见，暗光光源场景中存在较低亮度像素以及少量较高亮度像素，像素点可以集中在灰度直方图的两端。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现，也可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

示例性的，用户可以手持终端设备，并利用终端设备中的延时摄影功能记录夜晚昙花开花的过程。在夜晚拍摄昙花盛开的过程中，即使夜晚的光线较暗(例如没有光源，或者有微弱光源)，终端设备也可以基于本申请实施例提供的延时摄影方法，拍摄出画面效果较好的延时摄影视频。

示例性的，图5为本申请实施例提供的一种延时摄影方法的流程示意图。如图5所示，该延时摄影方法可以包括如下步骤：

S501、当终端设备接收到用户打开相机应用中的延时摄影功能的操作时，终端设备可以显示延时摄影功能对应的预览界面。

本申请实施例中，该打开相机应用中的延时摄影功能的操作可以包括下述一种或多种：触摸操作、按键操作、隔空手势操作或语音操作等；该相机应用可以为终端设备的系统支持的应用，或者该相机应用也可以为具有拍照功能以及延时摄影功能的应用等。

示例性的，用户可以通过下述多种方式(如图6-图8对应的实施例)打开相机应用中的延时摄影功能。其中，在图6-图8对应的实施例中，以终端设备为手机为例进行示例说明，该示例并不构成对本申请实施例的限定。

一种实现中，当终端设备接收到用户打开相机应用的操作时，该相机应用的主界面中可以显示延时摄影功能对应的预览界面。示例性的，图6为本申请实施例提供的一种开启延时摄影的界面示意图。

当手机接收到用户打开相机应用的操作时，手机可以显示如图6所示的界面，该界面可以为相机应用的主界面(或理解为延时摄影功能对应的界面)。如图6所示，该界面中可以包括相机应用的一级菜单600中的一个或多个功能控件，例如：光圈控件、人像控件、延时摄影控件601、拍照功能对应的控件、录像控件、或用于开启相机应用中的更多功能的更多控件等。该界面中还可以包括下述的一种或多种，例如：基于摄像头实时采集到的画面，例如预览图像602，该预览图像602中可以包括夜晚拍摄的昙花，用于拍摄延时摄影视频的录像控件603、用于打开图库的控件、用于切换摄像头的控件、用于对相机应用进行设置的设置控件、或用于调整拍摄倍数的控件等。其中，该用于打开图库的控件可用于开启图库应用程序。图库应用程序是智能手机、或平板电脑等电子设备上的一款用于图片管理的应用程序，又可以称为“相册”，本实施例对该应用程序的名称不做限制。进而，用户可以通过如图6所示的录像控件603进行延时摄影的视频录制。

另一种实现中，当终端设备接收到用户打开相机应用的操作时，该相机应用的主界面中可以显示用于打开延时摄影功能的控件；进一步的，当终端设备接收到用户针对该用于打开延时摄影功能的控件的触发操作时，终端设备可以显示延时摄影功能对应的预览界面。示例性的，图7为本申请实施例提供的另一种开启延时摄影的界面示意图。

当手机接收到用户打开相机应用的操作时，手机可以显示如图7中的a所示的界面，该界面可以为相机应用的主界面(或理解为拍照功能对应的界面)。如图7中的a所示，该界面中可以包括下述一种或多种，例如：拍照功能对应的拍照控件701、预览图像702、延时摄影控件703、用于开启人工智能(artificial intelligence，AI)摄影功能的控件、用于设置闪光灯开启或关闭的闪光灯控件，该界面中显示的其他内容与图6所示的界面类似，在此不再赘述。

如图7中的a所示的界面中，当手机接收到用户触发该延时摄影控件703的操作时，手机可以显示如图7中的b所示的界面。如图7中的b所示的界面，该界面中可以显示预览图像702以及录制控件704，且该界面中显示的其他内容与如图6所示的界面类似，在此不再赘述。进而，用户可以通过如图7中的b所示的录制控件704进行延时摄影的视频录制。

又一种实现中，当终端设备接收到用户打开相机应用的操作时，该相机应用的主界面中可以显示用于开启更多功能的控件；当终端设备接收到用户针对该用于开启更多功能的控件的触发操作时，终端设备可以显示用于打开延时摄影功能的控件以及其他功能控件；进一步的，当终端设备接收到用户针对该用于打开延时摄影功能的控件的触发操作时，终端设备可以显示延时摄影功能对应的预览界面。示例性的，图8为本申请实施例提供的又一种开启延时摄影的界面示意图。

当手机接收到用户打开相机应用的操作时，手机可以显示如图8中的a所示的界面，该界面可以为相机应用的主界面(或理解为拍照功能对应的界面)。如图8中的a所示的界面，该界面中可以包括一级菜单800中的多个功能控件，例如可以包括下述一种或多种：光圈控件、人像控件、拍照功能对应的控件、录像控件以及更多控件801等，该界面中显示的其他内容与图7中的a所示的界面类似，在此不再赘述。

如图8中的a所示的界面中，当手机接收到用户触发该更多控件801的操作时，手机可以显示如图8中的b所示的界面。如图8中的b所示的界面，该界面中可以包括下述一种或多种功能控件，例如：光圈控件、人像控件、拍照功能对应的控件、录像控件、更多控件、高动态范围(high-dynamic range，HDR)控件、慢动作控件、微电影控件、延时摄影控件802、动态照片控件、用于下载更多功能的下载控件、用于调整更多控件中的各功能的位置的编辑控件、或用于查看更多控件中的各功能的详情信息的详情控件等。

进一步的，如图8中的b所示的界面中，当手机接收到用户触发该延时摄影控件802的操作时，手机可以显示如图8中的c所示的界面。如图8中的c所示的界面，该界面中可以包括预览图像803以及录制控件804，该界面中显示的其他内容与如图7中的b所示的界面类似，在此不再赘述。进而，用户可以通过如图8中的c所示的录制控件804进行延时摄影的视频录制。

可以理解的是，该打开相机应用中的延时摄影功能的方式可以根据实际场景包括其他内容，本申请实施例中对此不做限定。

S502、终端设备对预览图像进行识别，确定当前的拍摄场景。其中，该拍摄场景可以包括：普通场景、暗光场景、或暗光光源场景等。

示例性的，在终端设备进入延时摄影功能后，终端设备可以基于ISO、典型场景对应的灰度直方图等参数对预览图像进行场景识别。例如，终端设备可以对预览图像进行多倍下采样(例如4倍下采样)得到预览小图，并基于预览小图中的像素点的亮度分布情况得到该预览图像对应的灰度直方图。其中，该灰度直方图用于表示预览图像中的像素点的亮度分布情况，该亮度可以理解为预览图像为YUV(可以理解为亮度和色度)格式时的Y通道对应的数值(或称为Y分量或Ymean)。

可以理解的是，相比于RAW格式下的图像处理方法，该YUV格式可以降低图像处理时的内存消耗，便于算法向多种硬件配置的产品进行迁移。

当终端设备检测到当前拍摄场景中的ISO值小于(或小于等于)阈值T1时，则终端设备可以确定当前为普通场景，后续终端设备可以在S503之后，基于S504所示的步骤基于普通场景对应的延时摄影处理过程获取延时摄影视频。其中，该T1的取值可以为1000等。

当终端设备检测到当前拍摄场景中的ISO值大于等于(或大于)阈值T1时，则终端设备可以进一步的基于典型场景对应的灰度直方图进行场景识别。例如终端设备中可以存储有典型的暗光场景对应的灰度直方图(如图4中的a)以及典型的暗光光源场景对应的灰度直方图(如图4中的b)等，在ISO值大于等于阈值T1的情况下，当终端设备检测到当前预览场景对应的灰度直方图与暗光场景对应的灰度直方图的相似度大于(或大于等于)阈值X1时，则终端设备可以确定当前为暗光场景，后续终端设备可以在S503之后，基于S505所示的步骤基于暗光场景对应的延时摄影处理过程获取延时摄影视频。

当终端设备检测到当前拍摄场景中的ISO值大于等于阈值T1的情况下，且当前预览场景对应的灰度直方图与暗光光源场景对应的灰度直方图的相似度大于(或大于等于)阈值X2时，则终端设备可以确定当前为暗光光源场景，后续终端设备可以在S503之后，基于S506所示的步骤基于暗光光源场景对应的延时摄影处理过程获取延时摄影视频。其中，该X1与X2的取值可以相同也可以不同。

可能的实现方式中，进一步的，终端设备也可以根据预览图像的ISO值、和/或Ymean等参数，进一步确定不同场景下的曝光程度，进而得到曝光序列。示例性的，终端设备中可以存储有预览图像的不同图像参数与曝光程度之间的对应关系。其中，该曝光序列的档位可以为多个，且该曝光序列中的图像的个数也可以为多个。

一种实现中，例如在暗光场景中，以曝光序列的档位为4，且各曝光序列中下发4张曝光图像为例进行示例说明。当终端设备基于预览图像确定ISO值满足1000-2000的范围时，则终端设备可以下发曝光序列1(或理解为第一档位)，例如该曝光序列1中的4张曝光图像的ISO值均可以为5000，曝光时间均可以为100毫秒；当终端设备基于预览图像确定ISO值满足2000-4000的范围时，则终端设备可以下发曝光序列2(或理解为第二档位)，例如该曝光序列2中的4张曝光图像的ISO值均可以为5000，曝光时间可以为150毫秒；当终端设备基于预览图像确定ISO值满足4000-6000的范围时，则终端设备可以下发曝光序列3(或理解为第三档位)，例如该曝光序列3中的4张曝光图像的ISO值均可以5000，曝光时间均可以为200毫秒；或者，当终端设备基于预览图像确定Ymean接近为0(或理解为全黑场景下)时，则终端设备可以下发曝光序列4(或理解为第四档位)，该第四档位下的曝光程度可以与第三档位相同，在此不再赘述。其中，该曝光程度可以与图像的ISO值、和/或曝光时间相关。

另一种实现中，例如在暗光光源场景中，以曝光序列的档位为3，且各曝光序列中下发4张曝光图像为例进行示例说明。其中，任一曝光序列中可以包括至少1个短帧，如任一曝光序列中可以包括3个常量提亮帧以及1个短帧。当终端设备基于预览图像确定ISO值满足1000-2000的范围时，则终端设备可以下发曝光序列1(或理解为第一档位)，例如该曝光序列1中的3个常量提亮帧的ISO值均可以5000，曝光时间可以为100毫秒，该曝光序列1中的短帧的ISO值可以为5000，曝光时间可以为80毫秒；当终端设备基于预览图像确定ISO值满足2000-4000的范围时，则终端设备可以下发曝光序列2(或理解为第二档位)，例如该曝光序列2中的3个常量提亮帧的ISO值可以5000，曝光时间可以为150毫秒，该曝光序列2中的短帧的ISO值可以为5000，曝光时间可以为50毫秒；当终端设备基于预览图像确定ISO值满足4000-6000的范围时，则终端设备可以下发曝光序列3(或理解为第三档位)，例如该曝光序列3中的3个常量提亮帧的ISO值可以5000，曝光时间可以为200毫秒，该曝光序列3中的短帧的ISO值可以为5000，曝光时间可以为20毫秒。其中，该常量提亮帧可以理解为曝光序列中的提亮帧的ISO值不变，多个常量提亮帧的ISO值固定不变可以保证多帧之间的噪声相同，便于多帧图像处理；在曝光序列中，与该常量提亮帧相比，该短帧的取值可以为固定ISO值，并缩小曝光时间；或者，与该常量提亮帧相比，该短帧的取值也可以为固定曝光时间，并减小ISO值，本申请实施例中对此不做限定。

可以理解的是，上述曝光序列中的曝光图像的ISO值以及曝光时间的取值可以根据实际场景包括其他内容，本申请实施例中对此不做限定。

可以理解的是，上述曝光序列的档位的数量可以为3个、4个或5个等，本申请实施例中对此不做限定。

可能的实现方式中，当终端设备基于预览图像识别到当前拍摄场景时，终端设备还可以通过：显示信息、声音提示、或振动方式中的一种或多种将场景类型提示给用户。例如，当终端设备基于预览图像识别到当前拍摄场景时，可以振动并在如图8中的c所示的界面(或图6所示的界面，或如图7中的b所示的界面)中显示提示信息。其中，该提示信息用于指示当前所属场景。例如该提示信息可以为：检测到当前处于普通场景(或暗光场景、或暗光光源场景)等。本申请实施例中，对该提示信息的具体形式不做限制。

S503、终端设备接收用户开始录制延时摄影视频的操作。

本申请实施例中，该开始录制延时摄影视频的操作可以包括下述一种或多种：触摸操作、按键操作、隔空手势操作或语音操作等。

示例性的，图9为本申请实施例提供的一种延时摄影的界面示意图。在图9对应的实施例中，以终端设备为手机为例进行示例说明，该示例并不构成对本申请实施例的限定。

如图8中的c所示的界面(或图6所示的界面，或如图7中的b所示的界面)中，当手机接收到用户触发该录制控件的操作时，终端设备可以显示如图9所示的界面。如图9所示，该界面中可以包括下述一种多种：拍摄时长信息901，以及停止延时摄影控件903等，该界面中还可以显示基于摄像头实时采集到的画面，例如预览图像902，该预览图像902中可以包括夜晚拍摄的昙花。

可能的实现方式中，该停止延时摄影控件903可以显示为不断旋转的环形控件，该环形控件用于提示用户正处于延时摄影拍摄过程中，未出现卡顿问题等。

可能的实现方式中，如图9所示，该界面中还可以包括暂停控件(图9中未示出)。示例性的，当手机接收到用户触发该暂停控件的操作时，手机可以暂停延时摄影的视频录制；进而，该界面中可以显示录制控件，当手机接收到用户触发该录制控件的操作时，手机可以继续进行延时摄影的视频录制。

如图9所示，该拍摄时长信息901可以为：00:15/00:01，可以理解为当手机拍摄15秒的视频画面时，对应的延时摄影的可播放时长可以为1秒。其中，该15秒可以理解为实际拍摄的视频时长，1秒可以理解为抽帧后生成的延时摄影的可播放时长。进而，手机可以按照帧率采集每一帧拍摄画面。例如当帧率为30fps时，手机可以在每秒内采集30帧拍摄画面，随着录制时间的推移，手机采集到的拍摄画面的帧数逐渐积累，进一步的，手机可以根据采样率从采集到的拍摄画面中抽取出多帧拍摄画面，形成延时摄影视频。示例性的，如图9所示，此时的采样率为1/15，手机在每秒内采集30帧拍摄画面，抽帧后每秒内抽取2帧拍摄画面，实际拍摄15秒后，生成一段包括30帧画面的延时摄影视频，此时延时摄影的视频时长为1秒。

可以理解的是，在终端设备基于固定采样率进行采样时，则可以显示如图9所示的实际录制时长与抽帧后生成的延时摄影的视频时长；当由于拍摄对象的变化导致在延时摄影拍摄过程中的采样率发生变化时(参见S504所示的步骤中对于采样率的描述)，则终端设备可能适应增加或者减少采样帧，进而该录制时长和视频时长的倍数与基于固定采样时的倍数不同。

S504、在普通场景下，终端设备采用固定间隔采样对预览流数据进行抽帧处理，得到图像帧序列。

示例性的，通常情况下，终端设备可以设置1/15的采样率，相当于普通场景下0.5秒(30fps)存储一帧数据。

可能的实现方式中，用户可以基于拍摄对象的不同，对该采样率进行灵活设置。例如当用户利用延时摄影记录昙花一现的场景时，则用户可以在录制前，将采样率设置为1/120或1/600等。

可能的实现方式中，终端设备也可以基于图像识别技术，对该预览图像中的拍摄对象进行识别，并基于该拍摄对象对应的采样率进行采样。例如，终端设备中可以预设有拍摄对象与采样率之间的对应关系，当终端设备识别到预览画面中包含花、或草等植物时，终端设备可以基于1/100的采样率拍摄延时摄影视频，或者，当终端设备识别到预览画面中包含太阳、或云彩等时，终端设备可以基于1/30的采样率拍摄延时摄影视频等。其中，该对应关系可以为，基于用户在延时摄影功能下拍摄不同对象时设置采样率的历史数据的学习得到的。

可以理解的是，在延时摄影拍摄过程中，当拍摄对象发生变化时，则终端设备也可以根据拍摄对象实时调整采样率。

示例性的，当用户利用终端设备在夜间拍摄昙花开花过程时，则终端设备可以按照如图10对应的实施例进行固定间隔采样，得到图像帧序列。图10为本申请实施例提供的一种固定间隔采样的原理示意图。如图10所示，图10中可以包括用于指示时间的坐标轴，以及该坐标轴中的不同采样点处的拍摄画面。

如图10所示，以01:30-02:30之间拍摄昙花盛开的过程为例，若终端设备在延时摄影中采用固定间隔采样，例如可以在01:30-02:30之间每20秒采样1次，以采样率为1/600为例进行说明。如在01:30:00(或称为01:30)左右、01:30:20左右(图中未示出)、01:30:40左右(图中未示出)、01:31:00(或称为01:31)左右、01:31:20(图中未示出)左右、01:31:40左右(图中未示出)、01:32:00(或称为01:32)左右、01:32:20(图中未示出)左右、01:32:40左右(图中未示出)、01:33:00(或称为01:33)左右、01:33:20(图中未示出)左右、01:35:00(或称为01:35)、01:40:00(或称为01:40)、01:45:00(或称为01:45)、01:50:00(或称为01:50)、01:55:00(或称为01:55)、02:00:00(或称为02:00)、02:05:00(或称为02:05)、02:10:00(或称为02:10)、02:15:00(或称为02:15)、02:20:00(或称为02:20)、02:25:00(或称为02:25)、02:30:00(或称为02:30)等处进行采样。可以理解的是，如图10所示，在01:30-02:30之间每20秒采集1帧画面，60分钟可以采集180帧画面，以帧率为30fps，则采集180帧画面的延时摄影时长为6秒。

其中，终端设备可以在01:30左右-01:40左右处采集到如图10中的a所示的画面；在01:40:20左右-01:55左右采集到如图10中的b所示的画面；在01:55:20左右-02:00左右采集到如图10中的c所示的画面；在02:00:20左右-02:10左右处采集到如图10中的d所示的画面；并且在02:10:20左右-02:30左右处采集到如图10中的e所示的画面等。

S505、在暗光场景下、终端设备采用固定间隔采样，并在拍照流下发多张相同曝光程度的曝光图像，进行多帧图像融合提升亮度，得到图像帧序列。

示例性的，图11为本申请实施例提供的一种多帧图像处理及合成结果视频存储示意图。

如图11中的a所示，该预览流可以理解为由连续的多帧图像构成的预览流数据，当终端设备基于S504所示的步骤在普通场景下进行固定间隔采样时，终端设备可以在固定采样处对预览流数据进行采样，得到图像帧序列。

如图11中的b所示，当终端设备基于S505所示的步骤在暗光场景下(或者基于S506所示的步骤在暗光光源场景下)进行固定间隔采样时，终端设备可以在固定采样处下发多帧拍照流数据，并对该多帧拍照流数据进行融合得到一帧动态范围大于该多帧拍照流数据中的任一帧图像的图像，由多个固定采样处得到的多帧拍照流数据，得到图像帧序列，如图11中的b所示的存储视频流。进而，终端设备可以将该图像帧序列，编码为延时摄影视频。

具体的，在暗光场景下，终端设备可以在固定采样处下发曝光序列，例如该曝光序列可以包括N帧相同曝光程度(或理解为亮度一致)的曝光图像；终端设备可以采用暗光场景亮度提升算法分别对该N帧曝光图像进行处理，并融合经过亮度提升后的N帧曝光图像，得到图像帧序列。其中，该暗光场景亮度提升算法可以包括下述一种多种，例如：特征提取、帧间图像配准、鬼影检测、时域降噪、图像线性亮度提升或空域降噪等。

在上述暗光场景亮度提升算法中的图像处理步骤中，针对特征提取，终端设备可以基于加速鲁棒特征(speed up robust features，SURF)或尺度不变特征变换(scale-invariant feature transform，SIFT)等方法，对各图像进行特征提取。

针对帧间图像配准，该配准可以用于将同一目标的多幅图像在空间位置上对准。

针对鬼影检测，该鬼影检测可以用于计算由于运动对象引起的图像配准后的每个图像与相邻图像之间的偏差，该偏差可以用鬼影面积来表示。鬼影面积越大，说明该偏差越大。其中，运动对象是指在N帧曝光图像所对应的场景中存在的运动的人、运动的物或其他因相机移动引起的帧间内容变化等。

可以理解的是，上述针对图像的特征提取、帧间图像配准以及鬼影检测可以理解为图像的预处理过程。

针对时域降噪，该时域降噪可以为一种基于图像时间序列的降噪分析，可以用于抑制图像中随机波动的噪点。

本申请实施例中，终端设备对上述N帧曝光图像进行预处理之后，终端设备可以根据第1帧曝光图像和第2帧曝光图像检测鬼影区域对应的鬼影面积。例如，当检测到的鬼影面积小于预设值时，终端设备可以对N帧曝光图像中的第1帧曝光图像和第2帧曝光图像进行时域融合。其中，时域融合可以为时域序列相加后求平均值。或者，当鬼影面积大于或等于预设值时，终端设备可以对鬼影面积所对应的鬼影区域取第1帧曝光图像的内容，对N帧曝光图像中的第1帧曝光图像和第2帧曝光图像中的除鬼影区域以外的其他区域进行融合。可以理解为，当鬼影面积较大时，终端设备对鬼影区域不做时域融合，而是对除鬼影区域以外的其他区域进行时域融合。

可以理解的是，当鬼影面积较大时，鬼影区域的时域融合会产生严重的鬼影现象，影响由第1帧曝光图像和第2帧曝光图像融合得到的第1个合成图像的质量。

进一步的，第2个合成图像可以由第1个合成图像以及第3帧曝光图像得到。其他时域降噪后的合成图像的融合处理过程与上述类似，对上述N帧预处理后的曝光序列进行时域降噪，可以得到N-1个合成图像。

可以理解的是，该时域融合的方式可以根据实际场景包括其他内容，本申请实施例中对此不做限定。

针对图像线性亮度提升，该图像线性亮度提升用于提升图像中的暗部区域并保持亮部区域不过曝。本申请实施例中，终端设备可以将上述时域融合处理后的N-1个合成图像进行亮度的叠加，融合得到一张线性亮度提升后的图像。

本申请实施例中，对于上述时域融合处理后的N-1个合成图像，终端设备可以根据各图像的最高亮度进行亮度累加，例如针对亮度低的区域累加值大，图像亮度越高累加值越小，当像素灰度值大于128时可以不再进行亮度累加，针对各累加亮度后的图像进行加权平均得到最终的一张线性亮度提升后的图像。

可以理解的是，该线性亮度提升方法可以根据实际场景包括其他内容，本申请实施例中对此不做限定。

针对空域降噪，该空域降噪可以为一种针对空间的降噪分析方法，属于单帧图像处理技术，可以用于平滑图像的高频噪声，同时保护图像细节避免被柔化。例如，终端设备可以采用小波分解等方法进行空域降噪，本申请实施例中对该空域降噪方法不做限定。

可能的实现方式中，当终端设备基于预览图像对应的灰度直方图检测到，当前场景中包含灰度值为0，或包含由系统随机噪声引起的灰度值较小的像素点时，终端设备可以识别到当前为全黑场景。在全黑场景中，终端设备下发的曝光序列中可以包含原始数据帧，该原始数据帧可以作为延时摄影视频中的一帧进行存储。

可以理解的是，该曝光序列中的曝光图像的个数可以为3、4或5等，本申请实施例中对此不做限定。

示例性的，图12为本申请实施例提供的一种暗光场景亮度提升算法的流程示意图。如图12所示，终端设备可以基于ISO以及Ymean的取值，确定当前处于暗光场景，并根据该ISO和/或Ymean的取值进一步的确定当前下发哪个档位的曝光序列。例如，终端设备中可以存储有多个档位相同曝光程度的曝光序列，如曝光序列1、曝光序列2、曝光序列3。针对曝光序列4，该曝光序列4可以为原始数据帧，例如可以为[x0]。其中，任一曝光序列中均可以包含有多帧(例如3帧、4帧或5帧等)曝光程度相同的曝光图像。例如，曝光序列1中的4帧曝光图像可以为[x1x1x1x1]，各x1的曝光程度相同；该曝光序列2中的4帧曝光图像可以为[x2x2x2x2]，各x2的曝光程度相同；曝光序列3中的4帧曝光图像可以为[x3x3x3x3]，各x3的曝光程度相同；该曝光序列4中的曝光图像可以为[x0]。

进一步的，终端设备可以对任一曝光序列(如曝光序列1或曝光序列2或曝光序列3)进行特征提取、图像配准、鬼影检测、时域降噪、线性亮度提升以及空域降噪等处理，得到该曝光序列对应的增强结果。可以理解的是，不同档位下的曝光序列不同，最终每个曝光序列均可以得到唯一的增强结果，如增强结果1、或增强结果2、或增强结果3。如图12所示，在全黑场景下，该曝光序列4不进行图像处理步骤，直接输出得到结果4。

具体的，如图12所示，针对曝光序列1、曝光序列2或曝光序列3的图像处理方法相同。若根据预览图像的ISO以及Ymean的取值，确定当前处于暗光场景，并且根据该预览图像的ISO确定当前下发曝光序列1时，该曝光序列1的图像处理方法可以如下所示。针对曝光序列1[x1 x1 x1 x1]，分别对该曝光序列1中的各x1进行由特征提取、图像配准、鬼影检测、时域降噪到线性亮度提升的处理，在线性亮度提升处理中，对经过时域降噪处理的非最后一帧x1进行图像融合，并对融合处理后的结果进行空域降噪，得到增强结果1。可以理解的是，除曝光序列4外的其他曝光序列的处理过程可以参照曝光序列1，在此不再赘述。

S506、在暗光光源场景下、终端设备采用固定间隔采样，并在拍照流下发多张不同曝光程度的曝光图像，进行多帧图像曝光融合，得到图像帧序列。

具体的，在暗光光源场景下，终端设备可以在固定采样处下发曝光序列，例如该曝光序列可以包括N帧不同曝光程度(或理解为亮度不同)的曝光图像；并采用暗光光源场景亮度提升算法分别对该N帧曝光图像进行处理，并融合经过亮度提升后的N帧曝光图像，得到图像帧序列。

本申请实施例中，该暗光光源场景亮度提升算法可以包括下述一种多种，例如：特征提取、帧间图像配准、鬼影检测、时域降噪、图像线性亮度提升、短帧曝光融合或空域降噪等。其中，该短帧曝光融合用于压制图像中的过曝区域。该图像融合的方法可以包括下述一种或多种：双边滤波方法、拉普拉斯金字塔等算法进行曝光融合或者、用于实现图像曝光融合的神经网络模型等，本申请实施例中对此不做限定。可以理解的是，该特征提取、帧间图像配准、鬼影检测、时域降噪、图像线性亮度提升、以及空域降噪的处理方法可以参见S505所示的步骤，在此不再赘述。

可以理解的是，该N帧不同曝光程度的曝光图像中的M帧可以为常量提亮帧，该N帧不同曝光程度的曝光图像中的M-N帧可以为用于还原过曝区域的曝光值(exposurevalues，EV)降低的短帧。例如，在暗光光源场景下，当下发的曝光序列中包含4帧曝光图像时，则该曝光序列中可以包含3帧常量提亮帧以及1帧短帧，如[x1x1x1y1]，各x1的曝光程度相同；或者，则该曝光序列中可以包含2帧常量提亮帧以及2帧短帧，如[x1x1y1y1]，各x1的曝光程度相同，各y1的曝光程度可以相同也可以不同；或者，则该曝光序列中可以包含1帧常量提亮帧以及3帧短帧，如[x1y1y1y1]，各y1的曝光程度可以相同也可以不同。

可以理解的是，该N帧不同曝光程度的曝光图像中至少要包含一帧短帧。

可以理解的是，短帧的曝光程度取决于预览图像的曝光程度。例如，当预览图像的过曝比例较大时，则终端设备下发的短帧的曝光程度较低，如短帧的ISO值较小或者短帧的曝光时间较短，使得短帧的图像亮度低于预览图像的图像亮度，便于还原过曝区域的内容。或者，当预览图像的过曝比例较小时，则终端设备下发ISO值较大或者短帧的曝光时间较长的图像帧。故短帧的亮度与检测到的预览图像的过曝程度成反比。

可以理解的是，该多帧不同曝光程度的曝光图像的个数可以为3、4或5等。通常情况下，该曝光图像的个数可以根据产品硬件配置以及效果需求进行调整，本申请实施例中对此不做限定。

示例性的，图13为本申请实施例提供的一种暗光光源场景亮度提升算法的流程示意图。如图13所示，终端设备可以基于ISO以及Ymean的取值，确定当前处于暗光光源场景，并根据该ISO和/或Ymean的取值进一步的确定当前下发哪个档位的曝光序列。例如，终端设备中可以存储有3个档位不同曝光程度的曝光序列，如曝光序列1、曝光序列2、以及曝光序列3。其中，任一曝光序列中均可以包含有多帧(例如3帧、4帧或5帧等)曝光程度不同的曝光图像。当曝光序列中包含4帧曝光图像，且该4帧曝光图像中包含一帧短帧时，该曝光序列1中的4帧曝光图像可以为[x1x1x1y1]，各x1的曝光程度相同，该y1为短帧；该曝光序列2中的4帧曝光图像可以为[x2x2x2y2]，各x2的曝光程度相同，该y2为短帧；曝光序列3中的4帧曝光图像可以为[x3x3x3y3]，各x3的曝光程度相同，该y3为短帧。

针对任一曝光序列，终端设备可以对该曝光序列进行如特征提取、图像配准、鬼影检测、时域降噪、线性亮度提升、短帧曝光融合、以及空域降噪等处理，得到该曝光序列对应的增强结果，如增强结果1、或增强结果2、或增强结果3。

具体的，如图13所示，针对曝光序列1、曝光序列2或曝光序列3的图像处理方法相同。若根据预览图像的ISO以及Ymean的取值，确定当前处于暗光光源场景，并且根据该预览图像的ISO确定当前下发曝光序列1时，该曝光序列1的图像处理方法可以如下所示。针对曝光序列1[x1 x1 x1 y1]，分别对该曝光序列1中的非常量曝光最后一帧x1进行由特征提取、图像配准、鬼影检测、时域降噪到线性亮度提升的处理，在线性亮度提升处理中，对经过时域降噪处理的各x1进行图像融合；进而，对融合处理后的结果与y1进行短帧曝光融合，再对该短帧曝光融合后的结果进行空域降噪，得到增强结果1。其他曝光序列的处理过程可以参照曝光序列1，在此不再赘述。

可能的实现方式中，在终端设备进行延时摄影视频录制的过程中，终端设备也可以继续检测当前的拍摄场景，若拍摄场景发生变化，终端设备可以基于变化后的拍摄场景对应的图像处理方法，得到图像帧序列。

S507、终端设备对该图像帧序列进行配准/平滑处理，得到目标序列。

本申请实施例中，该配准/平滑可以理解为对不同条件下获取的两帧或多帧图像进行旋转、平移或匹配等过程。

可以理解的是，由于帧间内容的变化或终端设备抖动等因素，可能存在视频播放时画面跳动的问题。因此，为了避免由于帧间位置变化引起的视频播放时候的跳变感，终端设备可以通过对经过S504(或S505或S506)的采样以及图像处理得到图像帧序列，进行配准和平滑等处理，得到目标序列，以保证在延时摄影视频播放时画面的流畅。

本申请实施例中，终端设备可以采用SURF算法或者神经网络模型等方法，对该图像帧序列进行配准/平滑处理。例如，该SURF的原理可以理解为提取各相邻帧的关键点，并对该关键点进行旋转或平移等操作，将配准帧对齐到参考帧。其中，该参考帧可以为相邻两帧中的第一帧，该配准帧可以为相邻两帧中的第二帧。

可以理解的是，由于上述配准和平滑处理会存在一定程度上的视场角(field ofvision，FOV)损失，因此终端设备可以采用广角镜头或超广角镜头，保证输入更大的FOV数据，进而使得裁剪部分区域后得到的画面的FOV数据可以接近或优于未裁剪时画面的FOV数据。其中，该FOV可以理解为镜头所覆盖的范围。

S508、终端设备对该目标序列进行视频编码。

本申请实施例中，终端设备可以将目标序列，按照Z(Z可以理解为正整数)张一组的方式进行视频编码。进而，当终端设备接收到用户触发完成延时摄影拍摄对应的操作时，终端设备可以快速完成对该目标序列进行视频编码，从而快速生成延时摄影视频。或者，当终端设备接收到用户触发完成延时摄影拍摄对应的操作时，再对该图像帧序列进行视频编码，从而生成延时摄影视频。

S509、当终端设备接收到用户停止延时摄影拍摄的操作时，终端设备可以根据视频编码后的目标序列生成延时摄影视频。

本申请实施例中，该停止延时摄影拍摄的操作可以包括下述一种或多种：触摸操作、按键操作、隔空手势操作或语音操作等。

示例性的，如图9所示，当手机接收到用户触发该停止延时摄影控件903的操作时，手机可以将视频编码后的目标序列生成延时摄影视频，并返回至延时摄影功能对应的界面(如图6、图7中的b或图8中的c所示的界面)。如图6所示的界面，该界面中的用于打开图库的控件中可以显示拍摄得到的延时摄影视频对应的缩略图。

可能的实现方式中，当终端设备接收到用户停止延时摄影拍摄的操作时，终端设备可以根据视频编码后的目标序列生成延时摄影视频，并显示该延时摄影视频对应的预览界面。示例性的，图14为本申请实施例提供的一种编辑延时摄影视频的界面示意图。在图14对应的实施例中，以终端设备为手机为例进行示例说明，该示例并不构成对本申请实施例的限定。

当手机接收到用户在如图9所示的界面中触发该停止延时摄影控件903的操作时，手机可以显示如图14中的a所示的界面，该界面可以用于对延时摄影视频进行编辑。如图14中的a所示，该界面中可以显示下述一种或多种，例如：视频的标识1401(例如视频1)、延时摄影视频1402、用于播放延时摄影视频的控件1403、用于调整该延时摄影视频的分辨率的控件1404、延时摄影视频对应的时长标识1405、用于删除该延时摄影视频的控件1406、用于还原延时摄影视频的控件1407、用于保存延时摄影视频的控件1408、该延时摄影视频的进度条1409、以及该进度条1409中的用于查看延时摄影中的每一帧图像的滑动杆1410等。

可能的实现方式中，在如图14中的a所示的界面中，当手机接收到用户触发该用于播放延时摄影视频的控件1403的操作时，手机可以播放录制得到的延时摄影视频。

可能的实现方式中，在如图14中的a所示的界面中，当手机接收到用户触发该用于调整该延时摄影视频的分辨率的控件1404的操作时，手机可以显示该延时摄影视频对应的分辨率输出选项，例如可以包括高清(720p)、以及中画质(480p)等选项。进而，用户可以根据自身需求选择合适的延时摄影视频分辨率。

可能的实现方式中，在如图14中的a所示的界面中，当手机接收到用户针对该延时摄影视频的进度条1409的滑动操作时，手机可以根据用户滑动进度条的位置节选合适的延时摄影片段。其中，在节选延时摄影片段的过程中，用户可以通过滑动杆1410查看该延时摄影视频中的各帧图像。

可能的实现方式中，在如图14中的a所示的界面中，当手机接收到用户针对该保存延时摄影视频的控件1408的操作时，手机可以将延时摄影视频保存到图库中，并显示如图14中的b所示的界面。如图14中的b所示的界面，该界面中可以用于进行下一次延时摄影拍摄，该界面中的用于打开图库的控件1411中可以显示拍摄得到的延时摄影视频对应的缩略图，该界面中显示的其他内容与如图8中的c所示的界面类似，在此不再赘述。

可能的实现方式中，该如图14中的a所示的界面中，还可以包括用于将延时摄影视频中的单帧图像保存为照片的控件(图14中的a所示的界面中未示出)。例如，用户可以通过滑动杆1410查看延时摄影视频中的图像，并触发该用于将延时摄影视频中的单帧图像保存为照片的控件，将该滑动杆1410所在位置对应的单帧图像保存为照片，并存储在图库中。

可能的实现方式中，在已经保存延时摄影视频的情况下，手机也可以通过图库应用打开延时摄影视频，进而对该延时摄影视频进行再次编辑。

可以理解的是，上述S501-S509所示的步骤中的一些步骤可以为可选的。例如，在普通场景下，终端设备可以不执行S505以及S506所示的步骤；在暗光场景下，终端设备可以不执行S504以及S506所示的步骤，在暗光光源场景下，终端设备可以不执行S504以及S505所示的步骤；或者，当延时摄影拍摄过程中，拍摄场景不停发生变化时，终端设备也可以全部执行S504-S506所示的步骤。或者，可能的实现方式中，终端设备也可以不执行S507所示的步骤，不对图像帧序列进行配准/平滑处理。

综合上述S501-S509所示的步骤，图15为本申请实施例提供的一种暗光延时摄影的效果示意图。当终端设备获取如图15中的a所示的暗光图像时，终端设备可以基于本申请实施例提供的延时摄影方法，基于该暗光图像对应的采样点处下发多帧曝光图像，并经过对该多帧曝光图像的图像处理和融合处理等，得到如图15中的b所示的图像。可见，相比于如图15中的a所示的图像，图15中的b所示的图像中，可以实现对拍摄的暗光场景下的树木进行提亮。

示例性的，图16为本申请实施例提供的另一种暗光延时摄影的效果示意图。

当终端设备获取如图16中的a所示的暗光光源图像时，终端设备可以基于本申请实施例提供的延时摄影方法，基于该暗光光源图像对应的采样点处下发多帧曝光图像，并经过对该多帧曝光图像的图像处理和融合处理等，得到如图16中的b所示的图像。可见，相比于如图16中的a所示的图像，图16中的b所示的图像中，可以实现对拍摄的暗光光源场景下的树木进行提亮，并对建筑物中的过曝区域进行压制。

基于此，在延时摄影拍摄过程中，终端设备可以针对不同场景下发相应的多张曝光图像序列，并基于对该多张曝光图像的融合得到画质较好的多帧图像，进而通过对该多帧图像的视频编码可以得到拍摄效果较好的延时摄影视频。

可以理解的是，本申请实施例所描述的界面仅作为一种示例，并不能构成对本申请实施例的限定。

基于上述实施例中所描述的内容，为了更好的理解本申请各实施例，示例性的，图17为本申请实施例提供的另一种延时摄影方法的流程示意图。

如图17所示，该延时摄影方法可以包括如下步骤：

S1701、终端设备判断预览图像的亮度是否大于第一阈值。

其中，该预览图像可以为如图6所示的预览图像602。该预览图像的亮度可以与本申请实施例中的ISO值相关。

S1702、当终端设备确定预览图像的亮度大于第一阈值时，终端设备从预览流数据中抽取第一图像帧，生成包含多个第一图像帧的延时摄影视频。

其中，终端设备可以基于固定间隔采样从该预览流数据中抽取第一图像帧。

S1703、当终端设备确定预览图像的亮度小于或等于第一阈值时，终端设备对基于拍照流数据生成的第一图像序列中的图像帧进行图像融合处理，并从图像融合处理得到的融合图像中抽取第二图像帧，生成包含多个第二图像帧的延时摄影视频。

其中，该第一图像序列可以为本申请实施例中的曝光序列，该第一图像序列中的可以包含多个图像帧。示例性的，终端设备可以基于固定间隔采样从拍照流上抽取各采样点处的第一图像序列，得到多个第一图像序列，并分别对该第一图像帧中的多个图像帧进行图像融合处理，得到多个融合图像，进而终端设备可以基于该多个融合图像生成延时摄影视频。

可选的，该延时摄影方法还包括：当终端设备确定预览图像的亮度小于或等于第一阈值时，终端设备比较预设灰度直方图与预览图像的灰度直方图之间的相似度。

其中，该预设灰度直方图可以为本申请实施例中的暗光场景下的典型灰度直方图。

可选的，S1703包括：当终端设备确定预览图像的亮度小于或等于第一阈值，且，预览图像的灰度直方图与预设灰度直方图的相似度大于第二阈值时，终端设备对基于拍照流数据生成的第一图像序列中的亮度相同的图像帧进行图像融合处理；或者，当终端设备确定预览图像的亮度小于或等于第一阈值，且，预览图像的灰度直方图与预设灰度直方图的相似度小于或等于第二阈值时，终端设备对基于拍照流数据生成的第一图像序列中的亮度不同的图像帧进行图像融合处理；其中，亮度不同的图像帧中包括至少一个第三图像帧和至少一个第四图像帧，第三图像帧的曝光时间小于第四图像帧的曝光时间。

其中，该第三图像帧可以为本申请实施例中的短帧；该第四图像帧可以为本申请实施例中的常量提亮帧；该短帧的取值可以参见S506所示的步骤中关于短帧的描述。该预览图像的亮度小于或等于第一阈值，且，预览图像的灰度直方图与预设灰度直方图的相似度大于第二阈值所在的场景可以理解为本申请实施例中的暗光场景；该预览图像的亮度小于或等于第一阈值，且，预览图像的灰度直方图与预设灰度直方图的相似度小于或等于第二阈值所在的场景可以理解为本申请实施例中的暗光光源场景。

可选的，终端设备对基于拍照流数据生成的第一图像序列中的亮度不同的图像帧进行图像融合处理，包括：S17031、终端设备对第一图像序列中的除至少一个第三图像帧外的其他图像帧，进行亮度融合处理，得到亮度融合后的图像帧。S17032、终端设备对亮度融合后的图像帧，与至少一个第三图像帧进行图像融合处理。

其中，该亮度融合处理可以参见S506所示的步骤中的线性亮度提升处理过程；该图像融合过程可以参见S506所示的步骤中的短帧曝光融合过程，在此不再赘述。

可选的，S17031包括：S170311、终端设备对第一图像序列中的除至少一个第三图像帧外的其他图像帧分别进行图像预处理，得到预处理后的第一图像序列。S170312、终端设备对预处理后的第一图像序列进行时域降噪处理，得到时域降噪后的第一图像序列。S170313、终端设备对时域降噪后的第一图像序列进行亮度融合处理，得到亮度融合后的图像帧。

其中，该图像预处理过程可以包括特征提取、图像配准以及鬼影矫正过程等；且该预处理过程、时域降噪过程、亮度融合处理过程可以参见S506所示的步骤中的描述，在此不再赘述。

可选的，S170311包括：终端设备对第一图像序列中的除至少一个第三图像帧外的其他图像帧分别进行特征提取处理，得到特征提取后的第一图像序列；终端设备对特征提取后的第一图像序列中的图像帧分别进行图像配准处理，得到配准处理后的第一图像序列；终端设备对配准处理后的第一图像序列中的图像帧分别进行鬼影矫正处理，得到预处理后的第一图像序列。

其中，该特征提取、图像配准以及鬼影矫正过程可以参见S506所示的步骤中的描述，在此不再赘述。

可选的，终端设备对基于拍照流数据生成的第一图像序列中的亮度相同的图像帧进行图像融合处理，包括：终端设备对第一图像序列中的亮度相同的图像帧进行图像预处理，得到预处理后的第一图像序列；终端设备对预处理后的第一图像序列进行时域降噪处理，得到时域降噪后的第一图像序列；终端设备对时域降噪后的第一图像序列进行亮度融合处理。

其中，该图像预处理、时域降噪、以及亮度融合处理过程可以参见S505所示的步骤中的描述，在此不再赘述。

可选的，从图像融合处理得到的融合图像中抽取第二图像帧，生成包含多个第二图像帧的延时摄影视频，包括：终端设备对图像融合处理得到的融合图像进行空域降噪处理，得到空域降噪后的融合图像；终端设备从空域降噪后的融合图像中抽取第二图像帧，生成包含多个第二图像帧的延时摄影视频。

其中，该空域降噪过程可以参见S505或S506所示的步骤中的描述，在此不再赘述。

可选的，该延时摄影方法还包括：终端设备显示第一界面；第一界面中包括用于保存延时摄影视频的控件；终端设备接收针对用于保存延时摄影视频的控件的操作；响应于用于保存延时摄影视频的控件的操作，终端设备将延时摄影视频保存至第一应用。

其中，该第一界面可以为如图14中的a所示的界面；如图14中的a所示的界面，该用于保存延时摄影视频的控件可以为该界面中的控件1408。该第一应用可以理解为图库应用。

可选的，第一界面中还包括下述一种或多种：延时摄影视频、用于播放延时摄影视频的控件、用于调整延时摄影视频的分辨率的控件、用于删除延时摄影视频的控件、用于调整延时摄影视频的时长的控件、或用于查看延时摄影中的任一图像帧的滑动杆。

其中，如图14中的a所示的界面，该延时摄影视频可以为界面中的延时摄影视频1402，该用于播放延时摄影视频的控件可以为界面中的控件1403，该用于调整延时摄影视频的分辨率的控件可以为界面中的控件1404，该用于删除延时摄影视频的控件可以为界面中的控件1406，该用于调整延时摄影视频的时长的控件可以为界面中的控件1409，该用于查看延时摄影中的任一图像帧的滑动杆可以为界面中的滑动杆1410。

上面结合图4-图17，对本申请实施例提供的方法进行了说明，下面对本申请实施例提供的执行上述方法的装置进行描述。如图18所示，图18为本申请实施例提供的一种延时摄影装置的结构示意图，该延时摄影装置可以是本申请实施例中的终端设备，也可以是终端设备内的芯片或芯片系统。

如图18所示，延时摄影装置180可以用于通信设备、电路、硬件组件或者芯片中，该延时摄影装置包括：判断单元1801、显示单元1802、以及处理单元1803等。其中，判断单元1801用于支持延时摄影方法执行的判断的步骤；显示单元1802用于支持延时摄影方法执行的显示的步骤；处理单元1803用于支持延时摄影装置执行信息处理的步骤。

处理单元1803可以和显示单元1802可以集成在一起，处理单元1803和显示单元1802可能会发生通信。

在一种可能的实现方式中，该延时摄影装置还可以包括：存储单元1805。其中，存储单元1805可以包括一个或者多个存储器，存储器可以是一个或者多个设备、电路中用于存储程序或者数据的器件。

存储单元1805可以独立存在，通过通信总线与处理单元1803相连。存储单元1805也可以和处理单元1803集成在一起。

以延时摄影装置可以是本申请实施例中的终端设备的芯片或芯片系统为例，存储单元1805可以存储终端设备的方法的计算机执行指令，以使处理单元1803执行上述实施例中终端设备的方法。存储单元1805可以是寄存器、缓存或者随机存取存储器(randomaccess memory，RAM)等，存储单元1805可以和处理单元1803集成在一起。存储单元1805可以是只读存储器(read-only memory，ROM)或者可存储静态信息和指令的其他类型的静态存储设备，存储单元1805可以与处理单元1803相独立。

在一种可能的实现方式中，延时摄影装置还可以包括：通信单元1804。其中，通信单元1804用于支持延时摄影装置与其它设备交互。示例性的，当该延时摄影装置是终端设备时，该通信单元1804可以是通信接口或接口电路。当该延时摄影装置是终端设备内的芯片或芯片系统时，该通信单元1804可以是通信接口。例如通信接口可以为输入/输出接口、管脚或电路等。

本实施例的装置对应地可用于执行上述方法实施例中执行的步骤，其实现原理和技术效果类似，此处不再赘述。

图19为本申请实施例提供的一种控制设备的硬件结构示意图，如图19所示，该控制设备包括处理器1901，通信线路1904以及至少一个通信接口(图19中示例性的以通信接口1903为例进行说明)。

处理器1901可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。

通信线路1904可包括在上述组件之间传送信息的电路。

通信接口1903，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线局域网(wireless local area networks，WLAN)等。

可能的，该控制设备还可以包括存储器1902。

存储器1902可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路1904与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器1902用于存储执行本申请方案的计算机执行指令，并由处理器1901来控制执行。处理器1901用于执行存储器1902中存储的计算机执行指令，从而实现本申请实施例所提供的方法。

可能的，本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。

在具体实现中，作为一种实施例，处理器1901可以包括一个或多个CPU，例如图19中的CPU0和CPU1。

在具体实现中，作为一种实施例，控制设备可以包括多个处理器，例如图19中的处理器1901和处理器1905。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

示例性的，图20为本申请实施例提供的一种芯片的结构示意图。芯片200包括一个或两个以上(包括两个)处理器2020和通信接口2030。

在一些实施方式中，存储器2040存储了如下的元素：可执行模块或者数据结构，或者他们的子集，或者他们的扩展集。

本申请实施例中，存储器2040可以包括只读存储器和随机存取存储器，并向处理器2020提供指令和数据。存储器2040的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，NVRAM)。

本申请实施例中，存储器2040、通信接口2030以及处理器2020通过总线系统2010耦合在一起。其中，总线系统2010除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。为了便于描述，在图20中将各种总线都标为总线系统2010。

上述本申请实施例描述的方法可以应用于处理器2020中，或者由处理器2020实现。处理器2020可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2020中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2020可以是通用处理器(例如，微处理器或常规处理器)、数字信号处理器(digitalsignal processing，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门、晶体管逻辑器件或分立硬件组件，处理器2020可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。

结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。其中，软件模块可以位于随机存储器、只读存储器、可编程只读存储器或带电可擦写可编程存储器(electricallyerasable programmable read only memory，EEPROM)等本领域成熟的存储介质中。该存储介质位于存储器2040，处理器2020读取存储器2040中的信息，结合其硬件完成上述方法的步骤。

在上述实施例中，存储器存储的供处理器执行的指令可以以计算机程序产品的形式实现。其中，计算机程序产品可以是事先写入在存储器中，也可以是以软件形式下载并安装在存储器中。

计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。例如，可用介质可以包括磁性介质(例如，软盘、硬盘或磁带)、光介质(例如，数字通用光盘(digital versatile disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。

本申请实施例还提供了一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。计算机可读介质可以包括计算机存储介质和通信介质，还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。

作为一种可能的设计，计算机可读介质可以包括紧凑型光盘只读储存器(compactdisc read-only memory，CD-ROM)、RAM、ROM、EEPROM或其它光盘存储器；计算机可读介质可以包括磁盘存储器或其它磁盘存储设备。而且，任何连接线也可以被适当地称为计算机可读介质。例如，如果使用同轴电缆，光纤电缆，双绞线，DSL或无线技术(如红外，无线电和微波)从网站，服务器或其它远程源传输软件，则同轴电缆，光纤电缆，双绞线，DSL或诸如红外，无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘(CD)，激光盘，光盘，数字通用光盘(digital versatile disc，DVD)，软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。

上述的组合也应包括在计算机可读介质的范围内。以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种延时摄影方法，其特征在于，应用于终端设备，所述方法包括：

所述终端设备判断预览图像的亮度是否大于第一阈值；

当所述终端设备确定所述预览图像的亮度大于所述第一阈值时，所述终端设备从预览流数据中抽取第一图像帧，生成包含多个所述第一图像帧的延时摄影视频；

当所述终端设备确定所述预览图像的亮度小于或等于所述第一阈值时，所述终端设备对基于拍照流数据生成的第一图像序列中的图像帧进行图像融合处理，并从图像融合处理得到的融合图像中抽取第二图像帧，生成包含多个所述第二图像帧的延时摄影视频。

2.根据权利要求1所述的方法，其特征在于，还包括：

当所述终端设备确定所述预览图像的亮度小于或等于所述第一阈值时，所述终端设备比较预设灰度直方图与所述预览图像的灰度直方图之间的相似度。

3.根据权利要求2所述的方法，其特征在于，当所述终端设备确定所述预览图像的亮度小于或等于所述第一阈值时，所述终端设备对基于拍照流数据生成的第一图像序列中的图像帧进行图像融合处理，包括：

当所述终端设备确定所述预览图像的亮度小于或等于所述第一阈值，且，所述预览图像的灰度直方图与所述预设灰度直方图的相似度大于第二阈值时，所述终端设备对基于拍照流数据生成的第一图像序列中的亮度相同的图像帧进行图像融合处理；

或者，当所述终端设备确定所述预览图像的亮度小于或等于所述第一阈值，且，所述预览图像的灰度直方图与所述预设灰度直方图的相似度小于或等于所述第二阈值时，所述终端设备对基于拍照流数据生成的第一图像序列中的亮度不同的图像帧进行图像融合处理；其中，所述亮度不同的图像帧中包括至少一个第三图像帧和至少一个第四图像帧，所述第三图像帧的曝光时间小于所述第四图像帧的曝光时间。

4.根据权利要求3所述的方法，其特征在于，所述终端设备对基于拍照流数据生成的第一图像序列中的亮度不同的图像帧进行图像融合处理，包括：

所述终端设备对所述第一图像序列中的除所述至少一个第三图像帧外的其他图像帧，进行亮度融合处理，得到亮度融合后的图像帧；

所述终端设备对所述亮度融合后的图像帧，与所述至少一个第三图像帧进行图像融合处理。

5.根据权利要求4所述的方法，其特征在于，所述终端设备对所述第一图像序列中的除所述至少一个第三图像帧外的其他图像帧，进行亮度融合处理，得到亮度融合后的图像帧，包括：

所述终端设备对所述第一图像序列中的除所述至少一个第三图像帧外的其他图像帧分别进行图像预处理，得到预处理后的第一图像序列；

所述终端设备对所述预处理后的第一图像序列进行时域降噪处理，得到时域降噪后的第一图像序列；

所述终端设备对所述时域降噪后的第一图像序列进行亮度融合处理，得到所述亮度融合后的图像帧。

6.根据权利要求5所述的方法，其特征在于，所述终端设备对所述第一图像序列中的除所述至少一个第三图像帧外的其他图像帧分别进行图像预处理，得到预处理后的第一图像序列，包括：

所述终端设备对所述第一图像序列中的除所述至少一个第三图像帧外的其他图像帧分别进行特征提取处理，得到特征提取后的第一图像序列；

所述终端设备对所述特征提取后的第一图像序列中的图像帧分别进行图像配准处理，得到配准处理后的第一图像序列；

所述终端设备对所述配准处理后的第一图像序列中的图像帧分别进行鬼影矫正处理，得到所述预处理后的第一图像序列。

7.根据权利要求3所述的方法，其特征在于，所述终端设备对基于拍照流数据生成的第一图像序列中的亮度相同的图像帧进行图像融合处理，包括：

所述终端设备对所述第一图像序列中的亮度相同的图像帧进行图像预处理，得到预处理后的第一图像序列；

所述终端设备对所述预处理后的第一图像序列进行时域降噪处理，得到时域降噪后的第一图像序列；

所述终端设备对所述时域降噪后的第一图像序列进行亮度融合处理。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述从图像融合处理得到的融合图像中抽取第二图像帧，生成包含多个所述第二图像帧的延时摄影视频，包括：

所述终端设备对所述图像融合处理得到的融合图像进行空域降噪处理，得到空域降噪后的融合图像；

所述终端设备从所述空域降噪后的融合图像中抽取第二图像帧，生成包含多个所述第二图像帧的延时摄影视频。

9.根据权利要求1所述的方法，其特征在于，还包括：

所述终端设备显示第一界面；所述第一界面中包括用于保存所述延时摄影视频的控件；

所述终端设备接收针对所述用于保存所述延时摄影视频的控件的操作；

响应于所述用于保存所述延时摄影视频的控件的操作，所述终端设备将所述延时摄影视频保存至第一应用。

10.根据权利要求9所述的方法，其特征在于，所述第一界面中还包括下述一种或多种：所述延时摄影视频、用于播放所述延时摄影视频的控件、用于调整所述延时摄影视频的分辨率的控件、用于删除所述延时摄影视频的控件、用于调整所述延时摄影视频的时长的控件、或用于查看所述延时摄影中的任一图像帧的滑动杆。

11.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使得所述电子设备执行如权利要求1至10任一项所述的方法。

12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得计算机执行如权利要求1至10任一项所述的方法。

13.一种计算机程序产品，其特征在于，包括计算机程序，当所述计算机程序被运行时，使得计算机执行如权利要求1至10任一项所述的方法。

Images