CN115499579B - 基于零秒延迟zsl的处理方法和装置 - Google Patents

Abstract

本申请实施例提供一种基于零秒延迟ZSL的处理方法和装置，方法包括：终端设备显示目标界面；终端设备接收针对目标控件的操作；响应于操作，终端设备生成第一指令；终端设备基于第一指令从ZSL队列中获取M个第一图像帧；M个第一图像帧为接收到操作之前ZSL队列中缓存的图像帧，M小于或等于ZSL队列的长度；终端设备利用摄像头获取N‑M个第二图像帧；终端设备对M个第一图像帧以及N‑M个第二图像帧进行图像融合处理，得到拍照结果。这样，可以减少利用摄像头直接获取N个图像帧时产生的延迟，进而提高用户使用拍照功能的使用体验。

Description

基于零秒延迟ZSL的处理方法和装置

技术领域

本申请涉及终端技术领域，尤其涉及一种基于零秒延迟ZSL的处理方法和装置。

背景技术

随着互联网的普及和发展，人们对于终端设备的功能需求也越发多样化。例如，为了满足用户对于拍照功能的使用需求，较多终端设备可以支持零秒延迟(zero shutterlag，ZSL)方法。

通常情况下，在基于ZSL的拍照流程中，当终端设备接收到拍照请求时，终端设备可以利用摄像头获取该拍照请求中所需的N个图像帧，进而通过对该N个图像帧的处理得到拍照结果。

然而，上述基于ZSL的处理方法存在一定的延迟，进而影响用户使用拍照功能的使用体验。

发明内容

本申请实施例提供一种基于零秒延迟ZSL的处理方法和装置，当终端设备需要获取N个图像帧时，终端设备可以从ZSL中获取拍照请求前缓存的M个图像，并利用摄像头获取N-M个图像帧，减少利用摄像头获取N个图像帧时产生的延迟，进而提高用户使用拍照功能的使用体验。

第一方面，本申请实施例提供一种基于零秒延迟ZSL的处理方法，方法包括：终端设备显示目标界面；目标界面中包括用于拍照的目标控件；终端设备接收针对目标控件的操作；响应于操作，终端设备生成第一指令；第一指令用于获取N个图像帧；终端设备基于第一指令从ZSL队列中获取M个第一图像帧；M个第一图像帧为接收到操作之前ZSL队列中缓存的图像帧，M小于或等于ZSL队列的长度；终端设备利用摄像头获取N-M个第二图像帧；终端设备对M个第一图像帧以及N-M个第二图像帧进行图像融合处理，得到拍照结果。这样，可以减少利用摄像头直接获取N个图像帧时产生的延迟，进而提高用户使用拍照功能的使用体验。

在一种可能的实现方式中，终端设备中包括：超级图像引擎SIT，SIT中包括ZSL队列、数据缓存模块以及拍照流管理模块，终端设备基于第一指令从ZSL队列中获取M个第一图像帧，包括：ZSL队列基于第一指令向数据缓存模块发送第二指令；数据缓存模块基于第二指令从拍照流管理模块中获取M个第一图像帧。这样，终端设备将ZSL队列、数据缓存模块以及拍照流管理模块集成在SIT内部的方式，使得图像帧获取的步骤可以脱离平台的依赖，提高框架的灵活性。并且，相比于将数据缓存模块设置在芯片平台中，将数据缓存模块设置在SIT内部可以避免数据从芯片平台向SIT中拷贝的过程，进而节省拍照过程中的内存占用。

在一种可能的实现方式中，终端设备接收针对目标控件的操作之前，方法还包括：终端设备获取拍照流数据，并将拍照流数据存储在拍照流管理模块中；拍照流数据中包括M个第一图像帧。这样，终端设备中的摄像头可以实时获取图像帧，并将该实时获取的图像帧存储在拍照流管理模块中，便于终端设备后续使用。

在一种可能的实现方式中，在N个图像帧中包括至少一个目标图像帧时，摄像头获取的N-M个第二图像帧中包括至少一个目标图像帧；其中，至少一个目标图像帧包括：至少一个短帧和/或至少一个长帧。这样，在N个图像帧中包括至少一个目标图像帧时，终端设备可以利用摄像头获取该至少一个目标图像帧，进而保障拍摄效果。

在一种可能的实现方式中，终端设备中还包括：硬件抽象层HAL，方法还包括：SIT向HAL发送第三指令；终端设备利用摄像头获取N-M个第二图像帧，包括：HAL基于第三指令从摄像头中获取N-M个第二图像帧。这样，终端设备可以从摄像头中获取部分第二图像帧，减少从摄像头中获取N个图像帧产生的时延，进而提高用户使用拍照功能的使用体验。

在一种可能的实现方式中，SIT中还包括：选帧模块以及第一图像处理模块，方法还包括：在选帧模块获取到M个第一图像帧以及N-M个第二图像帧时，选帧模块将M个第一图像帧以及N-M个第二图像帧发送至第一图像处理模块；终端设备对M个第一图像帧以及N-M个第二图像帧进行图像融合处理，得到拍照结果，包括：第一图像处理模块对M个第一图像帧以及N-M个第二图像帧进行图像融合处理，得到拍照结果。这样，选帧模块可以在获取到所需的M个第一图像帧以及N-M个第二图像帧时，指示第一图像处理模块进行后续图像融合处理，保证图像融合处理的准确性。

在一种可能的实现方式中，SIT中还包括：第二图像处理模块，选帧模块将M个第一图像帧以及N-M个第二图像帧发送至第一图像处理模块，包括：选帧模块将M个第一图像帧以及N-M个第二图像帧发送至第二图像处理模块；第二图像处理模块对M个第一图像帧以及N-M个第二图像帧进行图像处理，得到图像处理后的N个图像帧；第二图像处理模块将图像处理后的N个图像帧发送至第一图像处理模块。这样，终端设备可以保障经过图像处理后得到的图像帧，在图像融合处理后可以获得较好的图像质量。

在一种可能的实现方式中，第二图像处理模块还用于将原生RAW格式的图像帧处理为亮度和色度YUV格式的图像帧，或者还用于将RAW格式的图像帧处理为联合图像专家小组JPEG格式的图像帧。这样，终端设备可以将芯片平台中的图像处理功能延伸到SIT中，使得SIT可以在内部实现图像数据的离线处理，提高数据调用灵活性和图像处理性能。

第二方面，本申请实施例提供一种基于零秒延迟ZSL的处理装置，显示单元，用于显示目标界面；目标界面中包括用于拍照的目标控件；处理单元，用于接收针对目标控件的操作；响应于操作，处理单元，还用于生成第一指令；第一指令用于获取N个图像帧；处理单元，还用于基于第一指令从ZSL队列中获取M个第一图像帧；M个第一图像帧为接收到操作之前ZSL队列中缓存的图像帧，M小于或等于ZSL队列的长度；处理单元，还用于利用摄像头获取N-M个第二图像帧；处理单元，还用于对M个第一图像帧以及N-M个第二图像帧进行图像融合处理，得到拍照结果。

在一种可能的实现方式中，终端设备中包括：超级图像引擎SIT，SIT中包括ZSL队列、数据缓存模块以及拍照流管理模块，处理单元，还用于基于第一指令向数据缓存模块发送第二指令；处理单元，还用于基于第二指令从拍照流管理模块中获取M个第一图像帧。

在一种可能的实现方式中，处理单元，还用于获取拍照流数据，并将拍照流数据存储在拍照流管理模块中；拍照流数据中包括M个第一图像帧。

在一种可能的实现方式中，在N个图像帧中包括至少一个目标图像帧时，摄像头获取的N-M个第二图像帧中包括至少一个目标图像帧；其中，至少一个目标图像帧包括：至少一个短帧和/或至少一个长帧。

在一种可能的实现方式中，终端设备中还包括：硬件抽象层HAL，处理单元，还用于向HAL发送第三指令；处理单元，还用于基于第三指令从摄像头中获取N-M个第二图像帧。

在一种可能的实现方式中，SIT中还包括：选帧模块以及第一图像处理模块，在选帧模块获取到M个第一图像帧以及N-M个第二图像帧时，处理单元，还用于将M个第一图像帧以及N-M个第二图像帧发送至第一图像处理模块；处理单元，还用于对M个第一图像帧以及N-M个第二图像帧进行图像融合处理，得到拍照结果。

在一种可能的实现方式中，SIT中还包括：第二图像处理模块，处理单元，还用于将M个第一图像帧以及N-M个第二图像帧发送至第二图像处理模块；处理单元，还用于对M个第一图像帧以及N-M个第二图像帧进行图像处理，得到图像处理后的N个图像帧；处理单元，还用于将图像处理后的N个图像帧发送至第一图像处理模块。

在一种可能的实现方式中，第二图像处理模块还用于将原生RAW格式的图像帧处理为亮度和色度YUV格式的图像帧，或者还用于将RAW格式的图像帧处理为联合图像专家小组JPEG格式的图像帧。

第三方面，本申请实施例提供一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时，使得终端设备执行如第一方面或第一方面的任一种实现方式中描述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时，使得计算机执行如第一方面或第一方面的任一种实现方式中描述的方法。

第五方面，一种计算机程序产品，包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面或第一方面的任一种实现方式中描述的方法。

应当理解的是，本申请的第二方面至第五方面与本申请的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

附图说明

图1为一种基于ZSL的处理方法的框架示意图；

图2为本申请实施例提供的一种终端设备的硬件结构示意图；

图3为本申请实施例提供的一种终端设备的软件结构示意图；

图4为本申请实施例提供的一种基于ZSL的处理方法的流程示意图；

图5为本申请实施例提供的一种拍摄照片的界面示意图；

图6为本申请实施例提供的一种基于ZSL的处理装置的结构示意图；

图7为本申请实施例提供的另一种终端设备的硬件结构示意图。

具体实施方式

为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一值和第二值仅仅是为了区分不同的值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，或a、b和c，其中a，b，c可以是单个，也可以是多个。

示例性的，图1为基于ZSL的处理方法的框架示意图。可以理解的是，图1所示的架构示意图可以为终端设备的软件架构中的一部分。

如图1所示，该框架示意图中可以包括：超级图像引擎(super image turbo，SIT)以及硬件抽象层(hardware abstraction layer，HAL)。其中，该硬件抽象层也可以称为芯片平台，各芯片厂商提供的芯片平台可以不同，该芯片平台中可以包括：ZSL队列、选帧模块以及数据缓存模块(或也可以称为buffer模块)。

在基于ZSL的拍照流程中，当终端设备中的相机应用接收到拍照请求时，相机应用可以将拍照请求发送到SIT；进一步的，SIT可以将该拍照请求继续发送至芯片平台；适应的，当该拍照请求中指示终端设备需要获取N个图像帧时，芯片平台则可以利用摄像头获取N个图像帧。

可能的实现方式中，在芯片平台获取到N个图像帧时，可以将该N个图像帧存储在数据缓存模块中；当SIT需要获取该N个图像帧时，可以从数据缓存模块中拷贝该N个图像帧。

然而，芯片平台利用摄像头获取N个图像帧时将会产生一定的时延，进而影响用户使用拍摄功能的使用体验。并且，SIT从数据缓存模块拷贝N个图像帧的过程也加重了内存的负担。

有鉴于此，本申请实施例提供一种基于零秒延迟ZSL的处理方法，方法包括：终端设备显示目标界面；目标界面中包括用于拍照的目标控件；终端设备接收针对目标控件的操作；响应于操作，终端设备生成第一指令；第一指令用于获取N个图像帧；终端设备基于第一指令从ZSL队列中获取M个第一图像帧；M小于或等于ZSL队列的长度；M个第一图像帧为接收到操作之前ZSL队列中缓存的图像帧；终端设备利用摄像头获取N-M个第二图像帧；这样，可以减少直接从摄像头中获取N个图像帧时产生的时延。进一步的，终端设备对M个第一图像帧以及N-M个第二图像帧进行图像融合处理，得到拍照结果，进而提高用户使用拍照功能的使用体验。

可以理解的是，上述终端设备也可以称为终端，(terminal)、用户设备(userequipment，UE)、移动台(mobile station，MS)、移动终端(mobile terminal，MT)等。终端设备可以为：手机(mobile phone)、智能电视、穿戴式设备、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。本申请的实施例对终端设备所采用的具体技术和具体设备形态不做限定。

因此，为了能够更好地理解本申请实施例，下面对本申请实施例的终端设备的结构进行介绍。示例性的，图2为本申请实施例提供的一种终端设备的结构示意图。

终端设备可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，指示器192，摄像头193，以及显示屏194等。

可以理解的是，本申请实施例示意的结构并不构成对终端设备的具体限定。在本申请另一些实施例中，终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中还可以设置存储器，用于存储指令和数据。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为终端设备充电，也可以用于终端设备与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他终端设备，例如AR设备等。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块141用于连接充电管理模块140与处理器110。

终端设备的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。终端设备中的天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。

移动通信模块150可以提供应用在终端设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。

无线通信模块160可以提供应用在终端设备上的包括无线局域网(wirelesslocalarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)等无线通信的解决方案。

终端设备通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。在一些实施例中，终端设备可以包括1个或N个显示屏194，N为大于1的正整数。

终端设备可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

摄像头193用于捕获静态图像或视频。在一些实施例中，终端设备可以包括1个或N个摄像头193，N为大于1的正整数。本申请实施例中，摄像头193可以基于芯片平台发送的指令采集N个图像帧。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。

终端设备可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。终端设备可以通过扬声器170A收听音乐，或收听免提通话。受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当终端设备接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。耳机接口170D用于连接有线耳机。

麦克风(microphone，MIC)170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。本申请实施例中，终端设备可以基于麦克风170C接收声音信号，并将声音信号转换为可以进行后续处理的电信号，该终端设备可以拥有至少两个麦克风170C。

本申请实施例中，麦克风170C可以获取以终端设备为中心的360°范围内的音频信号。

传感器模块180可以包括下述一种或多种传感器，例如：压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，或骨传导传感器等(图2中未示出)。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备可以接收按键输入，产生与终端设备的用户设置以及功能控制有关的键信号输入。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

终端设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构等，在此不再赘述。

示例性的，图3为本申请实施例提供的一种终端设备的软件结构示意图。

如图3所示，分层架构可以将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将安卓(android)软件架构分为多层，从上至下分别为应用程序(application，APP)层，SIT、HAL等。

可能的实现方式中，该安卓软件架构中还可以包括：应用程序框架(framework)层，系统库，以及内核(kernal)层等(图3中未示出)。

如图3所示，应用程序层中可以包括：相机应用、以及相册应用等应用程序，本申请实施例中对应用程序层中包括的其他应用不做具体限定。

SIT中可以包括：ZSL队列、选帧模块、图像处理模块以及适配模块。该适配模块中可以包括：适配SIT模块、以及数据缓存模块。其中，该适配SIT中可以包括：拍照流管理模块，该数据缓存模块中可以包括：空闲态数据缓存队列、以及忙碌态数据缓存队列。

具体的，ZSL队列可以用于缓存多个图像帧。例如，当ZSL队列的长度为M时，则该ZSL队列可以最多缓存M个图像帧。

选帧模块可以用于集成不同拍摄场景中所需的选帧算法。例如，该选帧算法可以用于对多个图像帧进行筛选以获取质量较高的图像帧、以及用于选取多个图像帧中的长帧或者短帧等。

拍照流管理模块用于缓存多个拍照流数据，该拍照流数据可以为基于摄像头实时获取到的。

空闲态数据缓存队列以及忙碌态数据缓存队列均可以为终端设备预先设置的队列。其中，忙碌态数据缓存队列用于缓存终端设备当前需要使用的数据；空闲态数据缓存队列可以用于缓存由忙碌态数据缓存队列释放的数据。

图像处理模块可以为用于对图像帧进行各种处理的模块的总称。例如，该图像处理模块中可以包括：第一图像处理模块以及至少一个第二图像处理模块。

其中，该至少一个第二图像处理模块用于对SIT获取到的多个图像帧中的各图像帧进行至少一次图像处理。例如该第二图像处理模块中可以包括下述至少一种，例如：用于对图像亮度进行调整的第二图像处理模块、用于对图像曝光进行调整的第二图像处理模块、以及用于对图像的颜色进行调整的第二图像处理模块等，本申请实施例中对此不做限定。

第一图像处理模块用于对多个图像帧进行图像融合处理。例如，第一图像处理模块可以用于对经过第二图像处理的图像帧进行图像融合处理，得到拍照结果。

可以理解的是，该SIT可以实现对于各类型芯片平台的适配。可能的实现方式中，该SIT中也可以包括其他模块，本申请实施例中对此不做限定。

HAL也可以称为芯片平台。例如，该芯片平台可以基于从SIT接收到的指令，向摄像头发送指示信息，以指示摄像头获取图像帧。

可能的实现方式中，该芯片平台中也可以包括芯片平台自带的ZSL队列、选帧模块、以及数据缓存模块等，但本申请实施例中可以不采用该芯片平台中的上述ZSL队列、选帧模块、以及数据缓存模块等模块。

可以理解的是，该终端设备的软件结构中也可以包括其他层以及其他模块，本申请实施例中对此不做限定。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现，也可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

示例性的，图4为本申请实施例提供的一种基于ZSL的处理方法的流程示意图。如图4所示，该基于ZSL的处理方法可以包括如下步骤：

S401、终端设备显示目标界面。

本申请实施例中，该目标界面可以为用于拍摄照片的界面，目标界面中包括用于拍照的目标控件。

示例性的，图5为本申请实施例提供的一种拍摄照片的界面示意图。在图5对应的实施例中，以终端设备为手机为例进行示例说明，该示例并不构成对本申请实施例的限定。

当终端设备接收到用户打开相机应用的操作时，终端设备可以显示如图5所示的界面，如图5所示，该界面可以为目标界面，该界面中可以包括下述一种或多种，例如：拍照控件501、预览图像、用于开启人工智能(artificial intelligence，AI)摄影功能的控件、用于开启或关闭闪光灯控件、用于对相机应用进行设置的设置控件，用于调整拍摄倍数的控件、用于翻转摄像头的控件、以及用于打开相册的控件等。

该图5所示的界面中还可以包括相机应用的一级菜单中的多个功能控件，例如：用于开启夜景模式的控件、用于开启人像模式的控件、用于开启拍照模式的控件、用于开启录像模式的控件、以及用于开启电影模式的控件等。其中，该用于打开相册的控件可用于开启相册应用。

可以理解的是，本申请实施例中描述的基于ZSL的处理方法也可以应用于除拍照模式以外的其他模式，如夜景模式、人像模式、电影模式等，本申请实施例中对此不作限坚定。

可以理解的是，该相机应用可以为终端设备的系统可以支持的应用或也可以为第三方供应商提供的应用，本申请实施例中对此不做限定。

S402、终端设备接收针对目标控件的操作。

本申请实施例中，该目标控件可以为图5中的拍照控件501。

示例性的，如图5所示，终端设备接收到用户针对拍照控件501的触发操作。其中，该触发操作可以为：点击操作、长按操作、滑动操作、拖拽操作或者语音操作等，本申请实施例中对此不做限定。

S403、响应于操作，终端设备生成第一指令。

本申请实施例中，该第一指令用于获取N个图像帧。

示例性的，响应于用户针对图5所示的界面中针对拍照控件501的触发操作，终端设备生成第一指令。

S404、终端设备基于第一指令从ZSL队列中获取M个第一图像帧。

本申请实施例中，M小于或等于ZSL队列的长度；N大于或等于M，M个第一图像帧为接收到操作之前ZSL队列中缓存的图像帧。

可以理解的是，ZSL队列中可以缓存接收到操作之前终端设备获取的M个第一图像帧。例如，当摄像头每秒获取一次图像帧，终端设备在8点时接收到操作，且M为4时，则该ZSL队列中缓存的4个第一图像帧可以为：终端设备在7点59分56秒获取的第一图像帧、终端设备在7点59分57秒获取的第一图像帧、终端设备在7点59分58秒获取的第一图像帧、以及终端设备在7点59分59秒获取的第一图像帧。

示例性的，终端设备可以从ZSL队列中获取全部缓存的第一图像帧，例如终端设备获取与ZSL队列的长度相同的M个第一图像帧；或者，终端设备也可以从ZSL队列中获取部分缓存的第一图像帧，例如终端设备获取小于ZSL队列的长度的第一图像帧，如M-1个第一图像帧、或者M-2个第一图像帧等，本申请实施例中对此不做限定。

可以理解的是，通常情况下摄像头采集图像的帧率可以为30fps，或理解为摄像头可以在每秒钟采集30个图像帧，因此即使拍照结果是利用操作前缓存的图像帧以及操作后获取的图像帧的图像融合处理得到的，也不会对拍照结果的图像质量以及图像的准确率等产生影响。

可以理解的是，为保证算法的稳定性，ZSL队列的长度可以大于或等于3，使得ZSL队列可以缓存至少3个图像帧。

S405、终端设备利用摄像头获取N-M个第二图像帧。

本申请实施例中，该N-M个第二图像帧可以为终端设备接收到操作之后利用摄像头获取的图像帧。

示例性的，当摄像头每秒获取一次图像帧，终端设备在8点时接收到操作，N为7，且M为4时，则终端设备获取的3个第二图像帧可以为：终端设备在8点0分1秒获取的第二图像帧、终端设备在8点0分2秒获取的第二图像帧、以及终端设备在8点0分3秒获取的第二图像帧。

S406、终端设备对M个第一图像帧以及N-M个第二图像帧进行图像融合处理，得到拍照结果。

示例性的，终端设备可以基于亮度梯度方法、双边滤波方法、或拉普拉斯金字塔等算法进行图像融合处理，或者，终端设备也可以基于训练好的神经网络模型实现图像融合处理，本申请实施例中对此不做限定。

基于此，终端设备在接收到获取N个图像帧的请求时，可以从ZSL队列中获取M个图像帧、并利用摄像头获取N-M个图像帧，减少从摄像头中直接获取N个图像帧产生的时延，进而提高用户使用拍照功能的使用体验。

在图4对应的实施例的基础上，可能的实现方式中，终端设备中包括：SIT，SIT中包括ZSL队列、数据缓存模块、以及拍照流管理模块，S404包括：ZSL队列基于第一指令向数据缓存模块发送第二指令；数据缓存模块基于第二指令从拍照流管理模块中获取M个第一图像帧。

本申请实施例中，该第二指令用于获取M个第一图像帧。

示例性的，如图3所示，ZSL队列可以向数据缓存模块发送第二指令，数据缓存模块向拍照流管理模块发送第二指令；适应的，拍照流管理模块可以基于第二指令获取M个第一图像帧，并将M个第一图像帧发送至数据缓存模块；进一步的，数据缓存模块将该M个第一图像帧发送至ZSL队列中。

可能的实现方式中，由于SIT中可以包括多个图像处理模块，因此该M个第一图像帧也可以在进入SIT时经过至少一个图像处理模块的处理，进而转发到ZSL队列，本申请实施例中对该图像处理模块不做限定。

可以理解的是，ZSL队列、数据缓存模块以及拍照流管理模块的作用可以参见图3对应的实施例中的描述，在此不再赘述。

基于此，终端设备将ZSL队列、数据缓存模块以及拍照流管理模块集成在SIT内部的方式，使得图像帧获取的步骤可以脱离平台的依赖，提高框架的灵活性。并且，相比于将数据缓存模块设置在芯片平台中，将数据缓存模块设置在SIT内部可以避免数据从芯片平台向SIT中拷贝的过程，进而节省拍照过程中的内存占用。

在图4对应的实施例的基础上，可能的实现方式中，在S402之前，方法还包括：终端设备获取拍照流数据，并将拍照流数据存储在拍照流管理模块中；拍照流数据中包括M个第一图像帧。

通常情况下，该拍照流数据均可以为常量帧。

示例性的，终端设备中的摄像头可以实时获取图像帧，并将该实时获取的图像帧存储在拍照流管理模块中，便于终端设备后续使用。

这样，终端设备则可以将已经存储的M个第一图像帧作为拍照结果生成时所需的部分图像帧，减少从摄像头中获取N个图像帧产生的时延，进而提高用户使用拍照功能的使用体验。

在图4对应的实施例的基础上，可能的实现方式中，在N个图像帧中包括至少一个目标图像帧时，摄像头获取的N-M个第二图像帧中包括至少一个目标图像帧。

本申请实施例中，至少一个目标图像帧包括：至少一个短帧和/或至少一个长帧。

可以理解的是，由于通常情况下终端设备缓存的拍照流数据均为常量帧，因此当终端设备需要获取至少一个目标图像帧时，则可以向摄像头发起指示，指示摄像头调整参数并采集该目标图像帧。

基于此，在N个图像帧中包括至少一个目标图像帧时，终端设备可以利用摄像头获取该至少一个目标图像帧，进而保障拍摄效果。

在图4对应的实施例的基础上，可能的实现方式中，终端设备中还包括：HAL，方法还包括：SIT向HAL发送第三指令；终端设备利用摄像头获取N-M个第二图像帧，包括：HAL基于第三指令从摄像头中获取N-M个第二图像帧。

本申请实施例中，该第三指令用于指示利用摄像头获取N-M个第二图像帧；该N-M个第二图像中可以包括：常量帧、短帧和/或长帧。

示例性的，如图3所示，SIT可以向HAL发送第三指令，HAL将该第三指令继续发送至摄像头；适应的，在摄像头采集到N-M个第二图像帧时，可以将该N-M个第二图像帧发送至HAL，进而HAL将该N-M个第二图像帧继续发送至SIT中。

可能的实现方式中，由于SIT中可以包括多个图像处理模块，因此该N-M个第二图像帧也可以在进入SIT时经过至少一个图像处理模块的处理，进而转发到ZSL队列，并由ZSL队列继续发送到选帧模块中，本申请实施例中对该图像处理模块不做限定。

基于此，终端设备可以从摄像头中获取部分第二图像帧，减少从摄像头中获取N个图像帧产生的时延，进而提高用户使用拍照功能的使用体验。

在图4对应的实施例的基础上，可能的实现方式中，SIT中还包括：选帧模块以及第一图像处理模块，方法还包括：在选帧模块获取到M个第一图像帧以及N-M个第二图像帧时，选帧模块将M个第一图像帧以及N-M个第二图像帧发送至第一图像处理模块；终端设备对M个第一图像帧以及N-M个第二图像帧进行图像融合处理，得到拍照结果，包括：第一图像处理模块对M个第一图像帧以及N-M个第二图像帧进行图像融合处理，得到拍照结果。

本申请实施例中，该选帧模块以及第一图像处理模块的作用可以参见图3对应的实施例中的描述，图像融合处理的方法可以参见图4对应的实施例中的描述，在此不再赘述。

基于此，选帧模块可以在获取到所需的M个第一图像帧以及N-M个第二图像帧时，指示第一图像处理模块进行后续图像融合处理，保证图像融合处理的准确性。

在图4对应的实施例的基础上，可能的实现方式中，选帧模块将M个第一图像帧以及N-M个第二图像帧发送至第一图像处理模块，包括：选帧模块将M个第一图像帧以及N-M个第二图像帧发送至第二图像处理模块；第二图像处理模块对M个第一图像帧以及N-M个第二图像帧进行图像处理，得到图像处理后的N个图像帧；第二图像处理模块将图像处理后的N个图像帧发送至第一图像处理模块。

本申请实施例中，第二图像处理模块的作用可以参见图3对应的实施例，在此不再赘述。

可以理解的是，第二图像处理模块的个数可以为多个，多个第二图像处理模块可以实现多种图像处理方法，以保障经过多次图像处理后得到的图像帧，在图像融合处理后可以获得较好的图像质量。

在图4对应的实施例的基础上，可能的实现方式中，第二图像处理模块还用于将原生(或称为RAW)格式的图像帧处理为亮度和色度(或简称为YUV)格式的图像帧，或者还用于将RAW格式的图像帧处理为联合图像专家小组(joint photographic experts group，JPEG)格式的图像帧。

基于此，终端设备可以将芯片平台中的图像处理功能延伸到SIT中，使得SIT可以在内部实现图像数据的离线处理，提高数据调用灵活性和图像处理性能。

可以理解的是，本申请实施例提供的界面仅作为一种示例，并不能够构成对本申请实施例的限定。

上面结合图4-图5，对本申请实施例提供的方法进行了说明，下面对本申请实施例提供的执行上述方法的装置进行描述。如图6所示，图6为本申请实施例提供的一种基于ZSL的处理装置的结构示意图，该基于ZSL的处理装置可以是本申请实施例中的终端设备，也可以是终端设备内的芯片或芯片系统。

如图6所示，基于ZSL的处理装置600可以用于通信设备、电路、硬件组件或者芯片中，该基于ZSL的处理装置包括：显示单元601、以及处理单元602。其中，显示单元601用于支持基于ZSL的处理装置600执行的显示的步骤；处理单元602用于支持基于ZSL的处理装置600执行信息处理的步骤。

具体的，本申请实施例提供一种基于ZSL的处理装置600，显示单元601，用于显示目标界面；目标界面中包括用于拍照的目标控件；处理单元602，用于接收针对目标控件的操作；响应于操作，处理单元602，还用于生成第一指令；第一指令用于获取N个图像帧；处理单元602，还用于基于第一指令从ZSL队列中获取M个第一图像帧；M个第一图像帧为接收到操作之前ZSL队列中缓存的图像帧，M小于或等于ZSL队列的长度；处理单元602，还用于利用摄像头获取N-M个第二图像帧；处理单元602，还用于对M个第一图像帧以及N-M个第二图像帧进行图像融合处理，得到拍照结果。

可能的实现方式中，该基于ZSL的处理装置600中也可以包括通信单元603。具体的，通信单元用于支持基于ZSL的处理装置600执行数据的发送以及数据的接收的步骤。其中，该通信单元603可以是输入或者输出接口、管脚或者电路等。

可能的实施例中，基于ZSL的处理装置还可以包括：存储单元604。处理单元602、存储单元604通过线路相连。存储单元604可以包括一个或者多个存储器，存储器可以是一个或者多个设备、电路中用于存储程序或者数据的器件。存储单元604可以独立存在，通过通信线路与基于ZSL的处理装置具有的处理单元602相连。存储单元604也可以和处理单元602集成在一起。

存储单元604可以存储终端设备中的方法的计算机执行指令，以使处理单元602执行上述实施例中的方法。存储单元604可以是寄存器、缓存或者RAM等，存储单元604可以和处理单元602集成在一起。存储单元604可以是只读存储器(read-only memory，ROM)或者可存储静态信息和指令的其他类型的静态存储设备，存储单元604可以与处理单元602相独立。

图7为本申请实施例提供的另一种终端设备的硬件结构示意图，如图7所示，该终端设备包括处理器701，通信线路704以及至少一个通信接口(图7中示例性的以通信接口703为例进行说明)。

处理器701可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。

通信线路704可包括在上述组件之间传送信息的电路。

通信接口703，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线局域网(wireless local area networks，WLAN)等。

可能的，该终端设备还可以包括存储器702。

存储器702可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路704与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器702用于存储执行本申请方案的计算机执行指令，并由处理器701来控制执行。处理器701用于执行存储器702中存储的计算机执行指令，从而实现本申请实施例所提供的方法。

可能的，本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。

在具体实现中，作为一种实施例，处理器701可以包括一个或多个CPU，例如图7中的CPU0和CPU1。

在具体实现中，作为一种实施例，终端设备可以包括多个处理器，例如图7中的处理器701和处理器705。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。例如，可用介质可以包括磁性介质(例如，软盘、硬盘或磁带)、光介质(例如，数字通用光盘(digital versatiledisc，DVD))、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。

本申请实施例还提供了一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。计算机可读介质可以包括计算机存储介质和通信介质，还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。

作为一种可能的设计，计算机可读介质可以包括紧凑型光盘只读储存器(compactdisc read-only memory，CD-ROM)、RAM、ROM、EEPROM或其它光盘存储器；计算机可读介质可以包括磁盘存储器或其它磁盘存储设备。而且，任何连接线也可以被适当地称为计算机可读介质。例如，如果使用同轴电缆，光纤电缆，双绞线，DSL或无线技术(如红外，无线电和微波)从网站，服务器或其它远程源传输软件，则同轴电缆，光纤电缆，双绞线，DSL或诸如红外，无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘(CD)，激光盘，光盘，数字通用光盘(digital versatiledisc，DVD)，软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。

上述的组合也应包括在计算机可读介质的范围内。以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于零秒延迟ZSL的处理方法，其特征在于，所述方法包括：

终端设备显示目标界面；所述目标界面中包括用于拍照的目标控件；

所述终端设备接收针对所述目标控件的操作；

响应于所述操作，所述终端设备生成第一指令；所述第一指令用于指示获取包括至少一个目标图像帧的N个图像帧；所述至少一个目标图像帧包括：至少一个短帧和/或至少一个长帧；

所述终端设备基于所述第一指令从ZSL队列中获取M个第一图像帧；所述M个第一图像帧为接收到所述操作之前所述ZSL队列中缓存的图像帧，所述M小于或等于所述ZSL队列的长度；N大于或等于M，N为大于1的正整数，M为正整数；

所述终端设备利用摄像头获取N-M个第二图像帧；所述摄像头获取的所述N-M个第二图像帧中包括至少一个目标图像帧；

所述终端设备对所述M个第一图像帧以及所述N-M个第二图像帧进行图像融合处理，得到拍照结果；

所述终端设备中包括：超级图像引擎SIT，所述SIT中包括所述ZSL队列、数据缓存模块以及拍照流管理模块，所述终端设备基于所述第一指令从所述ZSL队列中获取M个第一图像帧，包括：

所述ZSL队列基于所述第一指令向所述数据缓存模块发送第二指令；

所述数据缓存模块基于所述第二指令从所述拍照流管理模块中获取所述M个第一图像帧。

2.根据权利要求1所述的方法，其特征在于，所述终端设备接收针对所述目标控件的操作之前，所述方法还包括：

所述终端设备获取拍照流数据，并将所述拍照流数据存储在所述拍照流管理模块中；所述拍照流数据中包括所述M个第一图像帧。

3.根据权利要求1所述的方法，其特征在于，所述终端设备中还包括：硬件抽象层HAL，所述方法还包括：

所述SIT向所述HAL发送第三指令；

所述终端设备利用摄像头获取N-M个第二图像帧，包括：所述HAL基于所述第三指令从所述摄像头中获取所述N-M个第二图像帧。

4.根据权利要求3所述的方法，其特征在于，所述SIT中还包括：选帧模块以及第一图像处理模块，所述方法还包括：

在所述选帧模块获取到所述M个第一图像帧以及所述N-M个第二图像帧时，所述选帧模块将所述M个第一图像帧以及所述N-M个第二图像帧发送至所述第一图像处理模块；

所述终端设备对所述M个第一图像帧以及所述N-M个第二图像帧进行图像融合处理，得到拍照结果，包括：所述第一图像处理模块对所述M个第一图像帧以及所述N-M个第二图像帧进行图像融合处理，得到所述拍照结果。

5.根据权利要求4所述的方法，其特征在于，所述SIT中还包括：第二图像处理模块，所述选帧模块将所述M个第一图像帧以及所述N-M个第二图像帧发送至所述第一图像处理模块，包括：

所述选帧模块将所述M个第一图像帧以及所述N-M个第二图像帧发送至所述第二图像处理模块；

所述第二图像处理模块对所述M个第一图像帧以及所述N-M个第二图像帧进行图像处理，得到图像处理后的N个图像帧；

所述第二图像处理模块将所述图像处理后的N个图像帧发送至所述第一图像处理模块。

6.根据权利要求5所述的方法，其特征在于，所述第二图像处理模块还用于将原生RAW格式的图像帧处理为亮度和色度YUV格式的图像帧，或者还用于将所述RAW格式的图像帧处理为联合图像专家小组JPEG格式的图像帧。

7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使得所述终端设备执行如权利要求1至6任一项所述的方法。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得计算机执行如权利要求1至6任一项所述的方法。