CN110996012B - 连拍处理方法、图像处理器、拍摄装置和电子设备 - Google Patents

Abstract

本申请公开了一种连拍处理方法、图像处理器、拍摄装置和电子设备。连拍处理方法包括：应用程序模块向硬件抽象模块发送连拍帧数请求；硬件抽象模块在接收到连拍帧数请求后，将与连拍帧数请求对应的连拍图像数据发送至应用程序模块；和应用程序模块在接收到连拍图像数据后，将连拍图像数据发送至算法后处理模块以进行连拍后处理。本申请实施方式的连拍处理方法、图像处理器、拍摄装置和电子设备将连拍功能做在算法后处理模块中，由算法后处理模块对连拍图像数据进行连拍后处理，即便应用程序模块中途退出，也不会出现图像数据丢失的问题，可以大幅提高用户体验。

Description

连拍处理方法、图像处理器、拍摄装置和电子设备

技术领域

本申请涉及拍照技术领域，更具体而言，涉及一种连拍处理方法、图像处理器、拍摄装置和电子设备。

背景技术

手机可以提供连拍功能，以使得用户可以利用手机不停地抓拍图像数据。目前业界的方案通常是将连拍功能做在硬件抽象层，由硬件抽象层输出经过硬编后的图像数据，然后送到应用程序中保存。在连拍帧数过多的情况下，由于编码和出图都需要时间，如果用户中途退出相机，硬编将不再生效，导致图像数据丢失。

发明内容

本申请实施方式提供一种连拍处理方法、图像处理器、拍摄装置和电子设备。

本申请实施方式的连拍处理方法包括：应用程序模块向硬件抽象模块发送连拍帧数请求；所述硬件抽象模块在接收到所述连拍帧数请求后，将与所述连拍帧数请求对应的连拍图像数据发送至所述应用程序模块；和所述应用程序模块在接收到所述连拍图像数据后，将所述连拍图像数据发送至算法后处理模块以进行连拍后处理。

本申请实施方式的图像处理器包括应用程序模块、硬件抽象模块和算法后处理模块；所述应用程序模块用于向所述硬件抽象模块发送连拍帧数请求；所述硬件抽象模块用于在接收到所述连拍帧数请求后，将与所述连拍帧数请求对应的连拍图像数据发送至所述应用程序模块；所述应用程序模块用于在接收到所述连拍图像数据后，将所述连拍图像数据发送至所述算法后处理模块以进行连拍后处理。

本申请实施方式的拍摄装置包括图像处理器和图像传感器，所述图像传感器与所述图像处理器连接，所述图像处理器包括应用程序模块、硬件抽象模块和算法后处理模块；所述应用程序模块用于向所述硬件抽象模块发送连拍帧数请求；所述硬件抽象模块用于在接收到所述连拍帧数请求后，将与所述连拍帧数请求对应的连拍图像数据发送至所述应用程序模块；所述应用程序模块用于在接收到所述连拍图像数据后，将所述连拍图像数据发送至所述算法后处理模块以进行连拍后处理。

本申请实施方式的电子设备包括拍摄装置和壳体，所述拍摄装置与所述壳体结合，所述拍摄装置包括图像处理器和图像传感器，所述图像传感器与所述图像处理器连接，所述图像处理器包括应用程序模块、硬件抽象模块和算法后处理模块；所述应用程序模块用于向所述硬件抽象模块发送连拍帧数请求；所述硬件抽象模块用于在接收到所述连拍帧数请求后，将与所述连拍帧数请求对应的连拍图像数据发送至所述应用程序模块；所述应用程序模块用于在接收到所述连拍图像数据后，将所述连拍图像数据发送至所述算法后处理模块以进行连拍后处理。

本申请实施方式的连拍处理方法、图像处理器、拍摄装置和电子设备将连拍功能做在算法后处理模块中，由算法后处理模块对连拍图像数据进行连拍后处理，即便应用程序模块中途退出，也不会出现图像数据丢失的问题，可以大幅提高用户体验。

本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的电子设备的结构示意图；

图2是本申请某些实施方式的电子设备的结构示意图；

图3是本申请某些实施方式的拍摄装置的示意图；

图4是相关技术中快拍后处理过程的示意图；

图5是本申请某些实施方式的快拍后处理过程的示意图；

图6是本申请某些实施方式的算法后处理模块的示意图；

图7是本申请某些实施方式的拍摄装置的示意图；

图8是本申请某些实施方式的连拍处理方法的流程示意图；

图9是本申请某些实施方式的连拍处理方法的流程示意图；

图10是本申请某些实施方式的连拍处理方法的流程示意图；

图11是本申请某些实施方式的连拍处理方法的流程示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请参阅图1和图2，本申请提供一种电子设备100。其中，电子设备100可以是手机、平板电脑、笔记本电脑、智能穿戴设备(智能手表、智能手环、智能头盔、智能眼镜等)、虚拟现实设备等。本申请以电子设备100是手机为例进行说明，但电子设备100的形式并不限于手机。电子设备100包括拍摄装置30、壳体40及显示屏50。拍摄装置30包括图像处理器10和图像传感器20。图像处理器10与图像传感器20连接。

拍摄装置30与壳体40结合。在一个例子中，壳体40包括主体43及可动支架41，可动支架41在驱动装置的驱动下可以相对主体43运动，例如，可动支架41可以相对于主体43滑动，以滑入主体43(如图2所示)或从主体43滑出(如图1所示)。拍摄装置30中的图像传感器20可以安装在可动支架41上，可动支架41运动可带动拍摄装置30缩回主体43内或从主体43中伸出，图像处理器10收容在壳体40形成的收容空间内。壳体40上开设有一个或多个采集窗口，图像传感器20与采集窗口对准安装以使图像传感器20能够接收外界环境的光线以生成原始图像(即RAW图像)。用户在需要使用拍摄装置30时，可以触发可动支架41从主体43中滑出以带动图像传感器20从主体43中伸出；用户不需要使用拍摄装置30时，可以触发可动支架41滑入主体43以带动图像传感器20缩回主体43中。在另一个例子中，壳体40上开设有通孔，拍摄装置30中的图像传感器20安装在壳体40内并与通孔对准，通孔可以开设在壳体40的正面或背面，拍摄装置30接收经过通孔的光线以生成原始图像，图像处理器10收容在壳体40形成的收容空间内。在又一个例子中，拍摄装置30中的图像传感器20安装在壳体40内并位于显示屏50的下方，显示屏50未开设通孔，拍摄装置30接收穿过显示屏50的光线以生成原始图像，也即拍摄装置30作为屏下相机，图像处理器10收容在壳体40形成的收容空间内。

请参阅图3，拍摄装置30包括图像处理器10和图像传感器20。图像处理器10和图像传感器20连接。图像传感器20包括图像采集单元(sensor)22和RAW图像数据单元(ImageFront-end，IFE)24，图像采集单元22用于接收光线以采集获得图像数据(RAW图像)，RAW图像数据单元24用于将图像采集单元22采集的图像数据传输至图像处理器10，其中，RAW图像数据单元24可以对图像采集单元22采集获得的RAW图像进行处理并输出处理后的RAW图像至图像处理器10。

图像处理器10包括硬件抽象模块12、应用程序模块(APP)14和算法后处理模块(Algo process service，APS)16。

硬件抽象模块12用于接收RAW图像、将RAW图像转换为YUV图像、及传输RAW图像和/或YUV图像。硬件抽象模块12可以与图像传感器20连接。具体地，硬件抽象模块12可以包括与图像传感器20连接的缓存单元(buffer queue)122、RAW转RGB处理单元(Bayer ProcessSegment，BPS)124和与应用程序模块14连接的降噪及YUV后处理单元(Image ProcessEngine，IPE)126。缓存单元122用于缓存来自图像传感器20的RAW图像并通过应用程序模块14传输给算法后处理模块16。RAW转RGB处理单元124用于将来自缓存单元122的RAW图像转换为RGB图像。降噪及YUV后处理单元126用于处理RGB图像得到YUV图像并将YUV图像通过应用程序模块14传输给算法后处理模块16。硬件抽象模块12还可传输图像数据的元数据(metadata)，元数据包括3a(自动曝光控制AE、自动聚焦控制AF、自动白平衡控制AWB)信息、图片信息(例如图像宽度、高度)、曝光参数(光圈大小、快门速度和感光度光圈值)等，可以利用元数据辅助实现对RAW图像和/或YUV图像的连拍后处理(例如包括美颜处理、滤镜处理、旋转处理、水印处理、虚化处理、HDR处理、及多帧处理中的至少一种)。在一个实施例中，元数据包括感光度(ISO)信息，根据感光度信息可以辅助调节RAW图像和/或YUV图像的亮度，从而实现与调节亮度相关的连拍后处理。

由于硬件抽象模块12不对RAW图像和/或YUV图像进行连拍后处理(例如只接收RAW图像、将RAW图像转换为YUV图像、及传输RAW图像和/或YUV图像)，连拍后处理的图像处理算法无需在硬件抽象模块12本身的算法架构上做流程截断，只需在外部做兼容，设计难度减小。

在相关技术中，应用程序接口(API)将硬件抽象模块建立成管道(pipeline)的方式，由于管道的创建需要大量的时间和内存，因此在相机启动时需要将相机对应的工作模式用到的所有管道均先创建好，而为了实现各种图像处理算法，一般需要创建大量管道(例如超过三条管道)，这会导致相机的启动需要耗费大量的时间，并且占用大量的内存。本申请实施方式的硬件抽象模块12不对RAW图像和/或YUV图像进行连拍后处理，因此，硬件抽象模块12只需建立少量(例如一条或两条)管道即可，无需建立大量的管道，从而能够节约内存，并且可以使得相机的启动速度变快。

应用程序模块14与硬件抽象模块12连接。应用程序模块14可以用于根据用户的输入产生控制指令并将该控制指令通过硬件抽象模块12发送给图像传感器20以对图像传感器20的工作进行相应的控制。其中，应用程序模块14可以以64比特位(bit)运行，并且连拍后处理的图像处理算法的静态数据连接库(lib)可以配置为64比特位，以提高运算速度。应用程序模块14接收硬件抽象模块传输的RAW图像和/或YUV图像后，可以将RAW和/或YUV图像传输至算法后处理模块16进行连拍后处理。

在某些实施方式中，应用程序模块14可以用于向硬件抽象模块12发送连拍帧数请求。连拍帧数请求可以是用户通过应用程序模块14输入的。例如，用户可以通过应用程序模块14输入30帧的连拍帧数请求。若用户没有通过应用程序模块14输入具体的帧数，则应用程序模块14可以向硬件抽象模块12发送默认设置的连拍帧数请求，例如20帧的连拍帧数请求。硬件抽象模块12在接收到连拍帧数请求后，对图像传感器20的工作进行相应的控制，例如控制图像传感器20采集30帧的图像数据，以将与连拍帧数请求对应的连拍图像数据发送至应用程序模块14，即将与连拍帧数请求对应的30帧的图像数据发送至应用程序模块14。应用程序模块14在接收到连拍图像数据后，将连拍图像数据发送至算法后处理模块16以进行连拍后处理。

具体地，连拍图像数据可包括多个图像数据，图像数据可以是RAW和/或YUV图像。应用程序模块14的队列中设置有多个队列数据，多个队列数据用于循环接收多个图像数据。例如，当连拍图像数据包括20帧图像数据时，应用程序模块14的队列中可设置有10个队列数据，10个队列数据用于循环接收该20个图像数据。当然，应用程序模块14的队列中也可以仅设置5个队列数据，5个队列数据用于循环接收20个图像数据。队列数据的数量一般小于或等于图像数据的数量，以减少占用应用程序模块14的存储空间。

由于应用程序模块14通过队列接收图像数据，因此多个图像数据根据接收的先后顺序形成在队列中，位于队首的是先接收的图像数据，位于队尾的是后接收的图像数据。应用程序模块14在接收到一个图像数据后，就将一个图像数据发送至算法后处理模块16以进行连拍后处理，而不是等待接收到所有的图像数据之后，将所有的图像数据一并发送至算法后处理模块16。如此，一方面，应用程序模块14可以以较短的时间间隔连续出图，可以实现每30ms输出一帧图像数据，抓拍的效果显著提升(目前业界将连拍功能做在硬件抽象层的方案中，硬件抽象层输出两帧图像数据的时间间隔比较久，一般需要100ms。连拍抓拍的效果由于两帧图像数据的时间间隔过久，导致抓拍的效果变差)，且不会由于过多的图像数据堆积在应用程序模块14中导致连拍功能的卡顿和变慢。另一方面，由于将连拍功能做在算法后处理模块16中，由算法后处理模块16对连拍图像数据进行连拍后处理，即便应用程序模块14中途退出，也不会出现图像数据丢失的问题，可以大幅提高用户体验(若将连拍功能做在硬件抽象层，由硬件抽象层输出经过硬编后的图像数据，那么应用程序模块14中途退出，将导致硬编不再生效，图像数据丢失，而将连拍功能做在算法后处理模块16中，算法后处理模块16对连拍图像数据进行软编，算法后处理模块16可以不随着应用程序模块14的退出而退出，例如算法后处理模块16仍可以后台运行)。

在某些实施方式中，应用程序模块14用于在接收到连拍图像数据后，复制连拍图像数据并将复制得到的连拍图像数据发送至算法后处理模块16以进行连拍后处理。应用程序模块14还用于在将复制得到的连拍图像数据发送至算法后处理模块16后，删除复制前的连拍图像数据。

以下将复制前的连拍图像数据称之为第一图像数据，将复制得到的连拍图像数据称之为第二图像数据。应用程序模块14在接收到连拍图像数据后，具体为在接收到每一个图像数据(即每一个第一图像数据)后，对该第一图像数据进行复制得到一个第二图像数据。然后，应用程序模块14将第二图像数据发送至算法后处理模块16以进行连拍后处理，在成功发送第二图像数据至算法后处理模块16后，则可以删除第一图像数据，以及时释放应用程序模块14中的内存，避免由于较早接收的第一图像数据占用队列的空间，而导致无法接收后面的图像数据。可以理解，应用程序模块14接收多个图像数据的速度是很快的，如果不及时删除前面的第一图像数据，等到多个队列数据均接收有图像数据时，将无需再继续接收最新的图像数据。

另外，由于应用程序模块14是将复制得到的第二图像数据发送至算法后处理模块16以进行连拍后处理，因此，在算法后处理模块16对连拍图像数据进行连拍后处理的过程中，应用程序模块14能够关闭或者退出应用界面。可以理解，应用程序模块14不是直接将第一图像数据发送至算法后处理模块16，而是将复制得到的第二图像数据发送至算法后处理模块16，即便应用程序模块14关闭或者退出应用界面，第二图像数据也不会丢失，算法后处理模块16可以继续正常地对第二图像数据进行连拍后处理。而如果应用程序模块14直接将第一图像数据发送至算法后处理模块16，那么随着应用程序模块14的关闭或退出，第一图像数据也会随之消失，造成图像数据的丢失，算法后处理模块16无法再对第一图像数据进行连拍后处理。

算法后处理模块16通过应用程序模块14与硬件抽象模块12连接。算法后处理模块16用于对连拍图像数据进行连拍后处理并将处理后的连拍图像数据传回给应用程序模块14。具体地，算法后处理模块16内存储有至少一种图像处理算法(例如包括美颜处理算法、滤镜处理算法、旋转处理算法、水印处理算法、虚化处理算法、HDR处理算法、及多帧处理算法中的至少一种)，算法后处理模块16用于采用图像处理算法处理连拍图像数据(即RAW图像和/或YUV图像)以实现连拍后处理。由于对RAW图像和/或YUV图像进行连拍后处理可由算法后处理模块16实现，从而无需在硬件抽象模块12本身的算法架构上做流程截断，只需在外部做兼容，设计难度减小。并且由于连拍后处理由算法后处理模块16实现，因此算法后处理模块16的功能更单一、更聚焦，从而可以达到移植快，扩展新的图像处理算法简单等效果。

由于连拍后处理由算法后处理模块16实现，因此在将RAW图像和/或YUV图像传输给算法后处理模块16后，只需要算法后处理模块16就可实现连拍后处理，此时图像传感器20和应用程序模块14可以不参与连拍后处理，因此，图像传感器20能够关闭或执行下一次拍摄，应用程序模块14能够关闭或退出应用界面。如此，拍摄装置30能够实现快拍，并且在算法后处理模块16进行连拍后处理时可以关闭应用程序模块14或退出应用程序界面，从而在电子设备100上进行一些其他操作(例如与拍摄装置30无关的操作，比如浏览网页、看视频、打电话等)，从而用户无需花费大量的时间等待连拍后处理的完成，便于用户使用电子设备100。

在算法后处理模块16只处理RAW图像(例如图像处理算法针对RAW图像进行处理)时，硬件抽象模块12可以只传输RAW图像(此时可以不需要将RAW图像转换为YUV图像)；在算法后处理模块16只处理YUV图像(例如图像处理算法针对YUV图像进行处理)时，硬件抽象模块12可以只传输YUV图像；在算法后处理模块16处理RAW图像和YUV图像时，硬件抽象模块12可以传输RAW图像和YUV图像。

在某些实施方式中，硬件抽象模块12可以根据感光度信息、陀螺仪的抖动情况、AR场景检测结果(检测场景类型，例如人物、动物、风景等)等向应用程序模块14发送帧数建议，例如，当陀螺仪检测到的抖动较大时，硬件抽象模块12向应用程序模块14发送的帧数建议可以是：建议较多帧，以更好地实现连拍后处理；当陀螺仪检测到的抖动较小时，硬件抽象模块12向应用程序模块14发送的帧数建议可以是：建议较少帧，以减少数据传输量。也即是说，硬件抽象模块12向应用程序模块14建议的帧数可以与陀螺仪检测到的抖动程度正相关。硬件抽象模块12还可以根据感光度信息、陀螺仪的抖动情况、AR场景检测结果等向应用程序模块14发送算法建议，例如，当陀螺仪检测到的抖动较大时，硬件抽象模块12向应用程序模块14发送的算法建议可以是多帧处理，以根据多帧处理消除抖动；当AR场景检测结果检测的场景类型为人物时，硬件抽象模块12向应用程序模块14发送的算法建议可以是美颜处理，以对人物进行美颜；当AR场景检测结果检测的场景类型为风景时，硬件抽象模块12向应用程序模块14发送的算法建议可以是HDR处理，以形成高动态范围的风景图像。应用程序模块14根据帧数建议和算法建议向硬件抽象模块12发出数据请求，硬件抽象模块12根据该数据请求传输对应的数据至应用程序模块14，应用程序模块14再将数据传输至算法后处理模块16进行连拍后处理。

请参阅图3和图4，图像传感器20接收一个控制指令并获取一张RAW图像后，图像传感器20将RAW图像传输至硬件抽象模块12，硬件抽象模块12直接将RAW图像通过应用程序模块14传输至算法后处理模块16或将RAW图像转为YUV图像后再通过应用程序模块14传输至算法后处理模块16，RAW图像(或转换后的YUV图像)在算法后处理模块16中执行快拍后处理，每一张RAW图像(或转换后的YUV图像)在算法后处理模块16中执行快拍后处理即为一个快拍任务(即图3所示的task)。应用程序模块14需要等待当前的快拍任务完成，即等待该张RAW图像(或转换后的YUV图像)完成快拍后处理并由算法后处理模块16将处理后的图像传输至应用程序模块14后，应用程序模块14才会继续传输下一个控制指令给图像传感器20，以控制图像传感器20根据该下一个控制指令获取一张新的RAW图像。但这一控制方式会增加每一次快拍所需的时间，严重降低用户的拍照体验。如图5所示，为提升用户的拍照体验，算法后处理模块16中增加队列164用于存储快拍任务，每一张RAW图像(或经转换后的YUV图像)传输到应用程序模块14后，应用程序模块生成一个要求对该张RAW图像(或经转换后的YUV图像)进行快拍后处理的快拍任务并将快拍任务传输给算法后处理模块16，算法后处理模块16将接收到的每一个快拍任务存储到队列164中。此时，在图像传感器20接收一个控制指令并获取一张RAW图像后，应用程序模块14无需等待该张RAW图像(或经转换后的YUV图像)完成快拍后处理，即可传输下一个控制指令至图像传感器20以控制图像传感器20获取下一张RAW图像。如图5所示，由于RAW图像的获取时间比RAW图像(或经转换后的YUV图像)快拍后处理的时间更短，用户连续多次点击快门的情况下，可能会出现队列164中存储有多个快拍任务的情形，其中，多个快拍任务根据任务形成的先后顺序依次存储在队列164中，队首存储的是最早形成的快拍任务(如图5的task1)，队尾存储的是最新形成的快拍任务。

算法后处理模块16每次处理一个快拍任务。在算法后处理模块16处理完前一个快拍任务后，算法后处理模块16依次处理队列164中后面的快拍任务，具体地，根据队列164的先进先出原则，算法后处理模块16可以分多次，每次从队列164的队首取出一个快拍任务进行处理，算法后处理模块16每取出一个快拍任务，与该快拍任务相邻的另一个快拍任务存储到队首，比如图5的task1取出后，task2即会存储到队首。如此，算法后处理模块16即可按照快拍任务形成的先后顺序依次处理多个快拍任务。

算法后处理模块16处理每一个快拍任务时，会调用该快拍任务涉及到的所有图像处理算法以对快拍任务的RAW图像(或经转换后的YUV图像)进行快拍后处理。其中，每一个快拍任务涉及到的图像处理算法可以是根据用户输入来确定的，每一个快拍任务涉及到的图像处理算法可以是一个或多个。例如，用户在使用拍照装置30拍照时，设置了美颜功能，那么该次快拍对应的快拍任务涉及到的图像处理算法即包括美颜处理算法；再例如，用户在使用拍照装置30拍照时，设置了美颜、滤镜、HDR功能，那么该次快拍对应的快拍任务涉及到的图像处理算法即包括美颜处理算法、滤镜处理算法、及HDR处理算法。不同的快拍任务涉及到的图像处理算法可以是相同或不同的。例如，用户在第一次快拍中设置了美颜功能，在第二次快拍中设置了滤镜及虚化功能，则第一次快拍对应的快拍任务涉及到的图像处理算法即包括美颜处理算法，第二次快拍对应的快拍任务涉及到的图像处理算法即包括滤镜处理算法及虚化处理算法。

算法后处理模块16调用图像处理算法处理快拍任务的RAW图像(或经转换后的YUV图像)时需要占用电子设备100的内存。当用户点击快门的速度大于快拍任务的处理速度时，队列164中会不断地积存新的快拍任务。然而，用户在执行快拍后，一般不希望等待太久，在这个过程中，用户可能会退出相机，如果算法后处理模块16对图像的后台处理也立即退出，可能会导致图像数据丢失。

本申请实施方式的算法后处理模块16可以先计算队列中所有快拍任务所需的总运行时间；在应用程序模块14接收到用户输入的退出命令时，若算法后处理模块16开始处理快拍任务的时间达到总运行时间，则算法后处理模块16退出运行，可以保证算法后处理模块16的退出时机较为准确，既不会丢失图像数据，又能最大限度不占用系统内存和功耗(当算法后处理模块16退出运行过早，会丢失图像数据；当算法后处理模块16退出运行过晚，会导致算法后处理模块16一直占用电子设备100的内存，增加功耗)。

具体地，算法后处理模块16的队列中可能存在一个或多个快拍任务，每个快拍任务又涉及到一个或多个图像处理算法。每个图像处理算法所需的处理时间包括运行时间和退出时间，或者说由运行时间和退出时间这两部分组成。运行时间即是图像处理算法实际运行的时间，而退出时间指的是图像处理算法退出运行的时间。

算法后处理模块16会预先多次测试每种图像处理算法所需的运行时间和退出时间得到多个测试运行时间和多个测试退出时间，然后，根据多个测试运行时间的平均值和多个测试退出时间的平均值预估每个图像处理算法运行时间(后文称之为预估运行时间)和退出时间(后文称之为预估退出时间)。例如，算法后处理模块16预先测试20次美颜处理算法的测试运行时间和测试退出时间，得到20个测试运行时间和20个测试退出时间，然后，根据20个测试运行时间的平均值确定美颜处理算法的预估运行时间(可以是直接将20个测试运行时间的平均值当做预估运行时间)、根据20个测试退出时间的平均值确定美颜处理算法的预估退出时间(可以是直接将20个测试退出时间的平均值当做预估退出时间)。依此类推，算法后处理模块16可以得到滤镜处理算法、HDR处理算法等多种图像处理算法的预估运行时间和预估退出时间，并将各个图像处理算法的预估运行时间和预估退出时间进行存储。

在计算队列中所有快拍任务所需的总运行时间时，算法后处理模块16先计算每个快拍任务所需的处理时间，然后根据多个快拍任务所需的处理时间计算总运行时间。例如，队列中一共包括四个快拍任务，算法后处理模块16计算得到第一个快拍任务所需的处理时间为t1，第二个快拍任务所需的处理时间为t2，第三个快拍任务所需的处理时间为t3，第四个快拍任务所需的处理时间为t4，则将第一个快拍任务所需的处理时间t1、第二个快拍任务所需的处理时间t2、第三个快拍任务所需的处理时间t3、第四个快拍任务所需的处理时间t4相加得到所有快拍任务所需的总运行时间T。在一个实施例中，算法后处理模块16在根据多个快拍任务所需的处理时间计算总运行时间时，还可以是将多个快拍任务所需的处理时间、以及余量时间相加得到总运行时间。余量时间即是在多个快拍任务所需的处理时间的基础上增加一定的余量时间，以确保算法后处理模块16已将队列中所有快拍任务处理完。余量时间可以是多个快拍任务所需的处理时间的总和的5％～15％。仍以队列中一共包括四个快拍任务为例，若余量时间设置为t0，则算法后处理模块16将第一个快拍任务所需的处理时间t1、第二个快拍任务所需的处理时间t2、第三个快拍任务所需的处理时间t3、第四个快拍任务所需的处理时间t4、余量时间t0相加得到所有快拍任务所需的总运行时间T。

在计算每个快拍任务所需的处理时间时，算法后处理模块16先获取该快拍任务涉及到的每个图像处理算法所需的处理时间，然后根据该快拍任务涉及到的所有图像处理算法所需的处理时间计算该快拍任务所需的处理时间。以上述第一个快拍任务为例，假设第一个快拍任务涉及到美颜处理算法、滤镜处理算法和HDR处理算法，则算法后处理模块16分别获取美颜处理算法所需的处理时间、滤镜处理算法所需的处理时间和HDR处理算法所需的处理时间。在获取美颜处理算法所需的处理时间时，算法后处理模块16读取前述根据多次测试的平均值计算得到美颜处理算法的预估运行时间和预估退出时间，然后将美颜处理算法的预估运行时间和预估退出时间相加即是获取美颜处理算法所需的处理时间t11；在获取滤镜处理算法所需的处理时间时，算法后处理模块16读取前述根据多次测试的平均值计算得到滤镜处理算法的预估运行时间和预估退出时间，然后将滤镜处理算法的预估运行时间和预估退出时间相加即是获取滤镜处理算法所需的处理时间t12；在获取HDR处理算法所需的处理时间时，算法后处理模块16读取前述根据多次测试的平均值计算得到HDR处理算法的预估运行时间和预估退出时间，然后将HDR处理算法的预估运行时间和预估退出时间相加即是获取HDR处理算法所需的处理时间t13。算法后处理模块16将美颜处理算法所需的处理时间t11、滤镜处理算法所需的处理时间t12、HDR处理算法所需的处理时间t13相加得到第一个快拍任务所需的处理时间。在一个实施例中，算法后处理模块16根据该快拍任务涉及到的所有图像处理算法所需的处理时间计算该快拍任务所需的处理时间还可以是：将每个快拍任务涉及到的所有图像处理算法所需的处理时间、以及旋转处理时间和编码处理时间相加得到每个快拍任务所需的处理时间。旋转处理时间即是算法后处理模块16对图像进行旋转处理所需的时间，编程处理即是算法后处理模块16对图像进行编码处理所需的时间(由后文的编码单元162实现)。旋转处理时间和编码处理时间一般是每个快拍任务都会涉及到的处理过程，因此可将旋转处理时间和编码处理时间单独列举出来，以便于计算每个快拍任务所需的处理时间。仍以第一个快拍任务为例，假设第一个快拍任务涉及到美颜处理算法、滤镜处理算法和HDR处理算法，则算法后处理模块16将美颜处理算法所需的处理时间t11、滤镜处理算法所需的处理时间t12、HDR处理算法所需的处理时间t13、旋转处理时间tm、编码处理时间tn相加得到第一个快拍任务所需的处理时间t1。依此类推，算法后处理模块16可以分别计算得到上述第二个快拍任务所需的处理时间t2、第三个快拍任务所需的处理时间t3和第四个快拍任务所需的处理时间t4，在此不一一展开说明。

算法后处理模块16根据上述方法计算队列中所有快拍任务所需的总运行时间后，从算法后处理模块16开始处理快拍任务的时间点开始计时，若应用程序模块14接收到用户输入的退出命令，则算法后处理模块16判断算法后处理模块16开始处理快拍任务的时间(即应用程序模块14接收到用户输入的退出命令的时间点与算法后处理模块16开始处理快拍任务的时间点之间的差值)是否达到(即大于或等于)总运行时间，若是，则算法后处理模块16退出运行；若否，则算法后处理模块16后台继续运行直至算法后处理模块16开始处理快拍任务的时间达到总运行时间。

请参阅图3，算法后处理模块16还可以包括编码单元162，编码单元162用于将YUV图像转换为JPG图像(或者JPEG图像等)。具体地，在算法后处理模块16处理的是YUV图像时，编码单元162可以直接对YUV图像进行编码以形成JPG图像，从而提高图像的输出速度。在算法后处理模块16处理的是RAW图像时，算法后处理模块16可以将处理实现连拍后处理的RAW图像经应用程序模块14回传至硬件抽象模块12，例如回传至RAW转RGB处理单元124，RAW转RGB处理单元124可以用于将算法后处理模块16处理实现连拍后处理并经应用程序模块14回传的RAW图像转换为RGB图像，降噪及YUV后处理单元126可以将RGB图像转换为YUV图像，该YUV图像可以再次传输至算法后处理模块16的编码单元162中以将该YUV图像转换为JPG图像。在某些实施方式中，算法后处理模块16也可以将处理实现连拍后处理的RAW图像经应用程序模块14回传至缓存单元122，回传的RAW图像经过RAW转RGB处理单元124和降噪及YUV后处理单元126形成YUV图像，再传输至编码单元162以形成JPG图像。在形成JPG图像后，算法后处理模块16可以用于将JPG图像传输至应用程序模块14中保存。

请参阅图6，算法后处理模块16包括逻辑处理调用层164、算法模块接口层166和算法处理层168。逻辑处理调用层164用于与应用程序模块14通信。算法模块接口层166用于维护算法接口。算法处理层168包括至少一种图像处理算法。算法模块接口层166用于通过算法接口对算法处理层168的图像处理算法进行注册、注销、调用和回调中的至少一种操作。

逻辑处理调用层164可以包括线程队列，算法后处理模块16接收到RAW图像和/或YUV图像的连拍后处理任务后，可以将连拍后处理任务缓存在线程队列中处理，其中，线程队列可以缓存多个连拍后处理任务，如此，可以通过逻辑处理调用层164实现快拍(即快拍机制)。另外，逻辑处理调用层164也可以接收应用程序模块14发送的初始化(init)、进程(process)等指令，并将对应的指令和数据保存到线程队列中。逻辑处理调用层164根据线程队列中的任务进行具体逻辑的调用(即具体逻辑调用组合)。逻辑处理调用层164还可以将处理获得的缩略图(thumbnail)回传给应用程序模块14进行显示(即缩略图回显)。在本申请的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

算法模块接口层166用于调用算法接口，调用命令也可以保存到线程队列中，算法处理层168在接收到线程队列的调用命令时，即可解析调用命令的参数获得需要调用的图像处理算法。算法模块接口层166对图像处理算法进行注册时，可以在算法处理层168中新增一种图像处理算法；算法模块接口层166对图像处理算法进行注销时，可以删除算法处理层168中一种图像处理算法；算法模块接口层166对图像处理算法进行调用时，可以调用算法处理层168中一种图像处理算法；算法模块接口层166对图像处理算法进行回调时，可以将算法处理后的数据和状态回传给应用程序模块14。其中，可以采用统一接口实现图像处理算法的注册、注销、调用、回调等操作。算法处理层168中的每一种图像处理算法都是独立的，如此可以方便对图像处理算法实现注册、注销、调用、回调等操作。

请参阅图7，在某些实施方式中，图像处理器10还包括相机服务模块18。硬件抽象模块12通过相机服务模块18与应用程序模块14连接。相机服务模块18对RAW图像和/或YUV图像进行封装并将封装后的RAW图像和/或YUV图像传输至应用程序模块14、及将应用程序模块14回传的RAW图像传输至硬件抽象模块12。如此，通过相机服务模块18对图像进行封装，可以提高图像传输的效率，并且能够提高图像传输的安全性。在图像处理器10包括相机服务模块18时，图像处理器10中的数据(图像、元数据等)和请求传输的路径可以进行适应性调整，即硬件抽象模块12和应用程序模块14之间传输的数据和请求均需要通过相机服务模块18。例如，硬件抽象模块12向应用程序模块14传输RAW图像和/或YUV图像时，硬件抽象模块12先将RAW图像和/或YUV图像传输至相机服务模块18，相机服务模块18对RAW图像和/或YUV图像进行封装并将封装后的RAW图像和/或YUV图像传输至应用程序模块14。又例如，硬件抽象模块12向应用程序模块14传输元数据时，硬件抽象模块12先将元数据传输至相机服务模块18，相机服务模块18对元数据进行封装并将封装后的元数据传输至应用程序模块14。又例如，硬件抽象模块12向应用程序模块14传输帧数建议时，硬件抽象模块12先将帧数建议传输至相机服务模块18，相机服务模块18对帧数建议进行封装并将封装后的帧数建议传输至应用程序模块14。又例如，硬件抽象模块12向应用程序模块14传输算法建议时，硬件抽象模块12先将算法建议传输至相机服务模块18，相机服务模块18对算法建议进行封装并将封装后的算法建议传输至应用程序模块14。又例如，应用程序模块14向硬件抽象模块12发送连拍帧数请求时，应用程序模块14先将连拍帧数请求传输至相机服务模块18，相机服务模块18对连拍帧数请求进行封装并将封装后的连拍帧数请求传输至硬件抽象模块12。当然，在某些实施方式中，硬件抽象模块12可将感光度信息、陀螺仪的抖动情况、AR场景检测结果等传输至相机服务模块18，相机服务模块18根据感光度信息、陀螺仪的抖动情况、AR场景检测结果等获得帧数建议和/或算法建议，再将帧数建议和/或算法建议传输至应用程序模块14。

请参阅图3和图8，本申请还提供一种连拍处理方法。连拍处理方法可以由图像处理器10实现。连拍处理方法包括：

01：应用程序模块14向硬件抽象模块12发送连拍帧数请求；

02：硬件抽象模块12在接收到连拍帧数请求后，将与连拍帧数请求对应的连拍图像数据发送至应用程序模块14；和

03：应用程序模块14在接收到连拍图像数据后，将连拍图像数据发送至算法后处理模块16以进行连拍后处理。

需要指出的是，前述实施方式中对图像处理器10的解释说明，同样适用于本申请实施方式的连拍处理方法，在此不再赘述。

请参阅图3和图9，在某些实施方式中，连拍图像数据包括多个图像数据。应用程序模块14在接收到连拍图像数据后，将连拍图像数据发送至算法后处理模块16以进行连拍后处理(即03)，包括：

031：应用程序模块14在接收到一个图像数据后，将一个图像数据发送至算法后处理模块16以进行连拍后处理。

需要指出的是，前述实施方式中对图像处理器10的解释说明，同样适用于本申请实施方式的连拍处理方法，在此不再赘述。

请参阅图3和图10，在某些实施方式中，应用程序模块14在接收到连拍图像数据后，将连拍图像数据发送至算法后处理模块16以进行连拍后处理(即03)，包括：

032：应用程序模块14在接收到连拍图像数据后，复制连拍图像数据并将复制得到的连拍图像数据发送至算法后处理模块16以进行连拍后处理；

连拍处理方法还包括：

04：应用程序模块14在将复制得到的连拍图像数据发送至算法后处理模块16后，删除复制前的连拍图像数据。

需要指出的是，前述实施方式中对图像处理器10的解释说明，同样适用于本申请实施方式的连拍处理方法，在此不再赘述。

请参阅图3和图11，在某些实施方式中，连拍处理方法还包括：

05：算法后处理模块16对连拍图像数据进行连拍后处理并将处理后的连拍图像数据传回给应用程序模块14。

需要指出的是，前述实施方式中对图像处理器10的解释说明，同样适用于本申请实施方式的连拍处理方法，在此不再赘述。

综上，本申请实施方式的连拍处理方法、图像处理器10、拍摄装置30和电子设备100将连拍功能做在算法后处理模块16中，由算法后处理模块16对连拍图像数据进行连拍后处理，即便应用程序模块14中途退出，也不会出现图像数据丢失的问题，可以大幅提高用户体验。

在本说明书的描述中，参考术语“某些实施方式”、“一个例子中”、“示例地”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (10)

1.一种连拍处理方法，其特征在于，包括：

应用程序模块向硬件抽象模块发送连拍帧数请求，连拍帧数请求的具体帧数通过所述应用程序模块输入或是默认设置的；

所述硬件抽象模块在接收到所述连拍帧数请求后，将与所述连拍帧数请求对应的连拍图像数据发送至所述应用程序模块；和

所述应用程序模块在接收到所述连拍图像数据后，将所述连拍图像数据发送至算法后处理模块以进行连拍后处理；

所述连拍图像数据包括多个图像数据，所述应用程序模块的队列中设置有多个队列数据，多个所述队列数据用于循环接收多个所述图像数据；

所述应用程序模块在接收到所述连拍图像数据后，将所述连拍图像数据发送至算法后处理模块以进行连拍后处理，包括：

所述应用程序模块在接收到所述连拍图像数据后，复制所述连拍图像数据并将复制得到的所述连拍图像数据发送至所述算法后处理模块以进行连拍后处理；

所述连拍处理方法还包括：

所述应用程序模块在将复制得到的所述连拍图像数据发送至所述算法后处理模块后，删除复制前的所述连拍图像数据。

2.根据权利要求1所述的连拍处理方法，其特征在于，所述连拍图像数据包括多个图像数据，所述应用程序模块在接收到所述连拍图像数据后，将所述连拍图像数据发送至算法后处理模块以进行连拍后处理，包括：

所述应用程序模块在接收到一个所述图像数据后，将一个所述图像数据发送至所述算法后处理模块以进行连拍后处理。

3.根据权利要求1所述的连拍处理方法，其特征在于，所述连拍处理方法还包括：

所述算法后处理模块对所述连拍图像数据进行连拍后处理并将处理后的所述连拍图像数据传回给所述应用程序模块。

4.根据权利要求1所述的连拍处理方法，其特征在于，在所述算法后处理模块对所述连拍图像数据进行连拍后处理的过程中，所述应用程序模块能够关闭或者退出应用界面。

5.一种图像处理器，其特征在于，包括应用程序模块、硬件抽象模块和算法后处理模块；

所述应用程序模块用于向所述硬件抽象模块发送连拍帧数请求，连拍帧数请求的具体帧数通过所述应用程序模块输入或是默认设置的；

所述硬件抽象模块用于在接收到所述连拍帧数请求后，将与所述连拍帧数请求对应的连拍图像数据发送至所述应用程序模块；

所述应用程序模块用于在接收到所述连拍图像数据后，将所述连拍图像数据发送至所述算法后处理模块以进行连拍后处理；

所述连拍图像数据包括多个图像数据，所述应用程序模块的队列中设置有多个队列数据，多个所述队列数据用于循环接收多个所述图像数据；

所述应用程序模块用于在接收到所述连拍图像数据后，复制所述连拍图像数据并将复制得到的所述连拍图像数据发送至所述算法后处理模块以进行连拍后处理；

所述应用程序模块还用于在将复制得到的所述连拍图像数据发送至所述算法后处理模块后，删除复制前的所述连拍图像数据。

6.根据权利要求5所述的图像处理器，其特征在于，所述连拍图像数据包括多个图像数据，所述应用程序模块用于在接收到一个所述图像数据后，将一个所述图像数据发送至所述算法后处理模块以进行连拍后处理。

7.根据权利要求5所述的图像处理器，其特征在于，所述算法后处理模块用于对所述连拍图像数据进行连拍后处理并将处理后的所述连拍图像数据传回给所述应用程序模块。

8.根据权利要求5所述的图像处理器，其特征在于，在所述算法后处理模块对所述连拍图像数据进行连拍后处理的过程中，所述应用程序模块能够关闭或者退出应用界面。

9.一种拍摄装置，其特征在于，包括：

权利要求5至8任意一项所述的图像处理器；和

图像传感器，所述图像传感器与所述图像处理器连接。

10.一种电子设备，其特征在于，包括：

权利要求9所述的拍摄装置；和

壳体，所述拍摄装置与所述壳体结合。

Images