CN109922322B - 拍照方法、图像处理器、拍照装置及电子设备 - Google Patents

Abstract

本申请公开了一种拍照方法、图像处理器、拍照装置及电子设备。拍照方法包括：持续获取RAW图像，并将获取的多张RAW图像保存进队列；在接收到拍照请求指令时，从队列中选取最新的RAW图像作为待转换图像，并将待转换图像转换为YUV图像。本申请实施方式的拍照方法、图像处理器、拍照装置及电子设备在拍照时并行执行生成RAW图像与将RAW图像转换为YUV图像的操作，在接收到拍照请求指令时将已经生成的最新的RAW图像来转换为YUV图像，减小了拍照耗时，同时实现“所见即所得”的效果，用户拍照体验更佳。

Description

拍照方法、图像处理器、拍照装置及电子设备

技术领域

本申请涉及成像技术领域，特别涉及一种拍照方法、图像处理器、拍照装置及电子设备。

背景技术

Camx是高通基于845/855ISP平台所设计的全新软件系统，它的目的在于封装内核相关的底层驱动接口，简化项目的客户定制化难度。让客户可以在尽量短的时间内完成845/855平台产品量产出货。但目前基于Camx的软件系统的拍照方法存在拍照耗时较长的问题。

发明内容

本申请实施方式提供了一种拍照方法、图像处理器、拍照装置及电子设备。

本申请实施方式的拍照方法包括：持续获取RAW图像，并将获取的多张所述RAW图像保存进队列；在接收到拍照请求指令时，从所述队列中选取最新的RAW图像作为待转换图像，并将所述待转换图像转换为YUV图像。

本申请实施方式的图像处理器包括缓存单元及处理单元。缓存单元用于持续获取RAW图像，并将获取的多张所述RAW图像保存进队列。处理单元用于在接收到拍照请求指令时，从所述队列中选取最新的RAW图像作为待转换图像，并将所述待转换图像转换为YUV图像。

本申请实施方式的拍照装置包括上述的图像处理器及图像传感器。所述图像传感器与所述图像处理器连接。

本申请实施方式的电子设备包括上述的拍照装置及壳体。所述拍照装置与所述壳体结合。

本申请实施方式的拍照方法、图像处理器、拍照装置及电子设备在拍照时并行执行生成RAW图像与将RAW图像转换为YUV图像的操作，在接收到拍照请求指令时将已经生成的最新的RAW图像来转换为YUV图像，减小了拍照耗时，同时实现“所见即所得”的效果，用户拍照体验更佳。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1和图2是本申请某些实施方式的电子设备的结构示意图。

图3是本申请某些实施方式的拍照方法的流程示意图。

图4是本申请某些实施方式的拍照装置的组成示意图。

图5至图8是本申请某些实施方式的拍照方法的流程示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请参阅图1和图2，本申请提供一种电子设备100。其中，电子设备100可以是手机、平板电脑、笔记本电脑、智能穿戴设备(智能手表、智能手环、智能头盔、智能眼镜等)、虚拟现实设备等。本申请以电子设备100是手机为例进行说明，但电子设备100的形式并不限于手机。电子设备100包括拍照装置30及壳体40。拍照装置30包括图像处理器10和图像传感器20。图像处理器10与图像传感器20连接。

拍照装置30与壳体40结合。在一个例子中，壳体40包括主体43及可动支架41，可动支架41在驱动装置的驱动下可以相对主体43运动，例如，可动支架41可以相对于主体43滑动，以滑入主体43(如图2所示)或从主体43滑出(如图1所示)。拍照装置30中的图像传感器20可以安装在可动支架41上，可动支架41运动可带动拍照装置30缩回主体43内或从主体43中伸出，图像处理器10收容在壳体40形成的收容空间内。壳体40上开设有一个或多个采集窗口，图像传感器20与采集窗口对准安装以使图像传感器20能够接收外界环境的光线以生成原始图像。用户在需要使用拍照装置30时，可以触发可动支架41从主体43中滑出以带动图像传感器20从主体43中伸出；用户不需要使用拍照装置30时，可以触发可动支架41滑入主体43以带动图像传感器20缩回主体43中。在另一个例子中，壳体40上开设有通孔，拍照装置30中的图像传感器20安装在壳体40内并与通孔对准，通孔可以开设在壳体40的正面或背面，拍照装置30接收经过通孔的光线以生成原始图像，图像处理器10收容在壳体40形成的收容空间内。

请参阅3，本申请还提供一种拍照方法。拍照方法包括：

011：持续获取RAW图像，并将获取的多张RAW图像保存进队列；和

012：在接收到拍照请求指令时，从队列中选取最新的RAW图像作为待转换图像，并将待转换图像转换为YUV图像。

请参阅图4，本申请的拍照方法可以由本申请的图像处理器10实现。图像处理器10包括缓存单元122及处理单元124。步骤011可以由缓存单元122实现，步骤012可以由处理单元124实现。也即是说，缓存单元122可用于持续获取RAW图像，并将获取的多张RAW图像保存进队列。处理单元124可用于在接收到拍照请求指令时，从队列中选取最新的RAW图像作为待转换图像，并将待转换图像转换为YUV图像。

图像处理器10还包括硬件抽象模块12、框架模块14、应用程序模块16及算法后处理模块18。缓存单元122及处理单元124位于硬件抽象模块12中，即硬件抽象模块12包括缓存单元122及处理单元124。硬件抽象模块12的缓存单元122与图像传感器20连接，处理单元124与框架模块14连接。应用程序模块16与框架模块14及算法后处理模块18均连接。

缓存单元122和处理单元124位于硬件抽象模块12中，即硬件抽象模块12包括缓存单元122及处理单元124。缓存单元122可以接收图像传感器20生成的RAW图像，处理单元124将RAW图像转换为YUV图像。处理单元124可以将YUV图像发送给框架模块14，并由框架模块14将YUV图像发送给应用程序模块16，应用程序模块16可对后续图像做拍照后处理，例如，美颜、旋转、水印、虚化等拍照后处理。

拍照过程一般包括以下几个部分：生成RAW图像，将RAW图像转换为YUV图像，对YUV图像做拍照后处理(例如，美颜、旋转、水印、虚化等)。现有的拍照方法的流程大致如下：用户按下快门时，应用程序模块16接收到拍照请求指令。应用程序模块16将拍照请求指令发送至硬件抽象模块12，硬件抽象模块12根据拍照请求指令调用图像传感器20，图像传感器20开启以接收外界环境的光线从而生成RWA图像。图像传感器20会将生成的RAW图像发送给硬件抽象模块12。硬件抽象模块12中的缓存单元122接收RAW图像，处理单元124将缓存单元122中的RWA转换为YUV图像。转换完毕后，处理单元124可以将YUV图像发送至框架模块14，再由框架模块14发送到应用程序模块16中，应用程序模块16可以对YUV图像做拍照后处理，例如，美颜、旋转、水印、虚化等拍照后处理；或者，硬件抽象模块12也可以将YUV图像发送至框架模块14，再由框架模块14发送到应用程序模块16，最后由应用模块发送到算法后处理模块18中，算法后处理模块18可以对YUV图像做例如HDR处理、多帧处理等拍照后处理。

目前的拍照方法中，硬件抽象模块12中生成RAW图像与将RAW图像转换为YUV图像这两个操作是串行执行的，即在用户按下快门时，需要由图像传感器20重新获取一张RAW图像，再由硬件抽象模块12对重新获取的这一张RAW图像做转换成YUV图像的转换操作。这种串行执行的方式存在耗时较长的问题。具体地，生成一帧RAW图像大约需要用时200毫秒(ms)，将RAW图像转换为YUV图像大约需要用时80ms，那么从用户按下快门到YUV图像形成这一过程的用时大概需要280ms。若是使用多帧YUV图像合成为一帧YUV图像的方式来形成最终的图像，那么从用户按下快门到多帧YUV图像完成融合生成一帧YUV图像这一过程则大概需要用时500ms。

另外，这种串行执行的方式不能达到“所见即所得”的效果。具体地，假设用户在T时刻按下快门，此时用户要求提供的图像是第N帧图像(可以理解为用户相册中生成的图像是对第N帧图像进行编码处理形成的图像、或者后续应用程序模块16和/或算法后处理模块18处理的图像为第N帧图像)，图像传感器20会在接收到拍照请求指令时先生成第N帧的RAW图像，硬件抽象模块12再将第N帧的RAW图像转换成第N帧的YUV图像并提供给应用程序模块16和/或算法后处理模块18进行拍照后处理，或提供给算法后处理模块18并由其中的编码模块182进行编码处理以存储在存储器，以供用户查阅。然而，电子设备100在T时刻下显示的预览图像实际上是第N-m帧的预览图像，其中第N-m帧至第N帧之间的几帧预览图像还在生成当中，无法进行预览显示。换言之，在T时刻下，用户实际上看到的是第N-m帧的预览图像。现有的拍照方法中将第N帧RAW图像转换成第N帧YUV图像，并将第N帧YUV图像提供给应用程序模块16和/或算法后处理模块18，那么第N帧YUV图像(由第N帧RAW图像处理后得到)与第N-m帧预览图像(由第N-m帧RAW图像处理后得到)之间间隔了m帧图像，这就导致最终提供给应用程序模块16和/或算法后处理模块18的图像与用户看到的图像之间存在时间差，也就无法实现“所见即所得”。在一个例子中，m的取值为6帧，时间差大概为190ms。当然，不同规格的图像传感器20的感光能力不同，对应的生成RAW图像的时间会有所差别，进一步地，会导致m的取值及时间差的取值也相应变化。

本申请的拍照方法是并行执行生成RAW图像与将RAW图像转换为YUV图像这两个操作的。具体地，在相机这个应用程序打开时，图像传感器20持续地生成RAW图像，并将生成的每一帧RAW图像均发送至硬件抽象模块12的缓存单元122中。多帧RAW图像可以保存在缓存单元122的队列中。进一步地，缓存单元122每从图像传感器20中获取到一帧新的RAW图像，缓存单元122即会对队列中的RAW图像进行更新，比如队列可以存储的RAW图像的数量为8帧，队列中已存储有第91帧至第98帧的RAW图像，那么当缓存单元122从图像传感器20中获取到第99帧RAW图像时，缓存单元122会将第91帧RAW图像从队列中剔除，并将第99帧RAW图像保存进队列中，此时队列中存储的是第92帧至第99帧的RAW图像，如此，即可实现队列中的RAW图像的更新。

在缓存单元122持续从图像传感器20获取RAW图像的过程中，如果硬件抽象模块12接收到拍照请求指令，则处理单元124会从缓存队列中选取最新的一帧RAW图像作为待转换图像，并将待转换图像转换为YUV图像。在处理单元124执行选取及转换的操作时，缓存单元122仍旧持续从图像传感器20获取RAW图像。其中，最新的RAW图像的图像生成时间与拍照请求指令的生成时间之间的时间间隔最小。举例来说，假设拍照请求指令的生成时刻为T，队列中存储的多帧RAW图像对应的图像生成时间为t_i(i表示第i帧RAW图像，i∈N+)，那么T-t_i的值最小时，t_i对应的RAW图像即为要选取的待转换图像。一般地，T-t_i的值最小时，t_i对应的RAW图像为最新加进队列中的一帧RAW图像。

本申请的拍照方法中，假设用户在T时刻按下快门，即拍照请求指令在T时刻下生成，此时用户要求提供的图像是第N帧图像。由于图像传感器20生成RAW图像需要一定时间，此时，队列中缓存的最新的一帧RAW图像假设是第N-m帧RAW图像，那么硬件抽象模块12可以直接从队列中选出第N-m帧RAW图像作为待转换图像，再将第N-m帧RAW图像转换为YUV图像并提供给应用程序模块16和/或算法后处理模块18。如此，从接收到拍照请求指令到提供YUV图像给应用程序模块16和/或算法后处理模块18这一过程，仅需要等待将RAW图像转换为YUV图像的这一段时间，而无需等待生成RAW图像的这一段时间，从接收到拍照请求指令到提供YUV图像给应用程序模块16和/或算法后处理模块18这一过程耗时大概只需要80ms，与现有技术中的280ms相比，本申请的拍照方法的拍照耗时大大降低。另外，由于在拍照请求指令生成的时刻，预览图像实际上为第N-m帧预览图像，本申请的拍照方法是将用户预览到的第N-m帧预览图像对应的第N-m帧RAW图像转换成YUV图像并提供给应用程序模块16和/或算法后处理模块18，使得提供给应用程序模块16和/或算法后处理模块18的图像与用户实际上想要的图像更加接近，实现了“所见即所得”的效果，用户的拍照体验更好。

请参阅图5，在某些实施方式中，拍照方法还包括：

013：每获取到一张新的RAW图像时即刻更新队列；

014：从更新的队列中选取最新的RAW图像作为新的待转换图像，并将新的待转换图像转换为YUV图像；和

015：循环执行更新、选取及转换的步骤直至获取到预定数量的YUV图像。

请再参阅图4，在某些实施方式中，步骤013可以由缓存单元122实现。步骤014可以由处理单元124实现。步骤015可以由缓存单元122和处理单元124共同实现。也即是说，缓存单元122可用于在每获取到一张新的RAW图像时即刻更新队列。处理单元124可用于从更新的队列中选取最新的RAW图像作为新的待转换图像，并将新的待转换图像转换为YUV图像。缓存单元122和处理单元124可共同用于循环执行更新、选取及转换的步骤直至获取到预定数量的YUV图像。

具体地，电子设备100接收到拍照请求指令时，可以仅生成一帧YUV图像提供给应用程序模块16和/或算法后处理模块18，也可以生成多帧YUV图像，将多帧YUV图像融合后再提供给应用程序模块16和/或算法后处理模块18。在电子设备100采用多帧YUV图像融合的拍照方式时，本申请的拍照方法的执行流程大致如下。

假设用户在T时刻下按下快门，即拍照请求指令T时刻下生成，此时用户要求提供的图像是第N帧YUV图像。而目前队列中存储的最新的一帧RAW图像是第N-m帧RAW图像，那么处理单元124会从队列中选取第N-m帧RAW图像作为待转换图像，并将第N-m帧RAW图像转换成YUV图像。随后，在缓存单元122从图像传感器20中接收到第N-m+1帧RAW图像时，队列更新，处理单元124再次从队列中选取第N-m+1帧RAW图像作为新的待转换图像，并将第N-m+1帧RAW图像转换成YUV图像。随后，在缓存单元122从图像传感器20中接收到第N-m+2帧RAW图像时，队列更新，处理单元124再次从队列中选取第N-m+2帧RAW图像作为新的待转换图像，并将第N-m+2帧RAW图像转换成YUV图像。如此循环往复，直至获取到预定数量的YUV图像为止，例如循环执行获取及转换的操作直至获取到6帧的YUV图像为止。当然，6帧仅为示例，预定数量的取值还可以是2帧、3帧、4帧、5帧、7帧、8帧、9帧等等，在此不作限定。在一个例子中，硬件抽象模块12每获取到一帧YUV图像，便会将YUV图像发送至框架模块14，再由框架模块14发送到应用程序模块16，应用程序模块16在获取到预定数量的YUV图像后，将多帧的YUV图像做融合处理，应用程序模块16将融合处理后得到的图像作为用户要求的第N帧图像提供给应用程序模块16和/或算法后处理模块18。在另一个例子中，硬件抽象模块12每获取到一帧YUV图像，便会将YUV图像发送至框架模块14，再由框架模块14发送到应用程序模块16，最后由应用程序模块16将YUV图像发送给算法后处理模块18，算法后处理模块18在获取到预定数量的YUV图像后，将多帧的YUV图像做融合处理，并将融合处理后得到的图像发送给应用程序模块16，应用程序模块16可以将融合处理后得到的图像作为用户要求的第N帧图像提供给应用程序模块16和/或算法后处理模块18。

本申请的拍照方法在基于多帧融合的方式获取图像时，从接收到拍照请求指令到提供图像给应用程序模块16和/或算法后处理模块18这一过程的耗时大概只需要300ms，与现有技术中的500ms相比，本申请的拍照方法的拍照耗时大大降低。另外，本申请的拍照方法是将第N-m帧RAW图像以及第N-m帧后续的几帧RAW图像输出以进行融合处理，与现有技术中的将第N帧RAW图像以及第N帧RAW图像后续的几帧RAW图像输出以进行融合处理的方式相比，本申请的拍照方法最终生成的图像更贴近于用户所想要的图像，用户的拍照体验更佳。

请参阅图6，在某些实施方式中，拍照方法还包括：

016：获取YUV图像的第一帧号及最近返回给框架模块14的图像的第二帧号；

017：判断第一帧号与第二帧号的差值是否大于预定差值；和

018：若是，则先将预定帧数的后续预览图像的参数按照预定次序发送至框架模块14，再将YUV图像发送至框架模块14，后续预览图像为在第一帧号的YUV图像转换完毕之后生成的预览图像，预定帧数根据第一帧号及第二帧号确定。

请再参阅图4，在某些实施方式中，步骤016、步骤017及步骤018均可以由处理单元124实现。也即是说，处理单元124还可用于获取YUV图像的第一帧号及最近返回给框架模块14的图像的第二帧号、判断第一帧号与第二帧号的差值是否大于预定差值、以及在第一帧号与第二帧号的差值大于预定差值时先将预定帧数的后续预览图像的参数按照预定次序发送至框架模块14，再将YUV图像发送至框架模块14。其中，后续预览图像为在第一帧号的YUV图像转换完毕之后生成的预览图像；预定帧数根据第一帧号及第二帧号确定。

具体地，假设用户在T时刻按下快门，即拍照请求指令在T时刻下生成，此时用户要求提供的图像是第100帧YUV图像。由于图像传感器20生成RAW图像需要一定时间，此时队列中存储的最新的RAW图像假设为第94帧RAW图像(此时已生成的最新的预览图像，即当前预览图像为第94帧预览图像)，那么处理单元124将第94帧RAW图像转换成YUV图像时，会将这帧YUV图像标记为第100帧YUV图像，进一步地需要将这第100帧YUV图像传输至框架模块14，以由框架模块14进一步传送给应用程序模块16。由于生成RAW图像与将RAW图像转换成YUV图像是并行执行的，并且RAW图像转换成YUV图像这一操作的用时比生成RAW图像的用时少，这就会导致同一帧数的YUV图像比预览图像生成得早，比如，第100帧YUV图像生成时，预览图像只生成到第94帧(即当前预览图像为第94帧)，而第100帧预览图像还在生成当中，那么第100帧YUV图像的生成时间就比第100帧预览图像的生成时间来得早。但是高通的845/855平台对硬件抽象模块12返回给框架模块14的图像的帧号做了严格的限定，图像从硬件抽象模块12返回给框架模块14时，必须将图像按照帧号的从小到大的顺序依次返回。因此，处理单元124在将第94帧RAW图像转换成YUV图像，得到第100帧YUV图像后，由于YUV图像的第一帧号(即第100帧)与最近返回给框架模块14的图像的第二帧号(即最近一次返回给框架模块14的图像的第二帧号，在本例子中为当前预览图像的帧号，即第94帧)之间的差值大于1(即预定差值)，即YUV图像的第一帧号与最近返回给框架模块14的图像的第二帧号未连续，此时无法直接返回这个第100帧YUV图像，而是需要先将预定帧数的后续预览图像的参数按照后续预览图像的帧号的从小到大的顺序依次返回给框架模块14，最后再将第100帧YUV图像返回给框架模块14。其中，预定帧数由第一帧号及第二帧号计算得到，具体地，预定帧数＝第一帧号-(第二帧号+1)。以第一帧号为第100帧，第二帧号为第94帧为例，则预定帧数＝100-(94+1)＝5帧。那么，处理单元124需要依次将第95帧预览图像(后续预览图像)的参数、第96帧预览图像(后续预览图像)的参数、第97帧预览图像(后续预览图像)的参数、第98帧预览图像(后续预览图像)的参数、第99帧预览图像(后续预览图像)的参数传输至框架模块14。在这5帧后续预览图像的参数均传输至框架模块14后，处理单元124再将第100帧YUV图像传输至框架模块14。

上一实施例涉及到的是电子设备100将一帧YUV图像提供给应用程序模块16和/或算法后处理模块18的拍照方式。在电子设备100使用多帧YUV图像融合的拍照方式时，假设需要融合的YUV图像的帧数为4帧，那么，用户按下快门时，会生成按时间先后顺序依次排列的4个拍照请求指令，分别为R1、R2、R3、R4。假设拍照请求指令R1对应的用户要求提供的图像为第100帧YUV图像，那么拍照请求指令R2即对应第101帧YUV图像，拍照请求指令R3对应第102帧YUV图像，拍照请求指令R4对应第103帧YUV图像。对于拍照请求指令R1，假设此时当前预览图像为94帧，那么处理单元124无法直接将第一帧号(此时第一帧号为第100帧)的YUV图像直接返回给框架模块14，需要先将5帧后续预览图像的参数先返回给框架模块14，再将第一帧号的YUV图像返回给框架模块14。对于拍照请求指令R2，由于拍照请求指令R2对应第101帧YUV图像，处理单元124上一次返回给框架模块14的图像的帧号为第100帧(即最近返回给框架模块14的图像的第二帧号为第100帧)，第101帧YUV图像与第100帧YUV图像的帧号是连续的(二者的差值等于1，未大于预定差值1)，那么这第101帧就可以直接返回给框架模块14，无需再执行步骤016至步骤018。同理，拍照请求指令R3对应的第102帧YUV图像以及拍照请求指令R4对应的第103帧YUV图像也可以直接返回给框架模块14。

本申请的拍照方法中，处理单元124返回给框架模块14的图像可以按次序返回，处理单元124无需等到预定数量的后续预览图像全部生成后才能将第一帧号的YUV图像返回给框架模块14，而是直接将预定数量的后续预览图像的参数先返回给框架模块14，再将第一帧号的YUV图像返回给框架模块14，如此，第一帧号的YUV图像可以更快地传输至框架模块14，用户也可以更快得到图像，拍照耗时较短。

请参阅图7，在某些实施方式中，参数包括预览图像的生成时间及元数据中的至少一种。换言之，参数可以仅包括预览图像的生成时间；或者，参数可以仅包括预览图像的元数据；或者，参数可以同时包括预览图像的生成时间以及预览图像的元数据。其中，元数据指的是与预览图像对应的RAW图像在生成过程中涉及到的曝光相关参数(如光圈大小、快门速度、感光度等)、对焦相关参数、白平衡相关参数、图像信息(如图像宽度、高度等)等等。拍照方法在步骤018前还包括：

019：根据当前预览图像的参数估计后续预览图像的参数。

请再参阅图4，步骤019可以由处理单元124实现。也即是说，处理单元124还可用于根据当前预览图像的参数估计后续预览图像的参数。

可以理解，处理单元124要传输预定帧数的后续预览图像的参数值框架模块14时，这些后续预览图像是还未生成完毕的，此时实际上是无法获得所有的后续预览图像的参数的。但是为了能尽早地将拍照完成帧(即第一帧号的YUV图像)返回给框架模块14，就需要对这些后续预览图像的参数进行估计。由于当前预览图像的参数是已知的，后续预览图像是接续在当前预览图像之后的几帧预览图像，那么就可以以当前预览图像的参数来对后续预览图像的参数进行估计，这样估计出来的后续预览图像的参数与后续预览图像的实际参数不会有太大偏差。具体地，例如，可以以当前预览图像的生成时间来估计多帧后续预览图像的生成时间，以当前预览图像的曝光相关参数估计多帧后续预览图像的曝光相关参数，以当前预览图像的对焦相关参数估计多帧后续预览图像的对焦相关参数，以当前预览图像的白平衡相关参数估计多帧后续预览图像的白平衡相关参数等等。

处理单元124可以一边进行参数估计一边执行返回参数给框架模块14的操作，即参数估计与返回参数给框架模块14的操作并行执行，以进一步加快第一帧号的YUV图像的返回进程。比如，处理单元124可以先估计第95帧预览图像的参数，再将第95帧预览图像的参数返回给框架模块14，，同时，在将第95帧预览图像的参数返回给框架模块14过程中同时执行估计第96帧预览图像的参数、第97帧预览图像的参数、第98帧预览图像的参数及第99帧预览图像的参数的操作。在将第95帧预览图像的参数返回给框架模块14后，若第96帧预览图像的参数已估计完成，那么，处理单元124可以直接将第96帧预览图像的参数返回给框架模块14。如此，可以减小返回预定帧数的后续预览图像的参数给框架模块14这一过程的用时，加快第一帧号的YUV图像的返回进程。

请参阅图8，在某些实施方式中，拍照方法还包括：

020：判断是否在预定使用模式下接收到拍照请求指令；

021：若是，则在接收到拍照请求指令时先获取RAW图像，再将RAW图像转换为YUV图像；

若否，则在接收到拍照请求指令时进入从队列中选取最新的RAW图像作为待转换图像的步骤。

请再参阅图4，在某些实施方式中，步骤020可以由处理单元124实现。步骤021可以由缓存单元122及处理单元124共同实现。也即是说，处理单元124还用于判断是否在预定使用模式下接收到拍照请求指令。若处理单元124在预定使用模式下接收到拍照请求指令，则缓存单元122先获取RAW图像，处理单元124再将RAW图像转换为YUV图像。若处理单元124未在使用模式下接收到拍照请求指令，则处理单元124在接收到拍照请求指令时从队列中选取最新的RAW图像作为待转换图像。

其中，预定使用模式包括高动态范围图像(High-Dynamic Range，HDR)、闪光灯中的至少一种。

可以理解，在HDR模式下，至少需要三帧RAW图像来融合输出一帧高动态范围的图像。这三帧RAW图像的曝光时间均不同，一般地，一帧RAW图像的曝光时间大于普通模式下拍摄的RAW图像的曝光时间，另一帧RAW图像的曝光时间与普通模式下拍摄的RAW图像的曝光时间相同，剩余的一帧RAW图像的曝光时间小于普通模式下拍摄的RAW图像的曝光时间。那么在HDR模式下，后续预览图像的参数(如曝光时间等)就无法基于当前预览图像的参数进行估计，处理单元124无法获得后续预览图像的参数，也就无法先返回后续预览图像的参数给框架模块14，对应地，第一帧号的YUV图像也无法被返回。换言之，在HDR模式下，无法采用本申请的并行执行生成RAW图像与将RAW图像转换为YUV图像的操作的拍照方法，仍旧需要使用串行执行生成RAW图像与将RAW图像转换为YUV图像的操作的拍照方法，从而使得拍照能够正常进行。

同理，在闪光灯模式下生成的RAW图像的参数与普通模式下生成的RAW图像的参数是不同的，后续预览图像的参数无法基于当前预览图像的参数进行估计，那么处理单元124无法获得后续预览图像的参数，也就无法先返回后续预览图像的参数给框架模块14，对应地，第一帧号的YUV图像也无法被返回。换言之，在闪光灯模式下，无法采用本申请的并行执行生成RAW图像与将RAW图像转换为YUV图像的操作的拍照方法，还需要使用串行执行生成RAW图像与将RAW图像转换为YUV图像的操作的拍照方法，从而使得拍照能够正常进行。

请再参阅图4，图像传感器20包括图像采集单元(sensor)22和RAW图像数据单元(Image Front-end，IFE)24，图像采集单元22用于接收光线以采集获得图像数据(RAW图像)，RAW图像数据单元24用于将图像采集单元22采集的图像数据传输至图像处理器10，其中，RAW图像数据单元24可以对图像采集单元22采集获得的RAW图像进行处理并输出处理后的RAW图像至图像处理器10。

硬件抽象模块12用于接收RAW图像、将RAW图像转换为YUV图像、及传输RAW图像和/或YUV图像。硬件抽象模块12中的缓存单元122可以缓存RAW图像数据单元24传输来的RAW图像。处理单元124包括RAW转RGB处理单元126以及降噪及YUV后处理单元(Image ProcessEngine，IPE)128。RAW转RGB处理单元126与缓存单元122连接，用于将来自缓存单元122的RAW图像转换为RGB图像。降噪及YUV后处理单元128与RAW转RGB处理单元126、以及框架模块14连接，降噪及YUV后处理单元128用于处理RGB图像得到YUV图像并将YUV图像通过框架模块14传输给应用程序模块16，或者，将YUV图像依次通过框架模块14及应用程序模块16传输给算法后处理模块18。缓存单元122也可直接将RWA图像经框架模块14传输给应用程序模块16，由应用程序模块16对RAW图像进行拍照后处理，或者，缓存单元122也可直接将RWA图像经框架模块14及应用程序模块16传输给算法后处理模块18，由算法后处理模块18对RAW图像进行拍照后处理。硬件抽象模块12还可传输图像的元数据(metadata)，元数据包括3A(自动曝光控制AE、自动聚焦控制AF、自动白平衡控制AWB)信息、图片信息(例如图像宽度、高度)、曝光参数(光圈大小、快门速度和感光度光圈值)等，可以利用元数据辅助实现对RAW图像和/或YUV图像的拍照后处理(例如包括美颜处理、滤镜处理、旋转处理、水印处理、虚化处理、HDR处理、及多帧处理中的至少一种)。在一个实施例中，元数据包括感光度(ISO)信息，根据感光度信息可以辅助调节RAW图像和/或YUV图像的亮度，从而实现与调节亮度相关的拍照后处理。如此，硬件抽象模块12不对RAW图像或YUV图像进行拍照后处理，拍照后处理的图像算法无需在硬件抽象模块12本身的算法架构上做流程截断，只需在外部做兼容，设计难度减小。

框架模块14包括有相机服务模块142。硬件抽象模块12通过相机服务模块142与应用程序模块146连接。相机服务模块142对RAW图像和/或YUV图像进行封装并将封装后的RAW图像和/或YUV图像传输至应用程序模块16、及将应用程序模块16回传的RAW图像传输至硬件抽象模块12。如此，通过相机服务模块142对图像进行封装，可以提高图像传输的效率，并且能够提高图像传输的安全性。

应用程序模块16用于与相机服务模块142连接。应用程序模块14可以用于根据用户的输入产生控制指令并将该控制指令通过相机服务模块142以及硬件抽象模块12发送给图像传感器20以对图像传感器20的工作进行相应的控制。

算法后处理模块18通过应用程序模块16及相机服务模块142与硬件抽象模块12连接，算法后处理模块18内存储有至少一种图像处理算法(例如包括美颜处理算法、滤镜处理算法、旋转处理算法、水印处理算法、虚化处理算法、HDR处理算法、及多帧处理算法中的至少一种)，算法后处理模块18用于采用图像处理算法处理RAW图像和/或YUV图像以实现拍照后处理。由于对RAW图像和/或YUV图像进行拍照后处理都由算法后处理模块18实现，从而无需在硬件抽象模块12本身的算法架构上做流程截断，只需在外部做兼容，设计难度减小。并且由于拍照后处理可由算法后处理模块18实现，因此算法后处理模块18的功能更单一、更聚焦，从而可以达到移植快，扩展新的图像处理算法简单等效果。

算法后处理模块18还可以包括编码单元182，编码单元182用于将YUV图像转换为JPG图像(或者JPEG图像等)。具体地，在算法后处理模块18处理的是YUV图像(如本申请的拍照方法获得的YUV图像)时，编码单元182可以直接对YUV图像进行编码以形成JPG图像，从而提高图像的输出速度。在算法后处理模块18处理的是RAW图像时，算法后处理模块18可以将实现拍照后处理的RAW图像经应用程序模块16及框架模块14回传至硬件抽象模块12，例如回传至RAW转RGB处理单元124，RAW转RGB处理单元124可以用于将算法后处理模块18处理过的实现拍照后处理并经应用程序模块16及框架模块14回传的RAW图像转换为RGB图像，降噪及YUV后处理单元126可以将RGB图像转换为YUV图像，该YUV图像可以再次传输至算法后处理模块18的编码单元162中以将该YUV图像转换为JPG图像。在某些实施方式中，算法后处理模块18也可以将实现拍照后处理的RAW图像经应用程序模块16及框架模块14回传至缓存单元122，回传的RAW图像经过RAW转RGB处理单元124和降噪及YUV后处理单元126形成YUV图像，再传输至编码单元162以形成JPG图像。在形成JPG图像后，算法后处理模块16可以用于将JPG图像传输至存储器中保存。

综上，本申请实施方式的拍照方法、图像处理器10、拍照装置30及电子设备100在拍照时并行执行生成RAW图像与将RAW图像转换为YUV图像的操作，在接收到拍照请求指令时将已经生成的最新的RAW图像来转换为YUV图像，减小了拍照耗时，同时实现“所见即所得”的效果，用户拍照体验更佳。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (8)

1.一种拍照方法，其特征在于，所述拍照方法应用于图像处理器，所述图像处理器包括硬件抽象模块及框架模块，所述硬件抽象模块包括缓存单元及处理单元，所述硬件抽象模块与所述框架模块通信，所述拍照方法包括：

持续获取RAW图像，并将获取的多张所述RAW图像保存进队列；

在接收到拍照请求指令时，从所述队列中选取最新的RAW图像作为待转换图像，并将所述待转换图像转换为YUV图像；

获取所述YUV图像的第一帧号及最近返回给所述框架模块的图像的第二帧号；

判断所述第一帧号与所述第二帧号的差值是否大于预定差值；

若是，则先将预定帧数的后续预览图像的参数按照预定次序发送至所述框架模块，再将所述YUV图像发送至框架模块，所述后续预览图像为在所述第一帧号的所述YUV图像转换完毕之后生成的预览图像，所述预定帧数根据所述第一帧号及所述第二帧号确定。

2.根据权利要求1所述的拍照方法，其特征在于，所述参数包括所述后续预览图像的生成时间及元数据中的至少一种；所述拍照方法在所述先将预定帧数的后续预览图像的参数按照预定次序发送至所述框架模块的步骤前，还包括：

根据当前预览图像的参数估计所述后续预览图像的参数。

3.根据权利要求1所述的拍照方法，其特征在于，所述拍照方法还包括：

判断是否在预定使用模式下接收到所述拍照请求指令，所述预定使用模式包括高动态范围图像模式、闪光灯模式中的至少一种；

若是，则在接收到所述拍照请求指令时先获取RAW图像，再将所述RAW图像转换为YUV图像；

若否，则在接收到所述拍照请求指令时进入所述从所述队列中选取最新的RAW图像作为待转换图像的步骤。

4.一种图像处理器，其特征在于，所述图像处理器包括硬件抽象模块及框架模块，所述硬件抽象模块包括缓存单元及处理单元，所述硬件抽象模块与所述框架模块通信；所述缓存单元用于持续获取RAW图像，并将获取的多张所述RAW图像保存进队列；

所述处理单元用于：

在接收到拍照请求指令时，从所述队列中选取最新的RAW图像作为待转换图像，并将所述待转换图像转换为YUV图像；

获取所述YUV图像的第一帧号及最近返回给所述框架模块的图像的第二帧号；

判断所述第一帧号与所述第二帧号的差值是否大于预定差值；

若是，则先将预定帧数的后续预览图像的参数按照预定次序发送至所述框架模块，再将所述YUV图像发送至框架模块，所述后续预览图像为在所述第一帧号的所述YUV图像转换完毕之后生成的预览图像，所述预定帧数根据所述第一帧号及所述第二帧号确定。

5.根据权利要求4所述的图像处理器，其特征在于，所述参数包括所述后续预览图像的生成时间及元数据中的至少一种；所述处理单元还用于根据当前预览图像的参数估计所述后续预览图像的参数。

6.根据权利要求4所述的图像处理器，其特征在于，所述处理单元还用于判断是否在预定使用模式下接收到所述拍照请求指令；

若所述处理单元在所述预定使用模式下接收到所述拍照请求指令，则所述缓存单元先获取RAW图像，所述处理单元再将所述RAW图像转换为YUV图像，所述预定使用模式包括高动态范围图像模式、闪光灯模式中的至少一种；

若所述处理单元未在所述预定使用模式下接收到所述拍照请求指令，则所述处理单元在接收到所述拍照请求指令时从所述队列中选取最新的RAW图像作为待转换图像。

7.一种拍照装置，其特征在于，所述拍照装置包括：

权利要求4-6任一项所述的图像处理器；和

图像传感器，所述图像传感器与所述图像处理器连接。

8.一种电子设备，其特征在于，所述电子设备包括：

权利要求7所述的拍照装置；和

壳体，所述拍照装置与所述壳体结合。

Images