CN110300240B - 图像处理器、图像处理方法、拍照装置及电子设备 - Google Patents

Abstract

本申请公开了一种图像处理器、图像处理方法、拍照装置及电子设备。图像处理器包括应用程序模块、硬件抽象模块及算法后处理模块。应用程序模块用于创建第一预定任务。硬件抽象模块与应用程序模块连接。硬件抽象模块用于根据第一预定任务创建至少一条第一管道、至少一条第二管道以及流。第一管道用于处理RAW图像得到初始预览图像。第二管道用于处理RAW图像得到初始目标图像。流用于缓存初始预览图像及初始目标图像。算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接。算法后处理模块内存储有至少一种图像处理算法。算法后处理模块用于采用图像处理算法处理初始预览图像得到最终预览图像和/或处理初始目标图像得到最终目标图像。

Description

图像处理器、图像处理方法、拍照装置及电子设备

技术领域

本申请涉及成像技术领域，特别涉及一种图像处理器、图像处理方法、拍照装置及电子设备。

背景技术

Camx是基于Google的HAL3设计的新的架构。Camx的设计思路中，由于创建管道(pipeline)需要的时间较长，且占用的内存也较大，在相机运行过程中再创建pipeline会影响出图的速度，因此，在相机启动时就要将当前模式下所有需要用到的pipeline创建好。但在需要对相机拍摄的图像做进一步的图像处理，比如美颜、虚化、水印等图像处理时，相机启动时需要创建的pipeline较多，占用的内存较大。对于低内存配置的手机而言，相机启动时若创建了较多的pipeline，手机中的许多在后台运行的应用都需要被关闭才能保证相机的流畅运行。

发明内容

本申请实施方式提供了一种图像处理器、图像处理方法、拍照装置及电子设备。

本申请实施方式的图像处理器包括硬件抽象模块、应用程序模块及算法后处理模块。所述应用程序模块用于创建第一预定任务。所述硬件抽象模块与所述应用程序模块连接，所述硬件抽象模块用于根据所述第一预定任务创建至少一条第一管道、至少一条第二管道以及流，所述第一管道用于处理RAW图像得到初始预览图像，所述第二管道用于处理所述RAW图像得到初始目标图像，所述流用于缓存所述初始预览图像及所述初始目标图像。所述算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接，所述算法后处理模块内存储有至少一种图像处理算法，所述算法后处理模块用于采用所述图像处理算法处理所述初始预览图像得到最终预览图像和/或处理所述初始目标图像得到最终目标图像。

本申请实施方式的图像处理方法包括：所述应用程序模块创建第一预定任务；所述硬件抽象模块用于根据所述第一预定任务创建至少一条第一管道、至少一条第二管道以及流，所述第一管道用于处理RAW图像得到初始预览图像，所述第二管道用于处理所述RAW图像得到初始目标图像，所述流用于缓存所述初始预览图像及所述初始目标图像；所述算法后处理模块采用图像处理算法处理所述初始预览图像得到最终预览图像和/或处理所述初始目标图像得到最终目标图像。

本申请实施方式的拍照装置包括图像处理器及图像传感器。所述图像传感器与所述图像处理器连接。图像处理器包括硬件抽象模块、应用程序模块及算法后处理模块。所述应用程序模块用于创建第一预定任务。所述硬件抽象模块与所述应用程序模块连接，所述硬件抽象模块用于根据所述第一预定任务创建至少一条第一管道、至少一条第二管道以及流，所述第一管道用于处理RAW图像得到初始预览图像，所述第二管道用于处理所述RAW图像得到初始目标图像，所述流用于缓存所述初始预览图像及所述初始目标图像。所述算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接，所述算法后处理模块内存储有至少一种图像处理算法，所述算法后处理模块用于采用所述图像处理算法处理所述初始预览图像得到最终预览图像和/或处理所述初始目标图像得到最终目标图像。

本申请实施方式的电子设备包括上述的拍照装置及壳体。所述拍照装置与所述壳体结合。拍照装置包括图像处理器及图像传感器。所述图像传感器与所述图像处理器连接。图像处理器包括硬件抽象模块、应用程序模块及算法后处理模块。所述应用程序模块用于创建第一预定任务。所述硬件抽象模块与所述应用程序模块连接，所述硬件抽象模块用于根据所述第一预定任务创建至少一条第一管道、至少一条第二管道以及流，所述第一管道用于处理RAW图像得到初始预览图像，所述第二管道用于处理所述RAW图像得到初始目标图像，所述流用于缓存所述初始预览图像及所述初始目标图像。所述算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接，所述算法后处理模块内存储有至少一种图像处理算法，所述算法后处理模块用于采用所述图像处理算法处理所述初始预览图像得到最终预览图像和/或处理所述初始目标图像得到最终目标图像。

本申请实施方式的图像处理器、图像处理方法、拍照装置及电子设备将许多图像处理算法放在算法后处理模块中，硬件抽象模块仅需创建少量的管道来对RAW图像做一些初始的处理即可。需要创建的管道的数量减少后，管道创建所需的时间也减少，拍照装置的启动速度较快，管道创建所需占用的内存也减小，不会对手机运行的流畅度产生影响，极大地改善了用户的使用体验。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1和图2是本申请某些实施方式的电子设备的结构示意图。

图3是本申请一个实施方式的拍照装置的示意图。

图4是本申请另一个实施方式的拍照装置的示意图。

图5至图9是本申请某些实施方式的图像处理方法的流程图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请参阅图1和图2，本申请提供一种电子设备100。其中，电子设备100可以是手机、平板电脑、笔记本电脑、智能穿戴设备(智能手表、智能手环、智能头盔、智能眼镜等)、虚拟现实设备等。本申请以电子设备100是手机为例进行说明，但电子设备100的形式并不限于手机。电子设备100包括拍照装置30及壳体40。拍照装置30包括图像处理器10和图像传感器20。图像处理器10与图像传感器20连接。

拍照装置30与壳体40结合。在一个例子中，壳体40包括主体43及可动支架41，可动支架41在驱动装置的驱动下可以相对主体43运动，例如，可动支架41可以相对于主体43滑动，以滑入主体43(如图2所示)或从主体43滑出(如图1所示)。拍照装置30中的图像传感器20可以安装在可动支架41上，可动支架41运动可带动拍照装置30缩回主体43内或从主体43中伸出，图像处理器10收容在壳体40形成的收容空间内。壳体40上开设有一个或多个采集窗口，图像传感器20与采集窗口对准安装以使图像传感器20能够接收外界环境的光线以生成原始图像。用户在需要使用拍照装置30时，可以触发可动支架41从主体43中滑出以带动图像传感器20从主体43中伸出；用户不需要使用拍照装置30时，可以触发可动支架41滑入主体43以带动图像传感器20缩回主体43中。在另一个例子中，壳体40上开设有通孔，拍照装置30中的图像传感器20安装在壳体40内并与通孔对准，通孔可以开设在壳体40的正面或背面，拍照装置30接收经过通孔的光线以生成原始图像，图像处理器10收容在壳体40形成的收容空间内。

请参阅图3，拍照装置30包括图像处理器10和图像传感器20。图像处理器10和图像传感器20连接。图像传感器20包括图像采集单元22(sensor)和RAW图像数据单元24(ImageFront-end，IFE)，图像传感器20的数量可为一个或多个。图像采集单元22用于接收光线以获得图像数据(RAW图像)。RAW图像数据单元24用于将图像采集单元22采集的图像数据传输至图像处理器10中。其中，RAW图像数据单元24可以对图像采集单元22采集的RAW图像进行处理并输出处理后的RAW图像至图像处理器10。

图像处理器10包括硬件抽象模块12、应用程序模块14(APP)和算法后处理模块(Algo process service，APS)。

硬件抽象模块12用于获取RAW图像。硬件抽象模块12可以与图像传感器20连接。硬件抽象模块12可以包括与图像传感器20连接的缓存单元128(buffer queue)。缓存单元128可以缓存来自图像传感器20的RAW图像。硬件抽象模块12还可以建立管道及流126。管道可以对缓存单元128中的RAW做多种处理，比如，将RAW图像转换为RGB图像、将RGB图像转换为YUV图像、融合多帧YUV图像、将YUV图像转换为JPG格式的图像等等。管道的数量可以是一条或者多条，不同管道可以执行相同或不同的功能。每条管道中可以有一个或多个节点，每条管道执行的功能由该管道中的一个或多个节点共同来完成。流126可以缓存管道处理RAW图像的过程中产生的图像数据、管道处理RAW图像后得到的图像数据、以及作为相关联的多个管道之间的连接接口等等。作为缓存器的流126的数量可为一个或多个，在一个例子中，不同管道处理后的图像数据缓存在不同的流126中。硬件抽象模块12处理RAW图像后得到的图像数据可以发送到应用程序模块14中。硬件抽象模块12还可以将元数据(metadata)传输至应用程序模块14。元数据包括3A(自动曝光控制AE、自动聚焦控制AF、自动白平衡控制AWB)信息、图片信息(例如图像宽度、高度)、曝光参数(光圈大小、快门速度和感光度光圈值)等。

应用程序模块14与硬件抽象模块12连接。应用程序模块14可以用于根据用户的输入产生控制指令并将该控制指令通过硬件抽象模块12发送给图像传感器20以对图像传感器20的工作进行相应的控制。其中，应用程序模块14可以以64比特位(bit)运行，并且拍照后处理的图像处理算法的静态数据连接库(lib)可以配置为64比特位，以提高运算速度。应用程序模块14还可以接收硬件抽象模块12传输的图像数据，并将该图像数据传输至算法后处理模块16。应用程序模块14也可以接收硬件抽象模块12传输的元数据，并将该元数据传输至算法后处理模块16。

算法后处理模块16通过应用程序模块14与硬件抽象模块12连接。算法后处理模块16内存储有至少一种图像处理算法(例如包括美颜处理算法、滤镜处理算法、旋转处理算法、水印处理算法、虚化处理算法、HDR处理算法、多帧处理算法等中的至少一种)。算法后处理模块16可以接收来自应用程序模块14的图像数据，并采用图像处理算法对图像数据做进一步处理。算法后处理模块16还可以接收应用程序模块14传输的元数据，算法后处理模块16可以利用元数据辅助实现对图像数据的后处理。算法后处理模块16还包括编码模块162，编码模块162可以用于对图像数据的格式进行转换，比如将YUV格式的图像转换为JPG格式的图像等。

请参阅图4，图像处理器10还可以包括相机服务模块18。硬件抽象模块12通过相机服务模块18与应用程序模块14连接。相机服务模块18可以将硬件抽象模块12处理得到的图像数据传输至应用程序模块14。通过相机服务模块18对图像数据的封装，可以提高图像传输的效率，并且能够提高图像传输的安全性。在图像处理器10还包括相机服务模块18时，图像处理器10中的图像数据的传输路径可以进行相应调整。例如，硬件抽象模块12向应用程序模块14传输处理后的图像数据时，硬件抽象模块12先将处理后的图像数据传输至相机服务模块18，相机服务模块18对处理后的图像数据进行封装并将封装且处理后的图像数据传输至应用程序模块14。硬件抽象模块12向应用程序模块14传输元数据时，硬件抽象模块12先将元数据传输至相机服务模块18，相机服务模块18再将元数据传输至应用程序模块14。

本申请的实施方式中，在用户发起拍照请求时，应用程序模块14用于创建第一预定任务。硬件抽象模块12用于根据第一预定任务创建至少一条第一管道122、至少一条第二管道124以及流126。第一管道122用于处理RAW图像得到初始预览图像、第二管道124用于处理RAW图像得到初始目标图像。流126用于缓存初始预览图像及初始目标图像。算法后处理模块16用于采用图像处理算法处理初始预览图像得到最终预览图像和/或处理初始目标图像得到最终目标图像，其中最终预览图像为用户预览时所看到的图像，最终目标图像为用户在电子设备100上点击拍摄后可以请求到的图像。

具体地，在拍照装置30被启用时，应用程序模块14会即刻创建第一预定任务，并将第一预定任务发送给硬件抽象模块12。硬件抽象模块12接收到第一预定任务后，根据第一预定任务创建至少一条第一管道122、至少一条第二管道124、以及流126。第一管道122可以从缓存单元128中获取RAW图像，第一管道122中的一个或多个节点对RAW图像做处理得到初始预览图像，例如，第一管道122中的一个或多个节点可以先将RAW图像转换为RGB图像，再将RGB图像转换为YUV图像以得到初始预览图像等等，初始预览图像未经过美颜、滤镜、旋转、水印等处理。第一管道122处理RAW图像得到的初始预览图像可以存储在与第一管道122对应的流126中。第二管道124也可以从缓存单元128中获取RAW图像，第二管道124中的一个或多个节点对RAW图像做处理得到初始目标图像，例如，第二管道124中的一个或多个节点可以先将RAW图像转换为RGB图像，再将RGB图像转换为YUV图像以得到初始目标图像等等，初始目标图像同样未经过美颜、滤镜、旋转、水印等处理。第二管道124处理RAW图像得到的初始目标图像可以存储在与第二管道124对应的流126中。

随后，硬件抽象模块12将缓存在流126中的初始预览图像和/或初始目标图像传输至应用程序模块14。应用程序模块14接收到初始预览图像和/或初始目标图像后，再将初始预览图像和/或初始目标图像传输到算法后处理模块16中，以便算法后处理模块16采用图像处理算法对初始预览图像做进一步后处理得到最终预览图像和/或采用图像处理算法对初始目标图像做进一步的后处理得到最终目标图像。比如，算法后处理模块16可以先对初始预览图像做美颜、滤镜等处理，再对美颜、滤镜处理后的初始预览图像做YUV图像转纹理图像处理、绘制处理等一系列处理得到最终预览图像，算法后处理模块16可以将最终预览图像回传给应用程序模块14以进行显示等。再比如，算法后处理模块16可以先对初始目标图像做美颜、虚化等处理，再由编码模块162对美颜、虚化处理后的初始目标图像做YUV图像转JPG格式图像的编码处理得到最终目标图像，算法后处理模块16可以将最终目标图像回传给应用程序模块14以进行存储等。

可以理解，现有的多种图像处理算法都是放在硬件抽象模块12中的，采用这些图像处理算法处理RAW图像的过程就必须在硬件抽象模块12中执行。硬件抽象模块12要执行这些图像处理算法时需要建立多条管道，使得每条管道可以对应执行不同的图像处理算法。多条管道是在拍照装置30启动的时候就必须创建好的，这样才能使得拍照装置30启动完毕之后可以最快地获取到预览图像并显示在显示屏上以供用户观看。但创建管道所需要的时间是比较长的，创建管道所占用的内存也比较大。当需要创建的管道的条数越多时，管道创建所需的时间就更长，所需占用的内存也就更大。时间的增长会影响拍照装置30的启动速度，占用的内存增大会影响手机运行的流畅度。尤其是对于低内存配置的手机来说，内存增大后，原本在后台运行的程序可能会被强制关闭以保证手机能够流畅运行，但后台运行的程序的强制关闭会极大地影响用户的使用体验。

本申请实施方式的图像处理器10将许多图像处理算法放在算法后处理模块16中，硬件抽象模块12仅需创建少量的管道来对RAW图像做一些初始的处理即可。需要创建的管道的数量减少后，管道创建所需的时间也减少，拍照装置30的启动速度较快，管道创建所需占用的内存也减小，不会对手机运行的流畅度产生影响，极大地改善了用户的使用体验。

在某些实施方式中，应用程序模块14用于在第一模式下创建第一任务，第一预定任务包括第一任务。第一任务包括第一管道信息及图像帧数信息。硬件抽象模块12用于根据第一管道信息及图像帧数信息创建一条第一管道122、一条第二管道124以及流126，第一管道122用于分别处理预定帧数的RAW图像得到预定帧数的初始预览图像，第二管道124用于分别处理预定帧数的RAW图像得到预定帧数的初始目标图像，流126用于缓存预定帧数的初始预览图像及预定帧数的初始目标图像。硬件抽象模块12还用于将预定帧数的初始预览图像和/或预定帧数的初始目标图像通过应用程序模块14传输至算法后处理模块16。算法后处理模块16还用于采用图像处理算法处理预定帧数的初始预览图像得到最终预览图像和/或处理预定帧数的初始目标图像得到最终目标图像。

其中，第一模式为普通模式，在普通模式下，同一时刻下仅一个图像传感器20获取RAW图像，并将该RAW图像传输至硬件抽象模块12。

具体地，当拍照装置30运行在普通模式下时，应用程序模块14会创建与普通模式对应的第一任务。第一任务中包括第一管道信息以及图像帧数信息。其中，第一管道信息可以用于指示硬件抽象模块12需要创建哪些管道，图像帧数信息可以指示硬件模块需要提供几帧图像给应用程序模块14。应用程序模块14将创建好的第一任务发送给硬件抽象模块12。硬件抽象模块12根据第一任务中的第一管道信息创建一条第一管道122、一条第二管道124以及流126，并根据图像帧数信息确定需要提供给应用程序模块14的初始预览图像和/或初始目标图像的预定帧数，并依据该预定帧数控制图像传感器20获取该预定帧数的RAW图像。预定帧数可为一帧或多帧。

在一个例子中，图像帧数信息为一帧。此时，硬件抽象模块12控制图像传感器20获取一帧RAW图像，图像传感器20将一帧RAW图像传输至硬件抽象模块12的缓存单元128中。第一管道122从缓存单元128中获取这一帧RAW图像，并对这一帧RAW图像进行处理得到初始预览图像，第二管道124从缓存单元128中获取这一帧RAW图像，并对这一帧RAW图像进行处理得到初始目标图像，其中第一管道122和第二管道124可以同时或分时执行图像处理的操作。随后，硬件抽象模块12将初始预览图像及初始目标图像传输至应用程序模块14，应用程序模块14再将初始预览图像及初始目标图像传输至算法后处理模块16。算法后处理模块16可以采用美颜、滤镜、YUV图像转纹理图像、绘制等算法对初始预览图像做处理得到最终预览图像，还可以采用美颜、滤镜、YUV图像转JPG格式图像等算法对初始目标图像做处理得到最终目标图像。

在另一个例子中，图像帧数信息为多帧(比如多帧融合提升分辨率、高动态范围等)。此时硬件抽象模块12控制图像传感器20获取多帧RAW图像。图像传感器20每获取到一帧RAW图像，就会将获取到的这一帧RAW图像传输至硬件抽象模块12的缓存单元128中。第一管道122从缓存单元128中获取这一帧RAW图像，并对这一帧RAW图像进行处理得到初始预览图像，第二管道124从缓存单元128中获取这一帧RAW图像，并对这一帧RAW图像进行处理得到初始目标图像，其中第一管道122和第二管道124可以同时或分时执行图像处理的操作，并且在第一管道122和第二管道124执行图像处理的操作时，图像传感器20也同时在执行获取RAW图像的操作，以便硬件抽象模块12可以更快地得到多帧RAW图像。硬件抽象模块12可以在每获取到一帧初始预览图像及一帧初始目标图像时就将初始预览图像及初始目标图像传输至应用程序模块14，应用程序模块14再将一帧的初始预览图像及一帧的初始目标图像传输至算法后处理模块16。硬件抽象模块12也可以在获取到预定帧数的初始预览图像及预定帧数的初始目标图像时再将预定帧数的初始预览图像及预定帧数的初始目标图像传输至应用程序模块14，应用程序模块14再将预定帧数的初始预览图像及预定帧数的初始目标图像传输至算法后处理模块16。算法后处理模块16可以采用美颜、滤镜等算法对每一帧初始预览图像做处理，再对执行了美颜、滤镜处理的多帧初始预览图像做融合处理，再对融合处理后得到的一帧初始预览图像做YUV图像转纹理图像、绘制等算法处理以得到最终预览图像。算法后处理模块16还可以采用美颜、滤镜等算法对每一帧初始目标图像做处理，再对执行了美颜、滤镜等处理的多帧初始目标图像做融合处理，再对融合处理后得到的一帧初始目标图像做YUV图像转JPG格式图像等处理以得到最终目标图像。

可以理解，对于普通模式下的拍摄，在将所有的图像处理算法均放在硬件抽象模块12中执行时，硬件抽象模块12至少需要建立7条管道，比如用于处理RAW图像得到初始预览图像的一条管道(即一条第一管道122)，用于处理RAW图像得到初始目标图像的一条管道(即一条第二管道124)，用于执行高动态范围(High-Dynamic Range，HDR)处理的三条管道，用于对初始目标图像执行编码处理以得到JPG格式的目标图像的一条管道等等。在所需执行的图像处理增多时，管道的数量还继续增加。本申请实施方式的图像处理器10将多种图像处理算法放在算法后处理模块16中执行。此时，在普通模式下，硬件抽象模块12仅需建立两条管道，即用于处理RAW图像得到初始预览图像的一条第一管道122和用于处理RAW图像得到初始目标图像的一条第二管道124，大大减少了硬件抽象模块12所需建立的管道的数量，减少了管道创建所需的时间，还可以减小管道创建所需占用的内存。

特殊地，图像采集过程中基于多个图像传感器20来实现光学变焦的拍摄的模式也属于普通模式。在这一过程中，如果任一时刻仅开启一个图像传感器20，则硬件抽象模块12仍旧创建一条第一管道122、一条第二管道124及流126。如果某一时刻下开启的图像传感器20数量为多个，则对于每个图像传感器20，硬件抽象模块12可以对应创建一条第一管道122、一条第二管道124及流126。示例地，假设某一时刻下开启的图像传感器20的数量为两个，则硬件抽象模块12需要创建两条第一管道122、两条第二管道124及流126。其中一条第一管道122和其中一条第二管道124处理一个图像传感器20输出的RAW图像，另一条第一管道122及另一条第二管道124处理另一个图像传感器20输出的RAW图像。

在某些实施方式中，应用程序模块14用于在第二模式下创建第二任务，第一预定任务包括该第二任务。第二任务包括第二管道信息。硬件抽象模块12用于根据第二管道信息创建两条第一管道122、两条第二管道124以及流126。每条第一管道122用于处理一帧RAW图像得到一帧初始预览图像，每条第二管道124用于处理一帧RAW图像得到一帧初始预览图像。流126用于缓存两帧初始预览图像及两帧初始目标图像。硬件抽象模块12还用于同步两帧初始预览图像及同步两帧初始目标图像，并将两帧初始预览图像和/或两帧初始目标图像传输至应用程序模块14。算法后处理模块16用于采用图像处理算法处理同步的两帧初始预览图像得到最终预览图像和/或处理同步的两帧目标图像得到最终目标图像。

其中，第二模式为人像模式，在人像模式下，同一时刻下有多个图像传感器20获取RAW图像，每个图像传感器20均会将自身获取的RAW图像传输至硬件抽象模块12。本申请以同一时刻下有两个图像传感器20获取RAW图像为例进行说明，其中一个图像传感器20为主摄，另一个图像传感器20为副摄，主摄和副摄组成双目相机，可用于获取拍摄对象的深度信息。

具体地，当拍照装置30运行在人像模式下时，应用程序模块14会创建与人像模式对应的第二任务。第二任务中包括第二管道信息。其中，第二管道信息可以用于指示硬件抽象模块12需要创建哪些管道。应用程序模块14将创建好的第二任务发送给硬件抽象模块12。硬件抽象模块12根据第二任务中的第二管道信息创建两条第一管道122、两条第二管道124以及流126。其中，一条第一管道122和一条第二管道124用于处理作为主摄的图像传感器20获取的RAW图像(下称主RAW图像)，另一条第一管道122和另一条第二管道124用于处理作为副摄的图像传感器20获取的RAW图像(下称副RAW图像)。一条第一管道122处理主RAW图像得到初始预览图像(下称主初始预览图像)，另一条第一管道122处理副RAW图像得到副预览图像(下称副初始预览图像)。一条第二管道124处理主RAW图像得到初始目标图像(下称主初始目标图像)，另一条第二管道124处理副RAW图像得到初始目标图像(下称副初始目标图像)。其中，主初始预览图像、副初始预览图像、主初始目标图像、及副初始目标图像均可存储在对应的管道的流126中；每条第一管道122对RAW图像的处理及每条第二管道124对RAW图像的处理均可包括将RAW图像转换为RGB图像、将RGB图像转换为YUV图像等处理。硬件抽象模块12在获得主初始预览图像、副初始预览图像、主初始目标图像、及副初始目标图像后，执行将主初始预览图像与副初始预览图像同步的操作、以及将主初始目标图像与副初始目标图像同步的操作，再将同步后的两帧初始预览图像以及同步后的两帧初始目标图像传输至应用程序模块14，其中，同步后的两帧初始预览图像与同步后的两帧初始目标图像可以分别通过两个不同的线程输出至应用程序模块14，即一个线程将同步后的两帧初始预览图像输出至应用程序模块14，另一个线程将同步后的两帧初始目标图像输出至应用程序模块14。应用程序模块14再将同步后的两帧初始预览图像以及同步后的两帧初始目标图像传输至算法后处理模块16。算法后处理模块16可以根据两帧同步的初始预览图像计算预览深度信息、根据两帧同步的初始目标图像计算目标深度信息，并根据预览深度信息对主初始预览图像或副初始预览图像执行深度虚化(借助深度信息做虚化)、深度美颜(借助深度信息做美颜)等处理、以及根据目标深度信息对主初始目标图像或副初始目标图像执行深度虚化、深度美颜等处理。进一步地，算法后处理模块16还可以对执行了深度虚化、深度美颜等处理的主初始预览图像或副初始预览图像执行水印、滤镜、YUV图像转纹理图像、绘制等处理以得到最终预览图像；算法后处理模块16还可以对执行了深度虚化、深度美颜等处理的主初始目标图像或副初始目标图像执行水印、滤镜、YUV图像转JPG格式图像等处理以得到最终目标图像。最终预览图像和最终目标图像可以由算法后处理模块16传输给应用程序模块14以进行显示或存储等等。

可以理解，对于人像模式下的拍摄，在将所有的图像处理算法均放在硬件抽象模块12中执行时，硬件抽象模块12至少需要建立6条管道，比如用于处理主RAW图像和副RAW图像以分别得到主初始预览图像及副初始预览图像的两条管道(即两条第一管道122)，用于处理主RAW图像和副RAW图像以分别得到主初始目标图像及副初始目标图像的两条管道(即两条第二管道124)，用于根据主初始预览图像和副初始预览图像计算预览深度信息的一条管道，以及用于根据主初始目标图像和副初始目标图像计算目标深度信息的一条管道。在所需执行的图像处理增多时，管道的数量还继续增加。本申请实施方式的图像处理器10将多种图像处理算法放在算法后处理模块16中执行。此时，在人像模式下，硬件抽象模块12仅需建立4条管道，即用于处理主RAW图像得到主初始预览图像的一条第一管道122、用于处理副RAW图像得到副初始预览图像的一条第一管道122、用于处理主RAW图像得到主初始目标图像的一条第二管道124、以及用于处理副RAW图像得到副初始目标图像的一条第二管道124，大大减少了硬件抽象模块12所需建立的管道的数量，减少了管道创建所需的时间，还可以减小管道创建所需占用的内存。

在某些实施方式中，应用程序模块14还用于判断拍照请求是否由第三方应用程序发起。在拍照请求不由第三方应用程序发起时，应用程序模块14创建第一预定任务。在拍照请求由第三方应用程序发起时，应用程序模块14创建第二预定任务。硬件抽象模块12还用于根据第二预定任务创建至少一条第一管道122、至少一条第二管道124、除第一管道122及第二管道124外的其他管道以及流126。

具体地，拍照请求由第三方应用程序发起指的是：用户不是直接点击相机这一应用程序进入拍照应用，而是通过其他应用程序，比如微信、微博、抖音、美图秀秀等等第三方应用程序调用拍照装置来进入拍照应用。拍照请求不由第三方应用程序发起指的是：用户直接点击相机这一应用程序进入拍照应用。

在拍照请求不由第三方应用程序发起时，应用程序模块14会创建第一预定任务，应用程序模块14将第一预定任务发送给硬件抽象模块12，硬件抽象模块12根据第一预定任务创建至少一条第一管道122、至少一条第二管道124及流126。

在拍照请求由第三方应用程序发起时，应用程序模块14会创建第二预定任务，应用程序模块14将第二预定任务发送给硬件抽象模块12。硬件抽象模块12根据第二预定任务创建至少一条第一管道122、至少一条第二管道124、除第一管道122及第二管道124外的其他管道以及流126。换言之，在拍照请求由第三方应用程序发起时，硬件抽象模块12保持现有的管道创建方式。第一预定任务与第二预定任务相比，第一预定任务中对一些可以放在算法后处理模块16执行的处理对应的管道进行了过滤。

具体地，在拍照请求由第三方应用程序发起时，在普通模式下，硬件抽象模块12会根据第二预定任务创建大概7条管道，7条管道包括用于处理RAW图像得到初始预览图像的一条管道(即一条第一管道122)，用于处理RAW图像得到初始目标图像的一条管道(即一条第二管道124)，用于执行高动态范围(High-Dynamic Range，HDR)处理的三条管道，用于对初始目标图像执行编码处理以得到JPG格式的目标图像的一条管道等等。硬件抽象模块12基于这7条管道的处理得到最终目标图像和最终预览图像。在拍照请求由第三方应用程序发起时，在人像模式下，硬件抽象模块12会根据第二预定任务创建大概6条管道，6条管道包括用于处理主RAW图像和副RAW图像以分别得到主初始预览图像及副初始预览图像的两条管道(即两条第一管道122)，用于处理主RAW图像和副RAW图像以分别得到主初始目标图像及副初始目标图像的两条管道(即两条第二管道124)，用于根据主初始预览图像和副初始预览图像计算预览深度信息的一条管道，以及用于根据主初始目标图像和副初始目标图像计算目标深度信息的一条管道等等。硬件抽象模块12基于6条管道的处理得到最终目标图像和最终预览图像。最终预览图像和最终目标图像可以由硬件抽象模块12传输给应用程序模块14以进行显示或存储等等。

可以理解，在用户直接点击相机进入拍照界面时，无论当前拍照装置30是处于普通模式还是人像模式，此时拍照界面通常会显示多种子模式，比如滤镜、水印等等子模式以供用户选择，用户选择了子模式后，图像处理器10除了处理RAW图像得到初始预览图像或预览目标图像之外，还需要对初始预览图像或预览目标图像执行与子模式相对应的处理。但在拍照请求由第三方应用程序发起时，无论拍照装置30是处于普通模式还是人像模式，此时拍照界面通常不会显示多种子模式以供用户选择，此时，图像处理器10不会对RAW图像做过多额外的处理(比如水印、滤镜等)。因此，在拍照请求由第三方应用程序发起时，硬件抽象模块12可以直接建立当前模式下必须的几条管道以直接得到最终预览图像和最终目标图像。如此，第三方应用程序调用拍照装置30来获取图像时不需要再接入算法后处理模块16中的算法以作进一步处理，第三方应用程序调用拍照装置30来获取图像的设计逻辑较为简单，同时创建的管道数量也不会太多，不会占用太多的内存。

在某些实施方式中，应用程序模块14还用于控制硬件抽象模块12调整流126的格式。具体地，对于拍照请求不由第三方应用程序发起的情况而言，此时硬件抽象模块12仅负责处理RAW图像得到初始预览图像和初始目标图像，初始预览图像及初始目标图像均为YUV格式的图像，流126是用于缓存初始预览图像和初始目标图像的，流126的格式就需要被配置为可用于存储YUV格式的图像的格式。对于拍照请求由第三方应用程序发起的情况而言，此时硬件抽象模块12处理RAW图像得到YUV格式的初始预览图像和初始目标图像，还要对初始预览图像和初始目标图像作进一步处理得到最终预览图像和最终目标图像，流126的格式就要被配置为分别与最终预览图像的格式和最终目标图像的格式相匹配的格式。比如硬件抽象模块12会对初始目标图像做编码处理得到JPG格式的最终目标图像，此时，用于存储最终目标图像的流126的格式就需要被配置为可用于存储JPG格式的图像的格式。

请参阅图5，本申请还提供一种图像处理方法。本申请的图像处理方法可以由上述任一一项实施方式的图像处理器10实现。图像处理方法包括：

01：应用程序模块14创建第一预定任务；

02：硬件抽象模块12根据第一预定任务创建至少一条第一管道122、至少一条第二管道124以及流126，第一管道122用于处理RAW图像得到初始预览图像，第二管道124用于处理RAW图像得到初始目标图像，流126用于缓存初始预览图像及初始目标图像；

03：硬件抽象模块12将初始预览图像和/或初始目标图像通过应用程序模块14传输至算法后处理模块16；和

04：算法后处理模块16采用图像处理算法处理初始预览图像得到最终预览图像和/或处理初始目标图像得到最终目标图像。

请参阅图6，在某些实施方式中，步骤01包括：

011：应用程序模块14在第一模式下创建第一任务，第一预定任务包括第一任务，第一任务包括第一管道信息及图像帧数信息；

步骤02包括：

021：根据第一管道信息及图像帧数信息创建一条第一管道122、一条第二管道124以及流126，第一管道122用于分别处理预定帧数的RAW图像得到预定帧数的初始预览图像，第二管道124用于分别处理预定帧数的RAW图像得到预定帧数的初始目标图像，流126用于缓存预定帧数的初始预览图像及预定帧数的初始目标图像；

步骤03包括：

031：硬件抽象模块12将预定帧数的初始预览图像和/或预定帧数的初始目标图像通过应用程序模块14传输至算法后处理模块16；

步骤04包括：

041：算法后处理模块16采用图像处理算法处理预定帧数的初始预览图像得到最终预览图像和/或处理预定帧数的初始目标图像得到最终目标图像。

请参阅图7，在某些实施方式中，

步骤01包括：

012：应用程序模块14在第二模式下创建第二任务，第一预定任务包括第二任务，第二任务包括第二管道信息；

步骤02包括：

022：硬件抽象模块12根据第二管道信息创建两条第一管道122、两条第二管道124以及流126，每条第一管道122用于处理一帧RAW图像得到一帧初始预览图像，每条第二管道124用于处理一帧RAW图像得到一帧初始预览图像，流126用于缓存两帧初始预览图像及两帧初始目标图像；

步骤03包括：

032：硬件抽象模块12同步两帧初始预览图像和/或同步两帧初始预览图像，并将两帧初始预览图像和/或两帧初始目标图像通过应用程序模块14传输至算法后处理模块16；

步骤04包括：

042：算法后处理模块16采用图像处理算法处理同步的两帧初始预览图像得到最终预览图像和/或处理同步的两帧目标图像得到最终目标图像。

请参阅图8，在某些实施方式中，图像处理方法还包括：

05：应用程序模块14判断拍照请求是否由第三方应用程序发起；

在拍照请求不由第三方应用程序发起时，应用程序创模块14建第一预定任务；

06：在拍照请求由第三方应用程序发起时，应用程序模块14创建第二预定任务；和

07：硬件抽象模块12根据第二预定任务创建至少一条第一管道122、至少一条第二管道124、除第一管道122及第二管道124外的其他管道以及流126。

请参阅图9，在某些实施方式中，图像处理方法还包括：

08：应用程序模块14控制硬件抽象模块12调整流126的格式。

本申请的图像处理方法的具体执行流程与上述对图像处理器10中各个模块的数据处理流程的描述一致，在此不再赘述。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (12)

1.一种图像处理器，其特征在于，所述图像处理器包括：

应用程序模块，所述应用程序模块用于创建第一预定任务；

硬件抽象模块，所述硬件抽象模块与所述应用程序模块连接，所述硬件抽象模块用于根据所述第一预定任务创建至少一条第一管道、至少一条第二管道以及流，所述第一管道用于处理RAW图像得到初始预览图像，所述初始预览图像未经过美颜、滤镜、旋转、水印处理，所述第二管道用于处理所述RAW图像得到初始目标图像，所述初始目标图像未经过美颜、滤镜、旋转、水印处理，所述流用于缓存所述初始预览图像及所述初始目标图像；

算法后处理模块，所述算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接，所述算法后处理模块内存储有至少一种图像处理算法，所述算法后处理模块用于采用所述图像处理算法处理所述初始预览图像得到最终预览图像和/或处理所述初始目标图像得到最终目标图像。

2.根据权利要求1所述的图像处理器，其特征在于，所述应用程序模块还用于在第一模式下创建第一任务，所述第一预定任务包括所述第一任务，所述第一任务包括第一管道信息及图像帧数信息；

所述硬件抽象模块还用于：

根据所述第一管道信息及所述图像帧数信息创建一条所述第一管道、一条所述第二管道以及所述流，所述第一管道用于分别处理预定帧数的所述RAW图像得到所述预定帧数的所述初始预览图像，所述第二管道用于分别处理所述预定帧数的所述RAW图像得到所述预定帧数的所述初始目标图像，所述流用于缓存所述预定帧数的所述初始预览图像及所述预定帧数的所述初始目标图像；和

将所述预定帧数的所述初始预览图像和/或所述预定帧数的所述初始目标图像通过所述应用程序模块传输至所述算法后处理模块；

所述算法后处理模块还用于采用所述图像处理算法处理所述预定帧数的所述初始预览图像得到所述最终预览图像和/或处理所述预定帧数的所述初始目标图像得到所述最终目标图像。

3.根据权利要求1所述的图像处理器，其特征在于，所述应用程序模块还用于在第二模式下创建第二任务，所述第一预定任务包括所述第二任务，所述第二任务包括第二管道信息；

所述硬件抽象模块还用于：

根据所述第二管道信息创建两条所述第一管道、两条所述第二管道以及所述流，每条所述第一管道用于处理一帧所述RAW图像得到一帧所述初始预览图像，每条所述第二管道用于处理一帧所述RAW图像得到一帧所述初始预览图像，所述流用于缓存两帧所述初始预览图像及两帧所述初始目标图像；

同步两帧所述初始预览图像和/或同步两帧所述初始目标图像，并将两帧所述初始预览图像和/或两帧所述初始目标图像通过所述应用程序模块传输至所述算法后处理模块；

所述算法后处理模块还用于采用所述图像处理算法处理同步的两帧所述初始预览图像得到所述最终预览图像和/或处理同步的两帧所述目标图像得到所述最终目标图像。

4.根据权利要求1所述的图像处理器，其特征在于，所述应用程序模块还用于判断拍照请求是否由第三方应用程序发起；

在所述拍照请求不由所述第三方应用程序发起时，所述应用程序模块创建所述第一预定任务；

在所述拍照请求由所述第三方应用程序发起时，所述应用程序模块创建第二预定任务；

所述硬件抽象模块还用于根据所述第二预定任务创建至少一条所述第一管道、至少一条所述第二管道、除所述第一管道及所述第二管道外的其他管道以及所述流。

5.根据权利要求1-4任意一项所述的图像处理器，其特征在于，所述应用程序模块还用于控制所述硬件抽象模块调整所述流的格式。

6.一种图像处理方法，其特征在于，所述图像处理方法包括：

所述应用程序模块创建第一预定任务；

所述硬件抽象模块根据所述第一预定任务创建至少一条第一管道、至少一条第二管道以及流，所述第一管道用于处理RAW图像得到初始预览图像，所述初始预览图像未经过美颜、滤镜、旋转、水印处理，所述第二管道用于处理所述RAW图像得到初始目标图像，所述初始目标图像未经过美颜、滤镜、旋转、水印处理，所述流用于缓存所述初始预览图像及所述初始目标图像；

所述硬件抽象模块将所述初始预览图像和/或所述初始目标图像通过所述应用程序模块传输至算法后处理模块；和

所述算法后处理模块采用图像处理算法处理所述初始预览图像得到最终预览图像和/或处理所述初始目标图像得到最终目标图像。

7.根据权利要求6所述的图像处理方法，其特征在于，所述应用程序模块创建第一预定任务，包括：

所述应用程序模块在第一模式下创建第一任务，所述第一预定任务包括所述第一任务，所述第一任务包括第一管道信息及图像帧数信息；

所述硬件抽象模块根据所述第一预定任务创建至少一条第一管道、至少一条第二管道以及流，包括：

根据所述第一管道信息及所述图像帧数信息创建一条所述第一管道、一条所述第二管道以及所述流，所述第一管道用于分别处理预定帧数的所述RAW图像得到所述预定帧数的所述初始预览图像，所述第二管道用于分别处理所述预定帧数的所述RAW图像得到所述预定帧数的所述初始目标图像，所述流用于缓存所述预定帧数的所述初始预览图像及所述预定帧数的所述初始目标图像；

所述硬件抽象模块将所述初始预览图像和/或所述初始目标图像通过所述应用程序模块传输至算法后处理模块，包括：

所述硬件抽象模块将所述预定帧数的所述初始预览图像和/或所述预定帧数的所述初始目标图像通过所述应用程序模块传输至所述算法后处理模块；

所述算法后处理模块采用图像处理算法处理所述初始预览图像得到最终预览图像和/或处理所述初始目标图像得到最终目标图像，包括：

所述算法后处理模块采用所述图像处理算法处理所述预定帧数的所述初始预览图像得到所述最终预览图像和/或处理所述预定帧数的所述初始目标图像得到所述最终目标图像。

8.根据权利要求6所述的图像处理方法，其特征在于，所述应用程序模块创建第一预定任务，包括：

所述应用程序模块在第二模式下创建第二任务，所述第一预定任务包括所述第二任务，所述第二任务包括第二管道信息；

所述硬件抽象模块根据所述第一预定任务创建至少一条第一管道、至少一条第二管道以及流，包括：

所述硬件抽象模块根据所述第二管道信息创建两条所述第一管道、两条所述第二管道以及所述流，每条所述第一管道用于处理一帧所述RAW图像得到一帧所述初始预览图像，每条所述第二管道用于处理一帧所述RAW图像得到一帧所述初始预览图像，所述流用于缓存两帧所述初始预览图像及两帧所述初始目标图像；

所述硬件抽象模块将所述初始预览图像和/或所述初始目标图像通过所述应用程序模块传输至算法后处理模块，包括：

所述硬件抽象模块同步两帧所述初始预览图像和/或同步两帧所述初始预览图像，并将两帧所述初始预览图像和/或两帧所述初始目标图像通过所述应用程序模块传输至所述算法后处理模块；

所述算法后处理模块采用图像处理算法处理所述初始预览图像得到最终预览图像和/或处理所述初始目标图像得到最终目标图像，包括：

所述算法后处理模块采用所述图像处理算法处理同步的两帧所述初始预览图像得到所述最终预览图像和/或处理同步的两帧所述目标图像得到所述最终目标图像。

9.根据权利要求6所述的图像处理方法，其特征在于，所述图像处理方法还包括：

所述应用程序模块判断拍照请求是否由第三方应用程序发起；

在所述拍照请求不由所述第三方应用程序发起时，所述应用程序模块创建所述第一预定任务；

在所述拍照请求由所述第三方应用程序发起时，所述应用程序模块创建第二预定任务；和

所述硬件抽象模块根据所述第二预定任务创建至少一条所述第一管道、至少一条所述第二管道、除所述第一管道及所述第二管道外的其他管道以及所述流。

10.根据权利要求6-9任意一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：

所述应用程序模块控制所述硬件抽象模块调整所述流的格式。

11.一种拍照装置，其特征在于，包括：

权利要求1至5中任意一项所述的图像处理器；及

图像传感器，所述图像传感器与所述图像处理器连接。

12.一种电子设备，其特征在于，所述电子设备包括：

权利要求11所述的拍照装置；及

壳体，所述拍照装置与所述壳体结合。

Images