CN111225153A - 一种图像数据处理方法、图像数据处理装置及移动终端 - Google Patents

Abstract

本申请公开了一种图像数据处理方法、装置、移动终端及计算机可读存储介质，该方法包括：在夜景图像生成的过程中，先确定与该过程相关的目标夜景模式，随后在应用与硬件抽象层交互时，根据目标夜景模式对图像缓冲块所携带的描述信息进行替换，并通过复用已有的流水线流程，实现对图像缓冲块的处理操作。本申请方案能够节约图像数据的处理时间，提升图像数据的处理效率，实现夜景模式的动态灵活切换。

Description

一种图像数据处理方法、图像数据处理装置及移动终端

技术领域

本申请属于图像处理技术领域，尤其涉及一种图像数据处理方法、图像数据处理装置、移动终端及计算机可读存储介质。

背景技术

现有的移动终端往往具备超级夜景模式及人工智能(Artificial Intelligence，AI)夜景模式，这两个夜景模式分别采用了不同的raw图像算法。这导致在用户使用相机应用时，如果在超级夜景模式及AI夜景模式中进行了切换，就需要切换一次高通平台中所采用的流水线流程，导致图像数据处理效率低下，影响用户体验。

发明内容

有鉴于此，本申请提供了一种图像数据处理方法、图像数据处理装置、移动终端及计算机可读存储介质，可在拍摄过程中实现不同夜景模式的灵活切换，提升图像数据的处理效率。

本申请的第一方面提供了一种图像数据处理方法，包括：

确定目标夜景模式，其中，上述目标夜景模式为与本次拍摄相关联的夜景模式；

当移动终端的硬件抽象层接收到指定应用所传送的待处理图像缓冲块时，解析上述待处理图像缓冲块，获得上述待处理图像缓冲块所携带的描述信息，并记为待处理描述信息，其中，描述信息用于描述上述图像缓冲块的类型；

根据上述待处理描述信息，在一个以上流水线流程中确定目标流水线流程；

若上述待处理描述信息与预设的第一初始描述信息相匹配，则将上述待处理描述信息替换为上述目标夜景模式所指示的目标描述信息；

若上述待处理描述信息与预设的第二初始描述信息相匹配，则将上述待处理描述信息替换为预设描述信息；

调用上述目标流水线流程对替换后的上述待处理图像缓冲块进行处理，得到已处理图像缓冲块；

将上述已处理图像缓冲块所携带的目标描述信息或预设描述信息替换为待处理描述信息；

向上述指定应用传送携带有上述待处理描述信息的上述已处理图像缓冲块。

本申请的第二方面提供了一种图像数据处理装置，包括：

第一确定单元，用于确定目标夜景模式，其中，上述目标夜景模式为与本次拍摄相关联的夜景模式；

解析单元，用于当移动终端的硬件抽象层接收到指定应用所传送的待处理图像缓冲块时，解析上述待处理图像缓冲块，获得上述待处理图像缓冲块所携带的描述信息，并记为待处理描述信息，其中，描述信息用于描述上述图像缓冲块的类型；

第二确定单元，用于根据上述待处理描述信息，在一个以上流水线流程中确定目标流水线流程；

第一替换单元，用于若上述待处理描述信息与预设的第一初始描述信息相匹配，则将上述待处理描述信息替换为上述目标夜景模式所指示的目标描述信息，若上述待处理描述信息与预设的第二初始描述信息相匹配，则将上述待处理描述信息替换为预设描述信息；

调用单元，用于调用上述目标流水线流程对替换后的上述待处理图像缓冲块进行处理，得到已处理图像缓冲块；

第二替换单元，用于将上述已处理图像缓冲块所携带的目标描述信息或预设描述信息替换为待处理描述信息；

传送单元，用于向上述指定应用传送携带有上述待处理描述信息的上述已处理图像缓冲块。

本申请的第三方面提供了一种移动终端，上述移动终端包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。

本申请的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。

本申请的第五方面提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。

由上可见，在本申请方案中，对于不同两种夜景模式的移动终端来说，首先确定目标夜景模式，其中，上述目标夜景模式为与本次拍摄相关联的夜景模式，当移动终端的硬件抽象层接收到指定应用所传送的待处理图像缓冲块时，解析上述待处理图像缓冲块，获得上述待处理图像缓冲块所携带的描述信息，并记为待处理描述信息，其中，描述信息用于描述上述图像缓冲块的类型，再根据上述待处理描述信息，在一个以上流水线流程中确定目标流水线流程，若上述待处理描述信息与预设的第一初始描述信息相匹配，则将上述待处理描述信息替换为上述目标夜景模式所指示的目标描述信息，若上述待处理描述信息与预设的第二初始描述信息相匹配，则将上述待处理描述信息替换为预设描述信息，随后调用上述目标流水线流程对替换后的上述待处理图像缓冲块进行处理，得到已处理图像缓冲块，并将上述已处理图像缓冲块所携带的目标描述信息或预设描述信息替换为待处理描述信息，最后向上述指定应用传送携带有上述待处理描述信息的上述已处理图像缓冲块。本申请方案通过复用已有的流水线流程，实现对图像缓冲块的处理操作，能够节约图像数据的处理时间，提升图像数据的处理效率，实现夜景模式的动态灵活切换。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像数据处理方法的实现流程示意图；

图2是本申请实施例提供的图像数据处理方法中，数据流向的示意图；

图3是本申请实施例提供的图像数据处理方法中，APP与HAL在第一阶段的交互流程示意图；

图4是本申请实施例提供的图像数据处理方法中，APP与HAL在第二阶段的交互流程示意图；

图5是本申请实施例提供的图像数据处理装置的结构框图；

图6是本申请实施例提供的移动终端的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

为了说明本申请上述的技术方案，下面通过具体实施例来进行说明。

实施例一

下面对本申请实施例提供的一种图像数据处理方法进行描述。请参阅图1，本申请实施例中的图像数据处理方法包括：

步骤101，确定目标夜景模式；

在本申请实施例中，进行拍摄时，首先需要确定与本次拍摄相关联的夜景模式，也即确定本次拍摄所采用的夜景模式，并将该夜景模式确定为目标夜景模式。具体地，本申请所涉及到的夜景模式有两种：第一种为超级夜景模式，第二种为AI夜景模式。可选地，可以根据上述移动终端的抖动状态确定上述目标夜景模式，则上述步骤101具体包括：

A1、在接收到输入的拍摄指令时，获取上述移动终端的陀螺仪所输出的陀螺仪数据；

其中，当用户打开移动终端的相机应用，并通过物理按键或相机应用界面上的虚拟按键按下拍摄按钮时，该相机应用就会接收到用户所输入的拍摄指令。考虑到夜景模式的选择与移动终端的抖动状态相关，此时可以去获取移动终端的陀螺仪所输出的陀螺仪数据。具体地，考虑到用户通过物理按键或相机应用界面上的虚拟按键按下拍摄按钮是瞬时性的操作，因而，此处可以先确定一获取时间段，并获取上述移动终端的陀螺仪在上述获取时间段所输出的陀螺仪数据，其中，该获取时间段可以以拍摄指令的接收时间为止，持续预设秒，例如3秒，以下以实例进行说明：当拍摄指令的接收时间为12:00:03，持续的预设秒为3秒时，所确定的获取时间段可以为12:00:00至12:00:03，也即，获取12:00:00至12:00:03之间上述陀螺仪所输出的陀螺仪数据。

A2、根据上述陀螺仪数据，确定上述目标夜景模式。

其中，移动终端可以进一步对上述获取时间段中陀螺仪所输出的陀螺仪数据进行分析，以确定移动终端的抖动状态，若移动终端的抖动较为明显，则认为当前是用户手持该移动终端进行拍摄，此时可以确定与本次拍摄相关联的夜景模式为AI夜景模式，该AI夜景模式可以对移动终端的抖动提供补偿；反之，若移动终端的抖动并不明显，则认为当前是脚架或其它物品固定该移动终端进行拍摄，此时可以确定与本次拍摄相关联的夜景模式为超级夜景模式。

具体地，当上述陀螺仪数据的波动幅度超过了预设的波动幅度阈值时，可以认为移动终端的抖动较为明显；当上述陀螺仪数据的波动幅度未超过上述波动幅度阈值时，可以认为移动终端的抖动并不明显。当然，也可以通过其它方式对上述陀螺仪数据进行分析以确定上述移动终端的抖动是否明显，此处不作限定。

可选地，考虑到本申请方案是针对夜景拍摄过程所提出的方案，因而，在本申请实施例中，当相机应用启动后，还可以先确定当前是否处于夜景拍摄状态，若是，则再确定上述目标夜景模式。

步骤102，当移动终端的硬件抽象层接收到指定应用所传送的待处理图像缓冲块时，解析上述待处理图像缓冲块，获得上述待处理图像缓冲块所携带的描述信息，并记为待处理描述信息；

在本申请实施例中，夜景拍摄过程中涉及到的参与方包括指定应用(APP)、硬件抽象层(Hardware Abstraction Layer，HAL)以及算法处理服务(Algorithm processservice，APS)。请参阅图2，图2示出了夜景拍摄过程中的数据流向：APP发送待填充数据至HAL；HAL填充得到多帧raw图像返回给APP；APP再将多帧raw图像发送至APS；APS合成多帧raw图像得到一帧raw图像返回给APP；APP再将这一帧raw图像发送至HAL；HAL进行raw2yuv操作，使得raw图像转换为YUV图像并发送给APP，至此，夜景拍摄所涉及的操作基本完成，后续还有将YUV图像转为JPEG图像的操作，此处不作赘述。本申请实施例主要关心的是APP与HAL的交互，其中，上述APP具体指的是相机应用。

由上述夜景拍摄过程中的数据流向可知，APP与HAL的交互分为两个阶段：第一阶段，HAL所作的操作是填充raw图像的数据；第二阶段，HAL所作的操作是raw2yuv操作。在上述这两个阶段中，都是先由APP作为发起方与HAL进行交互，也即，这两个阶段的数据流向均为“APP→HAL→APP”。具体地，上述夜景拍摄过程中所传输的数据为buffer，也即图像缓冲块；每一buffer中可以携带有对应的stream，也即描述信息，其中，该描述信息用于描述图像缓冲块的类型；当然，该描述信息也还可以用于描述图像缓冲块的其它信息，例如，还可以用于描述图像缓冲块的尺寸等，此处不作限定。因而，当HAL接收到APP所传送的待处理图像缓冲块时，可以先对所接收到的待处理图像缓冲块进行解析，获得上述待处理图像缓冲块所携带的描述信息，并记为待处理描述信息，通过对该待处理描述信息进行分析，可以判断当前所处的阶段，也即确定当前HAL所要执行的操作。

具体地，为了使得APP与HAL之间的交互能够顺利执行，应该在二者开始交互之前，约定二者之间的交互协议，例如，约定二者所传输的buffer的尺寸，以及约定在面对具体的各个类型的buffer时，HAL应该返回怎样的数据给APP等。因而，可以在监听到APP的启动事件时，也即，在APP启动时，先配置初始描述信息。考虑到APP与HAL有两个交互阶段，因而，上述初始描述信息可以为两个，包括第一初始描述信息(记为raw_output_stream)及第二初始描述信息(记为raw_input_stream)，其中，上述第一初始描述信息用于对应上述第一阶段，上述第二初始信息用于对应上述第二阶段。上述第一初始描述信息及上述第二初始描述信息所描述的图像缓冲块的类型不同，具体地，第一初始描述信息用于描述图像缓冲块为输出类型，第二初始描述信息用于描述图像缓冲块为输入类型。除上述初始描述信息之外，移动终端也可以配置其它描述信息，例如用于预览的prv_output_stream，用于离线流水线流程的yuv0_output_stream、yuv1_output_stream及yuv2_output_stream等，用于指示相关联的raw图像类型的mipiraw_stream及idleraw_stream等，此处不作限定。

步骤103，根据上述待处理描述信息，在一个以上流水线流程中确定目标流水线流程；

在本申请实施例中，根据上述待处理描述信息可知当前是否正处于上述第一阶段或第二阶段中，其中，各个不同的阶段对应不同的流水线流程。此处先对本申请实施例所涉及的流水线流程作出说明：

第一阶段对应的流水线流程为实时流水线流程(realtime pipeline)，第二阶段对应的流水线流程为离线流水线流程(offline pipeline)；进一步地，如果移动终端的摄像头的数量有多个，则每一摄像头都会对应一类型的流水线流程。以移动终端的摄像头有三个，包括主摄像头、长焦摄像头及广角摄像头为例，需要创建的流水线流程有六个，分别为：

主摄像头对应的实时流水线流程；

主摄像头对应的离线流水线流程；

长焦摄像头对应的实时流水线流程；

长焦摄像头对应的离线流水线流程；

广角摄像头对应的实时流水线流程；

广角摄像头对应的离线流水线流程。

基于此，考虑到流水线流程有多个，在本步骤中，需要根据上述待处理描述信息所指示的待处理图像缓冲块的类型，在一个以上流水线流程中确定目标流水线流程，具体可以是先获取移动终端当前的拍摄放大倍数，然后根据上述拍摄放大倍数，移动终端可以确定对应的master pipeline index，该master pipeline index所代表的即为当前的拍摄放大倍数下所运行的摄像头；可见，通过上述过程，可确定得到目标摄像头，随后即可根据上述目标摄像头以及上述待处理描述信息所指示的待处理图像缓冲块的类型，在一个以上流水线流程中确定目标流水线流程，也即，选择调用该目标摄像头所对应的实时流水线流程还是调用该目标摄像头所对应的离线流水线流程。

具体地，图像缓冲块(buffer)的类型包括输出类型及输入类型，其中，上述输出类型通过raw_output_stream描述，用于指示上述HAL进行图像数据填充操作，也即，如果待处理图像缓冲块携带的描述信息为raw_output_stream，则表明处于第一阶段，所对应的即为实时流水线流程；上述输入类型通过raw_input_stream描述，用于指示上述HAL进行图像数据转换操作，也即，如果buffer携带的描述信息为raw_input_stream，则表明处于第二阶段，所对应的即为离线流水线流程；基于此，上述根据上述待处理描述信息，在一个以上流水线流程中确定目标流水线流程，包括：

若上述待处理描述信息与预设的第一初始描述信息相匹配，则将实时流水线流程确定为目标流水线流程；

若上述待处理描述信息与预设的第二初始描述信息相匹配，则将离线流水线流程确定为目标流水线流程。

可见，当待处理图像缓冲块携带的描述信息为raw_output_stream时，将目标摄像头的实时流水线流程确定为目标流水线流程；当待处理图像缓冲块携带的描述信息为raw_input_stream时，将目标摄像头的离线流水线流程确定为目标流水线流程，其中，上述目标摄像头根据当前的拍摄放大倍数确定而得。

可选地，可以将上述超级夜景模式记为第一夜景模式，将上述AI夜景模式记为第二夜景模式，则上述实时流水线流程及离线流水线流程的创建过程如下：

B1、当监听到上述指定应用的启动事件时，创建离线流水线流程，并根据上述第一夜景模式所关联的第一raw图像算法及上述第二夜景模式所关联的第二raw图像算法，创建实时流水线流程；

其中，超级夜景模式采用的raw图像算法为idleraw图像算法，此时上述第一raw图像算法指的是idleraw图像算法，该算法可输出第一raw类型图像数据，也即idleraw类型图像数据；AI夜景模式采用的raw图像算法为mipiraw图像算法，此时上述第二raw图像算法指的是mipiraw图像算法，该算法可输出第二raw类型图像数据，也即mipiraw类型图像数据。当然，也可以是将上述AI夜景模式记为第一夜景模式，将上述超级夜景模式记为第二夜景模式，需要注意的是，本申请实施例所提出的“第一夜景模式”及“第二夜景模式”仅作为对超级夜景模式及AI夜景模式的区分。

其中，mipiraw图像算法为移动终端的默认raw图像算法，也即，高通平台在正常生成实时流水线流程时，具体为基于mipiraw图像算法而生成实时流水线流程，该实时流水线流程中包含有描述信息mipiraw_stream。本申请方案可以复用该实时流水线流程，在该流水线流程中加入用于输出idleraw图像数据的描述信息，也即将idleraw_stream添加进该实时流水线流程中；可以认为，实时流水线流程是基于mipiraw图像算法及idleraw图像算法所共同创建的。基于此所创建而得的实时流水线流程不仅支持输出mipiraw图像数据，也支持输出idleraw图像数据。

B2、获取与上述第一raw图像算法相关联的第一效果配置参数文件，并获取与上述第二raw图像算法相关联的第二效果配置参数文件，并将上述第一效果配置参数文件及上述第二效果配置参数文件与上述离线流水线流程关联。

其中，移动终端的研发人员可以预先通过不断调试，为mipiraw图像算法及idleraw图像算法创建对应的效果配置参数文件，其中，上述效果配置参数文件用于指示离线流水线流程所需要进行的操作，该效果配置参数文件在调试完成后，存储于移动终端中，在需要时可直接进行调用。具体地，与上述idleraw图像算法相关联的效果配置参数文件将不指示离线流水线流程执行镜头矫正操作(lens shading correction)，而与上述mipiraw图像算法相关联的效果配置参数文件将指示离线流水线流程执行镜头矫正操作。

需要注意的是，高通平台在正常生成离线流水线流程时，具体为基于mipiraw图像算法而生成离线流水线流程，但根据该离线流水线流程被调用时所具体采用的效果配置参数文件的不同，该基于mipiraw图像算法而生成离线流水线流程可支持处理mipiraw图像数据，也可支持处理idleraw图像数据。

步骤104，若上述待处理描述信息与预设的第一初始描述信息相匹配，则将上述待处理描述信息替换为上述目标夜景模式所指示的目标描述信息；

在本申请实施例中，当上述待处理描述信息与预设的第一初始描述信息(raw_output_stream)相匹配时，可知当前正处于第一阶段，此时所确定的流水线流程为目标摄像头的实时流水线流程。虽然实时流水线流程支持输出两种类型的raw图像数据，但在同一时刻，其只能选定一种raw图像数据输出。基于此，可通过上述目标夜景模式确定本次拍摄过程所采用的raw图像算法，并基于该raw图像算法对上述待处理描述信息作出更改。具体地，若目标夜景模式为超级夜景模式，则该目标夜景模式所指示的目标描述信息为idleraw_stream，此时本步骤将待处理图像缓冲块所携带的raw_output_stream替换为idleraw_stream；若目标夜景模式为AI夜景模式，则该目标夜景模式所指示的目标描述信息为mipiraw_stream，此时本步骤将待处理图像缓冲块所携带的raw_output_stream替换为mipiraw_stream。

步骤105，若上述待处理描述信息与预设的第二初始描述信息相匹配，则将上述待处理描述信息替换为预设描述信息；

在本申请实施例中，当上述待处理描述信息与预设的第二初始描述信息(raw_input_stream)相匹配时，可知当前正处于第二阶段，此时所确定的流水线流程为目标摄像头的离线流水线流程。考虑到上述离线流水线流程具体为根据mipiraw图像算法而创建，因而，不管当前采用的是哪一种夜景模式，此时都直接将待处理图像缓冲块所携带的raw_output_stream替换为mipiraw_stream。

步骤106，调用上述目标流水线流程对替换后的上述待处理图像缓冲块进行处理，得到已处理图像缓冲块；

在本申请实施例中，若当前处于第一阶段，则可知目标流水线流程为一实时流水线流程，由前文可知本申请实施例对上述实时流水线流程进行了改进，既可以输出mipiraw图像数据，也可以输出idleraw图像数据；同时，由上述步骤104可知，上述待处理描述信息已被替换为上述目标夜景模式所指示的目标描述信息，也即，上述待处理图像缓冲块所携带的描述信息已经由raw_output_stream替换为了mipiraw_stream或idleraw_stream，基于此，目标流水线流程可知当前所需要输出的raw图像的类型，并相应进行输出。具体地，若替换后的上述待处理图像缓冲块所携带的是mipiraw_stream，则目标流水线流程会将mipiraw图像数据填充至待处理图像缓冲块中，得到已处理图像缓冲块；若替换后的上述待处理图像缓冲块所携带的是idleraw_stream，则目标流水线流程会将idleraw图像数据填充至待处理图像缓冲块中，得到已处理图像缓冲块。

若当前处于第二阶段，则可知目标流水线流程为一离线流水线流程，此时，通过该目标流水线流程所采用的效果配置参数文件的不同，可支持对两种类型的raw图像数据的处理，但在同一时刻，其只能选定一种raw图像数据进行处理。基于此，上述步骤106可具体表现为：

C1、若将离线流水线流程确定为目标流水线流程，根据上述目标夜景模式，在上述第一效果配置参数文件与上述第二效果配置参数文件中确定目标效果配置参数文件；

其中，当目标夜景模式是超级夜景模式时，将与上述idleraw图像算法相关联的效果配置参数文件作为目标效果配置参数文件；当目标夜景模式是AI夜景模式时，将与上述mipiraw图像算法相关联的效果配置参数文件作为目标效果配置参数文件。

C2、根据上述目标效果配置参数文件调用上述目标流水线流程对替换后的上述待处理图像缓冲块进行处理，得到已处理图像缓冲块。

其中，上述目标流水线流程将采用C1中所确定的目标效果配置参数文件对上述待处理图像缓冲块进行raw2yuv操作，具体地，当目标夜景模式是超级夜景模式，根据所确定的目标效果配置参数文件对上述待处理图像缓冲块进行raw2yuv操作时，上述raw2yuv操作中不涉及镜头矫正操作；当目标夜景模式是AI夜景模式时，根据所确定的目标效果配置参数文件对上述待处理图像缓冲块进行raw2yuv操作时，上述raw2yuv操作中涉及镜头矫正操作。

步骤107，将上述已处理图像缓冲块所携带的目标描述信息或预设描述信息替换为待处理描述信息；

在本申请实施例中，当上述目标流水线流程调用完毕，得到已处理图像缓冲块之后，该已处理图像缓冲块需要被传送回上述APP中；考虑到APP与HAL之间的交互过程是已配置的，基于此，需要在将已处理图像缓冲块传送回上述APP之前，再对已处理图像缓冲块所携带的描述信息进行替换，具体为将已处理图像缓冲块所携带的描述信息(不管是目标描述信息还是预设描述信息)替换为待处理描述信息。

步骤108，向上述指定应用传送携带有上述待处理描述信息的上述已处理图像缓冲块。

在本申请实施例中，可将携带有上述待处理描述信息的上述已处理图像缓冲块传送回上述APP中。具体地，请参阅图2，若上述已处理图像缓冲块是通过调用实时流水线流程所得，也即HAL进行的是raw图像采集操作，则上述APP还会将上述已处理图像缓冲块传送至APS，以进行后续的多帧raw图像合成操作。具体地，APS在接收到上述指定应用所发送的已处理图像缓冲块时，将根据上述目标夜景模式确定所采用的图像合成算法来对上述已处理图像缓冲块进行图像数据合成操作。也即，当目标夜景模式是超级夜景模式时，APS将采用idleraw图像合成算法对已处理图像缓冲块进行图像合成；当目标夜景模式是AI夜景模式时，APS将采用mipiraw图像合成算法对已处理图像缓冲块进行图像合成。

请参阅图3，图3给出了处于上述第一阶段时，APP与HAL的交互过程的示意：当用户输入拍摄指令时，确定目标夜景模式；APP向HAL发送待处理buffer(待处理图像缓冲块)，该待处理buffer携带的描述信息为raw_output_stream(第一初始描述信息)；HAL判断发现APP所传输的是携带着raw_output_stream的待处理buffer时，可知当前处于第一阶段，此时，若目标夜景模式为超级夜景模式，则采用的raw图像算法为idleraw图像算法，此时，将待处理buffer携带的描述信息由raw_output_stream更改为idle_stream，若目标夜景模式为AI夜景模式，则采用的raw图像算法为mipiraw图像算法，此时，将待处理buffer携带的描述信息由raw_output_stream更改为mipiraw_stream；随后调用上述实时流水线流程对更改为idleraw_stream/mipiraw_stream(也即目标夜景模式所指示的目标描述信息)的待处理buffer进行处理，具体处理操作为idleraw图像数据填充操作/mipiraw图像数据填充操作，得到携带着idleraw_stream/mipiraw_stream的已处理buffer(已处理图像缓冲块)；最后将已处理buffer携带的描述信息由idleraw_stream/mipiraw_stream更改为raw_output_stream，并发送给APP。

请参阅图4，图4给出了处于上述第二阶段时，APP与HAL的交互过程的示意。APP向HAL发送待处理buffer(待处理图像缓冲块)，该待处理buffer携带的描述信息为raw_input_stream(第二初始描述信息)；HAL判断发现APP所传输的是携带着raw_input_stream的待处理buffer时，可知当前处于第二阶段，此时将待处理buffer携带的描述信息由raw_input_stream更改为mipiraw_stream(也即预设描述信息)；随后根据目标夜景模式所确定的目标效果配置参数文件调用上述离线流水线流程，对更改为mipiraw_stream的待处理buffer进行处理，具体处理操作为图像转换(raw2yuv)操作，得到携带着mipiraw_stream的已处理buffer(已处理图像缓冲块)；最后将已处理buffer携带的描述信息由mipiraw_stream更改为raw_input_stream，并发送给APP。

由上可见，通过本申请实施例方案，在夜景图像生成的过程中，先确定与该过程相关的目标夜景模式，随后在应用与硬件抽象层交互时，根据目标夜景模式对图像缓冲块所携带的描述信息进行替换，并通过复用已有的流水线流程，实现对图像缓冲块的处理操作。本申请方案能够节约图像数据的处理时间，提升图像数据的处理效率，实现夜景模式的动态灵活切换。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

实施例二

本申请实施例二提供了一种图像数据处理装置，上述图像数据处理装置可集成于移动终端，如图5所示，本申请实施例中的图像数据处理装置500包括：

第一确定单元501，用于确定目标夜景模式，其中，上述目标夜景模式为与本次拍摄相关联的夜景模式；

解析单元502，用于当移动终端的硬件抽象层接收到指定应用所传送的待处理图像缓冲块时，解析上述待处理图像缓冲块，获得上述待处理图像缓冲块所携带的描述信息，并记为待处理描述信息，其中，描述信息用于描述上述图像缓冲块的类型；

第二确定单元503，用于根据上述待处理描述信息，在一个以上流水线流程中确定目标流水线流程；

第一替换单元504，用于若上述待处理描述信息与预设的第一初始描述信息相匹配，则将上述待处理描述信息替换为上述目标夜景模式所指示的目标描述信息，若上述待处理描述信息与预设的第二初始描述信息相匹配，则将上述待处理描述信息替换为预设描述信息；

调用单元505，用于调用上述目标流水线流程对替换后的上述待处理图像缓冲块进行处理，得到已处理图像缓冲块；

第二替换单元506，用于将上述已处理图像缓冲块所携带的目标描述信息或预设描述信息替换为待处理描述信息；

传送单元507，用于向上述指定应用传送携带有上述待处理描述信息的上述已处理图像缓冲块。

可选地，上述夜景模式包括第一夜景模式及第二夜景模式，上述图像数据处理装置500还包括：

创建单元，用于当监听到上述指定应用的启动事件时，创建离线流水线流程，并根据上述第一夜景模式所关联的第一raw图像算法及上述第二夜景模式所关联的第二raw图像算法，创建实时流水线流程，其中，上述第一raw图像算法用于输出第一raw类型图像数据，上述第二raw图像算法用于输出第二raw类型图像数据；

关联单元，用于获取与上述第一raw图像算法相关联的第一效果配置参数文件，并获取与上述第二raw图像算法相关联的第二效果配置参数文件，并将上述第一效果配置参数文件及上述第二效果配置参数文件与上述离线流水线流程关联。

可选地，上述第二确定单元503，具体用于若上述待处理描述信息与预设的第一初始描述信息相匹配，则将实时流水线流程确定为目标流水线流程，若上述待处理描述信息与预设的第二初始描述信息相匹配，则将离线流水线流程确定为目标流水线流程。

可选地，上述调用单元505，包括：

目标效果配置参数文件确定子单元，用于若将离线流水线流程确定为目标流水线流程，则根据上述目标夜景模式，在上述第一效果配置参数文件与上述第二效果配置参数文件中确定目标效果配置参数文件；

图像处理子单元，用于根据上述目标效果配置参数文件调用上述目标流水线流程对替换后的上述待处理图像缓冲块进行处理，得到已处理图像缓冲块。

可选地，上述第一确定单元501，包括

陀螺仪数据获取子单元，用于在接收到输入的拍摄指令时，获取上述移动终端的陀螺仪所输出的陀螺仪数据；

目标夜景模式确定子单元，用于根据上述陀螺仪数据，确定上述目标夜景模式。

可选地，上述图像数据处理装置500还包括：

发送单元，用于若上述待处理描述信息与预设的第二初始描述信息相匹配，则在上述硬件抽象层上述向上述指定应用传送携带有上述待处理描述信息的上述已处理图像缓冲块之后，由上述指定应用向上述移动终端的算法处理服务发送上述已处理图像缓冲块；

图像合成单元，用于由上述移动终端的算法处理服务在接收到上述指定应用所发送的已处理图像缓冲块时，根据上述目标夜景模式确定所采用的图像合成算法，以对上述已处理图像缓冲块进行图像数据合成操作。

由上可见，通过本申请实施例方案，图像数据处理装置在夜景图像生成的过程中，先确定与该过程相关的目标夜景模式，随后在应用与硬件抽象层交互时，根据目标夜景模式对图像缓冲块所携带的描述信息进行替换，并通过复用已有的流水线流程，实现对图像缓冲块的处理操作。本申请方案能够节约图像数据的处理时间，提升图像数据的处理效率，实现夜景模式的动态灵活切换。

实施例三

本申请实施例三提供了一种移动终端，请参阅图6，本申请实施例中的移动终端6包括：存储器601，一个或多个处理器602(图6中仅示出一个)及存储在存储器601上并可在处理器上运行的计算机程序。其中：存储器601用于存储软件程序以及单元，处理器602通过运行存储在存储器601的软件程序以及单元，从而执行各种功能应用以及数据处理，以获取上述预设事件对应的资源。具体地，处理器602通过运行存储在存储器601的上述计算机程序时实现以下步骤：

确定目标夜景模式，其中，上述目标夜景模式为与本次拍摄相关联的夜景模式；

当移动终端的硬件抽象层接收到指定应用所传送的待处理图像缓冲块时，解析上述待处理图像缓冲块，获得上述待处理图像缓冲块所携带的描述信息，并记为待处理描述信息，其中，描述信息用于描述上述图像缓冲块的类型；

根据上述待处理描述信息，在一个以上流水线流程中确定目标流水线流程；

若上述待处理描述信息与预设的第一初始描述信息相匹配，则将上述待处理描述信息替换为上述目标夜景模式所指示的目标描述信息；

若上述待处理描述信息与预设的第二初始描述信息相匹配，则将上述待处理描述信息替换为预设描述信息；

调用上述目标流水线流程对替换后的上述待处理图像缓冲块进行处理，得到已处理图像缓冲块；

将上述已处理图像缓冲块所携带的目标描述信息或预设描述信息替换为待处理描述信息；

向上述指定应用传送携带有上述待处理描述信息的上述已处理图像缓冲块。

假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，上述夜景模式包括第一夜景模式及第二夜景模式，处理器602通过运行存储在存储器601的上述计算机程序时实现还以下步骤：

当监听到上述指定应用的启动事件时，创建离线流水线流程，并根据上述第一夜景模式所关联的第一raw图像算法及上述第二夜景模式所关联的第二raw图像算法，创建实时流水线流程，其中，上述第一raw图像算法用于输出第一raw类型图像数据，上述第二raw图像算法用于输出第二raw类型图像数据；

获取与上述第一raw图像算法相关联的第一效果配置参数文件，并获取与上述第二raw图像算法相关联的第二效果配置参数文件，并将上述第一效果配置参数文件及上述第二效果配置参数文件与上述离线流水线流程关联。

在上述第二种可能的实施方式作为基础而提供的第三种可能的实施方式中，上述根据上述待处理描述信息，在一个以上流水线流程中确定目标流水线流程，包括：

若上述待处理描述信息与预设的第一初始描述信息相匹配，则将实时流水线流程确定为目标流水线流程；

若上述待处理描述信息与预设的第二初始描述信息相匹配，则将离线流水线流程确定为目标流水线流程。

在上述三种可能的实施方式作为基础而提供的第四种可能的实施方式中，上述调用上述目标流水线流程对替换后的上述待处理图像缓冲块进行处理，得到已处理图像缓冲块，包括：

若将离线流水线流程确定为目标流水线流程，则根据上述目标夜景模式，在上述第一效果配置参数文件与上述第二效果配置参数文件中确定目标效果配置参数文件；

根据上述目标效果配置参数文件调用上述目标流水线流程对替换后的上述待处理图像缓冲块进行处理，得到已处理图像缓冲块。

在上述第一种可能的实施方式作为基础，或者上述第二种可能的实施方式作为基础，或者上述第三种可能的实施方式作为基础，或者上述第四种可能的实施方式作为基础而提供的第五种可能的实施方式中，上述确定目标夜景模式，包括：

在接收到输入的拍摄指令时，获取上述移动终端的陀螺仪所输出的陀螺仪数据；

根据上述陀螺仪数据，确定上述目标夜景模式。

在上述第一种可能的实施方式作为基础，或者上述第二种可能的实施方式作为基础，或者上述第三种可能的实施方式作为基础，或者上述第四种可能的实施方式作为基础而提供的第六种可能的实施方式中，若上述待处理描述信息与预设的第二初始描述信息相匹配，则在上述向上述指定应用传送携带有上述待处理描述信息的上述已处理图像缓冲块之后，则处理器602通过运行存储在存储器601的上述计算机程序时还实现还以下步骤：

上述指定应用向上述移动终端的算法处理服务发送上述已处理图像缓冲块；

上述移动终端的算法处理服务在接收到上述指定应用所发送的已处理图像缓冲块时，根据上述目标夜景模式确定所采用的图像合成算法，以对上述已处理图像缓冲块进行图像数据合成操作。

应当理解，在本申请实施例中，所称处理器602可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Arra6，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器601可以包括只读存储器和随机存取存储器，并向处理器602提供指令和数据。存储器601的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器601还可以存储设备类别的信息。

由上可见，通过本申请实施例方案，移动终端在夜景图像生成的过程中，先确定与该过程相关的目标夜景模式，随后在应用与硬件抽象层交互时，根据目标夜景模式对图像缓冲块所携带的描述信息进行替换，并通过复用已有的流水线流程，实现对图像缓冲块的处理操作。本申请方案能够节约图像数据的处理时间，提升图像数据的处理效率，实现夜景模式的动态灵活切换。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关联的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括是电载波信号和电信信号。

以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像数据处理方法，其特征在于，包括：

确定目标夜景模式，其中，所述目标夜景模式为与本次拍摄相关联的夜景模式；

当移动终端的硬件抽象层接收到指定应用所传送的待处理图像缓冲块时，解析所述待处理图像缓冲块，获得所述待处理图像缓冲块所携带的描述信息，并记为待处理描述信息，其中，描述信息用于描述所述图像缓冲块的类型；

根据所述待处理描述信息，在一个以上流水线流程中确定目标流水线流程；

若所述待处理描述信息与预设的第一初始描述信息相匹配，则将所述待处理描述信息替换为所述目标夜景模式所指示的目标描述信息；

若所述待处理描述信息与预设的第二初始描述信息相匹配，则将所述待处理描述信息替换为预设描述信息；

调用所述目标流水线流程对替换后的所述待处理图像缓冲块进行处理，得到已处理图像缓冲块；

将所述已处理图像缓冲块所携带的目标描述信息或预设描述信息替换为待处理描述信息；

向所述指定应用传送携带有所述待处理描述信息的所述已处理图像缓冲块。

2.如权利要求1所述的图像数据处理方法，其特征在于，所述夜景模式包括第一夜景模式及第二夜景模式，所述图像数据处理方法还包括：

当监听到所述指定应用的启动事件时，创建离线流水线流程，并根据所述第一夜景模式所关联的第一raw图像算法及所述第二夜景模式所关联的第二raw图像算法，创建实时流水线流程，其中，所述第一raw图像算法用于输出第一raw类型图像数据，所述第二raw图像算法用于输出第二raw类型图像数据；

获取与所述第一raw图像算法相关联的第一效果配置参数文件，并获取与所述第二raw图像算法相关联的第二效果配置参数文件，并将所述第一效果配置参数文件及所述第二效果配置参数文件与所述离线流水线流程关联。

3.如权利要求2所述的图像数据处理方法，其特征在于，所述根据所述待处理描述信息，在一个以上流水线流程中确定目标流水线流程，包括：

若所述待处理描述信息与预设的第一初始描述信息相匹配，则将实时流水线流程确定为目标流水线流程；

若所述待处理描述信息与预设的第二初始描述信息相匹配，则将离线流水线流程确定为目标流水线流程。

4.如权利要求2所述的图像数据处理方法，其特征在于，所述调用所述目标流水线流程对替换后的所述待处理图像缓冲块进行处理，得到已处理图像缓冲块，包括：

若将离线流水线流程确定为目标流水线流程，则根据所述目标夜景模式，在所述第一效果配置参数文件与所述第二效果配置参数文件中确定目标效果配置参数文件；

根据所述目标效果配置参数文件调用所述目标流水线流程对替换后的所述待处理图像缓冲块进行处理，得到已处理图像缓冲块。

5.如权利要求1至4任一项所述的图像数据处理方法，其特征在于，所述确定目标夜景模式，包括：

在接收到输入的拍摄指令时，获取所述移动终端的陀螺仪所输出的陀螺仪数据；

根据所述陀螺仪数据，确定所述目标夜景模式。

6.如权利要求1至4任一项所述的图像数据处理方法，其特征在于，若所述待处理描述信息与预设的第二初始描述信息相匹配，则在所述向所述指定应用传送携带有所述待处理描述信息的所述已处理图像缓冲块之后，所述图像数据处理方法还包括：

所述指定应用向所述移动终端的算法处理服务发送所述已处理图像缓冲块；

所述移动终端的算法处理服务在接收到所述指定应用所发送的已处理图像缓冲块时，根据所述目标夜景模式确定所采用的图像合成算法，以对所述已处理图像缓冲块进行图像数据合成操作。

7.一种图像数据处理装置，其特征在于，包括：

第一确定单元，用于确定目标夜景模式，其中，所述目标夜景模式为与本次拍摄相关联的夜景模式；

解析单元，用于当移动终端的硬件抽象层接收到指定应用所传送的待处理图像缓冲块时，解析所述待处理图像缓冲块，获得所述待处理图像缓冲块所携带的描述信息，并记为待处理描述信息，其中，描述信息用于描述所述图像缓冲块的类型；

第二确定单元，用于根据所述待处理描述信息，在一个以上流水线流程中确定目标流水线流程；

第一替换单元，用于若所述待处理描述信息与预设的第一初始描述信息相匹配，则将所述待处理描述信息替换为所述目标夜景模式所指示的目标描述信息，若所述待处理描述信息与预设的第二初始描述信息相匹配，则将所述待处理描述信息替换为预设描述信息；

调用单元，用于调用所述目标流水线流程对替换后的所述待处理图像缓冲块进行处理，得到已处理图像缓冲块；

第二替换单元，用于将所述已处理图像缓冲块所携带的目标描述信息或预设描述信息替换为待处理描述信息；

传送单元，用于向所述指定应用传送携带有所述待处理描述信息的所述已处理图像缓冲块。

8.如权利要求7所述的图像数据处理装置，其特征在于，所述夜景模式包括第一夜景模式及第二夜景模式，所述图像数据处理装置还包括：

创建单元，用于当监听到所述指定应用的启动事件时，创建离线流水线流程，并根据所述第一夜景模式所关联的第一raw图像算法及所述第二夜景模式所关联的第二raw图像算法，创建实时流水线流程，其中，所述第一raw图像算法用于输出第一raw类型图像数据，所述第二raw图像算法用于输出第二raw类型图像数据；

关联单元，用于获取与所述第一raw图像算法相关联的第一效果配置参数文件，并获取与所述第二raw图像算法相关联的第二效果配置参数文件，并将所述第一效果配置参数文件及所述第二效果配置参数文件与所述离线流水线流程关联。

9.一种移动终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。

Images