CN113902608A - 图像处理架构、方法、存储介质及电子设备 - Google Patents

Abstract

本申请公开了一种图像处理架构，该图像处理架构包括：应用层、中间层和硬件层，其中，该中间层位于该应用层和该硬件层之间；该应用层包括用例管理模块，该用例管理模块用于将图像处理功能以用例的方式进行管理；该中间层用于封装硬件操作逻辑，并向该应用层提供调用接口，以便该应用层访问硬件；该硬件层包括用于进行图像处理的硬件。本申请可以提高电子设备进行图像处理时所依赖的图像处理架构的灵活性。

Description

图像处理架构、方法、存储介质及电子设备

技术领域

本申请属于图像技术领域，尤其涉及一种图像处理架构、方法、存储介质及电子设备。

背景技术

随着技术的发展，电子设备的摄像模组所具有的摄像头数量逐渐增加，并且摄像模组中的摄像头所具有的像素也越来越高。即，电子设备的影像处理能力越来越强。基于此，用户经常会使用电子设备进行图像拍摄，如拍摄照片或录制视频等。然而，相关技术中，电子设备进行图像处理时所依赖的图像处理架构的灵活性较差。

发明内容

本申请实施例提供一种图像处理架构、方法、存储介质及电子设备，可以提高电子设备进行图像处理时所依赖的图像处理架构的灵活性。

第一方面，本申请实施例提供一种图像处理架构，所述图像处理架构包括：应用层、中间层和硬件层，其中，所述中间层位于所述应用层和所述硬件层之间；

所述应用层包括用例管理模块，所述用例管理模块用于将图像处理功能以用例的方式进行管理；

所述中间层用于封装硬件操作逻辑，并向所述应用层提供调用接口，以便所述应用层访问硬件；

所述硬件层包括用于进行图像处理的硬件。

第二方面，本申请实施例提供一种图像处理方法，所述图像处理方法应用于本申请第一方面提供的图像处理架构，所述图像处理方法包括：

获取图像数据；

通过所述应用层的用例管理模块调用图像处理功能；

所述应用层通过所述中间层提供的接口调用与所述图像处理功能对应的硬件对所述图像数据进行相应的处理，其中，与所述图像处理功能对应的硬件位于所述硬件层。

第三方面，本申请实施例提供一种图像处理架构，所述图像处理架构包括：应用层、框架层、硬件抽象层、内核层和硬件层，其中，所述框架层位于所述应用层和所述硬件抽象层之间，所述硬件抽象层位于所述框架层和所述内核层之间，所述内核层位于所述硬件抽象层和所述硬件层之间；

所述应用层包括用例管理模块，所述用例管理模块用于将图像处理功能以用例的方式进行管理；

所述框架层提供用于所述应用层和所述硬件抽象层进行数据交互的接口；

所述硬件抽象层用于封装硬件操作逻辑，并向所述框架层提供调用接口，以便所述应用层访问硬件；

所述硬件抽象层包括第一硬件抽象单元和第二硬件抽象单元，所述第一硬件抽象单元为相机对应的硬件抽象层，所述第二硬件抽象单元为第一图像处理芯片对应的硬件抽象层，所述第一硬件抽象单元包括适配模块，所述适配模块用于实现所述第一硬件抽象单元和所述第二硬件抽象单元之间的数据交互；

所述第二硬件抽象单元包括应用程序接口模块，所述应用程序接口模块用于所述应用层访问所述第一图像处理芯片对应的硬件；

所述内核层至少包括各硬件对应的硬件驱动模块；

所述硬件层包括用于进行图像处理的硬件。

第四方面，本申请实施例提供一种图像处理方法，所述图像处理方法应用于本申请第三方面提供的图像处理架构，所述图像处理方法包括：

获取图像数据；

通过所述应用层的用例管理模块调用图像处理功能；

根据所述应用层对所述图像处理功能的调用，通过依次对所述框架层提供的接口、所述第一硬件抽象单元提供的接口、所述适配模块提供的接口、所述第二硬件抽象单元提供的接口的调用，控制集成在所述第一图像处理芯片中的硬件对所述图像数据进行相应的处理；

将经过所述第一图像处理芯片处理得到的图像数据传输给第二图像处理芯片；

由所述第二图像处理芯片对接收到的图像数据进行相应的图像处理；

将经过所述第二图像处理芯片处理后得到的图像数据经由所述硬件抽象层、所述框架层反馈给所述应用层。

第五方面，本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行本申请第二方面提供的方法，或者使得所述计算机执行本申请第四方面提供的方法。

第六方面，本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，以执行本申请实施例第二方面提供的方法，或者执行本申请实施例第四方面提供的方法。

在本申请实施例中，由于图像处理功能是以用例usecase的方式进行管理的，而用例是在不展现一个系统或子系统内部结构的情况下，对系统或子系统的某个连贯的功能单元的定义和描述。因此，本申请实施例提供的图像处理架构可以实现对多种图像处理功能的配置以及参数的设置等，控制灵活，能够方便地对硬件模块进行增删操作，从而具有易扩展的效果。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其有益效果显而易见。

图1是本申请实施例提供的图像处理架构的第一种结构示意图。

图2是本申请实施例提供的图像处理架构的第二种结构示意图。

图3是本申请实施例提供的图像处理方法的第一种流程示意图。

图4是本申请实施例提供的图像处理架构的第三种结构示意图。

图5是本申请实施例提供的图像处理架构的第四种结构示意图。

图6是本申请实施例提供的图像处理方法的第二种流程示意图。

图7是本申请实施例提供的图像处理方法的第三种流程示意图。

图8是本申请实施例提供的图像处理方法的第四种流程示意图。

图9是本申请实施例提供的图像处理方法的第五种流程示意图。

图10是本申请实施例提供的图像处理方法的第六种流程示意图。

图11是本申请实施例提供的图像处理架构的第五种结构示意图。

图12是本申请实施例提供的电子设备的结构示意图。

图13是本申请实施例提供的电子设备的另一结构示意图。

具体实施方式

请参照图示，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

随着技术的发展，电子设备的摄像模组所具有的摄像头数量逐渐增加，并且摄像模组中的摄像头所具有的像素也越来越高。即，电子设备的影像处理能力越来越强。基于此，用户经常会使用电子设备进行图像拍摄，如拍摄照片或录制视频等。然而，相关技术中，电子设备进行图像处理时所依赖的图像处理架构的灵活性较差。

请参阅图1，图1是本申请实施例提供的图像处理架构的第一种结构示意图。如图1所示，本申请实施例提供的图像处理架构100可以包括应用层110、中间层120和硬件层130，其中，中间层120可以位于应用层110和硬件层130之间。

应用层110可以包括用例管理模块111，该用例管理模块111可以用于将各项图像处理功能以用例(usecase)的方式进行管理。例如，视频的虚化功能、视频的高动态范围效果(HDR)功能等图像处理功能都可以用例的方式进行管理。

中间层120可以用于封装电子设备的硬件操作逻辑，并向应用层110提供调用接口(Application Programming Interface，API)，以便该应用层110可以访问硬件层130中的硬件，从而控制硬件执行相应的图像处理操作。

硬件层130可以包括用于进行图像处理的硬件。例如，硬件层130可以包括图像信号处理器(Image Signal Processor，ISP)、数字信号处理器(Digital Signal Processor，DSP)、存储器等。

需要说明的是，在本申请实施例中，由于图像处理功能是以用例usecase的方式进行管理的，而用例是在不展现一个系统或子系统内部结构的情况下，对系统或子系统的某个连贯的功能单元的定义和描述。因此，本申请实施例提供的图像处理架构可以实现对多种图像处理功能的配置以及参数的设置等，控制灵活，能够方便地对硬件模块进行增删操作，从而具有易扩展的效果。

请参阅图2，在一种实施方式中，应用层110还可以包括策略控制(Strategy)模块112和/或命令服务(Command Service)模块113。

在一种实施方式中，中间层120至少可以包括动态电压频率调整模块、调试模块、日志模块、神经网络处理器逻辑实现模块、Finsh Console模块、DFS模块、设备管理模块中的一种或多种模块，并且中间层120还可以包括各模块运行所需的库文件(Libraries)等。

例如，如图2所示，中间层120可以包括动态电压频率调整模块121、调试模块122、日志模块123、神经网络处理器逻辑实现模块124、Finsh Console模块125、DFS模块126、设备管理模块127。

其中，动态电压频率调整模块121为用于进行动态电压频率调整(DynamicVoltage and Frequency Scaling，DVFS)的模块。通过动态电压频率调整模块121，电子设备可以根据芯片所运行的应用程序对计算能力的不同需要，动态调节芯片的运行频率和电压(对于同一芯片，频率越高，需要的电压也越高)，从而达到节能的目的。

调试模块122为用于进行调试(debug)的模块。

日志模块123为用于记录设备或应用的运行情况的模块。

神经网络处理器逻辑实现模块124为用于神经网络处理器(Neural-networkProcessing Unit，NPU)进行功能实现的模块。

设备管理模块127为用于进行设备管理的模块。

并且，中间层120还可以封装有底层硬件的操作逻辑，并向应用层提供调用接口API。在一些实施方式中，API的形式可以是可移植操作系统接口(Portable OperatingSystem Interface，POSIX)或C++API或实时线程操作系统接口(RT-Thread API)等等。当然，也还可以采用其它一些类型或形式的接口，本申请实施例对此不做具体限定。

在另一种实施方式中，中间层120还可以包括用于保存硬件中的核心寄存器的库文件。该库文件包括寄存器的设置、核心参数或模型。这些用于保存硬件中的核心寄存器的设置、核心参数或模型的库文件用于供对应的硬件进行读写操作。

在一种实施方式中，硬件层130至少可以包括图像信号处理器、数字信号处理器、中央处理器、神经网络处理器、存储器、数据传输模块、电源管理模块中的一种或多种。其中，数据传输模块可以包括移动产业处理器接口(Mobile Industry ProcessorInterface，MIPI)模块和/或高速串行计算机扩展总线(Peripheral ComponentInterconnect Express，PCIE)模块。

例如，如图2所示，硬件层130可以包括图像信号处理器131、数字信号处理器132、存储器133、中央处理器134、神经网络处理器135、电源管理模块(Power Management Unit，PMU)136、MIPI模块137、PCIE模块138，等等。

其中，图像信号处理器131为一种可以高速处理图像信号的图像处理专用引擎。

数字信号处理器132是一种进行数字信号处理运算的微处理器，其主要应用是实时快速地实现各种数字信号处理算法。

存储器133可以用于存储各个图像处理环节中的图像数据。

神经网络处理器135为用于对图像数据进行处理的处理器。

电源管理模块136用于进行电源管理，以实现更高的电源转换效率和更低功耗等。

MIPI模块137和PCIE模块138可以用于进行数据传输。

在又一种实施方式中，本申请实施例提供的图像处理架构还可以包括内核层，其中，中间层可以位于应用层和内核层之间，内核层可以位于中间层和硬件层之间。该内核层可以包括至少一个系统启动和配置模块，该系统启动和配置模块可以用于完成系统启动和配置。

比如，内核层至少可以包括操作系统内核、硬件驱动模块、板级支持包模块、板级配置模块中的一种或多种。在系统驱动时，首先是操作系统内核完成启动和配置，然后再配置外设驱动和相关的寄存器设置。

例如，如图2所示，内核层140可以包括操作系统内核141、硬件驱动模块142、板级支持包模块143以及板级配置模块144。

其中，操作系统内核141可以为图像处理架构所依赖的操作系统的内核。例如，操作系统内核141可以为实时线程操作系统的内核(RT-Thread Kernel)等。当然，本申请实施例对操作系统内核可以不作具体的限定。

硬件驱动模块142可以包括各个硬件的驱动。例如，硬件驱动模块142可以包括图像信号处理器的驱动、数字信号处理器的驱动、MIPI的驱动、PCIE的驱动，等等。

板级支持包(Board Support Package，BSP)模块143主要用于实现对操作系统的支持，为上层的驱动程序提供访问硬件设备寄存器的函数包，使之能够更好的运行于硬件主板。

板级配置(boardconfig)模块144用于保存及配置主板的一些参数。

请参阅图3，图3是本申请实施例提供的图像处理方法的第一种流程示意图。该图像处理方法可以应用于本申请实施例提供的图像处理架构。

比如，本申请实施例提供的图像处理方法所应用的图像处理架构可以包括：应用层、中间层和硬件层，其中，该中间层位于该应用层和该硬件层之间。

应用层包括用例管理模块，该用例管理模块用于将图像处理功能以用例的方式进行管理。

中间层用于封装硬件操作逻辑，并向应用层提供调用接口，以便应用层访问硬件。

硬件层包括用于进行图像处理的硬件。

可以理解的是，本申请实施例的执行主体可以是具有上述图像处理架构的智能手机或平板电脑等电子设备。本申请实施例提供的图像处理方法的流程可以包括：

201、获取图像数据。

比如，电子设备可以先获取图像数据，该图像数据可以是由电子设备的摄像模组采集到的图像数据。例如，该图像数据可以是由图像传感器输出的RAW格式的图像数据。

202、通过应用层的用例管理模块调用图像处理功能。

比如，电子设备中的应用程序可以通过应用层的用例管理模块调用图像处理功能。

例如，电子设备中的相机应用通过应用层的用例管理模块调用了视频虚化处理功能。

203、应用层通过中间层提供的接口调用与图像处理功能对应的硬件对图像数据进行相应的处理，其中，与图像处理功能对应的硬件位于硬件层。

比如，在应用程序通过应用层的用例管理模块调用图像处理功能后，应用层可以通过中间层提供的接口调用与该图像处理功能对应的硬件对图像数据进行与图像处理功能对应的处理。其中，与图像处理功能对应的硬件位于硬件层中。

例如，在应用程序通过应用层的用例管理模块调用视频虚化处理功能后，应用层可以通过中间层提供的接口调用与该视频虚化处理功能对应的硬件对图像数据进行相应的处理。例如，与视频虚化处理功能对应的硬件包括图像信号处理器和数字信号处理器，即对图像数据进行视频虚化处理所需的硬件包括图像信号处理器和数字信号处理器。那么，应用层可以通过中间层提供的接口调用图像信号处理器和数字信号处理器对图像数据进行相应的处理，从而实现视频虚化功能。

请参阅图4，图4为本申请实施例提供的图像处理架构的第三种结构示意图。如图4所示，本申请实施例提供的图像处理架构300可以包括：应用层310、框架层320、硬件抽象层330、内核层340和硬件层350。其中，框架层320位于应用层310和硬件抽象层330之间，硬件抽象层330位于框架层320和内核层340之间，内核层340位于硬件抽象层330和硬件层350之间。

其中，应用层310可以至少包括用例管理模块311。该用例管理模块311可以用于将图像处理功能以用例的方式进行管理。

框架层320提供用于应用层310和硬件抽象层330进行数据交互的接口。

硬件抽象层330可以用于封装硬件操作逻辑，并向框架层320提供调用接口，以便应用层310可以访问硬件。

硬件抽象层330可以包括第一硬件抽象单元331和第二硬件抽象单元332。第一硬件抽象单元331可以为相机对应的硬件抽象层。第二硬件抽象单元332可以为第一图像处理芯片对应的硬件抽象层。第一硬件抽象单元331可以包括适配模块3311，该适配模块3311可以用于实现第一硬件抽象单元331和第二硬件抽象单元332之间的数据交互。

第二硬件抽象单元332可以包括应用程序接口(API)模块3321。该应用程序接口模块3321可以用于应用层310访问第一图像处理芯片对应的硬件。

内核层340至少可以包括各硬件对应的硬件驱动模块，例如，包括图像信号处理器的驱动、数字信号处理器的驱动、MIPI的驱动、PCIE的驱动，等等。

硬件层350可以包括用于进行图像处理的硬件。例如，硬件层350可以包括图像信号处理器、数字信号处理器、存储器、中央处理器、MIPI、PCIE，等等。

请参阅图5，在一种实施方式中，硬件层350可以包括集成在第一图像处理芯片351上的第一图像信号处理器3511、第一存储器3512、第一数据传输装置3513、神经网络处理器3514、数字信号处理器3515、中央处理器3516等。

在另一种实施方式中，硬件层350还可以包括第二图像处理芯片352，该第二图像处理芯片352可以包括第二图像信号处理器3521、第二存储器等3522。

请参阅图6，图6是本申请实施例提供的图像处理方法的第二种流程示意图。该图像处理方法可以应用于如图5所示的图像处理架构。

401、获取图像数据。

比如，电子设备可以先获取图像数据，该图像数据可以是由电子设备的摄像模组采集到的图像数据。例如，该图像数据可以是由图像传感器输出的RAW格式的图像数据。

402、通过应用层的用例管理模块调用图像处理功能。

比如，电子设备中的应用程序可以通过应用层的用例管理模块调用图像处理功能。

例如，电子设备中的相机应用通过应用层的用例管理模块调用了视频虚化处理功能。

403、根据应用层对图像处理功能的调用，通过依次对框架层提供的接口、第一硬件抽象单元提供的接口、适配模块提供的接口、第二硬件抽象单元提供的接口的调用，控制集成在第一图像处理芯片中的硬件对图像数据进行相应的处理。

比如，在通过应用层的用例管理模块调用图像处理功能后，电子设备可以根据应用层对图像处理功能的调用，通过对框架层提供的接口、第一硬件抽象单元提供的接口、适配模块提供的接口、第二硬件抽象单元提供的接口的逐层调用，控制集成在第一图像处理芯片中的硬件对图像数据进行相应的处理。

例如，在第一图像处理芯片中与视频虚化处理功能对应的硬件包括第一图像信号处理器和数字信号处理器，即对图像数据进行视频虚化处理所需的硬件包括第一图像信号处理器和数字信号处理器。那么，应用层可以通过对框架层提供的接口、第一硬件抽象单元提供的接口、适配模块提供的接口、第二硬件抽象单元提供的接口调用第一图像处理芯片中的第一图像信号处理器和数字信号处理器对图像数据进行相应的处理。

404、将经过第一图像处理芯片处理得到的图像数据传输给第二图像处理芯片。

405、由第二图像处理芯片对接收到的图像数据进行相应的图像处理。

比如，电子设备可以将经过第一图像处理芯片处理后的图像数据传输给第二图像处理芯片，并由第二图像处理芯片对接收到的图像数据进行相应的图像处理。

比如，第二图像处理芯片可以利用第二图像信号处理器对经过第一图像处理芯片处理后的图像数据进行进一步的处理，从而得到经过第二图像处理芯片处理的图像数据。例如，在经过第二图像处理芯片处理后得到的图像数据所对应的图像具有了虚化的效果。

406、将经过第二图像处理芯片处理后得到的图像数据经由硬件抽象层、框架层反馈给应用层。

比如，电子设备可以将经过第二图像处理芯片处理后得到的图像数据经由硬件抽象层和框架层反馈给应用层，从而在相机应用中呈现具有虚化效果的图像。能够理解的是，由于视频是由一帧帧的图像组成的，因此当每一帧图像都经过本申请实施例提供的图像处理方法处理后具有了虚化的效果，那么由这些图像所组成的视频也具有了虚化的效果。

可以理解的是，本申请实施例提供的图像处理方法，电子设备可以先利用第一图像处理芯片对图像数据进行处理，再利用第二图像处理芯片对经过第一图像处理芯片处理后得到的图像数据进行处理。因此，相对于仅由一个图像处理芯片来处理图像数据的方案，由于本申请实施例可以利用两个图像处理芯片来对图像数据分别进行不同的处理，因此本申请实施例可以减轻图像处理芯片的处理负担，并提高图像处理的效率。尤其是在视频图像处理领域，由于视频图像有大量的中断处理、参数的切换或者更新频繁，因此利用两个图像处理芯片来对图像数据分别进行不同的处理可以有效的提高图像处理效率。

请参阅图7，图7是本申请实施例提供的图像处理方法的第三种流程示意图。该图像处理方法可以应用于如图5所示的图像处理架构。

501、获取图像数据。

比如，电子设备可以先获取图像数据，该图像数据可以是由电子设备的摄像模组采集到的图像数据。例如，该图像数据可以是由图像传感器输出的RAW格式的图像数据。

502、通过应用层的用例管理模块调用图像处理功能。

比如，电子设备中的相机应用可以通过应用层的用例管理模块调用图像处理功能。

503、根据应用层对所述图像处理功能的调用，通过依次对框架层提供的接口、第一硬件抽象单元提供的接口、适配模块提供的接口、第二硬件抽象单元提供的接口的调用，通过第一图像处理芯片的第一数据传输装置接收图像数据。

504、利用第一图像信号处理器对图像数据进行第一处理，得到第一数据。

505、将第一数据存储到第一存储器中。

506、由神经网络处理器从第一存储器中获取第一数据，并进行相应的算法处理，得到第二数据。

507、将第二数据存储到第一存储器中。

508、由第一图像信号处理器从第一存储器中获取第二数据，并进行第二处理，得到第三数据。

509、通过第一数据传输装置将第三数据传输给第二图像处理芯片。

比如，503至509可以包括：

在通过应用层的用例管理模块调用图像处理功能后，电子设备可以根据应用层对图像处理功能的调用，通过对框架层提供的接口、第一硬件抽象单元提供的接口、适配模块提供的接口、第二硬件抽象单元提供的接口的逐层调用，控制集成在第一图像处理芯片中的硬件对图像数据进行相应的处理。其中，第一图像处理芯片对图像数据的处理可以包括如下流程：

首先，由第一图像处理芯片的第一数据传输装置接收图像数据。例如，可以由第一图像处理芯片中的MIPI输入端(MIPI Rx)接收图像数据。

之后，电子设备可以利用第一图像处理芯片中的第一图像信号处理器对接收到的图像数据进行一定的处理，即进行第一处理，从而得到处理后的第一数据。在一些实施方式中，第一处理可以包括诸如坏点校准、线性化处理以及图像信息统计等。

在得到第一数据后，第一图像信号处理器可以将第一数据存储到第一图像处理芯片的第一存储器中。例如，第一图像信号处理器可以通过直接存储器访问(Direct MemoryAccess，DMA)的方式将第一数据存储到第一存储器中。

之后，第一图像处理芯片中的神经网络处理器可以从第一存储器中获取该第一数据，并对该第一数据进行相应的算法处理，从而得到第二数据。在得到第二数据后，神经网络处理器可以将第二数据存储到第一存储器中。

之后，第一图像信号处理器可以从第一存储器中获取第二数据，并对该第二数据进行第二处理，从而得到第三数据。在一些实施方式中，第二处理可以是诸如色调映射(tone mapping)等处理。

之后，第一图像处理芯片可以通过第一数据传输装置将第三数据传输给第二图像处理芯片。例如，第一图像处理芯片可以通过MIPI的输出端(如MIPI Tx)将第三数据传输给第二图像处理芯片。

510、由第二图像处理芯片对接收到的图像数据进行相应的图像处理。

比如，在接收到第一图像处理芯片传输过来的第三数据后，第二图像处理芯片可以对该第三数据进行相应的图像处理。

在一些实施方式中，第二图像处理芯片对接收到的第三数据进行的图像处理可以包括诸如自动白平衡等处理。

511、将经过第二图像处理芯片处理后得到的图像数据经由硬件抽象层、框架层反馈给应用层。

比如，在第二图像处理芯片对第三数据进行处理后，电子设备可以将经过该第二图像处理芯片处理后得到的图像数据经由硬件抽象层、框架层反馈给应用层。例如，电子设备可以将经过该第二图像处理芯片处理后得到的图像数据传输到中央处理器，在由中央处理器经由硬件抽象层、框架层反馈给相机应用进行显示。

在一些实施方式中，501至511的图像处理流程可以应用在诸如预览或视频录制等应用场景。

请一并参阅图8，图8是流程501至511的另一种流程示意图。

可以理解的是，本申请实施例中，电子设备可以先利用第一图像处理芯片对图像数据进行一定的处理，从而得到具有更好的图像质量的图像数据，再将经过第一图像处理芯片处理后得到的图像数据传输至第二图像处理芯片进行后续处理，从而提高最终得到的图像的成像质量。并且，由于本申请实施例利用了两个图像处理芯片对图像数据分别进行不同的处理，因此本申请实施例可以提高图像处理效率，尤其是当本申请实施例应用于预览或视频录制的场景时，可以实现画面无卡顿或停顿的效果。此外，由于本申请实施例可以提高图像处理效率，因此本申请实施例可以在预览或视频录制时可以实现高帧率拍摄。

请参阅图9，图9是本申请实施例提供的图像处理方法的第五种流程示意图。该图像处理方法可以应用于如图6所示的图像处理架构。

601、获取多帧图像的图像数据。

比如，电子设备可以先获取多帧图像的图像数据，这些图像数据可以是由电子设备的摄像模组采集到的图像数据。例如，这些图像数据可以是由图像传感器依次输出的RAW格式的图像数据。

602、通过应用层的用例管理模块调用图像处理功能。

比如，电子设备中的相机应用可以通过应用层的用例管理模块调用图像处理功能。

603、根据应用层对图像处理功能的调用，通过依次对框架层提供的接口、第一硬件抽象单元提供的接口、适配模块提供的接口、第二硬件抽象单元提供的接口的调用，通过第一图像处理芯片的第一数据传输装置接收多帧图像的图像数据。

604、利用第一图像信号处理器对多帧图像的图像数据进行第三处理。

605、将经过第三处理后得到的各帧图像的图像数据存储到第一存储器中。

606、由第一图像处理芯片的数字信号处理器或中央处理器利用预设规则从经过第三处理后得到的各帧图像的图像数据中选择一帧图像的图像数据。

607、将选择的图像数据经由第一数据传输装置传输到第二图像处理芯片的第二存储器中。

比如，603至607可以包括：

在通过应用层的用例管理模块调用图像处理功能后，电子设备可以根据应用层对图像处理功能的调用，通过对框架层提供的接口、第一硬件抽象单元提供的接口、适配模块提供的接口、第二硬件抽象单元提供的接口的逐层调用，控制集成在第一图像处理芯片中的硬件对图像数据进行相应的处理。其中，第一图像处理芯片对图像数据的处理可以包括如下流程：

首先，由第一图像处理芯片的第一数据传输装置接收多帧图像的图像数据。例如，可以由第一图像处理芯片中的MIPI输入端(如MIPI Rx)接收多帧图像的图像数据。

之后，电子设备可以利用第一图像处理芯片中的第一图像信号处理器对接收到的多帧图像中的每一帧图像的图像数据都进行一定的处理，即对每一帧图像都进行第三处理，从而得到处理后的图像数据。在一些实施方式中，第三处理可以包括诸如坏点校准、线性化处理以及图像信息统计等。

电子设备可以将经过第三处理后得到的各帧图像的图像数据存储到第一图像处理芯片的第一存储器中，之后第一图像处理芯片中的数字信号处理器DSP或中央处理器CPU可以从该第一存储器中获取这些图像的图像数据。

之后，第一图像处理芯片中的数字信号处理器或中央处理器可以利用预设规则从经过第三处理后得到的各帧图像的图像数据中选择一帧图像的图像数据。例如，第一图像处理芯片中的数字信号处理器可以运行预设的选帧算法从经过第三处理后得到的多帧图像的图像数据中选择一帧图像的图像数据。或者，第一图像处理芯片中的中央处理器可以结合时间戳来从经过第三处理后得到的多帧图像的图像数据中选择一帧图像的图像数据，例如，第一图像处理芯片中的中央处理器可以将经过第三处理后得到的多帧图像中最近拍摄得到的那帧图像的图像数据选取出来。

之后，第一图像处理芯片可以将选取出来的图像数据经由第一数据传输装置(如MIPI Tx)传输到第二图像处理芯片的第二存储器中。例如，第一图像处理芯片可以将选取出来的图像数据经由第一图像处理芯片中的PCIE模块传输到第二图像处理芯片的第二存储器中。

608、通过适配模块将存储在第二存储器中的图像数据传输给第二图像信号处理器进行相应的图像处理。

比如，在将选取出来的图像数据传输到第二图像处理芯片中的第二存储器后，电子设备可以通过适配模块将存储在该第二存储器中的图像数据传输给第二图像处理芯片中的第二图像信号处理器进行相应的图像处理。例如，第二图像信号处理器中进行的图像处理可以包括诸如图像降噪、图像锐化等处理。

在一些实施方式中，第二图像处理芯片中除了第二图像信号处理外，还可以包括中央处理器，该中央处理器也可以用于对图像数据进行处理。例如，该中央处理器可以对图像数据进行诸如格式转换等处理。

609、将经过第二图像处理芯片处理后得到的图像数据经由硬件抽象层、框架层反馈给应用层。

比如，电子设备可以将经过第二图像处理芯片处理后得到的图像数据经由硬件抽象层、框架层反馈给应用层。例如，电子设备可以将经过该第二图像处理芯片处理后得到的图像数据经由硬件抽象层、框架层反馈给相机应用进行显示。

在一些实施方式中，601至609的图像处理流程可以应用在诸如拍照等应用场景。

请一并参阅图10，图10是流程601至609的另一种流程示意图。

可以理解的是，由于本申请实施例应用于拍照场景时可以先由第一图像处理芯片选择一帧成像质量较好的图像再由第二图像处理芯片对该选择出来的图像进行处理，因此本申请实施例可以提高最终得到的照片的成像质量。

需要说明的是，本申请实施例中，通过应用层的用例管理模块调用图像处理功能可以是相机应用在拍摄图像时调用图像处理功能，也可以是相册应用调用图像处理功能，或者还可以时除相机应用之外的其它应用程序调用图像处理功能。

其中，当相册应用调用图像处理功能时，电子设备可以先利用第一图像处理芯片对图像数据进行处理，再利用第二图像处理芯片对经过第一图像处理芯片处理后得到的图像数据进行处理。比如，相册应用可以将某一张用户选取的照片或某一段用户选取的视频作为输入的图像数据先输入至第一图像处理芯片进行处理，再将经过第一图像处理芯片处理后的图像数据输入至第二图像处理芯片进行处理，最后再将经过第二图像处理芯片处理后的图像数据返回到相册应用中保存。

当除相机应用之外的其它应用程序调用图像处理功能时，首先电子设备可以对该应用程序进行权限认证，只有得到授权的应用程序才能调用图像处理功能。对于具有相应的权限的应用程序，当它调用图像处理功能时，该应用程序可以将获取到的图像数据传输至第一图像处理芯片，电子设备可以先利用第一图像处理芯片对图像数据进行处理，再利用第二图像处理芯片对经过第一图像处理芯片处理后得到的图像数据进行处理。比如，用户打开了即时通信应用，并利用该即时通信应用调用摄像模组拍摄得到一张照片，再将该照片输入至第一图像处理芯片进行处理，再将经过第一图像处理芯片处理后的图像数据输入至第二图像处理芯片进行处理，最后再将经过第二图像处理芯片处理后的图像数据返回到该即时通信应用，以便用户可以将处理后得到的图像数据发送给其它用户或者保存等。

在另一种实施方式中，请参阅图11，本申请实施例提供的图像处理架构还可以包括更多的模块和单元。

例如，如图11所示，除了接口和适配模块外，第一硬件抽象单元331还可以包括CamX模块、Chi-CDK模块以及3A库文件等。

第二硬件抽象单元332还可以包括库文件和逻辑层。其中，库文件可以包括PCIE库文件和电源管理芯片(PMIC)库文件。逻辑层可以包括场景管理单元、策略管理单元、参数管理单元、命令管理单元、调试管理单元、大数据单元、热更新单元等。场景管理单元可以用于对诸如HDR场景、夜景场景、虚化场景等场景进行管理。策略管理单元可以用于控制场景如何切换，如切换过程中那个模块先上电、下电等。大数据单元可以用于统计各场景的使用频率以及是否有bug产生等。热更新单元可以用于在系统不重启的情况下升级一些模块。此外，接口3321可以包括开启单元(open)、关闭单元(close)、初始化单元(Init)、反初始化单元(DeInit)、更新参数单元(UpdateParams)、函数回调单元(SetCallback)等。

内核层可以包括一些硬件的驱动，如图像传感器的驱动、MIPI的驱动、图形处理器(GPU)的驱动、数字信号处理器(DSP)的驱动，以及第一图像处理芯片的驱动。其中，第一图像处理芯片的驱动可以包括诸如电源管理芯片的驱动、中断(Interrupt)的驱动、串行外设(SPI)的驱动、PCIE的驱动等。

本申请实施例还提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行如本申请实施例提供的各个图像处理方法中的流程。

本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本申请实施例提供的各个图像处理方法中的流程。

例如，上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图12，图12为本申请实施例提供的电子设备的结构示意图。

该电子设备700可以包括图像传感器701、存储器702、处理器703、图像信号处理器704、数字信号处理器705等部件。本领域技术人员可以理解，图12中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

图像传感器701可以用于采集图像数据。

存储器702可用于存储应用程序和数据。存储器702存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器703通过运行存储在存储器702的应用程序，从而执行各种功能应用以及数据处理。

处理器703是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器702内的应用程序，以及调用存储在存储器702内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

图像信号处理器704可以用于对图像传感器701输出的图像信号进行处理。

数字信号处理器705可以运行图像处理算法以对图像数据进行相应的处理。

本申请实施例提供的电子设备可以用于实现一种图像处理架构，所述图像处理架构包括：应用层、中间层和硬件层，其中，所述中间层位于所述应用层和所述硬件层之间；

所述应用层包括用例管理模块，所述用例管理模块用于将图像处理功能以用例的方式进行管理；

所述中间层用于封装硬件操作逻辑，并向所述应用层提供调用接口，以便所述应用层访问硬件；

所述硬件层包括用于进行图像处理的硬件，如图像信号处理器和数字信号处理器、存储器等。

在一些实施方式中，所述应用层还包括策略控制模块和/或命令服务模块。

在一些实施方式中，所述中间层至少包括动态电压频率调整模块、调试模块、日志模块、神经网络处理器逻辑实现模块、Finsh Console模块、DFS模块、设备管理模块中的一种或多种模块以及与各模块运行所需的库文件。

在一些实施方式中，所述中间层还包括用于保存硬件中的寄存器的库文件，所述库文件包括寄存器的设置、参数或模型，所述库文件用于供对应的硬件进行读写操作。

在一些实施方式中，所述硬件层至少包括图像信号处理器、数字信号处理器、中央处理器、神经网络处理器、存储器、数据传输模块、电源管理模块中的一种或多种。

在一些实施方式中，所述数据传输模块包括MIPI模块和/或PCIE模块。

在一些实施方式中，述图像处理架构还包括内核层，其中，所述中间层位于所述应用层和所述内核层之间，所述内核层位于所述中间层和所述硬件层之间；

所述内核层包括至少一个系统启动和配置模块，用于完成系统启动和配置。

在一些实施方式中，所述内核层至少包括操作系统内核、硬件驱动模块、板级支持包模块、板级配置模块中的一种或多种。

基于上述图像处理架构，在本申请实施例中，电子设备中可以执行：

获取图像数据；

通过所述应用层的用例管理模块调用图像处理功能；

所述应用层通过所述中间层提供的接口调用与所述图像处理功能对应的硬件对所述图像数据进行相应的处理，其中，与所述图像处理功能对应的硬件位于所述硬件层。

请参阅图13，电子设备800可以包括图像传感器801、第一图像处理芯片802、第二图像处理芯片803、触摸显示屏804、电池805、扬声器806、麦克风807等部件。

图像传感器801可以用于采集图像数据。

第一图像处理芯片802可以包括第一图像信号处理器、第一存储器、第一数据传输装置、神经网络处理器、数字信号处理器、中央处理器。

第二图像处理芯片803可以包括第二图像信号处理器、第二存储器等。

触摸显示屏804可以用于显示诸如图像、文字等信息，也可以用于接收用户的触摸操作等。

电池805可以为电子设备的各个部件和模块提供电力支持。

扬声器806可以用于播放声音信号。

麦克风807可以用于采集环境中的声音信号。

当然，在其它实施例中，电子设备还可以包括比本申请实施例更多的或更少的模块，本申请实施例对此不做具体限定。

本申请实施例提供的电子设备可以用于实现一种图像处理架构，所述图像处理架构包括：应用层、框架层、硬件抽象层、内核层和硬件层，其中，所述框架层位于所述应用层和所述硬件抽象层之间，所述硬件抽象层位于所述框架层和所述内核层之间，所述内核层位于所述硬件抽象层和所述硬件层之间；

所述应用层包括用例管理模块，所述用例管理模块用于将图像处理功能以用例的方式进行管理；

所述框架层提供用于所述应用层和所述硬件抽象层进行数据交互的接口；

所述硬件抽象层用于封装硬件操作逻辑，并向所述框架层提供调用接口，以便所述应用层访问硬件；

所述硬件抽象层包括第一硬件抽象单元和第二硬件抽象单元，所述第一硬件抽象单元为相机对应的硬件抽象层，所述第二硬件抽象单元为第一图像处理芯片对应的硬件抽象层，所述第一硬件抽象单元包括适配模块，所述适配模块用于实现所述第一硬件抽象单元和所述第二硬件抽象单元之间的数据交互；

所述第二硬件抽象单元包括应用程序接口模块，所述应用程序接口模块用于所述应用层访问所述第一图像处理芯片对应的硬件；

所述内核层至少包括各硬件对应的硬件驱动模块；

所述硬件层包括用于进行图像处理的硬件。

基于上述图像处理结构，在本实施例中，电子设备可以执行：

获取图像数据；

通过所述应用层的用例管理模块调用图像处理功能；

根据所述应用层对所述图像处理功能的调用，通过依次对所述框架层提供的接口、所述第一硬件抽象单元提供的接口、所述适配模块提供的接口、所述第二硬件抽象单元提供的接口的调用，控制集成在所述第一图像处理芯片中的硬件对所述图像数据进行相应的处理；

将经过所述第一图像处理芯片处理得到的图像数据传输给第二图像处理芯片；

由所述第二图像处理芯片对接收到的图像数据进行相应的图像处理；

将经过所述第二图像处理芯片处理后得到的图像数据经由所述硬件抽象层、所述框架层反馈给所述应用层。

在一种实施方式中，所述第一图像处理芯片对图像数据进行的处理，可以包括：通过所述第一图像处理芯片的第一数据传输装置接收图像数据；利用所述第一图像信号处理器对所述图像数据进行第一处理，得到第一数据；将所述第一数据存储到所述第一存储器中；由所述神经网络处理器从所述第一存储器中获取所述第一数据，并进行相应的算法处理，得到第二数据；将所述第二数据存储到所述第一存储器中；由所述第一图像信号处理器从所述第一存储器中获取所述第二数据，并进行第二处理，得到第三数据；通过所述第一数据传输装置将所述第三数据传输给所述第二图像处理芯片。

在一种实施方式中，获取的图像数据包括多帧图像的数据。

那么，第一图像处理芯片对图像数据进行的处理，可以包括：通过所述第一图像处理芯片的第一数据传输装置接收所述多帧图像的图像数据；利用所述第一图像信号处理器对所述多帧图像的图像数据进行第三处理；将经过所述第三处理后得到的各帧图像的图像数据存储到所述第一存储器中；由所述第一图像处理芯片的数字信号处理器或中央处理器利用预设规则从经过所述第三处理后得到的各帧图像的图像数据中选择一帧图像的图像数据；将选择的图像数据经由所述第一数据传输装置传输到所述第二图像处理芯片的第二存储器中。

所述由所述第二图像处理芯片对接收到的图像数据进行相应的图像处理，可以包括：通过所述适配模块将存储在所述第二存储器中的图像数据传输给所述第二图像信号处理器进行相应的图像处理。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对图像处理方法的详细描述，此处不再赘述。

本申请实施例提供的所述图像处理架构与上文实施例中的图像处理方法属于同一构思，在所述图像处理架构上可以运行所述图像处理方法实施例中提供的任一方法，其具体实现过程详见所述图像处理方法实施例，此处不再赘述。

需要说明的是，对本申请实施例所述图像处理方法而言，本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在存储器中，并被至少一个处理器执行，在执行过程中可包括如所述图像处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)等。

对本申请实施例的所述图像处理架构而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。

以上对本申请实施例所提供的一种图像处理方法、架构、存储介质以及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (17)

1.一种图像处理架构，其特征在于，所述图像处理架构包括：应用层、中间层和硬件层，其中，所述中间层位于所述应用层和所述硬件层之间；

所述应用层包括用例管理模块，所述用例管理模块用于将图像处理功能以用例的方式进行管理；

所述中间层用于封装硬件操作逻辑，并向所述应用层提供调用接口，以便所述应用层访问硬件；

所述硬件层包括用于进行图像处理的硬件。

2.根据权利要求1所述的图像处理结构，其特征在于，所述应用层还包括策略控制模块和/或命令服务模块。

3.根据权利要求1所述的图像处理结构，其特征在于，所述中间层至少包括动态电压频率调整模块、调试模块、日志模块、神经网络处理器逻辑实现模块、Finsh Console模块、DFS模块、设备管理模块中的一种或多种模块以及与各模块运行所需的库文件。

4.根据权利要求3所述的图像处理结构，其特征在于，所述中间层还包括用于保存硬件中的寄存器的库文件，所述库文件包括寄存器的设置、参数或模型，所述库文件用于供对应的硬件进行读写操作。

5.根据权利要求1所述的图像处理结构，其特征在于，所述硬件层至少包括图像信号处理器、数字信号处理器、中央处理器、神经网络处理器、存储器、数据传输模块、电源管理模块中的一种或多种。

6.根据权利要求6所述的图像处理结构，其特征在于，所述数据传输模块包括MIPI模块和/或PCIE模块。

7.根据权利要求1所述的图像处理结构，其特征在于，所述图像处理架构还包括内核层，其中，所述中间层位于所述应用层和所述内核层之间，所述内核层位于所述中间层和所述硬件层之间；

所述内核层包括至少一个系统启动和配置模块。

8.根据权利要求7所述的图像处理结构，其特征在于，所述内核层至少包括操作系统内核、硬件驱动模块、板级支持包模块、板级配置模块中的一种或多种。

9.一种图像处理方法，其特征在于，所述图像处理方法应用于权利要求1所述的图像处理架构，所述图像处理方法包括：

获取图像数据；

通过所述应用层的用例管理模块调用图像处理功能；

所述应用层通过所述中间层提供的接口调用与所述图像处理功能对应的硬件对所述图像数据进行相应的处理，其中，与所述图像处理功能对应的硬件位于所述硬件层。

10.一种图像处理架构，其特征在于，所述图像处理架构包括：应用层、框架层、硬件抽象层、内核层和硬件层，其中，所述框架层位于所述应用层和所述硬件抽象层之间，所述硬件抽象层位于所述框架层和所述内核层之间，所述内核层位于所述硬件抽象层和所述硬件层之间；

所述应用层包括用例管理模块，所述用例管理模块用于将图像处理功能以用例的方式进行管理；

所述框架层提供用于所述应用层和所述硬件抽象层进行数据交互的接口；

所述硬件抽象层用于封装硬件操作逻辑，并向所述框架层提供调用接口，以便所述应用层访问硬件；

所述硬件抽象层包括第一硬件抽象单元和第二硬件抽象单元，所述第一硬件抽象单元为相机对应的硬件抽象层，所述第二硬件抽象单元为第一图像处理芯片对应的硬件抽象层，所述第一硬件抽象单元包括适配模块，所述适配模块用于实现所述第一硬件抽象单元和所述第二硬件抽象单元之间的数据交互；

所述第二硬件抽象单元包括应用程序接口模块，所述应用程序接口模块用于所述应用层访问所述第一图像处理芯片对应的硬件；

所述内核层至少包括各硬件对应的硬件驱动模块；

所述硬件层包括用于进行图像处理的硬件。

11.根据权利要求10所述的图像处理架构，其特征在于，所述硬件层包括集成在所述第一图像处理芯片上的第一图像信号处理器、第一存储器、第一数据传输装置、神经网络处理器、数字信号处理器、中央处理器。

12.根据权利要求11所述的图像处理架构，其特征在于，所述硬件层还包括第二图像处理芯片，所述第二图像处理芯片包括第二图像信号处理器、第二存储器。

13.一种图像处理方法，其特征在于，所述图像处理方法应用于权利要求12所述的图像处理架构，所述图像处理方法包括：

获取图像数据；

通过所述应用层的用例管理模块调用图像处理功能；

根据所述应用层对所述图像处理功能的调用，通过依次对所述框架层提供的接口、所述第一硬件抽象单元提供的接口、所述适配模块提供的接口、所述第二硬件抽象单元提供的接口的调用，控制集成在所述第一图像处理芯片中的硬件对所述图像数据进行相应的处理；

将经过所述第一图像处理芯片处理得到的图像数据传输给第二图像处理芯片；

由所述第二图像处理芯片对接收到的图像数据进行相应的图像处理；

将经过所述第二图像处理芯片处理后得到的图像数据经由所述硬件抽象层、所述框架层反馈给所述应用层。

14.根据权利要求13所述的图像处理方法，其特征在于，所述第一图像处理芯片对图像数据进行的处理，包括：

通过所述第一图像处理芯片的第一数据传输装置接收图像数据；

利用所述第一图像信号处理器对所述图像数据进行第一处理，得到第一数据；

将所述第一数据存储到所述第一存储器中；

由所述神经网络处理器从所述第一存储器中获取所述第一数据，并进行相应的算法处理，得到第二数据；

将所述第二数据存储到所述第一存储器中；

由所述第一图像信号处理器从所述第一存储器中获取所述第二数据，并进行第二处理，得到第三数据；

通过所述第一数据传输装置将所述第三数据传输给所述第二图像处理芯片。

15.根据权利要求13所述的图像处理方法，其特征在于，获取的图像数据包括多帧图像的数据；

所述第一图像处理芯片对图像数据进行的处理，包括：

通过所述第一图像处理芯片的第一数据传输装置接收所述多帧图像的图像数据；

利用所述第一图像信号处理器对所述多帧图像的图像数据进行第三处理；

将经过所述第三处理后得到的各帧图像的图像数据存储到所述第一存储器中；

由所述第一图像处理芯片的数字信号处理器或中央处理器利用预设规则从经过所述第三处理后得到的各帧图像的图像数据中选择一帧图像的图像数据；

将选择的图像数据经由所述第一数据传输装置传输到所述第二图像处理芯片的第二存储器中；

所述由所述第二图像处理芯片对接收到的图像数据进行相应的图像处理，包括：通过所述适配模块将存储在所述第二存储器中的图像数据传输给所述第二图像信号处理器进行相应的图像处理。

16.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上执行时，使得所述计算机执行如权利要求9所述的方法，或者使得所述计算机执行如权利要求13至15中任一项所述的方法。

17.一种电子设备，包括存储器，处理器，其特征在于，所述处理器通过调用所述存储器中存储的计算机程序，以执行如权利要求9所述的方法，或者执行如权利要求13至15中任一项所述的方法。

Images