CN116957906A - 图像处理系统、方法、电子设备、可读存储介质和芯片 - Google Patents

Abstract

本申请提供了一种图像处理系统、方法、电子设备、可读存储介质和芯片，所述图像处理系统包括图像处理芯片和硬件抽象层，所述图像处理芯片与所述硬件抽象层通信连接；厂商框架层和应用框架层，所述厂商框架层分别与所述硬件抽象层和所述应用框架层通信连接；所述厂商框架层还与所述图像处理芯片通信连接，所述厂商框架层用于对所述图像处理芯片进行通信控制。

Description

图像处理系统、方法、电子设备、可读存储介质和芯片

技术领域

本申请涉及图像处理领域，具体涉及一种图像处理系统、方法、电子设备、可读存储介质和芯片。

背景技术

随着通信技术的发展，电子设备中的功能越来越强大，例如，用户可以使用电子设备拍摄图像。然而，采用现有的电子设备进行拍摄的过程中，所拍摄的图像的质量在一定程度上取决于外界拍摄环境，当外界影响拍摄的干扰因素较多时，所拍摄得到的图像通常不理想。

为了提高电子设备的拍摄质量，相关技术中提出了可以在电子设备内增设图像处理芯片，相关技术中，通常会将图像处理芯片的控制层设置于系统级芯片(System onChip，SoC)的相机硬件抽象层中，以便于SoC调用图像处理芯片进行图像处理。在将图像处理芯片应用于电子设备时，通常需要通过编写交互逻辑代码以便于SoC与图像处理芯片之间的能够正常交互，然而，当需要将同一图像处理芯片应用于不同平台提供的SoC时，由于不同类型的SoC，其内部的相机硬件抽象层通常存在一定的区别。从而导致用户使用不同的电子设备机型存在使用体验存在较大差异的问题。

发明内容

本申请提供了一种图像处理系统、方法、电子设备、可读存储介质和芯片，可以解决使用不同的电子设备机型存在使用体验存在较大差异的问题。

第一方面，本申请实施例提供了一种图像处理系统，所述系统包括：

图像处理芯片和硬件抽象层，所述图像处理芯片与所述硬件抽象层通信连接；

厂商框架层和应用框架层，所述厂商框架层分别与所述硬件抽象层和所述应用框架层通信连接；

所述厂商框架层还与所述图像处理芯片通信连接，所述厂商框架层用于对所述图像处理芯片进行通信控制。

第二方面，本申请实施例提供了一种图像处理方法，应用于第一方面所述的图像处理系统，所述方法包括：

在厂商框架层接收到相机硬件抽象模块输出的第一图像数据流的情况下，控制所述厂商框架层将所述第一图像数据流传输至所述图像处理芯片；

控制所述图像处理芯片对所述第一图像数据流进行图像处理，得到第二图像数据流；以及，

控制所述图像处理芯片将所述第二图像数据流传输至所述厂商框架层。

第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第二方面所述的图像处理方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第二方面所述的图像处理方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，其中，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第二方面所述的图像处理方法的步骤。

本申请实施例中的图像处理系统包括：图像处理芯片、硬件抽象层、厂商框架层和应用框架层，其中，图像处理芯片与硬件抽象层通信连接；厂商框架层分别与硬件抽象层和应用框架层通信连接；厂商框架层还与图像处理芯片通信连接，所述厂商框架层用于对所述图像处理芯片进行通信控制。因此，通过在安卓框架系统中增加厂商框架层，该厂商框架层与硬件抽象层和应用框架层通信连接，实现将硬件抽象层的部分功能模块上移至厂商框架层，使得上移后的功能模块能够独立的被应用框架层调用，而不需要与相机硬件抽象模块绑定，不依赖于相机硬件抽象模块的开发，且解耦后可以独立进行芯片升级，在新平台引入的情况下能够快速适配。从而，可以解决使用不同的电子设备机型存在使用体验存在较大差异的问题，使得用户使用不同的电子设备机型的体验统一，而不是由于平台差异，导致处理方案差异而出现内存占用、功耗差异。

附图说明

图1是本申请提供的一种图像处理系统的结构示意图；

图2是本申请提供的一种图像处理方法的流程示意图；

图3是本申请实施例提供的一种电子设备的结构示意图；

图4是本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理系统、方法、电子设备、可读存储介质和芯片进行详细地说明。

为了便于理解，先对本申请实施例中涉及的安卓(Android)系统框架结构进行介绍。

应用层(Applications)，应用层由运行在Android设备上的所有应用构成，包括预装的系统应用和用户安装的第三方应用。

应用框架层(Application Framework)，是Android应用开发的核心，为开发者开发应用是提供基础的应用程序接口(Application Programming Interface，API)框架。

系统运行库层，类库Libraries或安卓运行时(Android Runtime，ART)，类库Libraries通过封装一系列的函数库供上层使用；ART是由Java核心类库(Core Libraries)和Android虚拟机(Dalvik)共同构成。

硬件抽象层(Hardware Abstraction Layer，HAL)，位于操作系统内核与硬件电路之间的接口层，其目的在于将硬件抽象化。

Linux内核层，是Android系统的基础，主要实现内存管理、进度调度、进程间通信、设备驱动等。

下面请参见图1，图1是本申请实施例提供的一种图像处理系统的结构示意图，所述图像处理系统包括：

图像处理芯片和硬件抽象层，所述图像处理芯片与所述硬件抽象层通信连接；

厂商框架层和应用框架层，所述厂商框架层分别与所述硬件抽象层和所述应用框架层通信连接；

所述厂商框架层还与所述图像处理芯片通信连接，所述厂商框架层用于对所述图像处理芯片进行通信控制。

上述图像处理系统可以是电子设备中的图像处理系统，所述电子设备可以是各种类型的用户终端，例如，手机、平板电脑等，或者，所述电子设备也可以是厂商的开发设备。

上述图像处理系统还可以包括电子设备中的SoC，上述图像处理芯片为电子设备中除SoC之外的用于对图像进行处理的芯片，图像处理芯片也可称为图像增强芯片或外挂芯片。具体地，在图像处理系统对图像进行处理的过程中，可以在基于SoC对图像进行处理的基础上，选择进一步基于图像处理芯片对SoC输出的图像进行图像增强处理，以提高对图像的处理效果。例如，上述图像处理芯片可以用于对图像进行如下处理：去噪处理、清晰度调节处理和白平衡处理等。所述SoC可以用于对图像进行如下处理：风格化处理、添加水印处理、去噪处理等。

上述硬件抽象层可以包括相机硬件抽象模块，所述硬件抽象层具体可以通过所述相机硬件抽象模块与所述厂商框架层通信连接。

其中，所述相机硬件抽象模块为谷歌提供的标准模块，相关技术中，各个平台的SoC为了实现对图像处理芯片的控制，通常是通过在相机硬件抽象模块中存储图像处理芯片的控制逻辑，由于不同平台的图像处理逻辑可能存在差异，从而导致不同平台中的相机硬件抽象模块存在差异。而本申请实施例中，各个平台对应的SoC中的硬件抽象层可以基于所述厂商框架层与图像处理芯片通信，即无需在各个平台对应的SoC中的硬件抽象层中的相机硬件抽象模块内设置对应的图像处理芯片的控制逻辑，即在开发过程中无需对相机硬件抽象模块进行修改，使得各个平台的SoC具有相同的相机硬件抽象模块。

由于各个平台的SoC具有相同的相机硬件抽象模块，因此，各个平台的SoC可以共用一套与厂商框架层进行交互的交互代码，在图像处理芯片跨平台开发时，仅需编写一次图像处理芯片与第一相机服务模块之间的逻辑交互代码，这样，不同平台的相机硬件抽象模块可以通过所述厂商框架层与图像处理芯片进行交互，从而避免了针对一套交互逻辑需要重复编写多遍的问题。从而，解决使用不同的电子设备机型存在使用体验存在较大差异的问题，使得用户使用不同的电子设备机型的体验统一，而不是由于平台差异，导致处理方案差异而出现内存占用、功耗差异。

上述厂商框架层也可以称为原始设备制造商(Original EquipmentManufacturer，OEM)框架层，该厂商框架层为电子设备中独立于SoC之外的功能模块。所述厂商框架层中可以预先存储各个平台中的客制化代码。具体地，如高动态范围(HighDynamic Range，HDR)拍照算法，不同的平台厂商会提供自研HDR算法，可以将该自研HDR算法的代码移植到厂商框架层。

以便于厂商框架层能够建立各个平台的SoC与图像处理芯片之间的通信连接。

上述各个平台具体可以包括各种类型的SoC开发平台。

上述应用框架层可以是Android系统框架中的应用框架层，例如，所述应用框架层可以是谷歌框架层(Google Framework)。可以理解的是，所述应用框架层可以建立所述厂商框架层与应用层之间的通信连接。

需要说明的是，厂商框架层对图像处理芯片进行通信控制可以指图像处理芯片的控制逻辑或输入/输出(Input/Output，I/O)通道的数据传输控制。

上述厂商框架层在数据通路上以安卓接口定义语言(Android InterfaceDefinition Language，AIDL)的方式链接应用框架层，并对相机模块定义通用接口，从而对应实现配置数据流(configure streams)、处理采集请求(process capture request)等。厂商框架层可以建立该层内部对图像数据流和元数据(metadata)的中转机制，从而实现对硬件抽象层传输上来的图像数据流转发给应用框架层。

在本申请实施例中，通过在Android框架系统中增加厂商框架层，该厂商框架层与硬件抽象层和应用框架层通信连接，实现将硬件抽象层的部分功能模块上移至厂商框架层，使得上移后的功能模块能够独立的被应用框架层调用，而不需要与相机硬件抽象模块绑定，不依赖于相机硬件抽象模块的开发，且解耦后可以独立进行芯片升级，在新平台引入的情况下能够快速适配。从而，解决使用不同的电子设备机型存在使用体验存在较大差异的问题，使得用户使用不同的电子设备机型的体验统一，而不是由于平台差异，导致处理方案差异而出现内存占用、功耗差异。同时，在图像处理芯片跨平台开发时，仅需编写一次图像处理芯片与厂商框架层之间的逻辑交互代码，不同平台的硬件抽象层可以基于厂商框架层对图像处理芯片进行控制，从而提高了图像处理芯片跨平台开发的效率。

可选地，所述厂商框架层包括第一相机服务模块和显示硬件合成器；

所述第一相机服务模块用于通过所述硬件抽象层对所述图像处理芯片进行通信控制；

所述显示硬件合成器用于在所述应用框架层的控制下，将预览图像流传输给所述图像处理芯片。

上述第一相机服务模块可以为供应商相机服务模块(Vendor Camera Server)。上述显示硬件合成器可以为硬件组合抽象层(HWComposer，HWC)。

在本申请实施例中，厂商框架层的第一相机服务模块、硬件抽象层和图像处理芯片之间形成通信控制通路，可以实现图像数据流从图像传感器输出后经硬件抽象层输入至第一相机服务模块，或者，实现数据流从图像处理芯片从输出后经硬件抽象层输入至第一相机服务模块。

在本申请实施例中，上述预览图像流可以是指在电子设备进行图像拍摄过程中，待发送至显示屏进行显示的图像数据。在应用层的应用程序需要相机预览服务的情况下，经应用框架层将预览图像流下发至显示硬件合成器，通过所述显示硬件合成器将预览图像流传出至图像处理芯片，进而通过图像处理芯片传输给显示设备进行预览显示。

该实施方式中，通过使所述厂商框架层包括第一相机服务模块和显示硬件合成器，这样，一方面可以基于所述厂商框架层通过所述硬件抽象层对所述图像处理芯片进行通信控制，另一方面，还可以基于所述厂商框架层将预览图像流传输给所述图像处理芯片。实现图像传感器和图像处理芯片与厂商框架层间的通信控制以及上层应用程序的预览需求通过厂商框架层传输至图像处理芯片。

请参见图1，所述图像处理系统还可以包括图像传感器、硬件层和内核层，所述内核层包括视频设备驱动(video for linux 2，V4L2)，所述硬件层包括图像传感器的端口CSI0，所述图像传感器的端口CSI0通过V4L2与相机硬件抽象模块连接。所述图像传感器可以依次通过所述端口CSI0和V4L2将图像传感器采集的图像数据流传递至相机硬件抽象模块。相机硬件抽象模块在接收到所述图像之后，可以将所述图像数据流传递至所述厂商框架层，所述厂商框架层可以将所接收到的图像数据流传递至图像处理芯片，以便于图像处理芯片对图像进行图像处理。此外，所述厂商框架层还可以将从图像处理芯片所接收到的图像数据流传输至应用框架层，以便于基于应用框架层对图像进行送显或存储。

可选地，所述硬件抽象层包括相机硬件抽象模块，所述第一相机服务模块通过所述显示硬件合成器与所述图像处理芯片连接，以形成第一数据传输通路；

可选地，所述图像处理芯片通过相机硬件抽象模块与所述第一相机服务模块连接，以形成第二数据传输通路。

上述相机硬件抽象模块可以为相机硬件抽象层(Camera Hardware AbstractionLayer，Camera HAL)。

请参见图1，所述内核层还包括显示直接渲染管理器驱动(Direct RenderingManager Driver，DRM Driver)，所述第一相机服务模块依次通过显示硬件合成器、DRMDriver与所述图像处理芯片的端口DSI1连接，从而形成第一数据传输通路。所述图像处理芯片依次通过图像传感器的端口CSI1、内核层的V4L2、Camera Hal与第一相机服务模块连接，从而形成第二数据传输通路。

该实施方式中，通过形成上述第一数据传输通路，所述第一相机服务模块可以通过所述第一数据传输通路将待处理的图像数据流传输至图像处理芯片进行图像处理。相应地，通过形成上述第二数据传输通路，所述图像处理芯片可以通过第二数据传输通路将经过处理的图像处理传回至所述第一相机服务模块。

可选地，该系统还包括显示屏、存储器和应用层；

可选地，所述应用框架层包括第二相机服务模块、显示框架模块和媒体编解码器；

上述第二相机服务模块可以为谷歌相机服务(Google Camera Server)；上述显示框架模块可以为Surface Flinger，该Surface Flinger服务运行在Android框架的系统进程中，并负责管理Android系统的帧缓冲区(Frame Buffer)；上述媒体编解码器可以为媒体编码解码器(Media Codec)。

可选地，所述第一相机服务模块依次通过所述第二相机服务模块、所述应用层、所述显示框架模块、所述显示硬件合成器、所述图像处理芯片与所述显示屏连接，以形成第三数据传输通路；

在本申请实施例中，请参见图1，所述第一相机服务模块依次通过所述第二相机服务模块、所述应用层、所述显示框架模块、所述显示硬件合成器、所述DRM Driver、所述图像处理芯片、显示处理器(Display Processing Unit，DPU)与所述显示屏连接，以形成第三数据传输通路。

该实施方式中，通过形成上述第三数据传输通路，以便于所述第一相机服务模块通过所述第三数据传输通路将处理后的图像传输至显示屏进行预览显示。

可选地，所述第一相机服务模块依次通过第二相机服务模块、所述媒体编解码器与所述存储器连接，以形成第四数据传输通路。

在本申请实施例中，请参见图1，所述第一相机服务模块依次通过第二相机服务模块、所述媒体编解码器、开放多媒体加速模块(Open Media Acceleration，OMX)、数据块驱动模块(Block Driver)与存储器接口(UFS/sMMC)连接，以形成第四数据传输通路。

该实施方式中，通过形成所述第四数据传输通路，以便于所述第一相机服务模块通过所述第四数据传输通路将处理后的图像传输至存储器进行存储。

可选地，所述图像处理系统还包括应用层，所述应用框架层包括显示增强服务模块，所述厂商框架层还包括图像处理芯片硬件抽象模块，所述应用层依次通过所述显示增强服务模块、所述图像处理芯片硬件抽象模块与所述图像处理芯片连接，以形成第一控制通路。

在本实施例中，上述显示增强服务模块可以为谷歌框架层的显示增加服务(Display Enhanced Service)，上述图像处理芯片硬件抽象模块可以为专用集成电路硬件抽象层(Application Specific Integrated Circuit Hardware Abstraction Layer，ASIC HAL)。

请参见图1，所述应用层依次通过所述显示增强服务模块、所述图像处理芯片硬件抽象模块、串行外设接口驱动(Serial Peripheral Interface Driver，SPIDriver)与图像处理芯片的SPI连接，以形成所述第一控制通路。

具体地，上述第一控制通路可以方便用于基于用户界面中的相应控件对图像处理芯片的状态进行控制。例如，可以在电子设备显示特定界面时，在显示界面中设置显示增强开关，用户可以根据需求打开或关闭所述显示增强开关，以方便用户提高所显示界面的画质。其中，所述特定界面具体可以是指游戏界面或者拍摄预览界面等。

可以理解的是，在所述图像处理芯片的显示增强功能启动的情况下，第一相机服务模块可以将需要传输至显示屏进行显示的图像先通过上述第一数据传输通路传输至图像处理芯片进行显示增强，图像处理芯片再通过第二数据传输通路将进行显示增强之后的图像传输至第一相机服务模块，第一相机服务模块再基于第三数据传输通路将显示增强之后的图像传输显示屏进行显示。

该实施方式中，通过形成上述第一控制通路，以便于用户通过用户界面中的控件对图像处理芯片的状态进行控制。

可选地，所述厂商框架层还包括图像处理芯片硬件抽象模块，所述第一相机服务模块通过所述图像处理芯片硬件抽象模块与所述图像处理芯片连接，以形成第二控制通路。

请参见图1，所述第一相机服务模块可以依次通过所述图像处理芯片硬件抽象模块、SPIDriver与图像处理芯片的SPI连接，以形成所述第二控制通路。

该实施方式中，通过形成上述第二控制通路，以便于所述第一相机服务模块通过所述第二控制通路对所述图像处理芯片的状态进行控制。

在本申请实施例中，在图像处理芯片为显示增强模式的情况下，通过第一控制通路、第二控制通路通知图像处理芯片对预览图像流进行色彩增强。

在本申请实施例中，在录像结束的情况下，通过第一控制通路、第二控制通路通知图像处理芯片结束运行，从而节省电子设备的运行功耗。

请参见图2，图2是本申请实施例提供的一种图像处理方法的流程示意图，所述图像处理方法应用于上述实施例所述的图像处理系统，所述方法以下步骤包括：

步骤201、在厂商框架层接收到相机硬件抽象模块输出的第一图像数据流的情况下，控制所述厂商框架层将所述第一图像数据流传输至所述图像处理芯片；

步骤202、控制所述图像处理芯片对所述第一图像数据流进行图像处理，得到第二图像数据流；

步骤203、控制所述图像处理芯片将所述第二图像数据流传输至所述厂商框架层。

上述图像处理芯片对所述第一图像数据流进行图像处理具体可以是采用相关技术中常见的图像处理手段对第一图像数据流进行图像处理，例如，可以对所述第一图像数据流进行如下处理：去噪处理、清晰度调节处理和白平衡处理等。

在本申请实施例中，图像传感器将采集的第一图像数据流通过内核层传输至硬件抽象模块，然后通过硬件抽象模块传输至厂商框架层，然后控制所述厂商框架层将所述第一图像数据流通过内核层传输至所述图像处理芯片；控制所述图像处理芯片对所述第一图像数据流进行图像处理，得到第二图像数据流；再控制所述图像处理芯片将所述第二图像数据流通过内核层和硬件抽象层传输至所述厂商框架层。

在本申请实施例中，可以控制厂商框架层实现对图像传感器的输出数据、图像处理芯片的输入输出控制，实现将图像处理芯片的控制逻辑和数据通路可以通过厂商框架层控制。该实施方式中，由于本实施例提供的图像处理方法为与上述图像处理系统对应的图像处理方法，因此，所述图像处理方法具有上述图像处理系统的全部有益效果。

可选地，所述厂商框架层包括第一相机服务模块和显示硬件合成器，所述第一相机服务模块通过所述显示硬件合成器与所述图像处理芯片连接，以形成第一数据传输通路；

所述控制所述厂商框架层将所述第一图像数据流传输至所述图像处理芯片包括：

控制所述厂商框架层中的所述第一相机服务模块通过所述第一数据传输通路将所述第一图像数据流传输至所述图像处理芯片。

该实施方式中，通过形成上述第一数据传输通路，所述第一相机服务模块可以通过所述第一数据传输通路将第一图像数据流传输至图像处理芯片进行图像处理。

在本申请实施例中，结合图1，上述第一图像数据流可以是所述图像传感器采集的图像数据，且所述图像传感器可以依次通过端口CSI0和V4L2将所述第一图像数据流传递至Camera Hal。Camera Hal在接收到所述第一图像数据流可以将所述第一图像数据流传输至所述厂商框架层。所述厂商框架层通过DMR Driver和DSI1将该第一图像数据流传输至图像处理芯片。

可选地，所述图像处理芯片通过所述相机硬件抽象模块与所述第一相机服务模块连接，以形成第二数据传输通路；

所述控制所述图像处理芯片将所述第二图像数据流传输至所述厂商框架层包括：

控制所述图像处理芯片通过所述第二数据传输通路将所述第二图像数据流传输至所述厂商框架层中的所述第一相机服务模块。

相应地，通过形成上述第二数据传输通路，所述图像处理芯片可以通过第二数据传输通路将第二图像数据流传回至所述第一相机服务模块。具体地，图像处理芯片将第二图像数据流经过CSI1、V4L2、Camera HAL输出至厂商框架层的vender Camera Server。

可选地，所述系统还包括显示屏、存储器和应用层，所述应用框架层包括第二相机服务模块、显示框架模块和媒体编解码器。

可选地，所述第一相机服务模块依次通过所述第二相机服务模块、所述应用层、所述显示框架模块、所述显示硬件合成器、所述图像处理芯片与所述显示屏连接，以形成第三数据传输通路；

所述控制所述图像处理芯片将所述第二图像数据流传输至所述厂商框架层之后，还包括：

控制所述第一相机服务模块通过所述第三数据传输通路将所述第二图像数据流传输至所述显示屏进行预览显示。

该实施方式中，控制第一相机服务模块基于第三数据传输通路将所述第二图像数据流传输至所述显示屏进行预览显示。具体地，第二图像数据流由厂商框架层的第一相机服务模块输出后通过应用框架层的第二相机服务模块后，通过应用层后输入至硬件框架层的显示框架模块，然后输出至厂商框架层的显示硬件合成器，通过内核层的显示直接渲染管理器驱动、DSI0后输入至图像处理芯片后再通过显示处理器后输入至显示屏显示，从而实现图像数据流的预览显示。

可选地，所述第一相机服务模块依次通过第二相机服务模块、所述媒体编解码器与所述存储器连接，以形成第四数据传输通路；

所述控制所述图像处理芯片将所述第二图像数据流传输至所述厂商框架层之后，还包括：

控制所述第一相机服务模块通过所述第四数据传输通路将所述第二图像数据流传输至所述存储器进行存储。

在该实施方式中，还可以控制第一相机服务模块基于第四数据传输通路将第二图像数据流传输至存储器存储。具体地，第二图像数据流由厂商框架层的第一相机服务模块输出后通过应用框架层的第二相机服务模块后，通过应用框架层的媒体解码器、硬件抽象层的开放多媒体加速模块及内核层的数据块驱动后，再通过UFS/sMMC输出至存储器中存储。从而同时实现对图像数据流的拍照或录像存储。

可选地，所述系统还包括应用层，所述应用框架层包括显示增强服务模块，所述厂商框架层还包括图像处理芯片硬件抽象模块；

所述应用层依次通过所述显示增强服务模块、所述图像处理芯片硬件抽象模块与所述图像处理芯片连接，以形成第一控制通路；

所述方法还包括：

在接收到第一输入的情况下，控制所述应用层通过所述第一控制通路向所述图像处理芯片发送第一控制指令，所述第一控制指令用于控制所述图像处理芯片对图像数据流进行图像增强处理。

具体地，可以在电子设备显示特定界面时，在显示界面中设置显示增强开关，这样，用户可以根据需求打开或关闭所述显示增强开关，以方便用户提高所显示的界面的画质。其中，所述第一输入可以是指用户在显示界面中打开所述显示增强开关的输入，该第一输入也可以为用户的语音输入。其中，所述特定界面可以为游戏界面或拍摄界面等。

可以理解的是，第一相机服务模块可以将需要传输至显示屏进行显示的图像先通过上述第一数据传输通路传输至图像处理芯片进行显示增强，图像处理芯片再通过第二数据传输通路将进行显示增强之后的图像数据流传输至第一相机服务模块，第一相机服务模块再基于第三数据传输通路将显示增强之后的图像数据流传输显示屏进行显示。

该实施方式中，通过形成上述第一控制通路，以便于用户通过电子设备所显示的用户界面对所述图像处理芯片的状态进行控制。

可选地，所述厂商框架层还包括第一相机服务模块和图像处理芯片硬件抽象模块；

所述第一相机服务模块通过所述图像处理芯片硬件抽象模块与所述图像处理芯片连接，以形成第二控制通路；

所述方法还包括：

在所述系统处于录像数据流处理状态，且接收到录像结束输入的情况下，控制所述第一相机服务模块通过所述第二控制通路向所述图像处理芯片发送第二控制指令，所述第二控制指令用于控制所述图像处理芯片结束录像数据流处理。

可以理解的是，在所述电子设备接收到所述启动录像功能的启动输入时，可以基于所述第二图像数据流处理单元通过所述第二控制通路向所述图像处理芯片发送第三控制指令，其中，所述第三控制指令用于控制所述图像处理芯片开启。

上述第一相机服务模块中可以预先配置有上述触发第二控制指令和第三控制指令的控制逻辑。

上述录像结束输入和录像功能的启动输入可以是用户在电子设备所显示的应用界面中进行的输入。

该实施方式中，由于录像数据对于图像的质量通常较高，因此，在用户开始录像时，可以基于第三控制指令控制图像处理芯片开启，以便于对基于图像处理芯片对录像数据流进行图像增强，从而提高录像质量；相应地，当电子设备仅显示预览图像而无需录像时，则可以是不启动所述图像处理芯片，以节省电子设备的功耗。

如图3所示，本申请实施例还提供一种电子设备300，包括处理器301，存储器302，存储在存储器302上并可在所述处理器301上运行的程序或指令，该程序或指令被处理器301执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的界面显示装置包括上述所述的移动电子设备和非移动电子设备。

图4为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备400包括但不限于：射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409、以及处理器410等部件。

其中，所述处理器410用于，在厂商框架层接收到相机硬件抽象模块输出的第一图像数据流的情况下，控制所述厂商框架层将所述第一图像数据流传输至所述图像处理芯片；

控制所述图像处理芯片对所述第一图像数据流进行图像处理，得到第二图像数据流；以及，

控制所述图像处理芯片将所述第二图像数据流传输至所述厂商框架层。

可选地，所述厂商框架层包括第一相机服务模块和显示硬件合成器，所述第一相机服务模块通过所述显示硬件合成器与所述图像处理芯片连接，以形成第一数据传输通路；

可选地，所述图像处理芯片通过所述相机硬件抽象模块与所述第一相机服务模块连接，以形成第二数据传输通路；

可选地，所述处理器410具体用于，控制所述厂商框架层中的所述第一相机服务模块通过所述第一数据传输通路将所述第一图像数据流传输至所述图像处理芯片；

可选地，所述处理器410具体用于，控制所述图像处理芯片通过所述第二数据传输通路将所述第二图像数据流传输至所述厂商框架层中的所述第一相机服务模块。

可选地，还包括显示单元406、存储器409和应用层，所述应用框架层包括第二相机服务模块、显示框架模块和媒体编解码器；

可选地，所述第一相机服务模块依次通过所述第二相机服务模块、所述应用层、所述显示框架模块、所述显示硬件合成器、所述图像处理芯片与所述显示单元406连接，以形成第三数据传输通路；

可选地，所述第一相机服务模块依次通过第二相机服务模块、所述媒体编解码器与所述存储器409连接，以形成第四数据传输通路；

可选地，所述处理器410还用于控制所述第一相机服务模块通过所述第三数据传输通路将所述第二图像数据流传输至所述显示单元406进行显示；

可选地，所述处理器410还用于控制所述第一相机服务模块通过所述第四数据传输通路将所述第二图像数据流传输至所述存储器409进行存储。

可选地，还包括应用层，所述应用框架层包括显示增强服务模块，所述厂商框架层还包括图像处理芯片硬件抽象模块；

可选地，所述应用层依次通过所述显示增强服务模块、所述图像处理芯片硬件抽象模块与所述图像处理芯片连接，以形成第一控制通路；

可选地，所述处理器410还用于，在接收到第一输入的情况下，控制所述应用层通过所述第一控制通路向所述图像处理芯片发送第一控制指令，所述第一控制指令用于控制所述图像处理芯片对图像数据流进行图像增强处理。

可选地，所述厂商框架层还包括第一相机服务模块和图像处理芯片硬件抽象模块；

可选地，所述第一相机服务模块通过所述图像处理芯片硬件抽象模块与所述图像处理芯片连接，以形成第二控制通路；

可选地，所述处理器410还用于，在所述系统处于录像数据流处理状态，且接收到录像结束输入的情况下，控制所述第一相机服务模块通过所述第二控制通路向所述图像处理芯片发送第二控制指令，所述第二控制指令用于控制所述图像处理芯片结束录像数据流处理。

本领域技术人员可以理解，电子设备400还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图4中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

应理解的是，本申请实施例中，输入单元404可以包括图形处理器(GraphicsProcessing Unit，GPU)4041和麦克风4042，图形处理器4041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元406可包括显示面板4061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板4061。用户输入单元407包括触控面板4071以及其他输入设备4072中的至少一种。触控面板4071，也称为触摸屏。触控面板4071可包括触摸检测装置和触摸控制器两个部分。其他输入设备4072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器409可用于存储软件程序以及各种数据。存储器409可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器409可以包括易失性存储器或非易失性存储器，或者，存储器409可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器409包括但不限于这些和任意其它适合类型的存储器。

处理器410可包括一个或多个处理单元；可选的，处理器410集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器410中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (14)

1.一种图像处理系统，其特征在于，所述系统包括：

图像处理芯片和硬件抽象层，所述图像处理芯片与所述硬件抽象层通信连接；

厂商框架层和应用框架层，所述厂商框架层分别与所述硬件抽象层和所述应用框架层通信连接；

所述厂商框架层还与所述图像处理芯片通信连接，所述厂商框架层用于对所述图像处理芯片进行通信控制。

2.根据权利要求1所述的系统，其特征在于，所述厂商框架层包括第一相机服务模块和显示硬件合成器；

所述第一相机服务模块用于通过所述硬件抽象层对所述图像处理芯片进行通信控制；

所述显示硬件合成器用于在所述应用框架层的控制下，将预览图像流传输给所述图像处理芯片。

3.根据权利要求2所述的系统，其特征在于，所述硬件抽象层包括相机硬件抽象模块，所述第一相机服务模块通过所述显示硬件合成器与所述图像处理芯片连接，以形成第一数据传输通路；

所述图像处理芯片通过相机硬件抽象模块与所述第一相机服务模块连接，以形成第二数据传输通路。

4.根据权利要求3所述的系统，其特征在于，还包括显示屏、存储器和应用层；

所述应用框架层包括第二相机服务模块、显示框架模块和媒体编解码器；

所述第一相机服务模块依次通过所述第二相机服务模块、所述应用层、所述显示框架模块、所述显示硬件合成器、所述图像处理芯片与所述显示屏连接，以形成第三数据传输通路；

所述第一相机服务模块依次通过第二相机服务模块、所述媒体编解码器与所述存储器连接，以形成第四数据传输通路。

5.根据权利要求2所述的系统，其特征在于，还包括应用层，所述应用框架层包括显示增强服务模块，所述厂商框架层还包括图像处理芯片硬件抽象模块，所述应用层依次通过所述显示增强服务模块、所述图像处理芯片硬件抽象模块与所述图像处理芯片连接，以形成第一控制通路。

6.根据权利要求2所述的系统，其特征在于，所述厂商框架层还包括图像处理芯片硬件抽象模块，所述第一相机服务模块通过所述图像处理芯片硬件抽象模块与所述图像处理芯片连接，以形成第二控制通路。

7.一种图像处理方法，其特征在于，应用于权利要求1至6中任意一项所述的图像处理系统，所述方法包括：

在厂商框架层接收到相机硬件抽象模块输出的第一图像数据流的情况下，控制所述厂商框架层将所述第一图像数据流传输至所述图像处理芯片；

控制所述图像处理芯片对所述第一图像数据流进行图像处理，得到第二图像数据流；以及，

控制所述图像处理芯片将所述第二图像数据流传输至所述厂商框架层。

8.根据权利要求7所述的方法，其特征在于，所述厂商框架层包括第一相机服务模块和显示硬件合成器，所述第一相机服务模块通过所述显示硬件合成器与所述图像处理芯片连接，以形成第一数据传输通路；

所述图像处理芯片通过所述相机硬件抽象模块与所述第一相机服务模块连接，以形成第二数据传输通路；

所述控制所述厂商框架层将所述第一图像数据流传输至所述图像处理芯片包括：

控制所述厂商框架层中的所述第一相机服务模块通过所述第一数据传输通路将所述第一图像数据流传输至所述图像处理芯片；

所述控制所述图像处理芯片将所述第二图像数据流传输至所述厂商框架层包括：

控制所述图像处理芯片通过所述第二数据传输通路将所述第二图像数据流传输至所述厂商框架层中的所述第一相机服务模块。

9.根据权利要求8所述的方法，其特征在于，所述系统还包括显示屏、存储器和应用层，所述应用框架层包括第二相机服务模块、显示框架模块和媒体编解码器；

所述第一相机服务模块依次通过所述第二相机服务模块、所述应用层、所述显示框架模块、所述显示硬件合成器、所述图像处理芯片与所述显示屏连接，以形成第三数据传输通路；

所述第一相机服务模块依次通过第二相机服务模块、所述媒体编解码器与所述存储器连接，以形成第四数据传输通路；

所述控制所述图像处理芯片将所述第二图像数据流传输至所述厂商框架层之后，还包括：

控制所述第一相机服务模块通过所述第三数据传输通路将所述第二图像数据流传输至所述显示屏进行预览显示，或，控制所述第一相机服务模块通过所述第四数据传输通路将所述第二图像数据流传输至所述存储器进行存储。

10.根据权利要求7所述的方法，其特征在于，所述系统还包括应用层，所述应用框架层包括显示增强服务模块，所述厂商框架层还包括图像处理芯片硬件抽象模块；

所述应用层依次通过所述显示增强服务模块、所述图像处理芯片硬件抽象模块与所述图像处理芯片连接，以形成第一控制通路；

所述方法还包括：

在接收到第一输入的情况下，控制所述应用层通过所述第一控制通路向所述图像处理芯片发送第一控制指令，所述第一控制指令用于控制所述图像处理芯片对图像数据流进行图像增强处理。

11.根据权利要求7所述的方法，其特征在于，所述厂商框架层还包括第一相机服务模块和图像处理芯片硬件抽象模块；

所述第一相机服务模块通过所述图像处理芯片硬件抽象模块与所述图像处理芯片连接，以形成第二控制通路；

所述方法还包括：

在所述系统处于录像数据流处理状态，且接收到录像结束输入的情况下，控制所述第一相机服务模块通过所述第二控制通路向所述图像处理芯片发送第二控制指令，所述第二控制指令用于控制所述图像处理芯片结束录像数据流处理。

12.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求7至11中任一项所述的图像处理方法的步骤。

13.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求7至11中任一项所述的图像处理方法的步骤。

14.一种芯片，其特征在于，所述芯片包括处理器和通信接口，其中，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如权利要求7至11中任一项所述的图像处理方法的步骤。