CN114972086A - 图像处理方法、装置及电子设备 - Google Patents

Abstract

本申请提供了一种图像处理方法、装置及电子设备，图像增强处理装置获得待显示图像后，对于满足图像增强条件的待显示图像，如视频图像、游戏图像等，才会执行图像增强处理，保证输出目标显示图像质量，满足对画质较低图像处理需求；而对于不满足图像增强条件的待显示图像，如桌面图像、文本文档界面图像等，可以不执行图像增强处理，直接作为目标显示图像输出，解决了对所有渲染图像进行无差别增强处理，导致对这类图像增强处理，引入额外干扰数据，降低输出图像质量的技术问题。

Description

图像处理方法、装置及电子设备

技术领域

本申请主要涉及计算机应用领域，更具体地说是涉及一种图像处理方法、装置及电子设备。

背景技术

随着电子设备屏幕迅速发展，高帧率高刷新率已经成为屏幕显示要求的大趋势。因此，基于电子设备配置的高性能显卡，提出在电子设备图像处理器与显示屏之间配置图像增强处理芯片，对渲染后的每一帧图像进行图像增强处理，再将增强后的图像发送至显示屏输出，提高图像显示质量。

但是，这种图像增强处理方式所消耗的计算资源非常多，降低了图像处理效率；且对于屏幕的某些应用的显示内容，如桌面图像、文本文档等，在对其像素点或编解码增强处理过程中，往往会引入额外信息，降低所输出的图像清晰度和精准度。

发明内容

有鉴于此，本申请提出了一种图像处理方法，所述方法包括：

获得待显示图像；

确定所述待显示图像满足图像增强条件，对所述待显示图像进行增强处理，得到目标显示图像；

确定所述待显示图像不满足所述图像增强条件，将所述待显示图像确定为目标显示图像；

输出所述目标显示图像。

可选的，所述获得待显示图像，包括：

接收处理装置渲染后输出的待显示图像；

所述输出所述目标显示图像，包括：

将所述目标显示图像发送至显示装置进行显示；

或者，

所述获得待显示图像，包括：

获取处理装置渲染后的待显示图像；

所述输出所述目标显示图像，包括：

将所述目标显示图像反馈至所述处理装置，由所述处理装置将所述目标显示图像发送至所述显示装置进行显示。

可选的，所述确定所述待显示图像满足图像增强条件，包括：

获得所述待显示图像所属的场景类型；

如果所述场景类型属于第一类场景，确定所述待显示图像满足图像增强条件；

所述待显示图像不满足所述图像增强条件包括：

如果所述场景类型属于第二类场景，确定所述待显示图像不满足所述图像增强条件。

可选的，所述对所述待显示图像进行增强处理，得到目标显示图像，包括：

识别出所述待显示图像包含的待增强图像区域；

对所述待显示图像包含的待增强图像区域进行增强处理，得到目标显示图像。

可选的，所述识别出所述待显示图像包含的待增强图像区域，包括：

基于注意力机制，确定所述待显示图像包含的感兴趣区域为待增强图像区域；所述感兴趣区域包括第一类场景下的第一应用内容；或，

确定所述待显示图像的内容属于第一应用内容，将所述待显示图像的全部显示区域确定为待增强图像区域；和/或，

确定所述待显示图像包括第一应用内容和第二应用内容，识别所述第一应用内容所在区域为待增强图像区域。

可选的，所述方法还包括：

将获得的所述待显示图像写入待处理队列，以逐帧确定所缓存的待显示图像是否满足图像增强条件；和/或，

将得到的所述目标显示图像写入待输出队列，以逐帧输出所缓存的目标显示图像；和/或，

对增强处理后的待显示图像进行校准处理，以得到所述目标显示图像。

本申请还提出了一种图像处理装置，所述装置包括：

待显示图像获得模块，用于获得待显示图像；

第一确定模块，用于确定所述待显示图像满足图像增强条件，对所述待显示图像进行增强处理，得到目标显示图像；

第二确定模块，用于确定所述待显示图像不满足所述图像增强条件，将所述待显示图像确定为目标显示图像；

目标显示图像输出模块，用于输出所述目标显示图像。

本申请还提出了一种电子设备，所述电子设备包括：

处理装置，用于执行图像渲染操作，得到待显示图像；

图像增强处理装置，用于实现如上述的图像处理方法；

显示装置，用于显示所述图像增强处理装置或所述处理装置输出的目标显示图像。

可选的，所述图像增强处理装置包括：

数据传输端口，用于连接所述处理装置，接收所述处理装置输出的待显示图像；

图像增强处理器，用于连接所述数据传输端口，接收所述数据传输端口所传输的所述待显示图像，确定所述待显示图像满足图像增强条件，对所述待显示图像进行增强处理，得到目标显示图像；确定所述待显示图像不满足所述图像增强条件，将所述待显示图像确定为目标显示图像，将所述目标显示图像发送至所述数据传输端口；

所述数据传输端口，还用于将所述目标显示图像发送至所述处理装置，由所述处理装置将目标显示图像发送至所连接的所述显示装置；或者还用于连接所述显示装置，将所述目标显示图像发送至所述显示装置。

可选的，所述图像增强处理器包括：

图像预处理单元，用于连接所述数据传输端口，接收所述数据传输端口所传输的所述待显示图像，确定所述待显示图像是否满足图像增强条件，将不满足所述图像增强条件的所述待显示图像确定为目标显示图像，将所述目标显示图像发送至所述数据传输端口；

图像增强处理单元，用于连接所述图像预处理单元和所述数据传输端口，对满足所述图像增强条件的所述待显示图像进行增强处理，得到目标显示图像，将所述目标显示图像发送至所述数据传输端口；

所述数据传输端口包括具有数据双向传输功能的第一数据传输端口，所述第一数据传输端口连接所述处理装置，以接收所述处理装置输出的所述待显示图像，将所接收到的所述目标显示图像发送至所述处理装置；

或者，所述数据传输端口包括具有数据单向传输功能的第二数据传输端口，分别连接所述处理装置和所述显示装置，以接收所述处理装置输出的所述待显示图像，将所接收到的所述目标显示图像发送至所述显示装置。

由此可见，本申请提供了一种图像处理方法、装置及电子设备，图像增强处理装置获得待显示图像后，对于满足图像增强条件的待显示图像，如视频图像、游戏图像等，才会执行图像增强处理，保证输出图像质量；而对于不满足图像增强条件的待显示图像，如桌面图像、文本文档界面图像等，可以不执行图像增强处理，直接作为目标显示图像输出，解决了对所有渲染图像进行无差别增强处理，导致对这类图像增强处理，引入额外干扰数据，降低输出图像质量的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为适用于本申请提出的图像处理方法的电子设备的一可选示例的硬件结构示意图；

图2为适用于本申请提出的图像处理方法的电子设备的又一可选示例的硬件结构示意图；

图3a为适用于本申请提出的图像处理方法的电子设备的又一可选示例的硬件结构示意图；

图3b为适用于本申请提出的图像处理方法的电子设备的又一可选示例的硬件结构示意图；

图4为适用于本申请提出的图像处理方法的电子设备的又一可选示例的硬件结构示意图；

图5a为适用于本申请提出的图像处理方法的电子设备的又一可选示例的硬件结构示意图；

图5b为适用于本申请提出的图像处理方法的电子设备的又一可选示例的硬件结构示意图；

图5c为适用于本申请提出的图像处理方法的电子设备的又一可选示例的硬件结构示意图；

图6a为适用于本申请提出的图像处理方法的电子设备的又一可选示例的硬件结构示意图；

图6b为适用于本申请提出的图像处理方法的电子设备的又一可选示例的硬件结构示意图；

图7为适用于本申请提出的图像处理方法的电子设备的驱动架构示意图；

图8为本申请提出的图像处理方法的一可选示例的流程示意图；

图9为本申请提出的图像处理方法的又一可选示例的流程示意图；

图10为本申请提出的图像处理方法的又一可选示例的流程示意图；

图11a为适用于本申请提出的图像处理方法的待显示图像；

图11b为适用于本申请提出的图像处理方法中，对待显示图像的待增强图像区域的检测结果示意图；

图12为适用于本申请提出的图像处理方法的控制时序图；

图13为本申请提出的图像处理装置的一可选示例的结构示意图。

具体实施方式

针对背景技术部分的描述内容，本申请提出希望对电子设备处理装置执行图像渲染操作后的待显示图像，能够有选择性地执行增强处理，再将处理后的图像发送至显示器输出，以提高图像显示质量，满足应用显示要求。其中，由于不需要增强处理得待显示图像，在渲染完成后可以直接发送至显示器进行显示，不仅减少了计算资源消耗，且避免了对这类待显示图像进行增强处理，导致该待显示图像引入额外信息，降低显示图像质量。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参照图1，为适用于本申请提出的图像处理方法的电子设备的一可选示例的硬件结构示意图，该电子设备可以包括但并不局限于：智能手机、平板电脑、可穿戴设备、增强现实技术(Augmented Reality，AR)设备、虚拟现实(Virtual Reality，VR)设备、车载设备、智慧医疗设备、智慧交通设备、台式计算机等终端，可以依据图像处理应用环境确定电子设备类型。如图1所示，该电子设备可以包括但并不局限于：处理装置100、图像增强处理装置200以及显示装置300，其中：

处理装置100可以用于执行图像渲染操作，得到待显示图像。关于该处理装置100的组成结构可以依据图像渲染工作原理确定，本申请对处理装置100的硬件结构不做限制。

可选的，如图2所示，处理装置100可以包括图形处理器(graphics processingunit，GPU)110，与该图形处理器110连接的主处理器120(如中央处理器(centralprocessing unit，简称CPU)等)，以及分别与图形处理器110和主处理器120连接的显示选择器130。

在实际应用中，图形处理器110和主处理器120可以配合实现图像渲染处理，该过程可以调整显示选择器130的通信状态，改变处理装置100内各组成器件之间的通信通道，本申请对图像渲染处理过程不做详述。在电子设备的显示控制过程中，可以控制显示选择器130连接图形处理器110或主处理器120，以实现对图形处理器110渲染后的图像传输，或对主处理器120输出的控制指令/信号的传输，满足不同应用控制需求，实现过程本申请不做限制。

其中，如图2所示，图形处理器110和主处理器120之间可以通过PEG(PCIExpress)接口连接，且这两个处理器可以通过eDP(embedded DisplayPort，嵌入式显示接口)这种单向通信接口连接eDP swich(即显示选择器130)，这样，在图像处理应用场景下，图形处理器110和主处理器120渲染后的待显示图像，或转发的增强后的目标显示图像可以通过eDP发送至显示选择器130，本申请对eDP通信原理不做详述。

可选的，上述处理装置100还可以包括集成南桥芯片PCH(Platform ControllerHub)，可以通过直接媒体接口DMI(Direct Media Interface)连接主处理器120，满足电子设备的系统控制需求，本申请对PCH、CPU和GPU在电子设备的应用功能不做限制，可视情况而定。

图像增强处理装置200可以用于实现本申请提出的图像处理方法。在本申请实施例中，该图像增强处理装置200可以是增强处理芯片，包含实现该图像处理方法不同步骤的功能模块，本申请对其组成结构不做限制。

显示装置300可以用于显示图像增强处理装置200或处理装置100输出的目标显示图像，这可以依据图像增强处理装置200与处理装置100、显示装置300之间的通信连接关系确定，本申请对目标显示图像的显示原理不做限制，可以依据显示装置300的显示方式(如独显或核显输出等)确定，本实施例在此不做详述。

在一些实施例中，图像增强处理装置200可以分别连接处理装置100和显示装置300，如图3a所示，图像增强处理装置200可以通过eDP接口(此处是指eDP上行RX接口)连接eDP Swich(即显示选择器130)，再通过eDP下行接口连接显示装置300，这样，图像增强处理装置200可以接收处理装置100渲染后输出的一帧待显示图像，在确定待显示图像满足图像增强条件(即用于指示需要对待显示图像进行增强处理的条件，本申请对其内容不做限制，可视情而定，实现过程可以参照下文方法实施例对应部分的描述)的情况下，对待显示图像进行增强处理，将得到的目标显示图像发送至显示装置300进行显示。

在又一些实施例中，区别于上文描述的eDP单向通信方式，本申请提出采用双向通信方式，实现图像增强处理装置200与处理装置100的通信连接，以发挥处理装置200中图形处理器GPU的并行处理能力。基于此，如图3b所示的电子设备的又一可选示例的硬件结构示意图，图像增强处理装置200可以通过双向通信接口连接处理装置100，如图3b所示，图像增强处理装置200可以通过双向通信接口(本申请该类结果类型及其工作原理不做限制，可以依据通信需求进行配置)连接处理装置100的主处理器CPU，而处理装置100的eDP Swich可以通过eDP接口连接显示装置300。

这种情况下，处理装置100执行图像渲染操作，得到待显示图像，在将该待显示图像输出至显示装置300之前，可以先将该待显示图像通过双向通信接口发送至图像增强处理装置200，使其按照本申请提出的图像处理方法，获得将要发送至显示装置300的目标显示图像，如待显示图像或其增强处理后的图像，再将该目标显示图像通过双向通信接口反馈给处理装置100的CPU，进而通过eDP单向传输通道，将目标显示图像发送至显示装置300进行显示。

可见，相对于上文图3a所示的电子设备系统架构的单向通信方式，图3b所示的系统架构采用双向通信方式，实现了图像增强处理装置200与处理装置100之间的数据交互，更好地满足图像处理需求，且使得图像增强处理装置200可以从处理装置100的GPU中提取渲染后的包含一帧完整图像内容或局部图像内容的待显示图像，不需要额外判断算法，降低了设计难度。关于这种图像处理实现过程，可以参照下文方法实施例对应部分的描述，本实施例在此不做详述。

在实际应用中，对于如图3a和图3b所示的两种电子设备硬件结构，集成南桥芯片PCH可以连接图像增强处理装置200的配置接口，如I3C接口、QSPI(Quad SerialPeripheral Interface，队列串行外围接口)接口、UART(Universal AsynchronousReceiver/Transmitter，通用异步收发传输器)接口等低速通信接口，由此实现对图像增强处理装置200的功能配置。因此，CPU可以将接收到的配置信息发送至PCH，由PCH通过连接的低速通信接口发送至图像增强处理装置200，实现对该图像增强处理装置200的功能配置，如图像增强算法配置、图像处理方法程序配置等，可以依据图像处理需求确定，本申请实施例在此不做详述。

在本申请提出的又一些实施例中，如图4所示，上述图像增强处理装置200可以包括：数据传输端口210和图像增强处理器220。结合上文实施例对图像增强处理装置200与处理装置100和显示装置300之间的不同连接方式所形成的硬件结构的相关描述，在电子设备的不同硬件结构中，该数据传输端口210的类型及其通信原理往往不同。

在如图3a所示的硬件结构下，数据传输端口210可以包括单向通信接口，如eDP接口，这种情况下，显示装置300可以包括支持该类型单向通信接口的显示面板，如eDP panel等。因此，该数据传输端口210可以分别连接显示装置300和处理装置100的显示选择器130，通过eDP接口连接形成的通信通道，实现图像的单向传输。

在如图3b所示的硬件结构下，数据传输端口210可以包括双向通信接口，如PCIE(peripheral component interconnect express，高速串行计算机扩展总线标准)接口，或者依据应用需求配置的高速双向通信通道对应的通信接口，满足多种数据(如网络视频、本地视频、游戏等)的高速传输需求，本申请对该高速双向通信通道的配置参数不做限制，可以依据通信要求确定。

可选的，为了满足图像处理应用的数据高速传输需求，以减少等待时间，可以配置高速双向通信通道的时钟为16GHz，传输带宽为8000MB/s，据此设置数据传输端口210以及处理装置100的主处理器120的对应双向通信接口的配置参数，以使两者连接后，能够满足该双向通信通道的通信要求。但并不局限于本实施例描述的通信配置参数，可依据通信需求进行灵活调整。

由此可见，本申请实施例中采用高速双向通信通道，实现图像增强处理装置200与处理装置100之间的数据传输，不仅满足两者之间的数据交互需求，提升稳定性，且能够最大限度发挥图形处理器110的并行处理能力，大大降低图像处理延迟，达到实时低延迟的图像处理效果。

图像增强处理器220可以连接数据传输端口210，用于接收该数据传输端口210所传输的待显示图像，确定待显示图像满足图像增强条件的情况下，对待显示图像进行增强处理，得到目标显示图像；确定待显示图像不满足图像增强条件的情况下，直接将待显示图像确定为目标显示图像。可见，在如上文描述的不同硬件结构中，图像增强处理器220得到渲染后的待显示图像后，都可以先确定是否需要对本次接收到的待显示图像进行增强处理，即有选择性地执行图像增强处理操作，保证输出图像质量的同时，避免对不满足图像增强条件的待显示图像进行增强处理，降低输出图像质量，浪费计算资源。关于图像增强处理器220的功能实现过程，可以参照下文方法实施例相应部分的描述，本实施例在此不做详述。

对于图像增强处理器220所得到的目标显示图像，可以发送至数据传输端口210，需要说明，在电子设备的不同硬件结构下，该数据传输端口210与图像增强处理器220的连接通信方式不同，在如图3b所示的硬件架构下，因该数据传输端口210为双向通信接口，该双向通信接口连接处理装置100的主处理器120形成的高速双向通信通道，可以将处理装置100渲染后的待显示图像传输至图像增强处理装置200的双向通信接口，由该双向通信接口将接收到的待显示图像发送至图像增强处理器220。对于图像增强处理器220得到的目标显示图像，可以发送至该双向通信接口，经过高速双向通信通道将目标显示图像传输至主处理器120，经过显示选择器130将目标显示图像转发至显示装置300进行显示。

而在如图3a所示的硬件结构下，上述数据传输端口210是单向通信接口，为了实现处理装置100与显示装置300之间的数据交互需求，该数据传输端口210通常可以包括多个单向通信接口，按照数据传输方向可以分为上行接口和下行接口，如eDP RX接口、eDPTx接口等，eDP RX接口连接处理装置100的显示选择器130，接收处理装置100渲染后的待显示图像，该eDP RX接口连接图像增强处理器220进行处理，得到目标显示图像后，可以发送至eDPRX接口，通过连接的单向通信通道，将目标显示图像传输至所连接的显示装置300进行显示。

由此可见，在如图3b所示的电子设备硬件结构下，图像增强处理装置200可以将得到的目标显示图像，通过数据传输端口210反馈至处理装置100，由处理装置100将目标显示图像发送至所连接的显示装置300；在如图3a所示的硬件结构下，图像增强处理装置200的数据传输端口210连接显示装置300，图像增强处理装置200会将得到的目标显示图像直接发送至显示装置300进行显示。

在一些实施例中，如图5a所示，上述图像增强处理器220可以包括：图像预处理单元221和图像增强处理单元222。本申请实施例中，该图像预处理单元221可以用于连接数据传输端口210，接收数据传输端口210所传输的待显示图像，确定待显示图像是否满足图像增强条件，将不满足图像增强条件的待显示图像确定为目标显示图像，将目标显示图像发送至数据传输端口210。在电子设备的不同硬件结构下，该数据传输端口210与图像预处理单元221的连接方式不同，可以参照上下文对应部分的描述，本实施例在此不做详述。

本申请实施例中，图像预处理单元221可以是Pre-Processing IP芯片，其可以基于人工智能AI技术实现用户行为智能检测，检测接收到的待显示图像是否满足图像增强条件，若不满足，可以进入Bypass模式，无需对该帧待显示图像进行增强处理，直接作为目标显示图像反馈，降低功耗，提高响应速度。在满足图像增强条件的情况下，还可以基于AI技术智能检测待显示图像中的增强区域，实现局部图像增强处理，降低计算工作量。

可选的，图像预处理单元221对接收到的待显示图像进行预处理过程中，可以采用光流法实现，这种图像处理流光法，相对于像素点处理或编解码处理，提高了图像处理效率和处理效果，扩大了图像处理场景。

在又一些实施例中，对于待显示图像是否满足图像增强条件的检测过程，也可以由处理装置100中的主处理器120执行，这样，在如图3b所示的电子设备硬件结构下，对于不满足增强处理条件的待显示图像，可以直接确定为目标显示图像，发送至显示装置300进行显示，无需再发送至图像增强处理装置200进行处理；在如图3a所示的电子设备硬件结构下，主处理器120可以将是否满足图像增强条件的检测结果发送至图像增强处理装置200，此时，图像预处理单元221确定该检测结果为不满足，直接将接收到的待显示图像作为目标显示图像发送至显示装置300，减少了图像预处理单元221的工作量，节省了图像增强处理装置200的计算资源，提高了图像处理效率。

图像增强处理单元222可以连接图像预处理单元221以及数据传输端口210，对满足图像增强条件的待显示图像进行增强处理，得到目标显示图像，将目标显示图像发送至数据传输端口210，以在不同硬件架构下，由该数据传输端口210反馈至处理装置100或直接发送至显示装置300。

示例性的，结合上文对数据传输端口210的相关描述，在如图5b所示的硬件架构下，图像增强处理装置200中的该数据传输端口210可以包括具有数据双向传输功能的第一数据传输端口211，如上述PCIE接口或自定义的高速双向通道接口等双向通信接口，这种情况下，该第一数据传输端口211可以连接处理装置100的主处理器120，该处理装置100的显示选择器130连接显示装置300。在图像处理过程中，该第一数据传输端口211接收主处理器120发送的待显示图像，将该待显示图像发送至图像预处理单元221，在确定该待显示图像满足图像增强条件的情况下，发送至图像增强处理单元222进行增强处理，得到目标显示图像后，再通过第一数据传输端口211将其接收到的目标显示图像后反馈至处理装置100的主处理器120，经过处理装置100的显示选择器130传输至显示装置300。

在如图5c所示的硬件结构下，图像增强处理装置200的数据传输端口210可以包括具有数据单向传输功能的第二数据传输端口212，如上述eDP等单向通信接口，为了满足该图像增强处理装置向电子设备的不同装置的数据传输需求，该第二数据传输端口212可以包括上行通信接口和下行通信接口，用以分别连接处理装置100的显示选择器130以及显示装置300，以使得该第二数据传输端口212的上行通信接口可以接收处理装置100输出的待显示图像，经过图像增强处理器220的处理后，将得到的目标显示图像发送至下行通信接口，由其将所接收到的目标显示图像发送至所连接的显示装置300。

在又一些实施例中，参照图6a和图6b所示的电子设备的又一可选示例的硬件结构示意图，结合上文对图像增强处理器220的相关描述，其中的图像增强处理单元222可以包括用于图像增强处理的至少一个图像增强算法程序模块，用于加速增强算法的加速引擎(如NN engine)，根据需要还可以包括图像后处理单元(记为Post-Process IP)，用于对增强处理后的图像进行校验和修正，避免图像增强算法引入干扰信息，降低图像质量等。本申请对图像增强处理单元222的组成结构及其功能不做限制，可视情况而定。

可选的，如图6a和图6b所示，对于上文各实施例描述的图像增强处理器220的结构描述，其中的图像增强处理单元222包含的图像增强算法可以基于深度学习实现图像增强处理，如基于MEMC(Motion Estimation and Motion Compensation，运动估计与运动补偿)实现的图像增强算法、HDR(High Dynamic Range，高动态范围)算法、SR(Super-Resolution，超分辨率)算法等，本申请对图像增强处理单元222包含的图像增强算法类型不做限制，可以依据实际情况进行灵活配置调整。

可以理解，图像增强处理装置200中的图像增强芯片往往包括支持其功能运行的核心单元，即core内核，本申请对图像增强芯片的内核数量及其功能不做详述。

在本申请提出的又一些实施例中，参照图6a和图6b所示，本申请提出的电子设备还可以包括多个存储器400，可以分别连接图像增强处理器220和处理装置100的主处理器120等，用于存储实现本申请提出的图像处理方法的程序。在实际应用中，存储器400还可以用于存储该图像处理方法执行过程产生的各种数据，还可以记录该图像增强处理装置200执行图像处理方法的增强处理日志、执行图像渲染操作产生的待显示图像以及相关渲染日志等，本申请对存储器400的类型及其存储数据内容不做限制，可以依据应用需求确定。

可选的，如图6a和图6b所示，上述存储器400可以包括LPDDR(Low Power DoubleData Rate SDRAM，低功耗双倍数据传输率存储器)，作为电子设备的“工作记忆”内存，满足数据缓存需求。在本申请实施例中，为了满足图像增强处理器220的图像数据处理需求，本申请可以选择为其配置LPDDR4x型号的存储器，进一步降低存储器及其控制器的功耗，提高数据处理速度，更好地满足图像处理需求。本申请对LPDDR4x存储器的工作原理不做详述。当然，用于实现图像增强处理装置200执行图像处理方法过程中所需信息或产生数据的存储功能的存储器，并不局限于LPDDR4x型号的存储器内存，也可以采用LPDDR4等其他DDR(Double Data Rate，双倍数据传输率存储器)类型存储器，或区别于DDR类型的其他类型存储器等，可视情而定。

可选的，在图像增强处理装置200在图像处理过程中，可以构建缓存队列，对接收到的各帧待显示图像进行时间交叉处理，无需等待一帧待显示图像处理完成反馈至CPU后，再处理下一帧待显示图像；由于本申请还可以对部分图像进行处理，无需等待渲染完整个图像后提取，因此，队列缓存的各帧待显示图像可能需要处理完后，由多帧待显示图像组成一帧完整目标显示图像反馈至CPU输出。对于这些待处理或处理后的待显示图像的存储，也可以利用Flash闪存(Flash EEPROM Memory)实现，本申请可以采用QSPI Flash，即支持QSPI协议的Flsh内存，支持实现队列传输机制。本申请对QSPIFlash的数据处理原理不做详述。

应该理解，对于电子设备的处理装置100包含的GPU、CPU等处理器，也可以配置对应的存储器，满足对应处理器的数据存储需求，如图5所示，GPU图形处理器可以配置GDDR(Graphics Double Data Rate，图形双倍数据传输率存储器)，主处理器CPU可以配置DDR存储器，但并不局限于本实施例描述的存储器类型。

结合上文各实施例描述的电子设备硬件结构，为了支持图像增强处理装置200以及处理装置100各自的处理需求，实现本申请提出的图像处理方法，电子设备可以配置相应的驱动装置500，据此实现对图像增强处理装置200的结构组成的功能配置，以及对处理装置100配合实现图像处理方法的功能配置。

基于此，参照图7所示的适用于本申请提出的图像处理方法的电子设备驱动架构示意图，电子设备的驱动装置所具有的驱动架构可以包括：配置于图像增强处理装置200中的图像增强驱动层，以及配置于处理装置100的主处理器120的系统驱动层，这两个驱动层可以相互配置，以实现对图像增强处理装置200的功能配置，实现本申请提出的图像处理方法，本申请对驱动装配实现过程不做限制。需要说明，在主处理器120中除了配置的用于实现本申请图像处理方法的系统驱动层，还可以包括实现电子设备的其他应用控制的原有驱动层，本申请在此不做详述。

如图7所示，在电子设备的驱动装置中，可以配置用于实现本申请提出的图像处理方法的客户端接口和服务器接口，即AI(Artificial Intelligence，人工智能)Client API(Application Programming Interface，应用程序接口)以及对应的AI Server API，该AIServer API可以部署在图像增强驱动层中，AI Client API可以部署在处理装置100的系统驱动层中，以使得图像增强处理装置200与处理装置100通过AI Server API和AI ClientAPI的通信连接，实现两者之间的信号、数据、指令等信息的交互，实现过程可以依据图像处理需求确定，本申请对此不做详述。

结合图3b、图5b以及图6a所示的电子设备硬件结构，在本申请提出的图像处理过程中，处理装置100执行图像渲染操作过程中，可以执行hook D3D phPresentCb函数(即一种显示函数，用以将所得待显示图像发送至显示装置进行显示)，在GPU渲染完图像输出所得到的待显示图像时，AI Client API可以拦截到的该函数将要输出的待显示图像，将其发送至图像增强处理装置200的图像增强驱动层中的AI Server API，由其写入待处理队列，以供图像预处理单元以及图像增强处理单元包含的各图像增强算法进行处理，得到目标显示图像，由该AI Server API将该目标显示图像反馈至AI Client API的D3D phPresentCb函数执行，将该目标显示图像发送至显示装置300输出。

可见，本申请不需要处理装置100中的GPU/CPU供应商驱动配合，最大程度保证了上述图像增强处理装置200的开发商和供应商的独占性。关于两个API之间的交互过程，实现本申请提出的图像处理方法的交互信令步骤，可以参照下文方法实施例对应部分的描述，本实施例在此不做详述。

在上述图像增强驱动层中，如图7所示，还可以配置用于控制图像处理方法实现过程，以及对图像增强处理装置100包含的各结构组成的配置过程、信号处理等的固件Firmware，本申请对该固件的配置实现方法不做限制。该图像增强驱动层中还可以配置用于实现电子设备上电过程中，图像增强处理装置100包含的各结构组成模块的上电时序控制等功能的引导程序模块Bootrom，其功能实现方法本申请实施例在此不做详述。

在上述系统驱动层中，如图7所示，该系统驱动程序可以包括UMD(User ModeDriver，用户模式驱动程序)和KMD(Kernel Mode Driver，内核模式驱动程序)，上述AIClient API可以部署在UMD中，以实现与图像增强处理装置200中图像增强驱动层配置的AIServer API之间的通信连接，满足两个装置之间的数据交互。此外，该UMD还可以包括芯片管理模块(Chip Management)以及AI适配层(AIAdaption Layer)。

其中，上述芯片管理模块可以用于管理或控制对图像增强处理装置200的各结构组成的配置，如管理内核配置、所需至少一种图像增强算法的配置等，以满足图像处理配置需求。AI适配层可以用于实现对待传输的图像尺寸、格式等属性处理，若对渲染得到的图像进行缩小处理，以降低图像传输过程中所消耗的资源，提高待显示图像传输速度，且降低图像增强处理过程的计算量等。

在KMD中可以配置通信接口对应的驱动程序，如PCIE Chip EP Driver(PCIE芯片的EP系列驱动器)和I3C/QSPI/UART/GPIO(General Purpose Input/Output Port，通用输入输出端口)等接口的驱动，这两部分驱动可能用于图像收发处理、不同帧图像处理的信号时序/中断的配置、判断信号完整性等，本申请对各类接口驱动的工作原理不做详述。

结合上文实施例对图像增强处理装置与处理装置之间的通信方式得相关描述，如高速双向通信或单向通信方式，以及用于实现图像增强处理装置配置的低速通信接口的描述，图像增强处理装置200和处理装置100中分别配置对应类型的通信接口，如图7所示，PCIE接口的EP系列的驱动，I3C/QSPI/UART等低速通信接口的驱动等，以支持对应通信接口的数据收发需求。

下面将结合本申请上文描述的电子设备硬件结构以及驱动架构，对本申请提出的图像处理方法的实现过程进行描述，但并不局限于本申请下文方法实施例描述的图像处理方法步骤，可以依据实际需求进行灵活调整执行方法步骤内容及其顺序，本申请不做一一举例详述。

参照图8，为本申请提出的图像处理方法的一可选示例的流程示意图，该方法可以由电子设备执行，关于该电子设备的组成结构可以参照上文电子设备实施例描述的硬件结构，本实施例可以从图像增强处理装置200侧描述该图像处理方法。如图8所示，该方法可以包括但并不局限于：

步骤S81，获得待显示图像；

本申请实施例中，待显示图像可以是电子设备中处理装置渲染后得到的图像，在电子设备的不同硬件结构下，可以是从处理装置的主处理器提取的将要输出至显示装置的图像，或者是处理装置的显示选择器输出的图像等，本申请对步骤S81的获得方式不做限制，可视情而定。

需要说明，待显示图像可以是经过图像渲染后的内容完整的一帧图像，也可以是图像渲染后的包含部分内容的一帧图像，即本申请可以不限制渲染完整一帧图像后再输出，可以依据渲染图像内容，确定渲染部分内容图像后作为待显示图像输出，本申请对图像增强处理装置获得的待显示图像的图像内容不做限制。

步骤S82，确定该待显示图像满足图像增强条件，对待显示图像进行增强处理，得到目标显示图像；

步骤S83，确定待显示图像不满足图像增强条件，将待显示图像确定为目标显示图像；

结合上文对本申请技术方案的描述，对于渲染后的图像并不一定需要进行增强处理，因此，为了降低图像处理计算量，保证图像显示质量，可以预先配置图像增强条件，用于表征需要进行增强处理的图像类型，该图像类型可以依据图像内容、应用场景类型、来源应用类型、图像显示环境类型等确定，本申请对图像增强条件的内容及其配置实现方法不做限制，可视情况而定。

基于此，渲染后的待显示图像后，可以检测该待显示图像是否满足图像增强条件，若满足，图像增强处理装置的图像增强处理器可以继续对该待显示图像进行增强处理；若不满足，图像增强处理器可以不用耗费时间和资源，对该待显示图像进行增强处理，避免对这类待显示图像进行增强处理，额外引入干扰信息，降低图像显示质量。

需要说明，对于上述待显示图像是否满足图像增强条件的检测过程，可以由处理装置的主处理器CPU实现，以利用CPU强度计算能力，提高处理效率，节省图像增强处理器的资源；当然，该检测过程也可以由图像增强处理器执行实现，如由图像预处理单元基于人工智能包含的图像识别算法和机器学习算法等，对接收到的各待显示图像进行检测，确定是否满足图像增强条件，实现过程本申请实施例在此不做详述。

步骤S84，输出目标显示图像。

结合上文电子设备实施例的描述，由于在电子设备的不同硬件结构下，图像增强处理装置与处理装置之间的通信连接方式不同，所形成的图像传输通道不同，图像增强处理装置按照上述方法得到目标显示图像后，可以按照本电子设备所具有的硬件结构形成的图像传输通道，将目标显示图像发送至显示装置进行显示。

其中，对于图像增强处理装置来说，结合上文所描述的各类电子设备硬件结构，其可以通过双向传输接口(如PCIE或其他预定义配置的高速双向通信接口等)输出目标显示图像至主处理器CPU，再由其执行显示函数，将该目标显示图像发送至显示装置；而在待显示图像是由单向通信接口(如eDP)接收到的情况下，可以通过下行的单向通信接口将所得到目标显示图像发送至所连接的显示装置，关于目标显示图像的传输链路可以结合上述硬件结构示意图确定，本实施例在此不做详述。

参照图9，为本申请提出的图像处理方法的又一可选示例的流程示意图，该方法仍可以从电子设备中图像增强处理装置角度进行描述，可以是上文描述的图像处理方法的一可选细化实现方法，但并不局限于本实施例描述的这种细化实现方法。参照上文图3b、图5b以及图6a所示的电子设备硬件结构，以及图7所示的电子设备驱动架构示意图，本实施例提出的图像处理方法可以包括：

步骤S91，获取处理装置渲染后的待显示图像；

本申请实施例中，处理装置执行图像渲染操作，得到待显示图像，在执行显示函数(即将待显示图像发送至显示装置进行显示)时，将由CPU部署的系统驱动层(其属于图像增强处理装置的驱动装置)中的AI Client API(客户端接口)拦截该函数，提取待发送至显示装置的待显示图像，即hook D3D phPresentCb函数，将拦截到的待显示图像发送至图像增强处理装置的图像增强驱动层中的AI Server API(服务接口)，以使得图像增强处理装置获得该待显示图像。

对于图像增强处理装置的AI Server API所接收到的任一待显示图像Frame，如图10所示，可以写入固件Firmware中配置的待处理队列进行缓存，如图10中的Frame1、Frame2…等，等待图像增强处理器从中顺次逐帧提取一帧待显示图像进行是否满足图像增强条件的检测处理。

步骤S92，获得待显示图像所属的场景类型；

本实施例中，提出基于图像应用的场景类型来确定图像增强条件，如将需要进行图像增强处理的至少一个场景确定为第一类型场景，如各种视频播放场景、游戏操作场景等，这样，图像增强处理器从待处理队列提取到的一帧待显示图像后，可以基于待显示图像的内容来源，或直接对待显示图像进行内容分析，来确定待显示图像所属的场景类型，本申请对步骤S92的获得方法不作限制，可视情而定。

在又一些实施例中，在某些特定业务场景下，也可以在指定某一信号源或某一内容的图像进行增强处理，构成针对该特定业务场景的图像增强条件，这样，从待处理队列提取缓存的一帧待显示图像后，可以直接按照该图像增强条件的内容，检测待显示图像是否来源指定信号源，或图像内容是否为指定内容，若是，该帧待显示图像满足图像增强条件；反之，不满足图像增强条件。可见，对于不同内容的图像增强条件，对待显示图像的检测实现方法不同，本申请在此不做一一举例详述，可以依据场景需求确定。

步骤S93，如果该场景类型属于第一类型场景，识别出待显示图像包含的待增强图像区域；

步骤S94，对待显示图像包含的待增强图像区域进行增强处理，得到目标显示图像；

在图像增强处理器确定所提取的一帧待显示图像满足图像增强条件，可以对其进行增强处理。可选的，为了减少图像增强处理的计算量，保证图像增强效果，本申请实施例提出对待显示图像中需要增强处理的区域进行增强处理，对于不需要增强处理的区域不用增强处理，避免对不需要增强处理的区域执行增强操作，额外引入干扰信息，降低增强后的图像质量。本申请提出检测待显示图像中需要增强处理的待增强图像区域，可以是该待显示图像的至少部分图像区域，之后，选择合适的基于深度学习的图像增强算法对该待增强图像区域进行增强处理，得到目标显示图像。

示例性的，参照图11a所示的一帧待显示图像，用户观看视频时，视频播放界面处于缩略显示状态，使得该视频播放界面位于电子设备显示装置的部分显示区域进行展示，对于另一部显示区域则显示应用桌面图像，这种情况下，对于显示如图11a所示的图像，只需要对视频播放界面的视频图像区域进行增强处理，对于应用桌面图像不用进行增强处理，提高算法效率，降低功耗和处理时间。

基于此，对如图11a所示的待显示图像进行增强区域检测，可以得到如图11b所示的检测结果，可以依据各像素的像素值，确定该待显示图像的待增强图像区域，本申请对待增强图像区域的检测实现方法不做限制，并不局限于图11b所示的检测处理结果。之后，本申请可以按照检测结果，将一帧待显示图像分割成若干图像区域，对需要增强处理的图像区域进行增强处理，不需要增强处理的直接输出，这样，在如图10中，将Frame1分割成三部分处理后得到Framel_1、Framel_2、Framel_2，后续可以将这三部分组合构成一帧完整的目标显示图像输出，但并不局限于这种图像处理实现方法。

在一些实施例中，基于本申请提出的图像增强处理方式，可以基于深度学习图像增强算法，预训练得到图像增强模型，用于识别输入图像的待增强图像区域，对该待增强图像区域进行增强处理。这样，图像增强处理器获得一帧待显示图像后，可以直接将该待显示图像输入相匹配的图像增强模型，输出增强处理后的目标显示图像。本申请对图像增强模型的训练实现方法不做详述，可以依据所选择的基于深度学习的图像增强算法的运算原理确定。

应该理解，若用户控制电子设备的视频播放器处于全屏模式，那么，视频图像会在电子设备显示屏上全屏显示，对于这种输出方式的待显示图像，其全部图像区域为待增强图像区域，需要对该待显示图像的全部图像内容进行增强处理。对于这类待显示图像的待增强图像区域的检测方法，仍可以按照上文描述的方法确定，也可以先检测待显示图像的输出方式和应用来源，若为全屏输出方式的第一场景类型包含的应用来源，可以直接对该待显示图像进行增强处理，不用再按照上述方法识别待增强图像区域，节约计算资源消耗。

另外，在实际应用中，对于不同帧待显示图像的增强处理方式可以不同，即调用的基于深度学习的图像增强算法可以不同也可以相同，可以依据待显示图像所属场景确定。需要说明，若一帧待显示图像的待增强图像区域是该待显示图像的部分图像区域，经过对该部分图像区域进行增强处理，由增强后的部分图像区域与未增强处理的另一部分图像区域构成目标显示图像。

可选的，对于增强处理后的待显示图像，本申请还可以由图像后处理单元进行校准处理，将校准处理后的图像确定为目标显示图像，写入待输出队列进行缓存。本申请对增强处理后的图像校准实现方法不做限制，可视情而定。

步骤S95，如果该场景类型属于第二类型场景，将获取的待显示图像确定为目标显示图像；

结合上文对图像增强条件的相关描述，确定本次获取的待显示图像，如从待处理队列提取的一帧待显示图像不满足图像增强处理条件，为了避免引入额外信息，影响图像质量，不需要对该待显示图像进行增强处理，直接将该待显示图像确定为目标显示图像。

在本申请提出的又一些实施例中，由于图像增强处理装置配置有缓存队列，对获取的待显示图像进行缓存，且对于待显示图像进行处理后，可以写入另一缓存队列进行存储，因此，本申请可以对电子设备中不同芯片所执行得图像处理时序进行调整，使得相邻帧的不同处理过程时序存在重叠，即对相邻帧的待显示图像的处理过程之间存在重叠处理时间，且在重叠处理时间内对相邻帧的待显示图像的处理内容不同，相对于一帧待显示图像处理完成输出至显示装置后，再对下一帧待显示图像进行处理的时序处理方法，大大提高了图像处理效率，实现对电子设备计算资源的充分利用，降低图像传输过程中的时间损失。

示例性的，参照图12所示的图像处理方法的时序流程示意图，对于如游戏数据、视频流等数据，输入图形处理器GPU进行图像渲染，可以利用图像绘制模型对输入数据进行图像绘制/渲染，将渲染得到的图像通过PCIE发送至主处理器CPU，在本实施例电子设备硬件架构下，CPU可以将接收到的待显示图像通过AI Client API发送至图像增强处理装置(即一种AI芯片)的AI Server API，由其写入一缓存队列(如上述待处理队列)进行存储。之后，图像预处理单元可以顺次逐帧进行预处理，由加速引擎调取所需图像增强算法进行增强处理，将得到的目标显示图像写入另一缓存队列进行存储，之后，可以逐帧读取所缓存的目标显示图像，通过AI Server API将得到的目标显示图像发送至CPU的AI Client API，在由CPU将该目标显示图像通过eDP发送至显示装置。

在上述处理过程中，如图12所示，不同帧待显示图像在不同芯片(如GPU、CPU、AI芯片等)的处理步骤可以重叠，在相邻处理步骤的不同芯片，如CPU传输第n帧待显示图像过程，GPU可以渲染第n+1帧图像，在此期间可能在对第n-1帧待显示图像进行预处理等。可见，在依据各帧待显示图像的处理执行主体和处理时间等信息，设计连续帧图像的处理时序时，可以在GPU渲染部分图像时，就将渲染后的图像传输至图像增强处理装置进行处理，无需等待全部图像渲染完成，大大降低图像传输过程中的时间损失。

需要说明，关于不同帧图像在不同芯片中的处理时序的设计方案，包括但并不局限于图12所示的时序流程，可以依据实际情况进行灵活调整，如重叠时长等，本申请在此不做一一举例详述。

步骤S96，将目标显示图像反馈至处理装置，由处理装置将目标显示图像发送至显示装置进行显示。

参照本实施例适用的电子设备硬件结构，图像增强处理装置对拦截的待显示图像进行处理后，可以将得到的目标显示图像反馈至处理装置的CPU，以使该CPU执行显示函数，将该目标显示图像发送至显示装置进行显示。关于图像处理及传输的驱动过程，可以参照上文实施例对应部分的描述，本实施例在此不做赘述。

综上，在本申请实施例中，电子设备配置如上述结构的图像增强处理装置，与处理装置的主处理器进行高速双向通信连接，在处理装置进行图像渲染，输出渲染得到的待显示图像时，将拦截显示函数对待显示图像的输出操作，而是通过高速双向通信通道，将该待显示图像发送至图像增强处理装置，依据图像增强条件对待增强图像区域进行增强处理，经过高速双向通信通道，将增强处理后的高质量的目标显示图像反馈至主处理器，由主处理器将目标显示图像发送至显示装置进行显示，保证显示图像质量。

而且，本申请采用高速双向通信通道，实现了图像增强处理装置与电子设备系统的处理装置之间的数据交互，提升了图像处理稳定性，且能够最大限度发挥图形处理器GPU的并行处理了能力，如图12所示的时序流程，大大降低算法延迟，实现图像处理实时性和低延迟性。

其中，对于不需要增强处理的待显示图像，如桌面图像、文本文档界面图像等，可以直接进入bypass模式，此时，图像增强处理单元可以不工作，可以将GPU渲染后的待显示图像发送至显示装置输出，解决了对所有渲染图像进行无差别增强处理，导致对这类图像增强处理，引入额外干扰数据，降低输出图像质量的技术问题。

在本申请提出的又一些实施例中，在如图3a、图5c以及图6b所示的电子设备硬件结构下，图像增强处理装置可以接收处理装置渲染后输出的待显示图像，此时可以通过eDP通信接口实现图像增强处理装置与处理装置之间的数据传输，相对于USB或MIPI通信方式，使得本申请不仅适用于对摄像头采集图像的处理场景，还可以用于实现对网络/本地视频、游戏图像的增强处理场景。关于图像增强处理装置对接收到的待显示图像的处理过程，可以参照但并不局限于上文实施例相应部分的描述，本实施例在此不做详述。

其中，结合上述分析，图像增强处理装置接收到的任一帧待显示图像，可以检测需要增强处理的待增强图像处理区域，对其进行增强处理，将得到的目标显示图像发送至显示装置进行显示，这样可以实现对画质较低的图像内容进行增强处理(如调整图像色温、颜色等，以提升图像色彩呈现效果)，对于画质较高的图像内容无需增强处理，极大避免在增强处理过程中引入额外的画面问题，且只对待增强图像处理区域执行增强算法，大大提高了增强算法效率，降低了功耗与处理时间，提升了用户体验。

对于上文各实施例描述的图像处理方法，为了实现待显示图像包含的待增强图像区域，可以基于注意力机制，确定待显示图像包含的感兴趣区域为待增强图像区域，该感兴趣区域可以包括上述第一类场景下的第一应用内容，如视频图像、游戏图像等。按照该技术构成，本申请可以基于注意力机制训练图像增强识别模型，这样，可以直接将待显示图像输入图像增强识别模型，输出待增强图像区域，本申请对该图像增强识别模型的训练实现方法不做限制。

在又一些实施例中，结合上述分析，本申请可以直接对待显示图像内容进行分析，确定待显示图像的内容属于第一应用内容，将待显示图像的全部显示区域确定为待增强图像区域，如识别视频图像/游戏画面的全部显示区域为待增强图像区域。在又一些应用场景下，若本申请确定待显示图像包含第一应用内容和第二应用内容，如图11a所示的待显示图像，可以识别第一应用内容所在区域为待增强图像区域，如识别视频图像所在显示区域为待增强图像区域，本申请对图像内容识别实现方法不做限制，可以基于注意力机制的图像识别算法确定，也可以基于预先构建的不同应用内容与应用显示区域之间的对应关系，确定第一应用内容的应用显示区域为待增强图像区域等。

参照图13，为本申请提出的图像处理装置的一可选示例的结构示意图，该装置可以包括：

待显示图像获得模块131，用于获得待显示图像；

第一确定模块132，用于确定所述待显示图像满足图像增强条件，对所述待显示图像进行增强处理，得到目标显示图像；

第二确定模块133，用于确定所述待显示图像不满足所述图像增强条件，将所述待显示图像确定为目标显示图像；

目标显示图像输出模块134，用于输出所述目标显示图像。

在一些实施例中，如图3a所示的电子设备硬件结构下，上述待显示图像获得模块可以包括：

图像接收单元，用于接收处理装置渲染后输出的待显示图像。

相应地，上述目标显示图像输出模块可以包括：

图像发送单元，用于将所述目标显示图像发送至显示装置进行显示。

在又一些实施例中，如图3b所示的电子设备硬件结构下，上述待显示图像获得模块可以包括：

图像获取单元，用于获取处理装置渲染后的待显示图像，即待发送至显示装置的渲染后的图像；

图像反馈单元，用于将所述目标显示图像反馈至所述处理装置，由所述处理装置将所述目标显示图像发送至所述显示装置进行显示。

可选的，结合上述装置结构，上述第一确定模块可以包括：

场景类型获得单元，用于获得所述待显示图像所属的场景类型；

第一确定单元，用于如果所述场景类型属于第一类场景，确定所述待显示图像满足图像增强条件；

待增强图像区域识别单元，用于识别出所述待显示图像包含的待增强图像区域；

增强处理单元，用于对所述待显示图像包含的待增强图像区域进行增强处理，得到目标显示图像。

上述第二确定模块可以包括：

第二确定单元，用于如果所述场景类型属于第二类场景，确定所述待显示图像不满足所述图像增强条件，将待显示图像确定为目标显示图像。

在一种可能的实现方式中，上述待增强图像区域识别单元可以包括：

第一识别单元，用于基于注意力机制，确定所述待显示图像包含的感兴趣区域为待增强图像区域；所述感兴趣区域包括第一类场景下的第一应用内容；或，

第二识别单元，用于确定所述待显示图像的内容属于第一应用内容，将所述待显示图像的全部显示区域确定为待增强图像区域；和/或，

第三识别单元，用于确定所述待显示图像包括第一应用内容和第二应用内容，识别所述第一应用内容所在区域为待增强图像区域。

在又一些实施例中，上述图像处理装置还可以包括：

第一缓存模块，用于将获得的所述待显示图像写入待处理队列，以逐帧确定所缓存的待显示图像是否满足图像增强条件；和/或，

第二缓存模块，用于将得到的所述目标显示图像写入待输出队列，以逐帧输出所缓存的目标显示图像；和/或，

校准处理模块，用于对增强处理后的待显示图像进行校准处理，以得到所述目标显示图像。

需要说明的是，关于上述各装置实施例中的各种模块、单元等，均可以作为程序模块存储在存储器中，由处理器执行存储在存储器中的上述程序模块，以实现相应的功能，关于各程序模块及其组合所实现的功能，以及达到的技术效果，可以参照上述方法实施例相应部分的描述，本实施例不再赘述。

本申请还提供了一种计算机可读存储介质，其上可以存储计算机程序，该计算机程序可以被处理器调用并加载，以实现上述实施例描述的图像处理方法的各个步骤。

最后，需要说明的是，关于上述各实施例中，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个......”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

本申请涉及到的术语诸如“第一”、“第二”等仅用于描述目的，用来将一个操作、单元或模块与另一个操作、单元或模块区分开来，而不一定要求或者暗示这些单元、操作或模块之间存在任何这种实际的关系或者顺序。且不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

另外，本说明书中各个实施例采用递进或并列的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、电子设备而言，由于其与实施例公开的方法对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像处理方法，所述方法包括：

获得待显示图像；

确定所述待显示图像满足图像增强条件，对所述待显示图像进行增强处理，得到目标显示图像；

确定所述待显示图像不满足所述图像增强条件，将所述待显示图像确定为目标显示图像；

输出所述目标显示图像。

2.根据权利要求1所述的方法，所述获得待显示图像，包括：

接收处理装置渲染后输出的待显示图像；

所述输出所述目标显示图像，包括：

将所述目标显示图像发送至显示装置进行显示；

或者，

所述获得待显示图像，包括：

获取处理装置渲染后的待显示图像；

所述输出所述目标显示图像，包括：

将所述目标显示图像反馈至所述处理装置，由所述处理装置将所述目标显示图像发送至所述显示装置进行显示。

3.根据权利要求1或2所述的方法，所述确定所述待显示图像满足图像增强条件，包括：

获得所述待显示图像所属的场景类型；

如果所述场景类型属于第一类场景，确定所述待显示图像满足图像增强条件；

所述待显示图像不满足所述图像增强条件包括：

如果所述场景类型属于第二类场景，确定所述待显示图像不满足所述图像增强条件。

4.根据权利要求1或2所述的方法，所述对所述待显示图像进行增强处理，得到目标显示图像，包括：

识别出所述待显示图像包含的待增强图像区域；

对所述待显示图像包含的待增强图像区域进行增强处理，得到目标显示图像。

5.根据权利要求4所述的方法，所述识别出所述待显示图像包含的待增强图像区域，包括：

基于注意力机制，确定所述待显示图像包含的感兴趣区域为待增强图像区域；所述感兴趣区域包括第一类场景下的第一应用内容；或，

确定所述待显示图像的内容属于第一应用内容，将所述待显示图像的全部显示区域确定为待增强图像区域；和/或，

确定所述待显示图像包括第一应用内容和第二应用内容，识别所述第一应用内容所在区域为待增强图像区域。

6.根据权利要求2所述的方法，所述方法还包括：

将获得的所述待显示图像写入待处理队列，以逐帧确定所缓存的待显示图像是否满足图像增强条件；和/或，

将得到的所述目标显示图像写入待输出队列，以逐帧输出所缓存的目标显示图像；和/或，

对增强处理后的待显示图像进行校准处理，以得到所述目标显示图像。

7.一种图像处理装置，所述装置包括：

待显示图像获得模块，用于获得待显示图像；

第一确定模块，用于确定所述待显示图像满足图像增强条件，对所述待显示图像进行增强处理，得到目标显示图像；

第二确定模块，用于确定所述待显示图像不满足所述图像增强条件，将所述待显示图像确定为目标显示图像；

目标显示图像输出模块，用于输出所述目标显示图像。

8.一种电子设备，所述电子设备包括：

处理装置，用于执行图像渲染操作，得到待显示图像；

图像增强处理装置，用于实现如权利要求1-7任一项所述的图像处理方法；

显示装置，用于显示所述图像增强处理装置或所述处理装置输出的目标显示图像。

9.根据权利要求8所述的电子设备，所述图像增强处理装置包括：

数据传输端口，用于连接所述处理装置，接收所述处理装置输出的待显示图像；

图像增强处理器，用于连接所述数据传输端口，接收所述数据传输端口所传输的所述待显示图像，确定所述待显示图像满足图像增强条件，对所述待显示图像进行增强处理，得到目标显示图像；确定所述待显示图像不满足所述图像增强条件，将所述待显示图像确定为目标显示图像，将所述目标显示图像发送至所述数据传输端口；

所述数据传输端口，还用于将所述目标显示图像发送至所述处理装置，由所述处理装置将目标显示图像发送至所连接的所述显示装置；或者还用于连接所述显示装置，将所述目标显示图像发送至所述显示装置。

10.根据权利要求9所述的电子设备，所述图像增强处理器包括：

图像预处理单元，用于连接所述数据传输端口，接收所述数据传输端口所传输的所述待显示图像，确定所述待显示图像是否满足图像增强条件，将不满足所述图像增强条件的所述待显示图像确定为目标显示图像，将所述目标显示图像发送至所述数据传输端口；

图像增强处理单元，用于连接所述图像预处理单元和所述数据传输端口，对满足所述图像增强条件的所述待显示图像进行增强处理，得到目标显示图像，将所述目标显示图像发送至所述数据传输端口；

所述数据传输端口包括具有数据双向传输功能的第一数据传输端口，所述第一数据传输端口连接所述处理装置，以接收所述处理装置输出的所述待显示图像，将所接收到的所述目标显示图像发送至所述处理装置；

或者，所述数据传输端口包括具有数据单向传输功能的第二数据传输端口，分别连接所述处理装置和所述显示装置，以接收所述处理装置输出的所述待显示图像，将所接收到的所述目标显示图像发送至所述显示装置。

Images