CN113228095A

CN113228095A - 图像处理方法、显示处理装置和计算机可读存储介质

Info

Publication number: CN113228095A
Application number: CN202080007162.1A
Authority: CN
Inventors: 阮肇夏; 赵文军
Original assignee: SZ DJI Technology Co Ltd
Current assignee: SZ DJI Technology Co Ltd
Priority date: 2020-06-30
Filing date: 2020-06-30
Publication date: 2021-08-06
Also published as: WO2022000347A1

Abstract

一种图像处理方法，包括:获取目标图像(S110)；对目标图像进行第一图像处理和/或将目标图像传输给协处理器以使协处理器对目标图像进行第二图像处理后回传给显示处理单元(S120)；将处理后的目标图像存储至目标存储器和/或通过输出接口输出处理后的目标图像(S130)。能够增加基于DPU进行图像处理的种类，还提供了装置、存储介质。

Description

图像处理方法、显示处理装置和计算机可读存储介质

技术领域

本说明书涉及图像处理技术领域，尤其涉及一种图像处理方法、显示处理装置和计算机可读存储介质。

背景技术

图像和视频信息是人们获取客观世界信息的主要来源和直接方式，随着多媒体和数据通信技术的发展，数字图像和视频技术在不断地推进和完善，并在科学研究、工业生产、通信、医疗、教育、娱乐等多个领域有着广泛的应用。同时，人们对图像视频应用的要求也越来越高，从而使得高速、集成和智能化的高性能数字图像视频处理设备成为当前图像视频设备的主要发展趋势。

显示处理单元(Distributed Processing Unit，DPU)是应对显示处理需求而设计的，性能更强，可以提高显示输出能力，但是显示处理单元进行图像处理的手段较为单一。

发明内容

基于此，本申请提供了一种图像处理方法、显示处理装置和计算机可读存储介质，旨在解决显示处理单元进行图像处理的手段较为单一等技术问题。

第一方面，本申请实施例提供了一种图像处理方法，用于显示处理装置中的显示处理单元，所述显示处理装置还包括连接所述显示处理单元的协处理器；

所述方法包括：

获取目标图像；

对所述目标图像进行第一图像处理和/或将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元；

将处理后的目标图像存储至目标存储器和/或通过输出接口输出处理后的目标图像。

第二方面，本申请实施例提供了一种显示处理装置，所述装置包括：

数据加载单元，所述数据加载单元用于获取目标图像；

图像处理单元，所述图像处理单元与所述数据加载单元连接，用于对所述目标图像进行第一图像处理；

所述数据加载单元还用于将所述目标图像传输给协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述图像处理单元；

输出接口单元，所述输出接口单元与所述图像处理单元连接，用于从所述图像处理单元接收进行处理后的目标图像并输出。

第三方面，本申请实施例提供了一种显示处理芯片，所述芯片包括

数据加载电路，所述数据加载电路用于获取目标图像；

图像处理电路，所述图像处理电路与所述数据加载电路连接，用于所述目标图像进行第一图像处理；

所述数据加载电路能够与协处理器连接，还用于将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述图像处理电路；

输出接口电路，与所述输出处理电路和所述图像处理电路连接，用于从所述图像处理电路接收进行处理后的目标图像并输出。

第四方面，本申请实施例提供了一种显示处理装置，所述显示处理装置包括显示处理单元和连接所述显示处理单元的协处理器；其中，所述显示处理单元用于实现如下步骤：

获取目标图像；

第五方面，本申请实施例提供了一种显示处理系统，所述显示处理系统包括显示处理单元和连接所述显示处理单元的协处理器、存储器、显示装置；其中，所述显示处理单元用于实现如下步骤：

获取目标图像；

将处理后的目标图像存储至所述存储器和/或通过输出接口输出处理后的目标图像给所述显示装置。

第六方面，本申请实施例提供了一种终端设备，所述终端设备包括显示处理单元和连接所述显示处理单元的协处理器、存储器、显示装置；其中，所述显示处理单元用于实现如下步骤：

获取目标图像；

第七方面，本申请实施例提供了一种可移动平台，所述可移动平台包括显示处理单元和连接所述显示处理单元的协处理器；其中，所述显示处理单元用于实现如下步骤：

获取目标图像；

第八方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现上述的方法。

本申请实施例提供了一种图像处理方法、显示处理装置和计算机可读存储介质，通过对获取的目标图像进行第一图像处理和/或将获取的目标图像传输给与显示处理单元连接的协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元，以及将处理后的目标图像存储至目标存储器和/或通过输出接口输出处理后的目标图像，显示处理单元可以利用协处理器实现更多种类的图像处理，可以提高图像的显示效果，还可以降低显示处理单元的运算压力，提升图像处理的高速性和实时性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请实施例的公开内容。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像处理方法的流程示意图；

图2是图像处理方法在一实施方式中的应用场景示意图；

图3是本申请实施例提供的一种显示处理装置的示意性框图；

图4是本申请实施例提供的一种显示处理装置的示意性框图；

图5是本申请实施例提供的一种显示处理芯片的示意性框图；

图6是本申请实施例提供的一种显示处理装置的示意性框图；

图7是本申请实施例提供的一种显示处理系统的示意性框图；

图8是本申请实施例提供的一种可移动平台的示意性框图；

图9是本申请实施例提供的一种终端设备的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，图1是本申请实施例提供的一种图像处理方法的流程示意图。所述图像处理方法可以应用在显示处理单元(Distributed Processing Unit，DPU)，用于对图像进行处理，例如对推向进行效果强化方面的处理等过程。

一个完整的图像视频处理和显示系统不但要具备图像视频信号的实时显示，且要求完成对图像信号的分析和处理算法(如图像编解码、图像增强等)以及图像处理结果的反馈控制。通常这些算法的运算量大，同时又要满足实时处理、显示的要求。

随着如今半导体工艺的不断发展，SoC(System on Chip，片上系统)技术成为当前大规模集成电路的发展趋势，其硬件资源集成度高,同时性能也得到显著提升，是当前集成电路技术的主流，处理速度相对于PC机、DSP芯片、FPGA要快，因此越来越多地被运用到图像视频相关产品的芯片中。在一些实施方式中，本申请实施例的图像处理方法可以用于SoC芯片中的显示处理单元，相比传统显示方案实现了图像视频处理和显示等功能的高度集成，功能上更加丰富，并且在处理性能上可以满足高速实时的需求。

通过在片上系统中设置显示处理单元，可以更好地处理一些显示数据如VR应用的数据。实际运用中，显示处理单元可以限定分辨率、帧率、色彩数量、HDR(High-DynamicRange，高动态范围)、支持VR等功能，对于片上系统的图像视频处理和显示性能起到了关键的作用。显示处理单元是应对显示处理需求而设计的，应用于图像处理时性能更强，且功能可定制化，在片上系统中占用面积更小。

示例性的，所述显示处理单元可以应用于显示处理装置中，显示处理装置例如可以包括终端设备、可移动平台等。其中终端设备可以包括VR设备、手机、平板电脑、笔记本电脑、台式电脑、拍摄装置、电视机、机顶盒、个人数字助理、穿戴式设备、遥控器等中的至少一项；可移动平台可以包括无人飞行器、云台、无人机等中的至少一种。进一步而言，无人飞行器可以为旋翼型无人机，例如四旋翼无人机、六旋翼无人机、八旋翼无人机，也可以是固定翼无人机。

在一些实施方式中，显示处理装置，如手机、电脑、电视、机顶盒等可以获取本地存储的图像或者从互联网上获取图像，以及根据图像处理方法对图像进行处理，还可以储存和/或显示处理后的图像。

在一些实施方式中，如图2所示，可移动平台10搭载有拍摄装置11，如相机。可移动平台10还能够与终端设备20通信连接。

示例性的，拍摄装置11可以拍摄图像，以及根据图像处理方法对拍摄的图像进行处理，还可以将处理后的图像通过可移动平台10发送给终端设备20，以便终端设备20储存和/或显示处理后的图像。

示例性的，拍摄装置11可以拍摄图像，以及将拍摄的图像的发送给可移动平台10。可移动平台10根据图像处理方法对图像进行处理，以及将处理后的图像发送给终端设备20，以便终端设备20储存和/或显示处理后的图像。

示例性的，可移动平台10将拍摄装置11拍摄的图像发送给终端设备20，由终端设备20根据图像处理方法对图像进行处理。终端设备20可以储存和/或显示处理后的图像。

在一些实施方式中，拍摄装置11可以拍摄图像，以及根据图像处理方法对拍摄的图像进行处理；拍摄装置11还可以将处理后的图像发送给终端设备20，以便终端设备20储存和/或显示处理后的图像。或者拍摄装置11可以拍摄图像，以及将拍摄的图像的发送给终端设备20，终端设备20可以根据图像处理方法对图像进行处理，还可以储存和/或显示处理后的图像。

在一些实施方式中，如图3所示，所述显示处理装置还包括连接所述显示处理单元的协处理器(Coprocessor)。该协处理器能够通过软件计算完成图像/视频数据的变换和增强等处理，可以协助显示处理单元实现更多种类的图像处理手段。

示例性的，所述协处理器用于执行预设的图像处理(Image Signal Processor，ISP)算法。协处理器可以提供丰富的图像/视频处理算法，因此可以解决显示处理单元图像处理手段单一的问题，还可以降低显示处理单元的运算压力，提升图像处理的高速性和实时性。例如，所述协处理器可以包括ISP处理器，又可称为图像信号处理器。

如图1所示，本申请实施例的图像处理方法包括步骤S110至步骤S130。

S110、获取目标图像。

在一些实施方式中，可以从目标存储器获取所述目标图像。在另一些实施方式中，可以获取拍摄装置拍摄的图像为目标图像，或者获取互联网上视频中的图像作为目标图像。

示例性的，如图3所示，显示处理装置可以搭载存储器，存储器例如包括显示处理装置内置的存储器和/或外部连接的存储器。存储器例如可以包括硬盘或内存，也可以包括所述显示处理装置上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

示例性的，可以根据预先设定或根据用户的操作确定一存储器为目标存储器，目标存储器存储需要进行图像处理的图像，该图像可称为目标图像。

示例性的，目标存储器包括DDR存储器(双倍速率同步动态随机存储器)，访问数据的速率较快。例如，目标存储器可以从其他存储器或者从互联网获取图像，并将获取的图像确定为目标图像。

示例性的，如图3所示，显示处理单元的AXI(Advanced eXtensible Interface)接口连接目标存储器。例如显示处理单元的数据加载(Data Loader)单元通过AXI接口连接目标存储器。所述数据加载单元用于获取目标图像。

在一些实施方式中，所述获取目标图像，包括：获取压缩的图像数据，解压缩所述图像数据，得到所述目标图像。

示例性的，目标存储器存储图像经帧缓冲压缩(Frame Buffer Compression，FBC)得到的图像数据，可以理解的，目标存储器存储的是压缩后的码流数据，可以减轻目标存储器的存储压力，而且减少目标存储器读写过程所需传输的数据量，从目标存储器获取图像数据时对带宽的要求较低，降低了目标存储器的带宽占用。通过对图像数据进行帧缓冲解压缩(Frame Buffer Decompression，FBD)可以得到所述目标图像。

示例性的，所述数据加载单元还用于从目标存储器获取压缩的图像数据，以及解压缩所述图像数据，得到所述目标图像。例如，数据加载单元包括解码器，在获取压缩的图像数据后进行解码得到目标图像。

S120、对所述目标图像进行第一图像处理和/或将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元。

在一些实施方式中，可以仅对目标图像进行第一图像处理，而不对目标图像进行第二图像处理。

示例性的，如图3所示，显示处理装置包括图像处理单元，所述图像处理单元与所述数据加载单元连接，图像处理单元用于对所述目标图像进行第一图像处理。

示例性的，所述第一图像处理包括缩放、融合、旋转、翻转、色彩格式与色彩空间转换、左右视图联合处理中的至少一种。

在另一些实施方式中，可以仅对目标图像传输进行第二图像处理。

示例性的，如图3所示，显示处理单元的数据加载单元与协处理器连接，数据加载单元可以将获取的目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理。

示例性的，第一图像处理所需算力或计算复杂度均低于所述第二图像处理。例如，计算量较高的图像处理过程由协处理器执行，以降低显示处理单元的计算压力。

示例性的，如图3所示，协处理器还连接显示处理单元的图像处理单元，协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元。

示例性的，如图3所示，所述数据加载单元通过所述图像处理单元与所述协处理器连接，所述数据加载单元用于将获取的目标图像通过所述图像处理单元传输给所述协处理器，以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元。

示例性的，所述图像处理单元还用于将所述数据加载单元获取的目标图像传输给所述协处理器。例如数据加载单元将获取的目标图像传输给图像处理单元后，图像处理单元直接将该目标图像传输给协处理器进行第二图像处理。

示例性的，如图3所示，显示处理装置还包括数据传输单元，所述数据加载单元和/或所述图像处理单元可以通过所述数据传输单元与所述协处理器连接。例如，数据传输单元包括连接数据加载单元的数据接口和连接所述图像处理单元的数据接口，例如数据传输单元还可以用于实现数据缓存、分发等。

在其他一些实施方式中，可以对目标图像进行第一图像处理以及第二图像处理。

示例性的，所述图像处理单元还用于将第一图像处理后的目标图像传输给所述协处理器，以使所述协处理器对所述第一图像处理后的目标图像进行第二图像处理。

S130、将处理后的目标图像存储至目标存储器和/或通过输出接口输出处理后的目标图像。

在一些实施方式中，可以将处理后的目标图像存储至目标存储器。

示例性的，所述将处理后的目标图像存储至目标存储器，包括：将处理后的目标图像进行压缩，得到压缩的图像数据；将所述图像数据存储至所述目标存储器。例如，所述数据加载单元可以将进行处理后的目标图像进行压缩得到压缩的图像数据，以及将所述图像数据存储至所述目标存储器。

示例性的，将经第一图像处理和/或第二图像处理后的目标图像进行图像经帧缓冲压缩，得到图像数据，以及将所述图像数据存储至所述目标存储器。可以理解的，目标存储器存储的是压缩后的码流数据，可以减轻目标存储器的存储压力，而且减少目标存储器读写过程所需传输的数据量，向目标存储器写入图像数据时对带宽的要求较低，降低了目标存储器的带宽占用。

在一些实施方式中，可以通过输出接口输出处理后的目标图像。

示例性的，输出接口包括HDMI接口(High Definition Multimedia Interface，高清晰度多媒体接口)、MIPI接口(mobile industry processor interface，移动产业处理器接口)、DSI接口(Display Serial Interface，显示器串行接口)中的至少一种。

示例性的，可以通过输出接口输出处理后的目标图像至显示装置。如图3所示，显示处理装置搭载显示装置，显示处理单元可以将经第一图像处理和/或第二图像处理后的目标图像输出给显示装置进行显示。

示例性的，显示处理装置还包括至与所述显示处理单元级联的芯片，该芯片例如包括AI芯片、CPU芯片、GPU芯片中的至少一项，实现不同芯片间的数据传输，有利于提高DPU系统的处理能力。显示处理单元可以通过输出接口输出处理后的目标图像给该芯片，以由该芯片对处理后的目标图像进行处理，例如进行图像识别等。

示例性的，如图3所示，显示处理单元还包括输出接口单元，所述输出接口单元与所述图像处理单元连接，用于从所述图像处理单元接收进行处理后的目标图像并输出。

示例性的，所述输出接口单元包括一个或多个输出接口，例如，多个输出接口的类型可以相同也可以不相同。

示例性的，所述输出接口单元通过所述图像处理单元与所述协处理器连接，用于接收进行第二图像处理后的目标图像。

示例性的，所述输出接口单元还用于对从所述图像处理单元接收的目标图像进行格式转换。例如输出接口单元可以将处理后的目标图像转换为符合HDMI接口协议要求的格式，以便通过HDMI接口输出图像。

在其他一些实施方式中，所述方法还包括：根据所述目标图像对应的直接输出指令，将获取的目标图像通过输出接口输出。

示例性的，图像处理单元可以不对数据加载单元获取的目标图像进行第一图像处理，而直接将数据加载单元获取的目标图像通过输出接口输出，例如由输出接口单元对该目标图像进行格式转换后输出。

在一些实施方式中，可以根据所述目标图像对应的处理指令，对所述目标图像进行第一图像处理和/或将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元。

示例性的，显示处理单元可以从显示处理装置的CPU或GPU接收所述目标图像对应的处理指令。

例如，CPU或GPU可以确定当前处理的目标图像的图像信息，例如目标图像在视频中的位置、目标图像的亮度、对比度、直方图等，从而可以根据目标图像的图像信息确定所述处理指令，所述处理指令用于控制显示处理单元对目标图像进行第一图像处理和/或控制显示处理单元将目标图像发送给协处理器进行第二图像处理。

示例性的，若所述处理指令包括第一图像处理需求，对所述目标图像进行第一图像处理。

示例性的，若所述处理指令包括第二图像处理需求，则将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元。

示例性的，若所述处理指令包括第一图像处理需求和第二图像处理需求，对所述目标图像进行第一图像处理，并将第一图像处理后的目标图像传输给所述协处理器，以使所述协处理器对所述第一图像处理后的目标图像进行第二图像处理后将第二图像处理后的目标图像回传给所述显示处理单元。

示例性的，可以将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后将第二图像处理后的目标图像回传给所述显示处理单元，以及所述显示处理单元对所述第二图像处理后的目标图像进行第一图像处理。例如所述显示处理单元的图像处理单元还用于对所述协处理器回传的目标图像进行第一图像处理。

在一些实施方式中，所述第一图像处理包括缩放、融合、旋转、翻转、色彩格式与色彩空间转换、左右视图联合处理中的至少一种。

示例性的，所述显示处理单元包括一个或多个图像处理单元，如图3所示，显示处理单元包括两个图像处理单元，分别为图像处理单元1和图像处理单元2。

示例性的，所述显示处理单元用于处理多摄像头获取的图像或GUI界面图像。

示例性的，所述显示处理单元中不同的图像处理单元用于处理不同的图层。例如，不同的图像处理单元可用于独立处理不同图层的数据处理，如背景、logo、窗口、图像等图层。例如，GUI界面包括图像层、RGB三通道直方图、文件信息层等多个图层。从而可以丰富GUI界面展现的信息，提升显示的敏捷性。

示例性的，所述显示处理单元中不同的图像处理单元用于处理不同摄像头采集的目标图像。

示例性的，所述显示处理装置处理双摄像头装置采集的第一目标图像和第二目标图像；其中，所述第一目标图像是所述双摄像头装置的其中一个摄像头采集的，所述第二目标图像是所述双摄像头装置的另一个摄像头采集的。

例如，双摄像头的左右摄像头分别对场景的左半部分和右半部分进行采集，得到左视图数据和右视图数据，图像处理单元1和图像处理单元2用于处理双摄像头的左视图数据和右视图数据。

示例性的，所述通过输出接口输出处理后的目标图像至显示装置，包括：通过输出接口输出处理后的第一目标图像和处理后的第二目标图像至显示装置。例如，通过其中一个输出接口输出处理后的第一目标图像，通过另一个输出接口输出处理后的第二目标图像，实现双摄像头采集的左右视图的数据传输。

示例性的，所述对所述目标图像进行第一图像处理，包括：将所述第一目标图像和所述第二目标图像融合，得到第一图像处理后的目标图像，所述第一图像处理后的目标图像的视角比所述第一目标图像的视角或所述第二目标图像的视角广。通过对双摄像头采集的左右图像进行融合，从而得到一幅广角效果的图像。

示例性的，所述协处理器用于对图像进行以下图像处理中的至少一种：背光调整处理、高动态范围(High-Dynamic Range，HDR)处理、Gamma矫正、颜色矫正、确定峰值和/或直方图分布、增强处理、智能调参、超分辨率处理、图像修补、去抖动处理、随机噪声加入处理、增强现实处理中的至少一种。

其中，背光调整处理例如可以通过Assertive Display算法实现，通过检测环境光来调节屏幕中不同区域的亮度，主要用于提高强光下的显示效果，在保持原有视觉效果的同时还能降低功耗。高动态范围处理可以提升图像中最亮和最暗画面的对比度，使得用户能看到图像中更多的细节，例如通过多幅不同曝光条件下的图像进行配准和融合得到HDR图像。Gamma矫正可以拉伸图像中灰度级较高的区域和压缩灰度级较低的部分，处理后的图像更符合人眼的非线性视觉，和对于暗部的变化更加敏感的特点。颜色矫正可以通过颜色矫正矩阵消除色差，恢复和增强图像的色彩。

示例性的，协处理器可以分析目标图像的数值分布，计算出当前图像的峰值和直方图分布图，并将确定的峰值和/或直方图分布回传给显示处理单元，其中，峰值数据用于标记图像中的过曝区域，直方图用于呈现图像暗部和亮部的分布情况，显示处理单元可以将峰值和/或直方图分布叠加至目标图像。增强处理，又可称为图像锐化，是使图像边缘更清晰的一种图像处理方法，常用的做法是提取图像的高频分量，将其叠加到原图上，其中图像高频分量的提取有两种做法，一种是用高通滤波器，得到高频分量，常用方法是通过Sobel算子和Laplcian算子提取高频分量，另一种是通过低通滤波，用原图减低频得以高频，也称为非锐化掩模，常用方法是通过高斯或双边低通滤波器对图像进行滤波。协处理器中通过增强处理提取图像边缘信息，并将图像边缘信息叠加到原图上以实现图像增强，提高显示效果。超分辨率处理指从观测到的低分辨率图像重建出相应的高分辨率图像，基于重建算法或机器学习算法对输入图像/视频进行超分辨率处理，可以增加图像/视频的细节信息。图像修补例如可以利用图像中待修补区域的边缘信息，即边缘的颜色和结构，去推断出待修补区域的信息内容并进行填补，最终得到所需的主观效果，可用于修补拍摄设备无法拍摄到或是受损的区域，如填充广角或全景成像中的缺失边缘。随机噪声加入处理是一种使用噪声对量化误差进行随机化，以减轻大幅度截取图像精度时导致的条带问题。增强现实(Augmented Reality，AR)处理可以在图像/视频中增加虚拟物体和显示信息等图层，增强用户对于现实信息的理解。

示例性的，所述方法还包括：增加、修改或删除所述协处理器的图像处理算法。例如可以通过自定义总线接口可以访问协处理器增加、修改或删除所述协处理器的图像处理算法。从而协处理器的图像处理算法能够进行迭代和扩展，提供更加灵活的图像处理方式，可以满足用户对于显示方面图像处理的丰富需求。

在一些实施方式中，所述第二图像处理的计算量不低于所述第一图像处理的计算量。示例性的，可以分配计算量较高的图像处理过程由协处理器执行，以降低显示处理单元的计算压力。而且协处理器可以通过软件计算协助显示处理单元可以完成丰富的图像处理，可以提高图像的显示效果，而且协处理器中的图像处理算法支持迭代和扩展，可以提供更加灵活的图像处理方式。

本申请实施例提供的图像处理方法，通过对获取的目标图像进行第一图像处理和/或将获取的目标图像传输给与显示处理单元连接的协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元，以及将处理后的目标图像存储至目标存储器和/或通过输出接口输出处理后的目标图像，显示处理单元可以利用协处理器实现更多种类的图像处理，可以提高图像的显示效果，还可以降低显示处理单元的运算压力，提升图像处理的高速性和实时性。协处理器中的图像处理算法方便迭代和扩展，可以提供更加灵活的图像处理方式。

近年来，由于GPU在浮点计算和并行计算上拥有极其出色的性能，甚至超越了传统CPU的数十倍，使其被广泛使用在数据挖掘，深度学习等需要大量重复计算的工程之中。然而GPU的主要应用是在绘图和矩阵计算，而不是图像/视频的显示方面，若SoC系统中缺少DPU协助，可能导致处理一些显示数据如VR应用等装置时比较耗时和费力。实际运用中，对于SoC系统而言，真正决定主控显示输出能力的关键单元是DPU，它限定了分辨率、帧率、色彩数量、HDR、支持VR等功能，因此可见DPU对于SoC芯片的图像视频处理和显示性能中起到了关键的作用。而且GPU作为通用计算模块，与本申请实施例中采用的DPU相比在性能和功能方面都有所欠缺。专用DPU是应对显示处理需求而设计的，因此性能更强，且功能可定制化，在SoC系统中占用面积更小。

本申请实施例可以减轻CPU和GPU中图像视频处理和显示负载压力，有利于实现图像视频处理和显示的实时化和高速化，提高SoC芯片整体效能。相比传统显示方案实现了图像视频处理和显示等功能的高度集成，功能上更加丰富，并且在处理性能上可以满足高速实时的需求。

一个完整的图像视频处理和显示系统不但要具备图像视频信号的实时显示，且要求完成对图像信号的分析和处理算法(如图像编解码、图像增强等)以及图像处理结果的反馈控制。通常这些算法的运算量大，同时又要满足实时处理、显示的要求。本申请实施例可以实现存储、处理、显示及传输等功能，其中，数据加载单元可以通过采用FBC/FBD降低目标存储器的读写带宽占用，图像处理单元能实现多图层的处理和显示，协处理器可以提供了丰富的ISP算法，以及输出接口单元能够支持多种显示接口和芯片间数据交互。整个系统集成化程度较高，满足实时处理和显示的功能，且提高了系统的可靠性。

请结合上述实施例参阅图4，图4是本申请实施例提供的显示处理装置400的示意性框图。

示例性的，所述显示处理装置400可以为SoC芯片，或SoC芯片上的一部分电路。

如图4所示，显示处理装置400包括：

数据加载单元410，数据加载单元410用于获取目标图像；

图像处理单元420，图像处理单元420与数据加载单元410连接，用于对目标图像进行第一图像处理；

数据加载单元410还用于将目标图像传输给协处理器401以使协处理器401对目标图像进行第二图像处理后回传给图像处理单元420；

输出接口单元430，输出接口单元430与图像处理单元420连接，用于从图像处理单元420接收进行处理后的目标图像并输出。

在一些实施方式中，数据加载单元410、图像处理单元420、输出接口单元430可以是硬件电路。

在一些实施方式中，数据加载单元410还用于从目标存储器402获取压缩的图像数据，以及解压缩图像数据，得到目标图像。

在一些实施方式中，数据加载单元410还用于将进行处理后的目标图像进行压缩得到压缩的图像数据，以及将图像数据存储至目标存储器402。

在一些实施方式中，数据加载单元410通过图像处理单元420与协处理器401连接，数据加载单元410用于将获取的目标图像通过图像处理单元420传输给协处理器401。

在一些实施方式中，装置还包括数据传输单元440，数据加载单元410和/或图像处理单元420通过数据传输单元440与协处理器401连接。

在一些实施方式中，图像处理单元420还用于将数据加载单元410获取的目标图像或将第一图像处理后的目标图像传输给协处理器401。

在一些实施方式中，图像处理单元420还用于对协处理器401回传的目标图像进行第一图像处理。

在一些实施方式中，输出接口单元430通过图像处理单元420与协处理器401连接，用于接收进行第二图像处理后的目标图像。

在一些实施方式中，输出接口单元430还用于对从图像处理单元420接收的目标图像进行格式转换。

本申请实施例提供的显示处理装置的具体原理和实现方式均与前述实施例的图像处理方法类似，此处不再赘述。

请结合上述实施例参阅图5，图5是本申请实施例提供的显示处理芯片500的示意性框图。

如图5所示，显示处理芯片500包括：

数据加载电路510，数据加载电路510用于获取目标图像；

图像处理电路520，图像处理电路520与数据加载电路510连接，用于目标图像进行第一图像处理；

数据加载电路510能够与协处理器501连接，还用于将目标图像传输给协处理器501以使协处理器501对目标图像进行第二图像处理后回传给图像处理电路520；

输出接口电路530，与输出处理电路和图像处理电路520连接，用于从图像处理电路520接收进行处理后的目标图像并输出。

在一些实施方式中，数据加载电路510能够连接目标存储器502，还用于从目标存储器502获取压缩的图像数据，以及解压缩图像数据，得到目标图像。

在一些实施方式中，数据加载电路510还用于将进行处理后的目标图像进行压缩得到压缩的图像数据，以及将图像数据存储至目标存储器502。

在一些实施方式中，数据加载电路510通过图像处理电路520能够与协处理器501连接，数据加载电路510用于将获取的目标图像通过图像处理电路520传输给协处理器501。

在一些实施方式中，芯片还包括数据传输电路540，数据加载电路510和/或图像处理电路520通过数据传输电路540能够与协处理器501连接。

在一些实施方式中，图像处理电路520该用于将数据加载电路510获取的目标图像或将第一图像处理后的目标图像传输给协处理器501。

在一些实施方式中，图像处理电路520还用于对协处理器501回传的目标图像进行第一图像处理。

在一些实施方式中，输出接口电路530通过图像处理电路520能够与协处理器501连接，用于接收进行第二图像处理后的目标图像。

在一些实施方式中，输出接口电路530还用于对从图像处理电路520接收的目标图像进行格式转换。

本申请实施例提供的显示处理芯片的具体原理和实现方式均与前述实施例的图像处理方法类似，此处不再赘述。

请结合上述实施例参阅图6，图6是本申请实施例提供的显示处理装置600的示意性框图。该显示处理装置600包括显示处理单元601和连接显示处理单元601的协处理器602。

具体地，显示处理单元601用于实现前述的图像处理方法的步骤。

示例性的，显示处理单元601用于实现如下步骤：

获取目标图像；

对目标图像进行第一图像处理和/或将目标图像传输给协处理器以使协处理器对目标图像进行第二图像处理后回传给显示处理单元；

请结合上述实施例参阅图7，图7是本申请实施例提供的显示处理系统700的示意性框图。显示处理系统700包括显示处理单元701和连接显示处理单元701的协处理器702、存储器703、显示装置704。

具体地，显示处理单元701用于实现前述的图像处理方法的步骤。

示例性的，显示处理单元701用于实现如下步骤：

获取目标图像；

本申请实施例提供的显示处理系统的具体原理和实现方式均与前述实施例的图像处理方法类似，此处不再赘述。

请结合上述实施例参阅图8，图8是本申请实施例提供的可移动平台800的示意性框图。该可移动平台800包括显示处理单元801和连接显示处理单元801的协处理器802。

具体地，显示处理单元801用于实现前述的图像处理方法的步骤。

示例性的，显示处理单元801用于实现如下步骤：

获取目标图像；

本申请实施例提供的可移动平台的具体原理和实现方式均与前述实施例的图像处理方法类似，此处不再赘述。

请结合上述实施例参阅图9，图9是本申请实施例提供的终端设备900的示意性框图。终端设备900包括显示处理单元901和连接显示处理单元901的协处理器902、存储器903、显示装置904。

具体地，显示处理单元901用于实现前述的图像处理方法的步骤。

示例性的，显示处理单元901用于实现如下步骤：

获取目标图像；

本申请实施例提供的终端设备的具体原理和实现方式均与前述实施例的图像处理方法类似，此处不再赘述。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述计算机程序被处理器执行时使所述处理器实现上述实施例提供的图像处理方法的步骤。

其中，所述计算机可读存储介质可以是前述实施例所述的显示处理装置、显示处理系统、终端设备、可移动平台中任一项的内部存储单元，例如所述显示处理装置的硬盘或内存。所述计算机可读存储介质也可以是所述的显示处理装置、显示处理系统、终端设备、可移动平台中任一项的外部存储设备，例如所述显示处理装置上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

应当理解，在此本申请中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。

还应当理解，在本申请和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims

1.一种图像处理方法，其特征在于，用于显示处理装置中的显示处理单元，所述显示处理装置还包括连接所述显示处理单元的协处理器；

所述方法包括：

获取目标图像；

2.根据权利要求1所述的方法，其特征在于，所述获取目标图像，包括：

从所述目标存储器获取所述目标图像。

3.根据权利要求1或2所述的方法，其特征在于，所述获取目标图像，包括：

获取压缩的图像数据；

解压缩所述图像数据，得到所述目标图像。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述对所述目标图像进行第一图像处理和/或将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元，包括：

根据所述目标图像对应的处理指令，对所述目标图像进行第一图像处理和/或将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元。

5.根据权利要求4所述的方法，其特征在于，若所述处理指令包括第一图像处理需求，对所述目标图像进行第一图像处理。

6.根据权利要求4所述的方法，其特征在于，若所述处理指令包括第二图像处理需求，将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后回传给所述显示处理单元。

7.根据权利要求4所述的方法，其特征在于，若所述处理指令包括第一图像处理需求和第二图像处理需求，对所述目标图像进行第一图像处理，并将第一图像处理后的目标图像传输给所述协处理器，以使所述协处理器对所述第一图像处理后的目标图像进行第二图像处理后将第二图像处理后的目标图像回传给所述显示处理单元。

8.根据权利要求4所述的方法，其特征在于，若所述处理指令包括第一图像处理需求和第二图像处理需求，将所述目标图像传输给所述协处理器以使所述协处理器对所述目标图像进行第二图像处理后将第二图像处理后的目标图像回传给所述显示处理单元，以及对所述第二图像处理后的目标图像进行第一图像处理。

9.根据权利要求1-8中任一项所述的方法，其特征在于，所述方法还包括：

根据所述目标图像对应的直接输出指令，将获取的目标图像通过输出接口输出。

10.根据权利要求1-8中任一项所述的方法，其特征在于，所述协处理器用于执行预设的图像处理算法。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

增加、修改或删除所述协处理器的图像处理算法。

12.根据权利要求1-8中任一项所述的方法，其特征在于，所述第二图像处理包括背光调整处理、高动态范围处理、Gamma矫正、颜色矫正、确定峰值和/或直方图分布、增强处理、智能调参、超分辨率处理、图像修补、去抖动处理、随机噪声加入处理、增强现实处理中的至少一种。

13.根据权利要求1-12中任一项所述的方法，其特征在于，所述第一图像处理包括缩放、融合、旋转、翻转、色彩格式与色彩空间转换、左右视图联合处理中的至少一种。

14.根据权利要求1-12中任一项所述的方法，其特征在于，所述显示处理装置处理双摄像头装置采集的第一目标图像和第二目标图像；

其中，所述第一目标图像是所述双摄像头装置的其中一个摄像头采集的，所述第二目标图像是所述双摄像头装置的另一个摄像头采集的。

15.根据权利要求14所述的方法，其特征在于，所述对所述目标图像进行第一图像处理，包括：

将所述第一目标图像和所述第二目标图像融合，得到第一图像处理后的目标图像，所述第一图像处理后的目标图像的视角比所述第一目标图像的视角或所述第二目标图像的视角广。

16.根据权利要求1-12中任一项所述的方法，其特征在于，所述显示处理单元包括一个或多个图像处理单元。

17.根据权利要求16所述的方法，其特征在于，所述显示处理单元中不同的图像处理单元用于处理不同的图层，或者用于处理不同摄像头采集的目标图像。

18.根据权利要求1-17中任一项所述的方法，其特征在于，所述第二图像处理的计算量不低于所述第一图像处理的计算量。

19.根据权利要求1-18中任一项所述的方法，其特征在于，所述将处理后的目标图像存储至目标存储器，包括：

将处理后的目标图像进行压缩，得到压缩的图像数据；

将所述图像数据存储至所述目标存储器。

20.根据权利要求1-18中任一项所述的方法，其特征在于，所述通过输出接口输出处理后的目标图像，包括：

通过输出接口输出处理后的目标图像至显示装置；和/或

通过输出接口输出处理后的目标图像至与所述显示处理单元级联的芯片。

21.根据权利要求20所述的方法，其特征在于，所述通过输出接口输出处理后的目标图像至显示装置，包括：

通过输出接口输出处理后的第一目标图像和处理后的第二目标图像至显示装置。

22.一种显示处理装置，其特征在于，所述装置包括：

数据加载单元，所述数据加载单元用于获取目标图像；

23.根据权利要求22所述的装置，其特征在于，所述数据加载单元还用于从目标存储器获取压缩的图像数据，以及解压缩所述图像数据，得到所述目标图像。

24.根据权利要求23所述的装置，其特征在于，所述数据加载单元还用于将进行处理后的目标图像进行压缩得到压缩的图像数据，以及将所述图像数据存储至所述目标存储器。

25.根据权利要求22-24中任一项所述的装置，其特征在于，所述数据加载单元通过所述图像处理单元与所述协处理器连接，所述数据加载单元用于将获取的目标图像通过所述图像处理单元传输给所述协处理器。

26.根据权利要求22-25中任一项所述的装置，其特征在于，所述装置还包括数据传输单元，所述数据加载单元和/或所述图像处理单元通过所述数据传输单元与所述协处理器连接；

所述图像处理单元还用于将所述数据加载单元获取的目标图像或将第一图像处理后的目标图像传输给所述协处理器。

27.根据权利要求22-26中任一项所述的装置，其特征在于，所述图像处理单元还用于对所述协处理器回传的目标图像进行第一图像处理。

28.根据权利要求22-26中任一项所述的装置，其特征在于，所述输出接口单元通过所述图像处理单元与所述协处理器连接，用于接收进行第二图像处理后的目标图像。

29.根据权利要求22-28中任一项所述的装置，其特征在于，所述输出接口单元还用于对从所述图像处理单元接收的目标图像进行格式转换。

30.一种显示处理芯片，其特征在于，所述芯片包括

数据加载电路，所述数据加载电路用于获取目标图像；

31.根据权利要求30所述的芯片，其特征在于，所述数据加载电路能够连接目标存储器，还用于从所述目标存储器获取压缩的图像数据，以及解压缩所述图像数据，得到所述目标图像。

32.根据权利要求31所述的芯片，其特征在于，所述数据加载电路还用于将进行处理后的目标图像进行压缩得到压缩的图像数据，以及将所述图像数据存储至所述目标存储器。

33.根据权利要求30-32中任一项所述的芯片，其特征在于，所述数据加载电路通过所述图像处理电路能够与所述协处理器连接，所述数据加载电路用于将获取的目标图像通过所述图像处理电路传输给所述协处理器。

34.根据权利要求30-33中任一项所述的芯片，其特征在于，所述芯片还包括数据传输电路，所述数据加载电路和/或所述图像处理电路通过所述数据传输电路能够与所述协处理器连接；

所述图像处理电路该用于将所述数据加载电路获取的目标图像或将第一图像处理后的目标图像传输给所述协处理器。

35.根据权利要求30-34中任一项所述的芯片，其特征在于，所述图像处理电路还用于对所述协处理器回传的目标图像进行第一图像处理。

36.根据权利要求30-34中任一项所述的芯片，其特征在于，所述输出接口电路通过所述图像处理电路能够与所述协处理器连接，用于接收进行第二图像处理后的目标图像。

37.根据权利要求30-36中任一项所述的芯片，其特征在于，所述输出接口电路还用于对从所述图像处理电路接收的目标图像进行格式转换。

38.一种显示处理装置，其特征在于，所述显示处理装置包括显示处理单元和连接所述显示处理单元的协处理器；其中，所述显示处理单元用于实现如下步骤：

获取目标图像；

39.一种显示处理系统，其特征在于，所述显示处理系统包括显示处理单元和连接所述显示处理单元的协处理器、存储器、显示装置；其中，所述显示处理单元用于实现如下步骤：

获取目标图像；

40.一种终端设备，其特征在于，所述终端设备包括显示处理单元和连接所述显示处理单元的协处理器、存储器、显示装置；其中，所述显示处理单元用于实现如下步骤：

获取目标图像；

41.一种可移动平台，其特征在于，所述可移动平台包括显示处理单元和连接所述显示处理单元的协处理器；其中，所述显示处理单元用于实现如下步骤：

获取目标图像；

42.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-21中任一项所述的图像处理方法。