CN109754771A - 图像显示系统及显示方法 - Google Patents

Abstract

本发明提供了一种图像显示系统及显示方法，图像显示系统包括应用程序处理单元及显示单元，还包括图像处理单元，连接于应用程序处理单元与显示单元间；应用程序处理单元包括至少两个显示元，接收应用程序组发送的图像显示请求，生成包括显示分辨率的待显示图像；图像处理单元包括至少两个虚拟元，对应于一显示元并通过显示接口连接，接收待显示图像；至少两个处理元，与一虚拟元连接，对待显示图像作图像处理；混合元，与每一处理元连接，汇集待显示图像，发送待显示图像至显示单元；显示单元基于显示分辨率显示待显示图像。由此可实现在一台设备上多种分辨率显示的快速切换，且切换过程不需要对接口重新配置，提供给用户使用顺畅感。

Description

图像显示系统及显示方法

技术领域

本发明涉及智能控制领域，尤其涉及一种图像显示系统及显示方法。

背景技术

人们常用的移动终端、智能终端等作为常见的可显示图像的设备，其在显示图像时，通过采用固定的分辨率显示。例如，当此类设备的显示屏最高支持如2K、1080P的分辨率时，不论是在待机时、运行应用程序时都将以所支持的最高分辨率进行显示，主要是因为此类设备的GPU只能根据系统初始化时提供的framebuffer大小来渲染图形。一旦分辨率固定，则所有显示内容均将以该固定分辨率显示。

随着此类设备显示分辨率越来越大，屏幕的刷新率越来越高，对设备内的CPU和GPU的性能以及系统功耗、续航能力、散热设计等提出了非常大的挑战。不少设备生产厂商为解决上述问题，不少采用降低分辨率的技术，但该操作将明显降低画质，影响用户体验，且无法全部利用起可支持高分辨率的屏幕，造成性能溢出。

因此，需要一种新型的图像显示系统，在对具有不同显示要求的应用程序进行显示时，将切换至不同的分辨率以显示，在不影响显示画质体验的基础上解决高分辨率和刷新率带来的性能和功耗问题。

发明内容

为了克服上述技术缺陷，本发明的目的在于提供一种图像显示系统及显示方法，可实现在一台设备上多种分辨率显示的快速切换，且切换过程不需要对接口重新配置，提供给用户使用顺畅感。

本发明公开了一种图像显示系统，包括应用程序处理单元及显示单元，所述图像显示系统还包括：

图像处理单元，所述图像处理单元连接于所述应用程序处理单元与显示单元间；

所述应用程序处理单元包括：

至少两个显示元，每一显示元接收包含至少一个应用程序的应用程序组发送的图像显示请求，以生成包括显示分辨率的待显示图像，且不同待显示图像的显示分辨率不同；

所述图像处理单元包括：

至少两个虚拟元，每一所述虚拟元对应于一显示元并通过显示接口连接，以接收自所述显示元发送的待显示图像；

至少两个处理元，每一所述处理元与一虚拟元连接，对所述待显示图像作图像处理；

混合元，与每一所述处理元连接，汇集各处理元图像处理后的待显示图像，且所述混合元通过显示接口与所述显示单元连接，以发送所述待显示图像至所述显示单元；

所述显示单元基于所述显示分辨率显示所述待显示图像。

优选地，所述应用程序处理单元包括：

应用程序控制元，接收应用程序生成的包含显示分辨率的图像显示请求，并将每一所述图像显示请求分发至所述显示元；

每一所述显示元设有预置分辨率，所述应用程序控制元将所述图像显示请求发送至所述显示分辨率与所述预置分辨率匹配的显示元。

优选地，所述虚拟元设有预设分辨率，且通过显示接口互相连接的显示元和虚拟元内的预置分辨率与预设分辨率匹配，形成所述应用程序控制元、一显示元、一虚拟元、一处理元的同一分辨率显示队列。

优选地，所述应用程序控制元包括阈值分辨率；

当所述显示分辨率小于所述阈值分辨率时，所述应用程序控制元将所述图像显示请求分发至与所述显示分辨率向上接近的预置分辨率的显示元。

优选地，所述阈值分辨率为2K；

所述预置分辨率和预设分辨率包括：8K、4K、2K、FHD、720P。

优选地，所述处理元对所述待显示图像作缩放、增强、混合处理。

优选地，所述图像显示系统为智能终端；

所述图像处理单元为所述智能终端的图像处理芯片；

所述显示单元为所述智能终端的显示屏。

优选地，所述显示单元预设有目标分辨率；

所述混合元调节每一所述显示分辨率以匹配所述目标分辨率。

本发明还公开了一种图像显示方法，包括以下步骤：

S100：应用程序处理单元的每一显示元接收包含至少一个应用程序的应用程序组发送的图像显示请求，以生成包括显示分辨率的待显示图像，且不同待显示图像的显示分辨率不同；

S200：图像处理单元的每一虚拟元通过显示接口与一显示元连接，以接收自所述显示元发送的待显示图像；

S300：图像处理单元的处理元与一虚拟元连接，对所述待显示图像作图像处理；

S400：图像处理单元的混合元，与每一所述处理元连接，汇集各处理元图像处理后的待显示图像；

S500：所述混合元通过显示接口与显示单元连接，以发送所述待显示图像至所述显示单元；

S600：所述显示单元基于所述显示分辨率显示所述待显示图像。

采用了上述技术方案后，与现有技术相比，具有以下有益效果：

1.图像显示系统作图像显示时，可根据不同显示分辨率要求的应用程序间的切换，实时快速地切换显示分辨率；

2.显示分辨率的切换过程无卡顿，且无须用户对接口时序重新配置；

3.多分辨率的共存可使得用作图像显示系统的智能终端应用性能最高，功耗最低。

附图说明

图1为符合本发明一优选实施例中图像显示系统的结构示意图；

图2为符合本发明一优选实施例中图像显示方法的流程示意图。

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

参阅图1，为符合本发明一优选实施例中图像显示系统的结构示意图，该实施例中，图像显示系统包括三个主要部分，应用程序处理单元(AP)、图像处理单元(IPU)及显示单元。应用程序处理单元(AP)，为执行操作系统、用户界面和应用程序等的单元，例如芯片的CPU，或CPU内的功能模块等。图像处理单元(IPU)通过如mipi显示接口连接在应用程序处理单元(AP)和显示单元间，其目标是提供从图像处理单元(IPU)图像输入到显示单元的端到端的数据流信号处理的全面支持。显示单元，如LED、LCD等，自图像处理单元(IPU)接收图像后显示，最终形成映射至用户视觉的图像。

为实现在一图像显示系统内切换不同分辨率显示的效果，应用程序处理单元(AP)包括：

-至少两个显示元

应用程序处理单元(AP)内设置有多个显示元(display)，可以是在应用程序处理单元(AP)内的与外接接口部分连接的元件，也可以是虚拟为显示功能的连接元件。如外接接口为mipi接口时，显示元即为应用程序处理单元(AP)内与mipi接口直接相连的元件，实际场景内制造时，可直接程序化地将mipi接口分割为多个独立接口，每一独立接口与应用程序处理单元(AP)相接部分即为显示元。

显示元根据应用程序运行时预先发送的图像显示请求，生成一待显示图像。为实现不同显示分辨率的切换功能，每一个显示元将具有相同分辨率要求的应用程序归为一组，形成应用程序组，当应用程序组内的一个或多个应用程序发出图像显示请求后，也将获取该应用程序的分辨率要求，使得待显示图像除包括图像数据外，也包括对应于分辨率要求的显示分辨率。

每一显示元与其他显示元呈相互独立的通道，即自某一显示元传送的图像将不会由其他显示元并行传输。通过显示元的多通道、多队列设置，可差异化不同显示分辨率需求的应用程序的现实要求。也就是说，当不同应用程序具有不同显示分辨率的显示需求时，将通过不同的显示元作为传输载体，每一个显示元显示具有相同显示分辨率对应的待显示图像，从而将同样需求的图像显示归为一类，且同类以同一个显示元为传输通道，不同类则将经过不同的显示元作传输，一方面可差异化管理，另一方面可独立出不同的显示需求，实现不同显示分辨率的应用程序显示。

对应于应用程序处理单元(AP)的上述配置，图像处理单元(IPU)包括：

-虚拟元

通常而言，图像显示系统为显示图像，应用程序处理单元(AP)将与显示单元直连，传输图像数据至显示单元供显示。而在该实施例中图像处理单元(IPU)的增加，使得应用程序处理单元(AP)与显示单元直连关系破坏。因此，为控制应用程序处理单元(AP)正常工作，图像处理单元(IPU)内的虚拟元将虚拟为显示单元，通过显示接口与应用程序处理单元(AP)的显示元连接，使得显示元可通过显示接口正常传输待显示图像至图像处理单元(IPU)。针对应用程序处理单元(AP)内多显示元的设置，图像处理单元(IPU)内也设有多个虚拟元，且虚拟元与显示元呈对应关系，即虚拟元的数量与显示元的数量相同，一个虚拟元与一个显示元形成一个待显示图像的传输通道。

鉴于显示元内针对不同应用程序的分辨率需求对不同显示分辨率的待显示图像作差异化分发，虚拟元也包括有自身的分辨率传输配置，且可以理解的是，一条传输通道上的显示元与虚拟元具有同一个显示分辨率。

-处理元

传输通道的下游，图像处理单元内设置的为对待显示图像进行处理的处理元。处理元的设置，使得在应用程序根据用户的操作进行显示时，将进一步丰富显示的方式，例如可利用处理元对待显示图像作整体或局部的缩放、整体或局部的图像增强(美化、添加滤镜、高光、对比度调整等)或多待显示图像的混合(分屏)显示等。

可以理解的是，对于具有不同显示分辨率的待显示图像而言，各自的处理标准和处理方式也各不相同。因此，处理元同样设置为多个，在每一待显示图像的图像数据传输通道上设置有一，即每一虚拟元均连接有一处理元。

-混合元

混合元与所有处理元连接，汇集各处理元图像处理后的待显示图像。混合元的设置，可简化图像显示系统的负载，将所有待显示图像归集后便可统一传输。同样可以理解的是，根据不同工况需求，混合元的数量可以是一个或多个，当仅具有一个混合元时，该混合元与所有处理元连接；而当混合元有多个时，每一混合元可连接有一个或多个处理元。

具有上述配置的图像处理单元(IPU)后，显示单元通过显示接口与混合元连接，接收待显示图像。由于应用程序处理单元(AP)和图像处理单元(IPU)已建立有多条图像数据传输通道，每一图像数据传输通道所传输的为具有同一显示分辨率的应用程序所需要显示的显示内容，则应用程序切换时，也将通过不同的图像数据传输通道发送图像数据至显示单元供显示。举例来说，具有第一显示分辨率的应用程序在前台运行时，则通过支持相同分辨率的显示元、虚拟元、处理元形成的传输通道将图像数据传输至显示单元；当具有第二显示分辨率的应用程序被切换到前台运行时，则将切换至支持第二显示分辨率的显示元、虚拟元、处理元形成的另一传输通道传输该应用程序的显示内容。通过显示元、虚拟元、处理元的切换，实现不同显示分辨率在一个显示单元上的显示，且由于显示接口均已配置完毕，在切换时，无需考虑时序问题，可无缝切换。

在一优选实施例中，应用程序处理单元(AP)进一步包括有应用程序控制元，当应用程序生成图像显示请求时，应用程序控制元将分发图像显示请求至相应的图像数据传输通道，以在不同显示元和虚拟元上渲染应用程序。具体地，应用程序控制元在接收图像显示请求时，也将获取该应用程序显示图像时所需的显示分辨率。该所需的显示分辨率可以是显示该应用程序的内容时的习惯分辨率(经验所得)、其他用户运行应用程序时通常采用的分辨率(分享所得)、应用程序自身配置文件下支持的最高分辨率等。相应地，在每一显示元内，设有预置分辨率，该预置分辨率表示此显示元内支持的或传输的图像数据的分辨率，应用程序控制元将预先获取每一显示元的预置分辨率，在采有图像显示请求内的显示分辨率后，将该显示分辨率于显示元内遍历或查找，以确定与显示分辨率匹配的预置分辨率的显示元。也就是说，在显示分辨率与预置分辨率匹配后，应用程序控制元便控制图像数据传输至相应的显示元，以保证性能，例如防止支持高分辨率的图像数据通道处理和传输低分辨率的图像数据造成的负载冗余及支持低分辨率的图像数据通道处理和传输高分辨率的图像数据造成的性能缺失等问题，保证显示质量和性能。

更进一步优选或可选地，虚拟元设有预设分辨率，虚拟元与显示元通过显示接口连接时，可通过比较预设分辨率和预置分辨率是否匹配，以确定虚拟元与显示元的对应关系。且通过对显示接口的预先配置，应用程序的显示内容切换过程中不需要对显示接口的时序进行重新配置，应用程序的切换过程中，显示单元的显示也流程切换。最终通过应用程序控制元、具有同一分辨率的显示元、虚拟元、处理元所形成的分辨率显示队列作图像数据的传输，以保证高分辨率显示要求的应用程序也将以支持高分辨率的显示队列为数据载体传输，反之亦然。

考虑到应用程序丰富繁杂，若一些版本较老或显示内容要求较低的应用程序所支持的分辨率较低，甚至在应用程序处理单元(AP)和图像处理单元(IPU)内所建立的显示队列不具有对应的分辨率时，将作向上寻找的处理。具体地，在应用程序控制元内设有阈值分辨率，当应用程序控制元在接收到图像显示请求后，获取到切换至的应用程序需求的显示分辨率小于阈值分辨率时，将寻找与显示分辨率最为接近的上一级或上多级分辨率的预置分辨率，以及与该寻找到的预置分辨率对应的显示元，后应用程序控制元将图像分发至该显示元以显示。例如，一应用程序的显示分辨率为480P，则应用程序控制元在未匹配到支持480P为预置分辨率的显示元时，将寻找支持720P为预置分辨率的显示元，若仍然无，则继续向上级寻找，直至有显示元匹配为止。通过向上匹配的方式，首先保证图像可正常显示(通常支持高分辨率的显示元向下兼容低分辨率)，其次利用支持高分辨率的显示队列的强性能，可保证显示质量和系统性能。因此，在某些实施例中，阈值分辨率可以是2K，预置分辨率和预设分辨率包括：8K、4K、2K、FHD、720P等。可以理解的是，当硬件本身支持更高的分辨率，如16K、32K等，可相应地新增和建立支持该高分辨率的显示元、虚拟元和处理元的显示队列组合，以丰富图像显示系统的显示方式，适配性更强。

在一优选实施例中，图像显示系统整体基于智能终端建立，例如应用程序处理单元(AP)为智能终端内的CPU或集成在CPU内的模块，图像处理单元(IPU)为与CPU连接的图像处理芯片，或是集成在CPU内的图像处理芯片，显示单元为智能终端的显示屏，显示接口基于智能终端的主板的各电连接线建立。因此，应用程序处理单元(AP)和图像处理单元(IPU)的连接并不局限于使用连接线连接，其他如集成、熔焊在一个主板上等方式均属于通过显示接口连接的方式内。

进一步优选或可选实施例中，由于每一智能终端的显示单元所预置的分辨率不同，而应用程序由并非全部都优化至具有所有智能终端均可完美显示的普适性。因此当显示分辨率与显示单元的分辨率不同时，将作如下处理。具体地，混合元与显示单元连接，预先获取显示单元自身具备的目标分辨率，如像素级、显示比例(4:3或16:9等)，并在接收到待显示图像时，一并获取每一待显示图像的显示分辨率。混合元此时将显示分辨率与目标分辨率作比较，当显示分辨率与目标分辨率相同，或是某一显示方向(如长度或宽度方向)上的分辨率相同，且另一显示方向上，显示分辨率未超过目标分辨率时，将不会对显示分辨率作调节，将其传输至显示单元后将直接显示；当显示分辨率与目标分辨率在每一显示方向上均不同时，将优先对显示分辨率作每一显示方向上的等比例缩放，直至显示分辨率与目标分辨率相同，或是某一显示方向上的分辨率相同，另一显示方向上显示分辨率未超过目标分辨率。可以理解的是，对于显示分辨率的调节，也可以是显示方向上的非等比例调节，直接与目标分辨率吻合。而较为优选地，是在保留显示分辨率的显示比例上，作靠近于目标分辨率的优化。

可以理解的是，本发明中显示元、虚拟元、处理元中的“元”仅为对应用程序处理单元、图像处理单元的下位描述，任何符合上文所述关系的如“设备”与“器件”、“模块”与“单元”等均仍属于本发明的保护范围内。

参阅图2，本发明又一实施例中，可基于应用程序处理单元(AP)、图像处理单元(IPU)和显示单元实现新型的图像显示方法。该图像显示方法包括以下步骤：S100：应用程序处理单元的每一显示元接收包含至少一个应用程序的应用程序组发送的图像显示请求，以生成包括显示分辨率的待显示图像；S200：图像处理单元的每一虚拟元通过显示接口与一显示元连接，以接收自显示元发送的待显示图像；S300：图像处理单元的处理元与一虚拟元连接，对待显示图像作图像处理；S400：图像处理单元的混合元，与每一处理元连接，汇集各处理元图像处理后的待显示图像；S500：混合元通过显示接口与:显示单元连接，以发送待显示图像至显示单元；S600：显示单元基于显示分辨率显示待显示图像。

智能终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的智能终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是智能终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。

Claims (9)

1.一种图像显示系统，包括应用程序处理单元及显示单元，其特征在于，

所述图像显示系统还包括：

图像处理单元，所述图像处理单元连接于所述应用程序处理单元与显示单元间；

所述应用程序处理单元包括：

至少两个显示元，每一显示元接收包含至少一个应用程序的应用程序组发送的图像显示请求，以生成包括显示分辨率的待显示图像，且不同待显示图像的显示分辨率不同；

所述图像处理单元包括：

至少两个虚拟元，每一所述虚拟元对应于一显示元并通过显示接口连接，以接收自所述显示元发送的待显示图像；

至少两个处理元，每一所述处理元与一虚拟元连接，对所述待显示图像作图像处理；

混合元，与每一所述处理元连接，汇集各处理元图像处理后的待显示图像，且所述混合元通过显示接口与所述显示单元连接，以发送所述待显示图像至所述显示单元；

所述显示单元基于所述显示分辨率显示所述待显示图像。

2.如权利要求1所述的图像显示系统，其特征在于，

所述应用程序处理单元包括：

应用程序控制元，接收应用程序生成的包含显示分辨率的图像显示请求，并将每一所述图像显示请求分发至所述显示元；

每一所述显示元设有预置分辨率，所述应用程序控制元将所述图像显示请求发送至所述显示分辨率与所述预置分辨率匹配的显示元。

3.如权利要求2所述的图像显示系统，其特征在于，

所述虚拟元设有预设分辨率，且通过显示接口互相连接的显示元和虚拟元内的预置分辨率与预设分辨率匹配，形成所述应用程序控制元、一显示元、一虚拟元、一处理元的同一分辨率显示队列。

4.如权利要求3所述的图像显示系统，其特征在于，

所述应用程序控制元包括阈值分辨率；

当所述显示分辨率小于所述阈值分辨率时，所述应用程序控制元将所述图像显示请求分发至与所述显示分辨率向上接近的预置分辨率的显示元。

5.如权利要求4所述的图像显示系统，其特征在于，

所述阈值分辨率为2K；

所述预置分辨率和预设分辨率包括：8K、4K、2K、FHD、720P。

6.如权利要求1所述的图像显示系统，其特征在于，

所述处理元对所述待显示图像作缩放、增强、混合处理。

7.如权利要求1所述的图像显示系统，其特征在于，

所述图像显示系统为智能终端；

所述图像处理单元为所述智能终端的图像处理芯片；

所述显示单元为所述智能终端的显示屏。

8.如权利要求1所述的图像显示系统，其特征在于，

所述显示单元预设有目标分辨率；

所述混合元调节每一所述显示分辨率以匹配所述目标分辨率。

9.一种图像显示方法，其特征在于，包括以下步骤：

S100：应用程序处理单元的每一显示元接收包含至少一个应用程序的应用程序组发送的图像显示请求，以生成包括显示分辨率的待显示图像，且不同待显示图像的显示分辨率不同；

S200：图像处理单元的每一虚拟元通过显示接口与一显示元连接，以接收自所述显示元发送的待显示图像；

S300：图像处理单元的处理元与一虚拟元连接，对所述待显示图像作图像处理；

S400：图像处理单元的混合元，与每一所述处理元连接，汇集各处理元图像处理后的待显示图像；

S500：所述混合元通过显示接口与显示单元连接，以发送所述待显示图像至所述显示单元；

S600：所述显示单元基于所述显示分辨率显示所述待显示图像。