CN117130571A - 基于多核异构系统的显示方法、设备、芯片、存储介质 - Google Patents

Abstract

本申请公开了一种基于多核异构系统的显示方法和设备、芯片、电子设备及存储介质，涉及显示技术领域，其中所述方法包括：采用多核异构系统的核间通信机制，获得M个操作系统的显示请求；响应各显示请求，基于各操作系统的待显示数据的属性，为各操作系统分配显示层，各操作系统的显示层对应各操作系统的待显示数据；对各操作系统的待显示数据进行融合，得到目标融合数据；将目标融合数据显示在N个操作系统对应的同一显示屏上。能够实现多操作系统的待显示数据在同一显示屏上的成功显示。

Description

基于多核异构系统的显示方法、设备、芯片、存储介质

技术领域

本申请涉及显示技术领域，尤其涉及一种基于多核异构系统的显示方法和设备、芯片、电子设备及存储介质。

背景技术

相关技术中，针对包括两个或两个以上的系统的设备，在各系统需要将自身需要显示的信息显示到同一块显示屏时，在硬件层面上，需要为各系统配置相应的显示处理器(DP，Display Processor)，经过各系统的显示处理器对各自需要显示的信息的处理、以及同一显示控制器(DC，Display controller)对经各DP处理后的数据的处理，可将各需要显示的信息显示到同一块显示屏上。

前述方案中，DP的数量需要与系统的数量保持一致。考虑到硬件成本以及实现难易度的问题，现有方案无法适合系统的数量较多(如3个或5个)的情形。

发明内容

本申请提供了一种基于多核异构系统的显示方法和设备、芯片、电子设备及存储介质，以至少解决现有技术中存在的以上技术问题。

根据本申请的第一方面，提供了一种基于多核异构系统的显示方法，应用于多核异构系统，所述多核异构系统包括多硬件域；所述多硬件域中的各硬件域由所述多核异构系统中多个处理器核与各处理核连接的硬件资源构成；所述各硬件域中的每个硬件域对应一操作系统；所述方法包括：

采用多核异构系统的核间通信机制，获得M个操作系统的显示请求，M为大于或等于2的正整数；

响应各显示请求，基于各操作系统的待显示数据的属性，为各操作系统分配显示层，各操作系统的显示层对应各操作系统的待显示数据；

对各操作系统的待显示数据进行融合，得到目标融合数据；

将目标融合数据显示在N个操作系统对应的同一显示屏上；其中，N为大于或等于M的正整数、且小于或等于所述多核异构系统中硬件域的数量。

在一可实施方式中，所述基于各操作系统的待显示数据的属性，为各操作系统分配显示层，包括：

基于各显示层的属性，为各操作系统确定与各操作系统的待显示数据的属性相匹配的各显示层；

将与各操作系统的待显示数据的属性相匹配的各显示层，作为为各操作系统分配的显示层。

在一可实施方式中，所述方法还包括：

如果在各显示层中，未存在与一操作系统的待显示数据的属性相匹配的显示层，则将所述操作系统的待显示数据进行处理，以得到所述待显示数据的目标属性；

将各显示层中与所述目标属性具有相匹配属性的显示层，作为所述操作系统的显示层。在一可实施方式中，所述方法还包括：

在显示请求的数量多于多核异构系统中显示层的数量时，

在为各操作系统分配的显示层中，至少部分操作系统分配至同一显示层；其中，所述至少部分操作系统中的每个操作系统的待显示数据的属性与所述同一显示层的属性相匹配。

在一可实施方式中，所述对各操作系统的待显示数据进行融合，得到目标融合数据，包括：

将所述至少部分操作系统的待显示数据进行融合，得到第一融合数据；

将第一融合数据和所述M个操作系统中除所述至少部分操作系统之外的其他各操作系统的待检测数据进行融合，得到目标融合数据。

在一可实施方式中，所述对各操作系统的待显示数据进行融合，得到目标融合数据，包括：

按照融合机制，对各操作系统的待显示数据进行融合，得到目标融合数据；

其中，所述融合机制至少用于指示各操作系统的待显示数据在所述同一显示屏上的各自显示位置和/或显示层次。

根据本申请的第二方面，提供了一种基于多核异构系统的显示设备，应用于多核异构系统，所述多核异构系统包括多硬件域；所述多硬件域中的各硬件域由所述多核异构系统中多个处理器核与各处理核连接的硬件资源构成；所述各硬件域中的每个硬件域对应一操作系统；所述设备包括：

获得系统，用于采用多核异构系统的核间通信机制，获得M个操作系统的显示请求，M为大于或等于2的正整数；

分配系统，用于响应各显示请求，基于各操作系统的待显示数据的属性，为各操作系统分配显示层，各操作系统的显示层对应各操作系统的待显示数据；融合系统，用于对各操作系统的待显示数据进行融合，得到目标融合数据；

显示系统，用于将目标融合数据显示在N个操作系统对应的同一显示屏上；其中，N为大于或等于M的正整数、且小于或等于所述多核异构系统中硬件域的数量。

根据本申请的第三方面，提供了一种芯片，所述芯片包括前述的基于多核异构系统的显示设备。

根据本申请的第四方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请所述的方法。

根据本申请的第五方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请所述的方法。

本申请的基于多核异构系统的显示方法、相关设备、芯片及存储介质，其中所述方法包括：采用多核异构系统的核间通信机制，获得M个操作系统的显示请求；响应各显示请求，基于各操作系统的待显示数据的属性，为各操作系统分配显示层，各操作系统的显示层对应各操作系统的待显示数据；对各操作系统的待显示数据进行融合，得到目标融合数据；将目标融合数据显示在N个操作系统对应的同一显示屏上。适合多操作系统的情形，在多个操作系统都有显示需求的情况下，可实现多操作系统的待显示数据在同一显示屏上的成功显示。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，其中：

在附图中，相同或对应的标号表示相同或对应的部分。

图1示出了本申请实施例中多核异构系统的示意图一；

图2示出了本申请实施例中多核异构系统的示意图二；

图3示出了本申请实施例中基于多核异构系统的显示方法的实现流程示意图一；

图4示出了本申请实施例中主从架构示意图；

图5示出了本申请实施例中主从架构中slave端的构成示意图；

图6示出了本申请实施例中主从架构中host端的构成示意图；

图7示出了本申请实施例中主从架构中host端的处理流程示意图；

图8示出了本申请实施例中基于多核异构系统的显示设备的组成结构示意图；

图9示出了本申请实施例中电子设备的组成结构示意图。

具体实施方式

为使本申请的目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

应理解，在本申请的各种实施例中，各实施过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本申请提供一种基于多核异构系统的显示方法，应用于多核异构系统。所述多核异构系统包括多硬件域；所述多硬件域中的各硬件域由所述多核异构系统中多个处理器核与各处理核连接的硬件资源构成；所述各硬件域中的每个硬件域对应一操作系统。

下面对本申请涉及的多核异构系统进行进一步说明。

本申请实施例中，多核异构系统包括多核异构芯片。多核异构芯片，是指在单颗芯片内集成有两个或多个处理器核的芯片。如，集成有两个或多个处理器核的单颗SOC(片上系统)芯片。多核异构芯片中的每个处理器核可作为一个独立处理器，可独立运行每个处理器核需要运行的指令，实现每个处理器核需要实现的任务。可以理解，多核异构芯片作为一种具有多核处理器的芯片。与单核处理器芯片相比，各核任务的独立运行，可加快运行速度，提高多任务执行能力，从而带来性能高的优势。且多核处理器被设置在同一芯片上，具有成本低的优势。

如图1所示，所述多核异构芯片包括多个处理器核，所述多个处理器核包括第一处理器核、第二处理器核…第L处理器核。L为大于等于2的正整数，根据实际情况而灵活设定。在多个处理器核中，每个处理器核相当于是一个计算引擎，其类型和/或数量可不同。其中，处理器核的类型包括计算能力强的核和实时性强(计算快)的核。在实际应用中，多个处理器核可以是不同类型的处理器核，由此，多核异构芯片是由多个架构不同的处理器核构成的。处理器核的类型和/或数量的不同，可在一定程度上实现处理器核之间的架构不同。

示例性地，由于嵌入式处理器(ARM)具有成本低和低功耗的优势，数字信号处理器(DSP)具有数字专用处理的优势，可编程逻辑阵列(FPGA)具有高速处理的优势，每种类型的处理器作为一种处理器核使用，被设计在同一SOC芯片上，即可得到一种多核异构的SOC芯片。

每个处理器核与各处理器核连接的硬件资源，如时钟控制器、中断控制器、内存空间等构成每个硬件域。即，多核异构芯片包括多个硬件域。在多核异构芯片中，每个硬件域是一组硬件资源的集合。不同硬件域之间是互相隔离的，这种隔离可视为一种物理上的隔离，如同一硬件域内的硬件设计在多核异构芯片的相近位置，不同硬件域内的硬件设计在多核异构芯片的不同位置，以物理位置上实现隔离。当然，本申请实施例中的不同硬件域之间的互相隔离可以不是物理上的隔离，而是逻辑上的隔离。这种逻辑上的隔离可体现在：同一硬件域内的硬件资源需要使用同一通信标识进行本硬件域内的访问，即，同一硬件域内的硬件资源之间可基于本硬件域内的通信标识进行互相访问。不同硬件域内的硬件资源使用不同的通信标识进行访问。

在实际应用中，优选不同硬件域之间的互相隔离为一种逻辑隔离，如此至少可节省芯片空间。

如图2所示，在多核异构芯片中，为每个硬件域配置一操作系统。如，为第一硬件域配置第一操作系统，为第二硬件域配置第二操作系统，为第P硬件域配置第P个操作系统等。其中，P为大于或等于2的正整数。为不同硬件域配置的操作系统的可以为相同系统，可以为不同，优选为不同系统。如，为第一硬件域配置的第一操作系统为Linux系统，为第二硬件域配置的第二操作系统为安卓系统。其中，由于Linux系统具有安全性高的特点、安卓系统具有轻快性的特点，可将多核异构系统中对安全性要求高的任务交由Linux去执行，将多核异构系统中对需要轻快运行的任务交由安卓系统去执行，因此，多核异构系统中可以采用不同硬件域上的不同操作系统实现各任务的高效执行。

为实现对多核异构系统的应用，本申请实施例中，将各硬件域对应的操作系统视为各应用域的操作系统。通过各应用域，实现对多核异构系统的应用，如各操作系统需要显示的数据在同一块显示屏上的显示的应用。

在一些实施例中，为实现更好地应用，可从各应用域中选择出一个或多个应用域作为管理域使用。如，从各应用域中选择出一个应用域作为管理域来使用。如果将管理域和应用域作为一种域来使用，那么本申请中的应用域是用于应用的域，管理域是用于管理应用域的域。

本申请实施例中，硬件域之间也存在有通信需求，在不同硬件域之间存在通信需求时，可采用核间通信机制实现硬件域之间的通信。其中，多核异构系统中的核间通信机制包括适于指令传输的mailbox机制、适于数据共享的内存共享机制。单颗SOC芯片内的核间通信，可保证数据在同一芯片内传输，保证了数据安全性和传输快速性。

通常情况下，不同硬件域内的硬件资源是存在差异的，这种差异可能体现在硬件类型、硬件型号、硬件数量等方面的差异。这种差异性，在一定程度上可体现多核异构系统的异构性。从前面的介绍可知，本申请中的多核异构是硬件层面上的概念，与软件层面无关。

如图1所示，本申请实施例中的多核异构芯片还包括各类型控制单元。各类型控制单元包括但不限定于：电源控制单元、非易失性存储控制单元、易失性存储控制单元等。其中，电源控制单元，用于控制电源单元，以实现对多核异构芯片的电源的供给。非易失性存储控制单元，用于控制多核异构芯片中的至少一处理器核对非易失性存储单元的访问。易失性存储控制单元，用于控制多核异构芯片中的至少一处理器核对易失性存储单元的访问。

其中，电源单元、非易失性存储单元、易失性存储单元作为多核异构芯片之外的硬件资源，可在多核异构芯片有需要的情况下被调用。除此之外，音频输出单元(如喇叭或扬声器)、音频采集单元(如麦克风)、视频输出单元(如显示屏)等硬件作为多核异构芯片之外的硬件资源，也可在多核异构芯片有需要的情况下被调用，以实现音频、视频的正常输出。

本申请实施例中的多核异构系统包括多核异构芯片和为不同硬件域配置的操作系统。本申请实施例的显示方法是在多核异构系统上实现的，进一步的，是在多核异构系统中的管理域上实现的。

本申请实施例中，将操作系统进行主从架构(host-slave)的划分，从多个操作系统中选定一个操作系统作为主系统(host端)，其余操作系统作为从系统(slave端)。基于主从系统之间的核间通信机制，各从系统将自身要显示的数据和显示请求传输至主系统。主系统按照本申请实施例的(基于多核异构系统的)显示方法进行处理，以实现适合多系统的显示方法。

图3示出了本申请实施例中基于多核异构系统的显示方法的实现流程示意图一。在如图3所示的方案中，S301～S304的执行主体可以为主从架构中的host端。M个操作系统可以为主从架构中的slave端。

如图3所示，所述方法包括：

S301：采用多核异构系统的核间通信机制，获得M个操作系统的显示请求，M为大于或等于2的正整数。

核间通信机制是多核异构系统中的各处理器核或各处理器核对应的各操作系统之间进行数据通信采用的机制。核间通信机制包括mailbox机制和共享内存机制。其中，mailbox机制适合指令传输。如，本申请中的M个操作系统中的各操作系统的显示请求，可通过mailbox机制从slave端传输至host端。内存共享机制适合数据的传输或共享。如，本申请中的M个操作系统中的各操作系统可将自身的待显示数据存储到host端和slave端约定的共享内存中。host端响应显示请求，基于内存共享机制，从约定的共享内存中读取出各操作系统的待显示数据。

M个操作系统可以是多核异构系统中的全部操作系统，或部分操作系统。各操作系统的待显示数据可以是文字、图像、视频等。在存在有显示需求的情况下，操作系统产生显示请求，并向host端发起显示请求。各slave端通过mailbox机制将各自的显示请求传输至host端。

S302：响应各显示请求，基于各操作系统的待显示数据的属性，为各操作系统分配显示层，各操作系统的显示层对应各操作系统的待显示数据。

本步骤中，响应M个操作系统中各(操作)系统的显示请求，基于内存共享机制读取到各系统的待显示数据，对各系统的待显示数据的属性进行分析。以待显示数据是图像为例，待显示数据的属性可以是格式类型，分析待显示数据是RGB(红绿蓝)格式类型还是YUV(明亮度-色度)格式类型。

本申请中，显示层的数量为多个，基于各操作系统的待显示数据的属性，为各操作系统分配与之对应的显示层(Layer)。

S303：对各操作系统的待显示数据进行融合，得到目标融合数据。

在实施时，可预先设置融合机制。融合机制可用于指示各操作系统的待显示数据在同一显示屏上的各自显示位置。如，操作系统1的待显示数据显示在显示屏的上1/3区域。操作系统2的待显示数据显示在显示屏的中间1/3区域。操作系统3的待显示数据显示在显示屏的下1/3区域。和/或，融合机制用于指示各操作系统的待显示数据在同一显示屏上的显示层次。如，操作系统1的待显示数据显示在最上层、操作系统2的待显示数据部分显示在最下层、操作系统3的待显示数据部分显示在最上层和最下层之间的中间层，以得到用户能看到不同层显示不同待显示数据的视觉效果。

在实施时，可按照融合机制，对各操作系统的待显示数据进行融合，得到目标融合数据。与各待显示数据相比而言，目标融合数据的显示内容是各待显示数据的集合。为了在同一显示屏上对全部待显示数据进行显示，需要融合机制规定出各待显示数据在同一显示屏上的显示位置和/或显示层次。目标融合数据可看成为是按照各自显示位置和/或显示层次，对各待显示数据进行集合，而形成的数据。

S304：将目标融合数据显示在N个操作系统对应的同一显示屏上；其中，N为大于或等于M的正整数、且小于或等于多核异构系统中硬件域的数量。

本申请中，应用在多核异构系统中的显示屏的数量可以为一个，还可以为两个或两个以上。如果显示屏的数量为一个时，M个操作系统的待显示数据均需显示在该显示屏上。如果显示屏的数量为两个或两个以上，则部分操作系统可对应同一显示屏，如，N个操作系统对应同一显示屏。在实际应用中，针对需要显示在同一显示屏的N个操作系统，存在有显示需求的操作系统的数量可能是这N个操作系统中的全部操作系统(M＝N)，还可能是N个操作系统中的部分操作系统(M＜N)。M个操作系统向host端发起显示请求。

本步骤中，将对各待显示数据经过融合得到的目标融合数据，显示(在发起显示请求的)各操作系统所对应的同一显示屏上。可以理解，在显示屏上的目标融合数据，是通过融合机制规定出的各待显示数据的显示位置和/或显示层次，对各待显示数据进行的显示。如此，实现多个操作系统的待显示数据在同一显示屏上的显示。

S301～S304中，采用多核异构系统的核间通信机制，获得M个操作系统的显示请求；响应各显示请求，基于各操作系统的待显示数据的属性，为各操作系统分配显示层，各操作系统的显示层对应各操作系统的待显示数据；对各操作系统的待显示数据进行融合，得到目标融合数据；将目标融合数据显示在N个操作系统对应的同一显示屏上。适合多操作系统的情形，在多个操作系统都有显示需求的情况下，可实现各操作系统的待显示数据在同一显示屏上的成功显示。

在实际应用中，各Layer具有属性，如Layer 1支持格式类型为RGB的待显示数据，Layer2支持格式类型为YUV的待显示数据。在各发起显示请求的各操作系统的各待显示数据具有一定数据属性(如格式类型)、以及各Layer具有特定属性的情况下，基于各显示层的属性，为各操作系统确定与各操作系统的待显示数据的属性相匹配的各显示层；将与各操作系统的待显示数据的属性相匹配的各显示层，作为为各操作系统分配的显示层。

示例性地，操作系统1和操作系统2的待显示数据为RGB格式，操作系统3的待显示数据为YUV格式，Layer 1和Layer 3支持RGB格式，Layer 2支持YUV格式，则可为各操作系统分配与待显示数据的属性相匹配的各Layer。如，为操作系统1分配Layer 1，为操作系统2分配Layer 3，为操作系统3分配Layer2。或者，为操作系统3分配Layer 1，为操作系统1分配Layer 3，为操作系统3分配Layer 2。其中，属性相匹配可认为是待显示数据的格式类型与Layer支持的格式类型一致。

前述方案中，基于各显示层的属性以及各待显示数据的属性，可为各发起数据请求的各操作系统分配合适的显示层，易于多操作系统的待显示数据在同一显示屏上显示的实现，适合于多操作系统。实用性强、可行性佳。

在一实施例中，如果在各显示层中，未存在与一操作系统的待显示数据的属性相匹配的显示层，则将所述操作系统的待显示数据进行处理，以得到所述待显示数据的目标属性；将各显示层中与所述目标属性具有相匹配属性的显示层，作为所述操作系统的显示层。

示例性地，发起显示请求的操作系统包括系统1～系统3，且系统1和系统2的待显示数据为RGB类型，系统3的待显示数据为YUV类型。每个Layer均支持RGB类型的待显示数据。从待显示数据的属性和Layer的属性上来看，可将系统1和系统2分配至全部Layer中的其中两个Layer。但是，系统3的待显示数据的类型与剩余Layer或全部Layer所支持的数据类型均不匹配，这种情况下，可将系统3的待显示数据进行处理。具体是将系统3的待显示数据的格式类型从YUV类型转换为RGB类型，从剩余Layer中挑选出一Layer作为为系统3分配的Layer。其中，可将转换后的格式类型如RGB类型作为系统3的待显示数据的目标属性。将为系统3分配的Layer作为各显示层中与目标属性相匹配的Layer。

示例性地，发起显示请求的操作系统包括系统1～系统3，且系统1和系统2的待显示数据为YUV类型，系统3的待显示数据为RGB类型。各个Layer中有一个Layer如Layer 1支持YUV类型的待显示数据，其余Layer支持RGB类型的待显示数据。从待显示数据的属性和Layer的属性上来看，可将系统3分配至支持RGB类型的Layer中的其中一个Layer如Layer2。将系统1分配至Layer 1，或者，将系统2分配至Layer 1。考虑到Layer中的支持YUV类型的Layer有限，以将系统1分配至Layer 1为例，对系统2的待显示数据进行处理。具体是，将系统2的待显示数据的格式类型从YUV类型转换为RGB类型，从除了Layer 2之外，支持RGB类型的其余Layer中的选择一个，作为为系统2分配的Layer。其中，可将转换后的格式类型如RGB类型作为系统2的待显示数据的目标属性。将为系统2分配的Layer作为各显示层中与目标属性相匹配的Layer。

前述方案中，可通过对未匹配到合适Layer的操作系统的待显示数据的处理，得到待显示数据的目标属性；基于目标属性，匹配到操作系统的合适Layer。适合于发起显示请求的系统为多操作系统的情形。可根据实际使用情形，为每个操作系统分配至合适的Layer，进而实现多操作系统的待显示数据在同一显示屏的成功显示。

在实际应用中，发起显示请求的操作系统数量可能比较多，如，多于Layer的数量。发起显示请求的操作系统的数量多，意味着显示请求的数量多于多核异构系统中显示层的数量。这种情况下，在为各操作系统分配的显示层中，至少部分操作系统分配至同一显示层。该至少部分操作系统中的每个操作系统的待显示数据的属性与该同一显示层的属性相匹配。

示例性地，发起显示请求的操作系统包括系统1～系统4，系统1～和系统4的待显示数据为YUV类型。Layer包括Layer 1～Layer 3。在实施时，可按照对获得(如接收)到各显示请求的顺序，为各操作系统分配与之匹配的Layer。如，各显示请求的接收顺序依次是：系统1的显示请求、系统2的显示请求、系统3的显示请求、系统4的显示请求。响应系统1～系统3的显示请求，按照待显示数据的属性需与Layer属性相匹配的原则，可将Layer 1作为为系统1分配的Layer，可将Layer 2作为为系统2分配的Layer，可将Layer 3作为为系统3分配的Layer。在系统4的显示请求到来时，响应该显示请求，由于全部Layer均被分配出去，无剩余Layer，这种情况下，可进行Layer的复用。如，响应系统4的显示请求，将Layer 1～Layer 3中与系统4的待显示数据的属性相匹配的Layer，作为为系统4分配的Layer。如，将Layer 3作为为系统4分配的Layer。Layer 3同时作为了为系统3和系统4分配的Layer。系统3和系统4的各待显示数据的属性均与Layer 3的属性匹配。

前述方案中，针对显示请求的数量多于Layer数量的情形，可通过Layer复用的方式，将部分操作系统分配至与部分操作系统的待显示数据属性相匹配的同一Layer，从而为每个操作系统分配至合适的Layer，进而实现多操作系统的待显示数据在同一显示屏的成功显示。适合于发起显示请求的系统为多操作系统的情形。

本申请实施例中，针对前述的将部分操作系统分配至与部分操作系统的待显示数据属性相匹配的同一Layer的方案，在实施时，可将该至少部分操作系统的待显示数据进行融合，得到第一融合数据。再将第一融合数据和M个操作系统中除该至少部分操作系统之外的其他各操作系统的待显示数据进行融合，得到目标融合数据。

前述方案中，先将分配有同一Layer的待显示数据进行融合，可视为在前级融合。再将第一级融合的结果和其余操作系统的待显示数据进行融合，可视为在后级融合。整体上可视为一种分级融合方案。

示例性地，发起显示请求的操作系统包括系统1～系统4。Layer包括Layer1～Layer 3。Layer 1作为为系统1分配的Layer；Layer 2作为为系统2分配的Layer；Layer 3同时作为为系统3和系统4分配的Layer。在融合时，可先将系统3和系统4的待显示数据进行融合，得到二者融合的数据。再将二者融合的数据与系统1的待显示数据、系统2的待显示数据进行进一步融合，得到目标融合数据。在每级融合中，均可采用前述的融合机制进行融合。参见理解，不赘述。

这种分级融合方案，通过分级方式，提高了融合准确性，实现了多操作系统的待显示数据在同一显示屏的成功显示。也避免了由于全部待显示数据一并进行融合而导致的处理资源负担重的问题。

结合图4所示，从多个操作系统中，选取其中一个如操作系统1(OS1)作为host端，其余操作系统(OS2、OS 3…OS X)作为slave端。在多核异构系统中，每个操作系统可视为域(domain)。slave端可作为应用域，host端可作为用于管理各应用域的管理域。

结合图5所示，slave端运行有刷图App(应用)，刷图App存在刷图需求，将刷图需求视为显示请求，采用mailbox机制，通过虚拟显示驱动模块将显示请求传输至host端。slave端基于共享内存机制，将待显示的数据存储到共享内存中。其中，各slave端在自身存在有需求时，产生显示请求。

采用mailbox机制，host端、具体是获得系统接收来自slave端的显示请求。基于共享内存机制，获得系统从共享内存中读取出来自slave端的待显示数据。在实际应用中，各slave端的显示请求的产生有前后顺序，host端、具体是获得系统可以按照显示请求的产生顺序进行接收的。结合图4所示，图4中的receiver1、receiver 2…receiver X可视为接收到的来自各个OS的显示请求。在实际应用中，host端作为一操作系统，也会运行有刷图App，在其存在有显示需求时，获得系统接收刷图App的显示请求。

结合图4所示，在host端的分配系统响应各OS的显示请求，分析各OS的待显示数据的格式类型。基于各OS的待显示数据的格式类型以及各Layer可支持的数据类型，为各OS分配在属性上匹配的Layer。为各OS分配的Layer对应各OS的待显示数据。host端的融合系统，采用融合机制，对各Layer对应的待显示数据进行融合，得到目标融合数据，并将其显示在显示系统上。在实际应用中，显示系统为显示屏(panel)。通过目标融合数据在(同一)显示屏上的显示，可将存在显示需求的各个操作系统的待显示数据按照各自的显示位置和/或显示层次，显示在该(同一)显示屏。

这种主从架构的划分，可实现本申请基于多核异构系统的显示方法在host端侧的集中处理(Layer分配、各Layer对应的待显示数据的融合)，充分实现对host端的利用。在多个slave端存在显示需求时，host端可实现对多操作系统的显示需求的及时、可靠处理。这种主从架构不仅适合有显示需求的操作系统数量多的情形，也适合显示需求的操作系统少的情形，均能够实现各操作系统的待显示数据在同一显示屏上的显示。

本申请中的共享内存机制，slave端将待显示数据存储到共享内存，host端从共享内存中读取出已存储的待显示数据。与slave端将待显示数据从slave端传输至host端相比，可有效节约传输时长，提高传输效率，也可避免传输资源不足而导致的无法成功传输的问题。在物理上，各操作系统可使用同一内存区域作为host端和slave端的共享内存使用。还可以，每个操作系统各使用对应的内存区域作为host端和slave端的共享内存，也可以，部分操作系统共用同一内存区域作为host端和slave端的共享内存。

结合图6所示，host端的融合系统包括DP和DC。其中，DP的输入端与部分Layer连接，DP的输出端与DC连接。DC的输入端与至少一个Layer连接，DC的输出端与显示屏连接。

示例性地，以OS1～OS 6均有显示需求，host端为各OS分配的Layer分别是：为OS1分配Layer 1、为OS2分配Layer 2、为OS 3分配Layer 3、为OS 4分配Layer 4、为OS 5分配Layer 5、为OS 6分配Layer 6。在图4中，DP的输入端与Layer 3～Layer 6连接，与DC连接的Layer是Layer 1和Layer 2。DP采用融合机制，将Layer 3～Layer 6中各Layer对应的待显示数据(OS 3～OS 6的待显示数据)进行融合，得到第一融合数据。DC采用融合机制，将第一融合数据、OS1的待显示数据和OS2的待显示数据进行融合，得到目标融合数据。host端将目标融合数据显示OS1～OS 6对应的同一显示屏上。

在实施融合机制时，DP可以对Layer 3～Layer 6中的各个Layer进行alpha融合操作，调节各个Layer的透明度，从而对OS 3的待显示数据～OS 6的待显示数据的相对透明度进行调节，得到第一融合数据。第一融合数据包括以各自透明度进行显示的OS 3～OS 6的待显示数据。

在实施融合机制时，DC可以对第一融合数据、Layer 1和Layer 2进行alpha融合操作，调节各个Layer的透明度，从而对第一融合数据、OS1的待显示数据和OS2的待显示数据的相对透明度进行调节，得到目标融合数据。

目标融合数据在同一显示屏上的显示可达到的显示效果是：各OS的待显示数据以各自的显示位置、和/或显示层次显示在该同一块显示屏上。

本申请实施例中，在硬件上，融合系统包括DP和DC的数量均为一个，与相关技术相比，利用单个数量的DP和DC即可实现多操作系统的待显示数据在同一块显示屏上的显示。节省了成本支出，可靠地实现了多操作系统的待显示数据在同一块显示屏上进行显示的逻辑。

可以理解，图6所示仅为一种具体举例而已，任何与之等同的示意图均覆盖在本申请实施例的记载范围内。如图6所示的host端的组成结构，在多核异构系统中，可以存在有两套或两套以上这样的组成结构，当其中一套的显示屏发现故障无法进行正常显示时，可使用其余套结构以将目标融合数据显示在其余套结构中的显示屏上。

结合图7所示，在host端的获得系统接收到各系统的显示请求时，host端的分配系统响应各系统的显示请求，判断接收到的显示请求的数量是否大于Layer的数量。如果显示请求的数量不大于(小于或等于)Layer的数量，则基于各系统的待显示数据的格式类型和各Layer支持的类型，为各系统进行Layer的匹配。在显示请求的数量大于Layer的数量时，按照前述相关方案，将待显示数据的格式类型一致的部分系统分配至同一Layer。该同一Layer支持该部分系统的待显示数据。分配至同一Layer的各系统的待显示数据经过DP的融合，得到第一融合数据。DC将第一融合数据以及其余系统的待显示数据进行融合，得到目标融合数据。

在显示请求的数量大于Layer的数量时，还可以按照各系统的待显示数据的显示层次，决定将哪些系统分配至同一Layer。示例性地，OS1～OS 3的待显示数据的显示层次为最底层，OS 4的待显示数据的显示层次为中间层，OS 5的待显示数据的显示层次为最上层。假定OS1～OS 5的格式类型均为RGB，Lay1～Lay 3均支持RGB类型的数据，则按照最底层优先复用的原则，可将Lay 1～Lay 3中的其中之一Lay分配至OS1～OS 3，使得OS1～OS 3实现对同一Layer的复用。可将Layer 2分配给OS 4，Lay 3分配给OS 5。

在多核异构系统是应用在驾驶设备中的系统时，可利用本申请实施例的基于多核异构系统的显示方法，将原本显示在显示给驾驶位的显示内容，推送至副驾驶的显示屏，连同副驾驶显示屏原本显示的内容一同进行显示。示例性地，原本显示在显示给驾驶位的显示内容假定为是OS2的待显示数据，原本显示在副驾驶的显示屏的显示内容是OS 3的待显示数据，OS2和OS 3向OS1发起各自的显示请求。OS1响应各显示请求，为OS2分配Layer 1，为OS 3分配Layer 2，并经过对Layer 1和Layer 2的alpha融合操作，得到需要在副驾驶显示屏上显示的原内容以及新推送内容。实现了副驾驶人员在正驾驶观看内容的方便观看。

本申请实施例，仅需要单个数量的DP和DC，即可实现多操作系统的待显示数据在同一显示屏上的显示。理论上，对于有显示需求的OS的数量无限制。在实际应用中，可根据实际需求，对OS的数量进行灵活性设计。

在如图6所示的host端的组成结构，在多核异构系统中，存在有两套或两套以上，且重要内容无法在其中一套的显示屏上进行显示时，可以启用另一套，以将重要内容在另一显示屏上实现正常显示。

本申请实施例提供一种基于多核异构系统的显示设备，应用于多核异构系统。多核异构系统包括多硬件域；多硬件域中的各硬件域由多核异构系统中多个处理器核与各处理核连接的硬件资源构成；各硬件域中的每个硬件域对应一操作系统。

如图8所示，所述设备包括：

获得系统1001，用于采用多核异构系统的核间通信机制，获得M个操作系统的显示请求，M为大于或等于2的正整数；

分配系统1002，用于响应各显示请求，基于各操作系统的待显示数据的属性，为各操作系统分配显示层，各操作系统的显示层对应各操作系统的待显示数据；

融合系统1003，用于对各操作系统的待显示数据进行融合，得到目标融合数据；

显示系统1004，用于将目标融合数据显示在N个操作系统对应的同一显示屏上；其中，N为大于或等于M的正整数、且小于或等于所述多核异构系统中硬件域的数量。

前述方案中，所述分配系统1002，还用于：

基于各显示层的属性，为各操作系统确定与各操作系统的待显示数据的属性相匹配的各显示层；

将与各操作系统的待显示数据的属性相匹配的各显示层，作为为各操作系统分配的显示层。

前述方案中，所述分配系统1002，还用于：

如果在各显示层中，未存在与一操作系统的待显示数据的属性相匹配的显示层，则将所述操作系统的待显示数据进行处理，以得到所述待显示数据的目标属性；

将各显示层中与所述目标属性具有相匹配属性的显示层，作为所述操作系统的显示层。

前述方案中，所述分配系统1002，还用于：

在显示请求的数量多于多核异构系统中显示层的数量时，

在为各操作系统分配的显示层中，至少部分操作系统分配至同一显示层；其中，所述至少部分操作系统中的每个操作系统的待显示数据的属性与所述同一显示层的属性相匹配。

前述方案中，所述融合系统1003，用于：

将所述至少部分操作系统的待显示数据进行融合，得到第一融合数据；

将第一融合数据和所述M个操作系统中除所述至少部分操作系统之外的其他各操作系统的待检测数据进行融合，得到目标融合数据。

前述方案中，所述融合系统1003，用于：

按照融合机制，对各操作系统的待显示数据进行融合，得到目标融合数据；

其中，所述融合机制至少用于指示各操作系统的待显示数据在所述同一显示屏上的各自显示位置和/或显示层次。

需要说明的是，本申请实施例的基于多核异构系统的显示设备，由于该基于多核异构系统的显示设备解决问题的原理与前述的基于多核异构系统的显示方法相似，因此，基于多核异构系统的显示设备的实施过程及实施原理均可以参见前述方法的实施过程及实施原理描述，重复之处不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

其中，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述的基于多核异构系统的显示方法。

针对存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行前述的基于多核异构系统的显示方法。

本申请实施例还提供一种芯片，所述芯片包括前述的基于多核异构系统的显示设备。

图9示出了可以用来实施本申请的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图9所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如基于多核异构系统的显示方法。例如，在一些实施例中，基于多核异构系统的显示方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的基于多核异构系统的显示方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于多核异构系统的显示方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于多核异构系统的显示方法，应用于多核异构系统，所述多核异构系统包括多硬件域；所述多硬件域中的各硬件域由所述多核异构系统中多个处理器核与各处理核连接的硬件资源构成；所述各硬件域中的每个硬件域对应一操作系统；其特征在于，所述方法包括：

采用多核异构系统的核间通信机制，获得M个操作系统的显示请求，M为大于或等于2的正整数；

响应各显示请求，基于各操作系统的待显示数据的属性，为各操作系统分配显示层，各操作系统的显示层对应各操作系统的待显示数据；

对各操作系统的待显示数据进行融合，得到目标融合数据；

将目标融合数据显示在N个操作系统对应的同一显示屏上；其中，N为大于或等于M的正整数、且小于或等于所述多核异构系统中硬件域的数量。

2.根据权利要求1所述的方法，其特征在于，所述基于各操作系统的待显示数据的属性，为各操作系统分配显示层，包括：

基于各显示层的属性，为各操作系统确定与各操作系统的待显示数据的属性相匹配的各显示层；

将与各操作系统的待显示数据的属性相匹配的各显示层，作为为各操作系统分配的显示层。

3.根据权利要求2所述的方法，其特征在于，还包括：

如果在各显示层中，未存在与一操作系统的待显示数据的属性相匹配的显示层，则将所述操作系统的待显示数据进行处理，以得到所述待显示数据的目标属性；

将各显示层中与所述目标属性具有相匹配属性的显示层，作为所述操作系统的显示层。

4.根据权利要求1或2所述的方法，其特征在于，还包括：

在显示请求的数量多于多核异构系统中显示层的数量时，

在为各操作系统分配的显示层中，至少部分操作系统分配至同一显示层；其中，所述至少部分操作系统中的每个操作系统的待显示数据的属性与所述同一显示层的属性相匹配。

5.根据权利要求4所述的方法，其特征在于，所述对各操作系统的待显示数据进行融合，得到目标融合数据，包括：

将所述至少部分操作系统的待显示数据进行融合，得到第一融合数据；

将第一融合数据和所述M个操作系统中除所述至少部分操作系统之外的其他各操作系统的待检测数据进行融合，得到目标融合数据。

6.根据权利要求1所述的方法，其特征在于，所述对各操作系统的待显示数据进行融合，得到目标融合数据，包括：

按照融合机制，对各操作系统的待显示数据进行融合，得到目标融合数据；

其中，所述融合机制至少用于指示各操作系统的待显示数据在所述同一显示屏上的各自显示位置和/或显示层次。

7.一种基于多核异构系统的显示设备，应用于多核异构系统，所述多核异构系统包括多硬件域；所述多硬件域中的各硬件域由所述多核异构系统中多个处理器核与各处理核连接的硬件资源构成；所述各硬件域中的每个硬件域对应一操作系统；其特征在于，所述设备包括：

获得系统，用于采用多核异构系统的核间通信机制，获得M个操作系统的显示请求，M为大于或等于2的正整数；

分配系统，用于响应各显示请求，基于各操作系统的待显示数据的属性，为各操作系统分配显示层，各操作系统的显示层对应各操作系统的待显示数据；

融合系统，用于对各操作系统的待显示数据进行融合，得到目标融合数据；

显示系统，用于将目标融合数据显示在N个操作系统对应的同一显示屏上；其中，N为大于或等于M的正整数、且小于或等于所述多核异构系统中硬件域的数量。

8.一种芯片，其特征在于，所述芯片包括权利要求7所述的基于多核异构系统的显示设备。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行根据权利要求1-7中任一项所述的方法。