CN115988265A - 一种显示画面的渲染方法、装置和终端设备 - Google Patents

Abstract

本申请涉及终端技术领域，实施例提供一种显示画面的渲染方法、装置和终端设备，该显示画面的渲染方法通过接收客户端发送的显示指令；根据显示指令，通过硬件合成器将待显示的至少一个图层合成一帧画面数据；控制图形处理器对画面数据进行图像渲染，生成目标图像数据，并将目标图像数据存储至图形处理器中的一缓冲区；在缓冲区中对目标图像数据进行转换处理，形成视频流数据；并将视频流数据发送至客户端进行显示。本申请可以提高渲染的效率，避免造成图像掉帧的现象。

Description

一种显示画面的渲染方法、装置和终端设备

技术领域

本发明涉及终端技术领域，具体而言，涉及一种显示画面的渲染方法、装置和终端设备。

背景技术

云手机是基于端云一体虚拟化技术，通过云网、安全、AI等数字化能力，弹性适配用户个性化需求，释放手机本身硬件资源，随需加载海量云上应用的手机形态。由于云手机基于5G网络，可以将复杂的计算和大容量数据保存在云端上，用户可以透过视频流的方式远程实时控制云手机，最终实现安卓原生应用及手游的云端运行。

云手机最核心的两个点是“屏幕”和“网络”，网络在手机上不再仅用于浏览内容，网络是“云手机”获取服务的来源，也是途径。没有网络就没有所谓的“云手机”，手机用户终端无需足够强大，只需要联网即可。同时，云计算可以备份用户的数据，让网络成为用户的“硬盘”，随时随地接入，不怕文件丢失。终端设备显示的画面通常由多个图层合成，其中画面的流畅度与图层的合成及渲染速度相关，现有技术中，通过图形处理器(graphicsprocessing unit，GPU)或者中央处理器(central processing unit，CPU)中完成对图层的渲染速度较慢，可能会造成图像掉帧的现象。

发明内容

本发明的目的在于提供一种显示画面的渲染方法、装置、终端设备和可读存储介质。

第一方面，本发明提供一种显示画面的渲染方法，应用于部署有Android子系统的云端Linux操作系统中，所述云端Linux操作系统包括图形处理器，所述Android子系统包括硬件合成器，所述方法包括:

接收客户端发送的显示指令；

根据所述显示指令，通过所述硬件合成器将待显示的至少一个图层合成一帧画面数据；

控制所述图形处理器对所述画面数据进行图像渲染，生成目标图像数据，并将所述目标图像数据存储至所述图形处理器中的一缓冲区；

在所述缓冲区中对所述目标图像数据进行转换处理，形成视频流数据；并将所述视频流数据发送至客户端进行显示。

在可选的实施方式中，当存在待显示的多个图层时，所述通过所述硬件合成器将待显示的至少一个图层合成一帧画面数据，包括：

通过所述硬件合成器基于所述多个图层各自的位置、透明度和大小将所述多个图层合成一帧画面数据。

在可选的实施方式中，所述在所述缓冲区中对所述目标图像数据进行转换处理，包括：

在所述缓冲区中对所述目标图像数据的数据格式进行转换；

对转换后的目标图像数据进行硬编码处理，得到视频流数据。

在可选的实施方式中，所述将所述视频流数据发送至客户端进行显示，包括：

接收客户端通过浏览器发送的获取指令，根据所述获取指令将所述视频流数据发送至所述客户端，以使所述浏览器显示所述视频流数据。

在可选的实施方式中，所述将所述视频流数据发送至客户端进行显示，包括：

通过TCP协议将所述视频流数据发送至客户端，以使所述客户端显示所述视频流数据。

在可选的实施方式中，还包括：

通过所述硬件合成器根据预设频率发送刷新信号至所述图形处理器，以使所述图形处理器按照所述预设频率进行画面更新。

在可选的实施方式中，物理机系统的操作系统为Linux操作系统，虚拟机系统的系统为Android子系统，在所述接收客户端发送的显示指令之前，还包括：

启动所述物理机系统，并运行在所述物理机系统的容器内的所述虚拟机系统。

第二方面，本发明提供一种显示画面的渲染装置，应用于部署有Android子系统的云端Linux操作系统中，所述云端Linux操作系统包括图形处理器，所述Android子系统包括硬件合成器，所述装置包括：

虚拟机系统，用于接收客户端发送的显示指令；根据所述显示指令，通过所述硬件合成器将待显示的至少一个图层合成一帧画面数据；

物理机系统，用于控制所述图形处理器对所述画面数据进行图像渲染，生成目标图像数据，并将所述目标图像数据存储至所述图形处理器中的一缓冲区；在所述缓冲区中对所述目标图像数据进行转换处理，形成视频流数据；并将所述视频流数据发送至客户端进行显示。

第三方面，本发明提供一种终端设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行所述的显示画面的渲染方法。

第四方面，本发明提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行所述的显示画面的渲染方法。

本发明实施例的有益效果是：

本申请实施例提供一种显示画面的渲染方法，该显示画面的渲染方法通过接收客户端发送的显示指令；根据显示指令，通过硬件合成器将待显示的至少一个图层合成一帧画面数据；控制图形处理器对画面数据进行图像渲染，生成目标图像数据，并将目标图像数据存储至图形处理器中的一缓冲区；在缓冲区中对目标图像数据进行转换处理，形成视频流数据；并将视频流数据发送至客户端进行显示。本申请可以提高渲染的效率，避免造成图像掉帧的现象。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本申请实施例提出的一种显示画面的渲染方法的第一流程示意图；

图2示出了本申请实施例提出的一种显示画面的渲染方法的第二流程示意图；

图3示出了本申请实施例提出的一种显示画面的渲染方法的第三流程示意图；

图4示出了本申请实施例提供的一种显示画面的渲染装置的结构示意图。

主要元件符号说明：

10-显示画面的渲染装置；11-虚拟机系统；12-物理机系统。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

在Android系统中，图像数据的处理主要通过SurfaceFlinger服务来实现，目前SurfaceFlinger中支持两种合成方式，一种是Device合成，一种是Client合成。

Client合成方式是相对与硬件合成来说的，其合成方式是，将各个Layer的内容用GPU渲染到暂存缓冲区中，最后将暂存缓冲区传送到显示硬件。这个暂存缓冲区，我们称为FBTarget，每个Display设备有各自的FBTarget。Client合成，之前称为GLES合成，我们也可以称之为GPU合成。Client合成，采用RenderEngine进行合成。

Device合成就是用专门的硬件合成器进行合成(HWComposer)，所以硬件合成的能力就取决于硬件的实现。其合成方式是将各个Layer的数据全部传给显示硬件，并告知它从不同的缓冲区读取屏幕不同部分的数据。本申请根据上述合成方式提出一种显示画面的渲染方法，具体如下。

实施例1

请参考图1，本申请实施例提出一种显示画面的渲染方法，涉及Linux云端操作系统、容器技术、Android HAL层开发、Opengl绘制和H264编码，应用于部署有Android子系统的Linux操作系统中，所述云端Linux操作系统包括图形处理器，Android子系统包括硬件合成器(HWC Compose)，示范性地，该显示画面的渲染方法包括步骤S100～S400。

步骤S100：接收客户端发送的显示指令。

在本申请中，当客户端需要对云端云手机的画面内容进行显示时，例如对应用程序或手游等进行显示时，客户端将发送相应的显示指令至云端。云端将接收客户端发送的显示指令，以发送相应的画面内容至客户端，并在客户端的显示界面进行显示。

在一种实施例中，如图2所示，在步骤S100之前还包括步骤S500。

步骤S500：启动物理机系统，并运行在物理机系统的容器内的虚拟机系统。

在开始接收客户发送的显示指令之前，将先启动云端的物理机系统(即Host端)的操作姿态。物理机系统(Host)的操作系统为Linux操作系统，虚拟机系统(Guest)的操作系统为Android子系统，物理机系统包括图形处理器(graphics processing unit，GPU)，虚拟机系统包括硬件合成器，云手机的Android子系统运行在物理机系统的容器内。在启动物理机系统后，还将启动运行在物理机系统的容器内的虚拟机系统，即Android子系统。其中，容器是镜像运行时的实体。容器可以被创建、启动、停止、删除、暂停等。

步骤S200：根据显示指令，通过硬件合成器将待显示的至少一个图层合成一帧画面数据。

在接收到显示指令后，将把运行在虚拟机系统的容器内部的Android子系统中画面数据发送至物理机系统，换言之，在本申请中，当待显示的目标画面的各个图层(Layer)的内容准备完成时，将通过硬件合成器把Android子系统中画面内容对应的待显示的多个图层根据各自对应的大小、位置、透明度等属性计算出每个图层在合成图像中的位置，从而合成相应的一帧完整图像，即画面数据。当画面内容对应待显示的一个图层时，将通过硬件合成器将该图层作为一帧画面数据。

在Android系统中，图像数据的处理主要通过SurfaceFlinger服务来实现，将SurfaceFlinger中需要显示的多个图层对应的画面数据发送到物理机系统。

例如，当Android子系统中运行的目标图像数据包括4层图层时，即分别包括StatuBar(状态栏)、Home(主屏幕)、WallPaper(壁纸)和Shutting(关机)4个窗口时，硬件合成器将把这个4个图层根据各自的位置、透明度等属性合成一帧完整的图像。

步骤S300：控制图形处理器对画面数据进行图像渲染，生成目标图像数据，并将目标图像数据存储至图形处理器中的一缓冲区。

可以理解的是，将在物理机系统中向图形处理器申请一块缓冲区(Buffer)，以用于对图形处理器的渲染结果进行存储。在本申请中，将通过OpenGL离屏渲染的方式充分利用物理机系统的图形处理器能力，在物理机系统中将一帧完整的画面数据，合成到申请的缓冲区中，换言之，将控制图形处理器对接收到的画面数据进行图像渲染生成目标图像数据，并存储至图形处理器中选取的缓冲区内。

其中，离屏渲染(Off-Screen Rendering)是GPU在当前屏幕缓冲区以外新开辟一个缓冲区进行渲染操作。如果要在显示屏上显示内容，我们至少需要一块与屏幕像素数据量一样大的frame buffer(帧缓冲区)，作为像素数据存储区域，而这也是GPU存储渲染结果的地方。如果有时因为面临一些限制，无法把渲染结果直接写入帧缓冲区，而是先暂存在另外的内存区域，之后再写入帧缓冲区，那么这个过程被称之为离屏渲染。

步骤S400：在缓冲区中对目标图像数据进行转换处理，形成视频流数据；并将视频流数据发送至客户端进行显示。

在本申请中，在缓冲区中对目标图像数据的数据格式进行转换，换言之，将在图形处理器中的缓冲区对得到的目标图像数据的数据格式进行转换，将把合成的目标图像数据的数据格式由RGB格式转成YUV格式。对转换后的目标图像数据还进行硬编码处理，得到视频流数据，换言之，将在该缓冲区中对数据格式转换后的目标图像数据进行编码压缩，最终编码成H264视频流数据，并且把得到的H264视频流数据发送至客户端上进行显示。

可以理解的是，数据的流转始终在图形处理器中同一块缓冲区内，减少了数据在CPU(Central Processing Unit，中央处理器)及图形处理器之间的传递次数，从而提高了渲染的效率。

在一种实施方式中，将把形成的H264视频流数据通过TCP(Transmission ControlProtocol，传输控制协议)协议发送至客户端，以使客户端对视频流数据进行显示，从而在客户端呈现云端云手机的画面内容。其中，客户端可以设置于手机、电脑和平板等终端设备中。

此外，用户也可以在客户端的浏览器中发送获取指令，云端通过浏览器将视频流数据发送至客户端，以使浏览器获取到H264视频流数据并显示，即在浏览器中呈现云端云手机的画面内容。

在一种实施例中，如图3所示，该显示画面的渲染方法还包括步骤S600。

步骤S600：通过硬件合成器根据预设频率发送刷新信号至图形处理器，以使图形处理器按照预设频率进行画面更新。

可以理解的是，硬件合成器还将提供一个垂直刷新信号，硬件合成器将根据预设频率发送刷新信号至图形处理器，即发送至物理机系统，从而通知SurfaceFlinger进行画面更新，其中，预设频率可根据实际需求进行设置。

例如，当预设频率为60fps时，那么它的时间间隔就是1000/60＝16.7ms一次，即硬件合成层大概每隔16ms发送一次vsync信号(刷新信号)。

在本申请中，主要通过给运行在容器内的Android系统提供一个完整的HWCCompose合成层，即硬件合成器，把Android系统运行时的图像数据通过图形处理器合成并编码，同时把最终生成的视频流数据发送到云手机客户端，从而实现了云手机图像数据从获取到最终显示的整套流程。减少了数据在中央处理器及图形处理器之间的传递次数，从而提高了渲染的效率，避免造成图像掉帧的现象。

基于上述实施例的显示画面的渲染方法，图4示出了本申请实施例提供的一种显示画面的渲染装置10的结构示意图，应用于部署有Android子系统的云端Linux操作系统中，Android子系统包括硬件合成器。该显示画面的渲染装置10包括：

虚拟机系统11，用于接收客户端发送的显示指令；根据所述显示指令，通过所述硬件合成器将待显示的至少一个图层合成一帧画面数据；

物理机系统12，用于控制所述图形处理器对所述画面数据进行图像渲染，生成目标图像数据，并将所述目标图像数据存储至所述图形处理器中的一缓冲区；在所述缓冲区中对所述目标图像数据进行转换处理，形成视频流数据；并将所述视频流数据发送至客户端进行显示。

本实施例的显示画面的渲染装置10用于执行上述实施例的显示画面的渲染方法，上述实施例所涉及的实施方案以及有益效果在本实施例中同样适用，在此不再赘述。

本申请实施例还提供一种终端设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序在处理器上运行时执行上述的显示画面的渲染方法。

本申请实施例还提供一种计算机可读存储介质，其存储有计算机程序，计算机程序在处理器上执行时，实施上述的显示画面的渲染方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种显示画面的渲染方法，其特征在于，应用于部署有Android子系统的云端Linux操作系统中，所述云端Linux操作系统包括图形处理器，所述Android子系统包括硬件合成器，所述方法包括:

接收客户端发送的显示指令；

根据所述显示指令，通过所述硬件合成器将待显示的至少一个图层合成一帧画面数据；

控制所述图形处理器对所述画面数据进行图像渲染，生成目标图像数据，并将所述目标图像数据存储至所述图形处理器中的一缓冲区；

在所述缓冲区中对所述目标图像数据进行转换处理，形成视频流数据；并将所述视频流数据发送至客户端进行显示。

2.根据权利要求1所述的显示画面的渲染方法，其特征在于，当存在待显示的多个图层时，所述通过所述硬件合成器将待显示的至少一个图层合成一帧画面数据，包括：

通过所述硬件合成器基于所述多个图层各自的位置、透明度和大小将所述多个图层合成一帧画面数据。

3.根据权利要求1所述的显示画面的渲染方法，其特征在于，所述在所述缓冲区中对所述目标图像数据进行转换处理，包括：

在所述缓冲区中对所述目标图像数据的数据格式进行转换；

对转换后的目标图像数据进行硬编码处理，得到视频流数据。

4.根据权利要求1所述的显示画面的渲染方法，其特征在于，所述将所述视频流数据发送至客户端进行显示，包括：

接收客户端通过浏览器发送的获取指令，根据所述获取指令将所述视频流数据发送至所述客户端，以使所述浏览器显示所述视频流数据。

5.根据权利要求1所述的显示画面的渲染方法，其特征在于，所述将所述视频流数据发送至客户端进行显示，包括：

通过TCP协议将所述视频流数据发送至客户端，以使所述客户端显示所述视频流数据。

6.根据权利要求1所述的显示画面的渲染方法，其特征在于，还包括：

通过所述硬件合成器根据预设频率发送刷新信号至所述图形处理器，以使所述图形处理器按照所述预设频率进行画面更新。

7.根据权利要求1所述的显示画面的渲染方法，其特征在于，物理机系统的操作系统为Linux操作系统，虚拟机系统的系统为Android子系统，在所述接收客户端发送的显示指令之前，还包括：

启动所述物理机系统，并运行在所述物理机系统的容器内的所述虚拟机系统。

8.一种显示画面的渲染装置，其特征在于，应用于部署有Android子系统的云端Linux操作系统中，所述云端Linux操作系统包括图形处理器，所述Android子系统包括硬件合成器，所述装置包括：

虚拟机系统，用于接收客户端发送的显示指令；根据所述显示指令，通过所述硬件合成器将待显示的至少一个图层合成一帧画面数据；

物理机系统，用于控制所述图形处理器对所述画面数据进行图像渲染，生成目标图像数据，并将所述目标图像数据存储至所述图形处理器中的一缓冲区；在所述缓冲区中对所述目标图像数据进行转换处理，形成视频流数据；并将所述视频流数据发送至客户端进行显示。

9.一种终端设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行权利要求1至7任一项所述的显示画面的渲染方法。

10.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至7任一项所述的显示画面的渲染方法。

Images