CN115033195A - 画面显示方法、装置、设备、存储介质及程序产品 - Google Patents

Abstract

本申请实施例公开了一种画面显示方法、装置、设备、存储介质及程序产品，属于显示技术领域。该方法包括：获取至少一路图像数据，所述至少一路图像数据的来源包括本地设备和源端设备中的至少一种，所述源端设备为进行画面重定向的设备；基于所述至少一路图像数据，通过多路渲染线程在显示窗体中进行画面渲染，得到渲染画面，同一显示窗体支持显示多路画面；通过所述显示窗体对应的显示屏显示所述渲染画面。采用本申请实施例提供的一种统一的多路画面显示框架，能够通过统一的多路渲染线程，在显示屏对应的显示窗体中对多来源的图像数据进行渲染，并支持在同一显示窗体内渲染多路画面，从而实现对多种显示场景的支持。

Description

画面显示方法、装置、设备、存储介质及程序产品

技术领域

本申请实施例涉及显示技术领域，特别涉及一种画面显示方法、装置、设备、存储介质及程序产品。

背景技术

随着屏幕显示技术的不断发展更新，人们对于在同一屏幕进行多画面显示，或者同一画面显示在多个屏幕的需求越来越迫切。

相关技术中，针对同一屏幕多画面显示或者同一画面多屏幕显示都各自在设备上得到实现，但同一设备只能实现其中一种功能，无法做到对多种可能的画面显示形式进行统一处理。

发明内容

本申请实施例提供了一种画面显示方法、装置、设备、存储介质及程序产品。所述技术方案如下：

一方面，本申请实施例提供了一种画面显示方法，所述方法包括：

获取至少一路图像数据，所述至少一路图像数据的来源包括本地设备和源端设备中的至少一种，所述源端设备为进行画面重定向的设备；

基于所述至少一路图像数据，通过多路渲染线程在显示窗体中进行画面渲染，得到渲染画面，其中，同一显示窗体支持显示多路画面；

通过所述显示窗体对应的显示屏显示所述渲染画面。

另一方面，本申请实施例提供了一种画面显示装置，所述装置包括：

数据获取模块，用于获取至少一路图像数据，所述至少一路图像数据的来源包括本地设备和源端设备中的至少一种，所述源端设备为进行画面重定向的设备；

画面渲染模块，用于基于所述至少一路图像数据，通过多路渲染线程在显示窗体中进行画面渲染，得到渲染画面，其中，同一显示窗体支持显示多路画面；

显示模块，用于通过所述显示窗体对应的显示屏显示所述渲染画面。

另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如上述方面所述的画面显示方法。

另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如上述方面所述的画面显示方法。

另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的画面显示方法。

本申请实施例中，计算机设备从本地设备和源端设备中的至少一种中，获取至少一路图像数据，并通过多路渲染线程在显示窗体中对其进行画面渲染，得到渲染画面，最终通过与显示窗体对应的显示屏显示该渲染画面，其中，同一显示窗体支持显示多路画面。采用本申请实施例提供的一种统一的多路画面显示框架，能够通过统一的多路渲染线程，在显示屏对应的显示窗体中对多来源(包括本地设备和重定向设备)的图像数据进行渲染，并支持在同一显示窗体内渲染多路画面，从而实现对多屏同显(多个显示屏显示相同画面)、多屏异显(多个显示屏显示不同画面)、同屏多显示(同一显示屏显示多路不同画面)等显示场景的支持。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一个示例性实施例提供的实施环境的示意图；

图2示出了本申请一个示例性实施例提供的画面显示方法的流程图；

图3是本申请一个示例性实施例示出的多路视频显示方法的示意图；

图4示出了本申请另一个示例性实施例提供的画面显示方法的流程图；

图5是本申请一个示例性实施例示出的多路渲染数据流与模块交互图；

图6是本申请一个示例性实施例示出的多路渲染过程的流程图；

图7是本申请一个示例性实施例示出的显示窗体代理的实施示意图；

图8是本申请一个示例性实施例示出的多屏异显的实施示意图；

图9是本申请一个示例性实施例示出的多屏同显的实施示意图；

图10是本申请一个示例性实施例示出的同屏多显的实施示意图；

图11示出了本申请一个实施例提供的画面显示装置的结构框图；

图12示出了本申请一个示例性实施例提供的计算机设备的结构方框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

图1示出了本申请一个示例性实施例提供的实施环境的示意图。该实施环境可以包括：至少一个源端设备110以及至少一个目的端设备120。

源端设备110是具有重定向功能的电子设备，其可以是智能手机、平板电脑、个人计算机等移动终端。图1中以源端设备110包括平板电脑111以及智能手机112为例进行说明。

源端设备110中具有重定向需求的对象被称为重定向对象，该重定向对象可以是屏幕镜像或者重定向应用，且重定向对象的重定向内容可以包括视频、音频以及控制中的至少一种。该重定向应用可以为导航应用、视频类应用、游戏类应用等等，本申请实施例并不对画面显示应用的具体类型进行限定。可选的，当重定向对象为应用时，重定向过程中该应用可以处于前台运行状态或后台运行状态。

本申请实施例中，同一源端设备可以同时对至少两个重定向对象进行重定向。比如，可以同时对屏幕镜像以及视频类应用进行画面显示，也可以同时对视频类应用以及导航类应用进行画面显示。其中，源端设备支持同时重定向的重定向对象的数量具有上限，且该上限与源端设备的处理性能相关。

目的端设备120是用于进行重定向结果展示的电子设备，其可以是智能手机、平板电脑、个人计算机、智能电视或者车载终端(比如车机)等等。图1中以目的端设备120包括第一车载终端121和第二车载终端122为例进行说明，其中，第一车载终端121和第二车载终端122设置在同一车辆中，且第一车载终端121和第二车载终端122分别由不同的SoC(Systemon Chip，系统级芯片)控制。比如，第一车载终端121为设置在车辆前排的车载终端，第二车载终端122为设置在车辆后排的车载终端。

可选的，目的端设备120具有至少一块屏幕。如图1所示，第一车载终端121具有第一屏幕1211以及第二屏幕1212(均由第一车载终端121的第一SoC1213控制)，第二车载终端122具有第三屏幕1221和第四屏幕1222(均由第二车载终端122的第二SoC 1223控制)。

在一些实施例中，当目的端设备120具有至少两块屏幕时，至少两块屏幕可以同时显示不同的画面内容，或者，相同画面内容，且各块屏幕中显示的画面内容可以为单一画面对象，也可以为多个画面对象(分屏显示多个画面对象)。

需要说明的是，目的端设备除了能够显示源端设备重定向的画面外，还可以显示本地应用的应用画面，或者，本地或网络视频，或者，本地摄像头采集到的图像，即目的端设备的画面来源可以包括源端设备和本地设备中的至少一种。

本申请实施例中的多路画面显示体现在多屏同显(多个显示屏显示相同画面)、多屏异显(多个显示屏显示不同画面)、同屏多显示(同一显示屏显示多路不同画面)。在一种可能的多路画面显示场景下，如图1所示，平板电脑111中的视频应用画面被显示在第一车载终端121的第一屏幕1211；第一游戏应用画面则被显示至第一车载终端121的第二屏幕1212。本地摄像头画面被显示至第一车载终端121的第一屏幕1211，本地应用画面被显示至第一车载终端121的第二屏幕1212，并与第一游戏应用分屏显示。智能手机112中的导航应用被显示至第一车载终端121的第一屏幕1211，并与视频应用和本地摄像头画面分屏显示；智能手机112中的第二游戏应用被显示至第二车载终端122的第三屏幕1221和第四屏幕1222，即第三屏幕1221和第四屏幕1222显示相同画面内容。

需要说明的是，源端设备110和目的端设备120之间采用的连接方式可以包括WlanAP模式、WiFi-P2P、USB有线连接、移动数据网络中的至少一种，本申请实施例对此并不进行限定。

此外，上述实施例仅以移动终端向车载终端进行画面显示为例进行(即车机场景)示意性的说明，本申请实施例提供的方案可以应用于其他多路画面显示场景，本实施例并不对具体的应用场景构成限定。

上述实施例仅以重定向场景为例说明，本申请实施例提供的方案可以不包含源端设备。

本申请实施例提供的方案，可以用于图1中的目的端设备，也可以用于其他具有多路画面显示需求的设备，为了方便表述，下述实施例中以画面显示方法用于计算机设备为例进行说明，但并不对此构成限定。

请参考图2，其示出了本申请一个示例性实施例提供的画面显示方法的流程图，本申请实施例以该方法应用于计算机设备为例进行说明，该方法包括：

步骤201，获取至少一路图像数据，至少一路图像数据的来源包括本地设备和源端设备中的至少一种，源端设备为进行画面重定向的设备。

为实现至少一路画面显示，计算机设备需要获取各路画面对应的图像数据。其中，计算机设备既可以对本地设备中的画面进行显示，也可以通过重定向技术对源端设备中的画面进行显示。

在一种可能的实施方式中，计算机设备对本地设备中的画面进行显示，通过显示采集模块获取本地应用的应用图像数据，或者，通过本地摄像头获取摄像头图像数据，或者，通过视频解码模块对本地视频流和网络视频流进行解码，获取视频解码器输出的视频图像数据。

在一种可能的实施方式中，计算机设备对源端设备中的画面进行显示，计算机设备作为目的端设备，利用重定向技术需要在源端和目的端分别建立视频重定向器。在源端设备对应用图像数据和摄像头图像数据进行编码之后，由源端视频重定向器向目的端视频重定向器传输编码信息，计算机设备通过视频解码模块对编码信息进行解码，获取源端设备中的图像数据。

示意性的，如图3所示，源端设备31与目的端设备32之间基于重定向技术，分别建立源端视频重定向器316和目的端视频重定向器326，从而通过重定向器之间的链路进行图像数据传输。在从源端设备31处获取图像数据的情况下，第一显示采集模块313对第一应用311中的画面进行数据采集，所采集的应用图像数据与第一摄像头312输出的摄像头图像数据均需要由视频编码模块314进行编码，编码数据经过源端视频重定向器316向目的端视频重定向器326传输，并在目的端设备32中经由视频解码模块327进行解码，从而获得源端设备31中的图像数据。在多个应用需要进行画面显示的情况下，由源端视频处理模块315负责统一处理各个应用的图像数据。

在计算机设备作为目的端设备32，从本地获取图像数据的情况下，计算机设备直接获取第二摄像头323中的摄像头图像数据，通过第二显示采集模块325采集获得第二应用322中的应用图像数据，对本地或网络视频流321由单端视频流播放器324经视频解码模块327进行解码，从而获得视频图像数据。

步骤202，基于至少一路图像数据，通过多路渲染线程在显示窗体中进行画面渲染，得到渲染画面，其中，同一显示窗体支持显示多路画面。

为了使各路画面能够在对应的显示屏中显示，计算机设备为每一个显示屏创建对应的显示窗体，并通过多路渲染线程在显示窗体中进行画面渲染，从而得到渲染画面。

在一些实施例中，显示窗体与显示屏一一对应。

在一种可能的实施方式中，存在多路画面在至少两个显示屏中显示，计算机设备为每一个显示屏创建对应的显示窗体，其中，显示窗体为Activity组件，启动时可指定在某一个显示屏中。进一步的，计算机设备通过多路渲染线程统一在各个显示窗体中进行画面渲染，得到渲染画面。

示意性的，如图3所示，计算机设备根据获取的各路图像数据，通过多路渲染线程328在第一显示窗体329和第二显示窗体3210中分别进行画面渲染，得到渲染画面。

步骤203，通过显示窗体对应的显示屏显示渲染画面。

计算机设备通过各个显示窗体对应的显示屏显示渲染画面。

示意性的，如图3所示，计算机设备通过第一显示屏331对第一显示窗体329中的渲染画面进行显示，通过第二显示屏332对第二显示窗体3210中的渲染画面进行显示。

综上所述，本申请实施例中，计算机设备从本地设备和源端设备中的至少一种中，获取至少一路图像数据，并通过多路渲染线程在显示窗体中对其进行画面渲染，得到渲染画面，最终通过与显示窗体对应的显示屏显示该渲染画面，其中，同一显示窗体支持显示多路画面。采用本申请实施例提供的一种统一的多路画面显示框架，能够通过统一的多路渲染线程，在显示屏对应的显示窗体中对多来源(包括本地设备和重定向设备)的图像数据进行渲染，并支持在同一显示窗体内渲染多路画面，从而实现对多屏同显(多个显示屏显示相同画面)、多屏异显(多个显示屏显示不同画面)、同屏多显示(同一显示屏显示多路不同画面)等显示场景的支持。

请参考图4，其示出了本申请另一个示例性实施例提供的画面显示方法的流程图，本申请实施例以该方法应用于图1所示的实施环境为例进行说明，该方法包括：

步骤401，获取至少一路图像数据，至少一路图像数据的来源包括本地设备和源端设备中的至少一种，源端设备为进行画面重定向的设备。

本步骤的实施方式可以参考上述步骤201，本实施例在此不作赘述。

步骤402，通过多路渲染线程创建显示窗体对应的渲染模块，其中，不同显示窗体对应不同渲染模块。

由于多路渲染线程在各个显示窗体中进行画面渲染，需要由具体的渲染模块负责执行具体的渲染任务，因此，计算机设备通过多路渲染线程创建各个显示窗体对应的渲染模块，该渲染模块负责对应显示窗体内各路画面的渲染。

示意性的，如图5所示，开放图形库(Open Graphics Library，OpenGL)多路渲染线程581创建第一显示窗体561对应的第一OpenGL渲染模块541，创建第二显示窗体562对应的第二OpenGL渲染模块542。

步骤403，基于至少一路图像数据，通过渲染模块在对应的显示窗体中进行画面渲染，得到渲染画面。

计算机设备基于至少一路图像数据，通过渲染模块在对应的显示窗体中进行布局渲染，从而得到图像数据对应的渲染画面，并在显示屏中显示。

在一种可能的实施方式中，该过程包括以下步骤：

1、创建图像数据对应的渲染对象，渲染对象包括顶点坐标和纹理对象。

计算机设备根据获取的图像数据，创建对应的渲染对象，该渲染对象也可以被称为OpenGL逻辑视图。渲染对象包括顶点坐标和纹理对象，其中，顶点坐标用于表示图像数据在显示窗体中的位置信息，纹理对象用于表示图像数据在显示窗体中的纹理表现。

在图像数据对应单一显示屏的情况下，计算机设备基于图像数据对应的表面纹理生成单一渲染对象。

由于同一路画面只需要在一个显示屏中显示，因此计算机设备只需要基于图像数据对应的表面纹理(SurfaceTexture)生成单一渲染对象。

在图像数据对应至少两个显示屏的情况下，计算机设备基于图像数据对应的表面纹理生成至少两个渲染对象，其中，不同渲染对象对应不同显示窗体。

由于同一路画面需要在至少两个显示屏中显示，即同屏多显，比如，同一画面投屏到目的端设备的两个屏幕，或者，同一应用显示在两个屏幕上，因此计算机设备需要基于图像数据对应的表面纹理生成至少两个渲染对象，该渲染对象与显示屏对应的显示窗体一一对应。

示意性的，如图5所示，第一视频解码器511生成的图像数据对应两个显示屏，因此计算机设备基于该图像数据对应的第一表面纹理521生成两个渲染对象，分别为第一OpenGL渲染对象531和第二OpenGL渲染对象532。

第二视频解码器512和第三视频解码器513生成的图像数据均对应一个显示屏，因此计算机设备基于两路图像数据对应的第二表面纹理522和第三表面纹理523，分别生成第三OpenGL渲染对象533和第四OpenGL渲染对象534。

2、将渲染对象添加至对应的渲染模块。

在渲染对象单独显示在一个显示屏的情况下，计算机设备将该渲染对象添加至对应的渲染模块；在多个渲染对象共同显示在一个显示屏的情况下，计算机设备将多个渲染对象共同添加至对应的渲染模块。

示意性的，如图5所示，计算机设备将第一OpenGL渲染对象531添加至第一OpenGL渲染模块541。

计算机设备将第二OpenGL渲染对象532、第三OpenGL渲染对象533和第四OpenGL渲染对象534均添加至第二OpenGL渲染模块542。

3、基于渲染对象，通过渲染模块在对应的显示窗体中进行画面渲染，得到渲染画面。

在一种可能的实施方式中，计算机设备为渲染模块调用渲染上下文环境，在对应显示窗体中进行画面渲染，得到渲染画面，其中，渲染上下文环境封装了相关的应用程序编程接口，为渲染模块提供实际的渲染能力。

示意性的，如图5所示，OpenGL渲染上下文环境592为第一OpenGL渲染模块541和第二OpenGL渲染模块542提供实际的渲染能力。

在渲染模块中包含一个渲染对象的情况下，计算机设备根据该渲染对象，通过渲染模块在对应的显示窗体中进行画面渲染，并利用对应的表面视图控件(SurfaceView)对渲染合成的画面进行显示。

示意性的，如图5所示，第一OpenGL渲染模块541中仅包含第一OpenGL渲染对象531，因此计算机设备根据该渲染对象在对应的第一显示窗体561中进行画面渲染，并利用对应的第一表面视图控件551对渲染画面进行显示。

在渲染模块中包含至少两个渲染对象的情况下，计算机设备需要确定各个渲染对象的布局信息。

在计算机设备需要在同一显示屏中显示多路画面的情况下，由于渲染模块中包含至少两个渲染对象，且各个渲染对象具体需要显示的画面比例和大小尺寸都不尽相同，因此计算机设备需要通过调用多路布局模块，获取各个渲染对象在显示窗体中的显示坐标以及显示尺寸。

其中，多路布局模块根据渲染对象所对应图像数据来源的属性，定制化地动态生成最优的布局样式。计算机设备根据图像数据对应显示画面的长宽比、横竖屏状态、接入顺序，在兼顾布局工整性和均衡性的同时，尽可能保证最高的屏占比。

在一种可能的实施方式中，计算机设备根据各路画面原始的长宽比和横竖屏状态，在画面不变形的情况下，对各路画面进行缩放，并兼顾各路画面属性，合理调整缩放比例，对各路画面进行布局，从而达到最高的屏占比。

计算机设备基于各个渲染对象的布局信息，通过渲染模块在显示窗体中进行多路画面渲染，得到渲染画面。

在一种可能的实施方式中，计算机设备基于各个渲染对象的布局信息，通过渲染模块在对应的目标表面上渲染各个渲染对象对应的画面，其中，不同渲染模块对应不同表面。进一步的，计算机设备通过显示窗体的表面视图控件展示目标表面。

不同于相关技术中，计算机设备对各路画面在各自的表面视图控件中渲染显示，本实施例中，计算机设备通过渲染模块在对应的目标表面上渲染各个渲染对象对应的画面，并通过显示窗体对应的同一个表面视图控件，对渲染合成后的画面进行显示。

示意性的，如图5所示，第二OpenGL渲染模块542中包含第二OpenGL渲染对象532、第三OpenGL渲染对象533和第四OpenGL渲染对象534三个渲染对象，计算机设备通过调用多路布局模块591，根据各个渲染对象对应图像数据来源的属性，对三个OpenGL渲染对象进行合理布局，并通过第二OpenGL渲染模块542在对应目标表面上渲染各个渲染对象对应的画面，进一步，通过第二显示窗体562对应的第二表面视图控件552展示目标表面。

步骤404，通过显示窗体对应的显示屏显示渲染画面。

示意性的，如图5所示，计算机设备通过第一显示屏571对第一显示窗体561中的渲染画面进行显示，通过第二显示屏572对第二显示窗体562中的渲染画面进行显示。

本申请实施例中，计算机设备通过多路渲染线程创建显示窗体对应的渲染模块，并利用渲染上下文环境为渲染模块提供实际的渲染能力，由渲染模块根据图像数据进行画面渲染，此外，在多路图像数据对应同一显示窗体的情况下，通过调用多路布局模块产生布局信息，再由渲染模块进行统一渲染，利用表面视图控件对渲染合成的画面进行显示，有助于提升渲染性能。

结合上述实施例，请参考图6，其示出了本申请一个示例性实施例提供的多路渲染过程的流程图。

步骤601，获取渲染线程句柄。

计算机设备为显示窗体61获取渲染线程句柄，后续通过渲染线程句柄调用OpenGL多路渲染线程62。

步骤602，创建OpenGL线程实例。

在不存在OpenGL多路渲染线程的情况下，计算机设备创建OpenGL多路渲染线程实例，由显示窗体通过渲染线程句柄调用。

步骤603，创建管理上下文环境的实例。

计算机设备根据OpenGL多路渲染线程创建管理上下文环境的实例。

步骤604，返回OpenGL上下文环境句柄。

计算机设备将OpenGL上下文环境句柄返回至OpenGL多路渲染线程中，后续通过OpenGL上下文环境句柄调用OpenGL渲染上下文环境63。

步骤605，返回OpenGL线程句柄。

计算机设备将OpenGL线程句柄返回至对应显示窗体。

步骤606，初始化环境。

计算机设备对显示窗体进行初始化环境。

步骤607，创建OpenGL渲染模块。

计算机设备为显示窗体创建OpenGL渲染模块，其中显示窗体与OpenGL渲染模块一一对应。

步骤608，获取OpenGL渲染模块句柄。

计算机设备从OpenGL渲染模块64中获取OpenGL渲染模块句柄，后续通过OpenGL渲染模块句柄调用OpenGL渲染模块64。

步骤609，启动线程。

计算机设备为显示窗体61启动OpenGL多路渲染线程62。

步骤610，创建OpenGL上下文(context)。

计算机设备通过调用OpenGL渲染上下文环境63创建OpenGL上下文。

步骤611，开始创建渲染模块当前的表面(surface)。

计算机设备为OpenGL渲染模块创建对应的目标表面，使得OpenGL渲染模块在对应目标表面上进行画面渲染。

步骤612，创建OpenGL surface并切换到当前表面(surface)。

在存在多个OpenGL渲染模块对画面进行渲染的情况下，计算机设备创建OpenGLsurface并切换到当前表面，保证OpenGL渲染模块在对应目标表面上进行画面渲染。

步骤613，创建OpenGL渲染对象。

计算机设备根据图像数据创建OpenGL渲染对象65。

步骤614，获取OpenGL渲染对象句柄。

计算机设备从OpenGL渲染对象中获取OpenGL渲染对象句柄，后续通过OpenGL渲染对象句柄调用OpenGL渲染对象65。

步骤615，添加OpenGL渲染对象。

计算机设备将OpenGL渲染对象添加到OpenGL多路渲染线程62中，根据OpenGL渲染对象对画面进行渲染。

步骤616，布局和绘制。

计算机设备在OpenGL渲染线程中调用OpenGL渲染模块，通过OpenGL渲染模块进行布局和绘制。

步骤617，绘制OpenGL渲染对象。

进一步的，计算机设备通过OpenGL渲染模块64对OpenGL渲染对象进行绘制渲染。

在渲染模块中包含至少两个渲染对象的情况下，渲染对象会根据画面显示需要发生变更。

在一种可能的实施方式中，在渲染模块中包含的渲染对象发生变更的情况下，为了根据各个渲染对象对应图像数据来源的属性，对渲染对象进行合理布局。计算机设备需要更新变更后各个渲染对象的布局信息，其中，渲染对象的变更方式包括增加或删除。

进一步的，计算机设备基于更新后的布局信息，通过渲染模块在对应的显示窗体中进行画面更新渲染。

上述实施例中，计算机设备在渲染模块中包含的渲染对象发生变更的情况下，能够根据渲染对象对应图像数据来源的属性，动态地对渲染对象合理布局，提升了渲染性能。此外，在渲染对象发生变更的情况下，计算机设备不再需要创建多余的表面视图控件，只需要通过渲染模块对变更后的渲染对象进行渲染合成，由同一表面视图控件对合成后的画面进行显示。

为了保证显示屏对应的显示窗体能够根据具体显示需要运行使用，计算机设备中通过显示窗体代理对各个显示窗体进行管理，以实现在正确时机创建、复用和销毁显示窗体。

在一种可能的实施方式中，计算机设备首先确定各路图像数据对应的显示屏，在不存在显示屏对应的显示窗体的情况下，通过显示窗体代理为显示屏创建显示窗体；在存在显示屏对应的显示窗体的情况下，通过显示窗体代理选择复用显示屏对应的显示窗体。进一步的，计算机设备通过显示窗体代理获取显示窗体包含的显示实例，在显示窗体中不包含显示实例的情况下，通过显示窗体代理销毁显示窗体。

示意性的，如图7所示，在确定第一图像数据711对应显示屏731，且不存在显示窗体的情况下，计算机设备通过显示窗体代理741创建显示窗体721。

在增加一路图像数据对应显示屏731的情况下，计算机设备通过显示窗体代理741复用显示窗体721，对第二图像数据712进行处理。

在没有图像数据对应显示屏731的情况下，计算机设备通过显示窗体代理741销毁显示窗体721。

上述实施例中，计算机设备能够通过显示窗体代理对显示窗体进行管理，根据画面显示需要，在正确的时机创建、复用和销毁显示窗体，从而避免显示窗体的浪费，减少画面显示过程中所占的存储空间。

根据本申请实施例提供的方案，计算机设备可同时支持同屏多显、多屏同显和多屏异显场景。下面对实际应用举例说明：

在利用多个显示屏显示不同画面的情况下，计算机设备对各路图像数据分别处理，通过多路渲染线程在对应的显示窗体中进行画面渲染，最终在对应的显示屏中进行显示。

示意性的，如图8所示，计算机设备需要显示的画面分别来自两个源端设备和本地设备，四个画面在四个显示屏中分别显示。在第一源端设备81中，第一编码器812对第一应用811的图像数据进行编码，第二编码器814对第二应用813的图像数据进行编码，分别传输到目的端设备83中，由对应的第一解码器831和第二解码器832进行解码，从而获取图像数据；在第二源端设备82中，第三编码器822对第三应用821的图像数据进行编码，传输到目的端设备83中，由第三解码器833进行解码，获取图像数据；本地视频流835由第四解码器834进行解码得到图像数据。进一步的，计算机设备通过多路渲染线程836，在各个对应显示窗体中进行画面渲染，由显示窗体代理8311对第一显示窗体837、第二显示窗体838、第三显示窗体839和第四显示窗体8310进行管理，最终在第一显示屏841、第二显示屏842、第三显示屏843和第四显示屏844中分别进行画面显示。

在利用多个显示屏显示同一画面的情况下，存在两种可能的方式，分别为同一目的端设备的多个显示屏显示同一画面和多个目的端设备的显示屏显示同一画面。

示意性的，如图9所示，计算机设备对源端设备91中的应用911进行画面显示，由编码器912对应用911中的图像数据进行编码，分别传输到第一目的端设备92和第二目的端设备93中，由第一解码器921和第二解码器931分别对其进行解码，在第一目的端设备92中通过第一多路渲染线程922分别在第一显示窗体923和第二显示窗体924中进行画面渲染，在对应第一显示屏941和第二显示屏942中进行画面显示，其中第一显示窗体代理925对第一显示窗体923和第二显示窗体924进行管理；在第二目的端设备93中通过第二多路渲染线程932在第三显示窗体933中进行画面渲染，在对应第三显示屏943中进行画面显示，其中第二显示窗体代理934对第三显示窗体933进行管理。

在利用同一显示屏显示多个画面的情况下，计算机设备对各路图像数据分别处理，通过在多路渲染线程中调用多路布局模块，对各个画面进行合理布局，统一渲染，最终在同一显示屏中显示。

示意性的，如图10所示，计算机设备需要显示的画面分别来自两个源端设备和本地设备，四个画面在同一显示屏中显示。在第一源端设备1001中，第一编码器1012对第一应用1011的图像数据进行编码，第二编码器1014对第二应用1013的图像数据进行编码，分别传输到目的端设备1003中，由对应的第一解码器1031和第二解码器1032进行解码，从而获取图像数据；在第二源端设备1002中，第三编码器1022对第三应用1021的图像数据进行编码，传输到目的端设备1003中，由第三解码器1033进行解码，获取图像数据；本地视频流1035由第四解码器1034进行解码得到图像数据。进一步的，计算机设备通过多路渲染线程1036，调用多路布局模块1037，根据图像数据来源的属性进行布局，在显示窗体1038中进行画面渲染，在显示屏1041中进行画面显示，其中显示窗体代理1039对显示窗体1038进行管理。

根据本申请实施例提供的方案，对源端设备和目的端设备的数量，以及源端设备和目的端设备中图像数据来源路数和显示屏数量不作具体限定。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

请参考图11，其示出了本申请一个实施例提供的画面显示装置的结构框图。该装置可以包括：

数据获取模块1101，用于获取至少一路图像数据，所述至少一路图像数据的来源包括本地设备和源端设备中的至少一种，所述源端设备为进行画面重定向的设备；

画面渲染模块1102，用于基于所述至少一路图像数据，通过多路渲染线程在显示窗体中进行画面渲染，得到渲染画面，其中，同一显示窗体支持显示多路画面；

显示模块1103，用于通过所述显示窗体对应的显示屏显示所述渲染画面。

可选的，所述画面渲染模块1102，用于：

通过所述多路渲染线程创建显示窗体对应的渲染模块，其中，不同显示窗体对应不同渲染模块；

基于所述至少一路图像数据，通过所述渲染模块在对应的显示窗体中进行画面渲染，得到所述渲染画面。

可选的，所述画面渲染模块1102，用于：

创建所述图像数据对应的渲染对象，所述渲染对象包括顶点坐标和纹理对象；

将所述渲染对象添加至对应的渲染模块；

基于所述渲染对象，通过所述渲染模块在对应的显示窗体中进行画面渲染，得到所述渲染画面。

可选的，所述画面渲染模块1102，用于：

在所述图像数据对应单一显示屏的情况下，基于所述图像数据对应的表面纹理生成单一渲染对象；

在所述图像数据对应至少两个显示屏的情况下，基于所述图像数据对应的表面纹理生成至少两个渲染对象，其中，不同渲染对象对应不同显示窗体。

可选的，所述画面渲染模块1102，用于：

在所述渲染模块中包含至少两个渲染对象的情况下，确定各个所述渲染对象的布局信息；

基于各个所述渲染对象的所述布局信息，通过所述渲染模块在所述显示窗体中进行多路画面渲染，得到所述渲染画面。

可选的，所述画面渲染模块1102，用于：

在所述渲染模块中包含至少两个渲染对象的情况下，通过所述渲染模块调用多路布局模块，获取各个所述渲染对象在所述显示窗体中的显示坐标以及显示尺寸。

可选的，所述画面渲染模块1102，用于：

基于各个所述渲染对象的所述布局信息，通过所述渲染模块在对应的目标表面上渲染各个所述渲染对象对应的画面，其中，不同渲染模块对应不同表面；

通过所述显示窗体的表面视图控件展示所述目标表面。

可选的，所述画面渲染模块1102，用于：

在所述渲染模块中包含的渲染对象发生变更的情况下，更新变更后各个渲染对象的所述布局信息，所述渲染对象的变更方式包括增加或删除；

基于更新后的所述布局信息，通过所述渲染模块在对应的显示窗体中进行画面更新渲染。

可选的，所述显示模块1103，用于：

确定各路所述图像数据对应的显示屏；

在不存在所述显示屏对应的显示窗体的情况下，通过显示窗体代理为所述显示屏创建显示窗体；

在存在所述显示屏对应的显示窗体的情况下，通过所述显示窗体代理选择复用所述显示屏对应的显示窗体。

可选的，所述显示模块1103，用于：

通过所述显示窗体代理获取所述显示窗体包含的显示实例；

在所述显示窗体中不包含显示实例的情况下，通过所述显示窗体代理销毁所述显示窗体。

可选的，所述数据获取模块1101，用于：

获取本地应用的应用图像数据；

获取视频解码器输出的视频图像数据，所述视频解码器用于对本地视频流、网络视频流或者重定向视频流进行解码，所述重定向视频流由所述源端设备发送；

获取本地摄像头输出的摄像头图像数据。

综上所述，本申请实施例中，计算机设备从本地设备和源端设备中的至少一种中，获取至少一路图像数据，并通过多路渲染线程在显示窗体中对其进行画面渲染，得到渲染画面，最终通过与显示窗体对应的显示屏显示该渲染画面，其中，同一显示窗体支持显示多路画面。采用本申请实施例提供的一种统一的多路画面显示框架，能够通过统一的多路渲染线程，在显示屏对应的显示窗体中对多来源(包括本地设备和重定向设备)的图像数据进行渲染，并支持在同一显示窗体内渲染多路画面，从而实现对多屏同显(多个显示屏显示相同画面)、多屏异显(多个显示屏显示不同画面)、同屏多显示(同一显示屏显示多路不同画面)等显示场景的支持。

请参考图12，其示出了本申请一个示例性实施例提供的计算机设备的结构方框图。计算机设备1700可以包括一个或多个如下部件：处理器1710、存储器1720和显示屏1730。

处理器1710可以包括一个或者多个处理核心。处理器1710利用各种接口和线路连接整个计算机设备1700内的各个部分，通过运行或执行存储在存储器1720内的指令、程序、代码集或指令集，以及调用存储在存储器1720内的数据，执行计算机设备1700的各种功能和处理数据。可选地，处理器1710可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1710可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-network Processing Unit，NPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制；NPU用于实现人工智能(Artificial Intelligence，AI)功能；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1710中，单独通过一块芯片进行实现。

存储器1720可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选地，该存储器1720包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1720可用于存储指令、程序、代码、代码集或指令集。存储器1720可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等；存储数据区可存储根据计算机设备1700的使用所创建的数据(比如音频数据、电话本)等。

显示屏1730是用于进行图像显示的组件。可选的，计算机设备1700中设置有至少一块显示屏。比如，该显示屏1730为智能手机的显示屏，或者，显示屏1730为车机控制的主驾显示屏和副驾显示屏，或者，该显示屏1730为折叠屏终端的折叠显示屏等等。

除此之外，本领域技术人员可以理解，上述附图所示出的计算机设备1700的结构并不构成对计算机设备的限定，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，计算机设备1700中还包括摄像组件、麦克风、扬声器、射频电路、输入单元、传感器(比如加速度传感器、角速度传感器、光线传感器等等)、音频电路、WiFi模块、电源、蓝牙模块等部件，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如上各个实施例所述的画面显示方法。

本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的画面显示方法。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种画面显示方法，其特征在于，所述方法包括：

获取至少一路图像数据，所述至少一路图像数据的来源包括本地设备和源端设备中的至少一种，所述源端设备为进行画面重定向的设备；

基于所述至少一路图像数据，通过多路渲染线程在显示窗体中进行画面渲染，得到渲染画面，其中，同一显示窗体支持显示多路画面；

通过所述显示窗体对应的显示屏显示所述渲染画面。

2.根据权利要求1所述的方法，其特征在于，所述基于所述至少一路图像数据，通过多路渲染线程在显示窗体中进行画面渲染，得到渲染画面，包括：

通过所述多路渲染线程创建显示窗体对应的渲染模块，其中，不同显示窗体对应不同渲染模块；

基于所述至少一路图像数据，通过所述渲染模块在对应的显示窗体中进行画面渲染，得到所述渲染画面。

3.根据权利要求2所述的方法，其特征在于，所述基于所述至少一路图像数据，通过所述渲染模块在对应的显示窗体中进行画面渲染，得到所述渲染画面，包括：

创建所述图像数据对应的渲染对象，所述渲染对象包括顶点坐标和纹理对象；

将所述渲染对象添加至对应的渲染模块；

基于所述渲染对象，通过所述渲染模块在对应的显示窗体中进行画面渲染，得到所述渲染画面。

4.根据权利要求3所述的方法，其特征在于，所述创建所述图像数据对应的渲染对象，包括：

在所述图像数据对应单一显示屏的情况下，基于所述图像数据对应的表面纹理生成单一渲染对象；

在所述图像数据对应至少两个显示屏的情况下，基于所述图像数据对应的表面纹理生成至少两个渲染对象，其中，不同渲染对象对应不同显示窗体。

5.根据权利要求3所述的方法，其特征在于，所述基于所述渲染对象，通过所述渲染模块在对应的显示窗体中进行画面渲染，得到所述渲染画面，包括：

在所述渲染模块中包含至少两个渲染对象的情况下，确定各个所述渲染对象的布局信息；

基于各个所述渲染对象的所述布局信息，通过所述渲染模块在所述显示窗体中进行多路画面渲染，得到所述渲染画面。

6.根据权利要求5所述的方法，其特征在于，所述在所述渲染模块中包含至少两个渲染对象的情况下，确定各个所述渲染对象的布局信息，包括：

在所述渲染模块中包含至少两个渲染对象的情况下，通过所述渲染模块调用多路布局模块，获取各个所述渲染对象在所述显示窗体中的显示坐标以及显示尺寸。

7.根据权利要求5所述的方法，其特征在于，所述基于各个所述渲染对象的所述布局信息，通过所述渲染模块在所述显示窗体中进行多路画面渲染，得到所述渲染画面，包括：

基于各个所述渲染对象的所述布局信息，通过所述渲染模块在对应的目标表面上渲染各个所述渲染对象对应的画面，其中，不同渲染模块对应不同表面；

通过所述显示窗体的表面视图控件展示所述目标表面。

8.根据权利要求5所述的方法，其特征在于，所述方法还包括：

在所述渲染模块中包含的渲染对象发生变更的情况下，更新变更后各个渲染对象的所述布局信息，所述渲染对象的变更方式包括增加或删除；

基于更新后的所述布局信息，通过所述渲染模块在对应的显示窗体中进行画面更新渲染。

9.根据权利要求1至8任一所述的方法，其特征在于，所述方法还包括：

确定各路所述图像数据对应的显示屏；

在不存在所述显示屏对应的显示窗体的情况下，通过显示窗体代理为所述显示屏创建显示窗体；

在存在所述显示屏对应的显示窗体的情况下，通过所述显示窗体代理选择复用所述显示屏对应的显示窗体。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

通过所述显示窗体代理获取所述显示窗体包含的显示实例；

在所述显示窗体中不包含显示实例的情况下，通过所述显示窗体代理销毁所述显示窗体。

11.根据权利要求1至8任一所述的方法，其特征在于，所述获取至少一路图像数据，包括如下至少一种方式：

获取本地应用的应用图像数据；

获取视频解码器输出的视频图像数据，所述视频解码器用于对本地视频流、网络视频流或者重定向视频流进行解码，所述重定向视频流由所述源端设备发送；

获取本地摄像头输出的摄像头图像数据。

12.一种画面显示装置，其特征在于，所述装置包括：

数据获取模块，用于获取至少一路图像数据，所述至少一路图像数据的来源包括本地设备和源端设备中的至少一种，所述源端设备为进行画面重定向的设备；

画面渲染模块，用于基于所述至少一路图像数据，通过多路渲染线程在显示窗体中进行画面渲染，得到渲染画面，其中，同一显示窗体支持显示多路画面；

显示模块，用于通过所述显示窗体对应的显示屏显示所述渲染画面。

13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如权利要求1至11任一所述的画面显示方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如权利要求1至11任一所述的画面显示方法。

15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中；计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行如权利要求1至11任一所述的画面显示方法。

Images