CN114416005A - 界面显示方法、装置及计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种界面显示方法、装置及计算机可读存储介质；可以识别显示界面中第一应用窗口画面中的画面信息；根据画面信息确定第一应用窗口画面中的空闲画面区域；若检测到显示界面中的第二应用窗口画面，则将第二应用窗口画面悬浮显示在空闲画面区域内。由此可得，本方案可在终端界面以画中画模式对多个应用窗口画面进行展示时，根据第一应用窗口画面中的画面信息来确定第一应用窗口画面中的空闲画面区域，以得到第一应用窗口画面中的可遮挡区域，进而，将需要展示的第二应用窗口画面悬浮在该可遮挡区域上进行显示；以此，有效避免应用窗口画面中的重要信息在画中画模式时被遮挡，满足用户对应用窗口画面的使用需求，提高用户的体验。

Description

界面显示方法、装置及计算机可读存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种界面显示方法、装置及计算机可读存储介质。

背景技术

随着智能终端技术的发展，智能终端可运行用户所需的各项功能应用，如视频应用、游戏应用、即时通讯应用等，带给人们丰富的体验。然而，用户在通过智能终端体验某一功能应用时，同时还可能对其他功能应用具有持续或间歇性的使用需求，例如，用户正在通过智能终端体验即时通讯应用，同时还需要享用视频应用。相关技术为了同时满足用户对多个功能应用的使用需求，以画中画模式同时将多个功能应用的窗口画面展示在终端显示界面上，如，将某一应用窗口画面悬浮在另一应用窗口画面上，以满足用户同时对多个功能应用的使用需求。

然而，相关技术在以画中画模式同时将多个功能应用的窗口画面展示在终端显示界面时，由于将某一应用窗口画面悬浮于另一应用窗口画面的部分区域上，容易导致处于下方的应用窗口画面中的部分重要信息被遮挡，影响用户的使用需求，降低用户的体验。

发明内容

本申请实施例提供一种界面显示方法、装置及计算机可读存储介质。可以有效避免应用窗口画面中的重要信息被遮挡，满足用户对应用窗口画面的使用需求，提高用户的体验。

本申请实施例提供一种界面显示方法，包括：

识别显示界面中第一应用窗口画面中的画面信息；

根据所述画面信息确定所述第一应用窗口画面中的空闲画面区域；

若检测到所述显示界面中的第二应用窗口画面，则将所述第二应用窗口画面悬浮显示在所述空闲画面区域内。

相应的，本申请实施例提供一种界面显示装置，包括：

识别单元，用于识别显示界面中第一应用窗口画面中的画面信息；

确定单元，用于根据所述画面信息确定所述第一应用窗口画面中的空闲画面区域；

显示单元，用于若检测到所述显示界面中的第二应用窗口画面，则将所述第二应用窗口画面悬浮显示在所述空闲画面区域内。

在一些实施例中，所述确定单元，还用于：

识别所述画面信息中的重要画面信息；

确定所述重要画面信息对应的重要画面区域；

根据所述重要画面区域选取所述第一应用窗口画面中的空闲画面区域。

在一些实施例中，所述确定单元，还用于：

识别所述画面信息中包含的画面信息类型；

基于所述画面信息类型，从所述画面信息中筛选出重要画面信息。

在一些实施例中，所述确定单元，还用于：

从所述画面信息类型筛选符合预设信息类型的目标画面信息类型；

从所述画面信息中选取所述目标画面信息类型对应的目标画面信息，并将所述目标画面信息确定为重要画面信息。

在一些实施例中，所述显示单元，还用于：

获取所述空闲画面区域在所述显示界面中的位置信息；

根据所述位置信息确定所述第二应用窗口画面的目标显示位置；

将所述第二应用窗口画面在所述目标显示位置进行悬浮显示。

在一些实施例中，所述显示单元，还用于：

根据所述目标显示位置确定所述第二应用窗口画面在显示时的目标显示尺寸；

根据所述目标显示尺寸对所述第二应用窗口画面进行绘制，以使得所述第二应用窗口画面悬浮显示在所述目标显示位置。

在一些实施例中，所述界面显示装置还包括选取单元，用于：

若检测到所述空闲画面区域包含多个空闲画面子区域，则确定目标对象在历史时间段的视线方向，并根据所述视线方向确定所述显示界面中的视线区域；

基于所述视线区域，从所述多个空闲画面子区域中选取目标空闲画面子区域；

则所述显示单元，还用于从所述位置信息中获取所述目标空闲画面子区域对应的目标位置信息，并将所述目标位置信息确定为所述第二应用窗口画面的目标显示位置。

在一些实施例中，所述确定单元，还用于：

根据所述画面信息确定所述第一应用窗口画面中是否包含空闲画面区域；若所述第一应用窗口画面中不包含空闲画面区域，则根据预设画面布局规则从所述第一应用窗口画面中选取目标子区域，并将所述目标子区域确定为空闲画面区域；

则所述显示单元，还用于确定所述空闲画面区域在所述显示界面中的目标位置信息；获取所述空闲画面区域的画面显示参数，并根据所述画面显示参数确定所述第二应用窗口画面在显示时的透明系数；根据所述目标位置信息及透明系数，对所述第二应用窗口画面进行绘制，以使得所述第二应用窗口画面在所述空闲画面区域内进行悬浮显示。

此外，本申请实施例还提供一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序实现本申请实施例提供的界面显示方法中的步骤。

此外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供的任一种界面显示方法中的步骤。

此外，本申请实施例还提供一种计算机程序，所述计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例所提供的任一种界面显示方法中的步骤。

本申请实施例可以识别显示界面中第一应用窗口画面中的画面信息；根据画面信息确定第一应用窗口画面中的空闲画面区域；若检测到显示界面中的第二应用窗口画面，则将第二应用窗口画面悬浮显示在空闲画面区域内。由此可得，本方案可在终端界面以画中画模式对多个应用窗口画面进行展示时，通过识别第一应用窗口画面中的画面信息，并根据画面信息中的画面信息内容来确定第一应用窗口画面中的空闲画面区域，以得到第一应用窗口画面中的可遮挡区域，进而，将需要展示的第二应用窗口画面悬浮在该可遮挡区域上进行显示；以此，有效避免应用窗口画面中的重要信息在画中画模式时被遮挡，满足用户对应用窗口画面的使用需求，提高用户的体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的界面显示系统的场景示意图；

图2为本申请实施例提供的界面显示方法的步骤流程示意图；

图3是本申请实施例提供的界面显示方法的又一步骤流程示意图；

图4是本申请实施例提供的界面显示方法的方框流程示意图；

图5是本申请实施例提供的界面显示装置的结构示意图；

图6是本申请实施例提供的计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种界面显示方法、装置及计算机可读存储介质。本申请实施例将从界面显示装置的角度进行描述，该界面显示装置具体可以集成在计算机设备中，该计算机设备可以是终端设备。该终端可以是电视、智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能穿戴设备等设备，但并不局限于此。

例如，参见图1，为本申请实施例提供的界面显示系统的场景示意图。该场景包括终端或服务器。

终端或服务器可以识别显示界面中第一应用窗口画面中的画面信息；根据画面信息确定第一应用窗口画面中的空闲画面区域；若检测到显示界面中的第二应用窗口画面，则将第二应用窗口画面悬浮显示在空闲画面区域内。

其中，界面显示可以包括识别画面信息、确定空闲画面区域、显示其他窗口画面等处理方式。

以下分别进行详细说明。需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

在本申请实施例中，将从界面显示装置的角度进行描述，以该界面显示装置具体可以集成在计算机设备如终端设备中。参见图2，图2为本申请实施例提供的一种界面显示方法的步骤流程示意图，终端设备上的处理器执行界面显示方法对应的程序时，该界面显示方法的具体流程如下：

101、识别显示界面中第一应用窗口画面中的画面信息。

其中，该显示界面为用户正在使用的终端设备的终端界面，该显示界面可以显示一些内容信息，如文本、视频、游戏画面等内容信息。

其中，该第一应用窗口画面可以是正在运行的目标应用的窗口画面，表示目标对象(用户)当前正在使用该应用。需要说明的是，该第一应用窗口画面可以是终端显示界面内全屏显示的窗口画面，或，该第一应用窗口画面还可以是终端显示界面中占屏比最大的窗口画面。例如，目标用户正在使用终端设备进行玩游戏和即时聊天，该游戏窗口画面在显示屏幕中全屏显示或显示占比最大，则该游戏窗口画面为上述的第一应用窗口画面，即时聊天窗口画面可以理解为第二应用窗口画面。

其中，该画面信息可以是第一应用窗口画面中的画面内容，该画面信息可以包括文字、应用动画、功能组件、消息框、图标等大量的界面内容。例如，以游戏窗口画面为例，其可包括游戏角色动画、游戏功能按钮、聊天框(包含聊天输入区)、文字、游戏场景画面等信息。

为了使得后续在多窗口画面的展示模式中，避免其他窗口画面影响第一应用窗口画面的重要信息显示，本申请实施例通过对第一应用窗口画面中的所有画面内容进行识别，得到画面信息，以用于后续确定该第一应用窗口画面中的重要信息和非重要信息，从而避免后续在对其他应用窗口画面进行布局时对第一应用窗口画面中的重要信息进行遮挡。

需要说明的是，本申请实施例在同时对多个应用窗口画面进行展示时，可包含两种展示方式，其具体可以根据第一应用窗口画面的占屏比来确定其他应用窗口画面的展示模式，如其他应用窗口画面是否悬浮显示在第一应用窗口画面上。具体的，一方面，当第一应用窗口画面在终端显示界面中的占屏比最大，但非全屏显示，则终端界面在展示多个应用窗口画面时，通常将其他应用窗口画面在显示界面中的非第一应用窗口画面区域进行布局和显示，也可以将其他应用窗口画面在第一应用窗口画面上悬浮显示，此处不做限定。另一方面，当第一应用窗口画面在终端显示界面中全屏显示，则终端界面在展示多个应用窗口画面时，将其他应用窗口画面在第一应用窗口画面上悬浮显示。

在一些实施方式中，步骤“识别显示界面中第一应用窗口画面中的画面信息”之前，还包括：

检测第一应用窗口画面在显示界面中占屏比；将占屏比与预设占屏比阈值进行对比，以确定是否识别显示界面中第一应用窗口画面中的画面信息；则步骤“识别显示界面中第一应用窗口画面中的画面信息”具体可以包括：若占屏比大于或等于该预设占屏比阈值，则识别显示界面中第一应用窗口画面中的画面信息。

在本申请实施例中，终端界面在对多个应用窗口画面进行显示时，可以检测显示界面中是否被一个或多个窗口画面布局满，如第一应用窗口画面是否在该显示界面中全屏布局。具体的，通过检测第一应用窗口画面的占屏比，并将该第一应用窗口画面的占屏比与预设占屏比阈值进行对比，以确定其他应用窗口画面在显示界面布局时的可用界面区域；可用理解的是，当第一应用窗口画面的占屏比大于或等于预设占屏比阈值时，可表示终端显示界面中的可以界面区域较少，不能满足其他应用窗口界面的布局，此时，可将其他应用窗口画面在第一应用窗口画面上的部分区域内进行悬浮显示。

进而，当将其他应用窗口画面在第一应用窗口画面上进行悬浮显示时，为了避免其他应用窗口画面对第一应用窗口画面中的重要信息造成遮挡的现象，需要识别显示界面中第一应用窗口画面中的画面信息，以便于后续确定第一应用窗口画面中的可遮挡区域，以便于后续满足终端显示界面的画中画显示模式。

通过以上方式，可以对第一应用窗口画面中的所有画面内容进行识别，得到画面信息，以用于后续确定该第一应用窗口画面中的重要信息和非重要信息，从而避免后续在对其他应用窗口画面进行布局时对第一应用窗口画面中的重要信息进行遮挡。

102、根据画面信息确定第一应用窗口画面中的空闲画面区域。

其中，该空闲画面区域可以是第一应用窗口画面中不包含重要信息的部分画面区域，还可以是第一应用窗口画面中默认选定的部分画面区域。可以理解的是，终端界面同时对多个应用窗口画面进行展示时，为了满足用户的展示需求，该空闲画面区域可以是第一应用窗口画面中的可遮挡区域或可覆盖区域，具体可以将其他应用窗口画面悬浮在该空闲画面区域进行显示。

在第一应用窗口画面已经在终端显示界面中进行显示的前提下，为了后续将其他应用窗口画面悬浮显示在第一应用窗口画面的部分区域，本申请实施例在识别到第一应用窗口画面中的画面信息后，可以根据该画面信息确定第一应用窗口画面中的重要信息和非重要信息，从而，基于重要信息和非重要信息，确定第一应用窗口画面中空闲画面区域。

在一些实施方式中，步骤“根据画面信息确定第一应用窗口画面中的空闲画面区域”，可以包括：

(1)识别画面信息中的重要画面信息。

其中，该重要画面信息可以是第一应用窗口画面中的一个或多个重要信息，该重要画面信息可能会影响目标对象(用户)在享用第一应用窗口画面时的体验或操作。例如，以游戏应用画面作为第一应用窗口画面为例，该重要画面信息可以是游戏窗口画面中的聊天框、功能按键区、游戏角色动画等，假若以上画面信息被遮挡，将会影响用户的操作和体验。

为了确定第一应用窗口画面中的重要画面信息，本申请实施例在得到第一应用窗口画面的画面信息后，需要识别重要画面信息，以区分画面信息中的重要画面信息和非重要画面信息。具体的，该重要画面信息的识别过程为：识别画面信息中包含的画面信息类型；基于画面信息类型，从画面信息中筛选出重要画面信息。

其中，在对画面信息进行分类时，可以预先设定用于信息分类的规则，并根据预设信息分类规则对画面信息进行分类，以确定画面信息所包含的信息类型。此外，还可以通过训练好的分类模型进行识别，具体的，通过预设画面图像数据集分别对预设模型进行迭代训练，得到可用于识别画面或图像包含的画面信息类型的目标分类模型，通过训练后的目标模型对第一应用窗口画面(对应的图像)进行信息分类，得到第一应用窗口画面对应的画面信息类型集合。以便于后续第一应用窗口画面的对画面信息类型确定重要画面信息和非重要画面信息。

进一步的，在确定画面信息中包含的画面信息类型后，基于画面信息类型，从画面信息中筛选出重要画面信息。具体的，该筛选过程可以是：从画面信息类型筛选符合预设信息类型的目标画面信息类型；从画面信息中选取目标画面信息类型对应的目标画面信息，并将目标画面信息确定为重要画面信息。其中，该预设信息类型可以是目标对象在享用目标应用时应用窗口画面的主要信息类型，例如，该预设信息类型可以包括功能组件类型、消息框类型、画面动画、文本、视频播放区类型等等，具体可根据实际情况设定，此处不做限定。

(2)确定重要画面信息对应的重要画面区域。

具体的，本申请实施例在确定画面信息中得重要画面信息后，可确定这些重要画面信息在第一应用窗口画面中的重要画面区域，具体可根据重要画面信息在第一应用窗口画面中的布局来确定。

(3)根据重要画面区域选取第一应用窗口画面中的空闲画面区域。

具体的，在确定第一应用窗口画面中的重要画面区域后，将第一应用窗口画面中重要画面区域之外的区域确定为空闲画面区域，以供其他应用窗口画面布局，实现悬浮显示。

此外，在申请实施例中，步骤“根据画面信息确定第一应用窗口画面中的空闲画面区域”，可以包括：根据画面信息确定第一应用窗口画面中是否包含空闲画面区域；若第一应用窗口画面中不包含空闲画面区域，则根据预设画面布局规则从第一应用窗口画面中选取目标子区域，并将目标子区域确定为空闲画面区域。

具体的，经过初步的信息类型识别判定，当第一应用窗口画面中所包含的画面信息都属于重要画面信息时，可根据预设画面布局规则将第一应用窗口画面中默认的目标子区域作为空闲画面区域。例如，该预设画面布局规则为窗口画面中的左上角位置的目标子区域，该目标子区域的大小也可由预设画面布局规则确定，如将终端显示界面等分为12个子区域，当第一应用窗口画面在显示界面全屏或非全屏布局显示时，以显示界面中左上角位置的目标子区域默认为空闲画面区域。

进而，当第一应用窗口画面中所包含的画面信息都属于重要画面信息时，对其他应用窗口画面(以第二应用窗口画面为例)进行布局显示。具体的，其布局显示过程为：确定空闲画面区域在显示界面中的目标位置信息；获取空闲画面区域的画面显示参数，并根据画面显示参数确定第二应用窗口画面在显示时的透明系数；根据目标位置信息及透明系数，对第二应用窗口画面进行绘制，以使得第二应用窗口画面在空闲画面区域内进行悬浮显示。

例如，在当第一应用窗口画面中所包含的画面信息都属于重要画面信息时，则将第一应用窗口画面中的左上角位置的目标子区域作为空闲画面区域；并在后续检测到显示界面中的第二应用窗口画面时，获取该空闲画面区域的目标位置信息，以便于后续根据该目标位置信息确定第二应用窗口画面在后续显示时的位置及尺寸；接着，获取第一应用窗口画面中空闲画面区域的画面显示参数，该画面显示参数可以包括显示亮度、像素值等参数，其可反映该空闲画面区域的画面显示情况，需要说明的是，由于该默认的空闲画面区域实际上被判定包含重要画面信息，为了使得第一应用窗口画面中的该空闲画面区域的重要画面信息不被完全遮挡，可以调整悬浮在空闲画面区域上的第二应用窗口画面在显示时的画面参数，如调整第二应用窗口画面在显示时的透明度，具体的，根据画面显示参数确定第二应用窗口画面在显示时的透明系数；最后，基于确定的目标位置信息及透明系数，对第二应用窗口画面进行绘制，以使得第二应用窗口画面悬浮显示在空闲画面区域上，且由于该第二应用窗口画面的透明度，使其悬浮在第一应用窗口画面的空闲画面区域时，第一应用窗口画面的空闲画面区域中的重要画面信息仍然可见，避免用户遗漏信息。

通过以上方式，可根据该画面信息确定第一应用窗口画面中的重要信息和非重要信息，从而，基于重要信息和非重要信息，确定第一应用窗口画面中空闲画面区域。

103、若检测到显示界面中的第二应用窗口画面，则将第二应用窗口画面悬浮显示在空闲画面区域内。

其中，该第二应用窗口画面可以是正在运行的其他应用的窗口画面，表示目标对象当前正在使用该应用。需要说明的是，该第二应用窗口画面通常是指终端在已经确定第一应用窗口画面情况下的一个应用窗口画面，该第二应用窗口画面的在显示界面中的占屏比小于第一应用窗口画面在显示界面中的占屏比。

值得注意的是，在本申请实施例中，当显示界面中出现两个应用窗口画面时，可根据用户的窗口画面的大小调节情况，以占屏比较大的应用窗口画面作为第一应用窗口画面，以占屏比较小的应用窗口画面作为第二应用窗口画面，与应用窗口画面的启动顺序无关。

为了避免第二应用窗口画面对第一应用窗口画面中的重要信息造成遮挡，本申请实施例在确定第一应用窗口画面中的空闲画面区域后，若检测到显示画面中还包含第二应用窗口画面，将第二应用窗口画面悬浮显示在空闲画面区域内。

具体的，步骤“将第二应用窗口画面悬浮显示在空闲画面区域内”，可以包括：

(1)获取空闲画面区域在显示界面中的位置信息。

其中，该位置信息可以包括显示界面中的画面区域边长、区域的边缘坐标、区域对应的像素点位置等，根据该位置信息可以确定该空闲画面区域的尺寸大小。

具体的，可以空闲画面区域在显示界面中的多个像素点坐标位置确定位置信息，还可通过其他方式确定，此处不做限定。

(2)根据位置信息确定第二应用窗口画面的目标显示位置。

其中，该目标显示位置可以是第二应用窗口画面在显示时的显示位置信息，具体可以是指显示界面中的目标位置。需要说明的是，该目标显示位置可以是空闲画面区域所指代的位置信息，还可以是空闲画面区域所指代的位置信息中的某一位置信息；具体的，当空闲画面区域包括一个子区域时，如进包含第一应用窗口画面中的左上角区域，则该目标显示位置可以是空闲画面区域所指代的位置信息，当空闲画面区域包括多个子区域时，如包含左上角区域、左下角区域、右上角区域、右下角区域、顶部区域等，则目标显示位置可以是其中一个目标子区域对应的位置信息，具体根据需求确定。

需要说明的是，当第一应用窗口画面中的空闲画面区域包含多个空闲画面子区域时，可以随机选取一个空闲画面子区域作为后续第二应用窗口画面的悬浮显示时的区域，还可以根据用户的行为习惯或浏览习惯选取一个合适的空闲画面子区域作为后续第二应用窗口画面的悬浮显示时的区域。

以根据用户的浏览习惯选取一个合适的空闲画面子区域为例，其具体过程可以是：若检测到空闲画面区域包含多个空闲画面子区域，则确定目标对象在历史时间段的视线方向，并根据视线方向确定显示界面中的视线区域；基于视线区域，从多个空闲画面子区域中选取目标空闲画面子区域。进而，步骤“根据位置信息确定第二应用窗口画面的目标显示位置”可以包括：从位置信息中获取目标空闲画面子区域对应的目标位置信息，并将目标位置信息确定为第二应用窗口画面的目标显示位置。需要说明的是，确定目标对象在历史时间段的视线方向，其过程可以是：获取目标对象在历史时段内的瞳孔方向，如通过摄像头或红外光传感器等方式实时记录目标对象的瞳孔信息；根据历史时段内的瞳孔方向确定目标对象在历史时间段的视线方向，若检测到目标对象在历史时间段包含多个视线方向，则选取频次最大的视线方向作为目标对象的视线方向。

(3)将第二应用窗口画面在目标显示位置进行悬浮显示。

具体的，在根据空闲画面区域的位置信息确定第二应用窗口画面在显示时的目标显示位置后，可以基于该目标显示位置，对该第二应用窗口画面进行显示，以使得第二应用窗口画面悬浮显示在第一应用窗口画面上。

在一些实施方式中，步骤“将第二应用窗口画面在目标显示位置进行悬浮显示”，可以包括：

(3.1)根据目标显示位置确定第二应用窗口画面在显示时的目标显示尺寸；

(3.2)根据目标显示尺寸对第二应用窗口画面进行绘制，以使得第二应用窗口画面悬浮显示在目标显示位置。

具体的，为了使得第二应用窗口画面在显示时准确地在第一应用窗口画面上的目标位置(空闲画面区域)进行悬浮显示，本申请实施例在得到第二应用窗口画面在显示时的目标显示位置后，可以根据该目标显示位置确定第二应用窗口画面在显示时的目标显示尺寸，具体可以根据目标显示位置的像素点坐标、边长等来确定第二应用窗口画面在显示时的目标显示尺寸；进而，根据该目标显示尺寸，在目标显示位置上对第二应用窗口画面进行绘制，以使得第二应用窗口画面在显示时准确地悬浮显示在第一应用窗口画面上的目标位置上，避免对第一应用窗口画面上其他重要画面信息造成遮挡，具有可靠性。

由以上可知，本申请实施例可以识别显示界面中第一应用窗口画面中的画面信息；根据画面信息确定第一应用窗口画面中的空闲画面区域；若检测到显示界面中的第二应用窗口画面，则将第二应用窗口画面悬浮显示在空闲画面区域内。由此可得，本方案可在终端界面以画中画模式对多个应用窗口画面进行展示时，通过识别第一应用窗口画面中的画面信息，并根据画面信息中的画面信息内容来确定第一应用窗口画面中的空闲画面区域，以得到第一应用窗口画面中的可遮挡区域，进而，将需要展示的第二应用窗口画面悬浮在该可遮挡区域上进行显示；以此，有效避免应用窗口画面中的重要信息在画中画模式时被遮挡，满足用户对应用窗口画面的使用需求，提高用户的体验。

在本申请实施例中，将从界面显示装置的角度进行描述，以该界面显示装置具体可以集成在计算机设备如终端中。参见图3和图4，图3为本申请实施例提供的界面显示方法的又一步骤流程示意图，图4为本申请实施例提供的界面显示方法的时序流程示意图，为了便于理解，结合图3和图4进行叙述。

其中，终端上的处理器执行界面显示方法对应的程序时，该界面显示方法的具体流程如下：

201、确定显示界面中第一应用窗口画面的占屏比。

其中，该占屏比是指第一应用窗口画面在显示界面中所占屏幕的大小，其可反映第一应用窗口画面在显示界面中的比例，以确定第一应用窗口画面是否在该显示界面中全屏布局。

202、若占屏比大于或等于该预设占屏比阈值，则识别显示界面中第一应用窗口画面中的画面信息。

具体的，将该第一应用窗口画面的占屏比与预设占屏比阈值进行对比，以确定其他应用窗口画面在显示界面布局时的可用界面区域；可用理解的是，当第一应用窗口画面的占屏比大于或等于预设占屏比阈值时，可表示终端显示界面中的可以界面区域较少，不能满足其他应用窗口界面的布局。此时，可将其他应用窗口画面在第一应用窗口画面上的部分区域内进行悬浮显示。

为了使得后续在多窗口画面的展示模式中，避免其他窗口画面影响第一应用窗口画面的重要信息显示，本申请实施例通过对第一应用窗口画面中的所有画面内容进行识别，得到画面信息，以用于后续确定该第一应用窗口画面中的重要信息和非重要信息，从而避免后续在对其他应用窗口画面进行布局时对第一应用窗口画面中的重要信息进行遮挡。

此外，在识别画面信息时，可以将显示界面划分为多个子区域，并对每一帧中的每个子区域进行画面信息识别，以实现对每个子区域的遍历。

203、识别画面信息中的重要画面信息。

其中，该重要画面信息可以是第一应用窗口画面中的一个或多个重要信息，该重要画面信息可能会影响目标对象(用户)在享用第一应用窗口画面时的体验或操作。例如，以游戏应用画面作为第一应用窗口画面为例，该重要画面信息可以是游戏窗口画面中的聊天框、功能按键区、游戏角色动画等，假若以上画面信息被遮挡，将会影响用户的操作和体验。

具体的，该重要画面信息的识别过程为：识别画面信息中包含的画面信息类型；从画面信息类型筛选符合预设信息类型的目标画面信息类型；从画面信息中选取目标画面信息类型对应的目标画面信息，并将目标画面信息确定为重要画面信息。其中，该预设信息类型可以是目标对象在享用目标应用时应用窗口画面的主要信息类型，例如，该预设信息类型可以包括功能组件类型、消息框类型、画面动画、文本、视频播放区类型等等，具体可根据实际情况设定，此处不做限定。

204、确定重要画面信息对应的重要画面区域。

具体的，在确定画面信息中得重要画面信息后，可确定这些重要画面信息在第一应用窗口画面中的重要画面区域。

205、根据重要画面区域确定第一应用窗口画面中是否包含空闲画面区域。

具体的，一方面，在确定第一应用窗口画面中的重要画面区域后，可将第一应用窗口画面中重要画面区域之外的区域确定为空闲画面区域，此时，则执行步骤206即可，需要注意的是，无需执行步骤207-208。

另一方面，经过初步的信息类型识别判定，当第一应用窗口画面中所包含的画面信息都属于重要画面信息时，执行步骤207-208。

206、若第一应用窗口画面中包含空闲画面区域，则在检测到显示界面中的第二应用窗口画面时，将第二应用窗口画面悬浮显示在空闲画面区域内。

具体的，为了避免第二应用窗口画面对第一应用窗口画面中的重要信息造成遮挡，本申请实施例在确定第一应用窗口画面中的空闲画面区域后，若检测到显示画面中还包含第二应用窗口画面，则获取空闲画面区域在显示界面中的位置信息，根据位置信息确定第二应用窗口画面的目标显示位置，将第二应用窗口画面在目标显示位置进行悬浮显示。

207、若第一应用窗口画面中不包含空闲画面区域，则根据预设画面布局规则从第一应用窗口画面中选取目标子区域，并将目标子区域确定为空闲画面区域。

具体的，经过初步的信息类型识别判定，当根据第一应用窗口画面包含的画面信息无法确定空闲画面区域时，说明第一应用窗口画面中所包含的画面信息都属于重要画面信息，此时，可根据预设画面布局规则将第一应用窗口画面中默认的目标子区域作为空闲画面区域。例如，该预设画面布局规则为窗口画面中的左上角位置的目标子区域，该目标子区域的大小也可由预设画面布局规则确定，如将终端显示界面等分为12个子区域，当第一应用窗口画面在显示界面全屏或非全屏布局显示时，以显示界面中左上角位置的目标子区域默认为空闲画面区域。

208、在检测到显示界面中的第二应用窗口画面时，将第二应用窗口画面悬浮显示在空闲画面区域内。

例如，当第一应用窗口画面中所包含的画面信息都属于重要画面信息时，由于将第一应用窗口画面中的左上角位置的目标子区域作为空闲画面区域；则在后续检测到显示界面中的第二应用窗口画面时，获取该空闲画面区域的目标位置信息，以便于后续根据该目标位置信息确定第二应用窗口画面在后续显示时的位置及尺寸；接着，获取第一应用窗口画面中空闲画面区域的画面显示参数，该画面显示参数可以包括显示亮度、像素值等参数，其可反映该空闲画面区域的画面显示情况；进而，并基于画面显示参数计算/确定悬浮在空闲画面区域上的第二应用窗口画面在显示时的画面参数，如调整第二应用窗口画面在显示时的透明度；最后，基于确定的目标位置信息及透明系数，对第二应用窗口画面进行绘制，以使得第二应用窗口画面悬浮显示在空闲画面区域上，且由于该第二应用窗口画面的透明度，使其悬浮在第一应用窗口画面的空闲画面区域时，第一应用窗口画面的空闲画面区域中的重要画面信息仍然可见，避免用户遗漏信息。

结合图4，为本申请实施例提供的界面显示方法的方框流程示意图，通过执行步骤201-208，可实现如下场景：

当终端界面的目标应用进入画中画模式后，因为画中画窗口悬浮在当前应用之上，如某些游戏场景，画中画的窗口会经常会干扰用户的操作、遮挡应用的重要信息，界面显示场景具体如下：

(1)识别界面每一帧的非输入区域、非关键信息区域，定义为可遮挡区域。具体的，将显示界面中的画面划分屏幕区域，如可将屏幕划分为12个小格；进而，依次从左到右，从上到下，遍历如上12个子区域，以确定各个子区域是否满足预设信息类型条件，若满足(Y)，则视为可遮挡区(空闲画面区域)；若不满足(N)，则继续找下查看下个区域是否满足作为可遮挡区(空闲画面区域)的条件。其中，该预设信息类型条件可以是：该子区域无按钮、属于非输入区域、无动画、唔视频播放等，具体可根据实际需求设定。

需要说明的是，当从以上12个子区域都无法查找出可遮挡区域(空闲画面区域)时，根据预设画面布局规则将显示界面或画面中的左上角作为可遮挡区域(空闲画面区域)。

(2)在得到可遮挡区域(空闲画面区域)后，调节画中画模式下第二应用窗口画面的大小、位置，使其处于可遮挡区域(空闲画面区域)内。

需要说明的是，在无法从显示界面或画面的12个子区域中查找出可遮挡区域(空闲画面区域)时，由于可遮挡区域(空闲画面区域)是根据预设画面布局规则确定的，则调节画中画模式下第二应用窗口画面的大小、位置及透明度，使得其悬浮显示于显示界面或画面中的左上角的可遮挡区域(空闲画面区域)内。

由以上可知，本申请实施例可以识别显示界面中第一应用窗口画面中的画面信息；根据画面信息确定第一应用窗口画面中的空闲画面区域；若检测到显示界面中的第二应用窗口画面，则将第二应用窗口画面悬浮显示在空闲画面区域内。由此可得，本方案可在终端界面以画中画模式对多个应用窗口画面进行展示时，通过识别第一应用窗口画面中的画面信息，并根据画面信息中的画面信息内容来确定第一应用窗口画面中的空闲画面区域，以得到第一应用窗口画面中的可遮挡区域，进而，将需要展示的第二应用窗口画面悬浮在该可遮挡区域上进行显示；以此，有效避免应用窗口画面中的重要信息在画中画模式时被遮挡，满足用户对应用窗口画面的使用需求，提高用户的体验。

以上各个操作的具体实施可参见前面的实施例，在此不作赘述。

为了更好地实施以上方法，本申请实施例还提供一种界面显示装置，该界面显示装置可以集成在计算机设备，比如服务器等计算机设备中。

例如，如图5所示，该界面显示装置可以包括识别单元501、确定单元502、和显示单元503。

识别单元501，用于识别显示界面中第一应用窗口画面中的画面信息；

确定单元502，用于根据画面信息确定第一应用窗口画面中的空闲画面区域；

显示单元503，用于若检测到显示界面中的第二应用窗口画面，则将第二应用窗口画面悬浮显示在空闲画面区域内。

在一些实施例中，确定单元502，还用于：

识别画面信息中的重要画面信息；确定重要画面信息对应的重要画面区域；根据重要画面区域选取第一应用窗口画面中的空闲画面区域。

在一些实施例中，确定单元502，还用于：

识别画面信息中包含的画面信息类型；基于画面信息类型，从画面信息中筛选出重要画面信息。

在一些实施例中，确定单元502，还用于：

从画面信息类型筛选符合预设信息类型的目标画面信息类型；从画面信息中选取目标画面信息类型对应的目标画面信息，并将目标画面信息确定为重要画面信息。

在一些实施例中，显示单元503，还用于：

获取空闲画面区域在显示界面中的位置信息；根据位置信息确定第二应用窗口画面的目标显示位置；将第二应用窗口画面在目标显示位置进行悬浮显示。

在一些实施例中，显示单元503，还用于：

根据目标显示位置确定第二应用窗口画面在显示时的目标显示尺寸；根据目标显示尺寸对第二应用窗口画面进行绘制，以使得第二应用窗口画面悬浮显示在目标显示位置。

在一些实施例中，界面显示装置还包括选取单元，用于：

若检测到空闲画面区域包含多个空闲画面子区域，则确定目标对象在历史时间段的视线方向，并根据视线方向确定显示界面中的视线区域；基于视线区域，从多个空闲画面子区域中选取目标空闲画面子区域；

则显示单元503，还用于从位置信息中获取目标空闲画面子区域对应的目标位置信息，并将目标位置信息确定为第二应用窗口画面的目标显示位置。

在一些实施例中，确定单元502，还用于：

根据画面信息确定第一应用窗口画面中是否包含空闲画面区域；若第一应用窗口画面中不包含空闲画面区域，则根据预设画面布局规则从第一应用窗口画面中选取目标子区域，并将目标子区域确定为空闲画面区域；

则显示单元503，还用于确定空闲画面区域在显示界面中的目标位置信息；获取空闲画面区域的画面显示参数，并根据画面显示参数确定第二应用窗口画面在显示时的透明系数；根据目标位置信息及透明系数，对第二应用窗口画面进行绘制，以使得第二应用窗口画面在空闲画面区域内进行悬浮显示。

在一些实施例中，该界面显示装置还包括检测单元，用于：

检测第一应用窗口画面在显示界面中占屏比；将占屏比与预设占屏比阈值进行对比，以确定是否识别显示界面中第一应用窗口画面中的画面信息；

则显示单元，还用于若占屏比大于或等于该预设占屏比阈值，则识别显示界面中第一应用窗口画面中的画面信息。

由上可知，本申请实施例通过识别单元501识别显示界面中第一应用窗口画面中的画面信息；通过确定单元502根据画面信息确定第一应用窗口画面中的空闲画面区域；通过显示单元503若检测到显示界面中的第二应用窗口画面，则将第二应用窗口画面悬浮显示在空闲画面区域内。由此可得，本方案可在终端界面以画中画模式对多个应用窗口画面进行展示时，通过识别第一应用窗口画面中的画面信息，并根据画面信息中的画面信息内容来确定第一应用窗口画面中的空闲画面区域，以得到第一应用窗口画面中的可遮挡区域，进而，将需要展示的第二应用窗口画面悬浮在该可遮挡区域上进行显示；以此，有效避免应用窗口画面中的重要信息在画中画模式时被遮挡，满足用户对应用窗口画面的使用需求，提高用户的体验。

本申请实施例还提供一种计算机设备，如图6所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：

该计算机设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图6中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器601是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器601可包括一个或多个处理核心；优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。

存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及界面显示。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。

计算机设备还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下：

识别显示界面中第一应用窗口画面中的画面信息；根据画面信息确定第一应用窗口画面中的空闲画面区域；若检测到显示界面中的第二应用窗口画面，则将第二应用窗口画面悬浮显示在空闲画面区域内。

以上各个操作的具体实施可参见前面的实施例，在此不作赘述。

由以上可知，本申请实施例可以识别显示界面中第一应用窗口画面中的画面信息；根据画面信息确定第一应用窗口画面中的空闲画面区域；若检测到显示界面中的第二应用窗口画面，则将第二应用窗口画面悬浮显示在空闲画面区域内。由此可得，本方案可在终端界面以画中画模式对多个应用窗口画面进行展示时，通过识别第一应用窗口画面中的画面信息，并根据画面信息中的画面信息内容来确定第一应用窗口画面中的空闲画面区域，以得到第一应用窗口画面中的可遮挡区域，进而，将需要展示的第二应用窗口画面悬浮在该可遮挡区域上进行显示；以此，有效避免应用窗口画面中的重要信息在画中画模式时被遮挡，满足用户对应用窗口画面的使用需求，提高用户的体验。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种界面显示方法中的步骤。例如，该指令可以执行如下步骤：

识别显示界面中第一应用窗口画面中的画面信息；根据画面信息确定第一应用窗口画面中的空闲画面区域；若检测到显示界面中的第二应用窗口画面，则将第二应用窗口画面悬浮显示在空闲画面区域内。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中各种可选实现方式中提供的界面显示方法。

由于该计算机可读存储介质中所存储的指令，可以执行本申请实施例所提供的任一种界面显示方法中的步骤，因此，可以实现本申请实施例所提供的任一种界面显示方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种界面显示方法、装置及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种界面显示方法，其特征在于，包括：

识别显示界面中第一应用窗口画面中的画面信息；

根据所述画面信息确定所述第一应用窗口画面中的空闲画面区域；

若检测到所述显示界面中的第二应用窗口画面，则将所述第二应用窗口画面悬浮显示在所述空闲画面区域内。

2.根据权利要求1所述的方法，其特征在于，所述根据所述画面信息确定所述第一应用窗口画面中的空闲画面区域，包括：

识别所述画面信息中的重要画面信息；

确定所述重要画面信息对应的重要画面区域；

根据所述重要画面区域选取所述第一应用窗口画面中的空闲画面区域。

3.根据权利要求2所述的方法，其特征在于，所述识别所述画面信息中的重要画面信息，包括：

识别所述画面信息中包含的画面信息类型；

基于所述画面信息类型，从所述画面信息中筛选出重要画面信息。

4.根据权利要求3所述的方法，其特征在于，所述基于所述画面信息类型，从所述画面信息中筛选出重要画面信息，包括：

从所述画面信息类型筛选符合预设信息类型的目标画面信息类型；

从所述画面信息中选取所述目标画面信息类型对应的目标画面信息，并将所述目标画面信息确定为重要画面信息。

5.根据权利要求1所述的方法，其特征在于，所述将所述第二应用窗口画面悬浮显示在所述空闲画面区域内，包括：

获取所述空闲画面区域在所述显示界面中的位置信息；

根据所述位置信息确定所述第二应用窗口画面的目标显示位置；

将所述第二应用窗口画面在所述目标显示位置进行悬浮显示。

6.根据权利要求5所述的方法，其特征在于，所述根据所述位置信息确定所述第二应用窗口画面的目标显示位置之前，还包括：

若检测到所述空闲画面区域包含多个空闲画面子区域，则确定目标对象在历史时间段的视线方向，并根据所述视线方向确定所述显示界面中的视线区域；

基于所述视线区域，从所述多个空闲画面子区域中选取目标空闲画面子区域；

则所述根据所述位置信息确定所述第二应用窗口画面的目标显示位置，包括：

从所述位置信息中获取所述目标空闲画面子区域对应的目标位置信息，并将所述目标位置信息确定为所述第二应用窗口画面的目标显示位置。

7.根据权利要求5所述的方法，其特征在于，所述将所述第二应用窗口画面在所述目标显示位置进行悬浮显示，包括：

根据所述目标显示位置确定所述第二应用窗口画面在显示时的目标显示尺寸；

根据所述目标显示尺寸对所述第二应用窗口画面进行绘制，以使得所述第二应用窗口画面悬浮显示在所述目标显示位置。

8.根据权利要求1所述的方法，其特征在于，所述根据所述画面信息确定所述第一应用窗口画面中的空闲画面区域，包括：

根据所述画面信息确定所述第一应用窗口画面中是否包含空闲画面区域；

若所述第一应用窗口画面中不包含空闲画面区域，则根据预设画面布局规则从所述第一应用窗口画面中选取目标子区域，并将所述目标子区域确定为空闲画面区域；

则所述将所述第二应用窗口画面悬浮显示在所述空闲画面区域内，包括：

确定所述空闲画面区域在所述显示界面中的目标位置信息；

获取所述空闲画面区域的画面显示参数，并根据所述画面显示参数确定所述第二应用窗口画面在显示时的透明系数；

根据所述目标位置信息及透明系数，对所述第二应用窗口画面进行绘制，以使得所述第二应用窗口画面在所述空闲画面区域内进行悬浮显示。

9.一种界面显示装置，其特征在于，包括：

识别单元，用于识别显示界面中第一应用窗口画面中的画面信息；

确定单元，用于根据所述画面信息确定所述第一应用窗口画面中的空闲画面区域；

显示单元，用于若检测到所述显示界面中的第二应用窗口画面，则将所述第二应用窗口画面悬浮显示在所述空闲画面区域内。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质为计算机可读并存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8任一项所述的界面显示方法中的步骤。

Images