CN115633219A - 一种界面识别方法及设备 - Google Patents

Abstract

本申请公开了一种界面识别方法及设备，涉及视频显示领域，解决了无法识别视频播放时是否显示了附加动效的问题。具体方案为：在电子设备显示应用程序(如视频类应用程序、直播类应用程序)播放的视频时，电子设备识别当前显示界面的图层属性(如图层数、各图层的标识等)，然后根据图层属性的识别结果来确定当前的显示界面中是否显示有附加动效(如，弹幕、表情动效、礼物动效等)。或者，该界面识别方法还可以是在电子设备显示应用程序(如视频类应用程序、直播类应用程序)播放的视频时，电子设备通过对当前的显示界面内的元素(元素可以是显示界面内的控件、图形、画面等)进行识别以确定当前的显示界面是否显示有附加动效。

Description

一种界面识别方法及设备

技术领域

本申请涉及视频显示领域，尤其涉及一种界面识别方法及设备。

背景技术

随着科技的进步，电子设备(如，手机、平板电脑等)的配置和性能越来越高，能满足用户越来越多的使用需求。由于视频类内容能够更快更清楚生动的传播信息，因此当前人们使用电子设备观看视频类内容的时间和频率也越来越高，提供长视频内容、短视频内容、视频直播等功能的各类视频类、直播类应用程序随之快速发展。为了满足用户在观看视频时具有更高的娱乐性和互动性，各个视频类应用程序在播放视频的同时还会提供一些交互能力。例如，目前大部分视频类应用程序在播放视频时，均能够为用户提供发送弹幕、发送表情动效等功能。相应地，视频类应用程序在播放视频时会显示用户发送的弹幕、表情动效等。大部分直播类应用程序在播放直播视频时，除了可以向用户提供发送弹幕、发送表情动效的功能外，还可以提供为主播赠送礼物的功能。相应地，直播类应用程序在播放直播视频时，会显示用户发送的弹幕、表情动效、礼物动效等。

当然，为了向用户提供个性化选择，这些视频类应用程序和直播类应用程序，在播放视频时显示弹幕、表情动效、礼物动效等均可以被用户选择性开启或关闭。

目前，电子设备在显示视频类应用程序、直播类应用程序播放的视频时，一般会采用显示屏支持的最高刷新率(例如，一般显示屏的60Hz刷新率、或者部分具有更高刷新率的显示屏的90Hz刷新率、120Hz刷新率等)进行显示。但是，目前绝大多数的视频资源(如，直播视频、影视视频等)的帧率基本都是30帧或者更低。因此，为了降低电子设备显示视频类应用程序、直播类应用程序播放的视频时的功耗，电子设备可以在显示应用程序播放的视频且用户无操作输入时，关闭处理器的大核，从而在低功耗下保证视频的正常播放。

但是，若用户开启了显示弹幕、表情动效、礼物动效时，电子设备在显示视频时还会显示相应的弹幕或礼物动效。此时，电子设备会由于弹幕或礼物动效的显示增加了计算量而关闭了大核的处理器算力无法满足，导致电子设备显示视频时出现卡顿。因此，在电子设备显示视频时，若能够识别是否还显示了弹幕、表情动效、礼物动效等，则可以根据是否显示弹幕、表情动效、礼物动效等视频外内容对电子设备进行适应性优化调整以达到较佳功耗和性能平衡。

发明内容

本申请提供一种界面识别方法及设备，解决了无法识别视频播放时是否显示了附加动效的问题。

为了达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供一种界面识别方法，该方法可应用于电子设备。该方法包括：获取电子设备当前显示界面的图层属性，当前显示界面中包括视频；根据图层属性，确定当前显示界面中是否包括附加动效，附加动效为视频上层叠显示的动效。

采用上述技术方案，电子设备在显示应用程序播放的视频时，便能够对显示界面中是否显示有如弹幕、表情动效、礼物动效等的附加动效进行识别。从而便于后续电子设备根据识别结果针对显示附加动效的场景进行适应性优化。

在一种可能的实现方式中，图层属性为图层数，附加动效单独绘制在一个图层；根据图层属性，确定当前显示界面中是否包括附加动效，包括：根据图层数和图层基数，确定当前显示界面中是否包括附加动效，图层基数为预先确定的当前显示界面对应的应用程序未包括附加动效时的显示界面的最大图层数。

其中，预先确定的图层基数可以是预设的也可以是电子设备自适应确定的。如此，在预先确定出未显示附加动效时的最大图层数(即图层基数)之后，在根据图层基数与当前显示界面的图层数来确定是否显示附加动效，实施相对简便，系统复杂度较低，对电子设备的功耗影响较小。

在另一种可能的实现方式中，根据图层数和图层基数，确定当前显示界面中是否包括附加动效，包括：当图层数大于图层基数时，确定当前显示界面中包括附加动效；当图层数小于或等于图层基数时，确定当前显示界面中未包括附加动效。

如此，由于图层基数为应用程序的显示界面中未包括附加动效时的最大图层数，因此通过当前显示界面的图层数与图层基数的比对能够方便快捷的确定当前显示界面中是否包括附加动效。

在另一种可能的实现方式中，在获取电子设备当前显示界面的图层属性之前，方法还包括：确定图层基数。

在另一种可能的实现方式中，确定图层基数，包括：对电子设备显示当前显示界面对应的应用程序时的显示界面的图层数进行监控；在应用程序播放视频的过程中，电子设备的显示界面的图层数有所变化时，确定应用程序播放视频的过程中电子设备的显示界面的第二大图层数作为应用程序的图层基数；和/或，若应用程序播放视频时电子设备的显示界面的最大图层数，大于应用程序未播放视频时电子设备的显示界面的最大图层数，确定电子设备显示应用程序时的显示界面的第二大图层数作为应用程序的图层基数；和/或，若应用程序播放视频时电子设备的显示界面的最大图层数，等于应用程序未播放视频时电子设备的显示界面的最大图层数，确定电子设备显示应用程序时的显示界面的最大图层数作为应用程序的图层基数。

如此，电子设备能够方便快捷的自适应确定出相应应用程序的图层基数，从而便于后续根据图层数和图层基数确定当前显示界面是否包括附加动效。

在另一种可能的实现方式中，图层属性为各图层的标识，附加动效单独绘制在一个图层；根据图层属性，确定当前显示界面中是否包括附加动效，包括：根据各图层的标识和预设的附加动效所在图层的标识，确定当前显示界面中是否包括附加动效。

如此，根据图层的标识来确定当前显示界面是否包括附加动效，当确定出包括附加动效时则还能够根据图层的标识直接确定出包括的附加动效具体是什么，如确定出附加动效为弹幕、表情动效或礼物动效等。

在另一种可能的实现方式中，根据各图层的标识和附加动效所在图层的标识，确定当前显示界面中是否包括附加动效，包括：当各图层的标识中包含附加动效所在图层的标识时，确定当前显示界面中包括附加动效；当各图层的标识中不包含附加动效所在图层的标识时，确定当前显示界面中未包括附加动效。

如此，能够根据当前显示界面的各图层的标识中是否包含附加动效对应图层的标识，简便的确定出当前显示界面是否包括附加动效以及附加动效具体是什么。

在另一种可能的实现方式中，在确定当前显示界面中包括附加动效之后，方法还包括：根据各图层的标识中包含的附加动效所在图层的标识，确定附加动效所在图层；根据附加动效所在图层竖屏视角下的宽和高的相对大小，确定附加动效是否为全屏显示。

如此，能够简便的根据附加动效所在图层的宽和高确定该附加动效是否为全屏显示。

在另一种可能的实现方式中，根据附加动效所在图层的宽和高的相对大小，确定附加动效是否为全屏显示，包括：当宽的值小于高的值时，确定附加动效为全屏显示；当宽的值大于高的值时，确定附加动效为非全屏显示。

由于竖屏视角下，屏幕的宽是小于高的，因此当附加动效所在图层的宽小于高时则可确定附加动效为全屏显示。通过该方式确定附加动效是否全屏显示简便快捷。

在另一种可能的实现方式中，在获取电子设备当前显示界面的图层属性之前，方法还包括：检测到电子设备出现卡顿、丢帧、负载增加、图层合成时间突变、横竖屏切换、视频开始播放、视频暂停播放、视频快进中的至少一种；和/或，检测到用户的输入操作，用户的输入操作包括以下任一种：触摸操作、语音控制操作、按键操作、隔空手势操作、遥控操作、远程控制操作、鼠标操作、键盘操作、视觉控制操作、面部表情识别操作。

如此，只要当电子设备检测到相应的触发条件时才去识别当前显示界面是否包括附加动效，从而能够避免电子设备对当前显示界面进行重复无效识别。

在另一种可能的实现方式中，附加动效包括弹幕、表情动效、礼物动效中的任一种。

在另一种可能的实现方式中，在确定当前显示界面中包括附加动效之后，方法还包括：提高电子设备的屏幕的刷新率；和/或，放宽电子设备的片上系统(SoC)的频点限制，SoC包括中央处理器(CPU)、图形处理器(GPU)以及存储器中的至少一种；和/或，对电子设备的屏幕的显示效果进行增强，显示效果进行增强包括文字增强、亮度提高、提高屏幕分辨率中的至少一种；和/或，关闭电子设备的屏幕的护眼模式；和/或，降低电子设备的屏幕的去蓝光等级。

如此，当电子设备确定当前显示界面显示有附加动效时，便能够对片上系统或屏幕进行适应性调整以增强用于体验。

第二方面，本申请实施例提供一种界面识别装置，该装置可以应用于电子设备，用于实现上述第一方面中的方法。该装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，例如，获取模块和处理模块等。

其中，获取模块，可以用于获取电子设备当前显示界面的图层属性，当前显示界面中包括视频；处理模块，可以用于根据图层属性，确定当前显示界面中是否包括附加动效，附加动效为视频上层叠显示的动效。

在一种可能的实现方式中，图层属性为图层数，附加动效单独绘制在一个图层；处理模块，具体用于根据图层数和图层基数，确定当前显示界面中是否包括附加动效，图层基数为预先确定的当前显示界面对应的应用程序未包括附加动效时的显示界面的最大图层数。

在另一种可能的实现方式中，处理模块，具体用于当图层数大于图层基数时，确定当前显示界面中包括附加动效；当图层数小于或等于图层基数时，确定当前显示界面中未包括附加动效。

在另一种可能的实现方式中，处理模块，还用于确定图层基数。

在另一种可能的实现方式中，处理模块，具体用于对电子设备显示当前显示界面对应的应用程序时的显示界面的图层数进行监控；在应用程序播放视频的过程中，电子设备的显示界面的图层数有所变化时，确定应用程序播放视频的过程中电子设备的显示界面的第二大图层数作为应用程序的图层基数；和/或，若应用程序播放视频时电子设备的显示界面的最大图层数，大于应用程序未播放视频时电子设备的显示界面的最大图层数，确定电子设备显示应用程序时的显示界面的第二大图层数作为应用程序的图层基数；和/或，若应用程序播放视频时电子设备的显示界面的最大图层数，等于应用程序未播放视频时电子设备的显示界面的最大图层数，确定电子设备显示应用程序时的显示界面的最大图层数作为应用程序的图层基数。

在另一种可能的实现方式中，图层属性为各图层的标识，附加动效单独绘制在一个图层；处理模块，具体用于根据各图层的标识和预设的附加动效所在图层的标识，确定当前显示界面中是否包括附加动效。

在另一种可能的实现方式中，处理模块，具体用于当各图层的标识中包含附加动效所在图层的标识时，确定当前显示界面中包括附加动效；当各图层的标识中不包含附加动效所在图层的标识时，确定当前显示界面中未包括附加动效。

在另一种可能的实现方式中，处理模块，还用于根据各图层的标识中包含的附加动效所在图层的标识，确定附加动效所在图层；根据附加动效所在图层竖屏视角下的宽和高的相对大小，确定附加动效是否为全屏显示。

在另一种可能的实现方式中，处理模块，具体用于当宽的值小于高的值时，确定附加动效为全屏显示；当宽的值大于高的值时，确定附加动效为非全屏显示。

在另一种可能的实现方式中，获取模块，还用于检测到电子设备出现卡顿、丢帧、负载增加、图层合成时间突变、横竖屏切换、视频开始播放、视频暂停播放、视频快进中的至少一种；和/或，检测到用户的输入操作，用户的输入操作包括以下任一种：触摸操作、语音控制操作、按键操作、隔空手势操作、遥控操作、远程控制操作、鼠标操作、键盘操作、视觉控制操作、面部表情识别操作。

在另一种可能的实现方式中，附加动效包括弹幕、表情动效、礼物动效中的任一种。

在另一种可能的实现方式中，处理模块，还用于提高电子设备的屏幕的刷新率；和/或，放宽电子设备的片上系统(SoC)的频点限制，SoC包括中央处理器(CPU)、图形处理器(GPU)以及存储器中的至少一种；和/或，对电子设备的屏幕的显示效果进行增强，显示效果进行增强包括文字增强、亮度提高、提高屏幕分辨率中的至少一种；和/或，关闭电子设备的屏幕的护眼模式；和/或，降低电子设备的屏幕的去蓝光等级。

第三方面，本申请实施例提供一种电子设备，包括：处理器，用于存储该处理器可执行指令的存储器。该处理器被配置为执行上述指令时，使得该电子设备实现如第一方面或第一方面的可能的实现方式中任一项所述的界面识别方法。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序指令。当计算机程序指令被电子设备执行时，使得电子设备实现如第一方面或第一方面的可能的实现方式中任一项所述的界面识别方法。

第五方面，本申请实施例提供一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，使得电子设备实现如第一方面或第一方面的可能的实现方式中任一项所述的界面识别方法。

应当理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

第六方面，本申请实施例提供一种界面识别方法，该方法可以应用于电子设备。该方法包括：识别电子设备当前显示界面内的元素，当前显示界面中包括视频；根据元素确定当前显示界面中是否包括附加动效，附加动效为视频上层叠显示的动效。

采用上述技术方案，电子设备在显示应用程序播放的视频时，便能够对显示界面中是否显示有如弹幕、表情动效、礼物动效等的附加动效进行识别。从而便于后续电子设备根据识别结果针对显示附加动效的场景进行适应性优化。

在一种可能的实现方式中，识别电子设备当前显示界面内的元素，包括：获取当前显示界面的图像；根据图像识别元素。

如此，获取当前显示界面的图像，再对图像进行识别实施相对简便。如，可通过人工智能图像识别相关技术来对当前显示界面的图像进行识别。

在另一种可能的实现方式中，附加动效为弹幕、表情动效、礼物动效中的任一种，元素为当前显示界面中的第一控件，第一控件用于开关显示附加动效；根据元素确定当前显示界面中是否包括附加动效，包括：当第一控件处于开启状态时，确定当前显示界面中包括附加动效；当第一控件处于关闭状态时，确定当前显示界面中未包括附加动效。

通过对用于控制附加动效开关的控件的开关状态进行识别来确定当前显示界面是否包括附加动效，实施更加简便且更加准确。

在另一种可能的实现方式中，附加动效为弹幕，元素为当前显示界面中的文本控件，文本控件用于展示文本内容；根据元素确定当前显示界面中是否包括附加动效，包括：判断文本控件是否包括多个且多个文本控件的属性不相同，文本控件的属性包括内容、长度、坐标、颜色中的至少一个；若是，则确定当前显示界面中包括附加动效；若否，则确定当前显示界面中未包括附加动效。

由于每个弹幕一般为文本控件，且每个弹幕内容、长度、位置(即控件的坐标)等不会完全相同。因此当识别到文本控件较多，且各文本控件属性不完全相同时，则可确定当前显示界面包括附加动效。通过该方式，能够简单便捷的对附加动效进行识别。

在另一种可能的实现方式中，在识别电子设备当前显示界面内的元素之前，方法还包括：检测到电子设备出现卡顿、丢帧、负载增加、图层合成时间突变、横竖屏切换、视频开始播放、视频暂停播放、视频快进中的至少一种；和/或，检测到用户的输入操作，用户的输入操作包括以下任一种：触摸操作、语音控制操作、按键操作、隔空手势操作、遥控操作、远程控制操作、鼠标操作、键盘操作、视觉控制操作、面部表情识别操作。

如此，只要当电子设备检测到相应的触发条件时才去识别当前显示界面是否包括附加动效，从而能够避免电子设备对当前显示界面进行重复无效识别。

在另一种可能的实现方式中，在确定当前显示界面中包括附加动效之后，方法还包括：提高电子设备的屏幕的刷新率；和/或，放宽电子设备的片上系统(SoC)的频点限制，SoC包括中央处理器(CPU)、图形处理器(GPU)以及存储器中的至少一种；和/或，对电子设备的屏幕的显示效果进行增强，显示效果进行增强包括文字增强、亮度提高、提高屏幕分辨率中的至少一种；和/或，关闭电子设备的屏幕的护眼模式；和/或，降低电子设备的屏幕的去蓝光等级。

如此，当电子设备确定当前显示界面显示有附加动效时，便能够对片上系统或屏幕进行适应性调整以增强用于体验。

第七方面，本申请实施例提供一种界面识别装置，该装置可以应用于电子设备，用于实现上述第六方面中的方法。该装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，例如，识别模块和处理模块等。

其中，识别模块，可用于识别电子设备当前显示界面内的元素，当前显示界面中包括视频；处理模块，可用于根据元素确定当前显示界面中是否包括附加动效，附加动效为视频上层叠显示的动效。

在一种可能的实现方式中，识别模块，具体用于获取当前显示界面的图像；根据图像识别元素。

在另一种可能的实现方式中，附加动效为弹幕、表情动效、礼物动效中的任一种，元素为当前显示界面中的第一控件，第一控件用于开关显示附加动效；处理模块，具体用于当第一控件处于开启状态时，确定当前显示界面中包括附加动效；当第一控件处于关闭状态时，确定当前显示界面中未包括附加动效。

在另一种可能的实现方式中，附加动效为弹幕，元素为当前显示界面中的文本控件，文本控件用于展示文本内容；处理模块，具体用于判断文本控件是否包括多个且多个文本控件的属性不相同，文本控件的属性包括内容、长度、坐标、颜色中的至少一个；若是，则确定当前显示界面中包括附加动效；若否，则确定当前显示界面中未包括附加动效。

在另一种可能的实现方式中，识别模块，还用于检测到电子设备出现卡顿、丢帧、负载增加、图层合成时间突变、横竖屏切换、视频开始播放、视频暂停播放、视频快进中的至少一种；和/或，检测到用户的输入操作，用户的输入操作包括以下任一种：触摸操作、语音控制操作、按键操作、隔空手势操作、遥控操作、远程控制操作、鼠标操作、键盘操作、视觉控制操作、面部表情识别操作。

在另一种可能的实现方式中，处理模块，还用于提高电子设备的屏幕的刷新率；和/或，放宽电子设备的片上系统(SoC)的频点限制，SoC包括中央处理器(CPU)、图形处理器(GPU)以及存储器中的至少一种；和/或，对电子设备的屏幕的显示效果进行增强，显示效果进行增强包括文字增强、亮度提高、提高屏幕分辨率中的至少一种；和/或，关闭电子设备的屏幕的护眼模式；和/或，降低电子设备的屏幕的去蓝光等级。

第八方面，本申请实施例提供一种电子设备，包括：处理器，用于存储该处理器可执行指令的存储器。该处理器被配置为执行上述指令时，使得该电子设备实现如第六方面或第六方面的可能的实现方式中任一项所述的界面识别方法。

第九方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序指令。当计算机程序指令被电子设备执行时，使得电子设备实现如第六方面或第六方面的可能的实现方式中任一项所述的界面识别方法。

第十方面，本申请实施例提供一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，使得电子设备实现如第六方面或第六方面的可能的实现方式中任一项所述的界面识别方法。

应当理解的是，上述第七方面至第十方面的有益效果可以参见上述第六方面中的相关描述，在此不再赘述。

附图说明

图1为本申请实施例提供的一种界面识别方法应用时的场景示意图；

图2为本申请实施例提供的一种电子设备的结构示意图；

图3为本申请实施例提供的一种界面识别方法的流程示意图；

图4为本申请实施例提供的一种视频类应用程序的界面示意图；

图5为本申请实施例提供的另一种视频类应用程序的界面示意图；

图6为本申请实施例提供的一种直播类应用程序的界面示意图；

图7为本申请实施例提供的另一种直播类应用程序的界面示意图；

图8为本申请实施例提供的一种电子设备的系统架构示意图；

图9为本申请实施例提供的另一种界面识别方法的流程示意图；

图10为本申请实施例提供的另一种界面识别方法的流程示意图；

图11为本申请实施例提供的一种弹幕图层的示意图；

图12为本申请实施例提供的另一种电子设备的系统架构示意图；

图13为本申请实施例提供的另一种界面识别方法的流程示意图；

图14为本申请实施例提供的另一种界面识别方法的流程示意图；

图15为本申请实施例提供的另一种视频类应用程序的界面示意图；

图16为本申请实施例提供的另一种直播类应用程序的界面示意图；

图17为本申请实施例提供的另一种电子设备的系统架构示意图；

图18为本申请实施例提供的另一种界面识别方法的流程示意图；

图19为本申请实施例提供的另一种界面识别方法的流程示意图；

图20为本申请实施例提供的另一种电子设备的系统架构示意图；

图21为本申请实施例提供的另一种界面识别方法的流程示意图。

具体实施方式

随着科技的进步，电子设备(如，手机、平板电脑等)的配置和性能越来越高，能满足用户越来越多的使用需求。由于视频类内容能够更快更清楚生动的传播信息，因此当前人们使用电子设备观看视频类内容的时间和频率也越来越高，提供长视频内容、短视频内容、视频直播等功能的各类视频类、直播类应用程序随之快速发展。为了满足用户在观看视频时具有更高的娱乐性和互动性，各个视频类应用程序在播放视频的同时还会提供一些交互能力。例如，目前大部分视频类应用程序在播放视频时，均能够为用户提供发送弹幕、发送表情动效等功能。相应地，视频类应用程序在播放视频时会显示用户发送的弹幕、表情动效等。大部分直播类应用程序在播放直播视频时，除了可以向用户提供发送弹幕、发送表情动效的功能外，还可以提供为主播赠送礼物的功能。相应地，直播类应用程序在播放直播视频时，会显示用户发送的弹幕、表情动效、礼物动效等。

当然，为了向用户提供个性化选择，这些视频类应用程序和直播类应用程序，在播放视频时显示弹幕、表情动效、礼物动效等均可以被用户选择性开启或关闭。

目前，电子设备在显示视频类应用程序、直播类应用程序播放的视频时，一般会采用显示屏(屏幕)支持的最高刷新率(例如，一般显示屏的60Hz刷新率、或者部分具有更高刷新率的显示屏的90Hz刷新率、120Hz刷新率等)进行显示。但是，目前绝大多数的视频资源(如，直播视频、影视视频等)的帧率基本都是30帧或者更低。因此，为了降低电子设备显示视频类应用程序、直播类应用程序播放的视频时的功耗，电子设备可以在显示应用程序播放的视频且用户无操作输入时，关闭处理器的大核，从而在低功耗下保证视频的正常播放。

但是，若用户开启了显示弹幕、表情动效、礼物动效等时，电子设备在显示视频时还会显示相应的弹幕、表情动效、礼物动效。此时，电子设备会由于弹幕或动效的显示增加了计算量而关闭了大核的处理器算力无法满足，导致电子设备显示视频时出现卡顿。因此，在电子设备显示视频时，若能够识别是否还显示了弹幕、表情动效、礼物动效等，则可以根据是否显示弹幕、表情动效、礼物动效等视频外内容(或称为附加动效)，对电子设备进行适应性优化调整以使电子设备达到较佳的功耗和性能平衡。

为了解决上述问题，本申请实施例提供了一种界面识别方法。该方法可以应用于用户通过电子设备打开视频类应用程序或直播类应用程序观看视频的场景中。例如，图1示出了本申请实施例提供的一种界面识别方法应用时的场景示意图。如图1所示，在用户通过电子设备打开视频类型应用程序播放视频进行观看时，用户开启了显示弹幕，因此，电子设备的显示界面中除了包括视频画面101外还包括各用户发送的弹幕102。此时，便可以采用本申请实施例提供的界面识别方法来识别电子设备的显示界面中是否可能显示有弹幕。从而后续则能够方便的针对显示弹幕的场景对电子设备进行针对性优化。例如，对电子设备进行适应性的优化调整以使电子设备达到较佳的功耗和性能平衡，使电子设备能够保证显示界面不卡顿的情况下以较低功耗运行，提升用户体验，或者针对显示的弹幕对电子设备的性能进行调整以提高弹幕显示效果等。

该界面识别方法可以是在电子设备显示应用程序(如视频类应用程序、直播类应用程序)播放的视频时，电子设备识别当前显示界面的图层属性(如图层数、各图层的标识等)，然后根据图层属性的识别结果来确定当前的显示界面中是否显示有附加动效(如，弹幕、表情动效、礼物动效等)。或者，该界面识别方法还可以是在电子设备显示应用程序(如视频类应用程序、直播类应用程序)播放的视频时，电子设备通过对当前的显示界面内的元素(元素可以是显示界面内的控件、图形、画面等)进行识别以确定当前的显示界面是否显示有附加动效。

如此，电子设备在显示应用程序播放的视频时，便能够对显示界面中是否显示有如弹幕、表情动效、礼物动效等的附加动效进行识别。从而便于后续电子设备根据识别结果针对显示附加动效的场景进行适应性优化。

以下，将结合附图对本申请实施例提供的拍照方法进行说明。

在本申请实施例中，具有拍照功能的电子设备，可以是手机、平板电脑、手持计算机，PC，蜂窝电话，个人数字助理(personal digital assistant，PDA)，可穿戴式设备(如：智能手表、智能手环)，智能家居设备(如：电视机)，车机(如：车载电脑)，智慧屏，游戏机，以及增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备等。本申请实施例对于电子设备的具体设备形态不作特殊限制。

可选地，上述电子设备可以是能够运行操作系统，安装应用的电子设备。例如，电子设备的操作系统可以是

系统，鸿蒙系统，

系统，

系统，Mac

系统等。

示例地，以电子设备为手机为例，图2示出了本申请实施例提供的一种电子设备的结构示意图。也即，示例性的，图2所示的电子设备可以是手机。

如图2所示，电子设备可以包括处理器210，外部存储器接口220，内部存储器221，通用串行总线(universal serial bus，USB)接口230，充电管理模块240，电源管理模块241，电池242，天线1，天线2，移动通信模块250，无线通信模块260，音频模块270，扬声器270A，受话器270B，麦克风270C，耳机接口270D，传感器模块280，按键290，马达291，指示器292，摄像头293，显示屏294，以及用户标识模块(subscriber identification module，SIM)卡接口295等。其中，传感器模块280可以包括压力传感器280A，陀螺仪传感器280B，气压传感器280C，磁传感器280D，加速度传感器280E，距离传感器280F，接近光传感器280G，指纹传感器280H，温度传感器280J，触摸传感器280K，环境光传感器280L，骨传导传感器280M等。

可以理解的是，本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器210中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器210的等待时间，因而提高了系统的效率。

在一些实施例中，处理器210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

电子设备的无线通信功能可以通过天线1，天线2，移动通信模块250，无线通信模块260，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块250可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块250可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块250还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块250的至少部分功能模块可以被设置于处理器210中。在一些实施例中，移动通信模块250的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。

无线通信模块260可以提供应用在电子设备上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备的天线1和移动通信模块250耦合，天线2和无线通信模块260耦合，使得电子设备可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code divisionmultiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(globalnavigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigationsatellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备通过GPU，显示屏294，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏294和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏294用于显示图像，视频等。显示屏294包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备可以包括1个或N个显示屏294，N为大于1的正整数。

电子设备可以通过ISP，摄像头293，视频编解码器，GPU，显示屏294以及应用处理器等实现拍摄功能。在一些实施例中，电子设备可以包括1个或N个摄像头293，N为大于1的正整数。示例地，在本申请实施例中，电子设备可以包括三个摄像头，其中一个为主摄摄像头，一个为长焦摄像头，一个为超广角摄像头。

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器210通过运行存储在内部存储器221的指令，从而执行电子设备的各种功能应用以及数据处理。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能，视频播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

当然，可以理解的，上述图2所示仅仅为电子设备的形态为手机时的示例性说明。若电子设备是平板电脑，手持计算机，PC，PDA，可穿戴式设备(如：智能手表、智能手环)，智能家居设备(如：电视机)，车机(如：车载电脑)，智慧屏，游戏机以及AR/VR设备等其他设备形态时，电子设备的结构中可以包括比图2中所示更少的结构，也可以包括比图2中所示更多的结构，在此不作限制。

以下实施例中的方法均可以在具有上述硬件结构的电子设备中实现。

示例地，以电子设备为手机，电子设备是通过对显示界面的图层进行识别以确定当前显示界面中是否显示有附加动效(例如，弹幕、表情动效、礼物动效等)的方式进行界面识别为例。

图3示出了本申请实施例提供的一种界面识别方法的流程示意图。如图3所示，该方法可以包括以下S301-S302。

S301、手机获取当前显示界面的图层数。

通常，手机在显示某个显示界面时，该显示界面中的各部分内容可以分别以不同的图层(图层可以是由视频、显示控件、动效、动画、悬浮窗等显示界面中可见的内容组合绘制而成)进行绘制，最终手机可以将各个图层进行合成显示。因此，大部分应用程序的视频播放界面的图层数在有附加动效和没有附加动效时是不同的。

例如，以应用程序为视频类应用程序为例。手机在显示视频类应用程序播放的视频时，若不显示附加动效，则手机当前的显示界面的图层数一般为1或2。即视频类应用程序的视频播放界面可以将视频和用户界面(user interface，UI)控件(如，暂停、下一个、设置开关、弹幕开关、礼物动效开关等用于用户对视频播放功能进行控制操作的UI控件)绘制在同一图层，或将视频和UI控件分别绘制在两个图层，以供手机进行显示。而当手机在显示视频类应用程序播放的视频时，若显示附加动效，则手机会在没有显示附加动效的图层基础上额外增加绘制附加动效的图层。如，以附加动效为弹幕为例，当手机显示视频类应用程序播放的视频以及弹幕时，可以将视频以及UI控件绘制在一个图层，将弹幕额外绘制在另一个图层，最终将两个图层合成显示以同时显示视频和弹幕。或者，当手机显示视频类应用程序播放的视频以及弹幕时，可以将视频绘制在一个图层，UI控件绘制在一个图层，再将弹幕额外绘制在一个图层，最终将三个图层合成显示以同时显示视频和弹幕。

又例如，以应用程序为直播类应用程序为例。手机在显示直播类应用程序播放的直播视频时，若不显示附加动效，则手机当前的显示界面的图层数一般为1。即直播类应用程序的直播界面(或称为视频播放界面)可以将直播视频和UI控件绘制在同一图层，以供手机进行显示。而当手机在显示直播类应用程序播放的直播视频时，若显示附加动效，则手机会在没有显示附加动效的图层(如，上述的包括直播视频和UI控件的图层)的基础上额外增加绘制附加动效的图层。如，以附加动效为礼物动效(即用户为主播赠送大礼物时直播界面中显示的相应的大礼物的礼物动效，通常该礼物动效显示时间为10秒左右)为例，当手机显示直播类应用程序播放的直播视频以及礼物动效时，可以将直播视频以及UI控件绘制在同一图层，将礼物动效额外绘制在另一个图层，最终将两个图层合成显示以同时显示直播视频和礼物动效。

因此，手机可以通过对当前显示界面的图层数进行识别，然后根据图层数来确定显示界面是否显示有附加动效。

示例地，手机可以通过图层渲染合成服务(SurfaceFlinger服务)来绘制各个图层以及将各个图层进行合成。其中，SurfaceFlinger服务中会包含有应用程序(如视频类应用程序)送显的各个图层的图层参数，例如，图层参数包括需要绘制的图层的数量，各图层的标识等。因此，手机获取当前显示界面的图层数的方式，可以是手机从SurfaceFlinger服务中获取当前显示界面的图层参数(即视频类应用程序送显的各图层的图层参数)中包含的图层数。

作为一种示例，手机可以定期监控获取当前显示界面的图层数(即手机采用轮询的方式按照预设时间间隔定期获取当前显示界面的图层数)，以便根据图层数来确定是否显示有附加动效。从而，便于手机周期性监控显示界面是否显示有附加动效。

当然，在本申请实施例中，手机还可以在检测到相应的触发条件时再获取图层数，即检测到触发条件时再执行S301以及后续的S302。

例如，作为另一种示例，手机还可以在检测到卡顿、卡帧(或称为丢帧)、负载增加、图层合成所用时间突变等至少一种情况发生时，再获取当前显示界面的图层数。通常，当手机遇到卡顿、卡帧、负载增加或图层合成所用时间突变时，则可以说明手机绘制当前显示界面时的运算量发生了变化。例如，手机出现卡顿、卡帧、负载增加、图层合成所用时间突增等情况时则说明当前显示界面绘制时的运算量增加了(增加显示了附加动效的可能性较大)，又例如，当手机出现图层合成所用时间突减等情况时，则说明当前显示界面绘制时的运算量减小了(关闭了附加动效的显示的可能性较大)。因此，当手机发生上述等情况时再获取图层数以便识别是否显示有附加动效，能够在附加动效显示或关闭的几率较大时执行该方法，从而避免该方法执行次数过多而增加手机功耗。并且，能够在附加动效的显示状态可能发生变化时更加及时的对当前显示界面是否显示有附加动效进行识别。示例地，手机可以通过相关技术中对应的检测方法来检测手机是否出现卡顿、卡帧、负载增加、图层合成所用时间突变等情况。例如，手机可以获取SurfaceFlinger服务中合成相邻两帧时的时间间隔，通过判断该时间间隔是否超过正常周期来检测手机是否出现卡顿、卡帧或图层合成所用时间突变的现象。如，以画面的显示帧率为60帧为例，正常的相邻两帧的时间间隔(即正常周期)则为16ms，因此，当手机获取到的SurfaceFlinger服务中合成相邻两帧时的时间间隔大于16ms时可确定手机出现了卡帧、丢帧的问题。又如，手机还可以通过调用JankService(Jank服务)来监控前台流程性以确定手机是否出现了卡顿、卡帧现象。

作为另一种示例，手机还可以在应用程序播放视频的过程中，检测到用户的输入操作时，再获取当前显示界面的图层数。通常，附加动效需要用户手动开启显示或关闭显示，因此，当用户进行输入操作很有可能是为了开启或关闭附加动效的显示。所以，当检测到用户的输入操作时，附加动效的显示状态(即开启或关闭的状态)很有可能会发生变化，此时再获取图层数以便根据图层数识别附加动效是否显示，能够提高该方法执行的效率，从而避免执行次数过多而增加手机功耗。并且，能够在附加动效的显示状态(附加动效的显示状态即显示附加动效或不显示(关闭)附加动效)可能发生变化时更加及时的对当前显示界面是否显示有附加动效进行识别。其中，用户的输入操作可以是触屏滑动或点击等触摸操作、语音控制操作、按键操作、隔空手势操作、遥控操作、远程控制操作、鼠标操作、键盘操作、视觉控制操作、面部表情识别操作等至少一种操作。其中，手机均可以通过监控不同输入操作对应的系统服务或进程来确定是否有输入操作。例如，手机可以通过监控InputService服务来确定是否有触摸操作、按键操作、鼠标操作等。又例如，手机还可以通过监控语音助手进程来监控用户输入进行了语音控制操作。

作为另一种示例，部分应用程序在开启显示附加动效时，若竖屏播放视频时会自动关闭显示附加动效，只有在横屏播放视频时才会显示附加动效(例如，以附加动效为弹幕为例，部分视频类应用程序在横屏播放视频过程中开启并显示弹幕时，若切换为竖屏播放视频则会自动关闭弹幕的显示)。因此，手机还可以在应用程序播放视频的过程中，监控手机的横竖屏状态，当监控到手机进行了横竖屏切换时再获取当前显示界面的图层数，以便后续根据获取的图层数识别是否显示有附加动效。从而，能够在附加动效的显示状态可能发生变化时更加及时的对当前显示界面是否显示有附加动效进行识别。示例地，手机可以通过读取Configuration(配置)中的屏幕属性(屏幕属性指示了当前的屏幕状态，即屏幕属性指示了当前为横屏显示还是竖屏显示)，以根据屏幕属性确定当前的屏幕状态。

作为另一种示例，当应用程序开始播放视频、暂停播放视频或者快进播放视频时，附加动效的显示状态也可能会发生变化。因此，手机可以在检测到视频开始播放、暂停播放或快进时，获取当前显示界面的图层数，以便后续根据获取的图层数识别是否显示有附加动效。从而，能够在附加动效的显示状态可能发生变化时更加及时的对当前显示界面是否显示有附加动效进行识别。示例地，手机的MediaSession框架中通常包括onAudioPlayerActiveStateChanged监听器，以监听视频播放状态。该监听器可以通过回调函数来指示当前的视频播放状态，不同的视频播放状态(如，视频开始播放、暂停或快进等)对应不同的回调函数参数。因此，手机可以通过读取该监听器中的视频播放状态的回调函数的参数来确定当前视频播放状态。

当手机获取到当前显示界面的图层数之后，便可以执行以下S302。

S302、手机根据当前显示界面的图层数，确定当前显示界面内是否显示有附加动效。

可选地，手机可以根据当前显示界面的图层数与图层基数进行比较的方式确定是否显示有附加动效。

示例地，当前显示界面的图层数大于图层基数时，则确定当前显示界面显示有附加动效。

其中，不同的应用程序对应的图层基数可以不同，可以预先设置在手机中。图层基数可以是对相应的应用程序进行测试得到的该应用程序不显示附加动效时的最大图层数。当然，在一些可能的实施方式中，还可以通过电子设备自学习的方式确定相应应用程序的图层基数。

例如，可以测试不同应用程序不显示附加动效时的最大图层数，以该最大图层数作为对应应用程序的图层基数。然后将各个应用程序对应的图层基数分别存储在手机中(如，可以通过云推的方式将各个应用程序对应的图层基数推送到手机中进行存储)。可选地，在相应的应用程序更新时，还可以重新对相应的应用程序进行测试以重新确定相应的图层基数，然后通过云推的方式更新手机中存储的相应的图层基数。

又例如，可以在相应应用程序安装或更新后的一段时间内，对手机显示该应用程序时的显示界面的图层数进行监控。若显示该应用程序播放视频时的视频播放界面的过程中，图层数有所变化(即图层数变化差值大于或等于1)，则说明在手机显示该应用程序的视频播放界面过程中用户极有可能进行了开启或关闭显示附加动效的操作。因此，此时可以将手机显示该应用程序播放视频时的视频播放界面的过程中(即视频播放期间)第二大的图层数作为该应用程序的图层基数。和/或，若显示该应用程序播放视频时的视频播放界面的过程中(即视频播放期间)的最大图层数大于显示该应用程序未播放视频时的其他界面的过程中(即未播放视频期间，也即显示界面中没有视频时)的最大图层数，则说明用户极有可能默认开启了显示附加动效，当显示该应用程序播放视频时的视频播放界面时会默认显示附加动效所以图层数会增加。因此，此时可以将显示该应用程序的全过程中(即视频播放期间和未播放视频期间)仅次于视频播放期间的最大图层数的图层数作为该应用程序的图层基数。又和/或，若显示该应用程序播放视频时的视频播放界面的过程中(即视频播放期间)的最大图层数等于显示该应用程序未播放视频时的其他界面的过程中(即未播放视频期间)的最大图层数，则说明用户极有可能默认关闭了显示附加动效，当显示该应用程序播放视频时的视频播放界面时会默认不显示附加动效所以图层数一般会不变。因此，此时可以将显示该应用程序的全过程中(即视频播放期间和未播放视频期间)的最大图层数作为该应用程序的图层基数。又和/或，若显示该应用程序的全过程中(即视频播放期间和未播放视频期间)图层数均不符合上述示例列举的情况，则可以选取显示该应用程序的全过程中的最大图层数作为该应用程序的图层基数。

可选地，可以按照应用程序与其对应的图层基数间的映射关系，将各个图层基数存储在手机中以方便对图层基数进行更新。例如，可以按照表1所示的方式进行存储。

表1

应用程序包名	图层基数
		应用程序1	2
应用程序2	1
		应用程序3	1

即，如表1所示，可以将应用程序的包名和其对应的图层基数的值记录在同一行。从而，在S302之前手机可以根据应用程序的包名便捷的查询到相应应用程序对应的图层基数。

当然，在本申请实施例的其他实施方式中，还可以通过其他配置文件的方式对各个应用程序的图层基数进行存储，此处不做限制。

作为一种示例，以手机显示视频类应用程序播放的视频，附加动效为弹幕，该视频类应用程序的图层基数为2为例。

如图4所示，手机显示的显示界面包括视频类应用程序的视频播放界面。在该视频播放界面中包括正在播放的视频401以及用于用户对视频播放功能进行控制操作的UI控件402。其中，正在播放的视频401绘制在一个图层(如第一图层)，UI控件402绘制在一个图层(如第二图层)。此时，若手机获取了当前显示界面的图层数，则该图层数为2，其等于该视频类应用程序的图层基数2，因此手机可以确定当前显示界面没有显示附加动效。

如图5所示，手机显示的显示界面包括视频类应用程序的视频播放界面。在该视频播放界面中包括正在播放的视频501、用于用户对视频播放功能进行控制操作的UI控件502以及弹幕503。其中，正在播放的视频501绘制在一个图层(如第一图层)，UI控件502绘制在一个图层(如第二图层)，弹幕503单独绘制在一个图层(如第三图层)。此时，若手机获取了当前显示界面的图层数，则该图层数为3，其大于该视频类应用程序的图层基数2，因此手机可以确定当前显示界面显示有附加动效。

作为另一种示例，以手机显示直播类应用程序播放的直播视频，附加动效为礼物动效，该直播类应用程序的图层基数为1为例。

如图6所示，手机显示的显示界面包括直播类应用程序的直播界面(或称为视频播放界面)。在该直播界面中包括正在播放的直播视频601、用户发送的直播弹幕602等，这些内容均绘制在同一图层(如第一图层)。此时，若手机获取了当前显示界面的图层数，则该图层数为1，其等于该直播类应用程序的图层基数1，因此手机可以确定当前显示界面没有显示附加动效。

如图7所示，手机显示的显示界面包括直播类应用程序的直播界面。在该直播界面中包括如图6所示的正在播放的直播视频601、用户发送的直播弹幕602等以外，还包括用户发送了大礼物后显示的大礼物对应的礼物动效701。该礼物动效701则额外绘制在一个图层(如第二图层)。此时，若手机获取了当前显示界面的图层数，则该图层数为2，其大于该直播类应用程序的图层基数1，因此手机可以确定当前显示界面显示有附加动效。

可选地，如图8所示，上述示例中手机的系统架构可以包括应用层、系统框架层以及硬件层。其中，应用层可用于部署能够在电子设备上运行的一个或多个应用程序，例如本申请实施例中，应用层中可以部署有视频类应用程序等。系统框架层中可以部署有图层数获取模块、图层渲染合成服务(SurfaceFlinger服务)以及附加动效识别模块等。硬件层可以包括CPU、GPU以及存储器等硬件。

基于图8所示的系统架构，图9示出了本申请实施例提供的另一种界面识别方法的流程示意图。如图9所示，该方法可以包括以下S901-S905。

S901、图层数获取模块从SurfaceFlinger服务获取当前显示界面的图层参数(例如，向图层渲染合成服务发送获取图层参数指令)。

S902、SurfaceFlinger服务向图层数获取模块返回当前显示界面的图层参数。

S903、图层数获取模块根据图层参数确定当前显示界面的图层数。

S904、图层数获取模块向附加动效识别模块发送获取到的图层数。

S905、附加动效识别模块根据图层数确定当前显示界面是否显示有附加动效。

需要说明的是，S901-S903可实现如图3所示的S301的功能。即图层数获取模块和SurfaceFlinger服务共同用于实现上述S301的功能，其具体实现方式可参考S301的相关描述，此处不做赘述。其中，图3中所示的S301中，手机在检测到相应的触发条件时再获取图层数的示例，可以由图8中所示的图层数获取模块来实现。即检测相应的触发条件的具体实现方式示例可以由图层数获取模块来执行，当检测到触发条件时，再执行上述S901-S905。

还需要说明的是，S904-S905可实现如图3所示的S302的功能，即附加动效识别模块可用于执行S302。附加动效识别模块具体确定是否显示有附加动效的实施方式可参考S302的相关描述，此处不做赘述。

示例地，继续以电子设备为手机，电子设备是通过对显示界面的图层进行识别以确定当前显示界面中是否显示有附加动效(例如，弹幕、表情动效、礼物动效等)的方式进行界面识别为例。图10示出了本申请实施例提供的另一种界面识别方法的流程示意图。如图10所示，该方法可以包括以下S1001-S1002。

S1001、手机获取当前显示界面各图层的标识。

其中，图层的标识用于标记对应的图层，如标识可以是图层的名称、图层的标识号(identity document，ID)等，此处不做限制。

由于大部分应用程序的附加动效是单独绘制在一个图层上的(例如，如图3所示的方法中S301中的相关示例)，因此，可以根据图层的标识来确定当前显示界面是否包含绘制附加动效的图层，从而确定是否显示有附加动效。

示例地，手机可以通过SurfaceFlinger服务来绘制各个图层以及将各个图层进行合成。其中，SurfaceFlinger服务中会包含有应用程序(如视频类应用程序)送显的各个图层的图层参数，例如，图层参数包括需要绘制的图层的数量，各图层的标识等。因此，手机获取当前显示界面各图层的标识的方式，可以是手机从SurfaceFlinger服务中获取当前显示界面的图层参数(即视频类应用程序送显的各图层的图层参数)中包含的各图层标识。

作为一种示例，手机可以定期监控识别当前显示界面各图层的标识(即手机采用轮询的方式按照预设时间间隔定期获取当前显示界面各图层的标识)，以便根据图层标识来确定是否显示有附加动效。从而，便于手机周期性监控显示界面是否显示有附加动效。

当然，在本申请实施例中，手机还可以在检测到相应的触发条件时再获取图层标识，即检测到触发条件时再执行S1001以及后续的S1002。

例如，作为另一种示例，手机还可以在检测到卡顿、卡帧、负载增加、图层合成所用时间突变等至少一种情况发生时，再获取当前显示界面各图层的标识。通常，当手机遇到卡顿、卡帧、负载增加或图层合成所用时间突变时，则可以说明手机绘制当前显示界面时的运算量发生了变化。例如，手机出现卡顿、卡帧、负载增加、图层合成所用时间突增等情况时则说明当前显示界面绘制时的运算量增加了(增加显示了附加动效的可能性较大)，又例如，当手机出现图层合成所用时间突减等情况时，则说明当前显示界面绘制时的运算量减小了(关闭了附加动效的显示的可能性较大)。因此，当手机发生上述等情况时再获取图层标识以便识别是否显示有附加动效，能够在附加动效显示或关闭的几率较大时执行该方法，从而避免该方法执行次数过多而增加手机功耗。并且，能够在附加动效的显示状态可能发生变化时更加及时的对当前显示界面是否显示有附加动效进行识别。其中，手机具体检测是否出现卡顿、卡帧、负载增加、图层合成所用时间突变等情况的方式可以参考前述S301相关的描述，此处不做赘述。

作为另一种示例，手机还可以在应用程序播放视频的过程中，检测到用户的输入操作时，再获取当前显示界面各图层的标识。通常，附加动效需要用户手动开启显示或关闭显示，因此，当用户进行输入操作很有可能是为了开启或关闭附加动效的显示。所以，当检测到用户的输入操作时，附加动效的显示状态(即开启或关闭的状态)很有可能会发生变化，此时再获取图层标识以便根据图层标识识别附加动效是否显示，能够提高该方法执行的效率，从而避免执行次数过多而增加手机功耗。并且，能够在附加动效的显示状态可能发生变化时更加及时的对当前显示界面是否显示有附加动效进行识别。其中，用户的输入操作可以是触屏滑动或点击等触摸操作、语音控制操作、按键操作、隔空手势操作、遥控操作、远程控制操作、鼠标操作、键盘操作、视觉控制操作、面部表情识别操作等至少一种操作。其中，手机检测用户的输入操作的具体方式可以参考前述S301相关的描述，此处不做赘述。

作为另一种示例，部分应用程序在开启显示附加动效时，若竖屏播放视频时会自动关闭显示附加动效，只有在横屏播放视频时才会显示附加动效(例如，以附加动效为弹幕为例，部分视频类应用程序在横屏播放视频过程中开启并显示弹幕时，若切换为竖屏播放视频则会自动关闭弹幕的显示)。因此，手机还可以在应用程序播放视频的过程中，监控手机的横竖屏状态，当监控到手机进行了横竖屏切换时获取当前显示界面各图层的标识，以便后续根据获取的各图层的标识确定是否显示有附加动效。从而，能够在附加动效的显示状态可能发生变化时更加及时的对当前显示界面是否显示有附加动效进行识别。其中，手机监控横竖屏状态的具体方式可以参考前述S301相关的描述，此处不做赘述。

作为另一种示例，当应用程序开始播放视频、暂停播放视频或者快进播放视频时，附加动效的显示状态也可能会发生变化。因此，手机可以在检测到视频开始播放、暂停播放或快进时，获取当前显示界面各图层的标识，以便后续根据获取的各图层的标识确定是否显示有附加动效。从而，能够在附加动效的显示状态可能发生变化时更加及时的对当前显示界面是否显示有附加动效进行识别。其中，手机检测视频是否处于开始播放、暂停播放或快进的具体方式可以参考前述S301相关的描述，此处不做赘述。

当手机获取到当前显示界面各图层的标识之后，便可以执行以下S1002。

S1002、手机根据当前显示界面各图层的标识，确定当前显示界面内是否显示有附加动效。

可选地，手机可以根据当前显示界面各图层的标识与附加动效图层的标识进行匹配，若当前显示界面存在标识与附加动效图层的标识匹配的图层(即各图层的标识中包含附加动效的图层的标识)，则可确定当前显示界面显示有附加动效。

其中，附加动效可以是弹幕、表情动效、礼物动效等至少一种，不同应用程序的不同附加动效的图层标识(附加动效的图层标识，还可称为附加动效图层的标识，附加动效所在图层的标识等)可以不同。

示例地，可以预先通过对相应的应用程序进行测试的方式，得到该应用程序的附加动效图层的标识。例如，可以对不同应用程序播放视频时的界面(如，视频类应用程序的视频播放界面、直播类应用程序的直播界面)进行解析，以得到各应用程序对应的附加动效图层的标识(一个应用程序可以包括至少一种附加动效，因此一个应用程序可得到对应的至少一种附加动效图层的标识)。可选地，可以将得到的各应用程序对应的附加动效图层的标识分别预先存储在手机中，以便后续与手机显示界面各图层的标识进行匹配。在一些可能的实施方式中，还可以在相应的应用程序更新时，重新对相应应用程序进行测试，以重新确定相应应用程序对应的附加动效图层的标识，然后通过云推的方式推送给手机以更新手机中存储的相应的附加动效图层的标识。

可选地，可以按照应用程序与其对应的附加动效图层的标识的映射关系，将各个附加动效图层的标识存储在手机中以方便对附加动效图层的标识进行更新。例如，可以按照表2所示的方式存储。

表2

应用程序包名	附加动效1的图层标识	附加动效2的图层标识	附加动效3的图层标识
				应用程序1	xxx.1.xx1	xxx.1.xx2	xxx.1.xx3
应用程序2	xxx.2.xx1	无	xxx.2.xx3
				应用程序3	xxx.3.xx1	xxx.3.xx2	无
应用程序4	xxx.4.xx1	无	无

如表2所示，可以将应用程序的包名和其对应的附加动效图层标识(或称为附加动效的图层标识)记录在同一行。从而，在S802之前手机可以根据应用程序的包名便捷的查询到相应应用程序对应的附加动效的图层标识。其中，不同应用程序可以由多种不同的附加动效，表2仅以包括三种不同的附加动效(如，附加动效1、2、3可以分别时弹幕、表情动效、礼物动效)为例进行示例，在本申请实施例中不做限制。

当然，在本申请实施例的其他实施方式中，还可以通过其他配置文件的方式对各个应用程序的附加动效图层的标识进行存储，此处不做限制。

作为一种示例，以手机显示视频类应用程序播放的视频，附加动效为弹幕，该视频类应用程序的附加动效(即弹幕)图层的标识为“标识2”为例。

如图4所示，手机显示的显示界面包括视频类应用程序的视频播放界面。在该视频播放界面中包括正在播放的视频401以及用于用户对视频播放功能进行控制操作的UI控件402。其中，正在播放的视频401绘制在一个图层(如第一图层)，该图层的标识为“标识0”，UI控件402绘制在一个图层(如第二图层)，该图层的标识为“标识1”。此时，若手机获取了当前显示界面各图层的标识，则可以分别得到“标识0”和“标识1”两个图层标识，其没有能够与该视频类应用程序的附加动效(即弹幕)图层的标识(即“标识2”)匹配(两个标识一致则可认为相匹配)的图层标识，因此手机可以确定当前显示界面没有显示附加动效(即弹幕)。

如图5所示，手机显示的显示界面包括视频类应用程序的视频播放界面。在该视频播放界面中包括正在播放的视频501、用于用户对视频播放功能进行控制操作的UI控件502以及弹幕503。其中，正在播放的视频501绘制在一个图层(如第一图层)，该图层的标识为“标识0”，UI控件502绘制在一个图层(如第二图层)，该图层的标识为“标识1”，弹幕503单独绘制在一个图层(如第三图层)，该图层的标识为“标识2”。此时，若手机获取了当前显示界面各图层的标识，则可以分别得到“标识0”、“标识1”以及“标识2”三个图层标识，其中“标识2”能够与该视频类应用程序的附加动效(即弹幕)图层的标识(即“标识2”)匹配，因此手机可以确定当前显示界面显示有附加动效(即弹幕)。

作为另一种示例，以手机显示直播类应用程序播放的直播视频，附加动效为礼物动效，该直播类应用程序的附加动效(即礼物动效)图层的标识为“标识1”为例。

如图6所示，手机显示的显示界面包括直播类应用程序的直播界面(或称为视频播放界面)。在该直播界面中包括正在播放的直播视频601、用户发送的直播弹幕602等，这些内容均绘制在同一图层(如第一图层)，该图层的标识为“标识0”。此时，若手机获取了当前显示界面各图层的标识，则可以得到“标识0”一个图层标识，其没有能够与该直播类应用程序的附加动效(即礼物动效)图层的标识(即“标识1”)匹配的图层标识，因此手机可以确定当前显示界面没有显示附加动效(即礼物动效)。

如图7所示，手机显示的显示界面包括直播类应用程序的直播界面。在该直播界面中包括如图6所示的正在播放的直播视频601、用户发送的直播弹幕602等以外，还包括用户发送了大礼物后显示的大礼物对应的礼物动效701。该礼物动效701绘制在一个图层(如第二图层)，该图层的标识为“标识1”。此时，若手机获取了当前显示界面各图层的标识，则可以分别得到“标识0”和“标识1”两个图层标识，其中“标识1”能够与该直播类应用程序的附加动效(即礼物动效)图层的标识(即“标识1”)匹配，因此手机可以确定当前显示界面显示有附加动效(即礼物动效)。

需要说明的是，由于不同的附加动效图层的标识也会不同，因此采用如图8所示的方法确定当前显示界面是否显示有附加动效，除了能够确定是否显示了附加动效外还可以直接确定出显示了具体哪种附加动效。

可选地，当确定出手机当前显示界面显示有附加动效时，手机还可以根据该附加动效的图层的宽和高的相对大小来确定该附加动效为全屏显示还是竖屏显示。例如，以附加动效为弹幕为例。如图11所示，以竖屏状态下弹幕图层的左上角为坐标原点，分别以该图层的宽为X轴(X轴的最大值等于竖屏视角下屏幕显示区域的宽)，高为Y轴(Y轴的最大值等于竖屏视角下屏幕显示区域的高)建立坐标系，则该弹幕图层的右下角的坐标为(R，B)。通常，弹幕图层与播放的视频所在图层大小是一致的，因此，弹幕图层的宽通常与手机屏幕的显示区域的宽(竖屏视角下的宽)相等或接近，因此，上述的弹幕图层的右下角的坐标中的横坐标R的值则接近或等于屏幕显示区域的宽(也即接近或等于X轴的最大值)。因此，当弹幕的图层在上述坐标系中的右下角坐标(R，B)的坐标值R大于坐标值B时，则说明该弹幕图层的宽大于高，即弹幕图层为非全屏显示，通常为竖屏显示。而当弹幕的图层在上述坐标系中的右下角坐标(R，B)的坐标值R小于坐标值B时，则说明该弹幕图层的宽小于高，即弹幕图层为全屏显示，通常为横屏显示。当然，手机还可以根据附加动效的图层的面积来确定该附加动效为全屏显示还是竖屏显示。例如，以附加动效为弹幕为例，当弹幕的图层的面积与手机屏幕的显示区域的面积(屏幕显示区域的面积可以根据屏幕硬件参数获取)相同时，则可确定该弹幕为全屏显示。当弹幕的图层的面积小于手机屏幕的显示区域的面积时，则可确定该弹幕为非全屏显示，通常弹幕图层与视频所在图层是一致的，在竖屏显示时为非全屏，横屏显示时为全屏，因此可以确定此时弹幕为竖屏显示。其中，手机可以从SurfaceFlinger服务中获取图层参数，以确定附加动效的图层的左上角及右下角坐标。

可选地，如图12所示，上述示例中手机的系统架构可以包括应用层、系统框架层以及硬件层。其中，应用层可用于部署能够在电子设备上运行的一个或多个应用程序，例如本申请实施例中，应用层中可以部署有视频类应用程序等。系统框架层中可以部署有图层标识获取模块、图层渲染合成服务(SurfaceFlinger服务)以及附加动效识别模块等。硬件层可以包括CPU、GPU以及存储器等硬件。

基于图12所示的系统架构，图13示出了本申请实施例提供的另一种界面识别方法的流程示意图。如图13所示，该方法可以包括以下S1301-S1305。

S1301、图层标识获取模块从SurfaceFlinger服务获取当前显示界面的图层参数(例如，向图层渲染合成服务发送获取图层参数指令)。

S1302、SurfaceFlinger服务向图层标识获取模块返回当前显示界面的图层参数。

S1303、图层标识获取模块根据图层参数确定当前显示界面各图层的标识。

S1304、图层标识获取模块向附加动效识别模块发送获取到的各图层的标识。

S1305、附加动效识别模块根据各图层的标识确定当前显示界面是否显示有附加动效。

需要说明的是，S1301-S1303可实现如图10所示的S1001的功能。即图层标识获取模块和SurfaceFlinger服务共同用于实现上述S1001的功能，其具体实现方式可参考S1001的相关描述，此处不做赘述。其中，图10中所示的S1001中，手机在检测到相应的触发条件时再获取图层标识的示例，可以由图12中所示的图层标识获取模块来实现。即检测相应的触发条件的具体实现方式示例可以由图层标识获取模块来执行，当检测到触发条件时，再执行上述S1301-S1305。

还需要说明的是，S1304-S1305可实现如图10所示的S1002的功能，即附加动效识别模块可用于执行S1002。附加动效识别模块具体确定是否显示有附加动效的实施方式可参考S1002的相关描述，此处不做赘述。

示例地，以电子设备为手机，电子设备是在显示应用程序(如视频类应用程序、直播类应用程序)播放的视频时，通过对当前的显示界面内的元素进行识别以确定当前的显示界面是否显示有附加动效的为例。图14示出了本申请实施例提供的另一种界面识别方法的流程示意图。如图14所示，该方法可以包括以下S1401-S1402。

S1401、手机获取当前显示界面的图像。

其中，手机可以通过截取当前显示界面的图像(即截图)的方式获取当前显示界面的图像。例如，手机可以通过调用截图指令的方式截取当前显示界面的图像。当然，在其他的一些可能的实施方式中，手机还可以采用从窗口属性中获取当前显示界面的图像等方式，此处不做限制。

作为一种示例，手机可以定期监控获取当前显示界面的图像(即手机采用轮询的方式按照预设时间间隔定期获取当前显示界面的图像)，以便对图像中的元素进行识别来确定是否显示有附加动效。从而，便于手机周期性监控显示界面是否显示有附加动效。

当然，在本申请实施例中，手机还可以在检测到相应的触发条件时再获取图像，即检测到触发条件时再执行S1401以及后续的S1402。

作为另一种示例，手机还可以在遇到卡顿、卡帧、负载增加、图层合成所用时间突变等至少一种情况发生时，再获取当前显示界面的图像。通常，当手机遇到卡顿、卡帧、负载增加或图层合成所用时间突变时，则可以说明手机绘制当前显示界面时的运算量发生了变化。例如，手机出现卡顿、卡帧、负载增加、图层合成所用时间突增等情况时则说明当前显示界面绘制时的运算量增加了(增加显示了附加动效的可能性较大)，又例如，当手机出现图层合成所用时间突减等情况时，则说明当前显示界面绘制时的运算量减小了(关闭了附加动效的显示的可能性较大)。因此，当手机发生上述等情况时再获取图像以便对图像中的元素进行识别，能够在附加动效显示或关闭的几率较大时执行该方法，从而避免该方法执行次数过多而增加手机功耗。并且，能够在附加动效的显示状态可能发生变化时更加及时的对当前显示界面是否显示有附加动效进行识别。其中，手机具体检测是否出现卡顿、卡帧、负载增加、图层合成所用时间突变等情况的方式可以参考前述S301相关的描述，此处不做赘述。

作为另一种示例，手机还可以在应用程序播放视频的过程中，检测到用户的输入操作时，再获取当前显示界面的图像。通常，附加动效需要用户手动开启显示或关闭显示，因此，当用户进行输入操作很有可能是为了开启或关闭附加动效的显示。所以，当检测到用户的输入操作时，附加动效的显示状态(即开启或关闭的状态)很有可能会发生变化，此时再获取图像以便对图像中的元素进行识别，能够在附加动效的显示状态可能发生变化时更加及时的对当前显示界面是否显示有附加动效进行识别。并且，目前很多应用程序在播放视频时都会自动隐藏用于用户对视频播放功能进行控制操作的UI控件(如，用于控制附加动效开关的UI控件)，当用户进行输入操作时应用程序才会再次显示UI控件，因此，手机检测到用户的输入操作时再获取当前显示界面的图像，还能够避免因获取的图像中没有UI控件而导致无法通过对UI控件进行识别来确定是否显示有附加动效的情况发生。其中，用户的输入操作可以是触屏滑动或点击等触摸操作、语音控制操作、按键操作、隔空手势操作、遥控操作、远程控制操作、鼠标操作、键盘操作、视觉控制操作、面部表情识别操作等至少一种操作。其中，手机检测用户的输入操作的具体方式可以参考前述S301相关的描述，此处不做赘述。

作为另一种示例，部分应用程序在播放视频时，视频播放界面会显示用于开关显示附加动效的UI控件。因此，手机还可以在应用程序播放视频的过程中，检测到用户的触屏点击或滑动等触摸操作时，对触摸操作的位置与用于开关显示附加动效的UI控件的位置间的关系进行判断。若该触摸操作的坐标位于开关显示附加动效的UI控件所处位置(在实际应用中触摸操作的坐标位于UI控件所处的位置，可以是触摸操作的坐标与UI控件的坐标一致，或触摸操作的坐标位于UI控件的坐标附近一定预设范围内等)，则获取当前显示界面的图像，以便执行后续操作(如S1402)。当用户的触摸操作位于用于开关显示附加动效的UI控件时，极有可能是用户进行了开关显示附加动效的操作，因此，此时获取当前显示界面的图像以便执行后续操作，能够使手机在附加动效显示或关闭的几率较大时执行该方法，从而避免该方法执行次数过多而增加手机功耗。

作为另一种示例，部分应用程序在开启显示附加动效时，若竖屏播放视频时会自动关闭显示附加动效，只有在横屏播放视频时才会显示附加动效(例如，以附加动效为弹幕为例，部分视频类应用程序在横屏播放视频过程中开启并显示弹幕时，若切换为竖屏播放视频则会自动关闭弹幕的显示)。因此，手机还可以在应用程序播放视频的过程中，监控手机的横竖屏状态，当监控到手机进行了横竖屏切换时获取当前显示界面的图像，以便后续根据获取的图像确定是否显示有附加动效。从而，能够在附加动效的显示状态可能发生变化时更加及时的对当前显示界面是否显示有附加动效进行识别。其中，手机监控横竖屏状态的具体方式可以参考前述S301相关的描述，此处不做赘述。

作为另一种示例，当应用程序开始播放视频、暂停播放视频或者快进播放视频时，附加动效的显示状态也可能会发生变化。因此，手机可以在检测到视频开始播放、暂停播放或快进时，获取当前显示界面的图像，以便后续根据获取的图像确定是否显示有附加动效。从而，能够在附加动效的显示状态可能发生变化时更加及时的对当前显示界面是否显示有附加动效进行识别。其中，手机检测视频是否处于开始播放、暂停播放或快进的具体方式可以参考前述S301相关的描述，此处不做赘述。

当手机获取到当前显示界面的图像之后，便可以执行以下S1402。

S1402、手机识别当前显示界面的图像中的元素，根据识别到的元素确定当前显示界面内是否显示有附加动效。

可选地，手机可以对当前显示界面的图像进行人工智能(artificialintelligence，AI)识别，通过识别当前显示界面的图像中的用于开关显示附加动效的UI控件(如称为第一控件)的开关状态(通常附加动效开启和关闭时该UI控件的显示状态是不同的，因此可根据该控件的开关状态来判断是否显示有附加动效)、是否包含附加动效的画面(或内容)等来判断当前显示界面是否显示有附加动效。

其中，手机对当前显示界面的图像进行人工智能识别可以采用手机端侧的人工智能能力。即手机仅在本地通过端侧的人工智能能力对当前显示界面的图像进行识别。从而能够避免当前显示界面的图像上传云端而导致的用户存在隐私风险的问题。当然，在一些其他可能的实施方式中，手机也可以将当前显示界面的图像上传云端通过云服务器进行人工智能识别，此处不做限制。

作为一种示例，以手机显示视频类应用程序播放的视频，附加动效为弹幕为例。

如图15所示，手机显示的显示界面包括视频类应用程序的视频播放界面。在该视频播放界面中包括正在播放的视频1501、用于开关显示弹幕的UI控件1502以及弹幕1503。其中，用于开关显示弹幕的UI控件1502为开启状态。此时，若手机获取了当前显示界面的图像，则手机可以通过人工智能识别的方式识别出当前显示界面的图像中的用于开关显示弹幕的UI控件1502处于开启状态，因此手机可以确定当前显示界面显示有附加动效(即弹幕)。或者，手机可以通过人工智能识别的方式识别出当前显示界面的图像中包括有弹幕文字(即弹幕)，从而确定当前显示界面显示有附加动效(即弹幕)。

作为另一种示例，以手机显示直播类应用程序播放的直播视频，附加动效为弹幕为例。

如图16所示，手机显示的显示界面包括直播类应用程序的直播界面(或称为视频播放界面)。在该直播界面中包括正在播放的直播视频1601、用于开关显示弹幕的UI控件1602以及用户发送的弹幕1603。其中，用于开关显示弹幕的UI控件1602为开启状态。此时，若手机获取了当前显示界面的图像，则手机可以通过人工智能识别的方式识别出当前显示界面的图像中的用于开关显示弹幕的UI控件1602处于开启状态，因此手机可以确定当前显示界面显示有附加动效(即弹幕)。或者，手机可以通过人工智能识别的方式识别出当前显示界面的图像中包括有弹幕文字(即弹幕)，从而确定当前显示界面显示有附加动效(即弹幕)。

可选地，如图17所示，上述示例中手机的系统架构可以包括应用层、系统框架层以及硬件层。其中，应用层可用于部署能够在电子设备上运行的一个或多个应用程序，例如本申请实施例中，应用层中可以部署有视频类应用程序等。系统框架层中可以部署有图像获取模块、AI识别模块、以及附加动效识别模块等。硬件层可以包括CPU、GPU以及存储器等硬件。

基于图17所示的系统架构，图18示出了本申请实施例提供的另一种界面识别方法的流程示意图。如图18所示，该方法可以包括以下S1801-S1805。

S1801、图像获取模块调用截图指令截取当前显示界面的图像。

S1802、图像获取模块向AI识别模块发送获取的图像。

S1803、AI识别模块识别当前显示界面的图像中的元素。

S1804、AI识别模块向附加动效识别模块发送识别结果。

S1805、附加动效识别模块根据识别结果确定当前显示界面是否显示有附加动效。

需要说明的是，S1801可实现如图14所示的S1401的功能。即图像获取模块可用于实现上述S1401的功能，其具体实现方式可参考S1401的相关描述，此处不做赘述。其中，图14中所示的S1401中，手机在检测到相应的触发条件时再获取图像的示例，可以由图17中所示的图像获取模块来实现。即检测相应的触发条件的具体实现方式示例可以由图像获取模块来执行，当检测到触发条件时，再执行上述S1801-S1805。

还需要说明的是，S1803-S1805可实现如图14所示的S1402的功能，即AI识别模块和附加动效识别模块可用于共同实现S1402。AI识别模块和附加动效识别模块具体确定是否显示有附加动效的实施方式可参考S1402的相关描述，此处不做赘述。

示例地，继续以电子设备为手机，电子设备是在显示应用程序(如视频类应用程序、直播类应用程序)播放的视频时，通过对当前的显示界面内的元素进行识别以确定当前的显示界面是否显示有附加动效的为例。当手机采用

操作系统时，手机还可以采用系统支持的辅助服务来对当前显示界面内的元素进行识别，以确定当前显示界面是否显示有附加动效。例如，图19示出了本申请实施例提供的另一种界面识别方法的流程示意图。如图19所示，该方法可以包括以下S1901-S1902。

S1901、手机通过辅助服务(AccessibilityService)识别当前显示界面内的元素。

其中，手机通过辅助服务来识别当前显示界面内的元素可以是通过该辅助服务中的getRootNodeInfo()方法，获取当前显示界面中控件的节点信息，以根据节点信息识别当前显示界面内的元素。通过该方法能够识别当前显示界面内的控件、文本内容等元素。

手机可以通过识别当前显示界面中的用于开关显示附加动效的UI控件(如称为第一控件)的开关状态，或识别当前显示界面中的控件种类、个数及文本内容等来确定当前显示界面是否显示有附加动效。

示例地，大多数应用程序在播放视频时会自动隐藏UI控件，当用户进行输入操作时才会重新显示UI控件，因此手机可以在检测到用户的输入操作时再识别当前显示界面内的用于开关显示附加动效的UI控件的开关状态。

示例地，手机还可以定期或遇到卡顿、卡帧、负载增加、图层合成所用时间突变等至少一种情况发生时，再识别当前显示界面内的文本控件(即用于展示文本内容的控件)，以便根据文本控件的个数、内容、长度、坐标、颜色等属性确定当前显示界面是否显示有附加动效。

当然，在一些可能的实施方式中，手机还可以实时或在检测到相应的触发条件时(可参考前述S301相关的描述)，识别当前显示界面内的元素以便后续根据识别到的元素确定是否显示有附加动效，此处不做限制。

S1902、手机根据识别到的元素确定当前显示界面内是否显示有附加动效。

可选地，手机可以识别当前显示界面内的用于开关显示附加动效的UI控件的开关状态。从而可以根据用于开关显示附加动效的UI控件的开关状态来确定当前显示界面是否显示有附加动效。即，当识别到用于开关显示附加动效的UI控件处于开启状态时，则确定当前显示界面显示有附加动效。

可选地，当附加动效为弹幕时，由于弹幕通常为文本控件的形式显示，因此手机可以识别当前显示界面内的文本控件的个数、内容、长度、坐标、颜色等属性。从而当文本控件的个数为多个(即两个及以上)，且各个文本控件的坐标、长度、内容(即文本内容)、颜色等属性不完全一致，即各文本控件的属性不相同，则可以确定当前显示界面显示有附加动效(即弹幕)。其中，各文本控件的属性不相同可以包括：各文本控件中部分文本控件间属性相同，部分不相同。或者，各文本控件间属性均不相同。其中，两个文本控件的属性完全一致则认为其属性相同，否则认为两个文本控件的属性不相同。

作为一种示例，以手机显示直播类应用程序播放的直播视频，附加动效为弹幕为例。

如图16所示，手机显示的显示界面包括直播类应用程序的直播界面(或称为视频播放界面)。在该直播界面中包括正在播放的直播视频1601、用于开关显示弹幕的UI控件1602以及用户发送的弹幕1603。其中，用于开关显示弹幕的UI控件1602为开启状态。此时，若手机通过辅助服务识别当前显示界面内的用于开关显示弹幕的UI控件1602的状态，则手机可以识别到该用于开关显示弹幕的UI控件1602处于开启状态，从而确定当前显示界面显示有附加动效(即弹幕)。

可选地，如图20所示，上述示例中手机的系统架构可以包括应用层、系统框架层以及硬件层。其中，应用层可用于部署能够在电子设备上运行的一个或多个应用程序，例如本申请实施例中，应用层中可以部署有视频类应用程序等。系统框架层中可以部署有辅助服务以及附加动效识别模块等。硬件层可以包括CPU、GPU以及存储器等硬件。

基于图20所示的系统架构，图21示出了本申请实施例提供的另一种界面识别方法的流程示意图。如图21所示，该方法可以包括以下S2101-S2104。

S2101、附加动效识别模块向辅助服务发送用于指示识别当前显示界面的指令(如该指令可称为显示界面识别指令)。

S2102、辅助服务识别当前显示界面内的元素。

S2103、辅助服务向附加动效识别模块发送识别结果。

S2104、附加动效识别模块根据识别结果确定当前显示界面是否显示有附加动效。

需要说明的是，S2101-S2102可实现如图19所示的S1901的功能。即附加动效识别模块和辅助服务可用于共同实现上述S1901的功能，其具体实现方式可参考S1901的相关描述，此处不做赘述。其中，图19中所示的S1901中，手机在检测到相应的触发条件时再识别当前显示界面的示例，可以由图20中所示的附加动效识别模块来实现。即检测相应的触发条件的具体实现方式示例可以由附加动效识别模块来执行，当检测到触发条件时，再执行上述S2101-S2104。

还需要说明的是，S2104可实现如图19所示的S1902的功能，即附加动效识别模块可用于执行S1902。附加动效识别模块具体确定是否显示有附加动效的实施方式可参考S1902的相关描述，此处不做赘述。

需要说明的是，当附加动效为礼物动效时，由于礼物动效一般采用单独图层绘制且位于顶层，覆盖面积为非全屏。因此，在本申请实施例中，还可以通过对电子设备(如手机)当前显示界面的各图层面积进行识别的方式确定当前显示界面是否显示有附加动效。例如，电子设备可以对当前显示界面各图层的覆盖面积和位置进行识别。当存在覆盖面积为非全屏且位于顶层的图层时，可确定当前显示界面显示有附加动效(即礼物动效)。可选地，电子设备可以通过获取SurfaceFlinger服务中的图层参数的方式确定各图层的面积和层级位置。

在一些应用程序中，其播放视频时的视频播放界面中的附加动效也是采用视频的形式实现的。例如，以附加动效为弹幕为例，有些应用程序在播放视频时，弹幕也采用视频的形式播放显示，只是弹幕视频除弹幕内容外其余部分均为透明，以避免覆盖播放的视频。因此，在本申请实施例中，电子设备(如手机)还可以监控应用程序播放视频时，同一界面同时播放视频的个数，若同时播放视频的个数增加，则可确定当前显示界面显示有附加动效。如应用程序播放视频时一般为一个视频，当同时播放的视频个数增加为2个或更多个，则可确定当前显示界面显示有附加动效。示例地，由于视频同时播放的个数与同时运行的视频解码器个数对应，因此，手机可以获取同时运行的视频解码器的个数从而确定当前同时播放的视频个数。

示例地，电子设备(如手机)厂商还可以与应用程序厂商合作，使应用程序在播放视频时，若显示了附加动效，应用程序能够发送用于指示显示了附加动效的指令(该指令还可以包括具体显示的附加动效的类型，如弹幕、表情动效、礼物动效等)。因此，在本申请实施例中，手机可以接收(或监听)应用程序发送的上述指令，当手机接收到上述指令时则可确定当前显示界面显示有附加动效。

需要说明的是，当电子设备通过上述实施例中所述的各种方式确定了当前显示界面显示有附加动效时，电子设备便可以针对显示附加动效的场景进行适应性优化。例如，以附加动效为弹幕为例，电子设备确定当前显示界面显示有弹幕时，便可以提高当前屏幕的显示刷新率，以使电子设备屏幕能够适配弹幕的高帧率显示，从而提高电子设备的显示效果。和/或，电子设备可以放宽处理芯片(如，中央处理器(central processing unit，CPU)、GPU、双倍数据速率(double data rate，DDR)、存储器等片上系统(system on chip，SoC))的频点限制、调动处理芯片(如，CPU等)采用大核进行处理等方式以提高电子设备的处理能力，从而避免电子设备因显示弹幕而卡顿、掉帧。和/或，一般视频播放时电子设备会降低屏幕的分辨率至视频的分辨率以降低功耗，因此当确定显示有弹幕时，电子设备可以调整对当前显示界面的显示效果，如进行文字增强、亮度提高、提高屏幕分辨率等，从而提高弹幕的显示质量、清晰度，便于用户观看弹幕。和/或，电子设备可能开启了护眼模式或去蓝光模式，因此，当确定显示有弹幕时，电子设备可以关闭护眼模式和/或降低去蓝光等级，以提高显示的弹幕的清晰度，便于用户观看弹幕。

对应于前述实施例中的方法，本申请实施例还提供一种界面识别装置。该装置可以应用于上述的电子设备用于实现前述实施例中的方法。该装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。例如，该装置包括：获取模块以及处理模块等。处理模块、获取模块可以配合用于实现上述实施例中图3所示和图10所示相关的方法。又例如，该装置包括：识别模块以及处理模块。处理模块、识别模块可以配合用于实现上述实施例中图14所示和图19所示相关的方法。

应理解以上装置中单元或模块(以下均称为单元)的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且装置中的单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分单元以软件通过处理元件调用的形式实现，部分单元以硬件的形式实现。

例如，各个单元可以为单独设立的处理元件，也可以集成在装置的某一个芯片中实现，此外，也可以以程序的形式存储于存储器中，由装置的某一个处理元件调用并执行该单元的功能。此外这些单元全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件又可以称为处理器，可以是一种具有信号的处理能力的集成电路。在实现过程中，上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路实现或者以软件通过处理元件调用的形式实现。

在一个例子中，以上装置中的单元可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个ASIC，或，一个或多个DSP，或，一个或者多个FPGA，或这些集成电路形式中至少两种的组合。

再如，当装置中的单元可以通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如CPU或其它可以调用程序的处理器。再如，这些单元可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。

在一种实现中，以上装置实现以上方法中各个对应步骤的单元可以通过处理元件调度程序的形式实现。例如，该装置可以包括处理元件和存储元件，处理元件调用存储元件存储的程序，以执行以上方法实施例所述的方法。存储元件可以为与处理元件处于同一芯片上的存储元件，即片内存储元件。

在另一种实现中，用于执行以上方法的程序可以在与处理元件处于不同芯片上的存储元件，即片外存储元件。此时，处理元件从片外存储元件调用或加载程序于片内存储元件上，以调用并执行以上方法实施例所述的方法。

例如，本申请实施例还可以提供一种装置，如：电子设备，可以包括：处理器，用于存储该处理器可执行指令的存储器。该处理器被配置为执行上述指令时，使得该电子设备实现如前述实施例中电子设备实施的界面识别方法。该存储器可以位于该电子设备之内，也可以位于该电子设备之外。且该处理器包括一个或多个。

在又一种实现中，该装置实现以上方法中各个步骤的单元可以是被配置成一个或多个处理元件，这些处理元件可以设置于对应上述的电子设备上，这里的处理元件可以为集成电路，例如：一个或多个ASIC，或，一个或多个DSP，或，一个或者多个FPGA，或者这些类集成电路的组合。这些集成电路可以集成在一起，构成芯片。

例如，本申请实施例还提供一种芯片系统，该芯片系统可以应用于上述电子设备。芯片系统包括一个或多个接口电路和一个或多个处理器；接口电路和处理器通过线路互联；处理器通过接口电路从电子设备的存储器接收并执行计算机指令，以实现以上方法实施例中电子设备相关的方法。

本申请实施例还提供一种计算机程序产品，包括电子设备，如上述电子设备，运行的计算机指令。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，如：程序。该软件产品存储在一个程序产品，如计算机可读存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

例如，本申请实施例还可以提供一种计算机可读存储介质，其上存储有计算机程序指令。当计算机程序指令被电子设备执行时，使得电子设备实现如前述方法实施例中所述的界面识别方法。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种界面识别方法，其特征在于，包括：

获取电子设备当前显示界面的图层属性，所述当前显示界面中包括视频；

根据所述图层属性，确定所述当前显示界面中是否包括附加动效，所述附加动效为所述视频上层叠显示的动效。

2.根据权利要求1所述的方法，其特征在于，所述图层属性为图层数，所述附加动效单独绘制在一个图层；所述根据所述图层属性，确定所述当前显示界面中是否包括附加动效，包括：

根据所述图层数和图层基数，确定所述当前显示界面中是否包括所述附加动效，所述图层基数为预先确定的所述当前显示界面对应的应用程序未包括所述附加动效时的显示界面的最大图层数。

3.根据权利要求2所述的方法，其特征在于，所述根据所述图层数和图层基数，确定所述当前显示界面中是否包括附加动效，包括：

当所述图层数大于所述图层基数时，确定所述当前显示界面中包括所述附加动效；

当所述图层数小于或等于所述图层基数时，确定所述当前显示界面中未包括所述附加动效。

4.根据权利要求2或3所述的方法，其特征在于，在所述获取电子设备当前显示界面的图层属性之前，所述方法还包括：

确定所述图层基数。

5.根据权利要求4所述的方法，其特征在于，所述确定所述图层基数，包括：

对所述电子设备显示所述当前显示界面对应的应用程序时的显示界面的图层数进行监控；

在所述应用程序播放视频的过程中，所述电子设备的显示界面的图层数有所变化时，确定所述应用程序播放视频的过程中所述电子设备的显示界面的第二大图层数作为所述应用程序的所述图层基数；和/或，

若所述应用程序播放视频时所述电子设备的显示界面的最大图层数，大于所述应用程序未播放视频时所述电子设备的显示界面的最大图层数，确定所述电子设备显示所述应用程序时的显示界面的第二大图层数作为所述应用程序的所述图层基数；和/或，

若所述应用程序播放视频时所述电子设备的显示界面的最大图层数，等于所述应用程序未播放视频时所述电子设备的显示界面的最大图层数，确定所述电子设备显示所述应用程序时的显示界面的最大图层数作为所述应用程序的所述图层基数。

6.根据权利要求1所述的方法，其特征在于，所述图层属性为各图层的标识，所述附加动效单独绘制在一个图层；所述根据所述图层属性，确定所述当前显示界面中是否包括附加动效，包括：

根据所述各图层的标识和预设的所述附加动效所在图层的标识，确定所述当前显示界面中是否包括所述附加动效。

7.根据权利要求6所述的方法，其特征在于，所述根据所述各图层的标识和所述附加动效所在图层的标识，确定所述当前显示界面中是否包括所述附加动效，包括：

当所述各图层的标识中包含所述附加动效所在图层的标识时，确定所述当前显示界面中包括所述附加动效；

当所述各图层的标识中不包含所述附加动效所在图层的标识时，确定所述当前显示界面中未包括所述附加动效。

8.根据权利要求7所述的方法，其特征在于，在确定所述当前显示界面中包括所述附加动效之后，所述方法还包括：

根据所述各图层的标识中包含的所述附加动效所在图层的标识，确定所述附加动效所在图层；

根据所述附加动效所在图层竖屏视角下的宽和高的相对大小，确定所述附加动效是否为全屏显示。

9.根据权利要求8所述的方法，其特征在于，所述根据所述附加动效所在图层的宽和高的相对大小，确定所述附加动效是否为全屏显示，包括：

当所述宽的值小于所述高的值时，确定所述附加动效为所述全屏显示；

当所述宽的值大于所述高的值时，确定所述附加动效为非全屏显示。

10.根据权利要求1至9任一项所述的方法，其特征在于，在所述获取电子设备当前显示界面的图层属性之前，所述方法还包括：

检测到所述电子设备出现卡顿、丢帧、负载增加、图层合成时间突变、横竖屏切换、视频开始播放、视频暂停播放、视频快进中的至少一种；和/或，

检测到用户的输入操作，所述用户的输入操作包括以下任一种：触摸操作、语音控制操作、按键操作、隔空手势操作、遥控操作、远程控制操作、鼠标操作、键盘操作、视觉控制操作、面部表情识别操作。

11.根据权利要求1至10任一项所述的方法，其特征在于，所述附加动效包括弹幕、表情动效、礼物动效中的任一种。

12.根据权利要求1至11任一项所述的方法，其特征在于，在确定所述当前显示界面中包括所述附加动效之后，所述方法还包括：

提高所述电子设备的屏幕的刷新率；和/或，

放宽所述电子设备的片上系统SoC的频点限制，所述SoC包括中央处理器CPU、图形处理器GPU以及存储器中的至少一种；和/或，

对所述电子设备的屏幕的显示效果进行增强，所述显示效果进行增强包括文字增强、亮度提高、提高屏幕分辨率中的至少一种；和/或，

关闭所述电子设备的屏幕的护眼模式；和/或，

降低所述电子设备的屏幕的去蓝光等级。

13.一种界面识别方法，其特征在于，包括：

识别电子设备当前显示界面内的元素，所述当前显示界面中包括视频；

根据所述元素确定当前显示界面中是否包括附加动效，所述附加动效为所述视频上层叠显示的动效。

14.根据权利要求13所述的方法，其特征在于，所述识别电子设备当前显示界面内的元素，包括：

获取所述当前显示界面的图像；

根据所述图像识别所述元素。

15.根据权利要求13或14所述的方法，其特征在于，所述附加动效为弹幕、表情动效、礼物动效中的任一种，所述元素为所述当前显示界面中的第一控件，所述第一控件用于开关显示所述附加动效；所述根据所述元素确定当前显示界面中是否包括附加动效，包括：

当所述第一控件处于开启状态时，确定所述当前显示界面中包括所述附加动效；

当所述第一控件处于关闭状态时，确定所述当前显示界面中未包括所述附加动效。

16.根据权利要求13或14所述的方法，其特征在于，所述附加动效为弹幕，所述元素为所述当前显示界面中的文本控件，所述文本控件用于展示文本内容；所述根据所述元素确定当前显示界面中是否包括附加动效，包括：

判断所述文本控件是否包括多个且多个所述文本控件的属性不相同，所述文本控件的属性包括内容、长度、坐标、颜色中的至少一个；

若是，则确定所述当前显示界面中包括所述附加动效；

若否，则确定所述当前显示界面中未包括所述附加动效。

17.根据权利要求13至16任一项所述的方法，其特征在于，在所述识别电子设备当前显示界面内的元素之前，所述方法还包括：

检测到所述电子设备出现卡顿、丢帧、负载增加、图层合成时间突变、横竖屏切换、视频开始播放、视频暂停播放、视频快进中的至少一种；和/或，

检测到用户的输入操作，所述用户的输入操作包括以下任一种：触摸操作、语音控制操作、按键操作、隔空手势操作、遥控操作、远程控制操作、鼠标操作、键盘操作、视觉控制操作、面部表情识别操作。

18.根据权利要求13至17任一项所述的方法，其特征在于，在确定所述当前显示界面中包括所述附加动效之后，所述方法还包括：

提高所述电子设备的屏幕的刷新率；和/或，

放宽所述电子设备的片上系统SoC的频点限制，所述SoC包括中央处理器CPU、图形处理器GPU以及存储器中的至少一种；和/或，

对所述电子设备的屏幕的显示效果进行增强，所述显示效果进行增强包括文字增强、亮度提高、提高屏幕分辨率中的至少一种；和/或，

关闭所述电子设备的屏幕的护眼模式；和/或，

降低所述电子设备的屏幕的去蓝光等级。

19.一种电子设备，其特征在于，包括：处理器，用于存储所述处理器可执行指令的存储器，所述处理器被配置为执行所述指令时，使得所述电子设备实现如权利要求1至12任一项所述的方法或如权利要求13至18任一项所述的方法。

20.一种计算机程序产品，其特征在于，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，使得电子设备实现如权利要求1至12任一项所述的方法或如权利要求13至18任一项所述的方法。

Images