CN114860538A - 显示界面卡顿上报方法、终端、电子设备以及介质 - Google Patents

Abstract

本申请公开了一种显示界面卡顿上报方法、终端、电子设备以及介质，该方法包括：获取显示界面的图像；响应于对显示界面的预设操作，根据预设操作前后显示界面的图像变化情况，判断显示界面是否发生卡顿；响应于显示界面发生卡顿，获取当前设备的运行参数，并上报运行参数。通过上述方式，本申请能够根据预设操作前后显示界面的图像变化情况，判断显示界面是否发生卡顿，若卡顿则及时上报运行参数，从而对异常进行记录，为开发人员提供精准的异常信息。

Description

显示界面卡顿上报方法、终端、电子设备以及介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种显示界面卡顿上报方法、终端、电子设备以及介质。

背景技术

通常，随着电子设备的普及，显示设备的显示面板往往采用全面屏结构，用户在全面屏上进行触控，则可对显示设备进行控制和操作，例如点击以及滑动等操作。

一般来说，使用电子设备较长时间后，电子设备的运行状况或多或少会出现故障，比如电子设备在运行游戏时，往往在游戏特别激烈的情况下，出现游戏卡顿的情况，导致使用体验急剧下降。

目前，为了能对电子设备的运行故障进行监测，往往通过打印日志或追踪故障的方式，然而这种方式通常是在运行故障完成后再去检查以及上报，这导致错过了最佳的获取时间，运行故障难以复现。

发明内容

本申请实施例第一方面提供了一种显示界面卡顿上报方法，该方法包括：获取显示界面的图像；响应于对显示界面的预设操作，根据预设操作前后显示界面的图像变化情况，判断显示界面是否发生卡顿；响应于显示界面发生卡顿，获取当前设备的运行参数，并上报运行参数。

本申请实施例第二方面提供了一种终端，该终端包括：

获取模块，用于获取显示界面的图像；

判断模块，用于响应于对所述显示界面的预设操作，根据所述预设操作前后所述显示界面的图像变化情况，判断所述显示界面是否发生卡顿；

所述获取模块，还用于响应于所述显示界面发生卡顿，获取当前设备的运行参数；

上报模块，用于上报所述运行参数。

本申请实施例第三方面提供了一种电子设备，该电子设备包括：处理器和存储器，存储器中存储有计算机程序，处理器用于执行计算机程序以实现如第一方面所述的方法。

本申请实施例第四方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序能够被处理器执行时实现本申请实施例第一方面所述的方法。

本申请的有益效果是：本申请能够根据预设操作前后显示界面的图像变化情况，判断显示界面是否发生卡顿，若卡顿则及时上报运行参数，从而对异常进行记录，进而为开发人员提供精准的异常信息，方便开发人员对问题点进行定位，解决预设操作失灵的问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请显示界面卡顿上报方法的流程示意图；

图2是本申请预设操作前的一游戏显示界面示意图；

图3是本申请预设操作后的一游戏显示界面示意图；

图4是本申请图1中步骤12一具体实施例的流程示意图；

图5是本申请图4中步骤21一具体实施例的流程示意图；

图6是本申请实施例提供一终端的结构示意图；

图7是本申请实施例提供一电子设备的结构示意图；

图8是本申请提供一计算机可读存储介质的结构示意图；

图9是本申请终端的硬件架构的示意框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

随着电子设备的普及以及发展，显示设备的显示面板往往可以在全面屏上进行触控，显示设备将这种触控命令向服务器进行发送，服务器将该触控命令对应的资源给到显示设备，则可实现对显示设备进行控制和操作，例如点击以及滑动等触控命令，这里的电子设备至少包括电脑以及手机终端，服务器至少可以包括基站和网络服务器。

为对本申请进行详细说明，本申请提供一种显示界面卡顿上报方法，可以手机终端为例进行说明，请参阅图1，图1是本申请显示界面卡顿上报方法的流程示意图，该方法具体包括以下步骤：

S11：获取显示界面的图像；

通常，显示设备上设置有显示面板，显示面板上可以用来呈现显示界面，比如手机终端上运行一系列的应用程序，显示界面则可以对该应用程序对应的画面进行显示。

例如，用户在手机终端上运行王者荣耀游戏，则显示界面上会显示王者荣耀游戏对应的游戏界面，为用户提供一个触控的操作区域，从而实现用户对游戏界面的控制，实现用户的娱乐目的。

因此，为了实现对显示界面的控制或者对显示界面的状况预判，通常可以获取显示界面的图像，比如在王者荣耀游戏中，该图像则可以在游戏中对应游戏界面，通过对该游戏界面的进行预设操作或状态追踪，则可以及时实现对游戏界面的控制或者对游戏界面的状况预判。

S12：响应于对显示界面的预设操作，根据预设操作前后显示界面的图像变化情况，判断显示界面是否发生卡顿；

一般来说，当打开应用程序时，则手机终端可以覆盖当前窗口对应用程序对应的显示界面进行显示，用户为了达到需要实现的目的，则可以通过对显示界面进行预设操作。

通常，该应用程序接受该预设操作的指令，并上报给服务器，服务器将预设操作的指令对应的资源返回给手机终端，实现手机终端的应用程序根据该预设操作进行及时的响应。

如此，手机终端响应于对显示界面的预设操作，根据预设操作前后显示界面的图像变化情况，即可值知道手机终端上的预设操作是失灵还是进行了预设操作相对应的改变，如此，则可以判断显示界面是否发生卡顿等情况。

S13：响应于显示界面发生卡顿，获取当前设备的运行参数，并上报运行参数。

若判定显示结面发生卡顿，则手机终端相应于该显示界面的卡顿界面，及时获取当前设备也即手机终端的运行参数，然后将实时的运行参数进行上报，从而便于卡顿对应的运行参数异常进行记录。

因此，本申请能够根据预设操作前后显示界面的图像变化情况，判断显示界面是否发生卡顿，若卡顿则及时上报运行参数，从而对异常进行记录，为开发人员提供精准的异常信息，方便开发人员对问题点进行定位，解决预设操作失灵的问题。

更进一步地，请参阅图2和图3，图2是本申请预设操作前的一游戏显示界面示意图；图3是本申请预设操作后的一游戏显示界面示意图。如图2中的A1所代表的矩形区域，图3中B1所代表的圆形区域，也即是说预设区域并不限定于具体的矩形区域或圆形区域，还可以是用户自定义的其他形状。

更进一步地，根据预设操作前后显示界面的图像变化情况，判断显示界面是否发生卡顿的步骤，包括：

根据预设操作前后预设区域的图像变化情况，判断显示界面是否发生卡顿，其中，预设区域未显示界面中的区域，具体可以是预设操作对应的区域，具体地，通过获取预设操作前的预设区域图像，以及预设操作后的预设区域图像，然后通过对比，则可以判断预设操作前的预设区域图像与预设操作后的预设区域图像之间是否发生变化，从而判断显示界面是否发生卡顿，其中，若预设操作前的预设区域图像与预设操作后的预设区域图像之间发生变化，则确定显示界面没有发生卡顿；若预设操作前的预设区域图像与预设操作后的预设区域图像之间未发生变化，则确定显示界面发生了卡顿。

其中，更为具体地，显示界面可以为游戏操作界面，按键区域为游戏技能按键。其中，游戏技能按键如图2中的A2对应的控制技能按键，如图3中的B2对应的预设操作后的按键。

具体地，显示界面至少包括王者荣耀游戏显示界面以及和平精英游戏显示界面，游戏技能按键对应的名称至少包括控制技能、回城技能、恢复技能、闪现技能以及伤害技能。

因此，值得注意的是，对于显示界面的选择，并不限于某一个应用程序，还可以有比如百度等显示界面，甚至还可以有其他显示界面，而对于游戏显示界面，其游戏技能按键也并不限制于如图2和图3中的伤害技能按键或控制技能按键等，可以随着游戏的更新进行增添或舍弃，具体根据实际情况进行选择，此处不做限定。

其中，该方法还包括：预设区域为预设操作对应的按键区域。

更进一步地，根据预设操作前后预设区域的图像变化情况，判断显示界面是否发生卡顿的步骤，包括：

根据预设操作前后按键区域的图像变化情况，判断显示界面是否发生卡顿；其中，按键区域的图像变化情况包括按键区域的图像发生变化以及按键区域的图像未发生变化，且在按键区域的图像发生变化时则表示显示界面未发生卡顿，在按键区域的图像未发生变化时则表示显示界面发生卡顿。

具体地，通过获取预设操作前的按键区域图像，以及预设操作后的按键区域图像，然后通过对比，则可以判断预设操作前的按键区域图像与预设操作后的按键区域图像之间是否发生变化，从而判断显示界面是否发生卡顿。其中，若预设操作前的按键区域图像与预设操作后的按键区域图像之间发生变化，则确定显示界面没有发生卡顿；若预设操作前的按键区域图像与预设操作后的按键区域图像之间未发生变化，则确定显示界面发生了卡顿。

更进一步地，根据预设操作前后按键区域的图像变化情况，判断显示界面是否发生卡顿的步骤，请参阅图4，图4是本申请图1中步骤12一具体实施例的流程示意图，包括：

S21：获取预设操作前按键区域的第一图像，以及预设操作后按键区域的第二图像；

具体地，若定义预设操作前按键区域的图像为第一图像，以及定义预设操作后按键区域的图像为第而图像，则可以在预设操作于按键区域后，分别获取预设操作前按键区域的第一图像，以及预设操作后按键区域的第二图像。

值得注意的是，获取预设操作前按键区域的第一图像可以在前，获取预设操作后按键区域的第二图像可以在后；获取预设操作前按键区域的第一图像也可以在后，获取预设操作后按键区域的第二图像可以在前，具体获取的时序并不做限定。

S22：通过图像识别技术，计算第一图像与第二图像之间的汉明距离；

通常，在信息论中，两个等长字符串之间的汉明距离(英语：Hamming distance)是两个字符串对应位置的不同字符的个数。换句话说，它就是将一个字符串变换成另外一个字符串所需要替换的字符个数。

也即在本申请中，汉明距离实际是一种判断两幅图像最小差异的方式，具体地，使用图像识别技术，来计算第一图像与第二图像之间的汉明距离，从而为后续判断第一图像是否与第二图像相同或一致提供理论基础。

S23：判断第一图像是否与第二图像一致；

在步骤S22中，若计算出第一图像与第二图像之间的汉明距离大于预设阈值，则判定第一图像与第二图像不一致；若计算出第一图像与第二图像之间的汉明距离小于或等于预设阈值，则判定第一图像与第二图像一致。

其中，若第一图像与第二图像一致，则进入步骤S24，也即确定显示界面发生卡顿，若第一图像与第二图像不一致，则进入步骤S25，也即确定显示界面未发生卡顿。

更进一步地，显示界面对应的机体内设有感应器，比如手机终端可以是设置在显示设备内的连接显示界面的压力传感器，在电脑上可以是设置于鼠标的光敏传感器。

其中，获取预设操作前按键区域的第一图像，以及预设操作后按键区域的第二图像的步骤，请参阅图5，图5是本申请图4中步骤21一具体实施例的流程示意图，具体包括以下步骤：

S31：基于显示界面的渲染图层，确定显示界面的布局坐标；

一般来说，对于由于游戏显示界面，往往会设置渲染图层，以渲染更生动的游戏效果，具体地渲染模块中设置有surfaceflinger的渲染模块，通过surfaceflinger渲染模块，则可以知道显示界面布局，也即基于显示界面的渲染图层，确定显示界面的布局坐标。

S32：通过感应器，获取显示界面的感应值，以选中布局坐标中某一坐标；

通常，手机终端上往往用手点击技能按键区域，电脑上通常采用鼠标点击技能按键区域，每个技能按键点击区域都有对应的名字和按键坐标，通过该技能按键区域的名字和按键坐标，则可以选中布局坐标中某一坐标。

具体地，当用手选中点击技能按键区域时，则连接显示界面的压力传感器接受来自用户在显示界面上的压力，则可以生成显示界面的压力感应值，通过获取显示界面的压力感应值，则可以选中手机终端布局坐标中某一坐标。

当使用鼠标点击技能按键区域时，则连接显示界面的光敏传感器可以生成显示界面的光亮感应值，通过获取显示界面的光亮感应值，则可以选中电脑显示界面的布局坐标中某一坐标。

S33：根据坐标，确定选中对应的按键区域，按键区域还包括按键区域对应的名称。

通过调用在整个画面的某一坐标，从而确定选中对应的按键区域。上上文可知，按键区域还包括按键区域对应的名称，游戏技能按键对应的名称至少包括控制技能、回城技能、恢复技能、闪现技能以及伤害技能。

更进一步地，为更加容易去了解本申请的技术方案，本申请以王者荣耀中的控制技能键为例。控制技能键在屏幕上的位置区域，可以通过系统的渲染模块获知，分别对应于一个圆区域，当点击屏幕时，通过触摸屏反馈的点触位置，判断是否落在功能键的圆区域，从而判断是否发生点击功能键的行为，当判断到发生点击了，使用图像识别技术，通过点击前、后的技能键图片的变化来判断是否发生卡顿，来决定是否需要上报系统的资源信息。上报的信息可以包括系统CPU、GPU、Memory、网络等信息。这样开发人员可以在离线状态下拿到用户手头机器中的信息，进行卡顿等异常分析。

选取其中一个技能键，位置如图2和图3红圈所示，当点中该技能键后，会出现如图3中的显示，技能键会出现不一样的图片。如果用户点中技能键后，技能键的图像没有发生改变，既没有由图2中的技能键变成图3中的技能键，可以判断出游戏出现卡顿了，这时触发当前系统资源使用情况的抓取。因此，可以通过点击技能键后图片动态地改变，来判断游戏卡顿，判断方式简单。

其中，响应于显示界面发生卡顿，获取当前设备的运行参数，并上报运行参数的步骤，具体包括以下步骤：

在确定显示界面发生卡顿时，则抓取当前系统对应的运行参数，运行参数至少包括系统log和系统的内存、cpu状态信息、gpu状态信息以及网络信息。

然后再将运行参数向服务器进行发送，以使服务器获取运行界面卡顿对应的运行参数。

因此，本申请的这种游戏卡顿时系统资源信息即时上报的实施例，通过实时监控用户游戏中的触控状态，做到有能力判断用户的触控是否生效，如果没有生效，系统即时触发抓取系统log和系统的内存、cpu、gpu状态信息，并上报大数据，方便开发人员定位问题点，解决用户触控失灵的问题，离线分析用户在玩游戏时发生卡顿的问题，实现android系统级别的异常检测。具体地，当游戏出现卡顿时，立即抓取当前系统资源信息，上报大数据，帮助开发人员快速定位游戏卡顿的Bug，提高问题分析的效率。

此外，本申请还提供一种终端，请参阅图6，图6是本申请实施例提供一终端的结构示意图，该终端60包括：

获取模块61，用于获取显示界面的图像；

判断模块62，用于响应于对显示界面的预设操作，根据预设操作前后显示界面的图像变化情况，判断显示界面是否发生卡顿；

获取模块61，还用于响应于显示界面发生卡顿，获取当前设备的运行参数；

上报模块63，用于上报运行参数。

因此，本申请能够根据预设操作前后显示界面的图像变化情况，判断显示界面是否发生卡顿，若卡顿则及时上报运行参数，从而对异常进行记录，为开发人员提供精准的异常信息，方便开发人员对问题点进行定位，解决预设操作失灵的问题。

此外，本申请还提供一种电子设备，请参阅图7，图7是本申请实施例提供一电子设备的结构示意图，该电子设备70包括：处理器71和存储器72，存储器72中存储有计算机程序721，处理器71用于执行计算机程序721以执行如上述的方法，此处不再赘述。

此外，本申请第还提供一种计算机可读存储介质，请参阅图8，图8是本申请提供一计算机可读存储介质的结构示意图，该计算机可读存储介质80存储有计算机程序81，计算机程序81能够被处理器执行时实现如上述的方法，此处不再赘述。

请参阅图9，图9是本申请终端的硬件架构的示意框图，该终端900可以为智能电视、工业电脑、平板电脑、手机以及笔记本电脑等，本实施例图示以手机为例。该终端900的结构可以包括射频(radio frequency，RF)电路810、存储器920、输入单元930、显示单元940、传感器950、音频电路960、WiFi(wireless fidelity)模块970、处理器980以及电源990等。其中，RF电路910、存储器920、输入单元930、显示单元940、传感器950、音频电路960以及WiFi模块970分别与处理器980连接；电源990用于为整个终端900提供电能。

具体而言，RF电路910用于接发信号；存储器920用于存储数据指令信息；输入单元930用于输入信息，具体可以包括触控面板931以及操作按键等其他输入设备932；显示单元940则可以包括显示面板等；传感器950包括红外传感器、激光传感器等，用于检测用户接近信号、距离信号等；扬声器961以及传声器(或者麦克风)962通过音频电路960与处理器980连接，用于接发声音信号；WiFi模块970则用于接收和发射WiFi信号，处理器980用于处理手机的数据信息。

以上所述仅为本申请的部分实施例，并非因此限制本申请的保护范围，凡是利用本申请说明书及附图内容所作的等效装置或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种显示界面卡顿上报方法，其特征在于，所述方法包括：

获取显示界面的图像；

响应于对所述显示界面的预设操作，根据所述预设操作前后所述显示界面的图像变化情况，判断所述显示界面是否发生卡顿；

响应于所述显示界面发生卡顿，获取当前设备的运行参数，并上报所述运行参数。

2.根据权利要求1所述的方法，其特征在于，

所述根据所述预设操作前后所述显示界面的图像变化情况，判断所述显示界面是否发生卡顿，包括：

根据所述预设操作前后所述预设区域的图像变化情况，判断所述显示界面是否发生卡顿，所述预设区域为所述显示界面中的区域。

3.根据权利要求2所述的方法，其特征在于，

所述预设区域为所述预设操作对应的按键区域；

所述根据所述预设操作前后所述预设区域的图像变化情况，判断所述显示界面是否发生卡顿，包括：

根据所述预设操作前后所述按键区域的图像变化情况，判断所述显示界面是否发生卡顿；其中，所述按键区域的图像变化情况包括所述按键区域的图像发生变化以及所述按键区域的图像未发生变化，且在所述按键区域的图像发生变化时则表示所述显示界面未发生卡顿，在所述按键区域的图像未发生变化时则表示所述显示界面发生卡顿。

4.根据权利要求3所述的方法，其特征在于，

所述根据所述预设操作前后所述按键区域的图像变化情况，判断所述显示界面是否发生卡顿，包括：

获取所述预设操作前所述按键区域的第一图像，以及所述预设操作后所述按键区域的第二图像；

通过图像识别技术，计算所述第一图像与所述第二图像之间的汉明距离，来判断所述第一图像是否与所述第二图像一致；

其中，若所述第一图像与所述第二图像一致，则确定所述显示界面发生卡顿，若所述第一图像与所述第二图像不一致，则确定所述显示界面未发生卡顿。

5.根据权利要求4所述的方法，其特征在于，

所述获取所述预设操作前所述按键区域的第一图像，以及所述预设操作后所述按键区域的第二图像，包括：

基于所述显示界面的渲染图层，确定所述显示界面的布局坐标；

通过感应器，获取所述显示界面的感应值，以选中所述布局坐标中某一坐标；

根据所述坐标，确定选中对应的所述按键区域，所述按键区域还包括所述按键区域对应的名称。

6.根据权利要求1所述的方法，其特征在于，

所述响应于所述显示界面发生卡顿，获取当前设备的运行参数，并上报所述运行参数，包括：

在确定所述显示界面发生卡顿时，则抓取当前系统对应的运行参数，所述运行参数至少包括系统log和系统的内存、cpu状态信息、gpu状态信息以及网络信息；

将所述运行参数向所述服务器进行发送，以使所述服务器获取所述运行界面卡顿对应的所述运行参数。

7.根据权利要求1至6任一项所述的方法，其特征在于，

所述显示界面为游戏操作界面，所述按键区域为游戏技能按键。

8.一种终端，其特征在于，所述终端包括：

获取模块，用于获取显示界面的图像；

判断模块，用于响应于对所述显示界面的预设操作，根据所述预设操作前后所述显示界面的图像变化情况，判断所述显示界面是否发生卡顿；

所述获取模块，还用于响应于所述显示界面发生卡顿，获取当前设备的运行参数；

上报模块，用于上报所述运行参数。

9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储有计算机程序，计算机程序能够被处理器执行时实现如权利要求1-7任一项所述的方法。

Images