CN117762752A - 终端性能检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开涉及终端性能检测方法、装置、电子设备及存储介质，上述方法包括:获取对包括目标终端的显示屏进行拍摄得到的视频画面；获取所述视频画面中的第一视频帧和第二视频帧；其中，所述第一视频帧包括针对所述显示屏进行触控操作时对应的视频帧；所述第二视频帧包括响应于所述触控操作，在所述视频画面中的画面内容发生变化时对应的视频帧；基于所述第一视频帧和所述第二视频帧，确定所述目标终端的终端性能。这样可以无需专业的检测软件对目标终端进行检测，能够大大提高检测的效率。

Description

终端性能检测方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及终端性能检测方法、装置、电子设备及存储介质。

背景技术

随着汽车领域技术的不断发展，车机也从传统简单的收音机，逐步发展成集导航、车辆控制和影音娱乐等功能的智能化终端。

相关技术中，需要进行车机评测，因牵涉到多方合作，使得车机的检测效率较低。

发明内容

本公开提供了一种终端性能检测方法、装置、电子设备及存储介质。

根据本公开的一方面，提供了一种终端性能检测方法，所述方法包括：

获取对包括目标终端的显示屏进行拍摄得到的视频画面；

获取所述视频画面中的第一视频帧和第二视频帧；其中，所述第一视频帧包括针对所述显示屏进行触控操作时对应的视频帧；所述第二视频帧包括响应于所述触控操作，在所述视频画面中的画面内容发生变化时对应的视频帧；

基于所述第一视频帧和所述第二视频帧，确定所述目标终端的终端性能。

根据本公开的另一方面，提供了一种终端性能检测装置，所述装置包括：

视频画面获取模块，用于获取对包括目标终端的显示屏进行拍摄得到的视频画面；

视频帧获取模块，用于获取所述视频画面中的第一视频帧和第二视频帧；其中，所述第一视频帧包括针对所述显示屏进行触控操作时对应的视频帧；所述第二视频帧包括响应于所述触控操作，在所述视频画面中的画面内容发生变化时对应的视频帧；

终端性能确定模块，用于基于所述第一视频帧和所述第二视频帧，确定所述目标终端的终端性能。

根据本公开的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开的上述方法。

本公开实施例提供的终端性能检测方法、装置、电子设备及存储介质，通过获取包括目标终端的显示屏进行拍摄得到的视频画面，获得对该显示屏进行触控操作时对应的第一视频帧和响应于该触控操作获得的第二视频帧，基于该第一视频帧和第二视频帧，确定出目标终端的终端性能。这样可以无需专业的检测软件对目标终端进行检测，能够大大提高检测的效率。

附图说明

在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：

图1为本公开一示例性实施例提供的对车机进行性能检测的场景示意图；

图2为本公开一示例性实施例提供的加装红外对射框的车机示意图；

图3为本公开一示例性实施例提供的终端性能检测方法的流程图；

图4为本公开一示例性实施例提供的终端性能检测装置的功能模块示意性框图

图5为本公开一示例性实施例提供的电子设备的结构框图；

图6为本公开一示例性实施例提供的计算机系统的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。

例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。

作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。

为了提高终端的性能检测效率，本公开实施例会对终端的显示屏进行图像采集，获得对终端显示屏拍摄到的视频画面。例如，通过高帧相机对终端的显示屏进行拍摄，得到包含终端显示屏的视频画面。其中，该终端可以为车机、手机或者平板电脑等电子产品，实施例不限于此。为了便于说明，实施例中以终端为车机为例进行说明，但实施例不限于此。

如图1所示，图1为本公开一示例性实施例提供的对车机进行性能检测的场景示意图。可以在车机11的正前方安装有相机12，该相机可以为高帧相机。

实施例中，用户可以通过手指对车机11进行触控操作，例如点击、缩放或者滑动操作等。相机12通过对包含车机11显示屏幕的图像采集，可以获得用户在对车机11操作过程中的视频画面。通过对采集到的视频画面进行识别等处理，可以获得车机11的车机性能。

实施例中，通过对上述视频画面进行动作检测，在检测到用户的手部对车机11的显示屏幕具有触发动作时，可以确认车机11接收到了用户对车机11的触发操作，实施例中还可以进一步对用户的手部进行识别，进一步识别出用户通过手指对车机11的显示屏幕的点击操作、缩放操作或者滑动操作等操作。

可以在识别到用户的手部对显示屏幕具有上述触发操作时，开始计时，例如此时对应为时刻1；在检测到车机11的显示屏幕的画面内容出现变化时，停止计时，例如此时对应为时刻2，这样可以根据时刻1和时刻2之间的时长，该时长为车机11在接收到用户相关操作到做出反应之间的时长，得到车机11的响应时延。还可以获取在检测到用户手部对车机11的显示屏幕的触发操作时对应的视频帧的帧号，例如为帧号m，在检测到车机11的显示屏幕中的内容发生变化时，获取对应的视频帧的帧号，例如为帧号n。通过或者上述视频画面的帧率，获得帧间间隔，这样可以基于帧间间隔、帧号m和帧号n，获得车机11的在接收到用户的触发操作到做出响应之间的时长，得到响应时延。其中，上述m和n均为正整数，n大于m。

这样实施例可以通过上述响应时延对车机11的车机性能做出评测。例如，可以预先划分为多个等级区间，例如等级1、等级2和等级3，根据该响应时延对应的等级区间，确定出车机11的车机性能。

实施例中，还可以进一步区分不同操作下车机11分别对应的响应时延，例如点击操作对应的响应时延、缩放操作对应的响应时延或者缩放操作对应的响应时延，进而确定出不同操作类型下分别对应的响应时延，进而基于上述响应时延综合确定出车机11的车机性能。

上述实施例中的响应时延，具体还可以是车机11上的开机或者关机时延，例如对车机执行开机或者关机操作后，车机多久做出反应。或者，针对车机11上某个app(application，应用程序)启动的响应时延，例如，通过点击车机11显示屏幕上的某个app，对该app执行启动操作，获得的响应时延。或者，还可以对是车机11的显示屏幕上显示内容的响应时延，例如，对车机11的显示屏幕上的地图进行相关操作时，获得的响应时延。

实施例中，对应上述相关操作，例如滑动或者和缩放操作等，当操作过程中出现间隔的相邻两帧相同时，则判断为出现了一次卡顿，该帧也统计为卡顿帧，通过获取单位时间内卡顿帧的数量和总帧数量，计算卡顿帧数量除以总帧数量，可以得到该操作过程中车机的卡顿比，可以通过该卡顿比的大小作为车机11的车机性能的评测指标。实施例中，还可以通过该车机的卡顿比和上述的响应时延，作为两个不同的维度一起作为车机11的车机性能，或者分别对车机11的车机性能进行评测，这样可以避免还需要通过专门的车机评测软件对车机性能进行评测导致的车机性能检测效率较低的问题，进而可以提高车机检测的效率。

实施例中，除了通过上述方式对视频画面通过用户的手部进行识别，确定出对应的操作类型，例如点击操作、滑动操作或者缩放操作等，还可以在车机11上设置红外对射框13，通过红外对射框检测用户手部对车机11的显示屏幕的操作类型。例如，可以在车机11的显示屏幕的边缘侧设置红外对射框，如上侧和下侧，或者左侧和右侧等。

实施例中，可以选择尺寸匹配的红外对射框13紧贴车机11表面进行安装，实现车机表面的红外覆盖。红外对射框13为对称结构，分别包括红外发射管和红外接收管，可以由一端红外发射管持续性地射出不可见红外光，该红外光会被水平对称的红外接收管所接收。当有手指对车机进行操作时，由于手指的不透光性，会同时在红外对射框的覆盖区域内产生遮挡，因此可由红外对射框产生信号回传到上位机系统，并提示当前对车机进行的相关操作。同时还可根据遮挡的数量和遮挡的位置变化实现对操作动作的区分，并回传不同的信号，得到比如点击、滑动或双指缩放等触控操作类型。上位机接收到不同的手指操作信号后，可以通过亮起不同数量的LED(light-emitting diode，发光二极管)灯进行提示。

因此，可以通过对上述视频画面中LED灯的亮度检测，确定车机11是否接收到用户对显示屏幕的触控操作，并且进一步的还可以根据检测到的LED灯亮起的数量，确定用户的触控操作类型，例如点击、滑动或双指缩放等触控操作类型。

实施例中，可以在正对车机11方向安装高帧相机12，以不低于60帧/秒的拍摄帧率记录操作过程，获得包含车机11的显示屏幕的视频画面，该视频画面中会包括手指的操作和对应数量的LED灯亮起，以及车机11上显示屏幕的画面内容的变化情况。

在本公开提供的实施例中，为了识别上述视频画面中的画面内容是否发生变化，进而确定车机11是否针对用户的相关操作做出响应。可以对视频画面进行预处理，具体可以对上述高帧相机拍摄到的视频进行分帧处理，并且为了降低处理的数据量，可以逐帧将视频画面从RGB颜色空间转化为灰度颜色空间。并且为保证后续视频帧间，比对像素的数量统一，可以进一步对每一帧的分辨率进行了统一的缩放固定在特定的分辨率，例如1920x1080。

实施例中，由于用户在对车机11进行相关操作时，例如点击操作等，操作过程中可能产生轻微震动，导致拍摄到的视频画面出现抖动的情况。例如，拍摄到的视频画面中，终端的显示屏在视频画面上显示时，因画面抖动使得显示屏的矩形形状变为梯形形状，这时可以根据帧间画面的特征点的偏移情况对画面进行仿射变换，将视频画面统一转换为矩形，实现画面的抖动抑制。最后对画面中的车机区域作为ROI(region of interest，感兴趣区域)区域进行标注，将后续的分析专注于该区域。

基于上述实施例，在对上述LED灯的检测过程中，可以通过基于神经网络训练的LED检测模型，逐帧对画面中是否存在LED进行检测。通过该模型可有效抵御拍摄环境光变化对LED检测的影响。该检测同时还包含了对LED灯是否亮起，以及所亮起的LED灯数量的检测。当有不少于1个LED灯亮起时，说明车机正在被操作。

其中，可以通过训练样本对预设神经网络模型进行训练，该训样本可以包括多个图像，每个图像可以包含LED灯，并且标记LED灯是否亮起的标签。这样通过训练样本对预设神经网络模型进行训练，在满足停止训练条件时，停止训练，得到上述LED检测模型。该LED检测模型可以检测图像中LED灯的亮起状态。

实施例中，用户在对车机11的显示屏幕进行相关操作时，为了避免非目标对象对视频画面造成影响，可以将各视频帧中的目标图像区域分割出来。例如，该非目标对象可以为手部、衣服或者装饰品等，而目标对象可以是显示屏幕的显示内容。实施例中以非目标对象为手部为例进行说明，为了避免手部对视频画面造成影响，可以将各视频帧中的手部区域分割出来，实施例不限于此。具体可以通过基于神经网络训练的手部识别和分割的模型对视频画面进行处理，该模型针对性地解决车机评测过程中所录制的画面可能存在的局部手掌、衣物遮蔽等情况。同时通过模型的检测可有效的抵御拍摄过程中光照变化带来的影响，并有效区分出车机画面中的类人图像和真实的人手。将该模型在完成手部识别的同时，还对画面中的手部的区域按轮廓进行像素级的分割。通过将手部在相邻帧中进行分割和黑色填充，可将手部在相邻帧同时进行抹除，从而不再影响后续的车机画面变化判断。

实施例中，通过对相邻帧逐进行相同坐标的像素级比对，从而检测出帧间的画面是否存在明显变化。同时，为进一步减少拍摄画面中不可避免的噪音，并更好的放大像素间的差异，对于像素间比对的结果进行膨胀、腐蚀以及二值化处理，消除比对的噪音，突出差异的像素。并结合人眼对像素变化的敏感程度，以及车机的画面变化必存在于一定大小的像素区域内的特征，计算帧间不同的像素在整体画面中的占比，当占比超过一定闽值时，即可判定为帧间的画面发生了变化。

基于上述实施例，本公开实施例提供了一种终端性能检测方法，如图3所示，该方法可以包括如下步骤：

在步骤S310中，获取对包括目标终端的显示屏进行拍摄得到的视频画面。

实施例中，该目标终端可以是手机、平板电脑或者车机等终端，具体以上述实施例中的车机为例进行说明，实施例不限于此。

通过在车机正前方设置高帧相机，在对车机进行触控操作时，通过高帧相机对车机进行拍摄，获得包含车机的显示屏的视频画面。

在步骤S320中，获取视频画面中的第一视频帧和第二视频帧。

在步骤S330中，基于第一视频帧和第二视频帧，确定目标终端的终端性能。

其中，第一视频帧包括针对显示屏进行触控操作时对应的视频帧，第二视频帧包括响应于该触控操作，在视频画面中的画面内容发生变化时对应的视频帧。

实施例中，通过获取在检测到针对目标终端的触控操作时对应的第一视频帧，可以获取该第一视频帧对应的帧号m，或者开始计时，得到时刻1。在检测到视频画面中的画面内容发生变化时，可以获取当前对应的第二视频帧的帧号n，或者停止计时，得到时刻2。

这样可以根据该时刻1与时刻2之间的时长，确定出目标终端的响应时延。或者，获取视频的帧率，通该帧率获得帧间间隔，并通过获取上述帧号m、帧号n和帧间间隔，获得目标终端的响应时延。因此，通过获取视频画面的帧率，并基于帧率可以确定帧间间隔。通过获取第一视频帧与第二视频帧之间对应帧号的差值，并基于差值和帧间间隔，确定目标终端的响应时延，进而基于响应时延确定目标终端的终端性能。这样通过获得的上述响应时延，获得目标终端的性能。

另外，还可以通过获取操作过程中的卡顿帧，通过卡顿帧的数量和总帧数量，确定出操作过程中车机的卡顿比，进而确定出目标终端的终端性能，例如，可以获取第一视频帧与第二视频帧之间的总视频帧数量，并获取视频帧集合中包含的卡顿帧数量。这样可以基于总视频帧数量和卡顿帧数量，获得显示屏的卡顿比，并基于该卡顿比确定目标终端的卡顿程度。具体可以参见上述实施例的描述，这里不再赘述。

本公开实施例提供的终端性能检测方法，通过获取包括目标终端的显示屏进行拍摄得到的视频画面，获得对该显示屏进行触控操作时对应的第一视频帧和响应于该触控操作获得的第二视频帧，基于该第一视频帧和第二视频帧，确定出目标终端的终端性能。这样可以无需专业的检测软件对目标终端进行检测，能够大大提高检测的效率。

基于上述实施例，在本公开提供的又一实施例中，为了确定出目标终端的终端性能，上述步骤S330具体还可以包括以下步骤：

在步骤S331中，获取触控操作对应的触控操作类型，并确定目标终端在触控操作类型下对应的终端性能。

实施例中，可以进一步检测触控操作对应的触控操作类型，并确定在该触控操作类型下对应的终端性能。例如，分别在点击操作、滑动操作或缩放操作下，目标终端分别对应的终端性能。

实施例中，可以通过对视频画面中用户手部的操作动作进行识别，识别出对应的操作类型。还可以在目标终端的显示屏的边缘区域设置有红外对射框和多个指示灯，结合图2所示，该红外对射框用于在检测到显示屏存在触控操作时，根据触控操作类型点亮对应数量的指示灯。这样可以将对操控类型的识别，转化为具体到对视频画面中指示灯亮起的数量的识别，不同数量的指示灯得到亮起可以对应有不同的触控操作类型，该指示灯可以具体为上述的LED灯。

这样上述视频画面中会包含指示灯的显示区域，通过对显示区域中指示灯的亮起数量，确定出对应的触控操作类型。因此，在检测到显示区域存在亮起状态的指示灯时，可以获取亮起状态的指示灯的数量，并基于数量确定触控操作对应的触控操作类型。这样通过预先建立触控操作类型与处于指示灯亮起数量之间的对应关系，便于检测触控操作的类型。

实施例中，在确定目标终端在触控操作类型下对应的终端性能时，可以结合检测到的指示灯的亮起情况，获得在对应操作类型下的响应时延，进而确定出目标终端的终端性能。例如，在检测到指示灯亮起时，开始计时，得到第一时刻；在检测到视频画面中的画面内容发生变化时，停止计时，得到第二时刻；基于第一时刻和第二时刻，确定目标终端在触控操作类型下对应的响应时延，并基于响应时延确定目标终端的终端性能。

实施例中，可以在触控操作为点击操作时，获取点击操作在显示屏中的操作对象。并获取在点击操作下操作对象的响应时延，并将操作对象的响应时延作为目标终端的响应时延。

例如，可以获取对操控对象的响应时延，并将该响应时延作为目标终端的响应时延。例如，通过对目标终端上某个app的点击操作，获取该app的启动时所需的时长，该时长为app启动响应时延。另外，还可以获得针对目标终端的关机或者启动操作，获得关机或者启动时延，或者对目标终端的显示屏进行相关内容的操作，例如对地图的缩放操作，可以获得该响应时延。进而可以将上述具体的响应时延作为目标终端的响应时延，以便通过该响应时延确定目标终端的终端性能。

实施例中，由于目标终端通常通过支架等方式设置在某个地方，使得用户在通过手指对目标终端进行触控操作时，手指作用到目标终端上的力度可能会导致目标终端产生一定程度的晃动，使得相机拍摄到的视频画面可能会出现抖动的情况，这就需要对视频画面中出现抖动的视频帧进行处理。因此，在检测到视频画面中存在抖动帧时，获取视频画面中的目标特征点。获取目标特征点的偏移信息，并基于偏移信息对抖动帧进行变换处理。例如，通过提取视频帧中的目标特征点，通过获取该特征点的偏移量，对视频帧进行仿射变换处理，以消除视频画面中的抖动现象。

实施例中，为了在识别到视频画面的中的触控操作后，准确检测的视频画面的画面内容的变化情况，该方法还可以包括以下步骤：

在步骤S340中，对视频画面进行分帧提取，并逐帧将视频画面转换为具有固定分辨率的二值化图像。

在步骤S350中，对各帧分别对应的二值化图像进行对比，获取相邻帧之间的相似度，并基于相似度确定出在视频画面中的画面内容发生变化时对应的第二视频帧。

实施例中，通过对视频画面进行分帧提取，将各帧由彩色图像转换为灰度图像，并灰度图像转换为二值图像。通过对比相邻帧之间分别对应的二值图像之间的相似度，可以确定相邻帧之间的画面内容是否发生变化。例如，在相似度小于阈值的情况下，确定相邻视频之间的画面内容发生变化，否则确定相邻视频之间的画面内容未发生变化。

实施例中，还可以通过获取相邻视频帧之间的像素差异，例如将前一帧的像素分别对应减去后一帧的视频帧的像素，可以获得二者之间的像素差异，通过对该像素差异进行去噪处理，并二值化处理，可以获取二者之间的差异特征。例如通过该差异特征在整个视频帧中的占比，确定该相邻视频帧之间的画面内容是否发生变化。

实施例中，还可以通过腐蚀和膨胀等对视频画面中的噪声进行去噪处理，以便更加准确的比对相邻帧之间的差异。

本公开提供的实施例中，为了更加准确的获取相邻帧之间的相似度，还可以对视频画面中的视频帧进行图像分割处理，获得包含非目标对象的目标图像区域。并对目标图像区域进行颜色填充处理，并获取颜色填充处理后相邻帧之间的相似度。

例如，通过对视频画面中的手部区域进行分割处理，分割出手部所在的区域，并将手部所在的区域填充为黑色，这样在比对相邻两帧之间的画面内容差异时，可以将手部所在的区域忽略，例如忽略黑色区域，不对黑色区域进行对比，可以消除手部对视频画面造成的影响。

在采用对应各个功能划分各个功能模块的情况下，本公开实施例提供了一种终端性能检测装置，该终端性能检测装置可以为服务器、终端或应用于服务器的芯片。图4为本公开一示例性实施例提供的终端性能检测装置的功能模块示意性框图。如图4所示，该终端性能检测装置包括：

视频画面获取模块10，用于获取对包括目标终端的显示屏进行拍摄得到的视频画面；

视频帧获取模块20，用于获取所述视频画面中的第一视频帧和第二视频帧；其中，所述第一视频帧包括针对所述显示屏进行触控操作时对应的视频帧；所述第二视频帧包括响应于所述触控操作，在所述视频画面中的画面内容发生变化时对应的视频帧；

终端性能确定模块30，用于基于所述第一视频帧和所述第二视频帧，确定所述目标终端的终端性能。

在本公开提供的又一实施例中，所述终端性能确定模块，具体用于：

获取所述触控操作对应的触控操作类型，并确定所述目标终端在所述触控操作类型下对应的终端性能。

在本公开提供的又一实施例中，所述视频画面包括指示灯的显示区域；所述终端性能确定模块，具体还用于：

在检测到所述显示区域存在亮起状态的指示灯时，获取亮起状态的指示灯的数量；

基于所述数量确定所述触控操作对应的触控操作类型。

在本公开提供的又一实施例中，所述显示屏的边缘区域设置有红外对射框和多个指示灯，所述红外对射框用于在检测到所述显示屏存在触控操作时，根据触控操作类型点亮对应数量的指示灯。

在本公开提供的又一实施例中，所述装置还包括：

特征点获取模块，用于在检测到所述视频画面中存在抖动帧时，获取所述视频画面中的目标特征点；

变换处理模块，用于获取所述目标特征点的偏移信息，并基于所述偏移信息对所述抖动帧进行变换处理。

在本公开提供的又一实施例中，所述装置还包括：

图像处理模块，用于对所述视频画面进行分帧提取，并逐帧将所述视频画面转换为具有固定分辨率的二值化图像；

视频帧确定模块，用于对各帧分别对应的二值化图像进行对比，获取相邻帧之间的相似度，并基于所述相似度确定出在所述视频画面中的画面内容发生变化时对应的所述第二视频帧。

在本公开提供的又一实施例中，所述视频帧确定模块，具体还用于：

对所述视频画面中的视频帧进行图像分割处理，获得包含非目标对象的目标图像区域；

对所述目标图像区域进行颜色填充处理，并获取所述颜色填充处理后相邻帧之间的相似度。

在本公开提供的又一实施例中，所述终端性能确定模块，具体还用于：

获取所述第一视频帧与所述第二视频帧之间的总视频帧数量，并获取所述视频帧集合中包含的卡顿帧数量；

基于所述总视频帧数量和所述卡顿帧数量，获得卡顿比；

基于所述卡顿比确定所述目标终端的卡顿程度，并基于所述卡顿程度确定所述目标终端的终端性能。

在本公开提供的又一实施例中，所述终端性能确定模块，具体还用于：

获取所述视频画面的帧率，并基于所述帧率确定帧间间隔；

获取所述第一视频帧与所述第二视频帧之间对应帧号的差值；

基于所述差值和所述帧间间隔，确定所述目标终端的响应时延，并基于所述响应时延确定所述目标终端的终端性能。

在本公开提供的又一实施例中，所述终端性能确定模块，具体还用于：

在检测到所述指示灯亮起时，开始计时，得到第一时刻；

在检测到所述视频画面中的画面内容发生变化时，停止计时，得到第二时刻；

基于所述第一时刻和所述第二时刻，确定所述目标终端在所述触控操作类型下对应的响应时延，并基于所述响应时延确定所述目标终端的终端性能。

在本公开提供的又一实施例中，所述终端性能确定模块，具体还用于：

在所述触控操作为点击操作时，获取所述点击操作在所述显示屏中的操作对象；

获取在所述点击操作下所述操作对象的响应时延，并将所述操作对象的响应时延作为所述目标终端的响应时延。

有关装置部分，与上述方法实施例相对应，具体参见上述实施例的描述，这里不再赘述。

本公开实施例提供的终端性能检测装置，通过获取包括目标终端的显示屏进行拍摄得到的视频画面，获得对该显示屏进行触控操作时对应的第一视频帧和响应于该触控操作获得的第二视频帧，基于该第一视频帧和第二视频帧，确定出目标终端的终端性能。这样可以无需专业的检测软件对目标终端进行检测，能够大大提高检测的效率。

本公开实施例还提供一种电子设备，包括：至少一个处理器；用于存储所述至少一个处理器可执行指令的存储器；其中，所述至少一个处理器被配置为执行所述指令，以实现本公开实施例公开的上述方法。

图5为本公开一示例性实施例提供的电子设备的结构示意图。如图5所示，该电子设备1800包括至少一个处理器1801以及耦接至处理器1801的存储器1802，该处理器1801可以执行本公开实施例公开的上述方法中的相应步骤。

上述处理器1801还可以称为中央处理单元(central processing unit，CPU)，其可以是一种集成电路芯片，具有信号的处理能力。本公开实施例公开的上述方法中的各步骤可以通过处理器1801中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1801可以是通用处理器、数字信号处理器(digital signal processing，DSP)、ASIC(Application Specific Integrated Circuit，专用集成电路)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储器1802中，例如随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质。处理器1801读取存储器1802中的信息，结合其硬件完成上述方法的步骤。

另外，根据本公开的各种操作/处理在通过软件和/或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的计算机系统，例如图6所示的计算机系统1900安装构成该软件的程序，该计算机系统在安装有各种程序时，能够执行各种功能，包括诸如前文所述的功能等等。图6为本公开一示例性实施例提供的计算机系统的结构框图。

计算机系统1900旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，计算机系统1900包括计算单元1901，该计算单元1901可以根据存储在只读存储器(ROM)1902中的计算机程序或者从存储单元1908加载到随机存取存储器(RAM)1903中的计算机程序，来执行各种适当的动作和处理。在RAM 1903中，还可存储计算机系统1900操作所需的各种程序和数据。计算单元1901、ROM 1902以及RAM 1903通过总线1904彼此相连。输入/输出(I/O)接口1905也连接至总线1904。

计算机系统1900中的多个部件连接至I/O接口1905，包括：输入单元1906、输出单元1907、存储单元1908以及通信单元1909。输入单元1906可以是能向计算机系统1900输入信息的任何类型的设备，输入单元1906可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元1907可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元1908可以包括但不限于磁盘、光盘。通信单元1909允许计算机系统1900通过网络诸如因特网的与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元1901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1901执行上文所描述的各个方法和处理。例如，在一些实施例中，本公开实施例公开的上述方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1902和/或通信单元1909而被载入和/或安装到电子设备上。在一些实施例中，计算单元1901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开实施例公开的上述方法。

本公开实施例还提供一种计算机可读存储介质，其中，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例公开的上述方法。

本公开实施例中的计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。上述计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。更具体的，上述计算机可读存储介质可以包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

本公开实施例还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现本公开实施例公开的上述方法。

在本公开的实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者，可以连接到外部计算机。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块、部件或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块、部件或单元的名称在某种情况下并不构成对该模块、部件或单元本身的限定。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示例性的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

以上描述仅为本公开的一些实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (14)

1.一种终端性能检测方法，其特征在于，所述方法包括：

获取对包括目标终端的显示屏进行拍摄得到的视频画面；

获取所述视频画面中的第一视频帧和第二视频帧；其中，所述第一视频帧包括针对所述显示屏进行触控操作时对应的视频帧；所述第二视频帧包括响应于所述触控操作，在所述视频画面中的画面内容发生变化时对应的视频帧；

基于所述第一视频帧和所述第二视频帧，确定所述目标终端的终端性能。

2.根据权利要求1所述的方法，其特征在于，所述确定所述目标终端的终端性能，包括：

获取所述触控操作对应的触控操作类型，并确定所述目标终端在所述触控操作类型下对应的终端性能。

3.根据权利要求2所述的方法，其特征在于，所述视频画面包括指示灯的显示区域；

所述获取所述触控操作对应的触控操作类型，包括：

在检测到所述显示区域存在亮起状态的指示灯时，获取亮起状态的指示灯的数量；

基于所述数量确定所述触控操作对应的触控操作类型。

4.根据权利要求3所述的方法，其特征在于，所述显示屏的边缘区域设置有红外对射框和多个指示灯，所述红外对射框用于在检测到所述显示屏存在触控操作时，根据触控操作类型点亮对应数量的指示灯。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在检测到所述视频画面中存在抖动帧时，获取所述视频画面中的目标特征点；

获取所述目标特征点的偏移信息，并基于所述偏移信息对所述抖动帧进行变换处理。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述视频画面进行分帧提取，并逐帧将所述视频画面转换为具有固定分辨率的二值化图像；

对各帧分别对应的二值化图像进行对比，获取相邻帧之间的相似度，并基于所述相似度确定出在所述视频画面中的画面内容发生变化时对应的所述第二视频帧。

7.根据权利要求6所述的方法，其特征在于，所述获取相邻帧之间的相似度，包括：

对所述视频画面中的视频帧进行图像分割处理，获得包含非目标对象的目标图像区域；

对所述目标图像区域进行颜色填充处理，并获取所述颜色填充处理后相邻帧之间的相似度。

8.根据权利要求1所述的方法，其特征在于，所述确定所述目标终端的终端性能，包括：

获取所述第一视频帧与所述第二视频帧之间的总视频帧数量，并获取所述视频帧集合中包含的卡顿帧数量；

基于所述总视频帧数量和所述卡顿帧数量，获得卡顿比；

基于所述卡顿比确定所述目标终端的卡顿程度，并基于所述卡顿程度确定所述目标终端的终端性能。

9.根据权利要求1所述的方法，其特征在于，所述确定所述目标终端的终端性能，包括：

获取所述视频画面的帧率，并基于所述帧率确定帧间间隔；

获取所述第一视频帧与所述第二视频帧之间对应帧号的差值；

基于所述差值和所述帧间间隔，确定所述目标终端的响应时延，并基于所述响应时延确定所述目标终端的终端性能。

10.根据权利要求3所述的方法，其特征在于，所述确定所述目标终端在所述触控操作类型下对应的终端性能，包括：

在检测到所述指示灯亮起时，开始计时，得到第一时刻；

在检测到所述视频画面中的画面内容发生变化时，停止计时，得到第二时刻；

基于所述第一时刻和所述第二时刻，确定所述目标终端在所述触控操作类型下对应的响应时延，并基于所述响应时延确定所述目标终端的终端性能。

11.根据权利要求8或9所述的方法，其特征在于，所述确定所述目标终端的响应时延，包括：

在所述触控操作为点击操作时，获取所述点击操作在所述显示屏中的操作对象；

获取在所述点击操作下所述操作对象的响应时延，并将所述操作对象的响应时延作为所述目标终端的响应时延。

12.一种终端性能检测装置，其特征在于，所述装置包括：

视频画面获取模块，用于获取对包括目标终端的显示屏进行拍摄得到的视频画面；

视频帧获取模块，用于获取所述视频画面中的第一视频帧和第二视频帧；其中，所述第一视频帧包括针对所述显示屏进行触控操作时对应的视频帧；所述第二视频帧包括响应于所述触控操作，在所述视频画面中的画面内容发生变化时对应的视频帧；

终端性能确定模块，用于基于所述第一视频帧和所述第二视频帧，确定所述目标终端的终端性能。

13.一种电子设备，其特征在于，包括：

至少一个处理器；

用于存储所述至少一个处理器可执行指令的存储器；

其中，所述至少一个处理器被配置为执行所述指令，以实现如权利要求1-11中任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1-11中任一项所述的方法。