CN116126580A - 触控显示的控制方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及智能设备技术领域，公开了一种触控显示的控制方法、装置、设备及存储介质，用于提高触控屏的故障检测准确率。所述方法包括：分别将多个带有时间戳的视频帧数据输入行为分析模型进行测试操作分析，得到测试操作行为集合；检测目标触控屏的多个屏幕感应数据，并对多个屏幕感应数据进行信号转换，得到多个电信号；通过目标触控屏对多个电信号进行响应处理，生成触控屏响应信息集合；根据测试操作行为集合与触控屏响应信息集合构建目标测试矩阵，并将目标测试矩阵输入触控显示分析模型进行触控屏延迟分析，得到触控屏延迟分析结果；根据触控屏延迟分析结果，对目标触控屏进行根故障分析，得到目标触控屏的根故障信息。

Description

触控显示的控制方法、装置、设备及存储介质

技术领域

本发明涉及智能设备技术领域，尤其涉及一种触控显示的控制方法、装置、设备及存储介质。

背景技术

触控显示控制是一种新兴的技术，它可以使用户通过触摸屏幕来控制显示器上的内容，为用户提供了更加便捷的操作方式，也为计算机系统的操作提供了更多的可能性。触控显示控制可以应用于各种领域，如智能家居、智能安防、智能交通等，以及虚拟现实、增强现实等领域，以提供更加自然的操作体验。未来，触控显示控制将会发展的更加迅速，为用户提供更加便捷的操作体验，也为计算机系统的操作提供更多的可能性。

触控屏的生产经过很多环节，有组装，有测试，有运输。测试里有漏光测试、纯色、干扰测试、对焦、呼吸效应、对比度、色阶、饱和度，在这些测试环节中，通常是由人工经验进行测试，人工经验的故障测试准确率较低。

发明内容

本发明提供了一种触控显示的控制方法、装置、设备及存储介质，用于提高触控屏的故障检测准确率。

本发明第一方面提供了一种触控显示的控制方法，所述触控显示的控制方法包括：

通过预置的触控屏测试设备采集测试人员的触控屏测试视频，并对所述触控屏测试视频进行视频图像分帧处理，得到多个带有时间戳的视频帧数据；

分别将所述多个带有时间戳的视频帧数据输入预置的行为分析模型进行测试操作分析，得到测试操作行为集合；

基于目标触控屏中预置的多个信号检测接口，检测所述目标触控屏的多个屏幕感应数据，并对所述多个屏幕感应数据进行信号转换，得到多个电信号；

通过所述目标触控屏对所述多个电信号进行响应处理，生成触控屏响应信息集合；

根据所述测试操作行为集合与所述触控屏响应信息集合构建目标测试矩阵，并将所述目标测试矩阵输入预置的触控显示分析模型进行触控屏延迟分析，得到触控屏延迟分析结果；

根据所述触控屏延迟分析结果，对所述目标触控屏进行根故障分析，得到所述目标触控屏的根故障信息。

结合第一方面，在本发明第一方面的第一实施方式中，所述通过预置的触控屏测试设备采集测试人员的触控屏测试视频，并对所述触控屏测试视频进行视频图像分帧处理，得到多个带有时间戳的视频帧数据，包括：

通过预置的触控屏测试设备采集测试人员的触控屏测试视频，并获取所述触控屏测试视频的时间戳数据；

根据所述时间戳数据，对所述触控屏测试视频进行分帧，得到多个原始触控屏测试视频帧；

对所述多个原始触控屏测试视频帧进行变化率计算，得到目标变化率；

根据所述目标变化率，对所述多个原始触控屏测试视频帧进行动态调整，得到多个带有时间戳的视频帧数据。

结合第一方面，在本发明第一方面的第二实施方式中，所述分别将所述多个带有时间戳的视频帧数据输入预置的行为分析模型进行测试操作分析，得到测试操作行为集合，包括：

分别将所述多个带有时间戳的视频帧数据输入预置的行为分析模型，其中，所述行为分析模型包括：手部区域分割网络、手势识别网络以及测试行为输出网络；

通过所述手部区域分割网络对所述多个带有时间戳的视频帧数据进行手部区域识别，得到多个手部区域图像；

将所述多个手部区域图像输入所述手势识别网络进行手势跟踪和定位，得到多个手势识别结果；

将所述多个手势识别结果输入所述测试行为输出网络进行测试行为分析，生成测试操作行为集合。

结合第一方面，在本发明第一方面的第三实施方式中，所述基于目标触控屏中预置的多个信号检测接口，检测所述目标触控屏的多个屏幕感应数据，并对所述多个屏幕感应数据进行信号转换，得到多个电信号，包括：

调用目标触控屏中预置的多个信号检测接口，并设置每个信号检测接口的信号检测模式；

根据所述信号检测模式，检测所述测试人员的多个屏幕感应数据；

对所述多个屏幕感应数据进行信号转换，得到多个电信号。

结合第一方面，在本发明第一方面的第四实施方式中，所述通过所述目标触控屏对所述多个电信号进行响应处理，生成触控屏响应信息集合，包括：

对所述多个电信号进行信号拆分，得到每个电信号对应的多个子信号；

对每个电信号对应的多个子信号进行标准化处理，得到每个电信号对应的标准子信号；

根据每个电信号对应的标准子信号调用屏幕组件，并根据所述屏幕组件生成响应数据；

根据所述响应数据生成触控屏响应信息集合。

结合第一方面，在本发明第一方面的第五实施方式中，所述根据所述测试操作行为集合与所述触控屏响应信息集合构建目标测试矩阵，并将所述目标测试矩阵输入预置的触控显示分析模型进行触控屏延迟分析，得到触控屏延迟分析结果，包括：

对所述测试操作行为集合进行编码处理，得到测试操作行为编码向量，以及对所述触控屏响应信息集合进行编码处理，得到触控屏响应信息编码向量；

对所述测试操作行为编码向量和所述触控屏响应信息编码向量进行矩阵转换，得到目标测试矩阵；

将所述目标测试矩阵输入预置的触控显示分析模型，通过所述触控显示分析模型对所述目标测试矩阵进行逻辑回归运算，得到触控屏延迟分析结果。

结合第一方面，在本发明第一方面的第六实施方式中，所述根据所述触控屏延迟分析结果，对所述目标触控屏进行根故障分析，得到所述目标触控屏的根故障信息，包括：

获取所述触控屏延迟分析结果中的触控屏延迟数据；

判断所述触控屏延迟数据是否符合预设阈值；

若不符合，则根据所述触控屏延迟数据匹配所述目标触控屏的根因分析策略；

根据所述根因分析策略，对所述目标触控屏进行根故障分析，得到所述目标触控屏的根故障信息。

本发明第二方面提供了一种触控显示的控制装置，所述触控显示的控制装置包括：

采集模块，用于通过预置的触控屏测试设备采集测试人员的触控屏测试视频，并对所述触控屏测试视频进行视频图像分帧处理，得到多个带有时间戳的视频帧数据；

分析模块，用于分别将所述多个带有时间戳的视频帧数据输入预置的行为分析模型进行测试操作分析，得到测试操作行为集合；

转换模块，用于基于目标触控屏中预置的多个信号检测接口，检测所述目标触控屏的多个屏幕感应数据，并对所述多个屏幕感应数据进行信号转换，得到多个电信号；

处理模块，用于通过所述目标触控屏对所述多个电信号进行响应处理，生成触控屏响应信息集合；

构建模块，用于根据所述测试操作行为集合与所述触控屏响应信息集合构建目标测试矩阵，并将所述目标测试矩阵输入预置的触控显示分析模型进行触控屏延迟分析，得到触控屏延迟分析结果；

输出模块，用于根据所述触控屏延迟分析结果，对所述目标触控屏进行根故障分析，得到所述目标触控屏的根故障信息。

本发明第三方面提供了一种触控显示的控制设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述触控显示的控制设备执行上述的触控显示的控制方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的触控显示的控制方法。

本发明提供的技术方案中，分别将多个带有时间戳的视频帧数据输入行为分析模型进行测试操作分析，得到测试操作行为集合；检测目标触控屏的多个屏幕感应数据，并对多个屏幕感应数据进行信号转换，得到多个电信号；通过目标触控屏对多个电信号进行响应处理，生成触控屏响应信息集合；根据测试操作行为集合与触控屏响应信息集合构建目标测试矩阵，并将目标测试矩阵输入触控显示分析模型进行触控屏延迟分析，得到触控屏延迟分析结果；根据触控屏延迟分析结果，对目标触控屏进行根故障分析，得到目标触控屏的根故障信息，本发明通过对测试人员的测试过程进行测试操作行为分析，并且结合目标触控屏的触控屏响应信息进行触控屏延迟分析，进而提高了触控屏的故障检测准确率。

附图说明

图1为本发明实施例中触控显示的控制方法的一个实施例示意图；

图2为本发明实施例中测试操作分析的流程图；

图3为本发明实施例中信号转换的流程图；

图4为本发明实施例中响应处理的流程图；

图5为本发明实施例中触控显示的控制装置的一个实施例示意图；

图6为本发明实施例中触控显示的控制设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种触控显示的控制方法、装置、设备及存储介质，用于提高触控屏的故障检测准确率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中触控显示的控制方法的一个实施例包括：

S101、通过预置的触控屏测试设备采集测试人员的触控屏测试视频，并对触控屏测试视频进行视频图像分帧处理，得到多个带有时间戳的视频帧数据；

可以理解的是，本发明的执行主体可以为触控显示的控制装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

具体的，服务器触控屏测试视频采集，预置的触控屏测试设备可以通过摄像头或其他传感器采集测试人员的触控屏测试视频，并将其保存为视频文件格式，如MP4、AVI等，进一步的，服务器将采集到的视频文件进行分帧处理，将每一帧视频数据分离出来，每一帧视频数据包含图像信息和时间戳，可以用于后续的图像处理和分析，进而服务器对每一帧视频数据进行几何变换或色彩校正等处理，以消除不同触控屏测试设备之间的误差或偏差，最终，得到多个带有时间戳的视频帧数据。

S102、分别将多个带有时间戳的视频帧数据输入预置的行为分析模型进行测试操作分析，得到测试操作行为集合；

具体的，服务器分别将多个带有时间戳的视频帧数据输入该行为分析模型中的手部区域分割网络对该多个带有时间戳的视频帧数据进行手部区域识别，确定多个手部区域图像，进一步的，服务器通过该多个手部区域图像进行测试行为分析，确定最终的测试操作行为集合。

S103、基于目标触控屏中预置的多个信号检测接口，检测目标触控屏的多个屏幕感应数据，并对多个屏幕感应数据进行信号转换，得到多个电信号；

需要说明的是，服务器调用目标触控屏中预置的多个信号检测接口，同时，服务器对该多个信号检测接口进行信号检测模式分析，确定每个信号检测接口对应的信号检测模式，进一步的，服务器通过每个信号检测接口对应的信号检测模式检测目标触控屏的多个屏幕感应数据，并对多个屏幕感应数据进行信号转换，得到多个电信号。

S104、通过目标触控屏对多个电信号进行响应处理，生成触控屏响应信息集合；

具体的，通过响应处理算法检测每个电信号的位置、大小、形状等信息，确定电信号的数量和位置，如果多个电信号重叠在一起，则需要将它们合并为一个电信号，并计算其位置、大小、形状等信息，进而服务器通过每个电信号的位置、大小、形状等信息对多个电信号济宁拆分处理，得到每个电信号对应的多个字信号，进一步的，服务器通过该多个字信号进行响应信息生成，得到触控屏响应信息集合。

S105、根据测试操作行为集合与触控屏响应信息集合构建目标测试矩阵，并将目标测试矩阵输入预置的触控显示分析模型进行触控屏延迟分析，得到触控屏延迟分析结果；

具体的，服务器根据测试操作行为集合与触控屏响应信息集合构建目标测试矩阵，可以将测试操作行为和相应的触摸屏响应信息对应起来，形成一个测试矩阵，需要说明的是，测试矩阵的每一行代表一次测试操作，每一列代表一个触摸屏响应信息，其中每个元素表示对应的测试操作是否引起了对应的触摸屏响应信息，将目标测试矩阵输入预置的触控显示分析模型进行触控屏延迟分析，可以得到触控屏延迟分析结果。

需要说明的是，触控屏延迟分析模型可以包括以下步骤：通过对目标测试矩阵中的数据进行统计分析，计算出触摸屏的延迟时间，即触摸时间和显示时间之间的差值，将延迟时间与测试操作行为进行分析，确定延迟时间的来源和影响因素，如硬件延迟、系统延迟、软件延迟等，根据延迟分析结果，对触控屏硬件、系统和软件进行优化，以减少延迟时间，对优化后的触控屏进行再次测试，验证延迟时间是否得到了有效的减少，通过以上步骤，可以得到触控屏延迟分析结果，从而确定触控屏的延迟时间来源和影响因素，并对触控屏硬件、系统和软件进行优化，以提高触控屏的响应速度和减少延迟时间。

S106、根据触控屏延迟分析结果，对目标触控屏进行根故障分析，得到目标触控屏的根故障信息。

具体的，根据触控屏延迟分析结果，对目标触控屏进行根故障分析，可以得到目标触控屏的根故障信息，根据触控屏延迟分析结果，可以确定触控屏的延迟时间来源和影响因素，如硬件延迟、系统延迟、软件延迟等，根据延迟时间的来源和影响因素，可以进一步分析触控屏的根故障信息，如硬件故障、系统故障、软件故障等，对于硬件故障，可以对触控屏的硬件进行检查和测试，确定是否存在硬件故障，如电路板损坏、触摸感应器故障等。对于系统故障，可以对触控屏所在的系统进行检查和测试，确定是否存在系统故障，如操作系统错误、驱动程序问题等，对于软件故障，可以对触控屏所使用的软件进行检查和测试，确定是否存在软件故障，如应用程序错误、驱动程序问题等，最终，服务器对该目标触控屏进行根故障分析，得到目标触控屏的根故障信息。

本发明实施例中，分别将多个带有时间戳的视频帧数据输入行为分析模型进行测试操作分析，得到测试操作行为集合；检测目标触控屏的多个屏幕感应数据，并对多个屏幕感应数据进行信号转换，得到多个电信号；通过目标触控屏对多个电信号进行响应处理，生成触控屏响应信息集合；根据测试操作行为集合与触控屏响应信息集合构建目标测试矩阵，并将目标测试矩阵输入触控显示分析模型进行触控屏延迟分析，得到触控屏延迟分析结果；根据触控屏延迟分析结果，对目标触控屏进行根故障分析，得到目标触控屏的根故障信息，本发明通过对测试人员的测试过程进行测试操作行为分析，并且结合目标触控屏的触控屏响应信息进行触控屏延迟分析，进而提高了触控屏的故障检测准确率。

在一具体实施例中，执行步骤S101的过程可以具体包括如下步骤：

（1）通过预置的触控屏测试设备采集测试人员的触控屏测试视频，并获取触控屏测试视频的时间戳数据；

（2）根据时间戳数据，对触控屏测试视频进行分帧，得到多个原始触控屏测试视频帧；

（3）对多个原始触控屏测试视频帧进行变化率计算，得到目标变化率；

（4）根据目标变化率，对多个原始触控屏测试视频帧进行动态调整，得到多个带有时间戳的视频帧数据。

具体的，服务器触控屏测试视频采集，预置的触控屏测试设备可以通过摄像头或其他传感器采集测试人员的触控屏测试视频，并将其保存为视频文件格式，如MP4、AVI等，进一步的，服务器将采集到的视频文件进行分帧处理，将每一帧视频数据分离出来，每一帧视频数据包含图像信息和时间戳，

对多个原始触控屏测试视频帧进行变化率计算，得到目标变化率，对多个原始触控屏测试视频帧进行变化率计算，以确定需要捕捉的目标变化率，需要说明的是，可以通过计算相邻帧之间的像素变化率来实现，进一步的，服务器根据目标变化率，对多个原始触控屏测试视频帧进行动态调整，得到多个带有时间戳的视频帧数据。

在一具体实施例中，如图2所示，执行步骤S102的过程可以具体包括如下步骤：

S201、分别将多个带有时间戳的视频帧数据输入预置的行为分析模型，其中，行为分析模型包括：手部区域分割网络、手势识别网络以及测试行为输出网络；

S202、通过手部区域分割网络对多个带有时间戳的视频帧数据进行手部区域识别，得到多个手部区域图像；

S203、将多个手部区域图像输入手势识别网络进行手势跟踪和定位，得到多个手势识别结果；

S204、将多个手势识别结果输入测试行为输出网络进行测试行为分析，生成测试操作行为集合。

具体的，服务器分别将多个带有时间戳的视频帧数据输入预置的行为分析模型，其中，行为分析模型包括：手部区域分割网络、手势识别网络以及测试行为输出网络，进一步的，通过手部区域分割网络对多个带有时间戳的视频帧数据进行手部区域识别，得到多个手部区域图像，其中，服务器通过手部区域分割网络对该多个带有时间戳的视频帧数据进行图像像素分析，确定每个带有时间戳的视频帧数据的图像像素分布数据，进而服务器通过预置的手部像素标准分布数据进行手部区域分割，得到多个手部区域图像，进一步的，服务器通过手部区域分割网络对多个带有时间戳的视频帧数据进行手部区域识别，得到多个手部区域图像，进而，服务器将多个手部区域图像输入手势识别网络进行手势跟踪和定位，得到多个手势识别结果，其中，服务器通过手势识别网络对该多个手部区域图像进行手部位置变化位移分析，确定对应的变化位移，其中，该变化位移包括变化方向以及变化距离，进一步的，服务器通过该变化位移进行手势跟踪和定位，得到多个手势识别结果，最终，服务器将多个手势识别结果输入测试行为输出网络进行测试行为分析，生成测试操作行为集合。

在一具体实施例中，如图3所示，执行步骤S103的过程可以具体包括如下步骤：

S301、调用目标触控屏中预置的多个信号检测接口，并设置每个信号检测接口的信号检测模式；

S302、根据信号检测模式，检测测试人员的多个屏幕感应数据；

S303、对多个屏幕感应数据进行信号转换，得到多个电信号。

具体的，服务器首先调用目标触控屏幕中预置的多个信号检测接口，该多个信号检测接口可以用于检测屏幕的各种信号，例如触摸、按压等，然后，设置每个信号检测接口的信号检测模式，需要说明的是，在实际情况中，可以选择不同的检测模式来测试触摸屏幕的性能表现，例如，可以测试响应时间、准确性、稳定性等指标，服务器对测试人员的多个屏幕感应数据进行检测。这意味着服务器可以在触摸屏幕上进行各种操作，例如单击、滑动、缩放等，然后检测屏幕的响应情况，然后，服务器对多个屏幕感应数据进行信号转换，以得到多个电信号，具体的，可以通过将屏幕感应数据转换为数字信号，然后进行数字信号处理来实现。例如，可以使用微控制器或其他电子设备来处理这些信号。

在一具体实施例中，如图4所示，执行步骤S104的过程可以具体包括如下步骤：

S401、对多个电信号进行信号拆分，得到每个电信号对应的多个子信号；

S402、对每个电信号对应的多个子信号进行标准化处理，得到每个电信号对应的标准子信号；

S403、根据每个电信号对应的标准子信号调用屏幕组件，并根据屏幕组件生成响应数据；

S404、根据响应数据生成触控屏响应信息集合。

具体的，服务器首先对多个电信号进行信号拆分，以得到每个电信号对应的多个子信号，例如振幅、频率、相位等。然后，对每个电信号对应的多个子信号进行标准化处理，以得到每个电信号对应的标准子信号，其中，服务器通过对每个子信号进行归一化处理，以确保它们具有相似的幅值、频率和相位等特性，进一步的，服务器根据每个电信号对应的标准子信号调用屏幕组件。服务器可以根据每个标准子信号来调用不同的屏幕组件，例如文本框、按钮、滑块等，这些屏幕组件可以响应用户的操作，并生成响应数据，最终，服务器根据屏幕组件生成的响应数据，生成触控屏响应信息集合。

在一具体实施例中，执行步骤S105的过程可以具体包括如下步骤：

（1）对测试操作行为集合进行编码处理，得到测试操作行为编码向量，以及对触控屏响应信息集合进行编码处理，得到触控屏响应信息编码向量；

（2）对测试操作行为编码向量和触控屏响应信息编码向量进行矩阵转换，得到目标测试矩阵；

（3）将目标测试矩阵输入预置的触控显示分析模型，通过触控显示分析模型对目标测试矩阵进行逻辑回归运算，得到触控屏延迟分析结果。

具体的，服务器对测试操作行为集合进行编码处理，得到测试操作行为编码向量，以及对触控屏响应信息集合进行编码处理，得到触控屏响应信息编码向量，其中，服务器可以将测试操作行为和触控屏响应信息转换为数字编码，以便进行后续的计算和分析，进而，服务器对测试操作行为编码向量和触控屏响应信息编码向量进行矩阵转换，得到目标测试矩阵，其中，服务器将测试操作行为编码向量和触控屏响应信息编码向量合并为一个矩阵，并进行转置操作来实现，进而服务器将目标测试矩阵输入预置的触控显示分析模型，其中，可以使用机器学习算法或其他数学模型来分析目标测试矩阵，并预测触控屏幕的延迟性能。例如，可以使用逻辑回归模型来进行分析，最后，通过触控显示分析模型对目标测试矩阵进行逻辑回归运算，得到触控屏延迟分析结果，其中，服务器可以使用逻辑回归模型来预测触控屏幕的延迟性能，并得出相应的分析结果。

在一具体实施例中，执行步骤S106的过程可以具体包括如下步骤：

（1）获取触控屏延迟分析结果中的触控屏延迟数据；

（2）判断触控屏延迟数据是否符合预设阈值；

（3）若不符合，则根据触控屏延迟数据匹配目标触控屏的根因分析策略；

（4）根据根因分析策略，对目标触控屏进行根故障分析，得到目标触控屏的根故障信息。

具体的，服务器获取触控屏延迟分析结果中的触控屏延迟数据，服务器可以从触控屏幕的延迟分析结果中提取出触控屏幕的延迟数据，以便后续的分析和处理，进而服务器判断触控屏延迟数据是否符合预设阈值，服务器通过将触控屏延迟数据与预设的阈值进行比较来实现。如果延迟数据超过了预设的阈值，则需要进一步分析触控屏的根故障信息，若不符合预设阈值，则根据触控屏延迟数据匹配目标触控屏的根因分析策略，服务器通过将触控屏延迟数据与预设的根因分析策略进行匹配来实现，不同的延迟数据可能对应不同的根因，因此需要根据实际情况选择相应的根因分析策略，最终，服务区你根据根因分析策略，对目标触控屏进行根故障分析，得到目标触控屏的根故障信息，服务器可以根据预设的根因分析策略来分析目标触控屏的根故障，并得出相应的根故障信息。

上面对本发明实施例中触控显示的控制方法进行了描述，下面对本发明实施例中触控显示的控制装置进行描述，请参阅图5，本发明实施例中触控显示的控制装置一个实施例包括：

采集模块501，用于通过预置的触控屏测试设备采集测试人员的触控屏测试视频，并对所述触控屏测试视频进行视频图像分帧处理，得到多个带有时间戳的视频帧数据；

分析模块502，用于分别将所述多个带有时间戳的视频帧数据输入预置的行为分析模型进行测试操作分析，得到测试操作行为集合；

转换模块503，用于基于目标触控屏中预置的多个信号检测接口，检测所述目标触控屏的多个屏幕感应数据，并对所述多个屏幕感应数据进行信号转换，得到多个电信号；

处理模块504，用于通过所述目标触控屏对所述多个电信号进行响应处理，生成触控屏响应信息集合；

构建模块505，用于根据所述测试操作行为集合与所述触控屏响应信息集合构建目标测试矩阵，并将所述目标测试矩阵输入预置的触控显示分析模型进行触控屏延迟分析，得到触控屏延迟分析结果；

输出模块506，用于根据所述触控屏延迟分析结果，对所述目标触控屏进行根故障分析，得到所述目标触控屏的根故障信息。

通过上述各个组成部分的协同合作，分别将多个带有时间戳的视频帧数据输入行为分析模型进行测试操作分析，得到测试操作行为集合；检测目标触控屏的多个屏幕感应数据，并对多个屏幕感应数据进行信号转换，得到多个电信号；通过目标触控屏对多个电信号进行响应处理，生成触控屏响应信息集合；根据测试操作行为集合与触控屏响应信息集合构建目标测试矩阵，并将目标测试矩阵输入触控显示分析模型进行触控屏延迟分析，得到触控屏延迟分析结果；根据触控屏延迟分析结果，对目标触控屏进行根故障分析，得到目标触控屏的根故障信息，本发明通过对测试人员的测试过程进行测试操作行为分析，并且结合目标触控屏的触控屏响应信息进行触控屏延迟分析，进而提高了触控屏的故障检测准确率。

上面图5从模块化功能实体的角度对本发明实施例中的触控显示的控制装置进行详细描述，下面从硬件处理的角度对本发明实施例中触控显示的控制设备进行详细描述。

图6是本发明实施例提供的一种触控显示的控制设备的结构示意图，该触控显示的控制设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）610（例如，一个或一个以上处理器）和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630（例如一个或一个以上海量存储设备）。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对触控显示的控制设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在触控显示的控制设备600上执行存储介质630中的一系列指令操作。

触控显示的控制设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的触控显示的控制设备结构并不构成对触控显示的控制设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种触控显示的控制设备，所述触控显示的控制设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述触控显示的控制方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述触控显示的控制方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random acceS memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种触控显示的控制方法，其特征在于，所述触控显示的控制方法包括：

通过预置的触控屏测试设备采集测试人员的触控屏测试视频，并对所述触控屏测试视频进行视频图像分帧处理，得到多个带有时间戳的视频帧数据；

分别将所述多个带有时间戳的视频帧数据输入预置的行为分析模型进行测试操作分析，得到测试操作行为集合；

基于目标触控屏中预置的多个信号检测接口，检测所述目标触控屏的多个屏幕感应数据，并对所述多个屏幕感应数据进行信号转换，得到多个电信号；

通过所述目标触控屏对所述多个电信号进行响应处理，生成触控屏响应信息集合；

根据所述测试操作行为集合与所述触控屏响应信息集合构建目标测试矩阵，并将所述目标测试矩阵输入预置的触控显示分析模型进行触控屏延迟分析，得到触控屏延迟分析结果；

根据所述触控屏延迟分析结果，对所述目标触控屏进行根故障分析，得到所述目标触控屏的根故障信息。

2.根据权利要求1所述的触控显示的控制方法，其特征在于，所述通过预置的触控屏测试设备采集测试人员的触控屏测试视频，并对所述触控屏测试视频进行视频图像分帧处理，得到多个带有时间戳的视频帧数据，包括：

通过预置的触控屏测试设备采集测试人员的触控屏测试视频，并获取所述触控屏测试视频的时间戳数据；

根据所述时间戳数据，对所述触控屏测试视频进行分帧，得到多个原始触控屏测试视频帧；

对所述多个原始触控屏测试视频帧进行变化率计算，得到目标变化率；

根据所述目标变化率，对所述多个原始触控屏测试视频帧进行动态调整，得到多个带有时间戳的视频帧数据。

3.根据权利要求1所述的触控显示的控制方法，其特征在于，所述分别将所述多个带有时间戳的视频帧数据输入预置的行为分析模型进行测试操作分析，得到测试操作行为集合，包括：

分别将所述多个带有时间戳的视频帧数据输入预置的行为分析模型，其中，所述行为分析模型包括：手部区域分割网络、手势识别网络以及测试行为输出网络；

通过所述手部区域分割网络对所述多个带有时间戳的视频帧数据进行手部区域识别，得到多个手部区域图像；

将所述多个手部区域图像输入所述手势识别网络进行手势跟踪和定位，得到多个手势识别结果；

将所述多个手势识别结果输入所述测试行为输出网络进行测试行为分析，生成测试操作行为集合。

4.根据权利要求1所述的触控显示的控制方法，其特征在于，所述基于目标触控屏中预置的多个信号检测接口，检测所述目标触控屏的多个屏幕感应数据，并对所述多个屏幕感应数据进行信号转换，得到多个电信号，包括：

调用目标触控屏中预置的多个信号检测接口，并设置每个信号检测接口的信号检测模式；

根据所述信号检测模式，检测所述测试人员的多个屏幕感应数据；

对所述多个屏幕感应数据进行信号转换，得到多个电信号。

5.根据权利要求1所述的触控显示的控制方法，其特征在于，所述通过所述目标触控屏对所述多个电信号进行响应处理，生成触控屏响应信息集合，包括：

对所述多个电信号进行信号拆分，得到每个电信号对应的多个子信号；

对每个电信号对应的多个子信号进行标准化处理，得到每个电信号对应的标准子信号；

根据每个电信号对应的标准子信号调用屏幕组件，并根据所述屏幕组件生成响应数据；

根据所述响应数据生成触控屏响应信息集合。

6.根据权利要求1所述的触控显示的控制方法，其特征在于，所述根据所述测试操作行为集合与所述触控屏响应信息集合构建目标测试矩阵，并将所述目标测试矩阵输入预置的触控显示分析模型进行触控屏延迟分析，得到触控屏延迟分析结果，包括：

对所述测试操作行为集合进行编码处理，得到测试操作行为编码向量，以及对所述触控屏响应信息集合进行编码处理，得到触控屏响应信息编码向量；

对所述测试操作行为编码向量和所述触控屏响应信息编码向量进行矩阵转换，得到目标测试矩阵；

将所述目标测试矩阵输入预置的触控显示分析模型，通过所述触控显示分析模型对所述目标测试矩阵进行逻辑回归运算，得到触控屏延迟分析结果。

7.根据权利要求1所述的触控显示的控制方法，其特征在于，所述根据所述触控屏延迟分析结果，对所述目标触控屏进行根故障分析，得到所述目标触控屏的根故障信息，包括：

获取所述触控屏延迟分析结果中的触控屏延迟数据；

判断所述触控屏延迟数据是否符合预设阈值；

若不符合，则根据所述触控屏延迟数据匹配所述目标触控屏的根因分析策略；

根据所述根因分析策略，对所述目标触控屏进行根故障分析，得到所述目标触控屏的根故障信息。

8.一种触控显示的控制装置，其特征在于，所述触控显示的控制装置包括：

采集模块，用于通过预置的触控屏测试设备采集测试人员的触控屏测试视频，并对所述触控屏测试视频进行视频图像分帧处理，得到多个带有时间戳的视频帧数据；

分析模块，用于分别将所述多个带有时间戳的视频帧数据输入预置的行为分析模型进行测试操作分析，得到测试操作行为集合；

转换模块，用于基于目标触控屏中预置的多个信号检测接口，检测所述目标触控屏的多个屏幕感应数据，并对所述多个屏幕感应数据进行信号转换，得到多个电信号；

处理模块，用于通过所述目标触控屏对所述多个电信号进行响应处理，生成触控屏响应信息集合；

构建模块，用于根据所述测试操作行为集合与所述触控屏响应信息集合构建目标测试矩阵，并将所述目标测试矩阵输入预置的触控显示分析模型进行触控屏延迟分析，得到触控屏延迟分析结果；

输出模块，用于根据所述触控屏延迟分析结果，对所述目标触控屏进行根故障分析，得到所述目标触控屏的根故障信息。

9.一种触控显示的控制设备，其特征在于，所述触控显示的控制设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述触控显示的控制设备执行如权利要求1-7中任一项所述的触控显示的控制方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的触控显示的控制方法。

Images