CN112306890B - 人机交互测试系统、控制方法、控制装置和处理器 - Google Patents

Abstract

本申请提供了一种人机交互测试系统、控制方法、控制装置和处理器，该系统包括测试软件，测试软件用于对待测充电桩进行人机交互测试，该系统还包括：视觉检测装置，用于获取待测充电桩的屏幕的图像；机器人，与视觉检测装置通信连接，用于根据图像对待测充电桩的屏幕操作，从而替代人工完成对待测充电桩的操作，例如，在测试之前对待测充电桩执行的启动操作，以及在测试后对待测充电桩执行的停止操作，节省人力，避免了人工操作不及时的问题，进而提高了人机交互测试的测试效率。

Description

人机交互测试系统、控制方法、控制装置和处理器

技术领域

本申请涉及人机交互技术领域，具体而言，涉及一种人机交互测试系统、控制方法、控制装置、计算机可读存储介质和处理器。

背景技术

电动汽车充电设施检测过程中需要对充电设施人机交互功能进行测试，目前测试方法是通过人员按照测试流程点击充电设施屏幕，需要人员做大量重复性点击操作，检测效率低。

在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解，因此，背景技术中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。

发明内容

本申请的主要目的在于提供一种人机交互测试系统、控制方法、控制装置、计算机可读存储介质和处理器，以解决现有技术中充电设施人机交互功能进行测试效率低的问题。

根据本发明实施例的一个方面，提供了一种人机交互测试系统，所述系统包括测试软件，所述测试软件用于对待测充电桩进行人机交互测试，所述系统还包括：视觉检测装置，用于获取所述待测充电桩的屏幕的图像；机器人，与所述视觉检测装置通信连接，用于根据所述图像对待测充电桩的屏幕操作。

可选地，所述视觉检测装置包括：固定支架；至少一个定点相机，固定在所述固定支架上，用于获取所述待测充电桩的屏幕的图像。

可选地，所述机器人包括：导轨，设置在所述固定支架和检测工位之间，所述检测工位用于放置所述待测充电桩；机械臂，设置在所述导轨上，用于点击所述待测充电桩的屏幕。

可选地，所述机械臂包括：触屏探头，位于所述机械臂的远离所述固定支架的一端；力矩传感器，与所述触屏探头电连接，用于检测所述触屏探头的受力大小。

可选地，所述机械臂还包括：视觉相机，用于采集所述待测充电桩的屏幕边框的图像数据；激光传感器，用于采集所述待测充电桩的屏幕边框的点云数据。

可选地，所述机器人还包括：定位装置，与所述视觉相机和所述激光传感器，用于根据所述图像数据和所述点云数据对所述待测充电桩的屏幕进行定位。

根据本发明实施例的另一方面，还提供了一种人机交互测试系统的控制方法，所述系统包括测试软件，所述测试软件用于对待测充电桩进行人机交互测试，所述控制方法包括：控制视觉检测装置获取所述待测充电桩的屏幕的图像；根据所述图像确定待操作区域的位置信息，所述待操作区域为所述待测充电桩的屏幕中可以进行点击操作的区域；根据所述位置信息控制机器人对所述待测充电桩的屏幕操作。

根据本发明实施例的再一方面，还提供了一种人机交互测试系统的控制装置，所述系统包括测试软件，所述测试软件用于对待测充电桩进行人机交互测试，所述控制装置包括：第一控制单元，用于控制视觉检测装置获取所述待测充电桩的屏幕的图像；确定单元，用于根据所述图像确定待操作区域的位置信息，所述待操作区域为所述待测充电桩的屏幕中可以进行点击操作的区域；第二控制单元，用于根据所述位置信息控制机器人对所述待测充电桩的屏幕操作。

根据本发明实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行所述的控制方法。

根据本发明实施例的再一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述的控制方法。

在本发明实施例中，上述人机交互测试系统中，通过测试软件对待测充电桩进行人机交互测试，在执行测试过程中，视觉检测装置获取待测充电桩的屏幕的图像，机器人根据图像对待测充电桩的屏幕操作，从而替代人工完成对待测充电桩的操作，例如，在测试之前对待测充电桩执行的启动操作，以及在测试后对待测充电桩执行的停止操作，节省人力，避免了人工操作不及时的问题，进而提高了人机交互测试的测试效率。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了根据本申请的一种实施例的人机交互测试系统的示意图；

图2示出了根据本申请的一种实施例的人机交互测试系统的控制方法的流程图；

图3示出了根据本申请的一种实施例的人机交互测试系统的控制装置的示意图。

其中，上述附图包括以下附图标记：

01、待测充电桩；10、视觉检测装置；11、固定支架；12、定点相机；20、机器人；21、导轨；22、机械臂；30、检测工位。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应该理解的是，当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时，该元件可直接在该另一元件上，或者也可存在中间元件。而且，在说明书以及权利要求书中，当描述有元件“连接”至另一元件时，该元件可“直接连接”至该另一元件，或者通过第三元件“连接”至该另一元件。

正如背景技术中所说的，现有技术中充电设施人机交互功能进行测试效率低，为了解决上述问题，本申请的一种典型的实施方式中，提供了一种人机交互测试系统、控制方法、控制装置、计算机可读存储介质和处理器。

根据本申请的实施例，提供了一种人机交互测试系统，上述系统包括测试软件，上述测试软件用于对待测充电桩进行人机交互测试，如图1所示，上述系统还包括：

视觉检测装置10，用于获取上述待测充电桩01的屏幕的图像；

机器人20，与上述视觉检测装置10通信连接，用于根据上述图像对待测充电桩01的屏幕操作。

上述人机交互测试系统中，通过测试软件对待测充电桩进行人机交互测试，在执行测试过程中，视觉检测装置获取待测充电桩的屏幕的图像，机器人根据图像对待测充电桩的屏幕操作，从而替代人工完成对待测充电桩的操作，例如，在测试之前对待测充电桩执行的启动操作，以及在测试后对待测充电桩执行的停止操作，节省人力，避免了人工操作不及时的问题，进而提高了人机交互测试的测试效率。

本申请的一种实施例中，如图1所示，上述视觉检测装置10包括固定支架11和至少一个定点相机12，上述定点相机12固定在上述固定支架11上，上述定点相机12用于获取上述待测充电桩01的屏幕的图像。具体地，定点相机固定在上述固定支架上来获取上述待测充电桩的屏幕的图像，使得获取的图像清晰且完整，定点相机可以有多个，以降低相机故障导致无法获取图像或者获取的图像不合格的概率。

本申请的一种实施例中，如图1所示，上述机器人20包括导轨21和机械臂22，其中，上述导轨21设置在上述固定支架11和检测工位30之间，上述检测工位30用于放置上述待测充电桩01；上述机械臂22设置在上述导轨21上，上述机械臂22用于点击上述待测充电桩01的屏幕。具体地，上述机械臂为6自由度机械臂，以使得机械臂可以接触待测充电桩的屏幕的任意位置，执行点击操作之前，上述机械臂可以通过导轨靠近待测充电桩的屏幕，以便于机械臂完成点击操作，执行点击操作之后，上述机械臂可以通过导轨远离待测充电桩的屏幕，返回初始位置，以避免遮挡屏幕导致定点相机无法获取完整的图像。

本申请的一种实施例中，上述机械臂包括触屏探头和力矩传感器，其中，上述触屏探头位于上述机械臂的远离上述固定支架的一端；上述力矩传感器与上述触屏探头电连接，上述力矩传感器用于检测上述触屏探头的受力大小。具体地，上述触屏探头执行点击操作时，上述力矩传感器检测上述触屏探头的受力大小，受力在预定范围内，则可以确定上述触屏探头接触到待测充电桩的屏幕且不会损坏屏幕。

本申请的一种实施例中，上述机械臂还包括视觉相机和激光传感器，其中，上述视觉相机用于采集上述待测充电桩的屏幕边框的图像数据；上述激光传感器用于采集上述待测充电桩的屏幕边框的点云数据。具体地，上述视觉相机采集待测充电桩的屏幕的图像，识别待测充电桩的屏幕的边框，得到上述待测充电桩的屏幕边框的图像数据，上述激光传感器采集上述待测充电桩的屏幕边框的点云数据，确定屏幕是否倾斜。

本申请的一种实施例中，上述机器人还包括定位装置，上述定位装置与上述视觉相机和上述激光传感器，用于根据上述图像数据和上述点云数据对上述待测充电桩的屏幕进行定位。具体地，根据上述图像数据确定待测充电桩的屏幕边框相对机械臂的距离，根据上述点云数据确定待测充电桩的屏幕的倾斜角度，从而根据距离和倾斜角度确定屏幕的相对机械臂的位置信息，以便于机械臂根据位置信息进行点击操作。

根据本申请的实施例，提供了一种人机交互测试系统的控制方法，上述系统包括测试软件，上述测试软件用于对待测充电桩进行人机交互测试。

图2是根据本申请实施例的人机交互测试系统的控制方法的流程图。如图2所示，该方法包括以下步骤：

步骤S101，控制视觉检测装置获取上述待测充电桩的屏幕的图像；

步骤S102，根据上述图像确定待操作区域的位置信息，上述待操作区域为上述待测充电桩的屏幕中可以进行点击操作的区域；

步骤S103，根据上述位置信息控制机器人对上述待测充电桩的屏幕操作。

上述人机交互测试系统的控制方法中，首先，控制视觉检测装置获取上述待测充电桩的屏幕的图像，然后，根据上述图像确定待操作区域的位置信息，上述待操作区域为上述待测充电桩的屏幕中可以进行点击操作的区域，最后，根据上述位置信息控制机器人对上述待测充电桩的屏幕操作。在测试软件对待测充电桩进行人机交互测试的过程中，该控制方法通过控制视觉和机器人完成对待测充电桩的屏幕操作，从而替代人工完成对待测充电桩的操作，例如，在测试之前对待测充电桩执行的启动操作，以及在测试后对待测充电桩执行的停止操作，节省人力，避免了人工操作不及时的问题，进而提高了人机交互测试的测试效率。

需要说明的是，定位装置确定待测充电桩的屏幕的相对机械臂的位置信息，即第一位置信息，根据上述图像确定待操作区域相对屏幕边框的位置信息，即第二位置信息，根据第一位置信息和第二位置信息即可确定待操作区域相对机械臂的位置信息，即第三位置信息，根据上述第三位置信息控制机器人对上述待测充电桩的屏幕操作。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种人机交互测试系统的控制装置，需要说明的是，本申请实施例的人机交互测试系统的控制装置可以用于执行本申请实施例所提供的用于人机交互测试系统的控制方法。以下对本申请实施例提供的人机交互测试系统的控制装置进行介绍，上述系统包括测试软件，上述测试软件用于对待测充电桩进行人机交互测试。

图3是根据本申请实施例的人机交互测试系统的控制装置的示意图。如图3所示，该装置包括：

第一控制单元100，用于控制视觉检测装置获取上述待测充电桩的屏幕的图像；

确定单元200，用于根据上述图像确定待操作区域的位置信息，上述待操作区域为上述待测充电桩的屏幕中可以进行点击操作的区域；

第二控制单元300，用于根据上述位置信息控制机器人对上述待测充电桩的屏幕操作。

上述人机交互测试系统的控制装置中，第一控制单元控制视觉检测装置获取上述待测充电桩的屏幕的图像，确定单元根据上述图像确定待操作区域的位置信息，上述待操作区域为上述待测充电桩的屏幕中可以进行点击操作的区域，第二控制单元根据上述位置信息控制机器人对上述待测充电桩的屏幕操作。在测试软件对待测充电桩进行人机交互测试的过程中，该控制装置通过控制视觉和机器人完成对待测充电桩的屏幕操作，从而替代人工完成对待测充电桩的操作，例如，在测试之前对待测充电桩执行的启动操作，以及在测试后对待测充电桩执行的停止操作，节省人力，避免了人工操作不及时的问题，进而提高了人机交互测试的测试效率。

为了使得本领域技术人员能够更加清楚地了解本申请的技术方案，以下将结合具体的实施例来说明本申请的技术方案。

实施例

将机械臂与待测充电桩坐标匹配，即通过屏幕定位确定待测充电桩的屏幕的相对机械臂的坐标信息；

对测试软件进行初始化；

测试软件接收检测任务，并发送启动指令至待测充电桩，使得待测充电桩启动；

定点相机获取待测充电桩的屏幕的图像，得到充电首界面的图像；

机器人根据充电首界面的图像进行点击操作；

定点相机获取待测充电桩的屏幕的图像，得到预充金额界面的图像；

机器人根据预充金额界面的图像进行点击操作；

定点相机获取待测充电桩的屏幕的图像，得到刷卡提示界面的图像；

机器人根据刷卡提示界面的图像进行点击操作；

在点击操作完成40s后，定点相机获取待测充电桩的屏幕的图像，得到充电监控界面的图像；

测试软件根据检测任务对待测充电桩进行人机交互测试，测试时间小于等于80s；

测试结束后，测试软件发送启动指令至待测充电桩，使得待测充电桩停止；

机器人根据充电监控界面的图像进行点击操作；

定点相机获取待测充电桩的屏幕的图像，得到充电终止界面的图像；

机器人根据充电终止界面的图像进行点击操作；

定点相机获取待测充电桩的屏幕的图像，得到刷卡结算界面的图像；

机器人根据刷卡结算界面的图像进行点击操作；

定点相机获取待测充电桩的屏幕的图像，得到结算完成界面的图像，测试结束。

上述实施例中，待测充电桩的启动操作和待测充电桩的停止操作均可由机器人完成，节省人力避免了人工操作不及时的问题，进而提高了人机交互测试的测试效率。

需要说明的是，不仅仅待测充电桩的启动操作和待测充电桩的停止操作需要进行点击操作，人机交互测试过程中可能也需要进行相应的点击操作，同样可以通过机器人完成，以进一步提高了人机交互测试的测试效率。

上述人机交互测试系统的控制装置包括处理器和存储器，上述第一控制单元、确定单元和第二控制单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决现有技术中充电设施人机交互功能进行测试效率低的问题。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述控制方法。

本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述控制方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现至少以下步骤：

步骤S101，控制视觉检测装置获取上述待测充电桩的屏幕的图像；

步骤S102，根据上述图像确定待操作区域的位置信息，上述待操作区域为上述待测充电桩的屏幕中可以进行点击操作的区域；

步骤S103，根据上述位置信息控制机器人对上述待测充电桩的屏幕操作。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：

步骤S101，控制视觉检测装置获取上述待测充电桩的屏幕的图像；

步骤S102，根据上述图像确定待操作区域的位置信息，上述待操作区域为上述待测充电桩的屏幕中可以进行点击操作的区域；

步骤S103，根据上述位置信息控制机器人对上述待测充电桩的屏幕操作。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：

1)、本申请的人机交互测试系统中，通过测试软件对待测充电桩进行人机交互测试，在执行测试过程中，视觉检测装置获取待测充电桩的屏幕的图像，机器人根据图像对待测充电桩的屏幕操作，从而替代人工完成对待测充电桩的操作，例如，在测试之前对待测充电桩执行的启动操作，以及在测试后对待测充电桩执行的停止操作，节省人力，避免了人工操作不及时的问题，进而提高了人机交互测试的测试效率。

2)、本申请的人机交互测试系统的控制方法中，首先，控制视觉检测装置获取上述待测充电桩的屏幕的图像，然后，根据上述图像确定待操作区域的位置信息，上述待操作区域为上述待测充电桩的屏幕中可以进行点击操作的区域，最后，根据上述位置信息控制机器人对上述待测充电桩的屏幕操作。在测试软件对待测充电桩进行人机交互测试的过程中，该控制方法通过控制视觉和机器人完成对待测充电桩的屏幕操作，从而替代人工完成对待测充电桩的操作，例如，在测试之前对待测充电桩执行的启动操作，以及在测试后对待测充电桩执行的停止操作，节省人力，避免了人工操作不及时的问题，进而提高了人机交互测试的测试效率。

3)、本申请的人机交互测试系统的控制装置中，第一控制单元控制视觉检测装置获取上述待测充电桩的屏幕的图像，确定单元根据上述图像确定待操作区域的位置信息，上述待操作区域为上述待测充电桩的屏幕中可以进行点击操作的区域，第二控制单元根据上述位置信息控制机器人对上述待测充电桩的屏幕操作。在测试软件对待测充电桩进行人机交互测试的过程中，该控制装置通过控制视觉和机器人完成对待测充电桩的屏幕操作，从而替代人工完成对待测充电桩的操作，例如，在测试之前对待测充电桩执行的启动操作，以及在测试后对待测充电桩执行的停止操作，节省人力，避免了人工操作不及时的问题，进而提高了人机交互测试的测试效率。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (5)

1.一种人机交互测试系统，其特征在于，所述系统包括测试软件，所述测试软件用于对待测充电桩进行人机交互测试，所述系统还包括：

视觉检测装置，用于获取所述待测充电桩的屏幕的图像；

机器人，与所述视觉检测装置通信连接，用于根据所述图像对待测充电桩的屏幕操作；所述视觉检测装置包括：固定支架；至少一个定点相机，固定在所述固定支架上，用于获取所述待测充电桩的屏幕的图像；所述机器人包括：导轨，设置在所述固定支架和检测工位之间，所述检测工位用于放置所述待测充电桩；机械臂，设置在所述导轨上，用于点击所述待测充电桩的屏幕；所述机械臂包括：触屏探头，位于所述机械臂的远离所述固定支架的一端；力矩传感器，与所述触屏探头电连接，用于检测所述触屏探头的受力大小；所述机械臂还包括：视觉相机，用于采集所述待测充电桩的屏幕边框的图像数据；激光传感器，用于采集所述待测充电桩的屏幕边框的点云数据，所述机器人还包括定位装置，与所述视觉相机和所述激光传感器，用于根据所述图像数据和所述点云数据对所述待测充电桩的屏幕进行定位。

2.一种权利要求1所述的人机交互测试系统的控制方法，其特征在于，所述系统包括测试软件，所述测试软件用于对待测充电桩进行人机交互测试，所述控制方法包括：

控制视觉检测装置获取所述待测充电桩的屏幕的图像；

根据所述图像确定待操作区域的位置信息，所述待操作区域为所述待测充电桩的屏幕中进行点击操作的区域；

根据所述位置信息控制机器人对所述待测充电桩的屏幕操作。

3.一种权利要求1所述的人机交互测试系统的控制装置，其特征在于，所述系统包括测试软件，所述测试软件用于对待测充电桩进行人机交互测试，所述控制装置包括：

第一控制单元，用于控制视觉检测装置获取所述待测充电桩的屏幕的图像；

确定单元，用于根据所述图像确定待操作区域的位置信息，所述待操作区域为所述待测充电桩的屏幕中进行点击操作的区域；

第二控制单元，用于根据所述位置信息控制机器人对所述待测充电桩的屏幕操作。

4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求2所述的控制方法。

5.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求2所述的控制方法。