CN114265770A - 界面操作的控制方法、系统、设备及存储介质 - Google Patents

Abstract

本发明提供一种界面操作的控制方法、系统、设备及存储介质，所述控制方法包括：获取测试操作步骤，所述测试操作步骤对应在目标测试设备的第一显示界面的相应测试位置处执行的操作内容；构建所述测试操作步骤对应的模拟操作数据；所述模拟操作数据的模拟操作与所述操作内容相对应；根据所述模拟操作数据控制在所述目标测试设备的所述第一显示界面中执行测试操作。本发明通过构建测试操作步骤对应的模拟操作数据，能够将键盘鼠标操作自动映射至被测设备的显示界面以进行测试操作，从而实现非侵入式测试，无需依赖目标测试设备的操作系统以及界面程序的源码，简化了测试流程且避免了引入人为失误，提高了安全级画面软件定期试验质量和测试效率。

Description

界面操作的控制方法、系统、设备及存储介质

技术领域

本发明涉及自动化测试技术领域，尤其涉及一种界面操作的控制方法、系统、设备及存储介质。

背景技术

目前核电站的目标测试设备由于安全原因使用PS2(即PS/2接口，一种键盘接口以及一种鼠标接口)接口鼠标球和键盘，而不使用常规的键盘和鼠标。在执行对目标测试设备的定期测试任务(例如通道运行试验、驱动逻辑试验等)时，需要手动输入测试数据(包括输入数据和移动、点击鼠标操作)，以人工读取界面状态信息并判断测试结果，操作步骤繁多，全部通过维修人员手动完成，然而基于手动输入测试数据、读取画面等操作，操作步骤繁多，易引入人为失误，从而降低定期试验质量，甚至会导致安全系统误驱动，进而影响机组的安全性。

发明内容

本发明要解决的技术问题是为了克服现有技术中在执行定期测试任务时基于手动输入测试数据、读取画面等操作，操作步骤繁多，易引入人为失误，从而降低定期试验质量，甚至会导致安全系统误驱动，进而影响机组的安全性的缺陷，提供一种界面操作的控制方法、系统、设备及存储介质。

本发明是通过下述技术方案来解决上述技术问题：

本发明提供一种界面操作的控制方法，所述控制方法包括：

获取测试操作步骤，所述测试操作步骤对应在目标测试设备的第一显示界面的相应测试位置处执行的操作内容；

构建所述测试操作步骤对应的模拟操作数据；所述模拟操作数据的模拟操作与所述操作内容相对应；

根据所述模拟操作数据控制在所述目标测试设备的所述第一显示界面中执行测试操作。

较佳地，所述获取测试操作步骤的步骤具体包括：

获取设定测试流程信息；

对所述设定测试流程信息进行解析处理以获取若干个所述测试操作步骤。

较佳地，所述获取测试操作步骤的步骤具体包括：

捕捉第一测试设备的第二显示界面中的第二操作动作信息；

将所述第二操作动作信息作为所述测试操作步骤；

所述构建所述测试操作步骤对应的模拟操作数据的步骤具体包括：

对所述第二操作动作信息进行映射转换处理以获取所述模拟操作数据；

其中，所述第二操作动作信息的操作内容与所述模拟操作数据的操作内容一致。

较佳地，所述根据所述模拟操作数据控制在所述目标测试设备的所述第一显示界面中执行测试操作的步骤具体包括：

在捕捉到所述第二操作动作信息的操作内容时，根据所述模拟操作数据同步控制在所述目标测试设备的所述第一显示界面中执行相同的操作内容。

较佳地，所述模拟操作数据包括模拟键盘的初始按键信息和/或鼠标的初始位置信息的操作数据。

较佳地，所述构建所述测试操作步骤对应的模拟操作数据的步骤具体包括：

根据PS2通码断码表将所述初始按键信息转换为PS2按键信息；和/或，

根据PS2将所述初始位置信息转换为PS2位置信息。

本发明还提供一种界面操作的控制系统，所述控制系统包括依次通信连接的测试操作获取模块、模拟操作构建模块和操作控制模块；

所述测试操作获取模块用于获取测试操作步骤，所述测试操作步骤对应在目标测试设备的第一显示界面的相应测试位置处执行的操作内容；

模拟操作构建模块2用于构建所述测试操作步骤对应的模拟操作数据；所述模拟操作数据的模拟操作与所述操作内容相对应；

所述操作控制模块用于根据所述模拟操作数据控制在所述目标测试设备的所述第一显示界面中执行测试操作。

较佳地，所述测试操作获取模块为第一测试设备，模拟操作构建模块2为键鼠模拟控制板；

所述第一测试设备与所述键鼠模拟控制板通过PCIe(Peripheral ComponentInterconnect express，高速串行计算机扩展总线标准)接口连接，所述键鼠模拟控制板与所述目标测试设备通过PS2接口连接；

所述模拟操作数据包括模拟键盘的初始按键信息和/或鼠标的初始位置信息的操作数据；

所述键鼠模拟控制板用于根据PS2将所述初始按键信息转换为PS2按键信息；和/或，根据PS2将所述初始位置信息转换为PS2位置信息。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现前述的界面操作的控制方法。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述的界面操作的控制方法。

本发明的积极进步效果在于：通过构建测试操作步骤对应的模拟操作数据，能够将键盘鼠标操作自动映射至被测设备的显示界面以进行测试操作，从而实现非侵入式测试，无需依赖目标测试设备的操作系统以及界面程序的源码，简化了测试流程且避免了引入人为失误，提高了安全级画面软件定期试验质量和测试效率。

附图说明

图1为本发明的实施例1的界面操作的控制方法的流程图。

图2为本发明的实施例1的界面操作的控制方法中步骤S11的一具体实施方式的流程图。

图3为本发明的实施例1的界面操作的控制方法中步骤S11的另一具体实施方式的流程图。

图4为本发明的实施例1的界面操作的控制方法中步骤S13的一具体实施方式的流程图。

图5为本发明的实施例2的界面操作的控制系统的模块示意图。

图6为本发明的实施例2的界面操作的控制系统的一具体实施方式的模块示意图。

图7为本发明的实施例2的界面操作的控制系统中PS2接口的电路结构图。

图8为本发明的实施例3的电子设备的结构示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

实施例1

本实施例提供一种界面操作的控制方法，参照图1，控制方法包括：

S11、获取测试操作步骤，测试操作步骤对应在目标测试设备的第一显示界面的相应测试位置处执行的操作内容。

S12、构建测试操作步骤对应的模拟操作数据，模拟操作数据的模拟操作与操作内容相对应。

S13、根据模拟操作数据控制在目标测试设备的第一显示界面中执行测试操作。

本实施例通过构建测试操作步骤对应的模拟操作数据，能够将键盘鼠标操作自动映射至被测设备的显示界面以进行测试操作，从而实现非侵入式测试，无需依赖目标测试设备的操作系统以及界面程序的源码，简化了测试流程且避免了引入人为失误，提高了安全级画面软件定期试验质量和测试效率。

具体实施时，参照图2，步骤S11具体包括：

S111、获取设定测试流程信息。

S112、对设定测试流程信息进行解析处理以获取若干个测试操作步骤。

其中，可以使用脚本实现步骤S111和S112。可以从测试规程中获取设定测试流程信息。

本实施例中能够快速高效地对设定测试流程信息进行解析处理来获取若干个测试操作步骤，再构建测试操作步骤对应的模拟操作数据，根据模拟操作数据实现在目标测试设备的第一显示界面的相应测试位置处执行的操作内容，整个测试过程无需人为干预处理，自动且高效完成获取以及解析等操作，有效地避免引入人为失误，提高了安全级画面软件定期试验质量和测试效率。

具体实施时，参照图3，步骤S11具体包括：

S113、捕捉第一测试设备的第二显示界面中的第二操作动作信息。

S114、将第二操作动作信息作为测试操作步骤。

步骤S12具体包括：

S121、对第二操作动作信息进行映射转换处理以获取模拟操作数据。

其中，第二操作动作信息的操作内容与模拟操作数据的操作内容一致。即使第一显示界面和第二显示界面的大小不相同，也不会响应模拟操作数据的操作内容的准确性，例如，在第二显示界面左上角点击鼠标左键一次，那么在第一显示界面左上角与会执行点击鼠标左键一次。

在需要人工干预测试过程中在目标测试设备上界面操作的时候，即在测试过程中发生异常或出现非预期的测试界面操作结果的时候，为了避免自动测试过程暂停或者中止操作，可以通过捕捉第一测试设备的第二显示界面中的第二操作动作信息并将第二操作动作信息进行映射转换处理来获取模拟操作数据，实现人工干预测试过程中在目标测试设备上界面操作。

具体实施时，参照图4，步骤S13具体包括：

S131、在捕捉到第二操作动作信息的操作内容时，根据模拟操作数据同步控制在目标测试设备的第一显示界面中执行相同的操作内容。

本实施例实现随着第二显示界面中执行的操作内容，同步执行第一显示界面中执行的操作内容。

具体实施时，模拟操作数据包括模拟键盘的初始按键信息和/或鼠标的初始位置信息的操作数据。

其中，模拟键盘的初始按键信息包括按键的操作信息，例如：敲击按键“C”以键入符号“C”。鼠标的初始位置信息的操作数据包括对鼠标的放置、移动、左右键点击、滚轮滚动等操作数据。

鼠标自动映射流程：通过在上位机(即第一测试设备)的软件界面(即第二显示界面)中的鼠标的动作操作，实现在被测工业画面(即第一显示界面)中的光标坐标映射和动作同步。

键盘自动同步流程：通过在上位机的软件界面的键盘操作，实现在被测工业画面的输入内容同步。

本实施例中，在需要人工干预测试过程中在目标测试设备上界面操作的时候，能够模拟键盘的按键的操作内容和鼠标的操作内容，通过捕捉在第一测试设备的第二显示界面中的键盘和鼠标操作，将真实的键盘和鼠标操作映射到目标测试设备的第一显示界面的相应测试位置处执行相同的键盘和鼠标操作。

具体实施时，步骤S12具体包括：

根据PS2通码断码表将初始按键信息转换为PS2按键信息；和/或，

根据PS2将初始位置信息转换为PS2位置信息。

其中，键盘数据需要索引(0-103)104个键值，参照PS2通码断码表，按照列排序0-103，共3列，分别是键值、通码、断码。例如：根据PS2通码断码表将键值“C”转换为PS2模拟操作数据“03”，03是PS2通码断码表中索引号，表征键值“C”。

在目标测试设备采用PS2接口接收模拟操作数据的情况下，当一个键被按下或持续按住时，键盘会将该键的通码发送给目标测试设备；而当一个键被释放时，键盘会将该键的断码发送给目标测试设备。根据键盘按键扫描码的不同，可将按键分为3类：

(1)第1类按键。通码为一个字节，断码为0xF0+通码形式。如A键，其通码为0x1C，断码为0xF0 0x1C。

(2)第2类按键。通码为两字节0xE0+0xXX形式，断码为0xE0+0xF0+0xXX形式。如Right Ctrl键，其通码为0xE0 0x14，断码为0xE00xF0 0x14。

(3)第3类特殊按键。有两个：Print Screen键，其通码为0xE0 0x120xE0 0x7C，断码为0xE0 0xF0 0x7C 0xE0 0xF0 0x12；Pause键，其通码为0xE1 0x14 0x77 0xE1 0xF00xl4 0xF0 0x77，断码为空。

组合按键扫描码的发送是按照按键发生的次序，如按下面顺序按左Shift+A键：1)按下左Shift键；2)按下A键；3)释放A键；4)释放左Shift键，那么目标测试设备上接收到的一串数据为0x12 0x1C 0xF0 0x1C0xF0 0x12。

采用PS2接口的目标测试设备不支持热插拔，强行带电插拔外置设备后必须重启目标测试设备系统才能运行新的外置设备，而且热拔插中有可能烧毁目标测试设备的主板，因此，在测试过程中发生异常或出现非预期的测试界面操作结果的情况下，自动测试过程只能暂停或者中止操作，在这种场景下需要人工干预测试过程中在目标测试设备上界面操作。

对于鼠标的初始位置信息转换为PS2位置信息的过程与键盘的按键信息的转换过程类似，因此在此就不再赘述。

本实施例中，提出一种非侵入式测试的键鼠自动映射方法，通过在上位机(即第一测试设备)的软件界面(即第二显示界面)中的键盘和鼠标的动作操作，实现在被测工业画面(即第一显示界面)中的键入内容同步和光标坐标映射和动作同步，将在保护系统定期试验测试系统中的鼠标的坐标和动作映射到被测的GUI画面(即第一显示界面)中。

通过LabVIEW(一种程序开发环境)和Python(一种计算机编程语言)相结合软件架构从而实现用户动作模拟动作，键盘输入。本实施例的界面操作的控制方法不依赖被测对象(即目标测试设备，如工控机)运行的操作系统，可在PMS定期试验(即定期测试任务)执行过程中，解决手动点击和手动输入测试数据，操作步骤繁多，引入人为失误等问题，从而有效提升定期试验质量和测试效率。

实施例2

本实施例提供一种界面操作的控制系统，参照图5，控制系统包括依次通信连接的测试操作获取模块1、模拟操作构建模块2和操作控制模块3。

测试操作获取模块1用于获取测试操作步骤，测试操作步骤对应在目标测试设备的第一显示界面的相应测试位置处执行的操作内容。

模拟操作构建模块2用于构建测试操作步骤对应的模拟操作数据，模拟操作数据的模拟操作与操作内容相对应。

操作控制模块3用于根据模拟操作数据控制在目标测试设备的第一显示界面中执行测试操作。

本实施例通过构建测试操作步骤对应的模拟操作数据，能够将键盘鼠标操作自动映射至被测设备的显示界面以进行测试操作，从而实现非侵入式测试，无需依赖目标测试设备的操作系统以及界面程序的源码，简化了测试流程且避免了引入人为失误，提高了安全级画面软件定期试验质量和测试效率。

具体实施时，测试操作获取模块1为第一测试设备，模拟操作构建模块2为键鼠模拟控制板，如图6所示。

第一测试设备与键鼠模拟控制板通过PCIe接口连接，键鼠模拟控制板与目标测试设备通过PS2接口连接。

模拟操作数据包括模拟键盘的初始按键信息和/或鼠标的初始位置信息的操作数据。

键鼠模拟控制板用于根据PS2将所述初始按键信息转换为PS2按键信息；和/或，根据PS2将所述初始位置信息转换为PS2位置信息。

目标测试设备可以为核电站的控制设备(如工控机)，PCIe接口为4X接口，控制设备上必须有X4或者以上插槽，控制设备对外接插件为PS2母座，PS2接口定义为标准定义。

PS2设备有主从之分，主设备采用Female(母头)插座，从设备采用Male(公头)插头。第一测试设备可以是上位机，即主设备；键鼠模拟控制板为从设备。现在广泛使用的PS2键盘鼠标均在从设备方式下工作。PS2接口的时钟与数据线都是集电极开路结构，必须外接上拉电阻R1(一般上拉电阻设置在主设备中)，PS2接口电路结构如图7所示，J1为接口连接器，R6为接地电阻，PS2_DATA表示数据信号，PS2_CLK表示时钟信号。主从设备之间数据通信采用双向同步串行方式传输，时钟信号由从设备产生。键鼠模拟控制板通过单片机接收上位机串口命令，根据命令将需要模拟的信息数据转变为PS2协议要求的数据包格式发送出去。

PS2协议设计如下：

从命令格式、数据格式和功能码等方面进行设计。具体对如何配置设计根据实际需求进行确定或调整。

对以下驱动程序函数进行设计：

(1)OpenDevice函数，函数功能：打开板卡，并分配板卡资源。

(2)Close函数，函数功能：关闭板卡，释放板卡资源。

(3)ChannelWrite函数，函数功能：发送指令帧。

(4)ChannelRead函数，函数功能：读取通道的指令响应，非必须(读取到和发送命令一样的数据)。

本实施例可以通过LabVIEW(一种程序开发环境)软件调用封装的.dll(一种文件名后缀)动态库文件方式，驱动键鼠模拟控制板仿真真实键盘和鼠标信号，从而实现非侵入式测试，无需依赖标测试设备的操作系统以及界面程序的源码，简化了测试流程且避免引入人为失误，提高了安全级画面软件定期试验质量和测试效率；也可以通过捕捉在第一测试设备的第二显示界面中的键盘和鼠标操作，将真实的键盘和鼠标操作映射到目标测试设备的第一显示界面的相应测试位置处执行相同的键盘和鼠标操作，实现人工干预测试过程中在目标测试设备上界面操作。

实施例3

图8为本发明实施例3提供的一种电子设备的结构示意图。所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1中的界面操作的控制方法。图8显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。

总线33包括数据总线、地址总线和控制总线。

存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。

存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1中的界面操作的控制方法。

电子设备30也可以与一个或多个外部设备34(例如按键、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的电子设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器36通过总线33与模型生成的电子设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的电子设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化；反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

实施例4

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1中的界面操作的控制方法。

其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1中的界面操作的控制方法。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种界面操作的控制方法，其特征在于，所述控制方法包括：

获取测试操作步骤，所述测试操作步骤对应在目标测试设备的第一显示界面的相应测试位置处执行的操作内容；

构建所述测试操作步骤对应的模拟操作数据；所述模拟操作数据的模拟操作与所述操作内容相对应；

根据所述模拟操作数据控制在所述目标测试设备的所述第一显示界面中执行测试操作。

2.如权利要求1所述的界面操作的控制方法，其特征在于，所述获取测试操作步骤的步骤具体包括：

获取设定测试流程信息；

对所述设定测试流程信息进行解析处理以获取若干个所述测试操作步骤。

3.如权利要求1所述的界面操作的控制方法，其特征在于，所述获取测试操作步骤的步骤具体包括：

捕捉第一测试设备的第二显示界面中的第二操作动作信息；

将所述第二操作动作信息作为所述测试操作步骤；

所述构建所述测试操作步骤对应的模拟操作数据的步骤具体包括：

对所述第二操作动作信息进行映射转换处理以获取所述模拟操作数据；

其中，所述第二操作动作信息的操作内容与所述模拟操作数据的操作内容一致。

4.如权利要求3所述的界面操作的控制方法，其特征在于，所述根据所述模拟操作数据控制在所述目标测试设备的所述第一显示界面中执行测试操作的步骤具体包括：

在捕捉到所述第二操作动作信息的操作内容时，根据所述模拟操作数据同步控制在所述目标测试设备的所述第一显示界面中执行相同的操作内容。

5.如权利要求1-4中任一项所述的界面操作的控制方法，其特征在于，所述模拟操作数据包括模拟键盘的初始按键信息和/或鼠标的初始位置信息的操作数据。

6.如权利要求5所述的界面操作的控制方法，其特征在于，所述构建所述测试操作步骤对应的模拟操作数据的步骤具体包括：

根据PS2通码断码表将所述初始按键信息转换为PS2按键信息；和/或，

根据PS2将所述初始位置信息转换为PS2位置信息。

7.一种界面操作的控制系统，其特征在于，所述控制系统包括依次通信连接的测试操作获取模块、模拟操作构建模块和操作控制模块；

所述测试操作获取模块用于获取测试操作步骤，所述测试操作步骤对应在目标测试设备的第一显示界面的相应测试位置处执行的操作内容；

所述模拟操作构建模块用于构建所述测试操作步骤对应的模拟操作数据；所述模拟操作数据的模拟操作与所述操作内容相对应；

所述操作控制模块用于根据所述模拟操作数据控制在所述目标测试设备的所述第一显示界面中执行测试操作。

8.如权利要求7所述的界面操作的控制系统，其特征在于，所述测试操作获取模块为第一测试设备，所述模拟操作构建模块为键鼠模拟控制板；

所述第一测试设备与所述键鼠模拟控制板通过PCIe接口连接，所述键鼠模拟控制板与所述目标测试设备通过PS2接口连接；

所述模拟操作数据包括模拟键盘的初始按键信息和/或鼠标的初始位置信息的操作数据；

所述键鼠模拟控制板用于根据PS2将所述初始按键信息转换为PS2按键信息；和/或，根据PS2将所述初始位置信息转换为PS2位置信息。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行计算机程序时实现权利要求1-6中任一项所述的界面操作的控制方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的界面操作的控制方法。

Images