CN114115628A - 应用于u盾测试的u盾显示信息获取方法、装置、设备、介质及程序产品 - Google Patents

Abstract

本公开提供了一种应用于U盾测试的U盾显示信息获取方法，可以应用于大数据技术领域和人工智能技术领域。该应用于U盾测试的U盾显示信息获取方法包括：根据接收的U盾点击操作指令，生成图像获取操作指令；响应于图像获取操作指令和U盾点击操作指令，对待测试的U盾执行点击动作，检测对应点击动作的U盾的显示界面图像；以及对显示界面图像进行解析处理，获取U盾显示信息。本公开还提供了一种应用于U盾测试的U盾显示信息获取装置、设备、介质和程序产品。

Description

应用于U盾测试的U盾显示信息获取方法、装置、设备、介质及 程序产品

技术领域

本公开涉及计算机技术领域，更具体地涉及一种应用于U盾测试的U盾显示信息获取方法、装置、设备、介质和程序产品。

背景技术

在银行等金融企业提供的业务应用系统中，对于涉及到账务变动类的交易，为了保证交易的安全性及防止冒充，现有技术中金融企业(如银行)通常会提供U盾作为交易用户身份鉴别的证明，用户在进行交易时，需要在电脑等终端设备上插入U盾才能在系统中进行相关的交易。

随着版本研发节奏的加快，对于业务应用系统的自动化验证成为测试过程中的首选方案。由于涉及到上述需要本地电脑插入U盾作为安全介质的交易一般都是高风险的重点交易，也是每期版本测试需要进行重点验证的内容，使得在传统自动化测试的过程中，会存在因硬件安全介质操作(插拔、物理按键点击等)的限制，需要加入较多的用户手工操作环节，才能完成一个交易的正常操作测试过程。也即，该类高风险业务交易的自动化测试一直需要手工介入进行衔接，自动化成本较高，从而极大地限制了对该类高风险业务交易实现高效的自动化测试。

发明内容

鉴于现有技术中针对高风险业务交易进行自动化测试过程中所存在的技术问题至少之一，本公开提供了一种可以实现更为高效的自动化测试水平的应用于U盾测试的U盾显示信息获取方法、装置、设备、介质和程序产品。

本公开的第一方面提供了一种应用于U盾测试的U盾显示信息获取方法，其中，包括：根据接收的U盾点击操作指令，生成图像获取操作指令；响应于图像获取操作指令和U盾点击操作指令，对待测试的U盾执行点击动作，检测对应点击动作的U盾的显示界面图像；以及对显示界面图像进行解析处理，获取U盾显示信息。

根据本公开的实施例，在根据接收的U盾点击操作指令，生成图像获取操作指令之前，还包括：根据业务流程需要生成U盾使用通讯报文；通过U盾使用通讯报文建立执行机与待测试U盾之间的连接关系；以及根据连接关系生成U盾点击控制通讯报文，U盾点击控制通讯报文用于作为U盾点击操作指令。

根据本公开的实施例，在根据接收的U盾点击操作指令，生成图像获取操作指令中，包括：根据U盾点击操作指令，调用针对待测试的U盾的点击器；响应于点击器的调用，生成图像获取操作指令。

根据本公开的实施例，在根据接收的U盾点击操作指令，生成图像获取操作指令之后，还包括：根据图像获取操作指令，调用针对待测试的U盾的图像检测设备。

根据本公开的实施例，在响应于图像获取操作指令和U盾点击操作指令，对待测试的U盾执行点击动作，检测对应点击动作的U盾的显示界面图像中，包括：响应于U盾点击操作指令，在对U盾执行第一点击动作之前，根据图像获取操作指令检测U盾的显示界面图像；响应于显示界面图像，对U盾交替执行第一点击动作和图像检测动作，以获取U盾的至少两个显示界面图像；其中，点击动作包括第一点击动作。

根据本公开的实施例，在响应于显示界面图像，对U盾交替执行第一点击动作和图像检测动作，以获取U盾的至少两个显示界面图像中，包括：在对U盾交替执行第一点击动作和图像检测动作的过程中，当第一点击动作前后的图像检测动作所分别获取的两个显示界面图像一致时，获取U盾的至少两个显示界面图像。

根据本公开的实施例，在响应于显示界面图像，对U盾交替执行第一点击动作和图像检测动作，以获取U盾的至少两个显示界面图像之后，还包括：响应于至少两个显示界面图像，对U盾执行第二点击动作。

根据本公开的实施例，在对显示界面图像进行解析处理，获取U盾显示信息中，包括：响应于第二点击动作的执行，按照显示界面图像的生成时间对至少两个显示界面图像进行排序识别，获取显示界面图像中的文字内容；依据拼接解析规则通过变量名-变量值分隔符和变量间分隔符对文字内容执行拼接解析，以获取U盾显示信息。

根据本公开的实施例，在对显示界面图像进行解析处理，获取U盾显示信息之后，还包括：提取U盾显示信息的比对信息；将比对信息与采集的U盾的显示界面的展示信息进行比对。

本公开的第二方面提供了一种应用于U盾测试的U盾显示信息获取装置，其中，包括指令生成模块、图像检测模块和信息获取模块。指令生成模块用于根据接收的U盾点击操作指令，生成图像获取操作指令；图像检测模块用于响应于图像获取操作指令和U盾点击操作指令，对待测试的U盾执行点击动作，检测对应点击动作的U盾的显示界面图像；以及信息获取模块用于对显示界面图像进行解析处理，获取U盾显示信息。

本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述应用于U盾测试的U盾显示信息获取方法。

本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述应用于U盾测试的U盾显示信息获取方法。

本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述应用于U盾测试的U盾显示信息获取方法。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的应用于U盾测试的U盾显示信息获取方法、装置、设备、介质和程序产品的应用场景图；

图2示意性示出了根据本公开实施例的应用于U盾测试的U盾显示信息获取方法的流程图；

图3示意性示出了根据本公开实施例的应用于U盾测试的U盾显示信息获取方法的系统组成图；

图4示意性示出了根据本公开实施例的应用于U盾测试的U盾显示信息获取方法的流程场景图；

图5A-图5D示意性示出了根据本公开实施例的图像检测过程中对应多个显示界面图像的待测试U盾界面图；

图6示意性示出了根据本公开实施例的应用于U盾测试的U盾显示信息获取装置的结构框图；以及

图7示意性示出了根据本公开实施例的适于实现应用于U盾测试的U盾显示信息获取方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

现有技术中在U盾的自动化测试场景中，涉及高风险业务交易的主要面临两个问题：第一是U盾设备上物理按键的点击操作；第二是对当前正在使用的U盾进行切换操作。其中，针对第一个问题，业内的通常解决方案是使用物理外设的方案，即在整个业务交易的过程中，通过外接设备点击U盾上物理按钮的模式来实现U盾物理按键的点击操作；针对第二个问题，在当前的实际工作中只能通过测试人员通过手工插拔来切换U盾的方式来实现，否则只能通过进一步研发相关的U盾路由连接装置或模式来进行实现。

然而，在涉及到U盾测试的自动化测试交易时，不论使用物理外设不间断点击U盾上物理按钮，或者是受控式点击的方式，过程中只是模拟了用户对U盾设备的点击操作，对实际交易过程中，U盾设备显示的信息并没有进行采集，因而无法确认U盾在各个测试阶段所显示的信息是否正确，给用户的提示是否符合预期，是否正常提供给了用户操作信息等功能的验证，造成了测试过程中存在验证盲区，没有完成完整的业务测试场景的验证。

鉴于现有技术中针对高风险业务交易进行自动化测试过程中所存在的技术问题至少之一，本公开提供了一种可以实现更为高效的自动化测试水平的应用于U盾测试的U盾显示信息获取方法、装置、设备、介质和程序产品。

需要说明的是，本公开的上述应用于U盾测试的U盾显示信息获取方法和装置可用于大数据技术领域和人工智能技术领域，也可用于金融领域以及金融领域之外的任意领域，本公开应用于U盾测试的U盾显示信息获取方法和装置的应用领域不做限定。

在本公开的技术方案中，所涉及的包括用户个人信息等数据的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。其中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

本公开的实施例提供了一种应用于U盾测试的U盾显示信息获取方法，其中，包括：根据接收的U盾点击操作指令，生成图像获取操作指令；响应于图像获取操作指令和U盾点击操作指令，对待测试的U盾执行点击动作，检测对应点击动作的U盾的显示界面图像；以及对显示界面图像进行解析处理，获取U盾显示信息。

图1示意性示出了根据本公开实施例的应用于U盾测试的U盾显示信息获取方法、装置、设备、介质和程序产品的应用场景图。

如图1所示，根据该实施例的应用场景100可以包括终端设备101-103、网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的应用于U盾测试的U盾显示信息获取方法一般可以由服务器105执行。相应地，本公开实施例所提供的应用于U盾测试的U盾显示信息获取装置一般可以设置于服务器105中。本公开实施例所提供的应用于U盾测试的U盾显示信息获取方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的应用于U盾测试的U盾显示信息获取装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

以下将基于图1描述的场景，通过图2～图6对公开实施例的应用于U盾测试的U盾显示信息获取方法、装置、设备进行详细描述。

图2示意性示出了根据本公开实施例的应用于U盾测试的U盾显示信息获取方法的流程图。

如图2所示，该实施例的应用于U盾测试的U盾显示信息获取方法包括操作S201～操作S203。

在操作S201，根据接收的U盾点击操作指令，生成图像获取操作指令；

在操作S202，响应于图像获取操作指令和U盾点击操作指令，对待测试的U盾执行点击动作，检测对应点击动作的U盾的显示界面图像；

在操作S203，对显示界面图像进行解析处理，获取U盾显示信息。

U盾点击操作指令为用于对指定的待测试U盾执行点击操作的控制指令，根据该U盾点击操作指令可以用于控制点击器等点击工具对待测试U盾执行点击。在本公开的实施例中，当接收到U盾点击操作指令之后，除响应执行点击操作之外，还可以响应生成图像获取操作指令。图像获取操作指令为用于对指定的待测试U盾进行点击操作的过程进行图像获取的控制指令，图像获取可以是通过如拍照、录像等方式生成图片或者视频等图像数据的过程。

响应于U盾点击操作指令，可以对待测试U盾执行点击动作，同时响应于图像获取操作指令，在点击过程中对待测试U盾的显示界面进行如拍照、录像等方式的获取对应产生的图片或视频等图像数据，以实现对应点击动作的图像检测，其中所获取的图片或视频等图像数据可以作为上述的显示界面图像的存储数据，显示界面图像为待测试U盾的显示界面中所呈现的图片或录像本身。

进一步地，对该显示界面图像进行解析之后，可以获取在点击操作过程中，待测试U盾的显示界面中所呈现的显示信息，即U盾显示信息。因此，U盾显示信息可以包括图案、文字、数字以及标点等显示内容。这些显示内容可以用于反馈在测试过程中的待测试U盾经每次点击之后所呈现业务内容。

因此，实现了对交易过程中待测试U盾所显示的提示信息以及用户交互操作信息的采集，更为全面的捕获了U盾设备自动化测试过程中的所有交互信息，可以通过对上述U盾显示信息的比对匹配等，使得整个测试流程彻底实现了完整测试闭环，基本达到了全面性的测试自动化和智能化，极大地提高了测试效率，节省了测试资源。其中，能够对U盾显示信息进行反馈，能够避免验证过程中的测试盲区，在部分应用系统功能异常或者U盾驱动异常的情况下，防止出现U盾设备提示信息与实际用户操作后对应系统实际操作或实际提示信息不一致的风险隐患，从而避免对最终用户造成误导。

显然，基于本公开的上述U盾显示信息的获取方法，解决了由于自动化测试过程中没有对U盾设备信息进行采集比对，导致的U盾实际显示信息与目标交易需显示信息不一致，导致产生的用户误导问题。此外，也更加全面的捕获到了U盾设备自动化测试过程中的所有交互信息，使得整个测试流程自动化实现了完整闭环。

可见，本公开实施例的上述方法涉及软件测试领域，尤其是自动化测试过程中，涉及到使用物理U盾设备，并且提供了在对物理U盾设备进行操作的过中，对U盾外设设备的显示信息及结果进行采集核对的解决方案。

图3示意性示出了根据本公开实施例的应用于U盾测试的U盾显示信息获取方法的系统组成图；图4示意性示出了根据本公开实施例的应用于U盾测试的U盾显示信息获取方法的流程场景图。

如图3和图4所示，应用上述本公开实施例的U盾显示信息获取方法的系统组成主要包括执行机外接设备管理模块310，U盾设备路由连接模块320、U盾点击管理模块330、U盾设备显示信息采集模块340、U盾显示信息解析比对模块350、U盾显示信息展示模块360。其中，U盾设备路由连接模块320与多个待测试的物理U盾1-n连接，U盾点击管理模块330与多个用于测试点击的点击器1-n连接，而且该系统组成还包括执行机池370，执行机池370包括多个执行机1-n。其中，物理U盾1-n、点击器1-n以及执行机1-n可以一一对应设置。

如图2-图4所示，根据本公开的实施例，在操作S201根据接收的U盾点击操作指令，生成图像获取操作指令之前，还包括：

根据业务流程需要生成U盾使用通讯报文；

通过U盾使用通讯报文建立执行机与待测试U盾之间的连接关系；以及

根据连接关系生成U盾点击控制通讯报文，U盾点击控制通讯报文用于作为U盾点击操作指令。

业务流程需要为与待测试的业务交易内容相关的业务交易流程内容，不同的业务交易对应不同的业务流程需要。执行机外接设备管理模块310可以根据业务流程的不同向U盾设备路由连接模块320发送U盾使用通讯报文信息，同时也负责向U盾点击管理模块330发送U盾点击控制通讯报文信息。其中，U盾使用通讯报文信息中包含U盾编号、操作指令、发送时间、执行机名称、发送IP等基本属性内容，其中，操作指令包含新建USB接口连接、释放USB接口连接、初始化U盾路由配置、重置物理U盾连接、更新物理U盾连接等。

其中，执行机外接设备管理模块310可以根据该U盾使用通讯报文中的U盾编号、操作指令、发送时间等信息，建立与待测试U盾相对应的执行机之间的逻辑连接关系，使得执行机可以通过该逻辑连接关系对待测试U盾发送控制指令，以实现相应的业务交易内容的测试。

此外，根据待测试U盾与执行机之间的逻辑连接关系以及对U盾使用通讯报文的响应，可以生成相应的U盾点击控制通讯报文。U盾点击控制通讯报文信息中包含执行机名称、U盾编号、发送时间、发送IP、点击次数、点击间隔时长以及需核对的信息项及目标取值等点击控制信息，从而可以作为U盾点击操作指令通过执行机实现对对应的待测试U盾的点击控制。具体地，U盾点击控制通讯报文样例如下：

<config>

<UKEYID>5300016804</UKEYID>

<FREQUENCY>3</FREQUENCY>

<INTERVAL>2</INTERVAL>

<MACHINE-NAME>UkeyTest01</MACHINE-NAME>

<ISCLOUD>0</ISCLOUD>

<IP>83.25.10.12</IP>

<config>

其中，UKEYID可以为待测试U盾的U盾编号，FREQUENCY可以为点击次数或频率，INTERVAL可以为点击间隔时长，MACHINE-NAME为执行机名称，IP为发送IP地址，其中该U盾点击控制通讯报文还涉及具体的业务交易名称、交易币种、交易账号以及交易金额和交易时间等具体业务流程信息。

如图3-图4所示，U盾设备路由连接模块320也可以用来建立自动化执行机1-n与U盾设备(即物理U盾1-n)的物理连接通路，并进行指令传输。U盾设备路由连接模块320主要由U盾信息管理子模块321、U盾设备连接子模块322和U盾数据切换路由子模块323构成。

其中，U盾信息管理子模块321主要管理U盾编号、U盾设备连接USB接口的对照信息，U盾的业务用途等信息并提供维护功能；U盾设备连接子模块322用来管理维护USB接口和物理U盾间的映射关系，其中，待测试U盾与相应执行机之间的逻辑连接关系，即根据该映射关系进行实现；U盾数据切换路由子模块323用来接收来自执行机外接设备管理模块310发送的U盾使用通讯报文信息，建立或中断执行机与USB物理接口的连接，并将连接状态、开始时间、结束时间、当前占用执行机名称、当前占用执行机IP等字段同步更新至U盾路由配置表。

因此，U盾设备路由连接模块320也可以根据U盾使用通讯报文中的待测试U盾、物理接口以及执行机之间的基本信息建立逻辑连接关系，用于执行机与待测试U盾之间的控制传输。

如图2-图4所示，根据本公开的实施例，在操作S202根据接收的U盾点击操作指令，生成图像获取操作指令中，包括：

根据U盾点击操作指令，调用针对待测试的U盾的点击器；

响应于点击器的调用，生成图像获取操作指令。

U盾点击管理模块330主要用来接收执行机提交的针对对应待测试U盾的U盾点击操作指令，并依据点击操作指令调取点击器，通过点击器对指定的U盾进行点击操作。U盾点击管理模块330主要由点击指令处理子模块331、点击器配置信息管理子模块332、点击操作控制子模块333和点击操作日志记录子模块334构成。

其中，点击指令处理子模块331主要用来接收执行机外接设备管理模块310发送的U盾点击控制通讯报文，并对报文指令进行解析处理；点击器配置信息管理子模块332主要用来存放点击器与物理U盾之间的对应映射关系，该对应的映射关系用于调取用于点击该待测试U盾的点击器；点击操作控制子模块333主要用来依据U盾点击操作指令，调取指定的点击器进行点击操作；点击操作日志记录子模块334主要用来记录点击器的点击操作日志，包含执行机名称、U盾编号、执行机IP、点击操作开始时间、点击操作次数、点击间隔时长以及需核对的信息项及目标取值等信息。

其中，对应调取的执行机在执行到自动化脚本中需要进行U盾点击的步骤时，由执行机外接设备管理模块310给点击指令处理子模块331发送U盾点击控制通讯报文，点击指令处理子模块331接收报文后进行解析，根据报文中的U盾编号在点击器配置信息管理子模块332中找到物理U盾对应的点击器编号，之后由点击操作控制子模块333控制对应的点击器，完成U盾点击的操作。并由点击操作日志记录子模块334完成整个过程中的日志记录操作。

同时，响应于该点击器的调用，可以生成图像获取操作指令，该图像获取操作指令作为用于调取图像检测设备(如摄像机、CCD设备等)并执行图像获取操作(如拍照、录像等动作)的控制指令。

因此，借此可以实现在点击操作的进行之前或过程之中，针对点击的待测试U盾的显示界面执行图像获取操作，获取U盾的显示信息。

如图2-图4所示，根据本公开的实施例，在操作S201根据接收的U盾点击操作指令，生成图像获取操作指令之后，还包括：

根据图像获取操作指令，调用针对待测试的U盾的图像检测设备。

如图3-图4所示，U盾设备显示信息采集模块340捕获到U盾点击操作指令，在每一次点击器对U盾设备进行点击前，均可以根据图像获取操作指令，调用待测试U盾设备对应的信息采集摄像头或其他图像检测设备，执行拍照或录像操作，如图4所示操作S401。其中，该图像检测设备可以是摄像头、CCD相机设备等图像获取的电子设备。

通过图像检测设备可以对待测试U盾的显示界面的显示信息进行精准检测，以对U盾显示信息进行精确的反馈。

图5A-图5D示意性示出了根据本公开实施例的一图像检测过程中对应的多个显示界面图像的待测试U盾界面图。

如图1-图5所示，根据本公开的实施例，在响应于图像获取操作指令和U盾点击操作指令，对待测试的U盾执行点击动作，检测对应点击动作的U盾的显示界面图像中，包括：

响应于U盾点击操作指令，在对U盾执行第一点击动作之前，根据图像获取操作指令检测U盾的显示界面图像；

响应于显示界面图像，对U盾交替执行第一点击动作和图像检测动作，以获取U盾的至少两个显示界面图像；

其中，点击动作包括第一点击动作。

如图5所示，每个待测试U盾都相应具有一块显示面板(如LCD板、LED板以及液晶板等)，该显示面板作为待测试U盾的显示界面，此外，待测试U盾的显示面板周边可以设置相应的点击按钮，如用于确定流程的“OK”键、用于取消流程或返回流程的“C”键以及用于上翻页或下翻页的翻页键，如“v”键可以为下翻页键。

如图3-图4所示，U盾设备显示信息采集模块340可以将图像检测设备所获取的待测试U盾的显示界面的图像数据基于图像识别技术进行预处理操作，根据预处理结果用以判断是否需要对待测试U盾上的翻页键继续执行点击操作。如需要进行翻页键的点击，则在每一次点击前，都调用信息采集图像检测设备，执行拍照或录像操作并进行图片预处理。当所有需进行翻页键点击的操作均完成后，根据U盾点击操作指令中的点击命令对对应的U盾按键进行点击。

其中，可以第一点击动作是根据U盾点击操作指令执行针对U盾的翻页键的点击动作。在进行第一点击动作之前，根据业务交易流程的相应业务交易指令，该待测试U盾应当开始显示与业务交易相关的显示信息，如图5A所示显示信息为初始显示信息，可以理解为显示界面的第1页显示内容。由于待测试U盾一般为小型化设备，使得显示界面的显示面积有限，因而有可能还存在第1页尚无法显示完整的显示内容有待显示(如图5B、图5C以及图5D所示显示内容可以分别对应于第2页、第3页以及第4页显示内容)，需要对U盾的翻页键进行点击实现显示内容的翻页操作。对于翻页键的点击可以视为第一点击动作，此时，响应于U盾点击操作指令，需要在执行第一点击动作之前，通过图像检测设备响应于图像获取操作指令对待测试U盾的显示界面进行检测，以获取对该待测试U盾进行第一点击动作之前的显示界面的显示图像，即显示界面图像。

获得该显示界面图像之后，响应调用点击器对该待测试U盾执行第1次第一点击动作，在该点击动作完成之后，通过U盾设备显示信息采集模块340再次调用图像检测设备对该U盾的显示界面进行检测，以获取第2个显示界面图像，该显示界面图像为对该U盾进行第1次第一点击动作之后的显示界面的显示图像。之后，再次对该U盾执行第2次第一点击动作，在该点击动作完成之后，再次检测该U盾进行第2次第一点击动作之后的显示界面的显示图像作为第3个显示界面图像。如此，交替反复执行第一点击动作和图像检测动作，可以获得该U盾在不同时刻的第一点击动作之后的各自显示图像作为至少两个显示界面图像，即完成对U盾的翻页，以及每次翻页过程中U盾显示，如图4所示操作S401和操作S402。

由于第一点击动作是针对翻页键的点击动作，如此，便可以完成对待测试U盾在测试过程中的自动翻页的翻页操作，从而取代了人工判断显示界面并人力翻页的传统方案，极大地节约了人力资源，减少测试时间，提高测试效率。

如图1-图5所示，根据本公开的实施例，在响应于显示界面图像，对U盾交替执行第一点击动作和图像检测动作，以获取U盾的至少两个显示界面图像中，包括：

在对U盾交替执行第一点击动作和图像检测动作的过程中，当第一点击动作前后的图像检测动作所分别获取的两个显示界面图像一致时，获取U盾的至少两个显示界面图像。

如图4所示操作S402，对翻页键的第一点击动作是否终止，以完成翻页点击操作，可以相邻两个显示界面图像的一致性对比结果作为判断依据。具体地，如图5A-图5D所示，在进行U盾设备的第一点击动作之前，先对U盾设备屏幕(即显示界面)中显示的内容进行拍照(即图像检测动作)，形成照片1(即第1个显示界面图像，如图5A所示)，照片1保存后；第2次以第一点击动作点击U盾的同一翻页键，对U盾的显示内容执行翻页，再对U盾设备屏幕中显示的内容进行拍照，形成照片2(即第2个显示界面图像，如图5B所示)。照片2保存后，将照片2与照片1进行比较，如果两张照片内容不完全一致，则证明当前U盾设备屏幕中显示的内容还未结束，需要继续对同一U盾的同一翻页键执行第一点击动作，再次对U盾设备屏幕中显示的内容进行拍照，形成照片3(即第3个显示界面图像，如图5C所示)，照片3保存后，将照片3与照片2进行比较，判断两张照片内容是否完全一致……如此反复，直到最后两张照片内容完全一致时，如第4个显示界面图像和第5个显示界面图像均与图5D所显示内容一致时，则证明当前U盾设备屏幕中显示的信息已经是在末页位置，全部信息已经显示完成，完成翻页操作。可以展开后续的第二点击动作的点击操作。

如图1-图5所示，根据本公开的实施例，在响应于显示界面图像，对U盾交替执行第一点击动作和图像检测动作，以获取U盾的至少两个显示界面图像之后，还包括：

响应于至少两个显示界面图像，对U盾执行第二点击动作。

如图4所示，当完成对待测试U盾的翻页之后，U盾设备显示信息采集模块340已经完成对显示界面图像的采集，则可以响应于该显示界面图像的采集完成，根据U盾点击操作指令中的点击命令，对U盾上的对应按键进行第二点击动作，该第二点击动作可以是针对如待测试U盾上非翻页键的点击动作，如确认键(即OK键)、取消键(即C键)等，一般为确认键的点击动作。

因此，根据U盾点击操作指令中的点击命令对U盾上的OK键进行点击操作，从而完成整个U盾确认的流程。

以具体案例而言，如在企业网银上进行如“周周分红”超短期法人理财产品购买的业务交易流程进行测试时，在接收到如用户在终端设备上填写的完成购买金额等基本信息并点击提交按钮后所产生的业务流程需要指令时，通过翻页点击(第一点击动作)得到相应点击动作前后的显示图像(如图5A-图5D所示的显示图像中之一)，并在U盾设备上对购买的理财产品信息进行确认，此时U盾设备显示信息采集模块340会收到到点击U盾OK键的U盾点击操作指令，执行U盾点击操作指令对U盾设备的确认键进行点击(第二点击动作)，即可以获得如图5A-图5D所示的显示图像的图像数据。

如图1-图5所示，根据本公开的实施例，在对显示界面图像进行解析处理，获取U盾显示信息中，包括：

响应于第二点击动作的执行，按照显示界面图像的生成时间对至少两个显示界面图像进行排序识别，获取显示界面图像中的文字内容；

依据拼接解析规则通过变量名-变量值分隔符和变量间分隔符对文字内容执行拼接解析，以获取U盾显示信息。

如图4所示操作S404-S406，将采集到的多个显示界面图像发送给U盾显示信息解析比对模块350，U盾显示信息解析比对模块350对每张图片中的U盾交易信息显示区的文字内容进行解析，并按照对应显示界面图像的检测获取时间进行排序，从而获取待测试U盾中的显示界面图像中的文字内容。进一步地，U盾显示信息解析比对模块350可以通过OCR图像识别技术，对上述显示界面图像的文字内容进行拼接和解析，拼接解析规则按照变量名-变量值分隔符和变量间分隔符进行处理，以获取U盾显示信息。

其中，U盾显示信息解析比对模块350在接收到U盾设备显示信息采集模块340捕获的图片信息(即显示界面图像)后，按照图片的生成顺序进行排序，并将每张图片中的U盾交易信息显示区的文字内容通过OCR图像识别技术，进行拼接和解析，拼接解析规则按照变量名-变量值分隔符和变量间分隔符进行处理。其中，拼接规则为：两张相邻照片中第一张照片结尾不存在变量间分隔符时，将第二张照片中的内容与第一张照片中的文字信息进行拼接，形成一个字段信息，通过对所有照片顺序逐个处理后，形成完整的U盾设备的显示信息(即U盾显示信息)。

如图1-图5所示，根据本公开的实施例，在对显示界面图像进行解析处理，获取U盾显示信息之后，还包括：

提取U盾显示信息的比对信息；

将比对信息与采集的U盾的显示界面的展示信息进行比对。

当获取到U盾显示信息之后，开始调用信息解析过程，并在解析过程中遇到变量名-变量值分隔符时，按照格式将变量名和变量值将U盾显示信息登记到结构化信息采集表中进行记录形成比对信息，从而用于进行下述信息比对时使用。其中，采集的U盾的显示界面的展示信息为上述U盾点击操作指令中的获取到的“需核对的信息项及目标取值”所对应的需要在显示界面中展示的信息。其中，上述结构化信息采集表在完成比对信息的记录之后，可以如下表1所示：

表1

如图4所示操作S407-S408中，将根据U盾点击操作指令中的获取到的“需核对的信息项及目标取值”逐个遍历，与结构化信息采集表采集到的实际U盾屏幕展示的比对信息进行比对。

U盾显示信息解析比对模块350的比对功能将U盾点击操作指令中的获取到的“需核对的信息项及目标取值”逐个遍历，与结构化信息采集表采集到的实际U盾屏幕展示的比对信息进行比对，形成比对结果，并将比对结果反馈给U盾显示信息展示模块360进行处理。其中，上述比对结果可以如下述表2所示：

表2

其中，若U盾显示信息解析比对模块350识别到比对信息的信息项不能对应指令中的信息项，则反馈报文：比对失败；同时，待比对的信息没有定义，并将所有对应的信息记录到U盾显示信息展示模块360中。

若识别到的信息项与指令中的信息项对应，但识别到的信息项的值和指令中的信息项的值不一致，则反馈报文：比对失败；同时，所比对的信息项的数值和预设的不一致，并将所有对应的信息记录到U盾显示信息展示模块360中。

当若识别到的信息项可以对应指令中的信息项，且识别到的信息项的值和指令中的信息项的值一致时，则反馈报文：比对成功，并将所有对应的信息记录到U盾显示信息展示模块360中。

具体地，若对企业网银上进行“周周分红”超短期法人理财产品购买过程的交易进行U盾测试，首先将U盾设备显示信息采集模块340采集到的所有图片按采集顺序进行排序，通过OCR图像识别技术，将U盾中交易信息显示区的内容进行识别，得到待处理的完整的U盾显示信息为“产品名称：XX银行“周周分红”超短期法人理财产品，产品币种：xx币，资金账号：020004850920066XXXX，资金账号币种：xx币，钞汇标志：现钞，购买金额：100,000.00元，(XX银行)”(如图5A-图5D所示显示内容)。然后，通过解析变量名-变量值分隔符，在上述解析的文字中，形成信息项有“产品名称”、“产品币种”、“资金账号”、“资金账号币种”、“钞汇标志”和“购买金额”；信息项对应的实际值为“XX银行“周周分红”超短期法人理财产品”、“xx币”、“020004850920066XXXX”、“xx币”、“现钞”和“100,000.00元”的信息项值。最后，将U盾点击操作指令中的获取到的“需核对的信息项及目标取值”对其逐个遍历，验证U盾设备屏幕实际显示的信息与实际系统交易过程中预期的值是否一致。如产品名称：指令中的值为“XX银行‘周周分红’超短期法人理财产品”，U盾实际显示值为“XX银行‘周周分红’超短期法人理财产品”，则比对通过。反之，若信息项无法找到对应的参数值，或者信息项能找到，但信息项对应的实际值和参数名对应的参数值不相同，均为比对失败。

此外，U盾显示信息展示模块360主要用来在U盾的测试过程中，为测试人员或运维人员展示测试案例执行过程中U盾设备的显示信息及比对反馈信息，如点击器编号、U盾编号、执行机名称、执行机IP、U盾设备预期显示信息、实际U盾显示信息、预期信息与实际显示信息比对结果、U盾交互照片图片、比对时间等测试相关信息。

因此，通过本公开实施例的上述U盾显示信息获取方法，实现了在U盾测试过程中对U盾显示信息的采集，并且能够将该U盾显示信息与预设的信息进行匹配比对，及时发现U盾设备显示信息与系统实际提示信息不一致的问题，避免对最终用户造成误导。因而，能够解决由于自动化测试过程中没有对U盾设备信息进行采集比对，导致的U盾实际显示信息与目标交易需显示信息不一致，导致产生的用户误导问题。此外，也更加全面的捕获到了U盾设备自动化测试过程中的所有交互信息，使得整个测试流程自动化实现了完整闭环，极大地提高了测试效率，节省了测试资源。

基于上述应用于U盾测试的U盾显示信息获取方法，本公开还提供了一种应用于U盾测试的U盾显示信息获取装置。以下将结合图6对该装置600进行详细描述。

图6示意性示出了根据本公开实施例的应用于U盾测试的U盾显示信息获取装置600的结构框图。

如图6所示，该实施例的应用于U盾测试的U盾显示信息获取装置600包括指令生成模块610、图像检测模块620和信息获取模块630。

指令生成模块610用于根据接收的U盾点击操作指令，生成图像获取操作指令。在一实施例中，指令生成模块610可以用于执行前文描述的操作S201，在此不再赘述。

图像检测模块620用于响应于图像获取操作指令和U盾点击操作指令，对待测试的U盾执行点击动作，检测对应点击动作的U盾的显示界面图像。在一实施例中，图像检测模块620可以用于执行前文描述的操作S202，在此不再赘述。

信息获取模块630用于对显示界面图像进行解析处理，获取U盾显示信息。在一实施例中，信息获取模块630可以用于执行前文描述的操作S203，在此不再赘述。

根据本公开的实施例，指令生成模块610、图像检测模块620和信息获取模块630中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，指令生成模块610、图像检测模块620和信息获取模块630中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，指令生成模块610、图像检测模块620和信息获取模块630中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图7示意性示出了根据本公开实施例的适于实现应用于U盾测试的U盾显示信息获取方法的电子设备700的方框图。

本公开的实施例还提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述应用于U盾测试的U盾显示信息获取方法。

如图7所示，根据本公开实施例的电子设备700包括处理器701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 703中，存储有电子设备700操作所需的各种程序和数据。处理器701、ROM702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备700还可以包括输入/输出(I/O)接口705，输入/输出(I/O)接口705也连接至总线704。电子设备700还可以包括连接至I/O接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

本公开的实施例还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述应用于U盾测试的U盾显示信息获取方法。

本公开实施例的计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。

本公开的实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述应用于U盾测试的U盾显示信息获取方法。

本公开实施例的计算机程序产品包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例的上述方法。

在该计算机程序被处理器701执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分709被下载和安装，和/或从可拆卸介质711被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (13)

1.一种应用于U盾测试的U盾显示信息获取方法，其中，包括：

根据接收的U盾点击操作指令，生成图像获取操作指令；

响应于所述图像获取操作指令和所述U盾点击操作指令，对待测试的所述U盾执行点击动作，检测对应所述点击动作的所述U盾的显示界面图像；以及

对所述显示界面图像进行解析处理，获取所述U盾显示信息。

2.根据权利要求1所述的方法，其中，在所述根据接收的U盾点击操作指令，生成图像获取操作指令之前，还包括：

根据业务流程需要生成U盾使用通讯报文；

通过所述U盾使用通讯报文建立执行机与待测试U盾之间的连接关系；以及

根据所述连接关系生成U盾点击控制通讯报文，所述U盾点击控制通讯报文用于作为所述U盾点击操作指令。

3.根据权利要求1所述的方法，其中，在所述根据接收的U盾点击操作指令，生成图像获取操作指令中，包括：

根据所述U盾点击操作指令，调用针对待测试的所述U盾的点击器；

响应于所述点击器的调用，生成所述图像获取操作指令。

4.根据权利要求3所述的方法，其中，在所述根据接收的U盾点击操作指令，生成图像获取操作指令之后，还包括：

根据所述图像获取操作指令，调用针对待测试的所述U盾的图像检测设备。

5.根据权利要求1所述的方法，其中，在所述响应于所述图像获取操作指令和所述U盾点击操作指令，对待测试的所述U盾执行点击动作，检测对应所述点击动作的所述U盾的显示界面图像中，包括：

响应于所述U盾点击操作指令，在对所述U盾执行第一点击动作之前，根据所述图像获取操作指令检测所述U盾的显示界面图像；

响应于所述显示界面图像，对所述U盾交替执行第一点击动作和图像检测动作，以获取所述U盾的至少两个显示界面图像；

其中，所述点击动作包括第一点击动作。

6.根据权利要求5所述的方法，其中，在所述响应于所述显示界面图像，对所述U盾交替执行所述第一点击动作和图像检测动作，以获取所述U盾的至少两个显示界面图像中，包括：

在对所述U盾交替执行所述第一点击动作和图像检测动作的过程中，当所述第一点击动作前后的图像检测动作所分别获取的两个显示界面图像一致时，获取所述U盾的至少两个显示界面图像。

7.根据权利要求5所述的方法，其中，在所述响应于所述显示界面图像，对所述U盾交替执行所述第一点击动作和图像检测动作，以获取所述U盾的至少两个显示界面图像之后，还包括：

响应于所述至少两个显示界面图像，对所述U盾执行第二点击动作。

8.根据权利要求7所述的方法，其中，在所述对所述显示界面图像进行解析处理，获取所述U盾显示信息中，包括：

响应于所述第二点击动作的执行，按照所述显示界面图像的生成时间对所述至少两个显示界面图像进行排序识别，获取所述显示界面图像中的文字内容；

依据拼接解析规则通过变量名-变量值分隔符和变量间分隔符对所述文字内容执行拼接解析，以获取所述U盾显示信息。

9.根据权利要求8所述的方法，其中，在所述对所述显示界面图像进行解析处理，获取所述U盾显示信息之后，还包括：

提取所述U盾显示信息的比对信息；

将所述比对信息与采集的所述U盾的显示界面的展示信息进行比对。

10.一种应用于U盾测试的U盾显示信息获取装置，其中，包括：

指令生成模块，用于根据接收的U盾点击操作指令，生成图像获取操作指令；

图像检测模块，用于响应于所述图像获取操作指令和所述U盾点击操作指令，对待测试的所述U盾执行点击动作，检测对应所述点击动作的所述U盾的显示界面图像；以及

信息获取模块，用于对所述显示界面图像进行解析处理，获取所述U盾显示信息。

11.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～9中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～9中任一项所述的方法。

13.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～9中任一项所述的方法。

Images