CN106059807A - 基于用户感知的网络内容访问效果自动验证方法及系统 - Google Patents

Abstract

本发明公开了一种基于用户感知的网络内容访问效果自动验证方法及系统。该方法包括以下步骤：通过行为层、应用层、和/或网络层对用户操作进行录制；将录制的用户操作进行回放，向服务器端发送服务器请求；接收所述服务器返回的请求内容，通过捕获与所述请求内容相关的数据包、通过图像识别、和/或通过通知栏识别对所述请求内容进行网络内容访问效果的验证。借助于本发明的技术方案，能够以用户感知的最终体验作为评价访问效果的唯一标准，访问效果验证的准确性得到极大提高。

Description

基于用户感知的网络内容访问效果自动验证方法及系统

技术领域

本发明涉及移动通讯领域，特别涉及一种基于用户感知的网络内容访问效果自动验证方法及系统。

背景技术

随着互联网技术尤其是移动互联网技术的飞速发展，人们直接访问本地存储内容的情况正在逐渐变少，通过网络获取特定内容的情况越来越普遍。网络内容访问效果评估也随之成为一个重要问题。

通过互联网访问特定内容时，用户在应用层感知的最终结果是评判访问效果的唯一标准。已有方法根据网络层是否收到应答包或根据网络请求状态码来判断访问效果，但用户通过浏览器或移动APP访问特定内容时，从收到部分网络层数据包到完整呈现给用户还有许多步骤，且与用户使用的终端设备软硬件环境设置有很大关系，因此，通过网络层验证的结果准确度较低。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于用户感知的网络内容访问效果自动验证方法及系统。

本发明提供了一种基于用户感知的网络内容访问效果自动验证方法，包括以下步骤：

通过行为层、应用层、和/或网络层对用户操作进行录制；

将录制的用户操作进行回放，向服务器端发送服务器请求；

接收所述服务器返回的请求内容，通过捕获与所述请求内容相关的数据包、通过图像识别、和/或通过通知栏识别对所述请求内容进行网络内容访问效果的验证。

本发明还提供了一种基于用户感知的网络内容访问效果自动验证系统，设置于终端，包括录制模块、回放模块、以及验证模块：

所述录制模块，用于通过行为层、应用层、和/或网络层对用户操作进行录制；

所述回放模块，用于将录制的用户操作进行回放，向服务器端发送服务器请求；

所述验证模块，用于接收所述服务器返回的请求内容，通过捕获与所述请求内容相关的数据包、通过图像识别、和/或通过通知栏识别对所述请求内容进行网络内容访问效果的验证。

本发明有益效果如下：

通过用户操作的录制和回放解决了如何模拟用户输入的问题，通过捕获与所述请求内容相关的数据包、通过图像识别、和/或通过通知栏识别对所述请求内容进行网络内容访问效果的验证，能够以用户感知的最终体验作为评价访问效果的唯一标准，访问效果验证的准确性得到极大提高。

附图说明

图1为本发明方法实施例基于用户感知的网络内容访问效果自动验证方法的流程图；

图2为本发明方法实施例中控件-像素坐标仿射变换技术的流程图；

图3为本发明方法实施例中用户通过互联网或移动网访问特定内容的过程的抽象示意图；

图4为本发明装置实施例基于用户感知的网络内容访问效果自动验证系统结构示意图。

具体实施方式

为了解决现有技术网络层验证的结果准确度较低的问题，本发明提供了一种基于用户感知的网络内容访问效果自动验证方法及系统，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

方法实施例

根据本发明的方法实施例，提供了一种基于用户感知的网络内容访问效果自动验证方法，图1是本发明方法实施例的基于用户感知的网络内容访问效果自动验证方法的流程图，如图1所示，根据本发明方法实施例的基于用户感知的网络内容访问效果自动验证方法包括如下处理：

步骤101，通过行为层、应用层、和/或网络层对用户操作进行录制。

具体的，在屏幕分辨率不同的情况下，通过行为层对用户操作进行录制包括以下步骤：

建立控件-坐标映射关系表，所述控件-坐标映射关系表包括控件和其屏幕位置坐标之间的对应关系；

进行用户输入事件流的采集和分析，得到用户输入事件流的多个位置坐标，根据所述控件-坐标映射关系表获取与所述多个位置坐标对应的多个控件，并将所述多个控件作为用户操作进行录制；

在屏幕分辨率相同的情况下，通过行为层对用户操作进行录制包括以下步骤：

进行用户输入事件流的采集和分析，得到用户输入事件流的多个位置坐标，并将所述多个位置坐标作为用户操作进行录制。

更加具体的，建立控件-坐标映射关系表包括以下步骤：

建立所有控件之间的关系依赖树，从原始根节点控件开始，确定原始根节点控件的绝对坐标值，沿着所述关系依赖树遍历所有控件，逐步获取所有控件在屏幕上的坐标值，得到控件-坐标映射关系表。

具体的，通过应用层对用户操作进行录制包括以下步骤；

采用API接口或具体应用的专用接口采集用户输入事件流，并分析所述用户输入事件流所调用的多个函数，将多个函数之间的调用关系作为用户操作进行录制。

具体的，通过网络层对用户操作进行录制包括以下步骤；

通过网络端口采集用户输入事件流的数据包收发操作，将所述数据包收发操作作为用户操作进行录制。

本发明方法实施例根据应用特点和可用API接口，将行为层、应用层和网络层三层用户输入模拟技术有机结合，实现用户输入操作的准确模拟。在输入模拟效果无差别的情况下，优先从应用层或/和网络层进行模拟；否则，从行为层直接模拟鼠标、键盘或触摸等用户操作。

步骤102，将录制的用户操作进行回放，向服务器端发送服务器请求。

如果通过行为层对用户操作进行录制，则所述将录制的用户操作进行回放，向服务器端发送服务器请求具体包括以下步骤：

在屏幕分辨率率不同的情况下，根据回放的用户操作获取相应的多个控件，并根据所述控件-坐标映射关系表获取与所述多个控件对应的多个位置坐标，模拟用户对所述多个位置坐标的操作，对用户输入事件流进行回放，向服务器端发送服务器请求；在屏幕分辨率相同的情况下，根据录制的多个位置坐标对用户输入事件流进行回放，向服务器端发送服务器请求。

在行为层通过录制/回放技术实现批量用户输入模拟时，不同终端设备的分辨率限制了脚本的兼容性，为解决终端设备型号与屏幕分辨率差异对脚本适用范围的限制，本发明提出控件-像素坐标仿射变换技术，具体的，控件-像素坐标仿射变换技术的流程图如图2所示，具体内容为：1)对应用进行界面控件分析，在录制与回放终端设备上，分别建立控件-坐标映射关系表。利用检视工具分析建立移动应用所有控件之间的关系依赖树，从原始根节点控件开始，确定原始根节点控件的绝对坐标值，沿着控件树遍历所有控件，逐步获取所有控件在屏幕上的坐标值，构建控件-坐标映射关系表。2)录制会话时，根据录制终端设备的控件-坐标映射关系表将捕获事件的位置坐标映射为具体控件，生成基于控件的自适应脚本。通过这种方式，验证脚本可摆脱对用户操作具体坐标位置的依赖，屏蔽录制终端与回放终端设备型号或屏幕分辨率差异的影响，自适应地匹配不同终端设备和屏幕分辨率。3)回放会话时，根据回放终端设备的控件-坐标映射关系表，将基于控件的脚本转换为基于坐标位置的脚本，再根据脚本记录的事件流回放会话。所述录制终端设备与回放终端设备均属于终端，所述终端也可称为应用客户端。

如果通过应用层对用户操作进行录制，则所述将录制的用户操作进行回放，向服务器端发送服务器请求具体包括以下步骤：

根据所述调用关系调用相应的多个函数，对用户输入事件流进行回放，向服务器端发送服务器请求。

如果通过网络层对用户操作进行录制，则所述将录制的用户操作进行回放，向服务器端发送服务器请求具体包括以下步骤：

根据所述数据包收发操作对用户输入事件流进行回放，向服务器端发送服务器请求。

步骤103，接收所述服务器返回的请求内容，通过捕获与所述请求内容相关的数据包、通过图像识别、和/或通过通知栏识别对所述请求内容进行网络内容访问效果的验证。

步骤103具体包括以下步骤：

如果捕获到与所述请求内容相关的数据包，或识别到与所述请求内容相关的图像，或在通知栏识别到与所述请求内容相关的通知，则确定网络内容访问效果自动验证成功；

如果未捕获到与所述请求内容相关的数据包，且不能识别到与所述请求内容相关的图像，且未在通知栏识别到与所述请求内容相关的通知，则确定网络内容访问效果自动验证失败。

判断验证结果时，同样根据应用特点和可用API接口，结合数据和视觉两种渠道感知用户获得的输出效果。其中，数据感知渠道采用网页和应用数据包自动捕获分析技术，视觉感知渠道采用浏览器和应用界面图像识别技术和手机通知栏模式识别技术。在感知输出效果无差别的情况下，优先使用数据方式感知输出；否则，从视觉方式通过图像或模式识别技术感知输出。

简单来说，用户通过互联网或移动网访问特定内容的过程的抽象示意图如图3所示，用户通过鼠标或键盘操作向应用客户端提交输入事件；应用客户端将用户输入操作请求转换为服务器请求，并通过互联网或移动网提交给服务器端；服务器端处理请求并返回用户请求的特定内容；应用客户端将请求内容渲染呈现并通过屏幕更新推送给用户。

为实现各种软硬件网络环境下基于用户感知的特定网络内容访问效果验证，需要解决如下关键问题：一是如何模拟用户输入，本发明利用步骤101和步骤102，通过用户操作的录制和回放来模拟用户输入(多层级模拟输入技术)；二是感知用户输出，本发明利用步骤103，通过捕获与所述请求内容相关的数据包、通过图像识别、和/或通过通知栏识别对所述请求内容进行网络内容访问效果的验证(多渠道用户感知技术)；三是如何自适应不同类型终端设备，本发明通过控件-像素坐标仿射变换技术来实现。

装置实施例

根据本发明的装置实施例，提供了一种基于用户感知的网络内容访问效果自动验证系统，图4是本发明装置实施例的基于用户感知的网络内容访问效果自动验证系统的结构示意图，如图4所示，根据本发明装置实施例的基于用户感知的网络内容访问效果自动验证系统，设置于终端，包括：录制模块10、回放模块20、以及验证模块30，以下对本发明实施例的各个模块进行详细的说明。

具体地，所述录制模块10，用于通过行为层、应用层、和/或网络层对用户操作进行录制。

具体的，所述录制模块10包括行为层录制模块、应用层录制模块、和/或网络层录制模块；

所述行为层录制模块包括建关系表子模块和录制子模块，

所述建关系表子模块，用于建立控件-坐标映射关系表，所述控件-坐标映射关系表包括控件和其屏幕位置坐标的对应关系；

所述录制子模块，用于在屏幕分辨率不同的情况下进行用户输入事件流的采集和分析，得到用户输入事件流的多个位置坐标，根据所述控件-坐标映射关系表获取与将所述多个位置坐标对应的多个控件，并将所述多个控件作为用户操作进行录制；在屏幕分辨率相同的情况下，进行用户输入事件流的采集和分析，得到用户输入事件流的多个位置坐标，并将所述多个位置坐标作为用户操作进行录制；

所述应用层录制模块，用于采用API接口或具体应用的专用接口采集用户输入事件流，并分析所述用户输入事件流所调用的函数关系，将多个函数之间的调用关系作为用户操作进行录制；

所述网络层录制模块，用于通过网络端口采集用户输入事件流的数据包收发操作，将所述数据包收发操作作为用户操作进行录制。所述回放模块20，用于将录制的用户操作进行回放，向服务器端发送服务器请求。

具体的，所述回放模块20包括行为层回放模块、应用层回放模块、和/或网络层回放模块；

所述行为层回放模块，用于在屏幕分辨率不同的情况下，根据回放的用户操作获取相应的多个控件，并根据控件-坐标映射关系表获取与所述多个控件对应的多个位置坐标，模拟用户对所述多个位置坐标的操作，对用户输入事件流进行回放，向服务器端发送服务器请求；在屏幕分辨率相同的情况下，根据录制的多个位置坐标对用户输入事件流进行回放，向服务器端发送服务器请求；

所述应用层回放模块，用于根据所述调用关系调用相应的多个函数，对用户输入事件流进行回放，向服务器端发送服务器请求；

所述网络层回放模块，用于根据所述数据包收发操作对用户输入事件流进行回放，向服务器端发送服务器请求。

所述验证模块30，用于接收所述服务器返回的请求内容，通过捕获与所述请求内容相关的数据包、通过图像识别、和/或通过通知栏识别对所述请求内容进行网络内容访问效果的验证。

具体的，所述验证模块30用于如果捕获到与所述请求内容相关的数据包，或识别到与所述请求内容相关的图像，或在通知栏识别到与所述请求内容相关的通知，则确定网络内容访问效果自动验证成功；

如果未捕获到与所述请求内容相关的数据包，且不能识别到与所述请求内容相关的图像，且未能在通知栏识别到与所述请求内容相关的通知，则确定网络内容访问效果自动验证失败。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于用户感知的网络内容访问效果自动验证方法，其特征在于，包括以下步骤：

通过行为层、应用层、和/或网络层对用户操作进行录制；

将录制的用户操作进行回放，向服务器端发送服务器请求；

接收所述服务器返回的请求内容，通过捕获与所述请求内容相关的数据包、通过图像识别、和/或通过通知栏识别对所述请求内容进行网络内容访问效果的验证。

2.如权利要求1所述的网络内容访问效果自动验证方法，其特征在于，

在屏幕分辨率不同的情况下，通过行为层对用户操作进行录制包括以下步骤：

建立控件-坐标映射关系表，所述控件-坐标映射关系表包括控件和其屏幕位置坐标之间的对应关系；

进行用户输入事件流的采集和分析，得到用户输入事件流的多个位置坐标，根据所述控件-坐标映射关系表获取与所述多个位置坐标对应的多个控件，并将所述多个控件作为用户操作进行录制；

所述将录制的用户操作进行回放，向服务器端发送服务器请求包括以下步骤：

根据回放的用户操作获取相应的多个控件，并根据所述控件-坐标映射关系表获取与所述多个控件对应的多个位置坐标，模拟用户对所述多个位置坐标的操作，对用户输入事件流进行回放，向服务器端发送服务器请求；

在屏幕分辨率相同的情况下，通过行为层对用户操作进行录制包括以下步骤：

进行用户输入事件流的采集和分析，得到用户输入事件流的多个位置坐标，并将所述多个位置坐标作为用户操作进行录制；

所述将录制的用户操作进行回放，向服务器端发送服务器请求包括以下步骤：

根据录制的多个位置坐标对用户输入事件流进行回放，向服务器端发送服务器请求。

3.如权利要求1所述的网络内容访问效果自动验证方法，其特征在于，通过应用层对用户操作进行录制包括以下步骤；

采用API接口或具体应用的专用接口采集用户输入事件流，并分析所述用户输入事件流所调用的多个函数，将多个函数之间的调用关系作为用户操作进行录制；

所述将录制的用户操作进行回放，向服务器端发送服务器请求具体包括以下步骤：

根据所述调用关系调用相应的多个函数，对用户输入事件流进行回放，向服务器端发送服务器请求。

4.如权利要求1所述的网络内容访问效果自动验证方法，其特征在于，通过网络层对用户操作进行录制包括以下步骤；

通过网络端口采集用户输入事件流的数据包收发操作，将所述数据包收发操作作为用户操作进行录制；

所述将录制的用户操作进行回放，向服务器端发送服务器请求包括以下步骤：

根据所述数据包收发操作对用户输入事件流进行回放，向服务器端发送服务器请求。

5.如权利要求1所述的网络内容访问效果自动验证方法，其特征在于，所述接收所述服务器返回的请求内容，通过捕获与所述请求内容相关的数据包、通过图像识别、和/或通过通知栏识别对所述请求内容进行网络内容访问效果的验证包括以下步骤：

如果捕获到与所述请求内容相关的数据包，或识别到与所述请求内容相关的图像，或在通知栏识别到与所述请求内容相关的通知，则确定网络内容访问效果自动验证成功；

如果未捕获到与所述请求内容相关的数据包，且不能识别到与所述请求内容相关的图像，且未在通知栏识别到与所述请求内容相关的通知，则确定网络内容访问效果自动验证失败。

6.如权利要求1～5任一项所述的网络内容访问效果自动验证方法，其特征在于，通过行为层、应用层、和/或网络层对用户操作进行录制之后，所述方法进一步包括：

将录制的用户操作发送到其他终端；

将录制的用户操作进行回放，向服务器端发送服务器请求具体包括：

通过所述其他终端将录制的用户操作进行回放，向服务器端发送服务器请求。

7.一种基于用户感知的网络内容访问效果自动验证系统，其特征在于，设置于终端，包括录制模块、回放模块、以及验证模块：

所述录制模块，用于通过行为层、应用层、和/或网络层对用户操作进行录制；

所述回放模块，用于将录制的用户操作进行回放，向服务器端发送服务器请求；

所述验证模块，用于接收所述服务器返回的请求内容，通过捕获与所述请求内容相关的数据包、通过图像识别、和/或通过通知栏识别对所述请求内容进行网络内容访问效果的验证。

8.如权利要求7所述的网络内容访问效果自动验证系统，其特征在于，所述录制模块包括行为层录制模块、应用层录制模块、和/或网络层录制模块；

所述行为层录制模块包括建关系表子模块和录制子模块，

所述建关系表子模块，用于建立控件-坐标映射关系表，所述控件-坐标映射关系表包括控件和其屏幕位置坐标的对应关系；

所述录制子模块，用于在屏幕分辨率不同的情况下进行用户输入事件流的采集和分析，得到用户输入事件流的多个位置坐标，根据所述控件-坐标映射关系表获取与将所述多个位置坐标对应的多个控件，并将所述多个控件作为用户操作进行录制；在屏幕分辨率相同的情况下，进行用户输入事件流的采集和分析，得到用户输入事件流的多个位置坐标，并将所述多个位置坐标作为用户操作进行录制；

所述应用层录制模块，用于采用API接口或具体应用的专用接口采集用户输入事件流，并分析所述用户输入事件流所调用的函数关系，将多个函数之间的调用关系作为用户操作进行录制；

所述网络层录制模块，用于通过网络端口采集用户输入事件流的数据包收发操作，将所述数据包收发操作作为用户操作进行录制。

9.如权利要求7所述的网络内容访问效果自动验证系统，其特征在于，所述回放模块包括行为层回放模块、应用层回放模块、和/或网络层回放模块；

所述行为层回放模块，用于在屏幕分辨率不同的情况下，根据回放的用户操作获取相应的多个控件，并根据控件-坐标映射关系表获取与所述多个控件对应的多个位置坐标，模拟用户对所述多个位置坐标的操作，对用户输入事件流进行回放，向服务器端发送服务器请求；在屏幕分辨率相同的情况下，根据录制的多个位置坐标对用户输入事件流进行回放，向服务器端发送服务器请求；

所述应用层回放模块，用于根据所述调用关系调用相应的多个函数，对用户输入事件流进行回放，向服务器端发送服务器请求；

所述网络层回放模块，用于根据所述数据包收发操作对用户输入事件流进行回放，向服务器端发送服务器请求。

10.如权利要求7所述的网络内容访问效果自动验证系统，其特征在于，

所述验证模块具体用于如果捕获到与所述请求内容相关的数据包，或识别到与所述请求内容相关的图像，或在通知栏识别到与所述请求内容相关的通知，则确定网络内容访问效果自动验证成功；

如果未捕获到与所述请求内容相关的数据包，且不能识别到与所述请求内容相关的图像，且未能在通知栏识别到与所述请求内容相关的通知，则确定网络内容访问效果自动验证失败。