CN110516143B - 一种基于浏览器的业务数据提取方法及装置 - Google Patents

Abstract

本文公开一种基于浏览器的业务数据提取方法及装置，此方法包括：获取基于浏览器的交互数据作为第一数据；从所述第一数据中去除与目标业务无关的协议对应的数据，再去除与浏览器界面相关的数据，获得第二数据；在所述第二数据中根据所述目标业务的关键字检索到服务端的响应数据，确定与所述响应数据对应的所述浏览器发向所述服务端的请求数据；根据所述请求数据提取业务数据。提高处理效率，提高数据获取的有效程度。本文提高了查询效率，明确了查询和搜索的流程，对类似业务数据提取的方案，具有一定的通信性和指导意义。

Description

一种基于浏览器的业务数据提取方法及装置

技术领域

本发明涉及互联网技术领域，尤其涉及一种基于浏览器的业务数据提取方法及装置。

背景技术

随着互联网技术的快速发展，以及用户使用规模的急剧增加，用户通过浏览器与服务端的交互越来越多。例如，在使用应用程序接口(Application Program Interface，简称API)实现孤岛数据融合、应用重组和业务构建的情境下,在表单处理业务中，每次进行表单提交时都会在浏览器和服务端产生大量网络请求和网络响应。使用数据抓包与分析工具进行数据提取和分析时，抓取到数据中会存在大量的与业务数据不相关的信息。使常规则的数据抓包与分析工具(例如分析网页源码或网络请求序列的工具)提取业务数据时存在以下缺点：

一，待分析数据的数据量庞大，大量耗费人力和设备的处理能力；

二，搜索条件复杂；

三，部分核心数据流中包括未知来源的数据，无法从这些数据中提取到与业务相关的信息。

发明内容

为了解决上述技术问题，本发明提供了一种基于浏览器的业务数据提取方法及装置。

本发明提供的基于浏览器的业务数据提取方法，包括：

获取基于浏览器的交互数据作为第一数据；

从所述第一数据中去除与目标业务无关的协议对应的数据，再去除与浏览器界面相关的数据，获得第二数据；

在所述第二数据中根据所述目标业务的关键字检索到服务端的响应数据，确定与所述响应数据对应的所述浏览器发向所述服务端的请求数据；

根据所述请求数据提取业务数据。

上述基于浏览器的业务数据提取方法还具有以下特点：

所述根据所述请求数据获取业务数据包括：

从所述请求数据中选择出来源为未知来源的数据段，确定所述数据段首次出现的位置，根据所述位置的上下文数据包进行数据修正，获得修正后的数据。

上述基于浏览器的业务数据提取方法还具有以下特点：

所述与目标业务无关的协议为HTTP以及HTTPS，所述与浏览器界面相关的数据包括内容类型为以下类型之一的数据：图像、音频、视频、应用。

上述基于浏览器的业务数据提取方法还具有以下特点：

所述根据所述位置的上下文数据包进行数据修正包括：根据所述位置的上下文数据包中编码前和编码后的参数数值，根据所述位置的上下文数据包定位到编码算法对应的Java Script文件,根据所述参数数值和Java Script文件进行数据修正获得修正后的业务数据。

上述基于浏览器的业务数据提取方法还具有以下特点：

所述目标业务的关键字为用户在所述浏览器的页面上输入的数据。

本发明提供的基于浏览器的业务数据提取装置，包括：

采集模块，用于获取基于浏览器的交互数据作为第一数据；

筛选模块，用于从所述第一数据中去除与目标业务无关的协议对应的数据，再去除与浏览器界面相关的数据，获得第二数据；

确定模块，用于在所述第二数据中根据所述目标业务的关键字检索到服务端的响应数据，确定与所述响应数据对应的所述浏览器发向所述服务端的请求数据；

提取模块，用于根据所述请求数据提取业务数据。

上述基于浏览器的业务数据提取装置还具有以下特点：

所述提取模块包括选择单元、确定单元和修正单元；

所述选择单元，用于从所述请求数据中选择出来源为未知来源的数据段；

所述确定单元，用于确定所述数据段首次出现的位置；

所述修正单元，用于根据所述位置的上下文数据包进行数据修正，获得修正后的数据。

上述基于浏览器的业务数据提取装置还具有以下特点：

所述与目标业务无关的协议为HTTP以及HTTPS，所述与浏览器界面相关的数据包括内容类型为以下类型之一的数据：图像、音频、视频、应用。

上述基于浏览器的业务数据提取装置还具有以下特点：

所述修正单元，还用于使用以下方法根据所述位置的上下文数据包进行数据修正：根据所述位置的上下文数据包中编码前和编码后的参数数值，根据所述位置的上下文数据包定位到编码算法对应的Java Script文件,根据所述参数数值和Java Script文件进行数据修正获得修正后的业务数据。

上述基于浏览器的业务数据提取装置还具有以下特点：

所述装置还包括：交互模块，用于接收用户在所述浏览器的页面上输入的数据，所述目标业务的关键字为用户在所述浏览器的页面上输入的数据。

本发明从复杂的B-S系统的数据中,剥离开界面相关内容,后获取具体的业务数据，本发明包括以下优点：

一，提高处理效率，提高数据获取的有效程度。

二，明确了查询和搜索的流程，对类似业务数据提取的方案，具有一定的通信性和指导意义。

三，对查找的内容设置多种维度的优化，进一步提高了查询效率。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是实施例中基于浏览器的业务数据提取方法的流程图；

图2是实施例中基于浏览器的业务数据提取装置的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

如图1所示，基于浏览器的业务数据提取方法包括：

步骤101，获取基于浏览器的交互数据作为第一数据；

步骤102，从第一数据中去除与目标业务无关的协议对应的数据，再去除与浏览器界面相关的数据，获得第二数据；

步骤103，在第二数据中根据目标业务的关键字检索到服务端的响应数据，确定与响应数据对应的浏览器发向服务端的请求数据；

步骤104，根据请求数据提取业务数据。

其中，

步骤102中与目标业务无关的协议为HTTP以及HTTPS。业务为表单业务时，与浏览器界面相关的数据包中数据的内容类型一般包括以下类型中的一种：布尔,整形,浮点,字符串。与浏览器界面相关的数据包括内容类型为以下类型之一的数据：图像、音频、视频、应用。

浏览器与服务器的每一次交互均会产生一数据流,数据流中包含所有界面展示出来的结果，在执行步骤102之前，将第一数据中的数据流按时间顺序进行排序，在执行步骤102中对按顺序排列的数据进行并行搜索和排除。

步骤103中目标业务的关键字为用户在浏览器的页面上输入的数据，例如：表单中子项的标识、表单中子项的名称、具体值；或者是用户提交的查询条件。

步骤104中根据请求数据获取业务数据包括：从请求数据中选择出来源为未知来源的数据段，确定数据段首次出现的位置，根据此位置的上下文数据包进行数据修正，获得修正后的数据。其中，根据位置的上下文数据包进行数据修正包括：根据位置的上下文数据包中编码前和编码后的参数数值，根据位置的上下文数据包定位到编码算法对应的JavaScript文件,根据参数数值和Java Script文件进行数据修正获得修正后的业务数据。此修正步骤可以使本方法在未知来源的数据中提取到与业务相关的信息，提高了业务数据提取的效率，并且保证了数据的一致性和来源可追性。

如图2所示，基于浏览器的业务数据提取装置，包括：

采集模块，用于获取基于浏览器的交互数据作为第一数据；

筛选模块，用于从第一数据中去除与目标业务无关的协议对应的数据，再去除与浏览器界面相关的数据，获得第二数据；

确定模块，用于在第二数据中根据目标业务的关键字检索到服务端的响应数据，确定与响应数据对应的浏览器发向服务端的请求数据；

提取模块，用于根据请求数据提取业务数据。

其中，

提取模块包括选择单元、确定单元和修正单元；

选择单元，用于从请求数据中选择出来源为未知来源的数据段；

确定单元，用于确定数据段首次出现的位置；

修正单元，用于根据位置的上下文数据包进行数据修正，获得修正后的数据。

与目标业务无关的协议为HTTP以及HTTPS，与浏览器界面相关的数据包括内容类型为以下类型之一的数据：图像、音频、视频、应用。

修正单元还用于使用以下方法根据位置的上下文数据包进行数据修正：根据位置的上下文数据包中编码前和编码后的参数数值，根据位置的上下文数据包定位到编码算法对应的Java Script文件,根据参数数值和Java Script文件进行数据修正获得修正后的业务数据。此修正单元可以使本装置在未知来源的数据中提取到与业务相关的信息，提高了业务数据提取的效率，并且保证了数据的一致性和来源可追性。

此装置还包括：交互模块，用于接收用户在浏览器的页面上输入的数据，目标业务的关键字为用户在浏览器的页面上输入的数据。

下面通过具体实施例进行详细说明。

本具体实施例中，应用的对象为某地产公司的订单系统。

步骤1，获取基于浏览器的交互数据作为第一数据，具体包括：

启动数据抓取程序，演绎数据产生过程，开启浏览器登录系统，输入查询时间段，服务器返回此查询时间段内的订单查询结果作为第一数据，结束数据抓取。

步骤2，从第一数据中去除与目标业务无关的协议对应的数据，再去除与浏览器界面相关的数据，获得第二数据，具体包括：

首先过滤掉非HTTP和非HTTPS协议的数据包，其次过滤掉jpg,png,ico,bmp,css和界面渲染相关的数据包，再次搜寻与核心业务数据交互的数据包，作为第二数据。

步骤3，在第二数据中根据所述目标业务的关键字检索到服务端的响应数据，确定与响应数据对应的所述浏览器发向所述服务端的请求数据，具体包括：

根据第二数据中的订单详细信息和客户电话定位到响应数据包，经过校验该响应的数据包中也包含其他订单的详细信息。其中，查询响应与查询请求是一一对应的，查询请求将用于后继的业务数据请求，请求的参数即是日期开始时间与日期结束时间，根据响应数据对应的所述浏览器发向所述服务端的请求数据。

步骤4，从请求数据中选择出来源为未知来源的数据段，具体包括：

查询到查询请求中有一处未知字段：cookies，继续在所有数据包中查询cookies首次出现的位置，发现是在一处与登录Login相关的服务器回复的数据包中,而登录请求中的参数即是用户名和密码。

步骤5，根据所述位置的上下文数据包进行数据修正，获得修正后的数据，具体包括：

重新模拟业务请求以实现数据获取，包括：

第一,模拟登录请求,发送用户名和密码,记录服务器返回的cookies；

第二,模拟查询请求,发送cookies和查询的时间段,解析返回过来的查询结果。

根据模拟结果获得修改正后的数据。

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于浏览器的业务数据提取方法，其特征在于，包括：

获取基于浏览器的交互数据作为第一数据；

从所述第一数据中去除与目标业务无关的协议对应的数据，再去除与浏览器界面相关的数据，获得第二数据；

在所述第二数据中根据所述目标业务的关键字检索到服务端的响应数据，确定与所述响应数据对应的所述浏览器发向所述服务端的请求数据；

根据所述请求数据提取业务数据，包括：

从所述请求数据中选择出来源为未知来源的数据段，确定所述数据段首次出现的位置，根据所述位置的上下文数据包进行数据修正，获得修正后的数据。

2.如权利要求1所述的基于浏览器的业务数据提取方法，其特征在于，

所述与目标业务无关的协议为HTTP以及HTTPS，所述与浏览器界面相关的数据包括内容类型为以下类型之一的数据：图像、音频、视频、应用。

3.如权利要求1所述的基于浏览器的业务数据提取方法，其特征在于，

所述根据所述位置的上下文数据包进行数据修正包括：根据所述位置的上下文数据包中编码前和编码后的参数数值，根据所述位置的上下文数据包定位到编码算法对应的JavaScript文件,根据所述参数数值和Java Script文件进行数据修正获得修正后的业务数据。

4.如权利要求1所述的基于浏览器的业务数据提取方法，其特征在于，

所述目标业务的关键字为用户在所述浏览器的页面上输入的数据。

5.一种基于浏览器的业务数据提取装置，其特征在于，包括：

采集模块，用于获取基于浏览器的交互数据作为第一数据；

筛选模块，用于从所述第一数据中去除与目标业务无关的协议对应的数据，再去除与浏览器界面相关的数据，获得第二数据；

确定模块，用于在所述第二数据中根据所述目标业务的关键字检索到服务端的响应数据，确定与所述响应数据对应的所述浏览器发向所述服务端的请求数据；

提取模块，用于根据所述请求数据提取业务数据，

所述提取模块包括选择单元、确定单元和修正单元；

所述选择单元，用于从所述请求数据中选择出来源为未知来源的数据段；

所述确定单元，用于确定所述数据段首次出现的位置；

所述修正单元，用于根据所述位置的上下文数据包进行数据修正，获得修正后的数据。

6.如权利要求5所述的基于浏览器的业务数据提取装置，其特征在于，

所述与目标业务无关的协议为HTTP以及HTTPS，所述与浏览器界面相关的数据包括内容类型为以下类型之一的数据：图像、音频、视频、应用。

7.如权利要求5所述的基于浏览器的业务数据提取装置，其特征在于，

所述修正单元，还用于使用以下方法根据所述位置的上下文数据包进行数据修正：根据所述位置的上下文数据包中编码前和编码后的参数数值，根据所述位置的上下文数据包定位到编码算法对应的Java Script文件,根据所述参数数值和Java Script文件进行数据修正获得修正后的业务数据。

8.如权利要求5所述的基于浏览器的业务数据提取装置，其特征在于，

所述装置还包括：交互模块，用于接收用户在所述浏览器的页面上输入的数据，所述目标业务的关键字为用户在所述浏览器的页面上输入的数据。

Images