CN111008346A - 一种数据采集方法及装置 - Google Patents

Abstract

本发明公开了一种数据采集方法及装置，该方法包括：获取用户通过可视化界面发出的采集信息，根据采集信息生成配置信息；根据配置信息以及预设的采集脚本模板文件生成临时采集脚本文件；将临时采集脚本文件上传至静态资源服务器，生成采集脚本文件以及采集脚本文件的脚本地址，以根据脚本地址获得采集脚本文件。本发明只需要配置需要的采集信息，即可生成特定的采集脚本，无需重新开发，脚本复用率高，进而提高了效率，满足了不同业务方的不同的采集需求，且为业务方提供互相独立的采集脚本地址，使业务方之间互不影响，降低出错的风险，提高采集数据的可靠性。

Description

一种数据采集方法及装置

技术领域

本发明涉及信息采集技术领域，特别涉及一种数据采集方法及装置。

背景技术

随之科技的发展，人们对信息采集的需求越来越大，并且采集需求的种类也越来越多。目前，针对业务方不同的采集需求大多数采取两种采集方案：

一种是对外提供通用的采集脚本，这种方式在维护上带来了很多不便，并且由于通用脚本增加了不同系统之间的采集业务的耦合性，进而增大了出错的风险及测试成本，同时面对不需要的采集信息，容易造成数据冗余，浪费数据库等服务器资源。

一种是针对每一个业务方不同的采集需求编写不同的采集脚本，互相独立，但是，这样又使得通用的采集需求无法复用，降低了代码的复用率。

针对上述问题，亟需提出一种新的数据采集方案。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种数据采集方法及装置，以克服现有技术中通用脚本复用率低、不同系统之间的采集业务互相影响、出错风险高等问题。

为解决上述一个或多个技术问题，本发明采用的技术方案是：

一方面，提供了一种数据采集方法，该方法包括如下步骤：

获取用户通过可视化界面发出的采集信息，根据所述采集信息生成配置信息；

根据所述配置信息以及预设的采集脚本模板文件生成临时采集脚本文件；

将所述临时采集脚本文件上传至静态资源服务器，生成采集脚本文件以及所述采集脚本文件的脚本地址，以根据所述脚本地址获得所述采集脚本文件。

进一步的，所述获取用户通过可视化界面发出的采集信息，根据所述采集信息生成配置信息包括：

提供可视化界面接收用户发出的采集信息；

通过AJAX以及数据服务将获取到的所述采集信息生成配置信息

进一步的，所述根据所述配置信息以及预设的采集脚本模板文件生成临时采集脚本文件包括：

通过所述采集信息关联获取所述配置信息，并获取预设的采集脚本模板文件；

将所述配置信息封装成符合所述采集脚本模板的数据格式；

结合封装后的所述配置信息以及所述采集脚本模板文件生成临时采集脚本文件。

进一步的，所述将所述临时采集脚本文件上传至静态资源服务器，生成采集脚本文件以及所述采集脚本文件的脚本地址包括：

将所述临时采集脚本文件上传至静态资源服务器，在所述静态资源服务器上建立相应的目录，生成采集脚本文件以及所述采集脚本文件的脚本地址。

进一步的，所述方法还包括：

将所述脚本地址推送至所述可视化界面；

访问所述脚本地址获取所述采集脚本文件；

执行所述采集脚本文件以采集相关数据。

另一方面，提供了一种数据采集装置，所述装置包括：

配置生成模块，用于获取用户通过可视化界面发出的采集信息，根据所述采集信息生成配置信息；

第一生成模块，用于根据所述配置信息以及预设的采集脚本模板文件生成临时采集脚本文件；

第二生成模块，用于将所述临时采集脚本文件上传至静态资源服务器，生成采集脚本文件以及所述采集脚本文件的脚本地址，以根据所述脚本地址获得所述采集脚本文件。

进一步的，配置生成模块，用于获取用户通过可视化界面发出的采集信息，根据所述采集信息生成配置信息；

第一生成模块，用于根据所述配置信息以及预设的采集脚本模板文件生成临时采集脚本文件；

第二生成模块，用于将所述临时采集脚本文件上传至静态资源服务器，生成采集脚本文件以及所述采集脚本文件的脚本地址，以根据所述脚本地址获得所述采集脚本文件。

进一步的，所述第一生成模块包括：

数据获取单元，用于通过所述采集信息关联获取所述配置信息，并获取预设的采集脚本模板文件；

信息封装单元，用于将所述配置信息封装成符合所述采集脚本模板的数据格式；

脚本生成文件，用于结合封装后的所述配置信息以及所述采集脚本模板文件生成临时采集脚本文件。

进一步的，所述第二生成模块包括：

文件传输单元，用于将所述临时采集脚本文件上传至静态资源服务器；

目录建立单元，用于在所述静态资源服务器上建立相应的目录，生成采集脚本文件以及所述采集脚本文件的脚本地址。

进一步的，所述装置还包括：

地址推送模块，用于将所述脚本地址推送至所述可视化界面，以供用户访问；

脚本获取模块，用于访问所述脚本地址获取所述采集脚本文件；

数据采集模块，用于执行所述采集脚本文件以采集相关数据。

本发明实施例提供的技术方案带来的有益效果是：

1、本发明实施例提供的数据采集方法及装置，通过获取用户通过可视化界面发出的采集信息，根据采集信息生成配置信息，根据配置信息以及预设的采集脚本模板文件生成临时采集脚本文件，将临时采集脚本文件上传至静态资源服务器，生成采集脚本文件以及所述采集脚本文件的脚本地址，以根据脚本地址获得采集脚本文件，即只需要配置需要的采集信息，即可生成特定的采集脚本，无需重新开发，脚本复用率高，进而提高了效率，满足了不同业务方的不同的采集需求；

2、本发明实施例提供的数据采集方法及装置，通过将临时采集脚本文件上传至静态资源服务器，生成采集脚本文件以及采集脚本文件的脚本地址，为业务方提供互相独立的采集脚本地址，使业务方之间互不影响，降低出错的风险，提高采集数据的可靠性。

当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的数据采集方法的流程图；

图2是根据一示例性实施例示出的获取用户通过可视化界面发出的采集信息，根据所述采集信息生成配置信息的流程图；

图3是根据一示例性实施例示出的根据配置信息以及预设的采集脚本模板文件生成临时采集脚本文件的流程图；

图4是根据另一示例性实施例示出的数据采集方法的流程图；

图5是根据一示例性实施例示出的数据采集装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例针对不同业务方、不同的采集需求实现了一种可视化定制数据采集方法，只需要在配置工具上配置需要的采集信息，生成特定的采集脚本即可，无需重新开发，脚本复用率高，进而提高了人效，并且该方法对外提供互相独立的采集脚本地址，业务方之间互不影响，降低了出错的风险，提高行为采集数据的可靠性。

下面对本申请实施例提供的具体实现方案进行详细介绍。

图1是根据一示例性实施例示出的数据采集方法的流程图，参照图1所示，该方法包括如下步骤：

S1：获取用户通过可视化界面发出的采集信息，根据所述采集信息生成配置信息。

具体的，本发明实施例中，面向用户(指业务方)提供配置工具，用以接收用户的采集信息。配置工具指配置采集信息的后端系统，是一个提供可视化页面的平台。提供配置采集范围、采集内容、cookie信息、HTML标签/隐藏域、JS变量等配置服务。其中，配置工具以可视化界面的形式展现给用户，如通过页面的形式展示等，可方便用户操作。当用户有采集需求时，可通过该可视化界面(即配置工具)输入与自身采集需求相对应的采集信息。后台接收到该采集信息后，根据采集信息的相关内容生成对应的配置信息。这里需要说明的是，本发明实施例中，设置采集信息可动态调整，并且修改采集信息后，无需发布，实时修改，从而可以提高业务迭代的效率。

S2：根据所述配置信息以及预设的采集脚本模板文件生成临时采集脚本文件。

具体的，本发明实施例中，会预先设定一个采集脚本模板文件，后续针对不同业务方的不同采集需求，均可以在该采集脚本模板文件的基础上生成满足用户需求的采集脚本文件。采集脚本模板文件上定义有模板变量，通过该模板变量接收业务方的定制内容(采集信息生成的配置文件)，从而动态实现采集日志逻辑。具体实施时，采用脚本生成服务将上述步骤获取到的配置信息以及该采集脚本模板文件生成与用户发出的采集信息相对应的临时脚本文件。

这里需要说明的是，本发明实施例中，脚本生成服务是指服务端接口(比如脚本生成服务接口)，具体功能如下：

获取采集脚本模板的文件路径，拿到采集脚本模板文件并转换成脚本模板字符串，获取配置工具配置的采集配置信息，替换脚本模板字符串中的$变量(模板变量)，生成新的脚本字符串，加载采集脚本的配置文件(如采集脚本文件名、采集脚本在本地服务器临时生成的目录、采集脚本的发布机器地址信息、通过FTP服务上传、多个地址之间用逗号分割、服务段接收前端发送数据接口地址)，把替换后的新的脚本字符串转换成文本文件，在服务器临时的目录中生成最终的脚本文件，将生成脚本文件上传到服务器对应目录等。

S3：将所述临时采集脚本文件上传至静态资源服务器，生成采集脚本文件以及所述采集脚本文件的脚本地址，以根据所述脚本地址获得所述采集脚本文件。

具体的，本发明实施例中，还提供有推送服务，推送服务获取脚本生成服务生成的临时采集脚本文件，。然后将该临时采集脚本文件推送至静态服务器，通过该静态资源服务器生产最终的采集脚本文件，并为该最终的采集脚本文件生成对应的脚本地址，由于每个采集脚本文件的脚本地址都是相互独立的，因此业务方(采集需求的提出方)之间互不影响，降低了数据采集时的出错的风险，提高数据采集的可靠性。并且业务方根据自身需求可视化定制采集内容，摒弃了传统通用采集脚本采集内容较为固定的弊端，减少传统通用采集脚本造成的数据冗余，增加了开发的灵活性。

图2是根据一示例性实施例示出的获取用户通过可视化界面发出的采集信息，根据所述采集信息生成配置信息的流程图，参照图2所示，作为一种较优的实施方式，本发明实施例中，所述获取用户通过可视化界面发出的采集信息，根据所述采集信息生成配置信息包括：

S101：提供可视化界面接收用户发出的采集信息。

具体的，本发明实施例中，面向用户(即业务方)的用以接收用户发出的采集信息的配置工具以可视化界面(如页面)的形式呈现，用户可通过该可视化界面发出与自身业务需求对应的采集信息。其中，采集信息包括新增站点、采集范围、采集内容等信息，其中站点是指用户需要采集数据的网站。以可视化界面(如页面)的形式提供定制脚本的工具，操作简单、降低配置采集信息的门槛。

作为一种较优的示例，用户在通过可视化界面发出的采集信息时，可先填写站点信息，如网站名称、日志Url、所属产业、域名、cookie域名等，生成唯一的站点编码。这里需要说明的是，本发明实施例中，不对站点的具体数量进行限制。然后选中某站点，配置与该站点相对应的其他采集信息，包括采集范围、采集内容等。最后保存上述采集信息，其中，保存的数据与采集脚本模板文件中的模板变量一一对应。

S102：通过AJAX以及数据服务将获取到的所述采集信息生成配置信息。

具体的，本发明实施例中，采用AJAX结合数据服务的形式将获取到的采集信息生成配置信息，并将生成的配置信息保存至数据服务中，以供后续脚本生成服务调用。其中，数据服务主要指服务端接口(比如生成配置信息接口)以及数据库存储服务，通过服务端接口把前端配置的采集信息存在数据库中进行存储，生成配置信息。

图3是根据一示例性实施例示出的根据配置信息以及预设的采集脚本模板文件生成临时采集脚本文件的流程图，参照图3所示，作为一种较优的实施方式，本发明实施例中，所述根据所述配置信息以及预设的采集脚本模板文件生成临时采集脚本文件包括：

S201：通过所述采集信息关联获取所述配置信息，并获取预设的采集脚本模板文件。

具体的，脚本生成服务在根据配置信息以及采集脚本模板文件生成临时采集脚本文件时，先通过脚本生成服务的读模块获取采集脚本模板文件，将该采集脚本模板文件转换成模板字符串，建立数据模型，该数据模型与采集脚本模板文件中的模板变量对应，然后从数据服务中，通过采集信息进行信息关联，获取与采集信息对应的配置信息。作为一种较优的示例，在具体实施时，可以通过上述步骤生成的唯一站点编码进行信息关联，获取与采集信息对应的配置信息。

S202：将所述配置信息封装成符合所述采集脚本模板文件的数据格式。

具体的，在根据配置信息以及采集脚本模板文件生成临时采集脚本文件前，还需要先将关联到的配置信息转换成采集脚本模板文件需要的数据格式。本发明实施例中，采用脚本生成服务将关联到的配置信息封装成符合采集脚本模板文件的数据格式。

S203：结合封装后的所述配置信息以及所述采集脚本模板文件生成临时采集脚本文件。

具体的，使用封装后的配置信息替换上述步骤获取的模板字符串中的模板变量，生成临时采集脚本字符串，然后通过脚本生成服务的写模块将临时采集脚本字符串写入采集脚本模板文件，生成临时采集脚本文件，并保存在本地服务器的临时目录中。

作为一种较优的实施方式，本发明实施例中，所述将所述临时采集脚本文件上传至静态资源服务器，生成采集脚本文件以及所述采集脚本文件的脚本地址包括：

将所述临时采集脚本文件上传至静态资源服务器，在所述静态资源服务器上建立相应的目录，生成采集脚本文件以及所述采集脚本文件的脚本地址。

具体的，本发明实施例中，还需要向用户(即业务方)推送业务方自己专有的采集脚本地址。具体实施时，可以采用推送服务(如ftb工具)将临时采集脚本文件上传至静态资源服务器，在静态资源服务器上建立与该临时采集脚本文件相应的目录，生成最终的采集脚本文件。这样，使得每条业务线对应各自的采集脚本，回避了以通用且耦合性较强的采集脚本内容迭代时导致的风险。

图4是根据另一示例性实施例示出的数据采集方法的流程图，参照图4所示，作为一种较优的实施方式，本发明实施例中，所述方法包括：

S1：获取用户通过可视化界面发出的采集信息，根据所述采集信息生成配置信息。

S2：根据所述配置信息以及预设的采集脚本模板文件生成临时采集脚本文件。

S3：将所述临时采集脚本文件上传至静态资源服务器，生成采集脚本文件以及所述采集脚本文件的脚本地址，以根据所述脚本地址获得所述采集脚本文。

步骤S1至S3的具体内容参照上述内容，这里不再一一赘述。

S4：将所述脚本地址推送至所述可视化界面。

S5：访问所述脚本地址获取所述采集脚本文件。

S6：执行所述采集脚本文件以采集相关数据。

具体的，本发明实施例中，通过静态资源服务器配置了脚本地址路径的跳转，静态资源服务器将脚本地址推送至可视化界面，以供用户访问。用户可通过http发出请求，访问脚本地址，从静态资源服务器上获取与该脚本地址对应的采集脚本文件，执行获取到的采集脚本文件以采集用户需求的数据。另外，用户可将脚本地址引入自己的站点，采集自己需要的信息。

图5是根据一示例性实施例示出的数据采集装置的结构示意图，参照图5所示，该装置包括：

配置生成模块，用于获取用户通过可视化界面发出的采集信息，根据所述采集信息生成配置信息；

第一生成模块，用于根据所述配置信息以及预设的采集脚本模板文件生成临时采集脚本文件；

第二生成模块，用于将所述临时采集脚本文件上传至静态资源服务器，生成采集脚本文件以及所述采集脚本文件的脚本地址，以根据所述脚本地址获得所述采集脚本文件。

作为一种较优的实施方式，本发明实施例中，所述配置生成模块包括：

信息接收单元，用于提供可视化界面接收用户发出的采集信息；

配置生成单元，用于通过AJAX以及数据服务将获取到的所述采集信息生成配置信息。

作为一种较优的实施方式，本发明实施例中，所述第一生成模块包括：

数据获取单元，用于通过所述采集信息关联获取所述配置信息，并获取预设的采集脚本模板文件；

信息封装单元，用于将所述配置信息封装成符合所述采集脚本模板文件的数据格式；

脚本生成文件，用于结合封装后的所述配置信息以及所述采集脚本模板文件生成临时采集脚本文件。

作为一种较优的实施方式，本发明实施例中，所述第二生成模块包括：

文件传输单元，用于将所述临时采集脚本文件上传至静态资源服务器；

目录建立单元，用于在所述静态资源服务器上建立相应的目录，生成采集脚本文件以及所述采集脚本文件的脚本地址。

作为一种较优的实施方式，本发明实施例中，所述装置还包括：

地址推送模块，用于将所述脚本地址推送至所述可视化界面，以供用户访问；

脚本获取模块，用于访问所述脚本地址获取所述采集脚本文件；

数据采集模块，用于执行所述采集脚本文件以采集相关数据。

综上所述，本发明实施例提供的技术方案带来的有益效果是：

1、本发明实施例提供的数据采集方法及装置，通过获取用户通过可视化界面发出的采集信息，根据采集信息生成配置信息，根据配置信息以及预设的采集脚本模板文件生成临时采集脚本文件，将临时采集脚本文件上传至静态资源服务器，生成采集脚本文件以及所述采集脚本文件的脚本地址，以根据脚本地址获得采集脚本文件，即只需要配置需要的采集信息，即可生成特定的采集脚本，无需重新开发，脚本复用率高，进而提高了效率，满足了不同业务方的不同的采集需求；

2、本发明实施例提供的数据采集方法及装置，通过将临时采集脚本文件上传至静态资源服务器，生成采集脚本文件以及采集脚本文件的脚本地址，为业务方提供互相独立的采集脚本地址，使业务方之间互不影响，降低出错的风险，提高采集数据的可靠性。

需要说明的是：上述实施例提供的数据采集装置在触发数据采集业务时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的数据采集装置与数据采集方法实施例属于同一构思，即该装置是基于该数据采集方法的，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据采集方法，其特征在于，所述方法包括如下步骤：

获取用户通过可视化界面发出的采集信息，根据所述采集信息生成配置信息；

根据所述配置信息以及预设的采集脚本模板文件生成临时采集脚本文件；

将所述临时采集脚本文件上传至静态资源服务器，生成采集脚本文件以及所述采集脚本文件的脚本地址，以根据所述脚本地址获得所述采集脚本文件。

2.根据权利要求1所述的数据采集方法，其特征在于，所述获取用户通过可视化界面发出的采集信息，根据所述采集信息生成配置信息包括：

提供可视化界面接收用户发出的采集信息；

通过AJAX以及数据服务将获取到的所述采集信息生成配置信息。

3.根据权利要求1或2所述的数据采集方法，其特征在于，所述根据所述配置信息以及预设的采集脚本模板文件生成临时采集脚本文件包括：

通过所述采集信息关联获取所述配置信息，并获取预设的采集脚本模板文件：

将所述配置信息封装成符合所述采集脚本模板文件的数据格式；

结合封装后的所述配置信息以及所述采集脚本模板文件生成临时采集脚本文件。

4.根据权利要求1或2所述的数据采集方法，其特征在于，所述将所述临时采集脚本文件上传至静态资源服务器，生成采集脚本文件以及所述采集脚本文件的脚本地址包括：

将所述临时采集脚本文件上传至静态资源服务器，在所述静态资源服务器上建立相应的目录，生成采集脚本文件以及所述采集脚本文件的脚本地址。

5.根据权利要求1或2所述的数据采集方法，其特征在于，所述方法还包括：

将所述脚本地址推送至所述可视化界面；

访问所述脚本地址获取所述采集脚本文件；

执行所述采集脚本文件以采集相关数据。

6.一种数据采集装置，其特征在于，所述装置包括：

配置生成模块，用于获取用户通过可视化界面发出的采集信息，根据所述采集信息生成配置信息；

第一生成模块，用于根据所述配置信息以及预设的采集脚本模板文件生成临时采集脚本文件；

第二生成模块，用于将所述临时采集脚本文件上传至静态资源服务器，生成采集脚本文件以及所述采集脚本文件的脚本地址，以根据所述脚本地址获得所述采集脚本文件。

7.根据权利要求6所述的数据采集装置，其特征在于，所述配置生成模块包括：

信息接收单元，用于提供可视化界面接收用户发出的采集信息；

配置生成单元，用于通过AJAX以及数据服务将获取到的所述采集信息生成配置信息。

8.根据权利要求6或7所述的数据采集装置，其特征在于，所述第一生成模块包括：

数据获取单元，用于通过所述采集信息关联获取所述配置信息，并获取预设的采集脚本模板文件；

信息封装单元，用于将所述配置信息封装成符合所述采集脚本模板文件的数据格式；

脚本生成文件，用于结合封装后的所述配置信息以及所述采集脚本模板文件生成临时采集脚本文件。

9.根据权利要求6或7所述的数据采集装置，其特征在于，所述第二生成模块包括：

文件传输单元，用于将所述临时采集脚本文件上传至静态资源服务器；

目录建立单元，用于在所述静态资源服务器上建立相应的目录，生成采集脚本文件以及所述采集脚本文件的脚本地址。

10.根据权利要求6或7所述的数据采集装置，其特征在于，所述装置还包括：

地址推送模块，用于将所述脚本地址推送至所述可视化界面，以供用户访问；

脚本获取模块，用于访问所述脚本地址获取所述采集脚本文件；

数据采集模块，用于执行所述采集脚本文件以采集相关数据。

Images