CN114356176A

CN114356176A - 一种数据采集方法、采集系统、设备及介质

Info

Publication number: CN114356176A
Application number: CN202111668779.0A
Authority: CN
Inventors: 王小墨; 何卫; 王虎
Original assignee: China Travelsky Technology Co Ltd
Current assignee: China Travelsky Technology Co Ltd
Priority date: 2021-12-30
Filing date: 2021-12-30
Publication date: 2022-04-15

Abstract

本公开提供了一种数据采集方法，包括：向用户呈现采集信息配置界面，接收用户通过所述采集信息配置界面配置的采集信息，所述采集信息包括采集类型和采集参数，根据所述采集类型和所述采集参数，采集目标数据，所述目标数据包括目标人员的账号数据和/或所述目标人员的行为数据。该方法通过提供统一的规则配置能力，实现灵活地、自动化地数据采集，即使数据存放地址变化，或者格式调整，也能够自适应调整，降低了开发工作量，缩短了开发周期，而且利于项目的持续集成。

Description

一种数据采集方法、采集系统、设备及介质

技术领域

本公开涉及信息安全技术领域，尤其涉及一种数据采集方法、采集系统、设备以及计算机可读存储介质、计算机程序产品。

背景技术

对数据的保护尤为重要。例如，民航领域，通常需要对旅客数据、航司数据、旅客购票数据、值机数据以及各类订单结算数据进行保护。

数据可以分散在各大应用系统中，辅以各种账号进行权限控制和端口访问策略控制，以规避可能存在的数据涉密风险。然而，对于拥有高级别的内部员工，合法地拥有着各类主机系统及终端系统的访问账号，其可以合理又合法地访问各种涉密数据和涉敏数据，导致数据存在被合理窃走甚至非法利用的风险。

针对这种情况，有必要对内部员工的账号拥有情况、可访问涉密系统的账号情况以及对这些账号所产生的行为进行采集，然后对基于采集的数据进行监控与审计。然而，内部员工数量比较庞大，分布在全国不同的行政区域、不同的部门，而各部门的各种账号数据和行为数据存放在不同的服务器、不同的目录下面，且数据之间存在潜在差异。

传统的操作方式是先确定每一个部门的数据格式及数据存放地址，然后在针对性展开操作行为审计定制开发，这种方式不仅开发工作量大，开发周期长，而且一旦遇到数据分析内容调整及目录存放地址、格式调整，又得重新构建代码，不利于项目的持续集成。

发明内容

本公开提供了一种数据采集方法，该方法通过提供统一的规则配置能力，实现灵活地、自动化地数据采集，即使数据存放地址变化，或者格式调整，也能够自适应调整，降低了开发工作量，缩短了开发周期，而且利于项目的持续集成。本公开还提供了用于执行上述采集系统、计算机集群、计算机可读存储介质以及计算机程序产品。

第一方面，本公开提供了一种数据采集方法，应用于采集系统。所述方法包括：

向用户呈现采集信息配置界面；

接收用户通过所述采集信息配置界面配置的采集信息，所述采集信息包括采集类型和采集参数；

根据所述采集类型和所述采集参数，采集目标数据，所述目标数据包括目标人员的账号数据和/或所述目标人员的行为数据。

第二方面，本公开提供了一种采集系统。所述系统包括：

账号配置模块，用于向用户呈现采集信息配置界面；

所述账号配置模块，还用于接收用户通过所述采集信息配置界面配置的采集信息，所述采集信息包括采集类型和采集参数；

任务调度模块，用于根据所述采集类型和所述采集参数，采集目标数据，所述目标数据包括目标人员的账号数据和/或所述目标人员的行为数据。

第三方面，本公开提供一种计算机集群。所述计算机集群包括至少一台计算机。所述至少一台计算机包括至少一个处理器和至少一个存储器。所述至少一个处理器和所述至少一个存储器进行相互的通信。所述至少一个存储器中存储有计算机可读指令，所述至少一个处理器执行所述计算机可读指令，使得所述计算机集群执行如本公开第一方面或第一方面的任一种实现方式所述的数据采集方法。

第四方面，本公开提供了一种计算机可读存储介质。所述计算机可读存储介质中存储有指令，当其在计算机集群上运行时，使得计算机集群执行上述第一方面或第一方面的任一种实现方式所述的数据采集方法。

第五方面，本公开提供了一种包含指令的计算机程序产品。当其在计算机集群上运行时，使得计算机集群执行上述第一方面或第一方面的任一种实现方式所述的数据采集方法。

本公开在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。

基于上述内容描述，可知本公开的技术方案具有如下有益效果：

具体地，采集系统向用户呈现采集信息配置界面，接收用户通过所述采集信息配置界面配置的采集信息，该采集信息包括采集类型和采集参数，然后采集系统根据所述采集类型和所述采集参数，采集目标数据，所述目标数据包括目标人员的账号数据和/或所述目标人员的行为数据。

在该方法中，采集系统通过提供统一的、可视化的规则配置、处理流程配置能力，从而实现灵活地、自动化地数据采集。即使数据存放地址变化，或者格式调整，也能够自适应调整，降低了开发工作量，缩短了开发周期，而且利于项目的持续集成。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1为本公开实施例提供的一种采集系统的系统架构图；

图2为本公开实施例提供的一种统一账号配置模块的处理流程示意图；

图3为本公开实施例提供的一种统一任务调度模块的处理流程示意图；

图4为本公开实施例提供的一种数据采集方法的流程图；

图5为本公开实施例提供的一种采集信息配置界面的示意图；

图6为本公开实施例提供的一种任务属性配置界面的示意图；

图7为本公开实施例提供的一种计算机集群的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

为了便于理解本公开的技术方案，下面对本公开涉及的一些技术术语进行介绍。

访问控制(access control)，是指对访问者向受保护的数据进行访问操作的权限管理。该权限管理保证被授权者可访问受保护的数据，未被授权者不能访问受保护的数据。

访问控制通常是通过对各种账号进行权限控制和端口访问策略控制，以规避可能存在的数据涉密风险。然而，对于拥有高级别的内部员工，合法地拥有着各类主机系统及终端系统的访问账号，其可以合理又合法地访问受保护的数据，例如是各种涉密数据和涉敏数据，导致数据存在被合理窃走甚至非法利用的风险。

为了更好的解决上述问题，本申请实施例提供了一种数据采集方法。该方法可以由采集系统执行。在一些实施例中，采集系统可以是软件系统。计算设备或计算设备集群通过运行该软件系统的程序代码，以执行数据采集方法。在另一些实施例中，该采集系统也可以是用于采集数据的硬件系统。本申请实施例以采集系统为软件系统进行示例说明。

具体地，采集系统向用户呈现采集信息配置界面，接收用户通过所述采集信息配置界面配置的采集信息，该采集信息包括采集类型和采集参数，然后根据所述采集类型和所述采集参数，采集目标数据，该目标数据包括目标人员的账号数据和/或所述目标人员的行为数据。

在该方法中，由于将账号及对应的行为分类、对形成的分类进行规则化管理，对访问地址、文件解析格式、过滤条件等信息进行规则化配置，然后再应用到部门。新启用部门时，只需简单配置，即可按照配置规则进行智能化地数据采集。而且数据分析内容调整，或者是目录存放地址、格式调整时，通过简单调整采集信息等，即可自适应调整，无需重新构建代码，有利于项目的持续集成。

为了使得本公开的技术方案更加清楚、易于理解，下面对本公开的系统架构进行介绍。

参见图1所示的采集系统的系统图，如图1所示，采集系统包括账号配置模块(也称作统一账号配置模块)和任务调度模块(统一任务调度模块)。

统一账号配置模块，主要用于定义采集类型，例如是账号类型、账号对应的行为类型，并针对账号配置采集参数。具体地，统一账号配置模块用于向用户呈现采集信息配置界面，接收用户通过该采集信息配置界面配置的采集信息，该采集信息包括上述采集类型和采集参数。可选地，用户还可以配置适用范围，该适用范围用于描述该采集参数适用的部门。

此模块包括多个组件：定义采集类型组件、定义采集参数组件、定义应用部门组件，核心组件为定义采集参数组件。参见图2所示的统一账号配置模块的处理流程示意图，针对采集入口的工作流，配置采集类型，例如包括账号类型，然后配置采集参数，例如是访问地址、文件解析格式、过滤条件等。其中，文件解析格式例如可以是文件传输协议(FileTransfer Protocol，FTP) /安全文件传送协议(Secure Shell FTP，SFTP)格式、统一定位符(Uniform Resource Locator，URL)格式或者HADOOP格式。用户配置的上述采集参数可以存储在数据库(database，DB)。对数据进行分析的数据应用接收到数据分析请求时，可以按照该采集参数进行数据采集，从而获得目标数据。

统一任务调度模块，主要是用于根据采集信息执行相应的任务，以采集目标数据。其中，统一任务调度模块还可以向用户呈现任务配置界面，接收用户通过任务配置界面配置的任务属性，该任务属性例如可以包括任务运行频率、执行的插件类、任务运行环境、任务运行参数中的至少一种。可选地，统一任务调度模块还支持用户定义清晰的执行入口、构建可视化业务流以及展现可视化执行结果。

本模块包含定义调度任务组件、调度任务调度组件、调度日志查询组件、调度结果查询组件。其中，调度任务调度组件为本模块核心组件。参见图3 所示的统一任务调度模块的处理流程示意图，在基于定义调度任务组件完成运行参数、运行环境、执行的插件类、任务运行频次等配置后，调度任务调度组件可以按照定义采集参数组件配置的文件解析格式进行解析。基于此，调度任务调度组件可以执行FTP/SFTP模式解析、HADOOP模式解析或者是URL模式解析，其中，URL模式还可以分为URL单源模式和URL多源模式。调度结果查询组件支持将任务执行结果例如是上述解析结果可视化，例如可以向用户呈现源数据量、新增数据量、更新数据量、删除数据量、未识别异常数据量等中的至少一种。调度日志查询组件支持将任务执行进度可视化，例如向用户呈现运行进度、运行时长，当运行出错时，还支持向用户呈现报错信息。

采集系统将各种不同的文件格式、采集渠道、采集方式和采集内容，进行配置化管理，并基于配置内容，进行账号数据、基于账号的行为数据的自动识别、自动筛选、自动解析、自动入库，并形成可视化的执行结果运维看板。通过配置化管理，将单一的零散的采集渠道转化成流程清晰、结构合理、流式化的标准采集方法，提升账号、行为数据采集的时效性和准确性。

接下来，结合附图，对本申请实施例提供的数据采集方法进行详细介绍。

参见图4所示的数据采集方法的流程图，该方法包括：

S402：采集系统向用户呈现采集信息配置界面。

采集信息配置界面承载有采集类型配置控件和采集参数配置控件。参见图5所示的采集信息配置界面的示意图，该界面500中包括采集类型配置控件501和多个采集参数配置控件。其中，采集参数配置控件可以包括FTP模式下的访问地址配置控件502、过滤字段配置控件503，过滤字段例如可以为文件名称，访问地址包括FTP地址、FTP端口和文件存放路径。采集参数配置控件也可以包括URL模式下的接口URL配置控件504、token URL配置控件505。

在一些可能的实现方式中，采集参数配置控件还可以包括其他配置控件 506，用于配置其他采集信息，例如是适用范围等等。此外，界面500中还可以包括状态配置控件，用于配置状态为有效还是无效。

S404：采集系统接收用户通过所述采集信息配置界面配置的采集信息。

采集系统可以先接收用户通过采集类型配置控件501配置的账号类型。账号类型用于标识具有同一属性的账号，例如账号类型可以包括Linux账号、 PID账号、AGENT账号、VTERM账号等等。

在一些实施例中，采集系统也可以接收用户通过采集类型配置控件501 配置的行为类型。该行为类型可以是对特定数据的行为，或者对数据的特定行为，该特定行为例如可以是删除或者是修改等等。

接着采集系统接收用户对每种采集类型配置的采集参数。采集参数可以包括访问地址、文件解析格式和过滤条件。基于不同的数据源，用户可以配置与该数据源相对应的采集参数。下面分别进行说明。

第一种情况：针对单源URL的采集参数配置。用户通常采用占位符方式进行动态赋值。

具体地，通过部门值动态赋值的接口，对动态赋值部门采用通配符*占位，例如：https://ip/cmdb/department/*/machine。调用该接口时，可以将*替换成具体部门值后调用。

对于依赖于父类接口的值循环赋值的接口，可以采用双大括号{}占位，例如：https://ip/myid/persons/{userID}/accountsByType？accountType＝OS。调用该接口时，可以获取父类接口的userID值，去赋值子类接口{userID}的值，完成接口拼接。

第二种情况：针对FTP/SFTP的采集参数配置。该参数配置通常涉及到文件名过滤及读取格式解析。

文件名过滤支持正则表达式方式，例如可以表示为R{正则表达式}，则运行时，按照{}里面的正式表达式对文件名进行过滤。在一些实施例中，也支持对文件名局部进行替换的方式进行文件过滤，例如user{date}.csv，运行时，将{date}替换成具体的值进行文件名过滤。

而读取格式的配置，支持数组及Javascript对象简谱(Javascript ObjectNotation，JSON)格式。下面分别对数组格式和JSON格式进行介绍。

数组格式主要解决读取固定文件，目前支持针对txt文件和csv文件的配置读取，定义方式为[]里面按照文件头顺序定义表字段名。在一些实施例中，设计P{}模式，则代表解析数据时，需要将该列值转化成自有系统人员ID，设计D{}模式，则需要将该列值转化成自有系统部门ID值。

JSON格式，主要解决对URL的调用。其中，JSON的KEY键，对应于 URL接口的JSON节点，JSON的VALUE键，对应于目标库的字段。基于此，可以设计P{}模式，需要对获取的值转化成自有系统的人员ID，设计D{}模式，需要对获取的值转化成自有系统的部门ID值。

采集信息除了包括采集类型、采集参数外，还可以包括适用范围。该适用范围例如可以是应用部门。具体地，在采集参数配置完毕后，用户可以将配置好的参数与应用部门进行绑定。例如：配置0则代表应用于所有已启用的部门，配置1则代表只应用于研发中心。配置1,2，则代表应用了研发中心和运行中心。

S406：采集系统向所述用户呈现任务配置界面。

任务配置界面承载有任务属性配置控件。其中，任务属性配置控件可以包括多个。参见图6所示的任务属性配置界面的示意图，该界面600包括任务名称配置控件601、执行的插件类配置控件602、运行频率配置控件603和运行参数配置控件604。可选地，界面600还可以包括执行的方法配置控件 605、状态配置控件606中的一种或多种。

其中，任务名称配置控件601用于配置任务名称这一任务属性，执行的插件类配置控件602用于配置执行的插件类这一属性，运行频率配置控件603 用于配置任务运行频率，运行参数配置控件604用于配置任务运行参数。

S408：采集系统接收所述用户通过所述任务配置界面配置的任务属性。

所述任务属性包括任务运行频率、执行的插件类、任务运行环境、任务运行参数中的至少一种。可选的，任务属性还可以包括执行的方法、任务名称中的一种或多种。

其中，运行频率可以通过CRON表达式定义。Cron表达式是一个字符串，字符串以5或6个空格隔开，分为6或7个域，每一个域代表一个含义，Cron 有如下两种语法格式：

Seconds Minutes Hours DayofMonth Month DayofWeek Year或

Seconds Minutes Hours DayofMonth Month DayofWeek。

执行的插件类可以为BEAN类。BEAN是Java中一种特殊的类，可以将多个对象封装到一个BEAN中。BEAN类的特点是可序列化，提供无参构造器，提供getter方法和setter方法访问对象的属性。该插件类能够随时调整随时更新而不影响其他已运行的插件。

运行环境可以包括生产环境、测试环境、开发环境、虚拟机或本地环境中的任意一种。其中，生产环境可以记作P，测试环境可以记作T，开发环境可以记作D，虚拟机可以记作V，本地环境可以记作L。当任务启动时，采集系统可以基于该配置，启动对应运行环境的服务器，组建集群。例如，运行环境配置为P时，采集系统可以在生产环境中找到对应的服务器，并组建集群。

运行参数可以包括ckmodel和details。其中，ckmodel决定数据读取方向，details决定读取源。例如，运行参数可以为：

其中，ckmodel取值为1表示该任务读取FTP/SFTP路径下文件，采集的部门为所有部门，采集的数据类型为VTERM，采集的数据日期为今天。

当采集的数据为多源数据时，运行参数还可以包括对节点的验证以及多节点配置。例如，运行参数可以为：

其中，ckmodel取值为3表示该任务读取多源URL数据，具体包括2个 URL接口调用，其中，urlMain代表主接口调用，urlOne代表附加1接口调用。

S410：采集系统根据所述采集类型和所述采集参数，按照所述任务属性执行任务，以从目标数据源中采集目标数据。

所述目标数据包括目标人员的账号数据和/或所述目标人员的行为数据。采集系统可以在任务定义完成后，运行任务，例如是按照cron规定的任务运行频率定时运行任务，从而实现按照运行参数设置的值找到数据源，按照采集参数配置的文件解析格式进行解析，从而获得目标数据。

在一些可能的实现方式中，每个任务对应每一种账号的采集，每次采集的目标数据可以写入结果表。采集系统可以向用户呈现任务的执行结果，例如是上述结果表，以进行可视化展现，进而追踪任务运行质量和采集质量。

在另一些可能的实现方式中，每个任务还可以设置日志跟踪，通过日志跟踪可以查看日志的运行进度、运行时长以及报错后的报错信息。

在本实施例中，采集系统还可以接收所述用户对所述采集信息的更新和/ 或对所述任务属性的更新。如此，采集系统可以在下一采集周期，根据更新后的所述采集信息和/或更新后的所述任务属性，采集目标数据。

需要说明的是，上述S406至S408为本实施例的可选步骤，执行本实施例的数据采集方法也可以不执行S406至S408。相应地，S410为采集系统执行上述S406至S408时，根据采集类型和采集参数，采集目标数据的一种实现方式。当采集系统不执行S406至S408时，也可以直接根据采集类型、采集参数，结合默认运行参数，采集目标数据。

该方法将账号类数据采集通过规则化方式智能执行，即只需定义采集数据的访问地址、文件解析格式、过滤条件、执行频次以及应用部门等信息，即可自动按照配置方式完成各部门的差异化文件解析及入库，从而为账号类数据采集建立标准化的采集方法和技术手段，提升采集的易扩展性和准确性。

接下来，结合一具体示例对数据采集方法进行详细介绍。

在配置阶段，用户可以通过统一账号配置模块定义采集类型、采集参数、定义适用范围，并通过统一任务调度模块配置任务属性。

首先，用户可以定义账号主类型表ckMain。在该示例中，用户可以根据业务特点，定义多种账号主类型。其中，用户还可以针对一个账号主类型，定义若干账号子类型。在定义账号主类型表时可以采用如下字段：

表1账号主类型表字段定义

字段	类型	描述
			ckId	int	账号类型主键
ckName	varchar	账号类型
			ckDescribe	varchar	账号类型中文描述
ckFlag	int	类型有效情况

接着，用户可以定义参数配置表ckDir，具体包括配置每种账号类型的读取数据源，并支持对FTP/SFTP数据源的定义、网址类API接口的定义、HADOOP环境中hdfs文件的定义、文件格式定义、文件名过滤定义。

在定义参数配置表时，可以采用如下字段：

表2参数配置表字段定义

字段	类型	描述
			scdId	int	配置表主键
fileIp	varchar	文件存储的源服务器IP
			filePath	varchar	存放的路径
idCard	varchar	账号
			idPass	varchar	密码(加密)
urlToken	varchar	调用Token的URL地址
			urlInfo	varchar	调用主接口URL地址
scdPort	int	端口号
			preExp	varchar	文件名过滤条件
ckId	Int	ckMain表主键ID
			objectJson	Json	file文件内容格式

然后，用户定义账号归属部门表，从而定义适用范围。如果部门采集的文件差异较大，可以支持对不同的部门进行采集参数配置，也支持单一数据源的多部门采集参数配置。

在定义账号归属部门表时，可以采用如下字段：

表3账号归属部门表字段定义

字段	类型	描述
			cdId	int	本表主键
depId	int	部门表主键
			ckId	int	账号主类型表Id
scdId	int	账号参数配置表Id

接着，在定义任务属性时，yoghurt可以定义两个表，一个为服务器集群配置表，一个为调度任务表。定义这两个表可以采用如下字段：

表4调度任务表字段定义

表5服务器集群表字段定义

字段	类型	描述
			hostKey	varchar	运行环境IP
hostValue	varchar	运行环境
			hostRemark	varchar	环境描述

基于调度任务表，进行核心关键参数配置其中，运行参数设计模式如下：

(1)单ftp/sftp模式设计

(2)单url模式设计

(3)多url模式设计

(4)hadoop模式设计

运行的服务器环境设计如下：

测试环境标识为T，生产环境标识为P，开发环境标识为D，本地环境标识为L。

在运行阶段，服务启动，或者新建/更新任务时，自启动调度任务，具体实现过程为：

(1)任务启动时，根据任务配置的运行环境标识runServer字段，确定本任务运行的服务器环境，在对应的服务器环境中识别出服务器IP组建服务集群，在平均分配任务在服务器集群中，启动任务进程，等待调度。

(2)基于cronParam表达式设定的启动频次，启动任务，任务先根据 runParams字段设定的运行参数，读取运行模式：

先读取运行参数的ckmodel字段，对ckmodel值进行验证：

·值为1，代表读取的是FTP/SFTP文件，先获取账号采集类型CKID值，在读取部门集合值depIds，部门聚合值为数组型，如果值为0，则需要采集账号类型CKID下面的所有部门数据，如果depIds值为["1","2"]则只依次采集指定部门数据，不采集未指定部门数据。最后在读取dateDiff的值，0代表取今天的数据，-{N}代表取当前时间往前推N天的数据。

·值为2，代表读取单一的URL接口数据。只需获取ckId和部门集合值 depIds。

·值为3，代表调用多个接口才能完成数据填充，此时，先调用urlMain 配置下的ckid值和部门集合值depIds，在基于nodesum的值，验证节点数,依次循环完成对应节点的url接口调取，补充数据采集。

·值为4，代表读取hadoop文件，只需获取ckId和部门集合值depIds 即可。

(3)获取到ckId值和deptId值后，在账号归属部门(ckDept)表中，按照 ckId和deptId值，找到账号采集参数配置(ckDir)表中定义的具体的采集信息项和内容解析规则。不同的ckmodel值，执行业务流不同：

①ftp/sftp模式业务流，先通过fileIp、idCard、idPass、filePath、scdPort 5个参数，连接到服务器filePath指定目录中，在根据preExp设定的过滤条件，对目录中的文件名进行过滤，找到符合条件的文件，最后通过objectJson设定的解析内容格式，对文件进行解析。支持txt和CSV文件解析。

②url单一模式业务流，先通过urlToken、idCard、idPass获取主接口需要的token信息，然后在读取urlInfo主接口信息，基于objectJson设定的源字段和目标字段的匹配规则，完成数据采集。调用主接口过程中，如遇通配符*，则系统自动替换成当前部门Id。

③url多模式业务流，先通过urlMain里面设定的ckId和deptId,然后按照【url单一模式业务流】所描述的业务模式运作，并基于objectJson字段设定的JsonMain节点规则填充数据。完成主接口数据调用后，在判定附加 nodesum接口数，依次获取附加接口的ckId和deptId值，并基于objectJson 设定的Json{N}的匹配规则，完善数据采集。

④hadoop模式业务流，先获取fileIp设置值，解析dfs.ha.namenodes设置的节点信息值，该值为Json格式，解析该Json格式，获取dfs.ha.namenodes 值和dfs.namenode.rpc-address值，通过kerberos授权文件，连接到Hadoop环境，然后在切换到filePath对应hdfs文件路径，通过preExp设定的过滤条件，对hdfs文件进行过滤，在基于objectJson设定的源字段和目标字段的匹配规则，对文件进行解析。支持txt和CSV文件解析。

objectJson的解析规则如下：

①规则设置为数组[]格式，即为解析文本格式，数据名为自有系统的数据库字段，顺序为源文本格式顺序。其映射关系为：

文本格式列按照对应的数据库字段，解析入库。

遇到P{}，将对应列转化成本系统自有人员主键，然后入库。

遇到D{}，将对应列转化成本系统自有部门主键，然后入库。

②规则设置为Json格式，即为解析网址接口，Key键为源接口节点，形如：xxxx.xxxx.xx,Val值为自有数据库字段，其含义为，将对应节点Key键的值，解析到对应Val设定的字段中，其中，

遇到P{}，需要将值转化成自有系统人员主键。

遇到D{}，需要将值转化成自有系统部门主键。

规则对应的数据表，由deptId的值决定，系统解析时，自动调配。

(5)更新调度任务，当账号采集对应的源文件读取格式、目录、过滤条件等发生标化时，只需更改ckDir配置信息表，调度任务在下一个调度周期时，自动读取新的配置信息，按照新的配置信息完成账号数据采集。

当账号的cron表达式及调用类及方法发生改变时，会按照服务器集群表配置的IP，找到对应的任务进程，自动更新任务进程，按照新的配置参数执行调度任务。

调度任务运行后，采集系统可以将获取的数据进行Stream化处理，获得总的KB数，在通过采集入库的流KB数，计算采集进度。在调度过程中，建立调度任务监听器JobListener，一方面计算任务启动到任务结束时的时长，形成运行时长，另外一方面，及时捕获异常情况，将异常情况完整错误信息采集下来，最后，将进度数据、运行时长数据、错误信息写入到日志表JobLog 中。

当调度任务执行完毕，采集系统可以将调度任务执行的参数信息、采集的数据情况、处理的数据情况、以及处理数据过程中产生的异常情况，写入 taskResult结果表中，通过界面展现方式，清晰的掌握本次任务源数据量、新入库数据量、条件变更后更新的数据量、不符合条件删除的数据量、匹配异常的数据量，并能对每种处理的数据量，展开数据追溯。

本公开采用基于规则构建的解析引擎，提供灵活的插件式配置化开发体系，兼容多种规格的数据处理需求，能够无限制对数据处理与分析功能进行扩充，具有一次开发，多端部署的优势。

本公开的采集系统提供统一的可视化规则配置、处理流程配置、调度配置及业务与服务报警监控能力，具有全面的多源复杂的数据采集能力和良好的用户体验，能够在事前高效挖掘出潜在的安全隐患，在事中提供全面多维的明细查询功能，在事后提供完备的分析能力，具有高并发、快速定位故障、高准确性等特点。

本公开在第三方数据源发生改变及内部部门发生调整时，能快速调整、平稳运行，不受环境干扰，具有可扩展性强、数据处理性能佳及较好的易用性等特点，在解决多源账号采集及后续行为分析，提供了全新的框架体系和技术支撑。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本公开实施方式中的多个实体(例如监控系统、运维系统及其组件)之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

基于本公开实施例提供的上述方法，本公开实施例还提供了与上述方法对应的采集系统。描述于本公开实施例中所涉及到的单元/模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元/模块的名称在某种情况下并不构成对该单元/模块本身的限定。

参见图1所示的采集系统的结构示意图，该采集系统用于采集数据，例如是账号类型数据，该系统包括：

账号配置模块，用于向用户呈现采集信息配置界面；

在一些可能的实现方式中，所述任务调度模块还用于：

向所述用户呈现任务配置界面；

接收所述用户通过所述任务配置界面配置的任务属性；

所述任务调度模块具体用于：

根据所述采集类型和所述采集参数，按照所述任务属性执行任务，以从目标数据源中采集目标数据。

在一些可能的实现方式中，所述任务调度模块还用于：

向所述用户呈现所述任务的执行结果。

在一些可能的实现方式中，所述采集类型包括账号类型和/或行为类型，所述采集参数包括访问地址、文件解析格式和过滤条件中的一种或多种。

在一些可能的实现方式中，所述采集信息还包括适用范围。

在一些可能的实现方式中，所述任务属性包括任务运行频率、执行的插件类、任务运行环境、任务运行参数中的至少一种。

在一些可能的实现方式中，所述任务调度模块还用于：

接收所述用户对所述采集信息的更新和/或对所述任务属性的更新；

所述任务调度模块还用于：

根据更新后的所述采集信息和/或更新后的所述任务属性，采集目标数据。

根据本公开实施例的采集系统可对应于执行本公开实施例中描述的方法，并且采集系统的各个模块/单元的上述和其它操作和/或功能分别为了实现图4 所示实施例中的各个方法的相应流程，为了简洁，在此不再赘述。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。下面以包括多个硬件逻辑部件的计算机集群进行示例说明。

本公开提供一种计算机集群，用于实现采集系统的功能。参见图7所示的计算机集群的结构示意图，该计算机集群70包括至少一台计算机700。本公开实施例中的计算机700可以包括服务器或者终端，其中，服务器可以是云服务器，也可以是物理服务器，终端包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的计算机700仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，计算机700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置706加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有计算机700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线704彼此相连。输入/ 输出(I/O)接口705也连接至总线704。

通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置706；以及通信装置709。通信装置709可以允许计算机700 与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的计算机700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

本公开还提供一种计算机可读存储介质，也称作机器可读介质。在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器 (EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述计算机集群70或计算机700中所包含的；也可以是单独存在，而未装配入该计算机集群70或计算机700中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该计算机集群70或计算机700执行时，使得该计算机集群70或计算机 700：向用户呈现采集信息配置界面；接收用户通过所述采集信息配置界面配置的采集信息，所述采集信息包括采集类型和采集参数；根据所述采集类型和所述采集参数，采集目标数据，所述目标数据包括目标人员的账号数据和/ 或所述目标人员的行为数据。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置706被安装，或者从ROM 702被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。

根据本公开的一个或多个实施例，示例一提供了一种数据采集方法，该方法由采集系统执行，包括：

向用户呈现采集信息配置界面；

根据本公开的一个或多个实施例，示例二提供了示例一的方法，所述方法还包括：

向所述用户呈现任务配置界面；

接收所述用户通过所述任务配置界面配置的任务属性；

所述根据所述采集类型和所述采集参数，采集目标数据，包括：

根据本公开的一个或多个实施例，示例三提供了示例2的方法，所述方法还包括：

向所述用户呈现所述任务的执行结果。

根据本公开的一个或多个实施例，示例四提供了示例一的方法，所述采集类型包括账号类型和/或行为类型，所述采集参数包括访问地址、文件解析格式和过滤条件中的一种或多种。

根据本公开的一个或多个实施例，示例五提供了示例四的方法，所述采集信息还包括适用范围。

根据本公开的一个或多个实施例，示例六提供了示例二的方法，所述任务属性包括任务运行频率、执行的插件类、任务运行环境、任务运行参数中的至少一种。

根据本公开的一个或多个实施例，示例七提供了示例二的方法，所述方法还包括：

根据本公开的一个或多个实施例，示例八提供了一种采集系统，该采集系统包括：

账号配置模块，用于向用户呈现采集信息配置界面；

根据本公开的一个或多个实施例，示例九提供了示例八的系统，所述任务调度模块还用于：

向所述用户呈现任务配置界面；

接收所述用户通过所述任务配置界面配置的任务属性；

所述任务调度模块具体用于：

根据本公开的一个或多个实施例，示例十提供了示例九的系统，所述任务调度模块还用于：

向所述用户呈现所述任务的执行结果。

根据本公开的一个或多个实施例，示例十一提供了示例八的系统，所述采集类型包括账号类型和/或行为类型，所述采集参数包括访问地址、文件解析格式和过滤条件中的一种或多种。

根据本公开的一个或多个实施例，示例十二提供了示例十一的系统，所述采集信息还包括适用范围。

根据本公开的一个或多个实施例，示例十三提供了示例九的系统，所述任务属性包括任务运行频率、执行的插件类、任务运行环境、任务运行参数中的至少一种。

根据本公开的一个或多个实施例，示例十四提供了示例九的系统，所述任务调度模块还用于：

所述任务调度模块具体用于：

根据本公开的一个或多个实施例，示例十五提供了一种计算机集群70。所述计算机集群70包括至少一台计算机700，所述至少一台计算机700包括至少一个处理器和至少一个存储器，所述至少一个存储器中存储有计算机可读指令，所述至少一个处理器执行所述计算机可读指令，使得所述计算机集群70执行如示例一至示例七任一所述的方法。

根据本公开的一个或多个实施例，示例十六提供了一种计算机可读存储介质。所述计算机可读存储介质包括计算机可读指令，当所述计算机可读指令在计算机集群70上运行时，使得所述计算机集群70执行如示例一至示例七任一所述的数据采集方法。

根据本公开的一个或多个实施例，示例十七提供了一种计算机程序产品。所述计算机程序产品包括指令，当其在计算机集群70上运行时，使得计算机集群70执行上述数据采集方法。所述计算机可读存储介质包括计算机可读指令，当所述计算机可读指令在计算机集群上运行时，使得所述计算机集群执行如示例一至示例七任一所述的方法。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims

1.一种数据采集方法，其特征在于，所述方法包括：

向用户呈现采集信息配置界面；

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

向所述用户呈现任务配置界面；

接收所述用户通过所述任务配置界面配置的任务属性；

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

向所述用户呈现所述任务的执行结果。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述采集类型包括账号类型和/或行为类型，所述采集参数包括访问地址、文件解析格式和过滤条件中的一种或多种。

5.根据权利要求4所述的方法，其特征在于，所述采集信息还包括适用范围。

6.根据权利要求2所述的方法，其特征在于，所述任务属性包括任务运行频率、执行的插件类、任务运行环境、任务运行参数中的至少一种。

7.根据权利要求2所述的方法，其特征在于，所述方法还包括：

8.一种采集系统，其特征在于，所述系统包括：

账号配置模块，用于向用户呈现采集信息配置界面；

9.一种计算机集群，其特征在于，所述计算机集群包括至少一台计算机，所述至少一台计算机包括至少一个处理器和至少一个存储器，所述至少一个存储器中存储有计算机可读指令，所述至少一个处理器执行所述计算机可读指令，使得所述计算机集群执行如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，包括计算机可读指令，当所述计算机可读指令在计算机集群上运行时，使得所述计算机集群执行如权利要求1至7中任一项所述的方法。