CN103701783B - 一种预处理单元、由其构成的数据处理系统以及处理方法 - Google Patents

Abstract

本发明公开了一种数据预处理单元、由其构成的数据处理系统以及处理方法。一种数据预处理单元，该单元包括任务调度模块以及由任务调度模块控制的至少一个任务处理模块，其中，任务调度模块依据网络接收单元捕获的网络数据包，建立任务列表，向预处理模块分配任务并监控其运行状态；任务处理模块包括：管理器；应用协议解析引擎；以及业务数据过滤引擎。所述系统及方法将网络数据包形成元数据存入规则库并实现对其的关联分析。本发明的有益效果为：通过预处理单元对数据的处理，极大的降低后续单元的工作压力，更有效的应对数据访问高峰。处理系统通过对业务数据的关联分析，实现其深度使用。

Description

一种预处理单元、由其构成的数据处理系统以及处理方法

技术领域

本发明涉及信息技术领域，具体涉及一种数据预处理单元、由其构成的数据处理系统以及处理方法。

背景技术

随着信息技术的快速发展，网络服务器经常需要处理大量的业务数据，例如促销时的网购、综合查询系统（或警务综合平台）、情报信息综合应用平台、人口信息系统、出入境人员/证件信息库、机动车/驾驶人信息库、公安机关户籍管理系统、金融行业核心业务系统、证劵交易系统、企业ERP应用等以及一些其他行业核心业务系统，基于现有的网络访问行为尚未建立日志或日志信息不全的现状，在信息化与业务工作不断深入融合的背景下，利用信息系统的漏洞或不完善的方面违规操作、冒用他人身份操作、授意他人操作的情况难以避免。更有甚者，在信息系统中恶意修改数据、使用黑客软件攻击服务器的现象也偶有发生。因为没有专门的操作日志记录，导致取证困难，这也充分暴露了内部监督制约的必要性。严格审计管理所有的业务信息系统，并制定责任追查和追踪制度，可以有效防止和避免内部人员利用信息系统监守自盗等非授权的行为操作，确保信息系统的安全。

另外，现有的这些系统中，其业务审计功能普遍较弱，为了对业务行为进行审计，通常的解决方式是对应用系统进行改造，增加业务审计模块，但改造不仅需要经费、影响系统的正常应用，而且对系统的资源（CPU、内存）也会产生较大的压力。

发明内容

有鉴于此，本发明提供的一种预处理单元、由其构成的数据处理系统以及处理方法，通过预处理工序，减轻数据访问高峰阶段服务器的处理压力。

为达到上述目的，本发明采用的技术方案是：

一种数据预处理单元，该单元包括任务调度模块以及由任务调度模块控制的至少一个任务处理模块，其中，

任务调度模块依据网络接收单元捕获的网络数据包，建立任务列表，向预处理模块分配任务并监控其运行状态；

任务处理模块包括：

管理器，用于同任务调度模块进行数据交换，并监控任务处理模块的系统资源和任务执行进度；

应用协议解析引擎，根据任务指令接收网络数据包并进行解析、整合，形成网络数据包；

以及业务数据过滤引擎，接收应用协议解析引擎传输过来的网络数据包，并过滤掉非网络数据包。通过预处理单元处理的网络数据包，都是与业务相关的明文包，极大的减轻处理单元的处理压力。

进一步的，任务调度模块将任务分解成子任务以分配给多个任务处理模块，子任务的处理分为串行处理和并行处理。针对较复杂的任务，多个模块同时处理速度更快。

进一步的，任务和子任务的运行状态包括准备、就序、处理、完成以及收回。更加便于调度模块对任务的调派。

一种数据处理系统，包括网络接收单元、处理单元、维护单元、存储单元以及前述的预处理单元，其中，

网络接收单元，用以接收网络数据包；

处理单元，接收网络接收单元传输过来的网络数据包，根据业务信息提取规则对网络数据包进行关联分析以生成处理结果；

维护单元，对业务信息提取规则和业务信息进行维护和更新；

存储单元，存储业务信息提取规则以及业务信息。

装有预处理单元的系统处理速度更快，处理能力更强大，能应对更大量的数据访问。

进一步的，处理单元接收网络接收单元传输过来的网络数据包，并处理以形成包括请求人、请求时间、目标系统以及业务数据的元数据并存入业务信息。使规则库具有对访问数据的关联分析能力。

进一步的，网络接收单元包括网络身份认证系统和网络数据探针系统，网络身份认证系统用于监控用户状态以确认是否允许用户数据通过，网络数据探针系统根据预设抓包规则捕获网络数据包。进行身份认证以实现请求人确认，通过两个系统实现资源的高效利用。

优选的，存储单元以统一的存储接口集成数据库管理系统和分布式存储架构。可以部署在低廉的硬件上，也可以提供高传输率访问数据，适合未来超大数据集的审计和应用分析。也便于新的存储单元的接入。

一种数据处理方法，包括以下步骤：

801：构建包括业务数据包识别特征和业务信息提取规则的规则库；

802：接收业务数据包，提取由请求人、请求时间、目标系统以及业务数据组成的元数据；

803：根据元数据特征，从规则库中读取提取规则；

804：根据提取规则提取业务信息。

基于关联分析知识，可以对业务信息进行不同的挖掘，从而可以根据需求实现对业务信息的综合分析和处理。

进一步的，规则库中的业务信息提取规则的状态分为测试、活动、冻结、失效四个阶段。规则库还包括规则定义、规则有效性验证以及规则管理。业务信息和提取规则都是动态的，实时更新的。

本发明的有益效果为：通过预处理单元对数据的处理，极大的降低后续单元的工作压力，更有效的应对数据访问高峰。处理系统通过对业务数据的关联分析，实现其深度使用。

附图说明

图1为本发明所述数据处理系统的结构框图；

图2为本发明所述数据处理方法的流程图；

图3为本发明所述数据处理系统的具体实施图。

具体实施方式

下面结合附图对本发明的技术方案进行描述，很显然的，附图所描述的仅仅是本发明的一部分而不是全部实施例。

如图1所示，本发明提供的一种数据预处理单元，包括任务调度模块以及由任务调度模块控制的至少一个任务处理模块。在众多场合，网络数据访问在业务高峰期的数据量非常巨大，对其进行业务审计所需的资源也非常巨大，本发明的核心功能是对捕获的网络数据包进行预处理，减轻后续审计处理的压力，主要处理手段包括应用协议分析引擎、协议算法模块（http、DES、MD5等）及业务数据过滤引擎。

本发明提供的预处理单元优选分布式设计，由多个预处理模块和调度模块构成。在实际布置时，可依据业务预处理需求及预处理机的运算能力，确定预处理模块的数量。每个预处理模块除内置数据处理模块外，还包括任务管理模块，任务管理模块接受任务调度模块的指令，处理指定网络数据探针系统接受的网络数据包；预处理模块的任务管理模块还定时监控本机的系统资源和任务执行情况，并上报到任务调度模块，一旦预处理模块出现故障，任务调度模块可以及时协调其它预处理机，接替出现故障的预处理机。任务调度模块是预处理的核心，它可以协调多任务预处理模块的并行工作。

这里需要说明的是，处理模块和任务调度模块是软件模块化概念，在一台服务器上，可以安装处理机软件或任务调度引擎机软件，也可以把处理机软件或任务调度引擎机软件同时安装到一台服务器上。

每个预处理模块内部都包括应用协议解析引擎和业务数据过滤引擎两部分。应用协议解析引擎从网络数据探针系统接收http及https协议数据包并进行解析，整合成业务数据包；业务数据过滤引擎对解析后的业务数据包进行二次清洗。针对http协议数据包，应用协议解析引擎分别提取请求报文的请求行、消息报头、请求正文和应答报文的状态行、消息报头、响应正文，把这些信息作为一个信息单元，提交业务数据过滤引擎进行处理。对于https协议的数据包，在提取 http信息之前，还要进行报文解密工作。首先，从服务器证书库中，提取报文发起方的数字证书；然后以数据证书对https本次通讯的密钥协商报文进行解密了，获取本次通讯的密钥；分析https本次通讯的协商报文，确定本次通讯的加密算法；根据采用的算法调用相应的DES、RC2、RC5等模块，对报文进行解析，获得通讯的明文；最后，对明文进行MD5或SHA的签名验证，保证解析的正确性。为了实现https等加密数据的还原，本发明提供的预处理单元内置数字证书库，导入数据证书，实现解密工作。

当应用协议解析完成后，把全部变为明文的数据包提交业务数据过滤引擎，对捕获的数据包进行二次清洗，过滤掉与业务无关的CSS、Javascript、图片等数据包。经过预处理单元后，从网络捕获的数据包只剩下业务相关的明文包，可以极大地减轻后续处理压力。

如图1-3所示，本发明提供的一种数据处理系统，包括网络接收单元、处理单元、维护单元、存储单元以及前述的预处理单元。

其中，网络接收单元的网络并非特指互联网，应作广义的理解，包括各种形式的内网以及其他现有网络形式。网络接收单元由网络身份认证系统和网络数据探针系统构成，它们分别担负不同任务。网络身份认证子系统位于网络主干线路上，任务业务请求都必须经过该子系统。子系统内部的连接控制引擎用于控制用户，它实时与用户状态监控模块通讯，确定是否允许用户数据通过；如果用户没有登录，连接控制引擎自动把用户请求跳转到登录审计界面，由用户输入登录信息；对于第一次进入网络的用户，可进入用户信息管理模块，注册和管理个人信息；黑、白名单是为了提供系统效率，优化系统功能而设置的；bypass用于保证整个系统的兼容性，当网络身份认证子系统出现软、硬件故障时，bypass模块启动使数据包可以直接通过本设备。网络数据探针系统位于单位主要交换设备的镜像上，根据预设的抓包规则捕获网络数据包，经过抓包规则的过滤，可以屏蔽掉无关数据包，减轻系统压力；抓包规则以IP包为目标，可以设定源IP、源端口、目标IP和目标端口；另外，考虑到日常工作中，业务请求的瞬发性特点，在网络数据探针系统中，设置了大容量的网络数据缓冲池，起到削峰抑谷的作用，当网络数据流量较大时，网络数据探针系统的资源主要用来抓包，当网络数据流量较小时，网络数据探针系统的资源可以用来进行数据包整合，实现资源的充分利用。

业务内容处理单元是本系统的核心，主机实现业务数据的提取和关联。主要处理流程包括信息提取、信息有效性验证、中文编码转换及信息整合（关联）。信息提取时，首先与规则库通讯，获得活动规则，然后根据规则提取数据；提取数据后，要对数据的有效性进行验证，如与预期不一致，应产生报警，由管理员对数据包或规则的有效性进行确认；如果提取的信息中含有中文信息，则要进行中文编码转换，把GBK、GB18030、Unicode等编码的中文统一转换为utf-8格式；最后，要按照关联规则库对提取信息进行关联，生成操作人员、时间、目标系统、业务信息等元数据，其中用户状态表由网络身份认证子系统提供信息元，主要包括〈人员、IP、时段〉三元组，用于操作人员与业务数据的关联。业务规则管理子系统是主要用于规则维护，同时管理规则的分发，同时管理员也可以利用规则有效性监测工具，验证当前规则是否用效，如果目标系统发生变更，在信息提取时无法通过验证，那么将向规则管理子系统发送规则失效报警，规则管理子系统收到报警后，将该规则状态置为“冻结”，并停止该规则的分发。业务内容处理采用分布式设计，由调度机实现任务分配、状态监控及管理，各处理机定时报送状态信息到调度机。维护单元，主要用户对处理单元中的业务信息提取规则和业务信息进行维护和更新；

本发明提供的系统，数据存储单元通过统一的存储接口可以与数据库管理系统（Oracle、SqlServer、Mysql）和分布式存储架构（hadoop）集成。其中，数据库管理系统以数据表为单位，以SQL语言进行关联、分析，技术成熟；分布式存储架构有着高容错性的特点，并且设计用来部署在低廉的硬件上，而且提供高传输率来访问的数据，适合未来超大数据集的应用分析。

如图2所示，本发明提供的一种业务数据处理方法，包括以下步骤：

801：构建包括业务数据包识别特征和业务信息提取规则的规则库；

802：接收业务数据包，提取由请求人、请求时间、目标系统以及业务数据组成的元数据；

803：根据元数据特征，从规则库中读取提取规则；

804：根据提取规则提取业务信息。

本发明提供的处理方法，其核心创新点在于：对业务信息进行分析，按信息提取规则库提取业务数据；业务信息提取规则的定义、维护以及实施算法；基于关联规则规则库，关联分析各类业务信息，形成由操作人、目标系统、时间、业务数据组成的元数据；关联知识的定义及、维护及实施算法；采用分布式计算方式，实现“业务信息分析”和“关联分析”任务的可调度性，在物理设备上实现负载均衡；提供分布式数据接口，支持大数据分析。

另外优选的，业务数据通过网络接收，因此在网络接收数据时还应包括Ip数据包采集；http(s)等传输层协议的网络数据包还原；网络身份认证；现实身份、ip、时段关联算法；相关业务系统的信息采集。

本发明提供的方法，步骤802中，业务处理单元从预处理单元的业务数据缓存处接收业务数据包，根据业务数据包特征，判断业务种类，根据业务种类，从规则库中读取适用于本业务的活动规则子集，按规则子集提取业务信息。如果分析引擎在运行过程中，发现提取规则有问题，可能由于多种原因，如：业务系统升级、规则适用性不强等，则通过异步机制通知管理员，由管理员对规则库进行维护。

业务信息提取规则，由抽象化逻辑语言描述，定义适用业务、提取参数定位信息、参数有效性验证等信息。根据不同的业务，不同的深度分析需求，编辑不同需求规则。规则库包括各种业务信息提取规则的总和。图2中使用了规则库和规则库两个方框表示流程，实际应用中提取规则的总和和业务信息的总和即可存储与一起也可分开放置，根据实际需求设置。规则按其有效状态分为活动和冻结，业务信息分析引擎提交规则查询请求时，规则库返回所有适用于该业务的、处于活动状态的规则；当一条规则不适用时，可将该规则状态调整为冻结，该规则将不生效；规则库还包括规则定义、有效性验证、规则管理等工具，由管理员进行维护。

步骤804中，关联分析包括实现〈业务数据〉与〈操作人员、时间和业务信息〉的关联。这里，业务信息根据需求确定，既需要分析和挖掘网络数据包何种方向的价值，则选取该方向的业务信息对网络数据包根据提取规则进行关联以深度分析。业务信息可以是业务数据的总和，也可以是其它信息。

通过网络接收数据包时，在网络数据包还原时，可以提取网络数据包的操作时间和发起IP，为了确定操作人员，主要通过网络身份认证方法，身份认证网关从日切时间点开始工作，记录各IP地址的状态，如果1个IP没经过身份认证而发起交易，身份认证网关拦截该IP的通讯，自动跳转到身份认证界面，由操作人员输入身份认证信息，实现〈IP，时段〉与〈操作人员〉的关联。对于操作人员的关联，视不同目标系统可进行优化，如目标系统自身具有身份认证模块，并可提供身份认证与通讯session的记录，那么根据<sessionid、操作人员>的记录，可以对身份认证网关的操作人员进行确认和修正。〈业务数据〉与〈业务信息〉的关联，主要依赖于规则库。

规则库中的知识，由业务人员归纳、总结，由管理员进行维护。知识采用优选采用问题归约法表述，从关联目标出发，逆向推理，通过变换把初始问题变换为子问题集合和子子问题集合，直至最后归约为一个平凡的本原问题集合。知识同样存在生命周期的问题，分为测试、活动、冻结、失效等阶段，测试期主要由业务人员控制，确认关联知识是否有效、是否达到预期目标；确认有效后，标记知识为活动状态，关联分析引擎根据知识，进行业务数据关联处理；同任何事物一样，知识也有适用性问题，当目标系统及其关联系统发生变更时，管理员把知识调整为冻结状态，由业务人员对知识的有效进行确认和调整；当涉及知识的模块或系统停止服务时，知识已不适用，即调整为失效状态。

在业务分析和关联分析时，优选采用分布式处理算法，由任务调度主机和任务处理主机协作完成。首先，对业务分析和关联分析的任务，在调度主机上建立任务列表，任务处理主机向调度主机提交申请，由调度主机分派任务，任务处理主机完成工作后，提交处理结果，调度主机对处理情况时行确认。调度主机除负责任务调度外，还负责监控各任务处理主机的运行状态，当任务处理主机出现异常、性能降低时，调度主机收回任务，改由其它任务处理主机完成；同时，调度主机还负责任务的分解及子任务时序管理，当一个任务被解为可计算的子任务时，子任务间存在并行和串行两种关系，对于串行关系，由调度主机负责，只有在前序任务已完成的情况下，才分配后序任务。为保证任务处理的一致性和连续性，我们在任务处理中引入状态机概念，任务状态分为准备、就序、处理、完成、收回等五个状态，任务信息及其状态以数据库存储。分布式任务处理支持系统进行事务性恢复，当系统出现断电等情况时，重新启动后，调度机会根据数据库中任务的状态，进行回退和恢复操作，保证系统状态的一致性。

在数据存储方面，本发明提供统一的存储接口，生成的数据即可以存储到传统的数据库系统中，也可以存储到hadoop之类的分布式系统。这使得后期数据挖掘和科学决策的技术方式和体系框架更加灵活。各应用单位，可以对生成的数据进行数据挖掘，提取有价值的业务信息，并在此基础上，通过选用不同的数学模型，进行量化计算，为市场预测和科学决策提供事实依据。

如图3所示，是本发明在公安系统的一个详细实施例，在我国，公安系统下设的现有业务系统有60多个，这些业务系统绝大部分都是基于http和https的Web应用系统，它们由不同的警种、总队、业务处室使用。这些业务系统都不能实现总体联通和审计，不能达到公安部关于《加强信息系统应用审计的通知》的要求。如果进行整改，一部分系统的开发商已经无法联系，不具备改造条件；其它系统则都要按照统一的规则进行改造，影响正常业务、改造周期长、成本高。

本发明提供的处理系统及其方法采用基本网络的架构，是一种基于网络数据包（流）的业务数据审计和业务数据深度分析的方法，不需要对现在信息系统和网络进行改造，不需要在原有信息系统的服务器里安装任何插件或Agent，就可以达到公安部对业务系统审计的要求，同时还提供丰富的数据挖掘功能。在本实施例中，关联分析系统的业务审计功能可以细化到操作级别，其元数据为：谁、什么时间、在哪个系统、进行了什么操作、操作内容是什么，完全满足公安部的要求。在审计功能的基础上，关联分析系统提供丰富的数据挖掘功能，由于数据挖掘功能与业务结合紧密，例如：串并案和逃犯关注排名。

在关联分析系统之前，对于一个案件的串并案工作，主要靠内部通报，但由于警种和区域的限制，串并案的线索来源并不全面。如果使用本发明提供的关联分析系统，某一警员在案件侦破过程中，利用信息系统查询犯罪嫌疑人或案例相关人员时，其操作记录都会被关联分析系统审计到。关联分析系统自动根据被查人员的信息，在数据仓库中检索所有查询过该人的警员，按照时间和地域排序，形成案件线索，由内部OA系统推送给案件承办的警员。例如，派出所的A警官处理一起案件，通过网上逃犯库中查询了张三的信息，那么随后王警官就会在OA系统中收到一份“案件线索文件”，其中提示“禁毒总队的B警官在三天前在禁毒系统中也查询过张三的信息”。关联分析的具体应用串并案自动提示功能实现了跨系统、跨警种、跨地域的线索收集。

又如，在公安工作中，如何提高办案效率是公安工作的首要问题。在关联分析系统的逃犯关注排名，就可以起到探索作用。逃犯关注排名可以以全国逃犯库为基础数据，以本发明提供的关联分析系统的提取规则为主要数据，通过权值处理算法，对逃犯进行排序，筛选出最受关注和活跃的逃犯，作为工作的重点。其中，逃犯权值主要依据关注警员职级、关注（查询）次数、时间来计算，如逃犯李四被厅长在上周查询过一次，被禁毒总队长在本周查询过两次，被基层民警查询过11次，则其排名靠前，在通报时各警种和基层警员都会把张强作为工作的重点。

上述技术方案的描述仅体现了本发明的优选技术方案，而并不是无遗漏的，很显然的，基于上述实施例，本领域的技术人员很容易了解到本发明提供的技术方案还应用于政府、公安、交警、财政、金融、证劵、税务、电信运营商、医疗、卫生、保险、企业、电力、能源、国土等各个行业，或者将本发明限于所公开的形式。基于本发明的实施例，任何人在没有做出创造性劳动的前提下所获得的其他形式的技术方案，不论其在结构或形式上作出何种变化，均属于本发明的保护范围之内。

Claims (7)

1.一种数据处理系统，该系统包括网络接收单元、处理单元、维护单元、存储单元以及预处理单元，其特征在于，

预处理单元包括任务调度模块以及由任务调度模块控制的至少一个任务处理模块，其中，任务调度模块依据网络接收单元捕获的网络数据包，建立任务列表，向任务处理模块分配任务并监控其运行状态，任务调度模块将任务分解成子任务以分配给多个任务处理模块，子任务的处理分为串行处理和并行处理，任务和子任务的运行状态包括准备、就序、处理、完成以及收回；任务处理模块包括管理器、应用协议解析引擎和业务数据过滤引擎：所述管理器用于同任务调度模块进行数据交换，并监控任务处理模块的系统资源和任务执行进度,所述应用协议解析引擎，根据任务指令接收网络数据包并进行解析、整合，形成网络数据包,所述业务数据过滤引擎，接收应用协议解析引擎传输过来的网络数据包，并过滤掉与业务无关的网络数据包；

网络接收单元，用以接收网络数据包；

处理单元，接收预处理单元传输过来的网络数据包，根据规则库中的提取规则提取业务信息，然后按照关联规则库对提取信息进行关联以生成处理结果；

维护单元，对业务信息提取规则和业务信息进行维护和更新；

存储单元，存储业务信息提取规则以及业务信息。

2.根据权利要求1所述的数据处理系统，其特征在于，处理单元接收预处理单元传输过来的网络数据包，并处理以形成包括请求人、请求时间、目标系统以及业务数据的元数据并存入业务信息。

3.根据权利要求1所述的数据处理系统，其特征在于，网络接收单元包括网络身份认证系统和网络数据探针系统，网络身份认证系统用于监控用户状态以确认是否允许用户数据通过，网络数据探针系统根据预设抓包规则捕获网络数据包。

4.根据权利要求1所述的数据处理系统，其特征在于，存储单元以统一的存储接口集成数据库管理系统和分布式存储架构。

5.一种根据1-4任一权利要求的所述的数据处理系统进行数据处理的方法，其特征在于，该方法包括以下步骤：

801：构建包括业务数据包识别特征和业务信息提取规则的规则库；

802：接收业务数据包，提取由请求人、请求时间、目标系统以及业务数据组成的元数据；

803：根据元数据特征，从规则库中读取提取规则；

804：根据提取规则提取业务信息。

6.根据权利要求5所述的数据处理方法，其特征在于，规则库中的业务信息提取规则的状态分为测试、活动、冻结、失效四个阶段。

7.根据权利要求5所述的数据处理方法，其特征在于，规则库还包括规则定义、规则有效性验证以及规则管理。