CN110620799A - 一种数据处理方法和系统 - Google Patents

Abstract

本申请公开了一种数据处理方法和系统，所述方法包括：本地客户端根据预设规则采集本地监控数据；所述本地客户端将所述本地监控数据发送给数据服务器；所述信息采集路由器获取所述本地客户端与指定的远程服务器之间的网络监控数据；所述信息采集路由器将所述网络监控数据发送给所述数据服务器；所述数据服务器将所述本地监控数据和所述网络监控数据进行清洗操作后存储到数据库中。实施本发明，能提高数据采集的覆盖率。

Description

一种数据处理方法和系统

技术领域

本发明涉及安防领域，尤其涉及一种数据处理方法和系统。

背景技术

在安防领域，随着全方位和多层次监控时代的到来，产生了越来越多的安防监控数据，是一种典型的大数据。如何以较小的通信代价实现安防大数据的互联互通，并具有较高的扩展弹性和易于实施的特点，是目前安防监控大数据要挑战的难题。安防监控数据具有2个明显的特点：1)数据规模海量化：2)数据类型非结构化。数据规模海量化造成数据传输和存储的困难，数据类型非结构化为数据利用带来了极大的挑战，为了解决这些难题需要用到大数据。在安防领域，信息孤岛问题十分突出。在一座城市内，既有公安部门安装的监控节点，也有各个单位安装的监控节点。这些节点或设备产生的监控数据难于实现互联互通，造成信息孤岛现象。近年来，以云计算和物联网为核心的智慧城市建设提出大安防概念，试图将这些孤立的监控信息集成在一起，从而实现联网和共享。然而，安防监控数据量巨大，造成通信带宽的巨大消耗。如何采集有效采集各个监控节点的数据是目前亟待解决的问题。

发明内容

本发明实施例所要解决的技术问题在于，提供一种数据处理方法和系统，解决采集的监控数据覆盖率不高的问题。

为了解决上述技术问题，本申请提供了一种数据处理方法，包括：

本地客户端根据预设规则采集本地监控数据；本地客户端将本地监控数据发送给数据服务器；信息采集路由器获取本地客户端与指定的远程服务器之间的网络监控数据；信息采集路由器将网络监控数据发送给数据服务器，数据服务器接收来自本地客户端的本地监控数据，以及接收来自信息采集路由器的网络监控数据，数据服务器将本地监控数据和网络监控数据进行清洗操作后存储到数据库中，例如：存储到关系型数据库中。

实施本发明实施例，信息采集路由器监测本地客户端与远程服务器之间的网络监控数据或监控本地客户端上运行的程序产生的本地监控数据，并将上述本地监控数据和网络监控数据传回数据服务器进行清洗成预设格式后存储至数据库中，以便后续对上述监控数据进行大数据分析和挖掘，以及提高数据采集的覆盖率。

在一种可能的设计中，本地客户端根据预设规则采集本地监控数据包括：

在进程启动时，本地客户端获取进程的进程标识；在所述进程标识为预设标识的情况下，所述本地客户端采集所述进程运行过程中生成的内部数据作为所述本地监控数据。

在一种可能的设计中，所述本地监控数据包括输入给所述进程的数据和所述进程输出的数据。

在一种可能的设计中，所述信息采集路由器获取本地客户端与指定的远程服务器之间的网络监控数据包括：

信息采集路由器接收来自交换机的本地客户端与指定的服务器之间的网络监控数据。

所述信息采集路由器将所述网络监控数据发送给所述数据服务器之前，还包括：

所述信息采集路由器将所述网络监控数据包括的数据包进行去重处理，将去重处理后的网络监控数据发送给所述数据服务器。

本申请第二方面提供了一种数据处理系统，包括：本地客户端、信息采集路由器和数据服务器；

所述本地客户端，用于根据预设规则采集本地监控数据；

所述本地客户端，还用于将所述本地监控数据发送给所述数据服务器；

所述信息采集路由器，用于获取所述本地客户端与指定的远程服务器之间的网络监控数据；

所述信息采集路由器，还用于将所述网络监控数据发送给所述数据服务器；

所述数据服务器，接收来自所述本地客户端的所述本地监控数据，以及接收来自所述信息采集路由器的网络监控数据；

所述数据服务器，还用于将所述本地监控数据和所述网络监控数据进行数据清洗处理后存储至数据库中。

在一种可能的设计中，所述本地客户端通过所述信息采集路由器与所述数据服务器通信。

在一种可能的设计中，还包括：交换机；所述本地客户端通过所述交换机与所述数据服务器进行通信，所述交换机与所述信息采集路由器并联；

所述交换机，用于采集所述本地客户端与指定的远程服务器之间的网络监控数据；以及，将所述网络监控数据发送给所述信息采集路由器。

在一种可能的设计中，所述本地客户端根据预设规则采集本地监控数据包括：

在检测在进程启动时，获取所述进程的进程标识；在所述进程标识为指定标识的情况下，采集所述进程的输入数据和输出数据作为所述本地监控数据。

本申请又一方面提供了一种装置，该装置包括：存储器、处理器和收发器；其中，

所述收发器，用于接收来自本地客户端的本地监控数据，以及接收来自信息采集路由器的网络监控数据；

所述存储器中存储一组程序代码，且所述处理器用于调用所述存储器中存储的程序代码，用于执行：将所述本地监控数据和所述网络监控数据进行清洗操作后存储到数据库。

在一种可能的设计中，所述收发器，还用于接收来自信息查询终端的查询请求；向所述信息查询终端发送查询响应。

本申请的又一方面提了供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

本申请的又一方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种数据处理系统的结构示意图；

图2是本发明实施例提供的一种数据处理方法的流程示意图；

图3是本发明实施例提供的一种装置的结构示意图；

图4是本方实施例提供的一种装置的另一结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

参见图1，为本发明实施例提供的一种数据处理系统的结构示意图，在本发明实施例中，数据处理系统包括本地客户端、信息采集路由器和数据服务器。

其中，本地客户端、信息采集路由器和数据服务器的数量可以是一个或多个。本地客户端与信息采集路由器的连接方式可以是串联，即本地客户端通过信息采集路由器与数据服务器连接。本地客户端与信息采集路由器的连接方式也可以是并连，即本地客户端通过交换机与数据服务器连接，信息采集路由器与交换机连接。

其中，在本地客户端与信息采集路由器的连接方式为串联的情况下，信息采集路由器可通过互联网、带路由功能的防火墙、信息接收主机与数据服务器连接，数据服务器再与信息查询终端连接。数据服务器和信息查询终端可位于同一个虚拟局域网(virtuallocal area network，VLAN)，信息查询终端和数据服务器不暴露在互联网上，即信息查询终端和数据服务器使用非公开IP地址进行通信。

其中，在本地客户端与信息采集路由器的连接方式为并联的情况下，交换机可通过互联网、带路由功能的防火墙、信息接收主机与数据服务器连接，数据服务器再与信息查询终端连接。

其中，数据服务器中部署有数据库，数据服务器用于将接收到的监控数据进行数据清洗，将清洗后的数据存储至数据库中。例如：对大字段网页数据进行格式化清洗，对一个文件中加载的大量代码、特征码、字符的字段进行全篇分析，并从中找到指定的字段类型，并将其按照一定规定进行标准化的提取，然后将提取后的数据存储至关系型数据库中。

参见图2，为本发明实施例提供的一种数据处理方法的流程示意图，在本发明实施例中，所述方法包括：

S201、本地客户端根据预设规则采集本地监控数据。

具体的，本地客户端根据预设规则采集本地监控数据，预设规则包括：采集预设格式的数据、采集预设进程的数据、采集预设应用程序的数据中的一种或多种。本地监控数据表示计算机本地生成的数据，而该数据没有发送到互联网中。

例如：采集的本地监控数据包括：

快递网点信息：网点名称、所属地区、网点编号等。

收发货人信息：姓名、电话、地址等

物流信息：物品名称、发货车辆、承运人等

在一种可能的实施方式中，本地客户端根据预设规则采集本地监控数据包括：

在进程启动时，本地客户端获取进程的进程标识，在进程标识为预设标识的情况下，本地客户端采集进程运行过程中生成的数据作为本地监控数据。

具体的，本地客户端预存储或预配置有监控进程标识列表，本地客户端监控到有进程启动时，获取该进程的标识，判断该进程的标识是否位于监控进程标识列表中，若为是，本地客户端采集该进程运行过程中生成的内部数据作为本地监控数据。其中，进程运行过程中生成的内部数据包括通过本地客户端的输入设备输入给进程的数据，以及该进程输出给其他进程的数据。需要说明的是，监控进程标识列表中的进程标识的数量可以是多个，即本地客户端可根据需要同时对多个进程进行监控。

例如：在信息采集点(商家)的本地客户端上部署校准软件，通过软件扫描监听某一个进程名为shunfeng.exe的进程，运行该进程后，校准软件则开始监听此进程录入和产生的数据，只要该进程有任何数据产生，包括键盘输入的数据、服务器返回的数据、系统生成的数据和进程间通信的数据，校准软件都会记录下来。其中，但为了避免记录数量太多的无用数据和重复数据，校准软件可以配置相应的采集规则，校准软件只负责监听和记录符合采集规则的数据。

S202、本地客户端向数据服务器发送本地监控数据，数据服务器接收来自本地客户端的本地监控数据。

具体的，本地客户端将符合预设采集规则的数据复制一份发送给数据服务器。其中，本地客户端将本地监控数据以数据包的形式发送给数据服务器。其中，本地客户端可以通过信息采集路由器将本地监控数据发送给数据服务器，或本地客户端通过交换机将本地监控数据发送给数据服务器。其中，本地客户端在向数据服务器发送本地监控数据之前，还可以对本地监控数据进行去重处理，去除本地监控数据中重复的信息。

其中，本地客户端可部署在物流网点、快递网点、连锁典当行、连锁经营商店、汽车租赁网点、网上订餐外卖网点等。

S203、信息采集路由器获取本地客户端与指定的远程服务器之间的网络监控数据。

具体的，信息采集路由器获取本地客户端发送给指定的远程服务器的数据，以及该远程服务器发送给本地客户端的数据。在信息采集路由器与本地客户端串联的情况下，信息采集路由器直接采集客户端与指定的远程服务器之间的数据包；在信息采集路由器与本地客户端并联的情况下，由交换机采集本地客户端与指定的远程路由器之间的数据包。

其中，信息采集路由器可部署在物流网点、快递网点、连锁典当行、连锁经营商店、汽车租赁网点、网上订餐外卖网点等。

在一种可能的实施方式中，信息采集路由器获取本地客户端与指定的远程服务器之间的网络监控数据包括：

信息采集路由器监听本地客户端与指定的远程服务器之间的数据包的网络地址，信息采集路由器采集网络地址为预设网络地址的数据包作为网络监控数据。

具体的，信息采集路由器与本地客户端为串联的关系，信息采集路由器监听本地客户端发送给指定的远程服务器的数据包，以及该远程服务器发送给本地客户端的数据包，信息采集路由器解析上述每个数据包的包头中携带的网络地址，网络地址包括但不限于IP地址、统一资源定位符(Uniform Resource Locator，URL)地址，信息采集路由器预存储或预配置为监控网络地址列表，信息采集路由器判断数据包携带的网络地址是否位于该监控网络地址列表中，若为是，信息采集路由器将该数据包复制一份，将复制后的数据包作为网络监控数据发送给数据服务器。

在另一种可能的实施方式中，信息采集路由器获取本地客户端与指定的远程服务器之间的网络监控数据包括：

信息采集路由器接收来自交换机的本地客户端与指定的远程服务器之间的网络监控数据。

具体的，信息采集路由器与本地客户端为并联的关系，交换机监听本地客户端发送给指定的远程服务器的数据包，以及该远程服务器发送给本地客户端的数据包，交换机解析上述每个数据包的包头中携带的网络地址，网络地址包括但不限于IP地址、URL地址，交换机预存储或预配置为监控网络地址列表，交换机判断数据包携带的网络地址是否位于该监控网络地址列表中，若为是，信息采集路由器将该数据包复制一份发送给信息采集路由器。

例如：信息采集点(商家)部署终端采集路由器，对经过信息采集路由器的报文进行深度分析，并抓取符合预设规则的报文。以物流网点为例：物流公司商户网点通过自有的本地客户端与远程服务器通讯，访问的网址是：“http://qz.yundasys.com:18080/ydzc/infoEnter.do？”，发送类型“post”，远程服务器返回的结果的类型是：“response”，网页编码格式“utf-8”。信息采集路由器需要对“http://qz.yundasys.com:18080/ydzc/infoEnter.do？”这个网址产生的报文进行采集，将采集后的报文复制一份发送给数据服务器。

S204、信息采集路由器将网络监控数据发送至数据服务器，数据服务器接收来自信息采集路由器的网络监控数据。

具体的，信息采集路由器可以通过数据包的形式将网络监控数据发送至数据服务器，其中，信息采集路由器在发送网络监控数据之前，还可以对网络监控数据进行去重处理。

S205、数据服务器将本地监控数据和网络监控数据进行清洗操作后存储至数据库。

具体的，数据服务器利用服务接口接收本地客户端和信息采集路由器发送的数据，接收的数据后保存到数据库中，然后调用大数据清洗模块对非格式化数据进行清洗，使之转为可以进行标准数据库存储的格式化数据。

上述图2详细阐述了本申请实施例的一种数据处理方法的流程示意图。

图3提供了本申请实施例的一种数据处理装置(以下简称装置3)。装置3包括收发单元301和处理单元302，装置3的具体实现过程可参照图2的描述。

所述收发单元301，用于接收来自本地客户端的本地监控数据，以及接收来自信息采集路由器的网络监控数据。

处理单元302，用于将所述本地监控数据和所述网络监控数据进行清洗操作后存储到数据库。

可选的，收发单元301，还用于接收来自信息查询终端的查询请求；向所述信息查询终端发送查询响应。

可选的，数据服务器和信息查询终端位于同一个VLAN中。

本发明实装置3也可以为实现相关功能的现场可编程门阵列(field-programmable gate array，FPGA)，专用集成芯片，系统芯片(system on chip，SoC)，中央处理器(central processor unit，CPU)，网络处理器(networkprocessor，NP)，数字信号处理电路，微控制器(micro controller unit，MCU)，还可以采用可编程控制器(programmable logic device，PLD)或其他集成芯片。

图4为本申请实施例提供的一种装置结构示意图，以下简称装置4，装置4可以集成于前述数据服务器，如图4所示，该装置包括：存储器402、处理器401、收发器403。

存储器402可以是独立的物理单元，与处理器401、收发器403可以通过总线连接。存储器402、处理器401、发射器404以及接收器401也可以集成在一起，通过硬件实现等。

存储器402用于存储实现以上方法实施例，或者装置实施例各个模块的程序，处理器401调用该程序，执行图3中方法实施例的操作。

可选地，当上述实施例的数据处理方法中的部分或全部通过软件实现时，上行数据的传输装置也可以只包括处理器。用于存储程序的存储器位于波束的配置装置之外，处理器通过电路/电线与存储器连接，用于读取并执行存储器中存储的程序。

处理器可以是中央处理器(central processing unit，CPU)，网络处理器(networkprocessor，NP)或者CPU和NP的组合。

处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmablelogic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。

存储器可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储器还可以包括上述种类的存储器的组合。

上述实施例中，发送单元或发射器执行上述各个方法实施例发送的步骤，接收单元或接收器执行上述各个方法实施例接收的步骤，其它步骤由其他模块或处理器执行。发送模块和接收模块可以组成收发模块，接收器和发射器可以组成收发器。

本申请实施例还提供了一种计算机存储介质，存储有计算机程序，该计算机程序用于执行上述实施例提供的数据处理方法。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

本地客户端根据预设规则采集本地监控数据；

所述本地客户端将所述本地监控数据发送给数据服务器；

所述信息采集路由器获取所述本地客户端与指定的远程服务器之间的网络监控数据；

所述信息采集路由器将所述网络监控数据发送给所述数据服务器；

所述数据服务器将所述本地监控数据和所述网络监控数据进行清洗操作后存储到数据库中。

2.根据权利要求1所述的方法，其特征在于，所述本地客户端根据预设规则采集本地监控数据包括：

在进程启动时，所述本地客户端获取所述进程的进程标识；

在所述进程标识为预设标识的情况下，所述本地客户端采集所述进程运行过程中生成的内部数据作为所述本地监控数据。

3.根据权利要求2所述的方法，其特征在于，所述本地监控数据包括输入给所述进程的数据和所述进程输出的数据。

4.根据权利要求1所述的方法，其特征在于，所述信息采集路由器获取所述本地客户端与指定的远程服务器之间的网络监控数据包括：

所述信息采集路由器监听所述本地客户端和与指定的远程服务器之间的数据包的网络地址；

所述信息采集路由器采集网络地址为预设网络地址的数据包作为所述网络监控数据。

5.根据权利要求1所述的方法，其特征在于，所述信息采集路由器获取所述本地客户端与指定的远程服务器之间的网络监控数据包括：

所述信息采集路由器接收来自交换机的所述本地客户端与指定的远程服务器之间的网络监控数据。

6.根据权利要求4或5所述的方法，其特征在于，所述信息采集路由器将所述网络监控数据发送给所述数据服务器之前，还包括：

所述信息采集路由器将所述网络监控数据包括的数据包进行去重处理，将去重处理后的网络监控数据发送给所述数据服务器。

7.一种数据处理系统，其特征在于，包括：本地客户端、信息采集路由器和数据服务器；

所述本地客户端，用于根据预设规则采集本地监控数据；

所述本地客户端，还用于将所述本地监控数据发送给所述数据服务器；

所述信息采集路由器，用于获取所述本地客户端与指定的远程服务器之间的网络监控数据；

所述信息采集路由器，还用于将所述网络监控数据发送给所述数据服务器；

所述数据服务器，接收来自所述本地客户端的所述本地监控数据，以及接收来自所述信息采集路由器的网络监控数据；

所述数据服务器，还用于将所述本地监控数据和所述网络监控数据进行数据清洗处理后存储至数据库中。

8.根据权利要求7所述的系统，其特征在于，所述本地客户端通过所述信息采集路由器与所述数据服务器通信。

9.根据权利要求7所述的系统，其特征在于，还包括：交换机；所述本地客户端通过所述交换机与所述数据服务器进行通信，所述交换机与所述信息采集路由器并联；

所述交换机，用于采集所述本地客户端与指定的远程服务器之间的网络监控数据；以及，将所述网络监控数据发送给所述信息采集路由器。

10.根据权利要求7至9任意一项所述的系统，其特征在于，所述本地客户端根据预设规则采集本地监控数据包括：

在检测在进程启动时，获取所述进程的进程标识；在所述进程标识为指定标识的情况下，采集所述进程的输入数据和输出数据作为所述本地监控数据。