CN108491508A - 一种大数据清洗规范系统 - Google Patents

Abstract

本发明公开了一种大数据清洗规范系统，包括数据采集模块、流量输入控制模块、异常数据检测模块、数据筛除模块、数据源对比模块和大数据存储模块，所述数据采集模块进行目标数据的采集，并将采集的目标数据传输至大数据存储模块，所述流量输入控制模块对数据采集模块传输的数据进行流量控制，所述异常数据检测模块对输入大数据存储模块的数据进行数据监测，并将异常数据进行标记，所述数据筛除模块对标注的异常数据进行删除，所述数据源对比模块将目标数据和采集模块来源数据进行对比，将对比结果输出至外部设备，所述大数据存储模块对目标数据进行分类存储。

Description

一种大数据清洗规范系统

技术领域

本发明涉及一种数据清洗系统，具体涉及一种大数据清洗规范系统。

背景技术

大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

随着电子信息化的飞速发展，电子信息数据逐渐成为人们研究的重点，人们日常生活均离不开各种各样的数据，进而大数据成为了目前研究的热点。

在现有技术中，在进行大数据处理时，通常将需要处理的各种数据进行融合存储，然后进行大数据处理利用分析等，但是简单的数据采集融合存在数据不准确含有杂质数据的问题，现有技术中并没有对大数据的数据进行清洗，导致大数据处理分析不准确的问题。

发明内容

本发明所要解决的技术问题是目前对大数据库的检查数据一致性，处理无效值和缺失值等都是基于数据的完整性前提下，但是目前的网络数据中，往往会植入大量的异常数据，这就需要将其异常数据排除后进行清洗，目的在于提供一种大数据清洗规范系统，解决上述的问题。

本发明通过下述技术方案实现：

一种大数据清洗规范系统，包括数据采集模块、流量输入控制模块、异常数据检测模块、数据筛除模块、数据源对比模块和大数据存储模块，所述数据采集模块进行目标数据的采集，并将采集的目标数据传输至大数据存储模块，所述流量输入控制模块对数据采集模块传输的数据进行流量控制，所述异常数据检测模块对输入大数据存储模块的数据进行数据监测，并将异常数据进行标记，所述数据筛除模块对标注的异常数据进行删除，所述数据源对比模块将目标数据和采集模块来源数据进行对比，将对比结果输出至外部设备，所述大数据存储模块对目标数据进行分类存储。目前的大数据系统内，其进行数据清洗都是直接将数据进行一致性比对，这样会提高效率，但是对一些异常数据的筛除后的数据进行清洗，有可能会造成其判断数据完整性缺失，从而将该数据进行删除，这样不利于数据的存储，并且在本申请文件中采用的清洗规范系统会将数据进行一次异常检测，因为目前网络的数据有很多夹杂了亢余数据或者木马数据，通过异常数据检测模块将这些数据的特征码进行提取后，在该数据前附加一段特征码作为标记，然后利用数据筛除模块将该特征码的数据进行删除，既可以保证存储进入大数据存储模块的数据的数据安全，避免异常数据进入，并且还能够将亢余数据进行删除，保证存储容量的最大化运用。在利用数据源对比模块对进入大数据存储模块内的目标数据与其来源进行对比，对整体的完整性进行判断，避免出现数据筛除模块将有用的数据进行删除，而导致整个数据无效。

进一步地，还包括系统日志数据库，所述系统日志数据库在目标数据进入大数据存储模块后启动，将该目标数据的来源、获取时间、输入时间、异常数据检测结果进行记录，并将记录信息进行备份存储。系统日志数据能够存储这些记录数据，便于数据追溯，在进行追溯时，能够通过目标数据的来源和获取时间以及输入时间对目标数据进行自动判断，能够节省人工操作步骤。

进一步地，所述日志数据库存储分类数据种类和传输至大数据存储库的时间，所述日志数据库数据溢出后将最早存储的数据内容进行覆盖。为了避免出现日志数据库内的最新数据遗失的情况，采用这种覆盖式数据式的存储方式，能够有效避免最新产生的数据遗失。而较早的数据内容能够通过移动硬盘进行导出，节省存储空间。

进一步地，所述外部设备采用PC机、笔记本电脑、平板电脑、手机中任意一种。采用多种外部设备进行结果输出的接收，能够让用户在第一时间获取输出结果的信息，进行及时的处理。

本发明与现有技术相比，具有如下的优点和有益效果：

1、本发明一种大数据清洗规范系统，能够保证大数据库的检查数据一致性，处理无效值和缺失值等都是基于数据的完整性；

2、本发明一种大数据清洗规范系统，能够有效对数据进行清洗，保证存储进入大数据存储模块内的数据的安全

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明系统流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

如图1所示，本发明一种大数据清洗规范系统，一种大数据清洗规范系统，包括数据采集模块、流量输入控制模块、异常数据检测模块、数据筛除模块、数据源对比模块和大数据存储模块，所述数据采集模块进行目标数据的采集，并将采集的目标数据传输至大数据存储模块，所述流量输入控制模块对数据采集模块传输的数据进行流量控制，所述异常数据检测模块对输入大数据存储模块的数据进行数据监测，并将异常数据进行标记，所述数据筛除模块对标注的异常数据进行删除，所述数据源对比模块将目标数据和采集模块来源数据进行对比，将对比结果输出至外部设备，所述大数据存储模块对目标数据进行分类存储。目前的大数据系统内，其进行数据清洗都是直接将数据进行一致性比对，这样会提高效率，但是对一些异常数据的筛除后的数据进行清洗，有可能会造成其判断数据完整性缺失，从而将该数据进行删除，这样不利于数据的存储，并且在本申请文件中采用的清洗规范系统会将数据进行一次异常检测，因为目前网络的数据有很多夹杂了亢余数据或者木马数据，通过异常数据检测模块将这些数据的特征码进行提取后，在该数据前附加一段特征码作为标记，然后利用数据筛除模块将该特征码的数据进行删除，既可以保证存储进入大数据存储模块的数据的数据安全，避免异常数据进入，并且还能够将亢余数据进行删除，保证存储容量的最大化运用。在利用数据源对比模块对进入大数据存储模块内的目标数据与其来源进行对比，对整体的完整性进行判断，避免出现数据筛除模块将有用的数据进行删除，而导致整个数据无效。

本系统还包括系统日志数据库，所述系统日志数据库在目标数据进入大数据存储模块后启动，将该目标数据的来源、获取时间、输入时间、异常数据检测结果进行记录，并将记录信息进行备份存储。系统日志数据能够存储这些记录数据，便于数据追溯，在进行追溯时，能够通过目标数据的来源和获取时间以及输入时间对目标数据进行自动判断，能够节省人工操作步骤。

所述日志数据库存储分类数据种类和传输至大数据存储库的时间，所述日志数据库数据溢出后将最早存储的数据内容进行覆盖。为了避免出现日志数据库内的最新数据遗失的情况，采用这种覆盖式数据式的存储方式，能够有效避免最新产生的数据遗失。而较早的数据内容能够通过移动硬盘进行导出，节省存储空间。

所述外部设备采用PC机、笔记本电脑、平板电脑、手机中任意一种。擦私用多种外部设备进行结果输出的接收，能够让用户在第一时间获取输出结果的信息，进行及时的处理。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种大数据清洗规范系统，其特征在于，包括数据采集模块、流量输入控制模块、异常数据检测模块、数据筛除模块、数据源对比模块和大数据存储模块，所述数据采集模块进行目标数据的采集，并将采集的目标数据传输至大数据存储模块，所述流量输入控制模块对数据采集模块传输的数据进行流量控制，所述异常数据检测模块对输入大数据存储模块的数据进行数据监测，并将异常数据进行标记，所述数据筛除模块对标注的异常数据进行删除，所述数据源对比模块将目标数据和采集模块来源数据进行对比，将对比结果输出至外部设备，所述大数据存储模块对目标数据进行分类存储。

2.根据权利要求1所述的一种大数据清洗规范系统，其特征在于，还包括系统日志数据库，所述系统日志数据库在目标数据进入大数据存储模块后启动，将该目标数据的来源、获取时间、输入时间、异常数据检测结果进行记录，并将记录信息进行备份存储。

3.根据权利要求2所述的一种大数据清洗规范系统，其特征在于，所述日志数据库存储分类数据种类和传输至大数据存储库的时间，所述日志数据库数据溢出后将最早存储的数据内容进行覆盖。

4.根据权利要求1所述的一种大数据清洗规范系统，其特征在于，所述外部设备采用PC机、笔记本电脑、平板电脑、手机中任意一种。