CN106354769A - 大数据清洗处理系统 - Google Patents

大数据清洗处理系统 Download PDF

Info

Publication number
CN106354769A
CN106354769A CN201610699161.3A CN201610699161A CN106354769A CN 106354769 A CN106354769 A CN 106354769A CN 201610699161 A CN201610699161 A CN 201610699161A CN 106354769 A CN106354769 A CN 106354769A
Authority
CN
China
Prior art keywords
data
unit
memory element
cleaning
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610699161.3A
Other languages
English (en)
Inventor
沈娅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Tiandi Network Technology Co Ltd
Original Assignee
Chengdu Tiandi Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Tiandi Network Technology Co Ltd filed Critical Chengdu Tiandi Network Technology Co Ltd
Priority to CN201610699161.3A priority Critical patent/CN106354769A/zh
Publication of CN106354769A publication Critical patent/CN106354769A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了大数据清洗处理系统，所述系统包括：采集单元，所述采集单元用于采集业务领域相关数据，并将采集的数据存储在存储单元中；第一存储单元，所述第一存储单元用于对采集的数据进行存储；清洗单元，所述清洗单元用于对存储单元中数据进行清洗处理；第二存储单元，所述第二存储单元用于将清洗后的数据进行存储，实现了系统设计合理，对大数据进行清洗处理，保障了大数据分析处理的准确性的技术效果。

Description

大数据清洗处理系统
技术领域
本发明涉及数据处理领域，具体地，涉及一种大数据清洗处理系统。
背景技术
大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
随着电子信息化的飞速发展，电子信息数据逐渐成为人们研究的重点，人们日常生活均离不开各种各样的数据，进而大数据成为了目前研究的热点。
在现有技术中，在进行大数据处理时，通常将需要处理的各种数据进行融合存储，然后进行大数据处理利用分析等，但是简单的数据采集融合存在数据不准确含有杂质数据的问题，现有技术中并没有对大数据的数据进行清洗，导致大数据处理分析不准确的问题。
综上所述，本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：
在现有技术中，现有的大数据分析处理存在没有对数据进行清洗，导致分析处理准确率较差的技术问题。
发明内容
本发明提供了一种大数据清洗处理系统，解决了现有的大数据分析处理存在没有对数据进行清洗，导致分析处理准确率较差的技术问题，实现了系统设计合理，对大数据进行清洗处理，保障了大数据分析处理的准确性的技术效果。
为解决上述技术问题，本申请实施例提供了大数据清洗处理系统，所述系统包括：
采集单元，所述采集单元用于采集业务领域相关数据，并将采集的数据存储在存储单元中；
第一存储单元，所述第一存储单元用于对采集的数据进行存储；
清洗单元，所述清洗单元用于对存储单元中数据进行清洗处理；
第二存储单元，所述第二存储单元用于将清洗后的数据进行存储。
其中，所述系统还包括显示单元，所述显示单元用于对第二存储单元存储的数据进行显示。
其中，所述清洗单元具体包括：
过滤条件输入模块，所述过滤条件输入模块用于用户输入过滤条件；
过滤模块，所述过滤模块用于基于过滤条件对第一存储单元中的数据进行过滤处理。
其中，所述系统还包括检查单元，所述检查单元用于对第二存储单元的数据进行检查，判断是否还包括需要清洗的数据。
其中，所述系统还包括报警单元，所述报警单元用于在第二存储单元存储空间小于预设值时进行报警。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
由于采用了将大数据清洗处理系统设计为包括：采集单元，所述采集单元用于采集业务领域相关数据，并将采集的数据存储在存储单元中；第一存储单元，所述第一存储单元用于对采集的数据进行存储；清洗单元，所述清洗单元用于对存储单元中数据进行清洗处理；第二存储单元，所述第二存储单元用于将清洗后的数据进行存储的技术方案，所以，有效解决了现有的大数据分析处理存在没有对数据进行清洗，导致分析处理准确率较差的技术问题，进而实现了系统设计合理，对大数据进行清洗处理，保障了大数据分析处理的准确性的技术效果。
附图说明
图1是本申请实施例一中大数据清洗处理系统的组成示意图。
具体实施方式
本发明提供了一种大数据清洗处理系统，解决了现有的大数据分析处理存在没有对数据进行清洗，导致分析处理准确率较差的技术问题，实现了系统设计合理，对大数据进行清洗处理，保障了大数据分析处理的准确性的技术效果。
本申请实施中的技术方案为解决上述技术问题。总体思路如下：
采用了将大数据清洗处理系统设计为包括：采集单元，所述采集单元用于采集业务领域相关数据，并将采集的数据存储在存储单元中；第一存储单元，所述第一存储单元用于对采集的数据进行存储；清洗单元，所述清洗单元用于对存储单元中数据进行清洗处理；第二存储单元，所述第二存储单元用于将清洗后的数据进行存储的技术方案，所以，有效解决了现有的大数据分析处理存在没有对数据进行清洗，导致分析处理准确率较差的技术问题，进而实现了系统设计合理，对大数据进行清洗处理，保障了大数据分析处理的准确性的技术效果。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例一：
在实施例一中，请参考图1，提供了大数据清洗处理系统，所述系统包括：
采集单元，所述采集单元用于采集业务领域相关数据，并将采集的数据存储在存储单元中；
第一存储单元，所述第一存储单元用于对采集的数据进行存储；
清洗单元，所述清洗单元用于对存储单元中数据进行清洗处理；
第二存储单元，所述第二存储单元用于将清洗后的数据进行存储。
其中，所述系统还包括显示单元，所述显示单元用于对第二存储单元存储的数据进行显示。
其中，所述清洗单元具体包括：
过滤条件输入模块，所述过滤条件输入模块用于用户输入过滤条件；
过滤模块，所述过滤模块用于基于过滤条件对第一存储单元中的数据进行过滤处理。
其中，所述系统还包括检查单元，所述检查单元用于对第二存储单元的数据进行检查，判断是否还包括需要清洗的数据。
其中，所述系统还包括报警单元，所述报警单元用于在第二存储单元存储空间小于预设值时进行报警。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
由于采用了将大数据清洗处理系统设计为包括：采集单元，所述采集单元用于采集业务领域相关数据，并将采集的数据存储在存储单元中；第一存储单元，所述第一存储单元用于对采集的数据进行存储；清洗单元，所述清洗单元用于对存储单元中数据进行清洗处理；第二存储单元，所述第二存储单元用于将清洗后的数据进行存储的技术方案，所以，有效解决了现有的大数据分析处理存在没有对数据进行清洗，导致分析处理准确率较差的技术问题，进而实现了系统设计合理，对大数据进行清洗处理，保障了大数据分析处理的准确性的技术效果。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.大数据清洗处理系统，其特征在于，所述系统包括：
采集单元，所述采集单元用于采集业务领域相关数据，并将采集的数据存储在存储单元中；
第一存储单元，所述第一存储单元用于对采集的数据进行存储；
清洗单元，所述清洗单元用于对存储单元中数据进行清洗处理；
第二存储单元，所述第二存储单元用于将清洗后的数据进行存储。
2.根据权利要求1所述的大数据清洗处理系统，其特征在于，所述系统还包括显示单元，所述显示单元用于对第二存储单元存储的数据进行显示。
3.根据权利要求1所述的大数据清洗处理系统，其特征在于，所述清洗单元具体包括：
过滤条件输入模块，所述过滤条件输入模块用于用户输入过滤条件；
过滤模块，所述过滤模块用于基于过滤条件对第一存储单元中的数据进行过滤处理。
4.根据权利要求1所述的大数据清洗处理系统，其特征在于，所述系统还包括检查单元，所述检查单元用于对第二存储单元的数据进行检查，判断是否还包括需要清洗的数据。
5.根据权利要求1所述的大数据清洗处理系统，其特征在于，所述系统还包括报警单元，所述报警单元用于在第二存储单元存储空间小于预设值时进行报警。
CN201610699161.3A 2016-08-22 2016-08-22 大数据清洗处理系统 Pending CN106354769A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610699161.3A CN106354769A (zh) 2016-08-22 2016-08-22 大数据清洗处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610699161.3A CN106354769A (zh) 2016-08-22 2016-08-22 大数据清洗处理系统

Publications (1)

Publication Number Publication Date
CN106354769A true CN106354769A (zh) 2017-01-25

Family

ID=57844270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610699161.3A Pending CN106354769A (zh) 2016-08-22 2016-08-22 大数据清洗处理系统

Country Status (1)

Country Link
CN (1) CN106354769A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108365977A (zh) * 2018-01-31 2018-08-03 佛山市聚成知识产权服务有限公司 一种互联网安全防护系统
CN109274764A (zh) * 2018-10-24 2019-01-25 中南民族大学 基于信息处理技术的环境数据采集系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111996A (zh) * 2014-07-07 2014-10-22 山大地纬软件股份有限公司 基于hadoop平台的医保门诊大数据抽取系统及方法
CN104933093A (zh) * 2015-05-19 2015-09-23 武汉泰迪智慧科技有限公司 基于大数据的地区舆情监控及决策辅助系统和方法
CN105138577A (zh) * 2015-07-30 2015-12-09 成都布林特信息技术有限公司 一种基于大数据的事件演化分析方法
CN105335814A (zh) * 2015-09-25 2016-02-17 湖南中德安普大数据网络科技有限公司 在线大数据智能云审计方法及系统
CN105450636A (zh) * 2015-11-06 2016-03-30 长春智信创联科技有限公司 一种云计算管理系统及云计算管理系统的管理方法
CN105701161A (zh) * 2015-12-31 2016-06-22 深圳先进技术研究院 实时大数据用户标签系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111996A (zh) * 2014-07-07 2014-10-22 山大地纬软件股份有限公司 基于hadoop平台的医保门诊大数据抽取系统及方法
CN104933093A (zh) * 2015-05-19 2015-09-23 武汉泰迪智慧科技有限公司 基于大数据的地区舆情监控及决策辅助系统和方法
CN105138577A (zh) * 2015-07-30 2015-12-09 成都布林特信息技术有限公司 一种基于大数据的事件演化分析方法
CN105335814A (zh) * 2015-09-25 2016-02-17 湖南中德安普大数据网络科技有限公司 在线大数据智能云审计方法及系统
CN105450636A (zh) * 2015-11-06 2016-03-30 长春智信创联科技有限公司 一种云计算管理系统及云计算管理系统的管理方法
CN105701161A (zh) * 2015-12-31 2016-06-22 深圳先进技术研究院 实时大数据用户标签系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108365977A (zh) * 2018-01-31 2018-08-03 佛山市聚成知识产权服务有限公司 一种互联网安全防护系统
CN109274764A (zh) * 2018-10-24 2019-01-25 中南民族大学 基于信息处理技术的环境数据采集系统及方法
CN109274764B (zh) * 2018-10-24 2019-12-31 中南民族大学 基于信息处理技术的环境数据采集系统及方法

Similar Documents

Publication Publication Date Title
CN103942210B (zh) 海量日志信息的处理方法、装置与系统
CN107403005A (zh) 一种网站监控方法及装置
CN108353149A (zh) Cctv自动选别监测系统cctv自动选别监测管理服务器及管理方法
EP2042960A3 (en) Adjustment of data collection rate based on anomaly detection
CN109992569A (zh) 集群日志特征提取方法、装置及存储介质
CN105335369A (zh) 计算机用户兴趣点反馈系统及反馈方法
US20120251001A1 (en) Electronic device with function of separating panels of digital comic strip and method thereof
CN104881477B (zh) 一种应用数据空间使用估算方法
CN105227573A (zh) 一种物理隔离网络数据交换装置及方法
CN106033324A (zh) 一种数据存储的方法和装置
CN106354769A (zh) 大数据清洗处理系统
CN107277649A (zh) 快递柜及其监控方法
CN106875084A (zh) 巡检后期任务创建方法及系统
CN106331085A (zh) 基于运营的大数据处理系统
CN107291878A (zh) 一种分布式存储文件系统的数据删除方法及装置
CN106250406A (zh) 一种日志处理方法
CN106250405A (zh) 一种海量信息处理系统
CN108197240B (zh) 行政服务微信公众号管理系统
CN110399405A (zh) 日志报警方法、装置、系统及存储介质
CN106251184A (zh) 基于大数据的交易处理系统
CN106227797A (zh) 一种海量日志信息的处理方法
CN104008098A (zh) 基于多义性关键词的文本过滤方法及装置
US20160103924A1 (en) Method and apparatus for acquiring information digest
CN105260346A (zh) 一种监控数据处理方法、装置及系统
CN105812203B (zh) 一种请求消息处理方法及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170125