CN108399203A - 基于大数据平台的数据筛选系统 - Google Patents

基于大数据平台的数据筛选系统 Download PDF

Info

Publication number
CN108399203A
CN108399203A CN201810095621.0A CN201810095621A CN108399203A CN 108399203 A CN108399203 A CN 108399203A CN 201810095621 A CN201810095621 A CN 201810095621A CN 108399203 A CN108399203 A CN 108399203A
Authority
CN
China
Prior art keywords
data
screening
information
module
platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810095621.0A
Other languages
English (en)
Inventor
王国庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei And Jun Zheng Ce Information Technology Co Ltd
Original Assignee
Hefei And Jun Zheng Ce Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei And Jun Zheng Ce Information Technology Co Ltd filed Critical Hefei And Jun Zheng Ce Information Technology Co Ltd
Priority to CN201810095621.0A priority Critical patent/CN108399203A/zh
Publication of CN108399203A publication Critical patent/CN108399203A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种基于大数据平台的数据筛选系统，涉及数据筛选技术领域。包括数据分析筛选系统和大数据平台；数据分析筛选系统通过数据传输及存储模块与大数据平台进行信息交互；大数据平台通过数据传输及存储模块分别与数据分类单元、数据库、终端设备进行信息交互；数据分类单元与若干数据采集模块连接；数据分析筛选系统包括数据提取模块、数据分析单元、图像分析单元、数据筛选单元和异常数据模块。本发明通过数据分析筛选系统和大数据平台的作用，解决了存在多重筛选、处理方式繁琐、导致筛选耗时长、效率低、筛选后的数据信息不够简单明了，对用户终端设备的配置要求高，浪费服务器资源的问题。

Description

基于大数据平台的数据筛选系统
技术领域
本发明属于数据筛选技术领域，特别是涉及一种基于大数据平台的数据筛选系统。
背景技术
随着互联网的发展，网络中的数据信息量呈现指数式增长，随之带来了海量数据信息的问题，要想在海量数据信息中分析出所蕴含的价值，筛选出有价值的数据信息显得十分重要。
数据筛选可以提高已经收集和存储的相关数据信息的可用性，更利于后期数据分析。在现有的电子计算设备处理领域中，数据筛选是指从大量的数据中选取需要的部分，是对数据进行有条件地、有选择性地选取操作。通过数据筛选可以将不符合某些条件的记录屏蔽或删除，只需显示或保留符合条件的记录，以方便用户的使用。
传统的方式存在多重筛选、处理方式繁琐、导致筛选耗时长、效率低、筛选后的数据信息不够简单明了，对用户设备的配置要求高，浪费服务器资源的问题。
发明内容
本发明的目的在于提供基于大数据平台的数据筛选系统，通过数据分析筛选系统和大数据平台的作用，解决了存在多重筛选、处理方式繁琐、导致筛选耗时长、效率低、筛选后的数据信息不够简单明了，对用户终端设备的配置要求高，浪费服务器资源的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为基于大数据平台的数据筛选系统，包括数据分析筛选系统和大数据平台；
所述数据分析筛选系统通过数据传输及存储模块与大数据平台进行信息交互；
所述大数据平台通过数据传输及存储模块与数据分类单元进行信息交互；所述数据分类单元与若干数据采集模块连接；所述大数据平台通过数据传输及存储模块与数据库进行信息交互；所述大数据平台通过数据传输及存储模块与终端设备进行信息交互；所述大数据平台的作用是，只需用户发送数据信息和条件信息，接收筛选数据信息，大大减少了用户数据信息的发送量和接收量，具有降低用户设备的配置要求、提高用户体验感受的优点；
所述数据分析筛选系统包括数据提取模块、数据分析单元、图像分析单元、数据筛选单元和异常数据模块；所述数据提取模块与数据分析单元连接；所述数据分析单元与图像分析单元连接；所述数据分析单元与数据筛选单元连接；所述数据分析单元与异常数据模块连接。
进一步地，所述数据采集模块向数据分类单元输出数据信息；所述数据分类单元将数据进行分类存储；所述数据分类单元向大数据平台输出数据信息。
进一步地，所述数据库接收大数据平台的更新数据信息；所述数据库向大数据平台输出数据信息。
进一步地，所述数据提取模块通过大数据平台接收数据库的数据信息；所述数据提取模块向数据分析单元输出数据信息；所述数据分析单元对数据信息进行分析、处理；
所述数据分析单元向图像分析单元输出数据信息；所述图像分析单元根据数据信息制成图表的数据信息；所述图表的数据信息为散点图、扇形图、雷达图、折线图、柱形图、表格的数据信息；所述图表的数据信息使得人们观察数据信息，显得简单明了，具有直观、形象的表达数据的信息，更好的表现数据之间的内在关系的优点；
所述数据分析单元将数值与统计数据的均值的偏差超过三倍的标准差时，所述数据分析单元将这个数值剔除，并标记为异常数据；所述数据分析单元向异常数据模块输出异常数据信息；
所述数据分析单元向数据筛选单元输出处理后的数据信息。
进一步地，所述数据筛选单元包括微处理器、条件筛选模块、剔除筛选模块和优先级筛选模块；所述微处理器接收数据筛选单元处理后的数据信息；所述微处理器通过大数据平台接收终端设备的筛选信息；所述微处理器向条件筛选模块输出筛选条件信息；所述微处理器向剔除筛选模块输出剔除条件信息；所述微处理器向优先级筛选模块输出三个优先级条件信息；所述微处理器通过大数据平台向终端设备输出数据筛选信息；
所述条件筛选模块、剔除筛选模块和优先级筛选模块分别接收微处理器的筛选信息；所述条件筛选模块对数据信息进行相应的条件筛选；所述剔除筛选模块对数据信息进行相应的剔除筛选；所述优先级筛选模块对数据信息进行相应的条件筛选，并根据优先级进行先后排列；所述条件筛选模块、剔除筛选模块和优先级筛选模块分别向微处理器输出数据筛选信息；可以根据不同需求进行各类别的筛选，可以根据不同需求选择其中一种或两种、多种筛选方式，具有多样化的条件筛选、避免多重筛选、简化处理方式的优点，从而达到了耗时短，处理快捷、效率高的效果。
进一步地，所述终端设备包括台式电脑、笔记本电脑、平板电脑、手机。
本发明具有以下有益效果：
1、本发明通过数据分析筛选系统和大数据平台的作用，具有多样化的条件筛选、避免多重筛选、简化处理方式的优点，从而达到了耗时短，处理快捷、效率高、降低用户设备的配置要求、提高用户体验感受的优点。
2、本发明通过图像分析单元的作用，使得人们观察数据信息，显得简单明了，具有直观、形象的表达数据的信息，更好的表现数据之间的内在关系的优点。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的基于大数据平台的数据筛选系统示意图；
图2为数据分析筛选系统示意图；
图3为数据筛选单元示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-3所示，本发明为基于大数据平台的数据筛选系统，包括数据分析筛选系统和大数据平台；
数据分析筛选系统通过数据传输及存储模块与大数据平台进行信息交互；
大数据平台通过数据传输及存储模块与数据分类单元进行信息交互；数据分类单元与若干数据采集模块连接；大数据平台通过数据传输及存储模块与数据库进行信息交互；大数据平台通过数据传输及存储模块与终端设备进行信息交互；大数据平台的作用是，只需用户发送数据信息和条件信息，接收筛选数据信息，大大减少了用户数据信息的发送量和接收量，具有降低用户设备的配置要求、提高用户体验感受的优点；
数据分析筛选系统包括数据提取模块、数据分析单元、图像分析单元、数据筛选单元和异常数据模块；数据提取模块与数据分析单元连接；数据分析单元与图像分析单元连接；数据分析单元与数据筛选单元连接；数据分析单元与异常数据模块连接。
其中，数据采集模块向数据分类单元输出数据信息；数据分类单元将数据进行分类存储；数据分类单元向大数据平台输出数据信息。
其中，数据库接收大数据平台的更新数据信息；数据库向大数据平台输出数据信息。
其中，数据提取模块通过大数据平台接收数据库的数据信息；数据提取模块向数据分析单元输出数据信息；数据分析单元对数据信息进行分析、处理；
数据分析单元向图像分析单元输出数据信息；图像分析单元根据数据信息制成图表的数据信息；图表的数据信息为散点图、扇形图、雷达图、折线图、柱形图、表格的数据信息；图表的数据信息使得人们观察数据信息，显得简单明了，具有直观、形象的表达数据的信息，更好的表现数据之间的内在关系的优点；
数据分析单元将数值与统计数据的均值的偏差超过三倍的标准差时，数据分析单元将这个数值剔除，并标记为异常数据；数据分析单元向异常数据模块输出异常数据信息；
数据分析单元向数据筛选单元输出处理后的数据信息。
其中，数据筛选单元包括微处理器、条件筛选模块、剔除筛选模块和优先级筛选模块；微处理器接收数据筛选单元处理后的数据信息；微处理器通过大数据平台接收终端设备的筛选信息；微处理器向条件筛选模块输出筛选条件信息；微处理器向剔除筛选模块输出剔除条件信息；微处理器向优先级筛选模块输出三个优先级条件信息；微处理器通过大数据平台向终端设备输出数据筛选信息；
条件筛选模块、剔除筛选模块和优先级筛选模块分别接收微处理器的筛选信息；条件筛选模块对数据信息进行相应的条件筛选；剔除筛选模块对数据信息进行相应的剔除筛选；优先级筛选模块对数据信息进行相应的条件筛选，并根据优先级进行先后排列；条件筛选模块、剔除筛选模块和优先级筛选模块分别向微处理器输出数据筛选信息；可以根据不同需求进行各类别的筛选，可以根据不同需求选择其中一种或两种、多种筛选方式，具有多样化的条件筛选、避免多重筛选、简化处理方式的优点，从而达到了耗时短，处理快捷、效率高的效果。
其中，终端设备包括台式电脑、笔记本电脑、平板电脑、手机。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (6)

1.基于大数据平台的数据筛选系统，其特征在于：包括数据分析筛选系统和大数据平台；
所述数据分析筛选系统通过数据传输及存储模块与大数据平台进行信息交互；
所述大数据平台通过数据传输及存储模块与数据分类单元进行信息交互；所述数据分类单元与若干数据采集模块连接；所述大数据平台通过数据传输及存储模块与数据库进行信息交互；所述大数据平台通过数据传输及存储模块与终端设备进行信息交互；
所述数据分析筛选系统包括数据提取模块、数据分析单元、图像分析单元、数据筛选单元和异常数据模块；所述数据提取模块与数据分析单元连接；所述数据分析单元与图像分析单元连接；所述数据分析单元与数据筛选单元连接；所述数据分析单元与异常数据模块连接。
2.根据权利要求1所述的基于大数据平台的数据筛选系统，其特征在于，所述数据采集模块向数据分类单元输出数据信息；所述数据分类单元将数据进行分类存储；所述数据分类单元向大数据平台输出数据信息。
3.根据权利要求1所述的基于大数据平台的数据筛选系统，其特征在于，所述数据库接收大数据平台的更新数据信息；所述数据库向大数据平台输出数据信息。
4.根据权利要求1所述的基于大数据平台的数据筛选系统，其特征在于，所述数据提取模块通过大数据平台接收数据库的数据信息；所述数据提取模块向数据分析单元输出数据信息；所述数据分析单元对数据信息进行分析、处理；
所述数据分析单元向图像分析单元输出数据信息；所述图像分析单元根据数据信息制成图表的数据信息；
所述数据分析单元将按照某一规律相差较大的数值剔除，并标记为异常数据；所述数据分析单元向异常数据模块输出异常数据信息；
所述数据分析单元向数据筛选单元输出处理后的数据信息。
5.根据权利要求1所述的基于大数据平台的数据筛选系统，其特征在于，所述数据筛选单元包括微处理器、条件筛选模块、剔除筛选模块和优先级筛选模块；所述微处理器接收数据筛选单元处理后的数据信息；所述微处理器向条件筛选模块输出筛选条件信息；所述微处理器向剔除筛选模块输出剔除条件信息；所述微处理器向优先级筛选模块输出若干优先级条件信息；所述微处理器通过大数据平台向终端设备输出数据筛选信息。
6.根据权利要求1所述的基于大数据平台的数据筛选系统，其特征在于，所述终端设备包括台式电脑、笔记本电脑、平板电脑、手机。
CN201810095621.0A 2018-01-31 2018-01-31 基于大数据平台的数据筛选系统 Withdrawn CN108399203A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810095621.0A CN108399203A (zh) 2018-01-31 2018-01-31 基于大数据平台的数据筛选系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810095621.0A CN108399203A (zh) 2018-01-31 2018-01-31 基于大数据平台的数据筛选系统

Publications (1)

Publication Number Publication Date
CN108399203A true CN108399203A (zh) 2018-08-14

Family

ID=63095376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810095621.0A Withdrawn CN108399203A (zh) 2018-01-31 2018-01-31 基于大数据平台的数据筛选系统

Country Status (1)

Country Link
CN (1) CN108399203A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111125133A (zh) * 2019-12-19 2020-05-08 武汉玉璧互联科技有限公司 一种体育赛事数据统计方法及系统
CN111126717A (zh) * 2020-02-05 2020-05-08 江苏星月测绘科技股份有限公司 一种时空大数据共享和服务模型构建方法
CN111652485A (zh) * 2020-05-25 2020-09-11 青海绿能数据有限公司 一种基于大数据平台的新能源数据采集分析系统
CN111798314A (zh) * 2020-06-30 2020-10-20 绍兴柯桥铂林科技有限公司 一种基于ai及大数据的算法自动化交易策略风控系统
CN113343691A (zh) * 2021-07-01 2021-09-03 浙江万里学院 一种大数据监测终端及其应用方法
CN114661705A (zh) * 2022-04-15 2022-06-24 广州双知网络科技有限公司 一种基于云计算的大数据分析系统
CN115114353A (zh) * 2022-08-29 2022-09-27 湖南警云智慧信息科技有限公司 一种大数据的筛选方法和系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111125133A (zh) * 2019-12-19 2020-05-08 武汉玉璧互联科技有限公司 一种体育赛事数据统计方法及系统
CN111126717A (zh) * 2020-02-05 2020-05-08 江苏星月测绘科技股份有限公司 一种时空大数据共享和服务模型构建方法
CN111126717B (zh) * 2020-02-05 2020-11-06 江苏星月测绘科技股份有限公司 一种时空大数据共享和服务模型构建方法
CN111652485A (zh) * 2020-05-25 2020-09-11 青海绿能数据有限公司 一种基于大数据平台的新能源数据采集分析系统
CN111798314A (zh) * 2020-06-30 2020-10-20 绍兴柯桥铂林科技有限公司 一种基于ai及大数据的算法自动化交易策略风控系统
CN113343691A (zh) * 2021-07-01 2021-09-03 浙江万里学院 一种大数据监测终端及其应用方法
CN114661705A (zh) * 2022-04-15 2022-06-24 广州双知网络科技有限公司 一种基于云计算的大数据分析系统
CN115114353A (zh) * 2022-08-29 2022-09-27 湖南警云智慧信息科技有限公司 一种大数据的筛选方法和系统
CN115114353B (zh) * 2022-08-29 2022-12-13 湖南警云智慧信息科技有限公司 一种大数据的筛选方法和系统

Similar Documents

Publication Publication Date Title
CN108399203A (zh) 基于大数据平台的数据筛选系统
CN101312559A (zh) 基于移动通信终端的消费短信息管理方法及移动通信终端
CN109325218A (zh) 一种数据筛选统计方法、装置、电子设备及存储介质
CN111352800A (zh) 大数据集群监控方法及相关设备
CN101959308A (zh) 一种无线数据业务分类方法及装置
CN103414596A (zh) 基于简单管理网络协议识别所有厂商Trap及处理的方法
CN105045833A (zh) 用户好友关系的分类方法及装置
CN109819128A (zh) 一种电话录音的质检方法和装置
CN114390451A (zh) 基于消息队列的5g消息批量发送方法、装置及电子设备
CN111338888B (zh) 一种数据统计方法、装置、电子设备及存储介质
CN111147306B (zh) 一种物联网设备的故障分析方法、装置以及物联网平台
CN113993167A (zh) 数据流调度方法、终端及存储介质
CN113676533A (zh) 一种基于物联网数据压缩的传输通道确定方法及系统
CN104346151B (zh) 一种信息处理方法及电子设备
CN114510299A (zh) 处理人工智能业务的方法、装置以及存储介质
CN109585013A (zh) 一种分布式医学诊断分析方法及系统
CN114422404A (zh) 流量统计方法、装置、设备和存储介质
CN107526847A (zh) 一种基于云计算的专利信息分析系统
CN112702258B (zh) 聊天消息的分享方法、装置和电子设备
CN105243188B (zh) 一种智能变电站监控信息量自动筛选方法
CN113705625A (zh) 异常生活保障申请家庭的识别方法、装置及电子设备
CN106933933A (zh) 数据表信息的处理方法及装置
CN112988829A (zh) 一种大数据分析处理系统
CN110515997A (zh) 一种大数据智能分析系统
CN106557527A (zh) 一种色情图像检测和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180814