CN111258509A - 一种大数据分析系统 - Google Patents

一种大数据分析系统 Download PDF

Info

Publication number
CN111258509A
CN111258509A CN202010121006.XA CN202010121006A CN111258509A CN 111258509 A CN111258509 A CN 111258509A CN 202010121006 A CN202010121006 A CN 202010121006A CN 111258509 A CN111258509 A CN 111258509A
Authority
CN
China
Prior art keywords
data
data information
module
storage duration
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010121006.XA
Other languages
English (en)
Inventor
于梦丽
黄艳伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010121006.XA priority Critical patent/CN111258509A/zh
Publication of CN111258509A publication Critical patent/CN111258509A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/562—Static detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种大数据分析系统，包括数据采集模块、数据传输模块、病毒检测模块、数据分类模块、数据存储模块和显示模块。在采集到数据信息之后进行病毒检测，只有数据信息没有病毒才进行后续的数据处理；数据分类模块实现数据分类处理，数据存储模块包括与数据信息分出的类数相等的内存数据库，各个内存数据库用于存储对应类的数据信息，提升数据分类和存储的可靠性，便于后期对相关类数据的调取；显示模块包括与数据信息分出的类数相等的显示单元，各个显示单元显示不同类的数据信息，提升数据信息显示的直观性，便于工作人员简单直接地获取到各类数据信息。因此，该大数据分析系统的数据分析可靠性较高，能够满足人们越来越高的要求。

Description

一种大数据分析系统
技术领域
本发明涉及一种大数据分析系统。
背景技术
大数据一般是指无法在一定时间范围内用传统的计算机技术进行处理的海量数据集。因此 ，对于大数据的分析至关重要。大数据的分析应用于很多领域场合，比如对商业大数据的分析，比如对消费数据的分析和物价数据的分析，网络大数据分析等等。但是，目前的大数据分析系统只能进行简单的数据分析处理，随着计算机智能化的提升，现在的大数据分析系统可靠性较低，无法满足越来越高的要求。
发明内容
本发明的目的在于提供一种大数据分析系统，用于解决现在的大数据分析系统可靠性较低，无法满足越来越高的要求的问题。
为了解决上述问题，本发明采用以下技术方案：
一种大数据分析系统，包括：数据采集模块、数据传输模块、病毒检测模块、数据分类模块、数据存储模块和显示模块；
所述数据采集模块用于采集数据信息；
所述数据传输模块用于将采集到的数据信息传输至病毒检测模块；
所述病毒检测模块用于对所述采集到的数据信息进行病毒检测，若所述采集到的数据信息没有病毒，则将所述采集到的数据信息传输至所述数据分类模块；
所述数据分类模块用于对所述采集到的数据信息进行分类处理，分为N类数据信息，所述N≥2；
所述数据存储模块包括N个内存数据库，各内存数据库与各类数据信息一一对应，各内存数据库用于存储对应类的数据信息；
所述显示模块包括N个显示单元，各显示单元与各类数据信息一一对应，各显示单元用于显示对应类的数据信息。
可选地，所述数据存储模块还包括N个磁盘数据库，各磁盘数据库与各类数据信息一一对应；
所述大数据分析系统还包括存储时长判断模块和数据转移模块，对于任意一类数据信息，所述存储时长判断模块用于比较存储于对应内存数据库中的数据信息的存储时长与预设存储时长，若所述存储于对应内存数据库中的数据信息的存储时长大于所述预设存储时长，则数据转移模块将所述存储于对应内存数据库中的数据信息转移至对应磁盘数据库中。
可选地，所述大数据分析系统还包括数据读取模块，对于任意一类数据信息，当读取该类数据信息时，若该类数据信息的存储时长小于或者等于所述预设存储时长，则从对应的内存数据库中读取该类数据信息；若该类数据信息的存储时长大于所述预设存储时长，则从对应的磁盘数据库中读取该类数据信息。
本发明的有益效果为：在采集到数据信息之后进行病毒检测，只有采集到的数据信息没有病毒才进行后续的数据处理，提升数据信息以及系统的安全性，进而提升大数据分类的可靠性和安全性；数据分类模块实现数据分类处理，数据存储模块包括与数据信息分出的类数相等的内存数据库，各个内存数据库用于存储对应类的数据信息，即每一个内存数据库中存储的数据信息不同类，通过这种存储方式能够提升数据分类和存储的可靠性，当后期调取某一类数据信息时，能够方便快捷地从对应的数据库中进行调取；显示模块包括与数据信息分出的类数相等的显示单元，各个显示单元用于显示不同类的数据信息，通过这种显示方式能够提升数据信息显示的直观性，便于工作人员简单直接地获取到各类数据信息。因此，该大数据分析系统的数据分析可靠性较高，能够满足人们越来越高的要求。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍：
图1是大数据分析系统的结构示意图。
具体实施方式
如图1所示，本实施例提供一种大数据分析系统，包括：数据采集模块、数据传输模块、病毒检测模块、数据分类模块、数据存储模块和显示模块。该大数据分析系统的应用场合不过限定，可以应用在商业中，则相关的数据信息可以为消费数据或者物价数据，也可以应用在电力中，则相关的数据信息可以为某一地区的电力线网的电力数据，包括电压、电流、有功功率等，还可以应用在网络信息领域中，则相关的数据信息为日志记录文件。
大数据分析系统的各模块可以为硬件模块，也可以为软件模块，不管是硬件模块还是软件模块，各模块的连接关系如图1所示。
数据采集模块用于采集数据信息，数据采集模块可以为用于采集各数据的采集设备，比如电压传感器、电流传感器等等。
数据传输模块用于将采集到的数据信息传输至病毒检测模块，数据传输模块可以为通信线路，或者具有通信传输功能的芯片。
病毒检测模块接收数据采集模块采集到的数据信息，对采集到的数据信息进行病毒检测。病毒检测模块可以为常规的病毒检测软件程序。若采集到的数据信息没有病毒，则病毒检测模块将采集到的数据信息传输至数据分类模块。另外，若病毒检测模块检测到采集到的数据信息有病毒，则不将采集到的数据信息进行后续处理，即终止数据分析。
数据分类模块接收采集到的数据信息，对数据信息进行分类处理，分为N类数据信息，N≥2（图1中以N＝3为例）。由于采集到的数据信息包括很多种数据，那么，数据分类模块将采集到的数据信息进行分类处理，分为至少两类。数据分类模块的具体分类规则由实际应用场合决定。不同应用场合的数据分成的具体类型以及种类个数可能不同，比如：电力领域中的大数据包括：电压数据、电流数据、有功功率数据、无功功率数据、功率因数数据、变压器故障数据、线路故障数据等等。将电力领域中的大数据分为三类，分别是基本电气类数据、电能质量类数据以及故障类数据。那么，基本电气类数据包括电压数据和电流数据，电能质量类数据包括有功功率数据、无功功率数据和功率因数数据，故障类数据包括变压器故障数据和线路故障数据。
数据存储模块包括N个内存数据库，即内存数据库的个数与数据信息的分的类数相等，且各内存数据库与各类数据信息一一对应，各内存数据库用于存储对应类的数据信息。内存数据库就是将数据放在内存中直接操作的数据库，相对于磁盘，内存的数据读写速度要高出几个数量级，将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。
进一步地，数据存储模块还包括N个磁盘数据库，即磁盘数据库的个数与内存数据库的个数相等，各磁盘数据库与各类数据信息一一对应，相应地，大数据分析系统还包括存储时长判断模块和数据转移模块，存储时长判断模块连接数据转移模块。存储时长判断模块可以只设置一个，该存储时长判断模块控制所有的内存数据库，也可以设置N个存储时长判断模块，各内存数据库与各存储时长判断模块一一对应，存储时长判断模块连接对应的内存数据库，用于控制对应的内存数据库。同理，数据转移模块可以只设置一个，该数据转移模块控制所有的内存数据库，也可以设置N个数据转移模块，各内存数据库与各数据转移模块一一对应，各数据转移模块控制对应的内存数据库。数据转移模块连接对应的内存数据库和对应的磁盘数据库。
对于任意一类数据信息，存储时长判断模块比较存储于对应内存数据库中的数据信息的存储时长与预设存储时长。存储于内存数据库的数据信息均有一定的存储时长，即从存储开始时刻与之后的某一个时刻之间的时间段；预设存储时长用于实现后续判定，具体数值由实际需要进行设置。若存储于对应内存数据库中的数据信息的存储时长大于预设存储时长，则数据转移模块将存储于对应内存数据库中的数据信息转移至对应磁盘数据库中。例如：基本电气类数据存储于第一个内存数据库，对应第一个磁盘数据库，那么，若存储时长判断模块比较存储于第一个内存数据库中的基本电气类数据的存储时长大于预设存储时长，则数据转移模块将存储于第一个内存数据库中的基本电气类数据转移至第一个磁盘数据库中。
大数据分析系统还包括数据读取模块，实现数据读取。对于任意一类数据信息，当读取该类数据信息时，需要判断存储时长与预设存储时长的大小关系，若该类数据信息的存储时长小于或者等于预设存储时长，则从对应的内存数据库中读取该类数据信息；若该类数据信息的存储时长大于预设存储时长，则从对应的磁盘数据库中读取该类数据信息。为了便于数据读取，数据存储模块还可以包括一个存储芯片，用于存储各类数据信息的存储位置，并根据存储时长与预设存储时长的大小关系实时更新各类数据信息的存储位置，那么，通过该存储芯片就能够得到各类数据信息的存储位置，然后进行数据读取。例如：当读取基本电气类数据时，判断存储时长与预设存储时长的大小关系，若基本电气类数据的存储时长小于或者等于预设存储时长，则从第一个内存数据库中读取该基本电气类数据；若基本电气类数据的存储时长大于预设存储时长，则从第一个磁盘数据库中读取该基本电气类数据。
另外，在进行数据读取时，还可以同时读取所有的数据库，这样，不管数据信息存储至哪一个数据库，均能够读取到对应的数据信息。
由于内存数据库的读写性能较高，将数据信息存储至内存数据库，能够有效提高存储效率以及存储可靠性，保证数据不易丢失，而且，在读取内存数据库中的数据信息时，能够提升读取效率以及读取可靠性；而且，为了最大程度实现内存数据库的读写性能，将存储于内存数据库的存储时长大于预设存储时长的数据信息由内存数据库转移至磁盘数据库，存储时长过大的数据信息，能够在一定程度上反映重要性比较低，那么，将其移动到读写性能较低，但是存储容量较大的磁盘数据库，能够最大程度实现磁盘数据库的性能，因此，通过这种存储方式能够同时集内存数据库和磁盘数据库的性能之所长，提升数据读写的效率以及可靠性和安全性，避免数据丢失；在读取数据信息时，根据存储时长确定所处的数据库，提升读取效率以及速度，降低系统工作负担。
显示模块包括N个显示单元，即显示单元与数据信息的分的类数相等，各显示单元与各类数据信息一一对应，各显示单元用于显示对应类的数据信息。显示单元可以为常规的显示器。那么，各显示单元均只显示一类数据信息。
上述实施例仅以一种具体的实施方式说明本发明的技术方案，任何对本发明进行的等同替换及不脱离本发明精神和范围的修改或局部替换，其均应涵盖在本发明权利要求保护的范围之内。

Claims (3)

1.一种大数据分析系统，其特征在于，包括：数据采集模块、数据传输模块、病毒检测模块、数据分类模块、数据存储模块和显示模块；
所述数据采集模块用于采集数据信息；
所述数据传输模块用于将采集到的数据信息传输至病毒检测模块；
所述病毒检测模块用于对所述采集到的数据信息进行病毒检测，若所述采集到的数据信息没有病毒，则将所述采集到的数据信息传输至所述数据分类模块；
所述数据分类模块用于对所述采集到的数据信息进行分类处理，分为N类数据信息，所述N≥2；
所述数据存储模块包括N个内存数据库，各内存数据库与各类数据信息一一对应，各内存数据库用于存储对应类的数据信息；
所述显示模块包括N个显示单元，各显示单元与各类数据信息一一对应，各显示单元用于显示对应类的数据信息。
2.根据权利要求1所述的大数据分析系统，其特征在于，所述数据存储模块还包括N个磁盘数据库，各磁盘数据库与各类数据信息一一对应；
所述大数据分析系统还包括存储时长判断模块和数据转移模块，对于任意一类数据信息，所述存储时长判断模块用于比较存储于对应内存数据库中的数据信息的存储时长与预设存储时长，若所述存储于对应内存数据库中的数据信息的存储时长大于所述预设存储时长，则数据转移模块将所述存储于对应内存数据库中的数据信息转移至对应磁盘数据库中。
3.根据权利要求2所述的大数据分析系统，其特征在于，所述大数据分析系统还包括数据读取模块，对于任意一类数据信息，当读取该类数据信息时，若该类数据信息的存储时长小于或者等于所述预设存储时长，则从对应的内存数据库中读取该类数据信息；若该类数据信息的存储时长大于所述预设存储时长，则从对应的磁盘数据库中读取该类数据信息。
CN202010121006.XA 2020-02-26 2020-02-26 一种大数据分析系统 Pending CN111258509A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010121006.XA CN111258509A (zh) 2020-02-26 2020-02-26 一种大数据分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010121006.XA CN111258509A (zh) 2020-02-26 2020-02-26 一种大数据分析系统

Publications (1)

Publication Number Publication Date
CN111258509A true CN111258509A (zh) 2020-06-09

Family

ID=70951273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010121006.XA Pending CN111258509A (zh) 2020-02-26 2020-02-26 一种大数据分析系统

Country Status (1)

Country Link
CN (1) CN111258509A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203444572U (zh) * 2013-08-27 2014-02-19 上海邦文电子科技有限公司 一种多功能自助终端机
CN105912703A (zh) * 2016-04-26 2016-08-31 北京百度网讯科技有限公司 数据存储方法、查询方法及装置
CN108875397A (zh) * 2018-07-12 2018-11-23 江苏慧学堂系统工程有限公司 一种web数据采集方法及系统
CN109194614A (zh) * 2018-07-31 2019-01-11 温州市图盛科技有限公司 一种基于区块链的电力数据处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203444572U (zh) * 2013-08-27 2014-02-19 上海邦文电子科技有限公司 一种多功能自助终端机
CN105912703A (zh) * 2016-04-26 2016-08-31 北京百度网讯科技有限公司 数据存储方法、查询方法及装置
CN108875397A (zh) * 2018-07-12 2018-11-23 江苏慧学堂系统工程有限公司 一种web数据采集方法及系统
CN109194614A (zh) * 2018-07-31 2019-01-11 温州市图盛科技有限公司 一种基于区块链的电力数据处理方法

Similar Documents

Publication Publication Date Title
CN109214290A (zh) 一种基于人脸识别的门店客户管理方法及装置
CN208126425U (zh) 一种电力机房电网设备监控管理系统
CN110263222A (zh) 一种数据获取方法、装置、设备及介质
CN203149604U (zh) 工业设备智能巡检手抄器系统
CN115714933A (zh) 一种采集器适配电表的方法、系统、介质及设备
CN117395250A (zh) 一种云边端工业智能适配系统
CN114169303A (zh) 基于vue.js的表格编辑方法、装置、设备及介质
CN206775533U (zh) 一种用于公共平台的网络舆情监控系统
CN108389131A (zh) 一种金融系统微服务交易监控实现方法
CN111258509A (zh) 一种大数据分析系统
CN115567563B (zh) 基于端边云的综合交通枢纽监测预警系统及其控制方法
CN109683810B (zh) 一种读写方法及终端
CN102332111A (zh) 一种人事管理系统
CN209216091U (zh) 一种用于高速通信的ai智能计算卡
CN207051911U (zh) 一种带有多种自动识别功能的智能识别验证终端
CN206877374U (zh) 一种电力营销智能平台
CN208778043U (zh) 一种用于矿山安全风险分级管控的隐患排查系统
CN214670128U (zh) 一种智能化物流仓储控制装置
CN214200194U (zh) 一种变电站信息智能化监测系统
CN108345510A (zh) 一种自动巡检检测大规模离线归档系统可靠性的方法
CN210324216U (zh) 一种基于二维码的信息管理系统
LU504611B1 (en) Thermal processing data processing system based on artificial intelligence and its method
CN113347230B (zh) 基于可编程交换机的负载均衡方法、装置、设备及介质
CN113946296B (zh) 一种具有掉电保护功能的分布式储存系统
CN115684688B (zh) 针对防窃电系统的图像监测传递系统与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200609