CN108427764A - 用于大数据的收集防丢失系统 - Google Patents

用于大数据的收集防丢失系统 Download PDF

Info

Publication number
CN108427764A
CN108427764A CN201810241200.4A CN201810241200A CN108427764A CN 108427764 A CN108427764 A CN 108427764A CN 201810241200 A CN201810241200 A CN 201810241200A CN 108427764 A CN108427764 A CN 108427764A
Authority
CN
China
Prior art keywords
data
module
information
memory module
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810241200.4A
Other languages
English (en)
Inventor
赵世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui 1186 Materials Technology Co Ltd
Original Assignee
Anhui 1186 Materials Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui 1186 Materials Technology Co Ltd filed Critical Anhui 1186 Materials Technology Co Ltd
Priority to CN201810241200.4A priority Critical patent/CN108427764A/zh
Publication of CN108427764A publication Critical patent/CN108427764A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了用于大数据的收集防丢失系统，包括数据采集模块、信息过滤模块、数据存储模块、日志备份模块、安全监控模块和数据溢出警示模块，所述数据采集模块在网络上进行目标数据的采集，并将采集数据发送至信息过滤模块，所述信息过滤模块将数据采集模块的数据进行整理并分类，将分类后的数据发送至安全监控模块和数据存储模块，所述数据存储模块将数据资料进行存储保存，所述日志备份模块在数据存储模块接入资料时，从数据存储模块内调取接入数据来源信息，并将其来源信息进行备份存储，所述安全监控模块对数据采集模块采集的数据进行监控，将异常的采集数据进行隔离。

Description

用于大数据的收集防丢失系统
技术领域
本发明涉及一种数据防丢失系统，具体涉及用于大数据的收集防丢失系统。
背景技术
随着大数据时代的来临，用户群体的迅速扩张，用户对数据的稳定性、可靠性和安全性的要求越来越高。数据采集处理和存储服务是配电自动化系统的基本功能，也是实现馈线故障自动处理、实时拓扑分析和电网动态着色等高级应用的基础。而在大容量情况下进行压力测试，即短时间内模拟大量遥信和遥测变化，就有可能导致配电自动化系统丢失实时数据，此时要进行计算机节点或通讯链路的切换，切换过程中一般也会丢失实时数据。常见的用于配电自动化系统防止数据丢失的方法是利用数据缓存技术，该技术可在一定程度上缓解计算机节点或通讯链路的切换过程中丢失实时信息的情况，但难点是缓存时间的选择：缓存的时间过长，会对系统性能造成较大的影响，而缓存时间过短又可能导致实时信息丢失。另外，用于数据存储的商用数据库异常，也会造成历史数据丢失。
发明内容
本发明所要解决的技术问题是目前的数据收集时，不能够有效对数据来源进行备份存储，对数据类型分类设置，并且在采集时，可能将异常的危险数据存储至数据库内，影响其他数据的安全，目的在于提供用于大数据的收集防丢失系统，解决上述的问题。
本发明通过下述技术方案实现：
用于大数据的收集防丢失系统，包括数据采集模块、信息过滤模块、数据存储模块、日志备份模块、安全监控模块和数据溢出警示模块，所述数据采集模块在网络上进行目标数据的采集，并将采集数据发送至信息过滤模块，所述信息过滤模块将数据采集模块的数据进行整理并分类，将分类后的数据发送至安全监控模块和数据存储模块，所述数据存储模块将数据资料进行存储保存，所述日志备份模块在数据存储模块接入资料时，从数据存储模块内调取接入数据来源信息，并将其来源信息进行备份存储，所述安全监控模块对数据采集模块采集的数据进行监控，将异常的采集数据进行隔离，所述数据溢出警示模块在数据存储模块存储量达到总存储量80％以上时，进行警示。目前的数据存储模块内存储的数据往往是采用网络爬虫进行采集，后在数据存储模块内进行分类存储，这样做会使得数据存储模块内有很多杂余碎片数据，这样会使得系统反应慢，不利于数据的存储和调取。而本申请中，采用的技术是将在数据存储模块内的分类存储放置在外部，将数据信息采集过后利用信息过滤模块将碎片信息进行过滤，并将数据分类规整，这样就会将碎片信息和多余数据抵挡在数据存储模块外，保证数据存储模块的运行速度以及调取速度。所述日志备份模块，能够对进入数据存储模块的数据来源进行存储，仅存储数据来源所需要的存储空间小，并且存储到存储的来源后，方便进行追溯和二级数据的获取，并且将存储的数据来源进行确定后，避免出现未检查到的异常文件影响到数据存储模块后，无法进行追查的情况，因为数据存储模块和日志备份模块是分开的两个结构，彼此之间不会受到数据的影响。而数据溢出警示模块能够帮助工作人员确认数据存储模块的容量，避免出现存储容量溢出后造成的数据遗失。
进一步地，系统内还包括设置有流量控制模块，所述流量控制模块与数据采集模块和信息过滤模块连接，控制数据采集模块采集数据量进入信息过滤模块。通过流量控制模块能够将信息过滤模块内的流入信息进行控制，避免出现数据过多造成信息过滤模块无法处理的情况。
进一步地，系统内还包括设置有无线网络端，所述无线网络端为系统内各个模块提供网络通讯，让各个模块之间能够进行无线数据传输，所述数据采集模块通过无线网络端，能够实时进行数据采集。设置的无线网络端让系统内的各个模块能够及时的进行数据的交互传输，能够为系统的各个模块提供一个数据交流平台，其中的数据采集模块能够通过无线网络端实时进行数据的采集，便于对各类数据进行收集，实现一个网络爬虫的效果。
进一步地，系统内还包括设置有移动端，所述日志备份模块和安全监控模块以及数据溢出警示模块与移动端连接，将数据信息实时发送至移动端。移动端的设置能够让工作人员远程对数据存储模块的状态进行监控，能够及时的了解到现场的情况进行处理。
进一步地，所述移动端包括手机、笔记本电脑、PC机、车载电脑。移动端采用这些设备，能够覆盖目前使用的大多数移动设备，能够在第一时间将数据传输到移动端内后，让用户及时能够了解目前的状态。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明用于大数据的收集防丢失系统，能够有效提高大数据存储库内的数据调取数据速度，并且其内部的碎片化信息少，便于读取；
2、本发明用于大数据的收集防丢失系统，通过日志备份模块和移动端，能够第一时间对数据来源进行保存备份，并发送用户进行了解。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明系统流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例
如图1所示，本发明用于大数据的收集防丢失系统，用于大数据的收集防丢失系统，包括数据采集模块、信息过滤模块、数据存储模块、日志备份模块、安全监控模块和数据溢出警示模块，所述数据采集模块在网络上进行目标数据的采集，并将采集数据发送至信息过滤模块，所述信息过滤模块将数据采集模块的数据进行整理并分类，将分类后的数据发送至安全监控模块和数据存储模块，所述数据存储模块将数据资料进行存储保存，所述日志备份模块在数据存储模块接入资料时，从数据存储模块内调取接入数据来源信息，并将其来源信息进行备份存储，所述安全监控模块对数据采集模块采集的数据进行监控，将异常的采集数据进行隔离，所述数据溢出警示模块在数据存储模块存储量达到总存储量80％以上时，进行警示。目前的数据存储模块内存储的数据往往是采用网络爬虫进行采集，后在数据存储模块内进行分类存储，这样做会使得数据存储模块内有很多杂余碎片数据，这样会使得系统反应慢，不利于数据的存储和调取。而本申请中，采用的技术是将在数据存储模块内的分类存储放置在外部，将数据信息采集过后利用信息过滤模块将碎片信息进行过滤，并将数据分类规整，这样就会将碎片信息和多余数据抵挡在数据存储模块外，保证数据存储模块的运行速度以及调取速度。所述日志备份模块，能够对进入数据存储模块的数据来源进行存储，仅存储数据来源所需要的存储空间小，并且存储到存储的来源后，方便进行追溯和二级数据的获取，并且将存储的数据来源进行确定后，避免出现未检查到的异常文件影响到数据存储模块后，无法进行追查的情况，因为数据存储模块和日志备份模块是分开的两个结构，彼此之间不会受到数据的影响。而数据溢出警示模块能够帮助工作人员确认数据存储模块的容量，避免出现存储容量溢出后造成的数据遗失。
系统内还包括设置有流量控制模块，所述流量控制模块与数据采集模块和信息过滤模块连接，控制数据采集模块采集数据量进入信息过滤模块。通过流量控制模块能够将信息过滤模块内的流入信息进行控制，避免出现数据过多造成信息过滤模块无法处理的情况。系统内还包括设置有无线网络端，所述无线网络端为系统内各个模块提供网络通讯，让各个模块之间能够进行无线数据传输，所述数据采集模块通过无线网络端，能够实时进行数据采集。设置的无线网络端让系统内的各个模块能够及时的进行数据的交互传输，能够为系统的各个模块提供一个数据交流平台，其中的数据采集模块能够通过无线网络端实时进行数据的采集，便于对各类数据进行收集，实现一个网络爬虫的效果。
系统内还包括设置有移动端，所述日志备份模块和安全监控模块以及数据溢出警示模块与移动端连接，将数据信息实时发送至移动端。移动端的设置能够让工作人员远程对数据存储模块的状态进行监控，能够及时的了解到现场的情况进行处理。
所述移动端包括手机、笔记本电脑、PC机、车载电脑。移动端采用这些设备，能够覆盖目前使用的大多数移动设备，能够在第一时间将数据传输到移动端内后，让用户及时能够了解目前的状态。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.用于大数据的收集防丢失系统，其特征在于，包括数据采集模块、信息过滤模块、数据存储模块、日志备份模块、安全监控模块和数据溢出警示模块，所述数据采集模块在网络上进行目标数据的采集，并将采集数据发送至信息过滤模块，所述信息过滤模块将数据采集模块的数据进行整理并分类，将分类后的数据发送至安全监控模块和数据存储模块，所述数据存储模块将数据资料进行存储保存，所述日志备份模块在数据存储模块接入资料时，从数据存储模块内调取接入数据来源信息，并将其来源信息进行备份存储，所述安全监控模块对数据采集模块采集的数据进行监控，将异常的采集数据进行隔离，所述数据溢出警示模块在数据存储模块存储量达到总存储量80％以上时，进行警示。
2.根据权利要求1所述的用于大数据的收集防丢失系统，其特征在于，还包括设置有流量控制模块，所述流量控制模块与数据采集模块和信息过滤模块连接，控制数据采集模块采集数据量进入信息过滤模块。
3.根据权利要求1所述的用于大数据的收集防丢失系统，其特征在于，还包括设置有无线网络端，所述无线网络端为系统内各个模块提供网络通讯，让各个模块之间能够进行无线数据传输，所述数据采集模块通过无线网络端，能够实时进行数据采集。
4.根据权利要求1所述的用于大数据的收集防丢失系统，其特征在于，还包括设置有移动端，所述日志备份模块和安全监控模块以及数据溢出警示模块与移动端连接，将数据信息实时发送至移动端。
5.根据权利要求4所述的用于大数据的收集防丢失系统，其特征在于，所述移动端包括手机、笔记本电脑、PC机、车载电脑。
CN201810241200.4A 2018-03-22 2018-03-22 用于大数据的收集防丢失系统 Withdrawn CN108427764A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810241200.4A CN108427764A (zh) 2018-03-22 2018-03-22 用于大数据的收集防丢失系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810241200.4A CN108427764A (zh) 2018-03-22 2018-03-22 用于大数据的收集防丢失系统

Publications (1)

Publication Number Publication Date
CN108427764A true CN108427764A (zh) 2018-08-21

Family

ID=63159389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810241200.4A Withdrawn CN108427764A (zh) 2018-03-22 2018-03-22 用于大数据的收集防丢失系统

Country Status (1)

Country Link
CN (1) CN108427764A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284337A (zh) * 2018-09-29 2019-01-29 四川赢才多多科技有限公司 一种基于大数据分析服务的系统
CN109753592A (zh) * 2018-12-22 2019-05-14 汤新红 一种基于大数据的信息流存储系统及其存储方法
CN110155840A (zh) * 2019-05-22 2019-08-23 安徽奥里奥克科技股份有限公司 一种电梯数据采集管理系统
CN111913952A (zh) * 2020-06-06 2020-11-10 国网河北省电力有限公司衡水供电分公司 一种海量电网数据管理存储系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284337A (zh) * 2018-09-29 2019-01-29 四川赢才多多科技有限公司 一种基于大数据分析服务的系统
CN109753592A (zh) * 2018-12-22 2019-05-14 汤新红 一种基于大数据的信息流存储系统及其存储方法
CN110155840A (zh) * 2019-05-22 2019-08-23 安徽奥里奥克科技股份有限公司 一种电梯数据采集管理系统
CN111913952A (zh) * 2020-06-06 2020-11-10 国网河北省电力有限公司衡水供电分公司 一种海量电网数据管理存储系统

Similar Documents

Publication Publication Date Title
CN108427764A (zh) 用于大数据的收集防丢失系统
CN105790441B (zh) 一种智能变电站继电保护巡检系统
CN100466416C (zh) 城市电网事故智能决策支持系统
Liu et al. Knowledge-based system for distribution system outage locating using comprehensive information
CN104362757B (zh) 一种基于iec61850的变电站在线监测系统
CN107069954A (zh) 变电站设备云维护系统和监控系统
CN206250848U (zh) 配电网运行状态监测装置
CN104966330A (zh) 基于云计算机的远程机房智能巡检系统
CN105471656A (zh) 一种针对智能变电站自动化系统运维信息模型的抽象方法
CN109639477A (zh) 一种二次设备在线监视与分析系统及方法
CN104616210A (zh) 一种智能配电网大数据融合重构与交互方法
CN107742925A (zh) 基于三级网络的变电站硬压板巡检方法
CN110807460A (zh) 一种基于图像识别的变电站智能巡视系统及其应用方法
CN107607814A (zh) 一种分布式电源接入的电能质量监测系统及其监测方法
CN103208049A (zh) 异常告警快速事故分析方法及系统
CN106429130A (zh) 垃圾信息的处理方法、装置和系统
CN105306254A (zh) 自动气象站的监控云平台系统及方法
CN103532133A (zh) 基于MAS的35kV配电网故障时负荷转移系统及方法
CN113641684B (zh) 物联网大数据处理装置及方法
CN103781056A (zh) 一种终端外设的数据管理方法及m2m网关
CN103197200A (zh) 输电网线路故障测距信息快速采集与传送的方法及系统
CN104682565A (zh) 电网信息自动采集监控系统
CN110363019A (zh) 利用大数据进行数据收集的防丢失系统
CN110362269A (zh) 通过数据收集进行防丢失的大数据系统
CN110275509A (zh) 一种储能电站监控功能测试方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180821

WW01 Invention patent application withdrawn after publication