CN110602153A - 一种软件大数据安全存储校验系统 - Google Patents

一种软件大数据安全存储校验系统 Download PDF

Info

Publication number
CN110602153A
CN110602153A CN201810605861.0A CN201810605861A CN110602153A CN 110602153 A CN110602153 A CN 110602153A CN 201810605861 A CN201810605861 A CN 201810605861A CN 110602153 A CN110602153 A CN 110602153A
Authority
CN
China
Prior art keywords
data
module
storage
big data
information filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810605861.0A
Other languages
English (en)
Inventor
李莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810605861.0A priority Critical patent/CN110602153A/zh
Publication of CN110602153A publication Critical patent/CN110602153A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0245—Filtering by information in the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种软件大数据安全存储校验系统，包括大数据存储库、云端服务器、日志数据库、信息过滤模块、数据采集模块和安全控制模块以及校检模块，所述数据采集模块对网络数据进行采集并将采集数据发送至信息过滤模块，所述信息过滤模块对采集的数据进行分类，并将采集数据的分类信息发送至云端服务器内，所述云端服务器根据数据需求，将对应分类的数据传授至大数据存储库内进行存储，并通过日志数据库进行数据传输日志备份，所述安全控制模块调取信息过滤模块内的数据，对采集的数据进行检查预警，所述校检模块能够调取日志数据库内的数据，对大数据存储库的内数据来源进行查验。

Description

一种软件大数据安全存储校验系统
技术领域
本发明涉及一种校检系统，具体涉及一种软件大数据安全存储校验系统。
背景技术
随着电子信息技术的发展，人们使用网络的频率越来越高，大数据提出的同时，人们也逐渐体会到信息高速发展带来的隐患，安全问题成为网络浏览的重要问题，隐私泄露、财产被骗等等，没有一个安全的网络环境对于使用者的影响非常大，为此，我们提出了一种基于大数据平台的网络安全实施系统及方法。安全是企业进行正常生产经营活动的前提。隐患存在于企业的各系统中，及时发现、识别、处理隐患信息对于企业防范隐患，预防事故，保障生产经营活动有序进行十分重要。
随着计算机技术、信息技术的发展，企业的各部门、各经营活动会产生大量的数据信息和信息交换行为。实现隐患信息的全时空采集，并利用大数据技术实现企业隐患动态预警，提高对隐患的反应速度和反映效率对于保障企业持续经营十分重要。同时，通过对数据的深度挖掘为企业决策提供依据也成为企业发展的趋势。该发明旨在提出一种隐患信息采集处理系统，通过使用上述系统，可对企业隐患信息进行全时空的监测和预警，实现每个人自身及其周围的人、机、环都是安全的，预防事故发生。
发明内容
本发明所要解决的技术问题是目前大数据的数据来源安全并能够保证，并且，尚未新成一种校检机制，能够对大数据库内的数据进行来源追溯，在出现安全问题后无法及时补充数据，造成一定损失，目的在于提供一种软件大数据安全存储校验系统，解决上述的问题。
本发明通过下述技术方案实现：
一种软件大数据安全存储校验系统，包括大数据存储库、云端服务器、日志数据库、信息过滤模块、数据采集模块和安全控制模块以及校检模块，所述数据采集模块对网络数据进行采集并将采集数据发送至信息过滤模块，所述信息过滤模块对采集的数据进行分类，并将采集数据的分类信息发送至云端服务器内，所述云端服务器根据数据需求，将对应分类的数据传授至大数据存储库内进行存储，并通过日志数据库进行数据传输日志备份，所述安全控制模块调取信息过滤模块内的数据，对采集的数据进行检查预警，所述校检模块能够调取日志数据库内的数据，对大数据存储库的内数据来源进行查验。目前的大数据存储库内存储的数据往往是采用网络爬虫进行采集，后在大数据存储库内进行分类存储，这样做会使得大数据存储库内有很多杂余碎片数据，这样会使得系统反应慢，不利于大数据的存储和调取。而本申请中，采用的技术是将在大数据存储库内的分类存储放置在外部，将数据信息采集过后利用信息过滤模块将碎片信息进行过滤，并将数据分类规整，这样就会将碎片信息和多余数据抵挡在大数据存储库外，保证大数据存储库的运行速度以及调取速度。并在数据分类时，通过安全控制模块对采集数据进行安全筛查，避免出现木马数据和一些病毒数据进入到大数据存储库内，破坏内部数据，而校检模块能够对日志数据库内的数据来源进行检查。
进一步地，还包括流量控制模块，所述流量控制模块与数据采集模块和信息过滤模块连接，控制数据采集模块采集数据量进入信息过滤模块。通过流量控制模块能够将信息过滤模块内的流入信息进行控制，避免出现数据过多造成信息过滤模块无法处理的情况。
进一步地，还包括无线网络端，所述无线网络端为系统内各个模块提供网络通讯，让各个模块之间能够进行无线数据传输，所述数据采集模块通过无线网络端，能够实时进行数据采集。设置的无线网络端让系统内的各个模块能够及时的进行数据的交互传输，能够为系统的各个模块提供一个数据交流平台，其中的数据采集模块能够通过无线网络端实时进行数据的采集，便于对各类数据进行收集，实现一个网络爬虫的效果。
进一步地，所述日志数据库存储分类数据种类和传输至大数据存储库的时间，所述日志数据库数据溢出后将最早存储的数据内容进行覆盖。为了避免出现日志数据库内的最新数据遗失的情况，采用这种覆盖式数据式的存储方式，能够有效避免最新产生的数据遗失。而较早的数据内容能够通过移动硬盘进行导出，节省存储空间。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明一种软件大数据安全存储校验系统，能够有效提高大数据存储库内的数据调取数据速度，并且其内部的碎片化信息少，便于读取；
2、本发明一种软件大数据安全存储校验系统，设置有日志数据库，能够将存储数据的来源和时间进行备份，保证能够在第一时间进行数据追溯。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明系统流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例
如图1所示，本发明一种软件大数据安全存储校验系统，一种软件大数据安全存储校验系统，包括大数据存储库、云端服务器、日志数据库、信息过滤模块、数据采集模块和安全控制模块以及校检模块，所述数据采集模块对网络数据进行采集并将采集数据发送至信息过滤模块，所述信息过滤模块对采集的数据进行分类，并将采集数据的分类信息发送至云端服务器内，所述云端服务器根据数据需求，将对应分类的数据传授至大数据存储库内进行存储，并通过日志数据库进行数据传输日志备份，所述安全控制模块调取信息过滤模块内的数据，对采集的数据进行检查预警，所述校检模块能够调取日志数据库内的数据，对大数据存储库的内数据来源进行查验。目前的大数据存储库内存储的数据往往是采用网络爬虫进行采集，后在大数据存储库内进行分类存储，这样做会使得大数据存储库内有很多杂余碎片数据，这样会使得系统反应慢，不利于大数据的存储和调取。而本申请中，采用的技术是将在大数据存储库内的分类存储放置在外部，将数据信息采集过后利用信息过滤模块将碎片信息进行过滤，并将数据分类规整，这样就会将碎片信息和多余数据抵挡在大数据存储库外，保证大数据存储库的运行速度以及调取速度。并在数据分类时，通过安全控制模块对采集数据进行安全筛查，避免出现木马数据和一些病毒数据进入到大数据存储库内，破坏内部数据，而校检模块能够对日志数据库内的数据来源进行检查。
本系统内还包括流量控制模块，所述流量控制模块与数据采集模块和信息过滤模块连接，控制数据采集模块采集数据量进入信息过滤模块。通过流量控制模块能够将信息过滤模块内的流入信息进行控制，避免出现数据过多造成信息过滤模块无法处理的情况。
本系统内还包括无线网络端，所述无线网络端为系统内各个模块提供网络通讯，让各个模块之间能够进行无线数据传输，所述数据采集模块通过无线网络端，能够实时进行数据采集。设置的无线网络端让系统内的各个模块能够及时的进行数据的交互传输，能够为系统的各个模块提供一个数据交流平台，其中的数据采集模块能够通过无线网络端实时进行数据的采集，便于对各类数据进行收集，实现一个网络爬虫的效果。
所述日志数据库存储分类数据种类和传输至大数据存储库的时间，所述日志数据库数据溢出后将最早存储的数据内容进行覆盖。为了避免出现日志数据库内的最新数据遗失的情况，采用这种覆盖式数据式的存储方式，能够有效避免最新产生的数据遗失。而较早的数据内容能够通过移动硬盘进行导出，节省存储空间。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种软件大数据安全存储校验系统，其特征在于，包括大数据存储库、云端服务器、日志数据库、信息过滤模块、数据采集模块和安全控制模块以及校检模块，所述数据采集模块对网络数据进行采集并将采集数据发送至信息过滤模块，所述信息过滤模块对采集的数据进行分类，并将采集数据的分类信息发送至云端服务器内，所述云端服务器根据数据需求，将对应分类的数据传授至大数据存储库内进行存储，并通过日志数据库进行数据传输日志备份，所述安全控制模块调取信息过滤模块内的数据，对采集的数据进行检查预警，所述校检模块能够调取日志数据库内的数据，对大数据存储库的内数据来源进行查验。
2.根据权利要求1所述的一种软件大数据安全存储校验系统，其特征在于，还包括流量控制模块，所述流量控制模块与数据采集模块和信息过滤模块连接，控制数据采集模块采集数据量进入信息过滤模块。
3.根据权利要求1所述的一种软件大数据安全存储校验系统，其特征在于，还包括无线网络端，所述无线网络端为系统内各个模块提供网络通讯，让各个模块之间能够进行无线数据传输，所述数据采集模块通过无线网络端，能够实时进行数据采集。
4.根据权利要求1所述的一种软件大数据安全存储校验系统，其特征在于，所述日志数据库存储分类数据种类和传输至大数据存储库的时间，所述日志数据库数据溢出后将最早存储的数据内容进行覆盖。
CN201810605861.0A 2018-06-13 2018-06-13 一种软件大数据安全存储校验系统 Withdrawn CN110602153A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810605861.0A CN110602153A (zh) 2018-06-13 2018-06-13 一种软件大数据安全存储校验系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810605861.0A CN110602153A (zh) 2018-06-13 2018-06-13 一种软件大数据安全存储校验系统

Publications (1)

Publication Number Publication Date
CN110602153A true CN110602153A (zh) 2019-12-20

Family

ID=68848986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810605861.0A Withdrawn CN110602153A (zh) 2018-06-13 2018-06-13 一种软件大数据安全存储校验系统

Country Status (1)

Country Link
CN (1) CN110602153A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113572744A (zh) * 2021-07-07 2021-10-29 浙江工业大学 一种基于大数据的数据安全处理方法
CN114726880A (zh) * 2022-04-12 2022-07-08 铜陵久装网络科技有限公司 一种基于云计算的信息存储方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113572744A (zh) * 2021-07-07 2021-10-29 浙江工业大学 一种基于大数据的数据安全处理方法
CN114726880A (zh) * 2022-04-12 2022-07-08 铜陵久装网络科技有限公司 一种基于云计算的信息存储方法
CN114726880B (zh) * 2022-04-12 2024-04-26 于成龙 一种基于云计算的信息存储方法

Similar Documents

Publication Publication Date Title
CN101923617B (zh) 一种基于云的样本数据库动态维护方法
US20180046455A1 (en) System and Method of Configuring A Data Store For Tracking And Auditing Real-Time Events Across Different Software Development Tools In Agile Development Environments
CN110690984A (zh) 基于Spark的大数据网络日志采集分析和预警的方法、系统
CN109284251A (zh) 日志管理方法、装置、计算机设备以及存储介质
CN105631026A (zh) 一种安全数据分析系统
KR20160075971A (ko) 공공민원 데이터 서비스를 위한 빅 데이터 관리시스템
CN102831021A (zh) 插件拦截或清理的方法及装置
CN109088773B (zh) 故障自愈方法、装置、服务器及存储介质
CN104376023A (zh) 一种基于日志的审计方法及系统
US11704186B2 (en) Analysis of deep-level cause of fault of storage management
CN110602153A (zh) 一种软件大数据安全存储校验系统
CN112965979A (zh) 一种用户行为分析方法、装置及电子设备
CN112287067A (zh) 一种基于语义分析的敏感事件可视化应用实现方法、系统及终端
CN115237857A (zh) 日志处理方法、装置、计算机设备及存储介质
CN115567235A (zh) 一种网络安全应急处置系统及应用方法
CN115422003A (zh) 数据质量监控方法、装置、电子设备、存储介质
CN115270187A (zh) 数据处理方法、装置、电子设备及存储介质
CN110149303B (zh) 一种党校的网络安全预警方法及预警系统
CN113709170A (zh) 资产安全运营系统、方法和装置
CN108462712A (zh) 一种数据流程管理预警系统
CN110602025A (zh) 一种软件数据流程管理预警系统
CN103106366B (zh) 一种基于云的样本数据库动态维护方法
KR20180118869A (ko) 통합 보안 이상징후 모니터링 시스템
Alashjaee et al. Forensic Requirements Specification for Mobile Device Malware Forensic Models
KR20210045172A (ko) 축산 질병 발생 분석을 위한 빅 데이터 관리 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20191220

WW01 Invention patent application withdrawn after publication