CN111209608A - 一种大数据存储系统 - Google Patents

一种大数据存储系统 Download PDF

Info

Publication number
CN111209608A
CN111209608A CN202010117879.3A CN202010117879A CN111209608A CN 111209608 A CN111209608 A CN 111209608A CN 202010117879 A CN202010117879 A CN 202010117879A CN 111209608 A CN111209608 A CN 111209608A
Authority
CN
China
Prior art keywords
data
virus
information
storage
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010117879.3A
Other languages
English (en)
Inventor
于梦丽
黄艳伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010117879.3A priority Critical patent/CN111209608A/zh
Publication of CN111209608A publication Critical patent/CN111209608A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/78—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/561—Virus type analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/562—Static detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Bioethics (AREA)
  • Databases & Information Systems (AREA)
  • Storage Device Security (AREA)

Abstract

本发明涉及一种大数据存储系统，包括数据采集模块、病毒检测模块、数据加密模块、数据传输模块和数据存储子系统。数据存储子系统包括数据解密模块和数据存储模块，数据存储模块包括内存数据库、磁盘数据库和存储控制单元，数据信息同时存储至内存数据库和磁盘数据库中，当内存数据库中的数据信息的存储时长大于预设存储时长时，将内存数据库中的数据信息删除，降低内存数据库中的数据量，进而提升内存数据库的存储性能，而保留磁盘数据库中的数据量，通过这种存储方式能够提升内存数据库的存储性能，并且，磁盘数据库能够满足存储容量的需求，进而实现大数据存储的可靠性和安全性。

Description

一种大数据存储系统
技术领域
本发明涉及一种大数据存储系统。
背景技术
大数据一般是指无法在一定时间范围内用传统的计算机技术进行处理的海量数据集。目前，在大数据存储方面，往往只是大数据无差别的存储，安全性较差。
发明内容
本发明的目的在于提供一种大数据存储系统，用于解决现在的大数据存储方式的安全性较差的问题。
为了解决上述问题，本发明采用以下技术方案：
一种大数据存储系统，包括：数据采集模块、病毒检测模块、数据加密模块、数据传输模块和数据存储子系统；
所述数据采集模块用于采集数据信息；
所述病毒检测模块用于对所述数据采集模块采集到的数据信息进行病毒检测，若所述采集到的数据信息没有病毒，则将所述采集到的数据信息传输至所述数据加密模块；
所述数据加密模块用于对所述采集到的数据信息进行加密处理；
所述数据传输模块用于将加密后的数据信息传输至所述数据存储子系统；
所述数据存储子系统包括数据解密模块和数据存储模块，所述数据解密模块用于解密所述加密后的数据信息；所述数据存储模块包括内存数据库和磁盘数据库；
对于任意一个数据信息，该数据信息存储至所述内存数据库中，内存数据库存储得到的数据信息为第一数据信息，且同时备份至所述磁盘数据库中，磁盘数据库存储得到的数据信息为第二数据信息；所述数据存储模块还包括存储控制单元，所述存储控制单元用于比较所述内存数据库中存储的第一数据信息的存储时长与预设存储时长，当第一数据信息的存储时长大于所述预设存储时长时，所述存储控制单元将内存数据库中的第一数据信息删除。
可选地，所述病毒检测模块执行如下病毒检测过程：
创建病毒特征库，所述病毒特征库中的病毒特征和病毒信息存在以下关系：一个病毒信息包含至少一个病毒特征，每一个病毒特征对应至少一个病毒信息；
将所述数据采集模块采集到的数据信息进行解析，采用多模式匹配算法与所述病毒特征库中的病毒特征进行匹配，当匹配到一条病毒特征时，结合匹配到的病毒特征，判断是否能够组成至少一条完整的病毒信息，若能够组成至少一条完整的病毒信息，则病毒信息匹配成功，判断所述采集到的数据信息有病毒，若不能够组成至少一条完整的病毒信息，则判断所述采集到的数据信息没有病毒。
本发明的有益效果为：在采集到数据信息之后进行病毒检测，只有采集到的数据信息没有病毒才进行后续的数据存储处理，提升数据存储的安全性；经过病毒检测之后先进行数据加密，然后进行解密，数据存储模块存储解密后的数据信息，提升数据存储的安全性；将数据信息存储至内存数据库中，同时备份至磁盘数据库，将数据信息同时存储至两个不同的数据库中，能够提升数据存储的可靠性，降低数据丢失的风险；内存数据库的读写性能较高，将数据信息存储至内存数据库，能够有效提高存储效率以及存储可靠性，降低数据丢失的风险，磁盘数据库的读写性能相对较低，但是存储容量通常较大，因此，判断数据信息的存储时长，当存储时长大于预设存储时长时，将内存数据库中的相关数据信息删除，降低内存数据库中的数据量，进而提升内存数据库的存储性能，而保留磁盘数据库中的数据量，磁盘数据库能够满足存储容量的需求，即便删除内存数据库中的相关数据信息，也不会造成数据丢失。因此，该大数据存储系统集内存数据库和磁盘数据库的特性之所长，实现大数据存储的可靠性和安全性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍：
图1是大数据存储系统的结构示意图。
具体实施方式
如图1所示，本实施例提供一种大数据存储系统，包括：数据采集模块、病毒检测模块、数据加密模块、数据传输模块和数据存储子系统。该大数据存储系统的应用场合不过限定，可以应用在商业中，则相关的数据信息可以为消费数据或者物价数据，也可以应用在电力中，则相关的数据信息可以为某一地区的电力线网的电力数据，包括电压、电流、有功功率等，还可以应用在网络信息领域中，则相关的数据信息为日志记录文件。
该大数据存储系统的各组成模块可以为硬件模块，也可以为软件模块，不管是硬件模块还是软件模块，各模块的连接关系如图1所示。
数据采集模块用于采集数据信息，数据采集模块可以为用于采集各数据的采集设备，比如电压传感器、电流传感器等等，也可以是用于连接各数据采集设备的数据接收芯片。
病毒检测模块接收数据采集模块采集到的数据信息，对采集到的数据信息进行病毒检测。病毒检测模块可以为常规的病毒检测软件程序。若采集到的数据信息没有病毒，则病毒检测模块将采集到的数据信息传输至数据加密模块。另外，若病毒检测模块检测到采集到的数据信息有病毒，则不将采集到的数据信息进行后续处理，即终止数据存储。
作为一个具体实施方式，病毒检测模块执行如下病毒检测过程：
创建病毒特征库，病毒特征库中的病毒特征和病毒信息存在以下关系：一个病毒信息包含至少一个病毒特征，每一个病毒特征对应至少一个病毒信息。病毒信息为病毒名称，代表一个病毒。
将数据采集模块采集到的数据信息进行解析，采用多模式匹配算法与毒特征库中的病毒特征进行匹配，本实施例中，多模式匹配算法可以为AC-BM(Aho-Corasick-Boyer-Moore)算法，采用AC-BM算法先进行病毒特征的匹配。当匹配到一条病毒特征时，结合匹配到的病毒特征，判断是否能够组成至少一条完整的病毒信息。本实施例针对一个病毒包含多条病毒特征的情况，因此，本实施例判断是否匹配到完整的病毒信息的策略就是，当匹配到的多条病毒特征可以组成一个病毒信息(即该病毒信息包含的多条病毒特征都被匹配到)时，则认为成功匹配到一个病毒信息(即一个病毒)，结合已匹配到的多条病毒特征，可以匹配到一条或多条病毒信息。
若能够组成至少一条完整的病毒信息，则病毒信息匹配成功，即判断采集到的数据信息有病毒；否则（即不能组成至少一条完整的病毒信息），则判断采集到的数据信息没有病毒。
需要说明的是，本申请不局限于上述具体的病毒检测过程，还可以采用现有其他的病毒检测过程。
数据加密模块用于对采集到的数据信息进行加密处理，具体加密机制由实际需要或者由数据的具体类型进行设置。
数据传输模块用于将加密后的数据信息传输至数据存储子系统。数据传输模块可以为通信线路，或者具有通信传输功能的芯片。
数据存储子系统包括数据解密模块和数据存储模块。
数据解密模块用于解密加密后的数据信息，那么， 数据解密模块与数据加密模块相对应，数据解密模块中的解密机制与数据加密模块中的加密机制相适配。
数据存储模块包括内存数据库、磁盘数据库和存储控制单元。数据解密模块将解密后的数据信息传输给内存数据库和磁盘数据库。对于任意一个数据信息，该数据信息存储至内存数据库中，内存数据库存储得到的数据信息为第一数据信息，且该数据信息同时备份至磁盘数据库中，磁盘数据库存储得到的数据信息为第二数据信息。因此，第一数据信息和第二数据信息为相同的数据信息。也就是说，将数据信息存储至内存数据库的同时备份到磁盘数据库中。内存数据库就是将数据放在内存中直接操作的数据库，相对于磁盘，内存的数据读写速度要高出几个数量级，将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。
存储于内存数据库的数据信息均有一定的存储时长，即从存储开始时刻与之后的某一个时刻之间的时间段。存储控制单元用于比较内存数据库中存储的第一数据信息的存储时长与预设存储时长，预设存储时长用于实现后续判定，具体数值由实际需要进行设置。存储控制单元可以按照一定的检测周期检测内存数据库中存储的第一数据信息的存储时长与预设存储时长的大小关系，每经过一个检测周期，就检测一次内存数据库中存储的第一数据信息的存储时长与预设存储时长的大小关系。当第一数据信息的存储时长大于预设存储时长时，存储控制单元将内存数据库中的第一数据信息删除，只保留磁盘数据库中的第二数据信息。
在采集到数据信息之后进行病毒检测，只有采集到的数据信息没有病毒才进行后续的数据存储处理，提升数据存储的安全性；经过病毒检测之后先进行数据加密，然后进行解密，数据存储模块存储解密后的数据信息，提升数据存储的安全性；将数据信息存储至内存数据库中，同时备份至磁盘数据库，将数据信息同时存储至两个不同的数据库中，能够提升数据存储的可靠性，降低数据丢失的风险；内存数据库的读写性能较高，将数据信息存储至内存数据库，能够有效提高存储效率以及存储可靠性，降低数据丢失的风险，磁盘数据库的读写性能相对较低，但是存储容量通常较大，因此，判断数据信息的存储时长，当存储时长大于预设存储时长时，将内存数据库中的相关数据信息删除，降低内存数据库中的数据量，进而提升内存数据库的存储性能，而保留磁盘数据库中的数据量，磁盘数据库能够满足存储容量的需求，即便删除内存数据库中的相关数据信息，也不会造成数据丢失。因此，该大数据存储系统集内存数据库和磁盘数据库的特性之所长，实现大数据存储的可靠性和安全性。
上述实施例仅以一种具体的实施方式说明本发明的技术方案，任何对本发明进行的等同替换及不脱离本发明精神和范围的修改或局部替换，其均应涵盖在本发明权利要求保护的范围之内。

Claims (2)

1.一种大数据存储系统，其特征在于，包括：数据采集模块、病毒检测模块、数据加密模块、数据传输模块和数据存储子系统；
所述数据采集模块用于采集数据信息；
所述病毒检测模块用于对所述数据采集模块采集到的数据信息进行病毒检测，若所述采集到的数据信息没有病毒，则将所述采集到的数据信息传输至所述数据加密模块；
所述数据加密模块用于对所述采集到的数据信息进行加密处理；
所述数据传输模块用于将加密后的数据信息传输至所述数据存储子系统；
所述数据存储子系统包括数据解密模块和数据存储模块，所述数据解密模块用于解密所述加密后的数据信息；所述数据存储模块包括内存数据库和磁盘数据库；
对于任意一个数据信息，该数据信息存储至所述内存数据库中，内存数据库存储得到的数据信息为第一数据信息，且同时备份至所述磁盘数据库中，磁盘数据库存储得到的数据信息为第二数据信息；所述数据存储模块还包括存储控制单元，所述存储控制单元用于比较所述内存数据库中存储的第一数据信息的存储时长与预设存储时长，当第一数据信息的存储时长大于所述预设存储时长时，所述存储控制单元将内存数据库中的第一数据信息删除。
2.根据权利要求1所述的大数据存储系统，其特征在于，所述病毒检测模块执行如下病毒检测过程：
创建病毒特征库，所述病毒特征库中的病毒特征和病毒信息存在以下关系：一个病毒信息包含至少一个病毒特征，每一个病毒特征对应至少一个病毒信息；
将所述数据采集模块采集到的数据信息进行解析，采用多模式匹配算法与所述病毒特征库中的病毒特征进行匹配，当匹配到一条病毒特征时，结合匹配到的病毒特征，判断是否能够组成至少一条完整的病毒信息，若能够组成至少一条完整的病毒信息，则病毒信息匹配成功，判断所述采集到的数据信息有病毒，若不能够组成至少一条完整的病毒信息，则判断所述采集到的数据信息没有病毒。
CN202010117879.3A 2020-02-25 2020-02-25 一种大数据存储系统 Pending CN111209608A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010117879.3A CN111209608A (zh) 2020-02-25 2020-02-25 一种大数据存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010117879.3A CN111209608A (zh) 2020-02-25 2020-02-25 一种大数据存储系统

Publications (1)

Publication Number Publication Date
CN111209608A true CN111209608A (zh) 2020-05-29

Family

ID=70786811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010117879.3A Pending CN111209608A (zh) 2020-02-25 2020-02-25 一种大数据存储系统

Country Status (1)

Country Link
CN (1) CN111209608A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111953684A (zh) * 2020-08-12 2020-11-17 珠海市鸿瑞信息技术股份有限公司 一种电力网络中apt攻击分析系统
CN112528964A (zh) * 2021-01-14 2021-03-19 上海臻面智能信息科技有限公司 一种深度活体人脸相机数据安全传输方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103197988A (zh) * 2012-01-05 2013-07-10 中国移动通信集团湖南有限公司 一种数据备份、恢复的方法、设备和数据库系统
CN105912703A (zh) * 2016-04-26 2016-08-31 北京百度网讯科技有限公司 数据存储方法、查询方法及装置
CN109165346A (zh) * 2018-08-16 2019-01-08 安徽大尺度网络传媒有限公司 一种大数据存储系统
CN109302420A (zh) * 2018-11-22 2019-02-01 杭州安恒信息技术股份有限公司 网络数据安全传输方法、系统以及电子设备
CN109583205A (zh) * 2018-11-23 2019-04-05 江苏华存电子科技有限公司 一种数据信息安全管理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103197988A (zh) * 2012-01-05 2013-07-10 中国移动通信集团湖南有限公司 一种数据备份、恢复的方法、设备和数据库系统
CN105912703A (zh) * 2016-04-26 2016-08-31 北京百度网讯科技有限公司 数据存储方法、查询方法及装置
CN109165346A (zh) * 2018-08-16 2019-01-08 安徽大尺度网络传媒有限公司 一种大数据存储系统
CN109302420A (zh) * 2018-11-22 2019-02-01 杭州安恒信息技术股份有限公司 网络数据安全传输方法、系统以及电子设备
CN109583205A (zh) * 2018-11-23 2019-04-05 江苏华存电子科技有限公司 一种数据信息安全管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙国梓;陈丹伟;吴登荣;: "一种安全移动存储系统的研究与实现" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111953684A (zh) * 2020-08-12 2020-11-17 珠海市鸿瑞信息技术股份有限公司 一种电力网络中apt攻击分析系统
CN112528964A (zh) * 2021-01-14 2021-03-19 上海臻面智能信息科技有限公司 一种深度活体人脸相机数据安全传输方法

Similar Documents

Publication Publication Date Title
CN1214322C (zh) 保护引导块数据和精确地报告引导块内容
CN104995621A (zh) 服务器装置、隐匿检索程序、记录介质以及隐匿检索系统
CN105550073A (zh) 数据库备份方法及其系统
KR101983120B1 (ko) 데이터베이스의 이중화를 위한 방법
CN103457995A (zh) 终端设备数据信息的存储方法、终端设备和云端服务器
CN111209608A (zh) 一种大数据存储系统
CN104572762A (zh) 删除及恢复录像文件的方法和装置
CN111191252A (zh) 一种智能卡操作系统加解密方法、装置及存储介质
US11501016B1 (en) Digital password protection
US7805563B2 (en) Tape drive apparatus
US11354048B2 (en) Storage device and data disposal method thereof
WO2002003271A1 (fr) Carte a circuit integre, procede de duplication d'une carte a circuit integre et procede de restitution
CN112214784A (zh) 资源处理方法、装置、电子设备及介质
CN109088872A (zh) 带使用期限的云平台的使用方法、装置、电子设备及介质
KR102124049B1 (ko) 블록체인 및 스마트컨트랙트를 이용한 보안 이벤트를 처리하기 위한 장치 및 이를 위한 방법
US20120089849A1 (en) Cookie management system and method
CN102034040A (zh) 一种加密卡内日志实现方法
CN107861892B (zh) 一种实现数据处理的方法及终端
CN106254806A (zh) 一种录像数据保护方法和装置
US11507656B2 (en) Ransomware detection and remediation
CN105631310A (zh) 高效可信进程认证方案
CN103761067A (zh) 数据文件的加/解密的处理系统与其方法
CN105159847A (zh) 基于可信芯片的磁盘变更记录方法
CN111177765A (zh) 金融大数据处理方法、存储介质和系统
CN114239091B (zh) 基于可信芯片的磁盘加密方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination