CN109165346A - 一种大数据存储系统 - Google Patents

一种大数据存储系统 Download PDF

Info

Publication number
CN109165346A
CN109165346A CN201810936701.4A CN201810936701A CN109165346A CN 109165346 A CN109165346 A CN 109165346A CN 201810936701 A CN201810936701 A CN 201810936701A CN 109165346 A CN109165346 A CN 109165346A
Authority
CN
China
Prior art keywords
big data
data
module
user
big
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810936701.4A
Other languages
English (en)
Inventor
康恒志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Dachidu Network Media Co Ltd
Original Assignee
Anhui Dachidu Network Media Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Dachidu Network Media Co Ltd filed Critical Anhui Dachidu Network Media Co Ltd
Priority to CN201810936701.4A priority Critical patent/CN109165346A/zh
Publication of CN109165346A publication Critical patent/CN109165346A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种大数据存储系统，系统包括：数据采集模块，用于采集网站的媒体大数据；数据挖掘模块，用于挖掘所述媒体大数据中的用户大数据；数据加密模块，用于将所述用户大数据进行加密处理；数据传输模块，用于将加密后的用户大数据进行传输；数据存储中心，包括数据解密模块和大数据存储模块，用于通过所述数据解密模块对加密后的用户大数据进行解密处理，并将解密后的用户大数据存储到所述大数据存储模块中。本发明相比现有技术具有以下优点：采集网站的媒体大数据后，挖掘其中重要的用户大数据，实行用户大数据的专门存储，且在传输过程中进行数据加密处理，进一步提升大数据存储过程中的安全性。

Description

一种大数据存储系统
技术领域
本发明涉及大数据存储技术领域，尤其涉及的是一种大数据存储系统。
背景技术
随着互联网技术的高速发展，人们越来越多地接触和使用互联网，信息安全成为很重要的课题，尤其是涉及个人隐私的用户大数据，其安全更为重要。大数据作为当前互联网的潮流，大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，信息安全即是大数据安全。目前，在大数据存储方面，往往只是大数据无差别的安全存储，且往往忽视传输过程中的数据安全问题。
发明内容
本发明的目的在于克服现有技术的不足，提供了一种大数据存储系统。
本发明是通过以下技术方案实现的：
一种大数据存储系统，所述系统包括：数据采集模块，用于采集网站的媒体大数据；
数据挖掘模块，用于挖掘所述媒体大数据中的用户大数据；
数据加密模块，用于将所述用户大数据进行加密处理；
数据传输模块，用于将加密后的用户大数据进行传输；
数据存储中心，包括数据解密模块和大数据存储模块，用于通过所述数据解密模块对加密后的用户大数据进行解密处理，并将解密后的用户大数据存储到所述大数据存储模块中。
可选的，所述数据采集模块通过服务器接口和网站日志调用的方式采集网站的媒体大数据。
可选的，所述数据挖掘模块采用海杜普Hadoop分布式架构技术，对媒体大数据中的用户大数据进行挖掘。
可选的，所述数据加密模块采用以下加密算法的一种：
数据加密算法DES、高级加密标准AES、RSA加密算法、Base64加密算法、消息摘要算法第五版MD5加密算法、安全哈希算法SHA1。
可选的，所述数据存储中心在多个地区设置有多个存储服务器。
本发明相比现有技术具有以下优点：采集网站的媒体大数据后，挖掘其中重要的用户大数据，实行用户大数据的专门存储，且在传输过程中进行数据加密处理，进一步提升大数据存储过程中的安全性。
附图说明
图1为本发明实施例提供的一种大数据存储系统的结构示意图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
参见图1，图1为本发明实施例提供的一种大数据存储系统的结构示意图，系统包括：数据采集模块，用于采集网站的媒体大数据；数据挖掘模块，用于挖掘所述媒体大数据中的用户大数据；数据加密模块，用于将所述用户大数据进行加密处理；数据传输模块，用于将加密后的用户大数据进行传输；数据存储中心，包括数据解密模块和大数据存储模块，用于通过所述数据解密模块对加密后的用户大数据进行解密处理，并将解密后的用户大数据存储到所述大数据存储模块中。
具体的，所述数据采集模块通过服务器接口和网站日志调用的方式采集网站的媒体大数据。一般中小媒体网站的数据存储在本地服务器，通过服务器接口可以采集媒体网站的大数据，还可以调用网站日志，采集更多的媒体大数据。
具体的，所述数据挖掘模块采用海杜普Hadoop分布式架构技术，对媒体大数据中的用户大数据进行挖掘。Hadoop是现有的一个能够对大量数据进行分布式处理的软件框架，以一种可靠、高效、可伸缩的方式进行数据处理。对涉及用户个人信息的用户大数据进行重点挖掘，专门存储，保证用户信息安全。
具体的，所述数据加密模块采用以下现有加密算法的一种：数据加密算法DES、高级加密标准AES、RSA加密算法、Base64加密算法、消息摘要算法第五版MD5加密算法、安全哈希算法SHA1。在实际应用中，其他现有的常用加密算法也是可行的。
具体的，所述数据存储中心在多个地区设置有多个存储服务器。数据存储中心可以分布在多个地区（例如可设在成本较低的地区），每个地区设有存储服务器集群，提供海量的大数据存储服务。大数据存储模块包括存储服务器。
可见，采集网站的媒体大数据后，挖掘其中重要的用户大数据，实行用户大数据的专门存储，且在传输过程中进行数据加密处理，进一步提升大数据存储过程中的安全性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种大数据存储系统，其特征在于，所述系统包括：
数据采集模块，用于采集网站的媒体大数据；
数据挖掘模块，用于挖掘所述媒体大数据中的用户大数据；
数据加密模块，用于将所述用户大数据进行加密处理；
数据传输模块，用于将加密后的用户大数据进行传输；
数据存储中心，包括数据解密模块和大数据存储模块，用于通过所述数据解密模块对加密后的用户大数据进行解密处理，并将解密后的用户大数据存储到所述大数据存储模块中。
2.根据权利要求1所述的大数据存储系统，其特征在于，所述数据采集模块通过服务器接口和网站日志调用的方式采集网站的媒体大数据。
3.根据权利要求2所述的大数据存储系统，其特征在于，所述数据挖掘模块采用海杜普Hadoop分布式架构技术，对媒体大数据中的用户大数据进行挖掘。
4.根据权利要求3所述的大数据存储系统，其特征在于，所述数据加密模块采用以下加密算法的一种：
数据加密算法DES、高级加密标准AES、RSA加密算法、Base64加密算法、消息摘要算法第五版MD5加密算法、安全哈希算法SHA1。
5.根据权利要求4所述的大数据存储系统，其特征在于，所述数据存储中心在多个地区设置有多个存储服务器。
CN201810936701.4A 2018-08-16 2018-08-16 一种大数据存储系统 Withdrawn CN109165346A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810936701.4A CN109165346A (zh) 2018-08-16 2018-08-16 一种大数据存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810936701.4A CN109165346A (zh) 2018-08-16 2018-08-16 一种大数据存储系统

Publications (1)

Publication Number Publication Date
CN109165346A true CN109165346A (zh) 2019-01-08

Family

ID=64896142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810936701.4A Withdrawn CN109165346A (zh) 2018-08-16 2018-08-16 一种大数据存储系统

Country Status (1)

Country Link
CN (1) CN109165346A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969850A (zh) * 2019-12-06 2020-04-07 西安电子科技大学 基于二级处理的交通数据处理服务器及方法
CN111209608A (zh) * 2020-02-25 2020-05-29 于梦丽 一种大数据存储系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969850A (zh) * 2019-12-06 2020-04-07 西安电子科技大学 基于二级处理的交通数据处理服务器及方法
CN111209608A (zh) * 2020-02-25 2020-05-29 于梦丽 一种大数据存储系统

Similar Documents

Publication Publication Date Title
US9767299B2 (en) Secure cloud data sharing
CN107124281B (zh) 一种数据保全方法和相关系统
CN102281141B (zh) 一种文档权限管理方法、装置及系统
US20160134642A1 (en) Secure content and encryption methods and techniques
KR101285281B1 (ko) 자가조직 저장매체의 보안 시스템 및 그 방법
TWI493950B (zh) 條件式電子文件權限控管系統及方法
US20130103944A1 (en) Hypertext Link Verification In Encrypted E-Mail For Mobile Devices
CN102821098A (zh) 云环境下即时通讯消息自溶解系统及方法
EP2942899A1 (en) Information processing method, trust server and cloud server
CN104092672A (zh) 一种采用密文存储网关对信息进行加解密的方法
CN109165346A (zh) 一种大数据存储系统
US10417437B2 (en) Maintaining data security in a network device
Yau et al. Secure pattern-based data sensitivity framework for big data in healthcare
CA2793422C (en) Hypertext link verification in encrypted e-mail for mobile devices
CN109120621B (zh) 数据处理器
CN112187767A (zh) 基于区块链的多方合同共识系统、方法及介质
Ko et al. Trends in Mobile Ransomware and Incident Response from a Digital Forensics Perspective
CN111191259A (zh) 一种科技成果加密传输方法及装置
Mbae et al. Secure Cloud Based Approach for Mobile Devices User Data
CN108234605A (zh) 一种医疗数据采集装置及方法、医疗数据管理平台
CN109635574A (zh) 一种云存储系统中的文件加解密方法、系统及存储介质
JP7279209B2 (ja) 不正行為の検出のためのクロスドメイン頻度フィルタ
CN114629671B (zh) 一种数据检测系统
JP7098065B1 (ja) 電気通信ネットワーク測定におけるデータ操作の防止およびユーザのプライバシーの保護
Tabassum et al. Issues and approaches for big data security

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190108

WW01 Invention patent application withdrawn after publication