CN107395694A - 一种大数据管理系统 - Google Patents

一种大数据管理系统 Download PDF

Info

Publication number
CN107395694A
CN107395694A CN201710536916.2A CN201710536916A CN107395694A CN 107395694 A CN107395694 A CN 107395694A CN 201710536916 A CN201710536916 A CN 201710536916A CN 107395694 A CN107395694 A CN 107395694A
Authority
CN
China
Prior art keywords
data
cloud storage
unit
management system
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710536916.2A
Other languages
English (en)
Inventor
陈钦鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Group PLC Of One Mind
Original Assignee
Shenzhen Group PLC Of One Mind
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Group PLC Of One Mind filed Critical Shenzhen Group PLC Of One Mind
Priority to CN201710536916.2A priority Critical patent/CN107395694A/zh
Publication of CN107395694A publication Critical patent/CN107395694A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0618—Block ciphers, i.e. encrypting groups of characters of a plain text message using fixed encryption transformation
    • H04L9/0631—Substitution permutation network [SPN], i.e. cipher composed of a number of stages or rounds each involving linear and nonlinear transformations, e.g. AES algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/30—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy
    • H04L9/3006—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy underlying computational problems or public-key parameters
    • H04L9/302—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy underlying computational problems or public-key parameters involving the integer factorization problem, e.g. RSA or quadratic sieve [QS] schemes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Power Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Storage Device Security (AREA)

Abstract

本发明适用于大数据技术领域，提供了一种大数据管理系统，包括：数据采集单元、数据并行处理单元、云存储单元、云存储加解密单元、数据访问权限认证单元、数据冗余判断单元以及数据重复删除单元；所述云存储单元，包括本地存储器和云存储器；所述云存储加解密单元分别与所述本地存储器、云存储器和数据访问权限认证单元连接；所述数据冗余判断单元分别与所述数据采集单元、所述本地存储器和所述云存储器连接；所述数据重复删除单元分别与所述本地存储器、所述云存储器和所述数据冗余判断单元连接，本发明实施例提供的大数据管理系统，不仅提高了大数据的处理效率和使用速度，并建立了完整的安全防护体系，实现了整个系统的安全管理。

Description

一种大数据管理系统
技术领域
本发明属于大数据技术领域，尤其涉及一种大数据管理系统。
背景技术
随着计算机技术的飞速发展，各行各领域数据的呈几何级快速增长。这些数据来自方面，从搜集天气情况的感测器、数码图片、在线的视频资料，到网络购物的交易记录、手机的全球定位系统信号等应有尽有。伴随数据规模的急剧膨胀，各行业累积的数据量越来越巨大，数据类型也越来越多、数据结构越来越复杂，已经超越了传统数据管理系统、处理模式的能力范围，传统的串行数据库系统已经难以适应这种飞速增长的应用需求，在生产实践中表现出明显的能力不足，无法满足大数据时代的数据管理需求。
大数据，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
云计算技术的飞速发展对大数据管理提出更高的要求，尤其是面向生产领域的数据中心，数据量已经超亿点规模，且存贮量占比很大部分是实时和准实时生产过程数据。
发明内容
为了克服上述现有技术所存在的技术问题，本发明实施例提供一种大数据管理系统，不仅提高了大数据的处理效率和使用速度，并建立了完整的安全防护体系，实现了整个系统的安全管理。
本发明实施例是这样实现的，一种大数据管理系统，包括：数据采集单元、数据并行处理单元、云存储单元、云存储加解密单元、数据访问权限认证单元、数据冗余判断单元以及数据重复删除单元；所述云存储单元，包括本地存储器和云存储器；所述云存储加解密单元分别与所述本地存储器、云存储器和数据访问权限认证单元连接；所述数据冗余判断单元分别与所述数据采集单元、所述本地存储器和所述云存储器连接；所述数据重复删除单元分别与所述本地存储器、所述云存储器和所述数据冗余判断单元连接。
优选的，所述系统还包括：
一个或多个客户端，所述客户端与云存储加解密单元连接，通过访问所述云存储单元来确定是否有权限访问目标数据点并获取目标数据点所属的云存储单元的位置信息或直接访问该位置信息对应的云存储单元；以及缓存已访问的目标数据点所属的云存储单元的位置信息。
优选地，所述数据并行处理单元采用并行数据预处理技术，设有Map/Reduce处理模型，通过调用Map函数，将每个处理任务由多个Map任务并行处理，这些Map任务被分配到所属处理任务分配的执行节点上执行，再通过调用Reduce函数，分别对每个处理任务的各Map任务的处理结果进行合并操作，完成数据预处理。
优选地，所述云存储单元采用离散式分布数据存储端。
优选地，所述离散式分布数据存储端，包括HBase结构数据库和HDFS结构数据库。
优选地，所述离散式分布数据存储端，包括：MPP关系数据库和Hadoop结构数据库。
优选地，所述系统还包括：
数据整合单元，用于整合离散的源数据，并将整合后的源数据存储至云存储单元。
优选地，所述云存储加解密单元包括云存储安全加密芯片和云存储安全解密芯片，所述安全加密芯片和所述安全解密芯片采用安全套接层SSL和/或安全传输层TLS。
优选地，所述安全加密芯片和所述安全解密芯片包含AES、RSA、SHA、OTP、RNG、GUID中的一种或多种安全处理单元。
优选地，所述数据访问权限认证单元采用RSA方式对数据进行加解密认证。
本发明实施例提供的大数据管理系统，不仅提高了大数据的处理效率和使用速度，并建立了完整的安全防护体系，实现了整个系统的安全管理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
以下附图仅旨在于对本发明做示意性说明和解释，并不限定本发明的范围。
图1是本发明实施例提供的一种大数据管理系统的结构示意图。
图2是本发明实施例提供的另一种大数据管理系统的结构示意图。
图3是本发明实施例提供的云存储加解密单元的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，在本发明实施例中，一种大数据管理系统，包括：数据采集单元100、数据并行处理单元200、云存储单元300、云存储加解密单元400、数据访问权限认证单元500、数据冗余判断单元600以及数据重复删除单元700；所述云存储单元300，包括本地存储器310和云存储器320；所述云存储加解密单元400分别与所述本地存储器310、云存储器320和数据访问权限认证单元700连接；所述数据冗余判断单元600分别与所述数据采集单元100、所述本地存储器310和所述云存储器320连接；所述数据重复删除单元700分别与所述本地存储器310、所述云存储器320和所述数据冗余判断单元600连接。同时，所述系统还包括：一个或多个客户端800，所述客户端800与云存储加解密单元400连接，通过访问所述云存储单元来确定是否有权限访问目标数据点并获取目标数据点所属的云存储单元的位置信息或直接访问该位置信息对应的云存储单元；以及缓存已访问的目标数据点所属的云存储单元的位置信息。不仅提高了大数据的处理效率和使用速度，并建立了完整的安全防护体系，实现了整个系统的安全管理。
在本发明实施例中，所述数据并行处理单元200采用并行数据预处理技术，设有Map/Reduce处理模型，通过调用Map函数，将每个处理任务由多个Map任务并行处理，这些Map任务被分配到所属处理任务分配的执行节点上执行，再通过调用Reduce函数，分别对每个处理任务的各Map任务的处理结果进行合并操作，完成数据预处理。
在本发明实施例中，所述云存储单元300采用离散式分布数据存储端。其中，所述离散式分布数据存储端可为HBase结构数据库和HDFS结构数据库；或者所述离散式分布数据存储端可为MPP关系数据库和Hadoop结构数据库。
在本发明实施例中，如图2所示，所述系统还包括：数据整合单元900，用于整合离散的源数据，并将整合后的源数据存储至云存储单元。
在本发明实施例中，如图3所示，所述云存储加解密单元400包括云存储安全加密芯片410和云存储安全解密芯片420，所述安全加密芯片410和所述安全解密芯片420采用安全套接层SSL和/或安全传输层TLS。其中，所述安全加密芯片410和所述安全解密芯片420包含AES、RSA、SHA、OTP、RNG、GUID中的一种或多种安全处理单元。
在本发明实施例中，所述数据访问权限认证单元500可采用RSA方式对数据进行加解密认证。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种大数据管理系统，其特征在于，包括：数据采集单元、数据并行处理单元、云存储单元、云存储加解密单元、数据访问权限认证单元、数据冗余判断单元以及数据重复删除单元；所述云存储单元，包括本地存储器和云存储器；所述云存储加解密单元分别与所述本地存储器、云存储器和数据访问权限认证单元连接；所述数据冗余判断单元分别与所述数据采集单元、所述本地存储器和所述云存储器连接；所述数据重复删除单元分别与所述本地存储器、所述云存储器和所述数据冗余判断单元连接。
2.如权利要求1所述的大数据管理系统，其特征在于，还包括：
一个或多个客户端，所述客户端与云存储加解密单元连接，通过访问所述云存储单元来确定是否有权限访问目标数据点并获取目标数据点所属的云存储单元的位置信息或直接访问该位置信息对应的云存储单元；以及缓存已访问的目标数据点所属的云存储单元的位置信息。
3.权利要求1所述的大数据管理系统，其特征在于，所述数据并行处理单元采用并行数据预处理技术，设有Map/Reduce处理模型，通过调用Map函数，将每个处理任务由多个Map任务并行处理，这些Map任务被分配到所属处理任务分配的执行节点上执行，再通过调用Reduce函数，分别对每个处理任务的各Map任务的处理结果进行合并操作，完成数据预处理。
4.权利要求1所述的大数据管理系统，其特征在于，所述云存储单元采用离散式分布数据存储端。
5.如权利要求4所述的大数据管理系统，其特征在于，所述离散式分布数据存储端，包括HBase结构数据库和HDFS结构数据库。
6.如权利要求4所述的大数据管理系统，其特征在于，所述离散式分布数据存储端，包括：MPP关系数据库和Hadoop结构数据库。
7.如权利要求1所述的大数据管理系统，其特征在于，还包括：
数据整合单元，用于整合离散的源数据，并将整合后的源数据存储至云存储单元。
8.如权利要求1所述的大数据管理系统，其特征在于，所述云存储加解密单元包括云存储安全加密芯片和云存储安全解密芯片，所述安全加密芯片和所述安全解密芯片采用安全套接层SSL和/或安全传输层TLS。
9.如权利要求8所述的大数据管理系统，其特征在于，所述安全加密芯片和所述安全解密芯片包含AES、RSA、SHA、OTP、RNG、GUID中的一种或多种安全处理单元。
10.根据权利要求1所述的大数据管理系统，其特征在于，所述数据访问权限认证单元采用RSA方式对数据进行加解密认证。
CN201710536916.2A 2017-07-04 2017-07-04 一种大数据管理系统 Pending CN107395694A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710536916.2A CN107395694A (zh) 2017-07-04 2017-07-04 一种大数据管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710536916.2A CN107395694A (zh) 2017-07-04 2017-07-04 一种大数据管理系统

Publications (1)

Publication Number Publication Date
CN107395694A true CN107395694A (zh) 2017-11-24

Family

ID=60335082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710536916.2A Pending CN107395694A (zh) 2017-07-04 2017-07-04 一种大数据管理系统

Country Status (1)

Country Link
CN (1) CN107395694A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399206A (zh) * 2018-01-31 2018-08-14 佛山市聚成知识产权服务有限公司 一种大数据处理系统
CN109088720A (zh) * 2018-08-14 2018-12-25 广东工业大学 一种基于混合云存储的加密文件去重方法及装置
CN110692047A (zh) * 2019-05-19 2020-01-14 深圳齐心集团股份有限公司 一种基于大数据的文具信息调度系统
CN110692045A (zh) * 2019-05-19 2020-01-14 深圳齐心集团股份有限公司 一种基于大数据的文具信息分布式规划系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021194A (zh) * 2014-06-13 2014-09-03 浪潮(北京)电子信息产业有限公司 一种面向行业大数据多样性应用的混合型处理系统及处理方法
CN104461551A (zh) * 2014-12-16 2015-03-25 芜湖乐锐思信息咨询有限公司 基于数据并行处理的大数据处理系统
CN106203146A (zh) * 2016-08-30 2016-12-07 广东港鑫科技有限公司 一种大数据安全管理系统
CN106453442A (zh) * 2016-12-28 2017-02-22 安徽云软信息科技有限公司 一种基于云计算的海量大数据安全云存储系统
US20170093573A1 (en) * 2014-08-27 2017-03-30 International Business Machines Corporation Shared Data Encryption and Confidentiality

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021194A (zh) * 2014-06-13 2014-09-03 浪潮(北京)电子信息产业有限公司 一种面向行业大数据多样性应用的混合型处理系统及处理方法
US20170093573A1 (en) * 2014-08-27 2017-03-30 International Business Machines Corporation Shared Data Encryption and Confidentiality
CN104461551A (zh) * 2014-12-16 2015-03-25 芜湖乐锐思信息咨询有限公司 基于数据并行处理的大数据处理系统
CN106203146A (zh) * 2016-08-30 2016-12-07 广东港鑫科技有限公司 一种大数据安全管理系统
CN106453442A (zh) * 2016-12-28 2017-02-22 安徽云软信息科技有限公司 一种基于云计算的海量大数据安全云存储系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399206A (zh) * 2018-01-31 2018-08-14 佛山市聚成知识产权服务有限公司 一种大数据处理系统
CN109088720A (zh) * 2018-08-14 2018-12-25 广东工业大学 一种基于混合云存储的加密文件去重方法及装置
CN110692047A (zh) * 2019-05-19 2020-01-14 深圳齐心集团股份有限公司 一种基于大数据的文具信息调度系统
CN110692045A (zh) * 2019-05-19 2020-01-14 深圳齐心集团股份有限公司 一种基于大数据的文具信息分布式规划系统

Similar Documents

Publication Publication Date Title
CN106503574B (zh) 区块链安全存储方法
CN110472428B (zh) 基于区块链的医疗数据共享方法及共享系统
WO2020001108A1 (zh) 基于区块链的数据处理方法和装置
CN106127075B (zh) 一种云存储环境下基于隐私保护的可搜索加密方法
CN105678189B (zh) 加密数据文件存储和检索系统及方法
CN107395694A (zh) 一种大数据管理系统
US9589151B2 (en) Techniques and architecture for anonymizing user data
CN103812939B (zh) 一种大数据存储系统
CN111507709B (zh) 一种数据溯源系统
CN110083610A (zh) 数据处理方法、装置、系统、可信计算装置、设备和介质
TW201826772A (zh) 基於區塊鏈技術的強健的ａｔｍ網路系統及其資訊處理方法
CN106452740A (zh) 一种量子通信服务站、量子密钥管理装置以及密钥配置网络和方法
Kanza et al. Cryptotransport: blockchain-powered ride hailing while preserving privacy, pseudonymity and trust
Nilaiswariya et al. Improving scalability and security medical dataset using recurrent neural network and blockchain technology
CN108881203A (zh) 基于区块链的数据管理方法、电子设备、存储介质及系统
CN110096542A (zh) 去中心化的数据验证处理方法、装置、系统和介质
CN113792318A (zh) 数据授权方法及装置、计算机可读存储介质、计算机设备
US9246688B1 (en) Dataset licensing
CN112532718A (zh) 基于区块链的海上装备数据共享系统、方法和介质
CN116168820A (zh) 基于虚拟集成与区块链融合的医疗数据互操作方法
CN112000632A (zh) 密文的分享方法、介质、分享客户端及系统
CN112418851A (zh) 数字版权登记、交易、保护方法与系统
CN106372874A (zh) 一种基于云平台下物联网移动金融支付系统
CN110457307B (zh) 元数据管理系统、用户集群创建方法、装置、设备和介质
CN106570029A (zh) 分布式关系型数据库的数据处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171124

RJ01 Rejection of invention patent application after publication