CN111400767B - 一种分布式数据池对外提供数据存储的方法 - Google Patents

一种分布式数据池对外提供数据存储的方法 Download PDF

Info

Publication number
CN111400767B
CN111400767B CN202010263901.5A CN202010263901A CN111400767B CN 111400767 B CN111400767 B CN 111400767B CN 202010263901 A CN202010263901 A CN 202010263901A CN 111400767 B CN111400767 B CN 111400767B
Authority
CN
China
Prior art keywords
data
file
entering
user
next step
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010263901.5A
Other languages
English (en)
Other versions
CN111400767A (zh
Inventor
邓金祥
周恩亚
冯凯斌
孙超
霍可栋
冯园园
王明凯
袁伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Fengwei Technology Co ltd
Original Assignee
Chengdu Fengwei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Fengwei Technology Co ltd filed Critical Chengdu Fengwei Technology Co ltd
Priority to CN202010263901.5A priority Critical patent/CN111400767B/zh
Publication of CN111400767A publication Critical patent/CN111400767A/zh
Application granted granted Critical
Publication of CN111400767B publication Critical patent/CN111400767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明专利公开了一种分布式数据池对外提供数据存储的方法，引入分布式大数据存储平台，存储空间动态可扩展，自带副本数保证数据安全，分布式存储提高读写速率；实现文件校验以及转换功能，定制统一数据标准，开启文件校验保证数据安全有用，开启数据类型转换功能，数据类型自动转换，减少各个用户沟通时间成本；提供私有和共有空间，减少各个用户数据重复的同时保证私有数据隐私性；对外提供统一访问接口，证书与用户名密码双重验证且数据传输加密，提供日志审计功能记录客户端请求记录。

Description

一种分布式数据池对外提供数据存储的方法
技术领域
本发明属于标准数据集中式存储访问平台技术领域，具体涉及一种分布式数据池对外提供数据存储的方法。
背景技术
目前互联网社会高速发展，网络流量数据越来越多，数据的存储以及管理已经非常重要，目前的数据存储、共享和访问机制存在以下不足：
1、各个用户数据重复存在冗余浪费空间；
2、单节点存储空间不足，数据损坏无法修复；
3、文件安全性无法保证；
4、客户端访问安全性以及隐私；
为了解决以上问题我方研发出了一种分布式数据池对外提供数据存储的方法。
发明内容
本发明的目的就在于为了解决上述问题而提供一种分布式数据池对外提供数据存储的方法。
本发明通过以下技术方案来实现上述目的：
一种分布式数据池对外提供数据存储的方法，包括以下步骤：
S1、搭建分布式数据存储平台，进入下一步骤；
S2、为各个用户生成证书以及用户名密码，进入下一步骤；
S3、启动数据池服务，加载配置以及证书；进入下一步骤；
S4、初始化数据适配器、数据目录、存储策略等配置信息；进入下一步骤；
S5、启动定时任务；启动成功之后同时开启两种任务，即步骤S6开启上传本地临时文件至分布式数据池任务和步骤S12对外提供统一接口服务；
S6、开启上传本地临时文件至分布式数据池任务，进入下一步骤；
S7、读取本地文件；进入下一步骤；
S8、判断是否开启文件校验功能；如果开启校验则进入步骤S9；如没有开启则进入步骤S10；
S9、判断文件是否符合规范；如果文件规范则进入步骤S10；如果文件不符合规范则进入步骤S11；
S10、将文件上传到规范目录；
S11、将文件上传到非规范目录；
S12、对外提供请求接口等待用户调用；进入下一步骤；
S13、用户发起请求；进入下一步骤；
S14、证书/密码认证；如证书/密码认证通过则进入步骤S15；如不能通过证书/密码认证则进入步骤S17；
S15、路径操作权限；如能通过路径操作权限则进入步骤S16；如不能通过路径操作权限则则进入步骤S17；
S16、处理实际请求，并进入步骤S17；
S17、返回请求结果。
具体地，步骤S5，开启定时任务包括：定时检测用户配置信息，定时检测密码是否有更新、新增、删除用户的操作；定时清除过期超时会话；定时检测空间使用占比，根据空间使用大小适配不同的数据过期时间；定时将审计日志上传至分布式平台。
本发明的有益效果在于：
1、引入分布式大数据存储平台，存储空间动态可扩展，自带副本数保证数据安全，分布式存储提高读写速率；
2、实现文件校验以及转换功能，定制统一数据标准，开启文件校验保证数据安全有用，开启数据类型转换功能，数据类型自动转换，减少各个用户沟通时间成本；
3、节省空间：提供私有和共有空间，减少各个用户数据重复的同时保证私有数据隐私性；
4、安全性：对外提供统一访问接口，证书与用户名密码双重验证且数据传输加密，提供日志审计功能记录客户端请求记录；
附图说明
图1为本申请中分布式数据池对外提供数据存储的系统结构示意图；
图2为本申请中的分布式数据池存储结构图；
图3为本申请中分布式数据池对外提供数据存储的方法的结构示意图；
图中：
1-数据采集模块；2-统一软件标准模块；3-网络设备；4-数据中心；5-数据池。
具体实施方式
下面结合附图对本发明作进一步说明：
如图3所示，一种分布式数据池对外提供数据存储的方法，包括以下步骤：
S1、搭建分布式数据存储平台，进入下一步骤；
S2、为各个用户生成证书以及用户名密码，进入下一步骤；
S3、启动数据池服务，加载配置以及证书；进入下一步骤；
S4、初始化数据适配器、数据目录、存储策略等配置信息；进入下一步骤；
S5、启动定时任务；启动成功之后同时开启两种任务，即步骤S6开启上传本地临时文件至分布式数据池任务和步骤S12对外提供统一接口服务；开启定时任务包括：定时检测用户配置信息，定时检测密码是否有更新、新增、删除用户的操作；定时清除过期超时会话；定时检测空间使用占比，根据空间使用大小适配不同的数据过期时间；定时将审计日志上传至分布式平台。
S6、开启上传本地临时文件至分布式数据池任务，进入下一步骤；
S7、读取本地文件；进入下一步骤；
S8、判断是否开启文件校验功能；如果开启校验则进入步骤S9；如没有开启则进入步骤S10；
S9、判断文件是否符合规范；如果文件规范则进入步骤S10；如果文件不符合规范则进入步骤S11；
S10、将文件上传到规范目录；
S11、将文件上传到非规范目录；
S12、对外提供请求接口等待用户调用；进入下一步骤；
S13、用户发起请求；进入下一步骤；
S14、证书/密码认证；如证书/密码认证通过则进入步骤S15；如不能通过证书/密码认证则进入步骤S17；
S15、路径操作权限；如能通过路径操作权限则进入步骤S16；如不能通过路径操作权限则则进入步骤S17；
S16、处理实际请求，并进入步骤S17；
S17、返回请求结果。
本申请中开启文件上传校验是将已经上传的本地文件进行文件校验然后上传至分布式数据池，流程包括读取文件判断是否开启校验功能如果开启则判断文件是否符合规范，如果文件规范则将文件上传到规范目录否则上传至非规范目录；
本申请中开启对外提供统一访问接口模块，开启后配置多线程请求服务等待用户请求。用户发送请求后首先验证是否持有唯一的证书，然后验证用户名密码是否正确，两者验证同时满足后才会进入请求操作，否则直接返回并提示验证失败。验证通过后保留该用户会话信息，根据用户的实际请求判断该用户是否有操作权限，如果有权限则实际处理该请求并返回操作结果，否则返回没有操作权限提醒。
本申请制定统一数据标准，满足不同用户的数据共享问题；引入大数据平台技术提供数据存储和管理解决存储空间不足，机器故障文件丢失等问题同时提供并发读写提高读写速率；提供用户名密码和证书双重验证保证数据安全；提供文件校验、类型转换功能确保数据安全同时节省用户沟通成本；对外提供统一的访问接口，开启日志审计功能，记录用户请求详情；数据在网络传输过程中加密，保证数据隐私性。
如图1所示，实现本申请方法的分布式数据池对外提供数据存储系统包括数据采集模块1、统一软件标准模块2、网络设备3、数据中心4、数据池5。数据采集支持多用户多设备操作，数据采集完成后按照标准存储到网络设备。
网络设备数据可以直接上传到数据池，也可以上传到用户的数据中心，通过用户数据中心上传到数据池。
如图2所示，分布式存储结构包含主节点和数据节点。主节点管理存储系统的元数据；数据节点存储实际的数据。
如图2所示，分布式存储系统维护多个数据副本，保证数据可靠不出现丢失；通过并行处理读写等访问提高效率；存储动态可伸缩，满足PB级数据存储，非常适合网络流量这种大数据量。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其效物界定。

Claims (1)

1.一种分布式数据池对外提供数据存储的方法，其特征在于，包括以下步骤：
S1、搭建分布式数据存储平台，进入下一步骤；
S2、为各个用户生成证书以及用户名密码，进入下一步骤；
S3、启动数据池服务，加载配置以及证书；进入下一步骤；
S4、初始化数据适配器、数据目录、存储策略等配置信息；进入下一步骤；
S5、启动定时任务；启动成功之后同时开启两种任务，即步骤S6开启上传本地临时文件至分布式数据池任务和步骤S12对外提供统一接口服务；启动定时任务包括：定时检测用户配置信息，定时检测密码是否有更新、新增、删除用户的操作；定时清除过期超时会话；定时检测空间使用占比，根据空间使用大小适配不同的数据过期时间；定时将审计日志上传至分布式平台；
S6、开启上传本地临时文件至分布式数据池任务，进入下一步骤；
S7、读取本地文件；进入下一步骤；
S8、判断是否开启文件校验功能；如果开启校验则进入步骤S9；如没有开启则进入步骤S10；
S9、判断文件是否符合规范；如果文件规范则进入步骤S10；如果文件不符合规范则进入步骤S11；
S10、将文件上传到规范目录；
S11、将文件上传到非规范目录；
S12、对外提供请求接口等待用户调用；进入下一步骤；
S13、用户发起请求；进入下一步骤；
S14、证书/密码认证；如证书/密码认证通过则进入步骤S15；如不能通过证书/密码认证则进入步骤S17；
S15、路径操作权限；如能通过路径操作权限则进入步骤S16；如不能通过路径操作权限则则进入步骤S17；
S16、处理实际请求，并进入步骤S17；
S17、返回请求结果。
CN202010263901.5A 2020-04-07 2020-04-07 一种分布式数据池对外提供数据存储的方法 Active CN111400767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010263901.5A CN111400767B (zh) 2020-04-07 2020-04-07 一种分布式数据池对外提供数据存储的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010263901.5A CN111400767B (zh) 2020-04-07 2020-04-07 一种分布式数据池对外提供数据存储的方法

Publications (2)

Publication Number Publication Date
CN111400767A CN111400767A (zh) 2020-07-10
CN111400767B true CN111400767B (zh) 2023-07-04

Family

ID=71429444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010263901.5A Active CN111400767B (zh) 2020-04-07 2020-04-07 一种分布式数据池对外提供数据存储的方法

Country Status (1)

Country Link
CN (1) CN111400767B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114172655B (zh) * 2021-11-07 2024-03-08 西安链融科技有限公司 一种安全多方计算数据系统、方法、设备及数据处理终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103229165A (zh) * 2010-08-12 2013-07-31 安全第一公司 用于数据的安全远程存储的系统和方法
CN107577434A (zh) * 2017-09-14 2018-01-12 郑州云海信息技术有限公司 存储节点的容量获取方法、装置、设备及可读存储介质
CN110138881A (zh) * 2019-06-05 2019-08-16 安徽三实信息技术服务有限公司 一种分布式存储系统及其存储方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2651072A3 (en) * 2010-09-20 2013-10-23 Security First Corp. Systems and methods for secure data sharing
EP2663928A4 (en) * 2011-01-10 2017-10-25 Storone Ltd. Large scale storage system
US9692815B2 (en) * 2015-11-12 2017-06-27 Mx Technologies, Inc. Distributed, decentralized data aggregation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103229165A (zh) * 2010-08-12 2013-07-31 安全第一公司 用于数据的安全远程存储的系统和方法
CN107577434A (zh) * 2017-09-14 2018-01-12 郑州云海信息技术有限公司 存储节点的容量获取方法、装置、设备及可读存储介质
CN110138881A (zh) * 2019-06-05 2019-08-16 安徽三实信息技术服务有限公司 一种分布式存储系统及其存储方法

Also Published As

Publication number Publication date
CN111400767A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN110278462B (zh) 一种基于区块链的流动放映授权管理方法
CN104106241A (zh) 生成安全名称记录的系统和方法
CN102089767A (zh) 无人值守应用程序的经认证数据库连接
JP2003233589A (ja) 複数のユーザ間で個人用機器を安全に共有する方法
CN110891060A (zh) 一种基于多业务系统集成的统一认证系统
CN111475795A (zh) 一种面向多应用进行统一认证授权的方法及装置
CN109003207B (zh) 基于区块链的居住证信息处理方法及平台
CN110636057B (zh) 一种应用访问方法、装置和计算机可读存储介质
CN108881309A (zh) 大数据平台的访问方法、装置、电子设备及可读存储介质
CN109889518B (zh) 一种加密存储方法
CN111400767B (zh) 一种分布式数据池对外提供数据存储的方法
CN103986734A (zh) 一种适用于高安全性业务系统的鉴权管理方法和系统
CN102255870B (zh) 一种分布式网络中的安全认证方法及系统
CN1601954A (zh) 不中断服务地横跨安全边界移动主体
CN102480472A (zh) 企业内网络的应用程序整合登录方法及其验证服务器
CN107104922B (zh) 一种权限管理和资源控制的方法及装置
CN111682934B (zh) 一种综合能源计量数据的存储、访问、共享方法及系统
CN114398600A (zh) 身份验证方法、系统、电子设备和计算机可读存储介质
CN114157448A (zh) 密码服务平台的搭建部署方法、装置、终端及存储介质
CN113901428A (zh) 多租户系统的登录方法及装置
CN114091061B (zh) 基于vrf和区块链的多云协同数据安全存储及审计方法
CN115277252B (zh) 一种基于多签机制的数据授权方法
CN112311771B (zh) 一种管理用户接入设备的方法、管理设备和网络设备
CN116668065A (zh) 身份认证方法、平台、电子设备及计算机可读介质
CN116980166A (zh) 基于互联网的数据传输管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 610041 No. 2119, unit 1, building 7, No. 1700, north section of Tianfu Avenue, high tech Zone, Chengdu, Sichuan

Applicant after: Chengdu Fengwei Technology Co.,Ltd.

Address before: 610041 No. 2119, unit 1, building 7, No. 1700, north section of Tianfu Avenue, high tech Zone, Chengdu, Sichuan

Applicant before: CHENGDU SHENSI SCIENCE & TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant