CN102880715A - 基于云存储的数据池管理方法及系统 - Google Patents
基于云存储的数据池管理方法及系统 Download PDFInfo
- Publication number
- CN102880715A CN102880715A CN2012103806612A CN201210380661A CN102880715A CN 102880715 A CN102880715 A CN 102880715A CN 2012103806612 A CN2012103806612 A CN 2012103806612A CN 201210380661 A CN201210380661 A CN 201210380661A CN 102880715 A CN102880715 A CN 102880715A
- Authority
- CN
- China
- Prior art keywords
- file
- data pool
- data
- access
- authority
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明公开了一种基于云存储的数据池管理方法及系统，方法包括：创建NTFS分区；建立文件夹数据池；在文件夹数据池的文件夹中添加系统用户和系统管理员用户信息，并赋予可继承的完全控制权限；建立数据库；按照部门权限分组的方式建立业务数据访问权限的配置文件；读取配置文件，在建立的数据池文件夹下生成相应的文件目录和访问权限；在建立的数据池文件夹下按照业务流程导入现有业务数据。系统包括主服务器、备份服务器、文件夹数据池、数据库和若干个终端；终端通过网络访问主服务器；主服务器根据终端的用户请求信息，匹配数据库中的用户信息和权限信息，并根据匹配到的用户信息和权限信息使用户通过终端对文件夹数据池进行权限内的操作。
Description
技术领域
本发明涉及一种基于云存储的数据池管理方法及系统，属于地理信息系统技术（空间数据存储）领域，主要适用于测绘及相关行业生产数据的存储以及管理。
背景技术
现有数据存储和共享模式基于Windows域控制器。即通过LDAP（轻量级目录存储协议）存储、访问共享数据。数据存储和访问机制存在以下的不足：
1．需要建立Windows域控制器，在此基础上采用手工方法建立用户、组和组策略。通过组策略管理、设置相应的活动目录和参数，其步骤繁琐、人工录入容易出错，为保证其正确性至少应由两名工作人员（一名负责数据录入、另一名负责检查）完成该项工作，且建立的活动目录不可批量维护。
2．由于域并不存放数据的状态，因此无法进行基于状态的流程追踪和回溯。
3．现有的数据会因为业务流程中多个环节的存取而产生多个副本，这将占用大量的存储空间并导致数据及数据权限的不一致。
现有数据是基于LDAP的简单数据共享，并无相应的网路数据传输控制功能（如断点续传、流量控制等）。
发明内容
发明目的：本发明提供一种基于云存储的数据池管理方法及系统，解决了如下问题：
（1）解决数据重复存储（即数据不一致）——通过统一数据和状态权限的数据管理方式将原有的多副本数据规约至单一、无副本数据，并赋以相应的访问权限。
（2）建立统一的数据存储、访问机制——将原有的客户自行上下载数据转变成通过网页统一进行数据上下载，并实时显示数据状态。
（3）建立可复用的数据维护机制——包含数据、元数据的备份和恢复功能，并提供相应的日志查询功能。
（4）对于数据访问过程进行流量控制——在管理端建立数据上下载流量限制功能，并实时统计各用户的数据访问情况。
技术方案：一种基于云存储的数据池管理方法，包括如下步骤：
步骤1，创建NTFS分区；
步骤2，在NTFS分区下按照业务需要建立文件夹数据池；
步骤3，在文件夹数据池的文件夹中添加系统用户和系统管理员用户信息，并赋予可继承的完全控制权限；
步骤4，建立数据库，存储系统用户信息、系统管理员用户信息、访问权限信息、数据访问记录以及系统日志，并向数据库中导入数据模板和部分元数据；
步骤5，按照部门权限分组的方式建立业务数据访问权限的配置文件，用于存放文件目录和访问权限，使系统用户具有访问文件夹的权限，使系统管理员具有维护文件夹的权限；
步骤6，读取配置文件，在建立的数据池文件夹下生成相应的文件目录和访问权限；
步骤7，在建立的数据池文件夹下按照业务流程导入现有业务数据。
一种基于云存储的数据池管理系统，包括主服务器、备份服务器、文件夹数据池、数据库和若干个终端；所述终端通过网络访问主服务器；所述主服务器根据终端的用户请求信息，匹配数据库中的用户信息和权限信息，并根据匹配到的用户信息和权限信息使用户通过终端对文件夹数据池进行权限内的操作；所述备份服务器为主服务器备份。
有益效果：相对于现有技术，本发明提供的基于云存储的数据池管理系统和方法，具有如下优点：
提高了数据安全性：由于数据存储的唯一性，避免了数据存在多个副本，降低了数据因非法途径流出的可能性，提高了数据的安全性；
提高了工作流程的执行效率：数据的统一，避免了工作流程中数据在各个部门间提交所花费的时间；
减少了数据管理开销：数据量的减少直接导致数据维护时间的降低；
减少了数据总量：由于避免了数据重复，数据总量由原有的400GB/年降至现有的100GB/年，每年节约存储空间300GB。
附图说明
图1为现有技术中业务流程的数据流图；
图2为本发明实施例的数据流图；
图3为本发明实施例的原理图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
基于云存储的数据池管理方法，包括如下步骤：
步骤1，创建NTFS分区；
步骤2，在NTFS分区下按照业务需要建立文件夹数据池；
步骤3，在文件夹数据池的文件夹中添加系统用户和系统管理员用户信息，并赋予可继承的完全控制权限；
步骤4，建立数据库，存储系统用户信息、系统管理员用户信息、访问权限信息、数据访问记录以及系统日志，并向数据库中导入数据模板和部分元数据；
步骤5，按照部门权限分组的方式建立业务数据访问权限的配置文件，用于存放文件目录和访问权限，使系统用户具有访问文件夹的权限，使系统管理员具有维护文件夹的权限；
步骤6，读取配置文件，在建立的数据池文件夹下生成相应的文件目录和访问权限；
步骤7，在建立的数据池文件夹下按照业务流程导入现有业务数据。
如图1所示，原有的业务流程包含至少4份数据副本（调阅数据副本、生产数据副本、检查数据副本、提交数据副本）。伴随着流程的迭代，可能出现更多的数据副本。如图2所示， 改进后的业务流程除了数据池外部门并不包含任何数据副本。数据池中的数据由系统自动实时备份，各部门间的数据交换通过修行数据状态权限完成。
如图3所示，基于云存储的数据池管理系统，包括主服务器、备份服务器、文件夹数据池、数据库和若干个终端；所述终端通过网络访问主服务器；所述主服务器根据终端的用户请求信息，匹配数据库中的用户信息和权限信息，并根据匹配到的用户信息和权限信息使用户通过终端对文件夹数据池进行权限内的操作；所述备份服务器为主服务器备份。
系统由Web用户界面、后台数据库、全局数据池三部分构成。
Web用户界面使用Windows IIS Web服务器 + ASP.NET动态页面实现，包含系统管理及维护模块和用户日常操作模块。
其中，系统管理及维护模块包含用户管理（包含新增、修改、删除用户信息）、权限管理（包含新增、修改、删除权限信息）、操作日志管理（包含系统日志查询、用户操作日志查询和日志导出功能）、数据备份和恢复（管理员用户可以将系统存储的数据导出至外围存储设备，同样也可以将外围设备数据导入至系统）。
用户日常操作模块包括用户登录（即通过输入用户名、口令的方式在服务器端进行验证后赋予相应权限后登录系统）、数据上、下载功能（部分用户拥有数据上传功能，即选择相应数据上传至服务器的全局数据池，并赋予相应的访问权限；数据下载功能即拥有相应权限的用户登录系统后可以从全局数据池下载相应的数据，下载支持断点续传功能）。
后台数据库基于大型空间数据库（可复用现有数据库），用于统一存储系统相关配置、用户信息、操作日志等，以ORACLE数据库为例，安装配置完数据库及相关工具后（复用现有数据库可忽略此步骤），以管理员用户登录数据库，建立相应的表空间、用户等信息，将系统的数据模板导入至现有数据库。
全局数据池采用Windows FTP服务器用于提供文件级的数据共享和存储，即在系统的存储区域（考虑到数据安全性和访问速度，硬件部分建议采用固态硬盘配合RAID 1+0硬盘阵列，文件系统建议采用能够存放大数据文件的NTFS格式）。全局数据池主要采用FTP的传输协议。数据池内部按照部门权限分组的方式建立相应的文件目录，并赋予相应的访问权限。
Claims (2)
1.一种基于云存储的数据池管理方法，其特征在于，包括如下步骤：
步骤1，创建NTFS分区；
步骤2，在NTFS分区下按照业务需要建立文件夹数据池；
步骤3，在文件夹数据池的文件夹中添加系统用户和系统管理员用户信息，并赋予可继承的完全控制权限；
步骤4，建立数据库，存储系统用户信息、系统管理员用户信息、访问权限信息、数据访问记录以及系统日志，并向数据库中导入数据模板和部分元数据；
步骤5，按照部门权限分组的方式建立业务数据访问权限的配置文件，用于存放文件目录和访问权限，使系统用户具有访问文件夹的权限，使系统管理员具有维护文件夹的权限；
步骤6，读取配置文件，在建立的数据池文件夹下生成相应的文件目录和访问权限；
步骤7，在建立的数据池文件夹下按照业务流程导入现有业务数据。
2.一种基于云存储的数据池管理系统，其特征在于，包括主服务器、备份服务器、文件夹数据池、数据库和若干个终端；所述终端通过网络访问主服务器；所述主服务器根据终端的用户请求信息，匹配数据库中的用户信息和权限信息，并根据匹配到的用户信息和权限信息使用户通过终端对文件夹数据池进行权限内的操作；所述备份服务器为主服务器备份。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012103806612A CN102880715A (zh) | 2012-10-09 | 2012-10-09 | 基于云存储的数据池管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012103806612A CN102880715A (zh) | 2012-10-09 | 2012-10-09 | 基于云存储的数据池管理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102880715A true CN102880715A (zh) | 2013-01-16 |
Family
ID=47482041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012103806612A Pending CN102880715A (zh) | 2012-10-09 | 2012-10-09 | 基于云存储的数据池管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102880715A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103577577A (zh) * | 2013-11-06 | 2014-02-12 | 北京京东尚科信息技术有限公司 | 一种保存数据库日志的方法、装置及系统 |
| CN103731437A (zh) * | 2014-01-26 | 2014-04-16 | 合一网络技术(北京)有限公司 | 对信息投放进行配置的方法及系统 |
| CN104503864A (zh) * | 2014-11-20 | 2015-04-08 | 北京世纪高蓝科技有限公司 | 一种基于局域网的文件备份方法和装置 |
| CN104717233A (zh) * | 2013-12-11 | 2015-06-17 | 中国电信股份有限公司 | 数据库部署方法和装置 |
| CN106506668A (zh) * | 2016-11-23 | 2017-03-15 | 山东浪潮云服务信息科技有限公司 | 一种基于分布式存储实现对象存储的方法 |
| CN108632238A (zh) * | 2017-09-18 | 2018-10-09 | 北京视联动力国际信息技术有限公司 | 一种权限控制的方法和装置 |
| CN109587185A (zh) * | 2017-09-28 | 2019-04-05 | 华为技术有限公司 | 云存储系统和云存储系统中的对象处理方法 |
| CN109636704A (zh) * | 2018-12-21 | 2019-04-16 | 湖北省楚天云有限公司 | 一种政务云计算平台的资源的配置方法和设备 |
| CN109753814A (zh) * | 2018-11-13 | 2019-05-14 | 苏州网信信息科技股份有限公司 | 云盘层级管理系统及方法 |
| CN110032544A (zh) * | 2018-05-29 | 2019-07-19 | 普安科技股份有限公司 | 云端服务的权限管理方法及其云端数据存储系统 |
| CN111428270A (zh) * | 2020-04-16 | 2020-07-17 | 陶光毅 | 一种基于光盘的数据库分布式存储方法和存储系统 |
| CN111629044A (zh) * | 2020-05-21 | 2020-09-04 | 浙江华网俊业科技有限公司 | 基于云盘的Windows操作系统数据漫游网络结构及其方法 |
| CN113836500A (zh) * | 2020-06-23 | 2021-12-24 | 上海森亿医疗科技有限公司 | 数据权限控制方法、系统、终端以及储存介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101841537A (zh) * | 2010-04-13 | 2010-09-22 | 北京时代亿信科技有限公司 | 一种基于协议代理实现对文件共享访问控制方法及系统 |
| CN101944107A (zh) * | 2010-08-31 | 2011-01-12 | 南京赛孚科技有限公司 | 一种文件管理的方法 |
-
2012
- 2012-10-09 CN CN2012103806612A patent/CN102880715A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101841537A (zh) * | 2010-04-13 | 2010-09-22 | 北京时代亿信科技有限公司 | 一种基于协议代理实现对文件共享访问控制方法及系统 |
| CN101944107A (zh) * | 2010-08-31 | 2011-01-12 | 南京赛孚科技有限公司 | 一种文件管理的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李龙: "基于视频云存储的服务器集群系统的设计与实现", 《万方学位论文数据库》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103577577A (zh) * | 2013-11-06 | 2014-02-12 | 北京京东尚科信息技术有限公司 | 一种保存数据库日志的方法、装置及系统 |
| CN104717233A (zh) * | 2013-12-11 | 2015-06-17 | 中国电信股份有限公司 | 数据库部署方法和装置 |
| CN104717233B (zh) * | 2013-12-11 | 2019-03-19 | 中国电信股份有限公司 | 数据库部署方法和装置 |
| CN103731437A (zh) * | 2014-01-26 | 2014-04-16 | 合一网络技术(北京)有限公司 | 对信息投放进行配置的方法及系统 |
| CN103731437B (zh) * | 2014-01-26 | 2016-09-21 | 合一网络技术(北京)有限公司 | 对信息投放进行配置的方法及系统 |
| CN104503864A (zh) * | 2014-11-20 | 2015-04-08 | 北京世纪高蓝科技有限公司 | 一种基于局域网的文件备份方法和装置 |
| CN106506668B (zh) * | 2016-11-23 | 2019-07-16 | 浪潮云信息技术有限公司 | 一种基于分布式存储实现对象存储的方法 |
| CN106506668A (zh) * | 2016-11-23 | 2017-03-15 | 山东浪潮云服务信息科技有限公司 | 一种基于分布式存储实现对象存储的方法 |
| CN108632238A (zh) * | 2017-09-18 | 2018-10-09 | 北京视联动力国际信息技术有限公司 | 一种权限控制的方法和装置 |
| CN109587185B (zh) * | 2017-09-28 | 2020-11-03 | 华为技术有限公司 | 云存储系统和云存储系统中的对象处理方法 |
| CN109587185A (zh) * | 2017-09-28 | 2019-04-05 | 华为技术有限公司 | 云存储系统和云存储系统中的对象处理方法 |
| CN110032544A (zh) * | 2018-05-29 | 2019-07-19 | 普安科技股份有限公司 | 云端服务的权限管理方法及其云端数据存储系统 |
| CN110032544B (zh) * | 2018-05-29 | 2023-09-15 | 普安科技股份有限公司 | 云端服务的权限管理方法及其云端数据存储系统 |
| CN109753814A (zh) * | 2018-11-13 | 2019-05-14 | 苏州网信信息科技股份有限公司 | 云盘层级管理系统及方法 |
| CN109636704A (zh) * | 2018-12-21 | 2019-04-16 | 湖北省楚天云有限公司 | 一种政务云计算平台的资源的配置方法和设备 |
| CN111428270A (zh) * | 2020-04-16 | 2020-07-17 | 陶光毅 | 一种基于光盘的数据库分布式存储方法和存储系统 |
| CN111629044A (zh) * | 2020-05-21 | 2020-09-04 | 浙江华网俊业科技有限公司 | 基于云盘的Windows操作系统数据漫游网络结构及其方法 |
| CN111629044B (zh) * | 2020-05-21 | 2021-11-30 | 浙江华网俊业科技有限公司 | 基于云盘的Windows操作系统数据漫游网络结构及其方法 |
| CN113836500A (zh) * | 2020-06-23 | 2021-12-24 | 上海森亿医疗科技有限公司 | 数据权限控制方法、系统、终端以及储存介质 |
| CN113836500B (zh) * | 2020-06-23 | 2023-11-07 | 上海森亿医疗科技有限公司 | 数据权限控制方法、系统、终端以及储存介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102880715A (zh) | 基于云存储的数据池管理方法及系统 | |
| DE112012005037B4 (de) | Verwalten von redundanten unveränderlichen Dateien unter Verwendung von Deduplizierungen in Speicher-Clouds | |
| EP2849098B1 (en) | Cross system analytics for in memory data warehouse | |
| CN100492370C (zh) | 面向集成化企业模型的文档管理方法 | |
| CN103714123B (zh) | 企业云存储分块对象重复数据删除和重组版本控制方法 | |
| CN107343041B (zh) | 一种基于云计算的精准扶贫管理系统与方法 | |
| US9674280B1 (en) | Social file storage | |
| DE112013001308T5 (de) | Verwalten von mandantenspezifischen Datensätzen in einer mandantenfähigen Umgebung | |
| CN104335189A (zh) | 对共享存储资源的安全访问 | |
| CN103064927A (zh) | 分布式文件系统的数据访问方法和装置 | |
| EP3000049B1 (en) | System and method to provide document management on a public document system | |
| CN102999607A (zh) | 一种数据存储方法、数据访问方法以及相关装置 | |
| US11741144B2 (en) | Direct storage loading for adding data to a database | |
| DE112017005772T5 (de) | Zeitpunktgesteuerte sicherungen über einen speicher-controller in eine objektspeicher-cloud | |
| DE112021004008T5 (de) | Validieren von verfolgten abschnitten von empfangenen sensordaten mithilfe von kryptographischer computerverarbeitung | |
| DE112021004119T5 (de) | Speicherabstufung innerhalb einer vereinheitlichten speicherumgebung | |
| US11223528B2 (en) | Management of cloud-based shared content using predictive cost modeling | |
| CN110765192A (zh) | 一种基于云平台的gis数据管理及处理方法 | |
| CN103426049A (zh) | 一种基于web的化合物管理方法及系统 | |
| US20180210950A1 (en) | Distributed file system with tenant file system entity | |
| CN103745298A (zh) | 基于岗位系统的报表用户权限设置方法及装置 | |
| CN103345781A (zh) | 一种多生物特征的考勤系统 | |
| CN106506460A (zh) | 基于网盘的数控机床程序管理系统 | |
| CN103793264A (zh) | 一种桌面虚拟化离线桌面集中管理的实现方法 | |
| Zeller et al. | Experience report: Exploiting advanced database optimization features for large-scale sap r/3 installations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20130116 |