CN109697029A - 一种远程计算机数据管理系统及其方法 - Google Patents

一种远程计算机数据管理系统及其方法 Download PDF

Info

Publication number
CN109697029A
CN109697029A CN201811486868.1A CN201811486868A CN109697029A CN 109697029 A CN109697029 A CN 109697029A CN 201811486868 A CN201811486868 A CN 201811486868A CN 109697029 A CN109697029 A CN 109697029A
Authority
CN
China
Prior art keywords
data
user
computer data
interface
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811486868.1A
Other languages
English (en)
Inventor
葛军
黄土平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Yunxue Network Technology Co Ltd
Original Assignee
Anhui Yunxue Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Yunxue Network Technology Co Ltd filed Critical Anhui Yunxue Network Technology Co Ltd
Priority to CN201811486868.1A priority Critical patent/CN109697029A/zh
Publication of CN109697029A publication Critical patent/CN109697029A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种远程计算机数据管理系统及其方法，涉及数据管理领域。本发明包括接口层、服务层和控制层；接口层包括用户接口和编程接口；用户接口用于给客户端提供软件下载地址和二次开发接口；服务层用于负责接收相应的用户操作，同时向控制层下发与数据处理命令以及为控制层的数据存储节点发布和发现服务；控制层用于通过采集多级存储技术与数据共享技术结合的方式实现计算机数据的管理。本发明通过将计算机数据采用多级节点存储，在存储前将计算机数据分割成多个数据库并创建多个副本，同时实时监测节点的动静态信息并生成操作日志，方便用户对计算机数据进行操作，同时节约了存储占用磁盘空间，提高了数据访问效率。

Description

一种远程计算机数据管理系统及其方法
技术领域
本发明属于数据管理领域，特别是涉及一种远程计算机数据管理系统及其方法。
背景技术
众所周知，企业的应用系统在线处理大量的数据，随着数据量的不但加大，如果采用传统的在线存储方式，就需要大容量的本地一级硬盘。这样一来一方面投资会相当较大，而且管理起来也相对较复杂，另一方面由于磁盘中存储的大部分数据访问率并不高，但任然会占据硬盘空间，会导致存取速度下降。在这种情况下，层次化存储管理软件，或称为数据迁移软件，可以在性能和价格件做出最好的平衡。
发明内容
本发明的目的在于提供一种远程计算机数据管理系统及其方法，通过将计算机数据采用多级节点存储，在存储前将计算机数据分割成多个数据库并创建多个副本，同时实时监测节点的动静态信息并生成操作日志，解决了现有的存储占用磁盘空间较大、存储数据访问率不高的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为一种远程计算机数据管理系统，包括接口层、服务层和控制层；所述接口层包括用户接口和编程接口；所述用户接口用于给客户端提供软件下载地址，用户下载客户端软件安装在本地后能够实现对数据的上传、下载以及增、删、改、查；所述编程接口用于给用户提供二次开发接口或通过代码程序完成上述用户接口操作；所述服务层分别连接接口层和控制层；所述服务层用于负责接收相应的用户操作，同时向控制层下发与数据处理命令以及为控制层的数据存储节点发布和发现服务；所述控制层用于通过采集多级存储技术与数据共享技术结合的方式实现计算机数据的管理。
优选地，所述数据管理系统还包括安全机制单元和资源监测单元；其中，所述安全机制单元包括访问控制模块和通信安全模块；所述访问控制模块用于防止系统被非授权用户使用；所述通信安全模块用于保证各层之间的通行安全；所述资源监测单元用于对系统以及各节点动静信息的收集、发布和查询。
优选地，所述数据存储节点采用分布式存储策略；所述存储策略基于哈希算法实现。
优选地，所述数据存储于数据存储节点前，先将整个数据进行数据分割，分割成预定大小的数据块，并为每个数据块分配一个全局唯一的句柄的操作是外部客户端通过存储管理节点完成的。
本发明为一种远程计算机数据管理系统的管理方法，包括如下步骤：
步骤S01：用户通过客户端或系统编程接口向门户服务器注册；
步骤S02：管理员审核用户注册信息，将用户添加为系统合法用户；
步骤S03：用户通过客户端或编程接口登录系统；
步骤S04：服务器将计算机数据分发至资源池存储管理节点；
步骤S05：资源池将整个计算机数据进行分割并将分割的数据块存储至各个存储管理节点；
步骤S06：节点组收到用户操作命令的目标节点形成工作组；
步骤S07：工作组内的主节点采用P2P的方式从资源池和组内其他主节点和组外其他节点操作数据；
步骤S08：服务器通过户端或系统编程接口向用户反馈操作结果。
优选地，所述存储管理节点存储分布式元数据，并在检测到任何对资源管理系统元数据的操作时，将使用编辑日志文件进行记录。
优选地，所述步骤S05中，计算机数据被分割成数据块的同时会被复制成多个副本，计算机数据的文件块大小和副本个数均可配置。
本发明具有以下有益效果：
本发明通过将计算机数据采用多级节点存储，在存储前将计算机数据分割成多个数据库并创建多个副本，同时实时监测节点的动静态信息并生成操作日志，方便用户对计算机数据进行操作，同时节约了存储占用磁盘空间，提高了数据访问效率。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种远程计算机数据管理系统的结构框图；
图2为本发明的一种远程计算机数据管理方法步骤图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种远程计算机数据管理系统，包括接口层、服务层和控制层；接口层包括用户接口和编程接口；用户接口用于给客户端提供软件下载地址，用户下载客户端软件安装在本地后能够实现对数据的上传、下载以及增、删、改、查等操作；编程接口用于给用户提供二次开发接口或通过代码程序完成上述用户接口操作，用户对于客户端软件有什么不满意的地方，可以联系开发人员通过二次开发接口对客户端进行二次开发来满足客户要求；服务层分别连接接口层和控制层；服务层用于负责接收相应的用户操作，同时向控制层下发与数据处理命令以及为控制层的数据存储节点发布和发现服务；控制层用于通过采集多级存储技术与数据共享技术结合的方式实现计算机数据的管理。
其中，数据管理系统还包括安全机制单元和资源监测单元；其中，安全机制单元包括访问控制模块和通信安全模块；访问控制模块用于防止系统被非授权用户使用；通信安全模块用于保证各层之间的通行安全；资源监测单元用于对系统以及各节点动静信息的收集、发布和查询。
其中，数据存储节点采用分布式存储策略；存储策略基于哈希算法实现。
其中，数据存储于数据存储节点前，先将整个数据进行数据分割，分割成预定大小的数据块，并为每个数据块分配一个全局唯一的句柄的操作是外部客户端通过存储管理节点完成的。
请参阅图2所示，本发明为一种远程计算机数据管理系统的管理方法，包括如下步骤：
步骤S01：用户通过客户端或系统编程接口向门户服务器注册；
步骤S02：管理员审核用户注册信息，将用户添加为系统合法用户；
步骤S03：用户通过客户端或编程接口登录系统；
步骤S04：服务器将计算机数据分发至资源池存储管理节点；
步骤S05：资源池将整个计算机数据进行分割并将分割的数据块存储至各个存储管理节点；
步骤S06：节点组收到用户操作命令的目标节点形成工作组；
步骤S07：工作组内的主节点采用P2P的方式从资源池和组内其他主节点和组外其他节点操作数据；
步骤S08：服务器通过户端或系统编程接口向用户反馈操作结果。
其中，存储管理节点存储分布式元数据，并在检测到任何对资源管理系统元数据的操作时，将使用编辑日志文件进行记录，日志能够记录用户具体操作，同时能够记录数据操作时间，方便用户的操作信息进行查询以及数据恢复。
其中，步骤S05中，计算机数据被分割成数据块的同时会被复制成多个副本，计算机数据的文件块大小和副本个数均可配置，多个复位按照分割时间进行版本生成，当系统出现操作失误导致系统数据丢失或者缺失，可以通过副本能够将计算机数据返回至任意版本，避免了操作失误导致计算机数据丢失。
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.一种远程计算机数据管理系统，包括接口层、服务层和控制层，其特征在于：
所述接口层包括用户接口和编程接口；所述用户接口用于给客户端提供软件下载地址，用户下载客户端软件安装在本地后能够实现对数据的上传、下载以及增、删、改、查；所述编程接口用于给用户提供二次开发接口或通过代码程序完成上述用户接口操作；
所述服务层分别连接接口层和控制层；所述服务层用于负责接收相应的用户操作，同时向控制层下发与数据处理命令以及为控制层的数据存储节点发布和发现服务；
所述控制层用于通过采集多级存储技术与数据共享技术结合的方式实现计算机数据的管理。
2.根据权利要求1所述的一种远程计算机数据管理系统，其特征在于，所述数据管理系统还包括安全机制单元和资源监测单元；其中，所述安全机制单元包括访问控制模块和通信安全模块；所述访问控制模块用于防止系统被非授权用户使用；所述通信安全模块用于保证各层之间的通行安全；所述资源监测单元用于对系统以及各节点动静信息的收集、发布和查询。
3.根据权利要求1所述的一种远程计算机数据管理系统，其特征在于，所述数据存储节点采用分布式存储策略；所述存储策略基于哈希算法实现。
4.根据权利要求1所述的一种远程计算机数据管理系统，其特征在于，所述数据存储于数据存储节点前，先将整个数据进行数据分割，分割成预定大小的数据块，并为每个数据块分配一个全局唯一的句柄的操作是外部客户端通过存储管理节点完成的。
5.如根据权利要求1-4任意一所述的一种远程计算机数据管理系统的管理方法，其特征在于，包括如下步骤：
步骤S01：用户通过客户端或系统编程接口向门户服务器注册；
步骤S02：管理员审核用户注册信息，将用户添加为系统合法用户；
步骤S03：用户通过客户端或编程接口登录系统；
步骤S04：服务器将计算机数据分发至资源池存储管理节点；
步骤S05：资源池将整个计算机数据进行分割并将分割的数据块存储至各个存储管理节点；
步骤S06：节点组收到用户操作命令的目标节点形成工作组；
步骤S07：工作组内的主节点采用P2P的方式从资源池和组内其他主节点和组外其他节点操作数据；
步骤S08：服务器通过户端或系统编程接口向用户反馈操作结果。
6.根据权利要求5所述的一种远程计算机数据管理系统的管理方法，其特征在于，所述存储管理节点存储分布式元数据，并在检测到任何对资源管理系统元数据的操作时，将使用编辑日志文件进行记录。
7.根据权利要求5所述的一种远程计算机数据管理系统的管理方法，其特征在于，所述步骤S05中，计算机数据被分割成数据块的同时会被复制成多个副本，计算机数据的文件块大小和副本个数均可配置。
CN201811486868.1A 2018-12-06 2018-12-06 一种远程计算机数据管理系统及其方法 Withdrawn CN109697029A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811486868.1A CN109697029A (zh) 2018-12-06 2018-12-06 一种远程计算机数据管理系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811486868.1A CN109697029A (zh) 2018-12-06 2018-12-06 一种远程计算机数据管理系统及其方法

Publications (1)

Publication Number Publication Date
CN109697029A true CN109697029A (zh) 2019-04-30

Family

ID=66230363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811486868.1A Withdrawn CN109697029A (zh) 2018-12-06 2018-12-06 一种远程计算机数据管理系统及其方法

Country Status (1)

Country Link
CN (1) CN109697029A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110502231A (zh) * 2019-08-30 2019-11-26 山东浪潮通软信息科技有限公司 一种通过远程通讯协议进行文件操作的方法
CN111580941A (zh) * 2020-03-27 2020-08-25 东方电气风电有限公司 一种多端口解决风电场数据上传地址不够的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110502231A (zh) * 2019-08-30 2019-11-26 山东浪潮通软信息科技有限公司 一种通过远程通讯协议进行文件操作的方法
CN110502231B (zh) * 2019-08-30 2022-07-19 浪潮通用软件有限公司 一种通过远程通讯协议进行文件操作的方法
CN111580941A (zh) * 2020-03-27 2020-08-25 东方电气风电有限公司 一种多端口解决风电场数据上传地址不够的方法
CN111580941B (zh) * 2020-03-27 2023-03-24 东方电气风电股份有限公司 一种多端口解决风电场数据上传地址不够的方法

Similar Documents

Publication Publication Date Title
US7490265B2 (en) Recovery segment identification in a computing infrastructure
CN103975571B (zh) 具有自动负荷平衡和性能调节的高可用网络文件管理器
CN102571916B (zh) 一种云存储空间的租赁软件的架构与操作方法
US8185614B2 (en) Systems, methods, and apparatus for identifying accessible dispersed digital storage vaults utilizing a centralized registry
KR100974149B1 (ko) 네임스페이스에 대한 정보 유지 방법, 시스템 및 컴퓨터 판독가능 저장 매체
KR100985443B1 (ko) 시퀀스 관리 장치, 데이터 백업 방법, 데이터 백업 클라이언트, 데이터 백업 시스템, 프로그램가능 하드웨어 장치 및 데이터 백업 장치
JP5822452B2 (ja) ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム
CN100450033C (zh) 访问网络上计算机资源的管理方法和系统
US11411921B2 (en) Enabling access across private networks for a managed blockchain service
CN107315776A (zh) 一种基于云计算的数据管理系统
CN104050248B (zh) 一种文件存储系统及存储方法
CN105051675B (zh) 复制目标服务
US11194815B1 (en) Constrained query execution
CN103890738A (zh) 用于保留克隆分离操作之后的存储对象中的消重的系统和方法
US20070150481A1 (en) File distribution and access mechanism for file management and method thereof
CN104020961A (zh) 分布式数据存储方法、装置及系统
EP2187332A1 (en) Storage area allocation method and a management server
JP5236129B2 (ja) ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム
US10922304B1 (en) Distributed data protection management in multi-cloud computing environment
CN109697029A (zh) 一种远程计算机数据管理系统及其方法
US20080195675A1 (en) Method for Pertorming Distributed Backup on Client Workstations in a Computer Network
US11290532B2 (en) Tape reconstruction from object storage
Yan Cloud storage services
JP5174255B2 (ja) ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム
JP6033370B2 (ja) ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190430

WW01 Invention patent application withdrawn after publication