CN104125235A - 一种集成多协议的一体化存储方法 - Google Patents
一种集成多协议的一体化存储方法 Download PDFInfo
- Publication number
- CN104125235A CN104125235A CN201410391438.7A CN201410391438A CN104125235A CN 104125235 A CN104125235 A CN 104125235A CN 201410391438 A CN201410391438 A CN 201410391438A CN 104125235 A CN104125235 A CN 104125235A
- Authority
- CN
- China
- Prior art keywords
- file
- client
- epm
- protocols
- client end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000005540 biological transmission Effects 0.000 claims abstract description 5
- 230000010354 integration Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Storage Device Security (AREA)
Abstract
一种集成多协议的一体化存储方法，属于计算机系统存储领域；具体步骤为：①架设一个包含有多种不同的协议的管理软件层EPM，负责协议集合与管理，进行协议的增加、删除操作；②协议锁识别，系统接收到不同的client端发来的请求，分析使用的协议及该协议中锁的类型、功能，将多个client端的请求加锁协议转化成为由EPM进行控制的锁管理；③client端拷贝请求的文件，EPM会检测文件的信息列表，提醒client端进行更新或是提交新请求；有益之处是：本发明既能够同时处理多种不同的传输协议，又具有完备的数据完整性、安全性和一致性保护功能的新型存储体系，使多协议的一体化存储管理能够实现。
Description
技术领域
本发明涉及一种存储方法，属于计算机系统存储领域，具体地说是一种集成多协议的一体化存储方法。
背景技术
随着云技术的飞速发展，云应用也迎来了越来越多的用户。在用户量猛增的同时，不同系统使用不同协议进行数据信息交互所引发的各种问题也随之而来。对此，市场上对存储系统提出了更高的要求，需要一种既能够同时处理多种不同的传输协议，又具有完备的数据完整性、安全性和一致性保护功能的新型存储体系。由于在各个分布式的交互应用中，非结构化的文件数据应用远比结构化的块数据使用的广泛，因此本发明仅针对于非结构化的文件数据进行构建，提供一种集成多协议的一体化存储体系结构，采用扩展协议管理（Extend Protocol Manage，EPM），控制数据的存储，保障数据的完整性、一致性。扩展协议管理EPM，是指一种存储系统内部集成的多种不同通信协议的协议管理系统模型，可以进行不同协议模块的添加、删除。控制数据存储，是指由扩展协议管理EPM将数据分析后，按照相对应的协议标准存储到存储介质的过程。保障数据的完整性、一致性，是指由扩展协议管理EPM分析文件数据的请求信息，通过EPM单独的文件管理机制来确保文件不会遭到破坏。
发明内容
本发明针对现有技术存在的不足和问题，提供一种集成多协议的一体化存储方法，提出的具体方案是：
一种集成多协议的一体化存储方法，通过FC或IP网络传输而来，数据将会按照各自传输协议的标准来进行存储，通过系统内的扩展协议管理EPM对文件数据的一致性进行保护，具体步骤为：
①架设一个包含有多种不同的协议的管理软件层EPM，负责协议集合与管理，进行协议的增加、删除操作；
②协议锁识别，系统接收到不同的client端发来的请求，分析使用的协议及该协议中锁的类型、功能，将多个client端的请求加锁协议转化成为由EPM进行控制的锁管理；
③client端拷贝请求的文件，EPM会检测文件的信息列表，提醒client端进行更新或是提交新请求。
所述的操作系统是Windows、Linux、MAC OS，使用的协议是NFS/SMB/CIFS/FTP/AFP。
所述的步骤③中，所述的client端拷贝是远程映射或者直接拷贝两种。
所述的步骤③中在多协议混合的一体化存储体系中，client端拷贝是远程映射，EPM会分析各个请求中的锁信息，然后对第一个进行写请求操作的client端进行加锁，确保除此client端能够对文件进行写操作外，其它的client端只能对文件进行读操作，同时会向其它申请写操作的client端反馈一个此文件正在进行写操作的提示，在获得写操作的client端完成操作后，EPM会检测文件的信息列表，向所有正在读此文件的client端发送一个信息，表明文件有最新的更改已完成，提醒client端进行更新或是提交写请求。
所述的步骤③中所述的client端拷贝是直接拷贝，EPM在发现有client端要往存储服务器上进行拷贝覆盖时，首先查看文件的信息列表，确认是否有其它的client端正在对此文件进行操作，如果有client端正在进行操作，则分别发送提示信息进行提醒；如果没有其它client端正在进行操作，则提取此文件操作历史列表中的信息反馈给client端进行确认，并在拷贝覆盖操作进行时，记录详细的日志信息以备查询，尽可能的维护存储服务器的文件完整性。
本发明的有益之处是：本发明针对于非结构化的文件数据进行构建,提供一种既能够同时处理多种不同的传输协议，又具有完备的数据完整性、安全性和一致性保护功能的新型存储体系，使多协议的一体化存储管理能够实现。
具体实施方式
本发明是基于存储系统的基础上实现的集成多种通信协议的一体化存储。数据可以由Windows、Linux、MAC OS等不同的操作系统，使用NFS/SMB/CIFS/FTP/AFP等多种不同的协议，通过FC或IP网络传输而来，数据将会按照各自传输协议的标准来进行存储，通过系统内的扩展协议管理（Extend Protocol Manage,EPM）对文件数据的一致性进行保护。
下面进行具体说明：
对数据的操作可以从基本上分为三类，存储、读取和修改。文件在传输时使用的协议可能不同，但文件存储到存储介质上时是相同的形式。通过在存储系统内部，架设一个包含有多种不同的协议的管理软件层EPM，对接收到的数据进行分析，依据各自不同的协议标准进行处理后存储到存储介质中。EPM是一个大型的协议集合与管理，可以人工的进行协议的增加、删除操作。
各种协议对文件的读取分为远程映射和直接拷贝两种，远程映射是将存储端的文件映射到client端来进行操作，client端操作的就是存储服务器上的直接文件；直接拷贝则是将存储服务器上的文件拷贝到client端，client端操作的就是从存储服务端拷贝来的文件，而不是存储服务器上的直接文件。
使用远程映射的方式，在普通存储系统中的文件读取，单一的协议通信由client端发出请求后存储端进行回应，简单可靠。但是在多协议混合的一体化存储体系中，由于系统可能会在同一个时间内接收到使用不同协议的多个client端请求同一个文件的情况发生，不同的协议会给请求的同一个文件加上各自不同的锁，但不同的协议之间对其它的锁功能并不认识，锁的作用就无法体现，这样就会对文件的一致性造成破坏。
在EPM中，包含了一个对多种协议锁的辨别功能，在系统接收到不同的client端发来的请求后，会对请求中的信息进行判断，分析使用的协议及该协议中锁的类型、功能，将多个client端的请求加锁协议转化成为由EPM进行控制的锁管理。EPM对每个由多个client端进行请求的文件创建一个信息列表，在列表中记录client端请求的相关信息。在所有的client端都是进行的读请求时，文件的内容不会发生变化，EPM不对文件进行加锁操作。在不同的client端对文件进行写请求时，EPM会分析各个请求中的锁信息，然后对第一个进行写请求操作的client端进行加锁，确保除此client端能够对文件进行写操作外，其它的client端只能对文件进行读操作，同时会向其它申请写操作的client端反馈一个此文件正在进行写操作的提示。在获得写操作的client端完成操作后，EPM会检测文件的信息列表，向所有正在读此文件的client端发送一个信息，表明文件有最新的更改已完成，提醒client端进行更新或是提交写请求。以此确保文件的一致性不会被破坏。
使用直接拷贝的方式，client端拷贝存储服务端的文件到本地，然后进行读取、修改等操作，完成后将文件重新拷贝回存储服务器。在此过程中，原文件可能已经进行了更改，如果服务器端直接接收client端的文件拷贝，则可能造成在此之间修改的文件数据的丢失。EPM以隐藏文件的形式维护一个文件的操作历史列表，列表中以类似于日志的方式描述了文件进行的读、写操作以及时间。EPM在发现有client端要往存储服务器上进行拷贝覆盖时，首先查看文件的信息列表，确认是否有其它的client端正在对此文件进行操作，如果有client端正在进行操作，则分别发送提示信息进行提醒；如果没有其它client端正在进行操作，则提取此文件操作历史列表中的信息反馈给client端进行确认，并在拷贝覆盖操作进行时，记录详细的日志信息以备查询，尽可能的维护存储服务器的文件完整性。
Claims (5)
1.一种集成多协议的一体化存储方法，通过FC或IP网络传输而来，数据将会按照各自传输协议的标准来进行存储，其特征是通过系统内的扩展协议管理EPM对文件数据的一致性进行保护，具体步骤为：
①架设一个包含有多种不同的协议的管理软件层EPM，负责协议集合与管理，进行协议的增加、删除操作；
②协议锁识别，系统接收到不同的client端发来的请求，分析使用的协议及该协议中锁的类型、功能，将多个client端的请求加锁协议转化成为由EPM进行控制的锁管理；
③client端拷贝请求的文件，EPM会检测文件的信息列表，提醒client端进行更新或是提交新请求。
2.根据权利要求1所述的一种集成多协议的一体化存储方法，其特征是所述的操作系统是Windows、Linux、MAC OS，使用的协议是NFS/SMB/CIFS/FTP/AFP。
3.根据权利要求1所述的一种集成多协议的一体化存储方法，其特征是所述的步骤③中，所述的client端拷贝是远程映射或者直接拷贝两种。
4.根据权利要求3所述的一种集成多协议的一体化存储方法，其特征是所述的步骤③中在多协议混合的一体化存储体系中，client端拷贝是远程映射，EPM会分析各个请求中的锁信息，然后对第一个进行写请求操作的client端进行加锁，确保除此client端能够对文件进行写操作外，其它的client端只能对文件进行读操作，同时会向其它申请写操作的client端反馈一个此文件正在进行写操作的提示，在获得写操作的client端完成操作后，EPM会检测文件的信息列表，向所有正在读此文件的client端发送一个信息，表明文件有最新的更改已完成，提醒client端进行更新或是提交写请求。
5. 根据权利要求3所述的一种集成多协议的一体化存储方法，其特征是所述的步骤③中所述的client端拷贝是直接拷贝，EPM在发现有client端要往存储服务器上进行拷贝覆盖时，首先查看文件的信息列表，确认是否有其它的client端正在对此文件进行操作，如果有client端正在进行操作，则分别发送提示信息进行提醒；如果没有其它client端正在进行操作，则提取此文件操作历史列表中的信息反馈给client端进行确认，并在拷贝覆盖操作进行时，记录详细的日志信息以备查询，尽可能的维护存储服务器的文件完整性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410391438.7A CN104125235A (zh) | 2014-08-11 | 2014-08-11 | 一种集成多协议的一体化存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410391438.7A CN104125235A (zh) | 2014-08-11 | 2014-08-11 | 一种集成多协议的一体化存储方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104125235A true CN104125235A (zh) | 2014-10-29 |
Family
ID=51770499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410391438.7A Pending CN104125235A (zh) | 2014-08-11 | 2014-08-11 | 一种集成多协议的一体化存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104125235A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016065897A1 (zh) * | 2014-10-31 | 2016-05-06 | 华为技术有限公司 | 一种文件锁实现方法及装置 |
| CN107222363A (zh) * | 2017-05-26 | 2017-09-29 | 郑州云海信息技术有限公司 | 一种存储协议一致性测试方法及系统 |
| CN113407510A (zh) * | 2021-06-22 | 2021-09-17 | 北京联创信安科技股份有限公司 | 一种数据共享系统 |
| CN113542249A (zh) * | 2021-07-08 | 2021-10-22 | 昆明学院 | 一种多协议数据发布系统 |
-
2014
- 2014-08-11 CN CN201410391438.7A patent/CN104125235A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016065897A1 (zh) * | 2014-10-31 | 2016-05-06 | 华为技术有限公司 | 一种文件锁实现方法及装置 |
| CN107222363A (zh) * | 2017-05-26 | 2017-09-29 | 郑州云海信息技术有限公司 | 一种存储协议一致性测试方法及系统 |
| CN107222363B (zh) * | 2017-05-26 | 2021-01-08 | 苏州浪潮智能科技有限公司 | 一种存储协议一致性测试方法及系统 |
| CN113407510A (zh) * | 2021-06-22 | 2021-09-17 | 北京联创信安科技股份有限公司 | 一种数据共享系统 |
| CN113542249A (zh) * | 2021-07-08 | 2021-10-22 | 昆明学院 | 一种多协议数据发布系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10747724B2 (en) | System and method of using data blocks to optimize file storage | |
| JP6810172B2 (ja) | 文書管理およびアクセス制御を有する分散データシステム | |
| US8185614B2 (en) | Systems, methods, and apparatus for identifying accessible dispersed digital storage vaults utilizing a centralized registry | |
| DE102012219155B4 (de) | Verschlüsseln von Datenobjekten zur Datensicherung | |
| US8818964B2 (en) | Optimization of a computing environment in which data management operations are performed | |
| US20150127607A1 (en) | Distributed data system with document management and access control | |
| US20140372382A1 (en) | Virtual private cloud that provides enterprise grade functionality and compliance | |
| US20080208917A1 (en) | Apparatus and a method to make data sets conform to data management policies | |
| US10142417B2 (en) | System and method for managing heterogeneous data for cloud computing applications | |
| CN104754055A (zh) | 一种多云环境下的安全云存储方法 | |
| CN103765817A (zh) | 从源服务器向目标服务器复制数据对象 | |
| CN103780700A (zh) | 一种实现多源异构系统之间兼容与共享的应用系统和方法 | |
| WO2017215646A1 (zh) | 数据传输方法和装置 | |
| CN106341371A (zh) | 云存储数据的加密方法及其系统 | |
| JP2020500359A (ja) | 制限されないデータセットを伴う制限されたデータセットのクラウド・ネットワークへの格納およびクラウド・ネットワークからの取得のためのコンピュータ・プログラム、コンピュータ・システム、および方法 | |
| US20120150798A1 (en) | Method and system for replicating data | |
| CN104125235A (zh) | 一种集成多协议的一体化存储方法 | |
| CN102761579A (zh) | 利用存储域网络传输数据的方法和系统 | |
| US11474910B2 (en) | Method, device and computer program product to backup data | |
| CN112163236A (zh) | 文件访问方法、装置、系统和计算机可读存储介质 | |
| US20110137866A1 (en) | Method for generating backup script | |
| KR20160038496A (ko) | 파일 시스템을 이용한 저장공간 통합 방법 및 시스템 | |
| US11113339B2 (en) | System and method for federated content management using a federated library and federated metadata propagation | |
| CN107784013B (zh) | 一种将分散文档互联进行分布式管理的方法 | |
| CN108566421A (zh) | 一种基于网络附属存储器的网络式分布方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20141029 |
|
| WD01 | Invention patent application deemed withdrawn after publication |