CN103902227A - 一种支持追加写和共享读的文件存储方式 - Google Patents
一种支持追加写和共享读的文件存储方式 Download PDFInfo
- Publication number
- CN103902227A CN103902227A CN201210580147.3A CN201210580147A CN103902227A CN 103902227 A CN103902227 A CN 103902227A CN 201210580147 A CN201210580147 A CN 201210580147A CN 103902227 A CN103902227 A CN 103902227A
- Authority
- CN
- China
- Prior art keywords
- file
- data
- write
- appending
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title abstract description 17
- 238000012795 verification Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000013500 data storage Methods 0.000 abstract description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种支持追加写和共享读的文件存储方式，属于数据存储和备份技术领域。一个完整的文件由状态文件，信息文件和数据文件构成。在追加写数据时，标记状态文件，修改数据文件，在写操作结束后，提交写操作。在追加写文件时，支持读取已提交的文件内容。数据文件分块存储，并对每块数据进行校验。本发明简化了备份过程中对存储的操作，增加了备份安全性和可靠性，更可以有效缩短恢复窗口。
Description
技术领域
本发明属于数据存储和备份技术领域，具体涉及支持追加写和共享读的文件存储方式。
背景技术
随着信息化水平的不断提高，数据信息逐渐成为企业赖以生存的基础，数据丢失所造成的损失也日益严重。传统的数据复制、备份、恢复等数据保护技术虽然能够对数据实现一定程度的保护，但是这些方法的恢复点目标和恢复时间目标太长，对于一些关键的信息系统来说是无法接受的。因此备份系统中，需要将数据恢复窗口的时间越短越好，以便可以尽快恢复关键系统的运行。
随着需要保护的数据的不断增加，进行一次数据备份所需要的时间也越来越长，同样，如何缩短恢复窗口时间，甚至实现零恢复窗口，是数据备份系统中需要面对的问题。
现有技术中，需要先对文件进行备份，在数据丢失后，再通过恢复文件来恢复系统。这种方式需要等待恢复窗口结束，在一些较大的系统中，恢复窗口可能会花费非常长的时间。
为了缩短恢复窗口，可以采用边备份边恢复的模型。在此模型中如果使用常规的文件存储方式，在出现系统断电，程序崩溃，空间不足，网络不通等异常后，需要重新发起整个备份与恢复流程。
发明内容
本发明的目的在于克服上述现有技术中的不足，提出了一种追加写和共享读的文件存储方式，可以有效支持边备份边恢复的模型，简化逻辑，提高备份与恢复的安全性与可靠性。
本发明所涉及的追加写和共享读的文件存储方式，其主要技术步骤包括：
(1)创建一个新文件，实际是创建一个与文件同名的目录，目录下存在3种类型的文件，状态文件，数据文件和信息文件。
状态文件记录文件可读取大小，文件属性，文件名，数据文件分块信息等内容。
数据文件存储文件内容，以固定大小分块存储。
信息文件在追加写文件时使用，记录写之前数据文件的校验值，在回滚文件时进行校验。
(2)追加写文件时，写入文件数据，提交数据。可以多次写操作后一起提交。
(3)读文件时，只能读取已提交部分的数据内容。
与现有技术相比，本发明具有以下优点：
1、写操作异常后，在下次写操作时，自动对文件进行回滚，保证文件内容的准确性。
2、读文件时只能读取已提交部分的文件内容，确保读取的文件数据都是可用的。
3、可以支持多用户同时读取文件。
4、文件数据分块存储。
5、文件数据加入校验，提高数据可靠性。
附图说明
图1是文件存储结构图
图2是一次追加文件操作流程图
图3是一次写文件操作流程图
图4是回滚文件流程图
图5是提交写数据流程图
图6是读文件流程图
具体实施方法
下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
1.创建文件时，创建如图1类似的文件结构，构造初始状态文件和信息文件。
(1)状态文件为一个uft-8编码的xml文件，名称为S，状态文件格式如下：
(2)初始信息文件为一空白文件，名称为I。
(3)数据文件名称类似于D0，D1，D2…
2.追加文件时，如图2所示，按照“写文件-＞提交”的逻辑来确保文件的完整性，可以支持多次写入文件后再进行一次提交。
3.一次写文件流程如图3所示，开始写之前先要占用状态文件，占用状态文件通过独占写共享读的打开文件方式来实现。如果占用状态文件失败，则表示文件正在被其他用户操作，直接返回失败。
占用状态文件成功后，检测当前文件状态，如果不为正常状态，则说明文件需要进行回滚，回滚成功后才能继续写文件操作。
写文件前，先记录当前文件块的校验值，再标记状态文件为写开始，写完后状态文件标记为写结束，同时释放状态文件。
一次写文件结束后，可以继续跟着进行下一次写操作或进行提交操作。
一次提交最多只能提交一块数据大小。
4.回滚流程如图4所示，回滚时截断未提交部分的数据内容，同时重新写入校验值。回滚操作只有在写文件时才会进行，读文件时不需要进行回滚操作。
回滚时，需要处理跨块回滚的情形，此时需要删除新块，并处理旧数据块。
5.数据提交流程如图5所示，占用状态文件并计算写入校验值，同时更新文件信息(文件大小，文件修改时间，文件块信息等)，最后释放状态文件。
6.读文件流程如图6所示，读文件时只能读取已提交文件数据内容，在追加写文件的同时支持读取已提交的内容。如果需要读取的数据内容超过已提交长度，自动对读取位置进行修正，确保读取的数据均为已提交的文件内容。
本领域的技术人员在不脱离权利要求书确定的本发明的精神和范围的条件下，还可以对以上内容进行各种各样的修改。因此本发明的范围并不仅限于以上的说明，而是由权利要求书的范围来确定。
Claims (4)
1.一种支持追加写和共享读的文件存储方式，其特征在于，包括如下步骤：
步骤一：创建新文件，实际意义即创建一个与文件同名的目录，目录下存在3种类型的文件，状态文件、数据文件和信息文件；
所述状态文件记录文件可读取大小、文件属性、文件名、数据文件分块信息等内容；
所述数据文件存储文件内容，以固定大小分块存储；
所述信息文件在追加写文件时使用，记录写之前数据文件的校验值，在回滚文件时进行校验；
步骤二：追加写文件，在所述步骤一创建的文件中追加写入文件数据后，提交数据；
所述追加写文件时可以多次进行写操作后一起提交数据；
步骤三：读文件，在追加写文件的同时支持读取已提交的数据内容。
2.权利要求1中所述方式的步骤二的追加写文件，其特征主要包括如下步骤：
(1)检测当前文件状态，如果文件为非正常状态，则进入步骤(2)，否则进入步骤(3)；
(2)回滚数据文件；
(3)计算数据块信息，并将当前数据文件校验值记录到信息文件；
(4)标记状态文件为写开始状态；
(5)写入文件内容；
(6)标记状态文件为写结束状态；
(7)提交本次写操作，更新状态文件数据块，文件大小等信息，并标记状态文件为正常状态。
3.权利要求2中所述的步骤(2)中的回滚数据文件，其特征主要包括如下步骤：
(1)标记状态文件为写文件状态；
(2)将数据文件截取到已提交位置；
(3)重新写入数据文件校验值；
(4)标记状态文件为可操作状态。
4.权利要求1所述方式的步骤三中的读文件，其特征主要包括如下步骤：
(1)当用户读文件时，先判断文件读写是否超过文件可读位置，如果超过则进入步骤(2)，否则进行步骤(3)；
(2)自动修正读取长度；
(3)返回数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210580147.3A CN103902227B (zh) | 2012-12-28 | 2012-12-28 | 一种支持追加写和共享读的文件存储方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210580147.3A CN103902227B (zh) | 2012-12-28 | 2012-12-28 | 一种支持追加写和共享读的文件存储方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103902227A true CN103902227A (zh) | 2014-07-02 |
| CN103902227B CN103902227B (zh) | 2017-06-06 |
Family
ID=50993577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210580147.3A Active CN103902227B (zh) | 2012-12-28 | 2012-12-28 | 一种支持追加写和共享读的文件存储方式 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103902227B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105302488A (zh) * | 2015-10-27 | 2016-02-03 | 浪潮(北京)电子信息产业有限公司 | 一种存储系统的数据写入方法及系统 |
| CN105653393A (zh) * | 2014-11-11 | 2016-06-08 | 南京壹进制信息技术有限公司 | 一种基于usn日志方式进行海量文件备份的方法 |
| CN111124280A (zh) * | 2019-11-29 | 2020-05-08 | 浪潮电子信息产业股份有限公司 | 一种数据追加写入方法、装置及电子设备和存储介质 |
| CN116781762A (zh) * | 2023-08-24 | 2023-09-19 | 四川科瑞软件有限责任公司 | 云计算数据存储方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060104606A1 (en) * | 2004-11-17 | 2006-05-18 | Sony Corporation | Recording and playback apparatus, recording and playback method, and program |
| CN101132415A (zh) * | 2006-08-21 | 2008-02-27 | 索尼株式会社 | 记录系统和方法、信息处理装置和控制方法、记录控制装置和方法 |
| CN102193878A (zh) * | 2010-03-17 | 2011-09-21 | 索尼公司 | 存储装置和存储系统 |
-
2012
- 2012-12-28 CN CN201210580147.3A patent/CN103902227B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060104606A1 (en) * | 2004-11-17 | 2006-05-18 | Sony Corporation | Recording and playback apparatus, recording and playback method, and program |
| CN101132415A (zh) * | 2006-08-21 | 2008-02-27 | 索尼株式会社 | 记录系统和方法、信息处理装置和控制方法、记录控制装置和方法 |
| CN102193878A (zh) * | 2010-03-17 | 2011-09-21 | 索尼公司 | 存储装置和存储系统 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105653393A (zh) * | 2014-11-11 | 2016-06-08 | 南京壹进制信息技术有限公司 | 一种基于usn日志方式进行海量文件备份的方法 |
| CN105653393B (zh) * | 2014-11-11 | 2018-09-21 | 南京壹进制信息技术股份有限公司 | 一种基于usn日志方式进行海量文件备份的方法 |
| CN105302488A (zh) * | 2015-10-27 | 2016-02-03 | 浪潮(北京)电子信息产业有限公司 | 一种存储系统的数据写入方法及系统 |
| CN105302488B (zh) * | 2015-10-27 | 2018-05-01 | 浪潮(北京)电子信息产业有限公司 | 一种存储系统的数据写入方法及系统 |
| CN111124280A (zh) * | 2019-11-29 | 2020-05-08 | 浪潮电子信息产业股份有限公司 | 一种数据追加写入方法、装置及电子设备和存储介质 |
| CN116781762A (zh) * | 2023-08-24 | 2023-09-19 | 四川科瑞软件有限责任公司 | 云计算数据存储方法及系统 |
| CN116781762B (zh) * | 2023-08-24 | 2023-10-27 | 四川科瑞软件有限责任公司 | 云计算数据存储方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103902227B (zh) | 2017-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102792276B (zh) | 闪速复制级联中的缓冲磁盘 | |
| CN109542682B (zh) | 一种数据备份方法、装置、设备和存储介质 | |
| CN102567146B (zh) | 一种实现日志备份的方法及其装置、智能卡 | |
| US8554733B2 (en) | Disaster recovery method, disaster recovery system, remote copy method and storage system | |
| CN104850598A (zh) | 一种实时数据库备份恢复方法 | |
| CN103034592B (zh) | 数据处理方法和装置 | |
| CN102955720A (zh) | 一种提高ext文件系统稳定性的方法 | |
| US11886705B2 (en) | System and method for using free space to improve erasure code locality | |
| CN104461773A (zh) | 一种虚拟机备份去重的方法 | |
| US11467970B1 (en) | Metadata management in non-volatile memory devices using in-memory journal | |
| CN104360914A (zh) | 增量快照方法和装置 | |
| CN104166605A (zh) | 基于增量数据文件的数据备份方法及系统 | |
| CN100437504C (zh) | 硬盘数据备份系统及方法 | |
| CN106104515A (zh) | 利用非易失性存储器的文件系统设计和故障恢复方法 | |
| CN104899114A (zh) | 一种固态硬盘上的连续时间数据保护方法 | |
| KR20170054767A (ko) | 데이터베이스 관리 시스템 및 그의 데이터 변경 및 복구 방법 | |
| CN103339615B (zh) | 存储系统和信息处理方法 | |
| CN103902227A (zh) | 一种支持追加写和共享读的文件存储方式 | |
| CN103838645A (zh) | 一种基于哈希的远程差异合成备份实现方法 | |
| CN103176867A (zh) | 一种快速文件差异备份方法 | |
| US10296517B1 (en) | Taking a back-up software agnostic consistent backup during asynchronous replication | |
| CN103294658A (zh) | 一种文档保存方法及装置 | |
| CN111858159A (zh) | 一种基于链式克隆特性实现的备份方法与系统 | |
| CN103412802B (zh) | 容灾数据文件访问控制列表备份的方法及装置 | |
| CN106997305B (zh) | 一种事务处理方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Guanghua Road, Baixia District Nanjing city Jiangsu province 210014 No. 166 East Midlands Building 5 layer Applicant after: NANJING UNARY INFORMATION TECHNOLOGY Inc.,Ltd. Address before: Guanghua Road, Baixia District Nanjing city Jiangsu province 210014 No. 166 East Midlands Building 5 layer Applicant before: Nanjing Unary Information Technology Co.,Ltd. |
|
| COR | Change of bibliographic data | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 210014 Five Floors East of Delan Building, 166 Guanghua Road, Baixia District, Nanjing City, Jiangsu Province Patentee after: NANJING UNARY INFORMATION TECHNOLOGY Co.,Ltd. Address before: 210014 Five Floors East of Delan Building, 166 Guanghua Road, Baixia District, Nanjing City, Jiangsu Province Patentee before: NANJING UNARY INFORMATION TECHNOLOGY Inc.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder | ||
| CP03 | Change of name, title or address |
Address after: Building 1, 6th Floor, Changfeng Building, No.14 Xinghuo Road, Research and Innovation Park, Jiangbei New District, Nanjing City, Jiangsu Province, 210000 Patentee after: Aerospace One System (Jiangsu) Information Technology Co.,Ltd. Address before: 210014 Five Floors East of Delan Building, 166 Guanghua Road, Baixia District, Nanjing City, Jiangsu Province Patentee before: NANJING UNARY INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address |