CN106598489A - 一种基于纠删码存储的文件修改算法优化方法 - Google Patents

一种基于纠删码存储的文件修改算法优化方法 Download PDF

Info

Publication number
CN106598489A
CN106598489A CN201611061117.6A CN201611061117A CN106598489A CN 106598489 A CN106598489 A CN 106598489A CN 201611061117 A CN201611061117 A CN 201611061117A CN 106598489 A CN106598489 A CN 106598489A
Authority
CN
China
Prior art keywords
data
algorithm
changed
stored
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611061117.6A
Other languages
English (en)
Inventor
张勤
孟军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Toyou Feiji Electronics Co ltd
Original Assignee
Shenzhen City Rui Bo Storage Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen City Rui Bo Storage Technology Co Ltd filed Critical Shenzhen City Rui Bo Storage Technology Co Ltd
Priority to CN201611061117.6A priority Critical patent/CN106598489A/zh
Publication of CN106598489A publication Critical patent/CN106598489A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于纠删码存储的文件修改算法优化方法，包括按纠删码技术存储的数据，经过算法计算后会按K：M的方式进行拆分，K份数据块和M份校验块经对象化处理后以对象为单位进行存储；当存储的数据发生修改时，被修改部分的数据映射到对应的数据块上时，则可以定位出块上的数据对应的对象名，即数据被修改则为具体对象发生了改变；数据对象发生改时，算法则会记录这些改变了的对象，从而可以锁定没有发生改变的数据对象，并标记之间的对应关系；修改好的数据存入后将会写入新的对象数据。优点是：存储的大文件在修改后带来的写入量小，数据修改后再次存入的效率高。

Description

一种基于纠删码存储的文件修改算法优化方法
技术领域
本发明涉及数据存储技术领域，尤其涉及纠删码技术领域。
背景技术
从RAID技术到分布式存储系统，纠删码现广泛的用于存储系统中，以保证所存储数据的安全。但当存储的大文件在被修改时，所要修改的内容往往会很少，但修改后带来的写入量却很大，导致数据的修改再次存入的效率低。
发明内容
本发明的主要目的是在于提供基于现有的纠删码存储技术，针对其数据修改部分作出优化，减少数据被修改后的数据写入量，以提升数据的修改效率。
为实现上述目的，本发明提供的一种基于纠删码存储的文件修改算法优化方法，所述方法包括：
按纠删码技术存储的数据，经过算法计算后会按K：M的方式进行拆分，K份数据块和M份校验块经对象化处理后以对象为单位进行存储；
当存储的数据发生修改时，被修改部分的数据映射到对应的数据块上时，则可以定位出块上的数据对应的对象名，即数据被修改则为具体对象发生了改变；
数据对象发生改时，算法则会记录这些改变了的对象，从而可以锁定没有发生改变的数据对象，并标记之间的对应关系；
修改好的数据存入后将会写入新的对象数据，写入完成后算法会记录新的数据存储的对象名和旧数据之前的对应关系；
根据之前得到的未修对象、新写入的对象数据及标记的映射关系，算法会将所有对象重组成一份完整的数据；
算法将数据重组完成后，此时只是得到了完整的数据块，还应按纠删编码规则重新按K：M，生成新的校验数据块，即得到了修改后K份数据块和M份校验块，整个数据修改过程完成。
进一步，所述数据按现有纠删码技术存储，数据发生修改时只需要重新写入修改部分的数据，算法会重组未改动的数据和新写入的数据，数据重组完成后会生成新的纠删校验数据。
进一步，所述数据采用纠删码存储时，数据按K：M将原始数据分成K份，并根据K份数据来生成M份的校验数据后进行存储，当K份数据中有对象被修改时，则M份校验数据也需要重新生成。
进一步，所述使用纠删码算法来存储数据，保障数据的安全性和高可用性，同时对算法的修改功能进行优化，以提高数据的修改效率。
进一步，所述当K份数据中的部份对象被修改时，优化后的算法只会重新写入修改后的数据，数据写入完成后，算法将修改的新数据和原始未修改的数据重组即为修改后的完整理数据。
进一步，所述算法将数据重组完成后，则根据新的数据按纠删码K：M的规则生成M份新的校验数据。
由于整个数据在修改后，再次存储时只重写了修改部分的数据，其他未发生改变的数据是通过算法重组获得，类似于将修改后的数据块使用链接的方式指向修改前的索引位置即可。
本发明的优点是：存储的大文件在修改后带来的写入量小，数据修改后再次存入的效率高。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明流程图；
图2为只写入修改部分，并重组未修改的数据效果图。
具体实施方式
下面可以参照附图1以及文字内容理解本发明的内容以及本发明与现有技术之间的区别点。下文通过附图以及列举本发明的一些可选实施例的方式，对本发明的技术方案(包括优选技术方案)做进一步的详细描述。需要说明的是：本实施例中的任何技术特征、任何技术方案均是多种可选的技术特征或可选的技术方案中的一种或几种，为了描述简洁的需要本文件中无法穷举本发明的所有可替代的技术特征以及可替代的技术方案，也不便于每个技术特征的实施方式均强调其为可选的多种实施方式之一，所以本领域技术人员应该知晓：可以将本发明提供的任意技术手段进行替换或将本发明提供的任意两个或更多个技术手段或技术特征互相进行组合而得到新的技术方案。本实施例内的任何技术特征以及任何技术方案均不限制本发明的保护范围，本发明的保护范围应该包括本领域技术人员不付出创造性劳动所能想到的任何替代技术方案以及本领域技术人员将本发明提供的任意两个或更多个技术手段或技术特征互相进行组合而得到的新的技术方案。
本发明实施例提供了一种基于纠删码存储的文件修改算法优化方法。
下面结合图1对本发明提供的技术方案进行更为详细的阐述。
实施例1
本发明的技术方案是按以下方式实现的，一种基于纠删码存储的文件修改算法优化方法，所述方法包括：
按纠删码技术存储的数据，经过算法计算后会按K：M的方式进行拆分，K份数据块和M份校验块经对象化处理后以对象为单位进行存储；
当存储的数据发生修改时，被修改部分的数据映射到对应的数据块上时，则可以定位出块上的数据对应的对象名，即数据被修改则为具体对象发生了改变；
数据对象发生改时，算法则会记录这些改变了的对象，从而可以锁定没有发生改变的数据对象，并标记之间的对应关系；
修改好的数据存入后将会写入新的对象数据，写入完成后算法会记录新的数据存储的对象名和旧数据之前的对应关系；
根据之前得到的未修对象、新写入的对象数据及标记的映射关系，算法会将所有对象重组成一份完整的数据；
算法将数据重组完成后，此时只是得到了完整的数据块，还应按纠删编码规则重新按K：M，生成新的校验数据块，即得到了修改后K份数据块和M份校验块，整个数据修改过程完成。
实施例2
如上所述实施例，数据按现有纠删码技术存储，数据发生修改时只需要重新写入修改部分的数据，算法会重组未改动的数据和新写入的数据，数据重组完成后会生成新的纠删校验数据，。
实施例3
如上所述实施例，所述数据按现有纠删码技术存储，数据发生修改时只需要重新写入修改部分的数据，算法会重组未改动的数据和新写入的数据，数据重组完成后会生成新的纠删校验数据。
实施例4
如上所述实施例，所述数据采用纠删码存储时，数据按K：M将原始数据分成K份，并根据K份数据来生成M份的校验数据后进行存储，当K份数据中有对象被修改时，则M份校验数据也需要重新生成。
实施例5
如上所述实施例，所述使用纠删码算法来存储数据，保障数据的安全性和高可用性，同时对算法的修改功能进行优化，以提高数据的修改效率。
实施例6
如上所述实施例，所述当K份数据中的部份对象被修改时，优化后的算法只会重新写入修改后的数据，数据写入完成后，算法将修改的新数据和原始未修改的数据重组即为修改后的完整理数据。
实施例7
如上所述实施例，所述算法将数据重组完成后，则根据新的数据按纠删码K：M的规则生成M份新的校验数据。
另外，上述本发明公开的任意技术方案中所应用的用于表示位置关系或形状的术语除另有声明外其含义包括与其近似、类似或接近的状态或形状。本发明提供的任意部件既可以是由多个单独的组成部分组装而成，也可以为一体成形工艺制造出来的单独部件。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (6)

1.一种基于纠删码存储的文件修改算法优化方法，所述方法包括：
按纠删码技术存储的数据，经过算法计算后会按K：M的方式进行拆分，K份数据块和M份校验块经对象化处理后以对象为单位进行存储；
当存储的数据发生修改时，被修改部分的数据映射到对应的数据块上时，则可以定位出块上的数据对应的对象名，即数据被修改则为具体对象发生了改变；
数据对象发生改时，算法则会记录这些改变了的对象，从而可以锁定没有发生改变的数据对象，并标记之间的对应关系；
修改好的数据存入后将会写入新的对象数据，写入完成后算法会记录新的数据存储的对象名和旧数据之前的对应关系；
根据之前得到的未修对象、新写入的对象数据及标记的映射关系，算法会将所有对象重组成一份完整的数据；
算法将数据重组完成后，此时只是得到了完整的数据块，还应按纠删编码规则重新按K：M，生成新的校验数据块，即得到了修改后K份数据块和M份校验块，整个数据修改过程完成。
2.根据权利1中所述的文件修改算法优化方法，其特征在于，所述数据按现有纠删码技术存储，数据发生修改时只需要重新写入修改部分的数据，算法会重组未改动的数据和新写入的数据，数据重组完成后会生成新的纠删校验数据。
3.根据权利1中所述的文件修改算法优化方法，其特征在于，所述数据采用纠删码存储时，数据按K：M将原始数据分成K份，并根据K份数据来生成M份的校验数据后进行存储，当K份数据中有对象被修改时，则M份校验数据也需要重新生成。
4.根据权利1中所述的文件修改算法优化方法，其特征在于，所述使用纠删码算法来存储数据，保障数据的安全性和高可用性，同时对算法的修改功能进行优化，以提高数据的修改效率。
5.根据权利1中所述的文件修改算法优化方法，其特征在于，所述当K份数据中的部份对象被修改时，优化后的算法只会重新写入修改后的数据，数据写入完成后，算法将修改的新数据和原始未修改的数据重组即为修改后的完整理数据。
6.根据权利1中所述的文件修改算法优化方法，其特征在于，所述算法将数据重组完成后，则根据新的数据按纠删码K：M的规则生成M份新的校验数据。
CN201611061117.6A 2016-11-28 2016-11-28 一种基于纠删码存储的文件修改算法优化方法 Pending CN106598489A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611061117.6A CN106598489A (zh) 2016-11-28 2016-11-28 一种基于纠删码存储的文件修改算法优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611061117.6A CN106598489A (zh) 2016-11-28 2016-11-28 一种基于纠删码存储的文件修改算法优化方法

Publications (1)

Publication Number Publication Date
CN106598489A true CN106598489A (zh) 2017-04-26

Family

ID=58595024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611061117.6A Pending CN106598489A (zh) 2016-11-28 2016-11-28 一种基于纠删码存储的文件修改算法优化方法

Country Status (1)

Country Link
CN (1) CN106598489A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977285A (zh) * 2017-12-19 2018-05-01 郑州云海信息技术有限公司 一种纠删码存储机制的数据修改方法、装置及介质
CN108958964A (zh) * 2018-06-27 2018-12-07 郑州云海信息技术有限公司 一种数据修改方法、装置、设备及可读存储介质
CN109002253A (zh) * 2017-06-06 2018-12-14 杭州海康威视数字技术股份有限公司 一种损坏条带的处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016137402A1 (en) * 2015-02-26 2016-09-01 Agency For Science, Technology And Research Data stripping, allocation and reconstruction
CN105930103A (zh) * 2016-05-10 2016-09-07 南京大学 一种分布式存储ceph的纠删码覆盖写方法
CN106095807A (zh) * 2016-05-31 2016-11-09 中广天择传媒股份有限公司 一种分布式文件系统纠删码缓存装置及其缓存方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016137402A1 (en) * 2015-02-26 2016-09-01 Agency For Science, Technology And Research Data stripping, allocation and reconstruction
CN105930103A (zh) * 2016-05-10 2016-09-07 南京大学 一种分布式存储ceph的纠删码覆盖写方法
CN106095807A (zh) * 2016-05-31 2016-11-09 中广天择传媒股份有限公司 一种分布式文件系统纠删码缓存装置及其缓存方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002253A (zh) * 2017-06-06 2018-12-14 杭州海康威视数字技术股份有限公司 一种损坏条带的处理方法及装置
CN109002253B (zh) * 2017-06-06 2021-06-04 杭州海康威视数字技术股份有限公司 一种损坏条带的处理方法及装置
CN107977285A (zh) * 2017-12-19 2018-05-01 郑州云海信息技术有限公司 一种纠删码存储机制的数据修改方法、装置及介质
CN108958964A (zh) * 2018-06-27 2018-12-07 郑州云海信息技术有限公司 一种数据修改方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN111553473B (zh) 数据冗余方法及执行数据冗余方法的神经网络处理器
CN103136243B (zh) 基于云存储的文件系统去重方法及装置
CN105190573B (zh) 存储数据的减少冗余
CN105573681B (zh) 一种ssd盘片内部raid组建方法及系统
EP3779760B1 (en) Blockchain-based data processing method and apparatus, and electronic device
US11664972B2 (en) Method for linking a first data block to a second data block, method for checking the integrity of a blockchain structure, device and computer program product
CN106598489A (zh) 一种基于纠删码存储的文件修改算法优化方法
CN103336785A (zh) 一种基于网络编码的分布式存储方法及其装置
CN103559027A (zh) 一种key与value分开存储的key-value存储系统设计方法
CN109684337B (zh) 一种基于多级缓存的区块链状态数据存储和读取方法
CN103838753A (zh) 一种兑换码的存储、验证方法和装置
CN108512649A (zh) 区块链的反向哈希链接的处理方法及装置
CN103020262A (zh) 一种数据存储方法、系统及数据存储设备
CN111461751A (zh) 基于区块链的房产信息链上组织方法、历史状态追溯方法及装置
CN104462388B (zh) 一种基于级联式存储介质的冗余数据清理方法
CN107205024A (zh) 一种云存储系统中数据去重方法及系统
CN104809178A (zh) 一种键值数据库内存日志的写入方法
CN107340971A (zh) 一种数据存储与恢复架构与方法
CN107341070A (zh) 一种基于纠删码的随机写方法及系统
CN106155833A (zh) 一种异步远程复制的方法和装置
CN104375905A (zh) 一种基于数据块的增量备份的方法和系统
CN104461929A (zh) 基于拦截器的分布式数据缓存方法
CN101710322A (zh) 一种信息关联的方法和系统
CN111143130A (zh) 数据恢复方法、装置、计算机可读存储介质和计算机设备
CN102130939A (zh) 一种远程复制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 237372 Anhui Lu'an Jinzhai County Zhenjiang Meishan shop community party and mass service center two floor

Applicant after: Anhui Bo Rui deposit information technology Co.,Ltd.

Address before: 518000 Guangdong city of Shenzhen province Nanshan District South Road Fiyta Technology Building Room 1402

Applicant before: SHENZHEN ZBSTOR TECHNOLOGY CO.,LTD.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20171113

Address after: 518057 Guangdong city of Shenzhen province Nanshan District South Road Fiyta Technology Building Room 1402

Applicant after: SHENZHEN CHINA BLOG IMFORMATION TECHNOLOGY Co.,Ltd.

Address before: 237372 Anhui Lu'an Jinzhai County Zhenjiang Meishan shop community party and mass service center two floor

Applicant before: Anhui Bo Rui deposit information technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190905

Address after: 100089 Floor 1-4, No. 2 Building, No. 9 Courtyard, Dijin Road, Haidian District, Beijing

Applicant after: BEIJING TOYOU FEIJI ELECTRONICS Co.,Ltd.

Address before: 518057 Room 1402, Feiyada Science and Technology Building, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN CHINA BLOG IMFORMATION TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170426