CN105426493A - 一种应用于分布式存储系统的数据处理系统及方法 - Google Patents

一种应用于分布式存储系统的数据处理系统及方法 Download PDF

Info

Publication number
CN105426493A
CN105426493A CN201510822428.9A CN201510822428A CN105426493A CN 105426493 A CN105426493 A CN 105426493A CN 201510822428 A CN201510822428 A CN 201510822428A CN 105426493 A CN105426493 A CN 105426493A
Authority
CN
China
Prior art keywords
data
module
fault
strategy
tolerant encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510822428.9A
Other languages
English (en)
Other versions
CN105426493B (zh
Inventor
杨宁
王纪军
蔡宇翔
付婷
尚枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
State Grid Jiangsu Electric Power Co Ltd
State Grid Fujian Electric Power Co Ltd
Beijing China Power Information Technology Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
State Grid Jiangsu Electric Power Co Ltd
State Grid Fujian Electric Power Co Ltd
Beijing China Power Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Information and Telecommunication Co Ltd, State Grid Jiangsu Electric Power Co Ltd, State Grid Fujian Electric Power Co Ltd, Beijing China Power Information Technology Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201510822428.9A priority Critical patent/CN105426493B/zh
Publication of CN105426493A publication Critical patent/CN105426493A/zh
Application granted granted Critical
Publication of CN105426493B publication Critical patent/CN105426493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2219Large Object storage; Management thereof

Abstract

本申请公开了一种应用于分布式存储系统的数据处理系统及方法,该系统包括:系统整合器和数据处理器,数据处理器包括数据存储模块、容错编码模块、数据压缩模块和加密解密模块;其中,系统整合器用于为用户提供整合策略选择接口,以获取用户通过该整合策略选择接口,从预设策略数据库中选择的系统整合策略;数据处理器中的各个模块则用于依据系统整合策略中规定的顺序,依次对待处理数据进行相应的处理。本申请中,系统整合器可获取用户从预设策略数据库中选择的系统整合策略,数据处理器中的各个模块则依据系统整合策略中规定的顺序,依次对待处理数据进行相应的处理,实现了对数据的整合处理,从而提高了数据的存取速度、安全性和系统扩展性。

Description

一种应用于分布式存储系统的数据处理系统及方法
技术领域
本发明涉及分布式存储技术领域,特别涉及一种应用于分布式存储系统的数据处理系统及方法。
背景技术
随着大规模的数据存储应用的发展需要,传统的集中式存储系统由于采用集中的存储服务器来存放数据,存在可靠性和安全性较低的确定,无法适应时代的发展。而分布式存储系统由于采用多台分散的存储服务器来分担存储负荷,不仅提高了系统的可靠性和安全性,还有利于人们根据实际的应用需要,对已有的多台存储服务器进行数量上的扩展。
然而,现有的分布式存储系统在接收到源数据后,通常是对源数据进行直接的存储,由于源数据可能存在的数据容量大、安全性要求较高和容易出现数据错误等问题,如果不预先对源数据进行整合处理便进行存储,可能会导致存储下来的数据出现存取速度低、安全性低等问题,并由此降低系统的扩展性。
综上所述可以看出,如何实现对数据的整合处理以提高数据的存取速度、安全性和系统扩展性是目前亟待解决的问题。
发明内容
有鉴于此,本发明的目的在于提供一种应用于分布式存储系统的数据处理系统及方法,实现了对数据的整合处理,从而提高了数据的存取速度、安全性和系统扩展性。其具体方案如下:
一种应用于分布式存储系统的数据处理系统,包括系统整合器和数据处理器,所述数据处理器包括数据存储模块、容错编码模块、数据压缩模块和加密解密模块;其中,
所述系统整合器,用于为用户提供整合策略选择接口,以获取用户通过所述整合策略选择接口,从预设策略数据库中选择的系统整合策略;所述系统整合策略用于规定所述数据处理器中各个模块之间对待处理数据进行处理的先后顺序;
所述数据存储模块、所述容错编码模块、所述数据压缩模块和所述加密解密模块,用于依据所述系统整合策略中规定的对数据进行处理的先后顺序,依次对待处理数据进行相应的处理。
优选的,当用户通过所述整合策略选择接口选定的系统整合策略为第一整合策略时,则,
所述加密解密模块,用于对待处理数据进行加密处理;
所述容错编码模块,用于对所述加密解密模块进行所述加密处理后得到的数据进行容错编码处理;
所述数据存储模块,用于对所述容错编码模块进行所述容错编码处理后得到的数据进行分布式存储处理,得到N1个数据块,N1为正整数;
所述数据压缩模块,用于分别对所述N1个数据块中的每一个数据块进行数据压缩处理,相应地得到N1个压缩数据块。
优选的,当用户通过所述整合策略选择接口选定的系统整合策略为第二整合策略时,则,
所述数据压缩模块,用于对待处理数据进行数据压缩处理;
所述加密解密模块,用于对所述数据压缩模块进行所述数据压缩处理后得到的数据进行加密处理;
所述容错编码模块,用于对所述加密解密模块进行所述加密处理后得到的数据进行容错编码处理;
所述数据存储模块,用于对所述容错编码模块进行所述容错编码处理后得到的数据进行分布式存储处理,得到N2个数据块,N2为正整数。
优选的,当用户通过所述整合策略选择接口选定的系统整合策略为第三整合策略时,则,
所述加密解密模块,用于对待处理数据进行加密处理;
所述数据压缩模块,用于对所述加密解密模块进行所述加密处理后得到的数据进行数据压缩处理;
所述容错编码模块,用于对所述数据压缩模块进行所述数据压缩处理后得到的数据进行容错编码处理;
所述数据存储模块,用于对所述容错编码模块进行所述容错编码处理后得到的数据进行分布式存储处理,得到N3个数据块,N3为正整数。
优选的,当用户通过所述整合策略选择接口选定的系统整合策略为第四整合策略时,则,
所述容错编码模块,用于对待处理数据进行容错编码处理;
所述数据存储模块,用于对所述容错编码模块进行所述容错编码处理后得到的数据进行分布式存储处理,得到N4个数据块,N4为正整数;
所述加密解密模块,用于分别对所述N4个数据块中的每一个数据块进行加密处理,相应地得到N4个加密数据块;
所述数据压缩模块,用于分别对所述N4个加密数据块中的每一个加密数据块进行数据压缩处理,相应地得到N4个压缩数据块。
优选的,当用户通过所述整合策略选择接口选定的系统整合策略为第五整合策略时,则,
所述容错编码模块,用于对待处理数据进行容错编码处理;
所述数据存储模块,用于对所述容错编码模块进行所述容错编码处理后得到的数据进行分布式存储处理,得到N5个数据块,N5为正整数;
所述数据压缩模块,用于分别对所述N5个数据块中的每一个数据块进行数据压缩处理,相应地得到N5个压缩数据块;
所述加密解密模块,用于分别对所述N5个压缩数据块中的每一个压缩数据块进行加密处理,相应地得到N5个加密数据块。
优选的,当用户通过所述整合策略选择接口选定的系统整合策略为第六整合策略时,则,
所述数据压缩模块,用于对待处理数据进行数据压缩处理;
所述容错编码模块,用于对所述数据压缩模块进行所述数据压缩处理后得到的数据进行容错编码处理;
所述数据存储模块,用于对所述容错编码模块进行所述容错编码处理后得到的数据进行分布式存储处理,得到N6个数据块,N6为正整数;
所述加密解密模块,用于分别对所述N6个数据块中的每一个数据块进行加密处理,相应地得到N6个加密数据块。
本发明还公开了一种应用于分布式存储系统的数据处理方法,包括:
为用户提供整合策略选择接口,以获取用户通过所述整合策略选择接口,从预设策略数据库中选择的系统整合策略;所述系统整合策略用于规定预设的四种数据处理技术中各种数据处理技术对待处理数据进行处理的先后顺序;
利用所述四种数据处理技术,并依据所述系统整合策略中规定的对数据进行处理的先后顺序,依次对待处理数据进行相应的处理;
其中,所述四种数据处理技术包括分布式存储技术、容错编码技术、数据压缩技术和加密解密技术;所述分布式存储技术用于对数据进行分布式存储处理,所述容错编码技术用于对数据进行容错编码处理,所述数据压缩技术用于对数据进行数据压缩处理,所述加密解密技术用于对数据进行加密处理或解密处理。
优选的,所述系统整合策略为第一整合策略、第二整合策略、第三整合策略、第四整合策略、第五整合策略和第六整合策略中的任意一种整合策略。
优选的,所述第一整合策略规定的先后顺序为依次对待处理数据进行加密处理、容错编码处理、分布式存储处理和数据压缩处理;
所述第二整合策略规定的先后顺序为依次对待处理数据进行数据压缩处理、加密处理、容错编码处理和分布式存储处理;
所述第三整合策略规定的先后顺序为依次对待处理数据进行加密处理、数据压缩处理、容错编码处理和分布式存储处理;
所述第四整合策略规定的先后顺序为依次对待处理数据进行容错编码处理、分布式存储处理、加密处理和数据压缩处理;
所述第五整合策略规定的先后顺序为依次对待处理数据进行容错编码处理、分布式存储处理、数据压缩处理和加密处理;
所述第六整合策略规定的先后顺序为依次对待处理数据进行数据压缩处理、容错编码处理、分布式存储处理和加密处理。
本发明中,应用于分布式存储系统的数据处理系统,包括系统整合器和数据处理器,数据处理器包括数据存储模块、容错编码模块、数据压缩模块和加密解密模块;其中,系统整合器用于为用户提供整合策略选择接口,以获取用户通过该整合策略选择接口,从预设策略数据库中选择的系统整合策略;系统整合策略用于规定数据处理器中各个模块之间对待处理数据进行处理的先后顺序;数据存储模块、容错编码模块、数据压缩模块和加密解密模块,则用于依据系统整合策略中规定的对数据进行处理的先后顺序,依次对待处理数据进行相应的处理。本发明中,系统整合器能够获取用户从预设策略数据库中选择的系统整合策略,然后数据存储模块、容错编码模块、数据压缩模块和加密解密模块,则依据上述选中的系统整合策略中规定的对数据进行处理的先后顺序,依次对待处理数据进行相应的处理,实现了对数据的整合处理,从而提高了数据的存取速度、安全性和系统扩展性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种应用于分布式存储系统的数据处理系统结构示意图;
图2为本发明实施例公开的第一种具体的应用于分布式存储系统的数据处理系统结构示意图;
图3为本发明实施例公开的第二种具体的应用于分布式存储系统的数据处理系统结构示意图;
图4为本发明实施例公开的第三种具体的应用于分布式存储系统的数据处理系统结构示意图;
图5为本发明实施例公开的第四种具体的应用于分布式存储系统的数据处理系统结构示意图;
图6为本发明实施例公开的第五种具体的应用于分布式存储系统的数据处理系统结构示意图;
图7为本发明实施例公开的第六种具体的应用于分布式存储系统的数据处理系统结构示意图;
图8为本发明实施例公开的一种应用于分布式存储系统的数据处理方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种应用于分布式存储系统的数据处理系统,参见图1所示,该数据处理系统包括系统整合器11和数据处理器12,数据处理器12包括数据存储模块121、容错编码模块122、数据压缩模块123和加密解密模块;其中,
系统整合器11,用于为用户提供整合策略选择接口,以获取用户通过整合策略选择接口,从预设策略数据库中选择的系统整合策略;系统整合策略用于规定数据处理器12中各个模块之间对待处理数据进行处理的先后顺序;
数据存储模块121、容错编码模块122、数据压缩模块123和加密解密模块124,用于依据系统整合策略中规定的对数据进行处理的先后顺序,依次对待处理数据进行相应的处理。
需要说明的是,上述系统整合器11获取到用户选定的系统整合策略后,将该系统整合策略发送至数据处理器12,以利用该系统整合策略,控制数据处理器12中的数据存储模块121、容错编码模块122、数据压缩模块123和加密解密模块124依次对待处理数据进行相应的处理。
本发明实施例中,应用于分布式存储系统的数据处理系统,包括系统整合器和数据处理器,数据处理器包括数据存储模块、容错编码模块、数据压缩模块和加密解密模块;其中,系统整合器用于为用户提供整合策略选择接口,以获取用户通过该整合策略选择接口,从预设策略数据库中选择的系统整合策略;系统整合策略用于规定数据处理器中各个模块之间对待处理数据进行处理的先后顺序;数据存储模块、容错编码模块、数据压缩模块和加密解密模块,则用于依据系统整合策略中规定的对数据进行处理的先后顺序,依次对待处理数据进行相应的处理。
本发明实施例中,系统整合器能够获取用户从预设策略数据库中选择的系统整合策略,然后数据存储模块、容错编码模块、数据压缩模块和加密解密模块,则依据上述选中的系统整合策略中规定的对数据进行处理的先后顺序,依次对待处理数据进行相应的处理,实现了对数据的整合处理,从而提高了数据的存取速度、安全性和系统扩展性。
本发明实施例公开了一种具体的应用于分布式存储系统的数据处理系统,相对于上一实施例,本实施例对技术方案作了进一步的说明和优化。具体的:
参见图2所示,本实施例中,当用户通过整合策略选择接口选定的系统整合策略为第一整合策略时,则,
加密解密模块124,用于对待处理数据进行加密处理;
容错编码模块122,用于对加密解密模块124进行加密处理后得到的数据进行容错编码处理;
数据存储模块121,用于对容错编码模块122进行容错编码处理后得到的数据进行分布式存储处理,得到N1个数据块,N1为正整数;
数据压缩模块123,用于分别对N1个数据块中的每一个数据块进行数据压缩处理,相应地得到N1个压缩数据块。
上述整合方案是与第一整合策略对应的,对待处理数据依次进行加密处理、容错编码处理、分布式存储处理和数据压缩处理,由于该方案中是先对数据进行加密处理的,从而使得数据具有较高的安全性,并在保证数据具有较高安全性的同时,也提高了数据的存取速度和系统扩展性。
参见图3所示,本实施例中,当用户通过整合策略选择接口选定的系统整合策略为第二整合策略时,则,
数据压缩模块123,用于对待处理数据进行数据压缩处理;
加密解密模块124,用于对数据压缩模块123进行数据压缩处理后得到的数据进行加密处理;
容错编码模块122,用于对加密解密模块124进行加密处理后得到的数据进行容错编码处理;
数据存储模块121,用于对容错编码模块122进行容错编码处理后得到的数据进行分布式存储处理,得到N2个数据块,N2为正整数。
上述整合方案是与第二整合策略对应的,对待处理数据依次进行数据压缩处理、加密处理、容错编码处理和分布式存储处理,由于该方案中是先对数据进行数据压缩处理的,从而节约了后续数据处理过程中的时间开销和空间开销,也即提高了数据的存取速度,并在保证具有较高数据存取速度的前提下,也提高了数据的安全性和系统扩展性。
参见图4所示,本实施例中,当用户通过整合策略选择接口选定的系统整合策略为第三整合策略时,则,
加密解密模块124,用于对待处理数据进行加密处理;
数据压缩模块123,用于对加密解密模块124进行加密处理后得到的数据进行数据压缩处理;
容错编码模块122,用于对数据压缩模块123进行数据压缩处理后得到的数据进行容错编码处理;
数据存储模块121,用于对容错编码模块122进行容错编码处理后得到的数据进行分布式存储处理,得到N3个数据块,N3为正整数。
上述整合方案是与第三整合策略对应的,对待处理数据依次进行加密处理、数据压缩处理、容错编码处理和分布式存储处理,由于该方案中是先对数据进行加密处理的,从而使得数据具有较高的安全性,并在保证数据具有较高安全性的同时,也提高了数据的存取速度和系统扩展性。
参见图5所示,本实施例中,当用户通过整合策略选择接口选定的系统整合策略为第四整合策略时,则,
容错编码模块122,用于对待处理数据进行容错编码处理;
数据存储模块121,用于对容错编码模块122进行容错编码处理后得到的数据进行分布式存储处理,得到N4个数据块,N4为正整数;
加密解密模块124,用于分别对N4个数据块中的每一个数据块进行加密处理,相应地得到N4个加密数据块;
数据压缩模块123,用于分别对N4个加密数据块中的每一个加密数据块进行数据压缩处理,相应地得到N4个压缩数据块。
上述整合方案是与第四整合策略对应的,对待处理数据依次进行容错编码处理、分布式存储处理、加密处理和数据压缩处理,可见,该方案中加密处理和数据压缩处理可以在多个存储节点上进行并行处理,从而提高了系统的数据处理效率,并提高了数据的存取速度、安全性和系统扩展性。
参见图6所示,本实施例中,当用户通过整合策略选择接口选定的系统整合策略为第五整合策略时,则,
容错编码模块122,用于对待处理数据进行容错编码处理;
数据存储模块121,用于对容错编码模块122进行容错编码处理后得到的数据进行分布式存储处理,得到N5个数据块,N5为正整数;
数据压缩模块123,用于分别对N5个数据块中的每一个数据块进行数据压缩处理,相应地得到N5个压缩数据块;
加密解密模块124,用于分别对N5个压缩数据块中的每一个压缩数据块进行加密处理,相应地得到N5个加密数据块。
上述整合方案是与第五整合策略对应的,对待处理数据依次进行容错编码处理、分布式存储处理、数据压缩处理和加密处理,可见,该方案中数据压缩处理和加密处理可以在多个存储节点上进行并行处理,从而提高了系统的数据处理效率,并提高了数据的存取速度、安全性和系统扩展性。
参见图7所示,本实施例中,当用户通过整合策略选择接口选定的系统整合策略为第六整合策略时,则,
数据压缩模块123,用于对待处理数据进行数据压缩处理;
容错编码模块122,用于对数据压缩模块123进行数据压缩处理后得到的数据进行容错编码处理;
数据存储模块121,用于对容错编码模块122进行容错编码处理后得到的数据进行分布式存储处理,得到N6个数据块,N6为正整数;
加密解密模块124,用于分别对N6个数据块中的每一个数据块进行加密处理,相应地得到N6个加密数据块。
上述整合方案是与第六整合策略对应的,对待处理数据依次进行数据压缩处理、容错编码处理、分布式存储处理和加密处理,由于该方案中是先对数据进行数据压缩处理的,从而节约了后续数据处理过程中的时间开销和空间开销,也即提高了数据的存取速度,并在保证具有较高数据存取速度的前提下,也确保了数据的安全性和系统扩展性。
本发明实施例还公开了一种应用于分布式存储系统的数据处理方法,参见图8所示,该数据处理方法包括:
步骤S81:为用户提供整合策略选择接口,以获取用户通过整合策略选择接口,从预设策略数据库中选择的系统整合策略;系统整合策略用于规定预设的四种数据处理技术中各种数据处理技术对待处理数据进行处理的先后顺序;
步骤S82:利用上述四种数据处理技术,并依据系统整合策略中规定的对数据进行处理的先后顺序,依次对待处理数据进行相应的处理;
其中,上述四种数据处理技术包括分布式存储技术、容错编码技术、数据压缩技术和加密解密技术;上述分布式存储技术用于对数据进行分布式存储处理,上述容错编码技术用于对数据进行容错编码处理,上述数据压缩技术用于对数据进行数据压缩处理,上述加密解密技术用于对数据进行加密处理或解密处理。
需要说明的是,上述系统整合策略为第一整合策略、第二整合策略、第三整合策略、第四整合策略、第五整合策略和第六整合策略中的任意一种整合策略。
其中,第一整合策略规定的先后顺序为依次对待处理数据进行加密处理、容错编码处理、分布式存储处理和数据压缩处理;
第二整合策略规定的先后顺序为依次对待处理数据进行数据压缩处理、加密处理、容错编码处理和分布式存储处理;
第三整合策略规定的先后顺序为依次对待处理数据进行加密处理、数据压缩处理、容错编码处理和分布式存储处理;
第四整合策略规定的先后顺序为依次对待处理数据进行容错编码处理、分布式存储处理、加密处理和数据压缩处理;
第五整合策略规定的先后顺序为依次对待处理数据进行容错编码处理、分布式存储处理、数据压缩处理和加密处理;
第六整合策略规定的先后顺序为依次对待处理数据进行数据压缩处理、容错编码处理、分布式存储处理和加密处理。
本发明实施例中,应用于分布式存储系统的数据处理方法,包括为用户提供整合策略选择接口,以获取用户通过整合策略选择接口,从预设策略数据库中选择的系统整合策略;利用四种数据处理技术,并依据系统整合策略中规定的对数据进行处理的先后顺序,依次对待处理数据进行相应的处理;其中,上述四种数据处理技术包括分布式存储技术、容错编码技术、数据压缩技术和加密解密技术。
本发明实施例中,在获取到用户从预设策略数据库中选择的系统整合策略后,利用上述四种数据处理技术,并依据系统整合策略中规定的对数据进行处理的先后顺序,依次对待处理数据进行相应的处理,实现了对数据的整合处理,从而提高了数据的存取速度、安全性和系统扩展性。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种应用于分布式存储系统的数据处理系统及方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种应用于分布式存储系统的数据处理系统,其特征在于,包括系统整合器和数据处理器,所述数据处理器包括数据存储模块、容错编码模块、数据压缩模块和加密解密模块;其中,
所述系统整合器,用于为用户提供整合策略选择接口,以获取用户通过所述整合策略选择接口,从预设策略数据库中选择的系统整合策略;所述系统整合策略用于规定所述数据处理器中各个模块之间对待处理数据进行处理的先后顺序;
所述数据存储模块、所述容错编码模块、所述数据压缩模块和所述加密解密模块,用于依据所述系统整合策略中规定的对数据进行处理的先后顺序,依次对待处理数据进行相应的处理。
2.根据权利要求1所述的应用于分布式存储系统的数据处理系统,其特征在于,当用户通过所述整合策略选择接口选定的系统整合策略为第一整合策略时,则,
所述加密解密模块,用于对待处理数据进行加密处理;
所述容错编码模块,用于对所述加密解密模块进行所述加密处理后得到的数据进行容错编码处理;
所述数据存储模块,用于对所述容错编码模块进行所述容错编码处理后得到的数据进行分布式存储处理,得到N1个数据块,N1为正整数;
所述数据压缩模块,用于分别对所述N1个数据块中的每一个数据块进行数据压缩处理,相应地得到N1个压缩数据块。
3.根据权利要求1所述的应用于分布式存储系统的数据处理系统,其特征在于,当用户通过所述整合策略选择接口选定的系统整合策略为第二整合策略时,则,
所述数据压缩模块,用于对待处理数据进行数据压缩处理;
所述加密解密模块,用于对所述数据压缩模块进行所述数据压缩处理后得到的数据进行加密处理;
所述容错编码模块,用于对所述加密解密模块进行所述加密处理后得到的数据进行容错编码处理;
所述数据存储模块,用于对所述容错编码模块进行所述容错编码处理后得到的数据进行分布式存储处理,得到N2个数据块,N2为正整数。
4.根据权利要求1所述的应用于分布式存储系统的数据处理系统,其特征在于,当用户通过所述整合策略选择接口选定的系统整合策略为第三整合策略时,则,
所述加密解密模块,用于对待处理数据进行加密处理;
所述数据压缩模块,用于对所述加密解密模块进行所述加密处理后得到的数据进行数据压缩处理;
所述容错编码模块,用于对所述数据压缩模块进行所述数据压缩处理后得到的数据进行容错编码处理;
所述数据存储模块,用于对所述容错编码模块进行所述容错编码处理后得到的数据进行分布式存储处理,得到N3个数据块,N3为正整数。
5.根据权利要求1所述的应用于分布式存储系统的数据处理系统,其特征在于,当用户通过所述整合策略选择接口选定的系统整合策略为第四整合策略时,则,
所述容错编码模块,用于对待处理数据进行容错编码处理;
所述数据存储模块,用于对所述容错编码模块进行所述容错编码处理后得到的数据进行分布式存储处理,得到N4个数据块,N4为正整数;
所述加密解密模块,用于分别对所述N4个数据块中的每一个数据块进行加密处理,相应地得到N4个加密数据块;
所述数据压缩模块,用于分别对所述N4个加密数据块中的每一个加密数据块进行数据压缩处理,相应地得到N4个压缩数据块。
6.根据权利要求1所述的应用于分布式存储系统的数据处理系统,其特征在于,当用户通过所述整合策略选择接口选定的系统整合策略为第五整合策略时,则,
所述容错编码模块,用于对待处理数据进行容错编码处理;
所述数据存储模块,用于对所述容错编码模块进行所述容错编码处理后得到的数据进行分布式存储处理,得到N5个数据块,N5为正整数;
所述数据压缩模块,用于分别对所述N5个数据块中的每一个数据块进行数据压缩处理,相应地得到N5个压缩数据块;
所述加密解密模块,用于分别对所述N5个压缩数据块中的每一个压缩数据块进行加密处理,相应地得到N5个加密数据块。
7.根据权利要求1所述的应用于分布式存储系统的数据处理系统,其特征在于,当用户通过所述整合策略选择接口选定的系统整合策略为第六整合策略时,则,
所述数据压缩模块,用于对待处理数据进行数据压缩处理;
所述容错编码模块,用于对所述数据压缩模块进行所述数据压缩处理后得到的数据进行容错编码处理;
所述数据存储模块,用于对所述容错编码模块进行所述容错编码处理后得到的数据进行分布式存储处理,得到N6个数据块,N6为正整数;
所述加密解密模块,用于分别对所述N6个数据块中的每一个数据块进行加密处理,相应地得到N6个加密数据块。
8.一种应用于分布式存储系统的数据处理方法,其特征在于,包括:
为用户提供整合策略选择接口,以获取用户通过所述整合策略选择接口,从预设策略数据库中选择的系统整合策略;所述系统整合策略用于规定预设的四种数据处理技术中各种数据处理技术对待处理数据进行处理的先后顺序;
利用所述四种数据处理技术,并依据所述系统整合策略中规定的对数据进行处理的先后顺序,依次对待处理数据进行相应的处理;
其中,所述四种数据处理技术包括分布式存储技术、容错编码技术、数据压缩技术和加密解密技术;所述分布式存储技术用于对数据进行分布式存储处理,所述容错编码技术用于对数据进行容错编码处理,所述数据压缩技术用于对数据进行数据压缩处理,所述加密解密技术用于对数据进行加密处理或解密处理。
9.根据权利要求8所述的应用于分布式存储系统的数据处理方法,其特征在于,所述系统整合策略为第一整合策略、第二整合策略、第三整合策略、第四整合策略、第五整合策略和第六整合策略中的任意一种整合策略。
10.根据权利要求9所述的应用于分布式存储系统的数据处理方法,其特征在于,
所述第一整合策略规定的先后顺序为依次对待处理数据进行加密处理、容错编码处理、分布式存储处理和数据压缩处理;
所述第二整合策略规定的先后顺序为依次对待处理数据进行数据压缩处理、加密处理、容错编码处理和分布式存储处理;
所述第三整合策略规定的先后顺序为依次对待处理数据进行加密处理、数据压缩处理、容错编码处理和分布式存储处理;
所述第四整合策略规定的先后顺序为依次对待处理数据进行容错编码处理、分布式存储处理、加密处理和数据压缩处理;
所述第五整合策略规定的先后顺序为依次对待处理数据进行容错编码处理、分布式存储处理、数据压缩处理和加密处理;
所述第六整合策略规定的先后顺序为依次对待处理数据进行数据压缩处理、容错编码处理、分布式存储处理和加密处理。
CN201510822428.9A 2015-11-24 2015-11-24 一种应用于分布式存储系统的数据处理系统及方法 Active CN105426493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510822428.9A CN105426493B (zh) 2015-11-24 2015-11-24 一种应用于分布式存储系统的数据处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510822428.9A CN105426493B (zh) 2015-11-24 2015-11-24 一种应用于分布式存储系统的数据处理系统及方法

Publications (2)

Publication Number Publication Date
CN105426493A true CN105426493A (zh) 2016-03-23
CN105426493B CN105426493B (zh) 2019-11-19

Family

ID=55504705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510822428.9A Active CN105426493B (zh) 2015-11-24 2015-11-24 一种应用于分布式存储系统的数据处理系统及方法

Country Status (1)

Country Link
CN (1) CN105426493B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108696585A (zh) * 2018-05-11 2018-10-23 国网电子商务有限公司 一种数据的分布式存储方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101316274A (zh) * 2008-05-12 2008-12-03 华中科技大学 一种适用于广域网的数据容灾系统
CN101526982A (zh) * 2001-02-16 2009-09-09 索尼株式会社 数据处理方法及其设备
EP2271016A2 (en) * 1995-06-26 2011-01-05 Koninklijke KPN N.V. Method and device for the transmission of data with transmission error checking
CN102447684A (zh) * 2010-10-14 2012-05-09 工业和信息化部软件与集成电路促进中心 数据处理方法及其设备
CN102624866A (zh) * 2012-01-13 2012-08-01 北京大学深圳研究生院 一种存储数据的方法、装置及分布式网络存储系统
CN103136335A (zh) * 2013-01-31 2013-06-05 北京千分点信息科技有限公司 一种基于数据平台的数据控制方法
CN103188306A (zh) * 2011-12-30 2013-07-03 中国移动通信集团公司 分布式预处理方法和系统
CN103327085A (zh) * 2013-06-05 2013-09-25 深圳市中博科创信息技术有限公司 一种分布式数据处理方法、数据中心及其系统
CN103440244A (zh) * 2013-07-12 2013-12-11 广东电子工业研究院有限公司 一种大数据存储优化方法
CN104106055A (zh) * 2011-12-12 2014-10-15 智能保险装置有限公司 分布式存储和任务网络中的分布式计算
US8996408B1 (en) * 2007-10-16 2015-03-31 Google Inc. Processing purchase transactions
CN104794003A (zh) * 2015-02-04 2015-07-22 汉鼎信息科技股份有限公司 一种整合实时和非实时模式的大数据分析系统
CN104361031B (zh) * 2014-10-24 2018-06-19 西安未来国际信息股份有限公司 一种政务大数据预处理系统及处理方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2271016A2 (en) * 1995-06-26 2011-01-05 Koninklijke KPN N.V. Method and device for the transmission of data with transmission error checking
CN101526982A (zh) * 2001-02-16 2009-09-09 索尼株式会社 数据处理方法及其设备
US8996408B1 (en) * 2007-10-16 2015-03-31 Google Inc. Processing purchase transactions
CN101316274A (zh) * 2008-05-12 2008-12-03 华中科技大学 一种适用于广域网的数据容灾系统
CN102447684A (zh) * 2010-10-14 2012-05-09 工业和信息化部软件与集成电路促进中心 数据处理方法及其设备
CN104106055A (zh) * 2011-12-12 2014-10-15 智能保险装置有限公司 分布式存储和任务网络中的分布式计算
CN103188306A (zh) * 2011-12-30 2013-07-03 中国移动通信集团公司 分布式预处理方法和系统
CN102624866A (zh) * 2012-01-13 2012-08-01 北京大学深圳研究生院 一种存储数据的方法、装置及分布式网络存储系统
CN103136335A (zh) * 2013-01-31 2013-06-05 北京千分点信息科技有限公司 一种基于数据平台的数据控制方法
CN103327085A (zh) * 2013-06-05 2013-09-25 深圳市中博科创信息技术有限公司 一种分布式数据处理方法、数据中心及其系统
CN103440244A (zh) * 2013-07-12 2013-12-11 广东电子工业研究院有限公司 一种大数据存储优化方法
CN104361031B (zh) * 2014-10-24 2018-06-19 西安未来国际信息股份有限公司 一种政务大数据预处理系统及处理方法
CN104794003A (zh) * 2015-02-04 2015-07-22 汉鼎信息科技股份有限公司 一种整合实时和非实时模式的大数据分析系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108696585A (zh) * 2018-05-11 2018-10-23 国网电子商务有限公司 一种数据的分布式存储方法及系统

Also Published As

Publication number Publication date
CN105426493B (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN108830110B (zh) 基于区块链的能源交互装置、能源互联网系统和交互方法
US10402906B2 (en) Quantification for investment vehicle management employing an advanced decision platform
CN110869932A (zh) 匿名加密数据
RU2753245C2 (ru) Защищенная передача геномных данных
TWI694700B (zh) 資料處理方法和裝置、用戶端
US20180107393A1 (en) Placement and movement of sub-units of a storage unit in a tiered storage environment
US20170124490A1 (en) Inclusion of time series geospatial markers in analyses employing an advanced cyber-decision platform
CN105262680A (zh) 一种应用于云存储系统的多线程nas网关
CN105335309A (zh) 一种数据传输方法及计算机
CN112073444B (zh) 数据集的处理方法、装置和服务器
CN103414762A (zh) 云备份方法和装置
US20140344542A1 (en) Key-value pairs data processing apparatus and method
TW202008762A (zh) 資料處理方法和裝置、客戶端、伺服器
CN112181307A (zh) 基于区块链的分布式数据冗余存储方法和电子设备
CN105224418A (zh) 一种数据备份方法和装置
CN105426493A (zh) 一种应用于分布式存储系统的数据处理系统及方法
CN104506630A (zh) 基于用户角色的权限数据生成方法、服务器及系统
CN112182108A (zh) 基于区块链的分布式数据存储更新方法和电子设备
BRPI0920319B1 (pt) método para acessar dados de magnitude da base de dados de serviços de rede inteligente e sistema e dispositivo para ele
CN105245624A (zh) 一种云存储文件系统
CN101971562B (zh) 控制自动运行过程执行的方法、装置及系统
CN104363203A (zh) 一种基于sdn的安全云接入方法
CN113392091A (zh) 分布式集群数据迁移方法及装置
CN107508813A (zh) 分布式数据加解密方法
JP6309432B2 (ja) 秘密計算システム及び方法並びに管理サーバ及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant