CN111078153A - 一种基于文件的分布式存储方法 - Google Patents

一种基于文件的分布式存储方法 Download PDF

Info

Publication number
CN111078153A
CN111078153A CN201911322978.9A CN201911322978A CN111078153A CN 111078153 A CN111078153 A CN 111078153A CN 201911322978 A CN201911322978 A CN 201911322978A CN 111078153 A CN111078153 A CN 111078153A
Authority
CN
China
Prior art keywords
file
written
dob
information
directory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911322978.9A
Other languages
English (en)
Other versions
CN111078153B (zh
Inventor
温海峰
段飞虎
罗晓斌
印东敏
宋彬
冯自强
张宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongfang Knowledge Network Digital Publishing Technology Co ltd
Original Assignee
Tongfang Knowledge Network Digital Publishing Technology Co ltd
Tongfang Knowledge Network Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongfang Knowledge Network Digital Publishing Technology Co ltd, Tongfang Knowledge Network Beijing Technology Co ltd filed Critical Tongfang Knowledge Network Digital Publishing Technology Co ltd
Priority to CN201911322978.9A priority Critical patent/CN111078153B/zh
Publication of CN111078153A publication Critical patent/CN111078153A/zh
Application granted granted Critical
Publication of CN111078153B publication Critical patent/CN111078153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种基于文件的分布式存储方法，包括：根据写入的路径确定要写入的节点，及根据写入的文件名确定要写入的dob文件的全路径名以及存储的表名；获取dob文件的大小，将获取的dob文件指针移动到该dob文件的末尾，读取写入的文件内容并进行加密，将处理过的文件内容写入dob文件；存储写入dob文件的目录、位置、大小、检索信息，并缓存目录信息，以提高检索性能。本发明采用局部变换算法结合位置偏移，实现分布式存储节点数据的安全性；采用了负载均衡算法，数据平衡地存储在各个节点，提高了整体的处理性能。

Description

一种基于文件的分布式存储方法
技术领域
本发明属于数据存储安全技术领域，尤其涉及在分布式存储环境下实现节点数据安全存储的方法。
背景技术
现有分布式存储是云存储的管理基础。它将多个存储站点合并为一个整体，通过计算把文件拆分成多个块存储至不同节点，与传统的存储系统相比，具有多种优势。比如，多点存储没有单点失效的问题，具有更高的可用性。然而，存储到不同节点的数据的机密性却是一软肋。攻击者可轻易获取整个文件的内容。随着用户对数据的隐私保护的要求提高和网络攻击者能力的提升，加之分散数据存在的弊端，对存储数据的机密性提出更高的要求。
为了确保分布式存储中数据的安全，一般使用加密技术对存储的数据进行加密，然后对加密后的密文分布式存储。然而这种方法存在弊端。第一，分布式集群系统的大规模以及大量数据使得加密后开销巨大；第二，新的攻击模型通过后门、贿赂、胁迫获得必要的密钥，又需要进一步对密钥进行管理；第三，加密的文件以分片的形式存储节点服务器中，一般加密技术属于可分离的加密模型，这种方法可能被攻击者蛮力搜索解密部分信息，攻击者再根据已知信息推算出实际内容，导致信息泄露。
对于windows系统的用户来说，一个目录下有大量的文件和目录，打开该目录会发生严重的卡顿，而一些用户，长期的文件累积，已经达到了亿级的文件存储。并且由于业务的发展，新的数据还在快速的增长，而对于大量的小文件的管理和迁移，性能也成为一个严重的问题。
为解决这些问题，通过对存储单元合理规划的基础上，把实际的物理文件加密存储到分配的存储单元中，通过文件在存储单元的偏移大小和文件本身的大小来定位和读写文件。本算法支持分布存储，存储过程进行了加密，存储的文件起始位置难以非授权界定以达到数据安全的要求。
发明内容
为解决上述技术问题，本发明的目的是提供一种基于文件的分布式存储方法，该方法首先产生一个2G的文件(后缀是dob，后面以dob文件代指该文件)，第一个要存储的文件从该dob文件的偏移量为0的位置写入该文件的加密内容，第二个文件的偏移量就是第一个文件的大小，然后从该位置写入第二个文件的加密内容，以此类推。偏移量和文件大小及相关信息进行存储，检索时，根据偏移量进行定位，根据存储的文件大小进行数据的读取。
本发明的目的通过以下的技术方案来实现：
一种基于文件的分布式存储方法，包括：
A根据写入的路径确定要写入的节点，及根据写入的文件名确定要写入的dob文件的全路径名以及存储的表名；
B获取dob文件的大小，将获取的dob文件指针移动到该dob文件的末尾，读取写入的文件内容并进行加密，将处理过的文件内容写入dob文件；
C存储写入dob文件的目录、位置、大小、检索信息，并缓存目录信息，以提高检索性能。
与现有技术相比，本发明的一个或多个实施例可以具有如下优点：
1、采用局部变换算法结合位置偏移，实现分布式存储节点数据的安全性。
2、采用了负载均衡算法，数据平衡地存储在各个节点，提高了整体的处理性能。
3、每个存储文件写满大小为2G,10T的文件也就是5120个，存储规模设为64个目录，平均每个目录下80个，查询和迁移都能满足性能要求。
附图说明
图1是基于文件的分布式存储方法流程图；
图2是存储模型结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。
如图1所示，为基于文件的分布式存储方法流程，包括以下步骤：
步骤10根据写入的路径确定要写入的节点，及根据写入的文件名确定要写入的dob文件的全路径名以及存储的表名；
首先计算写入文件的MD5值，并按照该MD5值在MD5表检索信息，如果该MD5的记录已经存在，表示同样的文件内容已经写过一次，则本次文件内容不再写入。然后判断目录是否存在，如果目录不存在，则把新的目录信息写入目录表。然后判断已经存在的文件名是否就是本次上传的文件名，如果是，再判断目录名是否一致，如果目录名和文件名都一致那么就是重复写入，就不用继续处理了，直接返回成功。如果不一致，写入虚拟文件信息到数据表：MD5信息写入MD5表，文件信息写入文件信息表。
新的文件，根据写入路径得到该文件要存储的节点：从写入路径分离出写入目录，根据目录检索存储节点，目录不存在，则根据以下算法选择节点：
节点的效能＝cpu占用率*权重1+内存占用率*权重2+磁盘使用率*权重3+磁盘写入率*权重4+网络传输率*权重5；
如上面的公式，节点的效能高，代表节点比较繁忙，因此选择效能低的节点为写入节点。
节点＝min(节点的效能)
在选择的节点上，根据文件名计算得到所存的dob文件名，根据相关的配置，唯一的确定dob文件的绝对路径，如果该文件不存在则创建出该文件。
dob文件名序号＝hash(文件名)％n，n为数据存储规模，代表存储表的最大数量。
根据计算出的dob文件名序号和存放的根路径设置及命名策略，唯一的确定dob文件的绝对路径，dob文件在的目录名对应着存储该文件信息的表名。
在确定了dob文件的全路径和存储表，通过hash算法，计算该文件应该写入到序号为0002的dob文件，第一个dob文件是/HFS_FILE_RECORD_0002/HFS_FILE_RECORD_0002_1.DOB。写入的表就是HFS_FILE_RECORD_0002表。
如图2所示，dcs(存储调度器)通过存入目录HFMS\CCNDX确定了右边的存入节点，右边的存入节点通过文件名QQQQ20191203001计算得到存入的block文件
/HFS_FILE_RECORD_0002/HFS_FILE_RECORD_0002_1.DOB。
步骤20获取dob文件的大小，将获取的dob文件指针移动到下一dob文件的末尾，读取写入的文件内容并进行加密，将处理过的文件内容写入dob文件；
因为文件是顺序写入到存储大文件中，文件间没有分隔识别符，因为开销和性能的原因，不再对其中的文件内容进行完全加密，文件的存储不是严格的分块，对非法解密来讲，从文件本身是很难定位出哪部分数据被加密，因为加密数据的起点是没有规律可循的。大于(n)k的文件，每个(n)k块的开始部分会被加密，小于(n)k的文件，开始部分会被加密。加密的种子密钥是给定的一定长度(奇数)的字符串，然后按照变换算法初始化一定长度的数组，该数组作为加密密钥，分别和相应位置的明文进行异或运算形成加密密文，然后写入dob文件。
加密算法包括密钥调度算法和伪随机子密码生成算法两大部分，密钥调度算法能够保证生成的初始化密钥是随机和会全部经过处理。伪随机序列生成算法，对上述初始化密钥进一步处理，生成伪随机序列，伪随机序列一旦生成，就得到子密钥subkey，把子密钥和明文进行异或运算，得到密文，解密过程也是一样。加密时，将明文字节与相应的k值异或；解密时，将密文字节与相应的k值异或就可以还原出明文信息。算法描述为：
for(i＝0；i<textlength；i++)
ciphertext[i]＝keystream[i]^plaintext[i]
qqqq20191203001.xml文件的大小是89k，实行不完全加密。对文件本身来讲是按块进行加密的，块的大小以k为单位，可酌情设定。假如n设为8，对于每个(8)k块的开始部分会被加密，小于(8)k的文件，开始部分会被加密。加密的种子密钥是给定的一定长度(奇数)的字符串，然后按照变换算法初始化一定长度的数组，该数组作为加密密钥，分别和相应位置的明文进行异或运算形成加密密文，然后写入dob文件。在每一个文件(包括图片，视频或其他的非ASCII文件)的开头(十六进制表示)实际上都有一片区域来显示这个文件的实际用法，这就是文件头标志，因此对文件的头部进行加密，也隐藏了文件的类型，增加了破解难度。下面表格1的第三行的C部分表示加密部分。
表1
Figure BDA0002327654710000051
步骤30存储写入dob文件的目录、位置、大小、检索信息，并缓存目录信息，以提高检索性能；
写入dob的文件，为了检索的需要，要存储必要的检索信息。根据实际情况，要能够保证文件和后缀的唯一性，所以写入的主键是文件名和后缀名。写入的表名在步骤A已经确定，把文件的相关信息写入相应的表就可以了。文件的目录信息存储到表hfs_dir_record，文件的md5信息存储到表hfs_md5_record，文件的检索信息存储到表hfs_file_record_xxxx
其中xxxx从0000-9999，这些表创建视图hfs_file_record_view来进行统一检索。
目录表hfs_dir_record的结构如下表2
表2
Figure BDA0002327654710000052
DIRNAME为存储的目录名，TABLENAME为存储的表名，CREATEDATE为文件的写入时间，MODIFYDATE为文件的最后修改时间，FLAG是目录的标志，FLAG＝0表示可用，FLAG＝-1的时候，表示当前记录被逻辑删除。NODEID是该虚拟目录的文件存储的节点。
该表的具体数据如下表3所示，可以看出上面的HFMS\CCNDX虚拟目录因为已经存在，没有再生成新的记录，看NODEID的值为5，也就是该文件存储在了5号节点。
表3
DIRNAME TABLENAME CREATEDATE MODIFYDATE FLAG NODEID
HFMS\CCNDX Reserved Field 2019-11-26 17:30:35 2019-11-26 17:30:35 0 5
HFMS\CCNDX\2001 Reserved Field 2019-11-26 17:37:46 2019-11-26 17:37:46 0 5
HFMS\CCNDX\2001\01 Reserved Field 2019-11-26 17:38:43 2019-11-26 17:38:43 0 5
HFMS\CCNDX\2001\02 Reserved Field 2019-11-26 17:39:05 2019-11-26 17:39:05 0 5
HFMS\CCNDX\2001\03 Reserved Field 2019-11-26 17:40:38 2019-11-26 17|40:38 0 5
HFMS\CCNDX\2001\04 Reserved Field 2019-11-27 17:30:45 2019-11-27 17:30:45 0 5
HFMS\CCNDX\2001\05 Reserved Field 2019-11-27 17:32:08 2019-11-27 17:32:08 0 5
HFMS\CCNDX\2001\06 Reserved Field 2019-11-27 17:35:37 2019-11-27 17:35:37 0 5
HFMS\CCNDX\2002 Reserved Field 2019-11-28 18:35:14 2019-11-28 18:35:14 0 5
HFMS\CCNDX\2002\01 Reserved Field 2019-11-28 18:35:27 2019-11-28 18:35:27 0 5
表4是文件MD5存储表结构：
表4
Figure BDA0002327654710000061
FILENAME为存储的文件名，FILESIZE是文件大小，FILETYPE是文件后缀，DIRNAME为存储的目录名，CREATEDATE为文件的写入时间，MODIFYDATE为文件的最后修改时间，MD5是计算的文件的MD5信息，FLAG是文件的标志，FLAG＝0的时候，data是文件偏移；FLAG＝1的时候，data是指向实体文件的路径，FLAG＝-1的时候，表示当前记录被逻辑删除，data上述两种情况都有可能，NODEID是文件存储的节点号。
表5是文件的MD5表的部分信息，通过文件的MD5信息来杜绝同样的文件内容以不同的文件名写入造成存储空间的浪费，也就是同样的文件内容，以不同的文件名存储，实际文件只写入一次。
表5
Figure BDA0002327654710000071
表6是文件存储信息表结构：
表6
Figure BDA0002327654710000072
FILENAME为存储的文件名，FILESIZE是文件大小，FILETYPE是文件后缀，DIRNAME为存储的目录名，CREATEDATE为文件的写入时间，MODIFYDATE为文件的最后修改时间，MD5是计算的文件的MD5信息，FLAG是文件的标志，FLAG＝0的时候，data是文件偏移；FLAG＝1的时候，data是指向实体文件的路径,FLAG＝-1的时候，表示当前记录被逻辑删除，data上述两种情况都有可能，NODEID是文件存储的节点号。
表7是表hfs_file_record_0002的部分内容，当下载文件QQQQ20191203001.XML时，通过文件名和后缀在MD5表获得相应记录，取得文件存储的节点，并取得该文件在dob文件的偏移量(8463)和文件大小(90989)，在目标节点，根据文件名(QQQQ20191203001)计算hash值得到表的序号0002，拼接得到dob文件名(HFS_FILE_RECORD_0002)，然后打开dob文件，并定位到dob文件的偏移(8463)位置，从dob文件读取90989字节的内容，并进行解密处理，处理出来的内容就是下载的文件内容。
表7
Figure BDA0002327654710000081
MD5重复时，MD5表写入数据信息的变化；把QQQQ20191203001.XML改名为QQQQ201912030012.XML,然后上传到HFS的HFMS\CCNDX目录，MD5表检索结果为如表8：
表8
Figure BDA0002327654710000082
可以看出前2条记录的不同点在于FLAG和DATA字段的值不同，FLAG＝1的时候，data是指向实体文件的路径，DATA的值是HFMS\CCNDX\QQQQ20191203001.XML。也就是下载文件QQQQ201912030012.XML的时候读取的是HFMS\CCNDX\QQQQ20191203001.XML的内容。
MD5重复时，文件信息表写入数据信息的变化。
根据步骤10的说明，文件QQQQ201912030012.XML的信息存储在HFS_FILE_RECORD_0024表，检索该表的信息如下，为了更直观的观看，检索了文件信息视图，和HFS_FILE_RECORD_0002表的记录一起显示更直观如表9。
表9
Figure BDA0002327654710000083
从表9可以看出，2条记录的不同点在于FLAG和DATA字段的值不同，FLAG＝1的时候，DATA字段的值是指向实体文件的路径，DATA的值是HFMS\CCNDX\QQQQ20191203001.XML。也就是下载文件QQQQ201912030012.XML的时候读取的是HFMS\CCNDX\QQQQ20191203001.XML的内容。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (4)

1.一种基于文件的分布式存储方法，其特征在于，所述方法包括：
A根据写入的路径确定要写入的节点，及根据写入的文件名确定要写入的dob文件的全路径名以及存储的表名；
B获取dob文件的大小，将获取的dob文件指针移动到该dob文件的末尾，读取写入的文件内容并进行加密，将处理过的文件内容写入dob文件；
C存储写入dob文件的目录、位置、大小、检索信息，并缓存目录信息，以提高检索性能。
2.如权利要求1所述的基于文件的分布式存储方法，其特征在于，所述步骤A具体包括：
首先计算写入文件的MD5值，并按照该MD5值在MD5表检索信息，如果该MD5的记录已经存在，表示同样的文件内容已经写过一次，则本次文件内容不再写入；
判断目录是否存在，如果目录不存在，则把新的目录信息写入目录表；
判断已经存在的文件名是否为本次上传的文件名，如果是，判断目录名是否一致；如果目录名和文件名都一致，则为重复写入，返回；如果目录名和文件名不一致，写入虚拟文件信息到数据表即MD5信息写入MD5表，文件信息写入文件信息表。
3.如权利要求1所述的基于文件的分布式存储方法，其特征在于，所述步骤B中：读取写入的文件内容并进行加密包括：对大于(n)k的文件，每个(n)k块的开始部分会被加密，小于(n)k的文件，则开始部分会被加密。
4.如权利要求1所述的基于文件的分布式存储方法，其特征在于，所述步骤C中：文件的目录信息存储到表hfs_dir_record，文件的md5信息存储到表hfs_md5_record，文件的检索信息存储到表hfs_file_record_xxxx，其中xxxx从0000-9999，这些表创建视图hfs_file_record_view来进行统一检索。
CN201911322978.9A 2019-12-20 2019-12-20 一种基于文件的分布式存储方法 Active CN111078153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911322978.9A CN111078153B (zh) 2019-12-20 2019-12-20 一种基于文件的分布式存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911322978.9A CN111078153B (zh) 2019-12-20 2019-12-20 一种基于文件的分布式存储方法

Publications (2)

Publication Number Publication Date
CN111078153A true CN111078153A (zh) 2020-04-28
CN111078153B CN111078153B (zh) 2023-08-01

Family

ID=70316125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911322978.9A Active CN111078153B (zh) 2019-12-20 2019-12-20 一种基于文件的分布式存储方法

Country Status (1)

Country Link
CN (1) CN111078153B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506434A (zh) * 2020-12-11 2021-03-16 杭州安恒信息技术股份有限公司 一种web微服务集群中数据的读写方法及相关装置

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
CN1971560A (zh) * 2006-09-28 2007-05-30 江苏天泽信息产业有限公司 栅格电子地图源数据生成、组织及目标数据生成的方法
CN101808095A (zh) * 2010-03-22 2010-08-18 华中科技大学 一种分布式存储环境下的加密副本组织方法
CN102750377A (zh) * 2012-06-21 2012-10-24 深圳市谷米科技有限公司 海量数据存储和检索方法
CN102779185A (zh) * 2012-06-29 2012-11-14 浙江大学 一种高可用分布式全文索引方法
WO2012162803A1 (en) * 2011-06-03 2012-12-06 Gdial Inc. Systems and methods for authenticating and aiding in indexing of and searching for electronic files
CN103116652A (zh) * 2013-03-06 2013-05-22 同方知网(北京)技术有限公司 一种基于拉链信息的索引存储管理方法
CN103150394A (zh) * 2013-03-25 2013-06-12 中国人民解放军国防科学技术大学 面向高性能计算的分布式文件系统元数据管理方法
CN103455434A (zh) * 2013-08-26 2013-12-18 华为技术有限公司 一种建立缓存目录的方法及系统
CN103778212A (zh) * 2014-01-16 2014-05-07 国网山东省电力公司青岛供电公司 基于数据节点的并行海量数据处理方法
CN103942058A (zh) * 2013-01-17 2014-07-23 深圳市潮流网络技术有限公司 一种嵌入式电子设备软件升级方法及系统
CN104040937A (zh) * 2011-11-09 2014-09-10 英特尔公司 用于对文件系统加速加密的多密钥密码术
CN104881481A (zh) * 2015-06-03 2015-09-02 安科智慧城市技术（中国）有限公司 一种存取海量时间序列数据的方法及装置
CN105205118A (zh) * 2015-09-10 2015-12-30 邯郸职业技术学院 一种基于文件分块的镜像文件同步方法
CN105426348A (zh) * 2015-10-22 2016-03-23 江苏国泰新点软件有限公司 一种可扩展标记语言xml文件的生成方法、装置和系统
CN105701179A (zh) * 2016-01-06 2016-06-22 南京斯坦德云科技股份有限公司 基于UniWhale的分布式文件系统的视窗访问方法
CN106202173A (zh) * 2016-06-26 2016-12-07 厦门天锐科技股份有限公司 一种文件仓库存储的智能排重方法及系统
CN106502791A (zh) * 2016-10-14 2017-03-15 浪潮电子信息产业股份有限公司 一种任务分配方法及装置
CN106708439A (zh) * 2016-12-23 2017-05-24 深圳市中博科创信息技术有限公司 一种分布式文件系统中节点选择计算方法及系统
CN106802950A (zh) * 2017-01-16 2017-06-06 郑州云海信息技术有限公司 一种分布式文件系统小文件写缓存优化的方法
WO2017162179A1 (zh) * 2016-03-23 2017-09-28 北京书生国际信息技术有限公司 用于存储系统的负载再均衡方法及装置
CN108462568A (zh) * 2018-02-11 2018-08-28 西安电子科技大学 一种基于区块链的安全文件存储和共享方法
CN109697194A (zh) * 2018-12-25 2019-04-30 杭州安恒信息技术股份有限公司 一种基于微服务的文件服务方法和系统
CN110188084A (zh) * 2019-05-16 2019-08-30 浙江讯盟科技有限公司 一种分布式文件存储系统及文件存储方法

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
CN1971560A (zh) * 2006-09-28 2007-05-30 江苏天泽信息产业有限公司 栅格电子地图源数据生成、组织及目标数据生成的方法
CN101808095A (zh) * 2010-03-22 2010-08-18 华中科技大学 一种分布式存储环境下的加密副本组织方法
WO2012162803A1 (en) * 2011-06-03 2012-12-06 Gdial Inc. Systems and methods for authenticating and aiding in indexing of and searching for electronic files
CN104040937A (zh) * 2011-11-09 2014-09-10 英特尔公司 用于对文件系统加速加密的多密钥密码术
CN102750377A (zh) * 2012-06-21 2012-10-24 深圳市谷米科技有限公司 海量数据存储和检索方法
CN102779185A (zh) * 2012-06-29 2012-11-14 浙江大学 一种高可用分布式全文索引方法
CN103942058A (zh) * 2013-01-17 2014-07-23 深圳市潮流网络技术有限公司 一种嵌入式电子设备软件升级方法及系统
CN103116652A (zh) * 2013-03-06 2013-05-22 同方知网(北京)技术有限公司 一种基于拉链信息的索引存储管理方法
CN103150394A (zh) * 2013-03-25 2013-06-12 中国人民解放军国防科学技术大学 面向高性能计算的分布式文件系统元数据管理方法
CN103455434A (zh) * 2013-08-26 2013-12-18 华为技术有限公司 一种建立缓存目录的方法及系统
CN103778212A (zh) * 2014-01-16 2014-05-07 国网山东省电力公司青岛供电公司 基于数据节点的并行海量数据处理方法
CN104881481A (zh) * 2015-06-03 2015-09-02 安科智慧城市技术（中国）有限公司 一种存取海量时间序列数据的方法及装置
CN105205118A (zh) * 2015-09-10 2015-12-30 邯郸职业技术学院 一种基于文件分块的镜像文件同步方法
CN105426348A (zh) * 2015-10-22 2016-03-23 江苏国泰新点软件有限公司 一种可扩展标记语言xml文件的生成方法、装置和系统
CN105701179A (zh) * 2016-01-06 2016-06-22 南京斯坦德云科技股份有限公司 基于UniWhale的分布式文件系统的视窗访问方法
WO2017162179A1 (zh) * 2016-03-23 2017-09-28 北京书生国际信息技术有限公司 用于存储系统的负载再均衡方法及装置
CN106202173A (zh) * 2016-06-26 2016-12-07 厦门天锐科技股份有限公司 一种文件仓库存储的智能排重方法及系统
CN106502791A (zh) * 2016-10-14 2017-03-15 浪潮电子信息产业股份有限公司 一种任务分配方法及装置
CN106708439A (zh) * 2016-12-23 2017-05-24 深圳市中博科创信息技术有限公司 一种分布式文件系统中节点选择计算方法及系统
CN106802950A (zh) * 2017-01-16 2017-06-06 郑州云海信息技术有限公司 一种分布式文件系统小文件写缓存优化的方法
CN108462568A (zh) * 2018-02-11 2018-08-28 西安电子科技大学 一种基于区块链的安全文件存储和共享方法
CN109697194A (zh) * 2018-12-25 2019-04-30 杭州安恒信息技术股份有限公司 一种基于微服务的文件服务方法和系统
CN110188084A (zh) * 2019-05-16 2019-08-30 浙江讯盟科技有限公司 一种分布式文件存储系统及文件存储方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
刘小俊;徐正全;潘少明;: "一种读写分离的分布式元数据管理方法――以"数字城市"应用为例", vol. 1, no. 10, pages 1248 - 1252 *
刘皊皊 等: "基于Hadoop架构的国产化分布式集群平台", 指挥信息系统与技术, vol. 8, no. 04, pages 33 - 37 *
张鹏: "某分布式数据采集与处理系统的设计与实现", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 3, pages 138 - 4283 *
王柏;胡谷雨;罗健欣;: "一种高效的海量数据储存方案", vol. 38, no. 18, pages 65 - 67 *
胡修林;唐信忠;: "一种基于结构体的文件有序存取算法", no. 12, pages 67 - 70 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506434A (zh) * 2020-12-11 2021-03-16 杭州安恒信息技术股份有限公司 一种web微服务集群中数据的读写方法及相关装置

Also Published As

Publication number Publication date
CN111078153B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN104331408B (zh) 分级内容可寻址存储系统中的块级客户端侧加密
Li et al. A hybrid cloud approach for secure authorized deduplication
US9430659B2 (en) Locating cryptographic keys stored in a cache
Goh et al. SiRiUS: Securing Remote Untrusted Storage.
US7478243B2 (en) On-disk file format for serverless distributed file system with signed manifest of file modifications
CN110689349B (zh) 一种区块链中的交易哈希值存储和搜索方法及装置
CN111523133B (zh) 一种区块链与云端数据协同共享方法
US20090296926A1 (en) Key management using derived keys
EP1278113A2 (en) On-disk file format for a serverless distributed file system
CN109361644B (zh) 一种支持快速搜索和解密的模糊属性基加密方法
US20060089936A1 (en) System and method for a secure, scalable wide area file system
CN113221155B (zh) 一种多层级与多等级加密的云储存系统
US9886448B2 (en) Managing downloads of large data sets
US11126735B1 (en) Distributed data security
CN111526197A (zh) 一种云端数据安全共享方法
US20200042497A1 (en) Distributed ledger system
CN107094075B (zh) 一种基于收敛加密的数据块动态操作方法
KR20170111022A (ko) 암호화 및 검색 장치 및 그 방법
Giri et al. A survey on data integrity techniques in cloud computing
Wang et al. A policy-based deduplication mechanism for securing cloud storage
US20110154015A1 (en) Method For Segmenting A Data File, Storing The File In A Separate Location, And Recreating The File
CN104182418A (zh) 节点元数据获取方法与装置
JP2010165275A (ja) データ格納システム及び情報送信装置及びサーバ装置
Kim et al. Survey on Data Deduplication in Cloud Storage Environments.
CN111078153B (zh) 一种基于文件的分布式存储方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230626

Address after: Rooms B201, B202, B203, B205, B206, B207, B208, B209, B210, 2nd Floor, Building B-2, Zhongguancun Dongsheng Science and Technology Park, No. 66 Xixiaokou Road, Haidian District, Beijing, 100084 (Dongsheng District)

Applicant after: TONGFANG KNOWLEDGE NETWORK DIGITAL PUBLISHING TECHNOLOGY CO.,LTD.

Address before: 100084 Beijing city Haidian District Tsinghua University Tsinghua Yuan 36 zone B1410, Huaye building 1412, room 1414

Applicant before: TONGFANG KNOWLEDGE NETWORK (BEIJING) TECHNOLOGY Co.,Ltd.

Applicant before: TONGFANG KNOWLEDGE NETWORK DIGITAL PUBLISHING TECHNOLOGY CO.,LTD.

GR01 Patent grant
GR01 Patent grant