CN108388406B - 数据处理方法及装置 - Google Patents

数据处理方法及装置 Download PDF

Info

Publication number
CN108388406B
CN108388406B CN201810023927.5A CN201810023927A CN108388406B CN 108388406 B CN108388406 B CN 108388406B CN 201810023927 A CN201810023927 A CN 201810023927A CN 108388406 B CN108388406 B CN 108388406B
Authority
CN
China
Prior art keywords
storage
copy
file
storage node
storage medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810023927.5A
Other languages
English (en)
Other versions
CN108388406A (zh
Inventor
邓钫元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seashell Housing Beijing Technology Co Ltd
Original Assignee
Lianjia Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lianjia Beijing Technology Co Ltd filed Critical Lianjia Beijing Technology Co Ltd
Priority to CN201810023927.5A priority Critical patent/CN108388406B/zh
Publication of CN108388406A publication Critical patent/CN108388406A/zh
Application granted granted Critical
Publication of CN108388406B publication Critical patent/CN108388406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本发明提供一种数据处理方法及装置，包括：接收用户端发送的读取请求，所述读取请求包括文件名；获取主存储节点上的存储信息表；根据所述文件名和存储信息表获得存储有对应所述文件名的文件副本的副本存储节点的位置信息和存储介质标签；根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本。本发明实施例提供的一种数据处理方法及装置，通过接收用户端发送的文件名以及获取主存储节点上的存储信息表，并根据所述文件名和所述存储信息表获得存储有对应所述文件名的文件副本的副本存储节点的位置信息和存储介质标签，根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本，做到存储合理，读取数据效率高。

Description

数据处理方法及装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据处理方法及装置。
背景技术
HDFS(Hadoop Distributed File System)是一种大数据分布式存储系统，它将任意大小的文件按照指定块大小(如256MB)分割成若干块，并且为了数据冗余备份，每个块有3(默认)个副本，HDFS将该文件的所有副本块随机分布到大量数据存储节点上，并在主存储节点上记录该文件的每个副本块存在哪个存储节点上。查询数据时从主存储节点获取该文件的所有副本块位置，再按照一定规则从存储节点上获取数据。
由于存放在HDFS中的数据使用频率不一样，对存储的要求也不一样，比如某些数据经常使用(热数据)，希望访问速度快。某些数据很少使用(冷数据)，希望存储的成本低。目前业内提供多种类型存储介质，如固态硬盘(SSD)速度高，价格贵。磁带速度慢，价格低。普通硬盘价格和速度适中。
但目前HDFS的存储节点，不能区分存储介质类型，所有数据会随机放到各个存储节点上。即使部分存储节点上部署SSD，也无法保证经常访问的数据放到有SSD的存储节点上，无法加速热数据性能。同理，部分存储节点部署磁带，也不能使很少使用的数据到磁带的存储节点上，无法减少冷数据成本。
发明内容
本发明提供一种数据处理方法及装置，用于解决现有技术中无法将数据存储在合适的存储节点上的问题。
第一方面，本发明实施例提供一种数据处理方法，包括：
接收用户端发送的读取请求，所述读取请求包括文件名；
获取主存储节点上的存储信息表；
根据所述文件名和所述存储信息表获得存储有对应所述文件名的文件副本的副本存储节点的位置信息和存储介质标签；
根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本。
可选地，在接收用户端发送的读取请求之前，还包括：
接收用户端发送的存储请求，所述存储请求包括文件副本、文件名和存储条件；
获取所有副本存储节点的存储介质标签；
根据所述存储条件将文件副本发送给副本存储节点进行存储，并将存储信息发送给主存储节点记录在存储信息表上。
可选地，所述根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本，包括：
若存在不同存储介质标签的多个副本存储节点，则根据所述位置信息、所述存储介质标签和预设的存储介质优先级确定唯一的副本存储节点；
从确定后的副本存储节点上调用文件副本。
可选地，所述根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本，包括：
若存在相同存储介质标签的多个副本存储节点，则根据位置信息任选其中一个副本存储节点；
从选取后的副本存储节点上调用文件副本。
第二方面，本发明实施例提供一种数据处理装置，包括：
第一接收模块，用于接收用户端发送的读取请求，所述读取请求包括文件名；
第一获取模块，用于获取主存储节点上的存储信息表；
匹配模块，用于根据所述文件名和所述存储信息表获得存储有对应所述文件名的文件副本的副本存储节点的位置信息和存储介质标签；
读取模块，用于根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本。
可选地，还包括：
第二接收模块，用于接收用户端发送的存储请求，所述存储请求包括文件副本、文件名和存储条件；
第二获取模块，用于获取所有副本存储节点的存储介质标签；
存储模块，用于根据所述存储条件将文件副本发送给副本存储节点进行存储，并将存储信息发送给主存储节点记录在存储信息表上。
可选地，所述读取模块具体用于：
若存在不同存储介质标签的多个副本存储节点，则根据所述位置信息、所述存储介质标签和预设的存储介质优先级确定唯一的副本存储节点；
从确定后的副本存储节点上调用文件副本。
可选地，所述读取模块，还具体用于：
若存在相同存储介质标签的多个副本存储节点，则根据位置信息任选其中一个副本存储节点；
从选取后的副本存储节点上调用文件副本。
第三方面，本发明实施例提供一种电子设备，包括：处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序；
其中，所述处理器，存储器通过所述总线完成相互间的通信；
所述处理器执行所述计算机程序时实现如上述的方法。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如上述的方法。
由上述技术方案可知，本发明实施例提供的一种数据处理方法及装置，通过接收用户端发送的文件名以及获取主存储节点上的存储信息表，并根据所述文件名和所述存储信息表获得存储有对应所述文件名的文件副本的副本存储节点的位置信息和存储介质标签，根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本，做到存储合理，读取数据效率高。
附图说明
图1为本发明一实施例提供的数据处理方法的流程示意图；
图2为本发明一实施例提供的数据处理方法的流程示意图；
图3为本发明一实施例提供的数据处理装置的结构示意图；
图4为本发明一实施例提供的数据处理装置的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1示出了本发明一实施例提供一种数据处理方法，包括：
S11、接收用户端发送的读取请求，所述读取请求包括文件名；
S12、获取主存储节点上的存储信息表；
S13、根据所述文件名和所述存储信息表获得存储有对应所述文件名的文件副本的副本存储节点的位置信息和存储介质标签；
S14、根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本。
针对步骤S11-步骤S14，需要说明的是，在本发明实施例中，用户通过用户端想要查看文件，此时用户会通过用户端向系统发送读取请求，在该读取请求中至少包括文件名，便于匹配对应的文件副本。
在本发明实施例中，文件副本存储后，其存储信息会记录在主存储节点上的存储信息表。在本实施例中，该主存储节点可不用存储文件副本，可存储文件副本具体存储在哪个存储节点(即副本存储节点)上的信息，即存储节点的位置信息和存储节点的存储介质标签。
在本实施例中，存储介质标签可表示存储节点使用的是何种存储设备。如固态硬盘、普通硬盘、磁带等。
系统根据文件名从所述存储信息表中进行匹配，获得存储有对应该文件名的文件副本的副本存储节点和对应的存储介质标签。
系统会根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本，具体可为：
1)、若存在不同存储介质标签的多个副本存储节点，则根据所述位置信息、所述存储介质标签和预设的存储介质优先级确定唯一的副本存储节点；从确定后的副本存储节点上调用文件副本。
针对情况1)，需要说明的是，在本发明实施例中，系统根据存储介质标签可以得到多个副本存储节点均是采用何种存储介质。当存在不同存储介质标签的多个副本存储节点，则根据存储介质优先级确定唯一的副本存储节点，并根据位置信息从确定后的副本存储节点上调用文件副本。
2)、若存在相同存储介质标签的多个副本存储节点，则根据位置信息任选其中一个副本存储节点；从选取后的副本存储节点上调用文件副本。
针对情况2)需要说明的是，在本发明实施例中，系统根据存储介质标签可以得到多个副本存储节点均是采用何种存储介质。当存在相同存储介质标签的多个副本存储节点，并根据位置信息从选取后的副本存储节点上调用文件副本。
本发明实施例提供的一种数据处理方法，通过接收用户端发送的文件名以及获取主存储节点上的存储信息表，并根据所述文件名和所述存储信息表获得存储有对应所述文件名的文件副本的副本存储节点的位置信息和存储介质标签，根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本，做到存储合理，读取数据效率高。
图2示出了本发明一实施例提供一种数据处理方法，包括：
S21、接收用户端发送的存储请求，所述存储请求包括文件副本、文件名和存储条件；
S22、获取所有副本存储节点的存储介质标签；
S23、根据所述存储条件将文件副本发送给副本存储节点进行存储，并将存储信息发送给主存储节点记录在存储信息表上；
S24、接收用户端发送的读取请求，所述读取请求包括文件名；
S25、获取主存储节点上的存储信息表；
S26、根据所述文件名和所述存储信息表获得存储有对应所述文件名的文件副本的副本存储节点的位置信息和存储介质标签；
S27、根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本。
针对步骤S21-步骤S23，需要说明的是，在本发明实施例中，HDFS(HadoopDistributed File System)是一种大数据分布式存储系统，它将任意大小的文件按照指定块大小(如256MB)分割成若干块，并且为了数据冗余备份，每个块有多个(默认为3个)副本。
HDFS将该文件的所有副本随机分布到大量数据节点(在本发明实施例中为了描述区分作为副本存储节点)上。
但存放在HDFS中的数据使用频率不一样，对存储的要求也不一样，比如某些数据经常使用(热数据)，希望访问速度快。某些数据很少使用(冷数据)，希望存储的成本低。
为此，目前业内提供多种类型存储介质，如固态硬盘(SSD)速度高，价格贵。普通硬盘速度较好，价格较贵。磁带速度慢，价格低。
在本实施例中，首先需要副本存储节点感知它使用的存储介质，为此需要给每个副本存储节点增加一个存储介质标签来标识存储介质，标签名和其对应的存储介质，如下表：
Figure GDA0003019985100000061
Figure GDA0003019985100000071
存储时，系统会接收用户端发送的存储请求，所述存储请求包括文件副本、文件名和存储条件。下表为三个文件副本的情况的存储条件进行的解释说明，如下：
Figure GDA0003019985100000072
系统会根据存储条件中从多个副本存储节点上选取合适的副本存储节点，并将文件副本放在选取的副本存储节点上。
针对步骤S24-步骤S27，需要说明的是，这些步骤与上述实施例所述步骤S11-步骤S241的原理相同，在此不再赘述。
本发明实施例提供的一种数据处理方法，通过存储条件存储在合适存储介质的副本存储节点上，并接收用户端发送的文件名以及获取主存储节点上的存储信息表，并根据所述文件名和所述存储信息表获得存储有对应所述文件名的文件副本的副本存储节点的位置信息和存储介质标签，根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本，做到将数据放在合适的存储介质中，合理存储，同时读取数据效率高。
图3示出了本发明一实施例提供的一种数据处理装置，包括第一接收模块31、第一获取模块32、匹配模块33和读取模块34，其中：
第一接收模块31，用于接收用户端发送的读取请求，所述读取请求包括文件名；
第二获取模块32，用于获取主存储节点上的存储信息表；
匹配模块33，用于根据所述文件名和所述存储信息表获得存储有对应所述文件名的文件副本的副本存储节点的位置信息和存储介质标签；
读取模块34，用于根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本。
由于本发明实施例所述装置与上述实施例所述方法的原理相同，对于更加详细的解释内容在此不再赘述。
需要说明的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
本发明实施例提供的一种数据处理装置，通过接收用户端发送的文件名以及获取主存储节点上的存储信息表，并根据所述文件名和所述存储信息表获得存储有对应所述文件名的文件副本的副本存储节点的位置信息和存储介质标签，根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本，做到存储合理，读取数据效率高。
图4示出了本发明一实施例提供的一种数据处理装置，包括第二接收模块41、第二获取模块42、存储模块43、第一接收模块44、第一获取模块45、匹配模块46和读取模块47，其中：
第二接收模块41，用于接收用户端发送的存储请求，所述存储请求包括文件副本、文件名和存储条件；
第二获取模块42，用于获取所有副本存储节点的存储介质标签；
存储模块43，用于根据所述存储条件将文件副本发送给副本存储节点进行存储，并将存储信息发送给主存储节点记录在存储信息表上；
第一接收模块44，用于接收用户端发送的读取请求，所述读取请求包括文件名；
第二获取模块45，用于获取主存储节点上的存储信息表；
匹配模块46，用于根据所述文件名和所述存储信息表获得存储有对应所述文件名的文件副本的副本存储节点的位置信息和存储介质标签；
读取模块47，用于根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本。
由于本发明实施例所述装置与上述实施例所述方法的原理相同，对于更加详细的解释内容在此不再赘述。
需要说明的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
本发明实施例提供的一种数据处理装置，通过存储条件存储在合适存储介质的副本存储节点上，并接收用户端发送的文件名以及获取主存储节点上的存储信息表，并根据所述文件名和所述存储信息表获得存储有对应所述文件名的文件副本的副本存储节点的位置信息和存储介质标签，根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本，做到将数据放在合适的存储介质中，合理存储，同时读取数据效率高。
本发明一实施例提供的一种电子设备，包括：处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序；
其中，所述处理器，存储器通过所述总线完成相互间的通信；
所述处理器执行所述计算机程序时实现如上述的方法，例如包括：接收用户端发送的读取请求，所述读取请求包括文件名；获取主存储节点上的存储信息表；根据所述文件名和所述存储信息表获得存储有对应所述文件名的文件副本的副本存储节点的位置信息和存储介质标签；根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本。
本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如上述的方法，例如包括：接收用户端发送的读取请求，所述读取请求包括文件名；获取主存储节点上的存储信息表；根据所述文件名和所述存储信息表获得存储有对应所述文件名的文件副本的副本存储节点的位置信息和存储介质标签；根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本领域普通技术人员可以理解：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (8)

1.一种数据处理方法，其特征在于，包括：
接收用户端发送的读取请求，所述读取请求包括文件名；
获取主存储节点上的存储信息表；
根据所述文件名和所述存储信息表获得存储有对应所述文件名的文件副本的副本存储节点的位置信息和存储介质标签；
根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本；
其中，所述根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本，包括：
若存在不同存储介质标签的多个副本存储节点，则根据所述位置信息、所述存储介质标签和预设的存储介质优先级确定唯一的副本存储节点；
从确定后的副本存储节点上调用文件副本。
2.根据权利要求1所述的方法，其特征在于，在接收用户端发送的读取请求之前，还包括：
接收用户端发送的存储请求，所述存储请求包括文件副本、文件名和存储条件；
获取所有副本存储节点的存储介质标签；
根据所述存储条件将文件副本发送给副本存储节点进行存储，并将存储信息发送给主存储节点记录在存储信息表上。
3.根据权利要求1所述的方法，其特征在于，所述根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本，包括：
若存在相同存储介质标签的多个副本存储节点，则根据位置信息任选其中一个副本存储节点；
从选取后的副本存储节点上调用文件副本。
4.一种数据处理装置，其特征在于，包括：
第一接收模块，用于接收用户端发送的读取请求，所述读取请求包括文件名；
第一获取模块，用于获取主存储节点上的存储信息表；
匹配模块，用于根据所述文件名和所述存储信息表获得存储有对应所述文件名的文件副本的副本存储节点的位置信息和存储介质标签；
读取模块，用于根据所述位置信息和所述存储介质标签从对应的副本存储节点上调用文件副本；
其中，所述读取模块具体用于：
若存在不同存储介质标签的多个副本存储节点，则根据所述位置信息、所述存储介质标签和预设的存储介质优先级确定唯一的副本存储节点；
从确定后的副本存储节点上调用文件副本。
5.根据权利要求4所述的装置，其特征在于，还包括：
第二接收模块，用于接收用户端发送的存储请求，所述存储请求包括文件副本、文件名和存储条件；
第二获取模块，用于获取所有副本存储节点的存储介质标签；
存储模块，用于根据所述存储条件将文件副本发送给副本存储节点进行存储，并将存储信息发送给主存储节点记录在存储信息表上。
6.根据权利要求4所述的装置，其特征在于，所述读取模块，还具体用于：
若存在相同存储介质标签的多个副本存储节点，则根据位置信息任选其中一个副本存储节点；
从选取后的副本存储节点上调用文件副本。
7.一种电子设备，其特征在于，包括：处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序；
其中，所述处理器，存储器通过所述总线完成相互间的通信；
所述处理器执行所述计算机程序时实现如权利要求1-3中任一项所述的方法。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1-3中任一项所述的方法。
CN201810023927.5A 2018-01-10 2018-01-10 数据处理方法及装置 Active CN108388406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810023927.5A CN108388406B (zh) 2018-01-10 2018-01-10 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810023927.5A CN108388406B (zh) 2018-01-10 2018-01-10 数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN108388406A CN108388406A (zh) 2018-08-10
CN108388406B true CN108388406B (zh) 2021-07-02

Family

ID=63076806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810023927.5A Active CN108388406B (zh) 2018-01-10 2018-01-10 数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN108388406B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684093B (zh) * 2018-12-24 2021-03-09 成都四方伟业软件股份有限公司 数据处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938784A (zh) * 2012-11-06 2013-02-20 无锡江南计算技术研究所 应用于分布式存储系统中的数据存储方法和系统
CN104035880A (zh) * 2014-06-09 2014-09-10 南京邮电大学 一种多种存储介质并存下的多路数据分配方法
CN107102824A (zh) * 2017-05-26 2017-08-29 华中科技大学 一种基于存储和加速优化的Hadoop异构方法和系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2679048B2 (ja) * 1987-06-09 1997-11-19 日本電気株式会社 再書込み不可能な媒体上のフアイル管理方式
JPH1131375A (ja) * 1997-07-08 1999-02-02 Nec Corp 磁気テープへのインデックス付加制御方式
EP2476079A4 (en) * 2009-09-09 2013-07-03 Fusion Io Inc APPARATUS, SYSTEM, AND METHOD FOR STORAGE ALLOCATION
CN105892947B (zh) * 2016-03-31 2019-01-22 华中科技大学 一种节能存储系统的ssd与hdd混合缓存管理方法及系统
CN205620984U (zh) * 2016-04-01 2016-10-05 南京紫光云信息科技有限公司 一种数据分层存储设备
CN107665310A (zh) * 2016-07-29 2018-02-06 四川长虹电器股份有限公司 一种移动终端文件的加密存储、读取和删除方法
CN107193500A (zh) * 2017-05-26 2017-09-22 郑州云海信息技术有限公司 一种分布式文件系统分层存储方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938784A (zh) * 2012-11-06 2013-02-20 无锡江南计算技术研究所 应用于分布式存储系统中的数据存储方法和系统
CN104035880A (zh) * 2014-06-09 2014-09-10 南京邮电大学 一种多种存储介质并存下的多路数据分配方法
CN107102824A (zh) * 2017-05-26 2017-08-29 华中科技大学 一种基于存储和加速优化的Hadoop异构方法和系统

Also Published As

Publication number Publication date
CN108388406A (zh) 2018-08-10

Similar Documents

Publication Publication Date Title
US7647449B1 (en) Method, system, and computer readable medium for maintaining the order of write-commands issued to a data storage
KR101994021B1 (ko) 파일 조작 방법 및 장치
CN110753084B (zh) 上链数据读取方法、缓存服务器及计算机可读存储介质
CN102821111A (zh) 文件云存储实时同步方法
US20180210784A1 (en) Metadata Recovery Method and Apparatus
US20210294514A1 (en) Removable media based object store
JP2022073833A (ja) データ分散保存方法および装置
CN108388406B (zh) 数据处理方法及装置
CN110673935A (zh) 一种基于Kubernetes系统的作业调度方法、设备以及存储介质
CN107967305B (zh) 影像文件上传方法、服务器及可读存储介质
CN105808451B (zh) 一种数据缓存方法以及相关装置
CN110737716A (zh) 一种数据写入的方法和装置
US8825600B2 (en) File backup apparatus and method for backing up one or more directories
US11544242B2 (en) System and method for storing and retrieving data in different data spaces
US11249991B2 (en) System and method for creating storage containers in a data storage system
CN106557383B (zh) 一种数据恢复的方法及装置
US10803109B2 (en) Method and device for reading and writing video data in NAS device
CN110471896A (zh) 一种数据处理方法、系统及服务器
EP2819028A2 (en) Content management system
CN107704208B (zh) 一种元数据的修复方法、装置及介质
US20190173947A1 (en) System and Method for Load Balancing in a Data Storage System
CN110018985B (zh) 快照删除方法、装置及系统
WO2014019479A1 (en) Method and device based on android system for tracking imported file
CN109753228B (zh) 快照删除方法、装置及系统
CN111177478A (zh) 一种查询方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 100085 Floor 101 102-1, No. 35 Building, No. 2 Hospital, Xierqi West Road, Haidian District, Beijing

Patentee after: Seashell Housing (Beijing) Technology Co.,Ltd.

Address before: 100085 Floor 101 102-1, No. 35 Building, No. 2 Hospital, Xierqi West Road, Haidian District, Beijing

Patentee before: LIANJIA(BEIJING) TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder