CN109491589A - 一种基于文件内容的分层处理方法及装置 - Google Patents
一种基于文件内容的分层处理方法及装置 Download PDFInfo
- Publication number
- CN109491589A CN109491589A CN201710821686.4A CN201710821686A CN109491589A CN 109491589 A CN109491589 A CN 109491589A CN 201710821686 A CN201710821686 A CN 201710821686A CN 109491589 A CN109491589 A CN 109491589A
- Authority
- CN
- China
- Prior art keywords
- file
- disk
- server
- file destination
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000008569 process Effects 0.000 title claims abstract description 30
- 230000032798 delamination Effects 0.000 title claims abstract description 24
- 238000007493 shaping process Methods 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 23
- 230000005012 migration Effects 0.000 claims description 11
- 238000013508 migration Methods 0.000 claims description 11
- 230000001052 transient effect Effects 0.000 claims description 11
- 238000006116 polymerization reaction Methods 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims 2
- 230000037430 deletion Effects 0.000 claims 2
- 230000001960 triggered effect Effects 0.000 claims 2
- 230000002688 persistence Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 241001025261 Neoraja caerulea Species 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/068—Hybrid storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于文件内容的分层处理方法及装置，该分层处理方法包括：将至少一光盘库构成的光盘库集群和磁盘与存储服务器构成的热磁集群之间建立连接；将文件写入热磁集群的磁盘中，并在总数据库中记录写入操作的时间戳；根据用户输入的操作及时间戳从磁盘中读取目标文件，并将目标文件迁移至光盘库集群的光盘库中。通过实施本发明，可根据用户的需求，将目标文件存储进磁盘或光盘中，从而合理分配文件的存储，采用磁盘和光盘两种介质，作为两层分层存储。磁盘作为热数据存储，并且永久保存数据的元数据信息和一部分关键数据信息。从而可以减少对光盘库的操作，延长光盘库部件的寿命，同时，提供较好的用户体验。
Description
技术领域
本发明涉及混合存储技术领域，具体涉及一种基于文件内容的分层处理方法及装置。
背景技术
对文件内容的存储介质而言，主要包括磁盘存储和光盘存储，与磁盘相比，光盘是一种更廉价的适合于长期数据保存的介质。光盘作为存储介质具备高数据安全性、高可靠性、低功耗、低运营成本、介质寿命长等特性。
一般的光盘存储以光盘库的方式提供。每个光盘库容纳多张光盘，并配置一定比例的光驱。光盘库提供机械手等光盘传送装置，负责把光盘传送到光驱进行读写。光盘写过程其实就是光盘的刻录过程。一般而言，目前绝大部分光盘存储采用可擦除的光盘，一次写入，多次读取。
但光盘存储也存在着一些问题：
1.存在易耗损的机械装置，如机械臂，光盘匣。如果频繁读写光盘，会造成光盘库中机械部件的频繁使用，导致机械部件寿命缩短，维护成本增加，同时增加不可访问时间。
2.读写过程存在较长延时。如果光盘不在光驱里面，则需要机械臂把光盘抓取放入光驱，这个时间最长可达几分钟。如果访问的数据分布在不同的光盘之上，在访问数据的时候会造成频繁的换盘操作，造成部件寿命的减少，并且读写时间不可接受。
3.读写过程存在读读冲突、读写冲突等。光盘只有在光驱中才能读写。这样，在光驱被占用读写数据时，其他访问请求只能等待。
因此，如何有效的解决以上问题，是能否充分利用光盘优势的关键。
发明内容
本发明提供一种基于文件内容的分层处理方法及装置，以充分利用光盘存储的优势，并力求克服光盘存储所存在的上述问题。
为解决上述问题，本发明实施例提供一种基于文件内容的分层处理方法，包括：将至少一光盘库构成的光盘库集群和磁盘与存储服务器构成的热磁集群之间建立连接；将文件写入所述热磁集群的磁盘中，并在总数据库中记录所述写入操作的时间戳；根据用户输入的操作及所述时间戳从所述磁盘中读取目标文件，并将所述目标文件迁移至所述光盘库集群的光盘库中。
在一实施例中，上述的基于文件内容的分层处理方法还包括：接收用户输入的信息执行文件读取操作；根据所述目标文件的文件类型确定所述目标文件的存储源；当所述存储源为所述磁盘时，将所述目标文件从所述磁盘返回读取结果，并预读取一预设时间长度内的文件；当所述存储源为所述光盘库时，将所述目标文件从所述光盘库读取到所述磁盘，从所述磁盘返回读取结果，并预读取一预设时间长度内的文件。
在一实施例中，上述的将所述目标文件迁移至所述光盘库集群的光盘库中，包括：根据所述目标文件的文件类型，调用所述文件类型对应的插件对所述目标文件进行过滤，生成所述目标文件的影子文件，所述影子文件中存储有所述目标文件的元数据及至少部分关键数据；将所述影子文件进行聚合，将聚合后的文件刻录到所述光盘库中，并对所述磁盘中的所述目标文件标记归档标识。
在一实施例中，上述的分层处理方法还包括：判断所述磁盘的使用容量是否超过第一预设阈值；当所述使用容量超过所述第一预设阈值时，对所述磁盘进行磁盘清理操作。
在一实施例中，上述的对所述磁盘进行磁盘清理操作，包括：步骤a：扫描所述数据库，根据所述时间戳查找最早存入所述磁盘中带有所述归档标识的原始文件；步骤b：将所述原始文件从所述磁盘中删除，判断当前所述磁盘的使用容量是否低于第二预设阈值；步骤c：当所述使用容量高于或等于所述第二预设阈值时，返回所述步骤a；否则结束所述磁盘清理操作。
在一实施例中，上述的对所述磁盘进行磁盘清理操作，还包括：若删除所有带有所述归档标识的原始文件后，所述磁盘的使用容量仍高于所述第二预设阈值，则触发报警。
本发明实施例还提供一种基于文件内容的分层处理装置，包括：集群连接建立单元，用于将至少一光盘库构成的光盘库集群和磁盘与存储服务器构成的热磁集群之间建立连接；文件写入单元，用于将文件写入所述热磁集群的磁盘中，并在总数据库中记录所述写入操作的时间戳；目标文件迁移单元，用于根据用户输入的操作及所述时间戳从所述磁盘中读取目标文件，并将所述目标文件迁移至所述光盘库集群的光盘库中。
在一实施例中，上述的分层处理装置还包括：读取操作执行单元，用于接收用户输入的信息执行文件读取操作；存储源确定单元，用于根据所述目标文件的文件类型确定所述目标文件的存储源；第一读取单元，用于当所述存储源为所述磁盘时，将所述目标文件从所述磁盘返回读取结果，并预读取一预设时间长度内的文件；第二读取单元，用于当所述存储源为所述光盘库时，将所述目标文件从所述光盘库读取到所述磁盘，从所述磁盘返回读取结果，并预读取一预设时间长度内的文件。
在一实施例中，上述的目标文件迁移单元具体用于：根据所述目标文件的文件类型，调用所述文件类型对应的插件对所述目标文件进行过滤，生成所述目标文件的影子文件，所述影子文件中存储有所述目标文件的元数据及至少部分关键数据；将所述影子文件进行聚合，将聚合后的文件刻录到所述光盘库中，并对所述磁盘中的所述目标文件标记归档标识。
在一实施例中，上述的分层处理装置还包括：使用容量判断单元，用于判断所述磁盘的使用容量是否超过第一预设阈值；磁盘清理单元，用于当所述使用容量超过所述第一预设阈值时，对所述磁盘进行磁盘清理操作。
在一实施例中，上述的磁盘清理单元具体用于执行以下步骤：步骤a：扫描所述数据库，根据所述时间戳查找最早存入所述磁盘中带有所述归档标识的原始文件；步骤b：将所述原始文件从所述磁盘中删除，判断当前所述磁盘的使用容量是否低于第二预设阈值；步骤c：当所述使用容量高于或等于所述第二预设阈值时，返回所述步骤a；否则结束所述磁盘清理操作。
在一实施例中，上述的磁盘清理单元还用于：若删除所有带有所述归档标识的原始文件后，所述磁盘的使用容量仍高于所述第二预设阈值，则触发报警。
本发明实施例的还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被处理器执行时实现如上所述的分层处理方法。
本发明实施例的还提供一种基于文件内容的分层处理设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如上所述的分层处理方法。
本发明技术方案，具有如下优点：可根据用户的需求，将目标文件存储进磁盘或光盘中，从而合理分配文件的存储，采用磁盘和光盘两种介质，作为两层分层存储。磁盘作为热数据存储，并且永久保存数据的元数据信息和一部分关键数据信息。从而可以减少对光盘库的操作，延长光盘库部件的寿命，同时，提供较好的用户体验。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的基于文件内容的分层处理方法的一个具体示例的流程图；
图2为本发明实施例的磁盘清理操作的一个具体示例的流程图；
图3为本发明实施例的文件读取操作的一个具体示例的流程图；
图4为本发明实施例的文件类型存储结构示意图；
图5为本发明实施例的基于文件内容的分层处理装置的一个具体示例的结构示意图；
图6为本发明实施例的基于文件内容的分层处理装置的另一个具体示例的结构示意图；
图7为本发明实施例的基于文件内容的分层处理装置的又一个具体示例的结构示意图；
图8为本发明实施例的基于文件内容的分层处理设备的一个具体示例的结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供一种基于文件内容的分层处理方法，如图1所示，该基于文件内容的分层处理方法主要包括如下步骤：
步骤S11：将至少一光盘库构成的光盘库集群和磁盘与存储服务器构成的热磁集群之间建立连接；
步骤S12：将文件写入热磁集群的磁盘中，并在总数据库中记录写入操作的时间戳；
步骤S13：根据用户输入的操作及时间戳从磁盘中读取目标文件，并将目标文件迁移至光盘库集群的光盘库中。
通过上述步骤S11至步骤S13，本发明实施例的基于文件内容的分层处理方法，可根据用户的需求，将目标文件存储进磁盘或光盘中，从而合理分配文件的存储，采用磁盘和光盘两种介质，作为两层分层存储。磁盘作为热数据存储，并且永久保存数据的元数据信息和一部分关键数据信息。从而可以减少对光盘库的操作，延长光盘库部件的寿命，同时，提供较好的用户体验。
以下结合具体示例，对本发明实施例的基于文件内容的分层处理方法的各个步骤做进一步说明。
上述的步骤S11，将至少一光盘库构成的光盘库集群和磁盘与存储服务器构成的热磁集群之间建立连接。
在本发明实施例中，是要实现采用磁盘和光盘两种介质，对文件进行分层存储，因此，需要先将光盘库集群和热磁集群之间建立连接。其中，由一个或多个光盘库构成一个光盘库集群。一个蓝光机柜构成了蓝光存储集群的一个节点，目前每个蓝光集群节点跟其他节点并没有逻辑上的关系。系统在用蓝光存储备份数据时，会根据一定条件选择合适的蓝光节点。
磁盘作为辅助存储介质。磁盘连同存储服务器组成一个热磁集群。在具体实施时，数据在热磁集群上可按以下策略存放：
(1)定义EC scheme(N,K)，N为总节点数，K为数据节点数；
(2)由N个节点的N个磁盘组成一个EC组；
(3)定义文件块大小M；
(4)按照K和M对用户文件进行分块，每块数据的大小为M，块0和块K将被存放在节点0上，块1和块K+1被存放在节点2上，以此类推；
(5)节点K+1,…,N用于存放EC的校验块。
在实际应用中，可通过以太网建立该光盘库集群和热磁集群的连接，但本发明并不以此为限。
上述步骤S12，将文件写入热磁集群的磁盘中，并在总数据库中记录写入操作的时间戳。
在此步骤中，是将所有写操作的文件都先写到磁盘上，并且，每次写操作都在一个全局数据库上记录时间戳。具体地，可以是根据文件的用户和文件名，选择一个EC组进行存放。
步骤S13，根据用户输入的操作及时间戳从磁盘中读取目标文件，并将目标文件迁移至光盘库集群的光盘库中。
当用户进行操作时，可根据用户输入的操作(例如用户定义的迁移策略，或是选择的目标文件、文件类型等)，定时扫描全局数据库中的时间戳，根据时间戳从磁盘中读取相应的目标文件，并将该目标文件迁移至光盘库中。
具体地，可以是根据用户输入的操作确定目标文件的文件类型，从而读取相应文件类型的目标文件，将其迁移至光盘库中。在本发明实施例中，可根据目标文件的文件类型执行不同的处理方式，例如：目标文件可分为：初始需要访问的数据(I，InitialData)、经常需要访问的数据(标识为C，CriticalData)、不常访问的数据(表示为U，UsualData)。其中，对于数据I和数据C需永久性的记录在磁盘存储上，而数据U则可存储于光盘库中。
针对不同类型的目标文件，可根据其文件类型，调用该文件类型对应的插件(Plugin)对目标文件进行过滤处理，生成该目标文件的影子文件，影子文件中存储有该目标文件的元数据及至少部分关键数据。然后，对影子文件进行压缩加密、聚合，将聚合后的文件刻录到光盘库的光盘中，并对磁盘中的目标文件标记归档标识DAM_Disk。
在实际应用中，还可通过监控磁盘的使用容量实时掌握磁盘的使用情况，并在必要的时候进行相应的磁盘清理操作。具体地，如图2所示，主要包括以下步骤：
步骤S21：判断磁盘的使用容量是否超过第一预设阈值(例如磁盘空间占比的高位警戒线HighWaterMark，如90％)；当使用容量超过该第一预设阈值时，执行以下步骤S22至步骤S24，进行磁盘清理。
步骤S22：扫描数据库，根据时间戳查找最早存入磁盘中带有归档标识DAM_Disk的原始文件；
步骤S23：将带有归档标识DAM_Disk的原始文件从磁盘中删除，并进一步判断当前磁盘的使用容量是否低于第二预设阈值(例如磁盘空间占比的低位警戒线LowWaterMark，如75％)；
步骤S24：当使用容量仍高于或等于该第二预设阈值时，返回步骤S22；当使用容量低于该第二预设阈值时，则可结束磁盘清理操作。
如果删除所有带有归档标识的原始文件后，磁盘的使用容量仍高于所述第二预设阈值，则触发报警，提示管理员扩展磁盘容量。
在一较佳实施例中，还可对目标文件进行读取操作。具体地，如图3所示，文件读取过程主要包括以下步骤：
步骤S31：接收用户输入的信息执行文件读取操作。
当用户需要读取相应文件内容时，将输入相应的操作信息。接收用户输入的信息，开始执行文件读取操作。
步骤S32：根据目标文件的文件类型确定目标文件的存储源。
在此实施例中，该文件类型也可以是上述的数据I、数据C及数据U。在实际应用中，该目标文件可以例如是视频文件，其大部分的使用场景为：1.查询文件的元数据信息，例如拍摄时间等；2.从头开始播放文件；3.跳过特定的一段，继续观看后续的视频。
针对上述使用场景，可以定义数据I为视频文件开始可以播放2分钟的数据，数据C为每隔10分钟间隔的可以播放2分钟的数据，其余为数据U，具体可以表示为如图4所示。其中，数据I和部分数据C保存在磁盘上，部分数据U保存在蓝光光盘。在用户开始播放视频的时候，视频可以立即播放，在数据I部分播放过程中，后台同步的读取光盘库，把数据U取回到磁盘中。这样，当用户播放完毕I后，U部分数据已经准备完毕。视频的播放不会因为U数据的访问延时而收到影响。每隔10分钟保留2分钟的数据在磁盘上，使得用户可以以10分钟的间隔跳过某段视频。
步骤S33：当存储源为磁盘时，将目标文件从磁盘返回读取结果，并预读取一预设时间长度内的文件；当存储源为光盘库时，将目标文件从光盘库读取到磁盘，从磁盘返回读取结果，并预读取一预设时间长度内的文件。
因此，在本发明实施例中，在存储某些特性类型的数据的时候，对数据进行预处理，把重要的，经常需要访问到的少部分数据内容保留在磁盘上，不常用的数据内容存储在光盘库上。从而可达到在大部分应用场景下，不访问光盘库的目的。
本发明实施例的基于文件内容的分层处理方法的主要优点在于：
1.采用磁盘和光盘两种介质，作为两层分层存储。满足不同类型的应用的不同需求，而且可以提供良好的访问性能。数据自动按照冷热进行光磁迁移。
2.热磁存储永久保存数据的元数据信息和一部分关键数据信息。可以满足大部分查询的操作而无需读取光盘。
3.对不同类型的文件进行不同的预处理，区分出同一个文件内的初始数据(IinitialData)，重要数据(CriticalData)和普通数据(UsualData).其中初始数据和重要数据是占比小，完全可以保留在磁盘上。
4.一个EC组为一个Failure Domain，Failure Domain比较小，有利于一旦发生损坏，数据可以迅速恢复。
5.实现了预读的机制，在用户访问数据的同时，预读下一步的数据，使得用户的等待时间大为缩减。
实施例2
本发明实施例提供一种基于文件内容的分层处理装置，如图5所示，该基于文件内容的分层处理装置主要包括：集群连接建立单元501、文件写入单元502及目标文件迁移单元503等。
其中，集群连接建立单元501用于将至少一光盘库构成的光盘库集群和磁盘与存储服务器构成的热磁集群之间建立连接；文件写入单元502用于将文件写入热磁集群的磁盘中，并在总数据库中记录写入操作的时间戳；目标文件迁移单元503用于根据用户输入的操作及时间戳从磁盘中读取目标文件，并将目标文件迁移至光盘库集群的光盘库中。
通过上述各个组成部分之间的协同动作，本发明实施例的基于文件内容的分层处理装置，可根据用户的需求，将目标文件存储进磁盘或光盘中，从而合理分配文件的存储，采用磁盘和光盘两种介质，作为两层分层存储。磁盘作为热数据存储，并且永久保存数据的元数据信息和一部分关键数据信息。从而可以减少对光盘库的操作，延长光盘库部件的寿命，同时，提供较好的用户体验。
以下结合具体示例，对本发明实施例的基于文件内容的分层处理装置的各个组成部分及其功能做进一步说明。
上述的集群连接建立单元501，用于将至少一光盘库构成的光盘库集群和磁盘与存储服务器构成的热磁集群之间建立连接。
在本发明实施例中，是要实现采用磁盘和光盘两种介质，对文件进行分层存储，因此，需要先将光盘库集群和热磁集群之间建立连接。其中，由一个或多个光盘库构成一个光盘库集群。一个蓝光机柜构成了蓝光存储集群的一个节点，目前每个蓝光集群节点跟其他节点并没有逻辑上的关系。系统在用蓝光存储备份数据时，会根据一定条件选择合适的蓝光节点。
磁盘作为辅助存储介质。磁盘连同存储服务器组成一个热磁集群。在具体实施时，数据在热磁集群上可按以下策略存放：
(1)定义EC scheme(N,K)，N为总节点数，K为数据节点数；
(2)由N个节点的N个磁盘组成一个EC组；
(3)定义文件块大小M；
(4)按照K和M对用户文件进行分块，每块数据的大小为M，块0和块K将被存放在节点0上，块1和块K+1被存放在节点2上，以此类推；
(5)节点K+1,…,N用于存放EC的校验块。
在实际应用中，可通过以太网建立该光盘库集群和热磁集群的连接，但本发明并不以此为限。
上述的文件写入单元502，用于将文件写入热磁集群的磁盘中，并在总数据库中记录写入操作的时间戳。
文件写入单元502是将所有写操作的文件都先写到磁盘上，并且，每次写操作都在一个全局数据库上记录时间戳。具体地，可以是根据文件的用户和文件名，选择一个EC组进行存放。
目标文件迁移单元503，用于根据用户输入的操作及时间戳从磁盘中读取目标文件，并将目标文件迁移至光盘库集群的光盘库中。
当用户进行操作时，目标文件迁移单元503可根据用户输入的操作(例如用户定义的迁移策略，或是选择的目标文件、文件类型等)，定时扫描全局数据库中的时间戳，根据时间戳从磁盘中读取相应的目标文件，并将该目标文件迁移至光盘库中。
具体地，可以是根据用户输入的操作确定目标文件的文件类型，从而读取相应文件类型的目标文件，将其迁移至光盘库中。在本发明实施例中，可根据目标文件的文件类型执行不同的处理方式，例如：目标文件可分为：初始需要访问的数据(I，InitialData)、经常需要访问的数据(标识为C，CriticalData)、不常访问的数据(表示为U，UsualData)。其中，对于数据I和数据C需永久性的记录在磁盘存储上，而数据U则可存储于光盘库中。
针对不同类型的目标文件，可根据其文件类型，调用该文件类型对应的插件(Plugin)对目标文件进行过滤处理，生成该目标文件的影子文件，影子文件中存储有该目标文件的元数据及至少部分关键数据。然后，对影子文件进行压缩加密、聚合，将聚合后的文件刻录到光盘库的光盘中，并对磁盘中的目标文件标记归档标识DAM_Disk。
在实际应用中，如图6所示，本发明实施例的基于文件内容的分层处理装置还可通过使用容量判断单元504监控磁盘的使用容量实时掌握磁盘的使用情况，并在必要的时候通过磁盘清理单元505进行相应的磁盘清理操作。具体地，如图2所示，使用容量判断单元504和磁盘清理单元505共同完成以下过程：
使用容量判断单元504执行步骤S21：判断磁盘的使用容量是否超过第一预设阈值(例如磁盘空间占比的高位警戒线HighWaterMark，如90％)；当使用容量超过该第一预设阈值时，由磁盘清理单元505执行以下步骤S22至步骤S24，进行磁盘清理。
步骤S22：扫描数据库，根据时间戳查找最早存入磁盘中带有归档标识DAM_Disk的原始文件；
步骤S23：将带有归档标识DAM_Disk的原始文件从磁盘中删除，并进一步判断当前磁盘的使用容量是否低于第二预设阈值(例如磁盘空间占比的低位警戒线LowWaterMark，如75％)；
步骤S24：当使用容量仍高于或等于该第二预设阈值时，返回步骤S22；当使用容量低于该第二预设阈值时，则可结束磁盘清理操作。
如果删除所有带有归档标识的原始文件后，磁盘的使用容量仍高于所述第二预设阈值，磁盘清理单元505可触发报警，提示管理员扩展磁盘容量。
在一较佳实施例中，如图7所示，本发明实施例的基于文件内容的分层处理装置还包括：读取操作执行单元506、存储源确定单元507、第一读取单元508及第二读取单元509。通过这些组成部件完成对目标文件进行读取操作。
其中，读取操作执行单元506用于接收用户输入的信息执行文件读取操作。
当用户需要读取相应文件内容时，将输入相应的操作信息。接收用户输入的信息，开始执行文件读取操作。
存储源确定单元507用于根据目标文件的文件类型确定目标文件的存储源。
在此实施例中，该文件类型也可以是上述的数据I、数据C及数据U。在实际应用中，该目标文件可以例如是视频文件，其大部分的使用场景为：1.查询文件的元数据信息，例如拍摄时间等；2.从头开始播放文件；3.跳过特定的一段，继续观看后续的视频。
针对上述使用场景，可以定义数据I为视频文件开始可以播放2分钟的数据，数据C为每隔10分钟间隔的可以播放2分钟的数据，其余为数据U，具体可以表示为如图4所示。其中，数据I和部分数据C保存在磁盘上，部分数据U保存在蓝光光盘。在用户开始播放视频的时候，视频可以立即播放，在数据I部分播放过程中，后台同步的读取光盘库，把数据U取回到磁盘中。这样，当用户播放完毕I后，U部分数据已经准备完毕。视频的播放不会因为U数据的访问延时而收到影响。每隔10分钟保留2分钟的数据在磁盘上，使得用户可以以10分钟的间隔跳过某段视频。
第一读取单元508用于当存储源为磁盘时，将目标文件从磁盘返回读取结果，并预读取一预设时间长度内的文件；第二读取单元509用于当存储源为光盘库时，将目标文件从光盘库读取到磁盘，从磁盘返回读取结果，并预读取一预设时间长度内的文件。
因此，在本发明实施例中，在存储某些特性类型的数据的时候，对数据进行预处理，把重要的，经常需要访问到的少部分数据内容保留在磁盘上，不常用的数据内容存储在光盘库上。从而可达到在大部分应用场景下，不访问光盘库的目的。
本发明实施例的基于文件内容的分层处理装置的主要优点在于：
1.采用磁盘和光盘两种介质，作为两层分层存储。满足不同类型的应用的不同需求，而且可以提供良好的访问性能。数据自动按照冷热进行光磁迁移。
2.热磁存储永久保存数据的元数据信息和一部分关键数据信息。可以满足大部分查询的操作而无需读取光盘。
3.对不同类型的文件进行不同的预处理，区分出同一个文件内的初始数据(IinitialData)，重要数据(CriticalData)和普通数据(UsualData).其中初始数据和重要数据是占比小，完全可以保留在磁盘上。
4.一个EC组为一个Failure Domain，Failure Domain比较小，有利于一旦发生损坏，数据可以迅速恢复。
5.实现了预读的机制，在用户访问数据的同时，预读下一步的数据，使得用户的等待时间大为缩减。
实施例3
本发明施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行程序，该计算机可执行程序可执行上述任意方法实施例中的基于文件内容的分层处理方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
实施例4
本发明施例提供一种基于文件内容的分层处理设备，如图8所示，该设备包括一个或多个处理器810以及存储器820，图8中以一个处理器810为例。
处理器810和存储器820可以通过总线或者其他方式连接，图8中以通过总线连接为例。
处理器810可以为中央处理器(Central Processing Unit，CPU)。处理器810还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器820作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的基于文件内容的分层处理方法对应的程序指令/模块(例如，图5所示的集群连接建立单元501、文件写入单元502及目标文件迁移单元503)。处理器810通过运行存储在存储器820中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的基于文件内容的分层处理方法。
存储器820可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据基于文件内容的分层处理装置的使用所创建的数据等。此外，存储器820可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器820可选包括相对于处理器810远程设置的存储器，这些远程存储器可以通过网络连接至列表项操作的处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器820中，当被所述一个或者多个处理器810执行时，执行如上述任意方法实施例所述的方法。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，具体可参见如上述任意方法实施例中的相关描述。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (14)
1.一种基于文件内容的分层处理方法，其特征在于，包括：
将至少一光盘库构成的光盘库集群和磁盘与存储服务器构成的热磁集群之间建立连接；
将文件写入所述热磁集群的磁盘中，并在总数据库中记录所述写入操作的时间戳；
根据用户输入的操作及所述时间戳从所述磁盘中读取目标文件，并将所述目标文件迁移至所述光盘库集群的光盘库中。
2.根据权利要求1所述的基于文件内容的分层处理方法，其特征在于，还包括：
接收用户输入的信息执行文件读取操作；
根据所述目标文件的文件类型确定所述目标文件的存储源；
当所述存储源为所述磁盘时，将所述目标文件从所述磁盘返回读取结果，并预读取一预设时间长度内的文件；
当所述存储源为所述光盘库时，将所述目标文件从所述光盘库读取到所述磁盘，从所述磁盘返回读取结果，并预读取一预设时间长度内的文件。
3.根据权利要求1所述的基于文件内容的分层处理方法，其特征在于，将所述目标文件迁移至所述光盘库集群的光盘库中，包括：
根据所述目标文件的文件类型，调用所述文件类型对应的插件对所述目标文件进行过滤，生成所述目标文件的影子文件，所述影子文件中存储有所述目标文件的元数据及至少部分关键数据；
将所述影子文件进行聚合，将聚合后的文件刻录到所述光盘库中，并对所述磁盘中的所述目标文件标记归档标识。
4.根据权利要求3所述的基于文件内容的分层处理方法，其特征在于，还包括：
判断所述磁盘的使用容量是否超过第一预设阈值；
当所述使用容量超过所述第一预设阈值时，对所述磁盘进行磁盘清理操作。
5.根据权利要求4所述的基于文件内容的分层处理方法，其特征在于，对所述磁盘进行磁盘清理操作，包括：
步骤a：扫描所述数据库，根据所述时间戳查找最早存入所述磁盘中带有所述归档标识的原始文件；
步骤b：将所述原始文件从所述磁盘中删除，判断当前所述磁盘的使用容量是否低于第二预设阈值；
步骤c：当所述使用容量高于或等于所述第二预设阈值时，返回所述步骤a；否则结束所述磁盘清理操作。
6.根据权利要求5所述的基于文件内容的分层处理方法，其特征在于，对所述磁盘进行磁盘清理操作，还包括：
若删除所有带有所述归档标识的原始文件后，所述磁盘的使用容量仍高于所述第二预设阈值，则触发报警。
7.一种基于文件内容的分层处理装置，其特征在于，包括：
集群连接建立单元，用于将至少一光盘库构成的光盘库集群和磁盘与存储服务器构成的热磁集群之间建立连接；
文件写入单元，用于将文件写入所述热磁集群的磁盘中，并在总数据库中记录所述写入操作的时间戳；
目标文件迁移单元，用于根据用户输入的操作及所述时间戳从所述磁盘中读取目标文件，并将所述目标文件迁移至所述光盘库集群的光盘库中。
8.根据权利要求7所述的基于文件内容的分层处理装置，其特征在于，还包括：
读取操作执行单元，用于接收用户输入的信息执行文件读取操作；
存储源确定单元，用于根据所述目标文件的文件类型确定所述目标文件的存储源；
第一读取单元，用于当所述存储源为所述磁盘时，将所述目标文件从所述磁盘返回读取结果，并预读取一预设时间长度内的文件；
第二读取单元，用于当所述存储源为所述光盘库时，将所述目标文件从所述光盘库读取到所述磁盘，从所述磁盘返回读取结果，并预读取一预设时间长度内的文件。
9.根据权利要求7所述的基于文件内容的分层处理装置，其特征在于，所述目标文件迁移单元具体用于：
根据所述目标文件的文件类型，调用所述文件类型对应的插件对所述目标文件进行过滤，生成所述目标文件的影子文件，所述影子文件中存储有所述目标文件的元数据及至少部分关键数据；
将所述影子文件进行聚合，将聚合后的文件刻录到所述光盘库中，并对所述磁盘中的所述目标文件标记归档标识。
10.根据权利要求9所述的基于文件内容的分层处理装置，其特征在于，还包括：
使用容量判断单元，用于判断所述磁盘的使用容量是否超过第一预设阈值；
磁盘清理单元，用于当所述使用容量超过所述第一预设阈值时，对所述磁盘进行磁盘清理操作。
11.根据权利要求10所述的基于文件内容的分层处理装置，其特征在于，所述磁盘清理单元具体用于执行以下步骤：
步骤a：扫描所述数据库，根据所述时间戳查找最早存入所述磁盘中带有所述归档标识的原始文件；
步骤b：将所述原始文件从所述磁盘中删除，判断当前所述磁盘的使用容量是否低于第二预设阈值；
步骤c：当所述使用容量高于或等于所述第二预设阈值时，返回所述步骤a；否则结束所述磁盘清理操作。
12.根据权利要求11所述的基于文件内容的分层处理装置，其特征在于，所述磁盘清理单元还用于：
若删除所有带有所述归档标识的原始文件后，所述磁盘的使用容量仍高于所述第二预设阈值，则触发报警。
13.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被处理器执行时实现如权利要求1-6任一项所述的分层处理方法。
14.一种基于文件内容的分层处理设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-6中任一项所述的分层处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710821686.4A CN109491589A (zh) | 2017-09-13 | 2017-09-13 | 一种基于文件内容的分层处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710821686.4A CN109491589A (zh) | 2017-09-13 | 2017-09-13 | 一种基于文件内容的分层处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109491589A true CN109491589A (zh) | 2019-03-19 |
Family
ID=65687279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710821686.4A Pending CN109491589A (zh) | 2017-09-13 | 2017-09-13 | 一种基于文件内容的分层处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109491589A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111158609A (zh) * | 2019-12-31 | 2020-05-15 | 广州鼎甲计算机科技有限公司 | 数据存储方法、装置、计算机设备和存储介质 |
| CN111459412A (zh) * | 2020-03-30 | 2020-07-28 | 北京百度网讯科技有限公司 | 磁盘管理方法、装置以及电子设备 |
| CN112559444A (zh) * | 2019-09-25 | 2021-03-26 | 北京国双科技有限公司 | Sql文件迁移方法、装置、存储介质及设备 |
| CN112559249A (zh) * | 2020-12-23 | 2021-03-26 | 华录光存储研究院（大连）有限公司 | 一种文件恢复方法、装置及文件存储集群 |
| CN113157206A (zh) * | 2021-03-19 | 2021-07-23 | 广东奥飞数据科技股份有限公司 | 一种新型磁光融合存储系统及方法 |
| CN113238646A (zh) * | 2021-04-20 | 2021-08-10 | 北京易华录信息技术股份有限公司 | 一种光存储集群的节能存储方法及装置 |
| CN113268475A (zh) * | 2021-06-01 | 2021-08-17 | 广州欢网科技有限责任公司 | 一种clickhouse数据库自清除方法 |
| CN114924696A (zh) * | 2022-07-18 | 2022-08-19 | 上海有孚数迅科技有限公司 | 用于存储管理的方法、设备、介质及程序产品 |
| CN112559249B (zh) * | 2020-12-23 | 2024-07-16 | 华录光存储研究院（大连）有限公司 | 一种文件恢复方法、装置及文件存储集群 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100199035A1 (en) * | 2009-01-30 | 2010-08-05 | Hitachi, Ltd. | File server and file management method |
| CN101963890A (zh) * | 2009-07-21 | 2011-02-02 | 日立民用电子株式会社 | 记录再现装置 |
| CN102789456A (zh) * | 2011-05-17 | 2012-11-21 | 宏碁股份有限公司 | 清除磁盘冗余文件的方法 |
| CN103034567A (zh) * | 2012-12-06 | 2013-04-10 | 华为技术有限公司 | 发现并修复损坏数据的装置和方法 |
| CN104850358A (zh) * | 2015-05-26 | 2015-08-19 | 华中科技大学 | 一种磁光电混合存储系统及其数据获取和存储方法 |
| US20160085696A1 (en) * | 2014-09-24 | 2016-03-24 | International Business Machines Corporation | Using access information to determine a storage tier for storing data |
| CN105843879A (zh) * | 2016-03-21 | 2016-08-10 | 刘春阳 | 基于光盘的异构类型数据库存储系统及利用该系统的方法 |
| CN106202414A (zh) * | 2016-07-12 | 2016-12-07 | 武汉光忆科技有限公司 | 一种基于大容量光盘库的文件系统及文件存储方法和系统 |
| CN106547474A (zh) * | 2015-09-22 | 2017-03-29 | 辛力彬 | 一种箱式混合存储数据中心 |
| CN106648961A (zh) * | 2016-09-27 | 2017-05-10 | 上海爱数信息技术股份有限公司 | 一种一体化蓝光光盘库备份归档方法 |
| CN106649467A (zh) * | 2016-09-27 | 2017-05-10 | 上海爱数信息技术股份有限公司 | 一种蓝光光盘库归档管理方法及系统 |
| CN106716334A (zh) * | 2014-09-15 | 2017-05-24 | 微软技术许可有限责任公司 | 文件系统卷内的高效数据移动 |
-
2017
- 2017-09-13 CN CN201710821686.4A patent/CN109491589A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100199035A1 (en) * | 2009-01-30 | 2010-08-05 | Hitachi, Ltd. | File server and file management method |
| CN101963890A (zh) * | 2009-07-21 | 2011-02-02 | 日立民用电子株式会社 | 记录再现装置 |
| CN102789456A (zh) * | 2011-05-17 | 2012-11-21 | 宏碁股份有限公司 | 清除磁盘冗余文件的方法 |
| CN103034567A (zh) * | 2012-12-06 | 2013-04-10 | 华为技术有限公司 | 发现并修复损坏数据的装置和方法 |
| CN106716334A (zh) * | 2014-09-15 | 2017-05-24 | 微软技术许可有限责任公司 | 文件系统卷内的高效数据移动 |
| US20160085696A1 (en) * | 2014-09-24 | 2016-03-24 | International Business Machines Corporation | Using access information to determine a storage tier for storing data |
| CN104850358A (zh) * | 2015-05-26 | 2015-08-19 | 华中科技大学 | 一种磁光电混合存储系统及其数据获取和存储方法 |
| CN106547474A (zh) * | 2015-09-22 | 2017-03-29 | 辛力彬 | 一种箱式混合存储数据中心 |
| CN105843879A (zh) * | 2016-03-21 | 2016-08-10 | 刘春阳 | 基于光盘的异构类型数据库存储系统及利用该系统的方法 |
| CN106202414A (zh) * | 2016-07-12 | 2016-12-07 | 武汉光忆科技有限公司 | 一种基于大容量光盘库的文件系统及文件存储方法和系统 |
| CN106648961A (zh) * | 2016-09-27 | 2017-05-10 | 上海爱数信息技术股份有限公司 | 一种一体化蓝光光盘库备份归档方法 |
| CN106649467A (zh) * | 2016-09-27 | 2017-05-10 | 上海爱数信息技术股份有限公司 | 一种蓝光光盘库归档管理方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 曾卫进: ""基于HDFS的分级存储功能设计与实现"", 《万方数据知识服务平台》 * |
| 魏南琛: ""面向光盘库的HDFS文件系统应用研究与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112559444A (zh) * | 2019-09-25 | 2021-03-26 | 北京国双科技有限公司 | Sql文件迁移方法、装置、存储介质及设备 |
| CN111158609A (zh) * | 2019-12-31 | 2020-05-15 | 广州鼎甲计算机科技有限公司 | 数据存储方法、装置、计算机设备和存储介质 |
| CN111459412A (zh) * | 2020-03-30 | 2020-07-28 | 北京百度网讯科技有限公司 | 磁盘管理方法、装置以及电子设备 |
| US11681444B2 (en) | 2020-03-30 | 2023-06-20 | Beijing Baidu Netcom Science Technology Co., Ltd. | Shingled magnetic disk management method for data isolation by space files, apparatus, and electronic device |
| CN111459412B (zh) * | 2020-03-30 | 2023-07-04 | 北京百度网讯科技有限公司 | 磁盘管理方法、装置以及电子设备 |
| CN112559249A (zh) * | 2020-12-23 | 2021-03-26 | 华录光存储研究院（大连）有限公司 | 一种文件恢复方法、装置及文件存储集群 |
| CN112559249B (zh) * | 2020-12-23 | 2024-07-16 | 华录光存储研究院（大连）有限公司 | 一种文件恢复方法、装置及文件存储集群 |
| CN113157206A (zh) * | 2021-03-19 | 2021-07-23 | 广东奥飞数据科技股份有限公司 | 一种新型磁光融合存储系统及方法 |
| CN113238646A (zh) * | 2021-04-20 | 2021-08-10 | 北京易华录信息技术股份有限公司 | 一种光存储集群的节能存储方法及装置 |
| CN113238646B (zh) * | 2021-04-20 | 2024-04-09 | 北京易华录信息技术股份有限公司 | 一种光存储集群的节能存储方法及装置 |
| CN113268475A (zh) * | 2021-06-01 | 2021-08-17 | 广州欢网科技有限责任公司 | 一种clickhouse数据库自清除方法 |
| CN114924696A (zh) * | 2022-07-18 | 2022-08-19 | 上海有孚数迅科技有限公司 | 用于存储管理的方法、设备、介质及程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109491589A (zh) | 一种基于文件内容的分层处理方法及装置 | |
| CN105549905B (zh) | 一种多虚拟机访问分布式对象存储系统的方法 | |
| CN104301360B (zh) | 一种日志数据记录的方法、日志服务器及系统 | |
| CN104850358B (zh) | 一种磁光电混合存储系统及其数据获取和存储方法 | |
| US20150074065A1 (en) | Data Access in a Storage Infrastructure | |
| CN106202414B (zh) | 一种基于大容量光盘库的文件系统及文件存储方法和系统 | |
| CN108647151A (zh) | 一种全闪系统元数据落盘方法、装置、设备及存储介质 | |
| CN103024329B (zh) | 一种监控录像的存储管理方法 | |
| CN103226965B (zh) | 基于时间位图的音视频数据存取方法 | |
| CN103631940A (zh) | 一种应用于hbase数据库的数据写入方法及系统 | |
| CN100524237C (zh) | 计算机硬盘数据连续时间点存储与恢复的方法 | |
| CN103270499B (zh) | 日志存储方法及系统 | |
| CN102215268A (zh) | 一种迁移文件数据的方法和装置 | |
| CN104408111A (zh) | 一种删除重复数据的方法及装置 | |
| CN103037004A (zh) | 云存储系统操作的实现方法和装置 | |
| CN106354805A (zh) | 一种分布式存储系统NoSQL搜索缓存的优化方法和系统 | |
| CN106649467A (zh) | 一种蓝光光盘库归档管理方法及系统 | |
| CN107704203A (zh) | 聚合大文件的删除方法、装置、设备及计算机存储介质 | |
| CN105955845A (zh) | 一种数据恢复方法及装置 | |
| CN102541986A (zh) | 一种文件操作监控审计方法 | |
| CN104035925A (zh) | 数据存储方法、装置和存储系统 | |
| CN107168651A (zh) | 一种小文件聚合存储处理方法 | |
| CN105005517B (zh) | 呼叫中心录音文件的存储备份系统及方法 | |
| CN110287152A (zh) | 一种数据管理的方法以及相关装置 | |
| CN104079600B (zh) | 文件存储方法、装置、访问客户端及元数据服务器系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190319 |