CN111125047A - 冷热数据目录识别方法及装置 - Google Patents
冷热数据目录识别方法及装置 Download PDFInfo
- Publication number
- CN111125047A CN111125047A CN201911241482.9A CN201911241482A CN111125047A CN 111125047 A CN111125047 A CN 111125047A CN 201911241482 A CN201911241482 A CN 201911241482A CN 111125047 A CN111125047 A CN 111125047A
- Authority
- CN
- China
- Prior art keywords
- directory
- leaf
- cold
- data
- life cycle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 13
- 238000007726 management method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种冷热数据目录识别方法及装置，该方法包括：创建目录并标记为叶子目录，初始化生命周期；对目录和进行文件写操作，当目录、文件所在目录不为叶子目录时标记为叶子目录，更新生命周期；监控叶子目录的生命周期，在当前时间距离叶子目录的生命周期的时长小于预设值时创建影子目录；对目录进行读取操作，当目录为叶子目录时更新生命周期，若否，更新该目录下所有叶子目录的生命周期；基于热数据读取方式进行读取操作，更新该叶子目录的生命周期；基于冷数据的读取方式进行读取操作，当叶子目录中的数据格式符合冷数据所需格式时从该叶子目录中读取，更新其生命周期，若否，从影子目录内读取。由于该方案可准确识别冷热数据。
Description
技术领域
本发明涉及目录识别技术领域，特别涉及一种冷热数据目录识别方法及装置。
背景技术
HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)中，数据有多种存储格式，如文本文件、列式存储文件、序列文件、压缩文件等，不同文件的数据存储容量、扫描效率、计算并发度(受文件数量、文件是否可切分影响)等都不一样。为了提升中台的性能，需要为冷热数据(冷热数据是数据库领域的概念，又称之为数据温度。通常热数据是指近期被更新或访问的数据，与之相对应的冷数据是指较长时间未被更新或访问的数据)设置不同的存储结构。
在高频使用阶段(对应的是热数据)，数据使用诸如CSV、Json、Orc等文件格式存储，在实时或准实时分析场景下，甚至不对小文件进行合并，以求最高的计算并发度。在常规离线分析场景下，对文件进行适当的合并与格式转换，确保计算时能最大化利用集群资源。在数据归档或大型算法模块做数据挖掘分析的阶段，数据可使用诸如gzip、lzo、snappy等格式进行压缩存储(对应的是冷数据)。
现有的方案有以下不足之处：无法准确判断某个目录下的文件处于冷还是热的阶段。
发明内容
本发明实施例提供了一种冷热数据目录识别方法及装置，解决了现有技术中无法准确识别冷热数据的技术问题。
本发明实施例提供了一种冷热数据目录识别方法，该方法包括：
创建目录，并标记目录是否为可直接存储数据的叶子目录，初始化目录的生命周期，所述生命周期为目录由热转冷的时间点；
当对目录进行写操作时，校验所述目录是否为叶子目录，若否，则将目录标记为叶子目录；当对文件进行写操作时，校验写入文件所在目录是否为叶子目录，若否，则将写入文件所在目录标记为叶子目录；在目录被写入后，更新该目录的生命周期；
对叶子目录的生命周期进行监控，在当前时间距离叶子目录由热转冷的时间点的时长小于第一预设值时，创建影子目录，将叶子目录中的文件格式转换成冷数据所需格式后存入影子目录中；当对目录进行读取操作时，校验所述目录是否为叶子目录，若是，则更新该目录的生命周期，若否，则更新该目录下所有叶子目录的生命周期；基于热数据读取方式对叶子目录下的数据进行读取操作，更新该叶子目录的生命周期；基于冷数据的读取方式对叶子目录下的数据进行读取操作，判断叶子目录中的数据格式是否符合冷数据所需格式，若是，则从该叶子目录中读取，更新该叶子目录的生命周期，若否，则从影子目录内读取。
本发明实施例还提供了一种冷热数据目录识别装置，该装置包括：目录创建模块、写操作模块和读操作模块；
所述目录创建模块包括目录创建单元和第一生命周期管理单元：
其中，所述目录创建单元用于：创建目录，并标记目录是否为可直接存储数据的叶子目录；
所述第一生命周期管理单元用于：初始化目录的生命周期，所述生命周期为目录由热转冷的时间点；
所述写操作模块包括目录写操作单元、文件写操作单元、第二生命周期管理单元：
其中，所述目录写操作单元用于：当对目录进行写操作时，校验所述目录是否为叶子目录，若否，则将目录标记为叶子目录；
所述文件写操作单元用于：当对文件进行写操作时，校验写入文件所在目录是否为叶子目录，若否，则将写入文件所在目录标记为叶子目录；
所述第二生命周期管理单元用于：在目录被写入后，更新该目录的生命周期；
所述读操作模块包括影子目录管理单元、热数据读单元、冷数据读单元、第三生命周期管理单元：
其中，所述影子目录管理单元用于：对叶子目录的生命周期进行监控，在当前时间距离叶子目录由热转冷的时间点的时长小于第一预设值时，创建影子目录，将叶子目录中的文件格式转换成冷数据所需格式后存入影子目录中；
所述热数据读单元用于：基于热数据读取方式对叶子目录下的数据进行读取操作；
所述冷数据读单元用于：基于冷数据的读取方式对叶子目录下的数据进行读取操作，判断叶子目录中的数据格式是否符合冷数据所需格式，若是，则从该叶子目录中读取，若否，则从影子目录内读取；
所述第三生命周期管理单元用于：基于热数据的读取方式读取叶子目录后更新该叶子目录的生命周期；基于冷数据的读取方式读取叶子目录后，更新该叶子目录的生命周期。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。
在本发明实施例中，创建目录，并标记目录是否为可直接存储数据的叶子目录，初始化目录的生命周期；基于目录及其生命周期，根据对目录、文件进行写操作、读取操作的情况动态调整相应的生命周期，这样就可以准确识别冷热数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种冷热数据目录识别方法流程图；
图2是本发明实施例提供的一种冷热数据目录识别装置结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中，提供了一种冷热数据目录识别方法，如图1所示，该方法包括：
S1：创建目录，并标记目录是否为可直接存储数据的叶子目录，初始化目录的生命周期，所述生命周期为目录由热转冷的时间点(该时间点可预配置，如30天后)；
S2：当对目录进行overwrite、append、repartition(覆盖、判断追加、重新分区)等方式的写操作时，校验所述目录是否为叶子目录，若否，则将目录标记为叶子目录；当对文件进行overwrite、append等方式的写操作时，校验写入文件所在目录是否为叶子目录，若否，则将写入文件所在目录标记为叶子目录；在目录被写入后，更新该目录的生命周期；
S3：对叶子目录的生命周期进行监控，在当前时间距离叶子目录由热转冷的时间点的时长小于第一预设值(可提前配置，如5天)时，创建影子目录，将叶子目录中的文件格式转换成冷数据所需格式(比如将csv转为gzip，orc转为lzo等)后存入影子目录中；当对目录进行读取操作时，校验所述目录是否为叶子目录，若是，则更新该目录的生命周期，若否，则更新该目录下所有叶子目录的生命周期；基于热数据读取方式对叶子目录下的数据进行读取操作，更新该叶子目录的生命周期；基于冷数据的读取方式对叶子目录下的数据进行读取操作，判断叶子目录中的数据格式是否符合冷数据所需格式，若是，则从该叶子目录中读取，更新该叶子目录的生命周期，若否，则从影子目录内读取。
在本发明实施例中，还包括：将影子目录对应的叶子目录删除，将影子目录作为新的叶子目录保存。或，将影子目录对应的叶子目录的目录名修改为临时目录名，将影子目录的目录名修改为正式数据目录名。其前提条件是叶子目录被判定为处于冷数据阶段。
在本发明实施例中，在目录被写入后，更新该目录的生命周期，包括：
在目录被写入后，将该目录由热转冷的时间点向后顺沿第二预设值，且顺沿第二预设值后，由热转冷的时间点距离当前时刻的总时长不超过第五预设值。其中，第二预设值比如为1天，第五预设值比如为60天等，第二预设值、第五预设值可提前配置。
在本发明实施例中，基于热数据读取方式对叶子目录下的数据进行读取操作，更新该叶子目录的生命周期，包括：
将该叶子目录由热转冷的时间点向后顺沿第三预设值，且顺沿第三预设值后，由热转冷的时间点距离当前时刻的总时长不超过第五预设值。其中，第三预设值比如为1天，第五预设值比如为60天等，第三预设值、第五预设值可提前配置。
在本发明实施例中，若是，则从该叶子目录中读取，更新该叶子目录的生命周期，包括：
将该叶子目录由热转冷的时间点向前逆推第四预设值。第四预设值比如为1天，可提前配置。
基于同一发明构思，本发明实施例中还提供了一种冷热数据目录识别装置，如下面的实施例所述。由于冷热数据目录识别装置解决问题的原理与冷热数据目录识别方法相似，因此冷热数据目录识别装置的实施可以参见冷热数据目录识别方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图2是本发明实施例的冷热数据目录识别装置的结构框图，如图2所示，包括：目录创建模块02、写操作模块04和读操作模块06；
所述目录创建模块02包括目录创建单元021和第一生命周期管理单元022：
其中，所述目录创建单元021用于：创建目录，并标记目录是否为可直接存储数据的叶子目录；
所述第一生命周期管理单元022用于：初始化目录的生命周期，所述生命周期为目录由热转冷的时间点；
所述写操作模块04包括目录写操作单元041、文件写操作单元042、第二生命周期管理单元043：
其中，所述目录写操作单元041用于：当对目录进行写操作时，校验所述目录是否为叶子目录，若否，则将目录标记为叶子目录；
所述文件写操作单元042用于：当对文件进行写操作时，校验写入文件所在目录是否为叶子目录，若否，则将写入文件所在目录标记为叶子目录；
所述第二生命周期管理单元043用于：在目录被写入后，更新该目录的生命周期；
所述读操作模块06包括影子目录管理单元061、热数据读单元062、冷数据读单元063、第三生命周期管理单元064：
其中，所述影子目录管理单元061用于：对叶子目录的生命周期进行监控，在当前时间距离叶子目录由热转冷的时间点的时长小于第一预设值时，创建影子目录，将叶子目录中的文件格式转换成冷数据所需格式后存入影子目录中；
所述热数据读单元062用于：基于热数据读取方式对叶子目录下的数据进行读取操作；
所述冷数据读单元063用于：基于冷数据的读取方式对叶子目录下的数据进行读取操作，判断叶子目录中的数据格式是否符合冷数据所需格式，若是，则从该叶子目录中读取，若否，则从影子目录内读取；
所述第三生命周期管理单元064用于：基于热数据的读取方式读取叶子目录后更新该叶子目录的生命周期；基于冷数据的读取方式读取叶子目录后，更新该叶子目录的生命周期。
在本发明实施例中，所述影子目录管理单元061还用于：将影子目录对应的叶子目录删除，将影子目录作为新的叶子目录保存。
在本发明实施例中，所述影子目录管理单元061还用于：将影子目录对应的叶子目录的目录名修改为临时目录名，将影子目录的目录名修改为正式数据目录名。
在本发明实施例中，所述第二生命周期管理单元043具体用于：
在目录被写入后，将该目录由热转冷的时间点向后顺沿第二预设值；
所述第三生命周期管理单元064具体用于：
基于热数据的读取方式读取叶子目录后，将该叶子目录由热转冷的时间点向后顺沿第三预设值；
基于冷数据的读取方式读取叶子目录后，将该叶子目录由热转冷的时间点向前逆推第四预设值。
在本发明实施例中，顺沿第二预设值和/或顺沿第三预设值后，由热转冷的时间点距离当前时刻的总时长不超过第五预设值。
通过改造数据中台的数据读写逻辑，确保所有数据清洗、统计、分析、查询、北向导出的接口均通过调用上述的几个模块来实现。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。
综上所述，本发明提出的冷热数据目录识别方法及装置通过创建目录，并标记目录是否为可直接存储数据的叶子目录，初始化目录的生命周期；基于目录及其生命周期，根据对目录、文件进行写操作、读取操作的情况动态调整相应的生命周期，这样就可以准确识别冷热数据。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种冷热数据目录识别方法，其特征在于，包括：
创建目录，并标记目录是否为可直接存储数据的叶子目录，初始化目录的生命周期，所述生命周期为目录由热转冷的时间点；
当对目录进行写操作时，校验所述目录是否为叶子目录，若否，则将目录标记为叶子目录；当对文件进行写操作时，校验写入文件所在目录是否为叶子目录，若否，则将写入文件所在目录标记为叶子目录；在目录被写入后，更新该目录的生命周期；
对叶子目录的生命周期进行监控，在当前时间距离叶子目录由热转冷的时间点的时长小于第一预设值时，创建影子目录，将叶子目录中的文件格式转换成冷数据所需格式后存入影子目录中；当对目录进行读取操作时，校验所述目录是否为叶子目录，若是，则更新该目录的生命周期，若否，则更新该目录下所有叶子目录的生命周期；基于热数据读取方式对叶子目录下的数据进行读取操作，更新该叶子目录的生命周期；基于冷数据的读取方式对叶子目录下的数据进行读取操作，判断叶子目录中的数据格式是否符合冷数据所需格式，若是，则从该叶子目录中读取，更新该叶子目录的生命周期，若否，则从影子目录内读取。
2.如权利要求1所述的冷热数据目录识别方法，其特征在于，还包括：将影子目录对应的叶子目录删除，将影子目录作为新的叶子目录保存。
3.如权利要求1所述的冷热数据目录识别方法，其特征在于，还包括：将影子目录对应的叶子目录的目录名修改为临时目录名，将影子目录的目录名修改为正式数据目录名。
4.如权利要求1所述的冷热数据目录识别方法，其特征在于，在目录被写入后，更新该目录的生命周期，包括：
在目录被写入后，将该目录由热转冷的时间点向后顺沿第二预设值；
基于热数据读取方式对叶子目录下的数据进行读取操作，更新该叶子目录的生命周期，包括：
将该叶子目录由热转冷的时间点向后顺沿第三预设值；
若是，则从该叶子目录中读取，更新该叶子目录的生命周期，包括：
将该叶子目录由热转冷的时间点向前逆推第四预设值。
5.如权利要求1所述的冷热数据目录识别方法，其特征在于，还包括：
顺沿第二预设值和/或顺沿第三预设值后，由热转冷的时间点距离当前时刻的总时长不超过第五预设值。
6.一种冷热数据目录识别装置，其特征在于，包括：目录创建模块、写操作模块和读操作模块；
所述目录创建模块包括目录创建单元和第一生命周期管理单元：
其中，所述目录创建单元用于：创建目录，并标记目录是否为可直接存储数据的叶子目录；
所述第一生命周期管理单元用于：初始化目录的生命周期，所述生命周期为目录由热转冷的时间点；
所述写操作模块包括目录写操作单元、文件写操作单元、第二生命周期管理单元：
其中，所述目录写操作单元用于：当对目录进行写操作时，校验所述目录是否为叶子目录，若否，则将目录标记为叶子目录；
所述文件写操作单元用于：当对文件进行写操作时，校验写入文件所在目录是否为叶子目录，若否，则将写入文件所在目录标记为叶子目录；
所述第二生命周期管理单元用于：在目录被写入后，更新该目录的生命周期；
所述读操作模块包括影子目录管理单元、热数据读单元、冷数据读单元、第三生命周期管理单元：
其中，所述影子目录管理单元用于：对叶子目录的生命周期进行监控，在当前时间距离叶子目录由热转冷的时间点的时长小于第一预设值时，创建影子目录，将叶子目录中的文件格式转换成冷数据所需格式后存入影子目录中；
所述热数据读单元用于：基于热数据读取方式对叶子目录下的数据进行读取操作；
所述冷数据读单元用于：基于冷数据的读取方式对叶子目录下的数据进行读取操作，判断叶子目录中的数据格式是否符合冷数据所需格式，若是，则从该叶子目录中读取，若否，则从影子目录内读取；
所述第三生命周期管理单元用于：基于热数据的读取方式读取叶子目录后更新该叶子目录的生命周期；基于冷数据的读取方式读取叶子目录后，更新该叶子目录的生命周期。
7.如权利要求6所述的冷热数据目录识别装置，其特征在于，所述影子目录管理单元还用于：将影子目录对应的叶子目录删除，将影子目录作为新的叶子目录保存。
8.如权利要求6所述的冷热数据目录识别装置，其特征在于，所述影子目录管理单元还用于：将影子目录对应的叶子目录的目录名修改为临时目录名，将影子目录的目录名修改为正式数据目录名。
9.如权利要求6所述的冷热数据目录识别装置，其特征在于，所述第二生命周期管理单元具体用于：
在目录被写入后，将该目录由热转冷的时间点向后顺沿第二预设值；
所述第三生命周期管理单元具体用于：
基于热数据的读取方式读取叶子目录后，将该叶子目录由热转冷的时间点向后顺沿第三预设值；
基于冷数据的读取方式读取叶子目录后，将该叶子目录由热转冷的时间点向前逆推第四预设值。
10.如权利要求6所述的冷热数据目录识别装置，其特征在于，顺沿第二预设值和/或顺沿第三预设值后，由热转冷的时间点距离当前时刻的总时长不超过第五预设值。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至5任一项所述方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911241482.9A CN111125047B (zh) | 2019-12-06 | 2019-12-06 | 冷热数据目录识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911241482.9A CN111125047B (zh) | 2019-12-06 | 2019-12-06 | 冷热数据目录识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111125047A true CN111125047A (zh) | 2020-05-08 |
| CN111125047B CN111125047B (zh) | 2024-03-12 |
Family
ID=70497637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911241482.9A Active CN111125047B (zh) | 2019-12-06 | 2019-12-06 | 冷热数据目录识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111125047B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023226797A1 (zh) * | 2022-05-27 | 2023-11-30 | 深圳大普微电子科技有限公司 | 数据压缩方法及闪存设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060242381A1 (en) * | 2005-04-22 | 2006-10-26 | Shatskih Maxim S | Systems, methods, and computer readable media for computer data protection |
| JP2009217707A (ja) * | 2008-03-12 | 2009-09-24 | Omron Corp | Ｆａ機器並びにファイルアクセスシステム |
| CN103778148A (zh) * | 2012-10-23 | 2014-05-07 | 阿里巴巴集团控股有限公司 | Hadoop分布式文件系统数据文件的生命周期管理方法和设备 |
| WO2015117426A1 (zh) * | 2014-07-24 | 2015-08-13 | 中兴通讯股份有限公司 | 文件管理方法及装置 |
| CN107193500A (zh) * | 2017-05-26 | 2017-09-22 | 郑州云海信息技术有限公司 | 一种分布式文件系统分层存储方法及系统 |
| CN108063780A (zh) * | 2016-11-08 | 2018-05-22 | 中国电信股份有限公司 | 用于动态复制数据的方法和系统 |
| CN109683808A (zh) * | 2018-11-05 | 2019-04-26 | 北京盛和大地数据科技有限公司 | 基于用户行为模式的自适应数据刻录控制方法及装置 |
| CN109815219A (zh) * | 2019-02-18 | 2019-05-28 | 国家计算机网络与信息安全管理中心 | 支持多数据库引擎的数据生命周期管理的实现方法 |
-
2019
- 2019-12-06 CN CN201911241482.9A patent/CN111125047B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060242381A1 (en) * | 2005-04-22 | 2006-10-26 | Shatskih Maxim S | Systems, methods, and computer readable media for computer data protection |
| JP2009217707A (ja) * | 2008-03-12 | 2009-09-24 | Omron Corp | Ｆａ機器並びにファイルアクセスシステム |
| CN103778148A (zh) * | 2012-10-23 | 2014-05-07 | 阿里巴巴集团控股有限公司 | Hadoop分布式文件系统数据文件的生命周期管理方法和设备 |
| WO2015117426A1 (zh) * | 2014-07-24 | 2015-08-13 | 中兴通讯股份有限公司 | 文件管理方法及装置 |
| CN108063780A (zh) * | 2016-11-08 | 2018-05-22 | 中国电信股份有限公司 | 用于动态复制数据的方法和系统 |
| CN107193500A (zh) * | 2017-05-26 | 2017-09-22 | 郑州云海信息技术有限公司 | 一种分布式文件系统分层存储方法及系统 |
| CN109683808A (zh) * | 2018-11-05 | 2019-04-26 | 北京盛和大地数据科技有限公司 | 基于用户行为模式的自适应数据刻录控制方法及装置 |
| CN109815219A (zh) * | 2019-02-18 | 2019-05-28 | 国家计算机网络与信息安全管理中心 | 支持多数据库引擎的数据生命周期管理的实现方法 |
Non-Patent Citations (2)
| Title |
|---|
| 严巍巍;何连跃;李三霞;成颖佼;: "SMDFS分布式海量小文件系统的大空间聚合存储技术", 计算机研究与发展 * |
| 王海波;: "一种改进型的B+树在文件管理中的应用", 中国西部科技 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023226797A1 (zh) * | 2022-05-27 | 2023-11-30 | 深圳大普微电子科技有限公司 | 数据压缩方法及闪存设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111125047B (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107832406B (zh) | 海量日志数据的去重入库方法、装置、设备及存储介质 | |
| CN106649828B (zh) | 一种数据查询方法及系统 | |
| US10146633B2 (en) | Data recovery from multiple data backup technologies | |
| CN104423960A (zh) | 一种项目持续集成的方法及系统 | |
| CN110727724B (zh) | 数据抽取方法、装置、计算机设备和存储介质 | |
| CN107665219B (zh) | 一种日志管理方法及装置 | |
| CN101216789A (zh) | 数据更新方法、装置及系统 | |
| US9798761B2 (en) | Apparatus and method for fsync system call processing using ordered mode journaling with file unit | |
| CN104657387A (zh) | 一种数据查询方法及装置 | |
| CN110019063B (zh) | 计算节点数据容灾回放的方法、终端设备及存储介质 | |
| CN106155838A (zh) | 一种数据库备份数据恢复方法及装置 | |
| CN110597821B (zh) | 数据仓库表结构变更方法及装置 | |
| CN113918658A (zh) | 恢复数据的方法及装置 | |
| CN111078719A (zh) | 数据的恢复方法及装置、存储介质和处理器 | |
| CN111158858A (zh) | 一种虚拟机的克隆方法和装置，及计算机可读存储介质 | |
| CN111125047A (zh) | 冷热数据目录识别方法及装置 | |
| US8595271B1 (en) | Systems and methods for performing file system checks | |
| CN107193619B (zh) | 一种编译版本自动更新的方法与装置 | |
| CN103092955B (zh) | 检查点操作方法、装置及系统 | |
| US20160253247A1 (en) | Method and device for restoring system file indexes | |
| CN108062323B (zh) | 一种日志读取方法及装置 | |
| WO2017067397A1 (zh) | 一种数据恢复方法和装置 | |
| CN104615948A (zh) | 一种自动识别文件完整性与恢复的方法 | |
| CN102495838B (zh) | 数据处理方法及装置 | |
| CN115858471A (zh) | 业务数据变更记录方法、装置、计算机设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |