CN111930735A - 一种数据清理方法、装置及电子设备 - Google Patents

一种数据清理方法、装置及电子设备 Download PDF

Info

Publication number
CN111930735A
CN111930735A CN202010821343.XA CN202010821343A CN111930735A CN 111930735 A CN111930735 A CN 111930735A CN 202010821343 A CN202010821343 A CN 202010821343A CN 111930735 A CN111930735 A CN 111930735A
Authority
CN
China
Prior art keywords
cleaning
cleaned
strategy
index value
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010821343.XA
Other languages
English (en)
Inventor
蒋超
杨晓
叶磊
余振庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010821343.XA priority Critical patent/CN111930735A/zh
Publication of CN111930735A publication Critical patent/CN111930735A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1737—Details of further file system functions for reducing power consumption or coping with limited storage space, e.g. in mobile devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供一种数据清理方法、装置及电子设备，可以应用于金融领域在计算机使用过程中数据的处理。所述方法包括：基于清理策略执行清理任务；其中，所述清理任务用于针对待清理对象进行清理；所述清理策略对应有变更条件，所述变更条件用于表示所述清理策略需要变更的条件；采集表征待清理对象存储信息的指标值；在所述指标值符合变更条件的情况下，根据所述指标值的大小对所述清理策略进行修改，以便于基于修改后的清理策略执行清理任务，从而提高了数据清理的效率。

Description

一种数据清理方法、装置及电子设备
技术领域
本说明书实施例涉及计算机技术领域，特别涉及一种数据清理方法、装置及电子设备。
背景技术
随着信息技术的发展和互联网的普及，互联网用户的急速增长，计算机系统服务器中单位时间产生的数据库表数据、文件、日志等内容日益增加，如果不能及时的清理这些待清理的内容，将对系统的高可用和性能产生巨大的影响，甚至会导致系统不可用。
在现有技术中，针对应用系统的数据如何清理的，通常情况下往往是运营维护人员需要通过编写并运行后台代码来实现指定数据的清理。数据清理的依据通常是按照固定的时间周期、固定的数据占用空间、固定的数据量进行清理。
在通过现有技术进行数据清理时，运营维护人员可以设置时间周期，在每个时间周期内对数据进行一次清理；或者设置固定的数据占用空间，即数据占用空间达到预设值，则进行一次数据清理；所在是设置固定的数据量，即数据量达到一定值，则进行一次数据清理。
如果按照固定的时间周期来进行清理，当遇到短时间内产生、接收大量文件、日志或者数据库表数据的场景时，由于无法及时清理存量内容，可能会导致磁盘空间吃紧，甚至磁盘空间满，也可能会导致表数据量过大，从而影响系统的性能、容量和高可用。如果按照固定的占用空间、数据量来进行清理，当遇到短时间内产生、接收大量文件、日志或者数据库表数据的场景时，则可能会导致尚不能进行清理的数据、文件、日志被清理从而导致信息丢失，当遇到单位时间产生的数据、文件、日志较少时，应该被清理的内容未能及时清理，从而导致系统资源的浪费。由于文件、日志或者数据库表数据变化情况的不确定性，给制定合理清理规则带来较大的困难，且可能需要人工介入修改，使得现有技术中数据的清理效率低。
发明内容
本说明书实施例的目的是提供一种数据清理方法、装置及电子设备，以提高数据的清理效率。
为解决上述问题，本说明书实施例提供一种数据清理方法，所述方法包括：基于清理策略执行清理任务；其中，所述清理任务用于针对待清理对象进行清理；所述清理策略对应有变更条件，所述变更条件用于表示所述清理策略需要变更的条件；采集表征待清理对象存储信息的指标值；在所述指标值符合变更条件的情况下，根据所述指标值的大小对所述清理策略进行修改，以便于基于修改后的清理策略执行清理任务。
为解决上述问题，本说明书实施例还提供一种数据清理装置，所述装置包括：执行模块，用于基于清理策略执行清理任务；其中，所述清理任务用于针对待清理对象进行清理；所述清理策略对应有变更条件，所述变更条件用于表示所述清理策略需要变更的条件；采集模块，用于采集表征待清理对象存储信息的指标值；修改模块，用于在所述指标值符合变更条件的情况下，根据所述指标值的大小对所述清理策略进行修改，以便于基于修改后的清理策略执行清理任务。
为解决上述问题，本说明书实施例还提供一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序以实现：基于清理策略执行清理任务；其中，所述清理任务用于针对待清理对象进行清理；所述清理策略对应有变更条件，所述变更条件用于表示所述清理策略需要变更的条件；采集表征待清理对象存储信息的指标值；在所述指标值符合变更条件的情况下，根据所述指标值的大小对所述清理策略进行修改，以便于基于修改后的清理策略执行清理任务。
为解决上述问题，本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现：基于清理策略执行清理任务；其中，所述清理任务用于针对待清理对象进行清理；所述清理策略对应有变更条件，所述变更条件用于表示所述清理策略需要变更的条件；采集表征待清理对象存储信息的指标值；在所述指标值符合变更条件的情况下，根据所述指标值的大小对所述清理策略进行修改，以便于基于修改后的清理策略执行清理任务。
由以上本说明书实施例提供的技术方案可见，本说明书实施例中，可以基于清理策略执行清理任务；其中，所述清理任务用于针对待清理对象进行清理；所述清理策略对应有变更条件，所述变更条件用于表示所述清理策略需要变更的条件；采集表征待清理对象存储信息的指标值；在所述指标值符合变更条件的情况下，根据所述指标值的大小对所述清理策略进行修改，以便于基于修改后的清理策略执行清理任务，从而解决按照固定的时间周期、固定的数据占用空间、固定的数据量进行清理导致数据清理效率低的问题，通过配置化定制清理任务和清理策略，支持多种对象的清理，可自适应的修改清理策略，既能保证必要信息不丢失，也能合理的节省系统资源，从而提高了数据清理的效率。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例一种数据清理系统的功能结构示意图；
图2为本说明书实施例任务定义装置的功能结构示意图；
图3为本说明书实施例策略定义装置的功能结构示意图；
图4为本说明书实施例任务执行装置的功能结构示意图；
图5为本说明书实施例指标采集装置的功能结构示意图示意图；
图6为本说明书实施例自适应策略修改装置功能结构示意图；
图7为本说明书实施例对象备份装置的功能结构示意图；
图8为本说明书实施例一种数据清理方法的流程图；
图9为本说明书实施例一种电子设备的功能结构示意图；
图10为本说明书实施例一种数据清理装置的功能结构示意图。
具体实施方式
下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
在通过现有技术进行数据清理时，运营维护人员可以设置时间周期，在每个时间周期内对数据进行一次清理；或者设置固定的数据占用空间，即数据占用空间达到预设值，则进行一次数据清理；所在是设置固定的数据量，即数据量达到一定值，则进行一次数据清理。如果按照固定的时间周期来进行清理，当遇到短时间内产生、接收大量文件、日志或者数据库表数据的场景时，由于无法及时清理存量内容，可能会导致磁盘空间吃紧，甚至磁盘空间满，也可能会导致表数据量过大，从而影响系统的性能、容量和高可用。如果按照固定的占用空间、数据量来进行清理，当遇到短时间内产生、接收大量文件、日志或者数据库表数据的场景时，则可能会导致尚不能进行清理的数据、文件、日志被清理从而导致信息丢失，当遇到单位时间产生的数据、文件、日志较少时，应该被清理的内容未能及时清理，从而导致系统资源的浪费。由于文件、日志或者数据库表数据变化情况的不确定性，给制定合理清理规则带来较大的困难，且可能需要人工介入修改，使得现有技术中数据的清理效率低。
考虑到如果能够根据系统存储性能的变化和数据的变化，动态的修改数据清理的策略，则有望解决现有技术中由于文件、日志或者数据库表数据变化情况的不确定性，需要人工介入进行数据清理的问题，在保证信息不丢失的情况下，合理节省系统的资源，提高数据的清理效率。
请参阅图1，本说明书实施例提供一种数据清理系统。所述自动化测试任务调度系统可以包括任务定义装置1、策略定义装置2、任务执行装置3、指标采集装置4和自适应策略修改装置5。
在一些实施例中，所述任务定义装置1可以接收用户定义的清理任务。具体的，用户可以通过所述任务定义装置1定义一个或多个独立执行的清理任务。每个清理任务可以包括一个待清理对象，所述待清理对象可以是任何存储在电子设备中可以删除的数据，例如可以是文件夹、文件、数据表等数据。
在一些实施例中，所述清理任务还可以包括清理执行时间，用于指定执行所述清理任务的时间。具体的，由于进行文件或者数据的清理可能需要占用大量的系统资源，没有特殊情况可以在到达清理执行时间时，执行所述清理任务。
在一些实施例中，所述清理任务还可以包括清理执行用户，所述清理执行用户包括具有清理待清理对象权限的用户。具体的，无论是操作系统或者数据库，都有可能有不同的用户，不同的文件、目录、数据表等待清理对象有删除权限的用户都是有可能不一样的，一般清理数据时不使用ROOT或者DBA用户等最高权限用户。
图2是任务定义装置1内部结构图示意图，如图2所示，所述任务定义装置1包括清理对象类型单元11、清理对象配置单元12、清理执行时间配置单元13、清理执行用户配置单元14，其中：
所述清理对象类型单元11，可以用于描述本次清理任务包括的待清理对象的类型。例如，所清理对象的类型可以是数据文本、文件夹、日志文件、数据库表等。
所述清理对象配置单元12，可以用于根据不同的待清理对象类型，使用不同的待清理对象配置。具体的，所述清理对象配置可以包括具体的待清理对象，如文件目录、文件名称、数据库表名称等，对于数据、日志文件，所述清理对象配置单元12可以配置一类相同后缀的文件，例如.bin、.txt、.log或者文件名固定xxxx_datayyyymmdd.bin；对于文件夹，则可以配置某一路径；对于数据库表，则可以配置数据库表名等。
所述清理执行时间配置单元13，可以用于定义执行所述清理任务的时间。
所述清理执行用户配置单元14：可以用于配置执行所述清理任务的用户信息。例如对于文件、文件夹的清理，可以配置具有清理权限的操作系统用户；对于数据表的清理，可以配置对于的数据用户。
在一些实施例中，所述策略定义装置2可以接收用户定义的清理策略。所述清理策略为执行清理任务时所使用的方案，所述清理策略可以对应有变更条件和使用条件，在满足变更条件的情况下，可以对所述清理策略进行变更，在满足使用条件的情况下，可以使用所述清理策略执行清理任务。其中，不同的清理任务可以关联使用不同的清理策略。
在一些实施例中，所述清理策略可以包括清理周期、待清理对象保留时间。根据所述清理周期可以确定清理任务的下一次执行时间。所述待清理对象保留时间可以包括保留时间下限和保留时间上限，表示待清理对象存储的保留时间，例如，对于某个待清理对象，保留时间下限可以是5天，保留时间上限可以是10天，也就是说，该待清理对象至少要保留5天，在5天内不清理该待清理对象，当该待清理对象存储时间超过10天后，应清理该待清理对象。具体的，使用所述清理策略执行所述清理任务包括：判断所述待清理对象是否处于保留时间内，若是，则空跑该清理任务，即不对所述待清理对象进行清理；否则清理所述待清理对象。
在一些实施例中，所述清理策略还可以包括清理任务的执行优先级和并行度上限，用于指导在包括多个清理任务的情况下，根据所述优先级和并行度上限确定执行所述多个清理任务的顺序。
在一些实施例中，用户可以通过所述策略定义装置2定义变更条件和使用条件。其中，所述使用条件可以包括表征待清理对象存储信息的指标值的取值范围，在实际采集到表征待清理对象存储信息的指标值处于该取值范围时，则表示满足所述使用条件。其中，所述指标值可以包括存储空闲率、文件目录中文件存储大小、磁盘IO速度、数据表中数据量大小、存储占比、数据量增长率。不同的待清理对象可以包括不同的指标值，例如所述待清理对象为文件和文件夹，则所述指标值可以是存储空闲率、文件目录中文件存储大小、磁盘IO速度、存储占比等；若所述待清理对象为数据表，则所述指标值可以是存储空闲率、磁盘IO速度、数据表中数据量大小、存储占比、数据量增长率等。
在一些实施例中，所述变更条件可以基于所述使用条件得到。具体的，若表征待清理对象存储信息的指标值过低，可能出现了单位时间产生的数据、文件、日志较少的情况，使得应该被清理的内容未能及时清理，从而导致系统资源的浪费；若表征待清理对象存储信息的指标值过高，可能出现了短时间内产生、接收大量文件、日志或者数据库表数据的情况，由于无法及时清理存量内容，可能会导致磁盘空间吃紧，甚至磁盘空间满，也可能会导致表数据量过大，从而影响系统的性能、容量和高可用。因此，在表征待清理对象存储信息的指标值过低或过高时，应当对清理策略进行变更，以提高数据的清理效率，保证系统高可用。基于此，若出现以下情况，则所述指标值符合所述变更条件：所述指标值小于第一预设值或所述指标值大于第二预设值；所述第一预设值小于所述第二预设值，其中，所述第一预设值小于所述使用条件中指标值取值范围的下限值，所述第二预设值大于或等于所述使用条件中指标值取值范围的上限值。
图3是策略定义装置2内部结构图示意图，如图3所示，所述策略定义装置2可以包括清理对象配置单元21、清理上限阈值配置单元22、清理优先级配置单元23、并行度上限配置单元24、清理周期配置单元25、保留时间阈值配置单元26，其中：
所述清理对象配置单元21，可以和任务定义装置1的清理对象配置单元12相关联，获取配置的待清理对象。
清理阈值配置单元22，可以用于配置清理策略对应的使用条件，比如设置存储空闲率、文件目录存储大小、磁盘IO速度大小、数据量存储大小的取值范围。如果这些指标值处于所述取值范围内，那么可以调用任务执行装置3执行相应清理命令。
所述清理优先级配置单元23，可以用于设置清理任务启动时，待清理对象所对应清理任务的优先级，对于占用存储空间增速、数据量增速高的待清理对象，可以设置高优先级，防止增速过快导致系统资源不足。
所述并行度上限配置单元24，用于根据待清理对象时效的实际需要、执行清理任务的时间段及设备资源的规则来决定清理任务的并发度。并发度高，完成清理任务的耗时将会减少，但是需要更多的系统资源来支持。并发度低，完成情况任务的耗时将增加，消耗系统资源少。可以对于高优先级的任务对象设置较高并发度，对于低优先级的任务设置较低并发度。
所述清理周期配置单元25，可以用于设置待清理对象的清理时间间隔，执行完一次清理任务后，根据该配置，初始化清理执行时间配置单元13，设置任务下次执行的时间点。
所述保留时间阈值配置单元26，可以用于设置待清理对象所需保留数据的最短时间和最长时间。对于超过最长时间的待清理对象，可以纳入到清理命令中。而对于还在最短时间内的待清理对象，则不允许纳入到清理命令中。
在一些实施例中，所述任务执行装置3可以用于获取清理任务和执行所述清理任务使用的清理策略，并根据指标采集装置4采集的指标值，判断所述清理任务中的待清理对象是否满足所述清理策略对应的使用条件，若满足，则使用所述清理策略执行所述清理任务。
图4是任务执行装置3内部结构图示意图，如图4所示，所述任务执行装置3包括清理对象配置单元31、清理条件判断配置单元32、清理命令执行单元33，其中：
所述清理对象配置单元31，可以接收由策略定义装置2和任务定义装置1发送的待清理对象的类型和配置等信息。
所述清理条件判断配置单元32，根据表征所述待清理对象存储信息的指标值判断待清理对象是否已经满足清理策略对应的使用条件，比如判断待清理对象对应的存储空闲率、磁盘IO速度等是否处于预设取值范围内，若是，则推动清理命令执行单元33，执行任务。
清理命令执行单元33，用于在满足使用条件的情况下，调用预先设置好的命令，执行清理任务。
在一些实施例中，所述指标采集装置4可以采集表征所述待清理对象存储信息的指标值
图5是指标采集装置4内部结构图示意图，如图5所示，所述指标采集装置4可以包括空间、数据量采集单元41、磁盘IO速度采集单元42、空闲率存储单元43、存储占比存储单元44、增长率存储单元45，其中：
所述空间、数据量采集单元41，可以用于定时获取待清理对象所占用的空间大小或者数据量。
所述磁盘IO速度采集单元42，可以用于定时采集存储所述待清理对象的磁盘IO速度。
所述空闲率存储单元43、存储占比存储单元44、增长率存储单元45，分别用于存储通过计算得到各采样时间点的存储空闲率、存储占比、数据量增长率等指标值。
在一些实施例中，所述自适应策略修改装置5可以用于根据表征所述待清理对象存储信息的指标值，同时结合清理策略中的待清理对象保留时间，自动修改所述清理策略。
图6是自适应策略修改装置5内部结构图示意图，如图6所示，所述自适应策略修改装置5可以包括清理对象配置单元51、数据分析单元52、清理策略修改单元53，其中：
所述清理对象配置单元51，可以用于根据数据分析单元52确定需要修改的清理策略，并将修改后的清理策略发送至策略定义装置2，使用修改后的清理策略替换修改前的清理策略。
数据分析单元52，可以用于根据所述指标值的大小确定是否需要修改清理策略以及如何修改清理策略。具体的，若所述指标值超出了取值范围的上限值，则表示短时间内产生、接收大量文件、日志或者数据库表数据，此时需要修改清理策略释放相关的空间和资源；若所述指标值远低于取值范围的下限值，则表示单位时间产生的数据、文件、日志较少，如果进行数据清理作业，会导致系统资源的浪费，因此也需要对清理策略进行修改，以使得基于修改后的清理策略执行清理任务后，待清理对象对应的指标值不符合变更条件。
在一些实施例中，可以根据以下方式修改清理策略。
在所述指标值小于第一预设值的情况下，提高所述清理策略中的清理周期和/或待清理对象保留时间；其中，所述第一预设值小于所述取值范围的下限值。具体的，提高所述清理策略中的清理周期和/或待清理对象保留时间，可以降低执行清理任务的频率，以及增加待清理对象的存储时间。举例来说，若修改前清理策略的清理周期为5天，待清理对象的保留时间下限和上限分别为6天和20天，在所述指标值小于第一预设值的情况下，可以将清理周期提高为8天，将待清理对象的保留时间下限和上限提高为9天和30天，以减少清理作业对于系统资源的损耗。
在所述指标值大于第二预设值的情况下，降低所述清理策略中的清理周期和/或待清理对象保留时间；其中，所述第二预设值大于或等于所述取值范围的上限值。具体的，降低所述清理策略中的清理周期和/或待清理对象保留时间可以提高执行清理任务的频率，以及减少待清理对象的存储时间。举例来说，若修改前清理策略的清理周期为5天，待清理对象的保留时间下限和上限分别为6天和20天，在所述指标值大于第二预设值的情况下，可以将清理周期降低为2天，将待清理对象的保留时间下限和上限降低为3天和10天，以尽快清理待清理对象，释放相关的空间和资源。
在一些实施例中，若遇到特殊情况，短时间内产生、接收的文件、日志或者数据库表数据相比于历史情况短时间内呈爆发式增长，例如在所述指标值大于第三预设值的情况下，在通过在所述指标值大于第二预设值的情况下对清理策略进行修改后的基础上，还可以允许清理处于保留时间内的待清理对象。其中，所述第三预设值大于第二预设值。
在一些实施例中，若处于保留时间内的待清理对象允许被清理，则在清理前还可以对所述待清理对象进行备份。
所述清理策略修改单元53可以用于根据数据分析单元52的分析结果，推动策略定义装置2修改对应清理策略。
在一些实施例中，所述数据清理系统还可以包括对象备份装置6。所述对象备份装置6可以用于对待清理对象进行备份。例如，若遇到特殊情况，短时间内产生、接收的文件、日志或者数据库表数据相比于历史情况短时间内呈爆发式增长，例如在所述指标值大于第三预设值的情况下，则在通过在所述指标值大于第二预设值的情况下对清理策略进行修改后的基础上，还可以允许清理处于保留时间内的待清理对象，此时则在清理所述待清理对象前还可以对所述待清理对象进行备份，从而防止数据信息丢失和便于后续问题分析。
在一些实施例中，可以在清理之前调用对象备份装置6，先将待清理对象通过压缩打包或者导出成文本再进行压缩打包的方式进行跨目录备份。
图7是所述对象备份装置6内部结构图示意图，如图7所示，所述对象备份装置6可以包括备份对象配置单元51、备份方式配置单元52、备份目录配置单元53、备份策略执行单元54，其中：
所述备份对象配置单元51可以用于，若处于保留时间内的待清理对象允许被清理，则在清理前，可以将所述待清理对象设置为待备份对象。
所述备份方式配置单元52可以用于设置备份的方式，比如压缩打包、文本导出并压缩、异地异盘备份等。
所述备份目录配置单元53：可以用于设置备份后文件的存放目录。
所述备份策略执行单元54：根据备份对象配置单元51、备份方式配置单元52、备份目录配置单元53将相关的文件、数据完成备份，便于后续使用分析。
本说明书实施例提供的数据清理系统，可以动态自适应的修改清理的策略，在保证信息不丢失的情况下，合理节省系统的资源，达到动态平衡，其优点如下：配置化定制清理对象和策略，支持多种对象的清理；可自适应的修改清理策略，既能保证必要信息不丢失，也能合理的节省系统资源；面对数据、文件信息突然大幅增加的情况，支持自动化应急紧急清理并做好文件备份，解决大量的人工工作量，并能保证系统高可用。
请参阅图8。本说明实施例还提供一种数据清理方法。在本说明书实施例中，执行所述数据清理方法的主体可以是具有逻辑运算功能的电子设备，所述电子设备可以是服务器。所述服务器可以是具有一定运算处理能力的电子设备。其可以具有网络通信单元、处理器和存储器等。当然，所述服务器并不限于上述具有一定实体的电子设备，其还可以为运行于上述电子设备中的软体。所述服务器还可以为分布式服务器，可以是具有多个处理器、存储器、网络通信模块等协同运作的系统。或者，服务器还可以为若干服务器形成的服务器集群。所述方法可以包括以下步骤。
S810：基于清理策略执行清理任务；其中，所述清理任务用于针对待清理对象进行清理；所述清理策略对应有变更条件，所述变更条件用于表示所述清理策略需要变更的条件。
在一些实施例中，清理任务可以包括一个待清理对象，所述待清理对象可以是任何存储在电子设备中可以删除的数据，例如可以是文件夹、文件、数据表等数据。服务器获取的清理任务中，可以包括待清理对象的类型。例如，所清理对象的类型可以是数据文本、文件夹、日志文件、数据库表等；还可以包括具体的待清理对象，如文件目录、文件名称、数据库表名称等，对于数据、日志文件，可以是包括.bin、.txt、.log等后缀的文件或者名称固定格式的xxxx_datayyyymmdd.bin文件；对于文件夹，可以是某一具体的路径；对于数据库表，可以配置数据库表名等。
在一些实施例中，所述清理任务还可以包括清理执行时间，用于指定执行所述清理任务的时间。具体的，由于进行文件或者数据的清理可能需要占用大量的系统资源，没有特殊情况可以在到达清理执行时间时，执行所述清理任务。
在一些实施例中，所述清理任务还可以包括清理执行用户，所述清理执行用户包括具有清理待清理对象权限的用户。具体的，无论是操作系统或者数据库，都有可能有不同的用户，不同的文件、目录、数据表等待清理对象有删除权限的用户都是有可能不一样的，一般清理数据时不使用ROOT或者DBA用户等最高权限用户。
在一些实施例中，所述清理策略为执行清理任务时所使用的方案，所述清理策略可以对应有变更条件和使用条件，在满足变更条件的情况下，可以对所述清理策略进行变更，在满足使用条件的情况下，可以使用所述清理策略执行清理任务。其中，不同的清理任务可以关联使用不同的清理策略。
在一些实施例中，所述清理策略可以包括清理周期、待清理对象保留时间。根据所述清理周期可以确定清理任务的下一次执行时间。所述待清理对象保留时间可以包括保留时间下限和保留时间上限，表示待清理对象存储的保留时间，例如，对于某个待清理对象，保留时间下限可以是5天，保留时间上限可以是10天，也就是说，该待清理对象至少要保留5天，在5天内不清理该待清理对象，当该待清理对象存储时间超过10天后，应清理该待清理对象。具体的，使用所述清理策略执行所述清理任务包括：判断所述待清理对象是否处于保留时间内，若是，则空跑该清理任务，即不对所述待清理对象进行清理；否则清理所述待清理对象。
在一些实施例中，所述清理策略还可以包括清理任务的执行优先级和并行度上限，用于指导在包括多个清理任务的情况下，根据所述优先级和并行度上限确定执行所述多个清理任务的顺序。
在一些实施例中，所述使用条件可以包括表征待清理对象存储信息的指标值的取值范围，在实际采集到表征待清理对象存储信息的指标值处于该取值范围时，则表示满足所述使用条件。其中，所述指标值可以包括存储空闲率、文件目录中文件存储大小、磁盘IO速度、数据表中数据量大小、存储占比、数据量增长率。不同的待清理对象可以包括不同的指标值，例如所述待清理对象为文件和文件夹，则所述指标值可以是存储空闲率、文件目录中文件存储大小、磁盘IO速度、存储占比等；若所述待清理对象为数据表，则所述指标值可以是存储空闲率、磁盘IO速度、数据表中数据量大小、存储占比、数据量增长率等。
在一些实施例中，所述变更条件可以基于所述使用条件得到。具体的，若表征待清理对象存储信息的指标值过低，可能出现了单位时间产生的数据、文件、日志较少的情况，使得应该被清理的内容未能及时清理，从而导致系统资源的浪费；若表征待清理对象存储信息的指标值过高，可能出现了短时间内产生、接收大量文件、日志或者数据库表数据的情况，由于无法及时清理存量内容，可能会导致磁盘空间吃紧，甚至磁盘空间满，也可能会导致表数据量过大，从而影响系统的性能、容量和高可用。因此，在表征待清理对象存储信息的指标值过低或过高时，应当对清理策略进行变更，以提高数据的清理效率，保证系统高可用。基于此，若出现以下情况，则所述指标值符合所述变更条件：所述指标值小于第一预设值或所述指标值大于第二预设值；所述第一预设值小于所述第二预设值，其中，所述第一预设值小于所述使用条件中指标值取值范围的下限值，所述第二预设值大于或等于所述使用条件中指标值取值范围的上限值。
S820：采集表征所述待清理对象存储信息的指标值。
在一些实施例中，服务器可以定时获取待清理对象所占用的空间大小、数据量、存储所述待清理对象的磁盘IO速度等数据，还可以根据获取的上述数据计算得到各采样时间点的存储空闲率、存储占比、数据量增长率等数据。
S830：在所述指标值符合变更条件的情况下，根据所述指标值的大小对所述清理策略进行修改，以便于基于修改后的清理策略执行清理任务。
在一些实施例中，在所述指标值不满足所述清理策略对应的使用条件的情况下，可以根据表征所述待清理对象存储信息的指标值，同时结合清理策略中的待清理对象保留时间，自动修改所述清理策略。具体的，若所述指标值超出了使用条件中的取值范围的上限值，则表示短时间内产生、接收大量文件、日志或者数据库表数据，此时需要修改清理策略释放相关的空间和资源；若所述指标值低于预设取值范围的下限值，则表示单位时间产生的数据、文件、日志较少，如果进行数据清理作业，会导致系统资源的浪费，因此也需要对清理策略进行修改，以使得基于修改后的清理策略执行清理任务后，待清理对象对应的指标值不符合变更条件。
在一些实施例中，可以根据以下方式修改清理策略。
在所述指标值小于第一预设值的情况下，提高所述清理策略中的清理周期和/或待清理对象保留时间；其中，所述第一预设值小于所述取值范围的下限值。具体的，提高所述清理策略中的清理周期和/或待清理对象保留时间，可以降低执行清理任务的频率，以及增加待清理对象的存储时间。举例来说，若修改前清理策略的清理周期为5天，待清理对象的保留时间下限和上限分别为6天和20天，在所述指标值小于第一预设值的情况下，可以将清理周期提高为8天，将待清理对象的保留时间下限和上限提高为9天和30天，以减少清理作业对于系统资源的损耗。
在所述指标值大于第二预设值的情况下，降低所述清理策略中的清理周期和/或待清理对象保留时间；其中，所述第二预设值大于或等于所述取值范围的上限值。具体的，降低所述清理策略中的清理周期和/或待清理对象保留时间可以提高执行清理任务的频率，以及减少待清理对象的存储时间。举例来说，若修改前清理策略的清理周期为5天，待清理对象的保留时间下限和上限分别为6天和20天，在所述指标值大于第二预设值的情况下，可以将清理周期降低为2天，将待清理对象的保留时间下限和上限降低为3天和10天，以尽快清理待清理对象，释放相关的空间和资源。
在一些实施例中，若遇到特殊情况，短时间内产生、接收的文件、日志或者数据库表数据相比于历史情况短时间内呈爆发式增长，例如在所述指标值大于第三预设值的情况下，在通过在所述指标值大于第二预设值的情况下对清理策略进行修改后的基础上，还可以允许清理处于保留时间内的待清理对象。其中，所述第三预设值大于第二预设值。
在一些实施例中，若处于保留时间内的待清理对象允许被清理，则在清理前还可以对所述待清理对象进行备份。具体的，若处于保留时间内的待清理对象允许被清理，则在清理前，可以将所述待清理对象设置为待备份对象，并通过预设的备份的方式，比如通过压缩打包、文本导出并压缩、异地异盘备份等方式对所述待备份对象进行备份。
在一些实施例中，在所述指标值满足所述清理策略的使用条件情况下，使用所述清理策略执行所述清理任务。具体的，使用所述清理策略执行所述清理任务包括：判断所述待清理对象是否处于保留时间内，若是，则空跑该清理任务，即不对所述待清理对象进行清理；否则清理所述待清理对象。
本说明书实施例提供的数据清理方法，可以基于清理策略执行清理任务；其中，所述清理任务用于针对待清理对象进行清理；所述清理策略对应有变更条件，所述变更条件用于表示所述清理策略需要变更的条件；采集表征待清理对象存储信息的指标值；在所述指标值符合变更条件的情况下，根据所述指标值的大小对所述清理策略进行修改，以便于基于修改后的清理策略执行清理任务，从而解决按照固定的时间周期、固定的数据占用空间、固定的数据量进行清理导致数据清理效率低的问题，通过配置化定制清理任务和清理策略，支持多种对象的清理，可自适应的修改清理策略，既能保证必要信息不丢失，也能合理的节省系统资源，从而提高了数据清理的效率。
图9为本说明书实施例一种电子设备的功能结构示意图，所述电子设备可以包括存储器和处理器。
在一些实施例中，所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现数据清理的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据用户终端的使用所创建的数据。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(APPlication Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。所述处理器可以执行所述计算机指令实现以下步骤：基于清理策略执行清理任务；其中，所述清理任务用于针对待清理对象进行清理；所述清理策略对应有变更条件，所述变更条件用于表示所述清理策略需要变更的条件；采集表征待清理对象存储信息的指标值；在所述指标值符合变更条件的情况下，根据所述指标值的大小对所述清理策略进行修改，以便于基于修改后的清理策略执行清理任务。
在本说明书实施例中，该电子设备具体实现的功能和效果，可以与其它实施例对照解释，在此不再赘述。
图10为本说明书实施例一种数据清理装置的功能结构示意图，该装置具体可以包括以下的结构模块。
执行模块1010，用于基于清理策略执行清理任务；其中，所述清理任务用于针对待清理对象进行清理；所述清理策略对应有变更条件，所述变更条件用于表示所述清理策略需要变更的条件；
采集模块1020，用于采集表征待清理对象存储信息的指标值；
修改模块1030，用于在所述指标值符合变更条件的情况下，根据所述指标值的大小对所述清理策略进行修改，以便于基于修改后的清理策略执行清理任务。
本说明书实施例还提供了一种数据处理方法的计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现：基于清理策略执行清理任务；其中，所述清理任务用于针对待清理对象进行清理；所述清理策略对应有变更条件，所述变更条件用于表示所述清理策略需要变更的条件；采集表征待清理对象存储信息的指标值；在所述指标值符合变更条件的情况下，根据所述指标值的大小对所述清理策略进行修改，以便于基于修改后的清理策略执行清理任务。
在本说明书实施例中，上述存储介质包括但不限于随机存取存储器(RandomAccess Memory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(HardDisk Drive,HDD)或者存储卡(Memory Card)。所述存储器可用于存储所述计算机程序和/或模块，所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据用户终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器。在本说明书实施例中，该计算机可读存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
需要说明的是，本说明书实施例提供的数据清理方法、装置及电子设备，涉及计算机技术领域，可以应用于金融领域在计算机使用过程中数据的处理，还可以除金融领域之外的任意领域，本说明书实施例对所述数据清理方法、装置及电子设备的应用领域不做限定。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于装置实施例和设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域技术人员在阅读本说明书文件之后，可以无需创造性劳动想到将本说明书列举的部分或全部实施例进行任意组合，这些组合也在本说明书公开和保护的范围内。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(AlteraHardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog2。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
虽然通过实施例描绘了本说明书，本领域普通技术人员知道，本说明书有许多变形和变化而不脱离本说明书的精神，希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。

Claims (15)

1.一种数据清理方法，其特征在于，包括：
基于清理策略执行清理任务；其中，所述清理任务用于针对待清理对象进行清理；所述清理策略为执行清理任务所使用的方案；所述清理策略对应有变更条件，所述变更条件用于表示所述清理策略需要变更的条件；
采集表征待清理对象存储信息的指标值；
在所述指标值符合变更条件的情况下，根据所述指标值的大小对所述清理策略进行修改，以便于基于修改后的清理策略执行清理任务。
2.根据权利要求1所述的方法，其特征在于，所述清理任务包括清理执行时间；相应的，在到达清理执行时间时，基于清理策略执行所述清理任务。
3.根据权利要求1所述的方法，其特征在于，所述清理任务包括清理执行用户；相应的，在所述清理执行用户具有清理所述待清理对象的权限的情况下，基于清理策略执行所述清理任务。
4.根据权利要求1所述的方法，其特征在于，所述待清理对象包括文件夹、文件、数据表中的至少一种。
5.根据权利要求1所述的方法，其特征在于，所述清理策略包括清理周期和待清理对象保留时间。
6.根据权利要求1所述的方法，其特征在于，所述清理策略还包括清理任务的优先级；相应的，所述方法还包括：
在包括多个清理任务的情况下，根据所述优先级确定执行所述多个清理任务的顺序。
7.根据权利要求1所述的方法，其特征在于，所述指标值包括存储空闲率、文件目录中文件存储大小、磁盘IO速度、数据表中数据量大小、存储占比、数据量增长率中的至少一种。
8.根据权利要求1所述的方法，其特征在于，若出现以下情况，则所述指标值符合所述变更条件：
所述指标值小于第一预设值或所述指标值大于第二预设值；所述第一预设值小于所述第二预设值。
9.根据权利要求1所述的方法，其特征在于，所述根据所述指标值的大小对所述清理策略进行修改包括：
在所述指标值小于第一预设值的情况下，提高所述清理策略中的清理周期和/或待清理对象保留时间。
10.根据权利要求1所述的方法，其特征在于，所述根据所述指标值的大小对所述清理策略进行修改包括：
在所述指标值大于第二预设值的情况下，降低所述清理策略中的清理周期和/或待清理对象保留时间。
11.根据权利要求10所述的方法，其特征在于，在所述指标值大于第三预设值的情况下，允许清理处于保留时间内的待清理对象；其中，所述第三预设值大于第二预设值。
12.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在基于所述清理策略执行所述清理任务之前，判断处于保留时间内的待清理对象是否允许被清理，若是，对所述待清理对象进行备份。
13.一种数据清理装置，其特征在于，所述装置包括：
执行模块，用于基于清理策略执行清理任务；其中，所述清理任务用于针对待清理对象进行清理；所述清理策略对应有变更条件，所述变更条件用于表示所述清理策略需要变更的条件；
采集模块，用于采集表征待清理对象存储信息的指标值；
修改模块，用于在所述指标值符合变更条件的情况下，根据所述指标值的大小对所述清理策略进行修改，以便于基于修改后的清理策略执行清理任务。
14.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现：基于清理策略执行清理任务；其中，所述清理任务用于针对待清理对象进行清理；所述清理策略对应有变更条件，所述变更条件用于表示所述清理策略需要变更的条件；采集表征待清理对象存储信息的指标值；在所述指标值符合变更条件的情况下，根据所述指标值的大小对所述清理策略进行修改，以便于基于修改后的清理策略执行清理任务。
15.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，所述指令被执行时实现：基于清理策略执行清理任务；其中，所述清理任务用于针对待清理对象进行清理；所述清理策略对应有变更条件，所述变更条件用于表示所述清理策略需要变更的条件；采集表征待清理对象存储信息的指标值；在所述指标值符合变更条件的情况下，根据所述指标值的大小对所述清理策略进行修改，以便于基于修改后的清理策略执行清理任务。
CN202010821343.XA 2020-08-14 2020-08-14 一种数据清理方法、装置及电子设备 Pending CN111930735A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010821343.XA CN111930735A (zh) 2020-08-14 2020-08-14 一种数据清理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010821343.XA CN111930735A (zh) 2020-08-14 2020-08-14 一种数据清理方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN111930735A true CN111930735A (zh) 2020-11-13

Family

ID=73310411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010821343.XA Pending CN111930735A (zh) 2020-08-14 2020-08-14 一种数据清理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111930735A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870549A (zh) * 2014-02-27 2014-06-18 中国石油天然气股份有限公司 石油地质软件数据的清理方法及装置
CN105893153A (zh) * 2016-03-31 2016-08-24 北京百纳威尔无线通信设备有限公司 移动终端的内存清理方法和装置
CN106354659A (zh) * 2016-08-29 2017-01-25 许继集团有限公司 一种嵌入式设备的flash资源回收的方法
WO2017162083A1 (zh) * 2016-03-25 2017-09-28 阿里巴巴集团控股有限公司 数据清洗方法和装置
CN107609066A (zh) * 2017-08-30 2018-01-19 努比亚技术有限公司 清理文件的方法、设备及计算机可存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870549A (zh) * 2014-02-27 2014-06-18 中国石油天然气股份有限公司 石油地质软件数据的清理方法及装置
WO2017162083A1 (zh) * 2016-03-25 2017-09-28 阿里巴巴集团控股有限公司 数据清洗方法和装置
CN105893153A (zh) * 2016-03-31 2016-08-24 北京百纳威尔无线通信设备有限公司 移动终端的内存清理方法和装置
CN106354659A (zh) * 2016-08-29 2017-01-25 许继集团有限公司 一种嵌入式设备的flash资源回收的方法
CN107609066A (zh) * 2017-08-30 2018-01-19 努比亚技术有限公司 清理文件的方法、设备及计算机可存储介质

Similar Documents

Publication Publication Date Title
US7434011B2 (en) Apparatus, system, and method for modifying data storage configuration
CN102495857B (zh) 一种分布式数据库的负载均衡方法
US20140379985A1 (en) Multi-level aggregation techniques for memory hierarchies
KR20060129873A (ko) 휴대단말기의 메모리 정리 방법
US9836516B2 (en) Parallel scanners for log based replication
CN111324427B (zh) 一种基于dsp的任务调度方法及装置
US11231852B2 (en) Efficient sharing of non-volatile memory
CN108459913B (zh) 数据并行处理方法、装置及服务器
CN113032099B (zh) 云计算节点、文件管理方法及装置
CN111949681A (zh) 数据的聚合处理装置、方法和存储介质
CN103034669A (zh) 利用网络文件系统提供用户数据存储环境的系统
CN116089364B (zh) 一种存储文件管理方法、装置、ai平台和存储介质
CN113326288A (zh) 数据处理方法、装置、电子设备
CN112286930A (zh) redis业务方资源共享的方法、装置、存储介质及电子设备
CN111930735A (zh) 一种数据清理方法、装置及电子设备
CN108763421B (zh) 一种基于逻辑电路的数据搜索方法及系统
CN116303246A (zh) 存储增量统计方法、装置、计算机设备及存储介质
CN112860720B (zh) 一种存储容量的更新方法以及装置
EP4348438A1 (en) Asynchronous processing of transaction log requests in a database transaction log service
CN113590590A (zh) 数据库的计算方法、装置及电子设备
CN111090627A (zh) 基于池化的日志存储方法、装置、计算机设备及存储介质
WO2020140623A1 (zh) 电子装置、元数据处理方法和计算机可读存储介质
CN111580831A (zh) 提高代码运行效率的方法、装置、计算机设备及存储介质
CN115576969B (zh) 一种并行执行数据库任务的方法、装置、介质及设备
CN114510490B (zh) 提升数据库数据插入性能的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination