CN110222039A - 数据存储及垃圾数据清理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及基架运维技术领域，公开了一种数据存储及垃圾数据清理方法、装置、设备及存储介质。数据存储及垃圾数据清理方法包括：获取预置的数据存储规则，预置的数据存储规则用于描述周期性存储源数据；根据预置的数据存储规则对源数据进行定时遍历查询，得到垃圾数据，垃圾数据包括唯一标识；将唯一标识写入到预置队列表中，唯一标识用于指示垃圾数据的清理状态，清理状态包括初始状态；当定时检测到预置队列表中存在垃圾数据，并且垃圾数据的清理状态为初始状态时，清理垃圾数据，得到清理结果，清理结果包括清理成功和清理失败；通过预置方式发送清理结果，预置方式包括短信方式和邮件方式。本发明根据数据存储规则提高垃圾数据的清理效率。

Description

数据存储及垃圾数据清理方法、装置、设备及存储介质

技术领域

本发明涉及业务过程优化领域，尤其涉及数据存储及垃圾数据清理方法、装置、设备及存储介质。

背景技术

随着互联网技术的发展，计算机系统中的业务数据急剧增加并且快速更新，但是数据库不能无限制存储数据，当数据库的数据量达到一定量时，导致计算机工作效率下降，影响工作进程，因此需要定时清理业务垃圾数据。

定时清理业务垃圾数据是为了避免过期的或无效的应用数据进入运算过程，对垃圾数据的清理包括数据有效范围的清理、数据逻辑一致性的清理和数据质量的抽查。

对于规模过大的业务垃圾数据不及时清理，会占用过多的磁盘空间，也会影响系统响应性能，在现有方案中，通过操作者手工进行数据删除，操作者对一些过期的和无效的垃圾数据进行手动删除，容易出错，并且效率较低。

发明内容

本发明的主要目的在于解决业务垃圾数据占用磁盘空间过高，通过手工删除垃圾数据出错率高，并且清理垃圾数据效率低的问题。

为实现上述目的，本发明第一方面提供了一种数据存储及垃圾数据清理方法，包括：获取预置的数据存储规则，所述预置的数据存储规则用于描述周期性存储源数据；根据所述预置的数据存储规则对所述源数据进行定时遍历查询，得到垃圾数据，所述垃圾数据包括唯一标识；将所述垃圾数据的唯一标识写入到预置队列表中，所述唯一标识用于指示所述垃圾数据的清理状态，所述清理状态包括初始状态；当定时检测到所述预置队列表中存在所述垃圾数据，并且所述垃圾数据的清理状态为所述初始状态时，清理所述垃圾数据，得到清理结果，所述清理结果包括清理成功和清理失败；通过预置方式发送所述清理结果，所述预置方式包括短信方式和邮件方式。

可选的，在本发明第一方面的第一种实现方式中，所述设置数据存储规则，所述数据存储规则用于周期性存储数据包括：通过预置的扫描任务根据结构化查询语言SQL规则读取数据表，得到预置的数据存储规则；或通过所述预置的扫描任务从预置文件中进行读取，得到预置的数据存储规则，所述预置的数据存储规则用于描述周期性存储所述源数据。

可选的，在本发明第一方面的第二种实现方式中，所述根据所述预置的数据存储规则对所述源数据进行定时遍历查询，得到垃圾数据，所述垃圾数据包括唯一标识包括：对所述预置的数据存储规则进行解析，得到所述源数据的数据表名和存储时长；根据所述源数据的数据表名和所述存储时长生成结构化查询语言SQL查询语句，得到第一SQL语句；根据所述第一SQL语句对所述源数据进行查询，得到查询数据，并将所述查询数据设置为所述垃圾数据，所述垃圾数据包括所述唯一标识。

可选的，在本发明第一方面的第三种实现方式中，所述当定时检测到所述预置队列表中存在所述垃圾数据，并且所述垃圾数据的清理状态为所述初始状态时，清理所述垃圾数据，得到清理结果，所述清理结果包括清理成功和清理失败包括：当定时检测到所述预置队列表中存在所述垃圾数据，并且所述垃圾数据的清理状态为所述初始状态时，通过所述预置的清理任务读取预置队列表，得到所述垃圾数据的唯一标识和数据表名；根据所述垃圾数据的唯一标识和数据表名生成结构化查询语言SQL删除语句，得到第二SQL语句；根据所述第二SQL语句处理所述垃圾数据，得到清理结果，所述清理结果包括清理成功和清理失败。

可选的，在本发明第一方面的第四种实现方式中，所述通过预置方式发送所述清理结果，所述预置方式包括短信方式和邮件方式包括：确定所述预置方式为短信方式或邮件方式；读取通知人员信息表，得到通知人员信息的标识，所述通知人员信息表包括标识、人员角色、人员手机号码、人员邮件地址和人员所属部门；判断所述通知人员信息的标识是否为空值；若所述通知人员信息的标识不为空值，则根据所述预置方式和所述通知人员信息发送所述清理结果；若所述通知人员信息的标识为空值，则在所述通知人员信息表中增加通知人员信息，并根据所述预置方式和增加的通知人员信息发送所述清理结果。

可选的，在本发明第一方面的第五种实现方式中，所述若所述通知人员信息不为空，则根据所述第二SQL语句处理所述垃圾数据，得到清理结果，所述清理结果包括清理成功和清理失败之后，所述方法还包括：更新已清理的垃圾数据的清理状态和清理时刻，所述清理状态包括所述初始状态、清理成功状态和清理失败状态；当检测到所述清理状态为所述清理成功状态时，获取当前时刻；根据所述当前时刻和所述清理时刻进行差运算，得到运算结果；当检测到所述运算结果大于预置时长时，将所述已清理的垃圾数据转移至预置历史表。

可选的，在本发明第一方面的第六种实现方式中，所述数据存储及垃圾数据清理方法还包括：当检测到恢复所述已清理的垃圾数据的指令时，停止执行所述预置的扫描任务和所述预置的清理任务；对所述预置队列表或者所述预置历史表进行遍历读取，得到所述已清理的垃圾数据的唯一标识和数据表名；根据所述已清理的垃圾数据的唯一标识和数据表名读取底层清单表，得到备份源数据，所述底层清单表用于备份存储所述源数据；将所述备份源数据写入到所述已清理的垃圾数据对应的源数据表中，得到恢复的源数据。

本发明第二方面提供了一种数据存储及垃圾数据清理装置，包括：获取单元，用于获取预置的数据存储规则，所述预置的数据存储规则用于描述周期性存储源数据；查询单元，用于根据所述预置的数据存储规则对所述源数据进行定时遍历查询，得到垃圾数据，所述垃圾数据包括唯一标识；写入单元，用于将所述垃圾数据的唯一标识写入到预置队列表中，所述唯一标识用于指示所述垃圾数据的清理状态，所述清理状态包括初始状态；清理单元，当定时检测到所述预置队列表中存在所述垃圾数据，并且所述垃圾数据的清理状态为所述初始状态时，用于清理所述垃圾数据，得到清理结果，所述清理结果包括清理成功和清理失败；发送单元，用于通过预置方式发送所述清理结果，所述预置方式包括短信方式和邮件方式。

可选的，在本发明第二方面的第一种实现方式中，所述获取单元具体用于：通过预置的扫描任务根据结构化查询语言SQL规则读取数据表，得到预置的数据存储规则；或通过所述预置的扫描任务从预置文件中进行读取，得到预置的数据存储规则，所述预置的数据存储规则用于描述周期性存储所述源数据。

可选的，在本发明第二方面的第二种实现方式中，所述查询单元具体用于：对所述预置的数据存储规则进行解析，得到所述源数据的数据表名和存储时长；根据所述源数据的数据表名和存储时长生成结构化查询语言SQL查询语句，得到第一SQL语句；根据所述第一SQL语句对所述源数据进行查询，得到查询数据，并将所述查询数据设置为所述垃圾数据，所述垃圾数据包括唯一标识。

可选的，在本发明第二方面的第三种实现方式中，所述清理单元包括：读取子单元，当定时检测到所述预置队列表中存在所述垃圾数据，并且所述垃圾数据的清理状态为所述初始状态时，用于通过所述预置的清理任务读取所述预置队列表，得到所述垃圾数据的唯一标识和数据表名；生成子单元，用于根据所述垃圾数据的唯一标识和数据表名生成结构化查询语言SQL删除语句，得到第二SQL语句；清理子单元，用于根据所述第二SQL语句处理所述垃圾数据，得到清理结果，所述清理结果包括清理成功和清理失败。

可选的，在本发明第二方面的第四种实现方式中，所述发送单元具体用于：确定所述预置方式为短信方式或邮件方式；读取通知人员信息表，得到通知人员信息的标识，所述通知人员信息表包括标识、人员角色、人员手机号码、人员邮件地址和人员所属部门；判断所述通知人员信息的标识是否为空值；若所述通知人员信息的标识不为空值，则根据所述预置方式和所述通知人员信息发送所述清理结果；若所述通知人员信息的标识为空值，则在所述通知人员信息表中增加通知人员信息，并根据所述预置方式和增加的通知人员信息发送所述清理结果。

可选的，在本发明第二方面的第五种实现方式中，所述清理单元还包括：更新子单元，用于更新已清理的垃圾数据的清理状态和清理时刻，所述清理状态包括所述初始状态、清理成功状态和清理失败状态；获取子单元，当检测到所述清理状态为所述清理成功状态时，用于获取当前时刻；计算子单元，用于根据所述当前时刻和所述清理时刻进行差运算，得到运算结果；转移子单元，当检测到所述运算结果大于预置时长时，将所述已清理的垃圾数据转移至预置历史表。

可选的，在本发明第二方面的第六种实现方式中，所述数据存储及垃圾数据清理装置还包括：停止单元，当检测到恢复所述已清理的垃圾数据的指令时，用于停止执行所述预置的扫描任务和所述预置的清理任务；第一读取单元，用于对所述预置队列表或者所述预置历史表进行遍历读取，得到所述已清理的垃圾数据的唯一标识和数据表名；第二读取单元，用于根据所述已清理的垃圾数据的唯一标识和数据表名读取所述底层清单表，得到备份源数据，所述底层清单表用于备份存储所述源数据；恢复单元，用于将所述备份源数据写入到所述已清理的垃圾数据对应的源数据表中，得到恢复的源数据。

本发明第三方面提供了一种数据存储及垃圾数据清理设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互联；所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据存储及垃圾数据清理设备执行上述各方面所述的方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

本发明的第五方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

从以上技术方案可以看出，本发明具有以下优点：

本发明提供的技术方案中，获取预置的数据存储规则，所述预置的数据存储规则用于描述周期性存储源数据；根据所述预置的数据存储规则对所述源数据进行定时遍历查询，得到垃圾数据，所述垃圾数据包括唯一标识；将所述垃圾数据的唯一标识写入到预置队列表中，所述唯一标识用于指示所述垃圾数据的清理状态，所述清理状态包括初始状态；当定时检测到所述预置队列表中存在所述垃圾数据，并且所述垃圾数据的清理状态为所述初始状态时，清理所述垃圾数据，得到清理结果，所述清理结果包括清理成功和清理失败；通过预置方式发送所述清理结果，所述预置方式包括短信方式和邮件方式。本发明实施例中，建立数据存储规则，并根据数据存储规则自动化遍历和清理垃圾数据，提高数据清理效率，同时根据数据跟踪机制，对误删数据进行恢复，确保删除数据的安全性。

附图说明

图1为本发明实施例中数据存储及垃圾数据清理方法的一个实施例示意图；

图2为本发明实施例中数据存储及垃圾数据清理方法的另一个实施例示意图；

图3为本发明实施例中数据存储及垃圾数据清理装置的一个实施例示意图；

图4为本发明实施例中数据存储及垃圾数据清理装置的另一个实施例示意图；

图5为本发明实施例中数据存储及垃圾数据清理设备的另一个实施例示意图。

具体实施方式

本发明实施例提供了一种数据存储及垃圾数据清理方法、装置、设备及存储介质，本发明实施例中，建立数据存储规则，并根据数据存储规则自动化遍历和清理垃圾数据，提高数据清理效率，同时根据数据跟踪机制，对于误删数据进行恢复，确保删除数据的安全性。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例进行描述。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中数据存储及垃圾数据清理方法的一个实施例包括：

101、获取预置的数据存储规则，预置的数据存储规则用于描述周期性存储源数据；

服务器获取预置的数据存储规则，预置的数据存储规则用于描述周期性存储源数据。其中，预置的数据存储规则根据实际业务需求进行设置，该预置的数据存储规则是可动态配置和扩展的，包括源数据的数据表名和存储时长，服务器使用数据表或者文件方式对预置的数据存储规则进行保存，服务器根据该数据存储规则进行垃圾数据查询和垃圾数据清理。例如，实际业务需求包括用户信息数据和操作日志数据的周期性存储，服务器设置用户信息数据的存储规则为永久性存储，设置操作日志数据的存储规则为两个月，其对应的数据表名为operation_log，存储时长为2month。

可选的，服务器对于永久性存储的源数据可以不设置数据存储规则。当周期性存储的源数据更新为永久无效的数据时，服务器需要修改相关源数据的数据存储规则。例如，对于天气预报数据，初始的数据存储规则为当前天的前后各一周时长，由于实际业务需求，将天气预报业务删除，其对应的源数据需要清理，则服务器设置存储时长为0，表示数据全部清理。

102、根据预置的数据存储规则对源数据进行定时遍历查询，得到垃圾数据，垃圾数据包括唯一标识；

服务器根据预置的数据存储规则对源数据进行定时遍历查询，得到垃圾数据，垃圾数据包括唯一标识。具体的，服务器根据预置的数据存储规则设置预置的扫描任务，扫描任务可以是一个进程中包括多个线程，多个线程处理不同的源数据，服务器定时执行扫描任务对源数据进行遍历查询，得到垃圾数据，该垃圾数据为服务器通过扫描任务筛选的无前端应用使用的失效数据和过期的数据。每一条垃圾数据都包括各自对应的唯一标识，唯一标识可根据全球唯一标识符算法生成，也可以根据数据表中唯一自增主键生成，具体此处做限定。例如，服务器通过定时执行工具cron定时执行扫描任务scan_task，得到天气预报信息表中过期数据1000条，操作日志表中过期数据5万条，其中，1000条过期数据和5万条过期数据就是垃圾数据。

需要说明的是，服务器对源数据进行定时遍历查询，可以是同一时刻查询不同的数据表，也可以是不同的时刻查询不同数据表，当查询数据结束时，服务器会停止相应的线程访问，其中，当检测到垃圾数据条数为0时，服务器确定没有垃圾数据。

103、将垃圾数据的唯一标识写入到预置队列表中，唯一标识用于指示垃圾数据的清理状态，清理状态包括初始状态；

服务器将垃圾数据的唯一标识写入到预置队列表中，唯一标识用于指示垃圾数据的清理状态，清理状态包括初始状态。具体的，服务器根据垃圾数据的唯一标识、数据表名以及扫描时刻生成SQL插入语句，执行SQL插入语句，将垃圾数据写入到预置队列表中，服务器将预置队列表中的清理状态设置为初始状态，服务器根据唯一标识可以查询到垃圾数据的清理状态。例如，服务器查询得到1000条天气预报过期数据，得到唯一标识从3000到4000，数据表名为weather，扫描时刻为2019-03-15 00:30:00，服务器将唯一标识和数据表名以及扫描时刻记录到队列表queue中，服务器设置垃圾数据的清理状态为0，也就是初始状态。

其中，队列是一种数据的存储结构，一个队列中存储的数据是按照先进先出规则储存的若干消息，若干队列储存在一个队列表中。队列表用于储存很多来自数据库系统的消息，包括数据库如何执行调度各种任务、数据库的状态等等。

104、当定时检测到预置队列表中存在垃圾数据，并且垃圾数据的清理状态为初始状态时，清理垃圾数据，得到清理结果，清理结果包括清理成功和清理失败；

当检测到队列表中存在垃圾数据，并且垃圾数据的清理状态为初始状态时，服务器清理垃圾数据，得到清理结果，清理结果包括清理成功和清理失败。进一步地，服务器进行垃圾数据清理时，涉及关联数据表的垃圾数据清理，当清理失败或者清理异常时，服务器根据预置的清理回滚机制，确保清理数据的一致性和正确性。例如，服务器检测到有天气预报的垃圾数据产生，并且垃圾数据的清理状态为初始状态时，服务器首先会根据垃圾数据的唯一标识去对应数据表中进行数据清理，清理结束后，得到200或者500的清理结果，也就是清理成功或者清理失败，一旦清理失败，服务器根据预置的清理回滚机制恢复已清理的数据。可选的，服务器对清理过程按照操作日志的方式进行记录，包括清理时刻、清理结果、清理的数据表名称和清理垃圾数据的唯一标识。

需要说明的是，预置清理回滚机制可以采用事务方式进行处理，事务是访问数据库的一个操作序列，数据库应用系统通过事务集来完成对数据库的存取。事务的正确执行使得数据库从一种正确状态转换为另一种正确状态，确保数据操作的可靠性和数据的完整性。例如，银行的自动提款机ATM，通常ATM都可以正常为客户服务，但是也难免遇到操作过程中及其突然出故障的情况，此时，事务就必须确保出故障前对账户的操作不生效，将数据恢复到用户没有使用过ATM机之前，以保证用户和银行的利益都不受损失。

105、通过预置方式发送清理结果，预置方式包括短信方式和邮件方式。

服务器通过预置方式发送清理结果，预置方式包括短信方式和邮件方式，具体的，服务器读取已配置的通知人员信息，通知人员信息包括人员角色、人员所属部门、手机号码和邮件地址等，服务器根据预置方式和通知人员信息发送清理结果。例如，服务器从配置文件中读取预置通知方式为001和002，其中，001代表短信方式，002代表邮件方式，服务器获取通知人员信息A、B和C，服务器根据通知人员信息A、B和C各自的手机号码和邮件地址，调用相关接口进行发送清理结果。

可选的，服务器获取预置方式，包括从数据表中进行读取或者从配置文件中读取配置方式，该预置方式可以为短信方式和邮件方式中至少一种方式，其中，短信方式和邮件方式可以使用预置规则进行区分。

本发明实施例中，建立数据存储规则，并根据数据存储规则自动化遍历和清理垃圾数据，提高数据清理效率，同时根据数据跟踪机制，对于误删数据进行恢复，确保删除数据的安全性。

请参阅图2，本发明实施例中数据存储及垃圾数据清理方法的另一个实施例包括：

201、获取预置的数据存储规则，预置的数据存储规则用于描述周期性存储源数据；

服务器获取预置的数据存储规则，预置的数据存储规则用于描述周期性存储源数据。其中，预置的数据存储规则根据实际业务进行确定，例如，若某些业务需求只关注当天、当月、当年和同期值，则其预置的数据存储规则可按2年制存储规则进行设置；而某些业务需求要进行月报，则存储每月数据即可，具体此处不做限定。

具体的，服务器通过执行预置的扫描任务，根据结构化查询语言SQL规则读取数据表，或者从预置文件中进行读取预置的数据存储规则，预置的数据存储规则包括源数据的数据表名和存储时长。例如，实际业务需求包括用户信息数据和操作日志数据的周期性存储，服务器设置用户信息数据的存储规则为永久性存储，设置操作日志数据的存储规则为两个月，其对应的数据表名为operation_log，存储时长为2month。

可选的，服务器对于永久性存储的源数据可以不设置数据存储规则。当周期性存储的源数据更新为永久无效的数据时，服务器需要修改相关源数据的数据存储规则。例如，对于天气预报数据，初始的数据存储规则为当前天的前后各一周时长，由于实际业务需求，将天气预报业务删除，其对应的源数据需要清理，则服务器设置存储时长为0，表示数据全部清理。

需要说明的是，数据存储规则还包括数据存储规则的创建时刻和更新时刻，服务器将数据存储规则写入到数据存储规则表或者数据存储规则文件中，同时会记录其创建时刻，当更新数据存储规则时，服务器修改数据存储表或者文件的更新时刻。便于服务器统一管理和动态扩展数据存储规则。例如，服务器针对操作日志的业务，服务器设置其在数据存储规则表中的创建时刻为2019-03-10 11:00:00，更新时刻为0000-00-00 00:00:00。

202、对预置的数据存储规则进行解析，得到源数据的数据表名和存储时长；

服务器对预置的数据存储规则进行解析，得到源数据的数据表名和存储时长。具体的，服务器从数据表或者文件中得到的预置的数据存储规则为一组数据，该组数据可以为数组方式的数据，也可以为JS对象简谱(JavaScript Object Notation，JSON)格式的数据，具体此处不做限定，服务器需要根据数据表示方式的不同，根据相对应的算法进行解析，得到源数据的数据表名和存储时长，其中，源数据的数据表名和存储时长是一一对应关系。

需要说明的是，JSON是一种轻量级的数据交换格式，采用完全独立于编程语言的文本格式来存储和表示数据。任何数据类型都可以通过JSON的键值对的形式来表示，例如字符串、数字、对象、数组等。

203、根据源数据的数据表名和存储时长生成结构化查询语言SQL查询语句，得到第一SQL语句；

服务器根据源数据的数据表名和存储时长生成结构化查询语言SQL查询语句，得到第一SQL语句。具体的，服务器定时执行预置的扫描任务，该预置的扫描任务用于对所述源数据进行定时遍历查询，进一步地，服务器通过调度系统或者定时器设置扫描任务按照预置周期运行；服务器通过预置的扫描任务读取数据存储规则表，得到源数据的数据表名和存储时长；服务器根据源数据的数据表名和所述存储时长生成结构化查询语言SQL查询语句，得到第一SQL语句。例如，服务器生成的第一SQL语句如下所示，

SELECT列名称FROM数据表名WHERE查询条件；

其中，查询条件根据数据存储时长进行设置。

204、根据第一SQL语句对源数据进行查询，得到查询数据，并将查询数据设置为垃圾数据，垃圾数据包括唯一标识；

服务器根据第一SQL语句对源数据进行查询，得到查询数据，并将查询数据设置为垃圾数据，垃圾数据包括唯一标识。其中，该垃圾数据为服务器通过扫描任务筛选的无前端应用使用的失效数据和过期的数据，并没有区分该垃圾数据是否为重复数据或者异常数据，服务器执行清理垃圾数据则主要针对更新频率高和大数据量的数据表。具体的，服务器连接到对应的数据库后，执行第一SQL语句，得到查询数据，该查询数据包括源数据的唯一标识，将查询数据设置为垃圾数据。

需要说明的是，服务器对源数据进行定时遍历查询，可以是同一时刻查询不同的数据表，也可以是不同的时刻查询不同数据表，当查询数据结束时，服务器会停止相应的线程访问，其中，当检测到垃圾数据条数为0时，服务器确定没有垃圾数据。

205、将垃圾数据的唯一标识写入到预置队列表中，唯一标识用于指示垃圾数据的清理状态，清理状态包括初始状态；

服务器将垃圾数据的唯一标识写入到预置队列表中，唯一标识用于指示垃圾数据的清理状态，清理状态包括初始状态。该预置队列表的字段包括数据表名、唯一标识以及是否清理状态，其中，清理状态字段的初始状态为未清理状态。具体的，服务器根据垃圾数据的唯一标识、数据表名以及扫描时刻生成SQL插入语句，执行SQL插入语句，将垃圾数据写入队列表中。例如，服务器查询得到1000条天气预报过期数据，得到唯一标识从3000到4000，数据表名为weather，扫描时刻为2019-03-15 00:30:00，服务器将唯一标识和数据表名以及扫描时刻记录到队列表queue中。

其中，队列是一种数据的存储结构，一个队列中存储的数据是按照先进先出规则储存的若干消息，若干队列储存在一个队列表中。队列表用于储存很多来自数据库系统的消息，包括数据库如何执行调度各种任务、数据库的状态等等。

206、当定时检测到预置队列表中存在垃圾数据，并且垃圾数据的清理状态为初始状态时，通过预置的清理任务读取预置队列表，得到垃圾数据的唯一标识和数据表名；

当定时检测到预置队列表中存在垃圾数据，并且垃圾数据的清理状态为初始状态时，服务器通过预置的清理任务读取预置队列表，得到垃圾数据的唯一标识和数据表名。具体的，服务器确定待清理的垃圾数据，遍历读取待清理的垃圾数据的数据表名和唯一标识等字段。例如，服务器通过定时执行工具cron定时执行清理任务clean_task，得到预置队列表中包括1000条天气预报信息表的过期数据和5万条操作日志表的过期数据，其中，1000条过期数据和5万条过期数据的唯一标识分别为3000到4000和10000到60000。

需要说明的是，服务器通过预置的清理任务查询垃圾数据，查询清理时刻为0000-00-00 00:00:00，并且清理状态的字段为初始状态，也就是未清理状态的垃圾数据，进一步地，对于清理状态为初始状态，同时当前时刻与清理时刻做差运算后，仍然大于阈值时长的数据也可以进行重复查询和清理。

207、根据垃圾数据的唯一标识和数据表名生成结构化查询语言SQL删除语句，得到第二SQL语句；

服务器根据垃圾数据的唯一标识和数据表名生成结构化查询语言SQL删除语句，得到第二SQL语句。具体的，服务器根据垃圾数据的数据表名、唯一标识和结构化查询语言SQL语法规则生成第二SQL语句，该第二SQL语句包括清理的数据表名称以及清理条件，例如，服务器生成的第二SQL语句如下所示：

DELETE FROM数据表名称WHERE清理条件；

其中，清理条件根据唯一标识进行设置。

需要说明的是，结构化查询语言(structured query language，SQL)是一种数据库查询和程序设计语言，用于存取数据和管理关系数据库系统，SQL语句可以用来执行各种各样的操作，例如，将数据插入数据库中，修改数据库中的数据、从数据库中提取数据以及删除数据等。

208、根据第二SQL语句处理垃圾数据，得到清理结果，清理结果包括清理成功和清理失败；

服务器根据第二SQL语句处理垃圾数据，得到清理结果，清理结果包括清理成功和清理失败。具体的，若根据第二SQL语句将垃圾数据从相关数据表中删除，则服务器确定清理垃圾数据成功；若根据第二SQL语句将垃圾数据从相关数据表中并未删除，则服务器确定清理垃圾数据失败，清理失败后，服务器采用重试清理机制确保再次删除垃圾数据。其中，服务器需要根据实际情况定义每次自动清理垃圾数据的最大数据量。

进一步地，服务器更新已清理的垃圾数据的清理状态和清理时刻，清理状态包括初始状态、清理成功状态和清理失败状态，例如，垃圾数据的初始状态为0，清理成功状态为1，清理失败的状态为2；当检测到清理状态为清理成功状态时，服务器获取当前时刻；服务器根据当前时刻和清理时刻进行差运算，得到运算结果；当检测到运算结果大于预置时长时，服务器将已清理的垃圾数据转移至历史表。例如，服务器获取当前时刻为2019-03-1817:00:00，清理时刻为2019-03-15 00:30:00，预置时长为3day，则服务器将相关清理成功状态的垃圾数据转移至历史表中。

209、通过预置方式发送清理结果，预置方式包括短信方式和邮件方式；

服务器通过预置方式发送清理结果，预置方式包括短信方式和邮件方式。具体的，服务器确定预置方式为短信方式或邮件方式；服务器读取通知人员信息表，得到通知人员信息的标识，通知人员信息表包括人员角色、人员手机号码、人员邮件地址和人员所属部门；服务器判断通知人员信息的标识是否为空值；若通知人员信息的标识不为空值，则服务器根据预置方式和通知人员信息发送所述清理结果；若通知人员信息的标识为空值，则在通知人员信息表中增加通知人员信息，并根据预置方式和增加的通知人员信息发送清理结果。例如，服务器从配置文件中读取预置通知方式为001和002，其中，001代表短信方式，002代表邮件方式，服务器获取通知人员信息A、B和C，服务器根据通知人员信息A、B和C各自的手机号码和邮件地址，调用相关接口进行发送清理结果。

需要说明的是，服务器确定预置方式包括，从数据表中进行读取或者从配置文件中读取预置方式，该预置方式可以为短信方式和邮件方式中至少一种方式，短信方式和邮件方式可以使用预置规则进行区分。

可选的，当检测到恢复已清理的垃圾数据的指令时，服务器停止执行预置的扫描任务和预置的清理任务；服务器对预置队列表或者预置历史表进行遍历读取，得到已清理的垃圾数据的唯一标识和数据表名；根据已清理的垃圾数据的唯一标识和数据表名读取底层清单表，得到备份源数据，底层清单表用于备份存储源数据，其中，底层清单表具有只读属性；将备份源数据写入到已清理的垃圾数据对应的源数据表中，得到恢复的源数据。例如，服务器接收到恢复天气预报数据唯一标识为1001至2000的指令recover，则服务器停止执行预置的扫描任务scan_task和预置的清理任务clean_task。服务器根据唯一标识1001至2000查询底层清单表的天气预报备份数据，得到唯一标识1001至2000对应的备份源数据，服务器将备份源数据重新写入到天气预报信息表中。

本发明实施例中，建立数据存储规则，并根据数据存储规则自动化遍历和清理垃圾数据，提高数据清理效率，同时根据数据跟踪机制，对于误删数据进行恢复，确保删除数据的安全性。

上面对本发明实施例中数据存储及垃圾数据清理方法进行了描述，下面对本发明实施例中数据存储及垃圾数据清理装置进行描述，请参阅图3，本发明实施例中数据存储及垃圾数据清理装置一个实施例包括：

获取单元301，用于获取预置的数据存储规则，预置的数据存储规则用于描述周期性存储源数据；

查询单元302，用于根据预置的数据存储规则对源数据进行定时遍历查询，得到垃圾数据，垃圾数据包括唯一标识；

写入单元303，用于将垃圾数据的唯一标识写入到预置队列表中，唯一标识用于指示垃圾数据的清理状态，清理状态包括初始状态；

清理单元304，当定时检测到预置队列表中存在垃圾数据，并且垃圾数据的清理状态为初始状态时，用于清理垃圾数据，得到清理结果，清理结果包括清理成功和清理失败；

发送单元305，用于通过预置方式发送清理结果，预置方式包括短信方式和邮件方式。

本发明实施例中，建立数据存储规则，并根据数据存储规则自动化遍历和清理垃圾数据，提高数据清理效率，同时根据数据跟踪机制，对于误删数据进行恢复，确保删除数据的安全性。

请参阅图4，本发明实施例中数据存储及垃圾数据清理装置的另一个实施例包括：

获取单元301，用于获取预置的数据存储规则，预置的数据存储规则用于描述周期性存储源数据；

查询单元302，用于根据预置的数据存储规则对源数据进行定时遍历查询，得到垃圾数据，垃圾数据包括唯一标识；

写入单元303，用于将垃圾数据的唯一标识写入到预置队列表中，唯一标识用于指示垃圾数据的清理状态，清理状态包括初始状态；

清理单元304，当定时检测到预置队列表中存在垃圾数据，并且垃圾数据的清理状态为初始状态时，用于清理垃圾数据，得到清理结果，清理结果包括清理成功和清理失败；

发送单元305，用于通过预置方式发送清理结果，预置方式包括短信方式和邮件方式。

可选的，获取单元301还可以具体用于：

通过预置的扫描任务根据结构化查询语言SQL规则读取数据表，得到预置的数据存储规则；或

通过预置的扫描任务从预置文件中进行读取，得到预置的数据存储规则，预置的数据存储规则用于描述周期性存储源数据。

可选的，查询单元302还可以具体用于：

对预置的数据存储规则进行解析，得到源数据的数据表名和存储时长；

根据源数据的数据表名和存储时长生成结构化查询语言SQL查询语句，得到第一SQL语句；

根据第一SQL语句对源数据进行查询，得到查询数据，并将查询数据设置为垃圾数据，垃圾数据包括唯一标识。

可选的，清理单元304还进一步包括：

读取子单元3041，当定时检测到预置队列表中存在垃圾数据，并且垃圾数据的清理状态为初始状态时，用于通过预置的清理任务读取队列表，得到垃圾数据的唯一标识和数据表名；

生成子单元3042，用于根据垃圾数据的唯一标识和数据表名生成结构化查询语言SQL删除语句，得到第二SQL语句；

清理子单元3043，用于根据第二SQL语句处理垃圾数据，得到清理结果，清理结果包括清理成功和清理失败。

可选的，发送单元305还可以具体用于：

确定预置方式为短信方式或邮件方式；

读取通知人员信息表，得到通知人员信息的标识，通知人员信息表包括标识、人员角色、人员手机号码、人员邮件地址和人员所属部门；

判断通知人员信息的标识是否为空值；

若通知人员信息的为空值，则增加通知人员信息；

若通知人员信息的信息不为空值，则根据预置方式和发送人员信息通知清理结果；

若通知人员信息的标识为空值，则在通知人员信息表中增加通知人员信息，并根据预置方式和增加的通知人员信息发送清理结果。

可选的，清理单元304还进一步包括：

更新子单元3044，用于更新已清理的垃圾数据的清理状态和清理时刻，清理状态包括初始状态、清理成功状态和清理失败状态；

获取子单元3045，当检测到清理状态为清理成功状态时，用于获取当前时刻；

计算子单元3046，用于根据当前时刻和清理时刻进行差运算，得到运算结果；

转移子单元3047，当检测到运算结果大于预置时长时，用于将已清理的垃圾数据转移至预置历史表。

可选的，数据存储及垃圾数据清理装置还包括：

停止单元306，当检测到恢复已清理的垃圾数据的指令时，用于停止执行预置的扫描任务和预置的清理任务；

第一读取单元307，用于对预置队列表或者预置历史表进行遍历读取，得到已清理的垃圾数据的唯一标识和数据表名；

第二读取单元308，用于根据已清理的垃圾数据的唯一标识和数据表名读取底层清单表，得到备份源数据，底层清单表用于备份存储源数据。

恢复单元309，用于将备份源数据写入到已清理的垃圾数据对应的源数据表中，得到恢复的源数据。

本发明实施例中，建立数据存储规则，并根据数据存储规则自动化遍历和清理垃圾数据，提高数据清理效率，同时根据数据跟踪机制，对于误删数据进行恢复，确保删除数据的安全性。

上面图3和图4从模块化功能实体的角度对本发明实施例中的数据存储及垃圾数据清理装置进行详细描述，下面从硬件处理的角度对本发明实施例中数据存储及垃圾数据清理设备进行详细描述。

图5是本发明实施例提供的一种数据存储及垃圾数据清理设备的结构示意图，该数据存储及垃圾数据清理设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)501(例如，一个或一个以上处理器)和存储器509，一个或一个以上存储应用程序509或数据509的存储介质508(例如一个或一个以上海量存储设备)。其中，存储器509和存储介质508可以是短暂存储或持久存储。存储在存储介质508的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据存储及垃圾数据清理中的一系列指令操作。更进一步地，处理器501可以设置为与存储介质508通信，在数据存储及垃圾数据清理设备500上执行存储介质508中的一系列指令操作。

数据存储及垃圾数据清理设备500还可以包括一个或一个以上电源502，一个或一个以上有线或无线网络接口503，一个或一个以上输入输出接口504，和/或，一个或一个以上操作系统505，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的数据存储及垃圾数据清理设备结构并不构成对数据存储及垃圾数据清理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据存储及垃圾数据清理方法，其特征在于，包括：

获取预置的数据存储规则，所述预置的数据存储规则用于描述周期性存储源数据；

根据所述预置的数据存储规则对所述源数据进行定时遍历查询，得到垃圾数据，所述垃圾数据包括唯一标识；

将所述垃圾数据的唯一标识写入到预置队列表中，所述唯一标识用于指示所述垃圾数据的清理状态，所述清理状态包括初始状态；

当定时检测到所述预置队列表中存在所述垃圾数据，并且所述垃圾数据的清理状态为所述初始状态时，清理所述垃圾数据，得到清理结果，所述清理结果包括清理成功和清理失败；

通过预置方式发送所述清理结果，所述预置方式包括短信方式和邮件方式。

2.根据权利要求1所述的数据存储及垃圾数据清理方法，其特征在于，所述获取预置的数据存储规则，所述预置的数据存储规则用于描述周期性存储源数据包括：

通过预置的扫描任务根据结构化查询语言SQL规则读取数据表，得到预置的数据存储规则；或

通过所述预置的扫描任务从预置文件中进行读取，得到预置的数据存储规则，所述预置的数据存储规则用于描述周期性存储源数据。

3.根据权利要求2所述的数据存储及垃圾数据清理方法，其特征在于，所述根据所述预置的数据存储规则对所述源数据进行定时遍历查询，得到垃圾数据，所述垃圾数据包括唯一标识包括：

对所述预置的数据存储规则进行解析，得到所述源数据的数据表名和存储时长；

根据所述源数据的数据表名和所述存储时长生成结构化查询语言SQL查询语句，得到第一SQL语句；

根据所述第一SQL语句对所述源数据进行查询，得到查询数据，并将所述查询数据设置为所述垃圾数据，所述垃圾数据包括所述唯一标识。

4.根据权利要求1所述的数据存储及垃圾数据清理方法，其特征在于，所述当定时检测到所述预置队列表中存在所述垃圾数据，并且所述垃圾数据的清理状态为所述初始状态时，清理所述垃圾数据，得到清理结果，所述清理结果包括清理成功和清理失败包括：

当定时检测到所述预置队列表中存在所述垃圾数据，并且所述垃圾数据的清理状态为所述初始状态时，通过预置的清理任务读取所述预置队列表，得到所述垃圾数据的唯一标识和数据表名；

根据所述垃圾数据的唯一标识和数据表名生成结构化查询语言SQL删除语句，得到第二SQL语句；

根据所述第二SQL语句处理所述垃圾数据，得到清理结果，所述清理结果包括清理成功和清理失败。

5.根据权利要求1所述的数据存储及垃圾数据清理方法，其特征在于，所述通过预置方式发送所述清理结果，所述预置方式包括短信方式和邮件方式，包括：

确定所述预置方式为短信方式或邮件方式；

读取通知人员信息表，得到通知人员信息的标识，所述通知人员信息表包括标识、人员角色、人员手机号码、人员邮件地址和人员所属部门；

判断所述通知人员信息的标识是否为空值；

若所述通知人员信息的标识不为空值，则根据所述预置方式和所述通知人员信息发送所述清理结果；

若所述通知人员信息的标识为空值，则在所述通知人员信息表中增加通知人员信息，并根据所述预置方式和增加的通知人员信息发送所述清理结果。

6.根据权利要求4所述的数据存储及垃圾数据清理方法，其特征在于，所述根据所述第二SQL语句处理所述垃圾数据，得到清理结果，所述清理结果包括清理成功和清理失败之后，所述方法还包括：

更新已清理的垃圾数据的清理状态和清理时刻，所述清理状态包括所述初始状态、清理成功状态和清理失败状态；

当检测到所述清理状态为所述清理成功状态时，获取当前时刻；

根据所述当前时刻和所述清理时刻进行差运算，得到运算结果；

当检测到所述运算结果大于预置时长时，将所述已清理的垃圾数据转移至预置历史表。

7.根据权利要求1-6中任意一项所述的数据存储及垃圾数据清理方法，其特征在于，所述方法还包括：

当检测到恢复所述已清理的垃圾数据的指令时，停止执行所述预置的扫描任务和所述预置的清理任务；

对所述预置队列表或者所述预置历史表进行遍历读取，得到所述已清理的垃圾数据的唯一标识和数据表名；

根据所述已清理的垃圾数据的唯一标识和数据表名读取底层清单表，得到备份源数据，所述底层清单表用于备份存储所述源数据；

将所述备份源数据写入到所述已清理的垃圾数据对应的源数据表中，得到恢复的源数据。

8.一种数据存储及垃圾数据清理装置，其特征在于，所述数据存储及垃圾数据清理装置包括：

获取单元，用于获取预置的数据存储规则，所述预置的数据存储规则用于描述周期性存储源数据；

查询单元，用于根据所述预置的数据存储规则对所述源数据进行定时遍历查询，得到垃圾数据，所述垃圾数据包括唯一标识；

写入单元，用于将所述垃圾数据的唯一标识写入到预置队列表中，所述唯一标识用于指示所述垃圾数据的清理状态，所述清理状态包括初始状态；

清理单元，当定时检测到所述预置队列表中存在所述垃圾数据，并且所述垃圾数据的清理状态为所述初始状态时，用于清理所述垃圾数据，得到清理结果，所述清理结果包括清理成功和清理失败；

发送单元，用于通过预置方式发送所述清理结果，所述预置方式包括短信方式和邮件方式。

9.一种基于数据存储及垃圾数据清理设备，其特征在于，所述数据存储及垃圾数据清理设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和对数至少一个处理器通过线路互联；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据存储及垃圾数据清理设备执行如权利要求1-7中任意一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-7中任意一项所述方法的步骤。