CN112002130B - 一种数据管理方法、装置、服务器及计算机可读存储介质 - Google Patents

Abstract

本申请提供一种数据管理方法、装置、服务器及计算机可读存储介质，该方法先获取子文件夹以及子文件夹对应的扫描标记，之后通过子扫描标记来判断子文件夹是否需要进行过期文件扫描，仅在子扫描标记表征子文件夹需要进行过期文件扫描，则获取子文件内的文件并将该文件确定为待分析文件，获取当前时间以及待分析文件的创建时间、有效时间，确定过期文件，回收过期文件对应的存储空间。本申请独创性的为文件夹增加扫描标记字段，基于该字段可以快速的确定该文件夹内的文件是否需要进行过期扫描回收，缩小了分析范围，实现了对文件的快速扫描、分析，提高了存储空间的回收效率。

Description

一种数据管理方法、装置、服务器及计算机可读存储介质

技术领域

本申请涉及智慧交通领域，尤其涉及一种数据管理法、装置、服务器及计算机可读存储介质。

背景技术

随着社会的发展和人们生活节奏的加快，交通工具也越来越多，为保证交通安全、畅通，交警部门在各个卡口都安装了有录像、拍照等功能的前端设备，这些前端设备每天会产生大量的文件，这些文件根据性质和用途，要保留3到12个月等不同的时限，对存储系统构成非常巨大的压力，因此，需要对过期文件进行清理，回收存储空间。

现有技术中，在进行过期文件清理时要对存储系统中所有的文件进行反复扫描、分析，得到过期文件，再删除过期文件。

在对现有技术的研究和实践过程中，本申请的发明人发现现有技术中对所有文件进行扫描的速度慢，周期长。

发明内容

本申请实施例提供一种数据管理方法、装置、服务器及计算机可读存储介质，用以缓解现有的存储空间回收慢的技术问题。

为解决上述技术问题，本申请实施例提供以下技术方案：

一种数据管理方法，包括：

获取子文件夹以及子文件夹对应的子扫描标记；

在所述子扫描标记表征所述子文件夹不需要进行过期文件扫描时，不将所述子文件夹内的文件确定为待分析文件；在所述子扫描标记表征所述子文件夹需要进行过期文件扫描时，获取所述子文件夹内的文件，并确定为待分析文件；所述待分析文件包括过车文件和违法证据文件；

获取当前时间以及所述待分析文件的创建时间、有效时间，确定所述待分析文件中的过期文件；

回收所述过期文件对应的存储空间；

获取所述子文件夹中剩余文件的创建时间及有效时间；

根据剩余文件的创建时间及有效时间，确定所述子文件夹的下一扫描时间；

根据所述下一扫描时间更新所述子文件夹的子扫描标记。

一种数据管理装置，包括：

第一获取模块，用于获取子文件夹以及子文件夹对应的子扫描标记；

第一确定模块，用于在所述子扫描标记表征所述子文件夹不需要进行过期文件扫描时，不将所述子文件夹内的文件确定为待分析文件；在所述子扫描标记表征所述子文件夹需要进行过期文件扫描时，获取所述子文件夹内的文件，并确定为待分析文件；所述待分析文件包括过车文件和违法证据文件；

分析模块，用于获取当前时间以及所述待分析文件的创建时间、有效时间，确定所述待分析文件中的过期文件；

回收模块，用于回收所述过期文件对应的存储空间；

第二获取模块，用于获取所述子文件夹中剩余文件的创建时间及有效时间；

第二确定模块，用于根据剩余文件的创建时间及有效时间，确定所述子文件夹的下一扫描时间；

更新模块，用于根据所述下一扫描时间更新所述子文件夹的子扫描标记。

本申请实施例提供一种服务器，包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的数据管理方法。

本申请实施例还提供一种计算机可读存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行上述数据管理方法。

有益效果：本申请实施例提供一种数据管理方法、装置、服务器及计算机可读存储介质，基于该方法，先获取存储系统中子文件夹以及子文件夹对应的扫描标记,通过子文件夹对应的扫描标记判断所述子文件夹中的文件是否需要进行过期文件扫描，仅在子扫描标记表征该子文件夹对应的文件需要进行过期文件扫描，将此文件确定为待分析文件，若该子文件夹对应的文件不需要扫描时，则跳过此文件夹；再根据待扫描分析的文件创建时间、有效时间与当前时间对比，得到过期文件；最后删除过期文件，回收过期文件所占用的存储空间。本申请提供的数据管理方法，独创性的为文件夹增加扫描标记字段，基于该字段可以快速的确定该文件夹内的文件是否需要进行过期扫描回收，只扫描必要的文件，缩小了分析范围，在海量文件、存储结构的无序性的前提下，实现了对超期文件的快速扫描、分析，提高了存储空间回收效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的数据管理系统的场景示意图。

图2为本申请实施例提供的数据管理方法的流程示意图。

图3为本申请实施例提供的数据管理方法的模型示意图。

图4为本申请实施例提供的数据管理方法中根文件夹的组成示意图。

图5为本申请实施例提供的数据管理方法中的待扫描文件被扫描示意图。

图6为本申请实施例提供的数据管理方法中待分析文件的排列顺序图。

图7为本申请实施例提供的数据管理方法中的待分析文件被分析示意图。

图8为本申请实施例提供的服务器的结构示意图。

图9为本申请实施例提供的子文件夹设置扫描标记前的文件夹属性示意图。

图10为本申请实施例提供的子文件夹设置扫描标记后的文件夹属性示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种数据管理方法、装置、服务器及计算机可读存储介质。

本申请涉及的扫描标记包括子扫描标记和父扫描标记，它们二者在实质上没有任何差别，它们的命名只是为了区分扫描标记对应的文件夹是子文件夹还是父文件夹。

本申请涉及的待分析文件包括过车文件和违法证据文件等，过车文件包括持续产生的过车图片等，违法证据文件包括持续产生的违法图片等。

请参阅图1，图1是本申请实施例提供的数据管理方法的场景示意图，用于智慧交通系统。所述智慧交通系统，是指在交通领域，以维护国家安全和社会稳定、预防和打击违法犯罪活动为目的，综合应用视音频监控、通信、计算机网络、系统集成等技术，构建的具有信息采集、传输、交换、控制、显示、存储、处理等功能的能够实现不同设备及系统间互联、互通、互控的综合网络系统。包括：前端设备和服务器，在本申请实施例中，所述前端设备，是指智慧交通系统中安装于监控现场的用于信息采集、编码、处理、存储、传输、安全控制的设备，前端设备包括图片采集设备与视频采集设备。

本申请实施例所提供的数据管理方法的场景示意图，包括：前端设备和服务器，其中：

前端设备12负责对车辆图片进行采集，前端设备13负责对车辆行驶过程中的视频进行采集；

服务器11包括本地服务器和/或远程服务器等；

前端设备采集到的车辆图片和车辆行驶视频等通过有线或者无线网络传输到数据服务器中，数据服务器对接收到的图片和视频数据进行处理和存储，对已经储存在服务器中过期图片和视频数据进行清理。其中：

分布在各个交通卡口的前端设备12、前端设备13分别采集经过不同卡口的车辆图片和车辆行驶视频；

采集到的车辆图片和车辆行驶视频数据通过有线或者无线网络传输到服务器11并存放在存储器中；

服务器11对已经存放在存储器中的车辆图片和行驶视频数据进行管理，采用周期性的清理的方法，回收过期车辆图片和行驶视频所占用的存储空间。

需要说明的是，图1所示的数据管理方法场景示意图仅仅是一个示例，本申请实施例描述的服务器以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

请参阅图2，图2是本申请实施例提供的数据管理方法的流程示意图，该方法包括：

201：获取子文件夹以及子文件夹对应的子扫描标记。

在一种实施例中，子文件夹的子扫描标记与子文件夹中的各文件失效时间中最早的时间相关，扫描标记可以采用时间或者次数的方式实现。

在扫描标记采用时间方式实现时，子文件夹的子扫描标记可以设置或者更新为该子文件夹中的各文件失效时间中最早的时间，其中失效时间T计算公式为：T=T1+T2,其中T1为文件创建时间，T2为该文件有效时间；在扫描标记采用次数方式实现时，子文件夹的子扫描标记的设置或者更新结果可以与该子文件夹中的各文件失效时间中最早的时间、更新扫描标记时的本地时间t的差值以及扫描周期相关，其中失效时间T计算公式为：T=T1+T2,其中T1为文件创建时间，T2为该文件有效时间，子扫描标记为：（T-t）／h（次），其中，t为更新扫描标记时的本地时间，h为扫描周期。

在实际情况中，不同的文件具有不同性质和用途，不同性质的文件保留的时限不一样，而不同的子文件夹对应的文件性质不同，即有效时间不同，相同性质的文件会放在同一个文件夹里，如过车照片只需保留3个月，而违法照片要保留6个月（根据业务和存储空间而定）。因此，每一个文件的失效时间需要逐一分开计算。以下内容为例，来说明如何确定扫描标记，W1、W2为父文件夹W中的两个不同的子文件夹，其中，子文件夹W1中存放的是过车照片，子文件夹W2中存放的是违法照片。

以扫描标记采用时间方式实现为例，子文件夹W1中包含有W11、W12两个文件，文件W11的创建时间是2019.4.2，文件W12的创建时间是2019.1.3，则文件W11的失效时间是2019.7.2，文件W12的失效时间是2019.4.3，文件夹W1中文件最早的失效时间为2019.4.3，则子文件夹W1对应的扫描标记为2019.4.3。子文件夹W2中包含有W21、W22两个文件，文件W21的创建时间是2019.4.2，文件W22的创建时间是2019.1.3，则文件W21的失效时间是2019.10.2，文件W22的失效时间是2019.7.3，文件夹W2中文件最早的失效时间为2019.7.3，则子文件夹W2对应的扫描标记为2019.7.3。

以扫描标记采用次数方式实现为例，子文件夹W1中包含有W11、W12两个文件，文件W11的创建时间是2019.4.2，文件W12的创建时间是2019.1.3，则文件W11的失效时间是2019.7.2，文件W12的失效时间是2019.4.3，文件夹W1中文件最早的失效时间为2019.4.3，在更新扫描标记时的本地时间为2019.3.3，扫描周期为1天，则子文件夹W1对应的扫描标记为30天（最早的失效时间2019.4.3和本地时间2019.3.3的差值）除以1天（扫描周期），即文件夹W1对应的扫描标记为30。子文件夹W2中包含有W21、W22两个文件，文件W21的创建时间是2019.4.2，文件W22的创建时间是2019.1.3，则文件W21的失效时间是2019.10.2，文件W22的失效时间是2019.7.3，文件夹W2中文件最早的失效时间为2019.7.3，在更新扫描标记时的本地时间为2019.7.1，扫描周期为1天，则子文件夹W2对应的扫描标记为2天（最早的失效时间2019.7.3和本地时间2019.7.1的差值）除以1天（扫描周期），即文件夹W2对应的扫描标记为2。

其中，子扫描标记可以设置在对应的子文件夹的文件名中，如子文件夹W1没有设置子扫描标记的文件夹名称是“过车照片”，设置子扫描标记后的文件夹名称是“过车照片2019.4.3”；子文件夹W2没有设置子扫描标记的文件夹名称是“违法照片”，设置子扫描标记后的文件夹名称是“违法照片2019.7.3”。

子扫描标记可以设置在对应的子文件夹的文件属性中，子文件夹W1没有设置子扫描标记的文件夹属性如图9所示，设置子扫描标记后的文件夹属性如图10所示。

202：在所述子扫描标记表征所述子文件夹不需要进行过期文件扫描时，不将所述子文件夹内的文件确定为待分析文件；在所述子扫描标记表征所述子文件夹需要进行过期文件扫描时，获取所述子文件夹内的文件，并确定为待分析文件；所述待分析文件包括过车文件和违法证据文件。

以扫描标记采用时间方式实现为例，扫描器通过子扫描标记与当前时间对比来判断所述子文件夹是否需要进行过期文件扫描，若当前时间大于子扫描标记，则将所述子文件夹中文件确定为待分析文件，若当前时间小于子扫描标记，则跳过所述子文件夹，扫描下一个子文件夹。

下文来说明如何通过子文件夹的子扫描标记来确定是否需要进行过期文件扫描。还是以上述子文件夹W1、W2为例来说明，假设当前时间为2019.4.4，将当前时间2019.4.4与W1的扫描标记2019.4.3对比，当前时间2019.4.4大于扫描标记2019.4.3，则已经到扫描时间，将子文件夹W1中的文件W11、W12确定为待扫描文件，再继续扫描下一个子文件夹；将当前时间2019.4.4与W2的扫描标记2019.7.3对比，当前时间2019.4.4小于扫描标记2019.7.3，则没有到扫描时间，直接跳过该子文件夹内的文件，扫描下一个子文件夹。

以扫描标记采用次数方式实现为例，扫描器通过判断子扫描标记是否为0来判断所述子文件夹是否需要进行过期文件扫描，若子扫描标记为0，则将所述子文件夹中文件确定为待分析文件，若子扫描标记不为0（大于0），则跳过所述子文件夹并将该子文件夹的扫描标记减一，扫描下一个子文件夹。

下文来说明如何通过子文件夹的子扫描标记来确定是否需要进行过期文件扫描。还是以上述子文件夹W1、W2为例来说明，假设W1的扫描标记为0，则已经到扫描时间，将子文件夹W1中的文件W11、W12确定为待扫描文件，再继续扫描下一个子文件夹；假设W2的扫描标记为20，则没有到扫描时间，将扫描标记20减一更新为19后直接跳过该子文件夹内的文件，扫描下一个子文件夹。203：获取当前时间以及待分析文件的创建时间、有效时间，确定待分析文件中的过期文件。

不同的文件具有不同性质和用途，不同性质的文件保留的时限不一样，如过车照片只需保留3个月，而违法照片要保留6个月（根据业务和存储空间而定）。

因此，首先需要分析器从文件名中能够识别出文件的性质和用途，之后根据文件的性质和用途确定文件的有效时间。

具体的，首先将各性质的文件对应的正则表达式及相应的时限对照表存放在存储系统中，分析器将待分析文件的文件名与正则表达式做匹配，确定待分析文件的性质和用途，然后将待分析文件的创建时间与当前时间作比较，若待分析文件的当前时间与文件创建时间的差大于该文件有效时间，则该文件已过期，将该文件的文件名加入到过期文件列表中，若当前时间与文件创建时间的差小于该文件的有效时间，则该文件未过期，跳过，分析下一个待分析文件，文件名特征描述与正则表达式的对应关系举例如表1所示：

204：回收过期文件对应的存储空间。

回收器根据过期文件列表，对存储系统进行文件删除操作，从而回收存储空间。

205：获取所述子文件夹中剩余文件的创建时间及有效时间。

206：根据剩余文件的创建时间及有效时间，确定所述子文件夹的下一扫描时间。

207：根据所述下一扫描时间更新所述子文件夹的扫描标记。

通过步骤205至步骤207，在回收所述过期文件对应的存储空间之后，实现了更新子文件夹对应的扫描标记的功能，这样每个子文件夹对应的子扫描标记都是最新且有效准确的，可以准确的表征下一扫描触发的时机，避免了重复扫描或者遗漏扫描等问题。

其中，所述子文件夹的下一扫描时间是子文件夹中的各剩余子文件失效时间中最早的时间，其中失效时间T计算公式为：T=T1+T2,其中T1为文件创建时间，T2为该文件有效时间。将子文件夹中剩余文件的失效时间逐一计算出来，找出所述剩余文件中失效时间中最早的时间，最后，根据所述失效时间中最早的时间更新所述子文件夹原先的扫描标记，具体的更新方式可以参考前文设置扫描标记的方式。

当回收器完成所有的工作，而扫描器在一定时间内不再扫描到新的目录或文件，则结束当前工作，上述过程为一个周期。一般情况下，一天完成一个周期，一个周期工作完成后会自动停止工作，等待第二天再重新开始工作。如此反复，保证存储空间的持续回收。

在一些实施例中，存储系统会存入新建的业务功能的文件夹，如记录车辆行驶视频的文件对应的文件夹，此新建文件夹没有被扫描过，也就没有扫描标记，则需要将所述记录车辆行驶视频文件夹中的所有文件确定为待分析文件，再获取当前时间以及待分析文件的创建时间、有效时间，确定待分析文件中的过期文件，最后，删除过期文件，回收过期文件所占用的存储空间，删除过期文件后，还可以为该新建文件夹设置扫描标记并进行更新，更新文件夹扫描标记的方法会在之后内容中详细说明，在此不作赘述。

现对比当前的热门回收技术说明本申请方案的先进性。

当前第一种热门回收技术的方案为：对文件系统的各预设目录设置待删除标记，将所述待删除目录的特征信息记录到待删除目录列表中，部分目录具有有限的时效性，当经过预设时间周期后可采取删除操作，每隔预设周期将待删除时间小于当前系统时间的预设目录设置为待删除目录，待删除标记包括待删除时间，删除该待删除目录以及该目录内的文件。

在该方案中，需要将具备时效性的文件放置到同一个具有有限时效性的目录（即文件夹）中，该文件夹内的文件会被同一时间删除，即该文件夹内的文件具备相同的失效时间，不能存在失效时间不同的文件；该技术基础决定了该方案无法运用到本申请涉及的交管领域。

因为在交管领域，过车文件和违法证据文件等文件是持续产生的，并且相同类型的文件会被存储到同一个文件夹（目录）下，这样同一文件夹内的文件必然会存在不同的失效时间，不存在同一文件夹内所有文件的失效时间都相同的实施基础；若需要强行将该技术运用到交管领域，则需要每个扫描周期都为相同失效时间的文件创建一个文件夹，将其代入实际场景中，以市级或者省级单位为例，需要以天为周期，每天为该天内产生的过车文件和违法证据文件生成一个文件夹，在回收文件时，会整个回收文件夹以及文件夹内的文件，产生很多的文件碎片以及存储资源碎片；而若采用本申请上文描述的方案，通过动态更新文件夹的扫描标记实现了同一个文件夹的长期使用，并且可以根据子文件夹的扫描标记确定该文件夹内的文件是否需要进行超期扫描，降低了扫描负担，例如上文描述在某次扫描过程中可以仅对过车文件进行扫描，而不需要对违法证据文件进行扫描，将其代入实际场景中，以市级或者省级单位为例，违法证据文件是十亿或者万亿量级，若在某次扫描时不需要扫描违法证据文件是否失效，可以大大降低资源消耗。

当前第二种热门回收技术的方案为：获得云存储系统所存储的文件的元信息，所述元信息中至少包括文件创建时间、用户ID和文件名称，所述文件创建时间属于精确到预定时间精度的时间；将所述元信息保存至第一数据表中，所述第一数据表设置有主键，所述主键包括第一目标列和第二目标列，所述第一目标列用于存储文件创建时间，所述第二目标列用于存储文件标识，所述文件标识基于所述用户ID和文件名称所确定，在第一数据表中根据每个文件的文件创建时间对文件进行排序，在回收文件时，根据第一数据表的每个文件的文件创建时间、有效期以及当前时间，对所有文件进行分析以逐一对比。

在该方案中，在进行过期文件删除时，需要根据第一数据表的每个文件的文件创建时间、有效期以及当前时间，对所有文件进行分析以逐一对比，将其运用到交管领域，在每次扫描时，都需要对所有的过车文件和违法证据文件都进行失效时间与当前时间的对比，并不能如本申请那么可能仅对过车文件进行扫描，本申请与之相比，在违法证据文件是十亿或者万亿量级的情况下，可以大大降低扫描时间和资源消耗。

总之，本申请与当前的热门回收技术相比，可以大大降低扫描资源消耗以及资源碎片，具备先进性。

由上述分析可知，本申请提供的数据管理方法，独创性的为文件夹增加扫描标记字段，基于该字段可以快速的确定该文件夹内的文件是否需要进行过期扫描回收；具体的，先获取储存系统中的子文件夹及子文件夹对应的子扫描标记，其中，子文件夹的子扫描标记是子文件夹中的各子文件下一扫描时间中最早的时间。再获取当前时间，将当前时间与子扫描标记时间对比，若当前时间大于子扫描标记，则将该文件夹中文件确定为待分析文件，若当前时间小于子扫描标记，则跳过该文件夹，扫描下一个文件夹。再对待分析文件进行分析，将待分析文件的创建时间与当前时间作比较，若待分析文件的当前时间与文件创建时间的差大于该文件有效时间，则该文件已过期，将该文件的文件名加入到过期文件列表中，若当前时间与文件创建时间的差小于该文件的有效时间，则该文件未过期，跳过，分析下一个文件。最后，清除过期文件列表中的文件，回收过期文件所占用的存储空间。

在一些实施方式中，文件夹包括根文件夹、从属于根文件夹的父文件夹，从属于父文件夹的子文件夹；即父文件夹包括子文件夹，那么，图2所示的方法在所述获取子文件以及子文件夹对应的子扫描标记的步骤之前，还包括：

获取父文件夹以及父文件夹对应的父扫描标记；

在所述父扫描标记表征所述父文件夹需要进行过期文件扫描时，获取所述父文件夹内的子文件夹，并确定为待扫描子文件夹；

其中，父文件夹对应的父扫描标记可以是各子文件夹的扫描标记中的最早时间或者最小次数，子文件夹的扫描标记在上文中已经仔细说明过，在此不做赘述。若当前时间大于父扫描标记，则获取所述父文件夹内的子文件夹以及子文件夹对应的子扫描标记，若当前时间小于父扫描标记，则跳过所述父文件夹，扫描下一个父文件夹。确定待扫描子文件夹后，需要分别再进行是否进行过期扫描的判断，判断的方法如以上内容所述，即：

扫描器通过各个待扫描子文件夹的子扫描标记与当前时间对比来判断所述子文件夹是否需要进行过期文件扫描，若当前时间小于子扫描标记，则跳过所述子文件夹，扫描下一个子文件夹，若当前时间大于子扫描标记，则将所述子文件夹中文件确定为待分析文件。获取当前时间以及待分析文件的创建时间、有效时间，确定待分析文件中的过期文件，最后，回收过期文件对应的存储空间。

以上述父文件夹W包含W1、W2两个不同的子文件夹为例来说明对父文件夹设置父扫描标记。其中，子文件夹W1对应的扫描标记为2019.4.3，子文件夹W2对应的扫描标记为2019.7.3，则父文件夹W对应的父扫描标记为2019.4.3。

在一些实施例中，更新子文件夹的扫描标记之后，更新父文件夹对应的扫描标记，具体步骤包括：

获取所述父文件夹中剩余子文件对应的子扫描标记；

将剩余子文件夹对应的子扫描标记中的最早扫描标记更新为父文件夹的父扫描标记。

在一些实施例中，父文件夹还包括文件，在所述获取所述父文件夹内的子文件夹，并确定为待分析子文件夹的步骤之后，还包括：将所述父文件夹内的文件作为待分析文件，再获取当前时间以及待分析文件的创建时间、有效时间，确定待分析文件中的过期文件，最后，回收过期文件对应的存储空间。

为便于更好的实施本申请实施例提供的数据管理方法，如图3所示，本申请实施例还提供一种基于上述数据管理方法的装置，包括：扫描器301、分析器302、回收器303。其中名词的含义与上述信息通信方法中相同，具体实现细节可以参考方法实施例中的说明。其中：

扫描器301用于获取存储系统中存储文件的文件夹及文件夹对应的扫描标记，确定所述文件夹中的文件是否需要进行过期文件扫描，若文件夹对应的扫描标记表征所述文件夹内的文件需要进行过期文件扫描时，将该文件确定为待分析文件；

分析器302用于根据待分析文件的创建时间、有效时间与当前时间对比，得出过期文件，并将过期文件对应的过期文件名加入到过期文件列表中；

回收器303用于根据过期文件列表，删除过期文件名对应的过期文件，从而回收存储空间。

即：先经过扫描器扫描得到待分析文件，待分析文件再经过分析器分析得到过期文件列表，最后，再由回收器删除过期文件列表中过期文件名对应得过期文件，收回过期文件所占用的存储空间。当回收器完成所有的工作前，扫描器在一定时间内不再扫描任何文件夹，回收器完成当前工作后，上述过程为一个周期。一般情况下，一天完成一个周期，一个周期工作完成后会自动停止工作，等待第二天再重新开始工作。如此反复，保证存储空间的持续回收。

具体的，扫描器301，用于扫描文件夹，确定所述文件夹中的待扫描文件；

获取存放在存储器中的子文件夹以及子文件夹对应的子扫描标记，其中子文件夹的子扫描标记是子文件夹中的各子文件下一扫描时间中最早的时间，其中下一扫描时间T计算公式为：T=T1+T2,其中T1为文件创建时间，T2为该文件有效时间。

扫描器301通过子扫描标记与当前时间对比来判断所述子文件夹是否需要进行过期文件扫描，若当前时间大于子扫描标记，则将所述子文件夹中文件确定为待分析文件，若当前时间小于子扫描标记，则跳过所述子文件夹，扫描下一个文件夹。

具体的，分析器302，用于分析待分析文件，确定所述待分析文件中的过期文件，得到过期文件列表，并更新文件夹扫描标记。

分析器302首先获取当前时间以及各待分析文件的创建时间、有效时间，再将各待分析文件的当前时间与文件创建时间的差与所述待分析文件的有效时间比较来确定所述待分析文件是否过期。

其中，不同的文件具有不同性质和用途，所以不同性质的文件保留的时限不一样，即有效时间不一样，如过车照片只需保留3个月，而违法照片要保留6个月（根据业务和存储空间而定）。因此，首先需要分析器302从文件名中能够识别出文件的性质和用途。

不同性质的文件对应的正则表达式及相应的时限对照表存放在存储系统中，分析器302将待分析文件的文件名与正则表达式做匹配，确定文件的性质和用途，然后将待分析文件的创建时间与当前时间作比较，若待分析文件的当前时间与文件创建时间的差大于该文件有效时间，则该文件已过期，将该文件的文件名加入到过期文件列表中，若当前时间与文件创建时间的差小于该文件的有效时间，则该文件未过期，跳过，分析下一个待分析文件。

回收器303，用于回收过期文件所占用的存储空间。

在一些实施例中，回收器303根据分析器302得到的过期文件列表，对过期文件列表中过期文件名对应的过期文件进行删除操作，从而回收过期文件所占用的存储空间。

在一些实施例中，扫描文件的顺序可以是根据队列的顺序，遵循先进先出原则，从左到右被扫描，排列在右边的文件先被扫描。以下内容是对扫描顺序的详细说明。

在一些实施例中，扫描队列用于存储需要扫描的文件夹（包括根文件夹、父文件夹以及子文件夹等），分析队列用于存储需要进行超期分析的待分析文件；扫描器和分析器之前通过一个分析队列连接，扫描器和扫描队列相互通信，扫描队列和分析队列都遵守先进先出原则。

在一种实施例中，所述获取子文件夹以及子文件夹对应的子扫描标记的步骤，包括:调用第一扫描器以及至少一个第二扫描器；使用所述第一扫描器扫描根文件夹，得到所述根文件夹下的文件夹，并将文件夹加入扫描队列，所述文件夹包括父文件夹和/或子文件夹；根据所述第一扫描器以及所述第二扫描器的扫描状态，调用所述第一扫描器或所述第二扫描器依次处理所述扫描队列的文件夹，以获取并基于子文件夹对应的子扫描标记或者父文件夹对应的父扫描标记得到所述待分析文件，并将所述待分析文件加入分析队列。

具体的，所述根据所述第一扫描器以及所述第二扫描器的扫描状态，调用所述第一扫描器或所述第二扫描器依次处理所述扫描队列的文件夹的步骤，包括：在所述扫描状态表征对应的第一扫描器或第二扫描器空闲（即完成了前一时间的文件夹扫描）时，从所述扫描队列中分配一个文件夹至空闲的扫描器。

在一种实施例中，所述获取当前时间以及所述待分析文件的创建时间、有效时间，确定所述待分析文件中的过期文件的步骤，包括：调用至少两个分析器；根据所述分析器的处理状态，调用所述分析器依次处理所述分析队列的待分析文件，以获取当前时间以及所述待分析文件的创建时间、有效时间，确定所述待分析文件中的过期文件。

如图4所示，为说明方便假设存储系统中有一个根文件夹Z包含三个父文件夹A、B、C，其中父文件夹A包含一个子文件夹A1，父文件夹B包含两个子文件夹B1、B2，父文件夹C包含三个子文件夹C1、C2、C3，其中子文件夹C3又包含两个子文件夹C31、C32，其中父文件夹A、B、C在存储系统的文件夹列表中的排列顺序是由存储系统内部设定决定的，他们的排队顺序可以根据文件夹生成时间、文件名称大小、文件类别等方式进行排列，在此不做限定，同理，父文件对应的文件或者子文件夹及子文件在存储系统的文件列表中的排列顺序也是由存储系统内部设定决定的，在此不作赘述，为说明方便将排列在系统文件列表中第一个的父文件夹称为A，排列在中间的父文件夹称为B，排列在最后的文件夹称为C，其中A文件夹中排列在前面的第一个文件夹称为A1，B文件夹中排列在前面的第一个文件夹称为B1,第二个文件夹称为B2，C文件夹中排列在前面第一个文件夹称为C1，第二个文件夹为C2，第三个文件夹为C3。则存储系统中文件夹的排列顺序为:ABCA1B1B2C1C2C3C31C32，存储系统中文件夹的排列顺序即为文件夹的扫描顺序。

在一些实施例中，针对图4所示的文件列表，可以为每个父文件夹分配一个扫描器和分析器，例如使用第一扫描器扫描根文件Z，得到父文件夹A、B、C，然后分别为父文件夹A、B、C分别分配一个第二扫描器和分析器。父文件夹A对应的第二扫描器扫描到子文件夹A1后，即可以将父文件夹A内所有的待分析文件加入父文件夹A对应分析器的分析队列中，父文件夹A对应分析器即可快速完成文件的超期分析；父文件夹B对应的第二扫描器扫描到子文件夹B1和B2后，即可以将父文件夹B内所有的待分析文件加入父文件夹B对应分析器的分析队列中，父文件夹B对应分析器即可快速完成文件的超期分析；而父文件夹C对应的第二扫描器扫描到子文件夹C1、C2、C31和C32后，才可以将父文件夹C内所有的待分析文件加入父文件夹C对应分析器的分析队列中，父文件夹C对应分析器才能进行文件的超期分析。在该模式中，父文件夹A对应的第二扫描器和分析器很快就闲下来了，而父文件夹C对应的第二扫描器和分析器是最忙的，这就导致线程（即扫描器和分析器）负荷的极大不均衡。

在一些实施例中，为了解决前一扫描和分析模式存在的负载不均衡的情况，系统对文件进行扫描时可以根据实际需求来确定扫描器的数量，如图5所示为扫描器仅包括扫描器1（即上文中的第一扫描器）、扫描器2（即上文中的第二扫描器）扫描文件的情况。还是以上述根文件Z包含的A、B、C三个父文件夹为例，如图4至图7所示：

t0时刻，扫描队列仅包括根文件Z;

在t1时刻，根文件Z被分配至扫描器1扫描；扫描器1扫描根文件Z得到父文件夹A、B、C，并将其加入扫描队列，此时扫描队列包括父文件夹A、B、C；

在t2时刻，父文件夹A被分配至扫描器2扫描，父文件夹B被分配至扫描器1扫描；扫描器2基于父文件夹A的父扫描标识（表征文件夹A需要扫描）得到子文件夹A1加入扫描队列；扫描器1基于父文件夹B的父扫描标识（表征文件夹B需要扫描）得到子文件夹B1、B2加入扫描队列；此时，如图5所示，扫描队列包括父文件夹C、子文件夹A1、B1、B2；

在t3时刻，父文件夹C被分配至扫描器2扫描，子文件夹A1被分配至扫描器1扫描；扫描器2基于父文件夹C的父扫描标识（表征文件夹C需要扫描）得到子文件夹C1、C2、C3加入扫描队列；扫描器1基于子文件夹A1的子扫描标记（表征文件夹A1需要扫描）得到子文件夹A1内的所有文件（如图6中的文件D11、D12以及D13）、并作为待分析文件加入扫描队列；此时，如图5所示，扫描队列包括子文件夹B1、B2、C1、C2、C3，如图7所示，调用至少2个分析器开始分析工作，分析队列包括文件D11、D12以及D13；

在t4时刻，子文件夹B1被分配至扫描器2扫描，子文件夹B2被分配至扫描器1扫描；扫描器2基于子文件夹B1的子扫描标识（表征子文件夹B1不需要扫描）跳过子文件夹B1，即不将子文件夹B1内的文件加入分析队列；扫描器1基于子文件夹B2的子扫描标识（表征子文件夹B2不需要扫描）跳过子文件夹B2，即不将子文件夹B2内的文件加入分析队列；此时，如图5所示，扫描队列包括子文件夹C1、C2、C3，如图7所示，分析器1开始分析文件D11是否失效，分析器2开始分析文件D12是否失效，分析队列包括文件D13；

在t5时刻，子文件夹C1被分配至扫描器2扫描，子文件夹C2被分配至扫描器1扫描；扫描器2基于子文件夹C1的子扫描标识（表征子文件夹C1不需要扫描）跳过子文件夹C1，即不将子文件夹C1内的文件加入分析队列；扫描器1基于子文件夹C2的子扫描标识（表征子文件夹C2需要扫描）得到子文件夹C2内的所有文件（如图6中的文件D14以及D15）、并作为待分析文件加入分析队列；此时，如图5所示，扫描队列包括子文件夹C3，如图7所示，分析器1开始分析文件D13是否失效，分析器2分析文件D12是否失效之后处于空闲状态，分析队列包括文件D14以及D15；

在t6时刻，子文件夹C3被分配至扫描器2扫描，扫描器1处于空闲状态；扫描器2基于子文件夹C3的子扫描标识（表征子文件夹C3需要扫描）得到子文件夹C31、C32并加入扫描队列；此时，如图5所示，扫描队列包括子文件夹C31和C32，如图7所示，分析器2开始分析文件D14是否失效，分析器1开始分析文件D15是否失效，分析队列为空；

在t7时刻，子文件夹C31被分配至扫描器1扫描，子文件夹C32被分配至扫描器2扫描；扫描器1基于子文件夹C31的子扫描标识（表征子文件夹C31需要扫描）得到子文件夹C31内的所有文件（如图6中的文件D16以及D17）、并作为待分析文件加入分析队列；扫描器2基于子文件夹C32的子扫描标识（表征子文件夹C32不需要扫描）跳过子文件夹C32，即不将子文件夹C32内的文件加入分析队列；此时，如图5所示，扫描队列为空，如图7所示，分析器1和分析器2为空闲状态，分析队列包括文件D16和D17；

在t8时刻，扫描器1和扫描器2为空闲状态；分析器1开始分析文件D15是否失效，分析器2开始分析文件D16是否失效，分析队列为空；

在t9时刻，扫描器1、扫描器2、分析器1和分析器2均为空闲状态，本周期扫描结束。

在实际的交管领域，由于文件夹和待分析文件的数量级，在扫描结束之前，扫描队列和分析队列会一直存在文件夹和待分析文件，那么扫描器和分析器也不会在一个扫描时间段（扫描一个文件夹所需要的时间长度，即t1等）或者分析时间段（分析一个文件是否超期所需要的时间长度，即t2等）都处于空闲状态。

扫描器在扫描文件夹时，其扫描状态为工作状态，在没有扫描文件夹时，其扫描状态为空闲状态；分析器在分析文件是否超期时，其处理状态为工作状态，在没有分析文件是否超期扫描文件夹时，其处理状态为空闲状态。

基于上述描述可知，本申请将多个扫描器配置为共用一个扫描队列，将多个分析器配置为共用一个分析队列，基于扫描器或者分析器的状态，进行扫描任务和分析任务的分配，实现了负载均衡。

对应的，本申请也提供了一种数据管理装置，其包括：

第一获取模块，用于获取子文件夹以及子文件夹对应的子扫描标记；

第一确定模块，用于在所述子扫描标记表征所述子文件夹不需要进行过期文件扫描时，不将所述子文件夹内的文件确定为待分析文件；在所述子扫描标记表征所述子文件夹需要进行过期文件扫描时，获取所述子文件夹内的文件，并确定为待分析文件；所述待分析文件包括过车文件和违法证据文件；

分析模块，用于获取当前时间以及所述待分析文件的创建时间、有效时间，确定所述待分析文件中的过期文件；

回收模块，用于回收所述过期文件对应的存储空间；

第二获取模块，用于获取所述子文件夹中剩余文件的创建时间及有效时间；

第二确定模块，用于根据剩余文件的创建时间及有效时间，确定所述子文件夹的下一扫描时间；

更新模块，用于根据所述下一扫描时间更新所述子文件夹的子扫描标记。

本申请实施例还提供一种服务器，如图8所示，其示出了本申请实施例所涉及的服务器的结构示意图，具体来讲：

该服务器包括一个或者一个以上处理核心的处理器801、一个或一个以上计算机可读存储介质的存储器802、电源804和输入单元803等部件。本领域技术人员可以理解，图8中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器801是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器802内的软件程序和/或模块，以及调用存储在存储器802内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器801可包括一个或多个处理核心；优选的，处理器801可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器801中。

存储器802可用于存储软件程序以及模块，处理器801通过运行存储在存储器802的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器802可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器802还可以包括存储器控制器，以提供处理器801对存储器802的访问。

服务器还包括给各个部件供电的电源804，优选的，电源804可以通过电源管理系统与处理器801逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源804还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该服务器还可包括输入单元803，该输入单元803可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，服务器还可以包括显示处理器等，在此不再赘述。具体在本实施例中，服务器中的处理器801会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器802中，并由处理器801来运行存储在存储器802中的应用程序，从而实现各种功能，如下：

获取子文件夹以及子文件夹对应的子扫描标记；

在所述子扫描标记表征所述子文件夹不需要进行过期文件扫描时，不将所述子文件夹内的文件确定为待分析文件；在所述子扫描标记表征所述子文件夹需要进行过期文件扫描时，获取所述子文件夹内的文件，并确定为待分析文件；所述待分析文件包括过车文件和违法证据文件；

获取当前时间以及所述待分析文件的创建时间、有效时间，确定所述待分析文件中的过期文件；

回收所述过期文件对应的存储空间；

获取所述子文件夹中剩余文件的创建时间及有效时间；

根据剩余文件的创建时间及有效时间，确定所述子文件夹的下一扫描时间；

根据所述下一扫描时间更新所述子文件夹的子扫描标记。

由上述可知，本申请实施例的服务器可以在接收到数据管理指令时，获取储存系统中的存储文件夹以及文件夹对应的扫描标记；在子扫描标记表征子文件夹需要进行过期文件扫描时，获取子文件夹内的文件，并确定为待分析文件；获取当前时间以及待分析文件的创建时间、有效时间，然后将待分析文件的创建时间与当前时间作比较，若待分析文件的当前时间与文件创建时间的差大于该文件有效时间，则该文件已过期，将该文件的文件名加入到过期文件列表中，若当前时间与文件创建时间的差小于该文件的有效时间，则该文件未过期，跳过，分析下一个待分析文件；回收器根据过期文件列表，对存储系统进行文件删除操作，从而回收存储空间。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对游戏匹配方法的详细描述，此处不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种数据管理方法中的步骤。例如，该指令可以执行如下步骤：

获取子文件夹以及子文件夹对应的子扫描标记；

在所述子扫描标记表征所述子文件夹不需要进行过期文件扫描时，不将所述子文件夹内的文件确定为待分析文件；在所述子扫描标记表征所述子文件夹需要进行过期文件扫描时，获取所述子文件夹内的文件，并确定为待分析文件；所述待分析文件包括过车文件和违法证据文件；

获取当前时间以及所述待分析文件的创建时间、有效时间，确定所述待分析文件中的过期文件；

回收所述过期文件对应的存储空间；

获取所述子文件夹中剩余文件的创建时间及有效时间；

根据剩余文件的创建时间及有效时间，确定所述子文件夹的下一扫描时间；

根据所述下一扫描时间更新所述子文件夹的子扫描标记。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。

由于该计算器可读存储介质中所存储的指令，可以执行本申请实施例所提供的任一种数据管理方法中的步骤，因此，可以实现本申请实施例所提供的任一种数据管理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种数据管理方法、装置、服务器及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据管理方法，其特征在于，所述数据管理方法包括：

获取子文件夹以及子文件夹对应的子扫描标记；

在所述子扫描标记表征所述子文件夹不需要进行过期文件扫描时，不将所述子文件夹内的文件确定为待分析文件；在所述子扫描标记表征所述子文件夹需要进行过期文件扫描时，获取所述子文件夹内的文件，并确定为待分析文件；所述待分析文件包括过车文件和违法证据文件；

获取当前时间以及所述待分析文件的创建时间、有效时间，确定所述待分析文件中的过期文件；

回收所述过期文件对应的存储空间；

获取所述子文件夹中剩余文件的创建时间及有效时间；

根据剩余文件的创建时间及有效时间，确定所述子文件夹的下一扫描时间，所述子文件夹的下一扫描时间是子文件夹中的各剩余子文件失效时间中最早的时间；

根据所述下一扫描时间更新所述子文件夹的子扫描标记。

2.如权利要求1所述的数据管理方法，其特征在于，所述确定所述子文件夹的下一扫描时间的步骤，包括：

根据所述剩余文件的创建时间及有效时间、当前时间，确定各剩余文件的下一扫描时间；

根据所述各剩余文件的下一扫描时间，确定所述子文件夹的下一扫描时间。

3.如权利要求1所述的数据管理方法，其特征在于，父文件夹包括子文件夹，在所述获取子文件以及子文件夹对应的子扫描标记的步骤之前，还包括：

获取父文件夹以及父文件夹对应的父扫描标记；

在所述父扫描标记表征所述父文件夹需要进行过期文件扫描时，获取所述父文件夹内的子文件夹以及子文件夹对应的子扫描标记。

4.如权利要求3所述的数据管理方法，其特征在于，所述父文件夹还包括文件，在所述获取所述父文件夹内的子文件夹以及子文件夹对应的子扫描标记的步骤之后，还包括：

将所述父文件夹内的文件确定为所述待分析文件。

5.如权利要求1至4任一项所述的数据管理方法，其特征在于，所述获取子文件夹以及子文件夹对应的子扫描标记的步骤，包括:

调用第一扫描器以及至少一个第二扫描器；

使用所述第一扫描器扫描根文件夹，得到所述根文件夹下的文件夹，并将文件夹加入扫描队列，所述文件夹包括父文件夹和/或子文件夹；

根据所述第一扫描器以及所述第二扫描器的扫描状态，调用所述第一扫描器或所述第二扫描器依次处理所述扫描队列的文件夹，以获取并基于子文件夹对应的子扫描标记或者父文件夹对应的父扫描标记得到所述待分析文件，并将所述待分析文件加入分析队列。

6.如权利要求5所述的数据管理方法，其特征在于，所述根据所述第一扫描器以及所述第二扫描器的扫描状态，调用所述第一扫描器或所述第二扫描器依次处理所述扫描队列的文件夹的步骤，包括：

在所述扫描状态表征对应的第一扫描器或第二扫描器空闲时，从所述扫描队列中分配一个文件夹至空闲的扫描器。

7.如权利要求5所述的数据管理方法，其特征在于，所述获取当前时间以及所述待分析文件的创建时间、有效时间，确定所述待分析文件中的过期文件的步骤，包括：

调用至少两个分析器；

根据所述分析器的处理状态，调用所述分析器依次处理所述分析队列的待分析文件，以获取当前时间以及所述待分析文件的创建时间、有效时间，确定所述待分析文件中的过期文件。

8.一种数据管理装置，其特征在于，包括：

第一获取模块，用于获取子文件夹以及子文件夹对应的子扫描标记；

第一确定模块，用于在所述子扫描标记表征所述子文件夹不需要进行过期文件扫描时，不将所述子文件夹内的文件确定为待分析文件；在所述子扫描标记表征所述子文件夹需要进行过期文件扫描时，获取所述子文件夹内的文件，并确定为待分析文件；所述待分析文件包括过车文件和违法证据文件；

分析模块，用于获取当前时间以及所述待分析文件的创建时间、有效时间，确定所述待分析文件中的过期文件；

回收模块，用于回收所述过期文件对应的存储空间；

第二获取模块，用于获取所述子文件夹中剩余文件的创建时间及有效时间；

第二确定模块，用于根据剩余文件的创建时间及有效时间，确定所述子文件夹的下一扫描时间，所述子文件夹的下一扫描时间是子文件夹中的各剩余子文件失效时间中最早的时间；

更新模块，用于根据所述下一扫描时间更新所述子文件夹的子扫描标记。

9.一种服务器，其特征在于，所述服务器包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的数据管理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行如权利要求1至7任一项所述的数据管理方法中的步骤。

Images