CN115269522A - 一种分布式文件缓存方法、系统、设备和存储介质 - Google Patents

Abstract

本申请公开了一种分布式文件缓存方法、系统、设备和存储介质，接收到仿真任务时，判断仿真任务所需数据文件是否缓存在本地，若是，则使用本地数据文件进行仿真任务，若否，则从数据中心下载数据文件到本地进行仿真任务；更新数据文件的目标属性，包括文件属性、网络属性、显卡集群属性和仿真任务属性，通过预置多任务预测模型根据目标属性预测数据文件是否应缓存在本地、缓存的硬盘以及缓存寿命，得到数据文件的缓存策略结果；根据缓存策略结果对数据文件进行处理，改善了现有技术进行大规模仿真任务时，存在大量训练数据会被重复、多次地从数据中心传输至显卡集群，从而影响仿真任务的速度，甚至因为数据传输问题而导致仿真任务失败的技术问题。

Description

一种分布式文件缓存方法、系统、设备和存储介质

技术领域

本申请涉及数据存储技术领域，尤其涉及一种分布式文件缓存方法、系统、设备和存储介质。

背景技术

在自动驾驶领域中，仿真任务是其中比较重要的一个环节，仿真任务所依赖的数据会随着车辆行驶的里程数、车辆数量的增加以及车载硬件的迭代几何倍的增长。大部分企业都会建立或者使用互联网数据中心来存储这些数据，但是在仿真的时候往往会有单独的显卡集群来支撑，这样大量的训练数据会被重复、多次地从数据中心传输至显卡集群，会降低仿真任务的速度，甚至因为数据传输问题而导致仿真任务失败。因此，对于大规模仿真任务，如何快速地实现文件数据的传输、交换、使用，以提高仿真任务的速度，是本领域技术人员亟需解决的技术问题。

发明内容

本申请提供了一种分布式文件缓存方法、系统、设备和存储介质，用于改善现有技术在进行大规模仿真任务时，存在大量训练数据会被重复、多次地从数据中心传输至显卡集群，从而影响仿真任务的速度，甚至因为数据传输问题而导致仿真任务失败的技术问题。

有鉴于此，本申请第一方面提供了一种分布式文件缓存方法，包括：

在接收到仿真任务时，判断所述仿真任务所需的数据文件是否缓存在本地，若是，则使用本地缓存的所述数据文件进行仿真任务，若否，则从数据中心下载所述数据文件到本地进行仿真任务；

更新所述数据文件的目标属性，通过预置多任务预测模型根据所述目标属性预测所述数据文件是否应缓存在本地、所述数据文件缓存的硬盘以及缓存寿命，得到所述数据文件的缓存策略结果，所述目标属性包括文件属性、网络属性、显卡集群属性和仿真任务属性；

根据所述数据文件的缓存策略结果对所述数据文件进行处理。

可选的，所述预置多任务预测模型由并列的判别模型、文件重要性模型和文件寿命模型构成，所述缓存策略结果包括缓存判别结果、缓存硬盘位置结果和缓存寿命结果；

所述判别模型用于根据所述数据文件的目标属性预测所述数据文件是否应缓存在本地，得到缓存判别结果；

所述文件重要性模型用于根据所述数据文件的目标属性预测所述数据文件缓存的硬盘，得到缓存硬盘位置结果，所述硬盘包括固态硬盘和机械硬盘；

所述文件寿命模型用于根据所述数据文件的目标属性预测所述数据文件在本地的缓存寿命，得到缓存寿命结果。

可选的，所述根据所述数据文件的缓存策略结果对所述数据文件进行处理，包括：

若所述缓存判别结果为所述数据文件不应缓存在本地时，则在所述仿真任务结束后删除本地的所述数据文件；

若所述缓存判别结果为所述数据文件应缓存在本地，则根据所述缓存硬盘位置结果将所述数据文件缓存至对应的硬盘，并根据所述缓存寿命结果设置所述数据文件的文件寿命。

可选的，所述预置多任务预测模型的配置过程为：

构建多任务学习网络，所述多任务学习网络由并列的三个子卷积神经网络构成；

获取训练样本，所述训练样本包括多个文件的目标属性和对应的缓存策略标签，所述缓存策略标签包括缓存标签、缓存硬盘位置标签和缓存寿命标签三个子标签；

将所述训练样本输入到所述多任务学习网络中进行多任务学习，得到各子卷积神经网络输出的子预测结果，各子卷积神经网络之间共享网络参数；

根据各子卷积神经网络的子预测结果和对应的子标签调整所述多任务学习网络的网络参数，直至所述多任务学习网络收敛，得到训练好的预置多任务预测模型。

可选的，所述文件属性包括文件大小、文件拥有者、文件访问频率和/或文件创建时间；

所述网络属性包括网络速度、网络丢包率和/或网络延迟；

所述显卡集群属性包括显卡集群地址、硬盘读写速度、硬盘总容量、硬盘已用容量和/或显卡集群健康程度；

所述仿真任务属性包括仿真任务类型和/或仿真任务优先级。

本申请第二方面提供了一种分布式文件缓存系统，包括：

判断模块，用于在接收到仿真任务时，判断所述仿真任务所需的数据文件是否缓存在本地，若是，则使用本地缓存的所述数据文件进行仿真任务，若否，则从数据中心下载所述数据文件到本地进行仿真任务；

缓存策略预测模块，用于更新所述数据文件的目标属性，通过预置多任务预测模型根据所述目标属性预测所述数据文件是否应缓存在本地、所述数据文件缓存的硬盘以及缓存寿命，得到所述数据文件的缓存策略结果，所述目标属性包括文件属性、网络属性、显卡集群属性和仿真任务属性；

处理模块，用于根据所述数据文件的缓存策略结果对所述数据文件进行处理。

可选的，所述预置多任务预测模型由并列的判别模型、文件重要性模型和文件寿命模型构成，所述缓存策略结果包括缓存判别结果、缓存硬盘位置结果和缓存寿命结果；

所述判别模型用于根据所述数据文件的目标属性预测所述数据文件是否应缓存在本地，得到缓存判别结果；

所述文件重要性模型用于根据所述数据文件的目标属性预测所述数据文件缓存的硬盘，得到缓存硬盘位置结果，所述硬盘包括固态硬盘和机械硬盘；

所述文件寿命模型用于根据所述数据文件的目标属性预测所述数据文件在本地的缓存寿命，得到缓存寿命结果。

可选的，所述处理模块，具体用于：

若所述缓存判别结果为所述数据文件不应缓存在本地时，则在所述仿真任务结束后删除本地的所述数据文件；

若所述缓存判别结果为所述数据文件应缓存在本地，则根据所述缓存硬盘位置结果将所述数据文件缓存至对应的硬盘，并根据所述缓存寿命结果设置所述数据文件的文件寿命。

本申请第三方面提供了一种分布式文件缓存设备，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的分布式文件缓存方法。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现第一方面任一种所述的分布式文件缓存方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供了一种分布式文件缓存方法，包括：在接收到仿真任务时，判断仿真任务所需的数据文件是否缓存在本地，若是，则使用本地缓存的数据文件进行仿真任务，若否，则从数据中心下载数据文件到本地进行仿真任务；更新数据文件的目标属性，通过预置多任务预测模型根据目标属性预测数据文件是否应缓存在本地、数据文件缓存的硬盘以及缓存寿命，得到数据文件的缓存策略结果，目标属性包括文件属性、网络属性、显卡集群属性和仿真任务属性；根据数据文件的缓存策略结果对数据文件进行处理。

本申请中，若仿真任务所需数据文件有缓存在本地，则直接从本地获取数据进行仿真任务，若本地没有缓存，则从数据中心下载到本地进行仿真任务，在仿真的同时，更新数据文件的文件属性、网络属性、显卡集群属性和仿真任务属性，通过预置多任务预测模型根据数据文件的目标属性预测该数据文件是否应缓存在本地、以及缓存的硬盘和缓存寿命，从而获取数据文件的缓存策略结果，通过该缓存策略结果来对数据文件进行缓存处理，通过将数据文件的文件属性、网络属性、显卡集群属性和仿真任务属性等多维度的信息纳入考虑来获取缓存策略结果，有助于提高本地缓存文件的命中率，可以避免重复、多次传输数据文件，降低了网络和硬盘的损耗，从而提高仿真任务效率和完成度，改善了现有技术在进行大规模仿真任务时，存在大量训练数据会被重复、多次地从数据中心传输至显卡集群，从而影响仿真任务的速度，甚至因为数据传输问题而导致仿真任务失败的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种分布式文件缓存方法的一个流程示意图；

图2为本申请实施例提供的一种预置多任务预测模型的网络结构示意图；

图3为本申请实施例提供的一种分布式文件缓存系统的一个结构示意图。

具体实施方式

本申请提供了一种分布式文件缓存方法、系统、设备和存储介质，用于改善现有技术在进行大规模仿真任务时，存在大量训练数据会被重复、多次地从数据中心传输至显卡集群，从而影响仿真任务的速度，甚至因为数据传输问题而导致仿真任务失败的技术问题。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请考虑到，仿真任务所依赖的数据会随着车辆行驶的里程数、车辆数量的增加以及车载硬件的迭代几何倍的增长。大部分企业都会建立或者使用互联网数据中心来存储这些数据，但是在仿真的时候往往会有单独的显卡集群来支撑，这样大量的训练数据会被重复、多次地从数据中心传输至显卡集群，网络的速度、网络的波动、数据中心以及显卡集群硬盘的IO瓶颈都会造成仿真任务速度的降低以及仿真任务因为训练数据传输的损毁而导致失败。因此，对于大规模仿真任务，如何快速智能地实现文件数据的传输、交换、使用，对于提高模型训练效率和效果，降低因为网络或者磁盘IO造成的波动和任务的失败有着重要的意义。

为了改善上述问题，请参阅图1，本申请实施例提供了一种分布式文件缓存方法，包括：

步骤101、在接收到仿真任务时，判断仿真任务所需的数据文件是否缓存在本地，若是，则使用本地缓存的数据文件进行仿真任务，若否，则从数据中心下载数据文件到本地进行仿真任务。

在接收到仿真任务时，首先判断仿真任务所需的数据文件是否有缓存在本地，若数据文件有缓存在本地，则直接使用本地缓存的数据文件进行仿真任务，若本地没有缓存该数据文件，则从数据中心下载数据文件到本地，首次从数据中心下载的数据文件可以先将其缓存在速度较快的固态硬盘中，供当前仿真任务使用。

步骤102、更新数据文件的目标属性，通过预置多任务预测模型根据目标属性预测数据文件是否应缓存在本地、数据文件缓存的硬盘以及缓存寿命，得到数据文件的缓存策略结果，目标属性包括文件属性、网络属性、显卡集群属性和仿真任务属性。

在通过数据文件进行仿真任务的同时，异步更新该数据文件的目标属性，包括文件属性、网络属性、显卡集群属性和仿真任务属性，文件属性可以包括文件大小、文件拥有者、文件访问频率和/或文件创建时间等一些文件本身的属性；网络属性可以包括网络速度、网络丢包率和/或网络延迟等与网络情况相关的属性；显卡集群属性包括显卡集群地址、硬盘读写速度、硬盘总容量、硬盘已用容量和/或显卡集群健康程度等一些显卡集群的固有属性；仿真任务属性可以包括仿真任务类型、仿真任务所需数据集大小和/或仿真任务优先级等一些与仿真任务相关的属性。将更新得到的数据文件的文件属性、网络属性、显卡集群属性和仿真任务属性输入到预置多任务预测模型中进行缓存策略预测，具体预测该数据文件是否应缓存在本地、以及缓存的硬盘和缓存寿命，从而得到该数据文件的缓存策略结果。

本申请实施例中的预置多任务预测模型由并列的判别模型、文件重要性模型和文件寿命模型构成，具体网络结构可以参考图2；其中，判别模型用于根据数据文件的目标属性预测数据文件是否应缓存在本地，得到缓存判别结果；文件重要性模型用于根据数据文件的目标属性预测数据文件缓存的硬盘，得到缓存硬盘位置结果，硬盘包括固态硬盘和机械硬盘；文件寿命模型用于根据数据文件的目标属性预测数据文件在本地的缓存寿命，得到缓存寿命结果。

将数据文件的目标属性输入到预置多任务预测模型后，判别模型根据该数据文件的目标属性判断该数据文件是否应缓存在本地，得到缓存判别结果，文件重要性模型在确定数据文件应被缓存在本地的前提下预测该数据文件应该缓存在速度较慢的机械硬盘还是速度较快的固态硬盘，得到缓存硬盘位置结果，同时，文件寿命模型根据数据文件的目标属性预测该数据文件在本地的缓存寿命，即该数据文件什么时候会在本地缓存中被删除，得到缓存寿命结果，即缓存策略结果包括缓存判别结果、缓存硬盘位置结果和缓存寿命结果。

进一步，本申请实施例中的预置多任务预测模型的配置过程为：

构建多任务学习网络，多任务学习网络由并列的三个子卷积神经网络构成；

获取训练样本，训练样本包括多个文件的目标属性和对应的缓存策略标签，缓存策略标签包括缓存标签、缓存硬盘位置标签和缓存寿命标签三个子标签；

将训练样本输入到多任务学习网络中进行多任务学习，得到各子卷积神经网络输出的子预测结果，各子卷积神经网络之间共享网络参数；

根据各子卷积神经网络的子预测结果和对应的子标签调整多任务学习网络的网络参数，直至多任务学习网络收敛，得到训练好的预置多任务预测模型。

本申请中将判别是否应缓存在本地、提取文件重要性选择缓存的硬盘以及预测文件寿命三个任务并列处理，使用深度学习中的多任务学习方法，通过共享输入数据和底层特征，使得不同任务之间可以相互关联和影响，以获取更好的文件缓存策略，帮助决策各数据文件是否应缓存在本地，缓存在什么硬盘以及缓存在本地的寿命是多少。本申请实施例中构建的多任务学习网络包括三个并列子卷积神经网络，各子卷积神经网络可以为现有的网络结构，如残差网络、轻量级网络等，将训练样本输入到多任务学习网络中进行多任务学习，第一子卷积神经网络可以对目标属性进行特征提取，判别该训练样本是否应缓存在本地，得到第一子预测结果，第二子卷积神经网络可以对目标属性进行特征提取，在第一子卷积神经网络判断到该训练样本应缓存在本地时，判别该训练样本是缓存在机械硬盘还是固态硬盘，得到第二预测结果，第三子卷积神经网络对目标属性进行特征提取，预测该训练样本在本地的缓存寿命，得到第三子预测结果，然后根据各子预测结果和对应的子标签计算损失值，通过损失值反向更新网络参数，直至多任务学习网络收敛(如迭代次数达到最大迭代次数，或训练误差低于预置误差阈值等)，得到训练好的多任务学习网络，将该训练好的多任务学习网络作为预置多任务预测模型，训练好的第一子卷积神经网络即为判别模型，训练好的第二子卷积神经网络即为文件重要性模型，第三子卷积神经网络即为文件寿命模型。

本申请申请实施例在获取数据文件的缓存策略时，考虑数据文件的文件属性、网络属性、显卡集群属性和仿真任务属性，共同输入到预置多任务预测模型中进行预测，相同的输入通过三个不同的并联深度学习模型得到三组不同的输出，以此智能化、多元化、更加灵活地生成数据文件的缓存策略，以此提高仿真任务的效率和成功率，与传统的最近最久未使用算法、最近最少使用算法和先进先出算法的这些缓存方法相比，本申请实施例中考虑的信息是多维度的，也更加全面，得到的缓存策略也更加全面、可靠。

步骤103、根据数据文件的缓存策略结果对数据文件进行处理。

若缓存判别结果为数据文件不应缓存在本地时，则在仿真任务结束后删除本地的数据文件；若缓存判别结果为数据文件应缓存在本地，则根据缓存硬盘位置结果将数据文件缓存至对应的硬盘，并根据缓存寿命结果设置数据文件的文件寿命。

本申请实施例中，若仿真任务所需数据文件有缓存在本地，则直接从本地获取数据进行仿真任务，若本地没有缓存，则从数据中心下载到本地进行仿真任务，在仿真的同时，更新数据文件的文件属性、网络属性、显卡集群属性和仿真任务属性，通过预置多任务预测模型根据数据文件的目标属性预测该数据文件是否应缓存在本地、以及缓存的硬盘和缓存寿命，从而获取数据文件的缓存策略结果，通过该缓存策略结果来对数据文件进行缓存处理，通过将数据文件的文件属性、网络属性、显卡集群属性和仿真任务属性等多维度的信息纳入考虑来获取缓存策略结果，有助于提高本地缓存文件的命中率，可以避免重复、多次传输数据文件，降低了网络和硬盘的损耗，从而提高仿真任务效率和完成度，改善了现有技术在进行大规模仿真任务时，存在大量训练数据会被重复、多次地从数据中心传输至显卡集群，从而影响仿真任务的速度，甚至因为数据传输问题而导致仿真任务失败的技术问题。

以上为本申请提供的一种分布式文件缓存方法的一个实施例，以下为本申请提供的一种分布式文件缓存系统的一个实施例。

请参考图3，本申请实施例提供的一种分布式文件缓存系统，包括：

判断模块，用于在接收到仿真任务时，判断仿真任务所需的数据文件是否缓存在本地，若是，则使用本地缓存的数据文件进行仿真任务，若否，则从数据中心下载数据文件到本地进行仿真任务；

缓存策略预测模块，用于更新数据文件的目标属性，通过预置多任务预测模型根据目标属性预测数据文件是否应缓存在本地、数据文件缓存的硬盘以及缓存寿命，得到数据文件的缓存策略结果，目标属性包括文件属性、网络属性、显卡集群属性和仿真任务属性；

处理模块，用于根据数据文件的缓存策略结果对数据文件进行处理。

作为进一步地改进，预置多任务预测模型由并列的判别模型、文件重要性模型和文件寿命模型构成，缓存策略结果包括缓存判别结果、缓存硬盘位置结果和缓存寿命结果；

判别模型用于根据数据文件的目标属性预测数据文件是否应缓存在本地，得到缓存判别结果；

文件重要性模型用于根据数据文件的目标属性预测数据文件缓存的硬盘，得到缓存硬盘位置结果，硬盘包括固态硬盘和机械硬盘；

文件寿命模型用于根据数据文件的目标属性预测数据文件在本地的缓存寿命，得到缓存寿命结果。

作为进一步地改进，处理模块，具体用于：

若缓存判别结果为数据文件不应缓存在本地时，则在仿真任务结束后删除本地的数据文件；

若缓存判别结果为数据文件应缓存在本地，则根据缓存硬盘位置结果将数据文件缓存至对应的硬盘，并根据缓存寿命结果设置数据文件的文件寿命。

作为进一步地改进，文件属性包括文件大小、文件拥有者、文件访问频率和/或文件创建时间；

网络属性包括网络速度、网络丢包率和/或网络延迟；

显卡集群属性包括显卡集群地址、硬盘读写速度、硬盘总容量、硬盘已用容量和/或显卡集群健康程度；

仿真任务属性包括仿真任务类型和/或仿真任务优先级。

本申请实施例中，若仿真任务所需数据文件有缓存在本地，则直接从本地获取数据进行仿真任务，若本地没有缓存，则从数据中心下载到本地进行仿真任务，在仿真的同时，更新数据文件的文件属性、网络属性、显卡集群属性和仿真任务属性，通过预置多任务预测模型根据数据文件的目标属性预测该数据文件是否应缓存在本地、以及缓存的硬盘和缓存寿命，从而获取数据文件的缓存策略结果，通过该缓存策略结果来对数据文件进行缓存处理，通过将数据文件的文件属性、网络属性、显卡集群属性和仿真任务属性等多维度的信息纳入考虑来获取缓存策略结果，有助于提高本地缓存文件的命中率，可以避免重复、多次传输数据文件，降低了网络和硬盘的损耗，从而提高仿真任务效率和完成度，改善了现有技术在进行大规模仿真任务时，存在大量训练数据会被重复、多次地从数据中心传输至显卡集群，从而影响仿真任务的速度，甚至因为数据传输问题而导致仿真任务失败的技术问题。

本申请实施例还提供了一种分布式文件缓存设备，设备包括处理器以及存储器；

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令执行前述方法实施例中的分布式文件缓存方法。

本申请实施例还提供了一种计算机可读存储介质，其特征在于，计算机可读存储介质用于存储程序代码，程序代码被处理器执行时实现前述方法实施例中的分布式文件缓存方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：RandomAccess Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种分布式文件缓存方法，其特征在于，包括：

在接收到仿真任务时，判断所述仿真任务所需的数据文件是否缓存在本地，若是，则使用本地缓存的所述数据文件进行仿真任务，若否，则从数据中心下载所述数据文件到本地进行仿真任务；

更新所述数据文件的目标属性，通过预置多任务预测模型根据所述目标属性预测所述数据文件是否应缓存在本地、所述数据文件缓存的硬盘以及缓存寿命，得到所述数据文件的缓存策略结果，所述目标属性包括文件属性、网络属性、显卡集群属性和仿真任务属性；

根据所述数据文件的缓存策略结果对所述数据文件进行处理。

2.根据权利要求1所述的分布式文件缓存方法，其特征在于，所述预置多任务预测模型由并列的判别模型、文件重要性模型和文件寿命模型构成，所述缓存策略结果包括缓存判别结果、缓存硬盘位置结果和缓存寿命结果；

所述判别模型用于根据所述数据文件的目标属性预测所述数据文件是否应缓存在本地，得到缓存判别结果；

所述文件重要性模型用于根据所述数据文件的目标属性预测所述数据文件缓存的硬盘，得到缓存硬盘位置结果，所述硬盘包括固态硬盘和机械硬盘；

所述文件寿命模型用于根据所述数据文件的目标属性预测所述数据文件在本地的缓存寿命，得到缓存寿命结果。

3.根据权利要求2所述的分布式文件缓存方法，其特征在于，所述根据所述数据文件的缓存策略结果对所述数据文件进行处理，包括：

若所述缓存判别结果为所述数据文件不应缓存在本地时，则在所述仿真任务结束后删除本地的所述数据文件；

若所述缓存判别结果为所述数据文件应缓存在本地，则根据所述缓存硬盘位置结果将所述数据文件缓存至对应的硬盘，并根据所述缓存寿命结果设置所述数据文件的文件寿命。

4.根据权利要求2所述的分布式文件缓存方法，其特征在于，所述预置多任务预测模型的配置过程为：

构建多任务学习网络，所述多任务学习网络由并列的三个子卷积神经网络构成；

获取训练样本，所述训练样本包括多个文件的目标属性和对应的缓存策略标签，所述缓存策略标签包括缓存标签、缓存硬盘位置标签和缓存寿命标签三个子标签；

将所述训练样本输入到所述多任务学习网络中进行多任务学习，得到各子卷积神经网络输出的子预测结果，各子卷积神经网络之间共享网络参数；

根据各子卷积神经网络的子预测结果和对应的子标签调整所述多任务学习网络的网络参数，直至所述多任务学习网络收敛，得到训练好的预置多任务预测模型。

5.根据权利要求1所述的分布式文件缓存方法，其特征在于，所述文件属性包括文件大小、文件拥有者、文件访问频率和/或文件创建时间；

所述网络属性包括网络速度、网络丢包率和/或网络延迟；

所述显卡集群属性包括显卡集群地址、硬盘读写速度、硬盘总容量、硬盘已用容量和/或显卡集群健康程度；

所述仿真任务属性包括仿真任务类型和/或仿真任务优先级。

6.一种分布式文件缓存系统，其特征在于，包括：

判断模块，用于在接收到仿真任务时，判断所述仿真任务所需的数据文件是否缓存在本地，若是，则使用本地缓存的所述数据文件进行仿真任务，若否，则从数据中心下载所述数据文件到本地进行仿真任务；

缓存策略预测模块，用于更新所述数据文件的目标属性，通过预置多任务预测模型根据所述目标属性预测所述数据文件是否应缓存在本地、所述数据文件缓存的硬盘以及缓存寿命，得到所述数据文件的缓存策略结果，所述目标属性包括文件属性、网络属性、显卡集群属性和仿真任务属性；

处理模块，用于根据所述数据文件的缓存策略结果对所述数据文件进行处理。

7.根据权利要求6所述的分布式文件缓存系统，其特征在于，所述预置多任务预测模型由并列的判别模型、文件重要性模型和文件寿命模型构成，所述缓存策略结果包括缓存判别结果、缓存硬盘位置结果和缓存寿命结果；

所述判别模型用于根据所述数据文件的目标属性预测所述数据文件是否应缓存在本地，得到缓存判别结果；

所述文件重要性模型用于根据所述数据文件的目标属性预测所述数据文件缓存的硬盘，得到缓存硬盘位置结果，所述硬盘包括固态硬盘和机械硬盘；

所述文件寿命模型用于根据所述数据文件的目标属性预测所述数据文件在本地的缓存寿命，得到缓存寿命结果。

8.根据权利要求7所述的分布式文件缓存系统，其特征在于，所述处理模块，具体用于：

若所述缓存判别结果为所述数据文件不应缓存在本地时，则在所述仿真任务结束后删除本地的所述数据文件；

若所述缓存判别结果为所述数据文件应缓存在本地，则根据所述缓存硬盘位置结果将所述数据文件缓存至对应的硬盘，并根据所述缓存寿命结果设置所述数据文件的文件寿命。

9.一种分布式文件缓存设备，其特征在于，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-5任一项所述的分布式文件缓存方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现权利要求1-5任一项所述的分布式文件缓存方法。

Images