CN115858473B

CN115858473B - 基于训练系统与对象存储系统的数据交互方法及装置

Info

Publication number: CN115858473B
Application number: CN202310043337.XA
Authority: CN
Inventors: 黄耀; 杨昆
Original assignee: Beijing Aqiu Technology Co ltd
Current assignee: Beijing Aqiu Technology Co ltd
Priority date: 2023-01-29
Filing date: 2023-01-29
Publication date: 2023-10-10
Anticipated expiration: 2043-01-29
Also published as: CN115858473A

Abstract

本发明涉及数据处理技术领域，公开了一种基于训练系统与对象存储系统的数据交互方法及装置，所述方法包括：获取训练系统的待上传交互数据集，根据待上传交互数据集得到文件数据和元数据；在确定文件数据未上传至对象存储系统时，将文件数据和元数据进行存储；在存储完成且接收到模型训练请求时，从对象存储系统下载目标交互数据集；根据目标交互数据集的文件数据和元数据进行模型训练，以实现训练系统与所述对象存储系统的数据互动；通过上述方式，将待上传交互数据集的文件数据和/或元数据进行存储，然后利用从对象存储系统下载的目标交互数据集进行模型训练，从而能够有效提高训练模型的效率，以及节省网络和磁盘IO，实现交互数据集的切换。

Description

基于训练系统与对象存储系统的数据交互方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及基于训练系统与对象存储系统的数据交互方法及装置。

背景技术

随着人工智能（Artificial Intelligence，AI）技术的不断发展，AI训练系统被广泛应用于模型训练和推理，而目前AI训练系统在训练模型和推理的过程中需要使用大量数据文件组成的数据集，且数据集中的训练集还需要人工标注，进而产生大量的数据集版本，且文件数据是通过数据集区分的，存储方式通常是直接使用文件存储系统直接按照数据集存放不同数据集，当有多台训练机器时使用NAS等网络存储介质来保证不同服务器上访问数据的一致性，但是使用文件存储系统并根据数据集隔离数据，数据集之间的交互需要花费额外的数据IO时间，并且相同的数据集可能同时存在于不同的数据集中，在此过程中一定会产生数据的冗余，另外，数据集清洗产生的各种版本不做特殊处理的话，要么需要频繁修改数据集元数据，要么需要同时保存多个版本会有数据冗余，就会造成训练模型的效率较低，导致网络和磁盘IO耗费较多，以及无法实现交互数据集的切换。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种基于训练系统与对象存储系统的数据交互方法及装置，旨在解决现有技术训练模型的效率较低，导致网络和磁盘IO耗费较多，以及无法实现交互数据集的切换的技术问题。

为实现上述目的，本发明提供了一种基于训练系统与对象存储系统的数据交互方法，所述基于训练系统与对象存储系统的数据交互方法包括以下步骤：

获取训练系统的待上传交互数据集，根据所述待上传交互数据集得到文件数据和元数据；

在确定所述文件数据未上传至对象存储系统时，将所述文件数据和元数据进行存储；

在存储完成且接收到模型训练请求时，从所述对象存储系统下载目标交互数据集；

根据所述目标交互数据集的文件数据和元数据进行模型训练，以实现所述训练系统与所述对象存储系统的数据互动。

可选地，所述在确定所述文件数据未上传至对象存储系统时，将所述文件数据和元数据进行存储之前，还包括：

通过SHA1哈希算法对所述文件数据进行编码，得到文件数据哈希值；

根据所述文件数据哈希值对目标元数据库进行检索；

在检索结果为所述文件数据哈希值不在目标元数据库时，确定所述文件数据未上传至对象存储系统；

在检索结果为所述文件数据哈希值在目标元数据库时，确定所述文件数据已上传至对象存储系统，将元数据进行存储。

可选地，所述在确定所述文件数据未上传至对象存储系统时，将所述文件数据和元数据进行存储之后，还包括：

获取所述训练系统上传的文件数据和元数据；

分别对所述训练系统上传的文件数据和元数据进行数据清洗；

根据清洗后的文件数据和元数据生成目标交互数据集，并将所述目标交互数据集划分为训练集和测试集；

在所述训练集中存在对模型训练产生影响的元数据时，对所述对模型训练产生影响的元数据进行修改；

将修改后的训练集和所述测试集进行存储，并反馈存储完成信息。

可选地，所述将修改后的训练集和所述测试集进行存储之后，还包括：

通过CRUSH算法对所述对象存储系统的存储空间进行负载平衡，得到存储空间内各个交互数据分布信息；

在所述各个交互数据分布信息为各个交互数据均匀分布在不同的磁盘时，获取所述存储空间的剩余存储空间；

在所述剩余存储空间小于预设存储空间阈值时，通过CRUSH算法对所述存储空间进行扩容。

可选地，所述从所述对象存储系统下载目标交互数据集之前，还包括：

获取本地缓存目录；

对所述本地缓存目录进行校验，得到当前校验结果；

在所述当前校验结果为所述本地缓存目录中未存储有部分文件数据时，从所述对象存储系统下载目标交互数据集；

在所述当前校验结果为所述本地缓存目录中存储有部分文件数据时，在训练系统根据所述部分文件数据的文件数据和元数据进行模型训练。

可选地，所述在存储完成且接收到模型训练请求时，从所述对象存储系统下载目标交互数据集，包括：

获取若干数量的交互数据集；

在所述若干数量的交互数据集中存在同一时刻的元数据时，通过版本快照文件对所述若干数量的交互数据集进行存储；

在存储完成后且接收到模型训练请求时，根据所述模型训练请求确定目标交互数据集；

在当前下载的交互数据集不为目标交互数据集时，通过版本管理策略将所述当前下载的交互数据集切换为目标交互数据集，并从所述对象存储系统下载目标交互数据集。

可选地，所述根据所述目标交互数据集的文件数据和元数据进行模型训练之后，还包括：

通过测试集对目标训练模型进行测试，得到当前模型测试结果；

在所述当前模型测试结果为预设测试结果时，确定所述目标训练模型合格；

获取没有元数据的交互数据集；

通过目标训练模型对所述交互数据集进行推理，得到当前元数据；

根据所述没有元数据的交互数据集对所述当前元数据进行校验；

在校验通过时，输出所述当前元数据。

此外，为实现上述目的，本发明还提出一种基于训练系统与对象存储系统的数据交互装置，所述基于训练系统与对象存储系统的数据交互装置包括：

获取模块，用于获取训练系统的待上传交互数据集，根据所述待上传交互数据集得到文件数据和元数据；

存储模块，用于在确定所述文件数据未上传至对象存储系统时，将所述文件数据和元数据进行存储；

下载模块，用于在存储完成且接收到模型训练请求时，从所述对象存储系统下载目标交互数据集；

数据交互模块，用于根据所述目标交互数据集的文件数据和元数据进行模型训练，以实现所述训练系统与所述对象存储系统的数据互动。

此外，为实现上述目的，本发明还提出一种基于训练系统与对象存储系统的数据交互设备，所述基于训练系统与对象存储系统的数据交互设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于训练系统与对象存储系统的数据交互程序，所述基于训练系统与对象存储系统的数据交互程序配置为实现如上文所述的基于训练系统与对象存储系统的数据交互方法。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于训练系统与对象存储系统的数据交互程序，所述基于训练系统与对象存储系统的数据交互程序被处理器执行时实现如上文所述的基于训练系统与对象存储系统的数据交互方法。

本发明提出的基于训练系统与对象存储系统的数据交互方法，通过获取训练系统的待上传交互数据集，根据所述待上传交互数据集得到文件数据和元数据；在确定所述文件数据未上传至对象存储系统时，将所述文件数据和元数据进行存储；在存储完成且接收到模型训练请求时，从所述对象存储系统下载目标交互数据集；根据所述目标交互数据集的文件数据和元数据进行模型训练，以实现所述训练系统与所述对象存储系统的数据互动；通过上述方式，将待上传交互数据集的文件数据和/或元数据进行存储，然后利用从对象存储系统下载的目标交互数据集进行模型训练，从而能够有效提高训练模型的效率，以及节省网络和磁盘IO，实现交互数据集的切换。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的基于训练系统与对象存储系统的数据交互设备的结构示意图；

图2为本发明基于训练系统与对象存储系统的数据交互方法第一实施例的流程示意图；

图3为本发明基于训练系统与对象存储系统的数据交互方法第二实施例的流程示意图；

图4为本发明基于训练系统与对象存储系统的数据交互装置第一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于训练系统与对象存储系统的数据交互设备结构示意图。

如图1所示，该基于训练系统与对象存储系统的数据交互设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（Random Access Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对基于训练系统与对象存储系统的数据交互设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于训练系统与对象存储系统的数据交互程序。

在图1所示的基于训练系统与对象存储系统的数据交互设备中，网络接口1004主要用于与网络一体化平台工作站进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明基于训练系统与对象存储系统的数据交互设备中的处理器1001、存储器1005可以设置在基于训练系统与对象存储系统的数据交互设备中，所述基于训练系统与对象存储系统的数据交互设备通过处理器1001调用存储器1005中存储的基于训练系统与对象存储系统的数据交互程序，并执行本发明实施例提供的基于训练系统与对象存储系统的数据交互方法。

基于上述硬件结构，提出本发明基于训练系统与对象存储系统的数据交互方法实施例。

参照图2，图2为本发明基于训练系统与对象存储系统的数据交互方法第一实施例的流程示意图。

在第一实施例中，所述基于训练系统与对象存储系统的数据交互方法包括以下步骤：

步骤S10，获取训练系统的待上传交互数据集，根据所述待上传交互数据集得到文件数据和元数据。

需要说明的是，本实施例的执行主体为基于训练系统与对象存储系统的数据交互设备，还可为其他可实现相同或相似功能的设备，例如数据交互系统等，本实施例对此不作限制，在本实施例中，以数据交互系统为例进行说明。

应当理解的是，待上传交互数据集指的是需要上传至对象存储系统数据集，该待上传交互数据集已经上传至训练系统，该训练系统可以为AI训练系统，文件数据指的是待上传交互数据集中文件的数据，元数据指的是待上传交互数据集中文件的元数据，该元数据指的是文件与模型训练相关的属性配置数据，例如，属于训练集还是测试集、文件标签等。

步骤S20，在确定所述文件数据未上传至对象存储系统时，将所述文件数据和元数据进行存储。

可以理解的是，在得到待上传交互数据集的文件数据后，判断文件数据是否上传至对象存储系统，若否，则将文件数据和元数据进行存储，若是，则仅将元数据进行存储，该对象存储系统可以为Ceph对象存储系统。

进一步地，步骤S20之前，还包括：通过SHA1哈希算法对所述文件数据进行编码，得到文件数据哈希值；根据所述文件数据哈希值对目标元数据库进行检索；在检索结果为所述文件数据哈希值不在目标元数据库时，确定所述文件数据未上传至对象存储系统；在检索结果为所述文件数据哈希值在目标元数据库时，确定所述文件数据已上传至对象存储系统，将元数据进行存储。

应当理解的是，目标元数据库指的是用于存储元数据的数据库，SHA1哈希算法指的是用于编码哈希值的算法，在得到文件数据后，利用SHA1哈希算法对文件数据进行编码，然后通过文件数据哈希值和目标元数据库确定文件数据是否上传至对象存储系统，具体是根据文件数据哈希值对目标元数据库进行检索，判断检索结果是否为文件数据哈希值不在目标元数据库，若是，则确定文件数据未上传至对象存储系统，此时需要将文件数据和元数据均进行存储，反之，则确定文件数据已上传至对象存储系统，此时仅需要将元数据进行存储。

进一步地，步骤S20之后，还包括：获取所述训练系统上传的文件数据和元数据；分别对所述训练系统上传的文件数据和元数据进行数据清洗；根据清洗后的文件数据和元数据生成目标交互数据集，并将所述目标交互数据集划分为训练集和测试集；在所述训练集中存在对模型训练产生影响的元数据时，对所述对模型训练产生影响的元数据进行修改；将修改后的训练集和所述测试集进行存储，并反馈存储完成信息。

可以理解的是，对象存储系统在接收到训练系统上传的文件数据和元数据后，分别对文件数据和元数据进行数据清洗，然后根据清洗后的文件数据和元数据生成目标交互数据集，然后将目标交互数据集划分为训练集和测试集，该训练集用于训练系统的模型训练，该测试集用于训练完毕的模型的测试，在划分完成后，判断训练集中是否存在对模型训练产生影响的元数据，若是，则修改对模型训练产生影响的元数据，具体可以为修改文件标签。

进一步地，所述将修改后的训练集和所述测试集进行存储之后，还包括：通过CRUSH算法对所述对象存储系统的存储空间进行负载平衡，得到存储空间内各个交互数据分布信息；在所述各个交互数据分布信息为各个交互数据均匀分布在不同的磁盘时，获取所述存储空间的剩余存储空间；在所述剩余存储空间小于预设存储空间阈值时，通过CRUSH算法对所述存储空间进行扩容。

应当理解的是，各个交互数据分布信息指的是各个交互数据分布在磁盘上的信息，为保证各个交互数据均匀分布在不同的磁盘，在存储完修改后的训练集和测试集后，通过CRUSH算法对对象存储系统的存储空间进行负载平衡，剩余存储空间指的是对象存储系统中剩余的存储空间，在剩余存储空间小于预设存储空间阈值时，表明剩余存储空间不足，此时通过CRUSH算法对存储空间进行扩容，也可以通过添加监视器主机提供高可用。

步骤S30，在存储完成且接收到模型训练请求时，从所述对象存储系统下载目标交互数据集。

应当理解的是，目标交互数据集指的是用于模型训练的数据集，在接收到模型训练请求时，表明需要进行模型训练，此时从对象存储系统下载目标交互数据集。

进一步地，步骤S30之前，还包括：获取本地缓存目录；对所述本地缓存目录进行校验，得到当前校验结果；在所述当前校验结果为所述本地缓存目录中未存储有部分文件数据时，从所述对象存储系统下载目标交互数据集；在所述当前校验结果为所述本地缓存目录中存储有部分文件数据时，在训练系统根据所述部分文件数据的文件数据和元数据进行模型训练。

可以理解的是，本地缓存目录指的是训练系统本地缓存文件的相关联数据的目录，当前校验结果指的是校验本地缓存目录的结果，然后判断当前校验结果是否为本地缓存目录中未存储有部分文件数据，若是，则确定还是需要从对象存储系统下载目标交互数据集，若否，则在训练系统根据部分文件数据的文件数据和元数据进行模型训练，以避免重复进行对远程的数据集进行拉取操作，降低频繁下载动作带来的额外资源消耗。

步骤S40，根据所述目标交互数据集的文件数据和元数据进行模型训练，以实现所述训练系统与所述对象存储系统的数据互动。

可以理解的是，在下载目标交互数据集后，利用目标交互数据集的文件数据和元数据进行模型训练，即实现训练系统与对象存储系统之间的数据互动。

进一步地，步骤S40之后，还包括：通过测试集对目标训练模型进行测试，得到当前模型测试结果；在所述当前模型测试结果为预设测试结果时，确定所述目标训练模型合格；获取没有元数据的交互数据集；通过目标训练模型对所述交互数据集进行推理，得到当前元数据；根据所述没有元数据的交互数据集对所述当前元数据进行校验；在校验通过时，输出所述当前元数据。

应当理解的是，在训练出目标训练模型后，利用划分出的测试集对目标训练模型，在当前模型测试结果为预设测试结果时，表明目标训练模型是合格的，交互数据集指的是仅含有文件数据的数据集，然后通过目标训练模型对交互数据集进行推理，再校验推理出的当前元数据，若通过校验，则表明目标训练模型的推理能力合格，此时将当前元数据进行输出。

本实施例通过获取训练系统的待上传交互数据集，根据所述待上传交互数据集得到文件数据和元数据；在确定所述文件数据未上传至对象存储系统时，将所述文件数据和元数据进行存储；在存储完成且接收到模型训练请求时，从所述对象存储系统下载目标交互数据集；根据所述目标交互数据集的文件数据和元数据进行模型训练，以实现所述训练系统与所述对象存储系统的数据互动；通过上述方式，将待上传交互数据集的文件数据和/或元数据进行存储，然后利用从对象存储系统下载的目标交互数据集进行模型训练，从而能够有效提高训练模型的效率，以及节省网络和磁盘IO，实现交互数据集的切换。

在一实施例中，如图3所述，基于第一实施例提出本发明基于训练系统与对象存储系统的数据交互方法第二实施例，所述步骤S30，包括：

步骤S301，获取若干数量的交互数据集。

应当理解的是，若干数量的交互数据集指的是存储在对象存储系统的存储空间的交互数据集，该交互数据集的数量≥2。

步骤S302，在所述若干数量的交互数据集中存在同一时刻的元数据时，通过版本快照文件对所述若干数量的交互数据集进行存储。

可以理解的是，版本快照文件指的是包括各个版本的快照数据的文件，在得到若干数量的交互数据集后，获取该若干数量的交互数据集的元数据，然后判断是否存在同一时刻的元数据，若是，则通过版本快照文存储在同一时刻的元数据。

步骤S303，在存储完成后且接收到模型训练请求时，根据所述模型训练请求确定目标交互数据集。

应当理解的是，在存储完成后，判断是否接收到模型训练请求，若是，则根据模型训练请求确定需要下载的交互数据集为目标交互数据集。

步骤S304，在当前下载的交互数据集不为目标交互数据集时，通过版本管理策略将所述当前下载的交互数据集切换为目标交互数据集，并从所述对象存储系统下载目标交互数据集。

可以理解的是，版本管理策略指的是切换不同版本的交互数据集的管理策略，在确定需要下载的交互数据集为目标交互数据集后，判断对象存储系统当前下载的交互数据集是否为目标交互数据集，若是，则需要快速切换数据集，即通过版本管理策略将当前下载的交互数据集切换为目标交互数据集，然后从对象存储系统下载目标交互数据集，此时的版本快照文件也存储在对象存储系统中，不受磁盘容量限制。

本实施例通过获取若干数量的交互数据集；在所述若干数量的交互数据集中存在同一时刻的元数据时，通过版本快照文件对所述若干数量的交互数据集进行存储；在存储完成后且接收到模型训练请求时，根据所述模型训练请求确定目标交互数据集；在当前下载的交互数据集不为目标交互数据集时，通过版本管理策略将所述当前下载的交互数据集切换为目标交互数据集；通过上述方式，判断若干数量的交互数据集是否存在同一时刻的元数据，若是，则通过版本快照文件存储若干数量的交互集，然后判断当前下载的交互数据集是否为目标交互数据集，若否，则通过版本管理策略实现交互数据集的切换，从而能够有效提高下载目标交互数据集的准确性。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于训练系统与对象存储系统的数据交互程序，所述基于训练系统与对象存储系统的数据交互程序被处理器执行时实现如上文所述的基于训练系统与对象存储系统的数据交互方法的步骤。

由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

此外，参照图4，本发明实施例还提出一种基于训练系统与对象存储系统的数据交互装置，所述基于训练系统与对象存储系统的数据交互装置包括：

获取模块10，用于获取训练系统的待上传交互数据集，根据所述待上传交互数据集得到文件数据和元数据。

存储模块20，用于在确定所述文件数据未上传至对象存储系统时，将所述文件数据和元数据进行存储。

下载模块30，用于在存储完成且接收到模型训练请求时，从所述对象存储系统下载目标交互数据集。

数据交互模块40，用于根据所述目标交互数据集的文件数据和元数据进行模型训练，以实现所述训练系统与所述对象存储系统的数据互动。

需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。

另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的基于训练系统与对象存储系统的数据交互方法，此处不再赘述。

在一实施例中，所述存储模块20，还用于通过SHA1哈希算法对所述文件数据进行编码，得到文件数据哈希值；根据所述文件数据哈希值对目标元数据库进行检索；在检索结果为所述文件数据哈希值不在目标元数据库时，确定所述文件数据未上传至对象存储系统；在检索结果为所述文件数据哈希值在目标元数据库时，确定所述文件数据已上传至对象存储系统，将元数据进行存储。

在一实施例中，所述存储模块20，还用于获取所述训练系统上传的文件数据和元数据；分别对所述训练系统上传的文件数据和元数据进行数据清洗；根据清洗后的文件数据和元数据生成目标交互数据集，并将所述目标交互数据集划分为训练集和测试集；在所述训练集中存在对模型训练产生影响的元数据时，对所述对模型训练产生影响的元数据进行修改；将修改后的训练集和所述测试集进行存储，并反馈存储完成信息。

在一实施例中，所述存储模块20，还用于通过CRUSH算法对所述对象存储系统的存储空间进行负载平衡，得到存储空间内各个交互数据分布信息；在所述各个交互数据分布信息为各个交互数据均匀分布在不同的磁盘时，获取所述存储空间的剩余存储空间；在所述剩余存储空间小于预设存储空间阈值时，通过CRUSH算法对所述存储空间进行扩容。

在一实施例中，所述下载模块30，还用于获取本地缓存目录；对所述本地缓存目录进行校验，得到当前校验结果；在所述当前校验结果为所述本地缓存目录中未存储有部分文件数据时，从所述对象存储系统下载目标交互数据集；在所述当前校验结果为所述本地缓存目录中存储有部分文件数据时，在训练系统根据所述部分文件数据的文件数据和元数据进行模型训练。

在一实施例中，所述下载模块30，还用于获取若干数量的交互数据集；在所述若干数量的交互数据集中存在同一时刻的元数据时，通过版本快照文件对所述若干数量的交互数据集进行存储；在存储完成后且接收到模型训练请求时，根据所述模型训练请求确定目标交互数据集；在当前下载的交互数据集不为目标交互数据集时，通过版本管理策略将所述当前下载的交互数据集切换为目标交互数据集，并从所述对象存储系统下载目标交互数据集。

在一实施例中，所述数据交互模块40，还用于通过测试集对目标训练模型进行测试，得到当前模型测试结果；在所述当前模型测试结果为预设测试结果时，确定所述目标训练模型合格；获取没有元数据的交互数据集；通过目标训练模型对所述交互数据集进行推理，得到当前元数据；根据所述没有元数据的交互数据集对所述当前元数据进行校验；在校验通过时，输出所述当前元数据。

本发明所述基于训练系统与对象存储系统的数据交互装置的其他实施例或具有实现方法可参照上述各方法实施例，此处不再赘余。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器（Read Only Memory，ROM）/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，一体化平台工作站，或者网络设备等）执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种基于训练系统与对象存储系统的数据交互方法，其特征在于，所述基于训练系统与对象存储系统的数据交互方法包括以下步骤：

根据所述目标交互数据集的文件数据和元数据进行模型训练，以实现所述训练系统与所述对象存储系统的数据互动；

所述在确定所述文件数据未上传至对象存储系统时，将所述文件数据和元数据进行存储之后，还包括：

获取所述训练系统上传的文件数据和元数据；

将修改后的训练集和所述测试集进行存储，并反馈存储完成信息；

所述从所述对象存储系统下载目标交互数据集之前，还包括：

获取本地缓存目录；

对所述本地缓存目录进行校验，得到当前校验结果；

在所述当前校验结果为所述本地缓存目录中存储有部分文件数据时，在训练系统根据所述部分文件数据的文件数据和元数据进行模型训练；

所述在存储完成且接收到模型训练请求时，从所述对象存储系统下载目标交互数据集，包括：

获取若干数量的交互数据集；

2.如权利要求1所述的基于训练系统与对象存储系统的数据交互方法，其特征在于，所述在确定所述文件数据未上传至对象存储系统时，将所述文件数据和元数据进行存储之前，还包括：

根据所述文件数据哈希值对目标元数据库进行检索；

3.如权利要求1所述的基于训练系统与对象存储系统的数据交互方法，其特征在于，所述将修改后的训练集和所述测试集进行存储之后，还包括：

4.如权利要求1所述的基于训练系统与对象存储系统的数据交互方法，其特征在于，所述根据所述目标交互数据集的文件数据和元数据进行模型训练之后，还包括：

获取没有元数据的交互数据集；

在校验通过时，输出所述当前元数据。

5.一种基于训练系统与对象存储系统的数据交互装置，其特征在于，所述基于训练系统与对象存储系统的数据交互装置包括：

数据交互模块，用于根据所述目标交互数据集的文件数据和元数据进行模型训练，以实现所述训练系统与所述对象存储系统的数据互动；

所述存储模块，还用于获取所述训练系统上传的文件数据和元数据；分别对所述训练系统上传的文件数据和元数据进行数据清洗；根据清洗后的文件数据和元数据生成目标交互数据集，并将所述目标交互数据集划分为训练集和测试集；在所述训练集中存在对模型训练产生影响的元数据时，对所述对模型训练产生影响的元数据进行修改；将修改后的训练集和所述测试集进行存储，并反馈存储完成信息；

所述存储模块，还用于获取本地缓存目录；对所述本地缓存目录进行校验，得到当前校验结果；在所述当前校验结果为所述本地缓存目录中未存储有部分文件数据时，从所述对象存储系统下载目标交互数据集；在所述当前校验结果为所述本地缓存目录中存储有部分文件数据时，在训练系统根据所述部分文件数据的文件数据和元数据进行模型训练；

所述下载模块，还用于获取若干数量的交互数据集；在所述若干数量的交互数据集中存在同一时刻的元数据时，通过版本快照文件对所述若干数量的交互数据集进行存储；在存储完成后且接收到模型训练请求时，根据所述模型训练请求确定目标交互数据集；在当前下载的交互数据集不为目标交互数据集时，通过版本管理策略将所述当前下载的交互数据集切换为目标交互数据集，并从所述对象存储系统下载目标交互数据集。

6.一种基于训练系统与对象存储系统的数据交互设备，其特征在于，所述基于训练系统与对象存储系统的数据交互设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于训练系统与对象存储系统的数据交互程序，所述基于训练系统与对象存储系统的数据交互程序配置有实现如权利要求1至4中任一项所述的基于训练系统与对象存储系统的数据交互方法。

7.一种存储介质，其特征在于，所述存储介质上存储有基于训练系统与对象存储系统的数据交互程序，所述基于训练系统与对象存储系统的数据交互程序被处理器执行时实现如权利要求1至4中任一项所述的基于训练系统与对象存储系统的数据交互方法。