CN115065694B - 一种云存储数据中转上传系统、方法、设备及介质 - Google Patents

Abstract

本申请公开了一种云存储数据中转上传系统，包括云存储终端节点、云存储中转上传节点和云存储服务器；云存储终端节点包括若干即时数据上传空间；云存储中转上传节点包括基于非易失存储的缓存空间和具有大容量存储空间的存储池；其中，云存储终端节点，用于通过若干即时数据上传空间交替存储并上传云存储数据至云存储中转上传节点；云存储中转上传节点，用于将云存储数据存储至缓存空间，并将缓存空间中的云存储数据存储至存储池以保存云存储数据，然后将存储池中的云存储数据传输至云存储服务器。本申请交替存储并上传的机制和所述缓存空间的非易失性以及所述存储池能够保证云存储中转上传节点断电时云存储数据不丢失。

Description

一种云存储数据中转上传系统、方法、设备及介质

技术领域

本发明涉及计算机技术领域，特别涉及一种云存储数据中转上传系统、方法、设备及介质。

背景技术

当前，云存储终端节点不配置本地存储，直接上传需要保存的云存储数据资源至云存储服务器，云存储终端节点一般先将数据保存在本地缓存中，然后通过intel网络向云存储服务器传输需要存储的云存储数据，传输完成释放本地缓存空间，继续缓存需要上传的云存储数据；但是，由于本地云存储终端节点的云存储数据资源保存在缓存中，若本地设备断电会出现数据丢失的情况；另外，由于缓存空间较小，当网络波动大时也造成的数据丢失的情况。

综上所述，如何减少云存储数据的丢失是当前亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种云存储数据中转上传系统、方法、设备及介质，能够减少云存储数据的丢失。其具体方案如下：

第一方面，本申请公开了一种云存储数据中转上传系统，包括云存储终端节点、云存储中转上传节点和云存储服务器；所述云存储终端节点包括若干即时数据上传空间；所述云存储中转上传节点包括基于非易失存储的缓存空间和具有大容量存储空间的存储池；其中，

所述云存储终端节点，用于通过若干所述即时数据上传空间交替存储并上传云存储数据至所述云存储中转上传节点；

所述云存储中转上传节点，用于将所述云存储数据存储至所述缓存空间，并将所述缓存空间中的所述云存储数据存储至所述存储池以保存所述云存储数据，然后将所述存储池中的所述云存储数据传输至所述云存储服务器。

可选的，所述云存储终端节点，还用于计算目标数据流的第一MD5值，并基于所述云存储终端节点的通用唯一识别码、所述第一MD5值和所述目标数据流构建所述云存储数据。

可选的，所述云存储中转上传节点，用于将所述云存储数据存储至所述缓存空间，计算所述缓存空间中所述云存储数据中的所述目标数据流的第二MD5值，当所述第一MD5值和所述第二MD5值一致时，生成基于所述第一MD5值、所述通用唯一识别码和所述目标数据流的存储对照表并存储至所述存储池，然后将所述存储池中的所述云存储数据传输至所述云存储服务器，当所述第一MD5值和所述第二MD5值不一致时，向所述云存储终端节点发送基于所述第一MD5值的第一重传指令。

可选的，所述云存储中转上传节点，还用于在获取所述云存储服务器基于所述云存储数据返回的上传成功指令后，根据所述存储对照表查询并删除所述云存储数据中的目标数据流并更新所述存储对照表。

可选的，所述云存储中转上传节点，还用于获取所述云存储服务器基于所述云存储数据返回的第二重传指令后，基于所述存储对照表查询所述云存储数据，并将所述云存储数据传输至所述云存储服务器。

可选的，所述云存储终端节点还包括数据重传空间，其中，

所述云存储终端节点，还用于在通过若干所述即时数据上传空间交替存储并上传云存储数据至所述云存储中转上传节点后，将所述即时数据上传空间中存储的所述云存储数据转移至所述云存储终端节点中的数据重传空间，并在获取所述云存储中转上传节点返回的所述第一重传指令后，基于所述第一重传指令从所述数据重传空间中查询待重传数据，并将所述待重传数据传输至所述云存储中转上传节点。

可选的，所述云存储终端节点，还用于基于所述云存储数据的上传成功率设定所述数据重传空间的大小。

第二方面，本申请公开了一种云存储数据中转上传方法，应用于云存储数据中转上传系统，所述云存储数据中转上传系统包括云存储终端节点、云存储中转上传节点和云存储服务器；所述云存储终端节点包括若干即时数据上传空间；所述云存储中转上传节点包括基于非易失存储的缓存空间和具有大容量存储空间的存储池，所述方法包括：

通过所述云存储终端节点的若干所述即时数据上传空间交替存储并上传云存储数据至所述云存储中转上传节点；

通过所述云存储中转上传节点的所述缓存空间存储所述云存储数据，并将所述缓存空间中的所述云存储数据存储至所述存储池以保存所述云存储数据，然后通过所述云存储中转上传节点将所述存储池中的所述云存储数据传输至所述云存储服务器。

第三方面，本申请公开了一种电子设备，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现前述公开的云存储数据中转上传方法。

第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的云存储数据中转上传方法。

可见，本申请中所述云存储终端节点，用于通过若干所述即时数据上传空间交替存储并上传云存储数据至所述云存储中转上传节点；所述云存储中转上传节点，用于将所述云存储数据存储至所述缓存空间，并将所述缓存空间中的所述云存储数据存储至所述存储池以保存所述云存储数据，然后将所述存储池中的所述云存储数据传输至所述云存储服务器。由此可见，本申请所述交替存储并上传的机制使得云存储数据存储至所述缓存空间使得所述云存储数据在云存储终端节点断电后不丢失，并且所述缓存空间能够较快接收所述云存储数据；另外所述缓存空间的非易失性以及所述存储池能够保证云存储中转上传节点断电时云存储数据不丢失。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的一种云存储数据中转上传装置结构图；

图2为本申请提供的一种具体的云存储数据中转上传装置结构图；

图3为本申请提供的一种云存储数据结构示意图；

图4为本申请提供的一种云存储终端节点缓存结构示意示意图；

图5为本申请提供的一种云存储中转上传节点数据存储示意图；

图6为本申请提供的一种云存储数据中转上传方法流程图；

图7为本申请提供的一种电子设备结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

当前，由于本地云存储数据资源保存在缓存中，若本地设备断电会出现数据丢失的情况；另外，由于缓存空间较小，当网络波动大时也造成的数据丢失的情况。

为了克服上述问题，本申请提供了一种云存储数据中转上传方案，能够减少云存储数据的丢失。

参见图1所示，本申请实施例公开了一种云存储数据中转上传系统，包括云存储终端节点11、云存储中转上传节点12和云存储服务器13；所述云存储终端节点11包括若干即时数据上传空间111；所述云存储中转上传节点12包括基于非易失存储的缓存空间121和具有大容量存储空间的存储池122；其中，

所述云存储终端节点11，用于通过若干所述即时数据上传空间111交替存储并上传云存储数据至所述云存储中转上传节点12；

所述云存储中转上传节点12，用于将所述云存储数据存储至所述缓存空间121，并将所述缓存空间121中的所述云存储数据存储至所述存储池122以保存所述云存储数据，然后将所述存储池122中的所述云存储数据传输至所述云存储服务器13。

需要指出的是，云存储是一种网上在线存储(Cloud storage)的模式，即把数据存放在通常由第三方托管的多台虚拟服务器，而非专属的服务器上。数据中心营运商根据客户的需求，在后端准备存储虚拟化的资源，并将其以存储资源池(storage pool)的方式提供，客户便可自行使用此存储资源池来存放文件或对象。实际上，这些资源可能被分布在众多的服务器主机上。

本申请实施例中，若干即时数据上传空间111交替存储和上传所述云存储数据的方式，加快了上传速度；在一种具体实施例中，所述即时数据上传空间111为两个，两个所述即时数据上传空间111交替存储并上传云存储数据至所述云存储中转上传节点12的本地节点缓存交替上传机制，实现了本地节点缓存云存储数据的交替写入和上传，降低本地云存储数据写入和上传延迟，降低了本地设备断电时，出现数据丢失的可能性；降低了终端网络断开或者网络波动导致本地缓存占满后导致的缓存云存储数据丢弃问题。

本申请实施例中，所述云存储终端节点11和所述云存储中转上传节点12之间通过以太网连接，所述存储中转上传节点12和所述云存储服务器13之间通过Intelnet专线连接，降低了云存储数据从所述云存储终端节点11传输至所述云存储服务器13的过程失败的概率。

本申请实施例中，所述云存储中转上传节点12配置有两级存储空间，包括一级存储空间和二级存储空间，所述一级存储空间为基于非易失存储的缓存空间121，所述二级存储空间为具有大容量存储空间的存储池122；云存储终端节点发送过来的数据流首先存储在一级存储空间中，一级存储空间有较快的读写速度且可以保证其中的数据在云存储终端节点掉电时不丢失；二级存储空间为基于硬盘或闪存空间的存储池，较一级存储空间可配置较大容量的存储空间。云存储数据存储时一级存储空间中的数据会陆续写入二级存储空间中，如写入过程中发生云存储中转节点12掉电，可保证云存储数据不会丢失；所述一级存储空间和所述二级存储空间共同实现云存储数据掉电情况无损地存储。需要指出的是，所述缓存空间121可为PMEM(Optane Persistent Memory，持久性内存)，持久性内存有跟硬盘一样的特性，断电以后重启，内存中的数据依然存在，此项特性使得持久内存即可以当做一个高速持久化设备使用，也可以满足内存应用某些场景下的快速恢复的需求。

本申请实施例中，所述云存储中转上传节点12可接收不同云存储终端节点11的云存储数据，并将数据整理后发送至云存储服务器13。云存储数据中转上传系统可以完成对以太网所有云存储配置设备的级联并进行数据集中存储和上传。

可见，本申请中所述云存储终端节点，用于通过若干所述即时数据上传空间交替存储并上传云存储数据至所述云存储中转上传节点；所述云存储中转上传节点，用于将所述云存储数据存储至所述缓存空间，并将所述缓存空间中的所述云存储数据存储至所述存储池以保存所述云存储数据，然后将所述存储池中的所述云存储数据传输至所述云存储服务器。由此可见，本申请所述交替存储并上传的机制使得云存储数据存储至所述缓存空间使得所述云存储数据在云存储终端节点断电后不丢失，并且所述缓存空间能够较快接收所述云存储数据；另外所述缓存空间的非易失性以及所述存储池能够保证云存储中转上传节点断电时云存储数据不丢失。

参见图2所示，本申请实施例公开了一种具体的云存储数据中转上传系统，包括云存储终端节点11、云存储中转上传节点12和云存储服务器13；所述云存储终端节点11包括若干即时数据上传空间111；所述云存储中转上传节点12包括基于非易失存储的缓存空间121和具有大容量存储空间的存储池122；其中，

所述云存储终端节点11，用于计算目标数据流的第一MD5值，并基于所述云存储终端节点的通用唯一识别码、所述第一MD5值和所述目标数据流构建所述云存储数据。

所述云存储终端节点11，用于通过若干所述即时数据上传空间111交替存储并上传所述云存储数据至所述云存储中转上传节点12；

所述云存储中转上传节点12，用于将所述云存储数据存储至所述缓存空间，并计算所述缓存空间中所述云存储数据中的所述目标数据流的第二MD5值，当所述第一MD5值和所述第二MD5值一致时，生成基于所述第一MD5值、所述通用唯一识别码和所述目标数据流的存储对照表并存储至所述存储池以保存所述云存储数据，然后将所述存储池122中的所述云存储数据传输至所述云存储服务器13，当所述第一MD5值和所述第二MD5值不一致时，向所述云存储终端节点发送基于所述第一MD5值的第一重传指令。

所述云存储终端节点11，还用于在通过若干所述即时数据上传空间111交替存储并上传云存储数据至所述云存储中转上传节点12后，将所述即时数据上传空间111中存储的所述云存储数据转移至所述云存储终端节点中的数据重传空间112，并在获取所述云存储中转上传节点返回的所述第一重传指令后，基于所述第一重传指令从所述数据重传空间112中查询待重传数据，并将所述待重传数据传输至所述云存储中转上传节点12。

所述云存储终端节点11，还用于基于所述云存储数据的上传成功率设定所述数据重传空间112的大小。

所述云存储中转上传节点12，还用于在获取所述云存储服务器基于所述云存储数据返回的上传成功指令后，根据所述存储对照表查询并删除所述云存储数据中的目标数据流并更新所述存储对照表。

所述云存储中转上传节点12，还用于获取所述云存储服务器基于所述云存储数据返回的第二重传指令后，基于所述存储对照表查询所述云存储数据，并将所述云存储数据传输至所述云存储服务器13。

本申请实施例中，计算目标数据流的第一MD5值，并基于所述云存储终端节点的通用唯一识别码、所述第一MD5值和所述目标数据流构建所述云存储数据；其中，所述目标数据流大小可为1M，在此不做具体限定；另外，构建所述云存储数据还需要加入数据流PID(Process Identification)，所述数据流PID根据同一个文件划分数据块进行设定，可根据文件生成时间戳和分割number(分割num)设定；如图3所示，为云存储数据结构示意图，UUID(Universally Unique Identifier)为云存储终端节点的通用唯一识别码。需要指出的是，所述第一MD5值和所述数据流PID位于云存储数据头部。需要指数的都是，MD5信息摘要算法(MD5 Message-Digest Algorithm)是一种被广泛使用的密码散列函数，用于确保信息传输完整一致。

本申请实施例中，云存储终端节点包括若干即时数据上传空间111和数据重传空间112，如图4所示，为一种云存储终端节点缓存结构示意图；其中，即时数据上传空间111有两个(cache1和cache2)，数据重传空间112有一个(cache3)，即时数据上传空间111和数据重传空间112可为固定大小，也可根据实际条件进行修改。需要指出的是，所述数据重传空间112的大小由所述云存储终端节点11根据所述云存储数据的上传成功率设定。在一种实施例中，所述数据重传空间112可为4倍的即时数据上传空间111，具体各根据实际情况进行用户自定义大小。

需要指出的是，云存储终端节点11在通过若干所述即时数据上传空间111交替存储并上传云存储数据至所述云存储中转上传节点12后，将所述即时数据上传空间111中存储的所述云存储数据转移至所述云存储终端节点中的数据重传空间112，此时，会自定释放即时上传空间111的云存储数据；云存储终端节点11通过以太网同云存储中转上传节点连接，产生的云存数据即时上传至云存储中转上传节点12，云存储终端节点11会获取根据云存储中转上传节点返回的指令控制进行cache内部数据的重传，若即时上传失败，则指令为第一重传指令，云存储终端节点11在获取所述云存储中转上传节点返回的所述第一重传指令后，基于所述第一重传指令从所述数据重传空间112中查询待重传数据，如果存在所述待重传数据，则将所述待重传数据传输至所述云存储中转上传节点12，如果不存在所述待重传数据，则返回云存储中转上传节点12数据不存在信号。需要指出的是，数据重传空间112中的云存储数据按照队列原则进行数据存储，相较其他云存储数据上传方式，可实现数据块冗余传输。需要指出的是，所述数据重传空间112的存在降低了云存储数据上传失败的概率。

本申请实施例中，所述云存储中转上传节点12配置有两级存储空间，包括一级存储空间和二级存储空间，所述一级存储空间为基于非易失存储的缓存空间121，所述二级存储空间为具有大容量存储空间的存储池122；云存储终端节点发送过来的数据流首先存储在一级存储空间中，一级存储空间有较快的读写速度且可以保证其中的数据在云存储终端节点掉电时不丢失；二级存储空间为基于硬盘或闪存空间的存储池，较一级存储空间可配置较大容量的存储空间。云存储数据存储时一级存储空间中的数据会陆续写入二级存储空间中，如写入过程中发生云存储中转节点12掉电，可保证云存储数据不会丢失；所述一级存储空间和所述二级存储空间共同实现云存储数据掉电情况无损地存储。需要指出的是，所述缓存空间121可为PMEM(Optane Persistent Memory，持久性内存)，持久性内存有跟硬盘一样的特性，断电以后重启，内存中的数据依然存在，此项特性使得持久内存即可以当做一个高速持久化设备使用，也可以满足内存应用某些场景下的快速恢复的需求。

本申请实施例中，云存储中转上传节点12的缓存空间121存储至所述缓存空间后，在缓存空间中进行数据校验，以保证数据一致性，将校验成功的云存储数据存储至存储池122，具体的，计算所述缓存空间中所述云存储数据中的所述目标数据流的第二MD5值，当所述第一MD5值和所述第二MD5值一致时，生成基于所述第一MD5值、所述通用唯一识别码和所述目标数据流的存储对照表并存储至所述存储池以保存所述云存储数据，然后将所述存储池122中的所述云存储数据传输至所述云存储服务器13，当所述第一MD5值和所述第二MD5值不一致时，向所述云存储终端节点发送基于所述第一MD5值的第一重传指令。如图5所示，为云存储中转上传节点数据存储示意图，也即存储对照表的创建和存储过程，图中通用唯一识别码1(UUID1)和通用唯一识别码2(UUID2)别表示不同的云存储终端节点，UUID1对应的数据流1和数据流2都是UUID1对应的云存储终端节点的数据，不同的数据流对应的不同的MD5。

本申请实施例中，云存储中转上传节点通过Intelnet专线同云存储服务器连接，中转上传节点按照队列进行云存储数据块的上传，如云存储服务器返回上传成功的信号后，中转上传节点即根据对照表查找并删除对应流数据，删除完成后更新中转节点对应UUID和MD5的存储对照表。如云存储服务器返回重传信号，云存储中转上传节点可根据存储对照表UUID和MD5查找对应流数据并进行重传。

可见，本申请中所述云存储终端节点，用于计算目标数据流的第一MD5值，并基于所述云存储终端节点的通用唯一识别码、所述第一MD5值和所述目标数据流构建所述云存储数据。所述云存储终端节点，用于通过若干所述即时数据上传空间交替存储并上传所述云存储数据至所述云存储中转上传节点；所述云存储中转上传节点，用于将所述云存储数据存储至所述缓存空间，并计算所述缓存空间中所述云存储数据中的所述目标数据流的第二MD5值，当所述第一MD5值和所述第二MD5值一致时，生成基于所述第一MD5值、所述通用唯一识别码和所述目标数据流的存储对照表并存储至所述存储池以保存所述云存储数据，然后将所述存储池中的所述云存储数据传输至所述云存储服务器，当所述第一MD5值和所述第二MD5值不一致时，向所述云存储终端节点发送基于所述第一MD5值的第一重传指令。所述云存储终端节点，还用于在通过若干所述即时数据上传空间交替存储并上传云存储数据至所述云存储中转上传节点后，将所述即时数据上传空间中存储的所述云存储数据转移至所述云存储终端节点中的数据重传空间，并在获取所述云存储中转上传节点返回的所述第一重传指令后，基于所述第一重传指令从所述数据重传空间中查询待重传数据，并将所述待重传数据传输至所述云存储中转上传节点。由此可见，本申请所述交替存储并上传的机制使得云存储数据存储至所述缓存空间使得所述云存储数据在云存储终端节点断电后不丢失，并且所述缓存空间能够较快接收所述云存储数据；另外所述缓存空间的非易失性以及所述存储池能够保证云存储中转上传节点断电时云存储数据不丢失；另外，利用MD5进行数据校验，可进一步保证云存储中转上传节点保存数据和上传数据的一致性。

参见图6所示，本申请实施例公开了一种云存储数据中转上传方法，应用于云存储数据中转上传系统，所述云存储数据中转上传系统包括云存储终端节点、云存储中转上传节点和云存储服务器；所述云存储终端节点包括若干即时数据上传空间；所述云存储中转上传节点包括基于非易失存储的缓存空间和具有大容量存储空间的存储池，所述方法包括：

步骤S11：通过所述云存储终端节点的若干所述即时数据上传空间交替存储并上传云存储数据至所述云存储中转上传节点。

本申请实施例中，通过所述云存储终端节点的若干所述即时数据上传空间交替存储并上传云存储数据至所述云存储中转上传节点之前，通过所述云存储终端节点计算目标数据流的第一MD5值，并基于所述云存储终端节点的通用唯一识别码、所述第一MD5值和所述目标数据流构建所述云存储数据。需要指出的是，其中，所述目标数据流大小可为1M，在此不做具体限定；另外，构建所述云存储数据还需要加入数据流PID，所述数据流PID根据同一个文件划分数据块进行设定，可根据文件生成时间戳和分割number(分割num)设定。

本申请实施例中，所述云存储终端节点中还存在数据重传空间。需要指出的是，在通过所述云存储终端节点的若干所述即时数据上传空间交替存储并上传云存储数据至所述云存储中转上传节点后，所述云存储终端节点将所述即时数据上传空间中存储的所述云存储数据转移至所述云存储终端节点中的数据重传空间，并在获取所述云存储中转上传节点返回的所述第一重传指令后，基于所述第一重传指令从所述数据重传空间中查询待重传数据，并将所述待重传数据传输至所述云存储中转上传节点。需要指出的是，所述数据重传空间的大小是基于所述云存储数据的上传成功率设定的。

本申请实施例中，若干所述即时数据上传空间交替存储并上传云存储数据至所述云存储中转上传节点的机制，实现了本地节点缓存云存储数据的交替写入和上传，降低本地云存储数据写入和上传延迟，降低了本地设备断电时，出现数据丢失的可能性；降低了终端网络断开或者网络波动导致本地缓存占满后导致的缓存云存储数据丢弃问题。

本申请实施例中，所述云存储终端节点和所述云存储中转上传节点之间通过以太网连接，所述存储中转上传节点和所述云存储服务器之间通过Intelnet专线连接，降低了云存储数据从所述云存储终端节点传输至所述云存储服务器的过程失败的概率。

步骤S12：通过所述云存储中转上传节点的所述缓存空间存储所述云存储数据，并将所述缓存空间中的所述云存储数据存储至所述存储池以保存所述云存储数据，然后通过所述云存储中转上传节点将所述存储池中的所述云存储数据传输至所述云存储服务器。

本申请实施例中，所述云存储中转上传节点配置有两级存储空间，包括一级存储空间和二级存储空间，所述一级存储空间为基于非易失存储的缓存空间，所述二级存储空间为具有大容量存储空间的存储池；云存储终端节点发送过来的数据流首先存储在一级存储空间中，一级存储空间有较快的读写速度且可以保证其中的数据在云存储终端节点掉电时不丢失；二级存储空间为基于硬盘或闪存空间的存储池，较一级存储空间可配置较大容量的存储空间。云存储数据存储时一级存储空间中的数据会陆续写入二级存储空间中，如写入过程中发生云存储中转节点掉电，可保证云存储数据不会丢失；所述一级存储空间和所述二级存储空间共同实现云存储数据掉电情况无损地存储。需要指出的是，所述缓存空间可为持久性内存，持久性内存有跟硬盘一样的特性，断电以后重启，内存中的数据依然存在，此项特性使得持久内存即可以当做一个高速持久化设备使用，也可以满足内存应用某些场景下的快速恢复的需求。

本申请实施例中，通过所述云存储中转上传节点的所述缓存空间存储所述云存储数据，并将所述缓存空间中的所述云存储数据存储至所述存储池以保存所述云存储数据，然后将所述存储池中的所述云存储数据传输至所述云存储服务器；具体为，通过所述云存储中转上传节点的所述缓存空间存储所述云存储数据，并计算所述缓存空间中所述云存储数据中的所述目标数据流的第二MD5值，当所述第一MD5值和所述第二MD5值一致时，生成基于所述第一MD5值、所述通用唯一识别码和所述目标数据流的存储对照表并存储至所述存储池，然后将所述存储池中的所述云存储数据传输至所述云存储服务器，当所述第一MD5值和所述第二MD5值不一致时，向所述云存储终端节点发送基于所述第一MD5值的第一重传指令。需要指出的是，通过MD5进行数据校验的步骤，保障了云存储中转上传节点保存数据和上传数据的一致性。

本申请实施例中，所述云存储中转上传节点获取所述云存储服务器基于所述云存储数据返回的第二重传指令后，基于所述存储对照表查询所述云存储数据，并将所述云存储数据传输至所述云存储服务器；所述云存储中转上传节点在获取所述云存储服务器基于所述云存储数据返回的上传成功指令后，根据所述存储对照表查询并删除所述云存储数据中的目标数据流并更新所述存储对照表；也即，云存储中转上传节点通过Intelnet专线同云存储服务器连接，中转上传节点按照队列进行云存储数据块的上传，如云存储服务器返回上传成功的信号后，中转上传节点即根据对照表查找并删除对应流数据，删除完成后更新中转节点对应UUID和MD5的存储对照表。如云存储服务器返回重传信号，云存储中转上传节点可根据存储对照表UUID和MD5查找对应流数据并进行重传。

可见，本申请通过所述云存储终端节点的若干所述即时数据上传空间交替存储并上传云存储数据至所述云存储中转上传节点；通过所述云存储中转上传节点的所述缓存空间存储所述云存储数据，并将所述缓存空间中的所述云存储数据存储至所述存储池以保存所述云存储数据，然后通过所述云存储中转上传节点将所述存储池中的所述云存储数据传输至所述云存储服务器。由此可见，本申请所述交替存储并上传的机制使得云存储数据存储至所述缓存空间使得所述云存储数据在云存储终端节点断电后不丢失，并且所述缓存空间能够较快接收所述云存储数据；另外所述缓存空间的非易失性以及所述存储池能够保证云存储中转上传节点断电时云存储数据不丢失；另外，利用MD5进行数据校验，可进一步保证云存储中转上传节点保存数据和上传数据的一致性。

进一步的，本申请实施例还提供了一种电子设备，图7是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。

图7为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、输入输出接口24、通信接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任意实施例公开的云存储数据中转上传方法的相关步骤。

本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口25能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口24，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，存储器22作为可以包括作为运行内存的随机存取存储器和用于外部内存的存储用途的非易失性存储器，其上的存储资源包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。

其中，操作系统221用于管理与控制源主机上电子设备20上的各硬件设备以及计算机程序222，操作系统221可以是Windows、Unix、Linux等。计算机程222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的云存储数据中转上传方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。

本实施例中，所述输入输出接口24具体可以包括但不限于USB接口、硬盘读取接口、串行接口、语音输入接口、指纹输入接口等。

进一步的，本申请实施例还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的云存储数据中转上传方法。

关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。

这里所说的计算机可读存储介质包括随机存取存储器(Random Access Memory，RAM)、内存、只读存储器(Read-Only Memory，ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、磁碟或者光盘或技术领域内所公知的任意其他形式的存储介质。其中，所述计算机程序被处理器执行时实现前述云存储中转上传方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的云存储数据中转上传方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种云存储数据中转上传系统、方法、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种云存储数据中转上传系统，其特征在于，包括云存储终端节点、云存储中转上传节点和云存储服务器；所述云存储终端节点包括若干即时数据上传空间；所述云存储中转上传节点包括基于非易失存储的缓存空间和具有大容量存储空间的存储池；其中，

所述云存储终端节点，用于通过若干所述即时数据上传空间交替存储并上传云存储数据至所述云存储中转上传节点；

所述云存储中转上传节点，用于将所述云存储数据存储至所述缓存空间，并将所述缓存空间中的所述云存储数据存储至所述存储池以保存所述云存储数据，然后将所述存储池中的所述云存储数据传输至所述云存储服务器；其中，所述缓存空间中的所述云存储数据陆续存储至所述存储池；

其中，所述通过若干所述即时数据上传空间交替存储并上传云存储数据至所述云存储中转上传节点，包括：

通过若干所述即时数据上传空间中的一部分所述即时数据上传空间存储云存储数据时，并通过若干所述即时数据上传空间中的另一部分所述即时数据上传空间上传存储的所述云存储数据，以将所述云存储数据传输至所述云存储中转上传节点；其中，所述两部分的所述即时数据上传空间可分别交替进行存储和上传；

其中，所述云存储终端节点，用于计算目标数据流的第一MD5值，并基于所述云存储终端节点的通用唯一识别码、所述第一MD5值和所述目标数据流构建所述云存储数据；

其中，所述云存储中转上传节点，用于将所述云存储数据存储至所述缓存空间，并计算所述缓存空间中所述云存储数据中的所述目标数据流的第二MD5值，当所述第一MD5值和所述第二MD5值一致时，生成基于所述第一MD5值、所述通用唯一识别码和所述目标数据流的存储对照表并存储至所述存储池，然后将所述存储池中的所述云存储数据传输至所述云存储服务器，当所述第一MD5值和所述第二MD5值不一致时，向所述云存储终端节点发送基于所述第一MD5值的第一重传指令；

其中，所述云存储中转上传节点，还用于获取所述云存储服务器基于所述云存储数据返回的第二重传指令后，基于所述存储对照表查询所述云存储数据，并将所述云存储数据传输至所述云存储服务器。

2.根据权利要求1所述的云存储数据中转上传系统，其特征在于，

所述云存储中转上传节点，还用于在获取所述云存储服务器基于所述云存储数据返回的上传成功指令后，根据所述存储对照表查询并删除所述云存储数据中的目标数据流并更新所述存储对照表。

3.根据权利要求1至2任一项所述的云存储数据中转上传系统，其特征在于，所述云存储终端节点还包括数据重传空间，其中，

所述云存储终端节点，还用于在通过若干所述即时数据上传空间交替存储并上传云存储数据至所述云存储中转上传节点后，将所述即时数据上传空间中存储的所述云存储数据转移至所述云存储终端节点中的数据重传空间，并在获取所述云存储中转上传节点返回的所述第一重传指令后，基于所述第一重传指令从所述数据重传空间中查询待重传数据，并将所述待重传数据传输至所述云存储中转上传节点。

4.根据权利要求3所述的云存储数据中转上传系统，其特征在于，

所述云存储终端节点，还用于基于所述云存储数据的上传成功率设定所述数据重传空间的大小。

5.一种云存储数据中转上传方法，其特征在于，应用于云存储数据中转上传系统，所述云存储数据中转上传系统包括云存储终端节点、云存储中转上传节点和云存储服务器；所述云存储终端节点包括若干即时数据上传空间；所述云存储中转上传节点包括基于非易失存储的缓存空间和具有大容量存储空间的存储池，所述方法包括：

通过所述云存储终端节点的若干所述即时数据上传空间交替存储并上传云存储数据至所述云存储中转上传节点；

通过所述云存储中转上传节点的所述缓存空间存储所述云存储数据，并将所述缓存空间中的所述云存储数据存储至所述存储池以保存所述云存储数据，然后通过所述云存储中转上传节点将所述存储池中的所述云存储数据传输至所述云存储服务器；其中，所述缓存空间中的所述云存储数据陆续存储至所述存储池；

其中，所述通过所述云存储终端节点的若干所述即时数据上传空间交替存储并上传云存储数据至所述云存储中转上传节点，包括：

通过若干所述即时数据上传空间中的一部分所述即时数据上传空间存储云存储数据时，并通过若干所述即时数据上传空间中的另一部分所述即时数据上传空间上传存储的所述云存储数据，以将所述云存储数据传输至所述云存储中转上传节点；其中，所述两部分的所述即时数据上传空间可分别交替进行存储和上传；

其中，通过所述云存储终端节点计算目标数据流的第一MD5值，并基于所述云存储终端节点的通用唯一识别码、所述第一MD5值和所述目标数据流构建所述云存储数据；

其中，通过所述云存储中转上传节点将所述云存储数据存储至所述缓存空间，并计算所述缓存空间中所述云存储数据中的所述目标数据流的第二MD5值，当所述第一MD5值和所述第二MD5值一致时，生成基于所述第一MD5值、所述通用唯一识别码和所述目标数据流的存储对照表并存储至所述存储池，然后将所述存储池中的所述云存储数据传输至所述云存储服务器，当所述第一MD5值和所述第二MD5值不一致时，向所述云存储终端节点发送基于所述第一MD5值的第一重传指令；

其中，通过所述云存储中转上传节点获取所述云存储服务器基于所述云存储数据返回的第二重传指令后，基于所述存储对照表查询所述云存储数据，并将所述云存储数据传输至所述云存储服务器。

6.一种电子设备，其特征在于，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求5所述的云存储数据中转上传方法。

7.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求5所述的云存储数据中转上传方法。