CN106341441B - 数据传输方法、接入设备和校验设备 - Google Patents

Abstract

本发明实施例公开了数据传输方法、接入设备和校验设备，用于准确确定HDFS存储完成接入设备上传的文件的时间点，提高文件传输和存储的及时性，保障数据存储的完整性。本发明实施例方法包括：校验设备先接收当前存活的接入设备发送的第一时间段内已上传文件的信息，并将该信息与各当前存活的接入设备对应记录，然后确定该第一时间段内当前存活的接入设备对应的已上传文件是否都存储在HDFS，当确定都存储在HDFS中时，确定当前存活的接入设备在该第一时间段内上传到HDFS中的文件已经上传成功。

Description

数据传输方法、接入设备和校验设备

技术领域

本发明涉及通信领域，尤其涉及数据传输方法、接入设备和校验设备。

背景技术

Hadoop分布式文件系统(全称：Hadoop Distributed File System，缩写：HDFS)集群是hadoop的底层存储平台，能够进行数据的冗余备份、达到可靠性保证等目的。其中，Hadoop是一个由Apache基金会所开发的分布式系统基础架构，使得用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。

目前，利用HDFS进行文件存储的一种方式为：接入设备确定待上传文件后，将待上传文件移动到工作目录，接入设备会比较该工作目录中的文件与HDFS中存储的文件个数是否一致，若不一致则将不一致的文件(待上传文件)上传到HDFS中存储。其中，接入设备有很多个，多个接入设备均上传文件到HDFS中，因此，接入设备需要待HDFS已经将一个时间段内接入设备上传的文件都存储完成时，才进行下一个时间段的上传。目前，接入设备通过延迟时间来确定文件是否已经存储完成，例如若需要判断HDFS是否已将前一小时所有接入设备上传的文件都存储完成，则延迟一个预定时间，比如2小时，2小时候后接入设备确定前一个小时所有接入设备上传的文件都已存储完成。

然而，在实际应用中，通过延迟时间确定文件是否已经存储完成导致数据及时性较差，且确定的结果并不准确，接入设备无法准确的判断何时HDFS已经存储完前一个时间段所有接入设备上传的文件，因此可能会在HDFS还没有处理完前一个时间段的文件时就发送下一个时间段的文件，导致数据丢失。

发明内容

本发明实施例提供了数据传输方法、接入设备和校验设备，用于准确确定HDFS存储完成接入设备上传的文件的时间点，提高文件传输和存储的及时性，保障数据存储的完整性。

一种数据传输方法，包括：

校验设备确定当前存活的接入设备，所述当前存活的接入设备中包括至少一个接入设备；

所述校验设备接收所述当前存活的接入设备发送的第一时间段内已上传文件的信息，所述第一时间段为以预置第一时长为周期的任一个时间段；

所述校验设备记录所述第一时间段内已上传文件的信息与所述当前存活的接入设备中各接入设备的对应关系；

所述校验设备根据所述对应关系，确定所述第一时间段内所述当前存活的接入设备对应的已上传文件是否都存储在HDFS中；

当确定都存储在所述HDFS中时，所述校验设备确定所述当前存活的接入设备在所述第一时间段内上传到所述HDFS中的文件已经上传成功。

一种数据传输方法，包括：

接入设备确定第一时间段内的待上传文件，所述第一时间段为以预置第一时长为周期的任一个时间段；

所述接入设备上传所述待上传文件到HDFS；

所述接入设备确定所述第一时间段内的已上传文件的信息，所述已上传文件的信息为已经上传的待上传文件的信息；

所述接入设备将所述第一时间段内的已上传文件的信息发送到校验设备。

一种校验设备，包括：

第一确定模块，用于确定当前存活的接入设备，所述当前存活的接入设备中包括至少一个接入设备；

接收模块，用于接收所述第一确定模块确定的当前存活的接入设备发送的第一时间段内已上传文件的信息，所述第一时间段为以预置第一时长为周期的任一个时间段；

记录模块，用于记录所述接收模块接收的第一时间段内已上传文件的信息与所述当前存活的接入设备中各接入设备的对应关系；

第二确定模块，用于根据所述记录模块记录的对应关系，确定所述第一时间段内所述当前存活的接入设备对应的已上传文件是否都存储在HDFS中；

第三确定模块，用于当所述第二确定模块确定都存储在所述HDFS中时，确定所述当前存活的接入设备在所述第一时间段内上传到所述HDFS中的文件已经上传成功。

一种接入设备，包括：

第四确定模块，用于确定第一时间段内的待上传文件，所述第一时间段为以预置第一时长为周期的任一个时间段；

上传模块，用于上传所述第四确定模块确定的待上传文件到HDFS；

第五确定模块，用于确定所述第一时间段内的已上传文件的信息，所述已上传文件的信息为已经上传的待上传文件的信息；

发送模块，将所述第一时间段内的已上传文件的信息发送到校验设备。

从以上技术方案可以看出，本发明实施例具有以下优点：本发明实施例中校验设备先接收当前存活的接入设备发送的第一时间段内已上传文件的信息，并将该信息与各当前存活的接入设备对应记录，然后确定该第一时间段内当前存活的接入设备对应的已上传文件是否都存储在HDFS中，这样，通过对HDFS中已存储文件的检查，能确定接入设备上传的文件是否已经存储完成，且按照预置第一时长将上传和存储切割，每次仅需检查和确认其中一个时间段的文件是否存储完成，不仅保证了文件存储本身的准确性，而且保证了确认存储完成的时间点的准确性，若上传正常完成，能更快的确认存储完成，不再需要延时等待，从而可以更快的触发下一个时间段的上传和存储，提高了文件传输和存储的及时性，且仅当确认所有当前存活的接入设备在第一时间段内已上传文件都存储在HDFS时才确认存储完成，保障了数据存储的完整性。

附图说明

图1为本发明实施例中数据传输系统一个信令交互示意图；

图2为本发明实施例中数据传输方法一个流程示意图；

图3为本发明实施例中数据传输方法另一个流程示意图；

图4为本发明实施例中校验设备一个结构示意图；

图5为本发明实施例中接入设备一个结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了数据传输方法、接入设备和校验设备，用于准确确定HDFS存储完成接入设备上传的文件的时间点，提高文件传输和存储的及时性，保障数据存储的完整性。

需要说明的是，本发明实施例提供的数据传输方法应用的数据传输系统涉及多个设备间的交互，包括：接入设备，校验设备和HDFS。其中，接入设备可以为多个，每个接入设备可以接入至少一台用户PC机或其他进行数据处理的主机。

请参阅图1，下面首先从该数据传输系统中各设备之间交互的角度，对本发明实施例中数据传输方法进行描述：

101、接入设备确定第一时间段内的待上传文件；

接入设备以预置第一时长为周期来确认待上传文件，将待上传文件按时间切割，本步骤中，接入设备确定第一时间段内的待上传文件，其中，该第一时间段为以该预置第一时长为周期的任一个时间段。

可以理解的是，接入设备可以接入至少一台用户PC机或其他进行数据处理的主机，该PC机或主机有需要上传的数据，则接入设备可以接收或获取这些需要上传的数据，确定第一时间段内的待上传文件，例如，对于用户PC机，可能需要将用户点击广告的频次和被点击的广告标识进行上传等，对于某些服务器，可能需要将操作记录进行上传等，此处不作限定。

102、接入设备上传该待上传文件到HDFS；

接入设备确定第一时间段内的待上传文件后，将确定的该待上传文件上传到HDFS。

103、该接入设备确定该第一时间段内的已上传文件的信息；

该接入设备上传该待上传文件到HDFS后，确定该第一时间段内的已上传文件的信息，该第一时间段内的已上传文件的信息为该已经上传的该第一时间段内的待上传文件的信息。该已上传文件的信息可以包括该已上传文件的文件名，时间戳等，还可以包括其他信息，此处不作限定。

104、该接入设备将该第一时间段内的已上传文件的信息发送到校验设备；

105、该校验设备接收当前存活的接入设备发送的第一时间段内已上传文件的信息；

本步骤中，接入设备可能有多个，校验设备可以接收当前存活的接入设备发送的第一时间段内已上传文件的信息。

可以理解的是，校验设备可以确定当前存活的接入设备，该当前存活的接入设备中包括至少一个接入设备，确定当前存活的接入设备的方式有多种，例如，可以由接入设备按照预置周期给校验设备发送存活信号，若预置时间内校验设备接收到某几个接入设备发送的存活信号，则可以认为这几个接入设备当前存活。

106、该校验设备记录该第一时间段内已上传文件的信息与当前存活的接入设备中各接入设备的对应关系；

校验设备可以将各接入设备发送的第一时间段内已上传文件的信息与各接入设备对应记录。

107、该校验设备根据该对应关系，确定该第一时间段内当前存活的接入设备对应的已上传文件是否都存储在HDFS中；

校验设备可以依次确定当前存活的各接入设备对应的已上传文件是否存储在HDFS中，每个接入设备对应哪几个已上传文件可以从该对应关系查找得到。

108、当确定都存储在HDFS中时，该校验设备确定当前存活的接入设备在该第一时间段内上传到该HDFS中的文件已经上传成功。

若确定所有的当前存活的接入设备对应的已上传文件都存储在该HDFS中，则表示当前存活的接入设备在该第一时间段内上传到该HDFS中的文件已经上传成功。该校验设备可以在规定位置写入成功标识或通知预置设备等，以便后续处理，此处不作限定。

本发明实施例中校验设备先接收当前存活的接入设备发送的第一时间段内已上传文件的信息，并将该信息与各当前存活的接入设备对应记录，然后确定该第一时间段内当前存活的接入设备对应的已上传文件是否都存储在HDFS中，这样，通过对HDFS中已存储文件的检查，能确定接入设备上传的文件是否已经存储完成，且按照预置第一时长将上传和存储切割，每次仅需检查和确认其中一个时间段的文件是否存储完成，不仅保证了文件存储本身的准确性，而且保证了确认存储完成的时间点的准确性，若上传正常完成，能更快的确认存储完成，不再需要延时等待，从而可以更快的触发下一个时间段的上传和存储，提高了文件传输和存储的及时性，且仅当确认所有当前存活的接入设备在第一时间段内已上传文件都存储在HDFS时才确认存储完成，保障了数据存储的完整性。

下面从校验设备的角度，对本发明实施例中的数据传输方法进行描述：

请参阅图2，本发明实施例中数据传输方法另一个实施例包括：

201、校验设备确定当前存活的接入设备；

其中，所述当前存活的接入设备中包括至少一个接入设备；

校验设备确定当前存活的接入设备的方式有很多种，例如可以按照接入设备清单依次发送存活探测指令，若接入设备返回存活探测响应，则表示该接入设备当前存活，例如也可以接收接入设备按照预置周期给该校验设备发送的存活信号，若预置时间内校验设备接收到某几个接入设备发送的存活信号，则可以认为这几个接入设备当前存活，例如该校验设备还可以更新存活设备清单，该存活设备清单中存储有当前存活的接入设备，该当前存活的接入设备标识存活时间戳距离当前时刻在预置第二时长内的接入设备，该存活时间戳由接入设备向校验设备发出的存活信号中携带，例如还可以当校验设备在距离当前时刻预置第三时长内接收到接入设备发送的任何信息，都确认该接入设备当前存活，还可以有其他的方式，此处不作限定。

可以理解的是，本步骤201可以单独执行，也可以与步骤202合并执行，即若存在单独的确认接入设备当前存活的信号，例如存活探测响应、存活信号等时，该信号可以单独发送给该校验设备，也可以与步骤202中第一时间段内已上传文件的信息同时发送给该校验设备，若不存在单独的确认接入设备当前存活的信号，校验设备也可以在接收到接入设备发送的第一时间段内已上传文件的信息的同时，确认该接入设备当前存活，此处不作限定。

202、所述校验设备接收所述当前存活的接入设备发送的第一时间段内已上传文件的信息；

其中，所述第一时间段为以预置第一时长为周期的任一个时间段；

可以理解的是，当前存活的接入设备可能有多个，该已上传文件的信息可以包括文件名，文件名中的时间戳，文件行数等等信息，还可以包括有文件的唯一标识等，此处不作限定。

203、所述校验设备记录所述第一时间段内已上传文件的信息与所述当前存活的接入设备中各接入设备的对应关系；

本步骤中，具体的，校验设备可以采用文件清单表的形式，对各个接入设备发送的第一时间段内已上传文件的信息与各接入设备按照对应关系进行记录。

204、所述校验设备根据所述对应关系，确定所述第一时间段内所述当前存活的接入设备对应的已上传文件是否都存储在HDFS中；

校验设备可以依次确定当前存活的各接入设备对应的已上传文件是否存储在HDFS中，每个接入设备对应哪几个已上传文件可以从该对应关系查找得到；

当确定所有的当前存活的接入设备对应的已上传文件都存储在该HDFS中时，执行步骤205；

可以理解的是，当确定该当前存活的接入设备中任一个接入设备对应的已上传文件没有存储在该HDFS中时，可以有多种处理方式：

可选的，可以向工作人员发出告警通知；

可选的，也可以向该接入设备发起重新上传指令，指示该接入设备将第一时间段内的待上传文件重新上传到HDFS；

可以理解的是，根据实际情况，还可以有其他更多的处理方式，此处不作限定。

205、当确定都存储在所述HDFS中时，所述校验设备确定所述当前存活的接入设备在所述第一时间段内上传到所述HDFS中的文件已经上传成功。

若确定所有的当前存活的接入设备对应的已上传文件都存储在该HDFS中，则表示当前存活的接入设备在该第一时间段内上传到该HDFS中的文件已经上传成功。该校验设备可以在规定位置写入成功标识或通知预置设备等，以便后续处理，此处不作限定。

本发明实施例中校验设备先接收当前存活的接入设备发送的第一时间段内已上传文件的信息，并将该信息与各当前存活的接入设备对应记录，然后确定该第一时间段内当前存活的接入设备对应的已上传文件是否都存储在HDFS中，这样，通过对HDFS中已存储文件的检查，能确定接入设备上传的文件是否已经存储完成，且按照预置第一时长将上传和存储切割，每次仅需检查和确认其中一个时间段的文件是否存储完成，不仅保证了文件存储本身的准确性，而且保证了确认存储完成的时间点的准确性，若上传正常完成，能更快的确认存储完成，不再需要延时等待，从而可以更快的触发下一个时间段的上传和存储，提高了文件传输和存储的及时性，且仅当确认所有当前存活的接入设备在第一时间段内已上传文件都存储在HDFS时才确认存储完成，保障了数据存储的完整性。

为便于理解，下面以一具体应用场景对本发明实施例中数据传输方法进行具体描述：

校验设备接收到了3个接入设备发送的存活信号，存活信号中都携带的存活时间戳都在预置第二时长20S内，该接入设备更新存活设备清单，在该存活设备清单中存储当前存活的接入设备为发送存活信号的3个接入设备A、B、C；

校验设备分别接收A、B、C发送的4点到5点(第一时间段)内已上传文件的文件名、时间戳，该第一时间段为以1小时(预置第一时长)为周期的其中一个时间段；

校验设备采用文件清单表记录该4点到5点内已上传文件分别和A、B、C的对应关系，例如，记录方式可以如下表1所示：

表1

检验设备确定各当前存活的接入设备对应的已上传文件是否都存储在HDFS中，例如，检查当前存活的接入设备A对应的已上传文件Text1至Text3是否都存储在该HDFS中，若确定都存储在HDFS中，则继续检查当前存活的接入设备B对应的已上传文件Text4是否都存储在该HDFS中，若确定都存储在HDFS中，则继续检查当前存活的接入设备C对应的已上传文件Text5至Text6是否都存储在该HDFS中，若确定都存储在HDFS中，则确定所有当前存活的接入设备在4点到5点内上传到HDFS中的文件已经上传成功；

若在检查当前存活的接入设备B对应的已上传文件Text4是否都存储在该HDFS中，在HDFS中查找不到该已上传文件Text4，则可以发送告警通知给工作人员。

下面从接入设备的角度，对本发明实施例中的数据传输方法进行描述：

请参阅图3，本发明实施例中数据传输方法另一个实施例包括：

301、接入设备确定第一时间段内的待上传文件，所述第一时间段为以预置第一时长为周期的任一个时间段；

接入设备以预置第一时长为周期来确认待上传文件，将待上传文件按时间切割，本步骤中，接入设备确定第一时间段内的待上传文件，其中，该第一时间段为以该预置第一时长为周期的任一个时间段。

可以理解的是，接入设备可以接入至少一台用户PC机或其他进行数据处理的主机，该PC机或主机有需要上传的数据，则接入设备可以接收或获取这些需要上传的数据，确定第一时间段内的待上传文件，例如，对于用户PC机，可能需要将用户点击广告的频次和被点击的广告标识进行上传等，对于某些服务器，可能需要将操作记录进行上传等，此处不作限定。

具体的，接入设备可以监控待上传目录内写入的文件，在该待上传目录内，当确定该第一文件在该第一时间段内写入完成时，该接入设备确定该第一文件为该第一时间段内的待上传文件。可选的，接入设备可以采用Inotify监控该待上传目录，从而准确的确定文件何时写入完成。

302、所述接入设备上传所述待上传文件到HDFS；

可以理解的是，接入设备确定任一个第一时间段内的待上传文件时，即可直接开始上传该待上传文件到HDFS，不需要等到确定完第一时间段内所有的待上传文件再开始上传。

303、所述接入设备确定所述第一时间段内的已上传文件的信息，所述已上传文件的信息为已经上传的待上传文件的信息；

该接入设备上传该待上传文件到HDFS后，确定该第一时间段内的已上传文件的信息，该第一时间段内的已上传文件的信息为该已经上传的该第一时间段内的待上传文件的信息。该已上传文件的信息可以包括该已上传文件的文件名，时间戳等，还可以包括其他信息，此处不作限定。

可以理解的是，在传输过程中，有些文件可能会出现故障导致不能上传，则这种情况下最终的已上传文件数目会少于待上传文件的数目，根据实际应用情况的不同，可以有多种处理方式，例如，可以在待上传文件上传失败时直接忽略，上传下一个，也可以在待上传文件上传失败时，向工作人员发出告警通知，还可以有其他处理方式，此处不作限定。

在实际应用中，接入设备确定该第一时间段内的已上传文件的信息可以在该接入设备中采用已上传文件表进行存储，此处不作限定。

304、所述接入设备将所述第一时间段内的已上传文件的信息发送到校验设备。

本实施例中，接入设备通过监控上传目录中文件是否写入完成来确定待上传文件，避免了对文件的读写冲突，以预置第一时长为周期确定待上传文件，保证了上传和确认的准确性和及时性，将第一时间段内的已上传文件的信息发送到校验设备，由校验设备校验已上传文件是否已存储在HDFS中，确保了文件传输结果的准确和完整。

为便于理解，下面以一具体应用场景对本发明实施例中数据传输方法进行具体描述：

接入设备A确认4点到5点(第一时间段)内的待上传文件为Text1、Text2、Text3；接入设备A将该Text1至Text3上传到HDFS中，并记录4点到5点内的已上传文件的信息到已上传文件表中，记录形式可以如下表2所示：

表2

已上传文件名	已上传文件时间戳
		Text1	2015/07/09 04:12
Text2	2015/07/09 04:22
		Text3	2015/07/09 04:28

接入设备A将该Text1到Text3的信息发送到校验设备。

下面分别对本发明实施例中校验设备和接入设备进行描述：

请参阅图4，本发明实施例中校验设备一个实施例包括：

第一确定模块401，用于确定当前存活的接入设备，所述当前存活的接入设备中包括至少一个接入设备；

接收模块402，用于接收所述第一确定模块401确定的当前存活的接入设备发送的第一时间段内已上传文件的信息，所述第一时间段为以预置第一时长为周期的任一个时间段；

记录模块403，用于记录所述接收模块402接收的第一时间段内已上传文件的信息与所述当前存活的接入设备中各接入设备的对应关系；

第二确定模块404，用于根据所述记录模块403记录的对应关系，确定所述第一时间段内所述当前存活的接入设备对应的已上传文件是否都存储在HDFS中；

第三确定模块405，用于当所述第二确定模块404确定都存储在所述HDFS中时，确定所述当前存活的接入设备在所述第一时间段内上传到所述HDFS中的文件已经上传成功。

可选的，本发明的一些实施例中，该第一确定模块401具体可以用于，更新存活设备清单，所述存活设备清单中存储有当前存活的接入设备，所述当前存活的接入设备表示存活时间戳距离当前时刻在预置第二时长内的接入设备，所述存活时间戳由所述接入设备向所述校验设备发出的存活信号的携带。

可选的，本发明的一些实施例中，该校验模块还可以包括：

通知模块406，用于当所述第二确定模块404确定所述当前存活的接入设备中任一个接入设备对应的已上传文件没有存储在所述HDFS中时，向工作人员发出告警通知。

本发明实施例中接收模块402先接收当前存活的接入设备发送的第一时间段内已上传文件的信息，记录模块403将该信息与各当前存活的接入设备对应记录，然后第二确定模块404确定该第一时间段内当前存活的接入设备对应的已上传文件是否都存储在HDFS中，这样，通过对HDFS中已存储文件的检查，能确定接入设备上传的文件是否已经存储完成，且按照预置第一时长将上传和存储切割，每次仅需检查和确认其中一个时间段的文件是否存储完成，不仅保证了文件存储本身的准确性，而且保证了确认存储完成的时间点的准确性，若上传正常完成，能更快的确认存储完成，不再需要延时等待，从而可以更快的触发下一个时间段的上传和存储，提高了文件传输和存储的及时性，且仅当第二确定模块404确认所有当前存活的接入设备在第一时间段内已上传文件都存储在HDFS时第三确定模块405才确认存储完成，保障了数据存储的完整性。

为了便于理解上述实施例，下面以上述校验设备各个模块在一个具体应用场景中的交互过程进行说明：

校验设备接收到了3个接入设备发送的存活信号，存活信号中都携带的存活时间戳都在预置第二时长20S内，该第一确定模块401更新存活设备清单，在该存活设备清单中存储当前存活的接入设备为发送存活信号的3个接入设备A、B、C；

接收模块402分别接收A、B、C发送的4点到5点(第一时间段)内已上传文件的文件名、时间戳，该第一时间段为以1小时(预置第一时长)为周期的其中一个时间段；

记录模块403采用文件清单表记录该4点到5点内已上传文件分别和A、B、C的对应关系，例如，记录方式可以如上表1所示；

第二确定模块404确定各当前存活的接入设备对应的已上传文件是否都存储在HDFS中，例如，检查当前存活的接入设备A对应的已上传文件Text1至Text3是否都存储在该HDFS中，若确定都存储在HDFS中，则继续检查当前存活的接入设备B对应的已上传文件Text4是否都存储在该HDFS中，若确定都存储在HDFS中，则继续检查当前存活的接入设备C对应的已上传文件Text5至Text6是否都存储在该HDFS中，若确定都存储在HDFS中，则第三确定模块405确定所有当前存活的接入设备在4点到5点内上传到HDFS中的文件已经上传成功；

若在检查当前存活的接入设备B对应的已上传文件Text4是否都存储在该HDFS中，第二确定模块404在HDFS中查找不到该已上传文件Text4，则通知模块406可以发送告警通知给工作人员。

请参阅图5，本发明实施例中接入设备一个实施例包括：

第四确定模块501，用于确定第一时间段内的待上传文件，所述第一时间段为以预置第一时长为周期的任一个时间段；

上传模块502，用于上传所述第四确定模块501确定的待上传文件到HDFS；

第五确定模块503，用于确定所述第一时间段内的已上传文件的信息，所述已上传文件的信息为所述上传模块502已经上传的待上传文件的信息；

发送模块504，将所述第一时间段内的已上传文件的信息发送到校验设备。

可选的，本发明的一些实施例中，该第四确定模块501具体可以包括：

监控单元5011，用于监控待上传目录内写入的文件；

确定单元5012，用于在所述监控单元5011监控的待上传目录内，当所述监控单元5011确定第一文件在所述第一时间段内写入完成时，确定所述第一文件为所述第一时间段内的待上传文件，所述第一时间段为以预置第一时长为周期的任一个时间段。

本实施例中，通过监控单元5011监控上传目录中文件是否写入完成，确定单元5012确定待上传文件，避免了对文件的读写冲突，且确定单元5012以预置第一时长为周期确定待上传文件，保证了上传和确认的准确性和及时性，发送模块504将第一时间段内的已上传文件的信息发送到校验设备，由校验设备校验已上传文件是否已存储在HDFS中，确保了文件传输结果的准确和完整。

为了便于理解上述实施例，下面以上述接入设备各个模块在一个具体应用场景中的交互过程进行说明：

接入设备A的第四确定模块501确认4点到5点(第一时间段)内的待上传文件为Text1、Text2、Text3；接入设备A的上传模块502将该Text1至Text3上传到HDFS中，第五确定模块503记录4点到5点内的已上传文件的信息到已上传文件表中，记录形式可以如下表2所示：

表2

已上传文件名	已上传文件时间戳
		Text1	2015/07/09 04:12
Text2	2015/07/09 04:22
		Text3	2015/07/09 04:28

接入设备A的发送模块504将该Text1到Text3的信息发送到校验设备。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种数据传输方法，其特征在于，包括：

校验设备确定当前存活的接入设备，所述当前存活的接入设备中包括至少一个接入设备；

所述校验设备接收所述当前存活的接入设备发送的第一信息，所述第一信息为所述当前存活的接入设备在第一时间段内已上传文件的信息，所述第一时间段为以预置第一时长为周期的任一个时间段，按照预置第一时长将上传和存储切割；

所述校验设备记录所述第一信息与所述当前存活的接入设备中各接入设备的对应关系；

所述校验设备根据所述对应关系，确定所述当前存活的接入设备在所述第一时间段内对应的已上传文件是否都存储在HDFS中；

当确定都存储在所述HDFS中时，所述校验设备确定所述当前存活的接入设备在所述第一时间段内上传到所述HDFS中的文件已经上传成功，以便更快的触发下一个时间段的上传和存储。

2.根据权利要求1所述的方法，其特征在于，所述校验设备确定当前存活的接入设备，具体包括：

所述校验设备更新存活设备清单，所述存活设备清单中存储有当前存活的接入设备，所述当前存活的接入设备表示接入设备的存活时间戳与当前时刻的间隔时长处于预置第二时长内，所述接入设备的存活时间戳携带于所述接入设备发送的存活信号中。

3.根据权利要求1或2所述的方法，其特征在于，所述当确定都存储在所述HDFS中时的步骤之前还包括：

当确定所述当前存活的接入设备中任一个接入设备对应的已上传文件没有存储在所述HDFS中时，向工作人员发出告警通知。

4.一种数据传输方法，其特征在于，包括：

接入设备确定第一时间段内的待上传文件，所述第一时间段为以预置第一时长为周期的任一个时间段，按照预置第一时长将上传和存储切割；

所述接入设备上传所述待上传文件到HDFS；

所述接入设备确定第一信息，所述第一信息为所述接入设备在所述第一时间段内的已上传文件的信息，所述已上传文件的信息为所述接入设备上传的所述待上传文件的信息；

所述接入设备将所述第一信息发送到校验设备，以便校验设备确定上传成功后更快的触发下一个时间段的上传和存储。

5.根据权利要求4所述的方法，其特征在于，所述接入设备确定第一时间段内的待上传文件，具体包括：

所述接入设备监控待上传目录内写入的文件；

在所述待上传目录内，当确定第一文件在所述第一时间段内写入完成时，所述接入设备确定所述第一文件为所述第一时间段内的待上传文件。

6.一种校验设备，其特征在于，包括：

第一确定模块，用于确定当前存活的接入设备，所述当前存活的接入设备中包括至少一个接入设备；

接收模块，用于接收所述第一确定模块确定的当前存活的接入设备发送的第一信息，所述第一信息为所述当前存活的接入设备在第一时间段内已上传文件的信息，所述第一时间段为以预置第一时长为周期的任一个时间段，按照预置第一时长将上传和存储切割；

记录模块，用于记录所述接收模块接收的所述第一信息与所述当前存活的接入设备中各接入设备的对应关系；

第二确定模块，用于根据所述记录模块记录的对应关系，确定所述当前存活的接入设备在所述第一时间段内对应的已上传文件是否都存储在HDFS中；

第三确定模块，用于当所述第二确定模块确定都存储在所述HDFS中时，确定所述当前存活的接入设备在所述第一时间段内上传到所述HDFS中的文件已经上传成功，以便更快的触发下一个时间段的上传和存储。

7.根据权利要求6所述的校验设备，其特征在于，所述第一确定模块具体用于，更新存活设备清单，所述存活设备清单中存储有当前存活的接入设备，所述当前存活的接入设备表示接入设备的存活时间戳与当前时刻的间隔时长处于预置第二时长内，所述接入设备的存活时间戳携带于所述接入设备发送的存活信号中。

8.根据权利要求6或7所述的校验设备，其特征在于，所述校验设备还包括：

通知模块，用于当所述第二确定模块确定所述当前存活的接入设备中任一个接入设备对应的已上传文件没有存储在所述HDFS中时，向工作人员发出告警通知。

9.一种接入设备，其特征在于，包括：

第四确定模块，用于确定第一时间段内的待上传文件，所述第一时间段为以预置第一时长为周期的任一个时间段，按照预置第一时长将上传和存储切割；

上传模块，用于上传所述第四确定模块确定的待上传文件到HDFS；

第五确定模块，用于确定第一信息，所述第一信息为所述接入设备在所述第一时间段内的已上传文件的信息，所述已上传文件的信息为所述接入设备上传的所述待上传文件的信息；

发送模块，将所述第一信息发送到校验设备，以便校验设备确定上传成功后更快的触发下一个时间段的上传和存储。

10.根据权利要求9所述的接入设备，其特征在于，所述第四确定模块具体包括：

监控单元，用于监控待上传目录内写入的文件；

确定单元，用于在所述监控单元监控的待上传目录内，当所述监控单元确定第一文件在所述第一时间段内写入完成时，确定所述第一文件为所述第一时间段内的待上传文件。

11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有程序；所述程序被执行时，实现如权利要求1-3任一所述的数据传输方法。

Images