CN107508869A - 追溯数据采集方法及客户端 - Google Patents

Abstract

本发明提供一种追溯数据采集方法及客户端。所述方法应用于与集群服务器通信连接的客户端。客户端包括采集模块、采集监控模块、数据传输模块、策略设置模块。策略设置模块在接收采集模块发送的开启数据采集请求后，经采集监控模块向采集模块发送允许采集数据的指令及采集策略。采集模块按照采集策略进行数据采集，并完成数据的格式转换。在采集模块完成采集后，策略设置模块控制数据传输模块将采集模块采集并完成格式转换的数据发送给集群服务器中的某个服务器进行存储。由此，有效解决追溯数据源多样化且标准不统一难以合成追溯链条的问题，从而实现产品信息追溯。

Description

追溯数据采集方法及客户端

技术领域

本发明涉及追溯数据采集技术领域，具体而言，涉及一种追溯数据采集方法及客户端。

背景技术

由于人们的吃、行、用存在诸多安全隐患，因此，近年来各地区和有关部门积极推动应用物联网、云计算等技术建设追溯管理平台。追溯管理平台通过采集记录产品生产、流通、消费等环节信息，进行追溯链条的合成，实现产品追溯信息来源可查、去向可追、责任可究，强化全过程质量安全管理与风险控制。然而商品从生产、加工、流通到销售要经过多个环节，存在数据来源多样化、数据量庞大、数据结构不确定等问题，要打通各环节，实现全流程的追溯，需要解决的技术问题是：如何采集有效的用于合成追溯链条的追溯信息。

目前已知的追溯数据采集方法有：通过接口实现数据传输及信息交流；采用SaaS应用模式等。然而无论是数据接口的形式，还是SaaS应用模式，现有的追溯数据采集方式都存在诸多问题。首先，数据源来自于企业ERP系统的，若不规定数据对接的规范，采集到的各家企业的数据标准不统一，不规范的数据存在业务数据库是无法合成追溯链条的；若是必须按照数据对接的规范来传输数据，企业就需要对原生系统做一些改造，才能符合追溯链条合成的要求。其次，如果通过SaaS应用的方式来采集数据，追溯监管体系内的大部分企业在经营过程中都需要使用至少两套系统来管理业务数据。第三，没有一套完善的数据采集架构和方法，不仅不能解决数据不统一、不规范的问题，在大量数据传输至业务服务器时，若不做数据并发的考虑和处理，服务器压力会非常大，另外数据传输过程的中断及异常若不及时处理，会降低采集数据的有效性。

发明内容

为了克服现有技术中的上述不足，本发明所要解决的技术问题是提供一种追溯数据采集方法及客户端，其能够管理来自不同数据库的数据，不需要对数据的原生系统做侵入式改造，能同时满足有ERP系统的采集端和信息化薄弱的采集端实现数据上报，有效解决追溯数据源多样化、数据量庞大且标准不统一难以合成追溯链条的问题，从而实现产品信息追溯，同时具有很大的可行性。

本发明较佳实施例提供一种追溯数据采集方法，应用于与集群服务器通信连接的客户端，所述客户端包括采集模块、采集监控模块、数据传输模块、策略设置模块，所述策略设置模块中预先存储有采集策略，所述方法包括：

采集模块向策略设置模块发送开启数据采集的请求；

策略设置模块在接收所述请求后，向采集监控模块发送允许采集模块采集数据的指令及采集策略；

所述采集监控模块将允许采集模块采集数据的指令及采集策略发送给所述采集模块；

所述采集模块按照所述采集策略进行数据采集，并完成数据的格式转换；

在所述采集模块完成采集后，所述策略设置模块向数据传输模块发送传输数据的指令；

所述数据传输模块根据传输数据的指令将所述采集模块采集并完成格式转换的数据发送给集群服务器中的某个服务器进行存储。

本发明较佳实施例还提供一种客户端，所述客户端与集群服务器通信连接，所述客户端包括：

采集模块，用于向策略设置模块发送开启数据采集的请求；

策略设置模块，用于在接收所述请求后，向采集监控模块发送允许采集模块采集数据的指令及采集策略，其中，所述策略设置模块中预先存储有采集策略；

所述采集监控模块，用于将允许采集模块采集数据的指令及采集策略发送给所述采集模块；

所述采集模块，还用于按照所述采集策略进行数据采集，并完成数据的格式转换；

所述策略设置模块，还用于在所述采集模块完成采集后向数据传输模块发送传输数据的指令；

所述数据传输模块，用于根据所述传输数据的指令将所述采集模块采集并完成格式转换的数据发送给集群服务器中的某个服务器进行存储。

相对于现有技术而言，本发明具有以下有益效果：

本发明较佳实施例提供一种追溯数据采集方法及客户端。所述方法应用于所述客户端。其中，所述客户端包括采集模块、采集监控模块、数据传输模块、策略设置模块。所述策略设置模块中预先存储有采集策略。采集模块根据输入的操作向策略设置模块发送开启数据采集的请求。策略设置模块在接收所述请求后，经采集监控模块向采集模块发送允许采集数据的指令及采集策略。所述采集模块接收所述采集策略后，按照所述采集策略进行数据采集及格式转换。在完成采集及转换后，所述策略设置模块向数据传输模块发送将获得的数据进行运输的指令。所述数据传输模块按照接收的指令将所述采集模块采集并完成格式转换的数据发送给集群服务器中的某个服务器进行存储。通过按照采集策略进行数据的采集、转换，可以管理来自不同数据库的数据，有效解决追溯数据源多样化且标准不统一难以合成追溯链条的问题，并且可以改善大量并发数据的存储问题，实现错峰上传。

为使发明的上述目的、特征和优点能更明显易懂，下文特举本发明较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明较佳实施例提供的客户端与集群服务器的通信示意图。

图2是本发明较佳实施例提供的客户端的方框示意图。

图3是本发明较佳实施例提供的追溯数据采集方法的流程示意图。

图4是图3中步骤S140包括的子步骤的流程示意图。

图5是图3中步骤S150包括的子步骤的流程示意图之一。

图6是图3中步骤S150包括的子步骤的流程示意图之二。

图7是图3中步骤S160包括的子步骤的流程示意图。

图标：100-客户端；110-采集模块；120-策略设置模块；130-采集监控模块；140-数据传输模块；200-集群服务器。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，图1是本发明较佳实施例提供的客户端100与集群服务器200的通信示意图。所述客户端100与数据上报端进行通信连接，从数据上报端采集需要的数据，并将采集的数据发送给通信连接的集群服务器200。所述集群服务器200可以包含多台拥有共享数据存储空间的服务器，各服务器之间通过内部局域网进行相互通信，集群系统内任意一台服务器都可被所有的网络用户所使用。

请参照图2，图2是本发明较佳实施例提供的客户端100的方框示意图。所述客户端100包括采集模块110、策略设置模块120、采集监控模块130及数据传输模块140。所述采集模块110根据接收的操作生成对应的请求，并将请求发送给所述策略设置模块120。所述策略设置模块120接收所述请求，将与所述请求对应的信息发送给所述采集监控模块130。所述采集监控模块130将与所述请求对应的信息发送给采集模块110，并对采集模块110的运行状态进行监控。所述采集模块110按照与所述请求对应的信息进行数据采集。在采集完成后，所述策略设置模块120控制所述数据传输模块140将采集得到的数据发送给集群服务器200进行保存。

请参照图3，图3是本发明较佳实施例提供的追溯数据采集方法的流程示意图。所述方法应用于集群服务器200通信连接的客户端100。下面对追溯数据采集方法的具体流程进行详细阐述。

步骤S110，采集模块110向策略设置模块120发送开启数据采集的请求。

在本实施例中，所述采集模块110在一定情况下向策略设置模块120发送开启数据采集的请求。比如，所述采集模块110可以在接收进行数据采集的输入操作后，根据该操作生成开启数据采集的请求，并将该请求发送给所述策略设置模块120。或者，所述采集模块110在间隔一定时间或者按照一定时间安排向策略设置模块120发送开启采集数据的请求。其中，数据采集是指从企业ERP及其他管理平台获得源数据。

步骤S120，策略设置模块120在接收所述请求后，向采集监控模块130发送允许采集模块110采集数据的指令及采集策略。

所述策略设置模块120在接收所述采集模块110发送的请求后，在验证请求合法的情况下，可以通过TCP通道控制数据流将允许采集模块110采集数据的指令以及采集策略发送给所述采集监控模块130。其中，所述采集策略可以是所述策略设置模块120根据集群服务器200的状态信息以及数据保存要求制定的策略。

步骤S130，所述采集监控模块130将允许采集模块110采集数据的指令及采集策略发送给所述采集模块110。

在本实施例中，所述采集监控模块130在接收允许采集模块110采集数据的指令以及采集策略后，可以通过内部控制数据流将允许采集数据的指令以及采集策略发送给所述采集模块110，以便采集模块110开启数据采集。

步骤S140，所述采集模块110按照所述采集策略进行数据采集，并完成数据的格式转换。

所述采集策略包括时间策略和转换策略。所述采集模块110按照时间策略及转换策略进行数据的采集及格式转换，确保数据以一种标注格式进行存储并传输，提高了数据采集的稳定性和有效性。

请参照图4，图4是图3中步骤S140包括的子步骤的流程示意图。所述步骤S140可以包括子步骤S141及子步骤S142。

子步骤S141，所述采集模块110按照所述时间策略进行数据采集，以避免同一时间并发采集。

在本实施例中，所述采集模块110接收采集策略后，按照采集策略中的时间策略开始进行数据采集。由于时间策略是所述策略设置模块120根据集群服务器200的状态信息、各个采集模块110的运行状态等信息制定的策略，因此，在所述采集模块110根据时间策略进行数据采集时，能够实现负载均衡和错峰采集，可以有效避免由于同一时间并发采集，使得数据量庞大，从而导致集群服务器200压力大的问题。

子步骤S142，所述采集模块110按照转换策略将采集的数据进行格式转换，以得到同种格式的数据。

在本实施例中，所述采集模块110将采集的数据的格式按照转换策略中的转换时间进行格式转换，以解决现有技术中数据不统一、不规范的问题，从而将来自不同数据库的数据经过采集及转换存储在一个数据库中。以相同格式进行存储，可以保证数据抽取高效稳定，不仅能保证数据即是上传，减少工作量，同时提高了数据采集的有效性。

进一步，可以将采集的数据的格式转换为XML(Extensible Markup Language，可扩展标记语言)。XML是一种用于标记电子文件使其具有结构性的标记语言，XML与其他数据表现形式最大的不同是极其简单，XML的简单使其易于在任何应用程序中读写数据，这使XML很快成为数据交换的唯一公共语言。

步骤S150，在所述采集模块110完成采集后，所述策略设置模块120向数据传输模块140发送传输数据的指令。

请参照图5，图5是图3中步骤S150包括的子步骤的流程示意图之一。所述步骤S150可以包括子步骤S151、子步骤S152及子步骤S154。

子步骤S151，所述采集模块110在数据采集过程中，将运行状态发送给所述采集监控模块130。

在数据采集过程中，采集模块110实时反馈相关状态信息给所述采集监控模块130。所述采集监控模块130将接收的状态信息记录为监控日志。其中，相关状态信息可以包括：上传失败、数据转换完成等。

子步骤S152，所述采集监控模块130将所述采集模块110的运行状态记录为监控日志，并发送给所述策略设置模块120。

子步骤S154，所述策略设置模块120在所述采集模块110的运行状态正常且采集的数据完成格式转换时，根据集群服务器200的状态信息向所述数据传输模块140发送集群服务器200中空闲服务器的参数信息，以使所述数据传输模块140将数据传输至所述空闲服务器。

在本实施例中，所述采集模块110的运行状态正常，表征所述采集模块110的采集的数据符合要求，同时不会出现并发采集的问题。所述策略设置模块120则向所述数据传输模块140发送运行控制数据，以使所述数据传输模块140将采集模块110采集并完成格式转换的数据发送给所述集群服务器200进行保存。

进一步地，由于所述策略设置模块120可以实时获取集群服务器200的状态信息，因此，所述策略设置模块120可以将集群服务器200中空闲服务器的参数信息发送给所述数据传输模块140。所述数据传输模块140将所述采集模块110采集并完成格式转换的数据发送给空闲服务器进行保存，避免同一时间并发采集，及大量数据传输至服务器引起服务器压力大的问题。其中，所述集群服务器200的状态信息可以包括：服务器数据、单台容量、当前工作量等。空闲服务器的参数信息可以包括：ip地址、端口等。

请参照图6，图6是图3中步骤S150包括的子步骤的流程示意图之二。在子步骤S154之前，所述方法还可以包括子步骤S153。

子步骤S153，所述策略设置模块120根据采集策略及所述采集监控模块130发送的监控日志判断所述采集模块110的运行状态是否正常。

在本实施例中，所述策略设置模块120根据采集监控模块130发送的监控日志得到采集模块110的运行状态，比如，数据转换后的格式、数据采集时间等。所述策略设置模块120将采集模块110的运行状态与采集策略进行比对，以判断所述采集模块110的运行状态是否正常。

若采集模块110的运行状态与采集策略保持一致，所述策略设置模块120则判定采集模块110的运行状态正常；反之，则判定采集模块110的运行状态不正常。在采集模块110的运行状态不正常的情况下，所述采集模块110获得的数据则不能经数据传输模块140发送给所述集群服务器200。

步骤S160，所述数据传输模块140根据传输数据的指令将所述采集模块110采集并完成格式转换的数据发送给集群服务器200中的某个服务器进行存储。

在本实施例中，所述数据传输模块140将需要传输的数据进行处理(比如，封装)，并将处理后的数据发送给指令中的服务器进行保存。

请参照图7，图7是图3中步骤S160包括的子步骤的流程示意图。所述步骤S160可以包括子步骤S161及子步骤S162。

所述采集模块110中保存有各个数据上传状态的上传日志。若数据已上传，也就是已经发送给集群服务器200，上传日志则包括：已上传位置、ip地址、端口号等信息。

子步骤S161，所述数据传输模块140将需要上传给同一个服务器的数据建立上传队列。

在所述数据传输模块140接收所述策略设置模块120发送的数据传输指令后，数据传输模块140按照指令中的保存位置，将需要发送给同一个服务器的至少一组数据按照时间建立上传队列。

子步骤S162，在所述数据传输模块140根据所述上传日志判断数据为续传时，所述数据传输模块140将续传的数据发送给所述数据对应的初始服务器。

所述数据传输模块140在将数据进行发送前，根据所述采集模块110的上传日志判断该数据是续传还是新的上传。其中，新的上传可以是指首次上传。在由于网络堵塞或者服务器宕机等状况导致采集失败使得数据为续传时，所述数据传输模块140将该数据发送给与该数据对应的初始服务器。其中，初始服务器是指在策略设置模块120控制数据传输模块140将数据进行首次传输时，为该数据分配的服务器。

在本实施例中，若初始服务器满载时，所述数据传输模块140将所述数据移动至所述初始服务器对应的上传队列的队尾，并按照上传队列进行数据传输。也就是说，在初始服务器满载时，所述数据传输模块140先将初始服务器对应的当前上传队列中的数据上传完毕后，再将该数据发送给初始服务器。

在本实施例中，若所述初始服务器不存在，所述数据传输模块140将所述数据移动至其他某个服务器对应的上传队列的队尾，并按照上传队列进行数据传输。具体实现步骤可以包括：

在所述初始服务器不存在时，所述策略设置模块120向数据传输模块140发送将数据传送给备用服务器的指令；

所述数据传输模块140将所述数据移动至备用服务器对应的数据上传队列的队尾。

具体地，在所述初始服务器不存在时，所述策略设置模块120向数据传输模块140发送将数据传送给备用服务器的指令。其中，所述策略设置模块120可以通过与集群服务器200进行数据通信，得到初始服务器不存在的信息；也可以是根据数据传输模块140发送的始服务器不存在的信息得到这一信息。备用服务器是指集群服务器200中其他服务器中的某个服务器。

所述数据传输模块140将所述数据移动至备用服务器对应的数据上传队列的队尾。所述数据传输模块140将上传队列中的其他数据传输完毕后，再将该数据进行发送。

在本实施例中，在所述数据传输模块140根据所述上传日志判断数据为新上传时，将所述数据移动至所述数据对应的被分配的服务器的上传队列的队尾，并按照上传队列进行数据传输。

数据传输模块140将需要上传给同一个服务器的建立为一个上传队列，通过采集模块110的上传日志判断数据为续传还是新的上传。在续传的情况下，数据传输模块140将数据发送给与该数据对应的初始服务器。若初始服务器满载，则将数据移至该服务器的上传队列队尾；若初始服务器不存在，则将数据移至新分配的备用服务器的上传队列的队尾。由此，通过实现断点续传解决由于网络堵塞或者服务器宕机等情况导致数据采集失败的问题。

在本实施例中，所述集群服务器200接收发送的数据后，将数据进行解析(比如，解压)并插入数据库。同时对接收的数据进行盘点，也就是说，将接收的数据的数量与采集模块110采集并完成转换的数据的数量进行比对，以判断数据的数量是否有误，从而确保数据正确无误。

请再次参照图2，本发明较佳实施例还提供一种客户端100。所述客户端100与集群服务器200通信连接。所述客户端100包括：

采集模块110，用于向策略设置模块120发送开启数据采集的请求。

在本实施例中，所述采集模块110用于执行图3中的步骤S110，关于所述采集模块110的具体描述可以参照图3中步骤S110的描述。

策略设置模块120，用于在接收所述请求后，向采集监控模块130发送允许采集模块110采集数据的指令及采集策略。

其中，所述策略设置模块120中预先存储有采集策略。

在本实施例中，所述策略设置模块120用于执行图3中的步骤S120，关于所述策略设置模块120的具体描述可以参照图3中步骤S120的描述。

所述采集监控模块130，用于将允许采集模块110采集数据的指令及采集策略发送给所述采集模块110。

在本实施例中，所述采集监控模块130用于执行图3中的步骤S130，关于所述采集监控模块130的具体描述可以参照图3中步骤S130的描述。

所述采集模块110，还用于按照所述采集策略进行数据采集，并完成数据的格式转换；

所述采集策略包括时间策略及转换策略，所述采集模块110按照所述采集策略进行数据采集，并完成数据的格式转换的方式包括：

按照所述时间策略进行数据采集，以避免同一时间并发采集；

按照转换策略将采集的数据进行格式转换，以得到同种格式的数据。

在本实施例中，所述采集模块110还用于执行图3中的步骤S140，关于所述采集模块110的具体描述可以参照图3中步骤S140的描述。

所述策略设置模块120，还用于在所述采集模块110完成采集后向数据传输模块140发送传输数据的指令。

在本实施例中，所述策略设置模块120还用于执行图3中的步骤S150，关于所述策略设置模块120的具体描述可以参照图3中步骤S150的描述。

所述数据传输模块140，用于根据所述传输数据的指令将所述采集模块110采集并完成格式转换的数据发送给集群服务器200中的某个服务器进行存储。

在本实施例中，所述数据传输模块140用于执行图3中的步骤S160，关于所述数据传输模块140的具体描述可以参照图3中步骤S160的描述。

综上所述，本发明提供一种追溯数据采集方法及客户端。所述方法应用于所述客户端。其中，所述客户端包括采集模块、采集监控模块、数据传输模块、策略设置模块。所述策略设置模块中预先存储有采集策略。采集模块根据输入的操作向策略设置模块发送开启数据采集的请求。策略设置模块在接收所述请求后，经采集监控模块向采集模块发送允许采集数据的指令及采集策略。所述采集模块接收所述采集策略后，按照所述采集策略进行数据采集及格式转换。在完成采集及转换后，所述策略设置模块向数据传输模块发送将获得的数据进行运输的指令。所述数据传输模块按照接收的指令将所述采集模块采集并完成格式转换的数据发送给集群服务器中的某个服务器进行存储。

上述方法可以管理来自不同数据库的数据，将数据以一种标准格式进行存储，确保数据抽取高效稳定，不仅能保证数据及时上传，减少工作令，还提高了数据采集的有效性。同时，策略设置模块根据采集监控模块发送的监控日志，在数据完成转换后，将空闲服务器分配给数据传输模块，避免同一时间并发采集引起的大量并发数据存储难的问题，实现错峰上传，减少并发采集量。此外，还可以解决由于网络堵塞或者服务器宕机等状况导致采集失败的异常情况。

通过按照采集策略进行数据的采集、转换，可以管理来自不同数据库的数据，有效解决追溯数据源多样化且标准不统一难以合成追溯链条的问题，并且可以改善大量并发数据的存储问题，实现错峰上传。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种追溯数据采集方法，应用于与集群服务器通信连接的客户端，其特征在于，所述客户端包括采集模块、采集监控模块、数据传输模块、策略设置模块，所述策略设置模块中预先存储有采集策略，所述方法包括：

采集模块向策略设置模块发送开启数据采集的请求；

策略设置模块在接收所述请求后，向采集监控模块发送允许采集模块采集数据的指令及采集策略；

所述采集监控模块将允许采集模块采集数据的指令及采集策略发送给所述采集模块；

所述采集模块按照所述采集策略进行数据采集，并完成数据的格式转换；

在所述采集模块完成采集后，所述策略设置模块向数据传输模块发送传输数据的指令；

所述数据传输模块根据传输数据的指令将所述采集模块采集并完成格式转换的数据发送给集群服务器中的某个服务器进行存储。

2.根据权利要求1所述的方法，其特征在于，所述采集策略包括时间策略及转换策略，所述采集模块按照所述采集策略进行数据采集，并完成数据的格式转换的步骤包括：

所述采集模块按照所述时间策略进行数据采集，以避免同一时间并发采集；

所述采集模块按照转换策略将采集的数据进行格式转换，以得到同种格式的数据。

3.根据权利要求1所述的方法，其特征在于，所述策略设置模块中存储有集群服务器的状态信息，所述在所述采集模块完成采集后，所述策略设置模块向数据传输模块发送传输数据的指令的步骤包括：

所述采集模块在数据采集过程中，将运行状态发送给所述采集监控模块；

所述采集监控模块将所述采集模块的运行状态记录为监控日志，并发送给所述策略设置模块；

所述策略设置模块在所述采集模块的运行状态正常时，根据集群服务器的状态信息向所述数据传输模块发送集群服务器中空闲服务器的参数信息，以使所述数据传输模块将数据传输至所述空闲服务器。

4.根据权利要求3所述的方法，其特征在于，在所述策略设置模块根据集群服务器的状态信息向所述数据传输模块发送集群服务器中空闲服务器的参数信息的步骤之前，所述方法还包括：

所述策略设置模块根据采集策略及所述采集监控模块发送的监控日志判断所述采集模块的运行状态是否正常。

5.根据权利要求1所述的方法，其特征在于，所述采集模块中保存有各个数据上传状态的上传日志，所述数据传输模块根据传输数据的指令将所述采集模块采集并完成格式转换的数据发送给集群服务器中的某个服务器进行存储的步骤包括：

所述数据传输模块将需要上传给同一个服务器的数据建立上传队列；

在所述数据传输模块根据所述上传日志判断数据为续传时，所述数据传输模块将续传的数据发送给所述数据对应的初始服务器。

6.根据权利要求5所述的方法，其特征在于，所述数据传输模块根据传输数据的指令将所述采集模块采集并完成格式转换的数据发送给集群服务器中的某个服务器进行存储的步骤还包括：

若所述初始服务器不存在，所述数据传输模块将所述数据移动至其他某个服务器对应的上传队列的队尾，并按照上传队列进行数据传输；

若所述初始服务器满载，所述数据传输模块将所述数据移动至所述初始服务器对应的上传队列的队尾，并按照上传队列进行数据传输。

7.根据权利要求6所述的方法，其特征在于，所述若所述初始服务器不存在，所述数据传输模块将所述数据移动至其他某个服务器对应的上传队列的队尾的步骤包括：

在所述初始服务器不存在时，所述策略设置模块向数据传输模块发送将数据传送给备用服务器的指令；

所述数据传输模块将所述数据移动至备用服务器对应的数据上传队列的队尾。

8.根据权利要求5所述的方法，其特征在于，所述数据传输模块根据传输数据的指令将所述采集模块采集并完成格式转换的数据发送给集群服务器中的某个服务器进行存储的步骤还包括：

在所述数据传输模块根据所述上传日志判断数据为新上传时，将所述数据移动至所述数据对应的被分配的服务器的上传队列的队尾，并按照上传队列进行数据传输。

9.一种客户端，所述客户端与集群服务器通信连接，其特征在于，所述客户端包括：

采集模块，用于向策略设置模块发送开启数据采集的请求；

策略设置模块，用于在接收所述请求后，向采集监控模块发送允许采集模块采集数据的指令及采集策略，其中，所述策略设置模块中预先存储有采集策略；

所述采集监控模块，用于将允许采集模块采集数据的指令及采集策略发送给所述采集模块；

所述采集模块，还用于按照所述采集策略进行数据采集，并完成数据的格式转换；

所述策略设置模块，还用于在所述采集模块完成采集后向数据传输模块发送传输数据的指令；

所述数据传输模块，用于根据所述传输数据的指令将所述采集模块采集并完成格式转换的数据发送给集群服务器中的某个服务器进行存储。

10.根据权利要求9所述的客户端，其特征在于，所述采集策略包括时间策略及转换策略，所述采集模块按照所述采集策略进行数据采集，并完成数据的格式转换的方式包括：

按照所述时间策略进行数据采集，以避免同一时间并发采集；

按照转换策略将采集的数据进行格式转换，以得到同种格式的数据。