CN103259797B - 数据文件传输方法及平台 - Google Patents

Abstract

本发明提供了一种数据文件传输方法及平台。该方法包括：接收终端发送的数据文件，数据文件包括至少一个数据分块，在接收每个数据分块的同时，对数据分块的格式进行校验，统计获取所接收的数据分块在格式上的错误信息的个数，如果错误信息的个数超出预设的个数门限，中断对数据文件的传输；在接收每个数据分块的同时，对数据分块进行压缩处理，获得数据分块对应的压缩数据分块，在接收完所有的数据分块后，如果错误信息的个数未超出个数门限，接收数据文件的CHK文件。本发明通过采用多线程方式，在接收数据文件的同时，实时且并行地对数据文件进行校验和压缩处理，是对先接收再处理的数据文件传输方式的一种改进，提高了对数据文件处理的效率。

Description

数据文件传输方法及平台

技术领域

本发明涉及通信技术，尤其涉及一种数据文件传输方法及平台。

背景技术

目前，在数据传输的过程中，发送端采用与接收端预先约定的传输协议，将数据文件传输给接收端，例如，文件传输协议（FileTransferProtocol，简称为FTP）。接收端在接收完数据文件之后，再对数据文件的合法性进行验证和入库处理。现有基于FTP协议的数据文件的传输过程，均为先接收再处理的方式，由此导致对数据文件的处理效率较低。

发明内容

本发明提供一种数据文件传输方法及平台，用以解决现有技术中存在的数据文件处理效率较低的问题。

为了实现上述目的，本发明提供一种数据文件传输方法，包括：

接收终端发送的数据文件，所述数据文件包括至少一个数据分块；

其中，在接收每个数据分块的同时，对所述数据分块的格式进行校验，统计获取所接收的数据分块在格式上的错误信息的个数，如果所述错误信息的个数超出预设的个数门限，中断对所述数据文件的传输；

在接收每个数据分块的同时，并对所述数据分块进行压缩处理，获得所述数据分块对应的压缩数据分块。

在接收完所有的数据分块后，如果所述错误信息的个数未超出所述个数门限，接收所述数据文件的验证CHK文件，所述CHK文件中包括每个数据分块的第一消息摘要算法MD5值。

为了实现上述目的，本发明提供一种数据文件传输平台，包括：

接收模块，用于接收终端发送的数据文件，所述数据文件包括至少一个数据分块，以及在接收完所有的数据分块后，如果错误信息的个数未超出预设的个数门限，接收所述数据文件的验证CHK文件，所述CHK文件中包括每个数据分块的第一消息摘要算法MD5值；

校验模块，用于在所述接收模块在接收每个数据分块的同时，对所述数据分块的格式进行校验，统计获取所接收的数据分块在格式上的错误信息的个数，如果所述错误信息的个数超出所述个数门限，中断对所述数据文件的传输；

压缩模块，用于在所述接收模块接收每个数据分块的同时，对所述数据分块进行压缩处理，得到所述数据分块对应的压缩数据分块。

本发明提供的一种数据文件传输方法及平台，接收终端发送的数据文件，所述数据文件包括至少一个数据分块，在接收每个数据分块的同时，对所述数据分块的格式进行校验，统计获取所接收的数据分块在格式上的错误信息的个数，如果所述错误信息的个数超出个数门限，中断对所述数据文件的传输，在接收每个数据分块的同时，并对所述数据分块进行压缩处理，获得所述数据分块对应的压缩数据分块，在接收完所有的数据分块后，如果所述错误信息的个数未超出所述个数门限，接收所述数据文件验证CHK文件，所述CHK文件中包括每个数据分块的第一MD5值。本发明通过采用多线程的方式，在对数据文件进行接收的同时，实时且并行地对数据文件进行合法性校验和压缩处理，是对现有先接收数据文件，再对数据文件进行校验和处理的数据文件传输方式的一种改进，克服了现有技术中存在的数据文件处理效率较低的问题，提高了数据文件处理的效率。

附图说明

图1为本发明实施例提供的一种数据文件传输方法的示意图；

图2为本发明实施例提供的另一种数据文件传输方法的示意图；

图3为本发明实施例提供的一种数据文件传输平台结构示意图；

图4为本发明实施例提供的另一种数据文件传输平台结构示意图；

图5为本发明实施例提供的一种数据文件传输系统结构示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

图1为本发明实施例提供的一种数据文件传输方法的示意图。该数据文件传输方法可以应用电信、银行等大中型全国的行业中。本实施例提供的数据传输文件方法的执行主体可以为一个数据文件传输平台。如图1所示，该方法包括以下步骤：

100、接收终端发送的数据文件，所述数据文件包括至少一个数据分块。

在对数据文件进行传输时，终端和接收端预先对传输协议进行协商，然后终端是按照约定好的传输协议对数据文件进行传输。在本实施例中，优选地终端按照标准的FTP协议将数据文件发送给数据文件传输平台。其中，终端发送的数据文件包括至少一个数据分块。

在本实施例中，数据文件传输平台采用多线程的方式对数据文件进行传输，优选地，数据文件传输平台采用2个线程，可分别记为第一线程和第二线程。在接收数据文件时，数据文件传输平台对数据文件中的每个数据分块生成两个线程，然后在这两个线程上分别对数据分块的格式进行校验和压缩处理。具体地，数据文件传输平台在第一线程上对数据分块的格式进行校验的过程，参见本实施例中的步骤110。而数据文件传输平台在第二线程上对数据分块进行压缩的过程，参见本实施例中的步骤150。在本实施例中，数据文件传输平台并行地对数据分块的格式进行校验与对数据分块的进行压缩。

110、在接收每个数据分块的同时，对所述数据分块的格式进行校验，统计获取所接收的数据分块在格式上的错误信息的个数。

在接收数据文件中每个数据分块的过程中，数据文件传输平台在第一线程上对每个数据分块的格式进行校验。具体地，数据文件传输平台根据预存的格式校验规则，对每个数据分块的格式进行校验，获取每个数据分块在格式上的错误信息。在本实施例中，数据文件传输平台在对每个数据分的格式进行校验的过程中，统计获取所接收的数据分块的在格式上的错误信息的个数。优选地，可以通过一个计数器对错误信息的个数进行计数，得到数据文件的错误信息的个数。

在本实施例中，预存的格式校验规则的包括：数据分块列的格式、列间数据关系以及列数、列名、行列分隔符等校验信息，数据文件传输平台可以根据上述格式校验规则，对数据分块的每一列的格式、列间数据关系以及列数、列名、行列分隔符等进行校验。进一步地，格式校验规则还可以包括：数据文件的名称模式、上传数据文件的终端标识以及上传的时间要求等校验信息，数据文件传输平台可以对数据文件的名称模式、上传数据文件的终端标识以及上传时间的要求进行校验。

120、判断所述错误信息的个数是否超出预设的个数门限。

进一步地，数据文件传输平台在第一线程上可以实时地将获取到的错误信息的个数与预设的个数门限进行比较，如果错误信息的个数超出预设的个数门限，执行步骤130即中断对数据文件的传输。如果该错误信息的个数未超出预设的个数门限，返回执行步骤100即数据文件传输平台继续接收数据文件的下一个数据分块，并对该数据分块的格式进行校验，继续统计获取错误信息的个数。在数据文件所有的数据分块传输完成后，如果错误信息的个数未超出预设的个数门限，执行步骤140。

130、中断对所述数据文件的传输。

在判断出错误信息的个数超出预设的个数门限后，数据文件传输平台停止接收由终端发送来的数据文件的剩余数据分块。可选地，在判断出错误信息的个数超出预设的个数门限后，数据文件传输平台向终端发送一个中断指示，终端在接收到该中断指示后，停止向数据文件传输平台继续传输数据文件的剩余数据分块。如果错误信息的个数未超出预设的个数门限，继续接收后续数据分块。本实施例中通过预先设置个数门限，在错误信息个数超出预设的个数门限时，中断数据文件的传输，避免了将存在大量错误的数据文件传输到数据传输平台，避免了资源浪费。

140、在接收完所有的数据分块后，如果所述错误信息的个数未超出所述个数门限，接收所述数据文件的CHK文件，所述CHK文件包括每个所述数据分块的标识和每个所述数据分块的第一消息摘要算法MD5值。

在数据文件的实际传输过程中，终端首先向数据文件传输平台发送所有的数据分块。在发送完所有的数据分块后，如果统计获取的数据文件的错误信息的个数未超出预设的个数门限，终端向数据文件传输平台发送数据文件的CHK文件，也就是说，数据传输平台在接收完所有的数据分块后，如果数据文件的错误信息的个数未超出预设的个数门限，接收该数据文件的CHK文件。其中，CHK文件包括每个数据分块的标识和每个数据分块的第一MD5值。在本实施例中，数据分块的标识可以为数据分块的名称，也可以为数据分块在数据文件中的序号。终端在向接收端发送该数据文件之前，采用消息摘要算法MD5，对每个数据分块进行加密运算，得到每个数据分块的第一MD5值。

150、在接收每个数据分块的同时，对所述数据分块进行压缩处理，获得所述数据分块对应的压缩数据分块。

数据文件传输平台在第一线程上对每个数据分块的格式进行校验的同时，在与第一线程并行的第二线程上，数据文件传输平台对每个数据分块进行压缩处理，得到每个数据分块对应的压缩数据分块。具体地，数据文件传输平台可以按照预设的压缩算法和压缩比例对数据分块进行压缩处理。优选地，数据文件传输平台可以采用GZIP算法对数据分块进行压缩处理，得到压缩数据分块。

本实施例提供的数据文件传输方法，接收终端发送的数据文件，数据文件包括至少一个数据分块，在接收每个数据分块的同时，对数据分块的格式进行校验，统计获取所接收的数据分块在格式上的错误信息的个数，如果错误信息的个数超出预设的个数门限，中断对数据文件的传输，而且在接收每个数据分块的同时，并对数据分块进行压缩处理，获得所述数据分块对应的压缩数据分块，在接收完所有的数据分块后，如果错误信息的个数未超出个数门限，接收数据文件的CHK文件。本发明通过采用多线程的方式，在对数据文件进行接收的同时，实时且并行地对数据文件进行合法性的校验和压缩处理，是对现有先接收数据文件，再对数据文件进行校验和处理的数据文件传输方式的一种改进，克服了现有技术中存在的数据文件的处理效率较低的问题，提高了数据文件处理的效率。进一步地，还可以避免将存在大量错误的数据文件传输到数据传输平台，避免了资源浪费。

图2为本发明实施提供的另一种数据文件传输方法的示意图。如图2所示，该方法包括以下步骤：

200、接收所述终端的登录请求，所述登录请求包括所述终端的身份标识。

在本实施例中，为了提高数据文件的来源的可靠性，终端向数据文件传输平台发送数据之前，数据文件传输平台需要对终端身份的合法性进行验证。具体地，终端在向数据文件传输平台发送数据文件之前，向数据文件传输平台发送登录请求，并且在该登录请求中携带终端的身份标识。例如，终端的身份标识可以为用户名和密码。

210、根据所述终端的身份标识和预存的合法终端的身份标识，确定所述终端为合法终端。

数据文件传输平台在接收到登录请求后，根据登录请求中的终端的身份标识，查询预先存储的合法终端的身份标识，以确定终端的身份是否合法。如果登录请求中携带的终端的身份标识存在于合法终端的身份标识中，说明终端为合法终端。在终端的身份通过验证后，该终端才可以向数据文件传输平台发送数据文件，提高了数据文件来源的可靠性。

220、接收终端发送的数据文件，所述数据文件包括至少一个数据分块。

在对数据文件进行传输时，终端和接收端预先对传输协议进行协商，然后终端是按照约定好的传输协议对数据文件进行传输。在本实施例中，优选地终端按照标准的FTP协议将数据文件发送给数据文件传输平台。其中，终端发送的数据文件包括至少一个数据分块。

在本实施例中，数据文件传输平台采用多线程的方式对数据文件进行传输，优选地，数据文件传输平台采用2个线程，可分别记为第一线程和第二线程。在接收数据文件的同时，数据文件传输平台对数据文件中的每个数据分块生成两个线程，然后在这两个线程上分别对数据分块的格式进行校验和压缩。数据文件传输平台在第一线程上对数据分块的格式进行校验的过程，参见本实施例中的步骤230。而数据文件传输平台在第二线程上对数据分块进行压缩的过程，参见本实施例中的步骤250。

230、在接收每个数据分块的同时，对所述数据分块的格式进行校验，获取所述数据分块在格式上的错误信息。

具体地，数据文件传输平台在第一线程上根据预存的格式校验规则，对每个数据分块的格式进行校验，获取每个数据分块在格式上的错误信息。其中，本实施例中，预设的校验规则可参见上述实施例中相关内容的记载，此处不再赘述。

231、统计获取所接收到的数据分块在格式上的错误信息的个数。

在本实施例中，在对每个数据分块的格式进行校验的过程中，数据文件传输平台统计获取所接收的数据分块的在格式上的错误信息的个数。优选地，可以通过一个计数器对错误信息的个数进行计数，得到数据文件的错误信息的个数。

232、判断所述错误信息的个数是否超过所述个数门限。

进一步地，数据文件传输平台实时地将获取到的错数信息的个数与预设的个数门限进行比较，如果判断出错误信息的个数未超出预设的个数门限，则执行步骤233。如果错误信息的个数超出预设的个数门限，执行步骤242。

233、按照预设的组装标准对所述数据分块的错误信息进行组装，生成所述数据分块的格式校验结果。

具体地，数据传输平台在判断出获取到的错误信息的个数未超出预设的个数门限时，按照预设的组装标准，将接收到的当前数据分块的错误信息进行组装，生成该数据分块的格式校验结果。

可选地，数据文件传输平台可以将每个数据分块的格式校验结果返回给终端，以便用户通过该终端查看各格式校验结果，获得对应数据分块的错误内容或错误原因。例如，可以将格式校验结果存储在指定的用户目录中，用户就可以在用户目录中查询格式校验结果。

234、对所述数据分块进行消息摘要算法MD5加密，得到所述数据分块的第二MD5值。

数据文件传输平台采用MD5加密算法，对当前接收到的数据分块进行加密，生成该数据分块的第二MD5值。

235、获取所述数据分块的标识。

数据文件传输平台从当前接收到的数据分块中获取到该数据分块的标识。

236、根据所述数据分块的第二MD5值和所述数据分块的标识，生成所述数据分块的临时验证文件。

数据文件传输平台在获取到数据分块的第二MD5值和数据分块的标识后，生成该数据分块的临时验证文件。在本实施例中，数据文件传输平台可以缓存生成的每个数据分块的临时验证文件。

237、在接收完所有的所述数据分块后，如果所述错误信息的个数未超出所述个数门限，接收所述数据文件的验证CHK文件。

在数据文件的实际传输过程中，终端首先向数据文件传输平台发送所有的数据分块。当数据文件传输过程中，数据文件的错误信息的个数未超出个数门限时，终端在发送完所有的数据分块后，向数据文件传输平台发送数据文件的CHK文件，也就是说，数据传输平台在接收完所有的数据分块后，如果数据文件的错误信息的个数未超出预设的个数门限时，接收该数据文件的CHK文件。

其中，CHK文件包括每个数据分块的标识和每个数据分块的第一MD5值。在本实施例中，数据分块的标识可以为数据分块的名称，也可以为数据分块在数据文件中的序号。终端在向接收端发送该数据文件之前，采用消息摘要算法MD5，对每个数据分块进行加密运算，得到每个数据分块的第一MD5值。

238、根据每个所述数据分块的临时验证文件和所述CHK文件，对所述数据文件的完整性进行校验，生成所述数据文件的验证结果。

在本实施例中，数据文件传输平台不仅可以对每个数据分块的格式进行校验，还可以对数据文件的完整性进行校验。在接收完所有数据分块之后，数据文件传输平台根据每个数据分块的临时文件和CHK文件，对数据文件的完整性进行校验，以得到数据文件的验证结果。在本实施例中，对数据文件的完整性校验可以包括：对每个数据分块的完整性校验和对该数据文件的完整校验。

具体地，数据文件传输平台对每个数据分块完整性的校验包括：数据文件传输平台根据数据分块的临时验证文件中该数据分块的标识和CHK文件中数据分块的标识，比较该数据分块的第二MD5值与CHK文件中对应的该数据分块的第一MD5值。由于CHK文件中包括每个数据分块的标识，而每个数据分块的临时验证文件中也包括自身数据分块的标识，因此，数据文件传输平台可以根据各数据分块的临时验证文件中的自身数据分块的标识，从CHK文件中查找与各临时验证文件中数据分块对应的数据分块的标识，然后将临时验证文件中该数据分块中第二MD5值和CHK文件中对应数据分块的第一MD5值进行比较，如果该数据分块的第二MD5值与验证CHK中该数据分块对应的第一MD5值相同，可以判断出该数据分块是完整的数据分块。

在数据文件的实际传输过程中，可能存在数据文件中部分数据分块在传输过程中被丢失的情况。在这种情况下虽然被传输的数据分块可能均为完整的数据分块，但是由于部分数据分块被丢失，因此，整个数据文件却是不完整的。

在本实施例中，为了保证数据文件的准确性，数据文件传输平台不仅需要对每个数据分块的格式和每个数据分块的完整性进行校验，在接收完所有数据分块后，数据文件传输平台还需要对数据文件的完整性进行校验，以提高数据文件的准确性。

具体地，在判断出所有的数据分块均为完整的数据分块后，数据文件传输平台将第二MD5值的个数与CHK文件中第一MD5值的个数进行比较，以对数据文件的完整性进行验证，生成该数据文件的验证结果。其中，该验证结果用于指示出数据文件的是否通过了完整性校验。如果第二MD5值的个数与CHK文件中第一MD5值的个数相同，说明该数据文件是完整的。而如果第二MD5值的个数与CHK文件中MD5值的个数不相同，说明数据文件是不完整的。在本实施例中，数据文件传输平台可以根据临时验证文件的个数来确定第二MD5值的个数。

239、根据所述数据文件的业务类型和预设的业务类型与上传策略之间的映射关系，获取所述数据文件的上传策略。

一般数据文件中的至少一个数据分块中会携带用于标识该数据文件对应的业务类型的业务类型标识。可选的，可以在步骤230中，即在接收数据文件的过程中，数据文件传输平台从至少一个数据分块中，获取数据文件对应的业务类型标识，在获取该业务类型标识后，数据文件传输平台根据所述业务类型标识，确定该数据文件对应的业务类型。

在实际中，不同业务类型的数据文件对应与不同的上传至数据管理中心的方式，例如，一些业务类型的数据文件可以通过数据文件传输平台直接发送给数据管理中心，而有一些业务类型的数据文件不需要发送给数据管理中心，还有一些业务类型的数据文件需要经过在处理后，再经过数据文件传输平台发送给数据管理中心。在本实施例中，管理员可以预先为业务类型设置不同的上传策略，并将业务类型与上传策略之间的映射关系，存储在数据传输平台中。在确定出数据文件的业务类型后，数据文件传输平台根据数据文件的业务类型，查询预设的业务类型与上传策略之间的映射关系，获取数据文件上传至数据管理中心的上传策略。

240、根据所述数据文件的上传策略，将所述数据文件的压缩数据分块上传至数据管理中心。

在数据文件的传输过程中，数据文件传输平台可以缓存每个数据分块对应的压缩数据分块。在通过了数据文件的完整性校验后，数据文件传输平台可以根据获取到数据文件的业务类型以及相应的上传策略，将缓存的压缩数据分块上传到数据管理中心。

241、中断对数据文件的传输。

数据文件传输平台在步骤231中如果判断出错误信息的个数超出了预设的个数门限，则中断对数据文件的传输。优选地，在判断出错误信息的个数超出预设的个数门限后，数据文件传输平台停止接收由终端发送来的数据文件的剩余数据分块。可选地，在判断出错误信息的个数超出预设的个数门限后，数据文件传输平台向终端发送一个中断指示，终端在接收到该中断指示后，停止向数据文件传输平台继续传输数据文件的剩余数据分块。如果错误信息的个数未超出预设的个数门限，继续接收后续数据分块。本实施例中通过预先设置个数门限，避免了将存在大量错误的数据文件传输到数据传输平台，避免了资源浪费。

250、在接收每个数据分块的同时，对所述数据分块进行压缩处理，获得所述数据分块对应的压缩数据分块。

数据文件传输平台在第一线程上对每个数据分块的格式进行校验的同时，在与第一线程并行的第二线程上，数据文件传输平台对每个数据分块进行压缩处理，得到每个数据分块对应的压缩数据分块。具体地，数据文件传输平台可以按照预设的压缩算法和压缩比例对数据分块进行压缩处理。优选地，数据文件传输平台可以采用GZIP算法对数据分块进行压缩处理，得到压缩数据分块。

本实施例提供的数据文件传输方法，接收终端发送的数据文件，数据文件包括至少一个数据分块和数据文件的CHK文件，其中，CHK文件中包括每个数据分块的标识和每个数据分块的第一MD5值，在接收每个数据分块的同时，对所述数据分块的格式进行校验，统计获取所接收的数据分块在格式上的错误信息的个数，如果错误信息的个数超出预设的个数门限，中断对数据文件的传输，在接收完所有的数据分块后，如果错误信息的个数未超出预设的个数门限，接收CHK文件；在接收每个数据分块的同时，并对数据分块进行压缩处理，获得数据分块对应的压缩数据分块。本发明通过采用多线程的方式，在数据文件接收的同时，实时且并行地对数据文件进行合法性的校验和压缩处理，是对现有先接收完数据文件，再对数据文件进行校验和处理的一种改进，克服了现有技术中导致对数据文件的处理效率较低的问题，提高了对数据文件的处理效率。而且还可以避免将存在大量错误的数据文件传输到数据传输平台，避免了资源浪费。

进一步地，在数据文件的接收过程同步地完成了对数据文件的校验，不需要等数据文件传输完后，通过访问存储该数据文件的磁盘，再对该数据文件进行校验，减少了对磁盘的输入输出访问的次数，并且提高对数据文件的校验效率。

可选地，数据文件传输平台可以设置一个配置界面，管理员可以通过该配置界面，对数据文件传输平台进行配置，例如，管理员可以在配置界面对预设的格式校验规则和CHK文件的内容进行查看、编辑、删除和添加等操作。管理员还可以为待传输的数据文件指定存储位置或者目的目录。管理员还可以在该配置界面对数据文件传输平台的服务参数进行配置，例如，可以配置端口号、最大线程数、最大用户数、压缩算法、压缩比例、是否进行二次上传、是否进行校验等服务参数，而且还可以查询、查看、修改和保存服务参数。在本实施例中，通过配置界面，可以对数据传输平台进行监控和管理。

在实际应用中，可以数据文件传输平台分成前置机和接口机两部分，将数据文件传输平台的前置机部署在各分公司的终端上，用于接收各终端传输的每个数据分块，并对每个数据分块的合法性进行校验和压缩处理。数据文件传输平台的接口机部署在集团侧，在接收完所有数据分块后，对数据文件的完整性进行校验，以及判断是否将压缩数据文件进行上传。进一步地，前置机可以包括一个配置界面，以便对格式校验规则、CHK文件和数据文件传输平台的服务参数进行管理。

图3为本发明实施例提供的一种数据文件传输平台结构示意图。如图3所示，该数据文件传输平台包括：接收模块30、校验模块31和压缩模块32。

在对数据文件进行传输时，终端和接收端预先对传输协议进行协商，然后终端是按照约定好的传输协议对数据文件进行传输。在本实施例中，优选地终端按照标准的FTP协议将数据文件发送给数据文件传输平台中的接收模块30。其中，数据文件包括至少一个数据分块。

在本实施例中，数据文件传输平台采用多线程的方式对数据文件进行传输，优选地，数据文件传输平台采用2个线程，分别记为第一线程和第二线程。数据文件传输平台对每个数据分块生成两个线程，然后在这两个线程分别对数据分块的格式进行校验和压缩处理，具体地，数据文件传输平台中的校验模块31对数据分块的格式进行校验，而且数据文件传输平台中的压缩模块32并行地对数据分块的进行压缩处理。

接收模块30与校验模块31连接，接收模块30在接收数据文件中每个数据分块后，校验模块31在第一线程上对每个数据分块的格式进行校验。具体地，校验模块31根据预存的格式校验规则，对每个数据分块的格式进行校验，获取每个数据分块在格式上的错误信息。在本实施例中，校验模块31在对每个数据分的格式进行校验的过程中，统计获取所接收的数据分块的在格式上的错误信息的个数。优选地，可以通过一个计数器对错误信息的个数进行计数，得到数据文件的错误信息的个数。进一步地，校验模块31可以实时地将获取到的错误信息的个数与预设的个数门限进行比较，如果错误信息的个数超出预设的个数门限，校验模块31中断对数据文件的传输。优选地，在判断出错误信息的个数超出预设的个数门限后，校验模块31可以控制接收模块30，使得接收模块30停止接收由终端发送来的数据文件的剩余数据分块。可选地，在判断出错误信息的个数超出预设的个数门限后，校验模块31向终端发送一个中断指示。终端在接收到该中断指示后，停止向接收模块30继续传输数据文件的剩余数据分块。如果错误信息的个数未超出预设的个数门限，接收模块30继续接收后续数据分块，校验模块31继续对接收到的数据分块进行校验和统计错误信息的个数。其中，预存的格式校验规则可参见上述实施例中相关内容的记载，此处不再赘述。

本实施例中通过预先设置个数门限，在错误信息个数超出预设的个数门限时，中断数据文件的传输，避免了将存在大量错误的数据文件传输到数据传输平台，避免了资源浪费。

进一步地，在接收完所有的数据分块后，如果校验模块31统计获取到数据文件的错误信息的个数未超出预设的个数门限，接收模块30接收数据文件的CHK文件。其中，该CHK文件包括每个数据分块的标识和每个数据分块的第一MD5值。在本实施例中，数据分块的标识可以为数据分块的名称，也可以为数据分块在数据文件中的序号。终端在向接收端发送该数据文件之前，采用MD5算法对每个数据分块进行加密运算，得到每个数据分块的第一MD5值。

在本实施例中，接收模块30还与压缩模块32连接。在校验模块31对每个数据分块的格式进行校验的同时，压缩模块32在与第一线程并行的第二线程上对每个数据分块进行压缩处理，得到每个数据分块对应的压缩数据分块。具体地，压缩模块32可以按照预设的压缩算法和压缩比例对数据分块进行压缩处理。优选地，压缩模块32可以采用GZIP算法对数据分块进行压缩处理，得到压缩数据分块。

本实施例提供的数据文件传输平台，接收终端发送的数据文件，数据文件包括至少一个数据分块，在接收每个数据分块的同时，对数据分块的格式进行校验，统计获取所接收的数据分块的在格式上的错误信息的个数，如果错误信息的个数超出预设的个数门限，中断对数据文件的传输；而且在接收每个数据分块的同时，并对数据分块进行压缩处理，获得数据分块对应的压缩数据分块，在接收完所有的数据分块后，如果错误信息的个数未超出预设的个数门限，接收数据文件的CHK文件。本发明通过采用多线程的方式，在对数据文件进行接收的同时，实时且并行地对数据文件进行合法性的校验和压缩处理，是对现有的先接收完数据文件，再对数据文件进行校验和处理的数据文件传输方式的一种改进，克服了现有技术中对数据文件的处理效率较低的问题，提高了对数据文件的处理效率。进一步地，还可以避免将存在大量错误的数据文件传输到数据传输平台，避免了资源浪费。

图4为本发明实施例提供的另一种数据文件传输平台结构示意图。如图4所示，该数据文件传输平台包括：身份验证模块40、接收模块41、校验模块42和压缩模块43。

在本实施例中，为了保证数据文件来源的可靠性，终端向数据文件传输平台发送数据之前，向数据文件传输平台中的身份验证模块40发送登录请求，并且在该登录请求中携带终端的身份标识。例如，终端的身份标识可以为用户名和密码。身份验证模块40在接收到登录请求后，根据登录请求中的终端的身份标识，查询预先存储的合法终端的身份标识，以确定终端的身份是否合法。如果登录请求中携带的终端的身份标识存在于合法终端的身份标识中，说明终端为合法终端。接收模块41与身份验证模块40连接，在终端的身份通过验证后，该终端才可以向接收模块41发送数据文件，提高了数据文件来源的可靠性。其中，数据文件包括至少一个数据分块。

接收模块41分别与校验模块42和压缩模块43连接，校验模块42在第一线程上对每个数据分块的格式进行验证，获取所接收的数据分块在格式上的错误信息的个数，如果错误信息的个数超出预设的个数门限，中断对数据文件的传输。关于校验模块42对每个数据分块的格式进行验证的过程，可参见上述实施例中相关内容的记载，此处不再赘述。

在本实施例中，校验模块42的一种可选地实现结构方式包括：校验单元421、统计单元422、第一比较单元423和中断单元424。其中，校验单元421与统计单元422连接，在校验单元421对每个数据分块的格式进行校验的过程中，统计单元422可以统计获取所接收的数据分块在格式上的错误信息的个数，优选地，统计模块422可以为一个计数器，通过该计数器对错误信息的个数进行计数，得到数据文件的错误信息的个数。统计单元422与第一比较单元423连接，将错误信息的个数发送给比较单元423。第一比较单元423实时地将错误信息的个数与预设的个数门限进行比较。而且第一比较单元423还与中断单元424连接，如果第一比较单元423判断出错误信息的个数超出预设的个数门限后，中断单元424将中断数据文件的传输。优选地，中断单元424可以与接收模块41连接，在判断出错误信息的个数超出预设的个数门限后，中断模块424向接收模块41发送中断指示，接收模块41接收到该中断指示，停止或者拒绝接收由终端发送来的数据文件的剩余数据分块，避免了将存在大量错误的数据文件传输到数据传输平台，避免了资源浪费。

可选地，中断单元424还可以与发送数据文件的终端连接，在判断出错误信息的个数超出预设的个数门限后，中断单元424向终端发送一个中断指示，终端在接收到该中断指示后，终端停止向接收模块41继续传输数据文件的剩余数据分块。

进一步地，该校验模块42还包括组装单元425、加密单元426和生成单元427。其中，组装单元425与比较单元423连接，在第一比较单元423比较出错误信息的个数未超出个数门限时，组装单元425将获取到数据分块的错误信息，按照预设的组装标准进行组装，生成数据分块的格式校验结果。加密单元426与校验单元421连接，在第一比较单元423比较出错误信息未超出个数门限时，采用MD5算法对数据分块进行加密，得到该数据分块的第二MD5值。生成单元427与加密单元426连接，从接收到的数据分块中获取数据分块的标识，根据数据分块的第二MD5值和数据分块的标识，生成数据分块的临时验证文件。也就是说，每个数据分块的临时验证文件中包括该数据分块的标识和该数据分块的第二MD5值。

在本实施例中，在校验模块42在第一线程上对数据分块的格式进行校验的同时，压缩模块43在与第一线程并行的第二线程上对每个数据分块进行压缩，得到每个数据分块的压缩数据分块。关于压缩模块43对每个数据分块进行压缩处理，得到每个数据分块的压缩数据分块的过程，可参见上述是实例中相关内容的记载。

在数据文件的实际传输过程中，终端首先向数据文件传输平台发送所有的数据分块。在发送完所有的数据分块后，终端向数据文件传输平台发送数据文件的CHK文件，也就是说，接收模块41在接收完所有的数据分块后，接收该数据文件的CHK文件。

其中，该CHK文件包括每个数据分块的标识和每个数据分块的第一MD5值。在本实施例中，数据分块的标识可以为数据分块的名称，也可以为数据分块在数据文件中的序号。终端在向接收模块41发送该数据文件之前，采用消息摘要算法MD5对每个数据分块进行加密运算，得到每个数据分块的第一MD5值。

在本实施例中，数据文件传输平台不仅可以对每个数据分块的格式进行校验，还可以对数据文件的完整性进行校验。进一步地，数据文件传输平台还包括验证模块44。在接收模块41接收到CHK文件后，说明终端已经完成了数据文件的传输。验证模块44根据每个数据分块的临时验证文件和接收到CHK文件，对数据文件的完整性进行校验，以得到数据文件的验证结果。在本实施例中，对数据文件的完整性校验可以包括：对每个数据分块的完整性校验和对该数据文件的完整校验。

验证模块44的一种可选的实现结构方式包括：第二比较单元441、判断单元442和验证单元443。其中，第二比较单元441根据数据分块临时验证文件中数据分块的标识和CHK文件中数据分块的标识，比较数据分块的第二MD5值与CHK文件中对应数据分块的第一MD5值是否相同。具体地，由于CHK文件中包括每个数据分块的标识，而每个数据分块的临时验证文件中也包括自身数据分块的标识，因此，第二比较单元441可以根据各临时验证文件中的数据分块的标识，从CHK文件中查找与临时验证文件中数据分块对应的数据分块的标识，然后将临时验证文件中该数据分块中第二MD5值和CHK文件中对应数据分块的第一MD5值进行比较。第二比较单元441与判断单元442连接，如果数据分块的第二MD5值与验证CHK中对应数据分块的第一MD5值相同，判断出该数据分块完整。

在数据文件的实际传输过程中，可能存在数据文件中部分数据分块在传输过程中被丢失的情况。在这种情况下虽然被传输的数据分块可能均为完整的数据分块，但是由于部分数据分块被丢失，因此，整个数据文件却是不完整的。进一步地，在本实施例中，为了保证数据文件的准确性，验证模块44不仅需要对每个数据分块的格式和每个数据分块的完整性进行校验，在接收完所有数据分块后，验证模块44还需要对数据文件的完整性进行校验，以提高数据文件的准确性。具体地，判断单元442还与验证单元442连接，在判断单元442判断出所有的数据分块均为完整的数据分块后，验证单元443将第二MD5值的个数与CHK文件中第一MD5值的个数进行比较，以对数据文件的完整性进行验证，生成该数据文件的验证结果。其中，该验证结果用于指示出数据文件的是否通过了完整性校验。如果第二MD5值的个数与CHK文件中第一MD5值的个数相同，说明该数据文件是完整的。而如果第二MD5值的个数与CHK文件中MD5值的个数不相同，说明数据文件是不完整的。在本实施例中，数据文件传输平台可以根据临时验证文件的个数来确定第二MD5值的个数。

在本实施例中，数据文件传输平台基于上述模块的基础上，还可以包括：确定模块45、获取模块46和上传模块47。

一般数据文件中的至少一个数据分块中会携带用于标识该数据文件对应的业务类型的业务类型标识。在数据文件的传输过程中，确定模块45可以从至少一个数据分块中获取该业务类型标识，并可以根据该业务类型标识可以确定出该数据文件对应的业务类型。

在实际中，不同业务类型的数据文件对应于不同的上传至数据管理中心的方式，例如，一些业务类型的数据文件可以通过数据文件传输平台直接发送给数据管理中心，而有一些业务类型的数据文件不需要发送给数据管理中心，还有一些业务类型的数据文件需要经过在处理后，再经过数据文件传输平台发送给数据管理中心。管理员可以预先为业务类型设置不同的上传策略，并将业务类型与上传策略之间的映射关系，存储在数据传输平台中。

确定模块45与获取模块46连接，在确定模块45确定出数据文件的业务类型后，获取模块46根据数据文件的业务类型，查询业务类型与上传策略之间的映射关系，获取数据文件的上传至数据管理中心的上传策略。获取模块46与上传模块47连接，上传模块47还与压缩模块43连接，在获取到数据文件的上传策略后，根据该上传策略将从压缩模块43中获取压缩数据分块，并上传至数据管理中心。

可选地，数据文件传输平台还可以包括一个发送模块48，该发送模块48与验证单元443连接，可以将每个数据分块的格式校验结果和数据文件的验证结果返回给终端，以便用户获取数据文件的验证信息。例如，用户可以通过终端查看格式校验结果，以获得数据分块的错误内容或错误原因。可选地，将格式校验结果和验证结果存储在用户指定的目录中。

本实施例提供的数据文件传输平台，接收终端发送的数据文件，数据文件包括至少一个数据分块，其中，在接收每个数据分块的同时，对所述数据分块的格式进行校验，统计获取所接收的数据分块在格式上的错误信息的个数，如果错误信息的个数超出预设的个数门限，中断对数据文件的传输；在接收每个所述数据分块的同时，并对数据分块进行压缩处理，获得数据分块对应的压缩数据分块，在接收完所有的数据分块后，如果错误信息的个数未超出预设的个数门限，接收数据文件的CHK文件。本发明通过采用多线程的方式，在数据文件接收的同时，实时且并行地对数据文件进行合法性的校验和压缩处理，是对现有先接收完数据文件，再对数据文件进行校验和处理的一种改进，克服了现有技术中导致对数据文件的处理效率较低的问题，提高了对数据文件的处理效率。而且可以避免将存在大量错误的数据文件传输到数据传输平台，避免了资源浪费。

进一步地，在数据文件的接收过程同步地完成了对数据文件的校验，不需要等数据文件传输完后，通过访问存储该数据文件的磁盘，再对该数据文件进行校验，减少了对磁盘的输入输出访问的次数，并且提高对数据文件的校验效率。

可选地，该数据文件传输平台可以设置一个配置界面，管理员可以通过该配置界面，对数据文件传输平台进行配置，例如，管理员可以在配置界面对预设的格式校验规则和CHK文件的内容进行查看、编辑、删除和添加等操作。管理员还可以为待传输的数据文件指定存储位置或者目的目录。管理员还可以在该配置界面对数据文件传输平台的服务参数进行配置，例如，可以配置端口号、最大线程数、最大用户数、压缩算法、压缩比例、是否进行二次上传、是否进行校验等服务参数，而且还可以查询、查看、修改和保存服务参数。在本实施例中，通过配置界面，可以对数据传输平台进行监控和管理。

在实际应用中，数据文件传输平台的一种可选地实现方式包括前置机和接口机，将数据文件传输平台的前置机部署在终端上，用于接收每个数据分块和对每个数据分块的合法性进行校验和压缩处理。数据文件传输平台的接口机部署在集团侧，在接收完所有数据分块后，对数据文件的完整性进行校验，以及判断是否将压缩数据文件进行上传。进一步地，前置机可以包括一个配置界面，以便对格式校验规则、CHK文件和数据文件传输平台的服务参数进行管理。

图5为本发明实施例提供的一种数据文件传输系统结构示意图。如图5所示，该系统包括：至少一个终端50、数据文件传输平台51和数据管理中心52。其中，终端50向数据文件传输平台51发送数据文件，并且可以接收数据文件传输平台返回的校验结果和验证结果。关于数据文件传输平台51相关介绍可参见上述实施例中相关内容的记载，此处不再赘述。数据管理中心52接收经数据文件传输平台51发送的压缩数据文件。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种数据文件传输方法，其特征在于，包括：

接收终端发送的数据文件，所述数据文件包括至少一个数据分块；

其中，在接收每个数据分块的同时，对所述数据分块的格式进行校验，统计获取所接收的数据分块在格式上的错误信息的个数，如果所述错误信息的个数超出预设的个数门限，中断对所述数据文件的传输；

在接收每个数据分块的同时，并对所述数据分块进行压缩处理，获得所述数据分块对应的压缩数据分块；

在接收完所有的所述数据分块后，如果所述错误信息的个数未超出所述个数门限，接收所述文件的验证CHK文件；所述CHK文件中包括每个所述数据分块的第一消息摘要算法MD5值和每个所述数据分块的标识。

2.根据权利要求1所述的数据文件传输方法，其特征在于，所述在接收每个数据分块的同时，对所述数据分块的格式进行校验，统计获取所接收的数据分块在格式上的错误信息的个数，如果所述错误信息的个数超出预设的个数门限，中断对所述数据文件的传输包括：

根据预存的格式校验规则，对所述数据分块的格式进行校验；

获取所述数据分块在格式上的错误信息；

统计获取所接收的数据分块在格式上的错误信息的个数；

将所述错误信息的个数与所述个数门限进行比较；

如果所述错误信息的个数超出所述个数门限，中断对所述数据文件的传输。

3.根据权利要求2所述的数据文件传输方法，其特征在于，还包括：

如果所述错误信息的个数未超出所述个数门限，按照预设的组装标准对所述错误信息进行组装处理，生成所述数据分块的格式校验结果；

对所述数据分块进行消息摘要算法MD5加密，得到所述数据分块的第二MD5值；

获取所述数据分块的标识；

根据所述数据分块的第二MD5值和所述数据分块的标识，生成所述数据分块的临时验证文件。

4.根据权利要求3所述的数据文件传输方法，其特征在于，所述接收所述数据文件的CHK文件之后还包括：

根据每个所述数据分块的临时验证文件和所述CHK文件，对所述数据文件的完整性进行校验，生成所述数据文件的验证结果；

其中，所述根据每个所述数据分块的临时验证文件和所述CHK文件，对所述数据分块的完整性进行校验，生成所述数据文件的验证结果包括：

根据所述数据分块临时验证文件中数据分块的标识和所述CHK文件中数据分块的标识，比较所述数据分块的第二MD5值与所述CHK文件中对应的数据分块的第一MD5值是否相同；

如果所述数据分块的第二MD5值与所述验证CHK中所述数据分块对应的第一MD5值相同，判断出所述数据分块完整；

如果判断出所有的所述数据分块均为完整的，将所述第二MD5值的个数与所述第一MD5值的个数进行比较，以对所述数据文件的完整性进行验证，生成所述数据文件的验证结果。

5.根据权利要求1-4任一项所述的数据文件传输方法，其特征在于，在接收所述数据文件的过程中，还包括：

从至少一个所述数据分块中，获取所述数据文件对应的业务类型标识，并根据所述业务类型标识，确定所述数据文件对应的业务类型；

获得所有压缩数据分块之后，所述数据文件传输方法还包括：

根据所述数据文件的业务类型和预设的业务类型与上传策略之间的映射关系，获取所述数据文件的上传策略；

根据所述数据文件的上传策略，将所述数据文件的压缩数据分块上传至数据管理中心。

6.一种数据文件传输平台，其特征在于，包括：

接收模块，用于接收终端发送的数据文件，所述数据文件包括至少一个数据分块，以及在接收完所有的数据分块后，如果错误信息的个数未超出预设的个数门限，接收所述数据文件的验证CHK文件；所述CHK文件中包括每个数据分块的第一消息摘要算法MD5值；

校验模块，用于在所述接收模块接收每个数据分块的同时，对所述数据分块的格式进行校验，统计获取所接收的数据分块在格式上的错误信息的个数，如果所述错误信息的个数超出所述个数门限，中断对所述数据文件的传输；

压缩模块，用于在所述接收模块接收每个数据分块的同时，对所述数据分块进行压缩处理，得到所述数据分块对应的压缩数据分块。

7.根据权利要求6所述的数据文件传输平台，其特征在于，所述校验模块包括：

校验单元，用于根据预存的格式校验规则对所述数据分块的格式进行校验获取所述数据分块在格式上的错误信息；

统计单元，用于统计获取所接收的数据分块在格式上的错误信息的个数；

比较单元，用于将所述错误信息的个数与所述个数门限进行比较；

中断单元，用于如果所述错误信息的个数超出个数门限，中断对所述数据文件的传输。

8.根据权利要求7所述的数据文件传输平台，其特征在于，所述校验模块还包括：

组装单元，用于如果所述错误信息的个数未超出个数门限，按照预设的组装标准对所述错误信息进行组装，生成所述数据分块的格式校验结果；

加密单元，用于对所述数据分块进行消息摘要算法MD5加密，得到所述数据分块的第二MD5值；

生成单元，用于获取所述数据分块的标识，根据所述数据分块的第二MD5值和所述数据分块的标识，生成所述数据分块的临时验证文件。

9.根据权利要求8所述的数据文件传输平台，其特征在于，还包括：验证模块，用于在所述接收模块接收所述CHK文件后，根据每个所述数据分块的临时验证文件和所述CHK文件，对所述数据文件的完整性进行校验，生成所述数据文件的验证结果；

其中，所述验证模块包括：

比较单元，用于根据所述数据分块临时验证文件中数据分块的标识和所述CHK文件中数据分块的标识，比较所述数据分块的第二MD5值与所述CHK文件中对应的所述数据分块第一MD5值是否相同；

判断单元，用于如果所述数据分块的第二MD5值与所述CHK中所述数据分块对应的第一MD5值相同，判断出所述数据分块完整；

验证单元，用于如果所述判断单元判断出所有的所述数据分块均为完整的，将所述第二MD5值的个数与所述第一MD5值的个数进行比较，以对所述数据文件的完整性进行验证，生成所述数据文件的验证结果。

10.根据权利要求6-9任一项所述的数据文件传输平台，其特征在于，还包括：

确定模块，用于从至少一个所述数据分块中获取所述数据文件的业务类型标识，并根据所述业务类型标识，确定所述数据文件对应的业务类型；

获取模块，用于根据所述业务类型和预设的业务类型与上传策略之间的映射关系，获取所述数据文件的上传策略；

上传模块，用于根据所述数据文件的上传策略，将所述数据文件的压缩数据分块上传至数据管理中心。