CN112287035A - 数据加载方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例提供了数据加载方法、装置、设备及存储介质。该方法包括：向校验装置发送源文件的文件校验指令，文件校验指令中携带有源文件的互联网协议IP地址和源文件名称，以使校验装置根据IP地址和源文件名称对源文件进行校验；接收校验报告，在校验报告中没有错误记录的情况下，生成文件加载指令；将文件加载指令发送给至少一个数据库，以使数据库响应于文件加载指令将源文件加载至至少一个数据库中。本发明实施例能够缩短校验时间，降低资源开销和计算压力。

Description

数据加载方法、装置、设备及存储介质

技术领域

本发明涉及网络通信技术领域，尤其涉及一种数据加载方法、装置、设备及存储介质。

背景技术

随着移动互联网迅速发展，为适应业务发展变化以及数据规模快速增长要求，运营商采用异构大数据平台沉淀了海量的丰富多样的数据，即传统关系型数据库与分布式架构数据库混搭，消除网络和性能瓶颈，提高数据处理效率适用于不同场景分析。由于数据共享和融合的需要，同一份数据文件，常常需要被批量加载至传统关系型数据库与分布式架构数据库。

但是，每一次加载入库都需要进行校验，数据量多的时候，校验时间会呈指数级增长，计算压力大。

发明内容

本发明实施例提供了一种数据加载方法、装置、设备及存储介质，能够缩短校验时间，降低资源开销和计算压力。

第一方面，本发明实施例提供了一种数据加载方法，该方法包括：

向校验装置发送源文件的文件校验指令，文件校验指令中携带有源文件的互联网协议IP地址和源文件名称，以使校验装置根据IP地址和源文件名称对源文件进行校验；

接收校验报告，在校验报告中没有错误记录的情况下，生成文件加载指令；

将文件加载指令发送给至少一个数据库，以使数据库响应于文件加载指令将源文件加载至至少一个数据库中。

第二方面，本发明实施例提供了一种数据加载方法，该方法包括：

接收文件校验指令；文件校验指令中包括源文件的互联网协议IP地址和源文件名称；

根据源文件的IP地址和源文件的源文件名称，对源文件进行校验，并生成校验报告；

将校验报告发送给文件管理平台，以供文件管理平台在检测到校验报告中没有错误记录的情况下，向至少一个数据库发送源文件的文件加载指令，以用于至少一个数据库分别响应于文件加载指令，将源文件加载到至少一个数据库中。

第三方面，本发明实施例提供了一种数据加载方法，该方法包括：

响应于源文件的文件加载指令，加载源文件；其中，文件加载指令为文件管理平台在检测到校验装置发送的校验报告没有错误记录的情况下生成；

当加载完成源文件时，生成文件加载完成通知，并将文件加载完成通知发送给文件管理平台。

第四方面，本发明实施例提供了数据加载装置，该装置包括：

第一发送模块，用于向校验装置发送源文件的文件校验指令，文件校验指令中携带有源文件的互联网协议IP地址和源文件名称，以使校验装置根据IP地址和源文件名称对源文件进行校验；

接收处理模块，用于接收校验报告，在校验报告中没有错误记录的情况下，生成文件加载指令；

第二发送模块，用于将文件加载指令发送给至少一个数据库，以使至少一个数据库分别响应于文件加载指令将源文件加载至至少一个数据库中。

第五方面，本发明实施例提供了数据加载装置，该装置包括：

指令接收模块，用于接收文件校验指令；文件校验指令中包括源文件的互联网协议IP地址和源文件名称；

校验处理模块，用于根据源文件的IP地址和源文件的源文件名称，对源文件进行校验，并生成校验报告；

报告发送模块，用于将校验报告发送给文件管理平台，以供文件管理平台在检测到校验报告中没有错误记录的情况下，向至少一个数据库发送源文件的文件加载指令，以用于至少一个数据库分别响应于文件加载指令，将源文件加载到至少一个数据库中。

第六方面，本发明实施例提供了数据加载装置，该装置包括：

文件加载模块，用于响应于源文件的文件加载指令，加载源文件；其中，文件加载指令为文件管理平台在检测到校验装置发送的校验报告没有错误记录的情况下生成；

发送处理模块，用于当加载完成源文件时，生成文件加载完成通知，并将文件加载完成通知发送给文件管理平台。

第七方面，本发明实施例提供了一种计算设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面、第二方面和第三方面中的方法。

第八方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面、第二方面和第三方面中的方法。

本发明实施例提供的数据加载方法、装置、设备及介质，通过向第一校验加载装置发送源文件的文件校验指令，文件校验指令中携带有源文件的IP地址和源文件名称，以使第一校验加载装置根据IP地址和源文件名称对源文件进行校验；接收校验报告，在校验报告中没有错误记录的情况下，向至少一个第二校验加载装置发送源文件的文件加载指令，以使至少一个第二校验加载装置响应于文件加载指令，将源文件加载到至少一个第二数据库中。本发明实施例通过第一检验加载装置对源文件进行校验，并能够将校验结果共享给其他校验加载装置，使得源文件只通过一次校验就能够加载到至少一个第二数据库中，缩短校验时间，降低资源开销和计算压力。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明一些实施例提供的一种数据加载方法的流程图；

图2示出了根据本发明一些实施例提供的另一种数据加载方法的流程图；

图3示出了根据本发明一些实施例提供的又一种数据加载方法的流程图；

图4示出了根据本发明一些实施例提供的一种数据加载装置的结构示意图；

图5示出了根据本发明一些实施例提供的另一种数据加载装置的结构示意图；

图6示出了根据本发明一些实施例提供的又一种数据加载装置的结构示意图；

图7示出了根据本发明一些实施例提供的一种数据批量加载至不同数据库中的系统的结构示意图；

图8示出了根据本发明一些实施例提供的一种数据批量加载至不同数据库中的方法；

图9示出了根据本发明一些实施例提供的一种数据批量加载至不同数据库中的装置的结构示意图；

图10示出了根据本发明一些实施例提供的一种计算设备的结构示意图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

随着移动互联网迅速发展，为适应业务发展变化以及数据规模快速增长要求，电信运营商普遍采用异构大数据平台沉淀了海量的丰富多样的数据，即传统关系型数据库与分布式架构数据库混搭，消除网络和性能瓶颈，提高数据处理效率适用于不同场景分析。由于数据共享和融合的需要，同一份数据文件，常常需要被批量加载至传统关系型数据库与分布式架构数据库，因此如何保证数据文件快速准确的加载入库亟需解决的问题。

目前，对加载过程中涉及校验环节有不同的处理方式，例如，先校验后加载方式，即将数据分别被传统关系型数据库和分布式架构数据库校验，校验正确后加载入库，又例如先加载后校验，即数据分别被传统关系型数据库和分布式架构先将数据加载入库，然后根据库内资源繁忙程度在库内进行校验。先校验后加载方式，这种加载方式通常是在关联数据量较少的情况，一旦数据量较多时，校验时间会呈现指数级增长，对接口机的计算压力相当大，无法满足大数据应用场景。先加载后检验方式，这种方式虽然可以有效缓解接口机的计算压力但增加了存储压力，而且一旦校验结果有问题，数据需要回滚，还需要重新加载。这种方式使用条件限制较高，需要充分保证数据文件上传符合校验规则。

因此，本发明提供的一种数据加载方法、装置、设备及存储介质，能够缩短校验时间，降低资源开销和计算压力。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种数据加载方法进行详细介绍。

参见图1所示，本发明实施例提供了一种数据加载方法，应用于文件管理平台，包括S101-S103。

S101：向校验装置发送源文件的文件校验指令，文件校验指令中携带有源文件的互联网协议IP地址和源文件名称，以使校验装置根据IP地址和源文件名称对源文件进行校验。

在一个示例实施例中，校验装置是用于在数据库加载文件时，对需要加载的文件进行校验。源文件是指数据库需要加载的文件。文件校验指令中携带有源文件所在的IP地址以及源文件名称，可以指示校验装置随源文件进行校验。

校验装置接收到源文件的文件校验指令后，会根据文件校验指令中源文件的IP地址和源文件名称对源文件进行校验，记录校验结果，生成校验报告，例如，校验结果可以是源文件中的数据是否正确，源文件中的内容是否乱码等等。

S102：接收校验报告，在校验报告中没有错误记录的情况下，生成文件加载指令。

S103：将文件加载指令发送给至少一个数据库，以使至少一个数据库分别响应于文件加载指令将源文件加载至数据库中。

在一个示例实施例中，接收校验装置生成的校验报告，文件管理平台会检测校验报告是否有错误记录，例如，校验报告中的校验结果是使用数字“0或1”来表示的，数字“1”表示被校验的项目正确，数字“0”表示被校验的项目错误。若未检测到校验报告中有错误记录的情况下，生成文件加载指令，并将文件加载指令发送给至少一个数据库，此时，每一个数据库都不需要再对源文件进行校验，而是直接将源文件加载至数据库中，能够大大减少校验时间，降低资源开销和计算压力。

本发明实施例提供的数据加载方法还包括：接收多个文件；在确定多个文件中有源文件的情况下，根据源文件的文件类型，匹配源文件的校验装置。

在一个示例实施例中，文件管理平台用于接收文件并能够对文件进行临时存储。文件管理平台接收多个文件，并判断多个文件中是否有源文件，并在多个文件中有源文件的情况下，根据源文件的文件类型，匹配源文件的校验装置，例如，文件类型可以是文件大小，多个校验装置为[A、B、C、D、E、F]，源文件的大小为2.4G，而校验装置C校验文件大小为0G-5G，因此，将校验装置C作为校验装置对源文件进行校验。又例如，多个校验装置为[A、B、C、D、E、F]中，校验装置A和校验装置B均适合校验的文件大小为0G-5G，源文件的大小为2.4G，但是，校验装置A处于忙碌状态，因此，选择校验装置B作为校验源文件的检验装置。

在一个示例实施例中，本发明实施例提供的数据加载方法中，判断多个文件中是否有源文件，具体包括：对多个文件进行轮询扫描，根据多个文件中每一个文件的编号，确定每一个文件的文件内容和文件来源；根据每一个文件的文件内容和文件来源，判断多个文件中是否有源文件。

文件内容是指文件的相关内容，例如，文件内容是关于日志或者文件内容是关于认证等。文件来源可以是文件来自的服务器或者产生该文件的网页等等，根据文件的编号能够识别出文件内容和文件来源，并根据文件内容和文件来源确定在多个文件中是否有源文件。

本发明实施例提供的数据加载方法中还包括：接收至少一个数据库分别发送的文件加载完成通知；删除源文件。

在一个示例实施例中，文件管理平台还会接收文件加载完成通知，当多个数据库加载源文件的时候，文件加载完成通知的数量与加载源文件的数据库的数量是一致的，为了能够减少文件管理平台存储文件的压力，当接收到的文件加载完成通知的数量与加载源文件的数据库的数量是一致时，将源文件删除。

文件管理平台能够对文件进行临时存储、删除、备份等，能够应对加载过程中常见的异常问题，例如文件加载失败、数据重传等，具有很好的灵活性。

本发明实施例提供的数据加载方法，能够使用校验装置对源文件进行校验，并根据校验装置生成的校验报告，并通过文件管理平台将源文件的校验结果共享给多个数据库，将源文件加载至至少一个数据库中，即，在批量数据库加载源文件的时候，只需要对源文件校验一次即可，实现了校验结果的共享，不仅缩短校验时间，同时降低资源开销和计算压力，能够快速准确将同一份数据加载至不同的数据库中。

此外，采用动态匹配的模式，匹配到校验最快的校验加载装置进行校验，极大缩短了校验时间，从而降低了整体加载时间。

参见图2所示，本发明实施例提供了另一种数据加载方法，应用于校验装置，包括S201-S203。

S201：接收文件校验指令；文件校验指令中包括源文件的互联网协议IP地址和源文件名称。

S202：根据源文件的IP地址和源文件的源文件名称，对源文件进行校验，并生成校验报告。

在一个示例实施例中，在文件管理平台为源文件匹配到校验装置后，校验装置会接收到文件管理平台的文件校验指令，其中，文件校验指令中包括源文件的IP地址、源文件名称。根据源文件的IP地址和源文件名称，校验装置能够对源文件进行校验，例如，校验装置对源文件进行校验，可以是校验源文件中的数据是否正确，也可以是校验源文件中的内容是否为乱码，还可以是校验源文件中的字符类型是否为预设的字符类型。校验过程中会对校验结果进行记录，进而生成校验报告。

S203：将校验报告发送给文件管理平台，以供文件管理平台在检测到校验报告中没有错误记录的情况下，向至少一个数据库发送源文件的文件加载指令，以用于至少一个数据库分别响应于文件加载指令，将源文件加载到至少一个数据库中。

在一个示例实施例中，校验装置将校验报告发送给文件管理平台，当文件管理平台确定校验报告中没有任何错误记录的情况下，生成文件加载指令，并将文件加载指令发送给至少一个数据库，以使数据库加载源文件，实现了通过校验一次源文件以及校验结果的共享，从而缩短了校验时间和文件加载时间。

在一个示例实施例中，校验装置在对源文件进行校验的时候可以是对以下各项中的至少一项进行校验，如，校验源文件中的数据是否正确；校验源文件中的内容是否为乱码；校验源文件中的字符类型是否为预设的字符类型。

在一个示例实施例中，将源文件加载至数据库中后，生成文件加载完成通知，并发送给文件管理平台，文件管理平台在接收到文件加载完成通知的数量与加载源文件的数据库的数量一致的情况下，将源文件删除。

本发明实施例提供的数据加载方法中，校验装置对源文件进行了一次校验，并通过文件管理平台将源文件的校验结果分享给至少一个数据库，即，在批量数据库加载源文件的时候，只需要对源文件校验一次即可，实现了校验结果的共享，不仅缩短校验时间，同时降低资源开销和计算压力，能够快速准确将同一份数据加载至不同的数据库中。

参见图3所示，本发明实施例提供了又一种数据加载方法，应用于数据库，包括：S301-S302。

S301：响应于源文件的文件加载指令，加载源文件；其中，文件加载指令为文件管理平台在检测到校验装置发送的校验报告没有错误记录的情况下生成。

S302：当加载完成源文件时，生成文件加载完成通知，并将文件加载完成通知发送给文件管理平台。

在一个示例实施例中，数据库在接收到文件加载指令后，则将源文件加载至数据库中，其中，加载源文件的数据库至少有一个，文件加载指令为文件管理平台在检测到校验装置发送的校验报告没有错误记录的情况下生成的，以使至少一个数据库无需对源文件进行校验直接加载至数据库中，缩短文件加载时间。当数据库加载完源文件后，生成文件加载完成通知，并发送给文件管理平台，当文件管理平台接收到的文件加载完成通知的数量与加载源文件的数据库的数量一致的情况下，将源文件删除。

本发明实施例提供的数据加载方法，通过由文件管理平台生成的文件加载指令直接将源文件加载至至少一个数据库中，无需在对源文件进行校验，即，在批量数据库加载源文件的时候，只需要对源文件校验一次即可，实现了校验结果的共享，不仅缩短校验时间，同时降低资源开销和计算压力，能够快速准确将同一份数据加载至不同的数据库中。

参见图4所示，本发明实施例提供了一种数据加载装置，该装置包括：

第一发送模块401，用于向校验装置发送源文件的文件校验指令，文件校验指令中携带有源文件的互联网协议IP地址和源文件名称，以使校验装置根据IP地址和源文件名称对源文件进行校验；

接收处理模块402，用于接收校验报告，在校验报告中没有错误记录的情况下，生成文件加载指令；

第二发送模块403，用于将文件加载指令发送给至少一个数据库，以使至少一个数据库分别响应于文件加载指令将源文件加载至数据库中。

可选的，本发明实施例提供的数据加载装置还包括：匹配处理模块404，用于在向校验装置发送源文件的文件校验指令之前，接收多个文件；

在确定多个文件中有源文件的情况下，根据源文件的文件类型，匹配源文件的校验装置。

可选的，本发明实施例提供的数据加载装置还包括：文件删除模块405，用于接收至少一个数据库分别发送的文件加载完成通知；删除源文件。

本发明实施例提供装置中的各个模块可以实现图1所示的方法，并达到其技术效果，为简洁描述，再此不在赘述。

参见图5所示，本发明实施例提供了另一种数据加载装置，该装置包括：

指令接收模块501，用于接收文件校验指令；文件校验指令中包括源文件的互联网协议IP地址和源文件名称；

校验处理模块502，用于根据源文件的IP地址和源文件的源文件名称，对源文件进行校验，并生成校验报告；

报告发送模块503，用于将校验报告发送给文件管理平台，以供文件管理平台在检测到校验报告中没有错误记录的情况下，向至少一个数据库发送源文件的文件加载指令，以用于至少一个数据库分别响应于文件加载指令，将源文件加载到至少一个数据库中。

可选的，本发明实施例中的校验模块502用于对源文件进行校验，包括：

对源文件的以下各项中的至少一项进行校验：

校验源文件中的数据是否正确；

校验源文件中的内容是否为乱码；

校验源文件中的字符类型是否为预设的字符类型。

本发明实施例提供装置中的各个模块可以实现图2所示的方法，并达到其技术效果，为简洁描述，再此不在赘述。

参见图6所示，本发明实施例提供了又一种数据加载装置，装置包括：

文件加载模块601，用于响应于源文件的文件加载指令，加载源文件；其中，文件加载指令为文件管理平台在检测到校验装置发送的校验报告没有错误记录的情况下生成；

发送处理模块602，用于当加载完成源文件时，生成文件加载完成通知，并将文件加载完成通知发送给文件管理平台。

本发明实施例提供装置中的各个模块可以实现图3所示的方法，并达到其技术效果，为简洁描述，再此不在赘述。

作为一个示例实施例，参见图7所示，本发明实施例提供了一种数据批量加载至不同数据库中的系统，该系统包括：文件管理平台701、校验装置702、数据库703。

文件管理平台701，用于数据文件临时存储、删除；消息文件生成、临时存储，一般为接口机，由于数据文件较大，一般加载完成后，就会执行删除数据文件操作。

校验装置702，用于对数据文件按照校验规则进行校验，校验通过后则表示数据按照接口规范生成，数据质量没有问题，可以加载至数据库留存使用。此过程由于是记录级校验，所以数据文件越大，校验时间越长。

数据库703，用于将数据文件从文件管理平台批量抽取并加载到数据库中。校验装置和数据库可以为同一个主体，也可以不为同一个主体。此过程数据文件越大，加载入库时间越长。

参见图8所示，本发明实施例提供了一种数据批量加载至不同数据库中的方法，包括：

S801：文件管理平台检测源文件是否到达：通过监控程序扫描源文件是否到达；

S802：选择最优校验装置，文件到达后，通过动态匹配模式，假设动态匹配模式判定最优校验装置；文件管理平台生成消息文件触发校验，消息文件包含数据文件IP地址、文件名称，将消息传递给校验装置触发校验，通过消息文件可以解读数据文件所在地址、文件名称、文件大小等信息；

S803：校验装置对源文件文件进行校验，校验装置收到消息对源文件按照校验规则进行记录级校验。

S804：校验装置生成记录级校验报告。文件管理平台检测记录级报告，若有错误记录，则执行S809。若没有错误记录，则执行S805。

S805：生成消息文件触发加载。

S806：数据库A加载源文件，完成后返回加载完成消息文件。

S807：数据库B加载源文件。此时数据库B不需要校验，直接加载入库，加载完成后返回加载完成消息文件。S806和S807的执行顺序不分先后。

S808：收集加载完成消息文件数：文件管理平台判断收到两份加载完成消息文件，表示数据准确无误的被两个数据库加载入库。

S809：删除源文件：为了避免空间浪费，可以将数据删除。

参见图9所示，本发明实施例提供了一种数据批量加载至不同数据库中的装置，该装置包括：

数据文件扫描单元901：通过轮询扫描的方式，判断数据文件是否到达。

数据文件存储单元902：用来对数据文件进行临时存储、根据备份策略进行备份。

动态匹配单元903：用来根据数据文件类型匹配不同检验速度最快的校验装置。

消息文件单元904：负责各消息文件生成及临时存储，包括触发校验消息文件，触发加载消息文件，加载完成消息文件，主要用于各单元之间的通信。

数据文件校验单元905：对数据文件按照校验规则进行校验，检测数据文件规范及质量是否符合要求。

数据文件加载单元906：负责将数据文件从文件管理平台加载到数据库中。

参见图10所示，本发明实施例提供了计算设备的硬件结构示意图。

计算设备可以包括处理器1001以及存储有计算机程序指令的存储器1002。

具体地，上述处理器1001可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器1002可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器1002可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器1002可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器1002可在数据处理装置的内部或外部。在特定实施例中，存储器1002是非易失性固态存储器。在特定实施例中，存储器1002包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器1001通过读取并执行存储器1002中存储的计算机程序指令，以实现上述实施例中的任意一种数据加载方法。

在一个示例中，计算设备还可包括通信接口1003和总线1010。其中，如图10所示，处理器1001、存储器1002、通信接口1003通过总线1010连接并完成相互间的通信。

通信接口1003，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线1010包括硬件、软件或两者，将计算设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线1010可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

另外，结合上述实施例中的数据加载方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种数据加载方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (11)

1.一种数据加载方法，其特征在于，所述方法包括：

向校验装置发送源文件的文件校验指令，所述文件校验指令中携带有所述源文件的互联网协议IP地址和源文件名称，以使所述校验装置根据所述IP地址和所述源文件名称对所述源文件进行校验；

接收校验报告，在所述校验报告中没有错误记录的情况下，生成文件加载指令；

将所述文件加载指令发送给至少一个数据库，以使所述至少一个数据库分别响应于所述文件加载指令将所述源文件加载至所述至少一个数据库中。

2.根据权利要求1所述的方法，其特征在于，在向校验装置发送源文件的文件校验指令之前，所述方法还包括：

接收多个文件；

在确定所述多个文件中有源文件的情况下，根据所述源文件的文件类型，匹配所述源文件的校验装置。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收所述至少一个数据库分别发送的文件加载完成通知；

删除所述源文件。

4.一种数据加载方法，其特征在于，所述方法包括：

接收文件校验指令；所述文件校验指令中包括源文件的互联网协议IP地址和源文件名称；

根据所述源文件的IP地址和所述源文件的源文件名称，对所述源文件进行校验，并生成校验报告；

将所述校验报告发送给文件管理平台，以供所述文件管理平台在检测到所述校验报告中没有错误记录的情况下，向至少一个数据库发送所述源文件的文件加载指令，以用于所述至少一个数据库分别响应于所述文件加载指令，将所述源文件加载到所述至少一个数据库中。

5.根据权利要求4所述的方法，其特征在于，所述对所述源文件进行校验，包括：

对所述源文件的以下各项中的至少一项进行校验：

校验所述源文件中的数据是否正确；

校验所述源文件中的内容是否为乱码；

校验所述源文件中的字符类型是否为预设的字符类型。

6.一种数据加载方法，其特征在于，所述方法包括：

响应于源文件的文件加载指令，加载所述源文件；其中，所述文件加载指令为所述文件管理平台在检测到校验装置发送的校验报告没有错误记录的情况下生成；

当加载完成所述源文件时，生成文件加载完成通知，并将所述文件加载完成通知发送给文件管理平台。

7.一种数据加载装置，其特征在于，所述装置包括：

第一发送模块，用于向校验装置发送源文件的文件校验指令，所述文件校验指令中携带有所述源文件的互联网协议IP地址和源文件名称，以使所述校验装置根据所述IP地址和所述源文件名称对所述源文件进行校验；

接收处理模块，用于接收校验报告，在所述校验报告中没有错误记录的情况下，生成文件加载指令；

第二发送模块，用于将所述文件加载指令发送给至少一个数据库，以使所述至少一个数据库分别响应于所述文件加载指令将所述源文件加载至所述至少一个数据库中。

8.一种数据加载装置，其特征在于，所述装置包括：

指令接收模块，用于接收文件校验指令；所述文件校验指令中包括源文件的互联网协议IP地址和源文件名称；

校验处理模块，用于根据所述源文件的IP地址和所述源文件的源文件名称，对所述源文件进行校验，并生成校验报告；

报告发送模块，用于将所述校验报告发送给文件管理平台，以供所述文件管理平台在检测到所述校验报告中没有错误记录的情况下，向至少一个数据库发送所述源文件的文件加载指令，以用于所述至少一个数据库分别响应于所述文件加载指令，将所述源文件加载到所述至少一个数据库中。

9.一种数据加载装置，其特征在于，所述装置包括：

文件加载模块，用于响应于源文件的文件加载指令，加载所述源文件；其中，所述文件加载指令为所述文件管理平台在检测到校验装置发送的校验报告没有错误记录的情况下生成；

发送处理模块，用于当加载完成所述源文件时，生成文件加载完成通知，并将所述文件加载完成通知发送给文件管理平台。

10.一种计算设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-3中任一项或权利要求4-5中任一项或权利要求6中所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-3中任一项或权利要求4-5中任一项或权利要求6中所述的方法。

Images