CN106294400A - 批量数据的导入方法及系统 - Google Patents

Abstract

本发明揭示了一种批量数据的导入方法及系统，所述方法包括：发送导入处理页面；从所述导入处理页面接收上传文件；根据所述导入处理页面的入口获取所述上传文件对应的业务功能；调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。本发明提供一个通用的导入处理页面，可根据导入处理页面的入口判断本次上传文件的业务功能，并匹配对应的解析校验规则，避免了对每个业务功能均需要单独开发导入处理页面，提升了系统利用率，节约了开发成本。

Description

批量数据的导入方法及系统

技术领域

本发明涉及互联网领域，尤其是涉及一种批量数据的导入方法及系统。

背景技术

批量数据的导入是指人工将已制作为excel或其他文件格式的批量数据，通过一个上传的系统页面，导入系统以用于后续的业务处理。其中，在上传批量数据过程中，系统需要根据一定的规则对批量数据进行解析校验，校验通过的数据才可以导入系统。

然而，当有多个业务处理场景都需要导入批量数据时，每个业务功能都需要单独开发文件导入处理页面，存在一定的重复开发，系统资源利用率低。

发明内容

本发明的目的之一在于提供一种批量数据的导入方法及系统。

为实现上述发明目的之一，本发明一实施方式提供了一种批量数据的导入方法，所述方法包括：

发送导入处理页面；

从所述导入处理页面接收上传文件；

根据所述导入处理页面的入口获取所述上传文件对应的业务功能；

调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。

作为本发明一实施方式的进一步改进，所述方法还包括：

建立一导入处理页面，并配置多个所述导入处理页面可调用的解析校验规则，每个解析校验规则对应一种业务功能。

作为本发明一实施方式的进一步改进，所述入口为发起导入数据请求的业务处理页面。

作为本发明一实施方式的进一步改进，『调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验』具体包括：

缓存所述上传文件；

将所述上传文件列入解析校验队列，并在按照所述解析校验队列的队列顺序读取到所述上传文件时，调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。

作为本发明一实施方式的进一步改进，所述方法包括：

设定一定时任务，所述定时任务配置为每间隔一预定周期即按照所述解析校验队列的队列顺序读取一个上传文件进行解析校验。

为实现上述发明目的之一，本发明一实施方式提供了一种批量数据的导入系统，所述系统包括导入模块及处理模块，导入模块用于发送导入处理页面，并从所述导入处理页面接收上传文件；处理模块用于根据所述导入处理页面的入口获取所述上传文件对应的业务功能；调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。

作为本发明一实施方式的进一步改进，所述处理模块还用于建立一导入处理页面，并配置多个所述导入处理页面可调用的解析校验规则，每个解析校验规则对应一种业务功能。

作为本发明一实施方式的进一步改进，所述入口为发起导入数据请求的业务处理页面。

作为本发明一实施方式的进一步改进，所述处理模块还用于：

缓存所述上传文件；

将所述上传文件列入解析校验队列；

在按照所述解析校验队列的队列顺序读取到所述上传文件时，调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。

作为本发明一实施方式的进一步改进，所述处理模块还用于：

设定一定时任务，所述定时任务配置为每间隔一预定周期即按照所述解析校验队列的队列顺序读取一个上传文件进行解析校验。

与现有技术相较，本发明的有益效果是：本发明提供一个通用的导入处理页面，可根据导入处理页面的入口判断本次上传文件的业务功能，并匹配对应的解析校验规则，避免了对每个业务功能均需要单独开发导入处理页面，提升了系统利用率，节约了开发成本。

附图说明

图1是本发明一实施方式中批量数据的导入方法流程图；

图2是本发明一实施方式中『调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验』的具体流程图；

图3是本发明一实施方式中『缓存所述上传文件』后的具体流程图；

图4是本发明一具体示例的批量数据的导入方法流程图；

图5是本发明一具体示例的“ipay批量充退流水查询”业务处理页面示意图；

图6是本发明一具体示例的“ipay批量提现查询”业务处理页面示意图；

图7是本发明一具体示例的通用的导入处理页面示意图；

图8是本发明一具体示例的对应“ipay批量充退流水查询”业务处理页面的导入处理页面示意图；

图9是本发明一具体示例的对应“ipay批量提现查询”业务处理页面的导入处理页面示意图；

图10是本发明一具体示例的“ipay批量充退流水查询”业务处理页面导入文件之后的示意图；

图11是本发明一具体示例的“ipay批量提现查询”业务处理页面导入文件之后的示意图；

图12是本发明一实施方式的批量数据的导入系统模块图。

具体实施方式

以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

如图1所示，在本发明一实施方式中，所述批量数据的导入方法包括：

发送导入处理页面；

从所述导入处理页面接收上传文件；

根据所述导入处理页面的入口获取所述上传文件对应的业务功能；

调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。

其中，所述入口为发起导入数据请求的业务处理页面，所述业务处理页面请求的上传文件可为包含批量数据的excel或其他文件格式的文件，这些文件需要根据业务功能所对应的格式进行相应的处理，以便对导入的文件进行后续的业务处理。

在本实施方式中，可以在所述业务处理页面处直接进入导入处理页面，再在导入处理页面处对业务处理页面所需要的处理的批量数据进行上传及解析校验处理。

例如，所述业务处理页面上包含一个“上传文件”的按钮，点击所述“上传文件”按钮即可进入导入处理页面，在导入处理页面获取上传文件和与上传文件对应的业务功能。其中，每一业务功能均设有与其匹配的解析校验规则，运用对应的解析校验规则可对对应业务功能的上传文件进行解析校验，例如，对上传文件中的数据的格式、字段值等各方面进行解析校验，解析校验通过的数据才可以录入业务数据库表中，以根据业务数据库表进行后续的业务处理。

在本实施方式中，导入处理页面中配置多个所述导入处理页面可调用的解析校验规则，每个解析校验规则对应一种业务功能，即所述导入处理页面为一个通用的导入处理页面，不同的业务处理页面均可以进入同一个导入处理页面，但是每一业务处理页面进入导入处理页面的入口不同，且每一业务处理页面所对应的业务功能也可不同，导入处理页面可以根据入口的不同判断是通过哪一个业务处理页面跳转的，即可调取与该业务处理页面对应的业务功能的解析校验规则，对该上传文件中的数据进行解析校验，在本实施方式中，由于导入处理页面是通用的，就避免了对每个业务功能均需要单独开发导入处理页面，提升了系统利用率，节约了开发成本。

在本实施方式中，如图2所示，『调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验』具体包括：

缓存所述上传文件；

将所述上传文件列入解析校验队列，并在按照所述解析校验队列的队列顺序读取到所述上传文件时，调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。

其中，当有多个上传文件上传时，尤其是上传文件中包括的数据量较大时，数据量会很大，系统在上传过程中解析校验时间会很长，无法及时给出响应结果，甚至会因为超时导致导入处理页面报错，用户无法确认是否导入成功及是否对上传文件全部解析校验完成，不仅用户体验差，且运算压力也较大。

在本实施方式中，当有多个上传文件上传时，可以将多个上传文件缓存并形成一个解析校验列队，例如可将多个上传文件存储在一个临时数据库中，多个上传文件可以是对应同一个业务功能的多个上传文件，也可以是对应多个业务功能的多个上传文件；当然，在有新的上传文件请求导入时，可以将所述新的上传文件列入解析校验队列中。

在本实施方式中，导入处理页面按照所述解析校验队列的队列顺序逐一读取上传文件，并调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。在本实施方式中，可逐一对所述上传文件进行解析校验，即是一个上传文件解析校验完成后，再对另一个上传文件进行解析校验。

在本实施方式中，还可设定一定时任务，所述定时任务配置为每间隔一预定周期即按照所述解析校验队列的队列顺序读取一个上传文件进行解析校验，当接收到多个上传文件后，可以在后台根据定时任务开始解析校验上传文件中的数据，如此，可避免解析校验过程出现混乱。这里需要说明的是，在本实施方式中，在该定时任务中，若上一个上传文件的解析校验还未完成，可继续按照配置的预订周期读取下一个上传文件，这样，在解析校验过程中，可能会出现多个上传文件同时均出于解析校验中的情况，但也可在大大的降低了服务器的运算压力的情况下，缩短了总的计算时间，对用户的反馈更加及时。

在本实施方式中，如图3所示，『缓存所述上传文件』后，还包括：

形成与多个上传文件分别对应的多个导入进度查询页面；

将所述导入进度查询页面或导入进度查询页面链接发送至对应的导入处理页面。

其中，所述导入进度查询页面中包括对上传文件的当前解析校验进度和通过解析校验并成功导入的数据量。

当用户在导入处理页面上传完多个上传文件之后，导入处理页面即将多个上传文件缓存，同时，导入处理页面上会显示对应的导入进度查询页面或导入进度查询页面链接，用户可以在进入导入进度查询页面后查询到当前解析校验进度，和通过解析校验并成功导入的数据量。当导入进度查询页面显示的状态为上传文件解析校验完成时，用户可以返回业务处理页面进行后续处理。

如此，通过异步解析校验数据模式，在后台逐一触发解析校验和将批量数据导入，用户就不必等待系统响应，而只需要去导入处理页面查看当前解析校验进度，和通过解析校验并成功导入的数据量，用户体验好，运算压力较小。

下面就以一个具体示例来详述本发明一实施方式的批量数据的导入方法，如图4所示，所述方法包括：

提供一个通用的导入处理页面。

在导入处理页面中配置多个所述导入处理页面可调用的解析校验规则，每个解析校验规则对应一种业务功能；假设此时导入处理页面配置的业务功能包含“ipay批量充退流水查询”业务功能以及“ipay批量提现查询”业务功能，且每个业务功能均具有对应的解析校验规则。

从发送导入数据请求的业务处理页面进入导入处理页面；如图5及图6所示，假设此时包含两个业务处理页面，分别为“ipay批量充退流水查询”业务处理页面以及“ipay批量提现查询”业务处理页面，分别点击“文件上传”按钮，即可进入通用的导入处理页面，如图7所示，点击“选择文件”按钮，就可以选择上传文件并上传，例如两个业务处理页面请求上传的上传文件分别为“批量充退流水数据.xls”文件以及“批量提现数据.xls”文件。

将导入的上传文件缓存并列入解析校验队列；导入处理页面将“批量充退流水数据.xls”文件以及“批量提现数据.xls”文件缓存至临时数据库中，例如“批量充退流水数据.xls”文件先上传，则此时在解析校验队列中“批量充退流水数据.xls”文件排在“批量提现数据.xls”文件前面。

导入处理页面按照所述解析校验队列的队列顺序读取到所述上传文件时，根据所述导入处理页面的入口获取所述上传文件对应的业务功能，并调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验，同时，形成与多个上传文件分别对应的多个导入进度查询页面，并将所述导入进度查询页面或导入进度查询页面链接发送至对应的导入处理页面；具体地，此时导入处理页面先读取到“批量充退流水数据.xls”文件，即此时对应的入口为“ipay批量充退流水查询”业务处理页面，导入处理页面根据所述入口获取所述“ipay批量充退流水查询”业务处理页面对应的“ipay批量充退流水查询”业务功能，并调用与“ipay批量充退流水查询”业务功能匹配的解析校验规则对“批量充退流水数据.xls”文件中的数据进行解析校验，同时将对应“批量充退流水数据.xls”文件的导入进度查询页面或导入进度查询页面链接发送至对应的导入处理页面，如图7及图8所示，图7中的导入处理页面中包含导入进度查询页面链接，即“上传任务查询”按钮，此时用户点击“上传任务查询”按钮，即可查询到当前解析校验进度，和通过解析校验并成功导入的数据量；图8中的导入处理页面中直接包含导入进度查询页面，即图8中的“进度框”，用户从“进度框”处即可看到当前解析校验进度，和通过解析校验并成功导入的数据量，此时可以看到“批量充退流水数据.xls”文件已经解析校验完成，且通过解析校验并成功导入的数据量为100。同样地，导入处理页面接下来读取到“批量提现数据.xls”文件，即此时对应的入口为“ipay批量提现查询”业务处理页面，导入处理页面根据所述入口获取所述“ipay批量提现查询”业务处理页面对应的“ipay批量提现查询”业务功能，并调用与“ipay批量提现查询”业务功能匹配的解析校验规则对“批量提现数据.xls”文件中的数据进行解析校验，同时将对应“批量提现数据.xls”文件的导入进度查询页面或导入进度查询页面链接发送至对应的导入处理页面，如图7及图9所示，图7中的导入处理页面中包含导入进度查询页面链接，即“上传任务查询”按钮，此时用户点击“上传任务查询”按钮，即可查询到当前解析校验进度，和通过解析校验并成功导入的数据量；图9中的导入处理页面中直接包含导入进度查询页面，即图9中的“进度框”，用户从“进度框”处即可看到当前解析校验进度，和通过解析校验并成功导入的数据量，此时可以看到“批量提现数据.xls”文件已经解析校验完成，且通过解析校验并成功导入的数据量为100。其中，对“批量充退流水数据.xls”文件及“批量提现数据.xls”文件的读取可以按照一定的时间顺序，例如读取“批量充退流水数据.xls”文件的5s再读取“批量提现数据.xls”文件。

当导入进度查询页面显示的状态为解析校验完成时，相应的业务处理页面也会显示完成状态，此时业务处理页面进行后续处理；当图7至图9中的解析校验进度的状态为完成时，图10及图11中所示的“状态栏”显示为“导入成功”，用户可以在业务处理页面进行后续处理，即此时用户可以根据导入的数据进行“ipay批量充退流水查询”以及“ipay批量提现查询”的后续处理。

如图12所示，为本发明一实施方式中批量数据的导入系统，其包括导入模块100、及处理模块200，导入模块100用于发送导入处理页面，并从所述导入处理页面接收上传文件；处理模块200用于根据所述导入处理页面的入口获取所述上传文件对应的业务功能；并调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。

其中，所述入口为发起导入数据请求的业务处理页面，所述业务处理页面请求的上传文件可为包含批量数据的excel或其他文件格式的文件，这些文件需要根据业务功能所对应的格式进行相应的处理，以便对导入的文件进行后续的业务处理。

在本实施方式中，可以在所述业务处理页面处直接进入导入处理页面，处理模块200再在导入处理页面处对业务处理页面所需要的处理的批量数据进行上传及解析校验处理。

例如，所述业务处理页面上包含一个“上传文件”的按钮，点击所述“上传文件”按钮即可进入导入处理页面，在导入处理页面获取上传文件和与上传文件对应的业务功能。其中，每一业务功能均设有与其匹配的解析校验规则，运用对应的解析校验规则可对对应业务功能的上传文件进行解析校验，例如，对上传文件中的数据的格式、字段值等各方面进行解析校验，解析校验通过的数据才可以录入业务数据库表中，以根据业务数据库表进行后续的业务处理。

在本实施方式中，导入处理页面中配置多个所述导入处理页面可调用的解析校验规则，每个解析校验规则对应一种业务功能，即所述导入处理页面为一个通用的导入处理页面，不同的业务处理页面均可以进入同一个导入处理页面，但是每一业务处理页面进入导入处理页面的入口不同，且每一业务处理页面所对应的业务功能也可不同，导入处理页面可以根据入口的不同判断是通过哪一个业务处理页面跳转的，即可调取与该业务处理页面对应的业务功能的解析校验规则，对该上传文件中的数据进行解析校验，在本实施方式中，由于导入处理页面是通用的，就避免了对每个业务功能均需要单独开发导入处理页面，提升了系统利用率，节约了开发成本。

在本实施方式中，所述处理模块200还用于缓存所述上传文件；并将所述上传文件列入解析校验队列；所述处理模块200还用于在按照所述解析校验队列的队列顺序读取到所述上传文件时，调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。

其中，当有多个上传文件上传时，尤其是上传文件中包括的数据量较大时，数据量会很大，系统在上传过程中解析校验时间会很长，无法即时给出响应结果，甚至会因为超时导致导入处理页面报错，用户无法确认是否导入成功及是否对上传文件全部解析校验完成，不仅用户体验差，且运算压力也较大。

在本实施方式中，当有多个上传文件上传时，可以将多个上传文件缓存并形成一个解析校验列队，例如可将多个上传文件存储在一个临时数据库中，多个上传文件可以是对应同一个业务功能的多个上传文件，也可以是对应多个业务功能的多个上传文件；当然，在有新的上传文件请求导入时，可以将所述新的上传文件列入解析校验队列中。

在本实施方式中，导入处理页面按照所述解析校验队列的队列顺序逐一读取上传文件，并调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。在本实施方式中，可逐一对所述上传文件进行解析校验，即是一个上传文件解析校验完成后，再对另一个上传文件进行解析校验。在本实施方式中，处理模块200还可用于设定一定时任务，所述定时任务配置为每间隔一预定周期即按照所述解析校验队列的队列顺序读取一个上传文件进行解析校验，当接收到多个上传文件后，可以在后台根据定时任务开始解析校验上传文件中的数据，如此，可避免解析校验过程出现混乱。这里需要说明的是，在本实施方式中，在该定时任务中，若上一个上传文件的解析校验还未完成，可继续按照配置的预订周期读取下一个上传文件，这样，在解析校验过程中，可能会出现多个上传文件同时均出于解析校验中的情况，但也可在大大的降低了服务器的运算压力的情况下，缩短了总的计算时间，对用户的反馈更加及时。

在本实施方式中，所述处理模块200还用于：

形成与多个上传文件分别对应的多个导入进度查询页面；

将所述导入进度查询页面或导入进度查询页面链接发送至对应的导入处理页面。

其中，所述导入进度查询页面中包括对上传文件的当前解析校验进度和通过解析校验并成功导入的数据量。

当用户在导入处理页面上传完多个上传文件之后，导入处理页面即将多个上传文件缓存，同时，导入处理页面上会显示对应的导入进度查询页面或导入进度查询页面链接，用户可以在进入导入进度查询页面后查询到当前解析校验进度，和通过解析校验并成功导入的数据量。当导入进度查询页面显示的状态为上传文件解析校验完成时，用户可以返回业务处理页面进行后续处理。

如此，通过异步解析校验数据模式，在后台逐一触发解析校验和将批量数据导入，用户就不必等待系统响应，而只需要去导入处理页面查看当前解析校验进度，和通过解析校验并成功导入的数据量，用户体验好，运算压力较小。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，系统和模块的具体工作过程，可以参考前述方法实施方式中的对应过程，在此不再赘述。

综上所述，本发明提供一个通用的导入处理页面，可根据导入处理页面的入口判断本次上传文件的业务功能，并匹配对应的解析校验规则，避免了对每个业务功能均需要单独开发导入处理页面，提升了系统利用率，节约了开发成本。且本发明通过异步解析校验数据模式，在后台逐一触发解析校验和将批量数据导入，用户体验好，运算压力较小。

在本发明所提供的几个实施方式中，应该理解到，所揭露的系统，系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施方式仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施方式方案的目的。

另外，在本发明各个实施方式中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以2个或2个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机系统(可以是个人计算机，服务器，或者网络系统等)或处理器(processor)执行本发明各个实施方式所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施方式仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施方式技术方案的精神和范围。

Claims (10)

1.一种批量数据的导入方法，其特征在于，所述方法包括：

发送导入处理页面；

从所述导入处理页面接收上传文件；

根据所述导入处理页面的入口获取所述上传文件对应的业务功能；

调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。

2.根据权利要求1所述的批量数据的导入方法，其特征在于，所述方法还包括：

建立一导入处理页面，并配置多个所述导入处理页面可调用的解析校验规则，每个解析校验规则对应一种业务功能。

3.根据权利要求1所述的批量数据的导入方法，其特征在于，所述入口为发起导入数据请求的业务处理页面。

4.根据权利要求1所述的批量数据的导入方法，其特征在于，『调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验』具体包括：

缓存所述上传文件；

将所述上传文件列入解析校验队列，并在按照所述解析校验队列的队列顺序读取到所述上传文件时，调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。

5.根据权利要求4所述的批量数据的导入方法，其特征在于，所述方法包括：

设定一定时任务，所述定时任务配置为每间隔一预定周期即按照所述解析校验队列的队列顺序读取一个上传文件进行解析校验。

6.一种批量数据的导入系统，其特征在于，所述系统包括：

导入模块，所述导入模块用于：

发送导入处理页面；

从所述导入处理页面接收上传文件；

处理模块，所述处理模块用于：

根据所述导入处理页面的入口获取所述上传文件对应的业务功能；

调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。

7.根据权利要求6所述的批量数据的导入系统，其特征在于，所述处理模块还用于：

建立一导入处理页面，并配置多个所述导入处理页面可调用的解析校验规则，每个解析校验规则对应一种业务功能。

8.根据权利要求6所述的批量数据的导入系统，其特征在于，所述入口为发起导入数据请求的业务处理页面。

9.根据权利要求6所述的批量数据的导入系统，其特征在于，

所述处理模块还用于：

缓存所述上传文件；

将所述上传文件列入解析校验队列；

在按照所述解析校验队列的队列顺序读取到所述上传文件时，调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。

10.根据权利要求9所述的批量数据的导入系统，其特征在于，

所述处理模块还用于：

设定一定时任务，所述定时任务配置为每间隔一预定周期即按照所述解析校验队列的队列顺序读取一个上传文件进行解析校验。