CN106302581A - 批量数据的导入方法及系统 - Google Patents
批量数据的导入方法及系统 Download PDFInfo
- Publication number
- CN106302581A CN106302581A CN201510261231.2A CN201510261231A CN106302581A CN 106302581 A CN106302581 A CN 106302581A CN 201510261231 A CN201510261231 A CN 201510261231A CN 106302581 A CN106302581 A CN 106302581A
- Authority
- CN
- China
- Prior art keywords
- importing
- verification
- page
- transmitting file
- upper transmitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/156—Query results presentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明揭示了一种批量数据的导入方法及系统,所述方法包括:接收并存储多个上传文件;将接收到的多个上传文件列入解析校验队列,并根据所述解析校验队列的队列顺序逐一读取上传文件;调用与上传文件匹配的解析校验规则对上传文件中的数据进行解析校验。本发明通过异步解析校验数据模式,在后台逐一触发解析校验和将批量数据导入,用户体验好,运算压力较小。
Description
技术领域
本发明涉及互联网领域,尤其是涉及一种批量数据的导入方法及系统。
背景技术
批量数据的导入是指人工将已制作为excel或其他文件格式的批量数据,通过一个上传的系统页面,导入系统以用于后续的业务处理。其中,在上传批量数据过程中,系统需要根据一定的规则对批量数据进行解析校验,校验通过的数据才可以导入系统。
如果需要计算的批量数据的数据量很大,系统在上传过程中解析校验时间会很长,无法及时给出响应结果,甚至会因为超时导致导入处理页面报错,用户也无法确认是否导入成功及是否对上传文件全部解析校验完成,不仅用户体验差,且运算压力也较大。
发明内容
本发明的目的之一在于提供一种批量数据的导入方法及系统。
为实现上述发明目的之一,本发明一实施方式提供了一种批量数据的导入方法,所述方法包括:
接收并存储多个上传文件;
将接收到的多个上传文件列入解析校验队列,并根据所述解析校验队列的队列顺序逐一读取上传文件;
调用与上传文件匹配的解析校验规则对上传文件中的数据进行解析校验。
作为本发明一实施方式的进一步改进,所述方法包括:
设定一定时任务,所述定时任务配置为每间隔一预定周期即按照所述解析校验队列的队列顺序读取一个上传文件进行解析校验。
作为本发明一实施方式的进一步改进,在所述『接收并存储多个上传文件』后,还包括:
形成与多个上传文件分别对应的多个导入进度查询页面;
将所述导入进度查询页面或导入进度查询页面链接发送至对应的导入处理页面。
作为本发明一实施方式的进一步改进,所述导入进度查询页面中包括对上传文件的当前解析校验进度和通过解析校验并成功导入的数据量。
作为本发明一实施方式的进一步改进,所述方法包括:
发送导入处理页面;
从所述导入处理页面接收上传文件;
根据所述导入处理页面的入口获取所述上传文件对应的业务功能;
调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。
为实现上述发明目的之一,本发明一实施方式提供了一种批量数据的导入系统,所述系统包括处理模块,所述处理模块用于:
接收并存储多个上传文件;
将接收到的多个上传文件列入解析校验队列;
根据所述解析校验队列的队列顺序逐一读取上传文件;
调用与上传文件匹配的解析校验规则对上传文件中的数据进行解析校验。
作为本发明一实施方式的进一步改进,所述处理模块还用于:
设定一定时任务,所述定时任务配置为每间隔一预定周期即按照所述解析校验队列的队列顺序读取一个上传文件进行解析校验。
作为本发明一实施方式的进一步改进,所述处理模块还用于:
形成与多个上传文件分别对应的多个导入进度查询页面;
将所述导入进度查询页面或导入进度查询页面链接发送至对应的导入处理页面。
作为本发明一实施方式的进一步改进,所述导入进度查询页面中包括对上传文件的当前解析校验进度和通过解析校验并成功导入的数据量。
作为本发明一实施方式的进一步改进,所述系统还包括导入模块,所述导入模块用于:
发送导入处理页面;
从所述导入处理页面接收上传文件;
所述处理模块还用于:
根据所述导入处理页面的入口获取所述上传文件对应的业务功能;
调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。
与现有技术相较,本发明的有益效果是:本发明通过异步解析校验数据模式,在后台逐一触发解析校验和将批量数据导入,用户体验好,运算压力较小。
附图说明
图1是本发明一实施方式中批量数据的导入方法流程图;
图2是本发明一实施方式中『接收并存储多个上传文件』后的具体流程图;
图3是本发明一实施方式中导入上传文件及解析校验过程的具体流程图;
图4是本发明一具体示例的批量数据的导入方法流程图;
图5是本发明一具体示例的“ipay批量充退流水查询”业务处理页面示意图;
图6是本发明一具体示例的“ipay批量提现查询”业务处理页面示意图;
图7是本发明一具体示例的通用的导入处理页面示意图;
图8是本发明一具体示例的对应“ipay批量充退流水查询”业务处理页面的导入处理页面示意图;
图9是本发明一具体示例的对应“ipay批量提现查询”业务处理页面的导入处理页面示意图;
图10是本发明一具体示例的“ipay批量充退流水查询”业务处理页面导入文件之后的示意图;
图11是本发明一具体示例的“ipay批量提现查询”业务处理页面导入文件之后的示意图;
图12是本发明一实施方式的批量数据的导入系统模块图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明,本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
如图1所示,在本发明一实施方式中,所述批量数据的导入方法包括:
接收并存储多个上传文件;
将接收到的多个上传文件列入解析校验队列,并根据所述解析校验队列的队列顺序逐一读取上传文件;
调用与上传文件匹配的解析校验规则对上传文件中的数据进行解析校验。
其中,当有多个上传文件上传时,尤其是上传文件中包括的数据量较大时,数据量会很大,系统在上传过程中解析校验时间会很长,无法及时给出响应结果,甚至会因为超时导致导入处理页面报错,用户无法确认是否导入成功及是否对上传文件全部解析校验完成,不仅用户体验差,且运算压力也较大。
在本实施方式中,当有多个上传文件上传时,可以将多个上传文件缓存并形成一个解析校验列队,例如可将多个上传文件存储在一个临时数据库中,多个上传文件可以是对应同一个业务功能的多个上传文件,也可以是对应多个业务功能的多个上传文件;当然,在有新的上传文件请求导入时,可以将所述新的上传文件列入解析校验队列中。
在本实施方式中,导入处理页面按照所述解析校验队列的队列顺序逐一读取上传文件,并调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。在本实施方式中,可逐一对所述上传文件进行解析校验,即是一个上传文件解析校验完成后,再对另一个上传文件进行解析校验。
在本实施方式中,还可设定一定时任务,所述定时任务配置为每间隔一预定周期即按照所述解析校验队列的队列顺序读取一个上传文件进行解析校验,当接收到多个上传文件后,可以在后台根据定时任务开始解析校验上传文件中的数据,如此,可避免解析校验过程出现混乱。这里需要说明的是,在本实施方式中,在该定时任务中,若上一个上传文件的解析校验还未完成,可继续按照配置的预订周期读取下一个上传文件,这样,在解析校验过程中,可能会出现多个上传文件同时均出于解析校验中的情况,但也可在大大的降低了服务器的运算压力的情况下,缩短了总的计算时间,对用户的反馈更加及时。
在本实施方式中,如图2所示,在所述『接收并存储多个上传文件』后,还包括:
形成与多个上传文件分别对应的多个导入进度查询页面;
将所述导入进度查询页面或导入进度查询页面链接发送至对应的导入处理页面。
其中,所述导入进度查询页面中包括对上传文件的当前解析校验进度和通过解析校验并成功导入的数据量。
当用户在导入处理页面上传完多个上传文件之后,导入处理页面即将多个上传文件缓存,同时,导入处理页面上会显示对应的导入进度查询页面或导入进度查询页面链接,用户可以在进入导入进度查询页面后查询到当前解析校验进度,和通过解析校验并成功导入的数据量。当导入进度查询页面显示的状态为上传文件解析校验完成时,用户可以返回业务处理页面进行后续处理。
如此,通过异步解析校验数据模式,在后台逐一触发解析校验和将批量数据导入,用户就不必等待系统响应,而只需要去导入处理页面查看当前解析校验进度,和通过解析校验并成功导入的数据量,用户体验好,运算压力较小。
在本实施方式中,如图3所示,所述方法还包括:
发送导入处理页面;
从所述导入处理页面接收上传文件;
根据所述导入处理页面的入口获取所述上传文件对应的业务功能;
调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。
其中,所述入口为发起导入数据请求的业务处理页面,所述业务处理页面请求的上传文件可为包含批量数据的excel或其他文件格式的文件,这些文件需要根据业务功能所对应的格式进行相应的处理,以便对导入的文件进行后续的业务处理。
在本实施方式中,可以在所述业务处理页面处直接进入导入处理页面,再在导入处理页面处对业务处理页面所需要的处理的批量数据进行上传及解析校验处理。
例如,所述业务处理页面上包含一个“上传文件”的按钮,点击所述“上传文件”按钮即可进入导入处理页面,在导入处理页面获取上传文件和与上传文件对应的业务功能。其中,每一业务功能均设有与其匹配的解析校验规则,运用对应的解析校验规则可对对应业务功能的上传文件进行解析校验,例如,对上传文件中的数据的格式、字段值等各方面进行解析校验,解析校验通过的数据才可以录入业务数据库表中,以根据业务数据库表进行后续的业务处理。
在本实施方式中,导入处理页面中配置多个所述导入处理页面可调用的解析校验规则,每个解析校验规则对应一种业务功能,即所述导入处理页面为一个通用的导入处理页面,不同的业务处理页面均可以进入同一个导入处理页面,但是每一业务处理页面进入导入处理页面的入口不同,且每一业务处理页面所对应的业务功能也可不同,导入处理页面可以根据入口的不同判断是通过哪一个业务处理页面跳转的,即可调取与该业务处理页面对应的业务功能的解析校验规则,对该上传文件中的数据进行解析校验,在本实施方式中,由于导入处理页面是通用的,就避免了对每个业务功能均需要单独开发导入处理页面,提升了系统利用率,节约了开发成本。
下面就以一个具体示例来详述本发明一实施方式的批量数据的导入方法,如图4所示,所述方法包括:
提供一个通用的导入处理页面。
在导入处理页面中配置多个所述导入处理页面可调用的解析校验规则,每个解析校验规则对应一种业务功能;假设此时导入处理页面配置的业务功能包含“ipay批量充退流水查询”业务功能以及“ipay批量提现查询”业务功能,且每个业务功能均具有对应的解析校验规则。
从发送导入数据请求的业务处理页面进入导入处理页面;如图5及图6所示,假设此时包含两个业务处理页面,分别为“ipay批量充退流水查询”业务处理页面以及“ipay批量提现查询”业务处理页面,分别点击“文件上传”按钮,即可进入通用的导入处理页面,如图7所示,点击“选择文件”按钮,就可以选择上传文件并上传,例如两个业务处理页面请求上传的上传文件分别为“批量充退流水数据.xls”文件以及“批量提现数据.xls”文件。
将导入的上传文件缓存并列入解析校验队列;导入处理页面将“批量充退流水数据.xls”文件以及“批量提现数据.xls”文件缓存至临时数据库中,例如“批量充退流水数据.xls”文件先上传,则此时在解析校验队列中“批量充退流水数据.xls”文件排在“批量提现数据.xls”文件前面。
导入处理页面按照所述解析校验队列的队列顺序读取到所述上传文件时,根据所述导入处理页面的入口获取所述上传文件对应的业务功能,并调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验,同时,形成与多个上传文件分别对应的多个导入进度查询页面,并将所述导入进度查询页面或导入进度查询页面链接发送至对应的导入处理页面;具体地,此时导入处理页面先读取到“批量充退流水数据.xls”文件,即此时对应的入口为“ipay批量充退流水查询”业务处理页面,导入处理页面根据所述入口获取所述“ipay批量充退流水查询”业务处理页面对应的“ipay批量充退流水查询”业务功能,并调用与“ipay批量充退流水查询”业务功能匹配的解析校验规则对“批量充退流水数据.xls”文件中的数据进行解析校验,同时将对应“批量充退流水数据.xls”文件的导入进度查询页面或导入进度查询页面链接发送至对应的导入处理页面,如图7及图8所示,图7中的导入处理页面中包含导入进度查询页面链接,即“上传任务查询”按钮,此时用户点击“上传任务查询”按钮,即可查询到当前解析校验进度,和通过解析校验并成功导入的数据量;图8中的导入处理页面中直接包含导入进度查询页面,即图8中的“进度框”,用户从“进度框”处即可看到当前解析校验进度,和通过解析校验并成功导入的数据量,此时可以看到“批量充退流水数据.xls”文件已经解析校验完成,且通过解析校验并成功导入的数据量为100。同样地,导入处理页面接下来读取到“批量提现数据.xls”文件,即此时对应的入口为“ipay批量提现查询”业务处理页面,导入处理页面根据所述入口获取所述“ipay批量提现查询”业务处理页面对应的“ipay批量提现查询”业务功能,并调用与“ipay批量提现查询”业务功能匹配的解析校验规则对“批量提现数据.xls”文件中的数据进行解析校验,同时将对应“批量提现数据.xls”文件的导入进度查询页面或导入进度查询页面链接发送至对应的导入处理页面,如图7及图9所示,图7中的导入处理页面中包含导入进度查询页面链接,即“上传任务查询”按钮,此时用户点击“上传任务查询”按钮,即可查询到当前解析校验进度,和通过解析校验并成功导入的数据量;图9中的导入处理页面中直接包含导入进度查询页面,即图9中的“进度框”,用户从“进度框”处即可看到当前解析校验进度,和通过解析校验并成功导入的数据量,此时可以看到“批量提现数据.xls”文件已经解析校验完成,且通过解析校验并成功导入的数据量为100。其中,对“批量充退流水数据.xls”文件及“批量提现数据.xls”文件的读取可以按照一定的时间顺序,例如读取“批量充退流水数据.xls”文件的5s再读取“批量提现数据.xls”文件。
当导入进度查询页面显示的状态为解析校验完成时,相应的业务处理页面也会显示完成状态,此时业务处理页面进行后续处理;当图7至图9中的解析校验进度的状态为完成时,图10及图11中所示的“状态栏”显示为“导入成功”,用户可以在业务处理页面进行后续处理,即此时用户可以根据导入的数据进行“ipay批量充退流水查询”以及“ipay批量提现查询”的后续处理。
如图12所示,为本发明一实施方式中批量数据的导入系统,其包括处理模块200,处理模块200用于接收并存储多个上传文件,并将接收到的多个上传文件列入解析校验队列;所述处理模块200还用于根据所述解析校验队列的队列顺序逐一读取上传文件,并调用与上传文件匹配的解析校验规则对上传文件中的数据进行解析校验。
其中,当有多个上传文件上传时,尤其是上传文件中包括的数据量较大时,数据量会很大,系统在上传过程中解析校验时间会很长,无法即时给出响应结果,甚至会因为超时导致导入处理页面报错,用户无法确认是否导入成功及是否对上传文件全部解析校验完成,不仅用户体验差,且运算压力也较大。
在本实施方式中,当有多个上传文件上传时,可以将多个上传文件缓存并形成一个解析校验列队,例如可将多个上传文件存储在一个临时数据库中,多个上传文件可以是对应同一个业务功能的多个上传文件,也可以是对应多个业务功能的多个上传文件;当然,在有新的上传文件请求导入时,可以将所述新的上传文件列入解析校验队列中。
在本实施方式中,导入处理页面按照所述解析校验队列的队列顺序逐一读取上传文件,并调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。在本实施方式中,可逐一对所述上传文件进行解析校验,即是一个上传文件解析校验完成后,再对另一个上传文件进行解析校验。
在本实施方式中,处理模块200还可设定一定时任务,所述定时任务配置为每间隔一预定周期即按照所述解析校验队列的队列顺序读取一个上传文件进行解析校验,当接收到多个上传文件后,可以在后台根据定时任务开始解析校验上传文件中的数据,如此,可避免解析校验过程出现混乱。这里需要说明的是,在本实施方式中,在该定时任务中,若上一个上传文件的解析校验还未完成,可继续按照配置的预订周期读取下一个上传文件,这样,在解析校验过程中,可能会出现多个上传文件同时均出于解析校验中的情况,但也可在大大的降低了服务器的运算压力的情况下,缩短了总的计算时间,对用户的反馈更加及时。
在本实施方式中,所述处理模块200还用于:
形成与多个上传文件分别对应的多个导入进度查询页面;
将所述导入进度查询页面或导入进度查询页面链接发送至对应的导入处理页面。
其中,所述导入进度查询页面中包括对上传文件的当前解析校验进度和通过解析校验并成功导入的数据量。
当用户在导入处理页面上传完多个上传文件之后,导入处理页面即将多个上传文件缓存,同时,导入处理页面上会显示对应的导入进度查询页面或导入进度查询页面链接,用户可以在进入导入进度查询页面后查询到当前解析校验进度,和通过解析校验并成功导入的数据量。当导入进度查询页面显示的状态为上传文件解析校验完成时,用户可以返回业务处理页面进行后续处理。
如此,通过异步解析校验数据模式,在后台逐一触发解析校验和将批量数据导入,用户就不必等待系统响应,而只需要去导入处理页面查看当前解析校验进度,和通过解析校验并成功导入的数据量,用户体验好,运算压力较小。
在本实施方式中,所述系统还包括导入模块100,所述导入模块100用于发送导入处理页面,并从所述导入处理页面接收上传文件;所述处理模块200还用于根据所述导入处理页面的入口获取所述上传文件对应的业务功能;调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。
其中,所述入口为发起导入数据请求的业务处理页面,所述业务处理页面请求的上传文件可为包含批量数据的excel或其他文件格式的文件,这些文件需要根据业务功能所对应的格式进行相应的处理,以便对导入的文件进行后续的业务处理。
在本实施方式中,可以在所述业务处理页面处直接进入导入处理页面,再在导入处理页面处对业务处理页面所需要的处理的批量数据进行上传及解析校验处理。
例如,所述业务处理页面上包含一个“上传文件”的按钮,点击所述“上传文件”按钮即可进入导入处理页面,在导入处理页面获取上传文件和与上传文件对应的业务功能。其中,每一业务功能均设有与其匹配的解析校验规则,运用对应的解析校验规则可对对应业务功能的上传文件进行解析校验,例如,对上传文件中的数据的格式、字段值等各方面进行解析校验,解析校验通过的数据才可以录入业务数据库表中,以根据业务数据库表进行后续的业务处理。
在本实施方式中,导入处理页面中配置多个所述导入处理页面可调用的解析校验规则,每个解析校验规则对应一种业务功能,即所述导入处理页面为一个通用的导入处理页面,不同的业务处理页面均可以进入同一个导入处理页面,但是每一业务处理页面进入导入处理页面的入口不同,且每一业务处理页面所对应的业务功能也可不同,导入处理页面可以根据入口的不同判断是通过哪一个业务处理页面跳转的,即可调取与该业务处理页面对应的业务功能的解析校验规则,对该上传文件中的数据进行解析校验,在本实施方式中,由于导入处理页面是通用的,就避免了对每个业务功能均需要单独开发导入处理页面,提升了系统利用率,节约了开发成本。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,系统和模块的具体工作过程,可以参考前述方法实施方式中的对应过程,在此不再赘述。
综上所述,本发明提供一个通用的导入处理页面,可根据导入处理页面的入口判断本次上传文件的业务功能,并匹配对应的解析校验规则,避免了对每个业务功能均需要单独开发导入处理页面,提升了系统利用率,节约了开发成本。且本发明通过异步解析校验数据模式,在后台逐一触发解析校验和将批量数据导入,用户体验好,运算压力较小。
在本发明所提供的几个实施方式中,应该理解到,所揭露的系统,系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施方式仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,系统或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施方式方案的目的。
另外,在本发明各个实施方式中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以2个或2个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机系统(可以是个人计算机,服务器,或者网络系统等)或处理器(processor)执行本发明各个实施方式所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施方式仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施方式对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施方式技术方案的精神和范围。
Claims (10)
1.一种批量数据的导入方法,其特征在于,所述方法包括:
接收并存储多个上传文件;
将接收到的多个上传文件列入解析校验队列,并根据所述解析校验队列的队列顺序逐一读取上传文件;
调用与上传文件匹配的解析校验规则对上传文件中的数据进行解析校验。
2.根据权利要求1所述的批量数据的导入方法,其特征在于,所述方法包括:
设定一定时任务,所述定时任务配置为每间隔一预定周期即按照所述解析校验队列的队列顺序读取一个上传文件进行解析校验。
3.根据权利要求1所述的批量数据的导入方法,其特征在于,在所述『接收并存储多个上传文件』后,还包括:
形成与多个上传文件分别对应的多个导入进度查询页面;
将所述导入进度查询页面或导入进度查询页面链接发送至对应的导入处理页面。
4.根据权利要求3所述的批量文件的导入方法,其特征在于,所述导入进度查询页面中包括对上传文件的当前解析校验进度和通过解析校验并成功导入的数据量。
5.根据权利要求1所述的批量文件的导入方法,其特征在于,所述方法包括:
发送导入处理页面;
从所述导入处理页面接收上传文件;
根据所述导入处理页面的入口获取所述上传文件对应的业务功能;
调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。
6.一种批量数据的导入系统,其特征在于,所述系统包括:
处理模块,所述处理模块用于:
接收并存储多个上传文件;
将接收到的多个上传文件列入解析校验队列;
根据所述解析校验队列的队列顺序逐一读取上传文件;
调用与上传文件匹配的解析校验规则对上传文件中的数据进行解析校验。
7.根据权利要求6所述的批量数据的导入系统,其特征在于,
所述处理模块还用于:
设定一定时任务,所述定时任务配置为每间隔一预定周期即按照所述解析校验队列的队列顺序读取一个上传文件进行解析校验。
8.根据权利要求6所述的批量数据的导入系统,其特征在于,
所述处理模块还用于:
形成与多个上传文件分别对应的多个导入进度查询页面;
将所述导入进度查询页面或导入进度查询页面链接发送至对应的导入处理页面。
9.根据权利要求8所述的批量数据的导入系统,其特征在于,所述导入进度查询页面中包括对上传文件的当前解析校验进度和通过解析校验并成功导入的数据量。
10.根据权利要求6所述的批量数据的导入系统,其特征在于,
所述系统还包括导入模块,所述导入模块用于:
发送导入处理页面;
从所述导入处理页面接收上传文件;
所述处理模块还用于:
根据所述导入处理页面的入口获取所述上传文件对应的业务功能;
调用与所述业务功能匹配的解析校验规则对所述上传文件中的数据进行解析校验。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510261231.2A CN106302581A (zh) | 2015-05-21 | 2015-05-21 | 批量数据的导入方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510261231.2A CN106302581A (zh) | 2015-05-21 | 2015-05-21 | 批量数据的导入方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106302581A true CN106302581A (zh) | 2017-01-04 |
Family
ID=57634077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510261231.2A Pending CN106302581A (zh) | 2015-05-21 | 2015-05-21 | 批量数据的导入方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106302581A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106649418A (zh) * | 2015-11-04 | 2017-05-10 | 江苏引跑网络科技有限公司 | 一种在驱动中直连分片实现分布式数据库数据导入的高性能方法 |
CN107943462A (zh) * | 2017-12-15 | 2018-04-20 | 政采云有限公司 | 针对java中的excel数据的处理方法和云端数据交互方法 |
CN107977206A (zh) * | 2017-11-14 | 2018-05-01 | 北京思特奇信息技术股份有限公司 | 一种批量业务数据文件处理方法及装置 |
CN108959292A (zh) * | 2017-05-19 | 2018-12-07 | 北京京东尚科信息技术有限公司 | 一种数据上传方法、系统和计算机可读存储介质 |
CN109922041A (zh) * | 2019-01-18 | 2019-06-21 | 阿里巴巴集团控股有限公司 | 一种文件数据接入系统、方法及电子设备 |
CN110119379A (zh) * | 2019-05-09 | 2019-08-13 | 海闻科技有限公司 | 一种对银行流水数据自动解析方法及装置、存储介质 |
CN110413279A (zh) * | 2019-07-05 | 2019-11-05 | 中国平安财产保险股份有限公司 | 数据加载方法和装置 |
CN112445866A (zh) * | 2019-08-13 | 2021-03-05 | 北京京东振世信息技术有限公司 | 数据处理方法、装置、计算机可读介质及电子设备 |
CN112506866A (zh) * | 2020-10-10 | 2021-03-16 | 浪潮云信息技术股份公司 | 一种适用于大数据量文件的导入方法 |
CN112612505A (zh) * | 2020-12-04 | 2021-04-06 | 北京思特奇信息技术股份有限公司 | 一种基于jdk流程处理的通用文件处理方法及系统 |
CN113034266A (zh) * | 2021-03-26 | 2021-06-25 | 上海孚厘科技有限公司 | 一种电子流水数据的管理方法 |
WO2022199387A1 (zh) * | 2021-03-25 | 2022-09-29 | 易保网络技术(上海)有限公司 | 一种文件处理方法、系统以及计算机设备和介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049550A (zh) * | 2012-12-27 | 2013-04-17 | 北京思特奇信息技术股份有限公司 | 一种公用文件导入数据库的方法及系统 |
CN103077019A (zh) * | 2012-12-27 | 2013-05-01 | 中国建设银行股份有限公司 | 一种图形化参数批量维护方法和装置 |
CN103220348A (zh) * | 2013-04-10 | 2013-07-24 | 广东全通教育股份有限公司 | 一种图片批量上传并保真缩放方法及系统 |
CN103327042A (zh) * | 2012-03-21 | 2013-09-25 | 腾讯科技(深圳)有限公司 | 一种将批量图片上传到网络相册的方法以及一种客户端 |
CN104333604A (zh) * | 2014-11-18 | 2015-02-04 | 中国建设银行股份有限公司 | 图片批量上传方法、上传信息反馈方法、相关设备及系统 |
CN104391938A (zh) * | 2014-11-24 | 2015-03-04 | 黄金日 | 一种图片批量导入数据库的方法及系统 |
CN104580307A (zh) * | 2013-10-21 | 2015-04-29 | 南京中兴新软件有限责任公司 | 文件上传校验方法及装置 |
-
2015
- 2015-05-21 CN CN201510261231.2A patent/CN106302581A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103327042A (zh) * | 2012-03-21 | 2013-09-25 | 腾讯科技(深圳)有限公司 | 一种将批量图片上传到网络相册的方法以及一种客户端 |
CN103049550A (zh) * | 2012-12-27 | 2013-04-17 | 北京思特奇信息技术股份有限公司 | 一种公用文件导入数据库的方法及系统 |
CN103077019A (zh) * | 2012-12-27 | 2013-05-01 | 中国建设银行股份有限公司 | 一种图形化参数批量维护方法和装置 |
CN103220348A (zh) * | 2013-04-10 | 2013-07-24 | 广东全通教育股份有限公司 | 一种图片批量上传并保真缩放方法及系统 |
CN104580307A (zh) * | 2013-10-21 | 2015-04-29 | 南京中兴新软件有限责任公司 | 文件上传校验方法及装置 |
CN104333604A (zh) * | 2014-11-18 | 2015-02-04 | 中国建设银行股份有限公司 | 图片批量上传方法、上传信息反馈方法、相关设备及系统 |
CN104391938A (zh) * | 2014-11-24 | 2015-03-04 | 黄金日 | 一种图片批量导入数据库的方法及系统 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106649418A (zh) * | 2015-11-04 | 2017-05-10 | 江苏引跑网络科技有限公司 | 一种在驱动中直连分片实现分布式数据库数据导入的高性能方法 |
CN108959292B (zh) * | 2017-05-19 | 2021-03-30 | 北京京东尚科信息技术有限公司 | 一种数据上传方法、系统和计算机可读存储介质 |
CN108959292A (zh) * | 2017-05-19 | 2018-12-07 | 北京京东尚科信息技术有限公司 | 一种数据上传方法、系统和计算机可读存储介质 |
CN107977206A (zh) * | 2017-11-14 | 2018-05-01 | 北京思特奇信息技术股份有限公司 | 一种批量业务数据文件处理方法及装置 |
CN107943462A (zh) * | 2017-12-15 | 2018-04-20 | 政采云有限公司 | 针对java中的excel数据的处理方法和云端数据交互方法 |
CN109922041A (zh) * | 2019-01-18 | 2019-06-21 | 阿里巴巴集团控股有限公司 | 一种文件数据接入系统、方法及电子设备 |
CN110119379A (zh) * | 2019-05-09 | 2019-08-13 | 海闻科技有限公司 | 一种对银行流水数据自动解析方法及装置、存储介质 |
CN110413279B (zh) * | 2019-07-05 | 2023-11-03 | 中国平安财产保险股份有限公司 | 数据加载方法和装置 |
CN110413279A (zh) * | 2019-07-05 | 2019-11-05 | 中国平安财产保险股份有限公司 | 数据加载方法和装置 |
CN112445866A (zh) * | 2019-08-13 | 2021-03-05 | 北京京东振世信息技术有限公司 | 数据处理方法、装置、计算机可读介质及电子设备 |
CN112506866A (zh) * | 2020-10-10 | 2021-03-16 | 浪潮云信息技术股份公司 | 一种适用于大数据量文件的导入方法 |
CN112612505A (zh) * | 2020-12-04 | 2021-04-06 | 北京思特奇信息技术股份有限公司 | 一种基于jdk流程处理的通用文件处理方法及系统 |
CN112612505B (zh) * | 2020-12-04 | 2024-01-30 | 北京思特奇信息技术股份有限公司 | 一种基于jdk流程处理的通用文件处理方法及系统 |
WO2022199387A1 (zh) * | 2021-03-25 | 2022-09-29 | 易保网络技术(上海)有限公司 | 一种文件处理方法、系统以及计算机设备和介质 |
CN113034266A (zh) * | 2021-03-26 | 2021-06-25 | 上海孚厘科技有限公司 | 一种电子流水数据的管理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106302581A (zh) | 批量数据的导入方法及系统 | |
CN106294400A (zh) | 批量数据的导入方法及系统 | |
CN108491475A (zh) | 数据快速批量导入方法、电子装置及计算机可读存储介质 | |
CN103139172B (zh) | 一种业务实现方法以及装置 | |
CN108345512A (zh) | 数据校验方法、服务器及存储介质 | |
WO2019127893A1 (zh) | 一种电子签名方法、电子装置及计算机可读存储介质 | |
CN108183911A (zh) | 一种批量更换绑定手机号的方法、装置及移动终端 | |
CN106681854A (zh) | 一种信息校验方法、装置及系统 | |
CN110162387A (zh) | 线程调度方法、装置、计算机设备及计算机可读存储介质 | |
CN106034113A (zh) | 数据处理方法及装置 | |
CN110245912A (zh) | 一种电子合同签署方法、装置、存储介质及终端设备 | |
CN107133233B (zh) | 一种配置数据查询的处理方法及装置 | |
CN107766313B (zh) | 一种数据列表的导入方法及其终端 | |
CN112560939B (zh) | 模型验证方法、装置及计算机设备 | |
CN104331407A (zh) | 一种多媒体文件信息推荐方法及装置 | |
CN102314445A (zh) | 一种排列用户留言的控制方法以及相应的信息管理系统 | |
CN104778389A (zh) | 一种数值转移方法、终端、服务器及系统 | |
CN109389306A (zh) | 一种用户订单的同步方法和装置 | |
US11488232B2 (en) | Document evaluation, alerting and validation system | |
CN111222942B (zh) | 一种数据处理方法、装置、可读介质及电子设备 | |
US11146571B2 (en) | Data transmission method, apparatus, terminal device, and medium | |
CN110019485A (zh) | 一种产品数据入库方法、终端设备及存储介质 | |
CN112785180A (zh) | 具有自主提示功能的业务操作管理系统及方法 | |
CN105426183B (zh) | 一种表单验证方法 | |
CN102109986B (zh) | 一种提供接入序列号以及插件接入的方法、系统及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170104 |
|
RJ01 | Rejection of invention patent application after publication |