CN112506866A - 一种适用于大数据量文件的导入方法 - Google Patents
一种适用于大数据量文件的导入方法 Download PDFInfo
- Publication number
- CN112506866A CN112506866A CN202011078318.3A CN202011078318A CN112506866A CN 112506866 A CN112506866 A CN 112506866A CN 202011078318 A CN202011078318 A CN 202011078318A CN 112506866 A CN112506866 A CN 112506866A
- Authority
- CN
- China
- Prior art keywords
- file
- import
- server
- data
- browser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000008676 import Effects 0.000 claims abstract description 71
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种适用于大数据量文件的导入方法，属于大数据处理领域；所述的方法首先在浏览器定义一个窗口，然后定义一个查看倒入状态的按钮，并在服务器定义接收导入消息并处理相关业务的控制流程，在导入过程中，浏览器对服务器的导入进行同步控制；通过新窗口查看导入状态加大导入数据的数量，用户不用长时间等待带入结果，即可实时接收到导入信息，用户体验更佳。
Description
技术领域
本发明公开一种适用于大数据量文件的导入方法，涉及大数据处理技术领 域。
背景技术
在以浏览器导入excel文件业务中，Http技术是实现导入的重要技术之一。 Http是一个简单的请求-响应协议，它通常运行在TCP之上。它指定了客户端 可能发送给服务器什么样的消息以及得到什么样的响应。请求和响应消息的头 以ASCII码形式给出；而消息内容则具有一个类似MIME的格式。
从导入效果方面来看，Http技术导入分为三种方式：表单导入、Ajax同步 导入、Ajax异步导入。表单导入提交表单后不知道什么时候导入完成，文件较 大时页面可能停止响应；Ajax同步导入能得到详细的错误信息，有回调函数作 为返回值，可进行下一步操作，但对大数据量的文件操作有限制；Ajax异步导 入既实现了大数据量的文件导入，也能得到详细的错误信息，具有更广泛的适 用性。
目前，Ajax异步导入在处理大数据量的文件及复杂业务场景下，为保证导 入过程中信息的实时接收，须加大Nginx代理的连接等待时间，但由于数据量 比较大，用户需要长时间等待，给用户造成不好的用户体验，故现发明一种适 用于大数据量文件的导入方法及系统，以解决上述问题。
发明内容
本发明针对现有技术的问题，提供一种适用于大数据量文件的导入方法， 所采用的技术方案为：一种适用于大数据量文件的导入方法，所述的方法首先 在浏览器定义一个窗口，然后定义一个查看倒入状态的按钮，并在服务器定义 接收导入消息并处理相关业务的控制流程，在导入过程中，浏览器对服务器的 导入进行同步控制，所述同步控制具体步骤包括：
S1利用浏览器通过Ajax向服务端发送导入文件请求；
S2通过浏览器接收客户端请求，解析到文件参数；
S3通过服务器检车文件中数据整体结构是否正确；
S4通过服务器将检查无误的文件向数据库中插入导入中的状态；
S5通过服务器依次读取文件数据并完成业务处理；
S6通过服务器读取完文件后判断读取结果，将导入状态写入数据库；
S7利用浏览器在导入过程中通过查看导入状态按钮查看导入状态。
所述S1中实用的请求方式为Ajax异步请求方式。
所述S3中服务器的检查内容包括文件的表头是否正确，文件的内容是否为 空。
所述S4数据库中的文件状态由浏览器端通过查看导入状态按钮进行查看。
所述S5在进行文件数据读取的同时对异常数据进行收集。
所述S6服务器读取完文件后判断读取结果，将导入状态写入数据库的具体 步骤包括：
S601判断文件的读取结果；
S602将读取错误的数据写入错误文件中；
S603将读取成功的文件向数据库写入读取完成状态。
所述S6中文件的导入状态包括导入中、数据异常和导入成功。
所述S7中的导入状态为数据异常时，对异常的错误文件进行下载。
本发明的有益效果为：在使用本发明方法进行大数据量文件的导入时，需 要接收导入过程中信息，用于长时间等待场景，按照本发明方法现在浏览器定 义一个窗口，用于用户文件的导入，然后定义一个查看倒入状态的按钮，可以 实时查看导入状态，最后在服务器定义接收导入消息并处理相关业务的控制流 程，在导入过程中，浏览器对服务器对导入的同步控制，同步控制时如图2所 示，首先按照S1利用浏览器通过Ajax向服务端发送导入文件请求，接着按照 S2通过浏览器接收客户端请求，解析到文件参数，按照S3通过服务器检车文 件中数据整体结构是否正确，并且按照S4通过服务器将检查无误的文件向数据库中插入导入中的状态，接着按照S5通过服务器依次读取文件数据并完成业务 处理，然后按照S6通过服务器读取完文件后判断读取结果，将导入状态写入数 据库，最后按照S7利用浏览器在导入过程中通过查看导入状态按钮查看导入状 态；通过新窗口查看导入状态加大导入数据的数量，用户不用长时间等待带入 结果，即可实时接收到导入信息，用户体验更佳。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描 述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出 创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法的流程图；图2是本发明方法的实施例流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人 员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一：
一种适用于大数据量文件的导入方法，所述的方法首先在浏览器定义一个 窗口，然后定义一个查看倒入状态的按钮，并在服务器定义接收导入消息并处 理相关业务的控制流程，在导入过程中，浏览器对服务器的导入进行同步控制， 所述同步控制具体步骤包括：
S1利用浏览器通过Ajax向服务端发送导入文件请求；
S2通过浏览器接收客户端请求，解析到文件参数；
S3通过服务器检车文件中数据整体结构是否正确；
S4通过服务器将检查无误的文件向数据库中插入导入中的状态；
S5通过服务器依次读取文件数据并完成业务处理；
S6通过服务器读取完文件后判断读取结果，将导入状态写入数据库；
S7利用浏览器在导入过程中通过查看导入状态按钮查看导入状态；
在使用本发明方法进行大数据量文件的导入时，需要接收导入过程中信息， 用于长时间等待场景，按照本发明方法现在浏览器定义一个窗口，用于用户文 件的导入，然后定义一个查看倒入状态的按钮，可以实时查看导入状态，最后 在服务器定义接收导入消息并处理相关业务的控制流程，在导入过程中，浏览 器对服务器对导入的同步控制，同步控制时如图2所示，首先按照S1利用浏览 器通过Ajax向服务端发送导入文件请求，接着按照S2通过浏览器接收客户端 请求，解析到文件参数，按照S3通过服务器检车文件中数据整体结构是否正 确，并且按照S4通过服务器将检查无误的文件向数据库中插入导入中的状态，接着按照S5通过服务器依次读取文件数据并完成业务处理，然后按照S6通过 服务器读取完文件后判断读取结果，将导入状态写入数据库，最后按照S7利用 浏览器在导入过程中通过查看导入状态按钮查看导入状态；
通过新窗口查看导入状态加大导入数据的数量，用户不用长时间等待带入 结果，即可实时接收到导入信息，用户体验更佳；
进一步的，所述S1中实用的请求方式为Ajax异步请求方式，规避了Nginx 长连接的问题；
进一步的，所述S3中服务器的检查内容包括文件的表头是否正确，文件的 内容是否为空；
进一步的，所述S4数据库中的文件状态由浏览器端通过查看导入状态按钮 进行查看；
进一步的，所述S5在进行文件数据读取的同时对异常数据进行收集；
进一步的，所述S6服务器读取完文件后判断读取结果，将导入状态写入数 据库的具体步骤包括：
S601判断文件的读取结果；
S602将读取错误的数据写入错误文件中；
S603将读取成功的文件向数据库写入读取完成状态；
进一步的，所述S6中文件的导入状态包括导入中、数据异常和导入成功；
再进一步的，所述S7中的导入状态为数据异常时，对异常的错误文件进行 下载；
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限 制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员 应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其 中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的 本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种适用于大数据量文件的导入方法，其特征是所述的方法首先在浏览器定义一个窗口，然后定义一个查看倒入状态的按钮，并在服务器定义接收导入消息并处理相关业务的控制流程，在导入过程中，浏览器对服务器的导入进行同步控制，所述同步控制具体步骤包括：
S1利用浏览器通过Ajax向服务端发送导入文件请求；
S2通过浏览器接收客户端请求，解析到文件参数；
S3通过服务器检车文件中数据整体结构是否正确；
S4通过服务器将检查无误的文件向数据库中插入导入中的状态；
S5通过服务器依次读取文件数据并完成业务处理；
S6通过服务器读取完文件后判断读取结果，将导入状态写入数据库；
S7利用浏览器在导入过程中通过查看导入状态按钮查看导入状态。
2.根据权利要求1所述的适用于大数据量文件的导入方法，其特征是所述S1中实用的请求方式为Ajax异步请求方式。
3.根据权利要求2所述的适用于大数据量文件的导入方法，其特征是所述S3中服务器的检查内容包括文件的表头是否正确，文件的内容是否为空。
4.根据权利要求3所述的适用于大数据量文件的导入方法，其特征是所述S4数据库中的文件状态由浏览器端通过查看导入状态按钮进行查看。
5.根据权利要求4所述的适用于大数据量文件的导入方法，其特征是所述S5在进行文件数据读取的同时对异常数据进行收集。
6.根据权利要求5所述的适用于大数据量文件的导入方法，其特征是所述S6服务器读取完文件后判断读取结果，将导入状态写入数据库的具体步骤包括：
S601判断文件的读取结果；
S602将读取错误的数据写入错误文件中；
S603将读取成功的文件向数据库写入读取完成状态。
7.根据权利要求6所述的适用于大数据量文件的导入方法，其特征是所述S6中文件的导入状态包括导入中、数据异常和导入成功。
8.根据权利要求7所述的适用于大数据量文件的导入方法，其特征是所述S7中的导入状态为数据异常时，对异常的错误文件进行下载。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011078318.3A CN112506866A (zh) | 2020-10-10 | 2020-10-10 | 一种适用于大数据量文件的导入方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011078318.3A CN112506866A (zh) | 2020-10-10 | 2020-10-10 | 一种适用于大数据量文件的导入方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112506866A true CN112506866A (zh) | 2021-03-16 |
Family
ID=74953774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011078318.3A Pending CN112506866A (zh) | 2020-10-10 | 2020-10-10 | 一种适用于大数据量文件的导入方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112506866A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101826085A (zh) * | 2009-12-30 | 2010-09-08 | 厦门市美亚柏科信息股份有限公司 | 一种基于ajax的网页在线导入/导出大文件的方法 |
| CN102426579A (zh) * | 2011-08-25 | 2012-04-25 | 中兴通讯股份有限公司 | 一种基于网络方式导入导出文件的方法 |
| CN103077019A (zh) * | 2012-12-27 | 2013-05-01 | 中国建设银行股份有限公司 | 一种图形化参数批量维护方法和装置 |
| CN105094852A (zh) * | 2015-09-07 | 2015-11-25 | 浪潮软件集团有限公司 | 一种数据excel导入和导出的工具 |
| CN106294400A (zh) * | 2015-05-21 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 批量数据的导入方法及系统 |
| CN106302581A (zh) * | 2015-05-21 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 批量数据的导入方法及系统 |
| CN108376171A (zh) * | 2018-02-27 | 2018-08-07 | 平安科技（深圳）有限公司 | 大数据快速导入的方法、装置、终端设备及存储介质 |
-
2020
- 2020-10-10 CN CN202011078318.3A patent/CN112506866A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101826085A (zh) * | 2009-12-30 | 2010-09-08 | 厦门市美亚柏科信息股份有限公司 | 一种基于ajax的网页在线导入/导出大文件的方法 |
| CN102426579A (zh) * | 2011-08-25 | 2012-04-25 | 中兴通讯股份有限公司 | 一种基于网络方式导入导出文件的方法 |
| CN103077019A (zh) * | 2012-12-27 | 2013-05-01 | 中国建设银行股份有限公司 | 一种图形化参数批量维护方法和装置 |
| CN106294400A (zh) * | 2015-05-21 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 批量数据的导入方法及系统 |
| CN106302581A (zh) * | 2015-05-21 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 批量数据的导入方法及系统 |
| CN105094852A (zh) * | 2015-09-07 | 2015-11-25 | 浪潮软件集团有限公司 | 一种数据excel导入和导出的工具 |
| CN108376171A (zh) * | 2018-02-27 | 2018-08-07 | 平安科技（深圳）有限公司 | 大数据快速导入的方法、装置、终端设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10887201B2 (en) | Method for automatically monitoring end-to-end end user performance and apparatus for performing the method | |
| CN110941563B (zh) | 自动化脚本测试方法及装置 | |
| CN110324405A (zh) | 消息发送方法、装置、系统及计算机可读存储介质 | |
| CN108156223A (zh) | 一种基于websocket的消息精准推送系统及方法 | |
| CN111726196A (zh) | 一种车载数据传输方法和系统 | |
| CN112087744A (zh) | 一种识别终端型号的方法、系统、装置及存储介质 | |
| CN114500423B (zh) | 消息处理方法、装置、设备及存储介质 | |
| CN114222256A (zh) | 消息发送方法、装置及电子设备 | |
| CN112270536B (zh) | 一种基于pos的聚合支付方法、系统及相关装置 | |
| CN112506866A (zh) | 一种适用于大数据量文件的导入方法 | |
| CN110083694A (zh) | 一种基于webhook的电网业务集成方法、装置及存储器 | |
| CN115834973B (zh) | 一种云端向本地终端数据高速传输方法及系统 | |
| CN115348333B (zh) | 基于udp双端通信交互的数据传输方法、系统及设备 | |
| CN114979307B (zh) | 通信协议的解析方法、智能终端及存储介质 | |
| CN113179494B (zh) | 基于短信的业务办理方法及系统 | |
| WO2011091628A1 (zh) | 获得终端电子邮件大小的方法和装置 | |
| KR100620331B1 (ko) | 엠엠에스 전송처리 과정 추적 및 표시가 가능한 엠엠에스 모니터링부와 이를 구비하는 엠엠에스 전송처리 검증 시스템 및 이를 이용한 전송처리 검증 방법 | |
| CN109348413B (zh) | 位置信息分享方法、装置、设备及存储介质 | |
| CN113822670A (zh) | 一种支付报文转换方法、装置及电子设备 | |
| CN111338642B (zh) | 确定应用下载途径的方法、设备、终端及存储介质 | |
| CN113240555A (zh) | 一种合同修改的方法及装置 | |
| CN108462944B (zh) | 一种信息处理的方法和装置、ussdgw | |
| CN113490164A (zh) | 一种移动应用消息的推送平台 | |
| CN112333262A (zh) | 数据更新提示方法、装置、计算机设备及可读存储介质 | |
| CN111552907A (zh) | 消息处理方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210316 |