CN107071058A - 异步数据上传处理方法及系统 - Google Patents

异步数据上传处理方法及系统 Download PDF

Info

Publication number
CN107071058A
CN107071058A CN201710373756.4A CN201710373756A CN107071058A CN 107071058 A CN107071058 A CN 107071058A CN 201710373756 A CN201710373756 A CN 201710373756A CN 107071058 A CN107071058 A CN 107071058A
Authority
CN
China
Prior art keywords
data
file
service end
client
file path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710373756.4A
Other languages
English (en)
Inventor
罗添华
张军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ke Ke Ke Ke Technology Co Ltd
Original Assignee
Shenzhen Ke Ke Ke Ke Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ke Ke Ke Ke Technology Co Ltd filed Critical Shenzhen Ke Ke Ke Ke Technology Co Ltd
Priority to CN201710373756.4A priority Critical patent/CN107071058A/zh
Publication of CN107071058A publication Critical patent/CN107071058A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种异步数据上传处理方法及系统，所述方法包括如下步骤：服务端建立与客户端的链路；服务端通过所述链路接收所述客户端发送的数据，接收到数据后把所述数据以二进制文件方式写入服务器指定目录，并得到所述指定目录的唯一的文件路径；服务端把所述唯一的文件路径和所述数据的信息写入队列服务器中，并向客户端返回成功标记。本发明提供的技术方案具有网络链接占用时间少的优点。

Description

异步数据上传处理方法及系统
技术领域
本发明涉及数据处理领域，尤其涉及异步数据上传处理方法及系统。
背景技术
现有的异步数据上传处理方法的流程：客户端与服务端建立连接，客户端通过链接发送数据，等待服务端处理完成，返回处理成功消息后，客户端与服务端断开链接。此技术方案会长期占用连接，严重影响系统响应能力以及链路的占用时间。
发明内容
本发明实施例所要解决的技术问题在于，提供一种异步数据上传处理。其具有提高系统响应时间以及减少链路占用时间的优点。
为了解决上述技术问题，本发明实施例提供了一种异步数据上传处理方法，所述方法包括如下步骤：服务端建立与客户端的链路；服务端通过所述链路接收所述客户端发送的数据，接收到数据后把所述数据以二进制文件方式写入服务器指定目录，并得到所述指定目录的唯一的文件路径；服务端把所述唯一的文件路径和所述数据的信息写入队列服务器中，并向客户端返回成功标记。
可选的，所述方法还包括如下步骤：
服务端从队列服务器中读取所述唯一的文件路径和所述数据的信息,然后通过所述唯一的文件路径提取对应的数据文件,读取所述数据文件按不同文件类型加载对应数据处理模块来处理所述数据文件，处理完成后把结果写入数据库。
可选的，所述方法还包括：
服务端处理完所述数据文件后，读取队列服务器中所述数据文件中的下一个文件路径，依据所述下一个文件路径提取对应的数据文件进行数据处理。
第二方面，提供一种服务端，所述服务端包括：链接单元，用于建立与客户端的链路；收发单元，用于通过所述链路接收所述客户端发送的数据；处理单元，用于接收到数据后把所述数据以二进制文件方式写入服务器指定目录，并得到所述指定目录的唯一的文件路径；把所述唯一的文件路径和所述数据的信息写入队列服务器中，并向客户端返回成功标记。
可选的，所述处理单元，用于从队列服务器中读取所述唯一的文件路径和所述数据的信息,然后通过所述唯一的文件路径提取对应的数据文件,读取所述数据文件按不同文件类型加载对应数据处理模块来处理所述数据文件，处理完成后把结果写入数据库。
可选的，所述处理单元，用于处理完所述数据文件后，读取队列服务器中所述数据文件中的下一个文件路径，依据所述下一个文件路径提取对应的数据文件进行数据处理。
第三方面，提供一种异步数据上传处理系统，所述系统包括：客户端与服务端；所述服务端，用于建立与客户端的链路；所述客户端，用于通过所述链路发送数据；所述服务端，还用于接收到数据后把所述数据以二进制文件方式写入服务器指定目录，并得到所述指定目录的唯一的文件路径；把所述唯一的文件路径和所述数据的信息写入队列服务器中，并向客户端返回成功标记。
可选的，所述服务端，用于从队列服务器中读取所述唯一的文件路径和所述数据的信息,然后通过所述唯一的文件路径提取对应的数据文件,读取所述数据文件按不同文件类型加载对应数据处理模块来处理所述数据文件，处理完成后把结果写入数据库。
可选的，所述服务端，用于处理完所述数据文件后，读取队列服务器中所述数据文件中的下一个文件路径，依据所述下一个文件路径提取对应的数据文件进行数据处理。
第四方面，提供一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行第一方面提供的方法。
本领域普通技术人员将了解，虽然下面的详细说明将参考图示实施例、附图进行，但本发明并不仅限于这些实施例。而是，本发明的范围是广泛的，且意在仅通过后附的权利要求限定本发明的范围。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种异步数据处理系统的结构示意图。
图2是本发明提供的一种异步数据上传处理方法的流程示意图。
图3是本发明异步数据上传处理装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参阅图1，本发明实施例提供一种异步数据处理系统的结构示意图，该异步处理系统包括：客户端10和服务端11，该客户端11与服务端之间通信连接，该服务端包括：作业服务器、队列服务器、数据服务器，该通信包含但不限于：WIFI、长期演进(英文：Long TermEvolution，LTE)或其他的通信链路实现通信连接。
参阅图2，图2为本发明另一实施例提供的一种异步数据处理方法，该方法如图2所示，包括如下步骤：
步骤S201、客户端与服务端建立链路连接。
步骤S202、服务端接收到数据后把数据以二进制文件方式写入服务器指定目录，并得到所述指定目录的唯一的文件路径；
步骤S203、服务端把唯一的文件路径和数据信息写入队列服务器中，并向客户端返回成功标记。
步骤S204、客户端接收到该成功标记以后断开与该客户端建立的链接。
本发明提供的技术方案在客户端将数据传递成功以后即由服务端返回成功标记，从而使得客户端与服务端之间的链接断开，从而提高系统的响应能力以及链路的占用时间。
下面以一种实际的处理流程来实现上述方法的步骤细化以及实现方案。
1、客户端HTTP(HTTPS)协议链接服务端Web Server，上传数据
2、服务端接收到数据后把数据以二进制文件(文件名随机生成或者取时间戳，保证不重复)方式写入服务器指定目录,并得到唯一的文件路径filepath；写文件是保证后续队列处理异常时原始数据没有丢失。如果写文件失败返回”fail”给客户端。客户端检测到“fail”后客户端会有重连机制，在合适的时间会再连一次。
3、然后把filepath和相关信息(上传时间,userid，文件类型等)写入队列服务器(MQ Server)中，写完后HTTP返回成功标记”success”给客户端,如果处理失败返回”warning”给客户端。客户端检测到“warning”后客户端可以有提醒机制，这批数据可以在队列周期性调度事件后重新进入队列。
4、服务端作业服务器(JOB Server)从队列中读取filepath和相关信息,然后通过filepath在磁盘中找到对应的文件,读取文件按不同文件类型加载对应数据处理模块(Data Handler)来处理数据，处理完成后把结果写入数据库。一个文件被所有DataHandler处理后可以考虑把文件删除。
5、写入数据库后，如果该数据有注册其他消息事件，会发送通知消息到对应的其他消息队列系统中。
6、处理完一个数据后JOB Server循环读取队列处理下一个数据。客户端可随时查询处理结果。此系统可以大幅提高系统处理数据的响应能力。
7、结束流程。
参阅图3，图3提供一种服务端30，所述服务端包括：
链接单元301，用于建立与客户端的链路；
收发单元302，用于通过所述链路接收所述客户端发送的数据；
处理单元303，用于接收到数据后把所述数据以二进制文件方式写入服务器指定目录，并得到所述指定目录的唯一的文件路径；把所述唯一的文件路径和所述数据的信息写入队列服务器中，并向客户端返回成功标记。
可选的，处理单元303，用于从队列服务器中读取所述唯一的文件路径和所述数据的信息,然后通过所述唯一的文件路径提取对应的数据文件,读取所述数据文件按不同文件类型加载对应数据处理模块来处理所述数据文件，处理完成后把结果写入数据库。
可选的，处理单元303，用于处理完所述数据文件后，读取队列服务器中所述数据文件中的下一个文件路径，依据所述下一个文件路径提取对应的数据文件进行数据处理。
第三方面，提供一种异步数据上传处理系统，所述系统如图1所示，包括：客户端与服务端；所述服务端，用于建立与客户端的链路；所述客户端，用于通过所述链路发送数据；所述服务端，还用于接收到数据后把所述数据以二进制文件方式写入服务器指定目录，并得到所述指定目录的唯一的文件路径；把所述唯一的文件路径和所述数据的信息写入队列服务器中，并向客户端返回成功标记。
可选的，所述服务端，用于从队列服务器中读取所述唯一的文件路径和所述数据的信息,然后通过所述唯一的文件路径提取对应的数据文件,读取所述数据文件按不同文件类型加载对应数据处理模块来处理所述数据文件，处理完成后把结果写入数据库。
可选的，所述服务端，用于处理完所述数据文件后，读取队列服务器中所述数据文件中的下一个文件路径，依据所述下一个文件路径提取对应的数据文件进行数据处理。
本发明还提供一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如图1所示的方法。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种异步数据上传处理方法，其特征在于，所述方法包括如下步骤：
服务端建立与客户端的链路；
服务端通过所述链路接收所述客户端发送的数据，接收到数据后把所述数据以二进制文件方式写入服务器指定目录，并得到所述指定目录的唯一的文件路径；
服务端把所述唯一的文件路径和所述数据的信息写入队列服务器中，并向客户端返回成功标记。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括如下步骤：
服务端从队列服务器中读取所述唯一的文件路径和所述数据的信息,然后通过所述唯一的文件路径提取对应的数据文件,读取所述数据文件按不同文件类型加载对应数据处理模块来处理所述数据文件，处理完成后把结果写入数据库。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
服务端处理完所述数据文件后，读取队列服务器中所述数据文件中的下一个文件路径，依据所述下一个文件路径提取对应的数据文件进行数据处理。
4.一种服务端，其特征在于，所述服务端包括：
链接单元，用于建立与客户端的链路；
收发单元，用于通过所述链路接收所述客户端发送的数据；
处理单元，用于接收到数据后把所述数据以二进制文件方式写入服务器指定目录，并得到所述指定目录的唯一的文件路径；把所述唯一的文件路径和所述数据的信息写入队列服务器中，并向客户端返回成功标记。
5.根据权利要求4所述的服务端，其特征在于，
所述处理单元，用于从队列服务器中读取所述唯一的文件路径和所述数据的信息,然后通过所述唯一的文件路径提取对应的数据文件,读取所述数据文件按不同文件类型加载对应数据处理模块来处理所述数据文件，处理完成后把结果写入数据库。
6.根据权利要求5所述的服务端，其特征在于，
所述处理单元，用于处理完所述数据文件后，读取队列服务器中所述数据文件中的下一个文件路径，依据所述下一个文件路径提取对应的数据文件进行数据处理。
7.一种异步数据上传处理系统，其特征在于，所述系统包括：客户端与服务端；
所述服务端，用于建立与客户端的链路；
所述客户端，用于通过所述链路发送数据；
所述服务端，还用于接收到数据后把所述数据以二进制文件方式写入服务器指定目录，并得到所述指定目录的唯一的文件路径；把所述唯一的文件路径和所述数据的信息写入队列服务器中，并向客户端返回成功标记。
8.根据权利要求7所述的系统，其特征在于，
所述服务端，用于从队列服务器中读取所述唯一的文件路径和所述数据的信息,然后通过所述唯一的文件路径提取对应的数据文件,读取所述数据文件按不同文件类型加载对应数据处理模块来处理所述数据文件，处理完成后把结果写入数据库。
9.根据权利要求8所述的系统，其特征在于，
所述服务端，用于处理完所述数据文件后，读取队列服务器中所述数据文件中的下一个文件路径，依据所述下一个文件路径提取对应的数据文件进行数据处理。
10.一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-3任一项所述的方法。
CN201710373756.4A 2017-05-24 2017-05-24 异步数据上传处理方法及系统 Pending CN107071058A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710373756.4A CN107071058A (zh) 2017-05-24 2017-05-24 异步数据上传处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710373756.4A CN107071058A (zh) 2017-05-24 2017-05-24 异步数据上传处理方法及系统

Publications (1)

Publication Number Publication Date
CN107071058A true CN107071058A (zh) 2017-08-18

Family

ID=59609911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710373756.4A Pending CN107071058A (zh) 2017-05-24 2017-05-24 异步数据上传处理方法及系统

Country Status (1)

Country Link
CN (1) CN107071058A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711741A (zh) * 2018-12-29 2019-05-03 上海二三四五金融科技有限公司 一种获取设备风控数据的控制方法及控制装置
CN109753813A (zh) * 2019-01-28 2019-05-14 恒峰信息技术有限公司 一种文件安全处理方法
CN110517078A (zh) * 2019-08-21 2019-11-29 上海易点时空网络有限公司 基于异步处理的数据上报方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101543070A (zh) * 2007-04-10 2009-09-23 电子部品研究院 异步多媒体检索的方法
CN103117983A (zh) * 2011-11-16 2013-05-22 中国移动通信集团公司 数据服务请求应答方法和数据服务协议栈
CN104113594A (zh) * 2014-07-04 2014-10-22 北京思特奇信息技术股份有限公司 一种基于js上传组件的文件上传方法及系统
US20160094615A1 (en) * 2014-09-25 2016-03-31 Oracle International Corporation Reducing web page load latency by scheduling sets of successive outgoing http calls
CN105635083A (zh) * 2014-11-14 2016-06-01 航天信息股份有限公司 基于服务器和客户端架构的业务处理方法及业务处理系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101543070A (zh) * 2007-04-10 2009-09-23 电子部品研究院 异步多媒体检索的方法
CN103117983A (zh) * 2011-11-16 2013-05-22 中国移动通信集团公司 数据服务请求应答方法和数据服务协议栈
CN104113594A (zh) * 2014-07-04 2014-10-22 北京思特奇信息技术股份有限公司 一种基于js上传组件的文件上传方法及系统
US20160094615A1 (en) * 2014-09-25 2016-03-31 Oracle International Corporation Reducing web page load latency by scheduling sets of successive outgoing http calls
CN105635083A (zh) * 2014-11-14 2016-06-01 航天信息股份有限公司 基于服务器和客户端架构的业务处理方法及业务处理系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711741A (zh) * 2018-12-29 2019-05-03 上海二三四五金融科技有限公司 一种获取设备风控数据的控制方法及控制装置
CN109753813A (zh) * 2019-01-28 2019-05-14 恒峰信息技术有限公司 一种文件安全处理方法
CN110517078A (zh) * 2019-08-21 2019-11-29 上海易点时空网络有限公司 基于异步处理的数据上报方法及装置

Similar Documents

Publication Publication Date Title
CN107908494A (zh) 异常事件的处理方法、装置、电子设备及存储介质
CN111371892A (zh) 高并发分布式消息推送系统及方法
CN107071058A (zh) 异步数据上传处理方法及系统
CN108965062A (zh) 一种板载网卡的网口测试方法、装置、设备及存储介质
DE10006137A1 (de) Einen Kurznachrichtendienst verwendendes Datenübertragungsprotokoll
CN104579905A (zh) 消息传递方法和系统及mom服务器、接收端
CN112910724B (zh) 区块链网络的压力测试方法及装置、系统
CN111240862A (zh) 一种通用接口平台以及数据转换方法
CN107908505A (zh) 一种数据存储方法、装置、设备及系统
CN112087497B (zh) 数据同步方法、装置、电子设备及可读存储介质
CN111404643A (zh) 一种基于消息队列的数据收发处理方法
CN109274466A (zh) 一种中间件报文传输方法及系统
CN102684895B (zh) 备用服务器、恢复客户端在主用服务器注册的系统及方法
CN103067184B (zh) 离线计费的异常处理方法及系统
CN112732800B (zh) 提供跨链消息的方法和装置
CN102456049A (zh) 数据迁移方法、装置及面向对象的分布式文件系统
CN102419721B (zh) 一卡通消费数据分散存储、集中备份与恢复的方法
CN106375064A (zh) 一种密码键盘usb通信异常恢复方法及系统
CN107231284A (zh) 一种消息的发送方法和终端设备
CN108199813A (zh) 一种数据上传方法及系统
CN103684865B (zh) 一种交换系统及一种信息交换方法
CN111984202A (zh) 一种数据处理方法、装置、电子设备和存储介质
CN112749124A (zh) 页面信息管理方法、装置、计算机设备及可读存储介质
CN106685697B (zh) 一种异常边际消息数据恢复处理的方法及系统
CN117061072B (zh) 报文传输方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170818

RJ01 Rejection of invention patent application after publication