CN101447997B - 一种数据处理方法、服务器及数据处理系统 - Google Patents

一种数据处理方法、服务器及数据处理系统 Download PDF

Info

Publication number
CN101447997B
CN101447997B CN 200810192923 CN200810192923A CN101447997B CN 101447997 B CN101447997 B CN 101447997B CN 200810192923 CN200810192923 CN 200810192923 CN 200810192923 A CN200810192923 A CN 200810192923A CN 101447997 B CN101447997 B CN 101447997B
Authority
CN
China
Prior art keywords
server
loading
data
client
service
Prior art date
Application number
CN 200810192923
Other languages
English (en)
Other versions
CN101447997A (zh
Inventor
于永顺
吴松
张德强
曾晖
李保仓
杨军
王卫东
赵娥
金磐石
陶晖
Original Assignee
中国建设银行股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国建设银行股份有限公司 filed Critical 中国建设银行股份有限公司
Priority to CN 200810192923 priority Critical patent/CN101447997B/zh
Publication of CN101447997A publication Critical patent/CN101447997A/zh
Application granted granted Critical
Publication of CN101447997B publication Critical patent/CN101447997B/zh

Links

Abstract

本发明公开了一种数据处理方法、服务器及数据处理系统,该方法用于客户/服务器C/S系统中,包括:客户端通过与服务器建立的上传服务连接向所述服务器批量上传数据加载任务;所述服务器接收完所述批量上传的数据加载任务后断开与所述客户端之间的上传服务连接,并启动加载服务执行所述接收的数据加载任务。实施本发明,客户端可将需要加载的数据打包批量传送至服务器,服务器在接收完毕后断开与客户端的连接,启动新的加载服务独立完成的数据的加载,从而使服务器加载数据时不会受到客户端不稳定因素的影响,提高了数据加载的稳定性。

Description

一种数据处理方法、服务器及数据处理系统

技术领域

[0001] 本发明涉及数据处理领域,尤其涉及一种数据处理方法、服务器及数据处理系统。背景技术

[0002] ETL : (Extraction-Transformation-Loading,中文名称为数据抽取、转换和加载)是指将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。

[0003]目前,常见ETL工具,通常是采用客户端与服务器建立连接后,客户端利用连接后的通讯在服务器执行加载命令。并利用进度算法实现客户端的加载进度显示。

[0004] 但是,在实现本发明的过程中,发明人发现,现有的客户/服务器(Client/Server,C/S)系统的在线加载方式中,客户端和服务器端之间是通过常连接进行加载,服务器的加载时刻依赖于系统客户端的正常运行,存在着不可避免的加载出错隐患。特别是当数据量较大,加载时间较长的情况下,若系统的客户端出现断电、死机、断网等多种意外状况时,服务器的数据加载过程将受到影响甚至破坏。最后结果轻则数据加载失败,重则导致系统内原有数据遭到毁灭性破坏。

发明内容

[0005] 本发明实施例所要解决的技术问题在于,提供一种数据处理方法、服务器及数据处理系统。

[0006] 为了解决上述技术问题,本发明实施例提供了一种数据处理方法,用于C/S系统中,包括:

[0007] 客户端获取服务器加载标识位的状态,当所述加载标识位的状态为“否”时,所述客户端通过与所述服务器建立的上传服务连接向所述服务器批量上传数据加载任务,当所述加载标识位的状态为“是”时,所述客户端与所述服务器建立监控连接,对所述服务器执行数据加载任务的进度进行监控;

[0008] 所述服务器接收完所述批量上传的数据加载任务后断开与所述客户端之间的上传服务连接,并启动加载服务执行所述接收的数据加载任务;

[0009] 其中,所述数据加载任务中包括指示所述服务器如何进行加载的加载逻辑,以便所述服务器根据所述加载逻辑执行所述数据加载任务。

[0010] 相应地,本发明实施例还提供了一种服务器,用于C/S系统中,该服务器包括:

[0011] 接收单元,用于当客户端判断加载标识位的状态为“否”时,与客户端建立上传服务连接,并通过所述上传服务连接接收所述客户端批量上传的数据加载任务,当客户端判断所述加载标识位的状态为“是”时,与客户端建立监控连接,并通过所述监控连接接受所述客户端对执行所述数据加载任务的进度监控,其中所述数据加载任务中包括指示所述服务器如何进行加载的加载逻辑,以便所述服务器根据所述加载逻辑执行所述数据加载任务;

[0012] 加载单元,用于接收所述批量上传的数据加载任务完毕后断开与所述客户端之间的上传服务连接,并启动加载服务执行所述接收的数据加载任务;

[0013] 加载标识位设置 单元,用于当所述服务器执行数据加载任务时设置加载标识位为“是”,当所述服务器执行完所述数据加载任务时设置加载标识位为“否”。

[0014] 本发明实施例还提供了一种数据处理系统,该系统为C/S系统,包括:客户端和服务器,

[0015] 所述客户端包括:

[0016] 获取单元,用于获取所述服务器加载标识位的状态,当所述加载标识位的状态为“否”时,与所述服务器建立上传服务连接,当所述加载标识位的状态为“是”时,与所述服务器建立监控连接,对所述服务器执行数据加载任务的进度进行监控;

[0017] 上传单元,用于通过与所述服务器建立的所述上传服务连接向所述服务器批量上传数据加载任务;

[0018] 所述服务器包括:

[0019] 接收单元,用于通过所述上传服务连接接收所述客户端批量上传的数据加载任务;

[0020] 加载单元,用于接收所述批量上传的数据加载任务完毕后断开与所述客户端之间的上传服务连接,并启动加载服务执行所述接收的数据加载任务。

[0021] 实施本发明实施例,能将ETL过程中处理时间较长的数据加载交由稳定的服务器处理,降低因客户端的不稳定因素导致数据加载失败的隐患。

附图说明

[0022] 图I是本发明方法实施例一的流程示意图;

[0023] 图2是本发明方法实施例一的具体流程示意图;

[0024] 图3是本发明系统实施例的结构示意图;

[0025] 图4是图3所示系统实施例中客户端的又一结构示意图;

[0026] 图5是图3所示系统实施例中服务器的又一结构示意图。

具体实施方式

[0027] 本发明实施例中,在C/S系统的数据加载过程中,通过客户端批量上传数据加载任务,服务器接收所述数据加载任务后断开与客户端的连接并启动加载服务执行所述接收的数据加载任务,将原来处理时间较长的数据加载交由稳定的服务器处理,降低因客户端的不稳定因素导致数据加载失败的隐患。其中,上述的C/S系统是指支持C/S模式的系统。C/S模式是一种软件系统体系结构,通过它可以充分利用两端硬件环境的优势,将任务合理分配到Client端和Server端来实现,降低了系统的通讯开销。

[0028] 为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。

[0029] 图I是本发明方法实施例一的流程示意图,包括:

[0030] 100,客户端通过与服务器建立的上传服务连接向所述服务器批量上传数据加载任务。

[0031] 其中,批量上传数据加载任务,可以是将一个或多个数据加载任务打包后上传,也可以是顺序的上述一个或多个数据加载任务。所述数据加载任务中包括加载相应数据所需的各个参数、条件、变量,即在数据加载任务中包括了指示服务器如何进行加载的加载逻辑,服务器根据这些加载逻辑进行相应的判断以便执行具体的数据加载动作。

[0032] 如,在客户端可以将表I中的4个数据加载任务打包后上传给服务器。

[0033]表 I :

[0034]

Figure CN101447997BD00061

[0035] 上表例子中,共有4个加载任务,在这些加载任务中指定了需要加载的数据所在文件的路径,已经加载到数据库哪个对应的库表中,加载逻辑包括是否加载、加载方式以及文件格式等。

[0036] 101,服务器接收完所述批量上传的数据加载任务后断开与所述客户端之间的上传服务连接,并启动加载服务执行所述接收的数据加载任务。

[0037] 如,服务器收到如表I所示的加载任务后,断开与客户端之间的上传服务连接,并启动加载服务执行所述接收的数据加载任务,即启用新的加载服务分别执行表I中的数据加载任务。如对于任务1,服务器首先根据“是否加载”标识判断是否需要进行加载,当判断为需要进行加载时,根据“加载方式”等标识,获知,本次加载是要将根据路径c:/datal/

a. txt获得的加载数据a. txt,以追加的方式,加载到加载库表A中的相应位置。在服务器上可以还配置有相关的其他信息,以使服务器可以根据数据加载任务中的信息执行相应的加载任务。

[0038] 需要说明的是,在现有技术中,上述这些判断过程是由客户端完成的,客户端在获得相应的判断结果后再在与服务器建立的上传服务连接中不断发送命令通知服务器执行具体的操作。而在本发明实施例中,客户端上传加载任务后不需要在执行该加载任务的内容,而是由服务器根据加载任务进行判断等处理,直到完成最后的数据加载动作。

[0039] 需要说明的是,服务器接收完所有的加载任务后会自动断开与客户端之间的上传服务连接,以避免由于客户端的不稳定因素造成服务器执行加载任务时失败。

[0040] 具体的,可通过SAS的‘X COMMAND’技术实启动服务器的加载服务去完成数据加载任务,并自动关闭与客户端之间的上传服务连接。

[0041] 在本发明的其它实施例中,也可利用其它的技术启动服务器的加载服务去完成数据加载任务,并自动关闭与客户端之间的上传服务连接。这应为本领域普通技术人员所熟知,此处不做--举例。[0042] 图2是本发明方法实施例一的具体流程示意图,包括:

[0043] 200,客户端获取所述服务器加载标识位的状态,

[0044] 201,判断所述加载标识位的状态是否为“否”,判断为是时,与所述服务器建立上传服务连接,并批量上传数据加载任务,否则,与所述服务器建立监控连接,对所述服务器执行数据加载任务的进度进行监控。

[0045] 需要说明的是,所述加载标识位由服务器进行设置,其初始状态为“否”,在本方法实施例中,约定加载标识位为“否”时表示服务器正在执行加载任务,加载标识位为“是”时表不服务器没有执行加载任务。

[0046] 在其它实施例中,加载标识位的状态也可以其它形式表示,例如“O”和” I”或“Y”和 “N”。

[0047] 202,服务器接收客户端批量上传的数据加载任务。

·[0048] 203,服务器接收完数据加载任务完闭后断开与客户端之间的上传服务连接并启动加载服务执行所述接收的加载任务。

[0049] 具体的,可通过SAS的‘X COMMAND’技术启动服务器的加载服务去完成数据加载任务,并自动关闭与客户端之间的上传服务连接。在其它实施例中,也可利用其它数据库技术启动服务器的加载服务去完成数据加载任务,并自动关闭与客户端之间的上传服务连接。

[0050] 需要说明的是,在服务器启动加载服务执行所述接收的加载任务时,将设置所述加载标识位为“是”,而在加载任务执行完毕后,所述服务器将设置所述加载标识位为“否”。

[0051] 同时,服务器还将根据执行所述加载任务的进度生成加载进度表,所述加载进度表用于显示所述服务器执行所述加载任务的进度,以使客户端可通过与服务器建立监控服务连接以达到对所述服务器执行加载任务的进度进行监控的目的。如,在服务器执行加载任务时,可向需要上传数据加载任务(或称加载任务)的客户端显示如表2所示的加载进度表。这样客户端也可以根据该加载进度表中所显示的情况,确定何时上传下一个批量数据加载任务。

[0052]表 2 :

[0053]

Figure CN101447997BD00071

[0055] 加载进度表也可以仅显示加载的任务序号和加载进度等。当然,加载进度表也可以有其他表现形式和内容,这些表现形式和内容应为本领域普通技术人员所熟知,此处不做赘述。

[0056]图3是本发明系统实施例的结构示意图,该系统为支持C/S模式的C/S系统,其包括:

[0057] 客户端1,用于通过与服务器建立的上传服务连接向服务器批量上传数据加载任务;

[0058] 服务器2,用于接收所述客户端I批量上传数据加载任务,接收完毕后断开与所述客户端I之间的上传服务连接并启动加载服务执行所述接收的数据加载任务。

[0059] 其中,客户端I包括:

[0060] 上传单元11,用于通过与服务器2建立的上传服务连接向服务器2批量上传数据 加载任务;

[0061] 服务器2包括:

[0062] 接收单元21,用于通过所述上传服务连接接收所述客户端I批量上传的数据加载任务;

[0063] 加载单元22,用于接收所述批量上传的数据加载任务完毕后断开与所述客户端I之间的上传服务连接,并启动加载服务执行所述接收的数据加载任务。

[0064] 实施本实施例时,客户端I中的上传单元11将需要加载的数据及加载所述数据所需的各个参数、条件、变量打包成数据加载任务批量通过上传服务连接上传至服务器2,服务器2的接收单元21通过所述上传服务连接接收客户端I批量上传的数据加载任务,接收完毕后,加载单元22将断开服务器2与客户端I之间的上传服务连接,并启动加载服务执行所述接收的数据加载任务。

[0065] 需要说明的是,其它实施例中,一个数据处理系统中可包括多个如本发明系统实施例中的客户端,服务器可同时接收多个客户端批量上传的数据加载任务并进行数据加载。

[0066] 由上可知,实施本发明系统实施例,可将数据加载由服务器单独处理,S卩加载数据时不需要与客户端保持连线,避免由于客户端的不稳定因素造成服务器加载数据失败。

[0067] 参见图4,所述客户端I还可包括:

[0068] 获取单元12,用于获取所述服务器加载标识位的状态,当所述加载标识位的状态为“否”时,与所述服务器建立上传服务连接,并批量上传所述数据加载任务;

[0069] 当所述加载标识位的状态为“是”时,与所述服务器建立监控连接,对所述服务器执行数据加载任务的进度进行监控。

[0070] 本发明系统实施例中,客户端通过获取单元21,可获知服务器当前是否处于加载状态,并可根据服务器的状态分别进行批量上传数据加载任务或监控服务器加载数据的操作。

[0071] 参见图5,所述服务器2还可包括:

[0072] 加载标识位设置单元23,用于当所述服务器执行数据加载任务时设置加载标识位为“是”,当所述服务器执行完所述数据加载任务时设置加载标识位为“否”。

[0073] 进度表单元24,用于所述服务器根据执行数据加载任务的进度生成加载进度表。

[0074] 本发明系统实施例中,服务器2通过加载标识位设置单元23设置加载标识位的状态,以达到控制服务器2与客户端I之间建立上传服务连接的目的。[0075] 同时,服务器2还通过进度表单元24,可根据服务器2执行数据加载任务的进度生成加载进度表,以使客户端I可即时了解当前服务器2加载数据的进度。

[0076] 本发明服务器实施例、以及系统实施例中的相关信息和动作的细节与前述方法实施例中的一致,在此不再详述。

[0077] 需要说明的是,本发明实施例中所列的方法、系统以及服务器等可用于需要进行数据加载的各银行业务中,如银行的审计系统的相应业务中。当然也可以用于其他需要进行数据加载的环境中,不应将本段的上述解释理解为对本发明实施例的限制。

[0078] 综上所述,实施本发明实施例,客户端可将需要加载的数据打包批量传送至服务器,服务器在接收完毕后断开与客户端的连接,启动新的加载服务独立完成的数据的加载,从而使服务器加载数据时不会受到客户端不稳定因素的影响,提高了数据加载的稳定性。同时,服务器通过设置加载标识位的状态可控制客户端是否能上传加载数据任务,并且服务器在加载状态下还能生成加载进度表供客户端查询加载数据的进度,方便了客户端的操作。 [0079] 以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (8)

1. 一种数据处理方法,用于客户/服务器c/s系统中,其特征在于,包括: 客户端获取服务器加载标识位的状态,当所述加载标识位的状态为“否”时,所述客户端通过与所述服务器建立的上传服务连接向所述服务器批量上传数据加载任务,当所述加载标识位的状态为“是”时,所述客户端与所述服务器建立监控连接,对所述服务器执行数据加载任务的进度进行监控; 所述服务器接收完所述批量上传的数据加载任务后断开与所述客户端之间的上传服务连接,并启动加载服务执行所述接收的数据加载任务; 其中,所述数据加载任务中包括指示所述服务器如何进行加载的加载逻辑,以便所述服务器根据所述加载逻辑执行所述数据加载任务。
2.如权利要求I所述的方法,其特征在于,所述服务器接收完所述批量上传的数据加 载任务后断开与所述客户端之间的连接,并启动加载服务执行所述接收的数据加载任务的同时,还包括: 所述服务器设置所述加载标识位的状态为“是”。
3.如权利要求2所述的方法,其特征在于,还包括: 当所述接收的数据加载任务执行完毕后,所述服务器设置所述加载标识位的状态为“否”。
4.如权利要求3所述的方法,其特征在于,所述服务器接收完所述批量上传的数据加载任务后断开与所述客户端之间的连接,并启动加载服务执行所述接收的数据加载任务的同时,还包括: 所述服务器根据执行所述数据加载任务的进度生成加载进度表,所述加载进度表用于显示所述服务器执行所述数据加载任务的进度。
5.如权利要求4所述的方法,其特征在于,所述启动加载服务执行所述接收的数据加载任务包括: 通过SAS的X命令实现启动加载服务执行所述接收的数据加载任务。
6. 一种服务器,所述服务器用于C/S系统中,其特征在于,包括: 接收单元,用于当客户端判断加载标识位的状态为“否”时,与客户端建立上传服务连接,并通过所述上传服务连接接收所述客户端批量上传的数据加载任务,当客户端判断所述加载标识位的状态为“是”时,与客户端建立监控连接,并通过所述监控连接接受所述客户端对执行所述数据加载任务的进度监控,其中所述数据加载任务中包括指示所述服务器如何进行加载的加载逻辑,以便所述服务器根据所述加载逻辑执行所述数据加载任务; 加载单元,用于接收所述批量上传的数据加载任务完毕后断开与所述客户端之间的上传服务连接,并启动加载服务执行所述接收的数据加载任务; 加载标识位设置单元,用于当所述服务器执行数据加载任务时设置加载标识位为“是”,当所述服务器执行完所述数据加载任务时设置加载标识位为“否”。
7.如权利要求6所述的服务器,其特征在于,还包括: 进度表单元,用于所述服务器根据执行数据加载任务的进度生成加载进度表。
8. 一种数据处理系统,所述系统为C/S系统,其特征在于,包括客户端和服务器, 所述客户端包括: 获取单元,用于获取所述服务器加载标识位的状态,当所述加载标识位的状态为“否”时,与所述服务器建立上传服务连接,当所述加载标识位的状态为“是”时,与所述服务器建立监控连接,对所述服务器执行数据加载任务的进度进行监控; 上传单元,用于通过与所述服务器建立的所述上传服务连接向所述服务器批量上传数据加载任务,其中所述数据加载任务中包括指示所述服务器如何进行加载的加载逻辑,以便所述服务器根据所述加载逻辑执行所述数据加载任务; 所述服务器包括: 接收单元,用于通过所述上传服务连接接收所述客户端批量上传的数据加载任务; 加载单元,用于接收所述批量上传的数据加载任务完毕后断开与所述客户端之间的上 传服务连接,并启动加载服务执行所述接收的数据加载任务; 加载标识位设置单元,用于当所述服务器执行数据加载任务时设置加载标识位为“是”,当所述服务器执行完所述数据加载任务时设置加载标识位为“否”。
CN 200810192923 2008-12-31 2008-12-31 一种数据处理方法、服务器及数据处理系统 CN101447997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200810192923 CN101447997B (zh) 2008-12-31 2008-12-31 一种数据处理方法、服务器及数据处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200810192923 CN101447997B (zh) 2008-12-31 2008-12-31 一种数据处理方法、服务器及数据处理系统

Publications (2)

Publication Number Publication Date
CN101447997A CN101447997A (zh) 2009-06-03
CN101447997B true CN101447997B (zh) 2012-10-10

Family

ID=40743394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200810192923 CN101447997B (zh) 2008-12-31 2008-12-31 一种数据处理方法、服务器及数据处理系统

Country Status (1)

Country Link
CN (1) CN101447997B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102694827A (zh) * 2011-03-23 2012-09-26 深圳市海恒智能技术有限公司 自助图书馆远程监控系统及方法
CN104539725B (zh) * 2015-01-15 2018-05-25 北京金和软件股份有限公司 一种对生成的app应用进行集群打包的方法
CN106897325A (zh) * 2015-12-21 2017-06-27 阿里巴巴集团控股有限公司 一种数据加载方法和装置
CN105847083A (zh) * 2016-03-22 2016-08-10 乐视云计算有限公司 一种业务集中监控方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1155340A (zh) 1994-07-25 1997-07-23 英国电讯有限公司 具有客户机-服务器层次结构的计算机系统
CN101083532A (zh) 2006-05-31 2007-12-05 华为技术有限公司 一种数据加载的实现方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1155340A (zh) 1994-07-25 1997-07-23 英国电讯有限公司 具有客户机-服务器层次结构的计算机系统
CN101083532A (zh) 2006-05-31 2007-12-05 华为技术有限公司 一种数据加载的实现方法及系统

Also Published As

Publication number Publication date
CN101447997A (zh) 2009-06-03

Similar Documents

Publication Publication Date Title
JP5945031B2 (ja) 複製されたデータインスタンスのプロビジョニングおよび管理
US8612396B1 (en) Cloning and recovery of data volumes
US20070136311A1 (en) Method and system for reducing connections to a database
US20100262582A1 (en) Content synchronization across multiple computers
EP2881854A1 (en) Storage method and apparatus for distributed file system
US7949634B2 (en) Synchronization methods and systems
US20060167883A1 (en) System and method for the optimization of database acess in data base networks
US20080168291A1 (en) Synchronization methods and systems
CA2715020C (en) Methods and systems for efficiently managing and configuring virtual servers
US7805403B2 (en) Synchronization methods and systems
CN104169899B (zh) 在电子设备之间传送状态的系统
CN102427481B (zh) 用于对云计算服务进行管理的系统及云计算管理方法
US20080168292A1 (en) Synchronization methods and systems
RU2331920C2 (ru) Способ потоковой передачи данных между сервером и клиентом
US20110093850A1 (en) Dynamic and automatic colocation and combining of service providers and service clients in a grid of resources
CN103095544A (zh) 虚拟交换机的可扩展性
CN1770121A (zh) 在软件运行的同时更新软件
CN102110031A (zh) 基于android系统的应用程序备份与恢复的方法
US20120317216A1 (en) Synchronization methods and systems
US7886341B2 (en) External authentication against a third-party directory
WO2006010131A3 (en) Distributed operating system management
US8055761B2 (en) Method and apparatus for providing transparent network connectivity
CN1988535B (zh) 文件存储同步方法、系统及客户端
CN102053853A (zh) 一种网络游戏版本更新方法
US9239868B2 (en) Virtual session management and reestablishment

Legal Events

Date Code Title Description
C06 Publication
C10 Request of examination as to substance
C14 Granted