CN101719153A - 对海量数据文件进行传输处理的装置及方法 - Google Patents
对海量数据文件进行传输处理的装置及方法 Download PDFInfo
- Publication number
- CN101719153A CN101719153A CN200910242363A CN200910242363A CN101719153A CN 101719153 A CN101719153 A CN 101719153A CN 200910242363 A CN200910242363 A CN 200910242363A CN 200910242363 A CN200910242363 A CN 200910242363A CN 101719153 A CN101719153 A CN 101719153A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- processing
- data files
- acting server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种对海量数据文件进行传输处理的装置，包括代理客户端、代理服务器和核心主机，其中：代理客户端用于收集海量数据文件，并将业务处理请求和收集的海量数据文件传输给代理服务器；代理服务器用于接收代理客户端发送过来的业务处理请求和海量数据文件，对客户端发送的业务请求进行分类和解析，向核心主机发起海量数据文件处理请求，并且接收处理结果，将结果反馈给代理客户端；核心主机用于接收代理服务器发起的海量数据文件处理请求，对接收的海量数据文件进行批量处理，然后将处理结果返回给代理服务器。本发明公开了一种对海量数据文件进行传输处理的方法。利用本发明，解决了目前对海量数据文件进行传输处理时效率低的问题。
Description
技术领域
本发明涉及计算机数据文件处理技术领域，尤其是涉及一种对海量数据文件进行传输处理的装置及方法。
背景技术
对于大型金融机构或企业来说，其计算机系统一般都需要对海量数据(又称为代理数据)文件进行批量处理，如代收费、代发工资等数据文件，这些海量数据的传输大都采用批量文件方式上传到核心处理系统。
考虑到计算机系统的处理效率和性能等因素，大型金融机构或企业一般规定了每天大批量文件传输的场次和时间，如一天分若干场次运行代理批量，代理数据文件按既定的场次时间提交到主机核心系统，再由主机运行人员启动相应批量处理模块。
这种传统处理方法其技术特点是批量交易数据量大，占用系统的资源较少，但交易处理完成时间比客户提交的时间延后较多。
可见，传统的处理方式存在以下的缺点：传统代理业务的海量数据文件批量场次要求固定，且必须人工参与处理，系统处理效率低，不够灵活。
发明内容
(一)要解决的技术问题
有鉴于此，本发明的主要目的在于提供一种对海量数据文件进行传输处理的装置及方法，以解决目前对海量数据文件进行传输处理时效率低的问题，形成一种联机发起交易处理请求、批量执行数据处理的交易模式，以批量方式完成对各类外围平台系统提供的较大数据量业务数据文件的处理。
(二)技术方案
为达到上述目的，本发明采用的技术方案如下：
一种对海量数据文件进行传输处理的装置，该装置包括代理客户端01、代理服务器02和核心主机03，其中：
代理客户端01，用于收集海量数据文件，并将业务处理请求和收集的海量数据文件传输给代理服务器02；
代理服务器02，用于接收代理客户端01发送过来的业务处理请求和海量数据文件，对客户端发送的业务请求进行分类和解析，向核心主机03发起海量数据文件处理请求，并且接收处理结果，将结果反馈给代理客户端01；
核心主机03，用于接收代理服务器02发起的海量数据文件处理请求，对接收的海量数据文件进行批量处理，然后将处理结果返回给代理服务器02。
上述方案中，所述代理服务器02包括通讯处理单元20、数据处理单元21和数据存储单元22，其中：
通讯处理单元20将接收的代理客户端01发送过来的业务处理请求和海量数据文件转发给数据处理单元21进行处理；
数据处理单元21接收到通讯处理单元20发送的业务处理请求和海量数据文件后，向核心主机03发起海量数据文件处理请求，接收处理结果，将处理结果反馈给代理客户端01，以及将处理结果存储到数据存储单元22中；
数据存储单元22存储代理数据处理过程中的控制参数，至少包括联机批量处理控制表和对照联机批量处理参数表。
上述方案中，所述通讯处理单元20包括数据接收模块201和数据转发模块202，其中：
数据接收模块201，接收代理客户端01发送过来的业务处理请求和海量数据文件，并转发给数据处理单元21进行处理；
数据转发模块202，利用序号发生器生成序号，该序号中利用两位交易序号用于区分应用来源，并发起联机交易请求，上送交易信息到数据处理单元21；同时将数据处理单元21返回的处理结果，再返传到代理客户端01。
上述方案中，所述数据处理单元21包括数据识别模块203、数据守候模块204、数据自检模块205和数据异常处理模块206，其中：
数据识别模块203，用于检查海量数据文件格式是否符合要求，并根据在服务器侧登记的联机批量处理参数检验是否在允许交易的时间段；
数据守候模块204，用于监测核心主机03返回的状态文件，并把核心主机03返回状态登记在服务器侧的联机批量处理控制表；
数据自检模块205，用于通过对照在服务器侧的联机批量处理参数表，检查在联机批量处理控制表内登记的各个交易是否超过单位时间，批量处理仍未达到整体成功状态；
数据异常处理模块206，用于对数据自检模块205检查出来的异常状态交易进行后续处理，根据不同状况，选择不同的后续处理方式，至少包括继续触发和报错。
上述方案中，所述核心主机03包括交易请求处理单元31、调度作业处理单元32、代理数据处理单元33和数据存储单元34，其中：
交易请求处理单元31接收代理服务器02上送的交易请求，将交易请求中包含的交易序号信息登记在数据存储单元34，并将登记成功标志返回给代理服务器02；
调度处理作业处理单元32访问数据存储单元34，根据登记的交易请求控制信息，生成并运行批量指令集，并触发代理数据处理单元33；
代理数据处理单元33负责对代理数据文件进行业务处理，并将处理结果返回给代理服务器02；
数据存储单元34用于存储代理数据处理过程中的控制参数，至少包括联机批量处理控制表和对照联机批量处理参数表。
上述方案中，所述调度处理作业处理单元32包括：
调度作业守候模块303，该模块采用轮循监测手段，检查数据存储单元34中主机侧的联机批量处理控制表，对联机已登记的待处理的记录或处理异常中断需要继续处理的记录逐笔进行处理；
调度作业生成模块304，读取数据存储单元34中的联机批量处理参数定制表，根据从该联机批量处理参数定制表中取得的设置数据生成批量GET和PUT指令集；该联机批量处理参数定制表在主机侧，包括FTP地址和文件长度；
调度作业触发模块305，用于根据调度作业生成模块304生成的批量指令集，触发代理数据处理单元33进行业务功能处理。
上述方案中，所述代理数据处理单元33包括代理数据上传模块306、代理数据处理模块307和代理数据返传模块308，其中，代理数据上传模块306在接收到数据后，触发代理数据处理模块307完成该数据业务处理，代理数据处理模块307再触发代理数据返传模块308将处理后的数据返传到代理服务器。
上述方案中，所述代理数据上传模块306运行GET指令集到服务器获取数据文件，并将GET调用成功标志通过文件同步传回服务器，登记到服务器侧的联机批量处理控制表；
所述代理数据处理模块307运行批量业务处理模块，完成批量业务功能，同时将运行结果生成返传文件；
所述代理数据返传模块308启动PUT指令集，将代理数据处理模块307生成的返传文件放入服务器，同时PUT调用成功标志以小文件的形式随同返回，将PUT调用成功标志写入主机侧的联机批量处理控制表，整体成功标志置为成功，将整体成功标志送回服务器，代理服务器将成功标准返回给代理客户端，整个处理过程结束。
上述方案中，该装置还包括一内部网络04，用于连接代理客户端01、代理服务器02和核心主机03，实现代理客户端01、代理服务器02与核心主机03之间的数据交互。
上述方案中，该内部网络04是企业的局域网，或者是以太网。
一种对海量数据文件进行传输处理的方法，应用于包括代理客户端01、代理服务器02和核心主机03的装置，该方法包括：
代理客户端01收集海量数据文件，并将业务处理请求和收集的海量数据文件传输给代理服务器02；
代理服务器02接收代理客户端01发送过来的业务处理请求和海量数据文件，对客户端发送的业务请求进行分类和解析，向核心主机03发起海量数据文件处理请求；
核心主机03接收代理服务器02发起的海量数据文件处理请求，对接收的海量数据文件进行批量处理，然后将处理结果返回给代理服务器02；
代理服务器02接收核心主机03返回的处理结果，将处理结果反馈给代理客户端01。
上述方案中，在传输业务处理请求时，该方法具体包括以下步骤：
步骤401：代理客户端01发起联机触发指令；
步骤402：代理服务器02接收代理客户端01发起的联机触发指令，并接收代理客户端01发送过来的海量数据文件；
步骤403：代理服务器02调用通讯处理单元20，发送交易请求指令到核心主机03；
步骤404：核心主机03接收交易指令；
步骤405：核心主机03登记主机登记控制表；
步骤406：核心主机03登记控制表后返回登记状态指令到代理服务器02；
步骤407：代理服务器02接收主机登记的处理结果；
步骤408：代理服务器02判断主机登记结果，如果登记成功，代理服务器将该状态指令返回给代理客户端01，再执行步骤401；若登记不成功，则执行步骤409；
步骤409：代理服务器02启动数据异常处理模块206，将处理信息返传到数据通讯单元20，再次执行步骤403。
上述方案中，在传输海量数据文件时，该方法具体包括以下步骤：
步骤501：调度作业守候模块303检查主机联机批量处理控制表，对联机已登记的待处理的记录或处理异常中断需要继续处理的记录进行处理；
步骤502：调度作业守候模块303根据处理业务类型，读取联机批量处理参数定制表设置的数据信息，启动调度作业生成模块304生成批量GET和PUT机器处理命令，该联机批量处理参数定制表在主机侧，包括FTP地址和文件长度；
步骤503：调度作用触发模块305启动代理数据上传模块306，通过运行GET命令集，从代理服务器02获取代理大数据文件，并将GET调用成功标志传回代理服务器02，登记服务器侧的联机批量处理控制表；
步骤504：调度作业触发模块304启动代理数据处理模块307，代理数据处理模块307逐笔读取代理大数据文件的数据记录，完成相应的业务功能处理，同时将处理结果生成返传文件；
步骤505：调度作业触发模块304启动代理数据返传模块308运行PUT指令，将生成的返传文件放入代理服务器02，同时PUT调用成功标志以小文件的形式随同返回，然后将PUT调用成功标志写入主机控制表；
步骤506：代理数据返传模块308将返传处理成功标志送回代理服务器02；
步骤507：代理服务器02将成功处理标志返回给代理客户端01，整个处理过程结束。
(三)有益效果
从上述技术方案可以看出，本发明具有以下有益效果：
1、利用本发明，可以解决大数据量的数据文件的处理效率问题，形成一种完整的联机发起交易请求、批量运行的处理模式，为各类开放平台应用的较大数据量的业务数据进行普遍、灵活的支持。
2、利用本发明，既可以代替以前联机交易“机关枪”的触发机制，即一笔联机交易完成一笔数据处理，也减少以往批量处理在时间和批次上的限制，做到一笔触发，多笔执行，从而节约系统资源，避免表过热，系统资源分配不均衡的问题。
3、本发明可以应用在代理业务中，以及联机触发批量代扣水电费、电话费，代发工资等领域。在服务器、主机事先定义代扣水电费、电话费、代发工作的不同工作模块，按照固定的数据结构上送数据至服务器，由代理客户端发起联机，经服务器调用主机模块，自动将文件取到主机进行批量模块的处理，再将处理的结果通过服务器，返回到代理客户端。
附图说明
图1是本发明提供的对海量数据文件进行传输处理的装置的结构示意图；
图2是本发明提供的对海量数据文件进行传输处理的装置中各组成部分的结构示意图；
图3是本发明提供的对海量数据文件进行传输处理的方法流程图；
图4是依照本发明实施例对业务处理请求进行传输处理的方法流程图；
图5是依照本发明实施例对海量数据文件进行传输处理的方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
如图1所示，图1是本发明提供的对海量数据文件进行传输处理的装置的结构示意图，该装置包括代理客户端01、代理服务器02和核心主机03，其中：
代理客户端01，用于收集海量数据文件，并将业务处理请求和收集的海量数据文件传输给代理服务器02。代理客户端01是网络系统的客户端，也可以是一台个人PC，它有显示装置和输入装置，输入装置可以是键盘和鼠标。其运行于各类开放平台应用系统机器上。
代理服务器02，用于接收代理客户端01发送过来的业务处理请求和海量数据文件，对客户端发送的业务请求进行分类和解析，向核心主机03发起海量数据文件处理请求，并且接收处理结果，将结果反馈给代理客户端01。
核心主机03，用于接收代理服务器02发起的海量数据文件处理请求，对接收的海量数据文件进行批量处理，然后将处理结果返回给代理服务器02。
该装置还包括一内部网络04，用于连接代理客户端01、代理服务器02和核心主机03，实现代理客户端01、代理服务器02与核心主机03之间的数据交互。该内部网络04是企业的局域网，可以是以太网(Ethernet)，也可以是其它局域网络。
请参照图2，图2是本发明提供的对海量数据文件进行传输处理的装置中各组成部分的结构示意图。
代理服务器02进一步包括：通讯处理单元20、数据处理单元21和数据存储单元22。
通讯处理单元20负责接收数据，根据必要条件触发数据处理单元21，数据处理单元根据必要条件满足情况，调度数据存储单元22的数据。
通讯处理单元20：通讯处理单元20进一步包括以下模块：数据接收模块201和数据转发模块202。数据接收模块201，接收代理客户端01上送的数据文件；并转发给数据处理单元21的数据识别模块203进行处理。数据转发模块202，利用序号发生器，生成序号(序号中利用两位交易序号区分应用来源)，发起联机交易请求，上送交易信息(包含交易序号、文件名等信息)到核心主机；同时将主机返回到代理服务器02的处理结果，再返传到代理客户端01。数据接收模块201在接收数据后，触发数据转发模块202。
数据处理单元21：数据处理单元21进一步包括以下模块：数据识别模块203、数据守候模块204、数据自检模块205和数据异常处理模块206。数据识别模块203：检查数据文件格式是否符合要求，并根据代理服务器登记的联机批量处理参数(服务器侧)检验是否在允许交易的时间段。数据守候模块204：负责监测主机返回的状态文件，并把主机返回状态登记联机批量处理控制表(服务器侧)。数据自检模块205：通过对照联机批量处理参数表(服务器侧)，检查在联机批量处理控制表(服务器侧)内登记的各个交易是否超时(主要是指超过单位时间，批量处理仍未达到整体成功状态)。数据异常处理模块206：对于数据自检模块中检查出来的异常状态交易进行后续处理，根据不同状况，选择不同的后续处理方式(继续触发和报错等)；
数据存储单元22：负责存储代理数据处理过程中的控制参数，如联机批量处理控制表、对照联机批量处理参数表等。
核心主机03由以下部分组成：交易请求处理单元31、调度作业处理单元32、代理数据处理单元33和数据存储单元34。
交易请求处理单元31接收代理服务器上送的交易请求，将交易序号等交易信息登记在数据存储单元34，并将登记成功标志返回给代理服务器；调度处理作业处理单元32访问数据存储单元34，根据登记的交易请求控制信息，生成并运行批量指令集，并触发代理数据处理单元33；代理数据处理单元33负责对代理数据文件进行业务处理，如代发工资、代收水电费等，并将处理结果返回给代理服务器。
调度作业处理单元32进一步包括调度作业守候模块303、调度作业生成模块304和调度作业触发模块305。调度作业守候模块303：该模块采用轮循监测手段，检查数据存储单元34中的联机批量处理控制表(主机侧)，对联机已登记的待处理(或处理异常中断需要继续处理)记录进行逐笔处理。调度作业生成模块304：读取数据存储单元34中的联机批量处理参数定制表(主机侧，包括了FTP地址、文件长度等)，根据从定制表中取得的设置数据，自动生成批量GET、PUT等指令集。调度作业触发模块305：根据调度作业生成模块304生成的批量指令集，触发代理数据处理单元33进行业务功能处理。
代理数据处理单元33进一步包括：代理数据上传模块306、代理数据处理模块307、代理数据返传模块308。代理数据上传模块306接收数据后，触发代理数据处理模块307完成该数据业务处理，理数据处理模块307再触发代理数据返传模块308，将处理后的数据返传到代理服务器。代理数据上传模块306：运行GET指令集到服务器获取数据文件，并将GET调用成功标志通过文件同步传回服务器，登记联机批量处理控制表(服务器侧)。代理数据处理模块307：运行批量业务处理模块，完成批量业务功能，同时将运行结果生成返传文件。代理数据返传模块308：启动PUT指令集，将生成的返传文件放入服务器，同时PUT调用成功标志以小文件的形式随同返回；将PUT调用成功标志写入联机批量处理控制表(主机侧)，整体成功标志置为成功，将整体成功标志送回服务器，代理服务器将成功标准返回给代理客户端，交易结束。
数据存储单元34：负责存储代理数据处理过程中的控制参数，如联机批量处理控制表、对照联机批量处理参数表等。
基于上述图1和图2所示的对海量数据文件进行传输处理的装置，图3示出了本发明提供的对海量数据文件进行传输处理的方法流程图，该方法包括：
步骤301：代理客户端01收集海量数据文件，并将业务处理请求和收集的海量数据文件传输给代理服务器02；
步骤302：代理服务器02接收代理客户端01发送过来的业务处理请求和海量数据文件，对客户端发送的业务请求进行分类和解析，向核心主机03发起海量数据文件处理请求；
步骤303：核心主机03接收代理服务器02发起的海量数据文件处理请求，对接收的海量数据文件进行批量处理，然后将处理结果返回给代理服务器02；
步骤304：代理服务器02接收核心主机03返回的处理结果，将处理结果反馈给代理客户端01。
如图4所示，代理数据交易请求主要包括以下处理步骤：
上述方案中，在传输业务处理请求时，该方法具体包括以下步骤：
步骤401：代理客户端01发起联机触发指令；
步骤402：代理服务器02接收代理客户端01发起的联机触发指令，并接收代理客户端01发送过来的海量数据文件；
步骤403：代理服务器02调用通讯处理单元20，发送交易请求指令到核心主机03；
步骤404：核心主机03接收交易指令；
步骤405：核心主机03登记主机登记控制表；
步骤406：核心主机03登记控制表后返回登记状态指令到代理服务器02；
步骤407：代理服务器02接收主机登记的处理结果；
步骤408：代理服务器02判断主机登记结果，如果登记成功，代理服务器将该状态指令返回给代理客户端01，再执行步骤401；若登记不成功，则执行步骤409；
步骤409：代理服务器02启动数据异常处理模块206，将处理信息返传到数据通讯单元20，再次执行步骤403。
如图5所示，在传输海量数据文件时，该方法具体包括以下步骤：
步骤501：调度作业守候模块303检查主机联机批量处理控制表，对联机已登记的待处理的记录或处理异常中断需要继续处理的记录进行处理；
步骤502：调度作业守候模块303根据处理业务类型，读取联机批量处理参数定制表设置的数据信息，启动调度作业生成模块304生成批量GET和PUT机器处理命令，该联机批量处理参数定制表在主机侧，包括FTP地址和文件长度；
步骤503：调度作用触发模块305启动代理数据上传模块306，通过运行GET命令集，从代理服务器02获取代理大数据文件，并将GET调用成功标志传回代理服务器02，登记服务器侧的联机批量处理控制表；
步骤504：调度作业触发模块304启动代理数据处理模块307，代理数据处理模块307逐笔读取代理大数据文件的数据记录，完成相应的业务功能处理，同时将处理结果生成返传文件；
步骤505：调度作业触发模块304启动代理数据返传模块308运行PUT指令，将生成的返传文件放入代理服务器02，同时PUT调用成功标志以小文件的形式随同返回，然后将PUT调用成功标志写入主机控制表；
步骤506：代理数据返传模块308将返传处理成功标志送回代理服务器02；
步骤507：代理服务器02将成功处理标志返回给代理客户端01，整个处理过程结束。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (13)
1.一种对海量数据文件进行传输处理的装置，其特征在于，该装置包括代理客户端(01)、代理服务器(02)和核心主机(03)，其中：
代理客户端(01)，用于收集海量数据文件，并将业务处理请求和收集的海量数据文件传输给代理服务器(02)；
代理服务器(02)，用于接收代理客户端(01)发送过来的业务处理请求和海量数据文件，对客户端发送的业务请求进行分类和解析，向核心主机(03)发起海量数据文件处理请求，并且接收处理结果，将结果反馈给代理客户端(01)；
核心主机(03)，用于接收代理服务器(02)发起的海量数据文件处理请求，对接收的海量数据文件进行批量处理，然后将处理结果返回给代理服务器(02)。
2.根据权利要求1所述的对海量数据文件进行传输处理的装置，其特征在于，所述代理服务器(02)包括通讯处理单元(20)、数据处理单元(21)和数据存储单元(22)，其中：
通讯处理单元(20)将接收的代理客户端(01)发送过来的业务处理请求和海量数据文件转发给数据处理单元(21)进行处理；
数据处理单元(21)接收到通讯处理单元(20)发送的业务处理请求和海量数据文件后，向核心主机(03)发起海量数据文件处理请求，接收处理结果，将处理结果反馈给代理客户端(01)，以及将处理结果存储到数据存储单元(22)中；
数据存储单元(22)存储代理数据处理过程中的控制参数，至少包括联机批量处理控制表和对照联机批量处理参数表。
3.根据权利要求2所述的对海量数据文件进行传输处理的装置，其特征在于，所述通讯处理单元(20)包括数据接收模块(201)和数据转发模块(202)，其中：
数据接收模块(201)，接收代理客户端(01)发送过来的业务处理请求和海量数据文件，并转发给数据处理单元(21)进行处理；
数据转发模块(202)，利用序号发生器生成序号，该序号中利用两位交易序号用于区分应用来源，并发起联机交易请求，上送交易信息到数据处理单元(21)；同时将数据处理单元(21)返回的处理结果，再返传到代理客户端(01)。
4.根据权利要求2所述的对海量数据文件进行传输处理的装置，其特征在于，所述数据处理单元(21)包括数据识别模块(203)、数据守候模块(204)、数据自检模块(205)和数据异常处理模块(206)，其中：
数据识别模块(203)，用于检查海量数据文件格式是否符合要求，并根据在服务器侧登记的联机批量处理参数检验是否在允许交易的时间段；
数据守候模块(204)，用于监测核心主机(03)返回的状态文件，并把核心主机(03)返回状态登记在服务器侧的联机批量处理控制表；
数据自检模块(205)，用于通过对照在服务器侧的联机批量处理参数表，检查在联机批量处理控制表内登记的各个交易是否超过单位时间，批量处理仍未达到整体成功状态；
数据异常处理模块(206)，用于对数据自检模块(205)检查出来的异常状态交易进行后续处理，根据不同状况，选择不同的后续处理方式，至少包括继续触发和报错。
5.根据权利要求1所述的对海量数据文件进行传输处理的装置，其特征在于，所述核心主机(03)包括交易请求处理单元(31)、调度作业处理单元(32)、代理数据处理单元(33)和数据存储单元(34)，其中：
交易请求处理单元(31)接收代理服务器(02)上送的交易请求，将交易请求中包含的交易序号信息登记在数据存储单元(34)，并将登记成功标志返回给代理服务器(02)；
调度处理作业处理单元(32)访问数据存储单元(34)，根据登记的交易请求控制信息，生成并运行批量指令集，并触发代理数据处理单元(33)；
代理数据处理单元(33)负责对代理数据文件进行业务处理，并将处理结果返回给代理服务器(02)；
数据存储单元(34)用于存储代理数据处理过程中的控制参数，至少包括联机批量处理控制表和对照联机批量处理参数表。
6.根据权利要求5所述的对海量数据文件进行传输处理的装置，其特征在于，所述调度处理作业处理单元(32)包括：
调度作业守候模块(303)，该模块采用轮循监测手段，检查数据存储单元(34)中主机侧的联机批量处理控制表，对联机已登记的待处理的记录或处理异常中断需要继续处理的记录逐笔进行处理；
调度作业生成模块(304)，读取数据存储单元(34)中的联机批量处理参数定制表，根据从该联机批量处理参数定制表中取得的设置数据生成批量GET和PUT指令集；该联机批量处理参数定制表在主机侧，包括FTP地址和文件长度；
调度作业触发模块(305)，用于根据调度作业生成模块(304)生成的批量指令集，触发代理数据处理单元(33)进行业务功能处理。
7.根据权利要求5所述的对海量数据文件进行传输处理的装置，其特征在于，所述代理数据处理单元(33)包括代理数据上传模块(306)、代理数据处理模块(307)和代理数据返传模块(308)，其中，代理数据上传模块(306)在接收到数据后，触发代理数据处理模块(307)完成该数据业务处理，代理数据处理模块(307)再触发代理数据返传模块(308)将处理后的数据返传到代理服务器。
8.根据权利要求5所述的对海量数据文件进行传输处理的装置，其特征在于，所述代理数据上传模块(306)运行GET指令集到服务器获取数据文件，并将GET调用成功标志通过文件同步传回服务器，登记到服务器侧的联机批量处理控制表；
所述代理数据处理模块(307)运行批量业务处理模块，完成批量业务功能，同时将运行结果生成返传文件；
所述代理数据返传模块(308)启动PUT指令集，将代理数据处理模块(307)生成的返传文件放入服务器，同时PUT调用成功标志以小文件的形式随同返回，将PUT调用成功标志写入主机侧的联机批量处理控制表，整体成功标志置为成功，将整体成功标志送回服务器，代理服务器将成功标准返回给代理客户端，整个处理过程结束。
9.根据权利要求1所述的对海量数据文件进行传输处理的装置，其特征在于，该装置还包括一内部网络(04)，用于连接代理客户端(01)、代理服务器(02)和核心主机(03)，实现代理客户端(01)、代理服务器(02)与核心主机(03)之间的数据交互。
10.根据权利要求9所述的对海量数据文件进行传输处理的装置，其特征在于，该内部网络(04)是企业的局域网，或者是以太网。
11.一种对海量数据文件进行传输处理的方法，应用于权利要求1所述的包括代理客户端(01)、代理服务器(02)和核心主机(03)的装置，其特征在于，该方法包括：
代理客户端(01)收集海量数据文件，并将业务处理请求和收集的海量数据文件传输给代理服务器(02)；
代理服务器(02)接收代理客户端(01)发送过来的业务处理请求和海量数据文件，对客户端发送的业务请求进行分类和解析，向核心主机(03)发起海量数据文件处理请求；
核心主机(03)接收代理服务器(02)发起的海量数据文件处理请求，对接收的海量数据文件进行批量处理，然后将处理结果返回给代理服务器(02)；
代理服务器(02)接收核心主机(03)返回的处理结果，将处理结果反馈给代理客户端(01)。
12.根据权利要求11所述的对海量数据文件进行传输处理的方法，其特征在于，在传输业务处理请求时，该方法具体包括以下步骤：
步骤401：代理客户端(01)发起联机触发指令；
步骤402：代理服务器(02)接收代理客户端(01)发起的联机触发指令，并接收代理客户端(01)发送过来的海量数据文件；
步骤403：代理服务器(02)调用通讯处理单元(20)，发送交易请求指令到核心主机(03)；
步骤404：核心主机(03)接收交易指令；
步骤405：核心主机(03)登记主机登记控制表；
步骤406：核心主机(03)登记控制表后返回登记状态指令到代理服务器(02)；
步骤407：代理服务器(02)接收主机登记的处理结果；
步骤408：代理服务器(02)判断主机登记结果，如果登记成功，代理服务器将该状态指令返回给代理客户端(01)，再执行步骤401；若登记不成功，则执行步骤409；
步骤409：代理服务器(02)启动数据异常处理模块(206)，将处理信息返传到数据通讯单元(20)，再次执行步骤403。
13.根据权利要求11所述的对海量数据文件进行传输处理的方法，其特征在于，在传输海量数据文件时，该方法具体包括以下步骤：
步骤501：调度作业守候模块(303)检查主机联机批量处理控制表，对联机已登记的待处理的记录或处理异常中断需要继续处理的记录进行处理；
步骤502：调度作业守候模块(303)根据处理业务类型，读取联机批量处理参数定制表设置的数据信息，启动调度作业生成模块(304)生成批量GET和PUT机器处理命令，该联机批量处理参数定制表在主机侧，包括FTP地址和文件长度；
步骤503：调度作用触发模块(305)启动代理数据上传模块(306)，通过运行GET命令集，从代理服务器(02)获取代理大数据文件，并将GET调用成功标志传回代理服务器(02)，登记服务器侧的联机批量处理控制表；
步骤504：调度作业触发模块(304)启动代理数据处理模块(307)，代理数据处理模块(307)逐笔读取代理大数据文件的数据记录，完成相应的业务功能处理，同时将处理结果生成返传文件；
步骤505：调度作业触发模块(304)启动代理数据返传模块(308)运行PUT指令，将生成的返传文件放入代理服务器(02)，同时PUT调用成功标志以小文件的形式随同返回，然后将PUT调用成功标志写入主机控制表；
步骤506：代理数据返传模块(308)将返传处理成功标志送回代理服务器(02)；
步骤507：代理服务器(02)将成功处理标志返回给代理客户端(01)，整个处理过程结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910242363A CN101719153A (zh) | 2009-12-09 | 2009-12-09 | 对海量数据文件进行传输处理的装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910242363A CN101719153A (zh) | 2009-12-09 | 2009-12-09 | 对海量数据文件进行传输处理的装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101719153A true CN101719153A (zh) | 2010-06-02 |
Family
ID=42433727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910242363A Pending CN101719153A (zh) | 2009-12-09 | 2009-12-09 | 对海量数据文件进行传输处理的装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101719153A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101964748A (zh) * | 2010-09-13 | 2011-02-02 | 北京九恒星科技股份有限公司 | 数据交换方法和系统 |
| CN102377787A (zh) * | 2011-03-22 | 2012-03-14 | 苏州阔地网络科技有限公司 | 一种设置优先级的文件批量处理方法及系统 |
| CN102479211A (zh) * | 2010-11-26 | 2012-05-30 | 中国银联股份有限公司 | 基于数据库的海量数据处理系统及方法 |
| CN102495889A (zh) * | 2011-03-22 | 2012-06-13 | 苏州阔地网络科技有限公司 | 一种文件批量处理方法、系统及服务器 |
| CN102497415A (zh) * | 2011-03-22 | 2012-06-13 | 苏州阔地网络科技有限公司 | 一种文件批量处理的传输控制方法及系统 |
| CN103152372A (zh) * | 2011-12-07 | 2013-06-12 | 迈普通信技术股份有限公司 | Ftp传输系统及其ftp功能调用方法 |
| CN104407922A (zh) * | 2014-10-29 | 2015-03-11 | 中国建设银行股份有限公司 | 一种异步批处理调度方法及系统 |
| CN103152372B (zh) * | 2011-12-07 | 2016-12-14 | 迈普通信技术股份有限公司 | Ftp传输系统及其ftp功能调用方法 |
| CN106375241A (zh) * | 2016-08-29 | 2017-02-01 | 中国工商银行股份有限公司 | 批量数据处理方法、前端系统、主机及批量数据处理系统 |
| CN106657193A (zh) * | 2015-11-02 | 2017-05-10 | 腾讯科技（深圳）有限公司 | 一种请求处理方法、装置、终端设备及服务器 |
| CN107181825A (zh) * | 2017-07-07 | 2017-09-19 | 广东中星电子有限公司 | 终端设备数据的在线处理方法 |
| CN107437222A (zh) * | 2017-08-03 | 2017-12-05 | 中国银行股份有限公司 | 基于银行柜面前端的联机业务数据的处理方法及系统 |
| CN107749018A (zh) * | 2011-12-07 | 2018-03-02 | 亚马逊技术股份有限公司 | 网络可访问销售点设备实例 |
| CN107911406A (zh) * | 2017-09-30 | 2018-04-13 | 平安科技（深圳）有限公司 | 基于网络的任务流转方法、设备及存储介质 |
| CN110443695A (zh) * | 2019-07-31 | 2019-11-12 | 中国工商银行股份有限公司 | 数据处理方法及其装置、电子设备和介质 |
| CN111596628A (zh) * | 2020-05-29 | 2020-08-28 | 北京赛博云睿智能科技有限公司 | 一种海量工业数据的采集方法和采集系统 |
| CN113067866A (zh) * | 2021-03-18 | 2021-07-02 | 中国工商银行股份有限公司 | 异构系统间的批量文件传输方法及装置 |
| CN113364857A (zh) * | 2021-06-03 | 2021-09-07 | 中国工商银行股份有限公司 | 业务数据的处理方法、装置和服务器 |
-
2009
- 2009-12-09 CN CN200910242363A patent/CN101719153A/zh active Pending
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101964748A (zh) * | 2010-09-13 | 2011-02-02 | 北京九恒星科技股份有限公司 | 数据交换方法和系统 |
| CN102479211B (zh) * | 2010-11-26 | 2014-06-25 | 中国银联股份有限公司 | 基于数据库的海量数据处理系统及方法 |
| CN102479211A (zh) * | 2010-11-26 | 2012-05-30 | 中国银联股份有限公司 | 基于数据库的海量数据处理系统及方法 |
| CN102497415A (zh) * | 2011-03-22 | 2012-06-13 | 苏州阔地网络科技有限公司 | 一种文件批量处理的传输控制方法及系统 |
| CN102377787A (zh) * | 2011-03-22 | 2012-03-14 | 苏州阔地网络科技有限公司 | 一种设置优先级的文件批量处理方法及系统 |
| CN102495889A (zh) * | 2011-03-22 | 2012-06-13 | 苏州阔地网络科技有限公司 | 一种文件批量处理方法、系统及服务器 |
| CN103152372A (zh) * | 2011-12-07 | 2013-06-12 | 迈普通信技术股份有限公司 | Ftp传输系统及其ftp功能调用方法 |
| CN107749018B (zh) * | 2011-12-07 | 2021-08-17 | 亚马逊技术股份有限公司 | 网络可访问销售点设备实例 |
| CN103152372B (zh) * | 2011-12-07 | 2016-12-14 | 迈普通信技术股份有限公司 | Ftp传输系统及其ftp功能调用方法 |
| CN107749018A (zh) * | 2011-12-07 | 2018-03-02 | 亚马逊技术股份有限公司 | 网络可访问销售点设备实例 |
| CN104407922A (zh) * | 2014-10-29 | 2015-03-11 | 中国建设银行股份有限公司 | 一种异步批处理调度方法及系统 |
| CN104407922B (zh) * | 2014-10-29 | 2019-03-01 | 中国建设银行股份有限公司 | 一种异步批处理调度方法及系统 |
| CN106657193A (zh) * | 2015-11-02 | 2017-05-10 | 腾讯科技（深圳）有限公司 | 一种请求处理方法、装置、终端设备及服务器 |
| CN106657193B (zh) * | 2015-11-02 | 2019-11-19 | 腾讯科技（深圳）有限公司 | 一种请求处理方法、装置、终端设备及服务器 |
| CN106375241A (zh) * | 2016-08-29 | 2017-02-01 | 中国工商银行股份有限公司 | 批量数据处理方法、前端系统、主机及批量数据处理系统 |
| CN107181825A (zh) * | 2017-07-07 | 2017-09-19 | 广东中星电子有限公司 | 终端设备数据的在线处理方法 |
| CN107181825B (zh) * | 2017-07-07 | 2021-08-17 | 广东中星电子有限公司 | 终端设备数据的在线处理方法 |
| CN107437222A (zh) * | 2017-08-03 | 2017-12-05 | 中国银行股份有限公司 | 基于银行柜面前端的联机业务数据的处理方法及系统 |
| CN107911406B (zh) * | 2017-09-30 | 2021-03-23 | 平安科技（深圳）有限公司 | 基于网络的任务流转方法、设备及存储介质 |
| CN107911406A (zh) * | 2017-09-30 | 2018-04-13 | 平安科技（深圳）有限公司 | 基于网络的任务流转方法、设备及存储介质 |
| CN110443695A (zh) * | 2019-07-31 | 2019-11-12 | 中国工商银行股份有限公司 | 数据处理方法及其装置、电子设备和介质 |
| CN111596628A (zh) * | 2020-05-29 | 2020-08-28 | 北京赛博云睿智能科技有限公司 | 一种海量工业数据的采集方法和采集系统 |
| CN111596628B (zh) * | 2020-05-29 | 2021-07-30 | 北京赛博云睿智能科技有限公司 | 一种海量工业数据的采集方法和采集系统 |
| CN113067866A (zh) * | 2021-03-18 | 2021-07-02 | 中国工商银行股份有限公司 | 异构系统间的批量文件传输方法及装置 |
| CN113364857A (zh) * | 2021-06-03 | 2021-09-07 | 中国工商银行股份有限公司 | 业务数据的处理方法、装置和服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101719153A (zh) | 对海量数据文件进行传输处理的装置及方法 | |
| CN106844198B (zh) | 一种分布式调度自动化测试平台及方法 | |
| CN109118347B (zh) | 一种自动化协作方法及系统 | |
| CN111144886B (zh) | 自动化银行到账记录处理方法、系统、设备及存储介质 | |
| CN109410038A (zh) | 一种基于消息调度机制的批量代发方法及系统 | |
| CN111400011B (zh) | 一种实时任务调度方法、系统、设备及可读存储介质 | |
| CN109840144A (zh) | 一种针对跨机构批量服务请求的信息服务调度方法及系统 | |
| CN108765113A (zh) | 一种发票查验、报销、管理系统 | |
| CN201590836U (zh) | 对海量数据文件进行传输处理的装置 | |
| CN111125719B (zh) | 一种提升代码安全检测效率的方法、装置、计算机设备、和可读存储介质 | |
| CN104408050A (zh) | 一种测试数据在线自动判读系统及方法 | |
| CN102316156A (zh) | 一种可动态扩展的任务分发处理方法 | |
| CN109378042A (zh) | 就医前交互医学检验咨询系统及其实现方法 | |
| CN107451301B (zh) | 实时投递账单邮件的处理方法、装置、设备和存储介质 | |
| CN112734544A (zh) | 一种基于消息队列的分布式实时对账方法 | |
| CN115081897A (zh) | 一种智慧政务办公系统 | |
| CN101609402A (zh) | 一种文件对账方法和系统 | |
| CN106951341A (zh) | 一种实现分布式架构的数据库备份方法 | |
| CN117608829A (zh) | 一种基于Akka与kafka的大数据量并行薪酬计算方法 | |
| CN101004802A (zh) | 专利案件生命周期管制系统及方法 | |
| TW202103076A (zh) | 資源轉移及分配方法、裝置 | |
| CN113837870B (zh) | 金融风险数据审批方法及装置 | |
| CN107316215A (zh) | 一种增值税电子发票闭环管理系统及方法 | |
| CN115271835A (zh) | 一种发票生成方法、装置、电子设备及存储介质 | |
| US20080222651A1 (en) | Multiple message source electronic data interchange (edi) enveloper with batching support |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20100602 |