CN112328408A - 数据处理方法、装置、系统、设备及存储介质 - Google Patents

数据处理方法、装置、系统、设备及存储介质 Download PDF

Info

Publication number
CN112328408A
CN112328408A CN202011130973.9A CN202011130973A CN112328408A CN 112328408 A CN112328408 A CN 112328408A CN 202011130973 A CN202011130973 A CN 202011130973A CN 112328408 A CN112328408 A CN 112328408A
Authority
CN
China
Prior art keywords
job
scheduling
batch
instruction
scheduled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011130973.9A
Other languages
English (en)
Inventor
徐扬
孙锋
马文杰
李晓锋
孙哲
蔡昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN202011130973.9A priority Critical patent/CN112328408A/zh
Publication of CN112328408A publication Critical patent/CN112328408A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/2438—Embedded query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据处理方法、装置、系统、设备及存储介质，其中，方法包括：开放平台根据接收到的批量作业调度指令生成调度请求，将调度请求发送给主机平台；开放平台通过分布式关系数据库体系结构(DRDA)协议与主机平台通信；主机平台接收调度请求并触发批量作业执行，将执行结果信息返回给开放平台。本发明实施例在对数据处理系统架构进行部署规划的基础上，采用DRDA技术，实现了开放平台对主机平台批量作业的调度执行，最大程度减少了对主机平台现有业务的影响。

Description

数据处理方法、装置、系统、设备及存储介质
技术领域
本发明涉及计算机技术领域，具体涉及一种数据处理方法、装置、系统、设备及存储介质。
背景技术
现有的主机平台批量调度技术是在IBM大型主机上使用BMC公司的工具Control-M。该工具部署在IBM主机平台。应用开发人员事先准备好全部批量作业的调度关系，也就是所谓的“批图”，内容包括作业名、作业位置、作业触发方式、作业开始时间要求、作业之间的依赖关系等。Control-M每天定时加载次日的批图，并根据批图调度作业。但是该工具在使用过程中存在批量作业不能被正常调度执行的缺陷。
现有的开放平台通过交易方式访问主机平台的方法，主要有两种。一种是开放平台先将交易发到主机平台的中间件，再由中间件调用程序访问数据库。具体为：开放平台先将请求报文发送到主机平台的中间件系统。中间件系统作为应用程序的容器，负责接收、解析网络请求，分派请求到指定的线程处理，向数据库发送请求并接收反馈结果，将结果反馈给请求方。该方法存在的问题在于开放平台的交易不能直接访问主机平台的数据库，交易路径相对较长，遇到意外情况还可能会产生交易不一致的情况；需要在主机平台开发中间件应用程序，有额外的开发工作；中间件是一个独立的系统软件，软件本身会占用宝贵的主机平台CPU、内存等系统资源。并且，主机平台上的应用程序由两部分构成：COBOL语言编写应用逻辑与访问数据库的SQL语句，这在运行时也需要消耗主机资源。
另一种是使用DRDA技术将访问主机平台数据库的SQL语句以文本形式嵌入到开放平台的JAVA程序中，通过SQLJ直接访问主机平台数据库。目前DRDA技术仅局限于对主机平台数据库的查询操作，即开放平台发起查询交易，通过DRDA技术查询主机平台数据库。但是，通过开放平台调度主机平台的批量作业时，还需要在数据库中记录调度指令和作业状态。仅有查询功能不足支持开放平台对主机平台批量作业的调度执行。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明第一方面提出一种数据处理方法，包括：
开放平台根据接收到的批量作业调度指令生成调度请求，将所述调度请求发送给主机平台；所述开放平台通过分布式关系数据库体系结构(DRDA)协议与所述主机平台通信；
所述主机平台接收所述调度请求并触发批量作业执行，将执行结果信息返回给所述开放平台。
本发明第二方面提出一种数据处理方法，应用于主机平台，所述方法包括：
接收开放平台发送的调度请求并触发批量作业执行；所述开放平台通过DRDA协议与所述主机平台通信；
将执行结果信息返回至所述开放平台。
本发明第三方面提出一种数据处理装置，应用于主机平台，所述装置包括：
请求处理模块，用于接收开放平台发送的调度请求并触发批量作业执行；所述开放平台通过分布式关系数据库体系结构(DRDA)协议与所述主机平台通信；
反馈模块，用于将执行结果信息返回至所述开放平台。
本发明第四方面提出一种数据处理系统，包括开放平台和主机平台；
所述开放平台用于根据接收到的批量作业调度指令生成调度请求，将所述调度请求发送给主机平台；所述开放平台通过分布式关系数据库体系结构(DRDA)协议与所述主机平台通信；
所述主机平台用于接收所述调度请求并触发批量作业执行，将执行结果信息返回给所述开放平台。
本发明第五方面提出一种设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现本发明第一方面提出的数据处理方法或本发明第二方面提出的数据处理方法。
本发明第六方面提出一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现本发明第一方面提出的数据处理方法或本发明第二方面提出的数据处理方法。
由本发明提供的数据处理方法、装置、系统、设备或存储介质的实施例可见，本发明实施例在对数据处理系统架构进行部署规划的基础上，采用DRDA技术，实现了开放平台对主机平台批量作业的调度执行、状态更新和结果查询，最大程度减少了对主机平台现有业务的影响。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明实施例提供的一种数据处理系统的总体架构图；
图2是本发明实施例提供的一种数据处理方法的流程图；
图3是本发明实施例提供的主机平台与开放平台的DRDA交易示意图；
图4是本发明实施例提供的触发批量作业执行的流程图；
图5是本发明实施例提供的一种数据处理方法的流程图；
图6是本发明实施例提供的一种数据处理装置的结构框图；
图7是本发明实施例提供的一种数据处理系统的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
实施例
图1是本发明实施例提供的一种数据处理系统的总体架构图，具体的如图1所示，该数据处理系统包括开放平台和主机平台，开放平台通过分布式关系数据库体系结构(DRDA)协议与主机平台通信；
开放平台是在X86服务器上运行的系统软件、应用程序的生态系统。
主机平台是IBM公司开发的Z系列大型主机与在其上运行的系统软件、应用程序的生态系统。
分布式关系数据库体系结构(Distributed Relational DatabaseArchitecture，DRDA)是一组协议，这些协议可以实现不同平台上的应用程序与数据库之间的访问。在本发明实施例中DRDA用于实现开放平台的应用程序直接访问主机平台的数据库。
在主机下移的大背景下，该数据处理方案将应用程序进行了分离。主机平台保留了DB2数据服务，用于处理SQL语句，原COBOL应用逻辑使用JAVA语言进行改造，下移到开放平台执行。因此，节省了原COBOL程序执行所使用的主机平台资源。
而SQL语句以文本的方式嵌入JAVA程序中，在程序运行前，使用类似“预编译”的方式将SQL语句与JAVA程序分离，并将其绑定到主机端DB2的执行计划中，保证了SQL语句的静态调用。
详细地，在写一个SQLJ应用程序时，编写一段Java程序并遵循某些特定的标准法则把SQL语句嵌入在其中，这些法则定义了SQL语句如何写入Java程序。接下来，运行SQLJ编译器，通过把嵌入式结构化查询语句替换为调用SQLJ运行时程序库的方式把SQLJ程序转换为一个标准的Java程序，此过程类似于主机COBOL程序的预编译过程。生成的Java程序就可以使用任何标准的Java编译程序(例如javac)来编译，然后可以配合数据库进行调用。
SQLJ是一种允许把静态的SQL语句以文本形式嵌入到Java程序中的语言。SQLJ运行环境是由一个没有额外系统开销的SQLJ运行时程序库组成的，也就是说用纯Java实现调用相应数据库(DB2、Oracle等)的JDBC程序。因此，该数据处理方法的执行效率没有降低。
图2是本发明实施例提供的一种数据处理方法的流程图，具体的如图2所示，在一个实施例中，该方法可以包括以下步骤：
S101：开放平台根据接收到的批量作业调度指令生成调度请求，将调度请求发送给主机平台；
具体地，开放平台的批量调度执行器接收批量作业调度指令，将接收到的批量作业调度指令按照约定格式解析和校验，生成调度请求。
其中，调度请求包括查询指令和/或操作指令，查询指令用于指令查询和作业查询等；操作指令用于初次提交作业、重提作业和跳过作业等。
S102：主机平台接收调度请求并触发批量作业执行，将执行结果信息返回给开放平台。
在一个实施例中，调度请求包括查询指令和操作指令；主机平台包括查询请求处理模块和操作请求处理模块，查询请求处理模块与操作请求处理模块使用不同的IP和端口；将调度请求通过分布式关系数据库体系结构(DRDA)协议发送给主机平台，包括：将查询指令发送给主机平台的查询请求处理模块；将操作指令发送给主机平台的操作请求处理模块。
在一个实施例中，调度请求包括操作指令；主机平台包括查询请求处理模块和操作请求处理模块，查询请求处理模块与操作请求处理模块使用不同的IP和端口；将调度请求通过分布式关系数据库体系结构(DRDA)协议发送给主机平台，包括：将操作指令发送给主机平台的操作请求处理模块。
在一个实施例中，DB2架构中共有16个DB2成员，划分为3个子群。这3个子群分别部署了客户信息、账务核心、贷记卡等3套应用程序。
图3是本发明实施例提供的主机平台与开放平台的DRDA交易示意图，具体的如图3所示，账务核心的体量(数据量、交易量)最大，而且上面已经配置了DDF别名，处理已经下移的部分DRDA查询交易(交易量占全部交易的30％)。
为避免发生资源争抢、配置错误、误操作等影响这部分DRDA交易，首先排除了批量调度DRDA交易与现有DRDA交易使用同一套DDF的方案。其次，为了进一步减小影响，将批量调度DRDA交易部署到客户信息所在的子群上，即为这部分交易指定一个新的DDF别名，使用客户信息所在的DB2成员。如此，通过对DRDA架构的部署规划，使得两套DDF使用不同的IP和端口，处理不同请求方的DRDA交易，最大程度地减少了对主机平台现有DRDA业务的影响。
请继续参照图1，本发明实施例提供的主机平台与现有技术相比在以下方面进行了改进：
(1)系统方面：配置DB2 DDF，以实现DRDA访问主机平台数据库。
DB2是IBM公司开发的关系型数据库管理系统，为事务型工作负载和仓储工作负载提供高级数据管理和分析功能。该数据库广泛应用与商业数据处理领域，如银行、金融和保险行业。
DB2 DDF(DB2 Distributed data facility)是一个通讯进程，常驻在后台，用于接收和处理分布式环境下的通讯请求，如来自另一个DB2或者来自开放平台的数据库访问请求。
DB2子群(DB2 Subgroup)指在DB2 data sharing环境中对DB2的一个或多个成员进行划分形成的一组虚拟集群，进行统一的管理和操作。可以使用不同的数据库缓冲池(buffer pool)，配置不同的参数。但是由于它们属于同一个DB2系统，因此又可以通过简单的配置互相访问。
DB2 DDF别名(DB2 DDF location Alias)：在高可用环境(DB2 data sharing)下，通常每个DB2地址空间都会启动一个DDF通讯进程。可以将一个或多个DB2成员(DB2member)划分为一组集群，为其指定一个“别名”，绑定特定的TCP端口，对外提供统一的DRDA服务。开放平台应用服务器通过指定“ddvipa:DDF alias:端口”，发送DRDA协议交易到主机平台，再通过DDVIPA分发交易到开启端口监听的DDF上。
(2)应用方面：设置批量调度作业指令表以记录作业调度指令，设置批量调度作业明细表以记录作业运行状态，设置批量调度控制器状态表以记录轮询进程状态，上述三张数据表的功能及相关描述具体参见下表。
Figure BDA0002735155140000071
(3)应用方面：设置轮询进程。此进程常驻后台，轮询批量调度作业指令表，对三种操作指令(初次提交作业、重提作业、跳过作业)进行处理，并在批量调度作业明细表中记录作业的执行情况。
图4是本发明实施例提供的触发批量作业执行的流程图，具体的如图4所示，在一个实施例中，调度请求包括操作指令，操作指令包括新的作业内容；主机平台接收调度请求并触发批量作业执行，包括：
S201：根据操作指令查询批量调度作业明细表中待调度作业的作业状态；
具体地，步骤S201之前还包括：轮询批量调度作业指令表，进行指令必输栏位检核；若检核不通过，返回指令无效信息；若检核通过，执行步骤S201。
S202：根据查询结果判断待调度作业的作业状态是否符合与操作指令对应的操作要求；
在一个实施例中，待调度作业为初次提交作业，步骤S202包括：判断批量调度作业明细表中是否存在该待调度作业；若存在，返回拒绝提交信息；若不存在，执行步骤S203。
在一个实施例中，待调度作业为重提作业，步骤S202包括：查询批量调度作业明细表中待调度作业的作业状态是否为出错状态，若非出错状态，返回拒绝重提信息；若是出错状态，执行步骤S203。
在一个实施例中，待调度作业为跳过作业，步骤S201包括：查询待调度作业的作业状态是否为出错状态；若非出错状态，返回拒绝跳过信息；若是出错状态，执行步骤S203。
S203：若符合，根据待调度作业的作业名和批量调度作业明细表中的作业目录获取待调度作业的作业内容；
S204：将批量调度作业指令表中待调度作业的指令状态修改为处理完成、作业内容替换为新的作业内容，得到更新后的批量调度作业指令表；
S205：根据更新后的批量调度作业指令表触发主机平台的批量作业执行。
具体地，步骤S205之后还包括：判断RDR打开是否成功；
若失败，轮询进程退出；
若成功，作业内容替换；在作业内容替换之后，判断作业提交是否成功；
若提交失败，轮询进程退出；
若提交成功，待调度作业指令调度结束。
请继续参照图4，根据查询结果判断所述待调度作业的作业状态是否符合与所述操作指令对应的操作要求之后，还包括：
S206：若不符合，返回拒绝调度的信息。
根据所述待调度作业的作业名和所述批量调度作业明细表中的作业目录获取待调度作业的作业内容之后，还包括：
S207：将待调度作业的作业状态修改为处理中，得到更新后的批量调度作业明细表。
具体地，主机平台接收调度请求并触发批量作业执行，将执行结果信息返回给开放平台之后，还包括：
开放平台将执行结果信息发送至批量调度服务器；
批量调度服务器根据执行结果信息更新批量作业调度结果状态信息。
具体地，执行结果信息包括返回码；批量调度服务器根据执行结果信息更新批量作业调度结果状态信息，包括：
在返回码是错误码时，修改作业调度结果状态为出错；
在返回码非错误码时，比较返回码与预设值的大小；
在返回码超过预设值时，修改作业调度结果状态为出错；
在返回码不超过预设值时，修改作业调度结果状态为处理完成。
例如，预设值为4；在返回码小于等于4时，修改作业状态为处理完成，在返回码大于4时，修改作业状态为出错，在返回码为系统REXX捕获的错误码时，修改作业状态为出错。需要指出的是，根据实际需要预设值还可以设置为其他值，上述预设值的取值仅用于举例说明，不应理解为对本发明实施例保护范围的限制。
图5是本发明实施例提供的一种数据处理方法的流程图，该数据处理方法应用于主机平台，具体地如图5所示，该方法包括：
S301：接收开放平台发送的调度请求并触发批量作业执行；开放平台通过DRDA协议与主机平台通信；
S302：将执行结果信息返回至开放平台。
进一步地，调度请求包括查询指令和/或操作指令；
主机平台包括查询请求处理模块和操作请求处理模块，查询请求处理模块与操作请求处理模块使用不同的IP和端口；
接收开放平台发送的调度请求并触发批量作业执行，包括：
查询请求处理模块接收开放平台发送的查询指令；和/或，操作请求处理模块接收开放平台发送的操作指令。
在一个实施例中，调度请求包括操作指令，操作指令包括待调度的作业名；请继续参照图4，接收开放平台发送的调度请求并触发批量作业执行，包括以下步骤：
S201：根据操作指令查询批量调度作业明细表中待调度作业的作业状态；
具体地，步骤S201之前还包括：轮询批量调度作业指令表，进行指令必输栏位检核；若检核不通过，返回指令无效信息；若检核通过，执行步骤S201。
S202：根据查询结果判断待调度作业的作业状态是否符合与操作指令对应的操作要求；
在一个实施例中，待调度作业为初次提交作业，步骤S202包括：判断批量调度作业明细表中是否存在该待调度作业；若存在，返回拒绝提交信息；若不存在，执行步骤S203。
在一个实施例中，待调度作业为重提作业，步骤S202包括：查询批量调度作业明细表中待调度作业的作业状态是否为出错状态，若非出错状态，返回拒绝重提信息；若是出错状态，执行步骤S203。
在一个实施例中，待调度作业为跳过作业，步骤S201包括：查询待调度作业的作业状态是否为出错状态；若非出错状态，返回拒绝跳过信息；若是出错状态，执行步骤S203。
S203：若符合，根据待调度作业的作业名和批量调度作业明细表中的作业目录获取待调度作业的作业内容；操作指令包括待调度作业的作业名；
S204：将批量调度作业指令表中待调度作业的指令状态修改为处理完成、作业内容替换为新的作业内容，得到更新后的批量调度作业指令表；
S205：根据更新后的批量调度作业指令表触发主机平台的批量作业执行。
具体地，步骤S205之后还包括：判断RDR打开是否成功；
若失败，轮询进程退出；
若成功，作业内容替换；在作业内容替换之后，判断作业提交是否成功；
若提交失败，轮询进程退出；
若提交成功，待调度作业指令调度结束。
请继续参照图4，根据查询结果判断所述待调度作业的作业状态是否符合与所述操作指令对应的操作要求之后，还包括：
S206：若不符合，返回拒绝调度的信息。
根据所述待调度作业的作业名和所述批量调度作业明细表中的作业目录获取待调度作业的作业内容之后，还包括：
S207：将所述待调度作业的作业状态修改为处理中，得到更新后的批量调度作业明细表。
需要说明的是，本发明实施例不受所描述的动作顺序的限制，基于常规或者无创造性的劳动还可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
图6是本发明实施例提供的一种数据处理装置的结构框图，该数据处理装置应用于主机平台，具体地如图6所示，该装置包括：
请求处理模块401，用于接收开放平台发送的调度请求并触发批量作业执行；开放平台通过分布式关系数据库体系结构(DRDA)协议与主机平台通信；
反馈模块402，用于将执行结果信息返回至开放平台。
图7是本发明实施例提供的一种数据处理系统的结构框图，具体地如图7所示，该系统包括开放平台501和主机平台502；
开放平台501用于根据接收到的批量作业调度指令生成调度请求，将调度请求发送给主机平台502；开放平台501通过分布式关系数据库体系结构(DRDA)协议与主机平台502通信；
主机平台502用于接收调度请求并触发批量作业执行，将执行结果信息返回给开放平台501。
本发明的实施例还提供了一种设备，设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如方法实施例中的数据处理方法。
本发明的实施例还提供了一种存储介质，存储介质可设置于服务器之中以保存用于实现方法实施例中的数据处理方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的数据处理方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本发明提供的数据处理方法、装置、系统、设备或存储介质的实施例可见，本发明实施例在对数据处理系统架构进行部署规划的基础上，采用DRDA技术，实现了开放平台对主机平台批量作业的调度执行、状态更新和结果查询，最大程度减少了对主机平台现有业务的影响。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种数据处理方法，其特征在于，包括：
开放平台根据接收到的批量作业调度指令生成调度请求，将所述调度请求发送给主机平台；所述开放平台通过分布式关系数据库体系结构(DRDA)协议与所述主机平台通信；
所述主机平台接收所述调度请求并触发批量作业执行，将执行结果信息返回给所述开放平台。
2.根据权利要求1所述的方法，其特征在于，所述调度请求包括查询指令和/或操作指令；
所述主机平台包括查询请求处理模块和操作请求处理模块，所述查询请求处理模块与所述操作请求处理模块使用不同的IP和端口；
所述将所述调度请求通过分布式关系数据库体系结构(DRDA)协议发送给主机平台，包括：
将所述查询指令发送给主机平台的查询请求处理模块；
和/或，将所述操作指令发送给主机平台的操作请求处理模块。
3.根据权利要求1所述的方法，其特征在于，所述调度请求包括操作指令，所述操作指令包括待调度的作业名；所述主机平台接收所述调度请求并触发批量作业执行，包括：
根据所述操作指令查询批量调度作业明细表中待调度作业的作业状态；
根据查询结果判断所述待调度作业的作业状态是否符合与所述操作指令对应的操作要求；
若符合，根据所述待调度作业的作业名和所述批量调度作业明细表中的作业目录获取待调度作业的作业内容；
将批量调度作业指令表中待调度作业的指令状态修改为处理完成、作业内容替换为新的作业内容，得到更新后的批量调度作业指令表；
根据所述更新后的批量调度作业指令表触发主机平台的批量作业执行。
4.根据权利要求3所述的方法，其特征在于，所述根据查询结果判断所述待调度作业的作业状态是否符合与所述操作指令对应的操作要求之后，还包括：
若不符合，返回拒绝调度的信息。
5.根据权利要求3所述的方法，其特征在于，所述根据所述待调度作业的作业名和所述批量调度作业明细表中的作业目录获取待调度作业的作业内容之后，还包括：
将所述待调度作业的作业状态修改为处理中，得到更新后的批量调度作业明细表。
6.根据权利要求1所述的方法，其特征在于，所述主机平台接收所述调度请求并触发批量作业执行，将执行结果信息返回给所述开放平台之后，还包括：
所述开放平台将所述执行结果信息发送至批量调度服务器；
批量调度服务器根据所述执行结果信息更新批量作业调度结果状态信息。
7.根据权利要求6所述的方法，其特征在于，所述执行结果信息包括返回码；所述批量调度服务器根据所述执行结果信息更新批量作业调度结果状态信息，包括：
在所述返回码是错误码时，修改作业调度结果状态为出错；
在所述返回码非错误码时，比较所述返回码与预设值的大小；
在所述返回码超过所述预设值时，修改作业调度结果状态为出错；
在所述返回码不超过预设值时，修改作业调度结果状态为处理完成。
8.一种数据处理方法，其特征在于，应用于主机平台，所述方法包括：
接收开放平台发送的调度请求并触发批量作业执行；所述开放平台通过DRDA协议与所述主机平台通信；
将执行结果信息返回至所述开放平台。
9.根据权利要求8所述的方法，其特征在于，所述调度请求包括查询指令和/或操作指令；
所述主机平台包括查询请求处理模块和操作请求处理模块，所述查询请求处理模块与所述操作请求处理模块使用不同的IP和端口；
所述接收所述开放平台发送的调度请求并触发批量作业执行，包括：
所述查询请求处理模块接收所述开放平台发送的所述查询指令；和/或，所述操作请求处理模块接收所述开放平台发送的所述操作指令。
10.根据权利要求8所述的方法，其特征在于，所述调度请求包括操作指令，所述操作指令包括待调度的作业名；所述接收所述开放平台发送的调度请求并触发批量作业执行，包括：
根据所述操作指令查询批量调度作业明细表中待调度作业的作业状态；
根据查询结果判断所述待调度作业的作业状态是否符合与所述操作指令对应的操作要求；
若符合，根据所述待调度作业的作业名和所述批量调度作业明细表中的作业目录获取待调度作业的作业内容；
将批量调度作业指令表中待调度作业的指令状态修改为处理完成、作业内容替换为新的作业内容，得到更新后的批量调度作业指令表；
根据所述更新后的批量调度作业指令表触发主机平台的批量作业执行。
11.根据权利要求10所述的方法，其特征在于，所述判断所述待调度作业的作业状态是否符合与所述操作指令对应的操作要求之后，还包括：
若不符合，返回拒绝调度的信息。
12.根据权利要求10所述的方法，其特征在于，所述根据所述待调度作业的作业名和所述批量调度作业明细表中的作业目录获取待调度作业的作业内容之后，还包括：
将所述待调度作业的作业状态修改为处理中，得到更新后的批量调度作业明细表。
13.一种数据处理装置，其特征在于，应用于主机平台，所述装置包括：
请求处理模块，用于接收开放平台发送的调度请求并触发批量作业执行；所述开放平台通过分布式关系数据库体系结构(DRDA)协议与所述主机平台通信；
反馈模块，用于将执行结果信息返回至所述开放平台。
14.一种数据处理系统，其特征在于，包括开放平台和主机平台；
所述开放平台用于根据接收到的批量作业调度指令生成调度请求，将所述调度请求发送给主机平台；所述开放平台通过分布式关系数据库体系结构(DRDA)协议与所述主机平台通信；
所述主机平台用于接收所述调度请求并触发批量作业执行，将执行结果信息返回给所述开放平台。
15.一种设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7任一项所述的数据处理方法或权利要求8-12任一项所述的数据处理方法。
16.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-7任一项所述的数据处理方法或权利要求8-12任一项所述的数据处理方法。
CN202011130973.9A 2020-10-21 2020-10-21 数据处理方法、装置、系统、设备及存储介质 Pending CN112328408A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011130973.9A CN112328408A (zh) 2020-10-21 2020-10-21 数据处理方法、装置、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011130973.9A CN112328408A (zh) 2020-10-21 2020-10-21 数据处理方法、装置、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112328408A true CN112328408A (zh) 2021-02-05

Family

ID=74311909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011130973.9A Pending CN112328408A (zh) 2020-10-21 2020-10-21 数据处理方法、装置、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112328408A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434360A (zh) * 2021-06-23 2021-09-24 中国建设银行股份有限公司 一种作业运行监控的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1541363A (zh) * 2001-02-28 2004-10-27 �Ҵ���˾ 从远程数据源加载数据
CN102012840A (zh) * 2010-12-23 2011-04-13 中国农业银行股份有限公司 一种数据的批量调度方法和系统
US20190370058A1 (en) * 2018-05-29 2019-12-05 American Express Travel Related Services Company, Inc. Automated execution of batch job workflows
CN110688369A (zh) * 2019-09-30 2020-01-14 北京天融信网络安全技术有限公司 解析db2报文的方法、装置、存储介质及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1541363A (zh) * 2001-02-28 2004-10-27 �Ҵ���˾ 从远程数据源加载数据
CN102012840A (zh) * 2010-12-23 2011-04-13 中国农业银行股份有限公司 一种数据的批量调度方法和系统
US20190370058A1 (en) * 2018-05-29 2019-12-05 American Express Travel Related Services Company, Inc. Automated execution of batch job workflows
CN110688369A (zh) * 2019-09-30 2020-01-14 北京天融信网络安全技术有限公司 解析db2报文的方法、装置、存储介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434360A (zh) * 2021-06-23 2021-09-24 中国建设银行股份有限公司 一种作业运行监控的方法及系统
CN113434360B (zh) * 2021-06-23 2024-04-19 中国建设银行股份有限公司 一种作业运行监控的方法及系统

Similar Documents

Publication Publication Date Title
US8156226B2 (en) Ordering provisioning request execution based on service level agreement and customer entitlement
CA3000422C (en) Workflow service using state transfer
US11880712B1 (en) Resource tolerations and taints
US20060206894A1 (en) Method of scheduling jobs using database management system for real-time processing
US7992148B2 (en) Issuing syncpoints during execution of a batch application to minimize or eliminate periods of record unavailability due to batch related record locking
US7698397B2 (en) Method and framework for providing system performance information
US20090300017A1 (en) Transaction Parallel Control Method, and Database Managemet System
US10379914B2 (en) System and method for achieving specific behaviors by intercepting file access calls in a mainframe rehosting platform
US7627662B2 (en) Transaction request processing system and method
US20130160022A1 (en) Transaction manager for negotiating large transactions
CN104065636A (zh) 数据处理方法和系统
CN113157411B (zh) 一种基于Celery的可靠可配置任务系统及装置
US20070169045A1 (en) Component tagging
CN110494849B (zh) 用于确定跨平台应用迁移的成功的系统和方法
US8478838B2 (en) System and method for using a same program on a local system and a remote system
CN112328408A (zh) 数据处理方法、装置、系统、设备及存储介质
CN113590320A (zh) 分布式批量任务调度的资源处理方法、装置、设备及介质
JP5055059B2 (ja) データベース処理方法、その実施システム及びプログラム
CN107632893B (zh) 消息队列处理方法及装置
CN115499493A (zh) 异步事务处理方法、装置、存储介质及计算机设备
CN111538491A (zh) 数据事件处理方法、装置、设备和存储介质
US20210303339A1 (en) Data backup method, electronic device and computer program product
CN113505017A (zh) 一种问题排查方法、装置、存储介质和设备
US11714662B2 (en) Technique for reporting nested linking among applications in mainframe computing environment
US20220382528A1 (en) User exit daemon for use with special-purpose processor, mainframe including user exit daemon, and associated methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination