CN111581243A - 基于批次数据库的批处理任务执行方法及系统 - Google Patents

基于批次数据库的批处理任务执行方法及系统 Download PDF

Info

Publication number
CN111581243A
CN111581243A CN202010363013.0A CN202010363013A CN111581243A CN 111581243 A CN111581243 A CN 111581243A CN 202010363013 A CN202010363013 A CN 202010363013A CN 111581243 A CN111581243 A CN 111581243A
Authority
CN
China
Prior art keywords
batch
database
dispatching center
task
pod
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010363013.0A
Other languages
English (en)
Other versions
CN111581243B (zh
Inventor
王树冠
翁国海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiangrongxin Technology Co ltd
Original Assignee
Beijing Jiangrongxin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiangrongxin Technology Co ltd filed Critical Beijing Jiangrongxin Technology Co ltd
Priority to CN202010363013.0A priority Critical patent/CN111581243B/zh
Publication of CN111581243A publication Critical patent/CN111581243A/zh
Application granted granted Critical
Publication of CN111581243B publication Critical patent/CN111581243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于批次数据库的批处理任务执行方法及系统，批处理任务执行方法包括：步骤S1：批次调度中心创建并配置多个批次数据库；步骤S2：批次调度中心配置任务时，每一批次任务分区选择相应的批次数据库；步骤S3：批次调度中心执行任务时，将批次数据库的批次数据库参数传入到pod的启动应用参数中构建批次数据源，执行操作时pod通过批次数据源对批次数据库进行读写数据处理。

Description

基于批次数据库的批处理任务执行方法及系统
技术领域
本发明涉及一种基于批次数据库的批处理任务执行方法及系统。
背景技术
现有批次调度中心应用服务器拉起批次业务应用服务器进程时使用数据库，但是在实际使用中发现：
1、批次调度中心执行批次任务时，所有的任务使用的是同一个批次数据库，当同时执行几百个甚至几千个批次任务分区时，所有批次任务同时对同一个批次数据库进行数据读写时，会导致数据库内存溢出、连接超时、连接阻塞等一系列问题。
2、业务中单独配置批次数据库，如果数据库一旦有变化，所有批次服务工程都需要去改一次数据库配置，有可能造成配置错误或者漏修改问题。
因此亟需开发本发一种克服上述缺陷的用于数据库的参数配置方法及系统。
发明内容
本发明所要解决的技术问题在于提供一种基于批次数据库的批处理任务执行方法，其中，包括：
步骤S1：批次调度中心创建并配置多个批次数据库；
步骤S2：批次调度中心配置任务时，每一批次任务分区选择相应的批次数据库；
步骤S3：批次调度中心执行任务时，将批次数据库的批次数据库参数传入到pod的启动应用参数中构建批次数据源，执行操作时pod通过批次数据源对批次数据库进行读写数据处理。
上述的批处理任务执行方法，其中，还包括步骤S4：批次调度中心通过批次数据源查找对应的批次数据库来查看批次执行记录。
上述的批处理任务执行方法，其中，批次数据库参数包括数据库地址、用户名、密码及参数中的至少一者。
上述的批处理任务执行方法，其中，步骤S3包括：
步骤S31：批次任务分区拉起pod，批次调度中心将批次任务分区相应的批次数据库的批次数据库参数传入到pod的启动应用参数中；
步骤S32：批次应用启动时，pod根据通过该批次数据库参数构建对应的批次数据源；
步骤S33：批次执行操作时，pod通过批次数据源对该批次数据库进行读写数据处理。
上述的批处理任务执行方法，其中，于所述步骤S1中，还包括，批次调度中心根据批次读写数据的预估值对批次数据库进行扩展。
本发明还公开了一种基于批次数据库的批处理系统，其中，包括批次调度中心及容器，批次调度中心用于创建并配置多个批次数据库，容器包括多个pod，批次调度中心包括：
多个批次数据库；
批次任务分区，批次调度中心配置任务时，每一批次任务分区选择相应的批次数据库，批次调度中心执行任务时，将批次数据库的批次数据库参数传入到容器的pod的启动应用参数中构建批次数据源，执行操作时pod通过批次数据源对批次数据库进行读写数据处理。
上述的批处理系统，其中，批次调度中心通过批次数据源查找对应的批次数据库来查看批次执行记录。
上述的批处理系统，其中，批次数据库参数包括数据库地址、用户名、密码及参数中的至少一者。
上述的批处理系统，其中，批次任务分区拉起pod，批次调度中心将批次任务分区相应的批次数据库的批次数据库参数传入到pod的启动应用参数中；批次应用启动时，pod根据批次数据库参数构建对应的批次数据源；批次执行操作时，pod通过批次数据源该批次数据库进行读写数据处理。
上述的批处理系统，其中，批次调度中心根据批次读写数据的预估值对批次数据库进行扩展。
本发明针对于现有技术其功效在于：
1、所有执行批次都对同一个批次数据库进行数据读写操作，有效的避免了可能对数据库造成的内存溢出、连接超时、连接阻塞等问题；
2、批次调度中心配置任务时，任务分区可以随意指定切换配置批次数据库，使各个任务分区能够根据灵活配置使用相关数据库，可根据批次读写数据的预估值对批次数据库进行扩展；
3、业务中不需要单独配置批次数据库，统一由批次调度中心通过传参方式处理。
附图说明
图1为本发明批处理任务执行方法流程图；
图2为图1中步骤S3的分步骤流程图；
图3为本发明批处理系统的结构示意图；
图4为批处理任务执行示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。
关于本文中的“多个”包括“两个”及“两个以上”。
发明人经过潜心研究发现，当批次调度中心调起执行批次业务应用进程时，启动批次业务应用进程的参数统一由调度中心配置，期中就包括批次业务应用相关的数据库参数的配置；由于每个任务可以分为多个任务分区执行，为了避免所有任务分区执行时对数据库产生过大压力，特为每个任务分区都可以选择配置的批次数据库，并在启动批次业务应用进程时根据数据库参数构建批次数据源，所有执行批次避免同时高并发读写同一个批次数据库，因此本发明提出一种用于数据库的参数配置方法及系统。
具体地说，请参照图1-2，图1为本发明基于批次数据库的批处理任务执行方法流程图；图2为图1中步骤S3的分步骤流程图。如图1及图2所示，本发明基于批次数据库的批处理任务执行方法，包括：
步骤S1：批次调度中心创建并配置多个批次数据库；其中，于步骤S1中还包括，
在本实施例中，批次调度中心统一创建并配置批次数据库，批次数据库参数包括数据库地址、用户名、密码及参数中的至少一者，同时批次调度中心还可根据需求同时配置多个不同的批次数据库，使其可灵活配置，以备使用。
步骤S2：批次调度中心配置任务时，每一批次任务分区选择相应的批次数据库。
具体地说，批次调度中心配置任务时，批次任务分区可以根据需要随意选择配置需要用到的批次数据库，使各个批次任务分区之间可以分别使用不同的批次数据库。
步骤S3：批次调度中心执行任务时，将批次数据库的批次数据库参数传入到pod启动应用参数中构建批次数据源，执行操作时则对批次数据库进行读写数据处理。
其中，步骤S3包括：
步骤S31：批次任务分区拉起pod，批次调度中心将批次任务分区相应的批次数据库的批次数据库参数传入到pod的启动应用参数中；
步骤S32：批次应用启动时，pod根据该批次数据库参数构建对应的批次数据源；
步骤S33：批次执行操作时，pod通过批次数据源对该批次数据库进行读写数据处理。
具体地说，批次调度中心执行计划时，并在拉起执行任务分区过程中，批次调度中心会将任务分区中配置的批次调度中心传入到批次启动应用参数当中去，批次应用启动时，会通过相关批次数据库参数构建对应的批次数据源，批次执行操作时，就以此批次数据库进行读写数据处理。
进一步地，本发明的参数配置方法，还包括：
步骤S4：批次调度中心通过批次数据源查找对应的批次数据库来查看批次执行记录。
具体地说，由批次调度中心手动或定时启动执行计划，程序按照执行计划中配置的顺序依次执行，每个任务下都对应一个或多个任务分区，每个任务分区都会拉起一个相应的pod，每个pod执行的都是一个独立的应用程序，每个pod之间使用的资源、应用参数等也因调度中心的配置而不同，批次调度中心每拉起一个pod，都会将pod ID记录在任务执行分区相关的表字段中，调度中心可以通过查看任务执行分区的记录去查看相关的执行pod详情。
请参照图3，图3为本发明批处理系统的结构示意图。如图3所示，本发明基于批次数据库的批处理系统，批次调度中心1及容器，批次调度中心1用于创建并配置多个批次数据库，容器包括多个pod，包括：pod1，pod2，pod3…，podn-1，podn，n为正整数；批次调度中心1包括：
多个批次数据库，包括批次数据库11，…，批次数据库n1，n为正整数；
多个批次任务分区，包括：批次任务分区12，…，批次任务分区n2，批次调度中心1配置任务时，为批次任务分区配置相应的批次数据库，批次调度中心1执行任务时，将批次数据库的批次数据库参数传入到pod的启动应用参数当中去构建批次数据源，执行操作时，pod通过批次数据源对相应地批次数据库进行读写数据处理。
其中，批次调度中心1查看任务执行记录时，可通过批次数据源连接到对应的批次数据库来查看批次执行记录。
进一步地，批次数据库参数包括数据库地址、用户名、密码及参数中的至少一者。
再进一步地，批次调度中心1按照执行计划执行任务，当批次任务分区拉起pod时批次调度中心1将批次任务分区相应的批次数据库的批次数据库参数传入到pod的启动应用参数中；批次应用启动时，pod根据该批次数据库参数构建对应的批次数据源；批次执行操作时，pod通过批次数据源对该批次数据库进行读写数据处理。
更进一步地，批次调度中心1根据批次读写数据的预估值对批次数据库进行扩展。具体地说，数据量都是持续增长的，在本实施例中根据数据量的增长判断是否需要对批次数据库进行扩展。
以下结合图3，具体说明如下：
1、在批次调度中心1中构建多个批次数据库，包括批次数据库11，…，批次数据库n1，批次调度中心1并针对批次数据库11，…，批次数据库n1进行批次数据库参数的配置，批次数据库参数包括数据库地址、用户名、密码及参数中的至少一者；
2、在配置任务或者任务分区时，为每一批次任务分区配置相应的批次数据库，不同的任务分区可以选择不同的批次数据库，如果任务分区没有使用配置的批次数据库，则继承任务上配置的参数的配置，例如，在本实施例中，任务1的批次任务分区12选择批次数据库11，任务1的批次任务分区n2选择批次数据库n1；
3、执行任务1时，批次任务分区12拉起pod1，调度中心1将批次数据库11的批次数据库参数传入到pod1的启动应用参数中，pod1通过传入的该批次数据库参数构造对应于批次数据库11的批次数据源（批次数据源见图4），批次执行过程中，pod1通过该批次数据源将批次的执行记录和结果写入批次数据库11；
4、批次调度中心1查看任务分区的批次执行记录时，通过相关的批次数据库参数配置构造对应地批次数据源，通过此批次数据源查找相应的批次数据库的执行记录。
在本实施例中，批处理系统还包括批次调度库及多个业务库，其中批次调度库用以执行计划、批次数据库参数等进行存储；多个业务库用以存储业务类型数据，例如积分、消费金额、刷卡次数等。
请参照图4，图4为批处理任务执行示意图。如图4所示，具体工作过程为：
1、由批次调度中心统一配置数据库、参数、任务、执行计划；
2、由任务执行代理对计划下的批次任务进行批次进程拉起执行；
3、批次调度中心监控批次任务的执行结果状态，用来判断是否需要执行后续的任务。
具体说明如下：
1、由批次调度中心配置批次数据库参数、任务、批次任务分区、执行计划等；
2、批次任务分区均通过任务执行代理拉起相应的pod；
3、每一个单独的pod都操作与之对应的批次数据库和业务库，例如pod1通过批次数据源将批次的执行记录和结果写入批次数据库11；
4、批次调度中心1通过监听任务的执行结果来确定接下是否需要执行新的任务。
综上所述，本发明的批次数据库在批次调度中心统一管理配置，业务中不需要单独配置批次数据库，统一由批次调度中心通过传参方式处理；同时，当批次数据库有变化时，对批次数据库的修改更为方便，即只需更改批次调度中心的批次数据库的配置，而不要对每个批次服务工程都进行数据库修改；另外，批次调度中心任务分区的批次数据库灵活配置，可根据批次读写数据的预估值对批次数据库进行扩展。
上述仅为本发明的较佳实施例而已，并非用来限定本发明实施的范围，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于批次数据库的批处理任务执行方法，其特征在于，包括：
步骤S1：批次调度中心创建并配置多个批次数据库；
步骤S2：批次调度中心配置任务时，每一批次任务分区选择相应的批次数据库；
步骤S3：批次调度中心执行任务时，将批次数据库的批次数据库参数传入到pod的启动应用参数中构建批次数据源，执行操作时pod通过批次数据源对批次数据库进行读写数据处理。
2.如权利要求1所述的批处理任务执行方法，其特征在于，还包括步骤S4：批次调度中心通过批次数据源查找对应的批次数据库来查看批次执行记录。
3.如权利要求1所述的批处理任务执行方法，其特征在于，批次数据库参数包括数据库地址、用户名、密码及参数中的至少一者。
4.如权利要求1所述的批处理任务执行方法，其特征在于，步骤S3包括：
步骤S31：批次任务分区拉起pod，批次调度中心将批次任务分区相应的批次数据库的批次数据库参数传入到pod的启动应用参数中；
步骤S32：批次应用启动时，pod根据该批次数据库参数构建对应的批次数据源；
步骤S33：批次执行操作时，pod通过批次数据源对该批次数据库进行读写数据处理。
5.如权利要求1所述的批处理任务执行方法，其特征在于，于所述步骤S1中，还包括，批次调度中心根据批次读写数据的预估值对批次数据库进行扩展。
6.一种基于批次数据库的批处理系统，其特征在于，包括批次调度中心及容器，批次调度中心用于创建并配置多个批次数据库，容器包括多个pod，批次调度中心包括：
多个批次数据库；
批次任务分区，批次调度中心配置任务时，每一批次任务分区选择相应的批次数据库，批次调度中心执行任务时，将批次数据库的批次数据库参数传入到容器的pod的启动应用参数中构建批次数据源，执行操作时pod通过批次数据源对批次数据库进行读写数据处理。
7.如权利要求6所述的批处理系统，其特征在于，批次调度中心通过批次数据源查找对应的批次数据库来查看批次执行记录。
8.如权利要求6所述的批处理系统，其特征在于，批次数据库参数包括数据库地址、用户名、密码及参数中的至少一者。
9.如权利要求6所述的批处理系统，其特征在于，批次任务分区拉起pod，批次调度中心将批次任务分区相应的批次数据库的批次数据库参数传入到pod的启动应用参数中；批次应用启动时，pod根据批次数据库参数构建对应的批次数据源；批次执行操作时，pod通过批次数据源该批次数据库进行读写数据处理。
10.如权利要求6所述的批处理系统，其特征在于，批次调度中心根据批次读写数据的预估值对批次数据库进行扩展。
CN202010363013.0A 2020-04-30 2020-04-30 基于批次数据库的批处理任务执行方法及系统 Active CN111581243B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010363013.0A CN111581243B (zh) 2020-04-30 2020-04-30 基于批次数据库的批处理任务执行方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010363013.0A CN111581243B (zh) 2020-04-30 2020-04-30 基于批次数据库的批处理任务执行方法及系统

Publications (2)

Publication Number Publication Date
CN111581243A true CN111581243A (zh) 2020-08-25
CN111581243B CN111581243B (zh) 2023-04-18

Family

ID=72122761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010363013.0A Active CN111581243B (zh) 2020-04-30 2020-04-30 基于批次数据库的批处理任务执行方法及系统

Country Status (1)

Country Link
CN (1) CN111581243B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6874010B1 (en) * 1999-10-01 2005-03-29 Accenture Llp Base service architectures for netcentric computing systems
CN102810116A (zh) * 2012-06-29 2012-12-05 安科智慧城市技术（中国）有限公司 一种基于数据库连接的自动路由和负载均衡的方法及系统
CN103186444A (zh) * 2013-04-15 2013-07-03 北京搜狐新时代信息技术有限公司 一种性能测试方法、测试平台及测试机
US20170199787A1 (en) * 2016-01-13 2017-07-13 Salesforce.Com, Inc. Batch job processing using a database system
CN108509515A (zh) * 2018-03-09 2018-09-07 广州天维信息技术股份有限公司 一种监控数据库批处理的方法和系统
CN108920494A (zh) * 2018-05-21 2018-11-30 深圳市彬讯科技有限公司 多租户数据库的隔离访问方法、服务端以及存储介质
US20190171735A1 (en) * 2017-12-01 2019-06-06 Salesforce.Com, Inc. Data resolution system for management of distributed data
CN110222036A (zh) * 2013-07-09 2019-09-10 甲骨文国际公司 自动数据库迁移架构
CN110688211A (zh) * 2019-09-24 2020-01-14 四川新网银行股份有限公司 一种分布式作业调度方法
CN110727539A (zh) * 2019-12-19 2020-01-24 北京江融信科技有限公司 批处理任务中的异常处理方法、系统及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6874010B1 (en) * 1999-10-01 2005-03-29 Accenture Llp Base service architectures for netcentric computing systems
CN102810116A (zh) * 2012-06-29 2012-12-05 安科智慧城市技术（中国）有限公司 一种基于数据库连接的自动路由和负载均衡的方法及系统
CN103186444A (zh) * 2013-04-15 2013-07-03 北京搜狐新时代信息技术有限公司 一种性能测试方法、测试平台及测试机
CN110222036A (zh) * 2013-07-09 2019-09-10 甲骨文国际公司 自动数据库迁移架构
US20170199787A1 (en) * 2016-01-13 2017-07-13 Salesforce.Com, Inc. Batch job processing using a database system
US20190171735A1 (en) * 2017-12-01 2019-06-06 Salesforce.Com, Inc. Data resolution system for management of distributed data
CN108509515A (zh) * 2018-03-09 2018-09-07 广州天维信息技术股份有限公司 一种监控数据库批处理的方法和系统
CN108920494A (zh) * 2018-05-21 2018-11-30 深圳市彬讯科技有限公司 多租户数据库的隔离访问方法、服务端以及存储介质
CN110688211A (zh) * 2019-09-24 2020-01-14 四川新网银行股份有限公司 一种分布式作业调度方法
CN110727539A (zh) * 2019-12-19 2020-01-24 北京江融信科技有限公司 批处理任务中的异常处理方法、系统及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘文晓 等: "分布式实时数据库查询优化技术研究" *

Also Published As

Publication number Publication date
CN111581243B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN109313739B (zh) 用于提供工作流程的可视化的系统和方法
KR100517242B1 (ko) 컴퓨터 구현 모니터링 방법
US20090327319A1 (en) Hybrid data model and user interaction for data sets in a user interface
CN101510167A (zh) 一种插件运行的方法、装置及系统
CN111506556A (zh) 一种多源异构的结构化数据同步方法
US5838949A (en) System and method for execution-sequenced processing of electronic design simulation results
CN104391657A (zh) 一种安卓系统上挂载多分区存储设备的方法
WO2017200775A1 (en) System for providing and employing recommended resolution paths
CN105653716A (zh) 一种基于分类-属性-值的数据库构造方法和构造系统
CN111949832A (zh) 批量作业依赖关系的解析方法及装置
CN111784318A (zh) 数据处理方法、装置、电子设备及存储介质
US9886473B2 (en) Managing job status
CN111782452A (zh) 接口对比测试的方法、系统、设备和介质
CN115794213A (zh) 基于嵌入式系统的可配置对象管理方法、装置和设备
CN106874343B (zh) 一种时序数据库的数据删除方法及系统
US7529764B2 (en) GUI for data pipeline
CN106933857B (zh) 一种数据仓库中任务的调度方法、装置
CN111581243B (zh) 基于批次数据库的批处理任务执行方法及系统
JP2023553220A (ja) マルチインスタンスプロセスのためのプロセスマイニング
CN106648550B (zh) 用于并发执行任务的方法与设备
CN115617338A (zh) 一种业务页面快速生成方法、装置及可读存储介质
CN108710665B (zh) 数据回流方法、装置、系统及设备
CN115658248A (zh) 任务调度方法方法、装置、电子设备及存储介质
CN108279906A (zh) 在服务器上部署应用服务的方法和设备
CN110069481B (zh) 基于大数据的生产库数据统一清理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant