CN111078506A - 业务数据跑批任务监控方法及装置 - Google Patents

业务数据跑批任务监控方法及装置 Download PDF

Info

Publication number
CN111078506A
CN111078506A CN201911374383.8A CN201911374383A CN111078506A CN 111078506 A CN111078506 A CN 111078506A CN 201911374383 A CN201911374383 A CN 201911374383A CN 111078506 A CN111078506 A CN 111078506A
Authority
CN
China
Prior art keywords
task
batch
monitoring
data
service data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911374383.8A
Other languages
English (en)
Inventor
俞浩
刘利刚
陈世强
徐雅光
李晓东
严琳
韩路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN201911374383.8A priority Critical patent/CN111078506A/zh
Publication of CN111078506A publication Critical patent/CN111078506A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Probability & Statistics with Applications (AREA)
  • Accounting & Taxation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Fuzzy Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例提供一种业务数据跑批任务监控方法及装置，方法包括：对预设的分布式文件系统中的各个业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测；根据各个所述跑批结果数据的变化监测结果，判断各个所述业务数据跑批任务是否分别在各自对应的跑批预设时间间隔内完成，若存在任一业务数据跑批任务未在对应的跑批预设时间间隔内完成，则判定该业务数据跑批任务出现异常。本申请能够直接锁定业务数据跑批任务对应的跑批结果数据，并能够有效提高跑批任务异常监测的精确性及可靠性。

Description

业务数据跑批任务监控方法及装置
技术领域
本申请涉及数据处理技术领域，具体涉及业务数据跑批任务监控方法及装置。
背景技术
在金融领域中，跑批，也即大数据批量处理是银行运转中不可获取的一部分业务，各个银行均采用自身的跑批程序，各个银行都有自己的跑批程序和跑批流程，通过企业在银行开的公户中生成当月的营业收入和支出，以批量形成系统总账并进行大批量交易，比如结息，计提及代付等等，并批量形成系统报表。
目前大数据批量任务监控，大多数都是采集线上业务数据进行分析或者抓取任务代码中的异常信息来进行监控。
然而，现有的大多数采集系统数据进行分析或者抓取任务代码中的异常信息来进行监控，不够精确。
发明内容
针对现有技术中的问题，本申请提供一种业务数据跑批任务监控方法及装置，能够直接锁定业务数据跑批任务对应的跑批结果数据，并能够有效提高跑批任务异常监测的精确性及可靠性。
为解决上述技术问题，本申请提供以下技术方案：
第一方面，本申请提供一种业务数据跑批任务监控方法，包括：
对预设的分布式文件系统中的各个业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测；
根据各个所述跑批结果数据的变化监测结果，判断各个所述业务数据跑批任务是否分别在各自对应的跑批预设时间间隔内完成，若存在任一业务数据跑批任务未在对应的跑批预设时间间隔内完成，则判定该业务数据跑批任务出现异常。
进一步地，还包括：
发出针对出现异常的业务数据跑批任务的告警信息。
进一步地，所述对预设的分布式文件系统中的各个业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测，包括：
应用预设的各个监控任务，对所述分布式文件系统中的各个所述业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测；
若监测到任一业务数据跑批任务的跑批结果数据发生变化，则获取该跑批结果数据对应的变化数据作为该跑批结果数据的变化监测结果。
进一步地，在所述应用预设的各个监控任务，对所述分布式文件系统中的各个所述业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测之前，还包括：
对关系型数据库管理系统中的各个所述监控任务进行初始化处理，且各个所述监控任务与各个所述业务数据跑批任务之间一一对应。
进一步地，所述若监测到任一业务数据跑批任务的跑批结果数据发生变化，则获取该跑批结果数据对应的变化数据作为该跑批结果数据的变化监测结果，包括：
若任一监控任务监测到对应的业务数据跑批任务的跑批结果数据发生变化，则将该跑批结果数据对应的变化数据更新至所述关系型数据库管理系统中。
进一步地，在所述判断各个所述业务数据跑批任务是否分别在各自对应的跑批预设时间间隔内完成之后，还包括：
自所述关系型数据库管理系统中获取用于表示各个所述跑批结果数据的变化监测结果的目标表；
将所述目标表发送至预设的显示页面中进行显示。
第二方面，本申请提供一种业务数据跑批任务监控装置，包括：
变化监测模块，用于对预设的分布式文件系统中的各个业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测；
跑批异常监控模块，用于根据各个所述跑批结果数据的变化监测结果，判断各个所述业务数据跑批任务是否分别在各自对应的跑批预设时间间隔内完成，若存在任一业务数据跑批任务未在对应的跑批预设时间间隔内完成，则判定该业务数据跑批任务出现异常。
进一步地，还包括：
告警模块，用于发出针对出现异常的业务数据跑批任务的告警信息。
进一步地，所述变化监测模块包括：
监控任务执行单元，用于应用预设的各个监控任务，对所述分布式文件系统中的各个所述业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测；
变化数据获取单元，用于若监测到任一业务数据跑批任务的跑批结果数据发生变化，则获取该跑批结果数据对应的变化数据作为该跑批结果数据的变化监测结果。
进一步地，还包括：
监控任务初始化模块，用于对关系型数据库管理系统中的各个所述监控任务进行初始化处理，且各个所述监控任务与各个所述业务数据跑批任务之间一一对应。
进一步地，所述变化数据获取单元具体用于执行下述内容：
若任一监控任务监测到对应的业务数据跑批任务的跑批结果数据发生变化，则将该跑批结果数据对应的变化数据更新至所述关系型数据库管理系统中。
进一步地，还包括：
目标表获取模块，用于自所述关系型数据库管理系统中获取用于表示各个所述跑批结果数据的变化监测结果的目标表；
显示模块，用于将所述目标表发送至预设的显示页面中进行显示。
第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的业务数据跑批任务监控方法。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的业务数据跑批任务监控方法。
由上述技术方案可知，本申请提供的一种业务数据跑批任务监控方法及装置，方法包括：对预设的分布式文件系统中的各个业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测；根据各个所述跑批结果数据的变化监测结果，判断各个所述业务数据跑批任务是否分别在各自对应的跑批预设时间间隔内完成，若存在任一业务数据跑批任务未在对应的跑批预设时间间隔内完成，则判定该业务数据跑批任务出现异常，能够直接锁定业务数据跑批任务对应的跑批结果数据，并能够有效提高跑批任务异常监测的精确性及可靠性，且监测过程高效，无需采集线上业务数据即能够实现对业务数据跑批过程的监控，进而能够有效提高银行跑批系统的运行可靠性和稳定性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中的业务数据跑批任务监控方法的流程示意图。
图2为本申请实施例中的包含有步骤300的业务数据跑批任务监控方法的流程示意图。
图3为本申请实施例中的业务数据跑批任务监控方法中的步骤100的具体流程示意图。
图4为本申请实施例中的包含有步骤010的业务数据跑批任务监控方法的流程示意图。
图5为本申请实施例中的业务数据跑批任务监控方法中的步骤020和步骤030的具体流程示意图。
图6为本申请应用实例中的业务数据跑批任务监控方法的流程示意图。
图7为本申请应用实例中的业务数据跑批任务监控系统的结构示意图。
图8为本申请应用实例中的业务数据跑批任务监控系统的具体监控逻辑示意图。
图9为本申请实施例中的业务数据跑批任务监控装置的结构示意图。
图10为本申请实施例中的包含有告警模块的业务数据跑批任务监控装置的结构示意图。
图11为本申请实施例中的业务数据跑批任务监控装置中的变化监测模块的结构示意图。
图12为本申请实施例中的包含有监控任务初始化模块的业务数据跑批任务监控装置的结构示意图。
图13为本申请实施例中的包含有目标表获取模块和显示模块的业务数据跑批任务监控装置的结构示意图。
图14为本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在绝大部分银行的大数据批量任务中，加工存储清洗之后的数据都会存放在数据仓库工具hive中，而hive的底层元数据就在hadoop分布式文件系统HDFS中，为了精准的监控任务是否正常运行，本申请根据HDFS的元数据增减变化来精准的监控大数据批量任务是否正常运行，具体通过在MySQL中初始化需要监控任务信息，编写Scala以及shell代码，监控HDFS中的数据变化来对MySQL更新，对于一定时间(提前设定阈值)没有进行更新的任务，进行短信告警。
在本申请的一个或多个实施例中，Hadoop是一种由Apache基金会所开发的分布式系统基础架构。
在本申请的一个或多个实施例中，Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转化为MapReduce任务进行运行。
在本申请的一个或多个实施例中，Scala是一门多范式的编程语言。
为了通过直接锁定业务数据跑批任务对应的跑批结果数据，来有效提高跑批任务异常监测的精确性及可靠性，本申请提供一种业务数据跑批任务监控方法的实施例，参见图1，所述业务数据跑批任务监控方法具体包含有如下内容：
步骤100：对预设的分布式文件系统中的各个业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测。
可以理解的是，所述分布式文件系统即为HDFS，hive表中元数据信息存储在HDFS目录下，如果离线大数据任务跑批成功，结果表如果是分区表的话，HDFS下会生成当天的日期目录；如果是非分区表，HDFS中的元数据信息文件会有变化；因此可以利用这些变化信息进行监控。
步骤200：根据各个所述跑批结果数据的变化监测结果，判断各个所述业务数据跑批任务是否分别在各自对应的跑批预设时间间隔内完成，若存在任一业务数据跑批任务未在对应的跑批预设时间间隔内完成，则判定该业务数据跑批任务出现异常。
为了有效提高业务数据跑批任务监控异常处理的效率及可靠性，以进一步提高银行跑批系统的运行可靠性和稳定性，在本申请的业务数据跑批任务监控方法的一个实施例中，参见图2，所述业务数据跑批任务监控方法中的步骤200之后还具体包含有如下内容：
步骤300：发出针对出现异常的业务数据跑批任务的告警信息。
为了有效提高对预设的分布式文件系统中的各个业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测的可靠性，在本申请的业务数据跑批任务监控方法的一个实施例中，参见图3，所业务数据跑批任务监控方法中的步骤100具体包含有如下内容：
步骤101：应用预设的各个监控任务，对所述分布式文件系统中的各个所述业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测。
可以理解的是，需要对不同业务日期的任务进行HDFS数据变化的信息获取。
步骤102：若监测到任一业务数据跑批任务的跑批结果数据发生变化，则获取该跑批结果数据对应的变化数据作为该跑批结果数据的变化监测结果。
为了有效提高监控任务的应用可靠性，以进一步提高银行跑批系统的运行可靠性和稳定性，在本申请的业务数据跑批任务监控方法的一个实施例中，参见图4，所业务数据跑批任务监控方法中的步骤100之前还具体包含有如下内容：
步骤010：对关系型数据库管理系统中的各个所述监控任务进行初始化处理，且各个所述监控任务与各个所述业务数据跑批任务之间一一对应。
可以理解的是，所述监控任务可以设置在关系型数据库管理系统MySQL中的一目标表中。通过对MySQL中的监控任务进行初始化，并编写监控HDFS中的数据变化的Scala和shell代码，目的为了读取表中任务信息，对任务进行精确监控和告警。
为了有效提高跑批结果数据的变化监测结果的获取可靠性，以进一步提高银行跑批系统的运行可靠性和稳定性，在本申请的业务数据跑批任务监控方法的一个实施例中，所业务数据跑批任务监控方法中的步骤102具体包含有如下内容：
若任一监控任务监测到对应的业务数据跑批任务的跑批结果数据发生变化，则将该跑批结果数据对应的变化数据更新至所述关系型数据库管理系统中。
为了有效提高业务数据跑批任务异常监控的准确性和监控效率，以进一步提高银行跑批系统的运行可靠性和稳定性，在本申请的业务数据跑批任务监控方法的一个实施例中，参见图5，所业务数据跑批任务监控方法还具体包含有如下内容：
步骤020：自所述关系型数据库管理系统中获取用于表示各个所述跑批结果数据的变化监测结果的目标表。
步骤030：将所述目标表发送至预设的显示页面中进行显示。
基于上述内容，为了进一步说明本方案，本申请还提供一种业务数据跑批任务监控方法的具体应用实例，参见图6，所述业务数据跑批任务监控方法具体包含有如下内容：
S1：初始化MySQL中的监控任务信息。
S2：启动程序，获取HDFS数据信息，更新MySQL。
S3：Java读取MySQL中信息，发送到前端页面展示。
S4：用短信将告警信息发送目标手机。
具体的业务数据跑批任务监控方法可以由如图7所示的数据读取模块、数据分析模块(监控)、前端展示模块和短信发送模块组成的业务数据跑批任务监控系统实现，且具体监控逻辑如图8所示，其中，batch_no为变化数据，batch_no加1后为t_batch_no；tablename为表的标识名称，UPT_TIME为目标表中的日期字段，BATCH_NO为目标表中用于存储变化数据字段。
MySQL目标表：初始化任务信息和更新任务信息。
增加新的任务时需要对MySQL目标表进行更新。
数据读取模块：根据Scala代码和shell代码读取HDFS中的数据变化信息，更新到MySQL中。
前端展示模块：前端页面读取MySQL目标表，根据表中数据进行告警展示
警告依据MySQL表中的上一个跑批成功的日期，与目前时间的差值，与所设置阈值作比较，阈值设定根据跑批所用时间设定。
短信发送模块：一旦出现告警，利用短信平台发送短信。
在上述过程中，在根据对HDFS数据监控的方式来监控任务的基础上，还需要实现确定hive中的数据存储方式和表的特性，同时通过增加较多的参数配置，能够符合测试要求，使得本业务数据跑批任务监控方法及系统均部署简单且易于扩展，可以自行扩展需要实现的功能。
从软件层面来说，为了通过直接锁定业务数据跑批任务对应的跑批结果数据，来有效提高跑批任务异常监测的精确性及可靠性，本申请提供一种用于实现所述业务数据跑批任务监控方法的全部或部分内容的业务数据跑批任务监控装置的实施例，参见图9，所述业务数据跑批任务监控装置具体包含有如下内容：
变化监测模块10，用于对预设的分布式文件系统中的各个业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测。
跑批异常监控模块20，用于根据各个所述跑批结果数据的变化监测结果，判断各个所述业务数据跑批任务是否分别在各自对应的跑批预设时间间隔内完成，若存在任一业务数据跑批任务未在对应的跑批预设时间间隔内完成，则判定该业务数据跑批任务出现异常。
为了有效提高业务数据跑批任务监控异常处理的效率及可靠性，以进一步提高银行跑批系统的运行可靠性和稳定性，在本申请的业务数据跑批任务监控装置的一个实施例中，参见图10，所述业务数据跑批任务监控装置还具体包含有如下内容：
告警模块30，用于发出针对出现异常的业务数据跑批任务的告警信息。
为了有效提高对预设的分布式文件系统中的各个业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测的可靠性，在本申请的业务数据跑批任务监控装置的一个实施例中，参见图11，所业务数据跑批任务监控装置中的变化监测模块10具体包含有如下内容：
监控任务执行单元11，用于应用预设的各个监控任务，对所述分布式文件系统中的各个所述业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测。
变化数据获取单元12，用于若监测到任一业务数据跑批任务的跑批结果数据发生变化，则获取该跑批结果数据对应的变化数据作为该跑批结果数据的变化监测结果。
为了有效提高监控任务的应用可靠性，以进一步提高银行跑批系统的运行可靠性和稳定性，在本申请的业务数据跑批任务监控装置的一个实施例中，参见图12，所业务数据跑批任务监控装置中还具体包含有如下内容：
监控任务初始化模块01，用于对关系型数据库管理系统中的各个所述监控任务进行初始化处理，且各个所述监控任务与各个所述业务数据跑批任务之间一一对应。
为了有效提高跑批结果数据的变化监测结果的获取可靠性，以进一步提高银行跑批系统的运行可靠性和稳定性，在本申请的业务数据跑批任务监控装置的一个实施例中，所业务数据跑批任务监控装置中的变化数据获取单元12具体用于执行下述内容：
若任一监控任务监测到对应的业务数据跑批任务的跑批结果数据发生变化，则将该跑批结果数据对应的变化数据更新至所述关系型数据库管理系统中。
为了有效提高业务数据跑批任务异常监控的准确性和监控效率，以进一步提高银行跑批系统的运行可靠性和稳定性，在本申请的业务数据跑批任务监控装置的一个实施例中，参见图13，所业务数据跑批任务监控装置还具体包含有如下内容：
目标表获取模块02，用于自所述关系型数据库管理系统中获取用于表示各个所述跑批结果数据的变化监测结果的目标表。
显示模块03，用于将所述目标表发送至预设的显示页面中进行显示。
从硬件层面来说，为了通过直接锁定业务数据跑批任务对应的跑批结果数据，来有效提高跑批任务异常监测的精确性及可靠性，本申请提供一种用于实现所述业务数据跑批任务监控方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现电子设备与用户终端以及相关数据库等相关设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例中的业务数据跑批任务监控方法的实施例，以及，业务数据跑批任务监控装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
图14为本申请实施例的电子设备9600的系统构成的示意框图。如图14所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图14是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
在一实施例中，业务数据跑批任务监控功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
步骤100：对预设的分布式文件系统中的各个业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测。
可以理解的是，所述分布式文件系统即为HDFS，hive表中元数据信息存储在HDFS目录下，如果离线大数据任务跑批成功，结果表如果是分区表的话，HDFS下会生成当天的日期目录；如果是非分区表，HDFS中的元数据信息文件会有变化；因此可以利用这些变化信息进行监控。
步骤200：根据各个所述跑批结果数据的变化监测结果，判断各个所述业务数据跑批任务是否分别在各自对应的跑批预设时间间隔内完成，若存在任一业务数据跑批任务未在对应的跑批预设时间间隔内完成，则判定该业务数据跑批任务出现异常。
从上述描述可知，本申请实施例提供的电子设备，能够直接锁定业务数据跑批任务对应的跑批结果数据，并能够有效提高跑批任务异常监测的精确性及可靠性，且监测过程高效，无需采集线上业务数据即能够实现对业务数据跑批过程的监控，进而能够有效提高银行跑批系统的运行可靠性和稳定性。
在另一个实施方式中，业务数据跑批任务监控装置可以与中央处理器9100分开配置，例如可以将业务数据跑批任务监控装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现业务数据跑批任务监控功能。
如图14所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图14中所示的所有部件；此外，电子设备9600还可以包括图14中没有示出的部件，可以参考现有技术。
如图14所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的业务数据跑批任务监控方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的业务数据跑批任务监控方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤100：对预设的分布式文件系统中的各个业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测。
可以理解的是，所述分布式文件系统即为HDFS，hive表中元数据信息存储在HDFS目录下，如果离线大数据任务跑批成功，结果表如果是分区表的话，HDFS下会生成当天的日期目录；如果是非分区表，HDFS中的元数据信息文件会有变化；因此可以利用这些变化信息进行监控。
步骤200：根据各个所述跑批结果数据的变化监测结果，判断各个所述业务数据跑批任务是否分别在各自对应的跑批预设时间间隔内完成，若存在任一业务数据跑批任务未在对应的跑批预设时间间隔内完成，则判定该业务数据跑批任务出现异常。
从上述描述可知，本申请实施例提供的计算机可读存储介质，能够直接锁定业务数据跑批任务对应的跑批结果数据，并能够有效提高跑批任务异常监测的精确性及可靠性，且监测过程高效，无需采集线上业务数据即能够实现对业务数据跑批过程的监控，进而能够有效提高银行跑批系统的运行可靠性和稳定性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种业务数据跑批任务监控方法，其特征在于，包括：
对预设的分布式文件系统中的各个业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测；
根据各个所述跑批结果数据的变化监测结果，判断各个所述业务数据跑批任务是否分别在各自对应的跑批预设时间间隔内完成，若存在任一业务数据跑批任务未在对应的跑批预设时间间隔内完成，则判定该业务数据跑批任务出现异常。
2.根据权利要求1所述的业务数据跑批任务监控方法，其特征在于，还包括：
发出针对出现异常的业务数据跑批任务的告警信息。
3.根据权利要求1所述的业务数据跑批任务监控方法，其特征在于，所述对预设的分布式文件系统中的各个业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测，包括：
应用预设的各个监控任务，对所述分布式文件系统中的各个所述业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测；
若监测到任一业务数据跑批任务的跑批结果数据发生变化，则获取该跑批结果数据对应的变化数据作为该跑批结果数据的变化监测结果。
4.根据权利要求3所述的业务数据跑批任务监控方法，其特征在于，在所述应用预设的各个监控任务，对所述分布式文件系统中的各个所述业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测之前，还包括：
对关系型数据库管理系统中的各个所述监控任务进行初始化处理，且各个所述监控任务与各个所述业务数据跑批任务之间一一对应。
5.根据权利要求4所述的业务数据跑批任务监控方法，其特征在于，所述若监测到任一业务数据跑批任务的跑批结果数据发生变化，则获取该跑批结果数据对应的变化数据作为该跑批结果数据的变化监测结果，包括：
若任一监控任务监测到对应的业务数据跑批任务的跑批结果数据发生变化，则将该跑批结果数据对应的变化数据更新至所述关系型数据库管理系统中。
6.根据权利要求5所述的业务数据跑批任务监控方法，其特征在于，在所述判断各个所述业务数据跑批任务是否分别在各自对应的跑批预设时间间隔内完成之后，还包括：
自所述关系型数据库管理系统中获取用于表示各个所述跑批结果数据的变化监测结果的目标表；
将所述目标表发送至预设的显示页面中进行显示。
7.一种业务数据跑批任务监控装置，其特征在于，包括：
变化监测模块，用于对预设的分布式文件系统中的各个业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测；
跑批异常监控模块，用于根据各个所述跑批结果数据的变化监测结果，判断各个所述业务数据跑批任务是否分别在各自对应的跑批预设时间间隔内完成，若存在任一业务数据跑批任务未在对应的跑批预设时间间隔内完成，则判定该业务数据跑批任务出现异常。
8.根据权利要求7所述的业务数据跑批任务监控装置，其特征在于，还包括：
告警模块，用于发出针对出现异常的业务数据跑批任务的告警信息。
9.根据权利要求7所述的业务数据跑批任务监控装置，其特征在于，所述变化监测模块包括：
监控任务执行单元，用于应用预设的各个监控任务，对所述分布式文件系统中的各个所述业务数据跑批任务分别对应的跑批结果数据进行实时的变化监测；
变化数据获取单元，用于若监测到任一业务数据跑批任务的跑批结果数据发生变化，则获取该跑批结果数据对应的变化数据作为该跑批结果数据的变化监测结果。
10.根据权利要求9所述的业务数据跑批任务监控装置，其特征在于，还包括：
监控任务初始化模块，用于对关系型数据库管理系统中的各个所述监控任务进行初始化处理，且各个所述监控任务与各个所述业务数据跑批任务之间一一对应。
11.根据权利要求10所述的业务数据跑批任务监控装置，其特征在于，所述变化数据获取单元具体用于执行下述内容：
若任一监控任务监测到对应的业务数据跑批任务的跑批结果数据发生变化，则将该跑批结果数据对应的变化数据更新至所述关系型数据库管理系统中。
12.根据权利要求11所述的业务数据跑批任务监控装置，其特征在于，还包括：
目标表获取模块，用于自所述关系型数据库管理系统中获取用于表示各个所述跑批结果数据的变化监测结果的目标表；
显示模块，用于将所述目标表发送至预设的显示页面中进行显示。
13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述的业务数据跑批任务监控方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述的业务数据跑批任务监控方法。
CN201911374383.8A 2019-12-27 2019-12-27 业务数据跑批任务监控方法及装置 Pending CN111078506A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911374383.8A CN111078506A (zh) 2019-12-27 2019-12-27 业务数据跑批任务监控方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911374383.8A CN111078506A (zh) 2019-12-27 2019-12-27 业务数据跑批任务监控方法及装置

Publications (1)

Publication Number Publication Date
CN111078506A true CN111078506A (zh) 2020-04-28

Family

ID=70318334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911374383.8A Pending CN111078506A (zh) 2019-12-27 2019-12-27 业务数据跑批任务监控方法及装置

Country Status (1)

Country Link
CN (1) CN111078506A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858542A (zh) * 2020-06-22 2020-10-30 中国平安财产保险股份有限公司 数据处理方法、装置、设备及计算机可读存储介质
CN112667469A (zh) * 2020-12-25 2021-04-16 通号智慧城市研究设计院有限公司 一种多元化大数据统计报告自动生成方法、系统及可读介质
CN112686557A (zh) * 2021-01-04 2021-04-20 北京金风慧能技术有限公司 风力发电机组累积量确定方法、装置、设备、系统及介质
CN114240109A (zh) * 2021-12-06 2022-03-25 中电金信软件有限公司 一种跨区域处理跑批任务的方法、装置及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105573892A (zh) * 2015-12-21 2016-05-11 农信银资金清算中心有限责任公司 业务数据跑批方法和系统
CN108415768A (zh) * 2017-02-09 2018-08-17 财付通支付科技有限公司 一种数据批处理方法与系统
CN110308980A (zh) * 2019-06-27 2019-10-08 深圳前海微众银行股份有限公司 数据的批量处理方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105573892A (zh) * 2015-12-21 2016-05-11 农信银资金清算中心有限责任公司 业务数据跑批方法和系统
CN108415768A (zh) * 2017-02-09 2018-08-17 财付通支付科技有限公司 一种数据批处理方法与系统
CN110308980A (zh) * 2019-06-27 2019-10-08 深圳前海微众银行股份有限公司 数据的批量处理方法、装置、设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858542A (zh) * 2020-06-22 2020-10-30 中国平安财产保险股份有限公司 数据处理方法、装置、设备及计算机可读存储介质
CN111858542B (zh) * 2020-06-22 2023-10-27 中国平安财产保险股份有限公司 数据处理方法、装置、设备及计算机可读存储介质
CN112667469A (zh) * 2020-12-25 2021-04-16 通号智慧城市研究设计院有限公司 一种多元化大数据统计报告自动生成方法、系统及可读介质
CN112686557A (zh) * 2021-01-04 2021-04-20 北京金风慧能技术有限公司 风力发电机组累积量确定方法、装置、设备、系统及介质
CN114240109A (zh) * 2021-12-06 2022-03-25 中电金信软件有限公司 一种跨区域处理跑批任务的方法、装置及系统

Similar Documents

Publication Publication Date Title
CN111078506A (zh) 业务数据跑批任务监控方法及装置
CN111782470B (zh) 分布式容器日志数据处理方法及装置
CN112835688A (zh) 分布式事务处理方法、设备及存储介质
CN112035676B (zh) 用户操作行为知识图谱构建方法及装置
CN109359139A (zh) 数据同步方法、系统、电子设备及计算机可读存储介质
CN111324480A (zh) 大型主机交易故障定位系统及方法
CN112766827A (zh) 资产盘点数据自动化处理方法及装置
CN112784112A (zh) 报文校验方法及装置
CN111383104A (zh) 基金投资监督指标的获取方法及装置
CN113760611B (zh) 系统站点切换方法、装置、电子设备及存储介质
CN115098020A (zh) 一种存储管理方法、装置及存储介质
CN113672488A (zh) 日志文本处理方法及装置
CN113051094A (zh) 监管数据报送测试方法及装置
CN113052347A (zh) 基于5g消息的外币预约方法、装置及系统
CN116860601A (zh) 协同调试方法、装置、网关、服务端及系统
CN114490402A (zh) 一种报文字段合法性检查方法及装置
CN108924270B (zh) 终端联系人信息的更新方法、服务器及存储介质
CN113515447A (zh) 系统自动化测试方法及装置
CN113791984A (zh) 接口自动化测试方法及装置
CN111953847A (zh) 客户端消息风险提醒方法、装置及系统
CN114371866A (zh) 业务系统的版本重构测试方法、装置和设备
CN111859041A (zh) 数据报送方法及装置
CN111930620B (zh) 应用运行环境数据处理方法及装置
CN112699156B (zh) 数据处理方法及装置、存储介质及电子终端
US20240152504A1 (en) Data interaction method, apparatus, and electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200428