CN112363860A - 一种批处理作业异常中断检测方法及装置 - Google Patents
一种批处理作业异常中断检测方法及装置 Download PDFInfo
- Publication number
- CN112363860A CN112363860A CN202011252273.7A CN202011252273A CN112363860A CN 112363860 A CN112363860 A CN 112363860A CN 202011252273 A CN202011252273 A CN 202011252273A CN 112363860 A CN112363860 A CN 112363860A
- Authority
- CN
- China
- Prior art keywords
- abnormal
- batch
- batch processing
- fragment
- processing operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 121
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 103
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 239000012634 fragment Substances 0.000 claims description 50
- 238000004590 computer program Methods 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 9
- 238000012858 packaging process Methods 0.000 claims description 7
- 238000004806 packaging method and process Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 abstract description 31
- 230000007246 mechanism Effects 0.000 abstract description 18
- 238000012423 maintenance Methods 0.000 abstract description 9
- 238000013467 fragmentation Methods 0.000 abstract description 4
- 238000006062 fragmentation reaction Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0715—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a system implementing multitasking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0766—Error or fault reporting or storing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4812—Task transfer initiation or dispatching by interrupt, e.g. masked
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种批处理作业异常中断检测方法及装置，方法包括：对批处理作业数据进行分片后用多线程进行并发处理；在多线程并发处理的批处理作业数据中设置程序桩点；接收异常中断信息并利用设置的程序桩点进行异常问题定位。本申请过构建的异常中断机制及数据跟踪模块来获取异常中断的数据位置，提供相应信息给运维人员来解决数据或逻辑问题，而且，针对并行分片处理的异常中断，提供与主作业进行关联管理的异常中断处理机制，并基于异常中断处理机制提供了一套作业重提、断点续跑机制。
Description
技术领域
本申请属于批处理技术领域，具体地讲，涉及一种批处理作业异常中断检测方法及装置。
背景技术
批处理作业主要进行数据库的批量操作，在批处理业务场景中，由于设备故障、网络故障、程序逻辑错误、数据错误导致的批处理程序异常中断，如果异常处理不完善，会导致系统数据混乱、缺失。针对程序的异常中断问题，需要一套机制来协助运维人员进行问题定位，问题包括程序问题和数据问题，如果不能正确定位，则会导致系统不可用。X86系统单机器处理能力有限，批处理需要通过系统的并行能力和多AP协作进行。多机器协作运行时，对某片的异常会需要整个作业的异常传导，当前技术无法解决此问题。
发明内容
本申请提供了一种批处理作业异常中断检测方法及装置，通过建立一套程序中断检测机制，来发现程序异常，并根据异常机制进行后续的恢复、重跑、报警，以至少解决批处理作业的高可用、可运维性问题，提高批处理作业的问题定位能力。
根据本申请的一个方面，提供了一种批处理作业异常中断检测方法，包括：
对批处理作业数据进行分片后用多线程进行并发处理；
在多线程并发处理的批处理作业数据中设置程序桩点；
接收异常中断信息并利用设置的程序桩点进行异常问题定位。
在一实施例中，对批处理作业数据进行分片后用多线程进行并发处理，包括：
根据批处理作业数据中的任务ID和预先设置的分片文件路径、分片条数生成分片记录；
记录每个分片的起止位置并用多线程并发执行分片。
在一实施例中，在多线程并发处理的批处理作业数据中设置程序桩点，包括：
通过统一的入口对批处理作业数据进行封装；
实时将封装过程中文件的读位置信息和写位置信息记录至redis数据库中。
在一实施例中，接收异常中断信息并利用设置的程序桩点进行异常问题定位，包括：
根据批处理作业数据的分片信息从redis数据库中获取异常中断信息；
利用程序桩点对异常中断信息进行定位，判断异常中断发生的位置。
在一实施例中，批处理作业异常中断检测方法还包括：
收集异常中断信息并合并发送到异常报警组件中进行警告。
根据本申请的另一个方面，还提供了一种批处理作业异常中断检测装置，包括：
分片处理单元，用于对批处理作业数据进行分片后用多线程进行并发处理；
桩点设置单元，用于在多线程并发处理的批处理作业数据中设置程序桩点；
异常上报单元，用于接收异常中断信息并利用设置的程序桩点进行异常问题定位。
在一实施例中，分片处理单元包括：
分片生成模块，用于根据批处理作业数据中的任务ID和预先设置的分片文件路径、分片条数生成分片记录；
分片记录模块，用于记录每个分片的起止位置并用多线程并发执行分片。
在一实施例中，桩点设置单元包括：
统一封装模块，用于通过统一的入口对批处理作业数据进行封装；
实时写入模块，用于实时将封装过程中文件的读位置信息和写位置信息记录至redis数据库中。
在一实施例中，异常上报单元包括：
异常中断信息获取模块，用于根据批处理作业数据的分片信息从redis数据库中获取异常中断信息；
异常位置判断模块，用于利用程序桩点对异常中断信息进行定位，判断异常中断发生的位置。
在一实施例中，批处理作业异常中断检测装置还包括：
信息上报单元，用于收集异常中断信息并合并发送到异常报警组件中进行警告。
本申请建立了一套数据问题辅助跟踪机制和并行分片异常中断管理机制，当数据处理异常中断后，对发生的异常进行定位，并对数据修改后，对异常中断的批处理作业进行重提，通过数据访问代理的封装，再结合内存数据库redis的使用来帮助运维人员快速定位数据位置，并可以根据异常状态进行后续的处置。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的一种批处理作业异常中断检测方法流程图。
图2为本申请实施例中对批处理作业数据进行分片后多线程并发处理流程图。
图3为本申请实施例中程序桩点设置流程图。
图4为本申请实施例中异常问题定位流程图。
图5为本申请提供的一种批处理作业异常中断检测装置结构框图。
图6为本申请实施例中分片处理单元的结构框图。
图7为本申请实施例中桩点设置单元的结构框图。
图8为本申请实施例中异常上报单元的结构框图。
图9为本申请实施例中一种电子设备的具体实施方式。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
批处理作业主要进行数据库的批量操作，在批处理业务场景中，由于设备故障、网络故障、程序逻辑错误、数据错误导致的批处理程序异常中断，如果异常处理不完善，会导致系统数据混乱、缺失。针对程序的异常中断问题，需要一套机制来协助运维人员进行问题定位，问题包括程序问题和数据问题，如果不能正确定位，则会导致系统不可用，需要建立一套程序中断检测机制，来发现程序异常，并根据异常机制进行后续的恢复，重跑、报警。主要解决批处理作业的高可用、可运维性问题，提高批处理作业的问题定位能力。如图1所示，本申请提供了一种批处理作业异常中断检测方法，包括：
S101：对批处理作业数据进行分片后用多线程进行并发处理。
批处理作业提交后，根据数据分片策略，对数据进行分片，提供多AP、多线程并发处理，同时在Redis记录作业及作业分片规则、作业状态变更、作业分片状态变更信息。通过并行分片机制实现批处理的高性能计算。
在一实施例中，对批处理作业数据进行分片后用多线程进行并发处理，如图2所示，包括：
S201：根据批处理作业数据中的任务ID和预先设置的分片文件路径、分片条数生成分片记录。
S202：记录每个分片的起止位置并用多线程并发执行分片。
在一具体实施例中，针对任务ID进行设置分片策略，分片策略根据记录行数，设定每片处理的数据条数，数据分片主要解决一个数据文件如果是200万行，通过分片，可以让作业在但机器串行或并行，编程多机器并行，缩短单任务的处理时间，以达到缩短整个批处理时间的目的。分片方法为：根据批处理作业任务ID、分片文件路径、每片条数，读取文件并计算分片数，并生成分片记录，并记录每分片的起、止位置供分片执行使用。
S102：在多线程并发处理的批处理作业数据中设置程序桩点。
在一实施例中，在多线程并发处理的批处理作业数据中设置程序桩点，如图3所示，包括：
S301：通过统一的入口对批处理作业数据进行封装。
S302：实时将封装过程中文件的读位置信息和写位置信息记录至redis数据库中。
在一具体实施例中，批处理作业主要涉及文件、数据表访问信息等，通过统一的入口对涉及的文件、数据表访问信息进行封装适配，并在封装过程中实时记录文件的读、写位置信息到redis数据库中，此数据主要用于后续异常中断后的异常定位，协助技术人员定位问题所在并修复问题。
S103：接收异常中断信息并利用设置的程序桩点进行异常问题定位。
在一实施例中，接收异常中断信息并利用设置的程序桩点进行异常问题定位，如图4所示，包括：
S401：根据批处理作业数据的分片信息从redis数据库中获取异常中断信息。
S402：利用程序桩点对异常中断信息进行定位，判断异常中断发生的位置。
异常中断主要涉及两方面，作业的异常中断，及分片程序的异常中断，通过状态传递机制来维护一套异常中断状态表，用于作业的重提、重跑处理。
在一具体实施例中，批处理作业或程序异常中断后，将错误信息发送至kafka消息中间件到异常中断检测组件，异常检测组件发现异常后，将根据作业、作业分片信息等从redis数据库中获取异常信息，并合并发送到中断异常报警组件，通过短信或邮件，监控界面相一线运维人员提供帮助。
在一实施例中，批处理作业异常中断检测方法还包括：
收集异常中断信息并合并发送到异常报警组件中进行警告。
在一具体实施例中，批处理程序或作业异常中断后，需要及时向一线运维人员发出告警，并提供作业异常状态、程序错误逻辑位置、当前处理数据位置等信息。
大数据并行作业，主要利用多机器的处理能力来解决性能瓶颈，所以，批处理作业基本是基于数据进行分片处理，每台AP只处理单一分片数据，如果某分片批处理出现异常，需要传导给整批作业，然后根据异常中断处置策略，来进行后续的作业处置运维。
基于同一发明构思，本申请实施例还提供了一种批处理作业异常中断检测装置，可以用于实现上述实施例中所描述的方法，如下面实施例所述。由于该批处理作业异常中断检测装置解决问题的原理与批处理作业异常中断检测方法相似，因此批处理作业异常中断检测装置的实施可以参见批处理作业异常中断检测方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
如图5所示，本申请提供了一种批处理作业异常中断检测装置，包括：
分片处理单元501，用于对批处理作业数据进行分片后用多线程进行并发处理；
桩点设置单元502，用于在多线程并发处理的批处理作业数据中设置程序桩点；
异常上报单元503，用于接收异常中断信息并利用设置的程序桩点进行异常问题定位。
在一实施例中，如图6所示，分片处理单元501包括：
分片生成模块601，用于根据批处理作业数据中的任务ID和预先设置的分片文件路径、分片条数生成分片记录；
分片记录模块602，用于记录每个分片的起止位置并用多线程并发执行分片。
在一实施例中，如图7所示，桩点设置单元502包括：
统一封装模块701，用于通过统一的入口对批处理作业数据进行封装；
实时写入模块702，用于实时将封装过程中文件的读位置信息和写位置信息记录至redis数据库中。
在一实施例中，如图8所示，异常上报单元503包括：
异常中断信息获取模块801，用于根据批处理作业数据的分片信息从redis数据库中获取异常中断信息；
异常位置判断模块802，用于利用程序桩点对异常中断信息进行定位，判断异常中断发生的位置。
在一实施例中，批处理作业异常中断检测装置还包括：
信息上报单元，用于收集异常中断信息并合并发送到异常报警组件中进行警告。
本申请通过构建的异常中断机制及数据跟踪模块来获取异常中断的数据位置，提供相应信息给运维人员来解决数据或逻辑问题，而且，针对并行分片处理的异常中断，提供与主作业进行关联管理的异常中断处理机制，并基于异常中断处理机制提供了一套作业重提、断点续跑机制。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本申请的实施例还提供能够实现上述实施例中的方法中全部步骤的一种电子设备的具体实施方式，参见图9，所述电子设备具体包括如下内容：
处理器(processor)901、内存902、通信接口(Communications Interface)903、总线904和非易失性存储器905；
其中，所述处理器901、内存902、通信接口903通过所述总线904完成相互间的通信；
所述处理器901用于调用所述内存902和非易失性存储器905中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的方法中的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
S101对批处理作业数据进行分片后用多线程进行并发处理。
S102在多线程并发处理的批处理作业数据中设置程序桩点。
S103接收异常中断信息并利用设置的程序桩点进行异常问题定位。
本申请的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
S101对批处理作业数据进行分片后用多线程进行并发处理。
S102在多线程并发处理的批处理作业数据中设置程序桩点。
S103接收异常中断信息并利用设置的程序桩点进行异常问题定位。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。虽然本说明书实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。
在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。以上所述仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。
Claims (10)
1.一种批处理作业异常中断检测方法，其特征在于，包括：
对批处理作业数据进行分片后用多线程进行并发处理；
在多线程并发处理的批处理作业数据中设置程序桩点；
接收异常中断信息并利用设置的程序桩点进行异常问题定位。
2.根据权利要求1所述的批处理作业异常中断检测方法，其特征在于，所述对批处理作业数据进行分片后用多线程进行并发处理，包括：
根据批处理作业数据中的任务ID和预先设置的分片文件路径、分片条数生成分片记录；
记录每个分片的起止位置并用多线程并发执行分片。
3.根据权利要求1所述的批处理作业异常中断检测方法，其特征在于，所述在多线程并发处理的批处理作业数据中设置程序桩点，包括：
通过统一的入口对批处理作业数据进行封装；
实时将封装过程中文件的读位置信息和写位置信息记录至redis数据库中。
4.根据权利要求1所述的批处理作业异常中断检测方法，其特征在于，所述接收异常中断信息并利用设置的程序桩点进行异常问题定位，包括：
根据批处理作业数据的分片信息从redis数据库中获取异常中断信息；
利用程序桩点对所述异常中断信息进行定位，判断异常中断发生的位置。
5.根据权利要求4所述的批处理作业异常中断检测方法，其特征在于，还包括：
收集异常中断信息并合并发送到异常报警组件中进行警告。
6.一种批处理作业异常中断检测装置，其特征在于，包括：
分片处理单元，用于对批处理作业数据进行分片后用多线程进行并发处理；
桩点设置单元，用于在多线程并发处理的批处理作业数据中设置程序桩点；
异常上报单元，用于接收异常中断信息并利用设置的程序桩点进行异常问题定位。
7.根据权利要求6所述的批处理作业异常中断检测装置，其特征在于，所述分片处理单元包括：
分片生成模块，用于根据批处理作业数据中的任务ID和预先设置的分片文件路径、分片条数生成分片记录；
分片记录模块，用于记录每个分片的起止位置并用多线程并发执行分片。
8.根据权利要求6所述的批处理作业异常中断检测装置，其特征在于，所述桩点设置单元包括：
统一封装模块，用于通过统一的入口对批处理作业数据进行封装；
实时写入模块，用于实时将封装过程中文件的读位置信息和写位置信息记录至redis数据库中。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至5中任一项所述批处理作业异常中断检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5中任一项所述批处理作业异常中断检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011252273.7A CN112363860A (zh) | 2020-11-11 | 2020-11-11 | 一种批处理作业异常中断检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011252273.7A CN112363860A (zh) | 2020-11-11 | 2020-11-11 | 一种批处理作业异常中断检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112363860A true CN112363860A (zh) | 2021-02-12 |
Family
ID=74515737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011252273.7A Pending CN112363860A (zh) | 2020-11-11 | 2020-11-11 | 一种批处理作业异常中断检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112363860A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112925697A (zh) * | 2021-03-30 | 2021-06-08 | 中国建设银行股份有限公司 | 作业差异监控方法、装置、设备及介质 |
| CN113094185A (zh) * | 2021-04-13 | 2021-07-09 | 中国工商银行股份有限公司 | 数据库批量程序并行数据处理异常检测方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102110052A (zh) * | 2011-03-03 | 2011-06-29 | 华中科技大学 | 一种程序行为动态剖析的并行加速方法 |
| CN104252402A (zh) * | 2014-09-05 | 2014-12-31 | 深圳创维数字技术有限公司 | 一种程序调试方法及装置 |
| CN106201892A (zh) * | 2016-07-20 | 2016-12-07 | 中国航空工业集团公司航空动力控制系统研究所 | 用于嵌入式软件的异常中断源定位检测方法 |
| CN108595313A (zh) * | 2018-03-08 | 2018-09-28 | 北京三快在线科技有限公司 | 应用程序的日志生成方法、装置、电子设备及存储介质 |
| US20190188114A1 (en) * | 2017-12-19 | 2019-06-20 | Ca, Inc. | Generation of diagnostic experiments for evaluating computer system performance anomalies |
| CN110362475A (zh) * | 2019-06-17 | 2019-10-22 | 北京奇艺世纪科技有限公司 | 一种信息获取方法、装置、终端设备及存储介质 |
| CN110866834A (zh) * | 2019-10-12 | 2020-03-06 | 中国平安财产保险股份有限公司 | 批处理程序的执行方法及系统 |
-
2020
- 2020-11-11 CN CN202011252273.7A patent/CN112363860A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102110052A (zh) * | 2011-03-03 | 2011-06-29 | 华中科技大学 | 一种程序行为动态剖析的并行加速方法 |
| CN104252402A (zh) * | 2014-09-05 | 2014-12-31 | 深圳创维数字技术有限公司 | 一种程序调试方法及装置 |
| CN106201892A (zh) * | 2016-07-20 | 2016-12-07 | 中国航空工业集团公司航空动力控制系统研究所 | 用于嵌入式软件的异常中断源定位检测方法 |
| US20190188114A1 (en) * | 2017-12-19 | 2019-06-20 | Ca, Inc. | Generation of diagnostic experiments for evaluating computer system performance anomalies |
| CN108595313A (zh) * | 2018-03-08 | 2018-09-28 | 北京三快在线科技有限公司 | 应用程序的日志生成方法、装置、电子设备及存储介质 |
| CN110362475A (zh) * | 2019-06-17 | 2019-10-22 | 北京奇艺世纪科技有限公司 | 一种信息获取方法、装置、终端设备及存储介质 |
| CN110866834A (zh) * | 2019-10-12 | 2020-03-06 | 中国平安财产保险股份有限公司 | 批处理程序的执行方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112925697A (zh) * | 2021-03-30 | 2021-06-08 | 中国建设银行股份有限公司 | 作业差异监控方法、装置、设备及介质 |
| CN112925697B (zh) * | 2021-03-30 | 2024-03-01 | 中国建设银行股份有限公司 | 作业差异监控方法、装置、设备及介质 |
| CN113094185A (zh) * | 2021-04-13 | 2021-07-09 | 中国工商银行股份有限公司 | 数据库批量程序并行数据处理异常检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112612675B (zh) | 微服务架构下的分布式大数据日志链路跟踪方法及系统 | |
| CN109039740B (zh) | 一种处理运维监控告警的方法及设备 | |
| CN110046073B (zh) | 一种日志采集方法及装置、设备、存储介质 | |
| CN110650036A (zh) | 告警处理方法、装置及电子设备 | |
| CN112363860A (zh) | 一种批处理作业异常中断检测方法及装置 | |
| CN112416724B (zh) | 告警处理方法、系统、计算机设备和存储介质 | |
| WO2016188100A1 (zh) | 信息系统故障场景信息收集方法及系统 | |
| CN105550113A (zh) | Web测试方法与测试机 | |
| CN111881014B (zh) | 一种系统测试方法、装置、存储介质及电子设备 | |
| CN109508295B (zh) | 区块链共识算法测试方法、装置、计算装置和存储介质 | |
| CN109144873B (zh) | 一种linux内核处理方法及装置 | |
| CN113162808B (zh) | 存储链路故障处理方法及装置、电子设备和存储介质 | |
| CN111314137A (zh) | 信息通信网络自动化运维方法、装置、存储介质和处理器 | |
| CN107783879B (zh) | 一种用于分析工作流执行路径的方法与设备 | |
| CN110990289A (zh) | 一种自动提交bug的方法、装置、电子设备及存储介质 | |
| CN110940874B (zh) | 一种核电站变压器保护装置的校验方法、服务器及介质 | |
| CN114500249B (zh) | 一种根因定位方法和装置 | |
| CN110928663A (zh) | 一种跨平台多线程监控方法及装置 | |
| CN115567366A (zh) | 网络故障影响的分析方法、装置、存储介质及电子设备 | |
| KR101288535B1 (ko) | 통신 시스템 모니터링 방법 및 이를 위한 장치 | |
| CN114416420A (zh) | 设备问题反馈方法和系统 | |
| CN115525568A (zh) | 代码覆盖率的巡检方法、装置、计算机设备及存储介质 | |
| CN115913314A (zh) | 中继卫星地面站数据中继任务流程监控方法、装置及系统 | |
| CN113360389A (zh) | 一种性能测试方法、装置、设备及存储介质 | |
| CN109672573B (zh) | 一种配置文件的部署方法、确定方法、服务器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |