CN107783879B - 一种用于分析工作流执行路径的方法与设备 - Google Patents
一种用于分析工作流执行路径的方法与设备 Download PDFInfo
- Publication number
- CN107783879B CN107783879B CN201610755110.8A CN201610755110A CN107783879B CN 107783879 B CN107783879 B CN 107783879B CN 201610755110 A CN201610755110 A CN 201610755110A CN 107783879 B CN107783879 B CN 107783879B
- Authority
- CN
- China
- Prior art keywords
- execution
- path information
- workflow
- information
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请的目的是提供一种用于分析工作流执行路径的方法与设备。具体地,获取工作流实例的执行日志;根据所述执行日志生成执行路径信息;通过比较所述执行路径信息与所述工作流类型对应的标准路径信息确定所述工作流实例中的异常信息。与现有技术相比,本申请通过获取与工作流类型对应的工作流实例的执行日志,根据所述执行日志生成执行路径信息;通过比较所述执行路径信息与所述工作流类型对应的标准路径信息确定所述工作流实例中的异常信息,从而实现工作流执行过程中的自动化运维,获得工作流实例执行的结构化路径,并自动分析出执行过程中的问题,减少人力成本,提升问题分析和定位效率。
Description
技术领域
本申请涉及计算机领域,尤其涉及一种用于分析工作流执行路径的技术。
背景技术
随着计算机产业规模的扩大,许多业务在执行过程中会由包含一个或多个工作流,工作流中所包括业务中的若干任务按既定规则执行。在工作流的执行过程中出现的问题,往往会依赖第三方的监控平台进行监控和上报,例如,当出现执行失败的情况,抓取执行日志并显示到业务的监控平台,或直接进行业务报警。然而,现有技术无法实现工作流执行过程的自动化运维,仅可对任务的执行状态如调度中、执行中、完成、失败等进行查询,且当执行过程中出现的问题,需要人工查找调用路径,进而通过执行路径定位和发现问题所在。
发明内容
本申请的一个目的是提供一种用于分析工作流执行路径的方法与设备,用以解决工作流执行过程中无法自动化运维的问题。
为实现上述目的,根据本申请的一个方面,本申请提供了一种用于分析工作流执行路径的方法,该方法解决了工作流执行过程中无法自动化运维的问题,该方法包括:
获取工作流实例的执行日志,其中,所述工作流实例对应工作流类型;
根据所述执行日志生成执行路径信息;
通过比较所述执行路径信息与所述工作流类型对应的标准路径信息确定所述工作流实例中的异常信息。
根据本申请的另一个方面,本申请还提供一种用于分析工作流执行路径的方法,该方法解决了工作流执行过程中无法自动化运维的问题,该方法包括:
获取工作流实例的执行日志;
根据所述执行日志生成执行路径信息;
通过比较所述执行路径信息与标准路径信息,确定所述工作流实例中的异常信息。
根据本申请的另一个方面,本申请提供了一种用于分析工作流执行路径的设备,该设备解决了工作流执行过程中无法自动化运维的问题,该设备包括:
日志获取装置,用于获取工作流实例的执行日志,其中,所述工作流实例对应工作流类型;
执行路径信息生成装置,用于根据所述执行日志生成执行路径信息;
异常确定装置,用于通过比较所述执行路径信息与所述工作流类型对应的标准路径信息确定所述工作流实例中的异常信息。
根据本申请的另一个方面,本申请还提供一种用于分析工作流执行路径的设备,该设备解决了工作流执行过程中无法自动化运维的问题,该设备包括:
日志获取装置,用于获取工作流实例的执行日志;
执行路径信息生成装置,用于根据所述执行日志生成执行路径信息;
异常确定装置,用于通过比较所述执行路径信息与标准路径信息,确定所述工作流实例中的异常信息。
与现有技术相比,本申请通过获取与工作流类型对应的工作流实例的执行日志,根据所述执行日志生成执行路径信息,其中包含与所述工作流实例中被执行任务相对应的节点;通过比较所述执行路径信息与所述工作流类型对应的标准路径信息确定所述工作流实例中的异常信息,从而实现工作流执行过程中的自动化运维,获得工作流实例执行的结构化路径,并自动分析出执行过程中的问题,减少人力成本,提升问题分析和定位效率。进一步地,将工作流实例执行的结构化路径进行反馈,从而展示工作流执行轨迹。更进一步地,分析工作流实例执行过程中的时间相关信息并识别其中异常,从而完善对工作流执行过程中问题的定位。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请另一个方面的一种用于分析工作流执行路径的方法流程图;
图2示出根据本申请一个方面的一种用于分析工作流执行路径的设备示意图;
图3示出根据本申请另一个方面的一种用于分析工作流执行路径的设备示意图;
图4示出根据本申请另一个方面的一种优选实例的包含时间相关信息的串行执行路径信息示意图;
图5示出根据本申请另一个方面的一种优选实例的包含时间相关信息的并行执行路径信息示意图;
图6示出根据本申请另一个优选实例的工作流执行路径分析组件示意图;
图7示出根据本申请另一个优选实例的工作流执行路径分析示意图;
图8示出根据本申请另一个优选实例的异常串行执行路径信息示意图;
图9示出根据本申请另一个优选实例的异常并行执行路径信息示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
根据本申请一个方面的一种用于分析工作流执行路径的方法。所述方法包括:步骤S1、步骤S2、步骤S3。
其中,在步骤S1中设备1获取工作流实例的执行日志,其中,所述工作流实例对应工作流类型;在步骤S2中设备1根据所述执行日志生成执行路径信息;在步骤S3中设备1通过比较所述执行路径信息与所述工作流类型对应的标准路径信息确定所述工作流实例中的异常信息。
具体地,在步骤S1中设备1获取工作流实例的执行日志,其中,所述工作流实例对应工作流类型。所述工作流是指在计算机应用环境下自动化执行的业务流程,在工作流中会对某个业务的工作流程及其各操作任务之间业务规则进行抽象和概括描述。当工作流对应的业务较为复杂时,为了方便跟踪和监控,会将业务分解为若干子业务,每个子业务均有对应的工作流。所述工作流实例是指实例化后的工作流,即在具体的应用场景中,将所抽象和概括后的工作流程和操作任务赋予实际应用场景中的数据,使得工作流在计算机应用环境中顺利执行。所述执行日志是指工作流实例在计算机应用环境中执行时,所产生的日志。执行日志记录了工作流中各个任务在执行过程中的详细信息,如某一任务的执行程度,执行时间、执行次数、执行结果等。所述工作流类型是指未实例化的工作流,对应一个使用场景中的业务。工作流类型中包含若干所需执行的任务,每个任务根据执行时的时序,对应串行或并行的执行方式。例如,创建虚拟主机VM(virtual machine)属于一个业务,对应一个创建虚拟主机的工作流类型,这一工作流类型中包括分配网络和分片资源两个任务,在某个实际应用场景中需要创建虚拟主机,则将这一应用场景中的实际网络信息和资源信息带入创建虚拟主机的工作流类型进行实例化,从而得到这一应用场景中的一个工作流实例。工作流实例根据实际数据执行分片网络和分片资源的任务,在执行过程中产生这一应用场景中创建虚拟主机的执行日志。
因此,获取工作流实例的执行日志,是指获取工作流实例在某个应用场景中执行时所产生的日志,例如,执行到哪一步,执行结果是成功是还是失败这样记录流水事务的日志。在此,执行日志从每个工作流节点中收集。所述工作流节点包括在节点集合中,节点集合用于执行工作流实例中的任务。工作流实例下的每个任务都会在这一节点集合中的某一节点执行。执行日志的获取方式包括但不限于如下方法:使用日志收集工作获取;直接调取后台日志;工作流节点设置为周期性上报日志。例如图6和图7所示,其中箭头的方向是指调用关系,顺着箭头的方向从调用源指向被调用方。在图6和图7中使用日志收集工具获取执行日志,日志收集工具将工作流节点上的所有日志汇总,然后提供统一的调用接口给使用方,通过统一的API调用接口对日志进行抓取。日志收集工具有很多类型,阿里云的sls产品为其中优选的一种日志收集工具。所获取的执行日志用于分析工作流的执行路径,从而生成路径信息,分析其中异常情况。
本领域技术人员应能理解上述获取执行日志的方式仅为举例,其他现有的或今后可能出现的获取执行日志的方式如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
优选地,所述工作流类型是与所述工作流实例对应的使用场景相适应。是指通过预定义的方式确定工作流类型,定义时的依据为具体的使用场景。例如创建虚拟机是一个使用场景,这个使用场景中创建虚拟机包括分配网络和分片资源两个任务,此时,将创建虚拟机定义为一个工作流类型。在此,使用场景区别于实际应用场景,实际应用场景中包含可供任务执行的具体数据。例如,创建虚拟机这一工作流类型,在执行分片网络和分片资源两个任务时,需要获取所能进行分配的网络名称和详细参数,以及资源的具体位置等信息。在工作流类型中,将每个工作流类型中的任务按照执行时的既定时序,排列串行或并行的执行方式。工作流类型与场景相适应,使得在业务在执行时可以快速实例化,继而迅速进入执行过程。且根据工作流类型可获知在任务完美执行的情况下的执行顺序,从而在实际应用场景中结合执行日志分析工作流实例的执行情况。
接着,在步骤S2中设备1根据所述执行日志生成执行路径信息。所述执行路径信息是指根据工作流的执行日志生成的具有一定规则和逻辑的数据结构或拓扑。例如图4和图5所示,两个工作流实例均为树状结构,以任务为节点,以执行顺序为主线,属于一种执行路径信息。工作流实例A和工作流实例B均包含多个工作流活动,即工作流实例中的任务。其中,工作流实例A所包括的任务有1~4一共四个,均按照不变的时序按串行执行的方式进行的。因此,工作流实例A的执行路径信息图如图4所示,按时间推移的顺序,在直线上从上往下每个箭头所指向的节点即为一个任务,当上一个任务完成后,顺着直线往下一次执行每个任务。生成执行路径实例的执行路径信息包括但不限于所举例的树状结构,其它根据执行日志中的执行时序和逻辑,生成或聚合的结构均包含于此。在此所生成的执行路径信息的方法,适用于根据工作流类型生成标准路径结。
优选地,所述执行路径信息包含与所述工作流实例中被执行任务相对应的节点。其中,所述被执行任务是指包括在工作流实例中需要按一定时序被执行的任务。任务的具体执行内容预先设置,或根据工作流实例的实际情况而定,例如释放一个特定的磁盘空间,创建一个名字为A的文件等。
接上文举例,图4和图5中的工作流实例A和工作流实例B均包含多个工作流活动,即工作流实例中的任务。其中,工作流实例A所包括的任务有1~4一共四个,均按照不变的时序按串行执行的方式进行的。因此,工作流实例A的执行路径信息图如图4所示,按时间推移的顺序,在直线上从上往下每个箭头所指向的节点即为一个任务,当上一个任务完成后,顺着直线往下一次执行每个任务。如图5所示,在工作流实例B中同样包括的任务1~4,这四个任务与图4一样,属于顺序执行任务。其中工作流活动2对应的任务2节点,在图中分出了并列分岔的三个子任务1~3,代表子任务1~3并行执行。即当任务2中并行执行的子任务均完成后方认为任务2完成,继续任务3。此处所举例图5中的并行子任务,属于二级树状结构,根据工作流实例的不同还可有多级子任务,例如子任务1中包含2个并行的二级子任务,此时子任务1对应的任务节点再分出两个分岔,代表二级子任务。
优选地,所述执行路径信息的数据结构为树状结构。其中,所述树状结构是指根据所述被执行任务的时序,将所述工作流实例中的任务以时间为主线,每个任务为树状结构的分支所形成的数据结构。例如图4和图5所示,即为树状结构的执行路径信息,以执行时间从早到晚为主线,先被执行的任务在上,后执行的任务在下。所述树状结构便于对工作流实例中的执行任务进行观察和比较,从而提高运维效率。
本领域技术人员应能理解上述生成执行路径信息的方式仅为举例,其他现有的或今后可能出现的生成执行路径信息的方式如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
优选地,所述步骤S2包括:根据所述工作流实例的标识信息,在所述执行日志中确定工作流实例对应的执行日志;以所述工作流实例对应的执行日志中被执行任务为节点,根据所述被执行任务在所述执行日志中的执行记录生成执行路径信息。
所述工作流实例的标识信息,是指用于标记工作流实例以区别于其它工作流实例的信息。例如,在每个工作流实例化时赋予这一工作流实例一个ID,当工作流实例在执行时,所产生的执行日志中均记录这一工作流实例的ID。所述在所述执行日志中确定工作流实例对应的执行日志,是指当从执行节点集合中获取执行日志后,因为此时所获取的执行日志所对应的工作流实例不止一个。因此根据所需分析的工作流实例的ID进行检索,即可从执行日志中将这一工作流实例对应的执行日志快速辨别并获取。
所述执行记录是指所述被执行任务在执行时,在执行日志中所记录的,这一任务的执行时间、执行结果、执行次数等信息。将被执行任务作为节点,按照任务的执行时间顺序生成执行路径信息,并将其执行次数、执行结果、执行时间等信息附在每个节点上。例如图8和图9所示,是执行路径信息的几个示例,其中活动即指被执行任务,在图中被执行任务作为节点,按照执行的时间先后顺序,排列在执行路径信息中,并将执行次数、执行结果异常,以及未执行的相关日志记录信息附在节点中,从而便于在与标准路径信息比较时,快速发现和定位异常。
优选地,所述执行路径信息包括以下至少一种项:保持执行时序的串行执行路径信息;具有并行执行子任务的并行执行路径信息。其中,所述串行执行路径信息是指工作流实例中所包含的任务是按照一定时序顺序执行的,当上个任务执行完再执行下个任务。如图4所示,工作流实例A的四个工作流活动即为工作流任务,这四个任务按串行执行的方式从上往下顺序进行。属于同一工作流类型的工作流实例,则工作流实例中任务的在不出错的执行情况下的执行路径均相同,是按照同样串行时序进行的。所述并行执行路径信息是指工作流实例中所包含的任务没有严格的时间执行次序,可以并发执行。例如在串行执行的任务中有任务包含二级或多级子任务,这些子任务是并发执行不需要按照严格的时序进行,当主任务所包含的子任务均执行完成再按时序执行下个主任务。如图5所示,主任务是串行执行的,对应串行执行路径信息。其中,工作流活动2(任务2)中包含三个并行子任务,在图5中子任务对应对应并行执行路径信息。在并行执行路径信息中,每个子任务并发执行,时序上可以无序,但需要等待任务2的并行子任务全部执行完成,才可以继续顺序执行主任务中的工作流活动3(任务3)。在此,所生成的执行路径信息的执行类型属于串行还是并行,是根据执行日志中的实际时序和规则进行,每个被执行任务对应执行路径信息中的一个节点,节点之间的连接根据执行的顺序决定。接着,在步骤S3中设备1通过比较所述执行路径信息与所述工作流类型对应的标准路径信息确定所述工作流实例中的异常信息。所述工作流类型对应的标准路径信息,是指工作流类型中所包含的任务都按要求成功执行的情况下所生成的路径信息,是完美执行情况下的预定义模板。例如图4和图5中所示的执行路径信息即为标准路径信息,其中所包含的所有任务均按要求成功执行。若在工作流实例实际执行过程中出现任务执行失败或重复执行等错误,则所生成的执行路径则会如图8和图9所示。所述异常新信息是指工作流实例中任务在执行过程所发生的错误执行、任务丢失、错序执行、重复执行等异常执行的情况。
对于某一个工作流实例,比较这一工作流实例的执行路径信息与标准路径信息,即可从两者的差异中分析出工作流实例在执行过程中是否存在异常情况。比较方法包括但不限于,比较路径信息中任务所对应的节点,查看任务的执行是否成功,任务执行的次数是否大于一次,任务执行次序是否正确,是否有任务未曾执行。可以采用深度遍历的方式,对执行路径信息与标准路径信息中的节点依次比较。例如,工作流类型对应的标准路径信息有三个任务节点A、B、C,这三个任务按照A→B→C的串行顺序执行,其中任务C包含有三个并行子任务节点E、F、G。工作流实例对应的执行路径信息,有对应于A、B、C的三个任务节点A1、B1、C1,任务C1有并行的子任务节点E1、F1、G1。在比较时,按照任务的执行顺序,对比A和A1,B和B1,E和E1,F和F1,G和G1,C和C1。若A1没有执行,则在对比A和A1时可发现A1任务未执行的异常情况;若B1执行了4次,而B中的标准情况为执行1次,则在对比B和B1时可发现B1任务重复执行的异常情况。
又例如图4所示,是一种工作流类型对应的标准路径信息。若在实际执行过程中,工作流活动3对应的任务3没有被执行,而直接跳至工作流活动4对应的任务4。因此根据工作流实例的执行日志所生成的执行路径信息,对应如图8中最右侧所示的情况。将图8中最右侧的执行路径信息与图4中标准路径信息进行比较,会发现图8中缺失了一个任务的执行,确定工作流实例发生了任务遗漏执行的异常情况。在比较的过程中,可如图6或图7中“路径分析”所示,根据路径信息所对应的串行和并行的不同分类进行对比,从而提高比较效率。通过对比执行和标准路径信息确定异常情况,实现了工作流实例分析自动化,节约人力成本,提升问题定位效率。
本领域技术人员应能理解上述确定工作流实例异常情况的方式仅为举例,其他现有的或今后可能出现的确定工作流实例异常情况的方式如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
优选地,比较所述串行执行路径信息与所述工作流类型对应的标准路径信息,确定所述工作流实例中被执行任务在执行过程中所产生的异常信息,所述异常信息包括:错误执行、重复执行、错序执行中的一种或几种。是指将工作流实例所对应的串行路径信息与标准路径信息进行比较,判断在工作流实例中每个被执行的任务是否在执行过程中发生过异常。例如图7所示,在“路径分析”阶段,将串行执行路径信息中的每个任务节点与标准结构路径中的任务节点进行比较和分析。在串行执行路径的分析过程中所出现的异常信息包括:错误执行、重复执行、错序执行。对于同一串行路径执行结构,任务在执行过程中出现的异常情况会包括以上所列举异常中的一种或几种。
优选地,比较所述并行执行路径信息与所述工作流类型对应的标准路径信息,确定所述工作流实例中被执行任务在执行过程中所产生的异常信息,所述异常信息包括:错误执行、重复执行、任务丢失中的一种或几种。是指将工作流实例所对应的并行路径信息与标准路径信息进行比较,判断在工作流实例中每个被执行的任务是否在执行过程中发生过异常。例如图7所示,可在“路径分析”阶段,对并行执行路径信息进行比较。其中,当并行执行路径信息为某主任务的次级子任务时,对主任务的执行路径信息和子任务的执行路径信息分别进行比较。在并行执行路径的分析过程中所出现的异常信息包括:错误执行、重复执行、任务丢失。对于同一并行路径执行结构,任务在执行过程中出现的异常情况会包括以上所列举异常中的一种或几种。
通过将串行执行路径信息与并行执行路径信息分别进行比较和分析异常情况,使得分析和比较过程更有针对性。
其中,所述错误执行是指工作流实例中的任务执行时发生了错误导致任务没有成功执行完成的情况。这一异常信息在串行执行结构和并行执行结构的比较中均会发生。例如工作流实例中的任务没有执行完,卡在任务a上持续返回错误,无法继续走向下一个任务b进行执行;或者任务a不断的重试导致任务b无法执行,但不限于上述情况,这取决于每个工作流的重试策略。通过串行执行路径信息与标准执行结构的比较,可发现任务错误执行的异常。例如,在图8中将最左侧工作流实例A’的串行执行路径信息与图4中的标准路径信息进行比较,发现活动3和活动4对应的任务节点,在图8和图4中分别比较时,两张图中的节点情况是不相同的,进一步分析发现串行执行路径信息活动3对应的任务异常导致活动4对应的任务未能执行,属于错误执行的异常情况。
所述重复执行是指工作流实例在某一任务对应的节点运行了两次及以上。也就是该任务被重复执行,但最终可能会被成功执行。任务的重复执行可能是业务的错误重试导致,也有可能是工作流框架的重复调用但不限于上述情况。这一异常信息在串行执行结构和并行执行结构的比较中均会发生。例如图8中工作流实例A”的串行执行路径信息,与图4中的标准路径信息比较,其中活动3对应的任务节点被执行不止一次,则判断为重复执行的异常情况。又例如图9中右侧所示的工作流实例B”的并行执行路径信息,与图5中的标准路径信息比较,其中活动2对应的主任务节点所包含的三个子任务中一共有超过三次的执行记录,则判断为重复执行的异常情况,进一步分析发现其中子任务3执行超过了一次。
所述错序执行是指任务在执行的过程中发生了执行次序的错乱,而导致应该被执行的任务被跳过,或者是有先后执行次序的任务的时序发生混乱。这一异常信息在对执行时序有严格要求的串行执行路径信息中发生。有可能是工作流的执行顺序发生了异常,也有可能是业务代码不正常结束导致。例如图8最右侧间工作流实例A”’的串行执行路径信息,通过与图4中的标准路径信息比较,发现应当先行执行的活动3对应的任务节点未有执行记录,而活动4对应的任务节点则成功执行,属于错序执行的异常情况。
所述任务丢失是指任务的执行过程中任务直接被丢失没有执行。这一异常信息在并行执行路径信息中发生。例如图9所示,工作流实例B’的并行执行路径信息,与图5中的标准路径信息比较,发现活动2对应的子任务应该有三个被执行,但是在并行执行路径中显示仅有两个,判断属于丢失的异常情况。
图1示出根据本申请另一个方面的一种用于分析工作流执行路径的方法流程图。所述方法包括:步骤S1、步骤S2、步骤S3、步骤S5、步骤S6。
其中,在步骤S1中设备1获取工作流实例的执行日志,其中,所述工作流实例对应工作流类型;在步骤S2中设备1根据所述执行日志生成执行路径信息;在步骤S3中设备1通过比较所述执行路径信息与所述标准路径信息确定所述工作流实例中的异常信息;在步骤S5中设备1通过比较预设异常阈值与所述时间相关信息确定所述工作流实例中的异常信息,其中,所述时间相关信息与所述节点对应,通过分析被执行任务的所述执行日志获取;在步骤S6中设备1展示所述执行路径信息。
在此,图1中步骤S1、S2与上文中步骤S1、S2相同或相似,不再赘述。
优选地,所述方法包括步骤S4(未示出),在步骤S4中设备1所述标准路径信息是根据所述工作流类型所生成。是指工作流类型中所包含的任务都按要求成功执行的情况下所生成的路径信息,是一次执行成功情况所对应的预定义模板。标准路径信息的生成方式,例如根据预定义的工作流类型中所既定的任务,参考其执行时序,执行次序等情况生成。假设图4和图5中所示,是两个标准执行结构,若是在实际的执行过程中出现异常情况,则所生成的执行路径则会如图8和图9所示,代表任务的节点有所缺失,或同一个任务不止被执行过一次。生成标准路径信息,可从一开始预定义工作流类型即对应生成,从而在工作流实例执行后找到对应的工作流类型,继而直接找到标准路径信息,与执行路径信息进行比较和分析,从而确定异常。或者在工作流实例执行后找到对应工作流类型,进而即时生成对应的标准路径信息,再进一步进行标准路径信息和执行路径信息的比较分析。但不限于上述所列举的情况,在开始分析执行路径信息之前生成即可。生成标准路径信息后,可以进一步与工作流实例对应执行路径信息进行对比从而分析得出异常。
本领域技术人员应能理解上述生成标准路径信息的方式仅为举例,其他现有的或今后可能出现的生成标准路径信息的方式如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
接着,在步骤S3中设备1通过比较所述执行路径信息与所述标准路径信息确定所述工作流实例中的异常信息。对于某一个工作流实例,比较这一工作流实例的执行路径信息与标准路径信息,即可从两者的差异中分析出工作流实例在执行过程中是否存在异常情况。比较方法包括但不限于,比较路径信息中任务所对应的节点,查看任务的执行是否成功,任务执行的次数是否大于一次,任务执行次序是否正确,是否有任务未曾执行。例如图4所示,是一种工作流类型对应的标准路径信息。若在实际执行过程中,工作流活动3对应的任务3没有被执行,而直接跳至工作流活动4对应的任务4。因此根据工作流实例的执行日志所生成的执行路径信息,对应如图8中最右侧所示的情况。将图8中最右侧的执行路径信息与图4中标准路径信息进行比较,会发现图8中缺失了一个任务的执行,确定工作流实例发生了任务遗漏执行的异常情况。在比较的过程中,可如图6或图7中“路径分析”所示,根据路径信息所对应的串行和并行的不同分类进行对比,从而提高比较效率。通过对比执行和标准路径信息确定异常情况,实现了工作流实例分析自动化,节约人力成本,提升问题定位效率。
接着,在步骤S5中设备1通过比较预设异常阈值与所述时间相关信息确定所述工作流实例中的异常信息,其中,所述时间相关信息与所述节点对应,通过分析被执行任务的所述执行日志获取。所述时间相关信息是指在工作流实例的执行过程中,每个任务的执行时间、消耗占比、以及执行次数等在执行过程中与时间相关的执行信息。时间相关信息可从执行日志中直接提取。所述时间相关信息可以单独存储,或如图4和图5所示在每个任务对应的执行路径信息节点上附带这些时间信息,从而便于读取和定位对应的任务的与时间相关的异常情况。
所述预设异常阈值是指用户或执行程序中所预设的,针对每个工作流类型中任务的时间相关数据的标准。当超过异常阈值对应的数值,则判定对应的时间相关信息中对应的数据有异常,继而可以判定这一任务在执行时有时间相关的异常。例如图6或图9中所示的“路径分析”组件中的“执行时间统计”即为对这一判断过程的执行。例如,会分析如活动执行时间、占比、执行次数,将数据进行统计,并根据设定的异常阈值判断是否属于超时或异常的日志,并将异常情况记录下来。分析包含在每个任务对应节点中的执行时间,活动在整个工作流任务时间消耗占比,以及每个任务的重入次数等数据,可以帮助业务快速定位问题所在行结果判断问题所在,提供了一个更完善的问题定位方法。
本领域技术人员应能理解上述判定时间相关异常的方式仅为举例,其他现有的或今后可能出现的判定时间相关异常的方式如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
接着,在步骤S6中设备1展示所述执行路径信息。因为根据所述执行路径信息即可对任务执行路径跟踪,对每个工作流实例会跟踪其执行路径轨迹,因此可以集中式存储方式记录整个任务的执行轨迹,并且将执行路径信息返回给调用端,例如图4、图5、图8、图9中所举例的树状结构可以让用户简单明了的查看工作流的执行情况,并直观看出其中发生异常的节点,例如在发生异常情况后,在如图6或图7的“异常处理”组件的工作过程中将基于路径分析结果,展现给前端用户。优选地,可预定义重点关注的工作里,在这些敏感的工作流实例发现异常后,会及时做报警处理。
本领域技术人员应能理解上述展示和处理执行路径信息的方式仅为举例,其他现有的或今后可能出现的展示和处理执行路径信息的方式如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
根据本申请一个方面的一种用于分析工作流执行路径的方法,包括:
步骤S01:获取工作流实例的执行日志;
步骤S02:根据所述执行日志生成执行路径信息;
步骤S03:通过比较所述执行路径信息与标准路径信息,确定所述工作流实例中的异常信息。
其中,在所述步骤S01中,所述工作流是指在计算机应用环境下自动化执行的业务流程,在工作流中会对某个业务的工作流程及其各操作任务之间业务规则进行抽象和概括描述。当工作流对应的业务较为复杂时,为了方便跟踪和监控,会将业务分解为若干子业务,每个子业务均有对应的工作流。所述工作流实例是指实例化后的工作流,即在具体的应用场景中,将所抽象和概括后的工作流程和操作任务赋予实际应用场景中的数据,使得工作流在计算机应用环境中顺利执行。所述执行日志是指工作流实例在计算机应用环境中执行时,所产生的日志。执行日志记录了工作流中各个任务在执行过程中的详细信息,如某一任务的执行程度,执行时间、执行次数、执行结果等。
获取工作流实例的执行日志,是指获取工作流实例在某个应用场景中执行时所产生的日志,例如,执行到哪一步,执行结果是成功是还是失败这样记录流水事务的日志。在此,执行日志从每个工作流节点中收集。所述工作流节点包括在节点集合中,节点集合用于执行工作流实例中的任务。工作流实例下的每个任务都会在这一节点集合中的某一节点执行。执行日志的获取方式包括但不限于如下方法:使用日志收集工作获取;直接调取后台日志;工作流节点设置为周期性上报日志。例如图6和图7所示,其中箭头的方向是指调用关系,顺着箭头的方向从调用源指向被调用方。在图6和图7中使用日志收集工具获取执行日志,日志收集工具将工作流节点上的所有日志汇总,然后提供统一的调用接口给使用方,通过统一的API调用接口对日志进行抓取。日志收集工具有很多类型,阿里云的sls产品为其中优选的一种日志收集工具。所获取的执行日志用于分析工作流的执行路径,从而生成路径信息,分析其中异常情况。
本领域技术人员应能理解上述获取执行日志的方式仅为举例,其他现有的或今后可能出现的获取执行日志的方式如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在所述步骤S02中,所述执行路径信息是指根据工作流的执行日志生成的具有一定规则和逻辑的数据结构或拓扑。例如图4和图5所示,两个工作流实例均为树状结构,以任务为节点,以执行顺序为主线,属于一种执行路径信息。工作流实例A和工作流实例B均包含多个工作流活动,即工作流实例中的任务。其中,工作流实例A所包括的任务有1~4一共四个,均按照不变的时序按串行执行的方式进行的。因此,工作流实例A的执行路径信息图如图4所示,按时间推移的顺序,在直线上从上往下每个箭头所指向的节点即为一个任务,当上一个任务完成后,顺着直线往下一次执行每个任务。生成执行路径实例的执行路径信息包括但不限于所举例的树状结构,其它根据执行日志中的执行时序和逻辑,生成或聚合的结构均包含于此。
在所述步骤S03中,所述标准路径信息是对应于工作流实例,所预设的用于比较工作流实例是否一次执行成功的路径信息的模板。对于某一个工作流实例,比较这一工作流实例的执行路径信息与标准路径信息,即可从两者的差异中分析出工作流实例在执行过程中是否存在异常情况。比较方法包括但不限于,比较路径信息中任务所对应的节点,查看任务的执行是否成功,任务执行的次数是否大于一次,任务执行次序是否正确,是否有任务未曾执行。例如图4所示,是一种标准路径信息。若在实际执行过程中,工作流活动3对应的任务3没有被执行,而直接跳至工作流活动4对应的任务4。因此根据工作流实例的执行日志所生成的执行路径信息,对应如图8中最右侧所示的情况。将图8中最右侧的执行路径信息与图4中标准路径信息进行比较,会发现图8中缺失了一个任务的执行,确定工作流实例发生了任务遗漏执行的异常情况。在比较的过程中,可如图6或图7中“路径分析”所示,根据路径信息所对应的串行和并行的不同分类进行对比,从而提高比较效率。通过对比执行和标准路径信息确定异常情况,实现了工作流实例分析自动化,节约人力成本,提升问题定位效率。
图2示出根据本申请一个方面的一种用于分析工作流执行路径的设备示意图。所述设备1包括:日志获取装置11、执行路径信息生成装置12、异常确定装置13。
其中,日志获取装置11获取工作流实例的执行日志,其中,所述工作流实例对应工作流类型;执行路径信息生成装置12根据所述执行日志生成执行路径信息;异常确定装置13通过比较所述执行路径信息与所述工作流类型对应的标准路径信息确定所述工作流实例中的异常信息。
具体地,日志获取装置11获取工作流实例的执行日志,其中,所述工作流实例对应工作流类型。所述工作流是指在计算机应用环境下自动化执行的业务流程,在工作流中会对某个业务的工作流程及其各操作任务之间业务规则进行抽象和概括描述。当工作流对应的业务较为复杂时,为了方便跟踪和监控,会将业务分解为若干子业务,每个子业务均有对应的工作流。所述工作流实例是指实例化后的工作流,即在具体的应用场景中,将所抽象和概括后的工作流程和操作任务赋予实际应用场景中的数据,使得工作流在计算机应用环境中顺利执行。所述执行日志是指工作流实例在计算机应用环境中执行时,所产生的日志。执行日志记录了工作流中各个任务在执行过程中的详细信息,如某一任务的执行程度,执行时间、执行次数、执行结果等。所述工作流类型是指未实例化的工作流,对应一个使用场景中的业务。工作流类型中包含若干所需执行的任务,每个任务根据执行时的时序,对应串行或并行的执行方式。例如,创建虚拟主机VM(virtual machine)属于一个业务,对应一个创建虚拟主机的工作流类型,这一工作流类型中包括分配网络和分片资源两个任务,在某个实际应用场景中需要创建虚拟主机,则将这一应用场景中的实际网络信息和资源信息带入创建虚拟主机的工作流类型进行实例化,从而得到这一应用场景中的一个工作流实例。工作流实例根据实际数据执行分片网络和分片资源的任务,在执行过程中产生这一应用场景中创建虚拟主机的执行日志。
因此,获取工作流实例的执行日志,是指获取工作流实例在某个应用场景中执行时所产生的日志,例如,执行到哪一步,执行结果是成功是还是失败这样记录流水事务的日志。在此,执行日志从每个工作流节点中收集。所述工作流节点包括在节点集合中,节点集合用于执行工作流实例中的任务。工作流实例下的每个任务都会在这一节点集合中的某一节点执行。执行日志的获取方式包括但不限于如下方法:使用日志收集工作获取;直接调取后台日志;工作流节点设置为周期性上报日志。例如图6和图7所示,其中箭头的方向是指调用关系,顺着箭头的方向从调用源指向被调用方。在图6和图7中使用日志收集工具获取执行日志,日志收集工具将工作流节点上的所有日志汇总,然后提供统一的调用接口给使用方,通过统一的API调用接口对日志进行抓取。日志收集工具有很多类型,阿里云的sls产品为其中优选的一种日志收集工具。所获取的执行日志用于分析工作流的执行路径,从而生成路径信息,分析其中异常情况。
本领域技术人员应能理解上述获取执行日志的方式仅为举例,其他现有的或今后可能出现的获取执行日志的方式如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
优选地,所述工作流类型是与所述工作流实例对应的使用场景相适应。是指通过预定义的方式确定工作流类型,定义时的依据为具体的使用场景。例如创建虚拟机是一个使用场景,这个使用场景中创建虚拟机包括分配网络和分片资源两个任务,此时,将创建虚拟机定义为一个工作流类型。在此,使用场景区别于实际应用场景,实际应用场景中包含可供任务执行的具体数据。例如,创建虚拟机这一工作流类型,在执行分片网络和分片资源两个任务时,需要获取所能进行分配的网络名称和详细参数,以及资源的具体位置等信息。在工作流类型中,将每个工作流类型中的任务按照执行时的既定时序,排列串行或并行的执行方式。工作流类型与场景相适应,使得在业务在执行时可以快速实例化,继而迅速进入执行过程。且根据工作流类型可获知在任务完美执行的情况下的执行顺序,从而在实际应用场景中结合执行日志分析工作流实例的执行情况。
接着,执行路径信息生成装置12根据所述执行日志生成执行路径信息。所述执行路径信息是指根据工作流的执行日志生成的具有一定规则和逻辑的数据结构或拓扑。例如图4和图5所示,两个工作流实例均为树状结构,以任务为节点,以执行顺序为主线,属于一种执行路径信息。工作流实例A和工作流实例B均包含多个工作流活动,即工作流实例中的任务。其中,工作流实例A所包括的任务有1~4一共四个,均按照不变的时序按串行执行的方式进行的。因此,工作流实例A的执行路径信息图如图4所示,按时间推移的顺序,在直线上从上往下每个箭头所指向的节点即为一个任务,当上一个任务完成后,顺着直线往下一次执行每个任务。生成执行路径实例的执行路径信息包括但不限于所举例的树状结构,其它根据执行日志中的执行时序和逻辑,生成或聚合的结构均包含于此。
在此所生成的执行路径信息的方法,适用于根据工作流类型生成标准路径结。
优选地,所述执行路径信息包含与所述工作流实例中被执行任务相对应的节点。其中,所述被执行任务是指包括在工作流实例中需要按一定时序被执行的任务。任务的具体执行内容预先设置,或根据工作流实例的实际情况而定,例如释放一个特定的磁盘空间,创建一个名字为A的文件等。
接上文举例,图4和图5中的工作流实例A和工作流实例B均包含多个工作流活动,即工作流实例中的任务。其中,工作流实例A所包括的任务有1~4一共四个,均按照不变的时序按串行执行的方式进行的。因此,工作流实例A的执行路径信息图如图4所示,按时间推移的顺序,在直线上从上往下每个箭头所指向的节点即为一个任务,当上一个任务完成后,顺着直线往下一次执行每个任务。如图5所示,在工作流实例B中同样包括的任务1~4,这四个任务与图4一样,属于顺序执行任务。其中工作流活动2对应的任务2节点,在图中分出了并列分岔的三个子任务1~3,代表子任务1~3并行执行。即当任务2中并行执行的子任务均完成后方认为任务2完成,继续任务3。此处所举例图5中的并行子任务,属于二级树状结构,根据工作流实例的不同还可有多级子任务,例如子任务1中包含2个并行的二级子任务,此时子任务1对应的任务节点再分出两个分岔,代表二级子任务。生成执行路径实例的执行路径信息包括但不限于所举例的树状结构,其它根据执行日志中的执行时序和逻辑,生成或聚合的结构均包含于此。
优选地,所述执行路径信息的数据结构为树状结构。其中,所述树状结构是指根据所述被执行任务的时序,将所述工作流实例中的任务以时间为主线,每个任务为树状结构的分支所形成的数据结构。例如图4和图5所示,即为树状结构的执行路径信息,以执行时间从早到晚为主线,先被执行的任务在上,后执行的任务在下。所述树状结构便于对工作流实例中的执行任务进行观察和比较,从而提高运维效率。
本领域技术人员应能理解上述生成执行路径信息的方式仅为举例,其他现有的或今后可能出现的生成执行路径信息的方式如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
优选地,所述执行路径信息生成装置12用于:根据所述工作流实例的标识信息,在所述执行日志中确定所述工作流实例对应的执行日志;以所述工作流实例对应的执行日志中被执行任务为节点,根据所述被执行任务在所述执行日志中的执行记录生成执行路径信息。
所述工作流实例的标识信息,是指用于标记工作流实例以区别于其它工作流实例的信息。例如,在每个工作流实例化时赋予这一工作流实例一个ID,当工作流实例在执行时,所产生的执行日志中均记录这一工作流实例的ID。所述在所述执行日志中确定工作流实例对应的执行日志,是指当从执行节点集合中获取执行日志后,因为此时所获取的执行日志所对应的工作流实例不止一个。因此根据所需分析的工作流实例的ID进行检索,即可从执行日志中将这一工作流实例对应的执行日志快速辨别并获取。
所述执行记录是指所述被执行任务在执行时,在执行日志中所记录的,这一任务的执行时间、执行结果、执行次数等信息。将被执行任务作为节点,按照任务的执行时间顺序生成执行路径信息,并将其执行次数、执行结果、执行时间等信息附在每个节点上。例如图8和图9所示,是执行路径信息的几个示例,其中活动1~4即指被执行任务,在图中被执行任务作为节点,按照执行的时间先后顺序,排列在执行路径信息中,并将执行次数、执行结果异常,以及未执行的相关日志记录信息附在节点中,从而便于在与标准路径信息比较时,快速发现和定位异常。
优选地,所述执行路径信息包括以下至少一种项:保持执行时序的串行执行路径信息;具有并行执行子任务的并行执行路径信息。其中,所述串行执行路径信息是指工作流实例中所包含的任务是按照一定时序顺序执行的,当上个任务执行完再执行下个任务。如图4所示,工作流实例A的四个工作流活动即为工作流任务,这四个任务按串行执行的方式从上往下顺序进行。属于同一工作流类型的工作流实例,则工作流实例中任务的在不出错的执行情况下的执行路径均相同,是按照同样串行时序进行的。所述并行执行路径信息是指工作流实例中所包含的任务没有严格的时间执行次序,可以并发执行。例如在串行执行的任务中有任务包含二级或多级子任务,这些子任务是并发执行不需要按照严格的时序进行,当主任务所包含的子任务均执行完成再按时序执行下个主任务。如图5所示,主任务是串行执行的,对应串行执行路径信息。其中,工作流活动2(任务2)中包含三个并行子任务,在图5中子任务对应对应并行执行路径信息。在并行执行路径信息中,每个子任务并发执行,时序上可以无序,但需要等待任务2的并行子任务全部执行完成,才可以继续顺序执行主任务中的工作流活动3(任务3)。在此,所生成的执行路径信息的执行类型属于串行还是并行,是根据执行日志中的实际时序和规则进行,每个被执行任务对应执行路径信息中的一个节点,节点之间的连接根据执行的顺序决定。
接着,异常确定装置13通过比较所述执行路径信息与所述工作流类型对应的标准路径信息确定所述工作流实例中的异常信息。所述工作流类型对应的标准路径信息,是指工作流类型中所包含的任务都按要求成功执行的情况下所生成的路径信息,是完美执行情况下的预定义模板。例如图4和图5中所示的执行路径信息即为标准路径信息,其中所包含的所有任务均按要求成功执行。若在工作流实例实际执行过程中出现任务执行失败或重复执行等错误,则所生成的执行路径则会如图8和图9所示。所述异常新信息是指工作流实例中任务在执行过程所发生的错误执行、任务丢失、错序执行、重复执行等异常执行的情况。
对于某一个工作流实例,比较这一工作流实例的执行路径信息与标准路径信息,即可从两者的差异中分析出工作流实例在执行过程中是否存在异常情况。比较方法包括但不限于,比较路径信息中任务所对应的节点,查看任务的执行是否成功,任务执行的次数是否大于一次,任务执行次序是否正确,是否有任务未曾执行。可以采用深度遍历的方式,对执行路径信息与标准路径信息中的节点依次比较。例如,工作流类型对应的标准路径信息有三个任务节点A、B、C,这三个任务按照A→B→C的串行顺序执行,其中任务C包含有三个并行子任务节点E、F、G。工作流实例对应的执行路径信息,有对应于A、B、C的三个任务节点A1、B1、C1,任务C1有并行的子任务节点E1、F1、G1。在比较时,按照任务的执行顺序,对比A和A1,B和B1,E和E1,F和F1,G和G1,C和C1。若A1没有执行,则在对比A和A1时可发现A1任务未执行的异常情况;若B1执行了4次,而B中的标准情况为执行1次,则在对比B和B1时可发现B1任务重复执行的异常情况。
又例如图4所示,是一种工作流类型对应的标准路径信息。若在实际执行过程中,工作流活动3对应的任务3没有被执行,而直接跳至工作流活动4对应的任务4。因此根据工作流实例的执行日志所生成的执行路径信息,对应如图8中最右侧所示的情况。将图8中最右侧的执行路径信息与图4中标准路径信息进行比较,会发现图8中缺失了一个任务的执行,确定工作流实例发生了任务遗漏执行的异常情况。在比较的过程中,可如图6或图7中“路径分析”所示,根据路径信息所对应的串行和并行的不同分类进行对比,从而提高比较效率。通过对比执行和标准路径信息确定异常情况,实现了工作流实例分析自动化,节约人力成本,提升问题定位效率。
本领域技术人员应能理解上述确定工作流实例异常情况的方式仅为举例,其他现有的或今后可能出现的确定工作流实例异常情况的方式如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
优选地,比较所述串行执行路径信息与所述工作流类型对应的标准路径信息,确定所述工作流实例中被执行任务在执行过程中所产生的异常信息,所述异常信息包括:错误执行、重复执行、错序执行中的一种或几种。是指将工作流实例所对应的串行路径信息与标准路径信息进行比较,判断在工作流实例中每个被执行的任务是否在执行过程中发生过异常。例如图7所示,在“路径分析”阶段,将串行执行路径信息中的每个任务节点与标准结构路径中的任务节点进行比较和分析。在串行执行路径的分析过程中所出现的异常信息包括:错误执行、重复执行、错序执行。对于同一串行路径执行结构,任务在执行过程中出现的异常情况会包括以上所列举异常中的一种或几种。
优选地,比较所述并行执行路径信息与所述工作流类型对应的标准路径信息,确定所述工作流实例中被执行任务在执行过程中所产生的异常信息,所述异常信息包括:错误执行、重复执行、任务丢失中的一种或几种。是指将工作流实例所对应的并行路径信息与标准路径信息进行比较,判断在工作流实例中每个被执行的任务是否在执行过程中发生过异常。例如图7所示,可在“路径分析”阶段,对并行执行路径信息进行比较。其中,当并行执行路径信息为某主任务的次级子任务时,对主任务的执行路径信息和子任务的执行路径信息分别进行比较。在并行执行路径的分析过程中所出现的异常信息包括:错误执行、重复执行、任务丢失。对于同一并行路径执行结构,任务在执行过程中出现的异常情况会包括以上所列举异常中的一种或几种。
通过将串行执行路径信息与并行执行路径信息分别进行比较和分析异常情况,使得分析和比较过程更有针对性。
其中,所述错误执行是指工作流实例中的任务执行时发生了错误导致任务没有成功执行完成的情况。这一异常信息在串行执行结构和并行执行结构的比较中均会发生。例如工作流实例中的任务没有执行完,卡在任务a上持续返回错误,无法继续走向下一个任务b进行执行;或者任务a不断的重试导致任务b无法执行,但不限于上述情况,这取决于每个工作流的重试策略。通过串行执行路径信息与标准执行结构的比较,可发现任务错误执行的异常。例如,在图8中将最左侧工作流实例A’的串行执行路径信息与图4中的标准路径信息进行比较,发现活动3和活动4对应的任务节点,在图8和图4中分别比较时,两张图中的节点情况是不相同的,进一步分析发现串行执行路径信息活动3对应的任务异常导致活动4对应的任务未能执行,属于错误执行的异常情况。
所述重复执行是指工作流实例在某一任务对应的节点运行了两次及以上。也就是该任务被重复执行,但最终可能会被成功执行。任务的重复执行可能是业务的错误重试导致,也有可能是工作流框架的重复调用但不限于上述情况。这一异常信息在串行执行结构和并行执行结构的比较中均会发生。例如图8中工作流实例A”的串行执行路径信息,与图4中的标准路径信息比较,其中活动3对应的任务节点被执行不止一次,则判断为重复执行的异常情况。又例如图9中右侧所示的工作流实例B”的并行执行路径信息,与图5中的标准路径信息比较,其中活动2对应的主任务节点所包含的三个子任务中一共有超过三次的执行记录,则判断为重复执行的异常情况,进一步分析发现其中子任务3执行超过了一次。
所述错序执行是指任务在执行的过程中发生了执行次序的错乱,而导致应该被执行的任务被跳过,或者是有先后执行次序的任务的时序发生混乱。这一异常信息在对执行时序有严格要求的串行执行路径信息中发生。有可能是工作流的执行顺序发生了异常,也有可能是业务代码不正常结束导致。例如图8最右侧间工作流实例A”’的串行执行路径信息,通过与图4中的标准路径信息比较,发现应当先行执行的活动3对应的任务节点未有执行记录,而活动4对应的任务节点则成功执行,属于错序执行的异常情况。
所述任务丢失是指任务的执行过程中任务直接被丢失没有执行。这一异常信息在并行执行路径信息中发生。例如图9所示,工作流实例B’的并行执行路径信息,与图5中的标准路径信息比较,发现活动2对应的子任务应该有三个被执行,但是在并行执行路径中显示仅有两个,判断属于丢失的异常情况。
图3示出根据本申请另一个方面的一种用于分析工作流执行路径的设备示意图。所述设备1包括:日志获取装置21、执行路径信息生成装置22、异常确定装置23、时间相关异常确定装置25、执行路径信息展示装置26。
其中,日志获取装置21获取工作流实例的执行日志,其中,所述工作流实例对应工作流类型;执行路径信息生成装置22根据所述执行日志生成执行路径信息;异常确定装置23通过比较所述执行路径信息与所述标准路径信息确定所述工作流实例中的异常信息;时间相关异常确定装置25通过比较预设异常阈值与所述时间相关信息确定所述工作流实例中的异常信息,其中,所述时间相关信息与所述节点对应,通过分析被执行任务的所述执行日志获取;执行路径信息展示装置26展示所述执行路径信息。
在此,图3中日志获取装置21、执行路径信息生成装置22与图2中日志获取装置11、执行路径信息生成装置12相同或相似,不再赘述。
优选地,设备1包括标准路径信息生成装置24(未示出),其中,在所述标准路径信息生成装置24中所述标准路径信息是根据所述工作流类型所生成。即是指工作流类型中所包含的任务都按要求成功执行的情况下所生成的路径信息,是一次执行成功情况所对应的预定义模板。标准路径信息的生成方式,例如根据预定义的工作流类型中所既定的任务,参考其执行时序,执行次序等情况生成。假设图4和图5中所示,是两个标准执行结构,若是在实际的执行过程中出现异常情况,则所生成的执行路径则会如图8和图9所示,代表任务的节点有所缺失,或同一个任务不止被执行过一次。生成标准路径信息,可从一开始预定义工作流类型即对应生成,从而在工作流实例执行后找到对应的工作流类型,继而直接找到标准路径信息,与执行路径信息进行比较和分析,从而确定异常。或者在工作流实例执行后找到对应工作流类型,进而即时生成对应的标准路径信息,再进一步进行标准路径信息和执行路径信息的比较分析。但不限于上述所列举的情况,在开始分析执行路径信息之前生成即可。生成标准路径信息后,可以进一步与工作流实例对应执行路径信息进行对比从而分析得出异常。
本领域技术人员应能理解上述生成标准路径信息的方式仅为举例,其他现有的或今后可能出现的生成标准路径信息的方式如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
接着,异常确定装置23通过比较所述执行路径信息与所述标准路径信息确定所述工作流实例中的异常信息。对于某一个工作流实例,比较这一工作流实例的执行路径信息与标准路径信息,即可从两者的差异中分析出工作流实例在执行过程中是否存在异常情况。比较方法包括但不限于,比较路径信息中任务所对应的节点,查看任务的执行是否成功,任务执行的次数是否大于一次,任务执行次序是否正确,是否有任务未曾执行。例如图4所示,是一种工作流类型对应的标准路径信息。若在实际执行过程中,工作流活动3对应的任务3没有被执行,而直接跳至工作流活动4对应的任务4。因此根据工作流实例的执行日志所生成的执行路径信息,对应如图8中最右侧所示的情况。将图8中最右侧的执行路径信息与图4中标准路径信息进行比较,会发现图8中缺失了一个任务的执行,确定工作流实例发生了任务遗漏执行的异常情况。在比较的过程中,可如图6或图7中“路径分析”所示,根据路径信息所对应的串行和并行的不同分类进行对比,从而提高比较效率。通过对比执行和标准路径信息确定异常情况,实现了工作流实例分析自动化,节约人力成本,提升问题定位效率。
接着,时间相关异常确定装置25通过比较预设异常阈值与所述时间相关信息确定所述工作流实例中的异常信息,其中,所述时间相关信息与所述节点对应,通过分析被执行任务的所述执行日志获取。所述时间相关信息是指在工作流实例的执行过程中,每个任务的执行时间、消耗占比、以及执行次数等在执行过程中与时间相关的执行信息。时间相关信息可从执行日志中直接提取。所述时间相关信息可以单独存储,或如图4和图5所示在每个任务对应的执行路径信息节点上附带这些时间信息,从而便于读取和定位对应的任务的与时间相关的异常情况。
所述预设异常阈值是指用户或执行程序中所预设的,针对每个工作流类型中任务的时间相关数据的标准。当超过异常阈值对应的数值,则判定对应的时间相关信息中对应的数据有异常,继而可以判定这一任务在执行时有时间相关的异常。例如图6或图9中所示的“路径分析”组件中的“执行时间统计”即为对这一判断过程的执行。例如,会分析如活动执行时间、占比、执行次数,将数据进行统计,并根据设定的异常阈值判断是否属于超时或异常的日志,并将异常情况记录下来。分析包含在每个任务对应节点中的执行时间,活动在整个工作流任务时间消耗占比,以及每个任务的重入次数等数据,可以帮助业务快速定位问题所在行结果判断问题所在,提供了一个更完善的问题定位方法。
本领域技术人员应能理解上述判定时间相关异常的方式仅为举例,其他现有的或今后可能出现的判定时间相关异常的方式如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
接着,执行路径信息展示装置26展示所述执行路径信息。因为根据所述执行路径信息即可对任务执行路径跟踪,对每个工作流实例会跟踪其执行路径轨迹,因此可以集中式存储方式记录整个任务的执行轨迹,并且将执行路径信息返回给调用端,例如图4、图5、图8、图9中所举例的树状结构可以让用户简单明了的查看工作流的执行情况,并直观看出其中发生异常的节点,例如在发生异常情况后,在如图6或图7的“异常处理”组件的工作过程中将基于路径分析结果,展现给前端用户。优选地,可预定义重点关注的工作里,在这些敏感的工作流实例发现异常后,会及时做报警处理。
本领域技术人员应能理解上述展示和处理执行路径信息的方式仅为举例,其他现有的或今后可能出现的展示和处理执行路径信息的方式如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
根据本申请一个方面的一种用于分析工作流执行路径的设备,包括:
日志获取装置31:获取工作流实例的执行日志;
执行路径信息生成装置32:根据所述执行日志生成执行路径信息;
异常确定装置33:通过比较所述执行路径信息与标准路径信息,确定所述工作流实例中的异常信息。
其中,在日志获取装置31中,所述工作流是指在计算机应用环境下自动化执行的业务流程,在工作流中会对某个业务的工作流程及其各操作任务之间业务规则进行抽象和概括描述。当工作流对应的业务较为复杂时,为了方便跟踪和监控,会将业务分解为若干子业务,每个子业务均有对应的工作流。所述工作流实例是指实例化后的工作流,即在具体的应用场景中,将所抽象和概括后的工作流程和操作任务赋予实际应用场景中的数据,使得工作流在计算机应用环境中顺利执行。所述执行日志是指工作流实例在计算机应用环境中执行时,所产生的日志。执行日志记录了工作流中各个任务在执行过程中的详细信息,如某一任务的执行程度,执行时间、执行次数、执行结果等。
获取工作流实例的执行日志,是指获取工作流实例在某个应用场景中执行时所产生的日志,例如,执行到哪一步,执行结果是成功是还是失败这样记录流水事务的日志。在此,执行日志从每个工作流节点中收集。所述工作流节点包括在节点集合中,节点集合用于执行工作流实例中的任务。工作流实例下的每个任务都会在这一节点集合中的某一节点执行。执行日志的获取方式包括但不限于如下方法:使用日志收集工作获取;直接调取后台日志;工作流节点设置为周期性上报日志。例如图6和图7所示,其中箭头的方向是指调用关系,顺着箭头的方向从调用源指向被调用方。在图6和图7中使用日志收集工具获取执行日志,日志收集工具将工作流节点上的所有日志汇总,然后提供统一的调用接口给使用方,通过统一的API调用接口对日志进行抓取。日志收集工具有很多类型,阿里云的sls产品为其中优选的一种日志收集工具。所获取的执行日志用于分析工作流的执行路径,从而生成路径信息,分析其中异常情况。
本领域技术人员应能理解上述获取执行日志的方式仅为举例,其他现有的或今后可能出现的获取执行日志的方式如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在执行路径信息生成装置32中,所述执行路径信息是指根据工作流的执行日志生成的具有一定规则和逻辑的数据结构或拓扑。例如图4和图5所示,两个工作流实例均为树状结构,以任务为节点,以执行顺序为主线,属于一种执行路径信息。工作流实例A和工作流实例B均包含多个工作流活动,即工作流实例中的任务。其中,工作流实例A所包括的任务有1~4一共四个,均按照不变的时序按串行执行的方式进行的。因此,工作流实例A的执行路径信息图如图4所示,按时间推移的顺序,在直线上从上往下每个箭头所指向的节点即为一个任务,当上一个任务完成后,顺着直线往下一次执行每个任务。生成执行路径实例的执行路径信息包括但不限于所举例的树状结构,其它根据执行日志中的执行时序和逻辑,生成或聚合的结构均包含于此。
在异常确定装置33中,所述标准路径信息是对应于工作流实例,所预设的用于比较工作流实例是否一次执行成功的路径信息的模板。对于某一个工作流实例,比较这一工作流实例的执行路径信息与标准路径信息,即可从两者的差异中分析出工作流实例在执行过程中是否存在异常情况。比较方法包括但不限于,比较路径信息中任务所对应的节点,查看任务的执行是否成功,任务执行的次数是否大于一次,任务执行次序是否正确,是否有任务未曾执行。例如图4所示,是一种标准路径信息。若在实际执行过程中,工作流活动3对应的任务3没有被执行,而直接跳至工作流活动4对应的任务4。因此根据工作流实例的执行日志所生成的执行路径信息,对应如图8中最右侧所示的情况。将图8中最右侧的执行路径信息与图4中标准路径信息进行比较,会发现图8中缺失了一个任务的执行,确定工作流实例发生了任务遗漏执行的异常情况。在比较的过程中,可如图6或图7中“路径分析”所示,根据路径信息所对应的串行和并行的不同分类进行对比,从而提高比较效率。通过对比执行和标准路径信息确定异常情况,实现了工作流实例分析自动化,节约人力成本,提升问题定位效率。
根据本申请的另一个方面,还提供一种用于远程测试的设备,所述设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
获取工作流实例的执行日志,其中,所述工作流实例对应工作流类型;
根据所述执行日志生成执行路径信息;
通过比较所述执行路径信息与所述工作流类型对应的标准路径信息,确定所述工作流实例中的异常信息。
根据本申请的另一个方面,还提供一种用于远程测试的设备,所述设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
获取工作流实例的执行日志;
根据所述执行日志生成执行路径信息;
通过比较所述执行路径信息与标准路径信息,确定所述工作流实例中的异常信息。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令,可能被存储在固定的或可移动的记录介质中,和/或通过广播或其他信号承载媒体中的数据流而被传输,和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
Claims (24)
1.一种用于分析工作流执行路径的方法,包括:
获取工作流实例的执行日志,其中,所述工作流实例对应工作流类型;
根据所述执行日志生成执行路径信息;
通过比较所述执行路径信息与所述工作流类型对应的标准路径信息,确定所述工作流实例中的异常信息。
2.根据权利要求1所述的方法,其中,所述工作流类型是与所述工作流实例对应的使用场景相适应。
3.根据权利要求1所述的方法,其中,所述执行路径信息包含与所述工作流实例中被执行任务相对应的节点。
4.根据权利要求1所述的方法,其中,所述执行路径信息的数据结构为树状结构。
5.根据权利要求1所述的方法,其中,所述根据所述执行日志生成执行路径信息包括:
根据所述工作流实例的标识信息,在所述执行日志中确定所述工作流实例对应的执行日志;
以所述工作流实例对应的执行日志中被执行任务为节点,根据所述被执行任务在所述执行日志中的执行记录生成执行路径信息。
6.根据权利要求1所述的方法,其中,所述执行路径信息包括以下至少一种:
保持执行时序的串行执行路径信息;
具有并行执行子任务的并行执行路径信息。
7.根据权利要求6所述的方法,其中,所述通过比较所述执行路径信息与所述工作流类型对应的标准路径信息,确定所述工作流实例中的异常信息包括:
比较所述串行执行路径信息与所述工作流类型对应的标准路径信息,确定所述工作流实例中被执行任务在执行过程中所产生的异常信息,所述异常信息包括:错误执行、重复执行、错序执行中的一种或几种。
8.根据权利要求6所述的方法,其中,所述通过比较所述执行路径信息与所述工作流类型对应的标准路径信息,确定所述工作流实例中的异常信息包括:
比较所述并行执行路径信息与所述工作流类型对应的标准路径信息,确定所述工作流实例中被执行任务在执行过程中所产生的异常信息,所述异常信息包括:错误执行、重复执行、任务丢失中的一种或几种。
9.根据权利要求3所述的方法,其中,所述方法还包括:
通过比较预设异常阈值与时间相关信息确定所述工作流实例中的异常信息,其中,所述时间相关信息与所述节点对应,通过分析被执行任务的所述执行日志获取。
10.根据权利要求1所述的方法,其中,所述方法还包括:
展示所述执行路径信息。
11.根据权利要求1所述的方法,其中,所述标准路径信息是根据所述工作流类型所生成。
12.一种用于分析工作流执行路径的方法,包括:
获取工作流实例的执行日志;
根据所述执行日志生成执行路径信息;
通过比较所述执行路径信息与标准路径信息,确定所述工作流实例中的异常信息。
13.一种用于分析工作流执行路径的设备,包括:
日志获取装置,用于获取工作流实例的执行日志,其中,所述工作流实例对应工作流类型;
执行路径信息生成装置,用于根据所述执行日志生成执行路径信息;
异常确定装置,用于通过比较所述执行路径信息与所述工作流类型对应的标准路径信息,确定所述工作流实例中的异常信息。
14.根据权利要求13所述的设备,其中,所述工作流类型是与所述工作流实例对应的使用场景相适应。
15.根据权利要求13所述的设备,其中,所述执行路径信息包含与所述工作流实例中被执行任务相对应的节点。
16.根据权利要求13所述的设备,其中,所述执行路径信息的数据结构为树状结构。
17.根据权利要求13所述的设备,其中,所述执行路径信息生成装置用于:
根据所述工作流实例的标识信息,在所述执行日志中确定所述工作流实例对应的执行日志;
以所述工作流实例对应的执行日志中被执行任务为节点,根据所述被执行任务在执行日志中的执行记录生成执行路径信息。
18.根据权利要求13所述的设备,其中,所述执行路径信息包括以下至少一种项:
保持执行时序的串行执行路径信息;
具有并行执行子任务的并行执行路径信息。
19.根据权利要求18所述的设备,其中,所述异常确定装置用于:
比较所述串行执行路径信息与所述工作流类型对应的标准路径信息,确定所述工作流实例中被执行任务在执行过程中所产生的异常信息,所述异常信息包括:错误执行、重复执行、错序执行中的一种或几种。
20.根据权利要求18所述的设备,其中,所述异常确定装置用于:
比较所述并行执行路径信息与所述工作流类型对应的标准路径信息,确定所述工作流实例中被执行任务在执行过程中所产生的异常信息,所述异常信息包括:错误执行、重复执行、任务丢失中的一种或几种。
21.根据权利要求15所述的设备,其中,所述设备还包括:
时间相关异常确定装置,用于通过比较预设异常阈值与所述时间相关信息确定所述工作流实例中的异常信息,其中,所述时间相关信息与所述节点对应,通过分析被执行任务的所述执行日志获取。
22.根据权利要求13所述的设备,其中,所述设备还包括:
执行路径信息展示装置,用于展示所述执行路径信息。
23.根据权利要求13所述的设备,其中,所述设备还包括:
标准路径信息生成装置,用于根据所述工作流类型生成标准路径信息;
其中,所述异常确定装置用于:
通过比较所述执行路径信息与所述标准路径信息确定所述工作流实例中的异常信息。
24.一种用于分析工作流执行路径的设备,包括:
日志获取装置,用于获取工作流实例的执行日志;
执行路径信息生成装置,用于根据所述执行日志生成执行路径信息;
异常确定装置,用于通过比较所述执行路径信息与标准路径信息,确定所述工作流实例中的异常信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610755110.8A CN107783879B (zh) | 2016-08-29 | 2016-08-29 | 一种用于分析工作流执行路径的方法与设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610755110.8A CN107783879B (zh) | 2016-08-29 | 2016-08-29 | 一种用于分析工作流执行路径的方法与设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107783879A CN107783879A (zh) | 2018-03-09 |
CN107783879B true CN107783879B (zh) | 2021-04-20 |
Family
ID=61441502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610755110.8A Active CN107783879B (zh) | 2016-08-29 | 2016-08-29 | 一种用于分析工作流执行路径的方法与设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107783879B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108920326B (zh) * | 2018-06-14 | 2022-04-29 | 创新先进技术有限公司 | 确定系统耗时异常的方法、装置及电子设备 |
CN109086185B (zh) * | 2018-07-19 | 2022-04-22 | 郑州云海信息技术有限公司 | 一种存储集群的故障检测方法、装置、设备及存储介质 |
CN112015656B (zh) * | 2020-09-01 | 2023-08-15 | 中国银行股份有限公司 | 一种工作流设计器的可视化调试方法及装置 |
CN112506957A (zh) * | 2020-12-18 | 2021-03-16 | 杭州数梦工场科技有限公司 | 工作流依赖关系的确定方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8204851B2 (en) * | 2007-04-02 | 2012-06-19 | Verizon Patent And Licensing Inc. | Method and system for providing a graphical workflow monitor |
CN102831122A (zh) * | 2011-06-15 | 2012-12-19 | 阿里巴巴集团控股有限公司 | 工作流表的数据保存方法、查询方法及装置 |
CN103377116A (zh) * | 2012-04-27 | 2013-10-30 | 国际商业机器公司 | 用于在分布式信息系统中记录和分析日志的方法和装置 |
-
2016
- 2016-08-29 CN CN201610755110.8A patent/CN107783879B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8204851B2 (en) * | 2007-04-02 | 2012-06-19 | Verizon Patent And Licensing Inc. | Method and system for providing a graphical workflow monitor |
CN102831122A (zh) * | 2011-06-15 | 2012-12-19 | 阿里巴巴集团控股有限公司 | 工作流表的数据保存方法、查询方法及装置 |
CN103377116A (zh) * | 2012-04-27 | 2013-10-30 | 国际商业机器公司 | 用于在分布式信息系统中记录和分析日志的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107783879A (zh) | 2018-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9792200B2 (en) | Assessing vulnerability impact using call graphs | |
US8667334B2 (en) | Problem isolation in a virtual environment | |
CN107783879B (zh) | 一种用于分析工作流执行路径的方法与设备 | |
US9459942B2 (en) | Correlation of metrics monitored from a virtual environment | |
US9396094B2 (en) | Software test automation systems and methods | |
US8151248B1 (en) | Method and system for software defect management | |
US7840944B2 (en) | Analytical regression testing on a software build | |
US10073683B2 (en) | System and method for providing software build violation detection and self-healing | |
US8839203B2 (en) | Code coverage-based taint perimeter detection | |
CN112612675A (zh) | 微服务架构下的分布式大数据日志链路跟踪方法及系统 | |
US9122784B2 (en) | Isolation of problems in a virtual environment | |
US20170034001A1 (en) | Isolation of problems in a virtual environment | |
US20110276949A1 (en) | Memory leak detection | |
US8631280B2 (en) | Method of measuring and diagnosing misbehaviors of software components and resources | |
CN103631713A (zh) | Erp软件自动化测试系统及方法 | |
US7043400B2 (en) | Testing using policy-based processing of test results | |
CN113946499A (zh) | 一种微服务链路跟踪及性能分析方法、系统、设备及应用 | |
CN112650676A (zh) | 软件测试方法、装置、设备及存储介质 | |
CN111078510B (zh) | 一种任务处理进度的记录方法及装置 | |
Wang et al. | A resilient framework for fault handling in web service oriented systems | |
Shenoy et al. | An adaptive framework for web services testing automation using JMeter | |
US10496520B2 (en) | Request monitoring to a code set | |
Sebu et al. | Business activity monitoring solution to detect deviations in business process execution | |
US20130006568A1 (en) | Test Operation | |
CN114490413A (zh) | 测试数据的准备方法及装置、存储介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230605 Address after: Room 1-2-A06, Yungu Park, No. 1008 Dengcai Street, Sandun Town, Xihu District, Hangzhou City, Zhejiang Province Patentee after: Aliyun Computing Co.,Ltd. Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK Patentee before: ALIBABA GROUP HOLDING Ltd. |
|
TR01 | Transfer of patent right |