CN114461367A - 批量执行方法、装置、电子设备、介质和计算机程序产品 - Google Patents

Abstract

本公开提供了一种基于分布式架构的批量执行方法、装置、电子设备、介质和计算机程序产品。上述方法和装置可用于分布式和大数据技术领域。基于分布式架构的批量执行方法包括：根据业务场景获取m个批量文件，每个所述批量文件具有文件属性，其中，m为大于等于1的整数；针对所述m个批量文件设定触发规则和校验规则；根据所述校验规则校验所述文件属性；当所述文件属性通过校验时，按照所述触发规则执行所述m个批量文件；根据所述触发规则和所述文件属性生成批量链路图。

Description

批量执行方法、装置、电子设备、介质和计算机程序产品

技术领域

本公开涉及分布式和大数据技术领域，更具体地，涉及一种基于分布式架构的批量执行方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

日常工作中，存在高频次的批量调度场景，比如缴费、对账、跨行等重点交易，往往涉及多应用、跨主机批量和跨平台批量的复杂流程。现有技术无法实现自动化按需调起主机和平台批量，只能手动操作，耗费大量人力物力。

发明内容

有鉴于此，本公开提供了一种节约成本、可视化信息清晰和高效的基于分布式架构的批量执行方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

本公开的一个方面提供了一种基于分布式架构的批量执行方法，包括：根据业务场景获取m个批量文件，每个所述批量文件具有文件属性，其中，m为大于等于1的整数；针对所述m个批量文件设定触发规则和校验规则；根据所述校验规则校验所述文件属性；当所述文件属性通过校验时，按照所述触发规则执行所述m个批量文件；以及根据所述触发规则和所述文件属性生成批量链路图。

根据本公开实施例的基于分布式架构的批量执行方法，通过设定校验规则对批量文件的文件属性进行校验，为执行m个批量文件奠定了可执行的先决条件，当校验未通过时，无需触发执行m个批量文件，节约了流程，进而节约了资源和成本。通过批量链路图可以清晰地获得批量文件的执行状况，例如起始路径是什么，接收路径是什么，文件大小是多大，文件类型是什么，文件生成时间是什么时候。由此，可以给业务人员作参考，使得业务人员实时得知批量文件的执行情况。本公开可以实现跨平台和跨主机的批量自动调度，与现有技术相比，可以减少人为执行，从而可以提升执行的准确率，加快批量执行的时间，提升工作效率。

在一些实施例中，所述文件属性包括文件大小、文件类型和文件生成时间中的至少一个。

在一些实施例中，所述文件属性包括文件大小，所述根据所述校验规则校验所述文件大小包括：设定文件大小阈值；将所述文件大小与所述文件大小阈值比较；以及所述文件大小满足所述文件大小阈值时，所述文件大小通过校验。

在一些实施例中，所述文件大小未满足所述文件大小阈值时，根据所述文件大小阈值将所述文件大小对应的所述批量文件拆分为n个子批量文件，以使每个所述子批量文件的文件大小满足所述文件大小阈值，其中，n为大于等于2的整数。

在一些实施例中，所述文件属性包括文件类型，所述根据所述校验规则校验所述文件类型包括：设定文件标准类型；判定所述文件类型是否为所述文件标准类型；以及当所述文件类型为所述文件标准类型时，所述文件类型通过校验。

在一些实施例中，所述文件属性包括文件生成时间，所述根据所述校验规则校验所述文件生成时间包括：设定生成时间阈值；判定所述文件生成时间是否满足所述生成时间阈值；以及当所述文件生成时间满足所述生成时间阈值时，所述文件生成时间通过校验。

在一些实施例中，所述文件属性包括对应的所述批量文件包括正式文件和校验文件，其中，所述校验文件记载了所述正式文件的信息；所述根据所述校验规则校验所述文件属性包括：验证所述批量文件是否包括所述正式文件和所述校验文件；以及当所述批量文件包括所述正式文件和所述校验文件时，所述文件属性通过校验。

在一些实施例中，所述触发规则包括：执行所述m个批量文件的场次；每个所述批量文件的起始路径；以及每个所述批量文件的接收路径。

在一些实施例中，所述根据所述触发规则和所述文件属性生成批量链路图包括：根据所述起始路径和所述接收路径生成所述批量链路图的节点；将同一所述批量文件的起始路径对应的节点和接收路径对应的节点连接，生成所述批量链路图的边。

在一些实施例中，所述根据所述触发规则和所述文件属性生成批量链路图还包括：将所述文件属性作为所述批量链路图的边属性。

在一些实施例中，所述场次包括时间段或者时间点。

在一些实施例中，所述的方法还包括：生成执行所述m个批量文件的执行状态；以及可视化所述执行状态。

在一些实施例中，所述的方法还包括：根据所述执行状态生成批量链路图，其中，所述批量链路图具有节点和边，所述执行状态为所述边的边属性。

本公开的另一个方面提供了一种基于分布式架构的批量执行装置，包括：获取模块，所述获取模块用于执行根据业务场景获取m个批量文件，每个所述批量文件具有文件属性，其中，m为大于等于1的整数；设定模块，所述设定模块用于执行针对所述m个批量文件设定触发规则和校验规则；校验模块，所述校验模块用于执行根据所述校验规则校验所述文件属性；执行模块，所述执行模块用于执行当所述文件属性通过校验时，按照所述触发规则执行所述m个批量文件；以及生成模块，所述生成模块用于执行根据所述触发规则和所述文件属性生成批量链路图。

本公开的另一方面提供了一种电子设备，包括一个或多个处理器以及一个或多个存储器，其中，所述存储器用于存储可执行指令，所述可执行指令在被所述处理器执行时，实现如上所述方法。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的可以应用方法、装置的示例性系统架构；

图2示意性示出了根据本公开实施例的基于分布式架构的批量执行方法的流程图；

图3示意性示出了根据本公开实施例的根据校验规则校验文件大小的流程图；

图4示意性示出了根据本公开实施例的根据校验规则校验文件类型的流程图；

图5示意性示出了根据本公开实施例的根据校验规则校验文件生成时间的流程图；

图6示意性示出了根据本公开实施例的根据校验规则校验文件属性的流程图；

图7示意性示出了根据本公开实施例的根据触发规则和文件属性生成批量链路图的流程图；

图8示意性以跨应用批量为例示出了根据本公开实施例的批量链路图的示意图；

图9示意性示出了根据本公开实施例的基于分布式架构的批量执行方法的流程图；

图10示意性示出了根据本公开实施例的基于分布式架构的批量执行方法的流程图；

图11示意性示出了根据本公开实施例的基于分布式架构的批量执行方法的流程图；

图12示意性示出了根据本公开实施例的基于分布式架构的批量执行方法的流程图；

图13示意性示出了根据本公开实施例的基于分布式架构的批量执行装置的框图；

图14示意性示出了根据本公开实施例的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。在本公开的技术方案中，对数据的获取、收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。

日常工作中，存在高频次的批量调度场景，比如缴费、对账、跨行等重点交易，往往涉及多应用、跨主机批量和跨平台批量的复杂流程。现有技术无法实现自动化按需调起主机和平台批量，只能手动操作，耗费大量人力物力。

本公开的实施例提供了一种基于分布式架构的批量执行方法、装置、电子设备、计算机可读存储介质和计算机程序产品。基于分布式架构的批量执行方法包括：根据业务场景获取m个批量文件，每个批量文件具有文件属性，其中，m为大于等于1的整数；针对m个批量文件设定触发规则和校验规则；根据校验规则校验文件属性；当文件属性通过校验时，按照触发规则执行m个批量文件；以及根据触发规则和文件属性生成批量链路图。

需要说明的是，本公开的基于分布式架构的批量执行方法、装置、电子设备、计算机可读存储介质和计算机程序产品可用于分布式和大数据技术领域，也可用于除分布式和大数据技术领域之外的任意领域，例如金融领域，这里对本公开的领域不做限定。

图1示意性示出了根据本公开实施例的可以应用基于分布式架构的批量执行方法、装置、电子设备、计算机可读存储介质和计算机程序产品的示例性系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的基于分布式架构的批量执行方法一般可以由服务器105执行。相应地，本公开实施例所提供的基于分布式架构的批量执行装置一般可以设置于服务器105中。本公开实施例所提供的基于分布式架构的批量执行方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的基于分布式架构的批量执行装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

以下将基于图1描述的场景，通过图2～图12对本公开实施例的基于分布式架构的批量执行方法进行详细描述。

图2示意性示出了根据本公开实施例的基于分布式架构的批量执行方法的流程图。

如图2所示，该实施例的基于分布式架构的批量执行方法包括操作S210～操作S250。

在操作S210，根据业务场景获取m个批量文件，每个批量文件具有文件属性，其中，m为大于等于1的整数。可以理解的是，业务场景例如可以为缴费、对账、跨行等重点交易场景，在以上场景中可能涉及多应用之间需要将m个批量文件批量执行、多主机之间需要将m个批量文件批量执行和/或多平台之间需要将m个批量文件批量执行。

作为一种可能实现的方式，文件属性可以包括文件大小、文件类型和文件生成时间中的至少一个。其中，文件属性可以仅包括文件大小，文件属性可以仅包括文件类型，文件属性可以仅包括文件生成时间；文件属性也可以包括文件大小和文件类型，文件属性也可以包括文件大小和文件生成时间，文件属性也可以包括文件类型和文件生成时间；文件属性还可以包括文件大小、文件类型和文件生成时间。由此，文件属性可以包括文件大小、文件类型和文件生成时间中的至少一个可以丰富文件属性的种类，为下文中根据校验规则校验文件属性奠定了数据基础，使得校验结果更加全面和准确。

在操作S220，针对m个批量文件设定触发规则和校验规则。其中，触发规则可以理解为开始执行m个批量文件的触发条件；校验规则可以理解为校验文件属性的规则。

在操作S230，根据校验规则校验文件属性。例如，校验文件大小是否满足规则；校验文件类型是否满足批量执行的文件的类型；校验文件生成时间是否满足要批量执行的文件的生成时间，但是并不限于此，根据校验规则校验文件属性是根据文件属性的具体内容进行校验，这里不作具体限定。

在操作S240，当文件属性通过校验时，按照触发规则执行m个批量文件。

在操作S250，根据触发规则和文件属性生成批量链路图。需要说明的是，批量链路图可以理解为知识图谱，知识图谱包括节点、边和边属性，其中，节点和边可以根据触发规则构建，边属性可以根据文件属性生成。但是批量链路图的理解并不限于此，批量链路图还可以为其它形式的展示图，这里不做过多限制。

根据本公开实施例的基于分布式架构的批量执行方法，通过设定校验规则对批量文件的文件属性进行校验，为执行m个批量文件奠定了可执行的先决条件，当校验未通过时，无需触发执行m个批量文件，节约了流程，进而节约了资源和成本。通过批量链路图可以清晰地获得批量文件的执行状况，例如起始路径是什么，接收路径是什么，文件大小是多大，文件类型是什么，文件生成时间是什么。由此，可以给业务人员作参考，使得业务人员实时得知批量文件的执行情况。本公开通过操作S210～操作S250可以实现跨平台和跨主机的批量自动调度，与现有技术相比，可以减少人为执行，从而可以提升执行的准确率，加快批量执行的时间，提升工作效率。

在本公开的一些实施例中，文件属性可以包括文件大小，如图3所示，操作S230根据校验规则校验文件大小可以包括操作S310～操作S330。

在操作S310，设定文件大小阈值，这里，文件大小阈值可以为数值，也可以为数值区间。

在操作S320，将文件大小与文件大小阈值比较。

在操作S330，文件大小满足文件大小阈值时，文件大小通过校验。例如，当文件大小阈值为数值时，文件大小小于阈值时，则文件大小通过验证；又如，当文件大小阈值为数值时，文件大小大于阈值时，则文件大小通过验证；再如，当文件大小阈值为数值区间时，文件大小位于文件大小阈值内时，则文件大小通过验证。由此，通过操作S310～操作S330可以便于实现根据校验规则校验文件大小。

作为一些具体的示例，文件大小未满足文件大小阈值时，可以根据文件大小阈值将文件大小对应的批量文件拆分为n个子批量文件，以使每个子批量文件的文件大小满足文件大小阈值，其中，n为大于等于2的整数。由此，当批量文件由于文件大小过大而不能执行批量操作时，可以通过拆分的方法使得批量文件满足执行条件，从而提升了执行批量文件的成功率和效率。

在本公开的一些实施例中，文件属性可以包括文件类型，如图4所示，操作S230根据校验规则校验文件类型包括操作S410～操作S430。

在操作S410，设定文件标准类型。这里，文件标准类型可以为.chk文件，可以为.bin文件，当然还可以为其它类型的文件，文件标准类型可以根据实际业务场景和需要设定，这里不做过多限定。

在操作S420，判定文件类型是否为文件标准类型。

在操作S430，当文件类型为文件标准类型时，文件类型通过校验。由此，通过操作S410～操作S430可以便于实现根据校验规则校验文件类型。

在一些具体的示例中，当文件类型不符合文件标准类型时，文件类型无法通过校验。

在本公开的一些实施例中，文件属性可以包括文件生成时间，如图5所示，操作S230根据校验规则校验文件生成时间包括操作S510～操作S530。

在操作S510，设定生成时间阈值。这里，生成时间阈值可以为数值，也可以为数值区间。

在操作S520，判定文件生成时间是否满足生成时间阈值。

在操作S530，当文件生成时间满足生成时间阈值时，文件生成时间通过校验。例如，当生成时间阈值为数值时，文件生成时间小于阈值时，则文件生成时间通过验证；又如，当生成时间阈值为数值时，文件生成时间大于阈值时，则文件生成时间通过验证；再如，当生成时间阈值为数值区间时，文件生成时间位于生成时间阈值内时，则文件生成时间通过验证。由此，通过操作S510～操作S530可以便于实现根据校验规则校验文件生成时间。

在一些具体的示例中，当文件生成时间不满足生成时间阈值时，文件生成时间无法通过校验。

在本公开的一些实施例中，文件属性可以包括对应的批量文件包括正式文件和校验文件，其中，校验文件记载了正式文件的信息。需要说明的是，每个批量文件可以包括两种文件类型，例如一种为.chk文件，为批量文件的正式文件，也即业务数据文件；另一种为.bin文件，为校验文件，校验文件中可以记录正式文件的信息。

如图6所示，操作S230根据校验规则校验文件属性包括操作S610～操作S620。

在操作S610，验证批量文件是否包括正式文件和校验文件。

在操作S620，当批量文件包括正式文件和校验文件时，文件属性通过校验。可以理解的是，批量文件若不包括正式文件和校验文件中的任意一个，则文件属性无法通过校验；批量文件若既不包括正式文件，也不包括校验文件，则文件属性也无法通过校验。由此，通过操作S610～操作S620可以便于实现根据校验规则校验文件属性。

根据本公开的一些实施例，触发规则可以包括：执行m个批量文件的场次；每个批量文件的起始路径；以及每个批量文件的接收路径。其中，在跨应用的批量操作中，起始路径可以理解为传出数据的应用地址，接收路径可以理解为接收数据的应用地址；在跨平台的批量操作中，起始路径可以理解为传出数据的平台地址，接收路径可以理解为接收数据的平台地址；在跨主机的批量操作中，起始路径可以理解为传出数据的主机地址，接收路径可以理解为接收数据的主机地址。

由此，可以根据执行m个批量文件的场次、每个批量文件的起始路径以及每个批量文件的接收路径执行m个批量文件，从而便于实现按照触发规则执行m个批量文件。

作为一种可能实施的方式，场次可以包括时间段或者时间点。由此，丰富了执行m个批量文件的场次，可以满足场次需求的多样性，同时，可以便于实现根据执行m个批量文件的场次执行m个批量文件。

图7示意性示出了根据本公开实施例的根据触发规则和文件属性生成批量链路图的流程图。

图8示意性以跨应用批量为例示出了根据本公开实施例的批量链路图的示意图。

如图7所示，操作S250根据触发规则和文件属性生成批量链路图包括操作S251和操作S252。

在操作S251，根据起始路径和接收路径生成批量链路图的节点。

在操作S252，将同一批量文件的起始路径对应的节点和接收路径对应的节点连接，生成批量链路图的边。由此，根据操作S251和操作S252可以便于实现根据触发规则和文件属性生成批量链路图。

作为一种可能实施的方式，如图7所示，操作S250根据触发规则和文件属性生成批量链路图还包括操作S253：将文件属性作为批量链路图的边属性。由此，通过批量链路图可以清晰地显示批量文件的执行状况，例如起始路径是什么，接收路径是什么，文件大小是多大，文件类型是什么，文件生成时间是什么时候。由此，可以给业务人员作参考，使得业务人员实时得知批量文件的执行情况。

图9示意性示出了根据本公开实施例的基于分布式架构的批量执行方法的流程图。

如图9所示，基于分布式架构的批量执行方法还包括操作S001和操作S002。

在操作S001，生成执行m个批量文件的执行状态。作为一种可能实施的方式，执行状态可以包括执行进程、完成状态和执行时间中的至少一个。其中，执行进程可以理解为m个批量文件中已经执行的个数、正在执行的个数和未执行的个数的情况；完成状态可以理解为执行m个批量文件的状态，例如完成状态可以包括未开始状态，正在执行状态和已完成状态；执行时间可以理解为每个批量文件执行完成的时间。

在操作S002，可视化执行状态。由此，通过可视化执行状态可以让业务人员明确地了解m个批量文件的执行进程、完成状态和执行时间，便于业务人员工作的顺利进行。

图10示意性示出了根据本公开实施例的基于分布式架构的批量执行方法的流程图。

如图10所示，基于分布式架构的批量执行方法还包括操作S003。

在操作S003，根据执行状态生成批量链路图，其中，批量链路图具有节点和边，执行状态为边的边属性。由此，可以在批量链路图上体现执行状态，使得业务人员可以通过批量链路图实时监控m个批量文件的执行情况。从而实现多应用之间、多平台之间和多主机之间的全批量流程一键执行和全链路跟踪，实时查看批量进度。

图11示意性示出了根据本公开实施例的基于分布式架构的批量执行方法的流程图。

如图11所示，基于分布式架构的批量执行方法还包括操作S004。

在操作S004，根据触发规则、文件属性和执行状态生成执行m个批量文件时的日志信息。可以理解的是，日志信息可以实现执行m个批量文件时的状态监控。

图12示意性示出了根据本公开实施例的基于分布式架构的批量执行方法的流程图。

如图12所示，基于分布式架构的批量执行方法还包括操作S005。

在操作S005，根据日志信息生成批量链路图。由此，在批量链路图中可以实时展示日志信息，作为一种可能实施的方式，日志信息可以按日期检索，由此可以实现根据需求查看和调取日志信息以了解想要了解的批量文件执行情况。另外，根据日志信息生成批量链路图使得批量链路图的内容更加丰富，可以给业务人员带去更丰富的知识参考，从而提升业务人员的使用体验感。

基于上述基于分布式架构的批量执行方法，本公开还提供了一种基于分布式架构的批量执行装置10。以下将结合图13对基于分布式架构的批量执行装置10进行详细描述。

图13示意性示出了根据本公开实施例的基于分布式架构的批量执行装置10的结构框图。

基于分布式架构的批量执行装置10包括获取模块1、设定模块2、校验模块3、执行模块4和生成模块5。

获取模块1，获取模块1用于执行操作S210：根据业务场景获取m个批量文件，每个批量文件具有文件属性，其中，m为大于等于1的整数。

设定模块2，设定模块2用于执行操作S220：针对m个批量文件设定触发规则和校验规则。

校验模块3，校验模块3用于执行操作S230：根据校验规则校验文件属性。

执行模块4，执行模块4用于执行操作S240：当文件属性通过校验时，按照触发规则执行m个批量文件。

生成模块5，生成模块5用于执行操作S250：根据触发规则和文件属性生成批量链路图。

由于上述基于分布式架构的批量执行装置10是基于分布式架构的批量执行方法设置的，因此上述基于分布式架构的批量执行装置10的有益效果与基于分布式架构的批量执行方法的相同，这里不再赘述。

另外，根据本公开的实施例，获取模块1、设定模块2、校验模块3、执行模块4和生成模块5中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。

根据本公开的实施例，获取模块1、设定模块2、校验模块3、执行模块4和生成模块5中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。

或者，获取模块1、设定模块2、校验模块3、执行模块4和生成模块5中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

下面详细描述根据本公开实施例的基于分布式架构的批量执行装置。值得理解的是，下述描述仅是示例性说明，而不是对本公开的具体限制。

本公开是实现了一个批量流程规则定制和执行的装置。当业务人员确定要验证的批量场景涉及的应用和对应批量后。需要批量规则定制模块，使用规则模板，按照主机批量和平台批量的分类原则，按顺序选择批量规则，输入详细信息。这些信息会在完成规则定制后，传到批量自动调度模块。系统会自动按照定制的规则生成可视化链路图，并自动探测是否可以运行。最终实现一键批量调起和全链路进度跟踪。并把详细批量调度日志反馈到日志刷新模块，实现对批量的监控。

一种基于分布式架构的批量执行装置包括规则定制模块、批量自动调度模块、日志刷新模块和链路可视化模块。

规则定制模块：用于业务按照测试场景自定义批量触发规则、文件校验规则、数据库检索规则等，并发送给批量自动调度模块和链路可视化模块。

批量自动调度模块：用于接收规则定制模块传送过来的数据，并解析探测可行性，对于无问题的规则自动编译成批量链路传输给链路可视化模块。

日志刷新模块：接收批量自动调度模块传送的批量进度信息和各种监控，实时刷新获取对应日志并发送给链路可视化模块。

链路可视化模块：存储来自规则定制模块的批量详情信息，对批量自动调度模块传送过来的可行性批量链路一一匹配，并生成对应业务场景的批量链路图。在执行批量调度时，实时反馈信息给批量自动调度模块。接收来自该日志刷新模块的日志数据并展示。

基于分布式架构的批量执行装置可以执行以下步骤：

步骤201：业务业务按照测试场景自定义批量触发规则、文件校验规则、数据库检索规则等信息发送给批量自动调度模块。

步骤202：业务业务按照测试场景自定义批量触发规则、文件校验规则、数据库检索规则等信息发送给链路可视化模块。

步骤203：对于无问题的规则自动编译成批量链路，并在调起时，按照主机批量和平台批量的各自触发逻辑，采取分布式触发的方式，并行调起多场次批量并再调起前后进行文件校验，采取实时通信的方式传输给链路可视化模块。

步骤204：批量触发时，发送实时数据给日志刷新模块，实现日志信息监控。

步骤205：链路可视化模块实时接受批量信息并根据前端用户的行为传送回批量自动调度模块。

步骤206：日志刷新模块把日志信息实时发送给链路可视化模块，展示批量进度日志及文件、数据库校验详情。

图14示意性示出了根据本公开实施例的适于实现基于分布式架构的批量执行方法的电子设备的方框图。

如图14所示，根据本公开实施例的电子设备900包括处理器901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。处理器901例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器901还可以包括用于缓存用途的板载存储器。处理器901可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 903中，存储有电子设备900操作所需的各种程序和数据。处理器901、ROM902以及RAM 903通过总线904彼此相连。处理器901通过执行ROM 902和/或RAM 903中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 902和RAM 903以外的一个或多个存储器中。处理器901也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备900还可以包括输入/输出(I/O)接口905，输入/输出(I/O)接口905也连接至总线904。电子设备900还可以包括连接至I/O接口905的以下部件中的一项或多项：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至输入/输出(I/O)接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 902和/或RAM 903和/或ROM 902和RAM 903以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例的方法。

在该计算机程序被处理器901执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分909被下载和安装，和/或从可拆卸介质911被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被处理器901执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (17)

1.一种基于分布式架构的批量执行方法，其特征在于，包括：

根据业务场景获取m个批量文件，每个所述批量文件具有文件属性，其中，m为大于等于1的整数；

针对所述m个批量文件设定触发规则和校验规则；

根据所述校验规则校验所述文件属性；

当所述文件属性通过校验时，按照所述触发规则执行所述m个批量文件；以及

根据所述触发规则和所述文件属性生成批量链路图。

2.根据权利要求1所述的方法，其特征在于，所述文件属性包括文件大小、文件类型和文件生成时间中的至少一个。

3.根据权利要求2所述的方法，其特征在于，所述文件属性包括文件大小，所述根据所述校验规则校验所述文件大小包括：

设定文件大小阈值；

将所述文件大小与所述文件大小阈值比较；以及

所述文件大小满足所述文件大小阈值时，所述文件大小通过校验。

4.根据权利要求3所述的方法，其特征在于，所述文件大小未满足所述文件大小阈值时，根据所述文件大小阈值将所述文件大小对应的所述批量文件拆分为n个子批量文件，以使每个所述子批量文件的文件大小满足所述文件大小阈值，其中，n为大于等于2的整数。

5.根据权利要求2所述的方法，其特征在于，所述文件属性包括文件类型，所述根据所述校验规则校验所述文件类型包括：

设定文件标准类型；

判定所述文件类型是否为所述文件标准类型；以及

当所述文件类型为所述文件标准类型时，所述文件类型通过校验。

6.根据权利要求2所述的方法，其特征在于，所述文件属性包括文件生成时间，所述根据所述校验规则校验所述文件生成时间包括：

设定生成时间阈值；

判定所述文件生成时间是否满足所述生成时间阈值；以及

当所述文件生成时间满足所述生成时间阈值时，所述文件生成时间通过校验。

7.根据权利要求1所述的方法，其特征在于，所述文件属性包括对应的所述批量文件包括正式文件和校验文件，其中，所述校验文件记载了所述正式文件的信息；

所述根据所述校验规则校验所述文件属性包括：

验证所述批量文件是否包括所述正式文件和所述校验文件；以及

当所述批量文件包括所述正式文件和所述校验文件时，所述文件属性通过校验。

8.根据权利要求1所述的方法，其特征在于，所述触发规则包括：

执行所述m个批量文件的场次；

每个所述批量文件的起始路径；以及

每个所述批量文件的接收路径。

9.根据权利要求8所述的方法，其特征在于，所述根据所述触发规则和所述文件属性生成批量链路图包括：

根据所述起始路径和所述接收路径生成所述批量链路图的节点；

将同一所述批量文件的起始路径对应的节点和接收路径对应的节点连接，生成所述批量链路图的边。

10.根据权利要求9所述的方法，其特征在于，所述根据所述触发规则和所述文件属性生成批量链路图还包括：将所述文件属性作为所述批量链路图的边属性。

11.根据权利要求8所述的方法，其特征在于，所述场次包括时间段或者时间点。

12.根据权利要求1～11中任一项所述的方法，其特征在于，还包括：

生成执行所述m个批量文件的执行状态；以及

可视化所述执行状态。

13.根据权利要求12所述的方法，其特征在于，还包括：

根据所述执行状态生成批量链路图，其中，所述批量链路图具有节点和边，所述执行状态为所述边的边属性。

14.一种基于分布式架构的批量执行装置，其特征在于，包括：

获取模块，所述获取模块用于执行根据业务场景获取m个批量文件，每个所述批量文件具有文件属性，其中，m为大于等于1的整数；

设定模块，所述设定模块用于执行针对所述m个批量文件设定触发规则和校验规则；

校验模块，所述校验模块用于执行根据所述校验规则校验所述文件属性；

执行模块，所述执行模块用于执行当所述文件属性通过校验时，按照所述触发规则执行所述m个批量文件；以及

生成模块，所述生成模块用于执行根据所述触发规则和所述文件属性生成批量链路图。

15.一种电子设备，其特征在于，包括：

一个或多个处理器；

一个或多个存储器，用于存储可执行指令，所述可执行指令在被所述处理器执行时，实现根据权利要求1～13中任一项所述的方法。

16.一种计算机可读存储介质，其特征在于，所述存储介质上存储有可执行指令，该指令被处理器执行时实现根据权利要求1～13中任一项所述的方法。

17.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序包括一个或者多个可执行指令，所述可执行指令被处理器执行时实现根据权利要求1～13中任一项所述的方法。

Images