CN113204374A - 流水线任务组件输入参数配置方法及装置 - Google Patents

流水线任务组件输入参数配置方法及装置 Download PDF

Info

Publication number
CN113204374A
CN113204374A CN202110591495.XA CN202110591495A CN113204374A CN 113204374 A CN113204374 A CN 113204374A CN 202110591495 A CN202110591495 A CN 202110591495A CN 113204374 A CN113204374 A CN 113204374A
Authority
CN
China
Prior art keywords
parameter
data
pipeline
parameters
input parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110591495.XA
Other languages
English (en)
Inventor
刘伟
廖加嘉
蔡兵克
赵振标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110591495.XA priority Critical patent/CN113204374A/zh
Publication of CN113204374A publication Critical patent/CN113204374A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种流水线任务组件输入参数配置方法及装置，可用于金融领域或者其他技术领域，该方法包括：采集流水线的多个阶段的明细数据；根据所述明细数据提取出预设的多种参数类型的参数数据，并汇总成参数数据表，其中，所述参数数据包含：参数名称以及参数值；查询流水线任务组件的各输入参数在所述参数数据表中对应的参数值，并根据查询出的参数值为所述流水线任务组件的输入参数赋值。本发明解决了现有的通过配置员人工进行流水线任务组件入参配置存在效率低、易错以及复用性低的问题。

Description

流水线任务组件输入参数配置方法及装置
技术领域
本发明涉及流水线技术领域，具体而言，涉及一种流水线任务组件输入参数配置方法及装置。
背景技术
一条流水线在制定时通常会定义多个任务组件，任务组件为静态的模型，任务组件在赋值之后成为流水线中动态的任务，任务组件的赋值包括配置任务组件的输入参数(以下可以用入参来进行表示)，每个任务组件对应的输入参数通常为多个。目前在进行流水线任务组件入参配置时，通常采用配置员人工输入参数值的方式进行配置，但流水线的任务组件数量较多，并且每个任务组件的入参也较多，因此现有的通过配置员人工进行配置的方式存在效率低、易错以及复用性低等问题。
发明内容
本发明为了解决上述背景技术中的至少一个技术问题，提出了一种流水线任务组件输入参数配置方法及装置。
为了实现上述目的，根据本发明的一个方面，提供了一种流水线任务组件输入参数配置方法，该方法包括：
采集流水线的多个阶段的明细数据；
根据所述明细数据提取出预设的多种参数类型的参数数据，并汇总成参数数据表，其中，所述参数数据包含：参数名称以及参数值；
查询流水线任务组件的各输入参数在所述参数数据表中对应的参数值，并根据查询出的参数值为所述流水线任务组件的输入参数赋值。
可选的，所述查询流水线任务组件的各输入参数在所述参数数据表中对应的参数值，并根据查询出的参数值为所述流水线任务组件的输入参数赋值，具体包括：
确定所述输入参数中的动态变量参数；
查询所述参数数据表中是否存在所述动态变量参数对应的参数值；
若存在所述动态变量参数对应的参数值，则采用该对应的参数值为所述动态变量参数进行赋值。
可选的，所述采集流水线的多个阶段的明细数据，具体包括：
通过原始数据层采集流水线的原始数据；
通过明细数据层对所述原始数据按照流水线的阶段进行划分，得到每个阶段各自对应的明细数据。
可选的，所述根据所述明细数据提取出预设的多种参数类型的参数数据，具体包括：
通过轻度汇总层对所述明细数据按照所述参数类型进行划分，提取出各参数类型对应的参数数据。
可选的，所述阶段包括：初始化阶段、实例化阶段、启动前阶段和执行中阶段。
可选的，所述参数类型包括：内部系统参数、外部调用函数、流水线参数、组件固定任务参数、上游组件参数、当前组件参数以及单次执行规则参数。
可选的，所述根据所述明细数据提取出预设的多种参数类型的参数数据，具体包括：
从初始化阶段对应的明细数据中提取出内部系统参数类以及外部调用函数类的参数数据；
从实例化阶段对应的明细数据中提取出流水线参数类以及组件固定任务参数类的参数数据；
从启动前阶段对应的明细数据中提取出单次执行规则参数类的参数数据；
从执行中阶段对应的明细数据中提取出上游组件参数类以及当前组件参数类的参数数据。
为了实现上述目的，根据本发明的另一方面，提供了一种流水线任务组件输入参数配置装置，该装置包括：
明细数据采集模块，用于采集流水线的多个阶段的明细数据；
参数数据表生成模块，用于根据所述明细数据提取出预设的多种参数类型的参数数据，并汇总成参数数据表，其中，所述参数数据包含：参数名称以及参数值；
输入参数赋值模块，用于查询流水线任务组件的各输入参数在所述参数数据表中对应的参数值，并根据查询出的参数值为所述流水线任务组件的输入参数赋值。
可选的，所述输入参数赋值模块，具体包括：
动态变量参数确定单元，用于确定所述输入参数中的动态变量参数；
参数数据表查询单元，用于查询所述参数数据表中是否存在所述动态变量参数对应的参数值；
赋值单元，用于若存在所述动态变量参数对应的参数值，则采用该对应的参数值为所述动态变量参数进行赋值。
可选的，所述明细数据采集模块，具体包括：
原始数据层单元，用于通过原始数据层采集流水线的原始数据；
明细数据层单元，用于通过明细数据层对所述原始数据按照流水线的阶段进行划分，得到每个阶段各自对应的明细数据；
所述参数数据表生成模块，包括：
轻度汇总层单元，用于通过轻度汇总层对所述明细数据按照所述参数类型进行划分，提取出各参数类型对应的参数数据。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述流水线任务组件输入参数配置方法中的步骤。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述流水线任务组件输入参数配置方法中的步骤。
本发明的有益效果为：本发明实施例通过采集流水线的多个阶段的明细数据，进而根据所述明细数据提取出预设的多种参数类型的参数数据，并汇总成参数数据表，最后根据参数数据表为流水线任务组件的输入参数进行赋值，实现了高效、准确的对流水线任务组件的入参进行配置的效果，此外，本发明的参数数据表可以多次使用，也使本发明的流水线任务组件的入参配置方法具有较高的复用性，由此可见，本发明解决了现有的通过配置员人工进行配置的方式存在效率低、易错以及复用性低的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明实施例流水线任务组件输入参数配置方法的流程图；
图2是本发明实施例对流水线任务组件入参进行赋值的流程图；
图3是本发明实施例提取参数数据的流程图；
图4是本发明实施例流水线各阶段与各参数类型示意图；
图5是本发明实施例数据中台模型示意图；
图6是本发明实施例数据抓取示意图；
图7是本发明实施例流水线任务组件输入参数配置装置的结构框图；
图8是本发明实施例计算机设备示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本发明提供一种流水线任务组件输入参数配置策略，聚集跟流水线关联的不同阶段和不同维度(即多种参数类型)的参数数据，形成类似数据中台的变量仓库，让系统配置员可以通过变量的方式，灵活组合不同维度的参数，减少流水线制定员对于组件入参配置时的易错性、繁琐性，提高制定流水线的效率。
图1是本发明实施例流水线任务组件输入参数配置方法的流程图，如图1所示，在本发明一个实施例中，本发明的流水线任务组件输入参数配置方法包括步骤S101至步骤S103。
步骤S101，采集流水线的多个阶段的明细数据。
在本发明一个实施例中，所述阶段包括：初始化阶段、实例化阶段、启动前阶段和执行中阶段。
步骤S102，根据所述明细数据提取出预设的多种参数类型的参数数据，并汇总成参数数据表，其中，所述参数数据包含：参数名称以及参数值。
在本发明一个实施例中，所述参数类型包括：内部系统参数、外部调用函数、流水线参数、组件固定任务参数、上游组件参数、当前组件参数以及单次执行规则参数。
步骤S103，查询流水线任务组件的各输入参数在所述参数数据表中对应的参数值，并根据查询出的参数值为所述流水线任务组件的输入参数赋值。
图4是本发明实施例流水线各阶段与各参数类型示意图，如图4所示，不同阶段对应的参数类型并不相同。在本发明一个实施例中，上述步骤S102的根据所述明细数据提取出预设的多种参数类型的参数数据，具体包括：
从初始化阶段对应的明细数据中提取出内部系统参数类以及外部调用函数类的参数数据；
从实例化阶段对应的明细数据中提取出流水线参数类以及组件固定任务参数类的参数数据；
从启动前阶段对应的明细数据中提取出单次执行规则参数类的参数数据；
从执行中阶段对应的明细数据中提取出上游组件参数类以及当前组件参数类的参数数据。
由此可见，本发明提供了一种灵活组合多维度数据的方法，使用暴露的变量和标准的解析策略，解决在流水线任务调度的参数配置中，针对分散在流水线周边多个阶段和多个维度的数据，通过配置动态变量，让系统在执行中巧妙收集变量对应的真实数据作为组件入参值，从而实现了高效、准确的对流水线任务组件的入参进行配置的效果。
图2是本发明实施例对流水线任务组件入参进行赋值的流程图，如图2所示，在本发明一个实施例中，上述步骤S103的为所述流水线任务组件的输入参数赋值具体包括步骤S201至步骤S203。
步骤S201，确定所述输入参数中的动态变量参数。
在本发明实施例中，流水线任务组件的输入参数包含：固定常量参数以及动态变量参数。
步骤S202，查询所述参数数据表中是否存在所述动态变量参数对应的参数值。
步骤S203，若存在所述动态变量参数对应的参数值，则采用该对应的参数值为所述动态变量参数进行赋值。
在本发明实施例中，本发明结合实际需要，选择性的配置指定维度的动态变量参数，或组合不同维度的动态变量参数，也可以对转换后的变量值进行数据清洗。示例如下：
内部系统参数：$#{system.appName}
外部调用函数：$#{function.paasUrl(‘http://xxx’)}
上游组件出参数据清洗：$#{upstream.branchUrl.substring(8,16)}
$#{upstream.branchUrl.substring(upstream.branchUrl.indexOf('_')+1,upstream.branchUrl.lastIndexOf('_'))}
当前执行中的组件任务入参：$#{job.deployUnit}
流水线参数：$#{flow.medium.unit}
流水线参数和当前组件参数组合：$#{flow.medium[job.deployUnit]}
在本发明一个实施例中，上述步骤S101的采集流水线的多个阶段的明细数据以及步骤S102的生成参数数据表具体可以由预设的数据中台模型来实现。图5是本发明实施例数据中台模型示意图，如图5所示，本发明的数据中台模型包含：原始数据层ODS、明细数据层DWD、轻度汇总层DWS以及应用层ADS。本发明利用数据中台模型设计的核心：抽象和归纳中间层DWD和DWS，追求模型的复用性和共享性。
图3是本发明实施例提取参数数据的流程图，如图3所示，在本发明一个实施例中，通过数据中台模型采集流水线数据并汇总成参数数据表具体包括包括步骤S301至步骤S303。
步骤S301，通过原始数据层采集流水线的原始数据。
在本发明实施例中，原始数据层ODS为最小粒度的参数单位，这部分数据在流水线级别没有归属分类，是最直接的数据来源。
步骤S302，通过明细数据层对所述原始数据按照流水线的阶段进行划分，得到每个阶段各自对应的明细数据。
在本发明实施例中，本发明依据流水线的阶段进行划分，可以得到DWD明细数据层，这部分数据可以在流水线的不同执行阶段，分别抓取，比如在流水线制定时，在流水线启动前，在组件执行时等各个阶段，都能划分出一层数据明细。
步骤S303，通过轻度汇总层对所述明细数据按照所述参数类型进行划分，提取出各参数类型对应的参数数据。
在本发明实施例中，本发明依据参数类型划分，把各层明细数据，可以在某个时机，分系统级别、流水线级别和组件级别等维度，建立DWS轻度汇总层，从而达到一个更抽象、更复用的数据仓库。
示例结构如下：
Figure BDA0003089446430000071
在本发明一个实施例中，在上述步骤S303之后，本发明还将各参数类型的参数数据汇总成参数数据表并存储在应用层ADS。
图6是本发明实施例数据抓取示意图，如图6所示，本发明在初始化、实例化、启动前和执行中四个阶段中，分别抛出各个主题类型的事件，进而参数转换服务端监听到参数类型汇总事件，分类型编排成结构相同的数据。参数转换服务端还用于返回转换后的参数实际值。
从以上实施例可以看出，本发明方法至少实现了以下有益效果：
1、本发明主要解决了在流水线中的任务组件调度时，把有数据关联性质的入参，通过变量的方式前移到组件定义时去配置，从而大大提高了对流水线任务组件的入参进行配置的效率。
2、本发明在流水线生命周期中的多个阶段，收集各自产生的参数，集中管理，利用数据中台仓库思想，抽象和归纳参数中间层，达到模型的复用性和共享性。
3、本发明通过一套标准的变量表达式，统一配置规则，统一解析策略，达到多维度变量减少流水线制定员对于组件入参配置时的易错性、繁琐性，提高制定流水线的效率组合的灵活性。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
基于同一发明构思，本发明实施例还提供了一种流水线任务组件输入参数配置装置，可以用于实现上述实施例所描述的流水线任务组件输入参数配置方法，如下面的实施例所述。由于流水线任务组件输入参数配置装置解决问题的原理与流水线任务组件输入参数配置方法相似，因此流水线任务组件输入参数配置装置的实施例可以参见流水线任务组件输入参数配置方法的实施例，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是本发明实施例流水线任务组件输入参数配置装置的结构框图，如图7所示，本发明实施例流水线任务组件输入参数配置装置包括：
明细数据采集模块1，用于采集流水线的多个阶段的明细数据；
参数数据表生成模块2，用于根据所述明细数据提取出预设的多种参数类型的参数数据，并汇总成参数数据表，其中，所述参数数据包含：参数名称以及参数值；
输入参数赋值模块3，用于查询流水线任务组件的各输入参数在所述参数数据表中对应的参数值，并根据查询出的参数值为所述流水线任务组件的输入参数赋值。
在本发明一个实施例中，所述输入参数赋值模块3，具体包括：
动态变量参数确定单元，用于确定所述输入参数中的动态变量参数；
参数数据表查询单元，用于查询所述参数数据表中是否存在所述动态变量参数对应的参数值；
赋值单元，用于若存在所述动态变量参数对应的参数值，则采用该对应的参数值为所述动态变量参数进行赋值。
在本发明一个实施例中，所述明细数据采集模块1，具体包括：
原始数据层单元，用于通过原始数据层采集流水线的原始数据；
明细数据层单元，用于通过明细数据层对所述原始数据按照流水线的阶段进行划分，得到每个阶段各自对应的明细数据。
在本发明一个实施例中，所述参数数据表生成模块2，包括：
轻度汇总层单元，用于通过轻度汇总层对所述明细数据按照所述参数类型进行划分，提取出各参数类型对应的参数数据。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备。如图8所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。
处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。
上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述流水线任务组件输入参数配置方法中的步骤。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种流水线任务组件输入参数配置方法，其特征在于，包括：
采集流水线的多个阶段的明细数据；
根据所述明细数据提取出预设的多种参数类型的参数数据，并汇总成参数数据表，其中，所述参数数据包含：参数名称以及参数值；
查询流水线任务组件的各输入参数在所述参数数据表中对应的参数值，并根据查询出的参数值为所述流水线任务组件的输入参数赋值。
2.根据权利要求1所述的流水线任务组件输入参数配置方法，其特征在于，所述查询流水线任务组件的各输入参数在所述参数数据表中对应的参数值，并根据查询出的参数值为所述流水线任务组件的输入参数赋值，具体包括：
确定所述输入参数中的动态变量参数；
查询所述参数数据表中是否存在所述动态变量参数对应的参数值；
若存在所述动态变量参数对应的参数值，则采用该对应的参数值为所述动态变量参数进行赋值。
3.根据权利要求1所述的流水线任务组件输入参数配置方法，其特征在于，所述采集流水线的多个阶段的明细数据，具体包括：
通过原始数据层采集流水线的原始数据；
通过明细数据层对所述原始数据按照流水线的阶段进行划分，得到每个阶段各自对应的明细数据。
4.根据权利要求3所述的流水线任务组件输入参数配置方法，其特征在于，所述根据所述明细数据提取出预设的多种参数类型的参数数据，具体包括：
通过轻度汇总层对所述明细数据按照所述参数类型进行划分，提取出各参数类型对应的参数数据。
5.根据权利要求1所述的流水线任务组件输入参数配置方法，其特征在于，所述阶段包括：初始化阶段、实例化阶段、启动前阶段和执行中阶段。
6.根据权利要求5所述的流水线任务组件输入参数配置方法，其特征在于，所述参数类型包括：内部系统参数、外部调用函数、流水线参数、组件固定任务参数、上游组件参数、当前组件参数以及单次执行规则参数。
7.根据权利要求6所述的流水线任务组件输入参数配置方法，其特征在于，所述根据所述明细数据提取出预设的多种参数类型的参数数据，具体包括：
从初始化阶段对应的明细数据中提取出内部系统参数类以及外部调用函数类的参数数据；
从实例化阶段对应的明细数据中提取出流水线参数类以及组件固定任务参数类的参数数据；
从启动前阶段对应的明细数据中提取出单次执行规则参数类的参数数据；
从执行中阶段对应的明细数据中提取出上游组件参数类以及当前组件参数类的参数数据。
8.一种流水线任务组件输入参数配置装置，其特征在于，包括：
明细数据采集模块，用于采集流水线的多个阶段的明细数据；
参数数据表生成模块，用于根据所述明细数据提取出预设的多种参数类型的参数数据，并汇总成参数数据表，其中，所述参数数据包含：参数名称以及参数值；
输入参数赋值模块，用于查询流水线任务组件的各输入参数在所述参数数据表中对应的参数值，并根据查询出的参数值为所述流水线任务组件的输入参数赋值。
9.根据权利要求8所述的流水线任务组件输入参数配置装置，其特征在于，所述输入参数赋值模块，具体包括：
动态变量参数确定单元，用于确定所述输入参数中的动态变量参数；
参数数据表查询单元，用于查询所述参数数据表中是否存在所述动态变量参数对应的参数值；
赋值单元，用于若存在所述动态变量参数对应的参数值，则采用该对应的参数值为所述动态变量参数进行赋值。
10.根据权利要求8所述的流水线任务组件输入参数配置装置，其特征在于，所述明细数据采集模块，具体包括：
原始数据层单元，用于通过原始数据层采集流水线的原始数据；
明细数据层单元，用于通过明细数据层对所述原始数据按照流水线的阶段进行划分，得到每个阶段各自对应的明细数据；
所述参数数据表生成模块，包括：
轻度汇总层单元，用于通过轻度汇总层对所述明细数据按照所述参数类型进行划分，提取出各参数类型对应的参数数据。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的方法。
12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序在计算机处理器中执行时实现如权利要求1至7任意一项所述的方法。
CN202110591495.XA 2021-05-28 2021-05-28 流水线任务组件输入参数配置方法及装置 Pending CN113204374A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110591495.XA CN113204374A (zh) 2021-05-28 2021-05-28 流水线任务组件输入参数配置方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110591495.XA CN113204374A (zh) 2021-05-28 2021-05-28 流水线任务组件输入参数配置方法及装置

Publications (1)

Publication Number Publication Date
CN113204374A true CN113204374A (zh) 2021-08-03

Family

ID=77023479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110591495.XA Pending CN113204374A (zh) 2021-05-28 2021-05-28 流水线任务组件输入参数配置方法及装置

Country Status (1)

Country Link
CN (1) CN113204374A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783606A (zh) * 2018-12-17 2019-05-21 平安普惠企业管理有限公司 数据处理方法、装置、计算机设备和存储介质
CN111382155A (zh) * 2018-12-28 2020-07-07 上海连尚网络科技有限公司 一种数据仓库的数据处理方法、电子设备及介质
CN112199430A (zh) * 2020-10-15 2021-01-08 苏州龙盈软件开发有限公司 一种基于数据中台的业务数据处理系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783606A (zh) * 2018-12-17 2019-05-21 平安普惠企业管理有限公司 数据处理方法、装置、计算机设备和存储介质
CN111382155A (zh) * 2018-12-28 2020-07-07 上海连尚网络科技有限公司 一种数据仓库的数据处理方法、电子设备及介质
CN112199430A (zh) * 2020-10-15 2021-01-08 苏州龙盈软件开发有限公司 一种基于数据中台的业务数据处理系统及方法

Similar Documents

Publication Publication Date Title
CN106815254A (zh) 一种数据处理方法和装置
CN113360554A (zh) 一种数据抽取、转换和加载etl的方法和设备
CN112579289B (zh) 一种可智能调度的分布式解析引擎方法及装置
CN108171528A (zh) 一种归因方法及归因系统
US9355166B2 (en) Clustering signifiers in a semantics graph
Petrov et al. Adaptive performance model for dynamic scaling Apache Spark Streaming
CN110851234A (zh) 基于docker容器的日志处理方法及装置
CN113360581A (zh) 数据处理方法、装置及存储介质
CN104050003A (zh) 一种采用shell脚本启动Nutch采集系统的方法
CN114091029B (zh) 恶意文件检测模型的训练系统、方法、设备、介质及平台
CN111444412A (zh) 网络爬虫任务的调度方法及装置
CN114817389A (zh) 数据处理方法、装置、存储介质及电子设备
CN111158800A (zh) 基于映射关系构建任务dag的方法及装置
CN113688602A (zh) 一种任务处理方法以及装置
CN107193749B (zh) 测试方法、装置及设备
CN107679107B (zh) 一种基于图数据库的电网设备可达性查询方法及系统
CN107493315B (zh) 一种行为数据的收集方法、资源服务器及存储介质
CN108696559B (zh) 流处理方法及装置
CN106528551A (zh) 申请内存的方法和装置
CN113204374A (zh) 流水线任务组件输入参数配置方法及装置
CN112448855B (zh) 区块链系统参数更新方法和系统
CN113590358A (zh) 基于rpa的服务并发治理方法及装置
CN112100495B (zh) 一种基于分布式的一站式采集方法及采集系统
CN104166737A (zh) 用于数据库名称的修改方法和装置
CN114817311B (zh) 应用于GaussDB数据库存储过程的并行计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination