CN114371884A - Flink计算任务的处理方法、装置、设备和存储介质 - Google Patents
Flink计算任务的处理方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN114371884A CN114371884A CN202111663400.7A CN202111663400A CN114371884A CN 114371884 A CN114371884 A CN 114371884A CN 202111663400 A CN202111663400 A CN 202111663400A CN 114371884 A CN114371884 A CN 114371884A
- Authority
- CN
- China
- Prior art keywords
- data
- configuration data
- index
- calculation
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 211
- 238000012545 processing Methods 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims description 49
- 238000004590 computer program Methods 0.000 claims description 27
- 238000001914 filtration Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000002776 aggregation Effects 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 9
- 238000013506 data mapping Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000032683 aging Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002431 foraging effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/547—Messaging middleware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种Flink计算任务的处理方法、装置、设备和存储介质。所述方法包括：获取当前Flink计算任务的任务配置数据；提取所述任务配置数据中各计算指标对应的指标配置数据；根据各所述计算指标的指标配置数据对各所述计算指标进行处理，以处理所述当前Flink计算任务，本申请通过对当前Flink计算任务的各计算指标进行配置，根据指标配置数据对当前Flink计算任务进行任务处理，实现了Flink计算任务的可配置化，解决了传统技术中采用硬编码的方式进行数据处理而带来的错误率高的问题，提高数据处理的效率，配置数据支持可修改，可灵活修改数据处理的逻辑。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及一种Flink计算任务的处理方法、装置、设备和存储介质。
背景技术
目前本领域内传统做法是采用硬编码方式实现数据处理、业务开发以及计算等模块，具有个性化，灵活性，能解决复杂逻辑的业务需求。以编码、测试、发布的版本迭代过程完成业务需求。然而，传统做法至少存在以下缺陷与不足：
1、不同开发人员水平不一，编码存在冗余且错误率相对较高，对编码和测试的要求比较高，需要严格规范的代码评审机制作为辅助。
2、以编码、测试、发布的版本迭代过程，具有研发效率低，版本周期长，成本投入高等特点。
3、当数据处理逻辑需要修改时，则需要重新编写代码，步骤繁琐。
4、数据处理、计算的逻辑隐藏于代码实现中，不利于业务逻辑的理解与问题跟踪分析。
发明内容
基于此，有必要针对上述技术问题，提供一种Flink计算任务的处理方法、装置、设备和存储介质。
一种Flink计算任务的处理方法，方法包括：
获取当前Flink计算任务的任务配置数据；
提取任务配置数据中各计算指标对应的指标配置数据；
根据各计算指标的指标配置数据对各计算指标进行处理，以处理当前Flink计算任务。
在其中一个实施例中，上述的方法还包括：
对各计算指标对应的指标配置数据进行校验；
对校验后的数据进行解析，得到解析结果；
根据解析后的结果进行数据映射，得到多个算子；
根据各算子，创建当前Flink计算任务。
在其中一个实施例中，各上述的指标配置数据中包括统计字段、统计过滤条件以及各待处理数据集的集合信息，上述的根据各计算指标的指标配置数据对各计算指标进行处理，包括：
获取当前计算指标对应的待处理数据集的集合信息；
根据当前计算指标对应的待处理数据集的集合信息获取当前计算指标对应的待处理数据集；
根据当前计算指标对应的统计字段以及统计过滤条件对当前计算指标对应的待处理数据集中的字段进行聚合处理。
在其中一个实施例中，上述的方法还包括：
获取实时数据流；
根据预先配置的预处理配置数据中的第一配置数据对实时数据流进行预处理，得到各待处理数据集；
根据预处理配置数据中的第二配置数据将各待处理数据集分类存储于预设的消息队列的各主题中；
上述的当前计算指标对应的待处理数据集的集合信息中包括消息队列的主题标识，根据各待处理数据集的集合信息获取各计算指标对应的待处理数据集，包括：
根据当前计算指标对应的待处理数据集的集合信息中的主题标识从消息队列的对应主题中获取当前计算指标对应的待处理数据集。
在其中一个实施例中，上述的任务配置数据中还包括输出通道的配置数据,方法还包括：
提取输出通道的配置数据中输出通道的标识信息；
将当前Flink计算任务的处理结果输出至输出通道的标识信息所指示的输出通道。
在其中一个实施例中，上述的第一配置数据中包括外部调用配置数据，方法还包括：
根据外部调用配置数据中的调用接口信息获取对应的外部数据；
根据预先配置的预处理配置数据中的第一配置数据对实时数据流进行预处理，得到各待处理数据集，包括：
根据外部数据对实时数据流进行预处理，得到各待处理数据集。
在其中一个实施例中，上述的方法还包括：
接收任务配置数据的目标计算指标的新增请求；
提取目标计算指标的指标配置数据；
将目标计算指标的指标配置数据与当前Flink计算任务关联性存储于预设数据库中。
一种Flink计算任务的处理装置，其特征在于，装置包括：
获取模块，用于获取当前Flink计算任务的任务配置数据；
提取模块，用于提取任务配置数据中各计算指标对应的指标配置数据；
处理模块，用于根据各计算指标的指标配置数据对各计算指标进行处理，以处理当前Flink计算任务。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取当前Flink计算任务的任务配置数据；
提取任务配置数据中各计算指标对应的指标配置数据；
根据各计算指标的指标配置数据对各计算指标进行处理，以处理当前Flink计算任务。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取当前Flink计算任务的任务配置数据；
提取任务配置数据中各计算指标对应的指标配置数据；
根据各计算指标的指标配置数据对各计算指标进行处理，以处理当前Flink计算任务。
上述Flink计算任务的处理方法、装置、设备和存储介质，通过获取当前Flink计算任务的任务配置数据；提取任务配置数据中各计算指标对应的指标配置数据；根据各计算指标的指标配置数据对各计算指标进行处理，以处理当前Flink计算任务，本申请通过对当前Flink计算任务的各计算指标进行配置，根据指标配置数据对当前Flink计算任务进行任务处理，实现了Flink计算任务的可配置化，解决了传统技术中采用硬编码的方式进行数据处理而带来的错误率高的问题，提高数据处理的效率，数据处理的逻辑体现于配置数据中，利于业务逻辑的理解与问题跟踪分析，配置数据支持可修改，可灵活修改数据处理的逻辑。
附图说明
图1为一个实施例中Flink计算任务的处理方法的应用环境图；
图2为一个实施例中Flink计算任务的处理方法的流程示意图；
图3为一个实施例中创建当前Flink计算任务的流程示意图；
图4为另一个实施例中根据各计算指标的指标配置数据对各计算指标进行处理的细化步骤流程示意图；
图5为一个实施例中生成待处理数据集得流程示意图；
图6为一个实施例中当前Flink计算任务的处理结果输出的流程示意图；
图7为一个实施例中新增任务指标的流程示意图；
图8为一个实施例中Flink计算任务的处理方法的应用环境示意图；
图9为一个实施例中Flink计算任务的处理装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
请参考图1，图1为本申请一示例性实施例提供的一种Flink计算任务的处理方法的应用环境示意图。如图1所示，该应用环境中包括服务器100以及外部系统101，服务器100与外部系统101之间可以通过网络102实现可通信的连接，以实现本申请的Flink计算任务的处理方法。
服务器100用于获取当前Flink计算任务的任务配置数据；提取任务配置数据中各计算指标对应的指标配置数据；根据各计算指标的指标配置数据对各计算指标进行处理，以处理当前Flink计算任务，接收外部系统101发送的处理结果的查询请求，获取对应的处理结果发送至外部系统101。其中，服务器100可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
外部系统101用于向服务器100发送处理结果的查询请求，并接收服务器100反馈的查询结果。终端101可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
网络102用于实现终端101与服务器100之间的网络连接，具体的，网络102可以包括多种类型的有线或无线网络。
在一个实施例中，如图2所示，提供了一种Flink计算任务的处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
S11、获取当前Flink计算任务的任务配置数据。
本申请中，上述的当前Flink计算任务为已部署在Flink集群上待执行的一个计算任务。上述的当前Flink计算任务中可以包括至少一个Flink实时计算项，该计算项可以为针对某一场景数据的统计项，如统计同一设备24小时登录次数，可以作为一个计算项。
本申请中，上述的任务配置数据可以预先为当前Flink计算任务配置的数据，其可以包括任务名、任务下的各计算指标以及各计算指标对应的指标配置数据。其中，该指标配置数据为针对各计算指标而预先配置的数据。计算指标为针对业务场景的用户行为数据定义的一个实时计算统计项，例如，同一设备24小时登录次数。
S12、提取任务配置数据中各计算指标对应的指标配置数据。
本申请中，上述的任务配置数据中可以包括当前Flink计算任务的任务标识以及当前Flink计算任务下的各计算指标以及各指标对应的指标配置数据。其中，上述的任务标识可以为任务名或者任务ID号，该任务ID号为任务的唯一性标识码。上述的计算指标为针对各业务场景的用户行为数据定义的实时计算统计项，例如，上述的计算指标可以为针对易付宝登录这个业务场景下，同一设备24小时登录次数。
具体的，上述的指标配置数据可以包括多个配置项，该配置项可以包括待处理数据集、指标业务描述、维度、统计过滤条件、统计字段与方法、业务时间字段，其中，统计过滤条件中可以包括时间条件，如统计时效窗口以及其他条件。其中，待处理数据集是指与当前业务指标对应的待处理的数据集合。指标业务描述，如当月同一IP的登录次数。维度为可以从待处理数据集选择维度字段。统计时效窗口可以为如24小时等。统计过滤条件为对数据的筛选条件。统计字段与方法，如对登录设备的计数。业务时间字段用于时效窗口过滤数据。
S13、根据各计算指标的指标配置数据对各计算指标进行处理，以处理当前Flink计算任务。
本申请中，针对上述的当前Flink计算任务可以设定多个计算指标，如包括计算指标A为统计同一设备24小时登录次数，计算指标B为统计同一设备24小时的支付次数。服务器处理当前Flink计算任务则对上述的计算指标A进行统计处理，以及对上述的计算指标B进行统计处理。
本申请中，对当前Flink计算任务的其中一种处理结果可以为如下结果：
其中，"IP"为统计维度编码代码IP地址，也可以为其他维度如UserName，WIFIID等。"INDEX_123"为实时统计项的编码及对应统计值。每个统计项分配一个编码。"timeOut"为该统计结果数据有效期，单位为分钟，1140为24小时，也可根据具体业务配置为为其他值。"timeMillis"为该统计结果产生时间点的毫秒值。该示例表达了类似这样一个计算指标的统计结果：同一个IP(110.183.126.91)24小时(1440分钟)内登陆次数为10次。
在其中一个实施例中，如图3所示，上述的方法还可以包括：
S31、对各计算指标对应的指标配置数据进行校验；
S32、对校验后的数据进行解析，得到解析结果；
S33、根据解析后的结果进行数据映射，得到多个算子；
S34、根据各算子，创建当前Flink计算任务。
本申请中，服务器预先创建当前Flink计算任务，创建当前Flink计算任务之后将当前Flink计算任务部署于Flink集群中，以便该Flink集群对当前Flink计算任务进行处理。具体的，服务器预先创建多个Flink计算任务，并为各Flink计算任务设置任务配置数据，将各Flink计算任务的任务配置数据以及对应的任务标识关联性存储于预设数据库中。当Flink计算任务启动时，从预设数据库中获取预先创建的各Flink计算任务的任务配置数据，根据各Flink计算任务的任务配置数据分别创建对应的Flink计算任务，以便将各Flink计算任务部署于Flink集群上进行处理。
具体的，服务器创建当前Flink计算任务时，从预设数据库拉取当前Flink计算任务的任务配置数据，启动验证器，对任务数据数据的数据接口、字段类型、取值的合法性等验证；启动解析器对任务配置数据的数据结构进行解析；根据解析后的数据结构，调用转换器，把数据结构映射为对应的算子，如，map、filter(过滤器)、window(统计窗口)、watermark(水印)、keyby、sink(输出)、source(数据源)等；调用构造器构造符合Flink执行引擎的StreamGraph图；调用Flink执行引擎，提交StreamGraph图，并转为Flink Job。
本申请中，由于配置的计算指标的指标配置数据无法直接被Flink执行引擎识别，通过转换为Flink Job，才能把配置的指标配置数据提交给Flink执行引擎处理，才能通过Flink client(Flink客户端)把Flink计算任务部署到Flink集群中运行。中间转换层的主要作用包括：Flink执行引擎解耦；便于后续的扩展，方便接入其它执行实时计算引擎；便于升级、维护和管理。
本申请中通过对各Flink计算任务的设置指标配置数据，通过指标配置数据创建各Flink计算任务部署于Flink集群中运行，解决了传统技术中通过硬编码的方式创建Flink计算任务而带来的效率低下以及成本高的问题。
在其中一个实施例中，如图4所示，各上述的指标配置数据中包括统计字段、统计过滤条件以及各待处理数据集的集合信息，上述的根据各计算指标的指标配置数据对各计算指标进行处理，可以包括：
S41、获取当前计算指标对应的待处理数据集的集合信息；
S42、根据当前计算指标对应的待处理数据集的集合信息获取当前计算指标对应的待处理数据集；
S43、根据当前计算指标对应的统计字段以及统计时效窗口对当前计算指标对应的待处理数据集中的字段进行聚合处理。
本申请中，上述的指标配置数据中具体可以包括统计字段、统计过滤条件以及各待处理数据集的集合信息，还可以包括指标业务描述、维度以及业务时间字段等。其中，指标业务描述可以为计算指标的具体描述信息，如当月同一IP的登录次数。统计字段为计算指标需要统计的各字段，如，登录次数或者支付次数等字段。统计过滤条件为用于筛选符合统计过滤条件的字段对符合统计过滤条件的字段执行统计，其中，统计过滤条件可以包括时间条件，即统计时效窗口以及其他条件。如，当月同一IP的登录次数中的统计过滤条件为时间为当月以及同一IP。对符合该两个条件的登录字段执行统计。
上述的集合信息可以为待处理数据集的集合标识以及所在的地址信息。其中，集合标识可以为集合名称或者集合的ID号，集合名称可以为用户登录数据集，集合的ID号可以为集合的唯一性标识码。上述的待处理数据集所在的地址信息可以为待处理数据集所在的消息队列的标识信息以及消息队列中具体的主题的标识信息，其中，消息队列的标识信息可以为消息队列的名称或者消息队列的ID号，消息队列的ID号为消息队列的唯一性标识码，主题的标识信息可以为主题的名称或者主题的ID号，主题的ID号可以为主题的唯一性标识码。上述的待处理数据集所在的地址信息也可以为待处理数据集所在的文件的名称。
上述的根据当前计算指标对应的待处理数据集的集合信息获取当前计算指标对应的待处理数据集，可以包括：
根据待处理数据集所在的消息队列的标识信息以及消息队列中具体的主题的标识信息从对应消息队列的对应主题中获取待处理数据集。
进一步的，从待处理数据集中筛选出上述的统计字段，并根据统计时效窗口以及其他的指标配置数据对统计字段进行统计。例如，当前计算指标为当月同一IP的登录次数，则从待处理数据中筛选出登录的时间、IP地址的字段，统计过滤条件为登录时间为当月并且是同一IP的，则根据该指标配置数据对符合当月的并且为同一IP的登录行为进行统计。
本申请中通过对当前Flink计算任务预先配置多个计算指标并对各计算指标配置对应的指标配置数据，根据各指标配置数据对当前Flink计算任务进行处理，实现当前Flink计算任务的可配置化，无需经过硬编码实现，提高任务处理效率。
在其中一个实施例中，如图5所示，上述的方法还可以包括：
S51、获取实时数据流；
S52、根据预先配置的预处理配置数据中的第一配置数据对实时数据流进行预处理，得到各待处理数据集；
S53、根据预处理配置数据中的第二配置数据将各待处理数据集分类存储于预设的消息队列的各主题中；
上述的当前计算指标对应的待处理数据集的集合信息中包括消息队列的主题标识，根据各待处理数据集的集合信息获取各计算指标对应的待处理数据集，可以包括：
根据当前计算指标对应的待处理数据集的集合信息中的主题标识从消息队列的对应主题中获取当前计算指标对应的待处理数据集。
本申请中，上述的第一配置数据可以包括数据源的接入配置数据、接口调用的配置数据以及输出字段的配置数据，本申请中预先为各待处理数据集的数据源的输入进行配置、接口调用进行配置以及输出字段进行配置。上述的第二配置数据为待处理数据集的输出通道配置数据，该输出通道配置数据中包括输出字段所输出输出通道的地址信息，该地址信息可以为消息队列的信息，数据库的信息以及文件的信息等。当第一配置数据以及第二配置数据配置完之后，实时获取对应的数据源、外部数据，根据预先配置好的输出字段进行预处理，并输出对应的输出字段至第二配置数据中的输出通道的地址信息，得到各待处理数据集。
本申请中，一个待处理数据集可以包含多个预处理方案，其中一个预处理方案里面包括对应的第一配置数据以及第二配置数据。例如，首先创建待处理数据集：epp_login_set，然后添加该待处理数据集的输出字段，最后创建预处理方案，分数据源的接入配置数据、接口调用的配置数据、输出字段的配置数据以及输出通道的配置数据，结合会员登录场景配置过程如下：
1，数据源[S]选择source_epp_login且展示数据源相关字段。支持报文的分裂功能(非必要配置)，后置脚本用于数据解析、默认设置、拼装等处理(非必要配置)。
2，接口调用[D1]选择RSF(Remote Service Framework，远程服务框架)，根据户头号查询会员信息用于补偿会员手机号、状态等信息。其中前置脚本用于判断当前接口是否需要调用(非必要配置)，后置脚本对接口返回数据进行解析、默认设置、拼装等处理(非必要配置)。
3，结果集[R]主要将数据源、接口调用环节中获取的信息与输出字段建立映射绑定。
4，输出[O]选择输出通道sink_epp_login_result，将最后的输出字段输出至该输出通道中，以便后续用于配置指标配置数据。
其中，预处理方案的配置分为固定节点：数据源S、结果集R、输出O，以及不定节点：处理步骤Dn，不定节点可根据实际需要灵活增减，每个节点输出都是下一个节点的输入，数据源S节点为事件引擎处理方案关联的输入Kafka输入字段显示，结果集R节点为处理流程中各节点结果数据归集节点并映射为输出字段，输出O节点为输出通道的选择，可将处理结果同时输出为JSON字符串到多个Kafka Topic。图中Dn节点为数据处理逻辑的配置节点。
具体的，上述的数据源的接入配置数据可以为可以包括Kafka消费方的技术参数，如Topic(主题)名，Broker(缓存代理)地址，GroupId(消费组Id)，ZooKeeper(注册)地址等。本申请中，当Kakfa启动时从预设数据库(MySQL)中读取技术参数生成Kakfa消费方实例，实现Kakfa消息自动接入，无需编写代码，提升数据处理的效率。
上述的待处理数据集的输出通道可以为预处理结果中输出字段输出的目的地，比如Kafka、文件或者数据库等，一个目的地即一个输出通道。当输出通道使用Kafka方式时，上述的输出通道的配置数据还可以包含Kafka生产方的技术参数，如Topic名、Broker地址以及ZooKeeper地址等，处理结果输出时从预设数据库中读取技术参数生成Kakfa生产方实例，实现通过Kakfa将处理结果输出。本申请通过配置输出通道实现数据的输出，提升整个数据的处理效率。
一种可能的应用场景中，本申请预先创建多个待处理数据集，为各待处理数据集配置预处理方案，最后根据预处理方案获取对应的实时数据流进行预处理，最后将预处理得到的各待处理数据集输出至预设的消息队列的各主题中，其中，预处理的结果具体包括各待处理数据集的集合名称。当配置Flink计算任务的指标配置数据时，可以在指标配置数据中配置待处理数据集的集合信息，该集合信息可以为集合的名称或者集合所在消息队列的主题的标识，配置之后，服务器可以根据该集合的信息对应获取待处理数据集进行后续处理。
在其中一个实施例中，如图6所示，上述的任务配置数据中还包括输出通道的配置数据,上述的方法还可以包括：
S61、提取输出通道的配置数据中输出通道的标识信息；
S62、将当前Flink计算任务的处理结果输出至输出通道的标识信息所指示的输出通道。
本申请中，上述的任务配置数据中的输出通道的配置数据是当前Flink计算任务的处理结果的输出通道的配置相关的数据。本申请当前Flink计算任务的处理结果的输出通道可以为Redis缓存、Hbase以及Mysql。上述的标识信息可以为Redis缓存的标识信息、Hbase的标识信息以及Mysql的标识信息。其中，上述的输出通道的标识信息可以为输出通道的名称或者ID号，该ID号可以为输出通道的唯一性标识码。本申请中的输出通道可配置，实现的方案的灵活性。
在其中一个实施例中，上述的第一配置数据中包括外部调用配置数据，上述的方法还可以包括：
根据外部调用配置数据中的调用接口信息获取对应的外部数据；
上述的根据预先配置的预处理配置数据中的第一配置数据对实时数据流进行预处理，得到各待处理数据集，可以包括：
根据外部数据对实时数据流进行预处理，得到各待处理数据集。
本申请中，上述的调用接口信息可以包括调用接口的信息，上述的外部数据可以为根据业务需求字段而设定的外部数据，例如，当前的待处理数据集的输出字段为用户的A数据，而服务器获取的实时数据流中仅包括B数据，则需要通过外部系统调用A数据，或者从外部系统调用C数据，通过B数据以及C数据计算得到A数据，最后将A数据输出为待处理数据集。
本申请中的外部调用配置数据也可以为RSF调用的配置数据，其中，该RSF调用的配置数据可以包括基本信息、接口配置、入参配置、出参配置。其中基本信息包含了外部服务名及对该服务的一个功能描述。接口配置为配置的核心包含了服务契约、服务实现编码、服务方法，幂等性、重试等技术性参数。入参配置提供了服务调用参数字段名、字段类型，该配置用于在外部调用执行时组装调用接口参数。出参配置提供了对外部服务调用结果的字段配置，为事件引擎从中获取调用结果。以上配置都作为配置数据存储在数据库(MySQL)中，在实施调用时从数据库获取这些数据组装调用实例实施调用及调用后处理。
本申请中，当需要调用外部数据时，可以预先对外部调用的接口信息进行配置，配置好之后可以根据外部调用配置数据获取外部数据，使得方案更加灵活。
在其中一个实施例中，如图7所示，上述的方法还可以包括：
S71、接收任务配置数据的目标计算指标的新增请求；
S72、提取目标计算指标的指标配置数据；
S73、将目标计算指标的指标配置数据与当前Flink计算任务关联性存储于预设数据库中。
本申请中，上述的当前Flink计算任务的计算指标可以灵活删减，也可以修改，当需要新增目标计算指标时，需要获取目标计算指标的指标配置数据，将该指标配置数据与目标计算指标与当前Flink计算任务关联性存储于预设数据库中。
当需要删减当前Flink计算任务中已有计算指标中的某个计算指标时，可以向服务器发起删减请求以便服务器从预设数据库中将该计算指标删除。
本申请中，服务器还可以实时获取当前Flink计算任务中各计算指标的指标状态，该指标状态可以包括计算中、停算或者已下线等状态，将获取到的各计算指标的指标状态并将该指标状态同步存储至预设数据库中，以方便在系统界面直接展示当前Flink计算任务的各计算指标的运行状态，使用人员直接可通过系统界面掌握任务运行信息，使得方案更加直观。
在一个实施例中，如图8所示，提供了一种Flink计算任务的处理方法的应用环境示意图。在图8中，上述的Flink计算任务的处理方法的应用环境中包括接入场景模块81、第一消息队列82、预设数据库83、事件处理中心84、第二消息队列85、Flink计算平台86、第三消息队列87、实时计算结果存储88、存储模块91、外部系统89以及实时计算结果查询90。
具体的，上述的接入场景模块81用于接入对应的数据源，其接入场景数据不限。图中示例为展示列出金融风控中常见场景数据。接入场景仅要求接入Kafka的数据格式为JSON格式，数据内容也无限制。上述的第一消息队列82用于存储获取的各场景的数据。上述的预设数据库83用于存储配置数据，其中包括各Flink计算任务的任务配置数据。上述的数据处理中心84用于对接入的数据做预处理，其中，该预处理可以包括外部数据调用、字段增补、字段格式转换解析、数据拆分(数组格式字段拆分多条数据)、数据字段合并等。最终处理的结果为一个扁平无嵌套的JSON格式数据。
上述的第二消息队列85用于存储事件处理中心预处理后得到的各待处理数据集。上述的Flink计算平台86可以为用于运行Flink计算任务的Flink集群。上述的第三消息队列用于存储Flink计算平台86计算得到的结果。上述的实时计算结构存储87对Flink计算平台86计算得到的结果做一些外部特征接入的处理后再存储。其中，该外部特征接入是指将一些无需经过实时计算配置平台计算产生的结果接入系统并存储(如离线计算结果)，接入外部特征数据可为事件处理中心84、Flink计算平台86。接入形式有两种：通过消息中间件(Kafka)推送接入，或者通过RPC接口定期调用外部数据源接入。上述的存储模块91用于对处理后的最终结果进行存储。上述的实时计算结果查询用于提供外部系统89对存储模块91中的存储结果的查询服务。
在一个实施例中，如图9所示，提供了一种Flink计算任务的处理装置，包括：获取模块11、提取模块12和处理模块13，其中：
获取模块11，用于获取当前Flink计算任务的任务配置数据；
提取模块12，用于提取任务配置数据中各计算指标对应的指标配置数据；
处理模块13，用于根据各计算指标的指标配置数据对各计算指标进行处理，以处理当前Flink计算任务。
在其中一个实施例中，上述的装置还可以包括创建模块(图未示)，该创建模块可以对各计算指标对应的指标配置数据进行校验，对校验后的数据进行解析，得到解析结果，根据解析后的结果进行数据映射，得到多个算子，根据各算子，创建当前Flink计算任务。
在其中一个实施例中，各上述的指标配置数据中包括统计字段、统计过滤条件以及各待处理数据集的集合信息，上述的处理模块13可以获取当前计算指标对应的待处理数据集的集合信息，根据当前计算指标对应的待处理数据集的集合信息获取当前计算指标对应的待处理数据集，根据当前计算指标对应的统计字段以及统计过滤条件对当前计算指标对应的待处理数据集中的字段进行聚合处理。
在其中一个实施例中，上述的装置还可以包括预处理模块(图未示)，该预处理模块可以获取实时数据流，根据预先配置的预处理配置数据中的第一配置数据对实时数据流进行预处理，得到各待处理数据集，根据预处理配置数据中的第二配置数据将各待处理数据集分类存储于预设的消息队列的各主题中；
上述的当前计算指标对应的待处理数据集的集合信息中包括消息队列的主题标识，上述的处理模块13可以根据当前计算指标对应的待处理数据集的集合信息中的主题标识从消息队列的对应主题中获取当前计算指标对应的待处理数据集。
在其中一个实施例中，上述的任务配置数据中还包括输出通道的配置数据,上述的装置还可以包括输出配置模块(图未示)，该输出配置模块可以提取输出通道的配置数据中输出通道的标识信息，将当前Flink计算任务的处理结果输出至输出通道的标识信息所指示的输出通道。
在其中一个实施例中，上述的第一配置数据中包括外部调用配置数据，上述的装置还包括外部调用模块(图未示)，该外部调用模块可以根据外部调用配置数据中的调用接口信息获取对应的外部数据，上述的预处理模块可以根据外部数据对实时数据流进行预处理，得到各待处理数据集。
在其中一个实施例中，上述的装置还包括新增模块(图未示)该新增模块可以接收任务配置数据的目标计算指标的新增请求，提取目标计算指标的指标配置数据，将目标计算指标的指标配置数据与当前Flink计算任务关联性存储于预设数据库中。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储智能家居设备的运行数据等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现编译虚拟机的资源分配方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取当前Flink计算任务的任务配置数据；提取任务配置数据中各计算指标对应的指标配置数据；根据各计算指标的指标配置数据对各计算指标进行处理，以处理当前Flink计算任务。
在一个实施例中，处理器执行计算机程序时，具体还实现以下步骤：
对各计算指标对应的指标配置数据进行校验；
对校验后的数据进行解析，得到解析结果；
根据解析后的结果进行数据映射，得到多个算子；
根据各算子，创建当前Flink计算任务。
在一个实施例中，各上述的指标配置数据中包括统计字段、统计过滤条件以及各待处理数据集的集合信息，处理器执行计算机程序实现上述的根据各计算指标的指标配置数据对各计算指标进行处理步骤时，具体实现以下步骤：
获取当前计算指标对应的待处理数据集的集合信息；
根据当前计算指标对应的待处理数据集的集合信息获取当前计算指标对应的待处理数据集；
根据当前计算指标对应的统计字段以及统计过滤条件对当前计算指标对应的待处理数据集中的字段进行聚合处理。
在一个实施例中，处理器执行计算机程序时，具体还实现以下步骤：
获取实时数据流；
根据预先配置的预处理配置数据中的第一配置数据对实时数据流进行预处理，得到各待处理数据集；
根据预处理配置数据中的第二配置数据将各待处理数据集分类存储于预设的消息队列的各主题中；
处理器执行计算机程序实现上述的当前计算指标对应的待处理数据集的集合信息中包括消息队列的主题标识，根据各待处理数据集的集合信息获取各计算指标对应的待处理数据集步骤时，具体实现以下步骤：
根据当前计算指标对应的待处理数据集的集合信息中的主题标识从消息队列的对应主题中获取当前计算指标对应的待处理数据集。
在其中一个实施例中，上述的任务配置数据中还包括输出通道的配置数据,处理器执行计算机程序时，具体还实现以下步骤：
提取输出通道的配置数据中输出通道的标识信息；
将当前Flink计算任务的处理结果输出至输出通道的标识信息所指示的输出通道。
在其中一个实施例中，上述的第一配置数据中包括外部调用配置数据，处理器执行计算机程序时，具体还实现以下步骤：
根据外部调用配置数据中的调用接口信息获取对应的外部数据；
根据预先配置的预处理配置数据中的第一配置数据对实时数据流进行预处理，得到各待处理数据集，包括：
根据外部数据对实时数据流进行预处理，得到各待处理数据集。
在一个实施例中，处理器执行计算机程序时，具体还实现以下步骤：
接收任务配置数据的目标计算指标的新增请求；
提取目标计算指标的指标配置数据；
将目标计算指标的指标配置数据与当前Flink计算任务关联性存储于预设数据库中。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取当前Flink计算任务的任务配置数据；提取任务配置数据中各计算指标对应的指标配置数据；根据各计算指标的指标配置数据对各计算指标进行处理，以处理当前Flink计算任务。
在一个实施例中，计算机程序被处理器执行时，具体还实现以下步骤：
对各计算指标对应的指标配置数据进行校验；
对校验后的数据进行解析，得到解析结果；
根据解析后的结果进行数据映射，得到多个算子；
根据各算子，创建当前Flink计算任务。
在一个实施例中，各上述的指标配置数据中包括统计字段、统计过滤条件以及各待处理数据集的集合信息，计算机程序被处理器执行实现上述的根据各计算指标的指标配置数据对各计算指标进行处理步骤时，具体实现以下步骤：
获取当前计算指标对应的待处理数据集的集合信息；
根据当前计算指标对应的待处理数据集的集合信息获取当前计算指标对应的待处理数据集；
根据当前计算指标对应的统计字段以及统计过滤条件对当前计算指标对应的待处理数据集中的字段进行聚合处理。
在一个实施例中，处理器执行计算机程序时，具体还实现以下步骤：
获取实时数据流；
根据预先配置的预处理配置数据中的第一配置数据对实时数据流进行预处理，得到各待处理数据集；
根据预处理配置数据中的第二配置数据将各待处理数据集分类存储于预设的消息队列的各主题中；
计算机程序被处理器执行实现上述的当前计算指标对应的待处理数据集的集合信息中包括消息队列的主题标识，根据各待处理数据集的集合信息获取各计算指标对应的待处理数据集步骤时，具体实现以下步骤：
根据当前计算指标对应的待处理数据集的集合信息中的主题标识从消息队列的对应主题中获取当前计算指标对应的待处理数据集。
在其中一个实施例中，上述的任务配置数据中还包括输出通道的配置数据,计算机程序被处理器执行时，具体还实现以下步骤：
提取输出通道的配置数据中输出通道的标识信息；
将当前Flink计算任务的处理结果输出至输出通道的标识信息所指示的输出通道。
在其中一个实施例中，上述的第一配置数据中包括外部调用配置数据，计算机程序被处理器执行时，具体还实现以下步骤：
根据外部调用配置数据中的调用接口信息获取对应的外部数据；
根据预先配置的预处理配置数据中的第一配置数据对实时数据流进行预处理，得到各待处理数据集，包括：
根据外部数据对实时数据流进行预处理，得到各待处理数据集。
在一个实施例中，计算机程序被处理器执行时，具体还实现以下步骤：
接收任务配置数据的目标计算指标的新增请求；
提取目标计算指标的指标配置数据；
将目标计算指标的指标配置数据与当前Flink计算任务关联性存储于预设数据库中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种Flink计算任务的处理方法，所述方法包括：
获取当前Flink计算任务的任务配置数据；
提取所述任务配置数据中各计算指标对应的指标配置数据；
根据各所述计算指标的指标配置数据对各所述计算指标进行处理，以处理所述当前Flink计算任务。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对各所述计算指标对应的指标配置数据进行校验；
对校验后的数据进行解析，得到解析结果；
根据解析后的结果进行数据映射，得到多个算子；
根据各所述算子，创建所述当前Flink计算任务。
3.根据权利要求1所述的方法，其特征在于，各所述指标配置数据中包括统计字段、统计过滤条件以及各待处理数据集的集合信息，所述根据各所述计算指标的指标配置数据对各所述计算指标进行处理，包括：
获取当前计算指标对应的待处理数据集的集合信息；
根据所述当前计算指标对应的待处理数据集的集合信息获取所述当前计算指标对应的待处理数据集；
根据所述当前计算指标对应的统计字段以及统计过滤条件对所述当前计算指标对应的待处理数据集中的字段进行聚合处理。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取实时数据流；
根据预先配置的预处理配置数据中的第一配置数据对所述实时数据流进行预处理，得到各所述待处理数据集；
根据所述预处理配置数据中的第二配置数据将各所述待处理数据集分类存储于预设的消息队列的各主题中；
所述当前计算指标对应的待处理数据集的集合信息中包括所述消息队列的主题标识，所述根据各所述待处理数据集的集合信息获取各计算指标对应的待处理数据集，包括：
根据所述当前计算指标对应的待处理数据集的集合信息中的主题标识从所述消息队列的对应主题中获取所述当前计算指标对应的待处理数据集。
5.根据权利要求1所述的方法，其特征在于，所述任务配置数据中还包括输出通道的配置数据,所述方法还包括：
提取所述输出通道的配置数据中输出通道的标识信息；
将所述当前Flink计算任务的处理结果输出至所述输出通道的标识信息所指示的输出通道。
6.根据权利要求4所述的方法，其特征在于，所述第一配置数据中包括外部调用配置数据，所述方法还包括：
根据所述外部调用配置数据中的调用接口信息获取对应的外部数据；
所述根据预先配置的预处理配置数据中的第一配置数据对所述实时数据流进行预处理，得到各所述待处理数据集，包括：
根据所述外部数据对所述实时数据流进行预处理，得到各所述待处理数据集。
7.根据权利要求4所述的方法，其特征在于，所述方法还包括：
接收所述所述任务配置数据的目标计算指标的新增请求；
提取所述目标计算指标的指标配置数据；
将所述目标计算指标的指标配置数据与所述当前Flink计算任务关联性存储于预设数据库中。
8.一种Flink计算任务的处理装置，其特征在于，所述装置包括：
获取模块，用于获取当前Flink计算任务的任务配置数据；
提取模块，用于提取所述任务配置数据中各计算指标对应的指标配置数据；
处理模块，用于根据各所述计算指标的指标配置数据对各所述计算指标进行处理，以处理所述当前Flink计算任务。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111663400.7A CN114371884A (zh) | 2021-12-31 | 2021-12-31 | Flink计算任务的处理方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111663400.7A CN114371884A (zh) | 2021-12-31 | 2021-12-31 | Flink计算任务的处理方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114371884A true CN114371884A (zh) | 2022-04-19 |
Family
ID=81141833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111663400.7A Withdrawn CN114371884A (zh) | 2021-12-31 | 2021-12-31 | Flink计算任务的处理方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114371884A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115794064A (zh) * | 2022-10-25 | 2023-03-14 | 中电金信软件有限公司 | 任务处理流程的配置方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109960560A (zh) * | 2019-03-29 | 2019-07-02 | 北京九章云极科技有限公司 | 一种指标处理方法及系统 |
| CN110245158A (zh) * | 2019-06-10 | 2019-09-17 | 上海理想信息产业（集团）有限公司 | 一种基于Flink流计算技术的多源异构数据实时处理系统及方法 |
| CN111813871A (zh) * | 2020-06-30 | 2020-10-23 | 北京九章云极科技有限公司 | 一种数据实时处理系统及方法 |
| CN113064920A (zh) * | 2021-02-26 | 2021-07-02 | 苏宁金融科技(南京)有限公司 | 基于Flink的实时计算方法、装置、计算机设备及存储介质 |
| CN113448752A (zh) * | 2021-06-24 | 2021-09-28 | 亿企赢网络科技有限公司 | 一种指标数据获取方法、装置、电子设备和存储介质 |
| CN113641677A (zh) * | 2021-08-24 | 2021-11-12 | 京东科技控股股份有限公司 | 数据处理方法、装置、电子设备和存储介质 |
| CN113642300A (zh) * | 2021-07-30 | 2021-11-12 | 南京星云数字技术有限公司 | 一种报表生成方法、装置、电子设备及计算机可读介质 |
-
2021
- 2021-12-31 CN CN202111663400.7A patent/CN114371884A/zh not_active Withdrawn
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109960560A (zh) * | 2019-03-29 | 2019-07-02 | 北京九章云极科技有限公司 | 一种指标处理方法及系统 |
| CN110245158A (zh) * | 2019-06-10 | 2019-09-17 | 上海理想信息产业（集团）有限公司 | 一种基于Flink流计算技术的多源异构数据实时处理系统及方法 |
| CN111813871A (zh) * | 2020-06-30 | 2020-10-23 | 北京九章云极科技有限公司 | 一种数据实时处理系统及方法 |
| CN113064920A (zh) * | 2021-02-26 | 2021-07-02 | 苏宁金融科技(南京)有限公司 | 基于Flink的实时计算方法、装置、计算机设备及存储介质 |
| CN113448752A (zh) * | 2021-06-24 | 2021-09-28 | 亿企赢网络科技有限公司 | 一种指标数据获取方法、装置、电子设备和存储介质 |
| CN113642300A (zh) * | 2021-07-30 | 2021-11-12 | 南京星云数字技术有限公司 | 一种报表生成方法、装置、电子设备及计算机可读介质 |
| CN113641677A (zh) * | 2021-08-24 | 2021-11-12 | 京东科技控股股份有限公司 | 数据处理方法、装置、电子设备和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115794064A (zh) * | 2022-10-25 | 2023-03-14 | 中电金信软件有限公司 | 任务处理流程的配置方法、装置、电子设备及存储介质 |
| CN115794064B (zh) * | 2022-10-25 | 2024-02-06 | 中电金信软件有限公司 | 任务处理流程的配置方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109271411B (zh) | 报表生成方法、装置、计算机设备及存储介质 | |
| CN109474578B (zh) | 报文消息校验方法、装置、计算机设备和存储介质 | |
| CN112910945B (zh) | 请求链路跟踪方法和业务请求处理方法 | |
| CN110297632A (zh) | 代码生成方法和装置 | |
| CN112506894A (zh) | 基于链路追踪的服务链日志处理方法、装置和计算机设备 | |
| CN111552633A (zh) | 接口的异常调用测试方法、装置、计算机设备及存储介质 | |
| CN110069297A (zh) | 基于Spring MVC的异常处理方法、装置、计算机设备和存储介质 | |
| CN111431926B (zh) | 一种数据关联分析的方法、系统、设备及可读存储介质 | |
| CN110780870A (zh) | 一种业务执行方法、装置、设备及存储介质 | |
| CN103927314A (zh) | 一种数据批量处理的方法和装置 | |
| CN112017007A (zh) | 用户行为数据的处理方法及装置、计算机设备、存储介质 | |
| CN114595201A (zh) | 一种接口访问日志采集记录查询方法、设备及存储介质 | |
| CN109325010A (zh) | 日志查看方法、装置、计算机设备和存储介质 | |
| CN112241362A (zh) | 一种测试方法、装置、服务器及存储介质 | |
| CN110275703B (zh) | 键值对数据的赋值方法、装置、计算机设备和存储介质 | |
| CN114371884A (zh) | Flink计算任务的处理方法、装置、设备和存储介质 | |
| CN113032256B (zh) | 自动化测试方法、装置、计算机系统和可读存储介质 | |
| CN114356712A (zh) | 数据处理方法、装置、设备、可读存储介质及程序产品 | |
| CN113360210A (zh) | 数据对账方法、装置、计算机设备和存储介质 | |
| CN113485942B (zh) | 一种基于独立模块的自动化测试方法及装置 | |
| CN114371866A (zh) | 业务系统的版本重构测试方法、装置和设备 | |
| CN117435367B (zh) | 用户行为处理方法、装置、设备、存储介质和程序产品 | |
| CN117234512B (zh) | 业务快速开发方法、系统、电子设备及存储介质 | |
| CN113268480B (zh) | 数据转移方法、装置、计算机可读存储介质和计算机设备 | |
| CN114900569B (zh) | 一种测试脚本的获取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220419 |
|
| WW01 | Invention patent application withdrawn after publication |