CN112860412B - 业务数据处理方法、装置、电子设备及存储介质 - Google Patents

业务数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112860412B
CN112860412B CN202110273213.1A CN202110273213A CN112860412B CN 112860412 B CN112860412 B CN 112860412B CN 202110273213 A CN202110273213 A CN 202110273213A CN 112860412 B CN112860412 B CN 112860412B
Authority
CN
China
Prior art keywords
task
data
target
service data
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110273213.1A
Other languages
English (en)
Other versions
CN112860412A (zh
Inventor
胡映明
胡志鹏
李仁杰
范长杰
刘柏
刘思彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202110273213.1A priority Critical patent/CN112860412B/zh
Publication of CN112860412A publication Critical patent/CN112860412A/zh
Application granted granted Critical
Publication of CN112860412B publication Critical patent/CN112860412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5055—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering software capabilities, i.e. software resources associated or available to the machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues

Abstract

本申请提供一种业务数据处理方法、装置、电子设备及存储介质，涉及数据处理技术领域。该方法包括：获取目标业务类型下待存储的多个业务数据；将目标业务类型下的多个业务数据写入消息队列中的目标数量的主题消息中，目标数量基于业务数据的数量得到；启动并运行目标数量的任务处理程序，一个任务处理程序用于处理一个主题消息中的业务数据；将各任务处理程序的处理结果输入至少一个存储系统，每个存储系统分别用于存储一种格式的数据。本方案中，在对写入目标数量的主题消息中的业务数据进行处理时，可对应启动目标数量的任务处理程序进行处理，一个主题消息中的业务数据，仅启动一个任务处理程序，从而降低了资源占用和硬件成本的消耗。

Description

业务数据处理方法、装置、电子设备及存储介质
技术领域
本申请涉及数据处理技术领域，具体而言，涉及一种业务数据处理方法、装置、电子设备及存储介质。
背景技术
在大数据系统中，不同业务类型的业务数据根据存储需求，需要存入不同的存储系统中，在存放的过程中，各类业务数据首先需要放入消息队列中，然后经过各种流计算ETL(Extract-Transform-Load，数据抽取、转换、加载)任务处理后，存入不同的存储系统中。通常，消息队列中的一个topic(主题消息)可存储一个业务类型中的多个业务数据，对于同一个topic中的业务数据经过ETL处理之后会存入到不同的存储系统中。
由于不同的存储系统对应的ETL任务不同，现有技术中，在将一个topic中的业务数据存入不同的存储系统中时，则需要启动与存储系统数量相同数量的ETL程序，以对应处理每个存储任务。
但是，上述方法由于对于一个topic需要启动的ETL程序较多，会导致业务数据处理的过程中占用较大的资源，硬件成本的消耗较大。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种业务数据处理方法、装置、电子设备及存储介质，以便于解决现有技术中存在的业务数据处理的过程中占用较大的资源，硬件成本的消耗较大的问题。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种业务数据处理方法，包括：
获取目标业务类型下待存储的多个业务数据；
将所述目标业务类型下的所述多个业务数据写入消息队列中的目标数量的主题消息中，所述目标数量基于业务数据的数量得到；
启动并运行所述目标数量的任务处理程序，一个任务处理程序用于处理一个所述主题消息中的业务数据；
将各所述任务处理程序的处理结果输入至少一个存储系统，每个存储系统分别用于存储一种格式的数据。
可选地，所述启动并运行所述目标数量的任务处理程序，包括：
启动第一任务处理程序，所述第一任务处理程序为所述目标数量的任务处理程序中用于处理第一主题消息中的业务数据的任务处理程序，所述第一主题消息为所述目标数量的主题消息中的任一主题消息；
根据所述第一主题消息中各业务数据的存储属性，调用所述第一任务处理程序中的至少一个任务插件，得到所述第一任务处理程序的处理结果，其中，所述存储属性用于标识所述业务数据待存入的存储系统，每个任务插件分别用于按照与所述任务插件对应的存储系统的数据格式进行数据转换。
可选地，所述启动并运行所述目标数量的任务处理程序之前，所述方法还包括：
生成至少一个任务插件，所述任务插件的数量与所述存储系统的数量对应；
在所述任务处理程序中添加配置文件，将预先生成的至少一个任务插件写入所述配置文件的目标目录下。
可选地，所述生成至少一个任务插件，包括：
配置任务插件基础函数；
根据各任务插件的任务执行逻辑，基于所述基础函数，生成各任务插件对应的任务处理函数；
根据所述各任务插件对应的任务处理函数，生成各任务插件。
可选地，所述根据所述第一主题消息中各业务数据的存储属性，调用所述第一任务处理程序中的至少一个任务插件，包括：
根据所述第一主题消息中各业务数据的存储属性，依次调用所述第一主题消息中的与所述存储属性所标识的存储系统对应的任务插件，分别对各所述业务数据进行数据格式转换。
可选地，所述根据所述第一主题消息中各业务数据的存储属性，调用所述第一任务处理程序中的至少一个任务插件，包括：
根据所述第一主题消息中各业务数据的存储属性，并行调用所述第一主题消息中的与所述存储属性所标识的存储系统对应的任务插件，分别对各所述业务数据进行数据格式转换。
可选地，所述将各所述任务处理程序的处理结果输入至少一个存储系统，包括：
分别将各所述任务插件对业务数据进行数据格式转换后的处理结果输入与所述任务插件对应的存储系统。
可选地，将所述目标业务类型下的多个业务数据写入消息队列中的目标数量的主题消息中，包括：
A、将所述消息队列中的第一主题消息作为目标主题消息；
B、将所述目标业务类型下的第一业务数据写入所述目标主题消息中；
C、若所述目标主题消息的实际存储量等于所述目标主题消息的最大存储量或者与所述最大存储量的差值小于预设阈值，则将所述目标业务类型下所述第一业务数据之后的业务数据存储至所述消息队列中的空的第二主题消息中，并将所述第二主题消息作为新的目标主题消息；
循环执行步骤A-C，直至所述业务数据均写入所述消息队列中，并将存储所述多个业务数据的主题消息的数量作为所述目标数量。
第二方面，本申请实施例还提供了一种业务数据处理装置，包括：获取模块、写入模块、启动运行模块、输入模块；
所述获取模块，用于获取目标业务类型下待存储的多个业务数据；
所述写入模块，用于将所述目标业务类型下的所述多个业务数据写入消息队列中的目标数量的主题消息中，所述目标数量基于业务数据的数量得到；
所述启动运行模块，用于启动并运行所述目标数量的任务处理程序，一个任务处理程序用于处理一个所述主题消息中的业务数据；
所述输入模块，用于将各所述任务处理程序的处理结果输入至少一个存储系统，每个存储系统分别用于存储一种格式的数据。
可选地，所述启动运行模块，具体用于启动第一任务处理程序，所述第一任务处理程序为所述目标数量的任务处理程序中用于处理第一主题消息中的业务数据的任务处理程序，所述第一主题消息为所述目标数量的主题消息中的任一主题消息；根据所述第一主题消息中各业务数据的存储属性，调用所述第一任务处理程序中的至少一个任务插件，得到所述第一任务处理程序的处理结果，其中，所述存储属性用于标识所述业务数据待存入的存储系统，每个任务插件分别用于按照与所述任务插件对应的存储系统的数据格式进行数据转换。
可选地，所述装置还包括：生成模块；
所述生成模块，用于生成至少一个任务插件，所述任务插件的数量与所述存储系统的数量对应；
所述写入模块，还用于在所述任务处理程序中添加配置文件，将生成的所述至少一个任务插件写入所述配置文件的目标目录下。
可选地，所述生成模块，具体用于配置任务插件基础函数；根据各任务插件的任务执行逻辑，基于所述基础函数，生成各任务插件对应的任务处理函数；根据所述各任务插件对应的任务处理函数，生成各任务插件。
可选地，所述启动运行模块，具体用于根据所述第一主题消息中各业务数据的存储属性，依次调用所述第一主题消息中的与所述存储属性所标识的存储系统对应的任务插件，分别对各所述业务数据进行数据格式转换。
可选地，所述启动运行模块，具体用于根据所述第一主题消息中各业务数据的存储属性，并行调用所述第一主题消息中的与所述存储属性所标识的存储系统对应的任务插件，分别对各所述业务数据进行数据格式转换。
可选地，所述输入模块，具体用于分别将各所述任务插件对业务数据进行数据格式转换后的处理结果输入与所述任务插件对应的存储系统。
可选地，所述写入模块，具体用于A、将所述消息队列中的第一主题消息作为目标主题消息；B、将所述目标业务类型下的第一业务数据写入所述目标主题消息中；C、若所述目标主题消息的实际存储量等于所述目标主题消息的最大存储量或者与所述最大存储量的差值小于预设阈值，则将所述目标业务类型下所述第一业务数据之后的业务数据存储至所述消息队列中的空的第二主题消息中，并将所述第二主题消息作为新的目标主题消息；循环执行步骤A-C，直至所述业务数据均写入所述消息队列中，并将存储所述多个业务数据的主题消息的数量作为所述目标数量。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行时执行如第一方面中提供的业务数据处理方法的步骤。
第四方面，本申请实施例提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面提供的业务数据处理方法的步骤。
本申请的有益效果是：
本申请提供一种业务数据处理方法、装置、电子设备及存储介质，该方法包括：获取目标业务类型下待存储的多个业务数据；将目标业务类型下的多个业务数据写入消息队列中的目标数量的主题消息中，目标数量基于业务数据的数量得到；启动并运行目标数量的任务处理程序，一个任务处理程序用于处理一个主题消息中的业务数据；将各任务处理程序的处理结果输入至少一个存储系统，每个存储系统分别用于存储一种格式的数据。本方案中，在对写入目标数量的主题消息中的业务数据进行处理时，可对应启动目标数量的任务处理程序进行处理，一个主题消息中的业务数据，即使是需要存入不同的存储系统，也仅启动一个任务处理程序，相比于现有技术中，按照一个主题消息中业务数据所要存入的存储系统的数量启动与存储系统相同数量的任务处理程序，本方案可有效降低因启动较多的任务处理程序所导致的资源占用，同时降低了硬件成本的消耗。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种业务数据处理系统的架构示意图；
图2为本申请实施例提供的一种业务数据处理方法的流程示意图；
图3为本申请实施例提供的另一种业务数据处理方法的流程示意图；
图4为本申请实施例提供的又一种业务数据处理方法的流程示意图；
图5为本申请实施例提供的一种业务数据处理装置的示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
首先，对本申请下述实施例中可能涉及到的专有名词进行解释：
ETL(Extract-Transform-Load)：数据抽取、转发、加载，在大数据平台中，将原始数据存入大数据存储系统时，需要使用流计算技术将数据进行各类格式化处理，在不同数据媒介之间的数据处理就叫ETL。
HDFS(Hadoop Distributed File System)：开源分布式文件系统，用于大数据系统中存储海量历史数据。
HIVE：数据仓库，在HDFS的基础上构建的格式化数据库仓库。
ES(Elasticsearch)：一种内存数据存储、检索、分析系统，常用大数据系统中缓存热点数据。
图1为本申请实施例提供的一种业务数据处理系统的架构示意图；本申请所提供的业务数据处理方法应用于该业务数据处理系统中。如图1所示，该业务数据处理系统可包括：至少一个业务系统和大数据处理平台，大数据处理平台可包括：消息队列、任务处理程序(ETL程序)、存储系统，消息队列中可包括多个主题消息，用于存储业务数据，任务处理程序中内置有不同的存储系统的任务插件；每个业务系统中包括多个业务数据，不同业务系统包括的业务数据类型不同。在大数据处理平台处理流程中，不同业务系统中的业务数据可先写入大数据处理平台的消息队列中的主题消息(为便于描述，以下实施例均称作“topic”)中，再经由任务处理程序对主题消息中的各业务数据进行相应的处理，处理完成后存入不同的存储系统中，从而大数据处理平台可根据各存储系统中存储的业务数据，进行业务分析。
如图1所示，一个业务系统中的多个业务数据可写入消息队列中至少一个主题消息中，对于一个主题消息可启动一个任务处理程序，调用任务处理程序中的任务插件以对该主题消息中的多个业务数据进行处理，其中，可根据业务数据所要存入的存储系统确定所要调用的任务插件，根据任务插件执行任务逻辑，以对业务数据进行数据格式转换，得到处理结果，且将处理结果对应存入不同存储系统中，从而实现了业务数据处理。图中仅示例性的详细展示了业务系统1的业务数据的写入和处理方式，对于其他业务系统中业务数据的处理过程可参考业务系统1的进行理解。
如下将通过具体实施例对本申请方案进行详细说明：
图2为本申请实施例提供的一种业务数据处理方法的流程示意图；该方法的执行主体可以是计算机或者服务器。如图2所示，该方法可包括：
S201、获取目标业务类型下待存储的多个业务数据。
可选地，待存储的多个业务数据可以是业务系统预先采集并存储于业务系统数据库中的，一个业务系统对应一种业务类型。其中，业务系统可以是例如：游戏平台、购物平台、企业平台等各种不同的业务平台。业务系统可收集用户通过业务平台的应用程序进行操作所产生的业务数据。例如：用户登陆游戏应用程序、进行游戏操作、购买游戏装备等一系列操作所产生的数据，或者是用户登陆购物应用程序、搜索物品、浏览物品、下单等一系列操作所产生的数据，又或者企业员工通过登陆企业工作系统，进行任务处理、浏览内部信息等操作所产生的数据。
S202、将目标业务类型下的多个业务数据写入消息队列中的目标数量的主题消息中，目标数量基于业务数据的数量得到。
可选地，目标业务类型下的多个业务数据可写入消息队列中至少一个主题消息topic中，这里以目标数量来表示所写入的topic的数量，目标业务类型下的多个业务数据具体可写入几个topic中，可根据业务数据的数量确定。
S203、启动并运行目标数量的任务处理程序，一个任务处理程序用于处理一个主题消息中的业务数据。
本实施例中，启动的任务处理程序的数量是与上述业务数据所写入的topic的数量相同的，也即，一个topic对应启动一个任务处理程序，以对该topic中的多个业务数据进行处理。
本申请中对于一个topic，无论该topic中所写入的业务数据需要存入几个存储系统，均仅启动一个任务处理程序，而并非是根据所要存入的存储系统的数量，启动与存储系统数量相同数量的任务处理程序。由于每个任务处理程序均会占用一定的内存、cpu资源等，本申请中的任务处理程序启动方式可有效的降低对资源的占用，降低硬件成本的消耗。
S204、将各任务处理程序的处理结果输入至少一个存储系统，每个存储系统分别用于存储一种格式的数据。
在一些实施例中，任务处理程序的主要任务是按照业务数据所要存入的存储系统的数据格式，对业务数据的格式进行转换后存入存储系统中，各任务处理程序的处理结果也即对业务数据进行数据格式转换后的数据。
可选地，本实施例中示例性的列举了几种存储系统，包括：HDFS(开源分布式文件系统)、HIVE(数据仓库)、ES(内存数据存储、检索、分析系统)、监控等，实际应用中，并不限于所列举的存储系统。
各存储系统要求的数据格式不同，任务处理程序可按照业务数据所要存入的存储系统的数据格式，将业务数据格式进行转换后存入存储系统。
综上，本申请实施例所提供的业务数据处理方法，包括：获取目标业务类型下待存储的多个业务数据；将目标业务类型下的多个业务数据写入消息队列中的目标数量的主题消息中，目标数量基于业务数据的数量得到；启动并运行目标数量的任务处理程序，一个任务处理程序用于处理一个主题消息中的业务数据；将各任务处理程序的处理结果输入至少一个存储系统，每个存储系统分别用于存储一种格式的数据。本方案中，在对写入目标数量的主题消息中的业务数据进行处理时，可对应启动目标数量的任务处理程序进行处理，一个主题消息中的业务数据，即使是需要存入不同的存储系统，也仅启动一个任务处理程序，相比于现有技术中，按照一个主题消息中业务数据所要存入的存储系统的数量启动与存储系统相同数量的任务处理程序，本方案可有效降低因启动较多的任务处理程序所导致的资源占用，同时降低了硬件成本的消耗。
图3为本申请实施例提供的另一种业务数据处理方法的流程示意图；可选地，步骤S203中，启动并运行目标数量的任务处理程序，可以包括：
S301、启动第一任务处理程序，第一任务处理程序为目标数量的任务处理程序中用于处理第一主题消息中的业务数据的任务处理程序，第一主题消息为目标数量的主题消息中的任一主题消息。
以对任一主题消息中业务数据的处理进行说明。其他所有主题消息中业务数据的处理方式均与其类似。
对于写入到第一主题消息中的业务数据，可启动第一任务处理程序，其中，第一主题消息与第一任务处理程序并非为对应关系，第一任务处理程序为目标数量的任务处理程序中的任一任务处理程序，用于对第一主题消息中的业务数据进行处理。
S302、根据第一主题消息中各业务数据的存储属性，调用第一任务处理程序中的至少一个任务插件，得到第一任务处理程序的处理结果，其中，存储属性用于标识业务数据待存入的存储系统，每个任务插件分别用于按照与任务插件对应的存储系统的数据格式进行数据转换。
通常，一个主题消息中的各业务数据根据需求所存入的存储系统可能是不同的，以购物平台的营业额数据为例，其既可以存入用于存储当天营业额的存储系统中，也可存入用于存储历史营业额的存储系统中。
可选地，可根据第一主题消息中各业务数据的存储属性，确定各业务数据所要存入的存储系统，从而调用第一任务处理程序中任务插件，执行相应的数据格式转换任务，得到处理结果。
其中，每个任务处理程序中均预先内置有各存储系统对应的任务插件。例如可包括：HDFS插件、HIVE插件、ES插件、监控插件等，每个任务插件中预先定义了业务逻辑。可根据目标业务数据的存储属性，调用任务处理程序中目标业务数据的存储属性所标识的待存入的存储系统的任务插件，对目标业务数据按照所要存入的存储系统的数据格式进行数据转换。
可选地，上述步骤S203中，启动并运行目标数量的任务处理程序之前，本申请的方法还可包括：生成至少一个任务插件，任务插件的数量与存储系统的数量对应；在任务处理程序中添加配置文件，将预先生成的至少一个任务插件写入配置文件的目标目录下。
在一种可实现的方式中，上述所启动的任务处理程序预先写有任务插件，而每个任务处理程序中所包含的任务插件的数量与任务处理程序的处理结果所需存入的存储系统的数量的对应的，从而将原来同一个主题消息下所要启动的多的任务处理程序分别定义为任务插件，汇总在一个任务处理程序下，在处理一个主题消息下的业务数据时，仅启动汇总有多个任务插件的任务处理程序即可，以达到优化任务处理程序对资源的占用。
其中，可以通过在任务处理程序中添加配置文件，在配置文件下创建目标目录，将预先生成的各任务插件添加在目标目录下，在启动任务处理程序时，可通过加载目标目录下的各任务插件，调用对应的任务插件执行任务。
可选地，上述步骤中，生成至少一个任务插件，可以包括：配置任务插件基础函数；根据各任务插件的任务执行逻辑，基于基础函数，生成各任务插件对应的任务处理函数；根据各任务插件对应的任务处理函数，生成各任务插件。
在一种可实现的方式中，可先定义任务插件基础函数，基础函数中定义了任务插件的函数模板，对于不同的任务插件，可根据各任务插件的任务执行逻辑，在基础函数的函数模板中填充各任务函数对应的任务处理逻辑，从而生成各任务插件对应的任务处理函数，基于各任务插件对应的任务处理函数，可生成各任务插件。
当然上述所列举的任务插件生成方法以及将任务插件写入任务处理程序中的方法仅为一种可实现的方式，实际应用中，也可以采用其他方式执行，本申请对此不作限制。
需要说明的是，上述任务插件的生成，以及将任务插件写入任务处理程序中均可以为预先的过程，可以是在本方法未执行前先生成并写入，也可以如上述在任务处理程序启动前进行生成并写入。本申请对此不作限制。
可选地，步骤S302中，根据第一主题消息中各业务数据的存储属性，调用第一任务处理程序中的至少一个任务插件，可以包括：根据第一主题消息中各业务数据的存储属性，依次调用第一主题消息中的与存储属性所标识的存储系统对应的任务插件，分别对各业务数据进行数据格式转换。
假设第一主题消息中的各业务数据需对应存储至HDFS、HIVE、ES三个存储系统中。在一种可实现的方式中，对于各业务数据的处理，可按顺序依次处理。
可选地，第一任务处理程序对于第一主题消息中的各业务数据，可遍历所有的任务插件，按顺序调用每个任务插件，执行数据转换任务。
例如：先遍历到HDFS插件，则调用HDFS插件对需要存入HDFS存储系统的业务数据进行数据格式转换并将转换后的结果存入HDFS存储系统。再遍历到HIVE插件，则调用HIVE插件对需要存入HIVE存储系统的业务数据进行数据格式转换并将转换后的结果存入HIVE存储系统，依次类推，直到处理完所有业务数据。
可选地，步骤S302中，根据第一主题消息中各业务数据的存储属性，调用第一任务处理程序中的至少一个任务插件，可以包括：根据第一主题消息中各业务数据的存储属性，并行调用第一主题消息中的与存储属性所标识的存储系统对应的任务插件，分别对各业务数据进行数据格式转换。
继续假设第一主题消息中的各业务数据需对应存储至HDFS、HIVE、ES三个存储系统中。而在另一种可实现的方式中，对于各业务数据的处理，可并行处理，提高处理效率。
可选地，可根据各业务数据的存储属性所确定的存储系统，一次调用处理各业务数据的任务插件，分别按照各业务数据所要存入的存储系统的数据格式，对各业务数据进行数据转换，得到处理结果。
可选地，步骤S204中，将各任务处理程序的处理结果输入至少一个存储系统，可以包括：分别将各任务插件对业务数据进行数据格式转换后的处理结果输入与任务插件对应的存储系统。
不同的存储系统对应的任务插件是不同的，各任务插件在根据所对应的存储系统的格式对业务数据进行数据格式转换之后，会将处理结果输入至本任务插件所对应的存储系统进行存储。各任务处理程序的处理结果所输入的存储系统的数量，可根据该任务处理程序所处理的主题消息中各业务数据所要存入的存储系统的数量决定。
可选地，本申请在处理不同目标业务类型下的业务数据时，同样也可以是依次对每个目标业务类型下的业务数据进行处理，或者是并行处理各目标业务类型下的业务数据。而具体的处理方法与上述过程类似，此处不再一一赘述。
图4为本申请实施例提供的又一种业务数据处理方法的流程示意图；可选地，步骤S202中，将目标业务类型下的多个业务数据写入消息队列中的目标数量的主题消息中，可以包括：
S401、将消息队列中的第一主题消息作为目标主题消息。
S402、将目标业务类型下的第一业务数据写入目标主题消息中。
S403、若目标主题消息的实际存储量等于目标主题消息的最大存储量或者与最大存储量的差值小于预设阈值，则将目标业务类型下第一业务数据之后的业务数据存储至消息队列中的空的第二主题消息中，并将第二主题消息作为新的目标主题消息。
S404、判断业务数据是否均写入消息队列中。
S405、若是，则将存储多个业务数据的主题消息的数量作为目标数量。
若否，则循环执行步骤S401-S403。
可选地，在将获取的目标业务类型下的多个业务数据写入消息队列中的主题消息中时，由于主题消息所能存储的数据量有限，且目标业务类型下的业务数据量也较大，存在一个主题消息无法存储该目标业务类型下所有业务数据的情况。
在一些实施例中，可向所确定的目标主题消息中写入业务数据，在写入的过程中，可以实时的判断目标主题消息当前的实际存储量是否等于目标主题消息的最大存储量，或者是实际存储量与最大存储量差值小于预设阈值，也即，判断目标主题消息是否存满或者即将存满。当满足判断条件时，则可从消息队列中确定为空的第二主题消息，并将第二主题消息作为新的目标主题消息来存储该目标业务类型下的剩余业务数据。依次类推，可能还会涉及到第三主题消息、第四主题消息等，直到将该目标业务类型下的所有业务数据均写入消息队列中。其中，最终存储多个业务数据的主题消息的数量则为所确定的目标数量。
综上，本申请实施例所提供的业务数据处理方法，包括：获取目标业务类型下待存储的多个业务数据；将目标业务类型下的多个业务数据写入消息队列中的目标数量的主题消息中，目标数量基于业务数据的数量得到；启动并运行目标数量的任务处理程序，一个任务处理程序用于处理一个主题消息中的业务数据；将各任务处理程序的处理结果输入至少一个存储系统，每个存储系统分别用于存储一种格式的数据。本方案中，在对写入目标数量的主题消息中的业务数据进行处理时，可对应启动目标数量的任务处理程序进行处理，一个主题消息中的业务数据，即使是需要存入不同的存储系统，也仅启动一个任务处理程序，相比于现有技术中，按照一个主题消息中业务数据所要存入的存储系统的数量启动与存储系统相同数量的任务处理程序，本方案可有效降低因启动较多的任务处理程序所导致的资源占用，同时降低了硬件成本的消耗。
下述对用以执行本申请所提供的业务数据处理方法的装置、设备及存储介质等进行说明，其具体的实现过程以及技术效果参见上述，下述不再赘述。
图5为本申请实施例提供的一种业务数据处理装置的示意图，该业务数据处理装置实现的功能对应上述方法执行的步骤。该装置可以理解为上述的计算机或者服务器，或服务器的处理器，也可以理解为独立于上述服务器或处理器之外的在服务器控制下实现本申请功能的组件，如图5所示，该业务数据处理装置可包括：获取模块510、写入模块520、启动运行模块530、输入模块540；
获取模块510，用于获取目标业务类型下待存储的多个业务数据；
写入模块520，用于将目标业务类型下的多个业务数据写入消息队列中的目标数量的主题消息中，目标数量基于业务数据的数量得到；
启动运行模块530，用于启动并运行目标数量的任务处理程序，一个任务处理程序用于处理一个主题消息中的业务数据；
输入模块540，用于将各任务处理程序的处理结果输入至少一个存储系统，每个存储系统分别用于存储一种格式的数据。
可选地，启动运行模块530，具体用于启动第一任务处理程序，第一任务处理程序为目标数量的任务处理程序中用于处理第一主题消息中的业务数据的任务处理程序，第一主题消息为目标数量的主题消息中的任一主题消息；根据第一主题消息中各业务数据的存储属性，调用第一任务处理程序中的至少一个任务插件，得到第一任务处理程序的处理结果，其中，存储属性用于标识业务数据待存入的存储系统，每个任务插件分别用于按照与任务插件对应的存储系统的数据格式进行数据转换。
可选地，该装置还包括：生成模块；
生成模块，用于生成至少一个任务插件，任务插件的数量与存储系统的数量对应；
写入模块520，用于在任务处理程序中添加配置文件，将生成的至少一个任务插件写入配置文件的目标目录下。
可选地，生成模块，具体用于配置任务插件基础函数；根据各任务插件的任务执行逻辑，基于基础函数，生成各任务插件对应的任务处理函数；根据各任务插件对应的任务处理函数，生成各任务插件。
可选地，启动运行模块530，具体用于根据第一主题消息中各业务数据的存储属性，依次调用第一主题消息中的与存储属性所标识的存储系统对应的任务插件，分别对各业务数据进行数据格式转换。
可选地，启动运行模块530，具体用于根据第一主题消息中各业务数据的存储属性，并行调用第一主题消息中的与存储属性所标识的存储系统对应的任务插件，分别对各业务数据进行数据格式转换。
可选地，输入模块540，具体用于分别将各任务插件对业务数据进行数据格式转换后的处理结果输入与任务插件对应的存储系统。
可选地，写入模块520，具体用于A、将消息队列中的第一主题消息作为目标主题消息；B、将目标业务类型下的第一业务数据写入目标主题消息中；C、若目标主题消息的实际存储量等于目标主题消息的最大存储量或者与最大存储量的差值小于预设阈值，则将目标业务类型下第一业务数据之后的业务数据存储至消息队列中的空的第二主题消息中，并将第二主题消息作为新的目标主题消息；循环执行步骤A-C，直至业务数据均写入消息队列中，并将存储多个业务数据的主题消息的数量作为目标数量。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
上述模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等，或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接，或其任意组合。两个或更多个模块可以组合为单个模块，并且任何一个模块可以分成两个或更多个单元。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。
需要说明的是，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Singnal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。
图6为本申请实施例提供的一种电子设备的结构示意图，该设备可以是具备数据处理功能的设备。
该设备可包括：处理器801、存储器802。
存储器802用于存储程序，处理器801调用存储器802存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
其中，存储器802存储有程序代码，当程序代码被处理器801执行时，使得处理器801执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的业务数据处理方法中的各种步骤。
处理器801可以是通用处理器，例如中央处理器(CPU)、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器802作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random Access Memory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器802还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
可选地，本申请还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (11)

1.一种业务数据处理方法，其特征在于，包括：
获取目标业务类型下待存储的多个业务数据；
将所述目标业务类型下的所述多个业务数据写入消息队列中的目标数量的主题消息中，所述目标数量基于业务数据的数量得到；
启动并运行所述目标数量的任务处理程序，一个任务处理程序用于处理一个所述主题消息中的业务数据；
将所述任务处理程序的处理结果输入至少一个存储系统，每个存储系统分别用于存储一种格式的数据；其中，各任务处理程序的处理结果为对业务数据进行数据格式转换后的数据。
2.根据权利要求1所述的方法，其特征在于，所述启动并运行所述目标数量的任务处理程序，包括：
启动第一任务处理程序，所述第一任务处理程序为所述目标数量的任务处理程序中用于处理第一主题消息中的业务数据的任务处理程序，所述第一主题消息为所述目标数量的主题消息中的任一主题消息；
根据所述第一主题消息中各业务数据的存储属性，调用所述第一任务处理程序中的至少一个任务插件，得到所述第一任务处理程序的处理结果，其中，所述存储属性用于标识所述业务数据待存入的存储系统，每个任务插件分别用于按照与所述任务插件对应的存储系统的数据格式进行数据转换。
3.根据权利要求2所述的方法，其特征在于，所述启动并运行所述目标数量的任务处理程序之前，所述方法还包括：
生成至少一个任务插件，所述任务插件的数量与所述存储系统的数量对应；
在所述任务处理程序中添加配置文件，将生成的所述至少一个任务插件写入所述配置文件的目标目录下。
4.根据权利要求3所述的方法，其特征在于，所述生成至少一个任务插件，包括：
配置任务插件基础函数；
根据各任务插件的任务执行逻辑，基于所述基础函数，生成各任务插件对应的任务处理函数；
根据所述各任务插件对应的任务处理函数，生成各任务插件。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一主题消息中各业务数据的存储属性，调用所述第一任务处理程序中的至少一个任务插件，包括：
根据所述第一主题消息中各业务数据的存储属性，依次调用所述第一主题消息中的与所述存储属性所标识的存储系统对应的任务插件，分别对各所述业务数据进行数据格式转换。
6.根据权利要求4所述的方法，其特征在于，所述根据所述第一主题消息中各业务数据的存储属性，调用所述第一任务处理程序中的至少一个任务插件，包括：
根据所述第一主题消息中各业务数据的存储属性，并行调用所述第一主题消息中的与所述存储属性所标识的存储系统对应的任务插件，分别对各所述业务数据进行数据格式转换。
7.根据权利要求4所述的方法，其特征在于，所述将各所述任务处理程序的处理结果输入至少一个存储系统，包括：
分别将各所述任务插件对业务数据进行数据格式转换后的处理结果输入与所述任务插件对应的存储系统。
8.根据权利要求1-7任一所述的方法，其特征在于，将所述目标业务类型下的多个业务数据写入消息队列中的目标数量的主题消息中，包括：
A、将所述消息队列中的第一主题消息作为目标主题消息；
B、将所述目标业务类型下的第一业务数据写入所述目标主题消息中；
C、若所述目标主题消息的实际存储量等于所述目标主题消息的最大存储量或者与所述最大存储量的差值小于预设阈值，则将所述目标业务类型下所述第一业务数据之后的业务数据存储至所述消息队列中的空的第二主题消息中，并将所述第二主题消息作为新的目标主题消息；
循环执行步骤A-C，直至所述业务数据均写入所述消息队列中，并将存储所述多个业务数据的主题消息的数量作为所述目标数量。
9.一种业务数据处理装置，其特征在于，包括：获取模块、写入模块、启动运行模块、输入模块；
所述获取模块，用于获取一个目标业务类型下待存储的多个业务数据；
所述写入模块，用于将所述目标业务类型下的所述多个业务数据写入消息队列中的目标数量的主题消息中，所述目标数量基于业务数据的数量得到；
所述启动运行模块，用于启动并运行所述目标数量的任务处理程序，一个任务处理程序用于处理一个所述主题消息中的业务数据；
所述输入模块，用于将各所述任务处理程序的处理结果输入至少一个存储系统，每个存储系统分别用于存储一种格式的数据；其中，各任务处理程序的处理结果为对业务数据进行数据格式转换后的数据。
10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行时执行如权利要求1至8任一所述的业务数据处理方法的步骤。
11.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至8任一所述的业务数据处理方法的步骤。
CN202110273213.1A 2021-03-12 2021-03-12 业务数据处理方法、装置、电子设备及存储介质 Active CN112860412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110273213.1A CN112860412B (zh) 2021-03-12 2021-03-12 业务数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110273213.1A CN112860412B (zh) 2021-03-12 2021-03-12 业务数据处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112860412A CN112860412A (zh) 2021-05-28
CN112860412B true CN112860412B (zh) 2023-10-20

Family

ID=75994452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110273213.1A Active CN112860412B (zh) 2021-03-12 2021-03-12 业务数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112860412B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553425A (zh) * 2021-06-28 2021-10-26 北京来也网络科技有限公司 基于rpa和ai的数据汇聚方法、装置、设备及存储介质
CN113722123A (zh) * 2021-08-26 2021-11-30 许继集团有限公司 一种跨系统多类型数据转发传输方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7593995B1 (en) * 2006-01-23 2009-09-22 Clearwell Systems, Inc. Methods and systems of electronic message threading and ranking
CN110086636A (zh) * 2019-04-17 2019-08-02 平安科技（深圳）有限公司 一种基于mqtt的消息分发方法、服务器及存储介质
CN110209507A (zh) * 2019-05-16 2019-09-06 厦门市美亚柏科信息股份有限公司 基于消息队列的数据处理方法、装置、系统及存储介质
CN110231991A (zh) * 2019-05-31 2019-09-13 新华三大数据技术有限公司 一种任务分配方法、装置、电子设备及可读存储介质
CN110502494A (zh) * 2019-08-30 2019-11-26 北京思维造物信息科技股份有限公司 日志处理方法、装置、计算机设备及存储介质
CN111061715A (zh) * 2019-12-16 2020-04-24 北京邮电大学 基于Web和Kafka的分布式数据集成系统及方法
CN111177232A (zh) * 2018-11-09 2020-05-19 中移(苏州)软件技术有限公司 一种数据处理方法、装置、系统和存储介质
CN111625583A (zh) * 2020-05-21 2020-09-04 广西电网有限责任公司 业务数据处理方法、装置、计算机设备和存储介质
CN112000969A (zh) * 2020-08-19 2020-11-27 银盛支付服务股份有限公司 大数据高效异同步解密处理方法、模块及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10642647B2 (en) * 2018-03-19 2020-05-05 Accenture Global Solutions Limited Concurrent queueing and control command feedback loop in unified automation platforms
US10860599B2 (en) * 2018-06-11 2020-12-08 Uptake Technologies, Inc. Tool for creating and deploying configurable pipelines

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7593995B1 (en) * 2006-01-23 2009-09-22 Clearwell Systems, Inc. Methods and systems of electronic message threading and ranking
CN111177232A (zh) * 2018-11-09 2020-05-19 中移(苏州)软件技术有限公司 一种数据处理方法、装置、系统和存储介质
CN110086636A (zh) * 2019-04-17 2019-08-02 平安科技（深圳）有限公司 一种基于mqtt的消息分发方法、服务器及存储介质
CN110209507A (zh) * 2019-05-16 2019-09-06 厦门市美亚柏科信息股份有限公司 基于消息队列的数据处理方法、装置、系统及存储介质
CN110231991A (zh) * 2019-05-31 2019-09-13 新华三大数据技术有限公司 一种任务分配方法、装置、电子设备及可读存储介质
CN110502494A (zh) * 2019-08-30 2019-11-26 北京思维造物信息科技股份有限公司 日志处理方法、装置、计算机设备及存储介质
CN111061715A (zh) * 2019-12-16 2020-04-24 北京邮电大学 基于Web和Kafka的分布式数据集成系统及方法
CN111625583A (zh) * 2020-05-21 2020-09-04 广西电网有限责任公司 业务数据处理方法、装置、计算机设备和存储介质
CN112000969A (zh) * 2020-08-19 2020-11-27 银盛支付服务股份有限公司 大数据高效异同步解密处理方法、模块及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Kafka、Disruptor技术对传统ETL的改进;王梓;梁正和;吴莹莹;;计算机技术与发展(11);全文 *

Also Published As

Publication number Publication date
CN112860412A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112860412B (zh) 业务数据处理方法、装置、电子设备及存储介质
CN107480205B (zh) 一种进行数据分区的方法和装置
CN111400246B (zh) 异步导入文件方法、装置、计算机设备和存储介质
CN106557307B (zh) 业务数据的处理方法及处理系统
CN111124872A (zh) 基于差异代码分析的分支检测方法、装置及存储介质
CN110888972A (zh) 一种基于Spark Streaming的敏感内容识别方法及装置
CN110795331A (zh) 软件测试的方法和装置
CN110795920B (zh) 一种文档生成方法及设备
CN110908644A (zh) 状态节点的配置方法、装置、计算机设备和存储介质
CN108121807B (zh) Hadoop环境下多维索引结构OBF-Index的实现方法
CN111666278A (zh) 数据存储、检索方法、电子设备及存储介质
CN116010345A (zh) 一种实现流批一体数据湖的表服务方案的方法、装置及设备
CN112632266B (zh) 数据写入方法、装置、计算机设备及可读存储介质
CN115470235A (zh) 一种数据处理方法、装置以及设备
CN112231292A (zh) 文件处理方法、装置、存储介质及计算机设备
CN115081233B (zh) 一种流程仿真方法及电子设备
CN114268540B (zh) 规则引擎的优化方法、装置及设备
CN112783925B (zh) 分页检索方法和装置
CN111414162B (zh) 一种数据处理方法、装置及其设备
CN116126797A (zh) 大数据集群的文件清理方法及相关设备
CN115858322A (zh) 日志数据处理方法、装置和计算机设备
CN117689132A (zh) 流程表单的处理方法、装置、电子设备及存储介质
CN117435367A (zh) 用户行为处理方法、装置、设备、存储介质和程序产品
CN113901057A (zh) 数据回放方法、装置、计算机设备和存储介质
CN116954474A (zh) 数据读取的方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant