CN110673891A - 一种数据处理方法、装置、设备及介质 - Google Patents
一种数据处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN110673891A CN110673891A CN201910866478.5A CN201910866478A CN110673891A CN 110673891 A CN110673891 A CN 110673891A CN 201910866478 A CN201910866478 A CN 201910866478A CN 110673891 A CN110673891 A CN 110673891A
- Authority
- CN
- China
- Prior art keywords
- processor
- source
- sink
- nifi
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 17
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
- G06F9/4451—User profiles; Roaming
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据处理方法、装置、设备及介质，包括：获取用户对flumeagent进行配置后得到的配置文件；对所述配置文件进行解析，得到配置信息，然后利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序；利用所述第一processor、所述第二processor以及所述数据处理顺序生成nifi模板；将所述nifi模板提交到nifi集群中进行数据处理。这样，利用flumeagent的配置文件生成nifi模板，并将得到的所述nifi模板提交到nifi集群中进行数据处理，能够让用户只需要配置flume，便可以利用nifi进行数据处理，从而降低了用户进行数据处理时的学习成本。
Description
技术领域
本申请涉及数据处理技术领域，特别涉及一种数据处理方法、装置、设备及介质。
背景技术
flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，flume提供对数据进行简单处理，并写到各种数据接受方的能力，因此被广泛应用。nifi是一个开源的数据处理工具，可以通过processor对数据流进行处理，并且，nifi具有可以处理任何大小的消息，以及可视化的优势，但是目前存在用户不会利用nifi处理数据的问题。
发明内容
有鉴于此，本申请的目的在于提供一种数据处理方法、装置、设备及介质，能够让用户只需要配置flume，便可以利用nifi进行数据处理，从而降低了用户进行数据处理时的学习成本。其具体方案如下：
第一方面，本申请公开了一种数据处理方法，包括：
获取用户对flumeagent进行配置后得到的配置文件；
对所述配置文件进行解析，得到配置信息，然后利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序；其中，所述第一source为配置后所述flumeagent中的source，所述第一sink为配置后所述flumeagent中的sink；
利用所述第一processor、所述第二processor以及所述数据处理顺序生成nifi模板；
将所述nifi模板提交到nifi集群中进行数据处理。
可选的，所述利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序，包括：
利用所述配置信息中所述第一source和所述第一sink对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序。
可选的，所述利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序，包括：
利用所述配置信息中channel对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序。
可选的，所述利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor，包括：
利用所述配置信息，查找关系对应表，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor；其中，所述关系对应表包括第二source和第二sink以及所述第二source和所述第二sink与nifi中相应processor的对应关系，并且，所述第二source包括配置前所述flumeagent中全部类型的source，所述第二sink包括配置前所述flumeagent中全部类型的sink。
第二方面，本申请公开了一种数据处理装置，包括：
配置文件获取模块，用于获取用户对flumeagent进行配置后得到的配置文件；
配置文件解析模块，用于对所述配置文件进行解析，得到配置信息，然后利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序；其中，所述第一source为配置后所述flumeagent中的source，所述第一sink为配置后所述flumeagent中的sink；
nifi模板生成模块，用于利用所述第一processor、所述第二processor以及所述数据处理顺序生成nifi模板；
nifi数据处理模块，用于将所述nifi模板提交到nifi集群中进行数据处理。
可选的，所述配置文件解析模块，具体用于对所述配置文件进行解析，得到配置信息，然后利用所述配置信息中所述第一source和所述第一sink对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序。
可选的，所述配置文件解析模块，具体用于对所述配置文件进行解析，得到配置信息，然后利用所述配置信息中channel对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序。
可选的，所述配置文件解析模块，具体用于对所述配置文件进行解析，得到配置信息，然后利用所述配置信息，查找关系对应表，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor；其中，所述关系对应表包括第二source和第二sink以及所述第二source和所述第二sink与nifi中相应processor的对应关系，并且，所述第二source包括配置前所述flumeagent中全部类型的source，所述第二sink包括配置前所述flumeagent中全部类型的sink。
第三方面，本申请公开了一种数据处理设备，包括处理器和存储器；其中，
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现前述的数据处理方法。
第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述的数据处理方法。
可见，本申请先获取用户对flumeagent进行配置后得到的配置文件，并对所述配置文件进行解析，得到配置信息，然后利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序；其中，所述第一source为配置后所述flumeagent中的source，所述第一sink为配置后所述flumeagent中的sink，之后利用所述第一processor、所述第二processor以及所述数据处理顺序生成nifi模板，最终将所述nifi模板提交到nifi集群中进行数据处理。这样，利用flumeagent的配置文件生成nifi模板，并将得到的所述nifi模板提交到nifi集群中进行数据处理，能够让用户只需要配置flume，便可以利用nifi进行数据处理，从而降低了用户进行数据处理时的学习成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种数据处理方法流程图；
图2为本申请公开的一种具体的数据处理方法流程图；
图3为本申请公开的一种具体的数据处理方法流程图；
图4为本申请公开的一种数据处理装置结构示意图；
图5为本申请公开的一种数据处理设备结构图；
图6为本申请公开的一种终端结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1所示，本申请实施例公开了一种数据处理方法，包括：
步骤S11：获取用户对flumeagent进行配置后得到的配置文件。
在具体的实施方式中，本实施例可以先获取用户对flumeagent进行配置后得到的配置文件。例如，用户配置后的配置文件如下：
root@m1:/home/hadoop#vi/home/hadoop/flume-1.5.0-bin/conf/spool.conf
a1.sources＝r1
a1.sinks＝k1
a1.channels＝c1
#Describe/configure the source
a1.sources.r1.type＝spooldir
a1.sources.r1.channels＝c1
a1.sources.r1.spoolDir＝/home/hadoop/flume-1.5.0-bin/logs
a1.sources.r1.fileHeader＝true
#Describe the sink
a1.sinks.k1.type＝hdfs
#Use a channel which buffers events in memory
a1.channels.c1.type＝memory
a1.channels.c1.capacity＝1000
a1.channels.c1.transactionCapacity＝100
#Bind the source and sink to the channel
a1.sources.r1.channels＝c1
a1.sinks.k1.channel＝c1
也即，用户将agent的source、sink和channel按照flumeagent的配置规则在配置文件中配置后，生成相应的配置文件。
步骤S12：对所述配置文件进行解析，得到配置信息，然后利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序；其中，所述第一source为配置后所述flumeagent中的source，所述第一sink为配置后所述flumeagent中的sink。
在具体的实施方式中，本实施例可以利用所述配置信息，查找关系对应表，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor，并利用配置信息得到第一processor和所述第二processor之间的数据处理顺序；其中，所述关系对应表包括第二source和第二sink以及所述第二source和所述第二sink与nifi中相应processor的对应关系，并且，所述第二source包括配置前所述flumeagent中全部类型的source，所述第二sink包括配置前所述flumeagent中全部类型的sink。
也即，本实施例可以预先利用第二source和第二sink以及所述第二source和所述第二sink与nifi中相应processor的对应关系，创建所述关系对应表。需要指出的是，flume中包括多种类型的source和sink，nifi中也包括多种类型的processor，每种类型source和sink在nifi中均存在对应类型的processor，比如flume中的source类型为spoodir，则其在nifi中对应的processor为getfile，flume中的sink类型为hdfs，则其在nifi中对应的processor为puthdfs，同样的，flume中其他类型的source如avro、thrift和jms等以及其他类型的sink，均有对应的processor，本实施例利用这种类型的对应关系，创建所述关系对应表，当得到配置信息，便可以利用配置信息，查找所述关系对应表，查找到与配置信息中第一source和第一sink分别对应的第一processor和第二processor，并生成所述第一processor与所述第二processor之间的数据处理顺序，需要指出的是，在flume中source和sink存在数据处理顺序，即数据从source源到sink目的，而nifi中processor之间本身不存在数据处理顺序，因此需要利用配置信息生成所述第一processor与所述第二processor之间的数据处理顺序，具体的，由于第一processor与第一source对应，第二processor与第一sink对应，所述数据处理顺序为数据先经过第一processor处理，然后将处理后的数据传输至第二processor，由第二processor处理。
步骤S13：利用所述第一processor、所述第二processor以及所述数据处理顺序生成nifi模板。
也即，生成的nifi模板中包括与source对应的第一processor、与sink对应的第二processor以及所述数据处理顺序。
步骤S14：将所述nifi模板提交到nifi集群中进行数据处理。
也即，将所述nifi模板提交到nifi集群中便可以进行数据处理，从而实现了配置flume，便可以利用nifi处理数据。
可见，本申请实施例先获取用户对flumeagent进行配置后得到的配置文件，并对所述配置文件进行解析，得到配置信息，然后利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序；其中，所述第一source为配置后所述flumeagent中的source，所述第一sink为配置后所述flumeagent中的sink，之后利用所述第一processor、所述第二processor以及所述数据处理顺序生成nifi模板，最终将所述nifi模板提交到nifi集群中进行数据处理。这样，利用flumeagent的配置文件生成nifi模板，并将得到的所述nifi模板提交到nifi集群中进行数据处理，能够让用户只需要配置flume，便可以利用nifi进行数据处理，从而降低了用户进行数据处理时的学习成本。
参见图2所示，本申请实施例公开了一种具体的数据处理方法，包括：
步骤S21：获取用户对flumeagent进行配置后得到的配置文件。
其中，关于上述步骤S21的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤S22：对所述配置文件进行解析，得到配置信息，然后利用所述配置信息中所述第一source和所述第一sink对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序。
在具体的实施方式中，可以利用配置信息中的所述第一source和所述第一sink对应的信息得到所述第一source和所述第一sink对应的类型，比如，第一source对应的信息中包括：a1.sources.r1.type＝spooldir，则所述第一source的类型为spooldir，然后查找关系对应表，得到与spooldir对应的getfile为所述第一processor，第一sink对应的信息中包括：a1.sinks.k1.type＝hdfs，则所述第一sink的类型为hdfs，然后查找关系对应表，得到与hdfs对应的puthdfs为所述第二processor，然后根据spooldir和hdfs确定出getfile和puthdfs之间的数据处理顺序为先利用getfile进行处理数据，然后将处理后的数据发送至puthdfs，由puthdfs处理。
步骤S23：利用所述第一processor、所述第二processor以及所述数据处理顺序生成nifi模板。
步骤S24：将所述nifi模板提交到nifi集群中进行数据处理。
参见图3所示，本申请实施例公开了一种具体的数据处理方法，包括：
步骤S31：获取用户对flumeagent进行配置后得到的配置文件。
步骤S32：对所述配置文件进行解析，得到配置信息，然后利用所述配置信息中channel对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序。
在具体的实施方式中，可以利用配置信息中channel对应的信息，具体的，channel对应的信息中包括其连接的第一source和第一sink，因此，可以利用channel信息确定其连接的第一source和第一sink对应的source类型和sink类型，进而，可以利用其确定出的source类型和sink类型，查找关系对应表，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor，并且，channel的作用为连接第一source和第一sink，作为第一source和第一sink之间数据传输的通道，因此，可以利用channel对应的信息生成所述第一processor和所述第二processor之间的数据处理顺序。
步骤S33：利用所述第一processor、所述第二processor以及所述数据处理顺序生成nifi模板。
步骤S34：将所述nifi模板提交到nifi集群中进行数据处理。
参见图4所示，本申请实施例公开了一种数据处理装置，包括：
配置文件获取模块11，用于获取用户对flumeagent进行配置后得到的配置文件；
配置文件解析模块12，用于对所述配置文件进行解析，得到配置信息，然后利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序；其中，所述第一source为配置后所述flumeagent中的source，所述第一sink为配置后所述flumeagent中的sink；
nifi模板生成模块13，用于利用所述第一processor、所述第二processor以及所述数据处理顺序生成nifi模板；
nifi数据处理模块14，用于将所述nifi模板提交到nifi集群中进行数据处理。
可见，本申请实施例先获取用户对flumeagent进行配置后得到的配置文件，并对所述配置文件进行解析，得到配置信息，然后利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序；其中，所述第一source为配置后所述flumeagent中的source，所述第一sink为配置后所述flumeagent中的sink，之后利用所述第一processor、所述第二processor以及所述数据处理顺序生成nifi模板，最终将所述nifi模板提交到nifi集群中进行数据处理。这样，利用flumeagent的配置文件生成nifi模板，并将得到的所述nifi模板提交到nifi集群中进行数据处理，能够让用户只需要配置flume，便可以利用nifi进行数据处理，从而降低了用户进行数据处理时的学习成本。
在一种具体的实施方式中，所述配置文件解析模块12，具体用于可以对所述配置文件进行解析，得到配置信息，然后利用所述配置信息中所述第一source和所述第一sink对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序。
在另一种具体的实施方式中，所述配置文件解析模块12，具体用于对所述配置文件进行解析，得到配置信息，然后利用所述配置信息中channel对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序。
并且，所述配置文件解析模块12，具体用于对所述配置文件进行解析，得到配置信息，然后利用所述配置信息，查找关系对应表，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor；其中，所述关系对应表包括第二source和第二sink以及所述第二source和所述第二sink与nifi中相应processor的对应关系，并且，所述第二source包括配置前所述flumeagent中全部类型的source，所述第二sink包括配置前所述flumeagent中全部类型的sink。
参见图5所示，本申请实施例公开了一种数据处理设备，包括处理器21和存储器22；其中，所述存储器22，用于保存计算机程序；所述处理器21，用于执行所述计算机程序，以实现以下步骤：
获取用户对flumeagent进行配置后得到的配置文件；对所述配置文件进行解析，得到配置信息，然后利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序；其中，所述第一source为配置后所述flumeagent中的source，所述第一sink为配置后所述flumeagent中的sink；利用所述第一processor、所述第二processor以及所述数据处理顺序生成nifi模板；将所述nifi模板提交到nifi集群中进行数据处理。
可见，本申请实施例先获取用户对flumeagent进行配置后得到的配置文件，并对所述配置文件进行解析，得到配置信息，然后利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序；其中，所述第一source为配置后所述flumeagent中的source，所述第一sink为配置后所述flumeagent中的sink，之后利用所述第一processor、所述第二processor以及所述数据处理顺序生成nifi模板，最终将所述nifi模板提交到nifi集群中进行数据处理。这样，利用flumeagent的配置文件生成nifi模板，并将得到的所述nifi模板提交到nifi集群中进行数据处理，能够让用户只需要配置flume，便可以利用nifi进行数据处理，从而降低了用户进行数据处理时的学习成本。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：利用所述配置信息中所述第一source和所述第一sink对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：利用所述配置信息中channel对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：利用所述配置信息，查找关系对应表，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor；其中，所述关系对应表包括第二source和第二sink以及所述第二source和所述第二sink与nifi中相应processor的对应关系，并且，所述第二source包括配置前所述flumeagent中全部类型的source，所述第二sink包括配置前所述flumeagent中全部类型的sink。
并且，所述存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，存储方式可以是短暂存储或者永久存储。
参见图6所示，本申请实施例公开了一种终端20，包括前述实施例中公开的包括处理器21和存储器22的数据处理设备。关于上述处理器21具体可以执行的步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步的，本实施例中的终端20，还可以具体包括电源23、通信接口24、输入输出接口25和通信总线26；其中，所述电源23用于为所述终端20上的各硬件设备提供工作电压；所述通信接口24能够为所述终端20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；所述输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
进一步的，本申请实施例还公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现以下步骤：
获取用户对flumeagent进行配置后得到的配置文件；对所述配置文件进行解析，得到配置信息，然后利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序；其中，所述第一source为配置后所述flumeagent中的source，所述第一sink为配置后所述flumeagent中的sink；利用所述第一processor、所述第二processor以及所述数据处理顺序生成nifi模板；将所述nifi模板提交到nifi集群中进行数据处理。
可见，本申请实施例先获取用户对flumeagent进行配置后得到的配置文件，并对所述配置文件进行解析，得到配置信息，然后利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序；其中，所述第一source为配置后所述flumeagent中的source，所述第一sink为配置后所述flumeagent中的sink，之后利用所述第一processor、所述第二processor以及所述数据处理顺序生成nifi模板，最终将所述nifi模板提交到nifi集群中进行数据处理。这样，利用flumeagent的配置文件生成nifi模板，并将得到的所述nifi模板提交到nifi集群中进行数据处理，能够让用户只需要配置flume，便可以利用nifi进行数据处理，从而降低了用户进行数据处理时的学习成本。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：利用所述配置信息中所述第一source和所述第一sink对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：利用所述配置信息中channel对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：利用所述配置信息，查找关系对应表，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor；其中，所述关系对应表包括第二source和第二sink以及所述第二source和所述第二sink与nifi中相应processor的对应关系，并且，所述第二source包括配置前所述flumeagent中全部类型的source，所述第二sink包括配置前所述flumeagent中全部类型的sink。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种数据处理方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
获取用户对flumeagent进行配置后得到的配置文件；
对所述配置文件进行解析，得到配置信息，然后利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序；其中，所述第一source为配置后所述flumeagent中的source，所述第一sink为配置后所述flumeagent中的sink；
利用所述第一processor、所述第二processor以及所述数据处理顺序生成nifi模板；
将所述nifi模板提交到nifi集群中进行数据处理。
2.根据权利要求1所述的数据处理方法，其特征在于，所述利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序，包括：
利用所述配置信息中所述第一source和所述第一sink对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序。
3.根据权利要求1所述的数据处理方法，其特征在于，所述利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序，包括：
利用所述配置信息中channel对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序。
4.根据权利要求1至3任一项所述的数据处理方法，其特征在于，所述利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor，包括：
利用所述配置信息，查找关系对应表，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor；其中，所述关系对应表包括第二source和第二sink以及所述第二source和所述第二sink与nifi中相应processor的对应关系，并且，所述第二source包括配置前所述flumeagent中全部类型的source，所述第二sink包括配置前所述flumeagent中全部类型的sink。
5.一种数据处理装置，其特征在于，包括：
配置文件获取模块，用于获取用户对flumeagent进行配置后得到的配置文件；
配置文件解析模块，用于对所述配置文件进行解析，得到配置信息，然后利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序；其中，所述第一source为配置后所述flumeagent中的source，所述第一sink为配置后所述flumeagent中的sink；
nifi模板生成模块，用于利用所述第一processor、所述第二processor以及所述数据处理顺序生成nifi模板；
nifi数据处理模块，用于将所述nifi模板提交到nifi集群中进行数据处理。
6.根据权利要求5所述的数据处理装置，其特征在于，
所述配置文件解析模块，具体用于对所述配置文件进行解析，得到配置信息，然后利用所述配置信息中所述第一source和所述第一sink对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序。
7.根据权利要求5所述的数据处理装置，其特征在于，
所述配置文件解析模块，具体用于对所述配置文件进行解析，得到配置信息，然后利用所述配置信息中channel对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序。
8.根据权利要求5所述的数据处理装置，其特征在于，
所述配置文件解析模块，具体用于对所述配置文件进行解析，得到配置信息，然后利用所述配置信息，查找关系对应表，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor；其中，所述关系对应表包括第二source和第二sink以及所述第二source和所述第二sink与nifi中相应processor的对应关系，并且，所述第二source包括配置前所述flumeagent中全部类型的source，所述第二sink包括配置前所述flumeagent中全部类型的sink。
9.一种数据处理设备，其特征在于，包括处理器和存储器；其中，
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现如权利要求1至4任一项所述的数据处理方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910866478.5A CN110673891B (zh) | 2019-09-12 | 2019-09-12 | 一种数据处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910866478.5A CN110673891B (zh) | 2019-09-12 | 2019-09-12 | 一种数据处理方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110673891A true CN110673891A (zh) | 2020-01-10 |
| CN110673891B CN110673891B (zh) | 2022-08-02 |
Family
ID=69078095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910866478.5A Active CN110673891B (zh) | 2019-09-12 | 2019-09-12 | 一种数据处理方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110673891B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104270469A (zh) * | 2014-10-23 | 2015-01-07 | 国家电网公司 | 遥控数据处理方法及系统 |
| CN106250410A (zh) * | 2016-07-21 | 2016-12-21 | 广州安望信息科技有限公司 | 一种基于flume系统的数据处理方法及其装置 |
| CN106648722A (zh) * | 2016-05-10 | 2017-05-10 | 深圳前海信息技术有限公司 | 基于大数据的Flume接收端数据处理方法和装置 |
| CN107330028A (zh) * | 2017-06-23 | 2017-11-07 | 北京北信源软件股份有限公司 | 一种Apache NiFi在源数据录入数据库方面的扩展应用方法和系统 |
| US20180068004A1 (en) * | 2016-09-08 | 2018-03-08 | BigStream Solutions, Inc. | Systems and methods for automatic transferring of at least one stage of big data operations from centralized systems to at least one of event producers and edge devices |
| US20180254989A1 (en) * | 2015-08-28 | 2018-09-06 | Softnas Operating Inc. | Automated data flows using flow-based data processor blocks |
| CN108509444A (zh) * | 2017-02-24 | 2018-09-07 | 深圳市优朋普乐传媒发展有限公司 | 一种数据处理的方法及装置 |
| CN109344189A (zh) * | 2018-09-19 | 2019-02-15 | 浪潮软件集团有限公司 | 一种基于NiFi的大数据计算方法及装置 |
| CN109542593A (zh) * | 2018-11-27 | 2019-03-29 | 浪潮天元通信信息系统有限公司 | 一种基于nifi的数据处理流程设计方法 |
-
2019
- 2019-09-12 CN CN201910866478.5A patent/CN110673891B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104270469A (zh) * | 2014-10-23 | 2015-01-07 | 国家电网公司 | 遥控数据处理方法及系统 |
| US20180254989A1 (en) * | 2015-08-28 | 2018-09-06 | Softnas Operating Inc. | Automated data flows using flow-based data processor blocks |
| CN106648722A (zh) * | 2016-05-10 | 2017-05-10 | 深圳前海信息技术有限公司 | 基于大数据的Flume接收端数据处理方法和装置 |
| CN106250410A (zh) * | 2016-07-21 | 2016-12-21 | 广州安望信息科技有限公司 | 一种基于flume系统的数据处理方法及其装置 |
| US20180068004A1 (en) * | 2016-09-08 | 2018-03-08 | BigStream Solutions, Inc. | Systems and methods for automatic transferring of at least one stage of big data operations from centralized systems to at least one of event producers and edge devices |
| CN108509444A (zh) * | 2017-02-24 | 2018-09-07 | 深圳市优朋普乐传媒发展有限公司 | 一种数据处理的方法及装置 |
| CN107330028A (zh) * | 2017-06-23 | 2017-11-07 | 北京北信源软件股份有限公司 | 一种Apache NiFi在源数据录入数据库方面的扩展应用方法和系统 |
| CN109344189A (zh) * | 2018-09-19 | 2019-02-15 | 浪潮软件集团有限公司 | 一种基于NiFi的大数据计算方法及装置 |
| CN109542593A (zh) * | 2018-11-27 | 2019-03-29 | 浪潮天元通信信息系统有限公司 | 一种基于nifi的数据处理流程设计方法 |
Non-Patent Citations (2)
| Title |
|---|
| 沈志宏等: "关联大数据管理技术:挑战、对策与实践", 《数据分析与知识发现》 * |
| 赵改善: "地球物理高性能计算的新选择:GPU计算技术", 《勘探地球物理进展》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110673891B (zh) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103294598B (zh) | 一种源代码检查方法及装置 | |
| CN108170538B (zh) | 一种信息处理方法、装置以及电子设备 | |
| CN108038212B (zh) | 一种数据交互方法、装置、系统、设备和存储介质 | |
| CN110750437B (zh) | 一种设备调试方法、装置、设备及系统 | |
| CN110781180B (zh) | 一种数据筛选方法和数据筛选装置 | |
| CN112130830B (zh) | 接口生成方法、装置及电子设备 | |
| CN113419789A (zh) | 数据模型脚本的生成方法和装置 | |
| CN110855459B (zh) | 网络配置方法、装置及系统 | |
| CN110673891B (zh) | 一种数据处理方法、装置、设备及介质 | |
| CN113326305A (zh) | 一种处理数据的方法和装置 | |
| CN111221888A (zh) | 大数据分析系统及方法 | |
| CN111752916B (zh) | 数据采集方法及装置、计算机可读存储介质、电子设备 | |
| CN110442439B (zh) | 任务进程处理方法、装置和计算机设备 | |
| CN112883088A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN112948138A (zh) | 一种处理消息的方法和装置 | |
| CN110941658A (zh) | 一种数据导出方法、装置、服务器及存储介质 | |
| CN111294173A (zh) | 一种速率匹配方法及装置 | |
| CN115099196A (zh) | 报文转化为数据实体的方法及装置 | |
| Sahoo et al. | A framework for optimization of regression testing of web services using slicing | |
| CN114064803A (zh) | 一种数据同步方法和装置 | |
| CN113691403A (zh) | 拓扑节点配置方法、相关装置及计算机程序产品 | |
| CN113779018A (zh) | 一种数据处理方法和装置 | |
| CN110569673A (zh) | 一种数据文件处理方法、装置、设备及储存介质 | |
| CN107544789B (zh) | 一种拓扑适配方法和装置 | |
| CN111124365A (zh) | Rpa需求收集的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |