CN109634652A - 一种数据处理的方法、装置、计算机存储介质及终端 - Google Patents

Abstract

一种数据处理的方法、装置、计算机存储介质及终端，包括：通过NIFI建立数据流任务，并为建立的数据流任务运行相应的任务组件；基于SOLR建立任务组件间进行数据流传输的数据流接口后，根据平台业务进行数据流任务的处理。本发明实施例降低了平台各个业务模块之间的耦合度，提升了数据处理效率。

Description

一种数据处理的方法、装置、计算机存储介质及终端

技术领域

本文涉及但不限于大数据技术，尤指一种数据处理的方法、装置、计算机存储介质及终端。

背景技术

在大数据时代，数据资源需要通过任务平台进行调度，用来支撑不同业务模块的数据层，由于数据量较大，且数据具有实时性，需要一种高效的数据处理方法。

当前平台对各业务模块数据流的处理方法均较为传统，使用的数据库和接口均为相关技术中的已有的结构，且部分平台各个业务模块之间耦合度较高，对数据传输要求不高，但数据处理效率较低，维护复杂。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供一种数据处理的方法、装置、计算机存储介质及终端，能够降低平台各个业务模块之间的耦合度，提升数据处理效率。

本发明实施例提供了一种数据处理的方法，包括：

通过NIFI建立数据流任务，并为建立的数据流任务运行相应的任务组件；

基于SOLR建立任务组件间进行数据流传输的数据流接口后，根据平台业务进行数据流任务的处理。

可选的，所述数据流任务包括以下一种或一种以上任务：

实时任务、定时任务、触发任务。

可选的，所述根据平台业务对数据流任务进行数据流处理包括：

所述数据流任务包括所述实时任务时，选择NIFI实时任务组件，并配置实时任务组件的相关参数，通过完成相关参数配置的NIFI实时任务组件进行实时任务的数据流处理；

所述数据流任务包括所述定时任务时，选择NIFI定时任务组件，根据选择的NIFI定时任务组件进行定时任务的数据读取。

可选的，所述根据平台业务进行数据流任务的处理之前，所述方法还包括：

按照预设的封装策略，通过NIFI设置数据流任务涉及的各种类数据流的封装格式；

其中，所述封装格式包括：JS对象简谱JSON、可扩展标记语言XML或预设的封装格式。

可选的，所述根据平台业务进行数据流任务的处理后，所述方法还包括：

对数据流任务处理后的处理数据，通过SOLR按照预设文件格式进行整理并缓存。

可选的，对所述处理数据按照预设文件格式进行整理并缓存时，所述方法还包括：

生成对应于所述处理数据的日志文件。

另一方面，本发明实施例还提供一种数据处理的装置，包括：建立单元和处理单元；其中，

建立单元用于：通过NIFI建立数据流任务，并为建立的数据流任务运行相应的任务组件；

处理单元用于：基于SOLR建立任务组件间进行数据流传输的数据流接口后，根据平台业务进行数据流任务的处理。

可选的，所述数据流任务包括以下一种或一种以上任务：

实时任务、定时任务、触发任务。

可选的，所述处理单元用于根据平台业务对数据流任务进行数据流处理包括：

所述数据流任务包括所述实时任务时，选择NIFI实时任务组件，并配置实时任务组件的相关参数，通过完成相关参数配置的NIFI实时任务组件进行实时任务的数据流处理；

所述数据流任务包括所述定时任务时，选择NIFI定时任务组件，根据选择的NIFI定时任务组件进行定时任务的数据读取。

可选的，所述装置还包括封装单元，用于：

按照预设的封装策略，通过NIFI设置数据流任务涉及的各种类数据流的封装格式；

其中，所述封装格式包括：JS对象简谱JSON、可扩展标记语言XML或预设的封装格式。

可选的，所述装置还包括缓存单元，用于：

对数据流任务处理后的处理数据，通过SOLR按照预设文件格式进行整理并缓存。

可选的，所述装置还包括日志单元，用于：生成对应于所述处理数据的日志文件。

再一方面，本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行上述数据处理的方法。

还一方面，本发明实施例还提供一种终端，包括：存储器和处理器；其中，

处理器被配置为执行存储器中的程序指令；

程序指令在处理器读取执行以下操作：

通过NIFI建立数据流任务，并为建立的数据流任务运行相应的任务组件；

基于SOLR建立任务组件间进行数据流传输的数据流接口后，根据平台业务进行数据流任务的处理。

与相关技术相比，本申请技术方案包括：通过NIFI建立数据流任务，并为建立的数据流任务运行相应的任务组件；基于SOLR建立任务组件间进行数据流传输的数据流接口后，根据平台业务进行数据流任务的处理。本发明实施例降低了平台各个业务模块之间的耦合度，提升了数据处理效率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例数据处理的方法的流程图；

图2为本发明一可选实施例的方法流程图；

图3为本发明实施例数据处理的装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1为本发明实施例数据处理的方法的流程图，如图1所示，包括：

步骤101、通过NIFI建立数据流任务，并为建立的数据流任务运行相应的任务组件；

需要说明的是，本发明实施例采用NIFI(Niagarafiles)框架，NIFI是Apache下开源的数据流处理框架，通过NIFI框架为本发明实施例实施提供了可视化配置模板，可热拔插等优势，它具有流程模板、队列数据跟踪、集群扩展的特性，适用于具有高规模数据量深度学习平台任务。

可选的，本发明实施例数据流任务包括以下一种或一种以上任务：

实时任务、定时任务、触发任务。

需要说明的是，本发明实施例支持多任务的实施，实时任务、定时任务、触发任务仅是本发明的可选实施例。

步骤102、基于SOLR建立任务组件间进行数据流传输的数据流接口后，根据平台业务进行数据流任务的处理。

需要说明的是，SOLR是基于Apache Lucene构建的已有的高效、开源的企业搜索平台。本发明实施例采用的数据流接口，与相关技术中编写的接口，提供了较为完整的搜索引擎功能，可以为业务平台提供完整的集群方案和索引优化方案；SOLR可以单独部署，若系统只要发送请求和接收响应，则通过本发明实施例设置的上述数据流接口可以降低业务系统的负载，可以对数据流较多的接口提供高效稳定的管理。

可选的，本发明实施例数据接口包括：分布式SOLR搜索引擎接口；分布式SOLR搜索引擎接口可以提供稳定高效的数据输出，并保证数据安全。

本发明实施例基于NIFI整合各种数据流的数据格式，结合SOLR创建的数据流接口，实现了业务数据的高效处理。

可选的，本发明实施例根据平台业务对数据流任务进行数据流处理包括：

所述数据流任务包括所述实时任务时，选择NIFI实时任务组件，并配置实时任务组件的相关参数，通过完成相关参数配置的NIFI实时任务组件进行实时任务的数据流处理；

所述数据流任务包括所述定时任务时，选择NIFI定时任务组件，根据选择的NIFI定时任务组件进行定时任务的数据读取。

需要说明的是，NIFI实时任务组件是基于NIFI内部提供的组件，根据本发明实施例需求进行参数配置而建立的组件，组件的工程文件包格式(.nar)。启动服务就能在NIFI页面组件中心找到并使用控件。NIFI定时任务组件是基于NIFI内部提供的组件，根据本发明实施例需求进行参数配置而建立的组件，组件的工程文件包格式(.nar)。启动服务就能在NIFI页面组件中心找到并使用控件。

本发明实施例定时读取数据，可以包括按照预设周期进行数据读取；其中，预设周期包括：小时、天、周、月等设定的周期。

可选的，根据平台业务进行数据流任务的处理之前，本发明实施例方法还包括：

按照预设的封装策略，通过NIFI设置数据流任务涉及的各种类数据流的封装格式；

其中，所述封装格式包括：JS对象简谱JSON、可扩展标记语言XML或预设的封装格式。

需要说明的是，本发明实施例可以根据设置的数据流的封装格式，确定数据流通过创建的哪个数据流接口传输。

可选的，根据平台业务进行数据流任务的处理后，本发明实施例方法还包括：

对数据流任务处理后的处理数据，通过SOLR按照预设文件格式进行整理并缓存。

可选的，对所述处理数据按照预设文件格式进行整理并缓存时，本发明实施例方法还包括：

生成对应于所述处理数据的日志文件。

本发明实施例，业务产生的数据流资源，SOLR以文件的方式存储在底层数据文件中；本发明实施例可以查看日志文件，并清理相关数据信息，达到缓冲目的，并进行资源的恢复，具有较高的稳定性。

本发明实施例数据处理方法，通过任务平台创建相应任务策略，结合数据流，提供一种解决模块之间数据流传输的一种方法，提升了数据处理及传输的稳定性和安全性，实现任务平台的数据流存储处理。

本发明实施例方法包括：创建数据流任务、提供数据流接口和数据流存储三个部分，作为本发明可选实施例，包括：

创建数据量任务时，在NIFI中创建相应的运行组件，并进行参数设置、对NIFI组件产生数据流的格式进行设定；本发明实施例对组件输出的数据流进行判断，数据流正常时，正常输出到下一组件，由下一组件进行数据流的处理和操作；

NIFI可以进行按照业务需求输出相应格式的数据流，但不提供相应的接口，本发明实施例通过SOLR(SOLR是一种提供类似广域网服务器(web service)接口的搜索引擎服务器)，提供进行数据流传输的接口；SOLR具备高效搜索引擎功能，同时支持分布式部署；

对于数据流的存储，本发明实施例借助SOLR进行数据文件的存储，SOLR可以进行数据文件管理并生成数据文件操作所对应的日志文件，本发明实施例可以通过SOLOR进行数据流任务的删除，本发明实施例通过支撑不同的平台的业务需求，具备高效的数据流储存处理能力。

本发明实施例提供的数据处理方法，能够保证平台内各个模块之间的松耦合，并保证实时传输的数据量，高效的实现数据流的存储，有效支撑平台数据流业务。

图2为本发明一可选实施例的方法流程图，如图2所示，包括：

步骤201、NIFI创建实时数据流任务和定时数据流任务

步骤202、SOLR建立数据流接口

步骤203、进行实时数据流任务和定时数据流任务的处理时，通过数据流接口进行数据传输

步骤204、SOLR按照预设的文件格式存储数据流处理结果

步骤205、根据存储的数据流处理结果，生成日志文件，并根据生成的日志文件，对存储的文件进行删除管理

与相关技术相比，本申请技术方案包括：通过NIFI建立数据流任务，并为建立的数据流任务运行相应的任务组件；基于SOLR建立任务组件间进行数据流传输的数据流接口后，根据平台业务进行数据流任务的处理。本发明实施例降低了平台各个业务模块之间的耦合度，提升了数据处理效率。

图3为本发明实施例数据处理的装置的结构框图，如图3所示，包括：建立单元和处理单元；其中，

建立单元用于：通过NIFI建立数据流任务，并为建立的数据流任务运行相应的任务组件；

需要说明的是，本发明实施例采用NIFI框架，NIFI是Apache下开源的数据流处理框架，通过NIFI框架为本发明实施例实施提供了可视化配置模板，可热拔插等优势，它具有流程模板、队列数据跟踪、集群扩展的特性，适用于具有高规模数据量深度学习平台任务。

处理单元用于：基于SOLR建立任务组件间进行数据流传输的数据流接口后，根据平台业务进行数据流任务的处理。

本发明实施例采用的数据流接口，与相关技术中编写的接口，提供了较为完整的搜索引擎功能，可以为业务平台提供完整的集群方案和索引优化方案；SOLR可以单独部署，若系统只要发送请求和接收响应，则通过本发明实施例设置的上述数据流接口可以降低业务系统的负载，可以对数据流较多的接口提供高效稳定的管理。

可选的，本发明实施例数据接口包括：分布式SOLR搜索引擎接口；分布式SOLR搜索引擎接口可以提供稳定高效的数据输出，并保证数据安全。

本发明实施例基于NIFI整合各种数据流的数据格式，结合SOLR创建的数据流接口，实现了业务数据的高效处理。

可选的，本发明实施例数据流任务包括以下一种或一种以上任务：

实时任务、定时任务、触发任务。

需要说明的是，本发明实施例支持多任务的实施，实时任务、定时任务、触发任务仅是本发明的可选实施例。

可选的，本发明实施例处理单元用于根据平台业务对数据流任务进行数据流处理包括：

所述数据流任务包括所述实时任务时，选择NIFI实时任务组件，并配置实时任务组件的相关参数，通过完成相关参数配置的NIFI实时任务组件进行实时任务的数据流处理；

所述数据流任务包括所述定时任务时，选择NIFI定时任务组件，根据选择的NIFI定时任务组件进行定时任务的数据读取。

需要说明的是，本发明实施例定时读取数据，可以包括按照预设周期进行数据读取；其中，预设周期包括：小时、天、周、月等设定的周期。

可选的，本发明实施例装置还包括封装单元，用于：

按照预设的封装策略，通过NIFI设置数据流任务涉及的各种类数据流的封装格式；

其中，所述封装格式包括：JS对象简谱JSON、可扩展标记语言XML或预设的封装格式。

需要说明的是，本发明实施例可以根据设置的数据流的封装格式，确定数据流通过创建的哪个数据流接口传输。

可选的，本发明实施例装置还包括缓存单元，用于：

对数据流任务处理后的处理数据，通过SOLR按照预设文件格式进行整理并缓存。

可选的，本发明实施例装置还包括日志单元，用于：生成对应于所述处理数据的日志文件。

本发明实施例，业务产生的数据流资源，SOLR以文件的方式存储在底层数据文件中；本发明实施例可以查看日志文件，并清理相关数据信息，达到缓冲目的，并进行资源的恢复，具有较高的稳定性。

与相关技术相比，本申请技术方案包括：通过NIFI建立数据流任务，并为建立的数据流任务运行相应的任务组件；基于SOLR建立任务组件间进行数据流传输的数据流接口后，根据平台业务进行数据流任务的处理。本发明实施例降低了平台各个业务模块之间的耦合度，提升了数据处理效率。

本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行上述数据处理的方法。

本发明实施例还提供一种终端，包括：存储器和处理器；其中，

处理器被配置为执行存储器中的程序指令；

程序指令在处理器读取执行以下操作：

通过NIFI建立数据流任务，并为建立的数据流任务运行相应的任务组件；

基于SOLR建立任务组件间进行数据流传输的数据流接口后，根据平台业务进行数据流任务的处理。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器)完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的每个模块/单元可以采用硬件的形式实现，例如通过集成电路来实现其相应功能，也可以采用软件功能模块的形式实现，例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明不限制于任何特定形式的硬件和软件的结合。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (14)

1.一种数据处理的方法，其特征在于，包括：

通过NIFI建立数据流任务，并为建立的数据流任务运行相应的任务组件；

基于SOLR建立任务组件间进行数据流传输的数据流接口后，根据平台业务进行数据流任务的处理。

2.根据权利要求1所述的方法，其特征在于，所述数据流任务包括以下一种或一种以上任务：

实时任务、定时任务、触发任务。

3.根据权利要求2所述的方法，其特征在于，所述根据平台业务对数据流任务进行数据流处理包括：

所述数据流任务包括所述实时任务时，选择NIFI实时任务组件，并配置实时任务组件的相关参数，通过完成相关参数配置的NIFI实时任务组件进行实时任务的数据流处理；

所述数据流任务包括所述定时任务时，选择NIFI定时任务组件，根据选择的NIFI定时任务组件进行定时任务的数据读取。

4.根据权利要求1～3任一项所述的方法，其特征在于，所述根据平台业务进行数据流任务的处理之前，所述方法还包括：

按照预设的封装策略，通过NIFI设置数据流任务涉及的各种类数据流的封装格式；

其中，所述封装格式包括：JS对象简谱JSON、可扩展标记语言XML或预设的封装格式。

5.根据权利要求1～3任一项所述的方法，其特征在于，所述根据平台业务进行数据流任务的处理后，所述方法还包括：

对数据流任务处理后的处理数据，通过SOLR按照预设文件格式进行整理并缓存。

6.根据权利要求5所述的方法，其特征在于，对所述处理数据按照预设文件格式进行整理并缓存时，所述方法还包括：

生成对应于所述处理数据的日志文件。

7.一种数据处理的装置，其特征在于，包括：建立单元和处理单元；其中，

建立单元用于：通过NIFI建立数据流任务，并为建立的数据流任务运行相应的任务组件；

处理单元用于：基于SOLR建立任务组件间进行数据流传输的数据流接口后，根据平台业务进行数据流任务的处理。

8.根据权利要求7所述的装置，其特征在于，所述数据流任务包括以下一种或一种以上任务：

实时任务、定时任务、触发任务。

9.根据权利要求8所述的装置，其特征在于，所述处理单元用于根据平台业务对数据流任务进行数据流处理包括：

所述数据流任务包括所述实时任务时，选择NIFI实时任务组件，并配置实时任务组件的相关参数，通过完成相关参数配置的NIFI实时任务组件进行实时任务的数据流处理；

所述数据流任务包括所述定时任务时，选择NIFI定时任务组件，根据选择的NIFI定时任务组件进行定时任务的数据读取。

10.根据权利要求7～9任一项所述的装置，其特征在于，所述装置还包括封装单元，用于：

按照预设的封装策略，通过NIFI设置数据流任务涉及的各种类数据流的封装格式；

其中，所述封装格式包括：JS对象简谱JSON、可扩展标记语言XML或预设的封装格式。

11.根据权利要求7～9任一项所述的装置，其特征在于，所述装置还包括缓存单元，用于：

对数据流任务处理后的处理数据，通过SOLR按照预设文件格式进行整理并缓存。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括日志单元，用于：生成对应于所述处理数据的日志文件。

13.一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1～6中任一项所述的数据处理的方法。

14.一种终端，包括：存储器和处理器；其中，

处理器被配置为执行存储器中的程序指令；

程序指令在处理器读取执行以下操作：

通过NIFI建立数据流任务，并为建立的数据流任务运行相应的任务组件；

基于SOLR建立任务组件间进行数据流传输的数据流接口后，根据平台业务进行数据流任务的处理。