CN112131262A - 流式数据的处理系统和处理方法 - Google Patents

Abstract

本发明提供一种流式数据的处理系统和处理方法，所述系统包括：函数封装模块，用于对输入端的多个不同类型的数据源进行单独的函数封装；数据采集模块，用于实时采集新增数据；数据处理模块，用于对新增数据进行处理；数据存储模块，用于通过函数封装模块对输出端处理后的新增数据进行单独的函数封装，并进行存储。本发明的处理系统，采用了数据传输处理以及存储的解耦式结构，解决了传统实时处理流式数据的开发难，难部署，不易管理的问题，快速提高流式业务数据的能力。

Description

流式数据的处理系统和处理方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种流式数据的处理系统、一种流式数据的处理方法、一种计算机设备和一种非临时性计算机可读存储介质。

背景技术

目前的流式数据计算框架，在开发数据处理平台时，对开发人员的门槛较高，且计算框架比较复杂，因此存在开发难，难部署，不易管理的问题。

发明内容

本发明为解决上述技术问题，提供了一种流式数据的处理系统，采用了数据传输处理以及存储的解耦式结构，解决了传统实时处理流式数据的开发难，难部署，不易管理的问题，快速提高流式业务数据的能力。

本发明采用的技术方案如下：

一种流式数据的处理系统，包括：函数封装模块，用于对输入端的多个不同类型的数据源进行单独的函数封装；数据采集模块，用于实时采集新增数据；数据处理模块，用于对所述新增数据进行处理；数据存储模块，用于通过所述函数封装模块对输出端处理后的新增数据进行单独的函数封装，并进行存储。

根据本发明的一个实施例，所述函数封装模块还用于，将进行单独的函数封装的封装方法集成SOURCE框架中。

根据本发明的一个实施例，所述数据处理模块，具体用于，获取所述新增数据的数据类型；根据所述新增数据的数据类型获取所述SOURCE框架中对应类型的封装方法，以读取所述新增数据，作为输入数据；对所述输入数据进行预处理，并存储于缓存模块中。

根据本发明的一个实施例，所述数据存储模块，具体用于，将进行单独的函数封装的封装方法集成SINK框架中；将所述缓存模块中的输入数据获取所述SINK框架中对应类型的封装方法；根据所述封装方法对所述输入数据进行存储。

本发明还提出了一种流式数据的处理方法，包括以下步骤：对输入端的多个不同类型的数据源进行单独的函数封装；实时采集新增数据；对所述新增数据进行处理；对输出端处理后的新增数据进行单独的函数封装，并进行存储。

根据本发明的一个实施例，对输入端的多个不同类型的数据源进行单独的函数封装，包括：将进行单独的函数封装的封装方法集成SOURCE框架中。

根据本发明的一个实施例，对所述新增数据进行处理，包括：获取所述新增数据的数据类型；根据所述新增数据的数据类型获取所述SOURCE框架中对应类型的封装方法，以读取所述新增数据，作为输入数据；对所述输入数据进行预处理，并存储于缓存模块中。

根据本发明的一个实施例，对输出端处理后的新增数据进行单独的函数封装，并进行存储，包括：将进行单独的函数封装的封装方法集成SINK框架中；将所述缓存模块中的输入数据获取所述SINK框架中对应类型的封装方法；根据所述封装方法对所述输入数据进行存储。

本发明还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述的流式数据的处理方法。

本发明还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的流式数据的处理方法。

本发明的有益效果：

本发明采用了数据传输处理以及存储的解耦式结构，解决了传统实时处理流式数据的开发难，难部署，不易管理的问题，快速提高流式业务数据的能力。

附图说明

图1为本发明实施例的流式数据的处理系统的方框示意图；

图2为本发明一个实施例的流式数据的处理系统示意图；

图3为本发明实施例流式数据的处理方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例的流式数据的处理系统的方框示意图。

如图1所示，本发明实施例的流式数据的处理系统可包括：函数封装模块10、数据采集模块20、数据处理模块30和数据存储模块40。

其中，函数封装模块10用于对输入端的多个不同类型的数据源进行单独的函数封装。数据采集模块20用于实时采集新增数据。数据处理模块30用于对新增数据进行处理。数据存储模块40用于通过函数封装模块对输出端处理后的新增数据进行单独的函数封装，并进行存储。

具体而言，通过将多个不同类型的数据源(例如，常见的数据源可以为MQ，KAFKA，REDIS)单独的封装起来，这样在需要对数据源进行更改时，只需要对对应的数据源进行更改即可，不需要调用全部的数据源，例如，需要在MQ中增加数据，那么只需要对封装有MQ的数据源进行更改即可，解决了传统的不易管理，且更改复杂的问题。

在本发明的一个实施例中，函数封装模块10还用于将进行单独的函数封装的封装方法集成SOURCE框架中，也即完成数据的采集与封装，并集成在SOURCE框架中，其中，需要说明的是，封装方法是根据数据源的类型不同确定的，例如，封装方法可包括数据格式的规整、清洗，数据统计、求和等。

数据处理模块30对新增数据进行处理，包括：获取新增数据的数据类型；根据新增数据的数据类型获取SOURCE框架中对应类型的封装方法，以读取新增数据，作为输入数据；对输入数据进行预处理，并存储于缓存模块中。

具体而言，如图2所示，数据采集模块20用于实时采集新增数据，数据处理模块30获取新增数据的数据类型，并在SOURCE框架中获取该数据类型对应的封装方法，将该新增数据作为数据输入，利用该封装方法对新增数据进行预处理，然后封装到该新增数据对应的缓存模块中。举例而言，当新增数据的数据类型为REDIS时，其对应的封装方法为数据统计并求和，那么调取SOURCE框架存储的REDIS对应的封装方法，读取新增数据。

需要说明的是，预处理包括对新增数据的清洗过滤转换计算等操作。例如，新增数据为“hello”，对该数据进行处理，假设封装数据中的预设数据为“hello”，在对新增数据进行预处理时，需要判断该新增数据是否出现字节缺失等，如果缺陷字节确实，则该新增数据不会输入到SOURCE框架中的存储模块。

数据存储模块40用于通过函数封装模块10对输出端处理后的新增数据进行单独的函数封装，并进行存储。在本发明的一个实施例中，将进行单独的函数封装的封装方法集成SINK框架中；将缓存模块中的输入数据获取SINK框架中对应类型的封装方法；根据封装方法对输入数据进行存储。

其中，函数封装模块10还对输出端的数据源进行单独的函数封装，并将单独的函数封装的封装方法集成在SINK框架中，由于处理后的新增数据存储在缓存模块中，因此，数据存储模块40还读取缓存模块中的输入数据，并获取SINK框架中对应的封装方法，根据封装方法对新增数据进行存储。

需要说明的是，如果数据源不是常用类型的数据(比较少见)，则再单独利用python语言进行核心代码的编写，并进行封装，不会影响到其他已经封装的数据源。

综上所述，本发明的流式数据处理系统，预先使用python语言的简洁的特性进行核心代码的编写，构建出可便于开发，将不同的数据源进行单独的函数封装，即采用解耦式结构的存储方式，解决了传统实时处理流式数据的开发难，部署难，不易管理的问题，达到了快速解决流式业务数据的能力。

对应上述实施例的流式数据的处理系统，本发明还提出一种流式数据的处理方法。

图3为本发明实施例的流式数据的处理方法的流程图。

如图3所示，本发明实施例的流式数据的处理方法可包括以下步骤：

S1，对输入端的多个不同类型的数据源进行单独的函数封装。

S2，实时采集新增数据。

S3，对新增数据进行处理。

S4，对输出端处理后的新增数据进行单独的函数封装，并进行存储。

根据本发明的一个实施例，对输入端的多个不同类型的数据源进行单独的函数封装，包括：将进行单独的函数封装的封装方法集成SOURCE框架中。

根据本发明的一个实施例，对新增数据进行处理，包括：获取新增数据的数据类型；根据新增数据的数据类型获取SOURCE框架中对应类型的封装方法，以读取新增数据，作为输入数据；对输入数据进行预处理，并存储于缓存模块中。

根据本发明的一个实施例，对输出端处理后的新增数据进行单独的函数封装，并进行存储，包括：将进行单独的函数封装的封装方法集成SINK框架中；将缓存模块中的输入数据获取SINK框架中对应类型的封装方法；根据封装方法对输入数据进行存储。

需要说明的是，本发明实施例的流式数据的处理方法中未披露的细节，请参照本发明实施例的流式数据的处理系统中所披露的细节，具体这里不再赘述。

综上本发明的流式数据的处理方法，对输入端的多个不同类型的数据源进行单独的函数封装，并实时采集新增数据，并对新增数据进行处理，以及对输出端处理后的新增数据进行单独的函数封装，并进行存储。由此，解决了传统实时处理流式数据的开发难，难部署，不易管理的问题，快速提高流式业务数据的能力。

对应上述实施例，本发明还提出一种计算机设备。

本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时，可实现根据本发明上述实施例所述的流式数据的处理方法。

根据本发明实施例的计算机设备，处理器执行存储在存储器上的计算机程序时，首先对输入端的多个不同类型的数据源进行单独的函数封装，并实时采集新增数据，并对新增数据进行处理，以及对输出端处理后的新增数据进行单独的函数封装，并进行存储。由此，解决了传统实时处理流式数据的开发难，难部署，不易管理的问题，快速提高流式业务数据的能力。

对应上述实施例，本发明还提出一种非临时性计算机可读存储介质。

本发明实施例的非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现根据本发明上述实施例所述的流式数据的处理方法。

根据本发明实施例的非临时性计算机可读存储介质，处理器执行存储在其上的计算机程序时，首先对输入端的多个不同类型的数据源进行单独的函数封装，并实时采集新增数据，并对新增数据进行处理，以及对输出端处理后的新增数据进行单独的函数封装，并进行存储。由此，解决了传统实时处理流式数据的开发难，难部署，不易管理的问题，快速提高流式业务数据的能力。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种流式数据的处理系统，其特征在于，包括：

函数封装模块，用于对输入端的多个不同类型的数据源进行单独的函数封装；

数据采集模块，用于实时采集新增数据；

数据处理模块，用于对所述新增数据进行处理；

数据存储模块，用于通过所述函数封装模块对输出端处理后的新增数据进行单独的函数封装，并进行存储。

2.根据权利要求1所述的流式数据的处理系统，其特征在于，所述函数封装模块还用于，

将进行单独的函数封装的封装方法集成SOURCE框架中。

3.根据权利要求2所述的流式数据的处理系统，其特征在于，所述数据处理模块，具体用于，

获取所述新增数据的数据类型；

根据所述新增数据的数据类型获取所述SOURCE框架中对应类型的封装方法，以读取所述新增数据，作为输入数据；

对所述输入数据进行预处理，并存储于缓存模块中。

4.根据权利要求3所述的流式数据的处理系统，其特征在于，所述数据存储模块，具体用于，

将进行单独的函数封装的封装方法集成SINK框架中；

将所述缓存模块中的输入数据获取所述SINK框架中对应类型的封装方法；

根据所述封装方法对所述输入数据进行存储。

5.一种流式数据的处理方法，其特征在于，包括以下步骤：

对输入端的多个不同类型的数据源进行单独的函数封装；

实时采集新增数据；

对所述新增数据进行处理；

对输出端处理后的新增数据进行单独的函数封装，并进行存储。

6.根据权利要求5所述的流式数据的处理方法，其特征在于，对输入端的多个不同类型的数据源进行单独的函数封装，包括：

将进行单独的函数封装的封装方法集成SOURCE框架中。

7.根据权利要求6所述的流式数据的处理方法，其特征在于，对所述新增数据进行处理，包括：

获取所述新增数据的数据类型；

根据所述新增数据的数据类型获取所述SOURCE框架中对应类型的封装方法，以读取所述新增数据，作为输入数据；

对所述输入数据进行预处理，并存储于缓存模块中。

8.根据权利要求7所述的流式数据的处理方法，其特征在于，对输出端处理后的新增数据进行单独的函数封装，并进行存储，包括：

将进行单独的函数封装的封装方法集成SINK框架中；

将所述缓存模块中的输入数据获取所述SINK框架中对应类型的封装方法；

根据所述封装方法对所述输入数据进行存储。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现根据权利要求5-8中任一项所述的流式数据的处理方法。

10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据权利要求5-8中任一项所述的流式数据的处理方法。

Images