CN111414386B - 一种基于分布式架构对流数据进行查询的方法和设备 - Google Patents

Abstract

本发明公开了一种基于分布式架构对流数据进行查询的方法和设备，应用于包括多个分布式并行连接的内存数据库的内存系统中，该方法包括：接收用户发出的数据查询请求；根据所述数据查询请求从流数据的流处理进程中的事件窗口中确定多个所述流数据的数据分流，所述流处理进程具体为流适配进程和流连接进程，所述事件窗口为所述流连接进程中对所述数据分流进行接收与累积的窗口；基于对所述数据分流的合并确定查询结果；向所述用户返回所述查询结果，从而在面对数据量较大的流数据时，提高了流数据查询的响应速度。

Description

一种基于分布式架构对流数据进行查询的方法和设备

技术领域

本申请涉及实时流数据处理领域，更具体地，涉及一种基于分布式架构对流数据进行查询的方法和设备。

背景技术

流数据是一组顺序、大量、快速、连续到达的数据序列，一般情况下，数据流可被视为一个随时间延续而无限增长的动态数据集合，应用于网络监控、传感器网络、航空航天、气象测控和金融服务等领域。

现有技术中在对流数据进行查询时，一般采用单机对接收的流数据进行处理，在接收一个流数据事件后，通过同一条命名管道将流数据传输到内存，按照流数据到达的先后顺序完成处理，处理后的结果也是一个完整的结果。当用户发出查询请求时，系统就会将处理结果直接反馈给用户。

但现有技术中的这种处理方式存在以下问题，其只适用于处理流数据的数据量较小的流数据，在数据传输和可处理的范围之内，数据传输和处理的速度都是比较快。当数据量较大时，超出了系统数据传输和数据处理的性能，将出现数据传输缓慢、堵塞、处理延迟大幅增加等问题，从而严重降低数据流处理性能和响应速度。

因此，如何对数据量较大的流数据进行快速准确地查询，提高流数据查询的响应速度是本领域亟待解决的技术问题。

发明内容

本发明提供一种基于分布式架构对流数据进行查询的方法和设备，用以解决现有技术中对数据量大的流数据查询的响应速度过低的技术问题，该方法包括：

接收用户发出的数据查询请求；

根据所述数据查询请求从流数据的流处理进程中的事件窗口中确定多个所述流数据的数据分流，所述流处理进程具体为流适配进程和流连接进程，所述事件窗口为所述流连接进程中对所述数据分流进行接收与累积的窗口；

基于对所述数据分流的合并确定查询结果；

向所述用户返回所述查询结果。

优选的，在接收所述用户发出的数据查询请求之前，还包括：

根据接收到的流数据事件建立所述流适配进程和所述流连接进程，所述流数据事件是在所述流数据进入所述内存系统时触发的；

基于所述流适配进程将数据量超过预设阈值的流数据分成多个数据分流，并将所述数据分流按预设格式存入预设命名管道，所述命名管道与所述数据分流一一对应；

基于所述流连接进程中的事件窗口对所述命名管道中的数据分流进行接收与累积，所述事件窗口是与所述流连接进程同步建立的。

优选的，所述数据量超过预设阈值的流数据的数量为一个或多个，基于所述流适配进程将数据量超过预设阈值的流数据分成多个数据分流，具体为：当所述数量为一个时，基于所述流适配进程将所述数据量超过预设阈值的流数据分成多个数据分流；

当所述数量为多个时，在各所述流数据上添加不同的标记，基于所述标记在所述流适配进程中将所述数据量超过预设阈值的流数据分成多个数据分流，同一流数据对应的各数据分流上的标记相同。

优选的，基于对所数据分流的合并确定查询结果，具体为：

当所述数量为一个时，根据所述数据查询请求将所述事件窗口中对应的数据分流合并后确定所述查询结果；

当所述数量为多个时，根据所述查询请求将所述事件窗口中对应的数据分流按所述标记合并后确定所述查询结果。

优选的，所述预设格式为逗号分隔值CSV格式，所述命名管道为Linux命名管道，在向所述用户返回查询结果之后，还包括：

将所述查询结果中的数据进行删除或存储；

当不存在进入所述系统的流数据时，关闭所述事件窗口。

相应的，本发明还提出了一种基于分布式并行架构对流数据进行查询的设备，应用于包括多个分布式并行连接的内存数据库的内存系统中，所述设备包括：

接收模块，用于接收用户发出的数据查询请求；

第一确定模块，用于根据所述数据查询请求从流数据的流处理进程中的事件窗口中确定多个所述流数据的数据分流，所述流处理进程具体为流适配进程和流连接进程，所述事件窗口为所述流连接进程中对所述数据分流进行接收与累积的窗口；

第二确定模块，用于基于对所述数据分流的合并确定查询结果；

返回模块，用于向所述用户返回所述查询结果。

优选的，还包括：

建立模块，用于根据接收到的流数据事件建立所述流适配进程和所述流连接进程，所述流数据事件是在所述流数据进入所述内存系统时触发的；

分流模块，用于基于所述流适配进程将数据量超过预设阈值的流数据分成多个数据分流，并将所述数据分流按预设格式存入预设命名管道，所述命名管道与所述数据分流一一对应；

累积模块，用于基于所述流连接进程中的事件窗口对所述命名管道中的数据分流进行接收与累积，所述事件窗口是与所述流连接进程同步建立的。

优选的，所述分流模块，具体用于：

当所述数量为一个时，基于所述流适配进程将所述数据量超过预设阈值的流数据分成多个数据分流；

当所述数量为多个时，在各所述流数据上添加不同的标记，基于所述标记在所述流适配进程中将所述数据量超过预设阈值的流数据分成多个数据分流，同一流数据对应的各数据分流上的标记相同。

优选的，所述第二确定模块，具体用于：

当所述数量为一个时，根据所述数据查询请求将所述事件窗口中对应的数据分流合并后确定所述查询结果；

当所述数量为多个时，根据所述查询请求将所述事件窗口中对应的数据分流按所述标记合并后确定所述查询结果。

优选的，所述预设格式为逗号分隔值CSV格式，所述命名管道为Linux命名管道，还包括：

删除存储模块，用于将所述查询结果中的数据进行删除或存储；

关闭模块，用于当不存在进入所述系统的流数据时，关闭所述事件窗口。

本发明公开了一种基于分布式架构对流数据进行查询的方法和设备，应用于包括多个分布式并行连接的内存数据库的内存系统中，该方法包括：接收用户发出的数据查询请求；根据所述数据查询请求从流数据的流处理进程中的事件窗口中确定多个所述流数据的数据分流，所述流处理进程具体为流适配进程和流连接进程，所述事件窗口为所述流连接进程中对所述数据分流进行接收与累积的窗口；基于对所述数据分流的合并确定查询结果；向所述用户返回所述查询结果，从而在面对数据量较大的流数据时，提高了流数据查询的响应速度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例提出的一种基于分布式并行架构对流数据进行查询的方法的流程示意图；

图2示出了本发明另一实施例提出的一种基于分布式并行架构对流数据进行查询的方法的流程示意图；

图3示出了本发明实施例提出的一种基于分布式并行架构对流数据进行查询的设备的结构示意图；

图4示出了本发明实施例中单机流处理与数据流分流并行处理不同处理模式的示意图；

图5示出了本发明实施例中单个数据流分流并行处理的体系架构示意图；

图6示出了本发明实施例中多个数据流分流并行处理的体系架构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着物联网的快速发展，以及传感器、移动终端和其它设备的可用性日益增加，导致流数据的生成速度、数据量和种类激增，对流数据处理的时效性要求也迅速增加，如图4左侧所示，现有技术中在对流数据进行查询时，一般采用单机对接收的流数据进行处理，在接收一个流数据事件后，通过同一条命名管道将流数据传输到内存，按照流数据到达的先后顺序完成处理，处理后的结果也是一个完整的结果。当用户发出查询请求时，系统就会将处理结果直接反馈给用户。

但现有技术中的这种处理方式存在以下问题，其只适用于处理流数据的数据量较小的流数据，在数据传输和可处理的范围之内，数据传输和处理的速度都是比较快。当数据量较大时，超出了系统数据传输和数据处理的性能，将出现数据传输缓慢、堵塞、处理延迟大幅增加等问题，从而严重降低数据流处理性能和响应速度。

因此，如何对数据量较大的流数据进行快速准确地查询，提高流数据查询的响应速度是本领域亟待解决的技术问题。

因此，发明人提出了申请中的可以上述问题的一种基于分布式架构对流数据进行查询的方法和设备。

如图4右侧所示，在本申请方案中，可以将大规模的流数据进行分流处理，将所述流数据分成若干个数据分流，使系统对所述数据分流进行并行处理，当所述数据分流处理完成后，将所述数据分流重新合并为一个流数据，通过上述方法，提高了流数据查询的响应速度。

下面将结合附图具体描述本申请的实施例。

请参阅图1，本申请实施例提供一种基于分布式架构对流数据进行查询的方法，应用于包括多个分布式并行连接的内存数据库的内存系统中，所述方法包括：

步骤S101：接收用户发出的数据查询请求。

需要说明的是，所述内存系统接收到用户发出的数据查询请求，用户可以通过手机、个人电脑等设备发起数据查询请求，用户所采用的数据查询请求的方式不同，并不会影响本申请的保护范围。

步骤S102：根据所述数据查询请求从流数据的流处理进程中的事件窗口中确定多个所述流数据的数据分流，所述流处理进程具体为流适配进程和流连接进程，所述事件窗口为所述流连接进程中对所述数据分流进行接收与累积的窗口。

所述数据查询请求被所述事件窗口接收，所述事件窗口会对所述数据查询请求中包含的信息进行判断，获取所述流数据的大小，依据所述流数据的大小，事件窗口会对所述流数据进行对应的数据分流。

需要说明的是，数据流连接器分别部署在集群的多个计算节点上，并使用基于事件窗口来处理流数据，所述时间窗口是在配置流数据连接器时同步进行的，而且每个流数据连接器所使用的事件窗口是一致的。基于事件窗口，每个数据分流的数据在各个流数据连接器上进行累积，所累积的数据将被用来完成流数据的访问查询。

步骤S103：基于对所述数据分流的合并确定查询结果。

具体的，所述内存系统会自动将所述多个数据分流进行合并，使多个所述数据分流中的查询结果进行合并，获取最终的查询结果。

步骤S104：向所述用户返回所述查询结果。

将上述得到的最终的查询结果返回给用户。

本发明公开了一种基于分布式架构对流数据进行查询的方法，应用于包括多个分布式并行连接的内存数据库的内存系统中，该方法包括：接收用户发出的数据查询请求；根据所述数据查询请求从流数据的流处理进程中的事件窗口中确定多个所述流数据的数据分流，所述流处理进程具体为流适配进程和流连接进程，所述事件窗口为所述流连接进程中对所述数据分流进行接收与累积的窗口；基于对所述数据分流的合并确定查询结果；向所述用户返回所述查询结果，从而在面对数据量较大的流数据时，提高了流数据查询的响应速度。

请参阅图2，本申请另一实施例提供的一种基于分布式并行架构对流数据进行查询的方法，应用于包括多个分布式并行连接的计算节点的内存系统中，所述方法包括：

步骤S201：根据接收到的流数据事件建立流处理进程，所述流处理进程具体为流适配进程和流连接进程，所述流数据事件是在所述流数据进入所述内存系统时触发的。

所述流数据进入到所述内存系统后，会被所述内存系统感知，并触发所述流数据事件，根据所述接收到的流数据事件，得到所述流数据事件中的流数据的大小，并根据所述流数据大小建立相应的所述流适配进程与所述流连接进程，需要说明的是，所述流适配进程中包含有流数据适配器，所述流连接进程包含有流数据连接器。

步骤S202：判断流数据的数量是否为单个，若是，执行步骤S203，若否执行步骤S204。

步骤S203，基于所述流适配进程将数据量超过预设阈值的流数据分成多个数据分流，并将所述数据分流按预设格式存入预设命名管道，所述命名管道与所述数据分流一一对应。

如图5所示，当所述流数据为一个时，在流适配过程中，将所述数据量超过预设阈值的流数据划分为多个数据分流，并将所述数据分流通过预设命名管道传送到所述流连接进程。

在所述流适配进程中，所述流数据适配器会实时的判断所述流数据数据量的大小，当所述流数据数据量的大于预设的阈值时，所述流数据适配器会将所述流数据进行分流，拆分为多个数据分流，并将所述数据分流按预设的格式存入所述预设命名管道中，需要说明的是，所述预设格式为CSV格式，所述命名管道为Linux命名管道，在流数据适配器在对流数据完成分流的同时，同步将流数据由原始格式转换成多个CSV格式的数据分流，所述CSV格式的通用性很强，可以支持将数据库数据导出到不同的路径下，但是本领域技术人员可以灵活采用其他的格式作为预设格式，然后将转换后的各个所述数据分流通过预先设置好的与之对应的Linux命名管道完成数据传递，与运行在分布式集群多个计算节点上的对应流数据连接器进行连接。

步骤S204，在各所述流数据上添加不同的标记，基于所述标记在所述流适配进程中将所述数据量超过预设阈值的流数据分成多个数据分流，同一流数据对应的各数据分流上的标记相同，并将所述数据分流按预设格式存入预设命名管道，所述命名管道与所述数据分流一一对应。

如图6所示，当所述流数据为两个时，所述流数据适配器会将所述流数据进行数据分流后，并将所述数据分流分配到不同的流连接进程中，为了避免后续所述数据分流合并时出现错误，同一个流数据中的数据分流设置有相同的标记，所述数据分流携带有标记进入所述流连接进程中。

步骤S205：基于所述流连接进程中的事件窗口对所述命名管道中的数据分流进行接收与累积，所述事件窗口是与所述流连接进程同步建立的。

上述分流后的所述数据分流，通过所述命名管道传输到所述流连接进程中，并在所述流连接进程中的所述事件窗口中进行接收和累积。

步骤S206：接收用户发出的数据查询请求。

步骤S207：判断所述流数据数量是否为单个，若是，则执行步骤S208，若否，则执行步骤S209。

步骤S208：根据所述数据查询请求将所述事件窗口中对应的数据分流合并后确定所述查询结果。

如图5所示，当流数据为一个时，传输到所述流连接进程中所述事件窗口的数据分流会进行合并，根据合并后的数据确定所述查询结果。

步骤S209：根据所述查询请求将所述事件窗口中对应的数据分流按所述标记合并后确定所述查询结果。

如图6所示，当流数据为两个时，所述事件窗口中的所述数据分流会根据所述标记进行合并，相同标记的数据分流合并后确定标记对应的流数据的所述查询结果。

步骤S210：向所述用户返回所述查询结果。

步骤S211：将所述查询结果中的数据进行删除或存储。

向用户返回所述查询结果后，所述包含查询结果的数据会被删除或存储，具体删除或存储操作可根据实际情况进行选择，本领域技术人员也可以灵活选用其他的操作处理。

步骤S212：当不存在进入所述系统的流数据时，关闭所述事件窗口。

当所述流数据处理完成后，若后续没有流数据进入系统，则系统会关闭所述事件窗口，直到有流数据流入，再重新打开所述事件窗口，避免了资源的浪费。

本发明公开了一种基于分布式架构对流数据进行查询的方法，应用于包括多个分布式并行连接的内存数据库的内存系统中，包括：接收用户发出的数据查询请求；根据所述数据查询请求从流数据的流处理进程中的事件窗口中确定多个所述流数据的数据分流，所述流处理进程具体为流适配进程和流连接进程，所述事件窗口为所述流连接进程中对所述数据分流进行接收与累积的窗口；基于对所述数据分流的合并确定查询结果；向所述用户返回所述查询结果，从而在面对数据量较大的流数据时，提高了流数据查询的响应速度。

为了达到以上技术目的，本申请实施例还提出了一种基于分布式并行架构对流数据进行查询的设备，应用于包括多个分布式并行连接的计算节点的内存系统中，如图3所示，所述设备包括：

接收模块301，用于接收用户发出的数据查询请求；

第一确定模块302，用于根据所述数据查询请求从流数据的流处理进程中的事件窗口中确定多个所述流数据的数据分流，所述流处理进程具体为流适配进程和流连接进程，所述事件窗口为所述流连接进程中对所述数据分流进行接收与累积的窗口；

第二确定模块303，用于基于对所述数据分流的合并确定查询结果；

返回模块304，用于向所述用户返回所述查询结果。

在具体的应用场景中，还包括：

建立模块，用于根据接收到的流数据事件建立所述流适配进程和所述流连接进程，所述流数据事件是在所述流数据进入所述内存系统时触发的；

分流模块，用于基于所述流适配进程将数据量超过预设阈值的流数据分成多个数据分流，并将所述数据分流按预设格式存入预设命名管道，所述命名管道与所述数据分流一一对应；

累积模块，用于基于所述流连接进程中的事件窗口对所述命名管道中的数据分流进行接收与累积，所述事件窗口是与所述流连接进程同步建立的。

在具体的应用场景中，所述分流模块，具体用于:

当所述数量为一个时，基于所述流适配进程将所述数据量超过预设阈值的流数据分成多个数据分流；

当所述数量为多个时，在各所述流数据上添加不同的标记，基于所述标记在所述流适配进程中将所述数据量超过预设阈值的流数据分成多个数据分流，同一流数据对应的各数据分流上的标记相同。

在具体的应用场景中，所述第二确定模块，具体用于：

当所述数量为一个时，根据所述数据查询请求将所述事件窗口中对应的数据分流合并后确定所述查询结果；

当所述数量为多个时，根据所述查询请求将所述事件窗口中对应的数据分流按所述标记合并后确定所述查询结果。

在具体的应用场景中，所述预设格式为逗号分隔值CSV格式，所述命名管道为Linux命名管道，还包括：

删除存储模块，用于将所述查询结果中的数据进行删除或存储；

关闭模块，用于当不存在进入所述系统的流数据时，关闭所述事件窗口。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解装置中的模块可以按照实施场景描述分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于分布式架构对流数据进行查询的方法，应用于包括多个分布式并行连接的内存数据库的内存系统中，其特征在于，所述方法包括：

接收用户发出的数据查询请求；

根据所述数据查询请求从流数据的流处理进程中的事件窗口中确定多个所述流数据的数据分流，所述流处理进程具体为流适配进程和流连接进程，所述事件窗口为所述流连接进程中对所述数据分流进行接收与累积的窗口；

基于对所述数据分流的合并确定查询结果；

向所述用户返回所述查询结果；

其中，在接收所述用户发出的数据查询请求之前，还包括：

根据接收到的流数据事件建立所述流适配进程和所述流连接进程，所述流数据事件是在所述流数据进入所述内存系统时触发的；

基于所述流适配进程将数据量超过预设阈值的流数据分成多个数据分流，并将所述数据分流按预设格式存入预设命名管道，所述命名管道与所述数据分流一一对应。

2.如权利要求1所述的方法，其特征在于，基于所述流连接进程中的事件窗口对所述命名管道中的数据分流进行接收与累积，所述事件窗口是与所述流连接进程同步建立的。

3.如权利要求2所述的方法，其特征在于，所述数据量超过预设阈值的流数据的数量为一个或多个，基于所述流适配进程将数据量超过预设阈值的流数据分成多个数据分流，具体为:

当所述数量为一个时，基于所述流适配进程将所述数据量超过预设阈值的流数据分成多个数据分流；

当所述数量为多个时，在各所述流数据上添加不同的标记，基于所述标记在所述流适配进程中将所述数据量超过预设阈值的流数据分成多个数据分流，同一流数据对应的各数据分流上的标记相同。

4.如权利要求3所述的方法，其特征在于，基于对所数据分流的合并确定查询结果，具体为：

当所述数量为一个时，根据所述数据查询请求将所述事件窗口中对应的数据分流合并后确定所述查询结果；

当所述数量为多个时，根据所述查询请求将所述事件窗口中对应的数据分流按所述标记合并后确定所述查询结果。

5.如权利要求2所述的方法，其特征在于，所述预设格式为逗号分隔值CSV格式，所述命名管道为Linux命名管道，在向所述用户返回查询结果之后，还包括：

将所述查询结果中的数据进行删除或存储；

当不存在进入所述系统的流数据时，关闭所述事件窗口。

6.一种基于分布式架构对流数据进行查询的设备，应用于包括多个分布式并行连接的内存数据库的内存系统中，其特征在于，所述设备包括：

接收模块，用于接收用户发出的数据查询请求；

第一确定模块，用于根据所述数据查询请求从流数据的流处理进程中的事件窗口中确定多个所述流数据的数据分流，所述流处理进程具体为流适配进程和流连接进程，所述事件窗口为所述流连接进程中对所述数据分流进行接收与累积的窗口；

第二确定模块，用于基于对所述数据分流的合并确定查询结果；

返回模块，用于向所述用户返回所述查询结果；

其中，在接收所述用户发出的数据查询请求之前，还包括：

建立模块，用于根据接收到的流数据事件建立所述流适配进程和所述流连接进程，所述流数据事件是在所述流数据进入所述内存系统时触发的；

分流模块，用于基于所述流适配进程将数据量超过预设阈值的流数据分成多个数据分流，并将所述数据分流按预设格式存入预设命名管道，所述命名管道与所述数据分流一一对应。

7.如权利要求6所述的设备，其特征在于，还包括：

累积模块，用于基于所述流连接进程中的事件窗口对所述命名管道中的数据分流进行接收与累积，所述事件窗口是与所述流连接进程同步建立的。

8.如权利要求6所述的设备，其特征在于，所述分流模块，具体用于:

当所述数据量为一个时，基于所述流适配进程将所述数据量超过预设阈值的流数据分成多个数据分流；

当所述数据量为多个时，在各所述流数据上添加不同的标记，基于所述标记在所述流适配进程中将数据量超过预设阈值的流数据分成多个数据分流，同一流数据对应的各数据分流上的标记相同。

9.如权利要求8所述的设备，其特征在于，所述第二确定模块，具体用于：

当所述数据量为一个时，根据所述数据查询请求将所述事件窗口中对应的数据分流合并后确定所述查询结果；

当所述数据量为多个时，根据所述查询请求将所述事件窗口中对应的数据分流按所述标记合并后确定所述查询结果。

10.如权利要求6所述的设备，其特征在于，所述预设格式为逗号分隔值CSV格式，所述命名管道为Linux命名管道，还包括：

删除存储模块，用于将所述查询结果中的数据进行删除或存储；

关闭模块，用于当不存在进入所述系统的流数据时，关闭所述事件窗口。

Images