CN112328597A - 一种基于表的流计算方法和装置 - Google Patents

Abstract

本发明公开了一种基于表的流计算装置和方法，该装置包括：表数据构造模块、模型获取模块和数据计算模块，其中，所述表数据构造模块，用于将数据流的流数据整合为一个二维数组；所述模型获取模块，用于获取目标计算模型；所述数据计算模型，用于根据所述目标计算模型从所述二维数组中获取所述目标计算模型所需的数据并获得计算结果。本发明通过将数据转换为表，通过对表的计算获得计算结果，简化了模型开发和计算，并且模型可以动态定义和部署，不需要针对每个任务进行开发，解决了传统流计算模型定义、开发、部署复杂的问题，降低使用和实施部署复杂度，节省人力物力。

Description

一种基于表的流计算方法和装置

技术领域

本发明涉及计算机技术领域，特别涉及一种基于表的流计算方法和装置。

背景技术

随着互联网和大数据技术的兴起，流计算作为一种重要的技术设施正在被广泛应用于各种数据分析、报警系统。Spark、Flink等流计算平台通过将计算任务分解为map、filter、union、join等算子，能够实时处理时间和数量上无限的动态数据流。但是这种模式下，需要针对每个任务，通过编码将任务分解为各种算子的组合，开发测试完成后再打包部署，存在着专业性强、可复用性差、部署实施困难等问题。

关系数据库作为一种数据基础设施，经过多年的发展已经深入人心，大部分计算机专业人员都熟悉通过SQL对二维表的增删改查等操作。为了降低流计算的开发复杂问题，Flink等平台引入了SQL，将数据转换为二维表，通过SQL进行计算。虽然通过将计算转换为SQL语句降低了开发复杂度，但是SQL始终不如编码灵活，某些功能不好通过SQL实现。

发明内容

为了解决上述技术问题中的至少一个，本公开提供了一种基于表的流计算方法和装置，以及可读存储介质和计算设备。

第一方面，本发明实施例提供了一种基于表的流计算装置，该基于表的流计算装置包括：表数据构造模块、模型获取模块和数据计算模块，其中，

所述表数据构造模块，用于将数据流的流数据整合为一个二维数组；

所述模型获取模块，用于获取目标计算模型；

所述数据计算模型，用于根据所述目标计算模型从所述二维数组中获取所述目标计算模型所需的数据并获得计算结果。

可选地，所述模型获取模块具体用于接收外部指令从预设的多个计算模型中获取目标计算模型，或，接收外部指令构建目标计算模型。

可选地，所述模型获取模块具体用于按照预设的多个计算模型的计算优先级，将计算优先级最高的计算模型确定为目标计算模型。

可选地，计算模型包括点表达式、列表达式和自定义表达式；所述点表达式为所述二维数组中针对时间点的流数据计算公式；所述列表达式为所述二维数组中针对数据流的流数据计算公式；所述自定义表达式为通过函数自行设定的流数据计算公式。

可选地，所述表数据构造模块具体用于根据每个所述数据流的流数据采集时间的先后，对所述流数据进行依次排列形成二维数组；同一个所述数据流的流数据位于所述二维数组中的同一列或同一行。

第二方面，本发明实施例提供了一种基于表的流计算方法，该基于表的流计算方法包括：

将数据流的流数据整合为一个二维数组；

获取目标计算模型；

根据所述目标计算模型从所述二维数组中获取所述目标计算模型所需的数据并获得计算结果。

可选地，所述获取目标计算模型，包括：

接收外部指令从预设的多个计算模型中获取目标计算模型

可选地，所述获取目标计算模型，包括：

接收外部指令构建目标计算模型。

可选地，所述获取目标计算模型，包括：

按照预设的多个计算模型的计算优先级，将计算优先级最高的计算模型确定为目标计算模型。

可选地，所述将数据流的流数据整合为一个二维数组，包括：

根据每个所述数据流的流数据采集时间的先后，对所述流数据进行依次排列形成二维数组；同一个所述数据流的流数据位于所述二维数组中的同一列或同一行。

第三方面，本发明实施例提供了一种可读存储介质，其上具有可执行指令，当可执行指令被执行时，使得计算机执行如第二方面中的所包括的任一方法。

第四方面，本发明实施例提供了一种计算设备，包括：一个或多个处理器、存储器以及程序，其中，所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行如第二方面中所包括的任一方法。

与现有技术相比，本发明至少具有以下有益效果：

本发明通过将数据转换为表，通过对表的计算获得计算结果，简化了模型开发和计算，并且模型可以动态定义和部署，不需要针对每个任务进行开发，解决了传统流计算模型定义、开发、部署复杂的问题，降低使用和实施部署复杂度，节省人力物力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的一种基于表的流计算装置的结构框图；

图2是本发明一个实施例提供的一种基于表的流计算方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了本发明实施例提供了一种基于表的流计算装置，该基于表的流计算装置包括：表数据构造模块、模型获取模块和数据计算模块，其中，

所述表数据构造模块，用于将数据流的流数据整合为一个二维数组；

所述模型获取模块，用于获取目标计算模型；

所述数据计算模型，用于根据所述目标计算模型从所述二维数组中获取所述目标计算模型所需的数据并获得计算结果。

在该实施例中，通过将一个或多个数据流的流数据转换为表，通过对表的计算获得计算结果，简化了模型开发和计算，并且模型可以动态定义和部署，不需要针对每个任务进行开发，解决了传统流计算模型定义、开发、部署复杂的问题，降低使用和实施部署复杂度，节省人力物力。

在本发明一个实施例中，所述表数据构造模块具体用于根据每个所述数据流的流数据采集时间的先后，对所述流数据进行依次排列形成二维数组；同一个所述数据流的流数据位于所述二维数组中的同一列或同一行。

在该实施例中，将数据流的流数据整合为一个二维数组中数据流的数量不限，适用于一个数据流也适用于多个数据流。对数据流的流数据进行累积形成二维数组，在二维数组中不同数据流的流数据位于不同的列或行中，不同的数据流之间不互相交叉。也就是说，若数据流的流数据以行进行排列，同一行中只有一个数据流的流数据，且该数据流的流数据只能位于该行中；同理，若数据流的流数据以列进行排列，同一列中只有一个数据流的流数据，且该数据流的流数据只能位于该列中。如有n个数据流，每个数据流有m个流数据，每个数据流的m个流数据形成一个数组，n个数据流则形成一个二维数组，现以数据流的流数据以行排列为例进行说明。如表1所示一个数据流的m个流数据形成一个数组，则n个数据流形成一个二维数组，其中p_nm表示第n数据流的第m个流数据。同理，数据流的流数据以列排列也可以形成一个二维数组。在实际运算过程中根据业务需求可以设定以行排列形成二维数组还是以列排列形成二维数组，甚至可以以行排列形成一个二维数组的同时再以列排列形成一个二维数组得到两个二维数组。除此之外，可以对二维数组进行定义，如以行排列形成二维数组中，在行方向上，每一行表示一个流的数据，用“_”加序号表示，如_1表示第一行数据[p₁₁,p₁₂,……,p_1m]，_2表示[p₂₁,p₂₁,……,p_2m]；在列方向上，用$表示每列的单个数值，如$1表示第一行上的数据，$2表示第二行的数据，以此类推，在第一列上，$1就是p₁₁，$2就是p₂₁；在第二列上，$1就是p₁₂，$2就是p₂₁。根据业务需求的不同可以在不同的业务中对二维数组进行不同的定义。

表1

p<sub>11</sub>	p<sub>12</sub>	……	p<sub>1m</sub>
				p<sub>21</sub>	p<sub>21</sub>	……	p<sub>2m</sub>
……	……	……	……
				p<sub>n1</sub>	p<sub>n2</sub>	……	p<sub>nm</sub>

在该实施例中，形成二维数组的过程中流数据可以按照采集时间的先后次序进行排列，如同一个数据流中，从左至右流数据的采集时间从早到晚，最左边为最早采集的流数据，最右边为最晚采集的流数据。同理，同一个数据流中，从左至右流数据的采集时间可以从晚到早，最左边为最晚采集的流数据，最右边为最早采集的流数据。现以同一个数据流中从左至右流数据的采集时间从早到晚为例进行说明，数据流W在2020年11月1日00点00分00秒采集流数据w₁、2020年11月1日00点00分02秒采集流数据w₂和2020年11月1日00点00分03秒采集流数据w₃，数据流K在2020年11月1日00点00分00秒采集流数据k₁、2020年11月1日00点00分02秒采集流数据k₂和2020年11月1日00点00分03秒采集流数据k₃，则在形成的二维数组中排列方式如表2所示。

表2

值得说明的是，根据不同的业务需求可以按照其他方式对流数据进行排列形成满足业务需求的二维数组。

在本发明一个实施例中，所述模型获取模块具体用于接收外部指令从预设的多个计算模型中获取目标计算模型，和/或，接收外部指令构建目标计算模型，和/或，按照预设的多个计算模型的计算优先级，将计算优先级最高的计算模型确定为目标计算模型。

在该实施例中，模型获取模块可以接收外部指令从预设的多个计算模型中获取目标计算模型，也可以接收外部指令构建目标计算模型，也可以按照预设的多个计算模型的计算优先级，将计算优先级最高的计算模型确定为目标计算模型。换句话说，模型获取模块可以根据实际业务需求进行相应的操作，如在无外部指令的时候按照预设的多个计算模型的计算优先级，将计算优先级最高的计算模型确定为目标计算模型，在有外部指令时，会识别和解析外部指令，外部指令为选取指令时从预设的多个计算模型中选取的目标计算模型，外部指令为构建指令时根据构建指令的内容构建目标计算模型，构建目标计算模型可以是对预设的计算模型进行编辑更改也可以是自行通过各种函数而构建目标计算模型，函数包括但不限于sum(求和)、avg(平均值)、max(最大值)、min(最小值)和allTrue(所有值为真)等。外部指令可以是人为操作也可以其他设备输入的指令。

在本发明一个实施例中，计算模型包括点表达式、列表达式和自定义表达式；所述点表达式为所述二维数组中针对时间点的流数据计算公式；所述列表达式为所述二维数组中针对数据流的流数据计算公式；所述自定义表达式为通过函数自行设定的流数据计算公式。

在该实施例中，在表数据构造模块整合二维数组的基础上对二维数组进行定义，进而计算模型调取二维数组中的数据进行相应的计算。如使用上述实施例种列举的定义，以行排列形成二维数组中，在行方向上，每一行表示一个流的数据，用“_”加序号表示，用$表示每列的单个数值。以及定义在以行排列形成二维数组中，同一列的流数据为同一时间点的数据，而点表达式针对时间点的数据进行计算，二维数组中第一行与第二行的差值是否大于0，可以使用表达式：$1-$2>0，使用表1中的数据，则分别计算p₁₁-p₂₁、p₁₂-p₂₂、……、p_1m-p_2m，进而得到m个时间点对应的m个计算结果，根据业务需求可以进一步形成长度为m的数组，也可以对m个时间点对应的m个计算结果再次计算得到m个时间点的综合计算结果。具体计算过程以及计算结果根据表达式进行相应计算。列表达式针对整个数据流的数据进行计算，如在以行排列形成二维数组中，计算位于第一行的数据流与位于第二行的数据流平均值的差值是否大于0，则可以使用表达式:avg(_1)-avg(_2)>0，使用表1中的数据，获取第一行和第二行的流数据，进而得到一个单值的计算结果。自定义表达式为通过函数自行设定的流数据计算公式，在不同的业务中对计算内容也不同，预设的计算模型不能满足业务需求，则可以根据二维数组的定义以及函数自行设定流数据计算公式。一个计算模型中可以包括一个计算表达式，如仅仅包括点表达式、列表达式或自定义表达式，也可以包括多个计算表达式，其中，既包括点表达式又包括列表达式、既包括点表达式又包括自定义表达式、既包括列表达式又包括列表达式，等多种形式，也可以是多个一种计算表达式，如多个点表达式、多个列表示或多个自定义表达式。不仅不同的计算模型可以设定计算优先级，而且不同的计算表达式也可以设定计算优先级。如自定义表达式的优先级高于点表达式和列表达式，如存在自定义表达式则忽略点表达式与列表达式，通过自定义表达式获得的结果就是最终结果，也可以在计算优先级高的自定义表达式后再依次计算其他优先级低的表达式。在不同的业务中目标计算模型可以只包括一个计算模型也可以包括多个计算模型

在该实施例中，在构造的二维数组的基础上，通过将计算模型分解点表达式，列表达式和自定义表达式，直接获取目标数据进而进行计算获得计算结果，简化模型开发和计算，并且可以动态定义和部署，不需要针对每个任务进行开发，节省人力物力。

在本发明一个实施例中，计算模型由可编辑的点表达式、可编辑的列表达式和可编辑的自定义表达式组成，在实际业务中，根据提供的二维数组定义以及函数接收外部指令构建相应的点表达式、列表达式和自定义表达式，形成目标计算模型。由于外部指令的不同可能只构建了点表达式、列表达式和自定义表达式中的一种，也可能构建了点表达式、列表达式和自定义表达式中的多种，构建的表达式由外部指令决定。

如图2所示，本发明实施例提供了一种基于表的流计算方法，该基于表的流计算方法包括：

将数据流的流数据整合为一个二维数组；

获取目标计算模型；

根据所述目标计算模型从所述二维数组中获取所述目标计算模型所需的数据并获得计算结果。

在本发明一个实施例中，所述获取目标计算模型，包括：

接收外部指令从预设的多个计算模型中获取目标计算模型

在本发明一个实施例中，所述获取目标计算模型，包括：

接收外部指令构建目标计算模型。

在本发明一个实施例中，所述获取目标计算模型，包括：

按照预设的多个计算模型的计算优先级，将计算优先级最高的计算模型确定为目标计算模型。

在本发明一个实施例中，所述将数据流的流数据整合为一个二维数组，包括：

根据每个所述数据流的流数据采集时间的先后，对所述流数据进行依次排列形成二维数组；同一个所述数据流的流数据位于所述二维数组中的同一列或同一行。

除了本申请中提及的基于表的流计算方法之外，利用本申请公开的基于表的流计算装置进行流计算的其他方法也属于本发明的保护范围。

应当理解，这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被该机器执行时，该机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的该程序代码中的指令，执行本发明的各种方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面发明的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所发明的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中发明的所有特征以及如此发明的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中发明的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的发明是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种基于表的流计算装置，其特征在于，该装置包括：表数据构造模块、模型获取模块和数据计算模块，其中，

所述表数据构造模块，用于将数据流的流数据整合为一个二维数组；

所述模型获取模块，用于获取目标计算模型；

所述数据计算模型，用于根据所述目标计算模型从所述二维数组中获取所述目标计算模型所需的数据并获得计算结果。

2.根据权利要求1所述基于表的流计算装置，其特征在于，所述模型获取模块具体用于接收外部指令从预设的多个计算模型中获取目标计算模型，和/或，接收外部指令构建目标计算模型，和/或，按照预设的多个计算模型的计算优先级，将计算优先级最高的计算模型确定为目标计算模型。

3.根据权利要求1所述基于表的流计算装置，其特征在于，计算模型包括点表达式、列表达式和自定义表达式；所述点表达式为所述二维数组中针对时间点的流数据计算公式；所述列表达式为所述二维数组中针对数据流的流数据计算公式；所述自定义表达式为通过函数自行设定的流数据计算公式。

4.根据权利要求1-3任一所述基于表的流计算装置，其特征在于，所述表数据构造模块具体用于根据每个所述数据流的流数据采集时间的先后，对所述流数据进行依次排列形成二维数组；同一个所述数据流的流数据位于所述二维数组中的同一列或同一行。

5.一种基于表的流计算方法，其特征在于，该方法包括：

将数据流的流数据整合为一个二维数组；

获取目标计算模型；

根据所述目标计算模型从所述二维数组中获取所述目标计算模型所需的数据并获得计算结果。

6.根据权利要求5所述基于表的流计算方法，其特征在于，

所述获取目标计算模型，包括：

接收外部指令从预设的多个计算模型中获取目标计算模型；

或，

所述获取目标计算模型，包括：

接收外部指令构建目标计算模型。

7.根据权利要求5所述基于表的流计算方法，其特征在于，所述获取目标计算模型，包括：

按照预设的多个计算模型的计算优先级，将计算优先级最高的计算模型确定为目标计算模型。

8.根据权利要求5-7任一所述基于表的流计算方法，其特征在于，所述将数据流的流数据整合为一个二维数组，包括：

根据每个所述数据流的流数据采集时间的先后，对所述流数据进行依次排列形成二维数组；同一个所述数据流的流数据位于所述二维数组中的同一列或同一行。

9.一种可读存储介质，其特征在于，其上具有可执行指令，当可执行指令被执行时，使得计算机执行如权利要求5-8中的任一项所包括的方法。

10.一种计算设备，其特征在于，包括：一个或多个处理器、存储器以及程序，其中，所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行如权利要求5-8中的任一项所包括的方法。

Images