CN109508412A - 一种时间序列处理的计算流图构建方法和装置 - Google Patents
一种时间序列处理的计算流图构建方法和装置 Download PDFInfo
- Publication number
- CN109508412A CN109508412A CN201811382844.1A CN201811382844A CN109508412A CN 109508412 A CN109508412 A CN 109508412A CN 201811382844 A CN201811382844 A CN 201811382844A CN 109508412 A CN109508412 A CN 109508412A
- Authority
- CN
- China
- Prior art keywords
- flow graph
- time series
- series processing
- calculating
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本申请提供了一种时间序列处理的计算流图构建方法和装置,其中,该方法包括:获取待处理的时间序列处理算法;将所述待处理的时间序列处理算法拆分为多个计算表达式;为所述多个计算表达式分别构造计算流图,以得到多个计算流图;将所述多个计算流图进行合并,得到所述待处理的时间序列处理算法对应的流图模型。利用本申请实施例提供的技术方案,可以直观地展现时间序列算法的数据依赖关系,利用这种依赖关系可以优化对时间序列处理算法中的计算步骤,可以避免因数据依赖导致的处理器阻塞的问题,且可以方便地对计算流图根据计算系统的特性进行划分以匹配计算系统的计算能力,从而提高计算系统的资源利用率和时间序列处理算法的运行效率。
Description
技术领域
本申请属于数据处理技术领域,尤其涉及一种时间序列处理的计算流图构建方法和装置。
背景技术
时间序列分析在很多的分析场景都是很重要的技术,在许多应用场景中,一般都需要能够快速地响应基于快速持续到达的数据流。以股票市场应用为例,有多个客户端在监听股票市场的价格波动,需要这个系统能够有效地去响应针对不同客户端的分析请求。不同客户端的分析请求是不同的,例如,有些客户端请求的是每周股价波动率,有些客户端请求的是每月平均股价等。除了在金融领域,时间序列分析在医疗健康、商业决策、科学计算、社交媒体和网络控制等领域,也是广泛需求的。
一般,时间序列处理的数据量规模很大,时间序列数据之间存在依赖关系,这种依赖关系是由时间序列处理函数确定的。然而,时间序列处理函数的种类比较多,这也就导致时间序列数据之间的关联关系非常复杂。
针对上述问题,目前尚未提出有效的解决方案。
发明内容
本申请目的在于提供一种时间序列处理的计算流图构建方法和装置,可以实现清楚表征时间序列数据之间的关联性的问题,且可以实现对数据处理过程优化。
本申请提供一种时间序列处理的计算流图构建方法和装置是这样实现的:
一种时间序列处理的计算流图构建方法,所述方法包括:
获取待处理的时间序列处理算法;
将所述待处理的时间序列处理算法拆分为多个计算表达式;
为所述多个计算表达式分别构造计算流图,以得到多个计算流图;
将所述多个计算流图进行合并,得到所述待处理的时间序列处理算法对应的流图模型。
在一个实施方式中,将所述待处理的时间序列处理算法拆分为多个计算表达式,包括:
对所述待处理的时间序列处理算法进行拆分,得到输入数据、中间数据和输出数据;
对所述输入数据、中间数据和输出数据进行数据依赖分析,得到所述计算表达式。
在一个实施方式中,为所述多个计算表达式分别构造计算流图,包括:
将当前的计算表达式的输入时间序列作为输入节点;
将当前的计算表达式的输出时间序列作为输出节点;
将输入节点到输出节点的连线作为有向边,其中,所述有向边用于表征当前的计算表达式对应的时间序列处理函数;
以所述输入节点、所述输出节点和所述有向边,作为当前计算表达式的计算流图。
在一个实施方式中,为所述多个计算表达式分别构造计算流图,以得到多个计算流图,包括:
将所述多个计算表达式放入表达式池中;
从所述表达式池中采用无放回方式随机取出一个计算表达式;
在一个实施方式中,将所述多个计算流图进行合并,包括:
将为从所述表达式池中取出的第一个计算表达式所构造的计算流图作为初始计算流图;
重复以下步骤直至所述表达式池中的所有计算表达池为空:
将为从所述表达式池中取出的下一个计算表达式所构造的计算流图作为中间计算流图;
将所述中间计算流图合并至所述初始计算流图中;
将合并后所得到的计算流图,作为初始计算流图。
在一个实施方式中,将所述中间计算流图合并至所述初始计算流图中,包括:
确定所述中间计算流图与所述初始计算流图之间是否存在相同的节点;
在存在相同的节点的情况下,删除中间计算流图中该相同的节点;
将删除了该相同的节点后的中间计算流图,合并至所述初始计算流图中。
一种时间序列处理的计算流图构建装置,包括:
获取模块,用于获取待处理的时间序列处理算法;
拆分模块,用于将所述待处理的时间序列处理算法拆分为多个计算表达式;
构建模块,用于为所述多个计算表达式分别构造计算流图,以得到多个计算流图;
合并模块,用于将所述多个计算流图进行合并,得到所述待处理的时间序列处理算法对应的流图模型。
在一个实施方式中,所述构建模块包括:
第一生成单元,用于将当前的计算表达式的输入时间序列作为输入节点;
第二生成单元,用于将当前的计算表达式的输出时间序列作为输出节点;
第三生成单元,用于将输入节点到输出节点的连线作为有向边,其中,所述有向边用于表征当前的计算表达式对应的时间序列处理函数;
第四生成单元,用于以所述输入节点、所述输出节点和所述有向边,作为当前计算表达式的计算流图。
一种终端设备中,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现如下步骤:
获取待处理的时间序列处理算法;
将所述待处理的时间序列处理算法拆分为多个计算表达式;
为所述多个计算表达式分别构造计算流图,以得到多个计算流图;
将所述多个计算流图进行合并,得到所述待处理的时间序列处理算法对应的流图模型。
一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现如下步骤:
获取待处理的时间序列处理算法;
将所述待处理的时间序列处理算法拆分为多个计算表达式;
为所述多个计算表达式分别构造计算流图,以得到多个计算流图;
将所述多个计算流图进行合并,得到所述待处理的时间序列处理算法对应的流图模型。
本申请提供的时间序列处理的计算流图方法,将待处理的时间序列处理算法拆分为多个计算表达式,并为多个计算表达式分别构造计算流图,以得到多个计算流图,将多个计算流图进行合并,从而可以得到待处理的时间序列处理算法对应的流图模型。通过上述方式可以直观地展现时间序列算法的数据依赖关系,利用这种依赖关系可以优化对时间序列处理算法中的计算步骤,可以避免因数据依赖导致的处理器阻塞的问题,且可以方便地对计算流图根据计算系统的特性进行划分以匹配计算系统的计算能力,从而提高计算系统的资源利用率和时间序列处理算法的运行效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的时间序列处理的计算流图构建方法的方法流程图;
图2是根据本发明实施例的处理表达式示意图;
图3是根据本发明实施例的计算流图示意图;
图4是根据本发明实施例的时间序列处理算法的计算流图建模流程图;
图5是根据本发明实施例的将时间序列处理算法转化为计算流图的实施例;
图6是根据本发明实施例的子计算流图与原始计算流图合并流程示例;
图7是根据本发明实施例的时间序列处理的计算流图构建装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
图1是本申请时间序列处理的计算流图构建方法一个实施例的方法流程图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤或装置结构,但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中,这些步骤的执行顺序或装置的模块结构不限于本申请实施例描述及附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时,可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至分布式处理环境)。
具体的如图1所示,该时间序列处理的计算流图构建方法可以包括如下步骤:
步骤101:获取待处理的时间序列处理算法;
具体的,可以是获取待处理的时间序列处理算法的伪代码,基于该伪代码得到的就是待处理的时间序列处理算法。
步骤102:将所述待处理的时间序列处理算法拆分为多个计算表达式;
具体的将所述待处理的时间序列处理算法拆分为多个计算表达式,可以是:对所述待处理的时间序列处理算法进行拆分,得到输入数据、中间数据和输出数据;对所述输入数据、中间数据和输出数据进行数据依赖分析,得到所述计算表达式。
例如,在获取到时间序列处理算法之后,可以将其进行拆分,得到多个计算表达式,例如,可以拆分得到如图2所示的多个计算表达式:A、B、C、D、E。每个计算表达式可以是一步计算,即,将原本的待处理的时间序列处理算法拆分成多个仅有一步计算的计算表达式。
步骤103:为所述多个计算表达式分别构造计算流图,以得到多个计算流图;
在实现的时候,可以为每个计算表达式都构造一个计算流图,如图3所示,在图3中是以为上述的计算表达式A和计算表达式C分别构造的计算流图。对于其他的计算表达式,都可以按照这种方式构造计算流图。
具体的,为多个计算表达式分别构造计算流图,可以包括:
S1:将当前的计算表达式的输入时间序列作为输入节点;
S2:将当前的计算表达式的输出时间序列作为输出节点;
S3:将输入节点到输出节点的连线作为有向边,其中,所述有向边用于表征当前的计算表达式对应的时间序列处理函数;
S4:以所述输入节点、所述输出节点和所述有向边,作为当前计算表达式的计算流图。
步骤104:将所述多个计算流图进行合并,得到所述待处理的时间序列处理算法对应的流图模型。
在具体实现的时候,可以建立一个表达式池,将所有的表达式都放入这个表达式池中,然后一个个无回放的方式取出,从而使得每个表达式都会被转换到,且不会出现重复操作。即,为所述多个计算表达式分别构造计算流图,以得到多个计算流图,可以包括:将所述多个计算表达式放入表达式池中;从所述表达式池中采用无放回方式随机取出一个计算表达式;
在进行多个计算流图合并的时候,可以是将为从所述表达式池中取出的第一个计算表达式所构造的计算流图作为初始计算流图;重复以下步骤直至所述表达式池中的所有计算表达池为空:将为从所述表达式池中取出的下一个计算表达式所构造的计算流图作为中间计算流图;将所述中间计算流图合并至所述初始计算流图中;将合并后所得到的计算流图,作为初始计算流图。
即,随机取出一个计算表达式,就以这个计算表达式的计算流图作为初始的计算流图,每次的合并操作,都是向这个计算流图中合并下面的计算流图为标准。在一个实施方式中,将所述中间计算流图合并至所述初始计算流图中,可以包括:确定所述中间计算流图与所述初始计算流图之间是否存在相同的节点;在存在相同的节点的情况下,删除中间计算流图中该相同的节点;将删除了该相同的节点后的中间计算流图,合并至所述初始计算流图中。
下面结合一个具体实施例对上述方法进行说明,然而,值得注意的是,该具体实施例仅是为了更好地说明本申请,并不构成对本申请的不当限定。
针对现有的时间序列数据之间存在依赖关系而导致的数据之间关系特别复杂的问题,在本例中,考虑到可以基于计算流图对时间序列处理算法进行建模,从而清楚地表达时间序列数据之间的关联关系,从而为时间序列算法的运算优化提供便利。
在具体实现的时候,可以是先将所有的计算表达式都各自转换为计算流图,再集中进行合并;也可以是将计算表达式一个一个取出,每取出一个就转换为计算表达式,然后与已经取出的计算表达式所形成计算流图进行合并。
具体的,在本例中还提供了一种对时间序列处理算法进行基于计算流图的建模方法,从而使得时间序列处理变得可视化,且可以进行编译的优化,可以如图4所示,包括如下步骤:
步骤S1:将时间序列处理算法拆分成多条时间序列计算表达式,将多条时间序列计算表达式组成时间序列计算表达式池;
步骤S2:从上述时间序列计算表达式池中以无放回方式取出一条表达式,将取出的表达式转化成计算流图,将该计算流图作为创始计算流图;
步骤S3:依次从上述时间序列计算表达式池中以无放回方式取出一条表达式,将取出的表达式转化成计算流图,将计算流图作为子计算流图。
如果子计算流图与创始计算流图之间有相同的节点,那么以该节点为连接点,将子计算流图合并到创始计算流图中,以更新创始计算流图;
步骤S4:如果时间序列计算表达式池中还有剩余时间序列计算表达式,则重复步骤S3,否则执行步骤S5;
步骤S5:输出更新后形成的最终的创始计算流图输出,将最终的创始计算流图作为时间序列处理算法的计算流图模型。
在上例中,对时间序列处理算法拆分成多条时间序列计算表达式的时候,可以是:获取时间序列处理算法中的输入数据、中间数据及输出数据,对上述数据进行数据依赖的分析,从而可将复杂的时间序列处理算法拆分成多个时间序列计算表达式。
具体的,上述的计算流图可以是节点和有向边构成的,其中,每个节点代表一个时间序列条目,每条有向边代表一个时间序列处理函数,其中,有向边从输入时间序列节点指向输出时间序列节点,即,该有向边代表的函数作用于输入时间序列,函数返回结果为输出时间序列,将上述有向边记作上述输入节点的输出边和上述输出节点的输入边。
在实现的过程中,将时间序列处理表达式转化成计算流图的方法,可以包括:
S1:取表达式的最外层时间序列处理函数,及该时间序列处理函数的输入时间序列数据。
S2:创建计算流图的根节点,用根节点表示表达式的输出时间序列数据,创建父节点,用父节点表示时间序列处理函数的输入时间序列数据。创建边,由父节点指向根节点,通过该边表示时间序列处理函数。
S3:判断S2中的父节点是否为表达式形式的输入时间序列数据,如果是,则将该表达式转化成计算流图,用该计算流图的根节点替换该父节点;如果不是,则将S2中的计算流图输出,即为该表达式转化成的计算流图。
举例而言,如果将子计算流图的节点合并到创始计算流图中,可以将子计算流图的节点记为A,创始计算流图中与之相同的节点记为B,在子计算流图中删去A节点,并将A节点的输入边添加为B的输入边,将A节点的输出边添加为B的输出边。
如果用子计算流图更新创始计算流图,可以将子计算流图的节点都添加到创始计算流图中,将对应的边都添加到创始计算流图中。
在上例中,提供了一种基于计算流图的时间序列处理算法的建模方法,可以用于时间序列处理算法的可视化和编译优化中,以优化时间序列处理算法的运行效率。通过该建模方法,可以直观地展现时间序列算法的数据依赖关系,利用这种依赖关系可以优化对时间序列处理算法中的计算步骤,避免因数据依赖导致的处理器阻塞。通过上述建模方法,还可以方便地对计算流图根据计算系统的特性进行划分以匹配计算系统的计算能力,从而提高计算系统的资源利用率和时间序列处理算法的运行效率。
下面以一个具体实例为例进行说明:
以时间序列处理算法的伪代码为图5所示为例,可以包括如下步骤:
步骤a:将时间序列处理算法拆分成如图2所示的,5条时间序列处理表达式,分别对应计算时间序列数据A、B、C、D、E的代码行,以构成时间序列处理表达式池。
步骤b:从时间序列处理表达式池中取出表达式A=ts_sum(OPEN,5),构造创始计算流图,得到如图5中s1所示的计算流图。
步骤c:从时间序列处理表达式池中取出表达式B=ts_max(HIGH,5),构造子计算流图,并与创始计算流图合并,得到如图5中s2所示的新的创始计算流图。
步骤d:从时间序列处理表达式池中取出表达式C=OPEN-HIGH,构造子计算流图,并与与创始计算流图合并,得到如图5中s3所示的新的创始计算流图。
步骤e:从时间序列处理表达式池中取出表达式D=ts_sum(A,5),构造子计算流图,并与创始计算流图合并,得到如图5中s4所示的新的创始计算流图。
步骤f:从时间序列处理表达式池中取出表达式E=A-HIGH,构造子计算流图,并与创始计算流图合并,得到如图5中s5所示的新的创始计算流图。
步骤g:时间序列处理表达式池为空,将创始计算流图输出,即为该时间序列处理算法的计算流图模型。
在本例中,还提供了一种具体的合并示例,如图6所示,包括:
步骤0:初始化;
得到如图6中的两个计算流图,前一个作为原始计算流图,后一个作为待合并的子计算流图;
步骤1:子计算流图5中节点9与原始计算流图中节点3相同,因此,删除节点9及其父节点,将节点9的输出边添加至节点3上。
步骤3:子计算流图中节点8与原始计算流图中节点2相同,因此,删除节点8,并将节点8的输出边添加至节点2上。
在上例中,对时间序列处理算法的拆分可以是获取时间序列处理算法中的输入数据、中间数据及输出数据,对上述数据进行数据依赖的分析,从而可将复杂的时间序列处理算法拆分成多个时间序列计算表达式。
本发明所述的计算流图,由节点和有向边构成,每个节点代表一个时间序列条目,每条有向边代表一个时间序列处理函数,有向边从输入时间序列节点指向输出时间序列节点,即,该有向边代表的函数作用于输入时间序列,函数返回结果为输出时间序列,将上述有向边记作上述输入节点的输出边和输出节点的输入边。
基于同一发明构思,本发明实施例中还提供了一种时间序列处理的计算流图构建装置,如下面的实施例所述。由于时间序列处理的计算流图构建装置解决问题的原理与时间序列处理的计算流图构建方法相似,因此时间序列处理的计算流图构建装置的实施可以参见时间序列处理的计算流图构建方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。图7是本发明实施例的时间序列处理的计算流图构建装置的一种结构框图,如图7所示,可以包括:获取模块701、拆分模块702、构造模块703和合并模块704,下面对该结构进行说明。
获取模块701,用于获取待处理的时间序列处理算法;
拆分模块702,用于将所述待处理的时间序列处理算法拆分为多个计算表达式;
构造模块703,用于为所述多个计算表达式分别构造计算流图,以得到多个计算流图;
合并模块704,用于将所述多个计算流图进行合并,得到所述待处理的时间序列处理算法对应的流图模型。
在一个实施方式中,拆分模块702具体可以对所述待处理的时间序列处理算法进行拆分,得到输入数据、中间数据和输出数据;对所述输入数据、中间数据和输出数据进行数据依赖分析,得到所述计算表达式。
在一个实施方式中,构造模块703具体可以将当前的计算表达式的输入时间序列作为输入节点;将当前的计算表达式的输出时间序列作为输出节点;将输入节点到输出节点的连线作为有向边,其中,所述有向边用于表征当前的计算表达式对应的时间序列处理函数;以所述输入节点、所述输出节点和所述有向边,作为当前计算表达式的计算流图。
在一个实施方式中,构造模块703具体可以将所述多个计算表达式放入表达式池中;从所述表达式池中采用无放回方式随机取出一个计算表达式;
在一个实施方式中,将所述多个计算流图进行合并,可以包括:将为从所述表达式池中取出的第一个计算表达式所构造的计算流图作为初始计算流图;重复以下步骤直至所述表达式池中的所有计算表达池为空:将为从所述表达式池中取出的下一个计算表达式所构造的计算流图作为中间计算流图;将所述中间计算流图合并至所述初始计算流图中;将合并后所得到的计算流图,作为初始计算流图。
在一个实施方式中,合并模块704具体可以确定所述中间计算流图与所述初始计算流图之间是否存在相同的节点;在存在相同的节点的情况下,删除中间计算流图中该相同的节点;将删除了该相同的节点后的中间计算流图,合并至所述初始计算流图中。
在上例中,将待处理的时间序列处理算法拆分为多个计算表达式,并为多个计算表达式分别构造计算流图,以得到多个计算流图,将多个计算流图进行合并,从而可以得到待处理的时间序列处理算法对应的流图模型。通过上述方式可以直观地展现时间序列算法的数据依赖关系,利用这种依赖关系可以优化对时间序列处理算法中的计算步骤,可以避免因数据依赖导致的处理器阻塞的问题,且可以方便地对计算流图根据计算系统的特性进行划分以匹配计算系统的计算能力,从而提高计算系统的资源利用率和时间序列处理算法的运行效率。
虽然本申请提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
上述实施例阐明的装置或模块,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。为了描述的方便,描述以上装置时以功能分为各种模块分别描述。在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。当然,也可以将实现某功能的模块由多个子模块或子单元组合实现。
本申请中所述的方法、装置或模块可以以计算机可读程序代码方式实现控制器按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本申请所述装置中的部分模块可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的硬件的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,也可以通过数据迁移的实施过程中体现出来。该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,移动终端,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。本申请的全部或者部分可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、移动通信终端、多处理器系统、基于微处理器的系统、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
虽然通过实施例描绘了本申请,本领域普通技术人员知道,本申请有许多变形和变化而不脱离本申请的精神,希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。
Claims (10)
1.一种时间序列处理的计算流图构建方法,其特征在于,所述方法包括:
获取待处理的时间序列处理算法;
将所述待处理的时间序列处理算法拆分为多个计算表达式;
为所述多个计算表达式分别构造计算流图,以得到多个计算流图;
将所述多个计算流图进行合并,得到所述待处理的时间序列处理算法对应的流图模型。
2.根据权利要求1所述的方法,其特征在于,将所述待处理的时间序列处理算法拆分为多个计算表达式,包括:
对所述待处理的时间序列处理算法进行拆分,得到输入数据、中间数据和输出数据;
对所述输入数据、中间数据和输出数据进行数据依赖分析,得到所述计算表达式。
3.根据权利要求1所述的方法,其特征在于,为所述多个计算表达式分别构造计算流图,包括:
将当前的计算表达式的输入时间序列作为输入节点;
将当前的计算表达式的输出时间序列作为输出节点;
将输入节点到输出节点的连线作为有向边,其中,所述有向边用于表征当前的计算表达式对应的时间序列处理函数;
以所述输入节点、所述输出节点和所述有向边,作为当前计算表达式的计算流图。
4.根据权利要求1所述的方法,其特征在于,为所述多个计算表达式分别构造计算流图,以得到多个计算流图,包括:
将所述多个计算表达式放入表达式池中;
从所述表达式池中采用无放回方式随机取出一个计算表达式。
5.根据权利要求4所述的方法,其特征在于,将所述多个计算流图进行合并,包括:
将为从所述表达式池中取出的第一个计算表达式所构造的计算流图作为初始计算流图;
重复以下步骤直至所述表达式池中的所有计算表达池为空:
将为从所述表达式池中取出的下一个计算表达式所构造的计算流图作为中间计算流图;
将所述中间计算流图合并至所述初始计算流图中;
将合并后所得到的计算流图,作为初始计算流图。
6.根据权利要求5所述的方法,其特征在于,将所述中间计算流图合并至所述初始计算流图中,包括:
确定所述中间计算流图与所述初始计算流图之间是否存在相同的节点;
在存在相同的节点的情况下,删除中间计算流图中该相同的节点;
将删除了该相同的节点后的中间计算流图,合并至所述初始计算流图中。
7.一种时间序列处理的计算流图构建装置,其特征在于,包括:
获取模块,用于获取待处理的时间序列处理算法;
拆分模块,用于将所述待处理的时间序列处理算法拆分为多个计算表达式;
构建模块,用于为所述多个计算表达式分别构造计算流图,以得到多个计算流图;
合并模块,用于将所述多个计算流图进行合并,得到所述待处理的时间序列处理算法对应的流图模型。
8.根据权利要求7所述的装置,其特征在于,所述构建模块包括:
第一生成单元,用于将当前的计算表达式的输入时间序列作为输入节点;
第二生成单元,用于将当前的计算表达式的输出时间序列作为输出节点;
第三生成单元,用于将输入节点到输出节点的连线作为有向边,其中,所述有向边用于表征当前的计算表达式对应的时间序列处理函数;
第四生成单元,用于以所述输入节点、所述输出节点和所述有向边,作为当前计算表达式的计算流图。
9.一种终端设备中,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现权利要求1至6中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811382844.1A CN109508412B (zh) | 2018-11-20 | 2018-11-20 | 一种时间序列处理的计算流图构建方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811382844.1A CN109508412B (zh) | 2018-11-20 | 2018-11-20 | 一种时间序列处理的计算流图构建方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109508412A true CN109508412A (zh) | 2019-03-22 |
CN109508412B CN109508412B (zh) | 2019-12-20 |
Family
ID=65749191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811382844.1A Active CN109508412B (zh) | 2018-11-20 | 2018-11-20 | 一种时间序列处理的计算流图构建方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109508412B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111209295A (zh) * | 2019-12-25 | 2020-05-29 | 中科驭数(北京)科技有限公司 | 计算流图优化方法、数据库访问方法及装置 |
WO2022252839A1 (zh) * | 2021-06-03 | 2022-12-08 | 北京希姆计算科技有限公司 | 计算流图调度方案的生成方法、装置、电子设备及计算机可读存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5666296A (en) * | 1991-12-31 | 1997-09-09 | Texas Instruments Incorporated | Method and means for translating a data-dependent program to a data flow graph with conditional expression |
US6286135B1 (en) * | 1997-03-26 | 2001-09-04 | Hewlett-Packard Company | Cost-sensitive SSA-based strength reduction algorithm for a machine with predication support and segmented addresses |
CN101833504A (zh) * | 2010-04-19 | 2010-09-15 | 张翀斌 | 一种基于模型检验的时序软件质量缺陷检测方法及系统 |
US8893102B2 (en) * | 2011-07-27 | 2014-11-18 | Oracle International Corporation | Method and system for performing backward-driven path-sensitive dataflow analysis |
CN104504143A (zh) * | 2015-01-04 | 2015-04-08 | 华为技术有限公司 | 一种流图优化方法及其装置 |
CN104662535A (zh) * | 2012-07-24 | 2015-05-27 | 起元科技有限公司 | 数据模型中的实体映射 |
CN105389194A (zh) * | 2015-10-19 | 2016-03-09 | 华为技术有限公司 | 一种确定应用程序计算逻辑的方法及装置 |
CN105786715A (zh) * | 2016-04-08 | 2016-07-20 | 南京大学 | 一种程序静态自动分析方法 |
CN108292241A (zh) * | 2015-10-28 | 2018-07-17 | 谷歌有限责任公司 | 处理计算图 |
-
2018
- 2018-11-20 CN CN201811382844.1A patent/CN109508412B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5666296A (en) * | 1991-12-31 | 1997-09-09 | Texas Instruments Incorporated | Method and means for translating a data-dependent program to a data flow graph with conditional expression |
US6286135B1 (en) * | 1997-03-26 | 2001-09-04 | Hewlett-Packard Company | Cost-sensitive SSA-based strength reduction algorithm for a machine with predication support and segmented addresses |
CN101833504A (zh) * | 2010-04-19 | 2010-09-15 | 张翀斌 | 一种基于模型检验的时序软件质量缺陷检测方法及系统 |
US8893102B2 (en) * | 2011-07-27 | 2014-11-18 | Oracle International Corporation | Method and system for performing backward-driven path-sensitive dataflow analysis |
CN104662535A (zh) * | 2012-07-24 | 2015-05-27 | 起元科技有限公司 | 数据模型中的实体映射 |
CN104504143A (zh) * | 2015-01-04 | 2015-04-08 | 华为技术有限公司 | 一种流图优化方法及其装置 |
CN105389194A (zh) * | 2015-10-19 | 2016-03-09 | 华为技术有限公司 | 一种确定应用程序计算逻辑的方法及装置 |
CN108292241A (zh) * | 2015-10-28 | 2018-07-17 | 谷歌有限责任公司 | 处理计算图 |
CN105786715A (zh) * | 2016-04-08 | 2016-07-20 | 南京大学 | 一种程序静态自动分析方法 |
Non-Patent Citations (1)
Title |
---|
赵会群 等: ""基于模型代数的基本路径集的自动生成"", 《计算机科学》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111209295A (zh) * | 2019-12-25 | 2020-05-29 | 中科驭数(北京)科技有限公司 | 计算流图优化方法、数据库访问方法及装置 |
CN111209295B (zh) * | 2019-12-25 | 2021-02-26 | 中科驭数(北京)科技有限公司 | 计算流图优化方法、数据库访问方法及装置 |
WO2022252839A1 (zh) * | 2021-06-03 | 2022-12-08 | 北京希姆计算科技有限公司 | 计算流图调度方案的生成方法、装置、电子设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109508412B (zh) | 2019-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220207398A1 (en) | Systems and methods for modeling machine learning and data analytics | |
WO2020109891A1 (en) | Decentralized distributed deep learning | |
CN106708917B (zh) | 一种数据处理方法、装置以及olap系统 | |
US20150006316A1 (en) | System and method for parallel search on explicitly represented graphs | |
CN108287864A (zh) | 一种兴趣群组划分方法、装置、介质及计算设备 | |
CN106201673B (zh) | 一种地震数据处理方法及装置 | |
CN109508412A (zh) | 一种时间序列处理的计算流图构建方法和装置 | |
CN111198754B (zh) | 一种任务调度方法及装置 | |
CN110716970A (zh) | 异构数据同构化处理方法、装置、计算机设备及存储介质 | |
JP7435951B2 (ja) | 集積回路チップ検証のための浮動小数点数生成方法、装置、電子デバイス、記憶媒体及びコンピュータプログラム | |
CN109324796A (zh) | 界面布局方法及装置 | |
CN114443639A (zh) | 处理数据表及自动训练机器学习模型的方法和系统 | |
CN111160847A (zh) | 一种处理流程信息的方法和装置 | |
CN107153702A (zh) | 一种数据处理方法及装置 | |
CN113032642B (zh) | 针对目标对象的数据处理方法、装置、介质及电子设备 | |
CN109992372A (zh) | 一种基于映射归约的数据处理方法及装置 | |
CN108509179B (zh) | 用于检测人脸的方法、用于生成模型的装置 | |
Castro | Spatial branch-and-bound algorithm for MIQCPs featuring multiparametric disaggregation | |
KR20150110063A (ko) | 빅데이터 처리를 위한 맵리듀스를 통합하는 장치 및 방법 | |
CN110287202A (zh) | 数据更新方法、装置、电子设备及存储介质 | |
CN108461127A (zh) | 医疗数据关系图像获取方法、装置、终端设备及存储介质 | |
CN109063180A (zh) | 一种数据处理方法、装置、设备及计算机可读存储介质 | |
CN106293651A (zh) | 一种通用接口的实现方法及装置 | |
CN110009100A (zh) | 自定义算子的计算方法及相关产品 | |
Rehab et al. | Scalable massively parallel learning of multiple linear regression algorithm with MapReduce |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |