CN104915247B - 一种实时数据计算方法及系统 - Google Patents
一种实时数据计算方法及系统 Download PDFInfo
- Publication number
- CN104915247B CN104915247B CN201510216000.XA CN201510216000A CN104915247B CN 104915247 B CN104915247 B CN 104915247B CN 201510216000 A CN201510216000 A CN 201510216000A CN 104915247 B CN104915247 B CN 104915247B
- Authority
- CN
- China
- Prior art keywords
- sub
- control unit
- calculation
- data
- calculation expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明公开了一种实时数据计算方法及系统,属于数据处理技术领域;方法包括:步骤S1,获取数据流,并将数据流拆分成多个子数据流,以分别送入相应的子控制单元中保存;步骤S2,根据保存于每个子控制单元中的子数据流,选择预设的多个计算表达式中的一个或多个,以发送至相应的子控制单元中,供子控制单元对子数据流进行计算处理;步骤S3,合并每个子控制单元经过计算得到的子计算结果以得到最终的计算结果并输出;系统包括:数据控制单元、子控制单元以及计算控制单元。上述技术方案的有益效果是:与现有技术相比有效减少计算任务,保证网络传输的开销和计算时间,提升实时数据的处理效率。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种实时数据计算方法及系统。
背景技术
现有技术中,对于实时数据的计算通常采用比较分散的计算模型执行。随着互联网的发展,尤其是电子商务的兴起,网络信息量例如在线的网络支付交易量呈现了爆炸式的增长,采用传统的实时数据计算模型不仅降低了实时数据的计算效率,延长计算时间,而且无法实现业务风险的统一识别、预防和补救,即在风险控制方面也存在较大缺陷,无法满足互联网风险控制领域的业务增长需求。
发明内容
根据现有技术中存在的问题,现提供一种实时数据计算方法及系统的技术方案,旨在解决现有技术中存在的实时计算的处理效率较低,风险控制较差,无法满足各种实时业务的需求的问题;
上述技术方案具体包括:
一种实时数据计算方法,其中,包括多个子控制单元;
所述实时数据计算方法具体包括:
步骤S1,获取数据流,并将所述数据流拆分成多个子数据流,以分别送入相应的所述子控制单元中保存;
步骤S2,根据保存于每个所述子控制单元中的所述子数据流,选择预设的多个计算表达式中的一个或多个,以发送至相应的所述子控制单元中,供所述子控制单元对所述子数据流进行计算处理;
步骤S3,合并每个所述子控制单元经过计算得到的子计算结果以得到最终的计算结果并输出;
所述子控制单元之间实现并行计算。
优选的,该实时数据计算方法,其中,预设的所述计算表达式中包括:第一类表达式,和/或第二类表达式,和/或第三类表达式。
优选的,该实时数据计算方法,其中,一个所述第二类计算表达式由多个所述第一类计算表达式和/或多个所述第二类计算表达式组成;
所述第三类计算表达式用于对根据所述第一类计算表达式和/或所述第二类计算表达式处理得到的计算结果进行汇总计算。
优选的,该实时数据计算方法,其中,所述步骤S1中,将所述数据流拆分成多个所述子数据流并分别送入相应的所述子控制单元中保存,同时获取对应每个所述子数据流的存储地址,根据所述存储地址定位所述步骤S2中分发的所述计算表达式对应的所述子控制单元。
优选的,该实时数据计算方法,其中,所述步骤S1中,根据预设的多个所述计算表达式对获取的所有所述存储地址进行过滤,以滤除不参与计算的数据对应的所述存储地址,输出经过过滤的所有所述存储地址。
优选的,该实时数据计算方法,其中,所述步骤S2中,监控每个所述子控制单元的计算过程并获得相应的监控结果;
根据所述监控结果判断相应的所述子控制单元中的一次计算是否超时,并在超时时中断相应的所述子控制单元的计算过程,并记录相应的超时状态信息。
优选的,该实时数据计算方法,其中,所述监控结果包括:
所述子控制单元执行计算过程中的执行状态信息;和/或
所述子控制单元执行计算过程中产生的异常状态信息;和/或
所述子控制单元执行计算过程中产生的中间结果信息。
优选的,该实时数据计算方法,其中,每个所述子控制单元将计算结果暂存于内存中。
一种实时数据计算系统,其中,包括:
数据控制单元,采用分布式连接方式分别连接多个子控制单元;
所述数据控制单元按照预设的分组条件,将接收得到的数据流划分成多组相应的子数据流,并将每组所述子数据流发送至对应的一个所述子控制单元中保存;
计算控制单元,分别连接每个所述子控制单元,以及所述数据控制单元;
所述计算控制单元分别根据每个所述子控制单元中保存的所述子数据流,选择预设的多个计算表达式中的一个或多个,以分别发送至对应的所述子控制单元中;
每个所述子控制单元根据接收得到的所述子数据流,以及所述计算表达式,计算得到相应的子计算结果,所述子控制单元之间实现并行计算;
所述计算控制单元接收并合并所有所述子计算结果,以形成最终的计算结果,并返回至所述数据控制单元;
所述数据控制单元输出所述计算结果,以完成对所述数据流的一次计算。
优选的,该实时数据计算系统,其中,预设的所述计算表达式中包括:第一类表达式,和/或第二类表达式,和/或第三类表达式;
每个所述子控制单元中包括多个分别对应执行每类所述计算表达式的子计算模块;
每个所述子控制单元中还包括:
控制模块,分别连接每个所述子计算模块;
所述控制模块用于根据所述计算控制单元发送的不同类别的所述计算表达式,启动相应的所述子计算模块;
被启动的所述子计算模块采用相应类别的所述计算表达式,对相应保存的所述子数据流进行计算处理。
优选的,该实时数据计算系统,其中,
一个所述第二类计算表达式由多个所述第一类计算表达式和/或多个所述第二类计算表达式组成;
所述第三类计算表达式用于对根据所述第一类计算表达式和/或所述第二类计算表达式处理得到的计算结果进行汇总计算。
优选的,该实时数据计算系统,其中,所述数据控制单元中包括:
数据分发模块,用于向不同的所述子控制单元分发相应的所述子数据流;
地址获取模块,用于获取每个被分发的所述子数据流的存储地址;
所述数据控制单元将所有所述存储地址发送至所述计算控制单元;
所述计算控制单元根据所述存储地址确定相应的所述子控制单元,并分发相应的所述计算表达式。
优选的,该实时数据计算系统,其中,所述数据控制单元中包括:
过滤模块,连接所述地址获取模块,用于根据所述计算控制单元中预设的多个所述计算表达式滤除不参加计算的数据对应的存储地址;
所述数据控制单元将经过过滤的所有所述存储地址发送至所述计算控制单元。
优选的,该实时数据计算系统,其中,所述计算控制单元中包括:
监控模块,用于监控每个所述子控制单元的计算过程,并获取相应的监控结果;
超时计算模块,连接所述监控模块,用于根据所述监控结果判断相应的所述子控制单元中的一次计算是否超时,并在超时时中断相应的所述子控制单元的计算过程,并记录相应的超时状态信息。
优选的,该实时数据计算系统,其中,还包括一内存存储单元,分别连接每个所述子控制单元;
每个所述子控制单元将计算结果暂存于所述内存存储单元中。
上述技术方案的有益效果是:
1)提供一种实时数据计算方法,与现有技术相比有效减少计算任务,保证网络传输的开销和计算时间,提升实时数据的处理效率;
2)提供一种实时数据计算系统,用以支持实现上述实时数据计算方法。
附图说明
图1是本发明的较佳的实施例中,一种实时数据计算方法的流程示意图;
图2-5是本发明的较佳的实施例中,一种实时数据计算系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的限定。
本发明的较佳的实施例中,基于现有技术中存在的上述问题,提供一种实时数据计算方法的技术方案,其中包括多个子控制单元。
本发明的较佳的实施例中,如图1所示,上述实时数据计算方法的步骤具体包括:
步骤S1,获取数据流,并将数据流拆分成多个子数据流,以分别送入相应的子控制单元中保存;
本发明的较佳的实施例中,获取外部输入的数据流,可以为收集业务系统发送的大量的交易数据。
本发明的较佳的实施例中,获取数据流,并对数据流进行切分。具体地,本发明的一个较佳的实施例中,可以根据接收时间对交易数据进行切分,以形成不同的事件流。本发明的其他实施例中,也可以根据其他条件对数据流进行切分,并将切分得到的多个子数据流分发至相应的子控制单元中进行保存。
本发明的较佳的实施例中,在执行分发子数据流的过程中,由于实时事件的数据量一般不是很大,因此在各子控制单元之间可以快速移动。而数据保存、复制和备份这类操作一般比较耗时,对于实时数据计算存在一定影响,因此在本发明的较佳的实施例中,下发指令至各个子控制单元中,各个子控制单元根据下发的指令异步执行上述保存、复制和备份等操作,即可以在没有实时数据计算的任务时执行上述操作,有效节约计算资源。
本发明的较佳的实施例中,上述子控制单元是分布在不同的系统节点上的。每个系统节点都包括读取接口和保存接口共两个统一接口。相应地,本发明的较佳的实施例中,在每个子控制单元中也记录有子数据流对应的事件类型、起始时间和结束时间。
步骤S2,根据保存于每个子控制单元中的子数据流,选择预设的多个计算表达式中的一个或多个,以发送至相应的子控制单元中,供子控制单元对子数据流进行计算处理;
本发明的较佳的实施例中,预设的计算表达式包括:
1)第一类计算表达式。本发明的较佳的实施例中,将第一类计算表达式表示为窄计算单元。所谓窄计算单元,是指基础的将数据进行过滤或映射的计算操作,其结果仍然是一个窄计算单元。
2)第二类计算表达式。本发明的较佳的实施例中,将第二类计算表达式表示为宽计算单元。所谓宽计算单元,其实际可以划分为多个窄计算单元,或者多个宽计算单元,即一个宽计算单元可以由多个窄计算单元和/或多个宽计算单元构成。因此,实际上,一个宽计算单元可以由多个窄计算单元构成。换言之,一个第二类计算表达式可以由多个第一类计算表达式和/或第二类计算表达式组成。
3)第三类计算表达式。本发明的较佳的实施例中,将第三类计算表达式表示为汇总计算单元。所谓汇总计算单元,其作用在于对窄计算单元和宽计算单元的计算结果进行汇总计算,以输出最终的汇总计算的结果。本发明的较佳的实施例中,汇总计算单元中提供了一些常用的汇总计算函数,例如和运算(count),和/或最大值运算(max),和/或最小值运算(min),和/或平均值运算(average),和/或乘积运算(product),和/或标准偏差运算(standard deviation)。
则本发明的较佳的实施例中,如上文中所述,上述计算表达式都可以为一些预设的常用的计算函数。
具体地,本发明的一个较佳的实施例中,依照一个预设的计算任务,可以预设相应的一组计算表达式,或者由使用者输入相应的一组计算表达式。该计算表达式中包括上述三类计算表达式中的一类或几类。例如,当前需要进行实时数据计算的对象是某种交易数据,则针对该种交易数据设定相应的多种计算方式。当接收交易数据并分发至不同的子控制单元时,根据分发的不同的子数据流,确定每个子控制单元所需要运行的计算表达式,并拆分上述预设的一组计算表达式,以将不同类型的计算表达式下发到不同的子控制单元中。即下发不同的计算单元,或者下发不同的计算任务到不同的子控制单元中进行计算处理。
本发明的较佳的实施例中,上述各个子控制单元根据下发的计算表达式,对子数据流进行并行计算,即上述各个子控制单元之间实现并行计算,从而节约计算资源,缩短计算处理时间。
本发明的较佳的实施例中,上述步骤S1中,在分发子数据流到不同的子控制单元中时,记录子数据流的存储地址,在之后的步骤S2中,根据子数据流的存储地址确定不同的子数据流所存放的子控制单元。
本发明的较佳的实施例中,在上述步骤S1中,还包括一个过滤步骤,具体而言:
在分发数据流并获取相应的存储地址之后,根据上述预设的多个计算表达式,滤除数据流中不需要参与计算的数据,及其对应的存储地址;随后记录经过过滤的存储地址,并用于定位需要参与计算的子控制单元。上述过滤步骤可以有效滤除一些不需要参与计算的数据,进一步减轻实时数据的计算量。
本发明的较佳的实施例中,每个子控制单元将计算结果暂存于内存中,以加快整个计算过程。
步骤S3,合并每个子控制单元经过计算得到的子计算结果以得到最终的计算结果并输出;
本发明的较佳的实施例中,对于数据流的一次计算得到的所有计算结果进行合并计算,以得到一个最终的计算结果。
本发明的较佳的实施例中,根据该计算结果确定是否进行下一步计算,或者根据预设的计算任务确定是否进行下一步计算。
本发明的较佳的实施例中,输出最终经过循环计算和合并后得到的计算结果。
换言之,本发明的较佳的实施例中,根据计算结果,决定是否分发计算任务到下一个计算节点,直到所有计算任务全部完成。
本发明的较佳的实施例中,在上述步骤S3中包括一超时判断步骤,具体包括:
实时监控每个子控制单元的计算过程并得到相应的监控结果。随后根据监控结果判断相应的子控制单元的计算过程是否超超时,并在超时时停止相应的子控制单元中的计算过程,并记录超时状态信息。
具体地,本发明的较佳的实施例中,预设一个超时时间间隔,随后记录每个子控制单元开始计算的时刻和结束计算的时刻。由于子控制单元在进行计算时,每消耗一点时间都要相应地逼近上述超时时间间隔的临界,而当相应的子控制单元计算消耗的时间达到超时时间间隔时,系统将控制子控制单元停止相应的计算,并返回一个超时结果给系统。最终,系统会输出一个超时节点(即超时的子控制单元)路线图,以供使用者查看。
本发明的较佳的实施例中,实时监控每个子控制单元所得到的监控结果可以包括:
子控制单元执行计算过程中的执行状态信息;和/或
子控制单元执行计算过程中产生的异常状态信息;和/或
子控制单元执行计算过程中产生的中间结果信息。
综上所述,本发明技术方案中,通过获取的交易数据流和预设的计算任务形成一个弹性计算模型,即通过获取的交易数据和计算任务在预设的多个计算表达式中选择一类或者几类计算表达式,并分别下发到保存有不同的子数据流的子控制单元中进行并行的计算处理,经过处理后的所有计算结果被合并以形成最终的计算结果并输出。上述技术方案在计算单元上集成了常用的计算函数,有效减少了解析计算表达式的时间,同时给预计算优化留下了很大的计算控制,减少开发人员使用系统的复杂度,有利于实现实时数据的实时计算,以及能够并行进行风险控制。
下面结合本发明的一个较佳的实施例对上述技术方案做详细阐述。
本发明的一个较佳的实施例中,获取业务系统发送的交易数据流,并根据数据流的接收时间将其划分为多个子数据流,以构成多个事件流。将每个子数据流发送至相应的子控制单元中保存(即相应的分布式存储的系统节点),并记录相应的存储地址,以便之后的计算过程中能够定位相应的子控制单元。
该实施例中,在记录存储地址之前,首先需要进行过滤,即根据预设的计算任务和获取的交易数据过滤掉一些不需要参与计算的数据对应的存储地址,并记录经过过滤的存储地址,以减少不必要的计算量。
该实施例中,针对交易数据流,可以预设一组计算表达式,或者预设一类计算任务,在该组计算表达式或者该类计算任务中包括多类计算表达式(如上文中所述)。系统根据交易数据构建一个弹性计算模型,即根据交易数据选择上述预设的计算表达式中的一个或几个,并将选择的计算表达式分别送入对应的子控制单元中。即系统根据存放于不同的子控制单元中的子数据流,以及预设的计算任务,构建一个弹性计算模型,以将不同类别的计算表达式送入不同的子控制单元中。子控制单元根据接收到的计算表达式对其中保存的子数据流进行相应的计算处理。
该实施例中,系统实时监控每个子控制单元的计算过程,并获取相应的监控结果,例如子控制单元的执行状态、异常情况以及中间结果等。
该实施例中,系统根据监控结果,对每个子控制单元的计算过程进行超时控制,具体为:预设一个超时时间间隔,并监控每个子控制单元的计算时间,若计算时间超出超时时间间隔,则停止该子控制单元的计算过程,并记录超时状态信息。最后,输出所有超时的子控制单元(所有超时节点)的路线图,以保证整个计算系统的及时响应。
本发明的较佳的实施例中,基于上文中所述的实时数据计算方法,现提供一种实时数据计算系统。
本发明的较佳的实施例中,如图2所示,上述实时数据计算系统具体包括:
数据控制单元1,采用分布式连接方式分别连接多个子控制单元2。本发明的较佳的实施例中,数据控制单元1按照预设的分组条件,将接收得到的数据流划分成多组相应的子数据流,并将每组子数据流发送至对应的一个子控制单元中保存。本发明的一个较佳的实施例中,上述预设的分组条件可以是数据流的接收时间,即根据数据流的接收时间将数据流划分成多组相应的子数据流,也即多个相应的事件流。
计算控制单元3,分别连接每个子控制单元2,以及数据控制单元1。本发明的较佳的实施例中,计算控制单元3分别根据每个子控制单元2中保存的子数据流,选择预设的多个计算表达式中的一个或多个,以分别发送至对应的子控制单元2中;每个子控制单元2根据接收得到的子数据流,以及计算表达式,计算得到相应的子计算结果,子控制单元2之间实现并行计算。预设的计算表达式如上文中所述,在此不再赘述。
本发明的较佳的实施例中,上述计算控制单元3接收并合并所有子计算结果,以形成最终的计算结果,并返回至数据控制单元1;随后,数据控制单元输出计算结果。
具体地,本发明的较佳的实施例中,如图3所示,上述每个子控制单元2中包括多个分别对应执行每类计算表达式的子计算模块21,以及:
控制模块22,分别连接每个子计算模块21;
本发明的较佳的实施例中,控制模块22用于根据计算控制单元2发送的不同类别的计算表达式,启动相应的子计算模块21;
本发明的较佳的实施例中,被启动的子计算模块21采用相应类别的计算表达式,对相应保存的子数据流进行计算处理。
本发明的较佳的实施例中,上述实时数据计算系统中还包括一内存存储单元4,分别连接上述子控制单元2。本发明的较佳的实施例中,每个子控制单元将计算结果暂存于内存存储单元中。
换言之,本发明的较佳的实施例中,控制模块22将由计算控制单元2下发的计算表达式,按照其类别分别送入不同的子计算模块21中进行计算处理。因此,相应地,子计算模块21也包括三种类型:窄计算模块、宽计算模块以及汇总计算模块。
本发明的较佳的实施例中,如图4所示,上述数据控制单元1具体包括:
数据分发模块11,用于向不同的子控制单元2分发相应的子数据流;
地址获取模块12,用于获取每个被分发的子数据流的存储地址;
过滤模块13,连接地址获取模块12。本发明的较佳的实施例中,过滤模块13用于根据计算控制单元中预设的多个计算表达式滤除不参加计算的数据对应的存储地址。
本发明的较佳的实施例中,数据控制单元1将经过过滤的所有存储地址发送至计算控制单元3;则计算控制单元3根据存储地址确定相应的子控制单元2,并分发相应的计算表达式。
本发明的较佳的实施例中,如图5所示,上述计算控制单元3具体包括:
监控模块31,用于监控每个子控制单元的计算过程,并获取相应的监控结果;
超时计算模块32,连接监控模块31,用于根据监控结果,判断相应的子控制单元中的一次计算是否超时,并在超时时中断相应的子控制单元的计算过程,并记录相应的超时状态信息。
本发明的较佳的实施例中,上述监控结果可以参照上文中所述,在此不再赘述。
本发明的较佳的实施例中,超时计算模块32记录超时状态信息,以在整个计算过程结束后输出超时节点(子控制单元2)的路线图。
以上所述仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护范围,对于本领域技术人员而言,应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本发明的保护范围内。
Claims (11)
1.一种实时数据计算方法,其特征在于,设置有多个子控制单元;
所述实时数据计算方法具体包括:
步骤S1,获取数据流,并将所述数据流拆分成多个子数据流,以分别送入相应的所述子控制单元中保存;
步骤S2,根据保存于每个所述子控制单元中的所述子数据流,选择预设的多个计算表达式中的一个或多个,以发送至相应的所述子控制单元中,供所述子控制单元对所述子数据流进行计算处理;
步骤S3,合并每个所述子控制单元经过计算得到的子计算结果以得到最终的计算结果并输出;
所述子控制单元之间实现并行计算;
预设的所述计算表达式中包括:第一类计算表达式,和/或第二类计算表达式,和/或第三类计算表达式;
一个所述第二类计算表达式由多个所述第一类计算表达式和/或多个所述第二类计算表达式组成;
所述第三类计算表达式用于对根据所述第一类计算表达式和/或所述第二类计算表达式处理得到的计算结果进行汇总计算;
所述第一类计算表达式由窄计算单元实现,所述第二类计算表达式由宽计算单元实现;
所述窄计算单元为用于执行基础的将数据进行过滤或映射的计算操作的计算方式;
所述宽计算单元由多个所述窄计算单元和/或多个所述宽计算单元构成。
2.如权利要求1所述的实时数据计算方法,其特征在于,所述步骤S1中,将所述数据流拆分成多个所述子数据流并分别送入相应的所述子控制单元中保存,同时获取对应每个所述子数据流的存储地址,根据所述存储地址定位所述步骤S2中分发的所述计算表达式对应的所述子控制单元。
3.如权利要求2所述的实时数据计算方法,其特征在于,所述步骤S1中,根据预设的多个所述计算表达式对获取的所有所述存储地址进行过滤,以滤除不参与计算的数据对应的所述存储地址,输出经过过滤的所有所述存储地址。
4.如权利要求1所述的实时数据计算方法,其特征在于,所述步骤S2中,监控每个所述子控制单元的计算过程并获得相应的监控结果;
根据所述监控结果判断相应的所述子控制单元中的一次计算是否超时,并在超时时中断相应的所述子控制单元的计算过程,并记录相应的超时状态信息。
5.如权利要求4所述的实时数据计算方法,其特征在于,所述监控结果包括:
所述子控制单元执行计算过程中的执行状态信息;和/或
所述子控制单元执行计算过程中产生的异常状态信息;和/或
所述子控制单元执行计算过程中产生的中间结果信息。
6.如权利要求1所述的实时数据计算方法,其特征在于,每个所述子控制单元将计算结果暂存于内存中。
7.一种实时数据计算系统,其特征在于,包括:
数据控制单元,采用分布式连接方式分别连接多个子控制单元;
所述数据控制单元按照预设的分组条件,将接收得到的数据流划分成多组相应的子数据流,并将每组所述子数据流发送至对应的一个所述子控制单元中保存;
计算控制单元,分别连接每个所述子控制单元,以及所述数据控制单元;
所述计算控制单元分别根据每个所述子控制单元中保存的所述子数据流,选择预设的多个计算表达式中的一个或多个,以分别发送至对应的所述子控制单元中;
每个所述子控制单元根据接收得到的所述子数据流,以及所述计算表达式,计算得到相应的子计算结果,所述子控制单元之间实现并行计算;
所述计算控制单元接收并合并所有所述子计算结果,以形成最终的计算结果,并返回至所述数据控制单元;
所述数据控制单元输出所述计算结果;
预设的所述计算表达式中包括:第一类计算表达式,和/或第二类计算表达式,和/或第三类计算表达式;
每个所述子控制单元中包括多个分别对应执行一类所述计算表达式的子计算模块;
每个所述子控制单元中还包括:
控制模块,分别连接每个所述子计算模块;
所述控制模块用于根据所述计算控制单元发送的不同类别的所述计算表达式,启动相应的所述子计算模块;
被启动的所述子计算模块采用相应类别的所述计算表达式,对相应保存的所述子数据流进行计算处理;
一个所述第二类计算表达式由多个所述第一类计算表达式和/或多个所述第二类计算表达式组成;
所述第三类计算表达式用于对根据所述第一类计算表达式和/或所述第二类计算表达式处理得到的计算结果进行汇总计算;
所述第一类计算表达式由窄计算单元实现,所述第二类计算表达式由宽计算单元实现;
所述窄计算单元为用于执行基础的将数据进行过滤或映射的计算操作的计算方式;
所述宽计算单元由多个所述窄计算单元和/或多个所述宽计算单元构成。
8.如权利要求7所述的实时数据计算系统,其特征在于,所述数据控制单元中包括:
数据分发模块,用于向不同的所述子控制单元分发相应的所述子数据流;
地址获取模块,用于获取每个被分发的所述子数据流的存储地址;
所述数据控制单元将所有所述存储地址发送至所述计算控制单元;
所述计算控制单元根据所述存储地址确定相应的所述子控制单元,并分发相应的所述计算表达式。
9.如权利要求8所述的实时数据计算系统,其特征在于,所述数据控制单元中包括:
过滤模块,连接所述地址获取模块,用于根据所述计算控制单元中预设的多个所述计算表达式滤除不参加计算的数据对应的存储地址;
所述数据控制单元将经过过滤的所有所述存储地址发送至所述计算控制单元。
10.如权利要求8所述的实时数据计算系统,其特征在于,所述计算控制单元中包括:
监控模块,用于监控每个所述子控制单元的计算过程,并获取相应的监控结果;
超时计算模块,连接所述监控模块,用于根据所述监控结果,判断相应的所述子控制单元中的一次计算是否超时,并在超时时中断相应的所述子控制单元的计算过程,并记录相应的超时状态信息。
11.如权利要求8所述的实时数据计算系统,其特征在于,还包括一内存存储单元,分别连接每个所述子控制单元;
每个所述子控制单元将计算结果暂存于所述内存存储单元中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510216000.XA CN104915247B (zh) | 2015-04-29 | 2015-04-29 | 一种实时数据计算方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510216000.XA CN104915247B (zh) | 2015-04-29 | 2015-04-29 | 一种实时数据计算方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104915247A CN104915247A (zh) | 2015-09-16 |
CN104915247B true CN104915247B (zh) | 2019-01-22 |
Family
ID=54084328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510216000.XA Active CN104915247B (zh) | 2015-04-29 | 2015-04-29 | 一种实时数据计算方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104915247B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107305501B (zh) * | 2016-04-25 | 2020-11-17 | 百度在线网络技术(北京)有限公司 | 一种多流流式数据的处理方法和系统 |
CN105956135A (zh) * | 2016-05-12 | 2016-09-21 | 南京唯实科技有限公司 | 基于storm 的实时数据计算平台 |
CN109690486A (zh) * | 2016-09-09 | 2019-04-26 | 华为技术有限公司 | 用于处理数据流信息的设备和方法 |
CN107562943B (zh) * | 2017-09-22 | 2020-04-10 | 马上消费金融股份有限公司 | 一种数据计算的方法及系统 |
WO2019140577A1 (zh) * | 2018-01-17 | 2019-07-25 | 新联智慧信息技术(深圳)有限公司 | 大数据的计算方法及系统 |
CN110659111A (zh) * | 2018-06-29 | 2020-01-07 | 北京国双科技有限公司 | 数据处理方法及系统 |
CN111355689B (zh) * | 2018-12-21 | 2022-04-22 | 金篆信科有限责任公司 | 一种流数据处理方法及装置 |
CN109885406B (zh) * | 2019-02-27 | 2020-01-24 | 上海燧原智能科技有限公司 | 算子计算优化方法、装置、设备及存储介质 |
CN111796923A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 数据处理方法、装置、存储介质及服务器 |
CN110489451A (zh) * | 2019-08-13 | 2019-11-22 | 成都飞机工业(集团)有限责任公司 | 基于迭代统计的流计算方法 |
CN112328597A (zh) * | 2020-11-06 | 2021-02-05 | 北京航云物联信息技术有限公司 | 一种基于表的流计算方法和装置 |
CN112487415B (zh) * | 2020-12-09 | 2023-10-03 | 华控清交信息科技(北京)有限公司 | 计算任务的安全性检测方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101441557A (zh) * | 2008-11-08 | 2009-05-27 | 腾讯科技(深圳)有限公司 | 基于动态数据拆分的分布式并行计算的系统及其方法 |
CN102567024A (zh) * | 2011-12-28 | 2012-07-11 | 畅捷通信息技术股份有限公司 | 脚本执行系统和脚本执行方法 |
CN102739778A (zh) * | 2012-06-05 | 2012-10-17 | 包丽霞 | 一种云平台下统计分析的实现方法 |
-
2015
- 2015-04-29 CN CN201510216000.XA patent/CN104915247B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101441557A (zh) * | 2008-11-08 | 2009-05-27 | 腾讯科技(深圳)有限公司 | 基于动态数据拆分的分布式并行计算的系统及其方法 |
CN102567024A (zh) * | 2011-12-28 | 2012-07-11 | 畅捷通信息技术股份有限公司 | 脚本执行系统和脚本执行方法 |
CN102739778A (zh) * | 2012-06-05 | 2012-10-17 | 包丽霞 | 一种云平台下统计分析的实现方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104915247A (zh) | 2015-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104915247B (zh) | 一种实时数据计算方法及系统 | |
CN103197623B (zh) | 一种流水线监控管理方法及装置 | |
CN105677836A (zh) | 一种同时支持离线数据和实时在线数据的大数据处理解决系统 | |
CN107330641A (zh) | 一种基于Storm流处理框架和规则引擎的金融衍生品实时风险控制系统及方法 | |
CN104850394B (zh) | 分布式应用程序的管理方法和分布式系统 | |
CN106326002A (zh) | 资源调度方法、装置及设备 | |
CN102542414A (zh) | 一种基于规则引擎的业务流程与业务数据处理的松耦合方法及系统 | |
CN110209549A (zh) | 数据处理方法、相关装置、相关设备和系统 | |
CN106776984B (zh) | 一种分布式系统挖掘数据的清洗方法 | |
CN106506266A (zh) | 基于GPU、Hadoop/Spark混合计算框架的网络流量分析方法 | |
TW201523174A (zh) | 智能學習節能調控系統與方法 | |
CN106250566A (zh) | 一种分布式数据库及其数据运算的管理方法 | |
CN108628890A (zh) | 一种数据导出方法及系统 | |
CN106059940A (zh) | 一种流量控制方法及装置 | |
CN108629627A (zh) | 一种移动广告的自动投放控制方法 | |
CN108390771A (zh) | 一种网络拓扑重建方法和装置 | |
CN107135123A (zh) | 一种rack服务器资源动态池化的调配方法 | |
CN108694573A (zh) | 动态网络衡算的深度支付分账方法及系统 | |
CN107957945B (zh) | 货币基金系统自动性能测试方法、装置、设备及存储介质 | |
CN110442446A (zh) | 实时处理高速数字信号数据流的方法 | |
CN108509266A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN106921583A (zh) | 网络设备流量控制方法及装置 | |
CN106294445B (zh) | 基于跨机房Hadoop集群的数据存储的方法及装置 | |
WO2024045400A1 (zh) | 一种支持并行执行的决策流引擎简化方法 | |
CN107609129A (zh) | 日志实时处理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |