CN110704456A - 一种业务规则的更新方法及设备、计算机可读存储介质 - Google Patents
一种业务规则的更新方法及设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN110704456A CN110704456A CN201810654589.5A CN201810654589A CN110704456A CN 110704456 A CN110704456 A CN 110704456A CN 201810654589 A CN201810654589 A CN 201810654589A CN 110704456 A CN110704456 A CN 110704456A
- Authority
- CN
- China
- Prior art keywords
- rule
- business rule
- business
- activity
- cache space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 230000000694 effects Effects 0.000 claims abstract description 167
- 238000012545 processing Methods 0.000 claims description 175
- 230000001934 delay Effects 0.000 claims description 15
- 230000003247 decreasing effect Effects 0.000 claims description 7
- 230000007423 decrease Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 description 19
- 230000015654 memory Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000002360 explosive Substances 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种业务规则的更新方法,包括:获取至少一个业务规则以及所述至少一个业务规则对应的活跃度,并将所述至少一个业务规则按照活跃度大小分配至N个级别的缓存空间中;其中,所述活跃度用于表征所述业务规则的访问概率,N为大于1的整数;从磁盘中获取第一业务规则和所述第一业务规则的活跃度;基于所述第一业务规则和所述第一业务规则的活跃度,更新所述N个级别的缓存空间中的业务规则。本发明实施例同时还公开了一种设备以及计算机存储介质。
Description
技术领域
本发明实施例涉及但不限于数据处理技术,尤其涉及一种业务规则的更新方法及设备、计算机可读存储介质。
背景技术
近年来,随着高性能计算、医学影像、石油和天然气勘探、数字媒体和社交网络等数据密集型应用的广泛使用,数据呈现了爆炸式的增长趋势;据研究显示,2020年数据将达到40ZB,比2009年的0.8ZB猛增44倍。许多公司每天都会产生TB级别的大数据,如何对这些数据进行分析处理成为了当前研究的热点。流式数据处理技术以其低时延的优势逐渐成为大数据分析处理技术的基础和核心,受到了业内人士的追捧。
目前的流式数据处理技术,通过预先定义业务规则,继而基于业务规则引擎进行数据处理能够加快流式数据处理的速度。在实际应用中,多个数据业务共用分布式规则引擎服务器,每个数据业务有自己的负载模型和缓存需求;为了简化数据处理过程,通常采用将全部的规则加载至规则引擎服务器的缓存空间中,加速数据业务的处理。
但是在当前庞大规模的数据场景下,尤其是对数据处理的实时性要求较高的场景下,基于规则引擎的流式数据处理技术面临着许多问题。具体地,随着业务规则的数量不断增加,缓存空间的资源趋于紧张的现状,需要增加规则引擎服务器的缓存空间或者将部分业务规则清除出缓存空间。但是,增加规则引擎服务器的缓存空间会造成成本增加,而将访问度高的业务规则清除出缓存空间,会降低流式数据处理系统吞吐率以及增加各业务处理延时。
因此,根据数据业务负载的变化和业务规则的访问活跃度,动态分配缓存空间,从而在满足系统吞吐率、响应及时性的同时,降低各业务处理的延时是流式数据处理亟需解决的问题。
发明内容
为解决上述技术问题,本发明实施例期望提供一种业务规则的更新方法及设备、计算机可读存储介质。
本发明的技术方案是这样实现的:
第一方面,本发明实施例提供一种业务规则的更新方法,所述方法应用与第一设备,该方法包括:
获取至少一个业务规则以及所述至少一个业务规则对应的活跃度,并将所述至少一个业务规则按照活跃度大小分配至N个级别的缓存空间中;其中,所述活跃度用于表征所述业务规则的访问概率,N为大于1的整数;
从磁盘中获取第一业务规则和所述第一业务规则的活跃度;
基于所述第一业务规则和所述第一业务规则的活跃度,更新所述N个级别的缓存空间中的业务规则。
第二方面,本发明实施例提供一种业务规则的更新方法,所述方法应用于第二设备,所述方法包括:
接收所述第二设备控制范围内的所有第一设备发送的业务规则处理时延,得到所述业务规则处理时延列表;
基于所述业务规则处理时延列表,增加或减少所述第一设备。
第三方面,提供一种第一设备,所述第一设备至少包括:第一处理器和配置为存储可执行指令的第一存储介质,其中:
所述第一处理器配置为执行存储的可执行指令,所述可执行指令包括:
获取至少一个业务规则以及所述至少一个业务规则对应的活跃度,并将所述至少一个业务规则按照活跃度大小分配至N个级别的缓存空间中;其中,所述活跃度用于表征所述业务规则的访问概率,N为大于1的整数;
从磁盘中获取第一业务规则和所述第一业务规则的活跃度;
基于所述第一业务规则和所述第一业务规则的活跃度,更新所述N个级别的缓存空间中的业务规则。
第四方面,提供一种第二设备,所述第二设备至少包括:第二处理器和配置为存储可执行指令的第二存储介质,其中:
接收所述第二设备控制范围内的所有第一设备发送的业务规则处理时延,得到所述业务规则处理时延列表;
基于所述业务规则处理时延列表,增加或减少所述第一设备。
第五方面,提供一种计算机存储介质,所述计算机存储介质中存储有计算机可执行指令,该计算机可执行指令配置为执行上述第一方面或第二方面提供的业务规则的更新方法的步骤。
本发明实施例提供了一种业务规则的更新方法及设备、计算机可读存储介质,通根据业务规则的活跃度,为业务规则动态分配缓存空间,并且根据从磁盘中获取的第一业务规则的活跃度,对缓存空间中的业务规则进行更新;如此,可以将磁盘中活跃度变高的业务规则更新至对应级别的缓存空间中,而活跃度一直很高的业务规则始终保存在缓存空间中。随着业务规则的访问概率逐渐趋于稳定,各级缓存空间中的分布的业务规则为访问概率较高的业务规则,这样,在缓存空间资源固定的情况下,能够提高查找匹配业务规则的效率,降低数据处理的时延。
附图说明
图1为本发明实施例提供的一种基于业务规则的流式数据处理模型;
图2为本发明实施例提供的一种业务规则的更新方法的流程示意图;
图3为本发明实施例提供的基于多级缓存空间的行走算法机制示意图;
图4为本发明实施例提供的又一种业务规则的更新方法的流程示意图
图5为本发明实施例提供的另一种业务规则的更新方法的流程示意图;
图6为本发明实施例提供的再一种业务规则的更新方法的流程示意图;
图7为本发明实施例提供的一种系统结构示意图;
图8为本发明另一实施例提供的一种业务规则的更新方法的流程示意图;
图9为本发明实施例提供的一种数据流处理架构示意图;
图10为本发明实施例提供的一种第一设备的结构示意图;
图11为本发明实施例提供的一种第二设备的结构示意图。
具体实施方式
为了能够更加详尽地了解本发明实施例的特点与技术内容,下面结合附图对本发明实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本发明实施例。
随着信息资源爆炸性增长,流式数据处理系统逐渐成为大数据处理技术的基础和核心。分布式流式数据处理系统对于实时的海量数据处理,占有举足轻重的地位;因此低延时高可靠是分布式流式数据处理系统的核心指标。
目前越来越多的业务都需要对海量数据进行处理;例如:
电子商务:需要根据用户行为产生的数据来产生推荐信息,从而带来更多的流量和收益;新闻聚合:如果在一个重大事情发生后能够实时的推荐给用户,那么肯定能增大用户粘性,带来可观的流量;社交网站:大家每天都会去社交网站是为了看看现在发生了什么,周围人在做什么。流式计算可以把用户关注的热点聚合,实时反馈给用户,从而达到一个圈子的聚合效果;交通监管部门:每个城市的交通监管部门每天都要产生海量的视频数据,这些视频数据也是以流的形式源源不断的输系统中。流式数据处理系统需要以最快的速度来处理这些数据;大型集群的监控:集群监控的实时预警机制也非常重要,而流式系统对于日志的实时处理,往往是监控系统的关键。
通过上述场景可知,处理海量的用户数据,需要一个低延时高可靠的实时分布式流式数据处理系统。
在相关技术中,基于规则引擎的流式处理技术可以通过预先定义业务规则,进行数据处理时直接调用定义的业务规则,能够加快流数据处理的速度。
如图1所示为基于业务规则的流式数据处理模型,视频分析、实体防护警报、枪击检测等数据流源源不断地流入实时数据引擎,实时数据引擎将数据流与罪犯、车辆、犯罪行为等业务规则进行对照,得到劫机隐患或者身份威胁的处理结果。
但是在庞大的数据规模场景下,尤其是对实时性要求高的场景下,基于规则引擎的流式处理面临如下问题:
1)业务规则数量过大。随着数据的增多,相应的业务规则也越来越多;当面对百亿级体量的业务规则,系统实时的数据处理性能受到巨大的挑战;
2)业务规则的活跃度不同。每个数据业务有相应的负载模型,多个流业务规则逻辑复杂时,整个系统的吞吐量就会受到挑战。
在进行数据处理时,为了简化处理过程,通常采用将所有业务规则保存至缓存空间中,加速规则引擎处理。但随着规则数量增加,缓存空间资源紧张,需要增加缓存或者将部分业务规则清除。增加内存会造成成本增加,而将活跃的业务规则清除,会影响系统吞吐率及各业务处理延时。
因此,在基于规则的流处理系统中,如何根据流业务负载变化和数据访问活跃度,动态分配规则缓存,从而在满足系统全局吞吐率、响应及时性的同时,权衡各业务处理延时,是实时流处理亟需解决的问题。
有鉴于此,本发明实施例提供了一种业务规则的更新方法以解决上述问题。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本发明实施例提供一种业务规则的更新方法,参照图2所示,该方法包括以下步骤:
步骤201、获取至少一个业务规则以及至少一个业务规则对应的活跃度,并将所述至少一个业务规则按照活跃度大小分配至N个级别的缓存空间中。
其中,活跃度用于表征业务规则的访问概率,N为大于1的整数。
在本发明的其他实施例中,步骤201获取至少一个业务规则以及至少一个业务规则对应的活跃度,并将所述至少一个业务规则按照活跃度大小分配至N个级别的缓存空间中可以由第一设备来实现;第一设备可以是具备大数据处理功能的电子设备,在实际应用中,该第一设备包括但不限于工业控制计算机、服务器、个人计算机等各种类型计算机、一体式电脑、智能手机等。
一般情况下,当数据规模较大时,可以通过分布式流式数据处理系统进行流式数据处理。在本实施例中,第一设备可以是分布式流式数据处理系统的一个处理节点;这里,分布式流式处理系统中的处理节点可以有多个,也就是说在分布式系统中第一设备可以有多个;分布式流式数据处理系统可以处理多种类型的流式数据;其中,分布式流式处理系统可以为每种流式数据类型指定一组第一设备。
在本发明的其他实施例中,上述缓存是指可以与CPU进行高速数据交换的存储器,存储速率较快;在实际应用中,缓存一般为静态随机存储器(Static Random-AccessMemory,SRAM);当CPU需要读取一个数据时,首先从缓存空间中查找,若找到该数据则立即读取并将该数据发送至CPU处理;若没有找到该数据,就从速率相对较慢的磁盘中读取该数据并送给CPU处理,同时把这个数据所在的数据块调入缓存中,可以使得以后对整块数据的读取都从缓存中进行,不必再调用内存。
进一步地,将缓存空间分配为N个级别的缓存空间,即将缓存空间细分为第1级别至第N级别的缓存空间。优选地,可以根据第一设备的业务处理能力和/或业务规则的复杂度,将所述缓存空间分配为N个级别的缓存空间。
另外,业务规则是业务操作中的流程、规范与策略;具体来说,业务规则的理论基础是:设置一个条件集合,当满足这个条件集合的时候,触发一个或者多个动作;举例来说,业务规则可以是当判断一个订单的总额大于500,则执行5%的折扣。
在实际应用中,业务规则存储在规则库中;第一设备从规则库中获取对应数据类型所有的业务规则集合,并将获取的业务规则集合存储在第一设备的磁盘中。在本实施例中,第一设备可以从磁盘中获取与缓存空间大小对应数量的业务规则,并根据业务规则的活跃度将上述业务规则存储在对应级别的缓存空间中,其中,业务规则的活跃度可以是业务规则被访问的概率。示例性的,第一设备可以将业务规则按照活跃度从高到低依次存储入第N级别缓存空间至第1级别缓存空间。
步骤202、从磁盘中获取第一业务规则和第一业务规则的活跃度。
在本发明的其他实施例中,步骤202从磁盘中获取第一业务规则和第一业务规则的活跃度可以由第一设备来实现。
进一步地,第一设备可以从磁盘中查找第一业务规则。这里,第一设备可以通过扫描式方式,即逐一匹配的方式在磁盘中查找第一业务规则。
在本发明的其他实施例中,第一业务规则的活跃度并不是固定不变的,而是由第一业务规则的访问概率来决定。示例性地,第一业务规则的活跃度可以在预设时间周期内随着所述第一业务规则访问概率而改变。
步骤203、基于第一业务规则和第一业务规则的活跃度,更新N个级别的缓存空间中的业务规则。
其中,步骤203基于所述第一业务规则和所述第一业务规则的活跃度,更新所述N个级别的缓存空间中的业务规则可以由第一设备来实现。
在本发明的其他实施例中,第一设备可以基于第一业务规则的活跃度,采用行走算法更新N个级别的缓存空间中的业务规则。其中,基于多级缓存空间的行走算法机制可以如图3所示,具体地,第一设备可以将缓存细分成N个级别的缓存空间(第1级至第N级);其中,缓存空间的级别越高,其内部存储的业务规则的活跃度越高。当业务规则被初次读取时,根据业务规则的活跃度选择是否将上述业务规则放入第1级缓存,随着业务规则活跃度的增加,将业务规则从第1级缓存空间上升到第2级缓存空间,同理将第2级缓存空间保存的活跃度高的业务规则上升到第3级缓存空间,以此类推,将第N-1级缓存空间保存的活跃高的业务规则上升至第N级缓存空间;而当业务规则的活跃度降低,缓存空间中的业务规则不是立刻被扫出缓存空间,而是逐级降低到N个级别的缓存空间中的较低一级,即,将业务规则从第N级缓存空间降级到第N-1级缓存空间,…,第2级缓存空间中降级到第1级缓存空间,只有第1级缓存空间的规则会被移除出缓存空间中。
进一步地,步骤203可以基于第一业务规则的活跃度,将所述第一规则添加至对应级别的缓存空间中,同时将第1级缓存空间中活跃度最低的业务规则移除出缓存空间。
本发明实施例提供了一种业务规则的更新方法,通根据业务规则的活跃度,为业务规则动态分配缓存空间,并且根据从磁盘中获取的第一业务规则的活跃度,对缓存空间中的业务规则进行更新;如此,可以将磁盘中活跃度变高的业务规则更新至对应级别的缓存空间中,而活跃度一直很高的业务规则始终保存在缓存空间中。随着业务规则的访问概率逐渐趋于稳定,各级缓存空间中的分布的业务规则为访问概率较高的业务规则,这样,在缓存空间资源固定的情况下,能够提高查找匹配业务规则的效率,降低数据处理的时延。
基于前述实施例,本发明的实施例提供一种业务规则的更新方法,参照图4所示,该方法包括以下步骤:
步骤401、接收第二设备控制范围内的所有第一设备发送的业务规则处理时延,得到业务规则处理时延列表。
其中,步骤401接收第二设备控制范围内的所有第一设备发送的业务规则处理时延,得到业务规则处理时延列表可以由第二设备来实现;这里,第二设备可以是具有管理功能的电子设备,能够对第一设备进行控制,在实际应用中,第二设备包括但不限于工业控制计算机、服务器等。
第二设备可以是流式数据处理系统中的管理节点,能够实现对第一设备的控制。
在实际应用中,第一设备和第二设备还具备通信功能,第二设备能够通过数据线与多个第一设备建立通信连接,也可以通过WiFi或蓝牙的方式建立通信连接;与第二设备建立通信连接的多个第一设备和第二设备一起构成分布式流式数据处理系统;这里,第二设备可以控制多个第一设备进行数据处理。
在本实施例中,每个第一设备对数据进行处理后,都会得到对该数据处理的时间;综合第一设备处理数据的时间,能够得到表征第一设备处理能力的业务规则处理时延。第二设备控制范围内的第一设备将各自的业务规则处理时延发送至第二设备中,继而,第二设备综合所有第一设备的业务规则处理时延,得到业务规则处理时延列表。
步骤402、基于业务规则处理时延列表,增加或减少第一设备。
其中,步骤402基于业务规则处理时延列表,增加或减少第一设备可以由第二设备来实现。
本实施例中,业务规则处理时延列表可以表征整个分布式流式数据处理系统的处理能力;若整个系统的处理时延较大,说明分布式流式处理系统当前数据负载较大,系统内的处理节点无法实时完成数据处理,则需要增加系统内的第一设备来分担业务数据进行数据处理,降低系统的数据处理时延;另外,若整个系统的处理时延相对较小,说明分布式流式处理系统当前数据负载相对较少,可以降低系统内第一设备,节约数据处理资源。
本发明实施例提供了一种业务规则的更新方法,首先接收第二设备控制范围内的所有第一设备发送的业务规则处理时延,得到业务规则处理时延列表,然后基于业务规则处理时延列表,增加或减少所述第一设备;这里,数据时延列表能够表征整个分布式流式数据处理系统的处理能力,第二设备根据系统的处理能力自动增加或者降低系统内的处理节点,即第一设备;如此,分布式流式处理系统可以根据系统内数据的负载特征,灵活调整系统内的第一设备,提高系统的整体性能。
基于前述实施例,本发明实施例提供一种业务规则的更新方法,参照图5所述,该方法包括以下步骤:
步骤501、第二设备为每个数据类型指定一组第一设备。
其中,第二设备为分布式流式数据处理系统中的管理节点,第一设备为分布式流式数据处理系统中的处理节点;该分布式流式数据处理系统可以处理各种类型的数据,为了简化处理,第二设备为每种数据类型指定一组第一设备。
步骤502、第一设备将将缓存空间分配为N个级别的缓存空间,并将获取到的业务规则按照活跃度大小保存至所述N个级别的缓存空间中。
其中,N为大于1的整数。
在本实施例中,第一设备可以控制第n级缓存空间中保存的业务规则的活跃度至少大于或者等于第n-1级缓存空间中保存的业务规则的活跃度。其中,n为大于1或者小于等于N的整数。也就是说,在本实施例中,高级别的缓存空间中的业务规则的活跃度大于低级别的缓存空间中的业务规则。
步骤503、第一设备获取并解析待处理数据,从N个级别的缓存空间中查找与待处理数据匹配的第一业务规则。
实际应用中,待处理数据可以是通过流式数据处理系统的数据流。这里,流式数据处理系统根据数据类型,为第一设备传送对应类型的数据流。第一设备在接收到待处理数据后,解析所述待处理数据。
在本实施例中,缓存空间因其具有高速存取的功能,因此,第一设备在获取到待处理数据时,首先从缓存空间中查找是否存在与待处理数据匹配的第一业务规则。这里,第一设备可以通过扫描式方式,即逐一匹配的方式在N个级别的缓存空间中查找与待处理数据匹配的第一业务规则。若N个缓存空间中存在所述第一业务规则,执行步骤511~515。
步骤504、若N个级别的缓存空间中并不存在第一业务规则,第一设备则从磁盘中查找与待处理数据匹配的第一业务规则,并获取第一业务规则的活跃度。
在本发明的其他实施例中,第一设备可以从磁盘中查找与待处理数据匹配的第一业务规则。这里,第一设备可以通过扫描式方式,即逐一匹配的方式在磁盘中查找与待处理数据匹配的第一业务规则。
优选地,第一业务规则的活跃度可以通过以下方式得到:
第一设备获取当前时间周期内第一业务规则的访问概率,并基于当前时间周期内的访问概率和前一时间周期内第一业务规则的活跃度,得到所述第一业务规则的活跃度。
在实际应用中,第一设备可以根据上述方式在预设时间周期内更新各个业务规则的活跃度,以备第一设备在需要时能够直接获取当前时间周期内的业务规则的活跃度。
需要说明的是,第一设备需要根据第一业务规则的活跃度更新N个级别的缓存空间中保存的业务规则;在本实施例中,首先第一设备可以将第一业务规则的活跃度与最高等级的缓存空间,即第N级缓存空间中的最低活跃度进行对比,继而将第一业务规则的活跃度与次高等级的缓存空间,第N-1级缓存空间中的最低活跃度进行对比,以此类推,直至将第一业务规则的活跃度与最低等级的缓存空间,即第1级缓存空间中的最低活跃度进行对比;如此,可以得到第一业务规则应该保存的对应级别的缓存空间;这样,将第一业务规则保存至对应级别的缓存空间中,然后再对缓存空间中其他的业务规则进行适应性的调整。具体过程详见步骤505~510。
步骤505、第一设备获取第n级缓存空间中的第二业务规则。
其中,第二业务规则为第n级缓存空间中活跃度最低的业务规则;其中,n=N,N-1,…,3,2。
需要说明的是,步骤505之后可以选择执行步骤506~508或者步骤509~510。
步骤506、若第一业务规则的活跃度大于第二业务规则的活跃度,第一设备则将第一业务规则保存至第n级缓存空间中,将第二业务规则移除出第n级缓存空间。
在本实施例中,在步骤502中,对N个级别的缓存空间分配后,每个级别的缓存空间的大小是固定的;因此,将第一业务规则保存至对应的缓存空间后,则需要将原缓存空间中活跃度最低的规则移除出该级别的缓存空间。
在本发明的其他实施例中,将第二业务规则移除出第n级缓存空间,并不意味着将第二业务规则移除出缓存空间,仅仅是将第二业务规则移除出该第n级缓存空间,至于将该第二业务规则转移到何处,还需要根据第二业务规则的活跃度进行判断,具体过程详见步骤507~508。
另外,当n取值为1,第一设备判断第一业务规则的活跃度大于第二业务规则的活跃度时,则将第一业务规则保存至第1级缓存空间中,将第二业务规则移除出N个级别的缓存空间;这里,n取值为1时,说明当前缓存空间的级别最低,当第一业务规则保存在所述第1级缓存空间中时,需要将原第1级缓存空间中的活跃度最低的业务规则移除出第1级别的缓存空间,这里,由于第1级别的缓存空间是等级最低的缓存空间,则移除出第1级别的缓存空间就意味着移除出N个级别的缓存空间。
步骤507、第一设备获取第n-1级缓存空间中的第三业务规则。
其中,第三业务规则为第n-1级缓存空间中活跃度最小的业务规则。
在本发明的其他实施例中,在步骤506将第二业务规则移除出第n级缓存空间后,还需要根据第二业务规则的活跃度判断第二规则应该保存的对应等级的缓存空间;而在本实施例中,等级越高的缓存空间,存储的业务规则的活跃度就越高;因此,当第二业务规则被移除出第n级缓存空间,只需要从第n-1级缓存空间开始,依次获取第n-1级缓存空间至第1级缓存空间中活跃度最低的业务规则,判断第二业务规则的活跃度与对应级别缓存空间中的最低活跃度之间的关系,将第二业务规则保存至对应级别的缓存空间中。
步骤508、若第二业务规则的活跃度大于第三业务规则的活跃度,第一设备将第二业务规则保存至第n-1级缓存空间中,将第三业务规则移除出第n-1级缓存空间。
其中,将第三业务规则移除出第n-1级缓存空间,也就是说,第三业务规则的活跃度较低,不足以保存在第n-1级缓存空间中;但是,将第三业务规则移除出第n-1级缓存空间并不意味着将第三业务规则移除出N个级别的缓存空间,而是仅仅是将第三业务规则移除出该第n级缓存空间,至于将该第三业务规则转移到何处,还需要根据第三业务规则的活跃度进行判断;具体过程与步骤507~508中第二业务规则处理过程类似。
另外,若第二规则的活跃度小于第三业务规则的活跃度,则说明第二规则的活跃度较低,不足以存储在第n-1级缓存空间中,还需要将第二业务规则的活跃度与第n-2级缓存空间中最低的活跃度进行比;若第二业务规则的活跃度仍然小于第n-2级缓存空间中最低的活跃度,则继续将第二业务规则的活跃度与第n-3级缓存空间中最低的活跃度进行比,以此类推,直至获取第1级缓存空间中活跃度最低的第N业务规则;若第二业务规则的活跃度大于第N业务规则的活跃度,则将第二业务规则保存至第1级缓存空间中,将第N业务规则移除出第1级缓存空间;若第二业务规则的活跃度小于第N业务规则的活跃度,则认为第二业务规则的活跃度较低,将第二业务规则移除出N个等级的缓存空间中,因此,在这种情况下,当第一设备需要访问第二业务规则时,则需要在磁盘中查找第二业务规则。
需要说明的是,步骤508之后执行步骤511。
基于前述实施例,在本发明的其它实施例中,如图6所示,步骤505之后也可以执行步骤509~510;
步骤509、若第一业务规则的活跃度小于第二业务规则的活跃度,第一设备则获取第n-1级缓存空间中的第三业务规则。
其中,第三业务规则为第n-1级缓存空间中活跃度最小的业务规则。
在本发明的其他实施例中,第一业务规则的活跃度小于第二业务规则的活跃度,可以说明第一业务规则的活跃度较低,并不适合保存在第n级缓存空间中;那么,第一设备可以继续获取第n-1级缓存空间中活跃度最小的业务规则,即第三业务规则;将第一业务规则的活跃度与第三规则的活跃度进行对比,判断第一业务规则是否适合保存在第n-1级缓存空间中。
步骤510、若第一业务规则的活跃度大于第三业务规则的活跃度,第一设备则将第一业务规则保存至所述第n-1级缓存空间中,将第三业务规则移除所述第n-1级缓存空间。
在本发明的其他实施例中,若第一业务规则的活跃度小于第三业务规则的活跃度,说明第一业务规则的活跃度不足以保存在第n-1级缓存空间中;则第一设备需要将第一业务规则的活跃度与第n-2级缓存空间中最低的活跃度进行对比,若第一业务规则的活跃度仍然低于第第n-2级缓存空间中最低的活跃度,则第一设备继续将第一业务规则的活跃度与第n-3级缓存空间中最低的活跃度进行对比,以此类推,直至获取第1级缓存空间中活跃度最低的第N业务规则。若第一业务规则的活跃度大于第N业务规则的活跃度,则将第一业务规则保存至第1级缓存空间中,将第N业务规则移除出第1级缓存空间;若第一业务规则的活跃度小于第N业务规则的活跃度,则认为第一业务规则的活跃度较低,移除出第1级缓存空间,即第一业务规则被移除出所述N级缓存空间。
需要说明的是,步骤508和步骤510之后都可以执行以下步骤:
步骤511、第一设备根据第一业务规则,对待处理数据进行处理。
步骤512、第一设备获取业务规则处理时延,并将处理时延发送至第二设备。
其中,第二设备用于基于接收到第二设备控制范围内的所有第一设备的业务规则处理时延,增加或减少第一设备。
在本发明的其他实施例中,第一设备在每次执行数据处理之后,都能够得到处理对应数据的时间大小。优选地,第一设备可以在多次获取数据处理时间之后,通过预设方式统计第一设备的数据处理时间,得到业务规则处理时延;这里,预设方式可以是取平均值或者中位数的方式。
步骤513、第二设备接收第二设备控制范围内的所有第一设备发送的业务规则处理时延,得到业务规则处理时延列表。
需要说明的是,步骤513之后,可以选择执行步骤514或者步骤515。
步骤514、第二设备判断业务规则处理时延列表中有第一预设个数的第一设备的业务规则时延大于第一预设时延时,则增加第一设备。
其中,第一预设个数可以是3~5个;第一预设时延可以是规则处理时延的上界值。
在步骤514中业务规则处理时延列表中有第一预设个数的第一设备的业务规则时延大于第一预设时延时,可以认为该分布式流式数据处理系统当前业务负载较大,造成数据处理的时延较大,因此,作为管理节点的第二设备在系统中增加第一设备来分担数据业务的负载。
步骤515、第二设别判断业务规则处理时延列表中有第二预设个数的第一设备的业务规则时延业务规则时延在预设次数内小于第二预设时延时,则减少第一设备。
其中,第二预设个数可以是10~15个;第二预设时延可以是规则处理时延的下界值。
在步骤515中业务规则处理时延列表中有第二预设个数的第一设备的业务规则时延业务规则时延在预设次数内小于第二预设时延,可以认为该分布式流式数据处理系统当前业务负载较小,当前的处理节点能够完成当前的数据处理,为了节约资源,第二设备可以减少系统内的第一设备。
需要说明的是,本实施例中与其他实施例中相同步骤或相关概念的解释可以参照其他实施例中的描述,此处不再赘述。
本发明实施例提供了一种业务规则的更新方法,采用多等级缓存空间,不仅可以抵御扫描式操作,而且具有主动优化的能力;即在系统运行一段时间之后,各业务规则的活跃度会逐渐拟合其被访问的实际概率。随着各个业务规则访问概率逐渐稳定,各级缓存空间中业务规则的分布即为系统实际业务规则活跃度分布。在这样的情况下,业务规则通过主动学习适应,能够依照实际活跃度将业务规则分级缓存;这样,能够最大限度的发挥缓存空间利用率,在给定缓存空间资源条件下最大化总体业务规则的命中率。
本发明实施例提供的业务规则的更新方法,可以应用与图7所示的系统架构中,该系统架构包括第二设备71,四个第一设备72、73、74和75,以及规则库76。其中,第二设备中包括负载管理模块和资源管理模块;第二设备能够通过负载管理模块和资源管理模块实现对第一设备的控制和管理。第一设备包括接收端,节点管理模块、规则缓存模块等。
下面,结合上述系统架构对本发明再作进一步详细的描述。
基于上述系统框架和前述实施例,本发明实施例提供一种业务规则的更新方法,如图8所示,该方法包括以下步骤:
步骤801、第二设备中的负载管理模块为每个数据处理类型指定一组第一设备。
示例性的,如图7所示,为技术侦查数据类型指定第一设备72、73和74。
步骤802、第一设备从规则库中获取对应数据处理类型的所有业务规则,并将缓存空间初始化为2个级别的缓存空间。
步骤803、分布式流式数据处理系统向第一设备传送业务数据流。
其中,分布式流式数据处理系统可以为卡夫卡(kafka)处理系统。
步骤804、第一设备的接收端接收待处理数据,并解析所述待处理数据。
其中,每个接收端有一个消费者(consumer)线程,用于解析待处理数据中的目标信息。
在本发明的实施例中,数据流处理架构可以如图9所示。其中,kafka主题将业务数据分为N个类型,每个类型对应一个或者多个第一设备。同类型的流接收端consumer线程属于一个组;根据kafka的特性,同一个组中的consumer组成一个队列,保证kafka中的一条数据只由其中的一个consumer线程来处理。
步骤805、第一设备中的接收端将目标信息递交给规则匹配模块。
步骤806、第一设备中的规则匹配模块在第1级缓存空间和第2级缓存空间中查找是否存在与上述目标信息匹配的第一业务规则Rm;若在缓存空间中查找到第一业务规则Rm,执行步骤810。
步骤807、第一设备若在2个级别的缓存空间中未查找到匹配的业务规则,则规则匹配模块从第一设备的磁盘中查找第一业务规则Rm,并获取第一业务规则的活跃度。
其中,第一设备分别获取当前时间周期内各个业务规则的访问次数以及业务规则访问的总次数:
{A1,A2,...,Am,...,AN) (1);
其中,Am为第一业务规则的访问次数。
ATotal=A1+Am+...+AN (2);
继而,第一设备通过以下公式计算第一业务规则在当前周期内访问概率;
Pm=Am/ATotal (3);
最后,第一业务规则的活跃度通过以下公式得到:
Tempm=λTempm-1+(1-λ)Pm (4);
其中,λ为经验值,取值范围为0至1;Tempm为当前周期内第一业务规则的访问;Tempm-1为前一周期内第一业务规则的活跃度。
步骤808、第一设备在第2级缓存空间中查找活跃度最低的业务规则R2c,其活跃度为Temp2c,若Rm的活跃度大于Temp2c,则将第一业务规则Rm保存至第2级缓存空间中,将业务规则R2c清除出第2级缓存空间。
步骤809、第一设备查找第1级缓存空间中活跃度最低的业务规则R1c,其活跃度为Temp1c,若步骤808中被清除的业务规则R2c的活跃度大于Temp1c,则将业务规则R2c存放至第1级缓存空间中,将业务规则R1c清除出第1级缓存空间。
步骤810、第一设备中的匹配模块根据第一业务规则,计算待处理数据中满足第一业务规则的情况,将待处理数据放入待执行操作队列。
步骤811、第一设备中规则引擎管理模块,依次读取待执行操作,并分配给规则引擎容器执行相应操作。
步骤812、第一设备计算本设备的业务规则处理时延,并将业务规则处理时延发送至第二设备中。
其中,第一设备可以获取多次处理流式数据的时间,将上述处理时间按照数值从小到大的顺序进行排列,取第95个中位数为第一设备的业务规则处理时延。
步骤813、第二设备接收所有第一设备的业务规则处理时延;若其中出现3次大于业务规则处理延时上界值,则增加相应的第一设备;如果出现10次小于规则处理延时下界值,则减少第一设备。
需要说明的是,本实施例中与其他实施例中相同步骤或相关概念的解释可以参照其他实施例中的描述,此处不再赘述。
本发明实施例提供了一种业务规则的更新方法,采用多等级缓存空间,不仅可以抵御扫描式操作,而且具有主动优化的能力;即在系统运行一段时间之后,各业务规则的活跃度会逐渐拟合其被访问的实际概率。随着各个业务规则访问概率逐渐稳定,各级缓存空间中业务规则的分布即为系统实际业务规则活跃度分布。在这样的情况下,业务规则通过主动学习适应,能够依照实际活跃度将业务规则分级缓存;这样,能够最大限度的发挥缓存空间利用率,在给定缓存空间资源条件下最大化总体业务规则的命中率。
基于前述实施例,本发明的实施例提供一种第一设备,可以应用于图2、5-6对应的实施例提供的业务规则的更新方法中,参见图10所示,该第三设备10至少包括:第一处理器1001和配置为存储可执行指令的第一存储介质1002,其中:
第一处理器1001配置为执行存储的可执行指令,可执行指令用于实现下面的步骤:
获取至少一个业务规则以及所述至少一个业务规则对应的活跃度,并将所述至少一个业务规则按照活跃度大小分配至N个级别的缓存空间中;其中,所述活跃度用于表征所述业务规则的访问概率,N为大于1的整数;
从磁盘中获取第一业务规则和所述第一业务规则的活跃度;
基于所述第一业务规则和所述第一业务规则的活跃度,更新所述N个级别的缓存空间中的业务规则。
进一步地,第一处理器在执行所述将获取到的业务规则按照活跃度大小保存至所述N个级别的缓存空间中时,可以实现以下步骤:
控制第n级缓存空间中保存的业务规则的活跃度至少大于或者等于第n-1级缓存空间中保存的业务规则的活跃度;
相应的,所述基于所述第一业务规则的活跃度,更新所述N个级别的缓存空间中的业务规则,包括:
获取第n级缓存空间中的第二业务规则;其中,所述第二业务规则为所述第n级缓存空间中活跃度最低的业务规则;其中,n=N,N-1,…,3,2;
若第一业务规则的活跃度大于所述第二业务规则的活跃度,则将所述第一业务规则保存至所述第n级缓存空间中,将所述第二业务规则移除出所述第n级缓存空间。
进一步地,第一处理器还可以实现以下步骤:
若第一业务规则的活跃度小于第二业务规则的活跃度,获取第n-1级缓存空间中的第三业务规则;其中,所述第三业务规则为所述第n-1级缓存空间中活跃度最小的业务规则;
若第一业务规则的活跃度大于所述第三业务规则的活跃度,则将所述第一业务规则保存至所述第n-1级缓存空间中,将所述第三业务规则移除所述第n-1级缓存空间。
进一步地,第一处理器在执行所述将所述第二业务规则移除出所述第n级缓存空间,还可以实现以下步骤:
获取第n-1级缓存空间中的第三业务规则;其中,所述第三业务规则为所述第n-1级缓存空间中活跃度最小的业务规则;
若第二业务规则的活跃度大于所述第三业务规则的活跃度,将所述第二业务规则保存至所述第n-1级缓存空间中,将所述第三业务规则移除出所述第n-1级缓存空间。
进一步地,若n为1时,第一处理器在执行所述若第一业务规则的活跃度大于所述第二业务规则的活跃度,则将所述第一业务规则保存至所述第n级缓存空间中,将所述第二业务规则移除出所述第n级缓存空间,还可以实现以下步骤:
若所述第一业务规则的活跃度大于所述第二业务规则的活跃度,则将所述第一业务规则保存至第1级缓存空间中,将所述第二业务规则移除出所述N个级别的缓存空间。
进一步地,第一处理器在执行所述获取第一业务规则的活跃度,还可以实现以下步骤:
获取当前时间周期内的第一业务规则的访问概率;
基于所述当前时间周期内的第一业务规则的访问概率和前一时间周期内第一业务规则的活跃度,得到所述第一业务规则的活跃度。
进一步地,第一处理器在执行所述从磁盘中获取第一业务规则和所述第一业务规则的活跃度,还可以实现以下步骤:
获取并解析待处理数据,从磁盘中获取与所述待处理数据匹配的第一业务规则,并获取所述第一业务规则的活跃度;
相应的,第一处理器在执行所述基于所述第一业务规则和所述第一业务规则的活跃度,更新所述N个级别的缓存空间中的业务规则,可以实现以下步骤:
所述基于所述第一业务规则和所述第一业务规则的活跃度,更新所述N个级别的缓存空间中的业务规则,并根据所述第一业务规则对所述待处理数据进行处理。
进一步地,第一处理器在执行所述获取至少一个业务规则以及所述业务规则的活跃度,并将所述至少一个业务规则按照活跃度大小保存至N个级别的缓存空间之前,还可以实现以下步骤:
获取并解析待处理数据,从所述N个级别的缓存空间中查找与所述待处理数据匹配的第一业务规则;
若所述N个级别的缓存空间中并不存在所述第一业务规则,则从所述磁盘中查找与所述待处理数据匹配的第一业务规则。
进一步地,第一处理器在执行所述将缓存空间分配为N个级别的缓存空间,还可以执行以下步骤:
根据所述第一设备的业务处理能力和/或业务规则的复杂度,将所述缓存空间分配为N个级别的缓存空间。
在本发明的其他实施例中,第一处理器还可以实现以下步骤:
获取业务规则处理时延,并将所述处理时延发送至第二设备;
其中,所述第二设备用于基于接收到所述第二设备控制范围内的所有第一设备的业务规则处理时延,增加或减少第一设备。
需要说明的是,本实施例中第一处理器所执行的步骤的具体实现过程,可以参照图2、5-6对应的实施例提供的系统间连接方法中的实现过程,此处不再赘述。
本发明实施例提供了一种业务规则的更新方法及设备、计算机可读存储介质,通根据业务规则的活跃度,为业务规则动态分配缓存空间,并且根据从磁盘中获取的第一业务规则的活跃度,对缓存空间中的业务规则进行更新;如此,可以将磁盘中活跃度变高的业务规则更新至对应级别的缓存空间中,而活跃度一直很高的业务规则始终保存在缓存空间中。随着业务规则的访问概率逐渐趋于稳定,各级缓存空间中的分布的业务规则为访问概率较高的业务规则,这样,在缓存空间资源固定的情况下,能够提高查找匹配业务规则的效率,降低数据处理的时延。
基于前述实施例,本发明的实施例提供一种第二设备,该第二设备可以应用于图4-6对应的实施例提供的系统间的连接方法中,参照图11所示,该第二设备11至少包括:第二处理器1101和配置为存储可执行指令的第二存储介质1102,其中:
第二处理器1101配置为执行存储的可执行指令,可执行指令用于实现下面的步骤:
接收所述第二设备控制范围内的所有第一设备发送的业务规则处理时延,得到所述业务规则处理时延列表;
基于所述业务规则处理时延列表,增加或减少所述第一设备。
在本发明的其他实施例中,第二处理器在执行所述基于所述业务规则处理时延列表,增加或减少所述第一设备,可以实现以下步骤:
若所述业务规则处理时延列表中有第一预设个数的第一设备的业务规则时延大于第一预设时延,则增加所述第一设备;
若所述业务规则处理时延列表中有第二预设个数的第一设备的业务规则时延业务规则时延在预设次数内小于第二预设时延,则减少所述第一设备。
需要说明的是,本实施例中第二处理器所执行的步骤的具体实现过程,可以参照图4-6对应的实施例提供的系统间的连接方法中的实现过程,此处不再赘述。
本发明实施例提供了一种业务规则的更新方法,首先接收第二设备控制范围内的所有第一设备发送的业务规则处理时延,得到业务规则处理时延列表,然后基于业务规则处理时延列表,增加或减少所述第一设备;这里,数据时延列表能够表征整个分布式流式数据处理系统的处理能力,第二设备根据系统的处理能力自动增加或者降低系统内的处理节点,即第一设备;如此,分布式流式处理系统可以根据系统内数据的负载特征,灵活调整系统内的第一设备,提高系统的整体性能。
基于前述实施例,本发明的实施例提供一种计算机可读存储介质,计算机可读存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行上述方法所述步骤。计算机可读存储介质可以是磁性随机存取存储器(FRAM,ferromagneticrandom access memory)、只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,ElectricallyErasable Programmable Read-Only Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory)等存储器。
本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (15)
1.一种业务规则的更新方法,其特征在于,所述方法应用于第一设备,所述方法包括:
获取至少一个业务规则以及所述至少一个业务规则对应的活跃度,并将所述至少一个业务规则按照活跃度大小分配至N个级别的缓存空间中;其中,所述活跃度用于表征所述业务规则的访问概率,N为大于1的整数;
从磁盘中获取第一业务规则和所述第一业务规则的活跃度;
基于所述第一业务规则和所述第一业务规则的活跃度,更新所述N个级别的缓存空间中的业务规则。
2.根据权利要求1所述的方法,其特征在于,所述将所述至少一个业务规则按照活跃度大小分配至N个级别的缓存空间中,包括:
控制第n级缓存空间中保存的业务规则的活跃度至少大于或者等于第n-1级缓存空间中保存的业务规则的活跃度;
相应的,所述基于所述第一业务规则和所述第一业务规则的活跃度,更新所述N个级别的缓存空间中的业务规则,包括:
获取第n级缓存空间中的第二业务规则;其中,所述第二业务规则为所述第n级缓存空间中活跃度最低的业务规则;其中,n=N,N-1,…,3,2;
若第一业务规则的活跃度大于所述第二业务规则的活跃度,则将所述第一业务规则保存至所述第n级缓存空间中,将所述第二业务规则移除出所述第n级缓存空间。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
若第一业务规则的活跃度小于第二业务规则的活跃度,获取第n-1级缓存空间中的第三业务规则;其中,所述第三业务规则为所述第n-1级缓存空间中活跃度最小的业务规则;
若第一业务规则的活跃度大于所述第三业务规则的活跃度,则将所述第一业务规则保存至所述第n-1级缓存空间中,将所述第三业务规则移除所述第n-1级缓存空间。
4.根据权利要求2所述的方法,其特征在于,所述将所述第二业务规则移除出所述第n级缓存空间,包括:
获取第n-1级缓存空间中的第三业务规则;其中,所述第三业务规则为所述第n-1级缓存空间中活跃度最小的业务规则;
若第二业务规则的活跃度大于所述第三业务规则的活跃度,将所述第二业务规则保存至所述第n-1级缓存空间中,将所述第三业务规则移除出所述第n-1级缓存空间。
5.根据权利要求2所述的方法,其特征在于,若所述n为1时,所述若第一业务规则的活跃度大于所述第二业务规则的活跃度,则将所述第一业务规则保存至所述第n级缓存空间中,将所述第二业务规则移除出所述第n级缓存空间,包括:
若所述第一业务规则的活跃度大于所述第二业务规则的活跃度,则将所述第一业务规则保存至第1级缓存空间中,将所述第二业务规则移除出所述N个级别的缓存空间。
6.根据权利要求1所述的方法,其特征在于,所述获取第一业务规则的活跃度,包括:
获取当前时间周期内的第一业务规则的访问概率;
基于所述当前时间周期内的第一业务规则的访问概率和前一时间周期内第一业务规则的活跃度,得到所述第一业务规则的活跃度。
7.根据权利要求1所述的方法,其特征在于,所述从磁盘中获取第一业务规则和所述第一业务规则的活跃度,包括:
获取并解析待处理数据,从磁盘中获取与所述待处理数据匹配的第一业务规则,并获取所述第一业务规则的活跃度;
相应的,所述基于所述第一业务规则和所述第一业务规则的活跃度,更新所述N个级别的缓存空间中的业务规则,包括:
所述基于所述第一业务规则和所述第一业务规则的活跃度,更新所述N个级别的缓存空间中的业务规则,并根据所述第一业务规则对所述待处理数据进行处理。
8.根据权利要求7所述的方法,其特征在于,所述获取并解析待处理数据,从磁盘中查找与所述待处理数据匹配的第一业务规则,并获取所述第一业务规则的活跃度,包括:
获取并解析待处理数据,从所述N个级别的缓存空间中查找与所述待处理数据匹配的第一业务规则;
若所述N个级别的缓存空间中并不存在所述第一业务规则,则从所述磁盘中查找与所述待处理数据匹配的第一业务规则。
9.根据权利要求1所述的方法,其特征在于,所述获取至少一个业务规则以及所述业务规则的活跃度,并将所述至少一个业务规则按照活跃度大小保存至N个级别的缓存空间之前,所述方法还包括:
根据所述第一设备的业务处理能力和/或业务规则的复杂度,将所述缓存空间分配为N个级别的缓存空间。
10.根据权利要求1~9任一所述的方法,其特征在于,所述方法还包括:
获取业务规则处理时延,并将所述处理时延发送至第二设备;
其中,所述第二设备用于基于接收到所述第二设备控制范围内的所有第一设备的业务规则处理时延,增加或减少第一设备。
11.一种业务规则的更新方法,其特征在于,所述方法应用于第二设备,所述方法包括:
接收所述第二设备控制范围内的所有第一设备发送的业务规则处理时延,得到所述业务规则处理时延列表;
基于所述业务规则处理时延列表,增加或减少所述第一设备。
12.根据权利要求10所述的方法,其特征在于,所述基于所述业务规则处理时延列表,增加或减少所述第一设备,包括:
若所述业务规则处理时延列表中有第一预设个数的第一设备的业务规则时延大于第一预设时延,则增加所述第一设备;
若所述业务规则处理时延列表中有第二预设个数的第一设备的业务规则时延业务规则时延在预设次数内小于第二预设时延,则减少所述第一设备。
13.一种第一设备,其特征在于,所述第一设备至少包括:第一处理器和配置为存储可执行指令的第一存储介质,其中:
所述第一处理器配置为执行存储的可执行指令,所述可执行指令包括:
获取至少一个业务规则以及所述至少一个业务规则对应的活跃度,并将所述至少一个业务规则按照活跃度大小分配至N个级别的缓存空间中;其中,所述活跃度用于表征所述业务规则的访问概率,N为大于1的整数;
从磁盘中获取第一业务规则和所述第一业务规则的活跃度;
基于所述第一业务规则和所述第一业务规则的活跃度,更新所述N个级别的缓存空间中的业务规则。
14.一种第二设备,其特征在于,所述第二设备至少包括:第二处理器和配置为存储可执行指令的第二存储介质,其中:
接收所述第二设备控制范围内的所有第一设备发送的业务规则处理时延,得到所述业务规则处理时延列表;
基于所述业务规则处理时延列表,增加或减少所述第一设备。
15.一种计算机存储介质,所述计算机存储介质中存储有计算机可执行指令,该计算机可执行指令配置为执行上述权利要求1至10或11至12任一项提供的业务规则的更新方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810654589.5A CN110704456A (zh) | 2018-06-22 | 2018-06-22 | 一种业务规则的更新方法及设备、计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810654589.5A CN110704456A (zh) | 2018-06-22 | 2018-06-22 | 一种业务规则的更新方法及设备、计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110704456A true CN110704456A (zh) | 2020-01-17 |
Family
ID=69192229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810654589.5A Pending CN110704456A (zh) | 2018-06-22 | 2018-06-22 | 一种业务规则的更新方法及设备、计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110704456A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104866433A (zh) * | 2015-05-31 | 2015-08-26 | 上海交通大学 | 基于历史信息的多级缓存方法 |
CN105812189A (zh) * | 2016-04-26 | 2016-07-27 | 努比亚技术有限公司 | 一种信息处理方法及服务器 |
CN106339331A (zh) * | 2016-08-31 | 2017-01-18 | 电子科技大学 | 一种基于用户活跃度的数据缓存层置换算法 |
CN107450858A (zh) * | 2017-08-11 | 2017-12-08 | 湖南国科微电子股份有限公司 | 一种固态硬盘分级存储方法及系统 |
-
2018
- 2018-06-22 CN CN201810654589.5A patent/CN110704456A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104866433A (zh) * | 2015-05-31 | 2015-08-26 | 上海交通大学 | 基于历史信息的多级缓存方法 |
CN105812189A (zh) * | 2016-04-26 | 2016-07-27 | 努比亚技术有限公司 | 一种信息处理方法及服务器 |
CN106339331A (zh) * | 2016-08-31 | 2017-01-18 | 电子科技大学 | 一种基于用户活跃度的数据缓存层置换算法 |
CN107450858A (zh) * | 2017-08-11 | 2017-12-08 | 湖南国科微电子股份有限公司 | 一种固态硬盘分级存储方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019195501A1 (en) | Cloud platforms, services, and methods | |
US10769126B1 (en) | Data entropy reduction across stream shard | |
US20140075108A1 (en) | Efficient tcam resource sharing | |
Li et al. | Accurate learning or fast mixing? Dynamic adaptability of caching algorithms | |
CN108173905B (zh) | 一种资源配置方法、装置及电子设备 | |
CN109918382A (zh) | 数据处理方法、装置、终端及存储介质 | |
CN106230997B (zh) | 一种资源调度方法和装置 | |
CN112445857A (zh) | 一种基于数据库的资源配额管理方法和装置 | |
CN110058949B (zh) | 一种基于智能边缘计算的传感云低耦合控制方法 | |
CN108512768B (zh) | 一种访问量的控制方法及装置 | |
CN108471385B (zh) | 一种针对分布式系统的流量控制方法及装置 | |
CN107948084B (zh) | 一种限流方法和装置 | |
CN107018170A (zh) | 一种数据同步方法和设备 | |
US11409670B2 (en) | Managing lock coordinator rebalance in distributed file systems | |
Xu et al. | Joint foundation model caching and inference of generative AI services for edge intelligence | |
CN110704456A (zh) | 一种业务规则的更新方法及设备、计算机可读存储介质 | |
CN116027982A (zh) | 数据处理方法、设备及可读存储介质 | |
US10193790B2 (en) | Systems and methods for an intelligent, distributed, autonomous, and scalable resource discovery, management, and stitching | |
CN107707383B (zh) | 放通处理方法、装置、第一网元及第二网元 | |
Ullah et al. | Task priority-based cached-data prefetching and eviction mechanisms for performance optimization of edge computing clusters | |
CN113596146A (zh) | 一种基于大数据的资源调度的方法及装置 | |
CN113873025A (zh) | 数据处理方法及装置、存储介质及电子设备 | |
US10185729B2 (en) | Index creation method and system | |
WO2024119792A1 (zh) | 一种视频数据存储及分析方法、装置、系统、通信设备和存储介质 | |
US9652373B2 (en) | Adaptive statistics for a linear address space |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200117 |