CN108280227A - 基于缓存的数据信息处理方法及装置 - Google Patents

基于缓存的数据信息处理方法及装置 Download PDF

Info

Publication number
CN108280227A
CN108280227A CN201810145888.6A CN201810145888A CN108280227A CN 108280227 A CN108280227 A CN 108280227A CN 201810145888 A CN201810145888 A CN 201810145888A CN 108280227 A CN108280227 A CN 108280227A
Authority
CN
China
Prior art keywords
data
information
rule
caching
data information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810145888.6A
Other languages
English (en)
Inventor
陈雄
徐鹏捷
赵建锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Publication of CN108280227A publication Critical patent/CN108280227A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种基于缓存的数据信息处理方法及装置。其中,该方法包括:获取到数据信息之后,提取数据信息中包含的信息内容;按照预设运算规则对信息内容进行运算,根据运算结果生成与数据信息相对应的数据标识;查询缓存中是否存储有与数据标识相关联的数据处理规则;若是,根据查询到的与数据标识相关联的数据处理规则处理数据信息。由此可见,利用本发明提供的方案,能够在缓存中存储数据处理规则,从而减少云服务器的处理开销,提升处理效率。

Description

基于缓存的数据信息处理方法及装置
技术领域
本发明涉及计算机技术领域,具体涉及一种基于缓存的数据信息处理方法及装置。
背景技术
随着网络服务的日益普及,需要处理的数据信息的种类和数量也日益增多。目前,客户端在处理数据信息时,通常采用下述方案:将待处理的数据信息发送给云服务器,并根据云服务器通过查询云端存储的数据处理规则而返回的查询结果进行处理。
但是,发明人在实现本发明的过程中发现,现有技术中的上述方式至少存在下述缺陷:由于云服务器需要同时处理来自大量客户端的数据信息,因此,因此,导致云服务器的处理压力过大,容易造成处理不及时的情况发生,从而影响数据信息的处理效率。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于缓存的数据信息处理方法及装置。
根据本发明的一个方面,提供了基于缓存的数据信息处理方法,包括:
获取到数据信息之后,提取数据信息中包含的信息内容;
按照预设运算规则对信息内容进行运算,根据运算结果生成与数据信息相对应的数据标识;
查询缓存中是否存储有与数据标识相关联的数据处理规则;
若是,根据查询到的与数据标识相关联的数据处理规则处理数据信息。
根据本发明的另一个方面,提供了基于缓存的数据信息处理装置,包括:
提取模块,适于获取到数据信息之后,提取数据信息中包含的信息内容;
生成模块,适于按照预设运算规则对信息内容进行运算,根据运算结果生成与数据信息相对应的数据标识;
查询模块,适于查询缓存中是否存储有与数据标识相关联的数据处理规则;
处理模块,适于若是,根据查询到的与数据标识相关联的数据处理规则处理数据信息。
根据本发明的又一方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,处理器、存储器和通信接口通过通信总线完成相互间的通信;
存储器用于存放至少一可执行指令,可执行指令使处理器执行上述基于缓存的数据信息处理方法对应的操作。
根据本发明的再一方面,提供了一种计算机存储介质,存储介质中存储有至少一可执行指令,可执行指令使处理器执行如上述基于缓存的数据信息处理方法对应的操作。
根据本发明公开的基于缓存的数据信息处理方法及装置,能够在缓存中存储数据处理规则,从而减少云服务器的处理开销,提升处理效率。并且,由于数据信息的信息内容通常较为复杂,若直接在缓存中根据数据信息存储对应的数据处理规则,往往会造成存储空间占用过大且查询速度降低等诸多问题,为此,本发明通过对信息内容进行运算,根据运算结果生成与数据信息相对应的数据标识的方式能够节约存储空间、提升查询速度,从而能够快速处理数据信息。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明一个实施例的基于缓存的数据信息处理方法的流程示意图;
图2示出了本发明另一个实施例的基于缓存的数据信息处理方法的流程示意图;
图3示出了本发明又一实施例提供的一种基于缓存的数据信息处理装置的装置结构图;
图4示出了根据本发明实施例的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了本发明一个实施例的基于缓存的数据信息处理方法的流程示意图。如图1所示,该方法包括:
步骤S110:获取到数据信息之后,提取数据信息中包含的信息内容。
在本实施例中,数据信息的具体类型可包括多种,例如,可以是根据系统日志获取的预设类型的事件信息,也可以是其他用途的信息,总之,本发明不限定数据信息的具体来源和内容种类。
数据信息中包含的信息内容既可以是数据信息中包含的全部内容,也可以是数据信息中包含的部分内容。具体的提取方式和提取规则可由本领域技术人员灵活设置。在本实施例中,信息内容主要是指能够反映数据信息的种类、实质性内容的部分。
步骤S120:按照预设运算规则对信息内容进行运算,根据运算结果生成与数据信息相对应的数据标识。
由于信息内容的长度通常较长,由此会导致存储空间占用过大以及查询速度降低等诸多缺陷。为此,在本实施例中,按照预设运算规则对信息内容进行运算,通过运算能够降低信息内容的长度,实现节约存储空间且提升查询速度的效果。另外,通过运算得到的信息内容还能够避免信息明文所导致的信息泄露的风险,能够提升信息安全性。
具体地,预设运算规则可由本领域技术人员灵活设置,本发明对此不做限定。例如,可以是MD5算法、哈希算法等各类算法。运算完成后,根据运算结果确定与数据信息相对应的数据标识时,既可以直接将运算结果确定为与数据信息相对应的数据标识,也可以对运算结果进行预设处理(例如添加前缀、后缀等信息)后得到与数据信息相对应的数据标识,本发明对此不做限定。
步骤S130:查询缓存中是否存储有与所述数据标识相关联的数据处理规则。
具体地,得到与数据信息相对应的数据标识之后,根据该数据标识查询缓存中是否存储有与该数据标识相关联的数据处理规则。其中,缓存中存储有与各个数据标识相关联的数据处理规则,具体可以通过映射表等各种方式存储。缓存中的各个数据标识及其关联的数据处理规则既可以是预先从云端获取并存入的,也可以是在数据处理过程中从云端查询后实时添加的,本发明对缓存的具体生成方式不做限定。
步骤S140:若是,根据查询到的与数据标识相关联的数据处理规则处理数据信息。
当缓存中存储有与该数据标识相关联的数据处理规则时,直接根据查询到的与数据标识相关联的数据处理规则处理数据信息即可。其中,数据处理规则可以包括各类规则,例如,用于修复漏洞的规则、用于实现系统更新的规则、用于校准系统时间的规则等等。
由此可见,根据本发明公开的基于缓存的数据信息处理方法,能够在缓存中存储数据处理规则,从而减少云服务器的处理开销,提升处理效率。并且,由于数据信息的信息内容通常较为复杂,若直接在缓存中根据数据信息存储对应的数据处理规则,往往会造成存储空间占用过大且查询速度降低等诸多问题,为此,本发明通过对信息内容进行运算,根据运算结果生成与数据信息相对应的数据标识的方式能够节约存储空间、提升查询速度,从而能够快速处理数据信息。
图2示出了本发明另一个实施例的基于缓存的数据信息处理方法的流程示意图。在本实施例中,以数据信息为根据系统日志获取的预设类型的事件信息为例进行说明。当然,在本发明其他的实施例中,数据信息还可以是其他各种类型的信息。如图2所示,该方法包括:
步骤S200:根据系统日志获取预设类型的事件信息。
具体地,可以预先配置用于监测预设类型的事件信息的监测规则。该监测规则可以由云端配置,并由客户端定期从云端获取,以便客户端根据该规则判断系统日志中是否包含预设类型的事件信息,并在判断结果为是时获取该预设类型的事件信息。
具体实施时,由于系统日志中包含的事件很频繁,并且事件等级没有严格意义的区分,有很多问题都以相同等级(例如“信息”等级)存在,导致监听范围过大,对系统性能产生影响,因此,在本实施例中,通过云规则里的监测规则来指定监控范围,以便提升系统性能。例如,在监测规则中,可以通过日志中的预设字段来确定对应的事件是否属于预设类型的事件。
步骤S210:获取到事件信息之后,提取事件信息中包含的信息内容。
在本实施例中,事件信息中包含的信息内容既可以是事件信息中包含的全部内容,也可以是事件信息中包含的部分内容。具体地,信息内容通常包括:事件字段以及通用参数部分(如系统版本、产品版本等参数信息)。
具体实施时,由于系统日志的数据格式通常为XML格式,但节点名和属性名都不固定,多种多样,导致无法固定获取某些值,所以本实施例中将日志数据按节点名拆分成多个单独的字段,若干连续的单独字段形成一组关系链,且关系链中进一步包含父节点字段和子节点字段等,具体地,用“.”等分割符作为父节点字段和子节点字段之间的父子关系链分割符。
另外,在本实施例中,由于事件类型非常多,而每个事件携带的信息量又很多,导致事件信息中包含的字段数量繁多,若逐一提取各个字段将导致计算量过大、耗时过长等诸多缺陷。为此,在本实施例中,预先将事件信息划分为多种类型,根据事件信息的类型,确定该类型的事件信息中包含的关键字段,并根据关键字段提取事件信息中包含的信息内容。例如,将事件信息划分为异常故障类事件类型、系统更新类事件类型、提升体验类事件类型等多种类型,并根据每种事件信息的特点,分别设置每种类型的事件信息中包含的关键字段的数量和种类。由此可见,在该种方式中,提取的事件信息中包含的信息内容主要是指关键字段所对应的信息。具体地,关键字段可根据事件信息的实质性内容、类型特点来确定。例如,可以将事件信息中包含的随机数等冗余信息或可变信息确定为非关键字段,以提升信息内容的确定性和可靠性。
步骤S220:按照预设运算规则对信息内容进行运算,根据运算结果生成与事件信息相对应的数据标识。
具体地,在本实施例中,预设运算规则为消息摘要运算规则,具体为MD5算法。通过MD5算法针对关键字段所对应的信息内容计算摘要。运算完成后,根据运算结果确定与事件信息相对应的数据标识时,既可以直接将运算结果确定为与事件信息相对应的数据标识,也可以对运算结果进行预设处理(例如添加前缀、后缀等信息)后得到与事件信息相对应的数据标识,本发明对此不做限定。
步骤S230:查询缓存中是否存储有与数据标识相关联的事件处理规则。
具体地,得到与事件信息相对应的数据标识之后,根据该数据标识查询缓存中是否存储有与该数据标识相关联的事件处理规则。其中,缓存中存储有与各个数据标识相关联的事件处理规则。在本实施例中,该缓存中的内容是在处理事件信息的过程中动态生成的,通常情况下,若该事件信息已在客户端本地处理过,则会在缓存中存储对应的事件处理规则;若该事件信息未在客户端本地处理过,则缓存中通常不存在对应的事件处理规则。当然,也可以预先向缓存中存入常用的事件信息所对应的事件处理规则。
其中,当缓存中存储有与数据标识相关联的事件处理规则时,执行步骤S240;当缓存中未存储与数据标识相关联的事件处理规则时,执行步骤S250及其后续步骤。
步骤S240:若是,根据查询到的与数据标识相关联的事件处理规则处理事件信息。
当缓存中存储有与该数据标识相关联的事件处理规则时,执行本步骤,直接根据查询到的与数据标识相关联的事件处理规则处理事件信息。其中,事件处理规则可以包括各类规则,例如,用于修复漏洞的规则、用于实现系统更新的规则、用于校准系统时间的规则等等。
步骤S250:若否,将事件信息发送给云服务器,根据云服务器返回的响应信息中包含的事件处理规则处理该数据信息。
具体地,当缓存中未存储与数据标识相关联的事件处理规则时,将事件信息发送给云服务器,以供云服务器查询与事件信息相对应的事件处理规则,并将查询结果作为响应信息返回给客户端。
具体实施时,既可以直接将事件信息发送给云服务器,也可以仅将根据运算结果生成的与事件信息相对应的数据标识或其他处理后的信息发送给云服务器,以减少传输开销。在后一种方式中,云服务器通过执行逆运算获得原始的事件信息。
步骤S260:根据响应信息在缓存中添加与数据标识相关联的事件处理规则。
为了便于客户端在后续过程中快速处理同样的事件信息,需要根据响应信息在缓存中添加与数据标识相关联的事件处理规则。该数据标识实质上也可以理解为事件信息的摘要,将事件信息的摘要作为索引,以便于快速查询。而且,由于仅存储摘要,还大幅缩减了对于存储空间的占用,使缓存中能够同时存储更多的数据内容。
由此可见,本实施例中的方式主要适于对类型复杂且数据量庞大的数据信息进行缓存,凡是具有上述特点的数据信息均可以利用本实施例中提供的缓存方式进行缓存,以增加缓存数据量,提升查询效率。
具体地,由于很多事件信息都可以复用同一个事件处理规则,因此,为了便于查询,提升存储效率,在本实施例中,各个事件处理规则分别与一个或多个数据标识相关联。例如,一个事件处理规则可以同时与多个数据标识相关联,具体实施时可通过映射表等方式记录二者之间的关联关系,从而使多个数据标识都通过该事件处理规则进行处理,而该事件处理规则只需存储一次,无需重复存储,从而提升了存储效率。
另外,由于同一个事件信息可能需要依次执行多种类型的处理,或者按照优先级的顺序从多种处理规则中择一执行,因此,各个数据标识分别与一个或多个事件处理规则相关联。相应地,当查询到的与数据标识相关联的事件处理规则为多个时,根据各个事件处理规则的优先级选择至少一个事件处理规则,根据选择的至少一个事件处理规则处理该数据信息。其中,优选级既可以用于按照优先级高低择一选择优先级最高的处理规则,并舍弃优先级较低的处理规则;还可以用于按照优先级的顺序依次执行各个处理规则,具体取决于事件类型。
另外,缓存中存储的事件处理规则还可以进一步具有过期条件;相应地,在步骤S240中根据查询到的与数据标识相关联的事件处理规则处理数据信息时,还需要进一步判断查询到的与数据标识相关联的事件处理规则是否符合过期条件,若否,则根据查询到的与数据标识相关联的事件处理规则处理该数据信息;若是,则需要向云服务器请求未过期的事件处理规则,并根据请求结果更新缓存。其中,过期条件可以是过期时间等类型的条件,本发明对此不做限定,具体可根据业务场景灵活设定。
通过上述方式,一方面,能够利用事件信息的摘要存储并查询对应事件的处理规则,从而实现便于存储及查询的优势,能够有效提升查询速度,且避免了将所有的事件信息都发送给云服务器的开销,降低了云服务器的请求残余量,提升了处理速度。经发明人实际验证发现,在未采用本发明中的缓存方式的现有方案中,所有的事件信息都需要请求云服务器,导致云服务器一天的请求残余量多达十几亿条请求,通过本发明中的方案能够快速处理信息,且显著降低云服务器的请求残余量。凡是待处理的数据信息具有信息量复杂且类型多变的特点的应用场景中均可以采用本发明中的缓存方式实现,本发明不限定具体的应用场景。
另外,发明人在实现本发明的过程中发现,有些类型的事件信息复杂多变,每次的缓存结果都不尽相同,因而导致缓存的利用率不高。例如,有些随机事件都包含随机值,该随机值的取值每次都会发生变化,导致计算出的摘要每次都不同,因此,无法利用本实施例中的方式实现后续过程的快速查询。为了解决上述问题,在步骤S260中,进一步判断数据信息是否符合预设过滤规则;若否,则根据响应信息在缓存中添加与数据标识相关联的事件处理规则;若是,则滤除与数据标识相关联的事件处理规则,不将其添加至缓存中。
具体地,可以设置一个缓存过滤器,在该缓存过滤器中设置预设过滤规则,以滤除不便于缓存的内容,从而提升缓存的有效利用率。该过滤规则可通过多种方式确定。例如,可以预先确定与随机事件相对应的随机参数信息,根据随机参数信息生成预设过滤规则。该缓存过滤器中可以包含表达式部分和取值部分。另外,该缓存过滤器中的过滤规则还可以通过机器学习的方式确定,例如,通过学习大量的随机事件,提取出随机事件中包含的随机参数信息,经过训练得到过滤模型,通过该过滤模型确定过滤规则。具体地,还可以根据线上业务数据的变化对该过滤模型进行动态更新,相应地,该过滤规则也可以动态更新。在一种实现方式中,将该过滤规则存储在云服务器上,客户端每隔预设周期获取一次该过滤规则;或者,每当该过滤规则发生更新时,向客户端发送更新消息,以供客户端及时更新。
通过上述过滤处理,能够有效滤除缓存意义不大的随机事件,从而减少缓存的占用率,提升缓存的有效性,进而为快速查询提供了保障。
另外,在本实施例中,缓存可基于多种缓存技术实现,例如,可以基于LRU缓存技术实现。由于普通的缓存仅用于缓存固定类型的数据结果,而本发明中要缓存的数据类型繁多,且每个类型又包含多个字段,为此,为了节约空间,通过LRU缓存方式能够将最近使用较少的内容删除,仅保留最近使用较多的内容,从而提升缓存效率。
综上可知,通过本发明中的方式,能够在缓存中存储数据处理规则,从而减少云服务器的处理开销,提升处理效率。并且,由于数据信息的信息内容通常较为复杂,若直接在缓存中根据数据信息存储对应的数据处理规则,往往会造成存储空间占用过大且查询速度降低等诸多问题,为此,本发明通过对信息内容进行运算,根据运算结果生成与数据信息相对应的数据标识的方式能够节约存储空间、提升查询速度,从而能够快速处理数据信息。进一步地,本发明还针对随机事件等不适宜缓存的信息进行了过滤,从而进一步提升了缓存的有效性。
图3示出了本发明又一实施例提供的一种基于缓存的数据信息处理装置的装置结构图,包括:
提取模块31,适于获取到数据信息之后,提取所述数据信息中包含的信息内容;
生成模块32,适于按照预设运算规则对所述信息内容进行运算,根据运算结果生成与所述数据信息相对应的数据标识;
查询模块33,适于查询缓存中是否存储有与所述数据标识相关联的数据处理规则;
处理模块34,适于若是,根据查询到的与所述数据标识相关联的数据处理规则处理所述数据信息。
在本发明提供的另一个实施例中,其中,所述提取模块31具体适于:
根据所述数据信息的类型,确定该类型的数据信息中包含的关键字段;
根据所述关键字段提取所述数据信息中包含的信息内容。
可选地,其中,所述装置进一步包括:
添加模块35,适于若否,将所述数据信息发送给云服务器,根据云服务器返回的响应信息中包含的数据处理规则处理所述数据信息,并根据所述响应信息在所述缓存中添加与所述数据标识相关联的数据处理规则。
可选地,其中,所述添加模块35具体适于:
判断所述数据信息是否符合预设过滤规则;
若否,则根据所述响应信息在所述缓存中添加与所述数据标识相关联的数据处理规则。
可选地,其中,所述添加模块35进一步适于:预先确定与随机事件相对应的随机参数信息,根据所述随机参数信息生成所述预设过滤规则。
可选地,其中,所述数据信息包括:根据系统日志获取的预设类型的事件信息,且所述缓存中存储的与所述数据标识相关联的数据处理规则包括:与所述数据标识相关联的事件处理规则。
可选地,其中,所述缓存中存储的各个数据标识分别与一个或多个事件处理规则相关联,且所述缓存中存储的各个事件处理规则分别与一个或多个数据标识相关联。
可选地,其中,所述处理模块34具体适于:
当查询到的与所述数据标识相关联的数据处理规则为多个时,根据各个数据处理规则的优先级选择至少一个数据处理规则,根据选择的至少一个数据处理规则处理所述数据信息。
可选地,其中,所述缓存中存储的数据处理规则进一步具有过期条件;
则所述处理模块34具体适于:
判断所述查询到的与所述数据标识相关联的数据处理规则是否符合过期条件,若否,则根据查询到的与所述数据标识相关联的数据处理规则处理所述数据信息。
可选地,其中,所述预设运算规则包括:哈希运算规则、和/或消息摘要运算规则。
上述各个模块的具体结构和工作原理可参照方法实施例中相应步骤的描述,此处不再赘述。
另外,在本发明中,云服务器可以存储事件匹配规则与事件处理规则两大类内容。相应地,在步骤S250中,云服务器查询与事件信息相对应的事件处理规则时,可以先根据事件匹配规则确定与待查询的事件信息相匹配的事件匹配规则,然后,再确定与匹配的事件匹配规则相对应的事件处理规则。其中,事件匹配规则用于根据运营人员配置的事件相关字段信息进行匹配计算,以便根据计算结果判断待查询的事件信息是否与其匹配。每个事件匹配规则具有对应的事件处理规则,当待查询的事件信息与某一事件匹配规则匹配成功时,则按照该事件匹配规则所对应的事件处理规则处理该待查询的事件信息。具体实施时,每个事件匹配规则包括:匹配条件以及条件表达式。其中,匹配条件包括具体关注的事件信息及其值应该具有的特征等条件信息,条件表达式包括条件的逻辑组合形式,根据条件表达式的计算结果即可确定匹配是否成功。例如,匹配条件可能包括:条件一、条件二、条件三等多个条件,相应地,条件表达式可能用于针对上述多个条件执行与或非等逻辑运算。
另外,在本发明中,为了提升查询效率,在步骤S230中查询缓存中是否存储有与数据标识相关联的事件处理规则时,根据预设的缓存索引文件确定缓存的各个数据标识及其相关联的事件处理规则的查询顺序和/或查询优先级;按照该查询顺序和/或查询优先级,将待查询的数据标识与缓存的各个数据标识及其相关联的事件处理规则进行匹配。另外,还可以进一步根据匹配成功的数据标识及其相关联的事件处理规则以及预设索引规则更新缓存索引文件。其中,更新频率和更新周期可由本领域技术人员灵活设置,既可以在每次获取到匹配成功的数据标识及其相关联的事件处理规则后均进行更新,也可以每隔固定时间进行更新。由此可见,在本实施例中,针对缓存中的各个数据标识及其相关联的事件处理规则设置了对应的缓存索引文件,该缓存索引文件不仅用于记录各个数据标识及其相关联的事件处理规则的查询顺序和/或查询优先级,还用于记录各个事件处理规则的状态(例如正常、弃用、过期等)。其中,预设索引规则可以是最近最少使用淘汰规则,即LRU(Leastrecently used)规则。
本申请实施例提供了一种非易失性计算机存储介质,计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的基于缓存的数据信息处理方法。
图4示出了根据本发明实施例的一种电子设备的结构示意图,本发明具体实施例并不对电子设备的具体实现做限定。
如图4所示,该电子设备可以包括:处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中:
处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404,用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402,用于执行程序410,具体可以执行上述基于缓存的数据信息处理方法实施例中的相关步骤。
具体地,程序410可以包括程序代码,该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器406,用于存放程序410。存储器406可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行以下操作:
获取到数据信息之后,提取所述数据信息中包含的信息内容;
按照预设运算规则对所述信息内容进行运算,根据运算结果生成与所述数据信息相对应的数据标识;
查询缓存中是否存储有与所述数据标识相关联的数据处理规则;
若是,根据查询到的与所述数据标识相关联的数据处理规则处理所述数据信息。
在一种可选的方式中,程序410具体可以进一步用于使得处理器402执行以下操作:
根据所述数据信息的类型,确定该类型的数据信息中包含的关键字段;
根据所述关键字段提取所述数据信息中包含的信息内容。
在一种可选的方式中,程序410具体可以进一步用于使得处理器402执行以下操作:
若否,将所述数据信息发送给云服务器,根据云服务器返回的响应信息中包含的数据处理规则处理所述数据信息,并根据所述响应信息在所述缓存中添加与所述数据标识相关联的数据处理规则。
在一种可选的方式中,程序410具体可以进一步用于使得处理器402执行以下操作:
判断所述数据信息是否符合预设过滤规则;
若否,则根据所述响应信息在所述缓存中添加与所述数据标识相关联的数据处理规则。
在一种可选的方式中,程序410具体可以进一步用于使得处理器402执行以下操作:
预先确定与随机事件相对应的随机参数信息,根据所述随机参数信息生成所述预设过滤规则。
在一种可选的方式中,程序410具体可以进一步用于使得处理器402执行以下操作:
其中,所述数据信息包括:根据系统日志获取的预设类型的事件信息,且所述缓存中存储的与所述数据标识相关联的数据处理规则包括:与所述数据标识相关联的事件处理规则。
在一种可选的方式中,程序410具体可以进一步用于使得处理器402执行以下操作:
其中,所述缓存中存储的各个数据标识分别与一个或多个事件处理规则相关联,且所述缓存中存储的各个事件处理规则分别与一个或多个数据标识相关联。
在一种可选的方式中,程序410具体可以进一步用于使得处理器402执行以下操作:
当查询到的与所述数据标识相关联的数据处理规则为多个时,根据各个数据处理规则的优先级选择至少一个数据处理规则,根据选择的至少一个数据处理规则处理所述数据信息。
在一种可选的方式中,其中,所述缓存中存储的数据处理规则进一步具有过期条件;
则程序410具体可以进一步用于使得处理器402执行以下操作:
判断所述查询到的与所述数据标识相关联的数据处理规则是否符合过期条件,若否,则根据查询到的与所述数据标识相关联的数据处理规则处理所述数据信息。
程序410具体可以进一步用于使得处理器402执行以下操作:
其中,所述预设运算规则包括:哈希运算规则、和/或消息摘要运算规则。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于缓存的数据信息处理装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了A1.一种基于缓存的数据信息处理方法,包括:
获取到数据信息之后,提取所述数据信息中包含的信息内容;
按照预设运算规则对所述信息内容进行运算,根据运算结果生成与所述数据信息相对应的数据标识;
查询缓存中是否存储有与所述数据标识相关联的数据处理规则;
若是,根据查询到的与所述数据标识相关联的数据处理规则处理所述数据信息。
A2.根据A1所述的方法,其中,所述提取所述数据信息中包含的信息内容的步骤具体包括:
根据所述数据信息的类型,确定该类型的数据信息中包含的关键字段;
根据所述关键字段提取所述数据信息中包含的信息内容。
A3.根据A1或2所述的方法,其中,所述方法进一步包括:
若否,将所述数据信息发送给云服务器,根据云服务器返回的响应信息中包含的数据处理规则处理所述数据信息,并根据所述响应信息在所述缓存中添加与所述数据标识相关联的数据处理规则。
A4.根据A1-3任一所述的方法,其中,所述根据所述响应信息在所述缓存中添加与所述数据标识相关联的数据处理规则的步骤具体包括:
判断所述数据信息是否符合预设过滤规则;
若否,则根据所述响应信息在所述缓存中添加与所述数据标识相关联的数据处理规则。
A5.根据A4所述的方法,其中,所述方法进一步包括:预先确定与随机事件相对应的随机参数信息,根据所述随机参数信息生成所述预设过滤规则。
A6.根据A1-5任一所述的方法,其中,所述数据信息包括:根据系统日志获取的预设类型的事件信息,且所述缓存中存储的与所述数据标识相关联的数据处理规则包括:与所述数据标识相关联的事件处理规则。
A7.根据A6所述的方法,其中,所述缓存中存储的各个数据标识分别与一个或多个事件处理规则相关联,且所述缓存中存储的各个事件处理规则分别与一个或多个数据标识相关联。
A8.根据A7所述的方法,其中,所述根据查询到的与所述数据标识相关联的数据处理规则处理所述数据信息的步骤具体包括:
当查询到的与所述数据标识相关联的数据处理规则为多个时,根据各个数据处理规则的优先级选择至少一个数据处理规则,根据选择的至少一个数据处理规则处理所述数据信息。
A9.根据A1-8任一所述的方法,其中,所述缓存中存储的数据处理规则进一步具有过期条件;
则所述根据查询到的与所述数据标识相关联的数据处理规则处理所述数据信息的步骤具体包括:
判断所述查询到的与所述数据标识相关联的数据处理规则是否符合过期条件,若否,则根据查询到的与所述数据标识相关联的数据处理规则处理所述数据信息。
A10.根据A1-9任一所述的方法,其中,所述预设运算规则包括:哈希运算规则、和/或消息摘要运算规则。
B11.一种基于缓存的数据信息处理装置,包括:
提取模块,适于获取到数据信息之后,提取所述数据信息中包含的信息内容;
生成模块,适于按照预设运算规则对所述信息内容进行运算,根据运算结果生成与所述数据信息相对应的数据标识;
查询模块,适于查询缓存中是否存储有与所述数据标识相关联的数据处理规则;
处理模块,适于若是,根据查询到的与所述数据标识相关联的数据处理规则处理所述数据信息。
B12.根据B11所述的装置,其中,所述提取模块具体适于:
根据所述数据信息的类型,确定该类型的数据信息中包含的关键字段;
根据所述关键字段提取所述数据信息中包含的信息内容。
B13.根据B11或12所述的装置,其中,所述装置进一步包括:
添加模块,适于若否,将所述数据信息发送给云服务器,根据云服务器返回的响应信息中包含的数据处理规则处理所述数据信息,并根据所述响应信息在所述缓存中添加与所述数据标识相关联的数据处理规则。
B14.根据B11-13任一所述的装置,其中,所述添加模块具体适于:
判断所述数据信息是否符合预设过滤规则;
若否,则根据所述响应信息在所述缓存中添加与所述数据标识相关联的数据处理规则。
B15.根据B14所述的装置,其中,所述添加模块进一步适于:预先确定与随机事件相对应的随机参数信息,根据所述随机参数信息生成所述预设过滤规则。
B16.根据B11-15任一所述的装置,其中,所述数据信息包括:根据系统日志获取的预设类型的事件信息,且所述缓存中存储的与所述数据标识相关联的数据处理规则包括:与所述数据标识相关联的事件处理规则。
B17.根据B16所述的装置,其中,所述缓存中存储的各个数据标识分别与一个或多个事件处理规则相关联,且所述缓存中存储的各个事件处理规则分别与一个或多个数据标识相关联。
B18.根据B17所述的装置,其中,所述处理模块具体适于:
当查询到的与所述数据标识相关联的数据处理规则为多个时,根据各个数据处理规则的优先级选择至少一个数据处理规则,根据选择的至少一个数据处理规则处理所述数据信息。
B19.根据B11-18任一所述的装置,其中,所述缓存中存储的数据处理规则进一步具有过期条件;
则所述处理模块具体适于:
判断所述查询到的与所述数据标识相关联的数据处理规则是否符合过期条件,若否,则根据查询到的与所述数据标识相关联的数据处理规则处理所述数据信息。
B20.根据B11-19任一所述的装置,其中,所述预设运算规则包括:哈希运算规则、和/或消息摘要运算规则。
C21.一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如A1-10中任一项所述的基于缓存的数据信息处理方法对应的操作。
D22.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如A1-10中任一项所述的基于缓存的数据信息处理方法对应的操作。

Claims (10)

1.一种基于缓存的数据信息处理方法,包括:
获取到数据信息之后,提取所述数据信息中包含的信息内容;
按照预设运算规则对所述信息内容进行运算,根据运算结果生成与所述数据信息相对应的数据标识;
查询缓存中是否存储有与所述数据标识相关联的数据处理规则;
若是,根据查询到的与所述数据标识相关联的数据处理规则处理所述数据信息。
2.根据权利要求1所述的方法,其中,所述提取所述数据信息中包含的信息内容的步骤具体包括:
根据所述数据信息的类型,确定该类型的数据信息中包含的关键字段;
根据所述关键字段提取所述数据信息中包含的信息内容。
3.根据权利要求1或2所述的方法,其中,所述方法进一步包括:
若否,将所述数据信息发送给云服务器,根据云服务器返回的响应信息中包含的数据处理规则处理所述数据信息,并根据所述响应信息在所述缓存中添加与所述数据标识相关联的数据处理规则。
4.根据权利要求1-3任一所述的方法,其中,所述根据所述响应信息在所述缓存中添加与所述数据标识相关联的数据处理规则的步骤具体包括:
判断所述数据信息是否符合预设过滤规则;
若否,则根据所述响应信息在所述缓存中添加与所述数据标识相关联的数据处理规则。
5.根据权利要求4所述的方法,其中,所述方法进一步包括:预先确定与随机事件相对应的随机参数信息,根据所述随机参数信息生成所述预设过滤规则。
6.根据权利要求1-5任一所述的方法,其中,所述数据信息包括:根据系统日志获取的预设类型的事件信息,且所述缓存中存储的与所述数据标识相关联的数据处理规则包括:与所述数据标识相关联的事件处理规则。
7.根据权利要求6所述的方法,其中,所述缓存中存储的各个数据标识分别与一个或多个事件处理规则相关联,且所述缓存中存储的各个事件处理规则分别与一个或多个数据标识相关联。
8.一种基于缓存的数据信息处理装置,包括:
提取模块,适于获取到数据信息之后,提取所述数据信息中包含的信息内容;
生成模块,适于按照预设运算规则对所述信息内容进行运算,根据运算结果生成与所述数据信息相对应的数据标识;
查询模块,适于查询缓存中是否存储有与所述数据标识相关联的数据处理规则;
处理模块,适于若是,根据查询到的与所述数据标识相关联的数据处理规则处理所述数据信息。
9.一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的基于缓存的数据信息处理方法对应的操作。
10.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-7中任一项所述的基于缓存的数据信息处理方法对应的操作。
CN201810145888.6A 2018-01-26 2018-02-12 基于缓存的数据信息处理方法及装置 Pending CN108280227A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810077004 2018-01-26
CN2018100770048 2018-01-26

Publications (1)

Publication Number Publication Date
CN108280227A true CN108280227A (zh) 2018-07-13

Family

ID=62808543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810145888.6A Pending CN108280227A (zh) 2018-01-26 2018-02-12 基于缓存的数据信息处理方法及装置

Country Status (1)

Country Link
CN (1) CN108280227A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110502546A (zh) * 2019-08-22 2019-11-26 郑州阿帕斯科技有限公司 一种数据处理方法及装置
CN110717661A (zh) * 2019-09-27 2020-01-21 武汉极意网络科技有限公司 风控规则更新方法及装置
CN111444683A (zh) * 2018-12-28 2020-07-24 北京奇虎科技有限公司 富文本处理方法、装置、计算设备及计算机存储介质
WO2020237878A1 (zh) * 2019-05-30 2020-12-03 平安科技(深圳)有限公司 数据去重方法、装置、计算机设备以及存储介质
CN112559570A (zh) * 2020-12-16 2021-03-26 中国平安财产保险股份有限公司 缓存数据获取方法、装置、设备及存储介质
CN113553306A (zh) * 2021-07-27 2021-10-26 重庆紫光华山智安科技有限公司 数据处理方法及数据存储管理系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995004960A2 (en) * 1993-08-02 1995-02-16 Persistence Software, Inc. Method and apparatus for managing relational data in an object cache
CN101018182A (zh) * 2007-02-16 2007-08-15 华为技术有限公司 一种桥接的方法及装置
CN103268343A (zh) * 2013-05-24 2013-08-28 北京京东尚科信息技术有限公司 将关系数据库和缓存透明结合的系统和方法
CN105426467A (zh) * 2015-11-16 2016-03-23 北京京东尚科信息技术有限公司 一种用于Presto的SQL查询方法及系统
CN105512222A (zh) * 2015-11-30 2016-04-20 中国建设银行股份有限公司 数据查询方法及系统和数据读取方法及系统
CN106066894A (zh) * 2016-06-23 2016-11-02 广州市百果园网络科技有限公司 数据全缓存方法和数据全缓存装置
CN106156061A (zh) * 2015-03-30 2016-11-23 北大方正集团有限公司 一种提高数据查询效率的方法及装置
CN106886371A (zh) * 2017-02-15 2017-06-23 中国保险信息技术管理有限责任公司 缓存数据处理方法及装置
CN107025243A (zh) * 2016-02-02 2017-08-08 北京神州泰岳软件股份有限公司 一种资源数据的查询方法、查询客户端和查询系统
CN107454138A (zh) * 2017-06-19 2017-12-08 阿里巴巴集团控股有限公司 业务降级的实现方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995004960A2 (en) * 1993-08-02 1995-02-16 Persistence Software, Inc. Method and apparatus for managing relational data in an object cache
CN101018182A (zh) * 2007-02-16 2007-08-15 华为技术有限公司 一种桥接的方法及装置
CN103268343A (zh) * 2013-05-24 2013-08-28 北京京东尚科信息技术有限公司 将关系数据库和缓存透明结合的系统和方法
CN106156061A (zh) * 2015-03-30 2016-11-23 北大方正集团有限公司 一种提高数据查询效率的方法及装置
CN105426467A (zh) * 2015-11-16 2016-03-23 北京京东尚科信息技术有限公司 一种用于Presto的SQL查询方法及系统
CN105512222A (zh) * 2015-11-30 2016-04-20 中国建设银行股份有限公司 数据查询方法及系统和数据读取方法及系统
CN107025243A (zh) * 2016-02-02 2017-08-08 北京神州泰岳软件股份有限公司 一种资源数据的查询方法、查询客户端和查询系统
CN106066894A (zh) * 2016-06-23 2016-11-02 广州市百果园网络科技有限公司 数据全缓存方法和数据全缓存装置
CN106886371A (zh) * 2017-02-15 2017-06-23 中国保险信息技术管理有限责任公司 缓存数据处理方法及装置
CN107454138A (zh) * 2017-06-19 2017-12-08 阿里巴巴集团控股有限公司 业务降级的实现方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
占永平: "《计算机原理》", 31 August 2007 *
谢鹏: "空间数据库数据缓存与调度技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444683A (zh) * 2018-12-28 2020-07-24 北京奇虎科技有限公司 富文本处理方法、装置、计算设备及计算机存储介质
WO2020237878A1 (zh) * 2019-05-30 2020-12-03 平安科技(深圳)有限公司 数据去重方法、装置、计算机设备以及存储介质
CN110502546A (zh) * 2019-08-22 2019-11-26 郑州阿帕斯科技有限公司 一种数据处理方法及装置
CN110717661A (zh) * 2019-09-27 2020-01-21 武汉极意网络科技有限公司 风控规则更新方法及装置
CN112559570A (zh) * 2020-12-16 2021-03-26 中国平安财产保险股份有限公司 缓存数据获取方法、装置、设备及存储介质
CN112559570B (zh) * 2020-12-16 2024-05-10 中国平安财产保险股份有限公司 缓存数据获取方法、装置、设备及存储介质
CN113553306A (zh) * 2021-07-27 2021-10-26 重庆紫光华山智安科技有限公司 数据处理方法及数据存储管理系统

Similar Documents

Publication Publication Date Title
CN108280227A (zh) 基于缓存的数据信息处理方法及装置
JP2020531976A (ja) ブロックチェーンのリンクの暗号保護され且つフィルタリングされ且つソートされたトランザクションデータセットの集合を提供する装置
CN106528746B (zh) 交易信息查询方法、装置及系统
CN108055343A (zh) 用于机房的数据同步方法及装置
CN109300036B (zh) 区块链网络的分叉回归方法和装置
CA2984833A1 (en) Device, method and program for securely reducing an amount of records in a database
US11422817B2 (en) Method and apparatus for executing instructions including a blocking instruction generated in response to determining that there is data dependence between instructions
CN108365989A (zh) 事件处理方法及装置
CN107544828A (zh) 配置加载方法及装置
CN109118353A (zh) 风控模型的数据处理方法和装置
CN108959549A (zh) 数据写入方法、装置、计算设备及计算机存储介质
CN109542935A (zh) 一种规则引擎的执行方法、存储介质和服务器
CN108769057A (zh) 基于区块链的身份识别方法及装置
CN107330119B (zh) 缓存数据处理方法、电子设备、计算机存储介质
CN110704438B (zh) 一种区块链中布隆过滤器的生成方法及装置
CN109213758A (zh) 数据存取方法、装置、设备及计算机可读存储介质
CN109445832A (zh) 基于编程语言对应用程序进行热更新的方法以及电子设备
CN110213290A (zh) 数据获取方法、api网关以及存储介质
CN111881042A (zh) 自动化测试脚本的生成方法、装置和电子设备
CN108008959A (zh) 一种软件开发工具包sdk接入方法、系统及装置
CN112860948B (zh) 基于多租户SaaS架构的元数据管理方法、系统及电子设备
CN109614241A (zh) 基于Yarn队列实现多集群多租户资源隔离的方法及系统
CN109669678A (zh) 模板引擎整合方法、装置、电子设备及存储介质
CN113111125A (zh) 一种基于区块链的业务存证方法
CN108897858A (zh) 分布式集群索引分片的评估方法及装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180713