CN114003629A - 一种高效预编译型缓存数据管理方法、装置、设备和介质 - Google Patents

一种高效预编译型缓存数据管理方法、装置、设备和介质 Download PDF

Info

Publication number
CN114003629A
CN114003629A CN202111269855.0A CN202111269855A CN114003629A CN 114003629 A CN114003629 A CN 114003629A CN 202111269855 A CN202111269855 A CN 202111269855A CN 114003629 A CN114003629 A CN 114003629A
Authority
CN
China
Prior art keywords
original data
data
service request
coding information
compiled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111269855.0A
Other languages
English (en)
Inventor
张纵月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN202111269855.0A priority Critical patent/CN114003629A/zh
Publication of CN114003629A publication Critical patent/CN114003629A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273Asynchronous replication or reconciliation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种高效预编译型缓存数据管理方法、装置、设备和介质,涉及人工智能领域,该方法包括:应用端根据业务请求获取对应原始数据的编译数据以及编码信息并缓存到本地,所述应用端根据获取的原始数据的编码信息与预先存储在缓存服务器端的对应原始数据的编码信息进行校验,若二者一致,则执行本地的编译数据,若不一致,则从存储原始数据的终端获取最新的原始数据进行编译获取执行文本,输出业务请求对应的响应数据;所述应用端执行业务请求过程中,获取监控终端反馈的原始数据更新记录,并根据所述更新记录校验本地缓存的编译数据是否对应最新的原始数据,若是,则正常执行业务请求,若否,则更新对应的编译数据后,继续执行业务请求。

Description

一种高效预编译型缓存数据管理方法、装置、设备和介质
技术领域
本发明涉及人工智能领域,尤其涉及一种高效预编译型缓存数据管理方法、装置、设备和介质。
背景技术
缓存技术被广泛运用于各种互联网产品之中,一般在应用部署时,会部署专门的缓存服务器用来存储业务中常用的、非频繁更新的数据,应用服务器在业务中会通过关键字去缓存服务器中查询对应的数据,若命中则不用去查询数据库,若未命中则查询数据库获取相应数据,可以加快查询效率,减轻数据库的压力。对于普通的缓存数据这样处理非常便捷高效,在实际的应用中可能存在预编译型缓存数据的存储,此处预编译型缓存数据的定义为:此类数据的原始结构数据存储在数据库中,应用系统需要使用的缓存数据是需要将原始结构数据通过特定服务组件进行编译后生产的可执行文件数据,通常编译过程会比较慢,且编译出来的数据文件较大,占用内存大且传输比较耗时,并非简单的文本内容,不容易做序列化处理传输,且该数据也会由于业务的需要随时更新,需要考虑到数据同步问题。
发明内容
鉴于以上现有技术存在的问题,本发明提出一种高效预编译型缓存数据管理方法、装置、设备和介质,主要解决编译后的数据频繁传输导视系统开销大且耗时长,难以适应随时更新的业务场景的问题。
为了实现上述目的及其他目的,本发明采用的技术方案如下。
一种高效预编译型缓存数据管理方法,包括:
应用端根据业务请求获取对应原始数据的编译数据以及编码信息并缓存到本地,其中,所述编码信息包括:原始数据的散列值以及原始数据更新时间戳;
所述应用端根据获取的原始数据的编码信息与预先存储在缓存服务器端的对应原始数据的编码信息进行校验,若二者一致,则执行本地的编译数据,若不一致,则从存储原始数据的终端获取最新的原始数据进行编译获取执行文本,输出业务请求对应的响应数据;
所述应用端执行业务请求过程中,获取监控终端反馈的原始数据更新记录,并根据所述更新记录校验本地缓存的编译数据是否对应最新的原始数据,若是,则正常执行业务请求,若否,则更新对应的编译数据后,继续执行业务请求。
可选地,所述应用端根据业务请求获取对应原始数据的编译数据以及编码信息并缓存到本地,包括:
所述应用端解析业务请求,获取所述业务请求对应的业务特征,并根据所述业务特征生成检索特征链,其中,所述检索特征链中每个节点包含一个业务对应的关键词序列;
根据所述检索特征链从存储原始数据的终端数据库中检索匹配原始数据标签,并根据所述原始数据标签,将对应的原始数据的编码信息以及编译数据缓存到所述应用端的本地数据库。
可选地,所述应用端解析业务请求,获取所述业务请求对应的业务特征,并根据所述业务特征生成检索特征链,包括:
根据输入的业务需求,提取对应的一个或多个关键词,或者,根据预设的业务与一个或多个关键词的对应关系,从存储关键词的数据库中获取业务对应的关键词;
根据所述关键词生成业务请求,所述应用端解析所述业务请求,获取对应的业务特征,其中所述业务请求包括不同关键词的优先级;
按优先级由高到低依次连接各关键词对应的关键词序列,以所述关键词序列作为节点生成业务请求对应的检索特征链。
可选地,根据所述检索特征链从存储原始数据的终端数据库中检索匹配原始数据标签,并根据所述原始数据标签,将对应的原始数据的编码信息以及编译数据缓存到所述应用端的本地数据库,包括:
判断所述检索特征链中的关键词序列与所述终端数据库中原书数据的标签的相似度是否达到设定的相似度阈值,若达到所述相似度阈值,则获取对应的原始数据;若未达到所述相似度阈值,则通过神经网络提取原始数据的关键特征,计算所述关键特征与所属检索特征链中的关键词序列的相似度,进一步判断是否达到所述相似度阈值,若达到,则获取对应的原始数据,若未达到则停止检索,输出业务数据异常。
可选地,所述应用端根据获取的原始数据的编码信息与预先存储在缓存服务器端的对应原始数据的编码信息进行校验,包括:
判断所述应用端的原始数据的编码信息与所述缓存服务器端的原始数据的编码信息是否一致,并同时判断所述应用端的原始数据的更新时间戳与所述缓存服务器端的原始数据的更新时间戳是否一致,当所述编码信息与所述更新时间戳均校验一致时,校验通过。
可选地,应用端根据获取的原始数据的编码信息与预先存储在缓存服务器端的对应原始数据的编码信息进行校验之前,包括:
将各原始数据的编码信息存储到缓存服务器,并根据所述监控终端的原始数据更新记录更新所述缓存服务器的对应编码信息。
可选地,所述监控终端监控的原始数据更新记录获取方式,包括:
创建原始数据读取任务,循环执行所述原始数据读取任务,从存储原始数据的终端获取当前时刻的原始数据,并判断当前时刻的原始数据的编码与所述缓存服务器中对应原始数据的编码信息是否一致,若不一致,则更新缓存服务器中对应原始数据的编码信息;
触发更新任务,同步推送更新信息至应用端,更新应用端的原始数据的编译数据和编码信息。
一种高效预编译型缓存数据管理装置,包括:
应用端缓存模块,用于应用端根据业务请求获取对应原始数据的编译数据以及编码信息并缓存到本地,其中,所述编码信息包括:原始数据的散列值以及原始数据更新时间戳;
缓存校验模块,用于所述应用端根据获取的原始数据的编码信息与预先存储在缓存服务器端的对应原始数据的编码信息进行校验,若二者一致,则执行本地的编译数据,若不一致,则从存储原始数据的终端获取最新的原始数据进行编译获取执行文本,输出业务请求对应的响应数据;
更新监控模块,用于所述应用端执行业务请求过程中,获取监控终端反馈的原始数据更新记录,并根据所述更新记录校验本地缓存的编译数据是否对应最新的原始数据,若是,则正常执行业务请求,若否,则更新对应的编译数据后,继续执行业务请求。
一种计算机设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的高效预编译型缓存数据管理方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现所述的高效预编译型缓存数据管理方法的步骤。
如上所述,本发明一种高效预编译型缓存数据管理方法、装置、设备和介质,具有以下有益效果。
应用端通过编码信息进行原始数据校验,避免频繁传输编译数据占用内存影响处理效率的问题,协调应用端、监控终端、缓存服务器和原始数据存储终端实时获取原始数据更新信息,进行编码信息同步更新,实现业务数据的即时同步更新。
附图说明
图1为本发明一实施例中高效预编译型缓存数据管理方法的流程示意图。
图2为本发明一实施例中应用端缓存数据的流程示意图。
图3为本发明一实施例中检索特征链生成方法的流程示意图。
图4为本发明一实施例中高效预编译型缓存数据管理装置的模块图。
图5为本发明一实施例中计算机设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
请参阅图1,本发明提供一种高效的预编译型缓存数据管理方法,包括以下步骤。
S1:应用端根据业务请求获取对应原始数据的编译数据以及编码信息并缓存到本地,其中,所述编码信息包括:原始数据的散列值以及原始数据更新时间戳;
S2:所述应用端根据获取的原始数据的编码信息与预先存储在缓存服务器端的对应原始数据的编码信息进行校验,若二者一致,则执行本地的编译数据,若不一致,则从存储原始数据的终端获取最新的原始数据进行编译获取执行文本,输出业务请求对应的响应数据;
S3:所述应用端执行所述业务请求过程中,获取监控终端反馈的原始数据更新记录,并根据所述更新记录校验本地缓存的编译数据是否对应最新的原始数据,若是,则正常执所述行业务请求,若否,则更新对应的编译数据后,继续执行所述业务请求。
下面以工作流程步骤进行说明:
在步骤S1中,应用端根据业务请求获取对应原始数据的编译数据以及编码信息并缓存到本地,其中,所述编码信息包括:原始数据的散列值以及原始数据的更新时间戳。
具体地,可设置专用于存储原始数据的终端,该终端可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。通过终端数据库存储原始数据,并创建每条原始数据的数据标签。该数据标签可以包括原始数据的关键词、或关键词编码、唯一标识码以及原始数据最近一次更新的时间戳等。数据标签中的关键词可根据原始数据内容进行设置,也可根据原始数据对应的业务类型进行设置,具体数据标签可根据实际应用需求进行设置和调整,这里不作限制。
通过终端完成原始数据存储后,可进一步获取当前时间节点下,每条原始数据的编码信息,并将编码信息存储到缓存服务器。编码信息可包括原始数据的散列值以及原始数据最近一次更新的时间戳。具体地,通过散列函数从每条原始数据中创建小的数字指纹(即数据摘要),通过散列函数将数据压缩成摘要,使得数据量变小,以便于传输,利用散列值的不可逆性质,保障数据的安全性。散列值通常为一个短的随机字母和数字组成的字符串。通过比较两组数据的散列值可快速判断该两组数据是否一致,以便确定数据是否已被修改。缓存服务器仅用于存储原始数据的编码信息。
请参阅图2,在一实施例中,应用端根据业务请求获取对应原始数据的编译数据以及编码信息并缓存到本地,包括:
步骤S101,应用端解析业务请求,获取业务请求对应的业务特征,并根据所述业务特征生成检索特征链,其中,所述检索特征链中每个节点包含一个业务对应的关键词序列;
步骤S102,根据所述检索特征链从存储原始数据的终端数据库中检索匹配原始数据标签,并根据所述原始数据标签,将对应的原始数据的编码信息以及编译数据缓存到所述应用端的本地数据库。
在一实施例中,所述应用端解析业务请求,获取所述业务请求对应的业务特征,并根据所述业务特征生成检索特征链,包括:
步骤S1011,根据输入的业务需求,提取对应的一个或多个关键词,或者,根据预设的业务与一个或多个关键词的对应关系,从存储关键词的数据库中获取业务对应的关键词;
步骤S1012,根据所述关键词生成业务请求,所述应用端解析所述业务请求,获取对应的业务特征,其中所述业务请求包括不同关键词的优先级;
步骤S1013,按优先级由高到低依次连接各关键词对应的关键词序列,以所述关键词序列作为节点生成业务请求对应的检索特征链。
具体地,一个业务可同时需求多条原始数据。可根据具体业务对应的的一个或多个关键词或预先设置的关键词编码信息等生成业务请求,发送至应用端。应用端接收业务请求并完成解析后,可获取业务请求的关键词等业务特征。业务请求中可包括不同关键词的优先级。根据优先级对业务请求中的关键词进行排序,并按优先级由高到低依次连接各关键词对应的关键词序列,以关键词序列作为节点生成业务请求对应的检索特征链。应用端将检索特征链输出至存储原始数据的终端,根据检索特征链中的节点依次完成检索。依优先级获取原始数据,可避免同时获取大量数据,占用过多服务器端处理器的计算量,影响数据处理效率。可在有序进行数据输出的同时,快速响应业务请求。
在进行原始数据检索时,可预先将检索特征链中关键词序列与数据库中原始数据的数据标签进行比对,判断二者相似度是都达到设定的相似度阈值。若二者相似度达到相似度阈值则获取对应的原始数据。若二者相似度未达到相似度阈值,则可将用于计算的数据标签对应的原始数据输入神经网络进行特征提取,再次计算提取的特征与对应的关键词序列的相似度,进一步判断从原始数据中提取的关键特征与对应的关键词序列相似度是否达到设定阈值,若达到设定阈值,则获取对应的原始数据,若未达到设定阈值则停止当前关键特征序列的检索,反馈业务数据异常。相似度计算可采用欧氏距离、范式距离等相似度计算方法,也可采用其他可达到相同效果的相似度计算方式,这里不作限制。用于特征提取的神经网络可采用循环神经网络基于注意力的轻量级神经网络,如Resnet网络等。具体神经网络的选择以及特征提取过程这里不再赘述。
经过检索特征链获取原始数据后,可通过存储原始数据的终端的编译组件对检索得到的原始数据进行编译,数据编译过程为现有技术,这里不再赘述。完成编译后获取原始数据对应的编译数据。同时通过散列函数计算检索得到的每条原始数据的散列值,并将散列值与对应原始数据的更新时间戳封装在一起得到当前时间节点检索得到的原始数据的编码信息。将检索得到的原始数据的编译数据和编码信息输出至应用端进行本地缓存。
在步骤S2中,应用端根据获取的原始数据的编码信息与预先存储在缓存服务器端的对应原始数据的编码信息进行校验,若二者一致,则执行本地的编译数据,若不一致,则从存储原始数据的终端获取最新的原始数据进行编译获取执行文本,输出业务请求对应的响应数据。
在一实施例中,在对检索得到的原始数据进行编译的同时,可将对应原始数据的编码信息预先输出至应用端进行缓存。应用端可以为由多个应用服务器组成的应用服务集群。检索得到的原始数据的编译数据和编码信息可缓存在应用服务集群中任意一个应用服务器的内存中,应用服务集群中各应用服务器的缓存可进行数据共享,增强应用服务器的横向扩展能力。应用端获取编码信息后,进一步将编码信息输出至缓存服务器。缓存服务器将应用端反馈的原始数据的编码信息与本地缓存的对应原始数据的编码信息进行比对校验,判断二者是否一致。具体地,在进行比较验证时,可分别针对同一原始数据的散列值和更新时间戳进行比较验证,只有散列值和更新时间戳同时保持一致时,缓存服务器才向应用端输出验证通过的消息,否则输出验证不通过。通过原始数据的散列值比较可判断原始数据是否被篡改或者已更新。示例性地,如散列值校验不一致,而更新时间戳一致,则说明原始数据已被篡改,可提醒相关技术人员进行原始数据修复。当散列值不一致且更新时间戳也不一致时,说明原始数据已更新。为了确保缓存数据校验的准确性,当散列值不一致且更新时间戳也不一致时,根据更新时间戳查询更新事件记录,确保更新时间戳与更新事件记录的时间节点保持一致,确认对应的原始数据已更新。
应用端接收缓存服务器校验通过的消息后,从本地缓存中获取原始数据的编译数据,按检索特征链对应的优先级顺序,执行对应的编译数据,获取业务请求对应的响应数据。
在步骤S3中,应用端执行业务请求过程中,获取监控终端反馈的原始数据更新记录,并根据所述更新记录校验本地缓存的编译数据是否对应最新的原始数据,若是,则正常执行业务请求,若否,则更新对应的编译数据后,继续执行业务请求。
在一实施例中,应用端根据获取的原始数据的编码信息与预先存储在缓存服务器端的对应原始数据的编码信息进行校验之前,包括:
将各原始数据的编码信息存储到缓存服务器,并根据所述监控终端的原始数据更新记录更新缓存服务器的对应编码信息。
具体地,在对应用端的原始数据的编码信息进行校验之前,缓存服务器存储了所有原始数据的在某一时刻的编码信息。为了确保缓存服务器中存储的编码信息为原始数据的最新编码信息,可设置监控终端对原始数据的更新时间进行监控,并在每次数据更新时,通知缓存服务器进行更新同步。
在一实施例中,监控终端监控原始数据的更新包括:
创建原始数据读取任务,循环执行所述原始数据读取任务,从存储原始数据的终端获取当前时刻的原始数据,并判断当前时刻的原始数据的编码与所述缓存服务器中对应原始数据的编码信息是否一致,若不一致,则更新缓存服务器中对应原始数据的编码信息;
触发更新任务,同步推送更新信息至应用端,更新应用端的原始数据的编译数据和编码信息。
具体地,监控终端可为独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。可为监控终端创建原始数据读取任务,通过执行原始数据读取任务,监控终端可从存储原始数据的终端获取当前时刻原始数据,并计算原始数据的编码信息,同时从缓存服务器读取对应原始数据的编码信息将二者进行比对,判断二者是否一致。若不一致,触发更新任务,将更新任务输出至缓存服务器,提醒缓存服务器原始数据已更新,需要更新编码信息。可选地,更新任务中包含验证不一致的原始数据的标识信息。进一步地,若监控终端校验未通过的原始数据为当前业务请求的原始数据,则监控终端同步将更新任务发布给应用终端,应用端中止当前业务请求的数据处理,重新获取更新后的原始数据对应的编码信息和编译数据以替换本地缓存的对应数据。可选地,监控终端可定期执行原始数据读取任务,具体任务执行间隔可根据实际应用需求进行设置,这里不作限制。
在一实施例中,监控终端确定应用端正在处理的业务请求,包括:
监控终端在执行原始数据读取任务的同时,向应用端发送业务验证信息,根据业务验证信息判断当前时刻应用端是否有业务请求正在执行,若有,则读取应用端缓存的原始数据的编码信息,并缓存到监控终端。在完成原始数据的更新校验后,若存在更新的原始数据,则将更新的原始数据的编码信息与从应用端获取的原始数据的编码信息进行比对,判断编码信息是否对应同一原始数据,若是,则将更新任务同步发布给应用端,针对更新的原始数据更新应用端缓存的编译数据和编码信息。应用端完成原始数据对应的编译数据和编码信息更新后,可继续执行中止的业务请求,基于更新后的编译数据生成执行文本,输出业务请求的相应数据。
在一实施例中,触发更新任务还包括:设置交互界面,通过交互界面完成原始数据配置更新后,触发所述更新任务,并将所述更新任务发送至应用端和缓存服务器。
具体地,可在存储原始数据的终端设置交互界面,用于针对原始数据进行配置更新,操作人员可通过交互页面更新数据库中的原始数据,包括配置原始数据的数据标签、原始数据对应的业务类型等。每次完成原始数据更新后,触发更新任务,并将更新任务发布给缓存服务器,针对更新的原始数据,更新缓存服务器对应的编码信息。同样地,若当前时刻应用端已根据业务请求完成原始数据的编译数据和编码信息的缓存,则配置更新原始数据时,向应用端发出中止请求任务的指令,中止处理应用端的业务请求,等待原始数据更新后,重新根据检索特征链输出更新后的原始数据对应的编译数据和编码信息。
根据上述步骤,通过将原始数据的编码信息和编译数据缓存到应用端本地,避免御苑城的缓存服务器交互带来的传出方面的性能损耗;本地缓存编译数据,不需要经由缓存服务器进行传输和交互解决传统方式受限于特定编译引擎组件的设计,编译后的完整数据无法通过公开途径获取或者无法序列化传输的问题;缓存服务器仅缓存编码信息,可极大地提高校验的数据处理速度,由原始数据计算出的散列值是非常小的,从缓存读取此数据摘要性能非常高,且不同的原始数据内容所计算出来的散列值是不同的,可以唯一标识某条原始数据。使用散列值和时间戳共同作为缓存数据命中的判断条件,确保了缓存数据的正确性;通过实时监控原始数据的更新,保障业务请求获取的数据能够得到同步更新,可使用实时业务更新的应用场景。通过本地化缓存方案避免了原始数据的重复编译的性能损失,同时解决了编译后数据不便于序列化传输,或者编译后数据量过大、频繁传输导致的网络交互时间过长、序列化、反序列化的系统资源开销较大的性能问题。
在一实施例中,如图4所示,提供一种高效预编译型缓存数据管理装置,该装置包括:应用端缓存模块10,用于应用端根据业务请求获取对应原始数据的编译数据以及编码信息并缓存到本地,其中,所述编码信息包括:原始数据的散列值以及原始数据更新时间戳;缓存校验模块11,用于所述应用端根据获取的原始数据的编码信息与预先存储在缓存服务器端的对应原始数据的编码信息进行校验,若二者一致,则执行本地的编译数据,若不一致,则从存储原始数据的终端获取最新的原始数据进行编译获取执行文本,输出业务请求对应的响应数据;更新监控模块12,用于所述应用端执行所述业务请求过程中,获取监控终端反馈的原始数据更新记录,并根据所述更新记录校验本地缓存的编译数据是否对应最新的原始数据,若是,则正常执行所述业务请求,若否,则更新对应的编译数据后,继续执行所述业务请求。
在一实施例中,应用端缓存模块10包括:检索特征获取单元,用于所述应用端解析业务请求,获取所述业务请求对应的业务特征,并根据所述业务特征生成检索特征链,其中,所述检索特征链中每个节点包含一个业务对应的关键词序列;检索匹配单元,用于根据所述检索特征链从存储原始数据的终端数据库中检索匹配原始数据标签,并根据所述原始数据标签,将对应的原始数据的编码信息以及编译数据缓存到所述应用端的本地数据库。
在一实施例中,检索特征获取单元包括:特征提取器,用于根据输入的业务需求,提取对应的一个或多个关键词,或者,根据预设的业务与一个或多个关键词的对应关系,从存储关键词的数据库中获取业务对应的关键词;请求处理器,用于根据所述关键词生成业务请求,所述应用端解析所述业务请求,获取对应的业务特征,其中所述业务请求包括不同关键词的优先级;检索特征链生成器,用于按优先级由高到低依次连接各关键词对应的关键词序列,以所述关键词序列作为节点生成业务请求对应的检索特征链。
在一实施例中,检索匹配单元包括:比对器,用于判断所述检索特征链中的关键词序列与所述终端数据库中原书数据的标签的相似度是否达到设定的相似度阈值,若达到所述相似度阈值,则获取对应的原始数据;若未达到所述相似度阈值,则通过神经网络提取原始数据的关键特征,计算所述关键特征与所属检索特征链中的关键词序列的相似度,进一步判断是否达到所述相似度阈值,若达到,则获取对应的原始数据,若未达到则停止检索,输出业务数据异常。
在一实施例中,缓存校验模块包括编码及时间比对器,用于判断所述应用端的原始数据的编码信息与所述缓存服务器端的原始数据的编码信息是否一致,并同时判断所述应用端的原始数据的更新时间戳与所述缓存服务器端的原始数据的更新时间戳是否一致,当所述编码信息与所述更新时间戳均校验一致时,校验通过。
在一实施例中,装置还包括:缓存服务器数据更新模块,用于将各原始数据的编码信息存储到缓存服务器,并根据所述监控终端的原始数据更新记录更新所述缓存服务器的对应编码信息。
在一实施例中,装置还包括:数据读取模块,用于创建原始数据读取任务,循环执行所述原始数据读取任务,从存储原始数据的终端获取当前时刻的原始数据,并判断当前时刻的原始数据的编码与所述缓存服务器中对应原始数据的编码信息是否一致,若不一致,则更新缓存服务器中对应原始数据的编码信息;同步更新模块,用于触发更新任务,同步推送更新信息至应用端,更新应用端的原始数据的编译数据和编码信息。
上述高效预编译型缓存数据管理装置可以以一种计算机程序的形式实现,计算机程序可以在如图5所示的计算机设备上运行。计算机设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。
上述高效预编译型缓存数据管理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于终端的存储器中,也可以以软件形式存储于终端的存储器中,以便于处理器调用执行以上各个模块对应的操作。该处理器可以为中央处理单元(CPU)、微处理器、单片机等。
如图5所示,为一个实施例中计算机设备的内部结构示意图。提供了一种计算机设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:应用端根据业务请求获取对应原始数据的编译数据以及编码信息并缓存到本地,其中,所述编码信息包括:原始数据的散列值以及原始数据更新时间戳;所述应用端根据获取的原始数据的编码信息与预先存储在缓存服务器端的对应原始数据的编码信息进行校验,若二者一致,则执行本地的编译数据,若不一致,则从存储原始数据的终端获取最新的原始数据进行编译获取执行文本,输出业务请求对应的响应数据;所述应用端执行业务请求过程中,获取监控终端反馈的原始数据更新记录,并根据所述更新记录校验本地缓存的编译数据是否对应最新的原始数据,若是,则正常执行业务请求,若否,则更新对应的编译数据后,继续执行业务请求。
在一实施例中,上述处理器执行时,所实现的所述应用端根据业务请求获取对应原始数据的编译数据以及编码信息并缓存到本地,包括:所述应用端解析业务请求,获取所述业务请求对应的业务特征,并根据所述业务特征生成检索特征链,其中,所述检索特征链中每个节点包含一个业务对应的关键词序列;根据所述检索特征链从存储原始数据的终端数据库中检索匹配原始数据标签,并根据所述原始数据标签,将对应的原始数据的编码信息以及编译数据缓存到所述应用端的本地数据库。
在一实施例中,上述处理器执行时,所实现的所述应用端解析业务请求,获取所述业务请求对应的业务特征,并根据所述业务特征生成检索特征链,包括:根据输入的业务需求,提取对应的一个或多个关键词,或者,根据预设的业务与一个或多个关键词的对应关系,从存储关键词的数据库中获取业务对应的关键词;根据所述关键词生成业务请求,所述应用端解析所述业务请求,获取对应的业务特征,其中所述业务请求包括不同关键词的优先级;按优先级由高到低依次连接各关键词对应的关键词序列,以所述关键词序列作为节点生成业务请求对应的检索特征链。
在一实施例中,上述处理器执行时,所实现的根据所述检索特征链从存储原始数据的终端数据库中检索匹配原始数据标签,并根据所述原始数据标签,将对应的原始数据的编码信息以及编译数据缓存到所述应用端的本地数据库,包括:判断所述检索特征链中的关键词序列与所述终端数据库中原书数据的标签的相似度是否达到设定的相似度阈值,若达到所述相似度阈值,则获取对应的原始数据;若未达到所述相似度阈值,则通过神经网络提取原始数据的关键特征,计算所述关键特征与所属检索特征链中的关键词序列的相似度,进一步判断是否达到所述相似度阈值,若达到,则获取对应的原始数据,若未达到则停止检索,输出业务数据异常。
在一实施例中,上述处理器执行时,所实现的所述应用端根据获取的原始数据的编码信息与预先存储在缓存服务器端的对应原始数据的编码信息进行校验,包括:判断所述应用端的原始数据的编码信息与所述缓存服务器端的原始数据的编码信息是否一致,并同时判断所述应用端的原始数据的更新时间戳与所述缓存服务器端的原始数据的更新时间戳是否一致,当所述编码信息与所述更新时间戳均校验一致时,校验通过。
在一实施例中,上述处理器执行时,所实现的应用端根据获取的原始数据的编码信息与预先存储在缓存服务器端的对应原始数据的编码信息进行校验之前,包括:将各原始数据的编码信息存储到缓存服务器,并根据所述监控终端的原始数据更新记录更新所述缓存服务器的对应编码信息。
在一实施例中,上述处理器执行时,所实现的所述监控终端监控的原始数据更新记录获取方式,包括:
创建原始数据读取任务,循环执行所述原始数据读取任务,从存储原始数据的终端获取当前时刻的原始数据,并判断当前时刻的原始数据的编码与所述缓存服务器中对应原始数据的编码信息是否一致,若不一致,则更新缓存服务器中对应原始数据的编码信息;触发更新任务,同步推送更新信息至应用端,更新应用端的原始数据的编译数据和编码信息。
在一个实施例中,上述的计算机设备可用作服务器,包括但不限于独立的物理服务器,或者是多个物理服务器构成的服务器集群,该计算机设备还可用作终端,包括但不限手机、平板电脑、个人数字助理或者智能设备等。如图5所示,该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、内存储器、显示屏和网络接口。
其中,该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。计算机设备的非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以上各个实施例所提供的高效预编译型缓存数据管理方法。计算机设备中的内存储器为非易失性存储介质中的操作系统和计算机程序提供高速缓存的运行环境。显示界面可通过显示屏进行数据展示。显示屏可以是触摸屏,比如为电容屏或电子屏,可通过接收作用于该触摸屏上显示的控件的点击操作,生成相应的指令。
本领域技术人员可以理解,图5中示出的计算机设备的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:应用端根据业务请求获取对应原始数据的编译数据以及编码信息并缓存到本地,其中,所述编码信息包括:原始数据的散列值以及原始数据更新时间戳;所述应用端根据获取的原始数据的编码信息与预先存储在缓存服务器端的对应原始数据的编码信息进行校验,若二者一致,则执行本地的编译数据,若不一致,则从存储原始数据的终端获取最新的原始数据进行编译获取执行文本,输出业务请求对应的响应数据;所述应用端执行业务请求过程中,获取监控终端反馈的原始数据更新记录,并根据所述更新记录校验本地缓存的编译数据是否对应最新的原始数据,若是,则正常执行业务请求,若否,则更新对应的编译数据后,继续执行业务请求。
在一实施例中,该计算机程序被处理器执行时,所实现的所述应用端根据业务请求获取对应原始数据的编译数据以及编码信息并缓存到本地,包括:所述应用端解析业务请求,获取所述业务请求对应的业务特征,并根据所述业务特征生成检索特征链,其中,所述检索特征链中每个节点包含一个业务对应的关键词序列;根据所述检索特征链从存储原始数据的终端数据库中检索匹配原始数据标签,并根据所述原始数据标签,将对应的原始数据的编码信息以及编译数据缓存到所述应用端的本地数据库。
在一实施例中,该计算机程序被处理器执行时,所实现的所述应用端解析业务请求,获取所述业务请求对应的业务特征,并根据所述业务特征生成检索特征链,包括:根据输入的业务需求,提取对应的一个或多个关键词,或者,根据预设的业务与一个或多个关键词的对应关系,从存储关键词的数据库中获取业务对应的关键词;根据所述关键词生成业务请求,所述应用端解析所述业务请求,获取对应的业务特征,其中所述业务请求包括不同关键词的优先级;按优先级由高到低依次连接各关键词对应的关键词序列,以所述关键词序列作为节点生成业务请求对应的检索特征链。
在一实施例中,该计算机程序被处理器执行时,所实现的根据所述检索特征链从存储原始数据的终端数据库中检索匹配原始数据标签,并根据所述原始数据标签,将对应的原始数据的编码信息以及编译数据缓存到所述应用端的本地数据库,包括:判断所述检索特征链中的关键词序列与所述终端数据库中原书数据的标签的相似度是否达到设定的相似度阈值,若达到所述相似度阈值,则获取对应的原始数据;若未达到所述相似度阈值,则通过神经网络提取原始数据的关键特征,计算所述关键特征与所属检索特征链中的关键词序列的相似度,进一步判断是否达到所述相似度阈值,若达到,则获取对应的原始数据,若未达到则停止检索,输出业务数据异常。
在一实施例中,该计算机程序被处理器执行时,所实现的所述应用端根据获取的原始数据的编码信息与预先存储在缓存服务器端的对应原始数据的编码信息进行校验,包括:判断所述应用端的原始数据的编码信息与所述缓存服务器端的原始数据的编码信息是否一致,并同时判断所述应用端的原始数据的更新时间戳与所述缓存服务器端的原始数据的更新时间戳是否一致,当所述编码信息与所述更新时间戳均校验一致时,校验通过。
在一实施例中,该计算机程序被处理器执行时,所实现的应用端根据获取的原始数据的编码信息与预先存储在缓存服务器端的对应原始数据的编码信息进行校验之前,包括:将各原始数据的编码信息存储到缓存服务器,并根据所述监控终端的原始数据更新记录更新所述缓存服务器的对应编码信息。
在一实施例中,该指令被处理器执行时,所实现的所述监控终端监控的原始数据更新记录获取方式,包括:创建原始数据读取任务,循环执行所述原始数据读取任务,从存储原始数据的终端获取当前时刻的原始数据,并判断当前时刻的原始数据的编码与所述缓存服务器中对应原始数据的编码信息是否一致,若不一致,则更新缓存服务器中对应原始数据的编码信息;触发更新任务,同步推送更新信息至应用端,更新应用端的原始数据的编译数据和编码信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
综上所述,本发明一种高效预编译型缓存数据管理方法、装置、设备和介质,解决业务系统中需要使用特定服务组件对原始数据进行预编译,然后运行编译后数据的场景的性能问题;避免了原始数据的重复编译的性能损失,同时解决了编译后数据不便于序列化传输,或者编译后数据量过大、频繁传输导致的网络交互时间过长、序列化、反序列化的系统资源开销较大的性能问题。可靠有效及时的缓存数据同步机制也适用于缓存数据需要随时更新的业务场景。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种高效预编译型缓存数据管理方法,其特征在于,包括:
应用端根据业务请求获取对应原始数据的编译数据以及编码信息并缓存到本地,其中,所述编码信息包括:原始数据的散列值以及原始数据的更新时间戳;
所述应用端根据获取的原始数据的编码信息与预先存储在缓存服务器端的对应原始数据的编码信息进行校验,若二者一致,则执行本地的编译数据,若不一致,则从存储原始数据的终端获取最新的原始数据进行编译获取执行文本,输出业务请求对应的响应数据;
所述应用端执行所述业务请求过程中,获取监控终端反馈的原始数据更新记录,并根据所述更新记录校验本地缓存的编译数据是否对应最新的原始数据,若是,则正常执行所述业务请求,若否,则更新对应的编译数据后,继续执行所述业务请求。
2.根据权利要求1所述的高效预编译型缓存数据管理方法,其特征在于,所述应用端根据业务请求获取对应原始数据的编译数据以及编码信息并缓存到本地,包括:
所述应用端解析业务请求,获取所述业务请求对应的业务特征,并根据所述业务特征生成检索特征链,其中,所述检索特征链中每个节点包含一个业务对应的关键词序列;
根据所述检索特征链从存储原始数据的终端数据库中检索匹配原始数据标签,并根据所述原始数据标签,将对应的原始数据的编码信息以及编译数据缓存到所述应用端的本地数据库。
3.根据权利要求2所述的高效预编译型缓存数据管理方法,其特征在于,所述应用端解析业务请求,获取所述业务请求对应的业务特征,并根据所述业务特征生成检索特征链,包括:
根据输入的业务需求,提取对应的一个或多个关键词,或者,根据预设的业务与一个或多个关键词的对应关系,从存储关键词的数据库中获取业务对应的关键词;
根据所述关键词生成业务请求,所述应用端解析所述业务请求,获取对应的业务特征,其中所述业务请求包括不同关键词的优先级;
按优先级由高到低依次连接各关键词对应的关键词序列,以所述关键词序列作为节点生成业务请求对应的检索特征链。
4.根据权利要求2所述的高效预编译型缓存数据管理方法,其特征在于,根据所述检索特征链从存储原始数据的终端数据库中检索匹配原始数据标签,并根据所述原始数据标签,将对应的原始数据的编码信息以及编译数据缓存到所述应用端的本地数据库,包括:
判断所述检索特征链中的关键词序列与所述终端数据库中原书数据的标签的相似度是否达到设定的相似度阈值,若达到所述相似度阈值,则获取对应的原始数据;若未达到所述相似度阈值,则通过神经网络提取原始数据的关键特征,计算所述关键特征与所属检索特征链中的关键词序列的相似度,进一步判断是否达到所述相似度阈值,若达到,则获取对应的原始数据,若未达到则停止检索,输出业务数据异常。
5.根据权利要求1所述的高效预编译型缓存数据管理方法,其特征在于,所述应用端根据获取的原始数据的编码信息与预先存储在缓存服务器端的对应原始数据的编码信息进行校验,包括:
判断所述应用端的原始数据的编码信息与所述缓存服务器端的原始数据的编码信息是否一致,并同时判断所述应用端的原始数据的更新时间戳与所述缓存服务器端的原始数据的更新时间戳是否一致,当所述编码信息与所述更新时间戳均校验一致时,校验通过。
6.根据权利要求1所述的高效预编译型缓存数据管理方法,其特征在于,所述应用端根据获取的原始数据的编码信息与预先存储在缓存服务器端的对应原始数据的编码信息进行校验之前,包括:
将各原始数据的编码信息存储到缓存服务器,并根据所述监控终端的原始数据更新记录更新所述缓存服务器的对应编码信息。
7.根据权利要求1所述的高效预编译型缓存数据管理方法,其特征在于,所述监控终端监控的原始数据更新记录获取方式,包括:
创建原始数据读取任务,循环执行所述原始数据读取任务,从存储原始数据的终端获取当前时刻的原始数据,并判断当前时刻的原始数据的编码与所述缓存服务器中对应原始数据的编码信息是否一致,若不一致,则更新缓存服务器中对应原始数据的编码信息;
触发更新任务,同步推送更新信息至应用端,更新应用端的原始数据的编译数据和编码信息。
8.一种高效预编译型缓存数据管理装置,其特征在于,包括:
应用端缓存模块,用于应用端根据业务请求获取对应原始数据的编译数据以及编码信息并缓存到本地,其中,所述编码信息包括:原始数据的散列值以及原始数据更新时间戳;
缓存校验模块,用于所述应用端根据获取的原始数据的编码信息与预先存储在缓存服务器端的对应原始数据的编码信息进行校验,若二者一致,则执行本地的编译数据,若不一致,则从存储原始数据的终端获取最新的原始数据进行编译获取执行文本,输出业务请求对应的响应数据;
更新监控模块,用于所述应用端执行所述业务请求过程中,获取监控终端反馈的原始数据更新记录,并根据所述更新记录校验本地缓存的编译数据是否对应最新的原始数据,若是,则正常执行所述业务请求,若否,则更新对应的编译数据后,继续执行所述业务请求。
9.一种计算机设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202111269855.0A 2021-10-29 2021-10-29 一种高效预编译型缓存数据管理方法、装置、设备和介质 Pending CN114003629A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111269855.0A CN114003629A (zh) 2021-10-29 2021-10-29 一种高效预编译型缓存数据管理方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111269855.0A CN114003629A (zh) 2021-10-29 2021-10-29 一种高效预编译型缓存数据管理方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN114003629A true CN114003629A (zh) 2022-02-01

Family

ID=79925037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111269855.0A Pending CN114003629A (zh) 2021-10-29 2021-10-29 一种高效预编译型缓存数据管理方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN114003629A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023226151A1 (zh) * 2022-05-23 2023-11-30 广东人工智能与先进计算研究院 电压序列数据缓存方法及系统
CN117708179A (zh) * 2024-02-02 2024-03-15 成都深瑞同华科技有限公司 电力综合监控系统测点数据缓存方法、装置、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023226151A1 (zh) * 2022-05-23 2023-11-30 广东人工智能与先进计算研究院 电压序列数据缓存方法及系统
CN117708179A (zh) * 2024-02-02 2024-03-15 成都深瑞同华科技有限公司 电力综合监控系统测点数据缓存方法、装置、设备及介质
CN117708179B (zh) * 2024-02-02 2024-05-03 成都深瑞同华科技有限公司 电力综合监控系统测点数据缓存方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110795499B (zh) 基于大数据的集群数据同步方法、装置、设备及存储介质
CN114003629A (zh) 一种高效预编译型缓存数据管理方法、装置、设备和介质
CN112685433B (zh) 元数据更新方法、装置、电子设备及计算机可读存储介质
CN111694840A (zh) 数据同步方法、装置、服务器及存储介质
CN110096522B (zh) 一种支持关系型检索的区块链数据处理方法、装置及设备
US20170154067A1 (en) Real time big data master data management
CN110321544B (zh) 用于生成信息的方法和装置
CN110489701A (zh) 提取cms识别特征的方法、装置及cms识别方法
CN112671734B (zh) 面向多数据源的报文处理方法及其相关设备
CN111046036A (zh) 数据同步方法、装置、系统及存储介质
CN111046041A (zh) 数据处理方法和装置、存储介质及处理器
CN116431878A (zh) 向量检索服务方法、装置、设备及其存储介质
CN115455058A (zh) 缓存数据的处理方法、装置、计算机设备及存储介质
CN115543198A (zh) 非结构化数据入湖方法、装置、电子设备及存储介质
CN113962597A (zh) 一种数据分析方法、装置、电子设备及存储介质
CN115455020A (zh) 一种增量数据同步方法、装置、计算机设备及存储介质
CN115729965A (zh) 信息流处理方法、装置、流服务器及存储介质
CN111081258A (zh) 一种声纹模型管理方法、系统、存储介质及装置
CN115544007A (zh) 标签预处理方法、装置、计算机设备和存储介质
WO2022048432A1 (zh) 构建推荐模型的方法、构建神经网络模型的方法、装置、电子设备及存储介质
CN112752165B (zh) 字幕处理方法、装置、服务器及计算机可读存储介质
CN112052234B (zh) 业务数据的处理方法和装置、存储介质、电子装置
CN113312457B (zh) 用于问题解决的方法、计算系统和计算机可读介质
CN114518993A (zh) 基于业务特征的系统性能监控方法、装置、设备及介质
CN107562909A (zh) 一种融合搜索与计算的大数据分析系统及其分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination