CN116048468A - 加载缓存数据和数据处理的方法、装置、电子设备及介质 - Google Patents

加载缓存数据和数据处理的方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN116048468A
CN116048468A CN202310087930.4A CN202310087930A CN116048468A CN 116048468 A CN116048468 A CN 116048468A CN 202310087930 A CN202310087930 A CN 202310087930A CN 116048468 A CN116048468 A CN 116048468A
Authority
CN
China
Prior art keywords
cache
data
target
code block
interface function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310087930.4A
Other languages
English (en)
Inventor
李渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202310087930.4A priority Critical patent/CN116048468A/zh
Publication of CN116048468A publication Critical patent/CN116048468A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/20—Software design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
    • G06F9/4482—Procedural
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及一种加载缓存数据和数据处理的方法、装置、电子设备及介质，该方法包括：在缓存中查询是否存在与待访问的数据对象的目标键匹配的缓存值结果；在不存在缓存值结果的情况下，根据操作代码块构造目标接口函数并执行；该操作代码块为针对该数据对象执行访问处理的处理逻辑中的代码块，该目标接口函数为该缓存的回调函数；根据该目标接口函数的执行结果，确定该目标键对应的目标值，并将该目标值回调写入至该缓存。目标接口函数的执行过程既是处理数据访问请求的过程，同时又是缓存数据加载的过程，使得缓存中写入的数据就是访问得到的结果数据，从而实现了数据访问和缓存加载的过程以及结果的一致性，同时代码只需一套，节省开发成本。

Description

加载缓存数据和数据处理的方法、装置、电子设备及介质
技术领域
本公开涉及技术领域，尤其涉及一种加载缓存数据和数据处理的方法、装置、电子设备及介质。
背景技术
随着应用种类和数量呈数量级的增加，应用开发数据、应用业务数据以及应用运维数据等对应的数据规模非常庞大。在面对高并发或者大量数据访问的场景时，服务端直接从数据库访问相应数据，会对数据库的稳定性造成影响，而且查询效率较低。例如，以电商场景为例，针对一些物流或订单在一定时间内维持不变的静态数据，诸如频道页、活动页、商品页、订单信息和物流信息等，如果服务端针对频繁且高并发的访问请求均向数据库进行查询，会影响数据库的稳定性。
目前大多采用缓存技术来提升数据访问效率，并降低高并发访问对数据库的性能影响。在面对访问请求时，先从缓存查询，在缓存没有的情况下再去数据库进行查询。另外，在进行缓存数据和数据库数据的同步时，大多是通过离线任务方式或者定期更新的方式，从数据库同步数据至缓存。
发明内容
为了解决或者至少部分地解决以下发现的技术问题：现有的缓存加载过程和数据访问过程是两个分立的过程，而且缓存的加载和访问的开发在有些场景下也是独立的两个阶段或由不同的研发人员负责，这样容易导致从缓存访问到的数据和数据库中的数据不一致的问题，本公开的实施例提供了一种加载缓存数据和数据处理的方法、装置、电子设备及介质。
第一方面，本公开的实施例提供了一种加载缓存数据的方法。上述加载缓存数据的方法包括：在缓存中查询是否存在与待访问的数据对象的目标键匹配的缓存值结果；在不存在上述缓存值结果的情况下，根据操作代码块构造目标接口函数并执行；上述操作代码块为针对上述数据对象执行访问处理的处理逻辑中的代码块，上述目标接口函数为上述缓存的回调函数；根据上述目标接口函数的执行结果，确定上述目标键对应的目标值，并将上述目标值回调写入至上述缓存。
根据本公开的实施例，上述加载缓存数据的方法中，上述根据操作代码块构造目标接口函数，包括：获取上述处理逻辑中各个代码块的评估执行时长；将上述评估执行时长超过设定阈值的代码块确定为操作代码块，上述设定阈值和上述数据访问请求对应的场景信息相关联；定义抽象函数，上述抽象函数被定义为上述缓存的回调函数；将上述操作代码块作为上述抽象函数的函数体内容，生成目标接口函数。
根据本公开的实施例，上述加载缓存数据的方法中，上述评估执行时长是根据上述处理逻辑中各个代码块的历史执行时长确定的；或者，上述评估执行时长是根据上述处理逻辑中各个代码块的历史执行时长和上述服务端的资源占用状态确定的。
根据本公开的实施例，上述加载缓存数据的方法中，上述操作代码块包括以下操作类型中至少一种：访问数据库的操作类型、调用远程服务接口的操作类型、执行本地处理逻辑的操作类型。
根据本公开的实施例，上述加载缓存数据的方法还包括：根据预设的容错时间，配置上述缓存中上述目标值的过期时间，上述容错时间用于表示上述缓存和数据库从数据不一致状态到转变为数据一致状态所经历的时长，上述过期时间用于表示上述缓存中数据的有效持续时长。
第二方面，本公开的实施例提供了一种数据处理的方法。上述数据处理的方法应用于服务端，上述方法包括：接收请求端发起的数据访问请求；对上述数据访问请求进行解析处理，得到待访问的数据对象对应的目标键；在缓存中查询是否存在与上述目标键匹配的缓存值结果；在不存在上述缓存值结果的情况下，根据操作代码块构造目标接口函数并执行；上述操作代码块为针对上述数据对象执行请求处理的处理逻辑中的代码块，上述目标接口函数为上述缓存的回调函数；根据上述目标接口函数的执行结果，确定上述目标键对应的目标值，并将上述目标值回调写入至上述缓存；根据上述目标值，向上述请求端发送请求结果。
根据本公开的实施例，上述数据处理的方法中，上述根据操作代码块构造目标接口函数，包括：获取上述处理逻辑中各个代码块的评估执行时长；将上述评估执行时长超过设定阈值的代码块确定为操作代码块，上述设定阈值和上述数据访问请求对应的场景信息相关联；定义抽象函数，上述抽象函数被定义为上述缓存的回调函数；将上述操作代码块作为上述抽象函数的函数体内容，生成目标接口函数。
根据本公开的实施例，上述数据处理的方法中，上述评估执行时长是根据上述处理逻辑中各个代码块的历史执行时长确定的；或者，上述评估执行时长是根据上述处理逻辑中各个代码块的历史执行时长和上述服务端的资源占用状态确定的。
根据本公开的实施例，上述数据处理的方法中，上述操作代码块包括以下操作类型中至少一种：访问数据库的操作类型、调用远程服务接口的操作类型、执行本地处理逻辑的操作类型。
根据本公开的实施例，上述数据处理的方法还包括：在存在上述缓存值结果的情况下，根据上述缓存值结果，向上述请求端发送请求结果。
根据本公开的实施例，上述数据处理的方法还包括：根据预设的容错时间，配置上述缓存中上述目标值的过期时间，上述容错时间用于表示上述缓存和数据库从数据不一致状态到转变为数据一致状态所经历的时长，上述过期时间用于表示上述缓存中数据的有效持续时长。
根据本公开的实施例，上述数据处理的方法中，对上述数据访问请求进行解析处理，得到待访问的数据对象对应的目标键，包括：对上述数据访问请求的请求报文进行摘要计算，得到摘要信息；根据上述摘要信息，生成待访问的数据对象对应的目标键。
第三方面，本公开的实施例提供了一种加载缓存数据的装置。上述加载缓存数据的装置包括：查询模块、接口函数构造与执行模块、以及缓存数据处理模块。上述查询模块用于在缓存中查询是否存在与待访问的数据对象的目标键匹配的缓存值结果。上述接口函数构造与执行模块用于在不存在上述缓存值结果的情况下，根据操作代码块构造目标接口函数并执行；上述操作代码块为针对上述数据对象执行访问处理的处理逻辑中的代码块，上述目标接口函数为上述缓存的回调函数。上述缓存数据处理模块用于根据上述目标接口函数的执行结果，确定上述目标键对应的目标值，并将上述目标值回调写入至上述缓存。
第四方面，本公开的实施例提供了一种数据处理的装置。上述数据处理的装置包括：请求接收模块、解析模块、查询模块、接口函数构造与执行模块、缓存数据处理模块、以及结果发送模块。上述请求接收模块用于接收请求端发起的数据访问请求。上述解析模块用于对上述数据访问请求进行解析处理，得到待访问的数据对象对应的目标键。上述查询模块用于在缓存中查询是否存在与上述目标键匹配的缓存值结果。上述接口函数构造与执行模块用于在不存在上述缓存值结果的情况下，根据操作代码块构造目标接口函数并执行；上述操作代码块为针对上述数据对象执行请求处理的处理逻辑中的代码块，上述目标接口函数为上述缓存的回调函数。上述缓存数据处理模块用于根据上述目标接口函数的执行结果，确定上述目标键对应的目标值，并将上述目标值回调写入至上述缓存。上述结果发送模块用于根据上述目标值，向上述请求端发送请求结果。
第五方面，本公开的实施例提供了一种电子设备。上述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现如上所述的加载缓存数据的方法或数据处理的方法。
第六方面，本公开的实施例提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的加载缓存数据的方法或数据处理的方法。
本公开实施例提供的上述技术方案至少具有如下优点的部分或全部：
在缓存中不存在和数据对象的目标键匹配的缓存值结果的情况下，根据操作代码块构造目标接口函数并执行，由于操作代码块为针对数据对象执行访问处理的处理逻辑中的代码块，而且根据操作代码块生成的目标接口函数是缓存的回调函数，一方面，目标接口函数的执行过程既是处理数据访问请求的过程，同时又是缓存数据加载的过程，使得缓存中写入的数据就是访问得到的结果数据，从而实现了数据访问和缓存加载的过程以及结果的一致性；另一方面，根据操作代码块生成目标接口函数，其中的操作代码块是同时用于数据访问处理和缓存数据加载，能够实现数据访问过程和缓存数据加载过程的开发一致性，只需一套代码即可，有效节省相关技术中关于访问和缓存加载需要独立设置两套代码的时间和人力成本。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示意性地示出了适用于本公开实施例的加载缓存数据的方法的系统架构；
图2示意性地示出了根据本公开一实施例的加载缓存数据的方法的流程图；
图3示意性地示出了根据本公开另一实施例的加载缓存数据的方法的流程图；
图4示意性地示出了根据本公开实施例的步骤S220的详细实施流程图；
图5示意性地示出了根据本公开一实施例的数据处理的方法的流程图；
图6示意性地示出了根据本公开一实施例的加载缓存数据的装置的结构框图；
图7示意性地示出了根据本公开一实施例的数据处理的装置的结构框图；以及
图8示意性地示出了本公开实施例提供的电子设备的结构框图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
图1示意性地示出了适用于本公开实施例的加载缓存数据的方法的系统架构。
参照图1中实线框所示，适用于本公开实施例的加载缓存数据的方法的系统架构100包括：请求端110和服务端120。
请求端110上可以安装有各种类型的应用，诸如但不限于是：购物类应用、图像处理类应用、网页浏览器应用、视频播放类应用、短视频类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。请求端110可以是具有显示屏的电子设备。电子设备包括但不限于是：智能手机、平板电脑、笔记本电脑、台式计算机、智能手表、无人驾驶汽车等等。
服务端120是用于提供数据处理服务的服务器，用于为请求端的应用提供服务支持，可以是传统服务器或者为云服务器，包括各种类型的服务集群，上述服务端120中设置有缓存。
在一些实施例中，上述请求端110通过网络与服务端120进行数据交互，用户在请求端110使用、开发或运维应用的过程中产生数据访问请求，由服务端120执行本公开实施例提供的数据处理的方法来对数据访问请求进行处理；或者，服务端120在对数据访问请求进行处理的过程中解析得到待访问的数据对象的目标键，然后执行本公开实施例提供的加载缓存数据的方法。
本公开的第一个示例性实施例提供了一种加载缓存数据的方法。上述加载缓存数据的方法可以应用于图1所示的系统架构100中的服务端120。
图2示意性地示出了根据本公开一实施例的加载缓存数据的方法的流程图。
参照图2所示，本公开实施例提供的加载缓存数据的方法，包括以下步骤：S210、S220和S230。
在步骤S210，在缓存中查询是否存在与待访问的数据对象的目标键匹配的缓存值结果。
上述待访问的数据对象是指用户发起的访问请求中携带的访问参数所指向的对象，包括但不限于是：商品页、订单信息、商品信息、物流信息、用户开卡信息、书籍页、期刊页、新闻页、新闻资讯信息、用户账单信息等。
上述缓存是指服务端的本地缓存。
在一示例的网上购物场景中，用户A在电子设备(例如为手机或电脑等)安装的购物类应用上输入手机品牌的名称X，点击搜索框，视为用户A在电子设备上发起对该手机品牌X的手机商品页的访问请求RA。参照图1所示，该电子设备将上述访问请求RA发送给服务端120。服务端120对访问请求RA进行解析，将手机品牌X对应的键(key)作为待访问的数据对象的目标键。
服务端120在缓存中查询是否存在与上述目标键匹配的缓存值结果。
参照图1中“×”所示，在一些场景下，缓存尚未和数据库131的最新信息进行数据同步，例如关于数据库的最新更新数据中的手机品牌X的商品页信息并未同步至服务端130的缓存，则在缓存中查询不到与上述目标键(例如为手机品牌X对应的键)匹配的缓存值结果。
在步骤S220，在不存在上述缓存值结果的情况下，根据操作代码块构造目标接口函数并执行，上述操作代码块为针对上述数据对象执行访问处理的处理逻辑中的代码块，上述目标接口函数为上述缓存的回调函数。
服务端预先设置有针对不同类型的请求进行处理的处理逻辑，上述处理逻辑可以表示为函数、方法或者类等形式。例如，研发人员编写好针对商品页信息的访问请求进行处理的处理方法M1，该处理方法M1用于限定在缓存中查询不到与手机品牌X对应的键匹配的缓存值结果的情况下，所需要执行的处理逻辑，该处理逻辑的设置目的至少包括：为了得到与访问请求中目标键匹配的目标值。本公开的保护范围对处理逻辑的编程格式和具体内容不做限制。
根据处理逻辑中的代码块来构造得到目标接口函数并执行该目标接口函数，由于该目标接口函数作为缓存的回调函数，那么，在执行该目标接口函数的执行结果为执行成功的情况下，会自动将上述执行结果中与上述目标键对应的目标值回调写入至上述缓存。
根据本公开的实施例，参照图1所示，上述操作代码块包括以下操作类型中至少一种：访问数据库的操作类型、调用远程服务接口的操作类型、执行本地处理逻辑的操作类型。在一些实施例中，操作代码块为上述处理逻辑中的部分代码块或全部代码块。例如，可以是将上述处理逻辑中比较耗时的代码块确定为操作代码块。
例如，以访问数据库的操作类型进行示例，参照图1所示，采用java语言实现时，上述目标接口函数例如为fetch函数，结合图1中标号①对应的信息流所示，针对商品查询类的访问请求RA进行处理的处理方法M1包括：代码块1和代码块2，代码块1表示以下执行逻辑：实现缓存击穿，对数据库131访问，从数据库131获取与手机品牌X对应的键匹配的相关信息，代码块2表示以下执行逻辑：对上述相关信息进行筛选，得到与手机品牌X对应的商品页信息。
缓存击穿是指请求越过缓存，直接访问数据库；本公开的实施例中缓存击穿是狭义的概念，是指针对单一的key而言的。
在一实施例中，上述操作代码块为代码块1，根据代码块1来构建得到目标接口函数J1，通过执行目标接口函数J1得到执行结果例如包括：手机品牌X的价格信息、手机品牌X的商品页和手机品牌X的商品详情页。
在另一实施例中，上述操作代码块为代码块1和代码块2，根据代码块1和代码块2来构建得到目标接口函数J2，通过执行目标接口函数J2得到执行结果例如包括：手机品牌X的商品页。
在其他场景中，还可以涉及调用远程服务接口的操作类型和执行本地处理逻辑的操作类型。
例如，以调用远程服务接口的操作类型进行示例，结合图1中标号②对应的信息流所示，研发人员编写好针对账单查询的访问请求进行处理的处理方法M2，例如该处理方法M2包括：代码块3和代码块4，代码块3表示以下执行逻辑：调用第三方API服务(例如为银行、金融机构或第三方支付机构的API服务)来查询目标用户在预设时段内的订单支付信息；代码块4表示以下执行逻辑：对目标用户在预设时段内关于目标购物平台的支付信息进行筛选和计算，得到与目标购物平台对应的账单信息。
在一实施例中，上述操作代码块为代码块3和代码块4，根据代码块3和代码块4来构建得到目标接口函数J3，通过执行目标接口函数J3得到执行结果例如包括：预设时段内，目标用户在目标购物平台的账单信息。
例如，以执行本地处理逻辑的操作类型进行示例，结合图1中标号③对应的信息流所示，研发人员编写好针对物流信息查询的访问请求进行处理的处理方法M3，该处理方法M3包括：代码块5、代码块6和代码块7，代码块5表示以下执行逻辑：定时检测是否有新的物流信息上传至服务端120，在有新的物流信息上传的情况下，将新的物流信息存储至本地的某个存储区域(非缓存区域)，并存储至数据库；代码块6表示以下执行逻辑：对上传至服务端的最新物流信息进行归类和筛选，得到和目标商品对应的最新物流信息；代码块7表示以下执行逻辑：根据目标商品的历史物流信息和最新物流信息，生成全部物流信息。
在一实施例中，上述操作代码块为代码块5和代码块6，根据代码块5和代码块6来构建得到目标接口函数J4，通过执行目标接口函数J4得到执行结果例如包括：目标商品对应的最新物流信息。
在步骤S230，根据上述目标接口函数的执行结果，确定上述目标键对应的目标值，并将上述目标值回调写入至上述缓存。
以目标接口函数J1的情况作为示例，其他示例的目标接口函数参照理解即可。根据目标接口函数J1的执行结果包括：手机品牌X的价格信息、手机品牌X的商品页和手机品牌X的商品详情页，确定手机品牌X的键对应的目标值为：手机品牌X的商品页的信息；将该目标值自动回调写入至缓存中。
在本次缓存加载目标值之后，当有用户B也发起对手机品牌X的手机商品页的访问请求RB的情况下，再次执行上述步骤S210，此时发现上述缓存中已经存在和手机品牌X对应的手机商品页，则直接向请求端发送对应的访问结果即可，可以参照图1中“√”标示的数据流所示。
这种场景下，在缓存访问和加载一体化过程中，仅需要对耗时的加载操作执行一次，对于后续访问能够确保数据处理的高效率；另外，还能保证缓存加载的时效性，在首次访问时自动加载，保证了缓存的快速刷新加载。
在包含上述步骤S210～S230的实施例中，在缓存中不存在和数据对象的目标键匹配的缓存值结果的情况下，根据操作代码块构造目标接口函数并执行，由于操作代码块为针对数据对象执行访问处理的处理逻辑中的代码块，而且根据操作代码块生成的目标接口函数是缓存的回调函数，一方面，目标接口函数的执行过程既是处理数据访问请求的过程，同时又是缓存数据加载的过程，使得缓存中写入的数据就是访问得到的结果数据，从而实现了数据访问和缓存加载的过程以及结果的一致性；另一方面，根据操作代码块生成目标接口函数，其中的操作代码块是同时用于数据访问处理和缓存数据加载，能够实现数据访问过程和缓存数据加载过程的开发一致性，只需一套代码即可，有效节省相关技术中关于访问和缓存加载需要独立设置两套代码的时间和人力成本。
图3示意性地示出了根据本公开另一实施例的加载缓存数据的方法的流程图。
在一些实施例中，参照图3所示，加载缓存数据的方法除了包括上述步骤S210～S230之外，还包括步骤S310。
在步骤S310，根据预设的容错时间，配置上述缓存中上述目标值的过期时间。
上述容错时间用于表示上述缓存和数据库从数据不一致状态到转变为数据一致状态所经历的时长，上述过期时间用于表示上述缓存中数据的有效持续时长。
在一些实施例中，上述容错时间是在服务端中预先设置的。例如，可以根据数据库中的数据更新时间(和场景有关系，例如物流场景，数据可能是几个小时更新；在订单场景，商品价格可能在几秒～几十秒内进行更新)和任务需求(例如某些业务下的用户对数据不一致的时间容忍度)来设置容错时间。例如，设置订单场景下查询价格的容错时间在10秒。设置物流场景下查询物流进度的容错时间在1小时。
在包含步骤S310的实施例中，缓存中的目标值在过期时间内是有效状态；如果超出过期时间，则目标值失效，例如可以将该目标值删除或者标记状态为失效状态等，这种情况下，视为缓存中不存在该目标值。
在过期时间内，当下一次访问请求针对同一个数据对象，由于在缓存中存储有目标键对应的目标值(针对下一次访问对应可以描述为缓存值结果)，此时服务端无需执行构建目标接口函数的步骤。
针对上述同一个数据对象在超出过期时间后的后续访问请求，由于缓存值结果过期导致失效，视为缓存中不存在缓存值结果，对应执行步骤S220、S230和S310。
例如，根据容错时间为10s，设置上述缓存中目标值的过期时间为10s，即缓存中从开始写入目标值到该目标值持续有效(能够被访问到)的时间为10s。
在一示例性场景中，用户A在电子设备上发起对该手机品牌X的手机商品页的访问请求RA之后，服务端通过执行上述步骤S210、S220、S230和S310，于时刻T1在缓存中写入了目标值：手机品牌X对应的手机商品页的信息；并且设置了该手机商品页的信息的过期时间为10s。
在T1+2s的时刻，用户B在电子设备上发起对该手机品牌X的手机商品页的访问请求RB，此时执行步骤S210，确定存在缓存值结果。该实施例中，在过期时间内无需再构建或执行与手机品牌X的键对应的目标接口函数，保证容错时间内缓存内数据和数据库数据的一致性。
在T1+11s的时刻，用户C在电子设备上发起对该手机品牌X的手机商品页的访问请求RC，此时执行步骤S210，确定不存在缓存值结果，然后执行步骤S220和S230；或者执行步骤S220、S230和S310，该实施例中，在缓存失效后处理后续访问请求时自动向缓存加载最新数据，保证了在容错时间后的刷新加载，保证缓存数据、请求访问数据和数据库的数据之间的一致性。
图4示意性地示出了根据本公开实施例的步骤S220的详细实施流程图。
根据本公开的实施例，参照图4所示，上述步骤S220中，根据操作代码块构造目标接口函数，包括以下步骤：S410、S420、S430和S440。
在步骤S410，获取上述处理逻辑中各个代码块的评估执行时长。
在一些实施例中，上述评估执行时长是根据上述处理逻辑中各个代码块的历史执行时长确定的。例如，预设时段内各个代码块的历史执行时长的平均值或最大值作为评估执行时长。
在另一些实施例中，上述评估执行时长是根据上述处理逻辑中各个代码块的历史执行时长和上述服务端的资源占用状态确定的。例如，将各个代码块的历史执行时长和服务端的资源占用状态分别作为两个评估参量，对应分配各自的权重系数，历史执行时长越短且资源占用状态表示目前资源空闲越多，最终得到的评估执行时长越短。
在步骤S420，将上述评估执行时长超过设定阈值的代码块确定为操作代码块，上述设定阈值和上述数据访问请求对应的场景信息相关联。
例如，不同的场景信息对应的设定阈值不同，对于耗时的时间长短的定义不同。例如有些对于实时响应速度要求不高的场景下，设定阈值为1s；有些对于实时响应速度要求较高的场景下，设定阈值为100ms。
在步骤S430，定义抽象函数，上述抽象函数被定义为上述缓存的回调函数。
在步骤S440，将上述操作代码块作为上述抽象函数的函数体内容，生成目标接口函数。
例如，在步骤S430和步骤S440中，定义的抽象函数为FetchCallback，为一种匿名方法类。采用匿名类的方式来实现目标接口函数，将要执行的操作代码块(携带有实现接口的方法)直接作为函数体内容。
包含步骤S410～S440的实施例中，由于将操作代码块作为抽象函数的函数体内容，无需对操作代码块进行额外的开发操作，节约开发成本，只需编写一套正常访问数据库或接口或调用本地的逻辑代码，即可自动回调写到缓存。
基于相同的技术构思，本公开的第二个示例性实施例提供了一种数据处理的方法。上述数据处理的方法能够应用于图1示例的系统架构100中的服务端120。本实施例的方法相较于第一个实施例而言，增加了和请求端交互的处理过程。
图5示意性地示出了根据本公开一实施例的数据处理的方法的流程图。
参照图5中实线框所示，本公开实施例提供的数据处理的方法包括以下步骤：S510、S520、S530、S540a、S550a和S560a。
在步骤S510，接收请求端发起的数据访问请求。
在步骤S520，对上述数据访问请求进行解析处理，得到待访问的数据对象对应的目标键。
在一些实施例中，对上述数据访问请求进行解析处理，得到待访问的数据对象对应的目标键，包括：对上述数据访问请求的请求报文进行摘要计算，得到摘要信息；根据上述摘要信息，生成待访问的数据对象对应的目标键。
例如，基于MD5摘要算法对请求报文进行摘要计算，得到摘要信息，将摘要信息作为目标key。
在步骤S530，在缓存中查询是否存在与上述目标键匹配的缓存值结果。
在步骤S540a，在不存在上述缓存值结果的情况下，根据操作代码块构造目标接口函数并执行。上述操作代码块为针对上述数据对象执行请求处理的处理逻辑中的代码块，上述目标接口函数为上述缓存的回调函数。
在步骤S550a，根据上述目标接口函数的执行结果，确定上述目标键对应的目标值，并将上述目标值回调写入至上述缓存。
在步骤S560a，根据上述目标值，向上述请求端发送请求结果。
在一些实施例中，请求结果携带有目标值的信息。在另一些实施例中，请求结果是和目标值相关的信息或者对目标值进一步处理后的信息。
上述步骤S530、S540a和S550a和第一个实施例中的步骤S210～S230是相同的，可以将第一个实施例中关于步骤S210～S230的描述内容全部并入至本实施例进行理解。
根据本公开的实施例，参照图5中虚线框所示，上述数据处理的方法还包括步骤S540b：在存在上述缓存值结果的情况下，根据上述缓存值结果，向上述请求端发送请求结果。
根据本公开的实施例，上述数据处理的方法还包括：根据预设的容错时间，配置上述缓存中上述目标值的过期时间，上述容错时间用于表示上述缓存和数据库从数据不一致状态到转变为数据一致状态所经历的时长，上述过期时间用于表示上述缓存中数据的有效持续时长。
这里的实施例可以参照第一个实施例中关于步骤S310以及所在实施例的详细描述，这里不再赘述。
例如，在一实施例中，构建CacheManager(一种基础组件类)，其具有以下功能：帮助使用者实现缓存的自动加载和访问，从而实现服务端的二级缓存功能，具体执行步骤包括：
(1)对请求做摘要，标识请求参数的唯一性，相同参数的请求会得到相同的摘要key；
(2)使用摘要key查询缓存，当访问缓存存在时，返回缓存结果value；
(3)当访问缓存不存在时，触发缓存击穿操作，回调使用者的fetch匿名方法实现接口；
(4)执行fetch内的代码块，即原耗时业务代码块，实现缓存击穿时需要加载的内容；
(5)把fetch执行结果value自动加载到缓存，供后续相同摘要的key使用，并设置过期时间，保证缓存的容错更新；
(6)返回value。
构建FetchCallback：匿名方法类，在服务端里面，用于接收使用者的请求报文和获取服务端设置的容错时间，并实现缓存击穿时需要加载的内容。
FetchCallback的构建过程包括：
(1)提供一个构造体，用于接收请求报文和容错时间，其中容错时间是由服务端设置的，用来设置缓存key和缓存数据的过期时间。
(2)提供一个fetch匿名接口，用于把原耗时业务代码块(耗时可以通过具体代码的历史执行时间来评估，和场景也有关，有的场景下1s就是耗时，有的场景下100ms就是耗时)包在fetch接口内，以设置缓存key的value，该接口供CacheManager类在缓存击穿(调用数据的一种类型，其他情况下不是缓存击穿)时回调；
(3)使用者把原业务代码块包在fetch实现体内(一些耗时的操作，如数据库查询，或者也可以是远程接口调用或者执行本地业务代码(本地调用))，其它的缓存击穿和数据回调加载操作由CacheManager自动处理。
本公开的第三个示例性实施例提供了一种加载缓存数据的装置。
图6示意性地示出了根据本公开一实施例的加载缓存数据的装置的结构框图。
参照图6所示，本公开实施例提供的加载缓存数据的装置600包括：查询模块601、接口函数构造与执行模块602、以及缓存数据处理模块603。
上述查询模块601用于在缓存中查询是否存在与待访问的数据对象的目标键匹配的缓存值结果。
上述接口函数构造与执行模块602用于在不存在上述缓存值结果的情况下，根据操作代码块构造目标接口函数并执行；上述操作代码块为针对上述数据对象执行访问处理的处理逻辑中的代码块，上述目标接口函数为上述缓存的回调函数。
上述缓存数据处理模块603用于根据上述目标接口函数的执行结果，确定上述目标键对应的目标值，并将上述目标值回调写入至上述缓存。
在一些实施例中，上述装置600还包括：过期时间配置模块，用于根据预设的容错时间，配置上述缓存中上述目标值的过期时间。
上述容错时间用于表示上述缓存和数据库从数据不一致状态到转变为数据一致状态所经历的时长，上述过期时间用于表示上述缓存中数据的有效持续时长。
本公开的第四个示例性实施例提供了一种数据处理的装置。
图7示意性地示出了根据本公开一实施例的数据处理的装置的结构框图。
参照图7所示，本公开实施例提供的数据处理的装置700包括：请求接收模块701、解析模块702、查询模块703、接口函数构造与执行模块704、缓存数据处理模块705、以及结果发送模块706。
上述请求接收模块701用于接收请求端发起的数据访问请求。
上述解析模块702用于对上述数据访问请求进行解析处理，得到待访问的数据对象对应的目标键。
上述查询模块703用于在缓存中查询是否存在与上述目标键匹配的缓存值结果。
上述接口函数构造与执行模块704用于在不存在上述缓存值结果的情况下，根据操作代码块构造目标接口函数并执行；上述操作代码块为针对上述数据对象执行请求处理的处理逻辑中的代码块，上述目标接口函数为上述缓存的回调函数。
上述缓存数据处理模块705用于根据上述目标接口函数的执行结果，确定上述目标键对应的目标值，并将上述目标值回调写入至上述缓存。
上述结果发送模块706用于根据上述目标值，向上述请求端发送请求结果。在一些实施例中，上述结果发送模块706还用于：在存在上述缓存值结果的情况下，根据上述缓存值结果，向上述请求端发送请求结果。
在一些实施例中，上述装置700还包括：过期时间配置模块，用于根据预设的容错时间，配置上述缓存中上述目标值的过期时间。
上述装置600或装置700所包含的功能模块中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。上述装置600或装置700所包含的功能模块中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，上述装置600或装置700所包含的功能模块中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
本公开的第五个示例性实施例提供了一种电子设备。
图8示意性地示出了本公开实施例提供的电子设备的结构框图。
参照图8所示，本公开实施例提供的电子设备800包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801、通信接口802和存储器803通过通信总线804完成相互间的通信；存储器803，用于存放计算机程序；处理器801，用于执行存储器上所存放的程序时，实现如上所述的加载缓存数据的方法或数据处理的方法。
本公开的第六个示例性实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的加载缓存数据的方法或数据处理的方法。
该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的；也可以是单独存在，而未装配入该设备/装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种加载缓存数据的方法，其特征在于，包括：
在缓存中查询是否存在与待访问的数据对象的目标键匹配的缓存值结果；
在不存在所述缓存值结果的情况下，根据操作代码块构造目标接口函数并执行；所述操作代码块为针对所述数据对象执行访问处理的处理逻辑中的代码块，所述目标接口函数为所述缓存的回调函数；
根据所述目标接口函数的执行结果，确定所述目标键对应的目标值，并将所述目标值回调写入至所述缓存。
2.一种数据处理的方法，其特征在于，应用于服务端，所述方法包括：
接收请求端发起的数据访问请求；
对所述数据访问请求进行解析处理，得到待访问的数据对象对应的目标键；
在缓存中查询是否存在与所述目标键匹配的缓存值结果；
在不存在所述缓存值结果的情况下，根据操作代码块构造目标接口函数并执行；所述操作代码块为针对所述数据对象执行请求处理的处理逻辑中的代码块，所述目标接口函数为所述缓存的回调函数；
根据所述目标接口函数的执行结果，确定所述目标键对应的目标值，并将所述目标值回调写入至所述缓存；
根据所述目标值，向所述请求端发送请求结果。
3.根据权利要求1或2所述的方法，其特征在于，所述根据操作代码块构造目标接口函数，包括：
获取所述处理逻辑中各个代码块的评估执行时长；
将所述评估执行时长超过设定阈值的代码块确定为操作代码块，所述设定阈值和所述数据访问请求对应的场景信息相关联；
定义抽象函数，所述抽象函数被定义为所述缓存的回调函数；
将所述操作代码块作为所述抽象函数的函数体内容，生成目标接口函数。
4.根据权利要求3所述的方法，其特征在于，
所述评估执行时长是根据所述处理逻辑中各个代码块的历史执行时长确定的；或者，
所述评估执行时长是根据所述处理逻辑中各个代码块的历史执行时长和所述服务端的资源占用状态确定的。
5.根据权利要求3所述的方法，其特征在于，所述操作代码块包括以下操作类型中至少一种：访问数据库的操作类型、调用远程服务接口的操作类型、执行本地处理逻辑的操作类型。
6.根据权利要求2所述的方法，其特征在于，对所述数据访问请求进行解析处理，得到待访问的数据对象对应的目标键，包括：
对所述数据访问请求的请求报文进行摘要计算，得到摘要信息；
根据所述摘要信息，生成待访问的数据对象对应的目标键。
7.根据权利要求2所述的方法，其特征在于，还包括：
在存在所述缓存值结果的情况下，根据所述缓存值结果，向所述请求端发送请求结果。
8.根据权利要求1-7中任一项所述的方法，其特征在于，还包括：
根据预设的容错时间，配置所述缓存中所述目标值的过期时间，所述容错时间用于表示所述缓存和数据库从数据不一致状态到转变为数据一致状态所经历的时长，所述过期时间用于表示所述缓存中数据的有效持续时长。
9.一种加载缓存数据的装置，其特征在于，包括：
查询模块，用于在缓存中查询是否存在与待访问的数据对象的目标键匹配的缓存值结果；
接口函数构造与执行模块，用于在不存在所述缓存值结果的情况下，根据操作代码块构造目标接口函数并执行；所述操作代码块为针对所述数据对象执行访问处理的处理逻辑中的代码块，所述目标接口函数为所述缓存的回调函数；
缓存数据处理模块，用于根据所述目标接口函数的执行结果，确定所述目标键对应的目标值，并将所述目标值回调写入至所述缓存。
10.一种数据处理的装置，其特征在于，包括：
请求接收模块，用于接收请求端发起的数据访问请求；
解析模块，用于对所述数据访问请求进行解析处理，得到待访问的数据对象对应的目标键；
查询模块，用于在缓存中查询是否存在与所述目标键匹配的缓存值结果；
接口函数构造与执行模块，用于在不存在所述缓存值结果的情况下，根据操作代码块构造目标接口函数并执行；所述操作代码块为针对所述数据对象执行请求处理的处理逻辑中的代码块，所述目标接口函数为所述缓存的回调函数；
缓存数据处理模块，用于根据所述目标接口函数的执行结果，确定所述目标键对应的目标值，并将所述目标值回调写入至所述缓存；
结果发送模块，用于根据所述目标值，向所述请求端发送请求结果。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的方法。
CN202310087930.4A 2023-01-19 2023-01-19 加载缓存数据和数据处理的方法、装置、电子设备及介质 Pending CN116048468A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310087930.4A CN116048468A (zh) 2023-01-19 2023-01-19 加载缓存数据和数据处理的方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310087930.4A CN116048468A (zh) 2023-01-19 2023-01-19 加载缓存数据和数据处理的方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN116048468A true CN116048468A (zh) 2023-05-02

Family

ID=86131303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310087930.4A Pending CN116048468A (zh) 2023-01-19 2023-01-19 加载缓存数据和数据处理的方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN116048468A (zh)

Similar Documents

Publication Publication Date Title
JP6306187B2 (ja) 動的電話番号割り当て
US10862888B1 (en) Linking a forwarded contact on a resource to a user interaction on a requesting source item
CN109542361B (zh) 一种分布式存储系统文件读取方法、系统及相关装置
CN106528578B (zh) 一种信息展示方法及装置
CN109284321B (zh) 数据加载方法、装置、计算设备和计算机可读存储介质
CN112149032B (zh) 广告拦截方法及装置
US20220078161A1 (en) Method and apparatus for advertisement anti-blocking
CN109271564A (zh) 保单查询方法及设备
CN110782310B (zh) 从第三方平台异步获取用户属性信息的方法、装置和系统
CN115545639B (zh) 金融业务处理方法、装置、电子设备及存储介质
CN110858238B (zh) 一种数据处理的方法和装置
CN110992116A (zh) 基于etc系统的电子发票生成方法、装置、设备及存储介质
CN116048468A (zh) 加载缓存数据和数据处理的方法、装置、电子设备及介质
CN108399223B (zh) 一种数据获取方法、装置及电子设备
CN108629003B (zh) 内容加载方法与装置
CN112860739A (zh) 热点数据的处理方法及装置、业务处理系统、存储介质
CN110825986B (zh) 客户端请求数据的方法、系统、存储介质和电子设备
CN113420037B (zh) 资产数据实时变更方法及装置
CN112015745B (zh) 一种数据管理方法及装置
CN114168623A (zh) 标的物的信息获取方法、装置、电子设备及存储介质
US20240089339A1 (en) Caching across multiple cloud environments
CN114036194A (zh) 热点数据处理方法及装置、存储介质、电子设备
CN115495316A (zh) 一种页面历史维护记录的管理方法和装置
CN114140154A (zh) 一种广告展示方法、装置、介质和电子设备
CN116257238A (zh) 数据处理的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination