CN114945026A - 数据处理方法、装置和系统 - Google Patents

数据处理方法、装置和系统 Download PDF

Info

Publication number
CN114945026A
CN114945026A CN202210435312.XA CN202210435312A CN114945026A CN 114945026 A CN114945026 A CN 114945026A CN 202210435312 A CN202210435312 A CN 202210435312A CN 114945026 A CN114945026 A CN 114945026A
Authority
CN
China
Prior art keywords
data
service node
local cache
client
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210435312.XA
Other languages
English (en)
Inventor
朱焕坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202210435312.XA priority Critical patent/CN114945026A/zh
Publication of CN114945026A publication Critical patent/CN114945026A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Abstract

本发明公开了一种数据处理方法、装置和系统。该方法包括:接收客户端发送的修改请求,其中,修改请求用于对第一数据进行修改,第一数据存储于目标服务节点的本地缓存中,目标服务节点为分布式存储集群中的任意一个服务节点;通过分布式键值存储组件发送通知消息至分布式存储集群中的其他服务节点,分布式键值存储组件与分布式存储集群已建立连接,通知消息用于通知其他服务节点删除其他服务节点的本地缓存中的第一数据;删除目标服务节点的本地缓存中存储的第一数据。本发明解决了相关技术中数据进行缓存后出现数据不一致的技术问题。

Description

数据处理方法、装置和系统
技术领域
本发明涉及领域,具体而言,涉及一种数据处理方法、装置和系统。
背景技术
目前,在分布式对象存储系统中,数据在数据请求过程中需要频繁的访问和使用,为了加速访问、提升系统性能,可以将数据进行缓存。但是,在将数据进行缓存之后,可能会出现数据不一致的问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明至少部分实施例提供了一种数据处理方法、装置和系统,以至少解决相关技术中数据进行缓存后出现数据不一致的技术问题。
根据本发明其中一实施例,提供了一种数据处理方法,包括:接收客户端发送的修改请求,其中,修改请求用于对第一数据进行修改,第一数据存储于目标服务节点的本地缓存中,目标服务节点为分布式存储集群中的任意一个服务节点;通过分布式键值存储组件发送通知消息至分布式存储集群中的其他服务节点,分布式键值存储组件与分布式存储集群已建立连接,通知消息用于通知其他服务节点删除其他服务节点的本地缓存中的第一数据;删除目标服务节点的本地缓存中存储的第一数据。
可选地,该方法还包括:响应于接收到客户端发送的读取请求,从本地缓存中读取该读取请求对应的第二数据;发送第二数据至客户端。
可选地,从本地缓存中读取该读取请求对应的第二数据,包括:确定第二数据是否失效;响应于第二数据未失效,获取第二数据。
可选地,确定第二数据是否失效,包括:获取本地缓存中存储的第二数据的生命周期;基于生命周期,确定第二数据是否失效。
可选地,该方法还包括:响应于第二数据已失效,或本地缓存中未存储第二数据,从数据库获取第二数据,其中,数据库用于存储不同的数据;将第二数据存储至本地缓存。
可选地,该方法还包括:按照预设周期从本地缓存中读取每个数据的生命周期;基于生命周期,删除已失效的数据。
可选地,该方法还包括:将第一数据存储至数据库。
根据本发明其中一实施例,还提供了一种数据处理装置,包括:接收模块,用于接收客户端发送的修改请求,其中,修改请求用于对第一数据进行修改,第一数据存储于目标服务节点的本地缓存中,目标服务节点为分布式存储集群中的任意一个服务节点;通知模块,用于通过分布式键值存储组件发送通知消息至分布式存储集群中的其他服务节点,分布式键值存储组件与分布式存储集群已建立连接,通知消息用于通知其他服务节点删除其他服务节点的本地缓存中的第一数据;删除模块,用于删除目标服务节点的本地缓存中存储的第一数据。
根据本发明其中一实施例,还提供了一种数据处理系统,包括:客户端,用于发送修改请求,其中,修改请求用于对第一数据进行修改;分布式存储集群,与客户端通信连接,包含目标服务节点和其他服务节点,目标服务节点用于接收修改请求,并删除目标服务器的本地缓存中的第一数据;分布式键值存储组件,与分布式存储集群已建立连接,用于发送通知消息至其他服务节点,通知消息用于通知其他服务节点删除其他服务节点的本地缓存中的第一数据。
根据本发明其中一实施例,还提供了一种非易失性存储介质,该非易失性存储介质中存储有计算机程序,其中,计算机程序被设置为运行时执行上述任一项中的数据处理方法。
根据本发明其中一实施例,还提供了一种电子装置,包括存储器和处理器,存储器中存储有计算机程序,处理器被设置为运行计算机程序以执行上述任一项中的数据处理方法。
在本发明至少部分实施例中,在接收到客户端发送的修改请求之后,可以通过分布式键值存储组件发送通知消息至分布式存储集群中的其他服务节点,通知其他服务节点删除其他服务节点的本地缓存中的第一数据,并且删除目标服务节点的本地缓存中存储的第一数据,实现数据一致性的目的。容易注意到的是,通过分布式键值存储组件的强一致性和监听机制,通过向服务节点发送通知消息,使得所有服务节点的缓存可以同步删除,是保持一致的,达到了数据一致性,提升数据访问性能的技术效果,进而解决了相关技术中数据进行缓存后出现数据不一致的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的一种数据处理方法的计算机的硬件结构框图;
图2是根据本发明其中一实施例的数据处理方法的流程图;
图3是根据本发明其中一实施例的客户端修改数据的示意图;
图4是根据本发明其中一实施例的服务节点启动和第一次访问数据的示意图;
图5是根据本发明其中一实施例的客户端读取数据的示意图;
图6是根据本发明其中一实施例的数据处理装置的结构框图;
图7是根据本发明其中一实施例的数据处理系统的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先对本发明实施例中出现的技术名词或技术术语进行如下解释说明:
etcd:可以是指开源的分布式键值存储组件(即中间件,目标是构建一个高可用分布式键值数据库),用于集中管理配置信息,服务节点将配置信息存储于etcd,客户端通过etcd可以得到服务配置信息,etcd监听配置信息的改变,发生改变通知客户端。其中,etcd数据更新步骤如下:etcd集群中的主节点将修改记录到本地日志,并将日志复制给所有从节点,若超过一半节点响应,则认为操作成功,通知客户端;主节点提交本地修改(持久化到磁盘),通知所有从节点也进行数据修改提交。
watch机制:可以是指etcd中一种用于监听etcd数据变更事件的技术。
现有的分布式缓存方案中,可以通过集中式的缓存系统来解决数据一致性的问题,以redis为例,在系统开发过程中,可以将常用数据缓存在集中式缓存系统redis中,通过优先访问redis数据,如果redis能够返回所需数据,则无需对数据库进行访问,从而降低数据库压力,达到高性能场景下的并发需求。
但是,集中式缓存系统需要通过网络进行访问,在高并发场景下的网络资源开销较大,而且在出现网络拥堵的情况下,网络延时较高,导致缓存访问率降低。另外,集中式缓存系统需要额外的设备进行部署和维护,成本较高。
为了实现分布式缓存系统,本申请利用分布式键值存储组件etcd的强一致性以及事件通知机制,构建了一个使用本地缓存达到分布式缓存的方案,同时兼备了本地缓存的快速和分布式的一致性,提升了数据访问性能。
根据本发明其中一实施例,提供了一种数据处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
该方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在计算机终端上为例,图1是本发明实施例的一种数据处理方法的计算机的硬件结构框图。如图1所示,计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于中央处理器(CPU)、图形处理器(GPU)、数字信号处理(DSP)芯片、微处理器(MCU)、可编程逻辑器件(FPGA)、神经网络处理器(NPU)、张量处理器(TPU)、人工智能(AI)类型处理器等的处理装置)和用于存储数据的存储器104。可选地,上述计算机终端还可以包括用于通信功能的传输设备106、输入输出设备108以及显示设备110。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述计算机终端的结构造成限定。例如,计算机终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的数据处理方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的数据处理方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
输入输出设备108中的输入可以来自多个人体学接口设备(Human InterfaceDevice,简称为HID)。例如:键盘和鼠标、手写板、耳机等。部分人体学接口设备除了提供输入功能之外,还可以提供输出功能,例如:耳机的音频输出等。
显示设备110可以例如平视显示器(HUD)、触摸屏式的液晶显示器(LCD)和触摸显示器(也被称为“触摸屏”或“触摸显示屏”)。该液晶显示器可使得用户能够与移动终端的用户界面进行交互。
在一种可能的实施方式中,本发明实施例提供了一种数据处理方法。图2是根据本发明其中一实施例的数据处理方法的流程图,如图2所示,该方法包括如下步骤:
步骤S202,接收客户端发送的修改请求,其中,修改请求用于对第一数据进行修改,第一数据存储于目标服务节点的本地缓存中,目标服务节点为分布式存储集群中的任意一个服务节点。
上述的客户端可以是用户使用的智能手机、平板电脑、笔记本电脑、掌上电脑、个人电脑等电子设备,分布式存储集群可以是分布式对象存储系统,该系统可以由多个服务节点部署而成,每个服务节点都可以接受客户端发送的数据处理请求,并根据客户端发送的数据处理请求对数据库中存储的数据进行相应处理,例如,客户端发送数据读取请求,服务节点可以从数据库中读取相应的数据;客户端发送数据存储请求,服务节点可以将客户端发送的数据存储至数据库中。
上述的数据是整个数据请求过程中需要频繁访问和使用的数据,例如元数据(如用户信息)、桶数据等能够存储在分布式存储系统中的数据。为了加速访问并提升系统性能,服务节点可以将用户频繁访问的数据存储在本地缓存,即存储在服务节点本机的内存中,当客户端发送访问请求时,服务节点可以优先从本地缓存中读取相应的数据,在并发和时效性上效果较好,从而解决网络访问的延时、抖动问题。其中,元数据的数据量不大,在本发明实施例中以元数据为例进行说明。
但是,当客户端对第一数据进行修改时,目标服务节点可以接收到修改后的数据,并基于修改后的数据对本地缓存进行更新,但是,其他服务节点中的第一数据无法同步更新,导致不同服务节点的本地缓存中存储的第一数据不一致。
为了解决数据一致性问题,可以对客户端发送的请求进行监听,并确定客户端是否发送修改请求,如果客户端发送了修改请求,也即,用户对第一数据进行修改之后,可以通过etcd通知机制使整个分布式存储集群中所有服务节点的本地缓存中存储的相关数据失效,从而达到数据一致性的目的。
可选的,在接收到客户端发送的修改请求之后,将第一数据存储至数据库,确保数据库中存储的第一数据根据用户修改需要进行更新。
在一种可选的实施例中,如图3所示,以分布式存储集群包含三个服务节点为例进行说明,在用户对第一数据进行修改之后,用户可以发送修改请求至分布式存储集群,经过负载均衡后发送给目标服务节点(即左侧第一个服务节点)进行处理,目标服务节点在接收到客户端发送的处理请求之后,可以将第一数据存储至数据库。
步骤S204,通过分布式键值存储组件发送通知消息至分布式存储集群中的其他服务节点,分布式键值存储组件与分布式存储集群已建立连接,通知消息用于通知其他服务节点删除其他服务节点的本地缓存中的第一数据。
上述的分布式键值存储组件可以是etcd,可以通过watch机制监听服务节点是否接收到修改请求,如图4中虚线箭头所示,分布式存储集群中的服务节点启动之后,会与etcd建立连接,并监听来自etcd下发的通知消息。在本发明实施例中,etcd可以是一个由3个节点,即一个主节点、两个从节点构成的低配置集群,从而降低部署成本和资源。
在一种可选的实施例中,如果监听到目标服务节点接收到修改请求,则可以通过通知机制向其他服务节点,甚至是整个分布式存储集群中的所有服务节点发送通知消息,所有接收到该通知消息的服务节点都可以自动将本地存储中的第一数据进行删除。
在另一种可选的实施例中,如图3所示,在接收到客户端发送的处理请求之后,目标服务节点可以通知etcd清理缓存(如图3中实线箭头所示),由etcd发送通知消息至整个分布式存储系统中的所有服务节点(如图3中虚线箭头所示),使得所有服务节点对本地缓存进行清理,删除本地缓存中存储的第一数据。
需要说明的是,数据属于变动频率较低的数据,通过etcd的监听机制来保证数据一致性的负载较低,对实际数据访问过程不会存在影响。
步骤S206,删除目标服务节点的本地缓存中存储的第一数据。
在一种可选的实施例中,目标服务节点可以在接收到客户端发送的处理请求之后,直接将本地缓存中存储的第一数据进行删除。在另一种可选的实施例中,目标服务节点也可以在接收到客户端发送的处理请求之后,不做任何处理,并在接收到etcd发送的通知消息之后,再将本地缓存中存储的第一数据进行删除。
通过本发明上述实施例提供的方案,在接收到客户端发送的修改请求之后,可以通过分布式键值存储组件发送通知消息至分布式存储集群中的其他服务节点,通知其他服务节点删除其他服务节点的本地缓存中的第一数据,并且删除目标服务节点的本地缓存中存储的第一数据,实现数据一致性的目的。容易注意到的是,通过分布式键值存储组件的强一致性和监听机制,通过向服务节点发送通知消息,使得所有服务节点的缓存可以同步删除,是保持一致的,达到了数据一致性,提升数据访问性能的技术效果,进而解决了相关技术中数据进行缓存后出现数据不一致的技术问题。
在本发明上述实施例中,该方法还包括:响应于接收到客户端发送的读取请求,从本地缓存中读取该读取请求对应的第二数据;发送第二数据至客户端。
上述的读取请求可以是客户端发送的读取第二数据的请求。
在一种可选的实施例中,如图5所示,仍以分布式存储集群包含三个服务节点为例进行说明,当用户需要访问第二数据时,用户可以发送读取请求至分布式存储集群,经过负载均衡后发送给目标服务节点(即左侧第一个服务节点)进行处理,目标服务节点在接收到客户端发送的读取请求之后,直接从本地缓存中读取第二数据(如图5中实线箭头所示),并返回给客户端,减少网络交互,解决了数据访问的延时和并发问题。
进一步地,为了避免本地目标服务节点在读取第二数据的过程中,需要执行如下步骤:确定第二数据是否失效,响应于第二数据未失效,表明本地缓存中存储的第二数据可以使用,将本地缓存中存储的第二数据发送给客户端;响应于第二数据已失效,表明本地缓存中存储的第二数据无法使用,将从数据库获取的第二数据发送给客户端,其中,数据库用于存储不同的数据,并将第二数据存储至本地缓存,以方便下次客户端访问相同数据的时候,可以直接从本地缓存中读取该数据。
在一种可选的实施例中,如图5所示,仍以分布式存储集群包含三个服务节点为例进行说明,如果本地缓存中存储的第二数据已经失效,如图5中点划线箭头所示,目标服务节点可以通过访问数据库获取客户端需要读取的数据。
为了准确确定第二数据是否失效,可以在本地缓存中存储每个数据的生命周期,该生命周期可以由数据管理人员预先设定,并可以通过如下步骤确定第二数据是否失效:获取本地缓存中存储的第二数据的生命周期;基于生命周期,确定第二数据是否失效。响应于生命周期已经达到,可以确定第二数据已经失效;响应于生命周期未到达,可以确定第二数据未失效。
另外,由于服务节点清理本地缓存,或者服务节点第一次启动,导致本地缓存中可能未存储客户端需要读取的第二数据,响应于本地缓存中未存储第二数据,此时相当于用户第一次访问该数据,在一种可选的实施例中,如图4中实线箭头所示,仍以分布式存储集群包含三个服务节点为例进行说明,可以将从数据库获取的第二数据发送给客户端,并将第二数据存储至本地缓存。
考虑到本地缓存中存储的数据都有生命周期,为了减少本地缓存的存储压力,可以执行如下步骤:按照预设周期从本地缓存中读取每个数据的生命周期;基于生命周期,删除已失效的数据。此处的预设周期可以由数据管理人员进行设定,基于数据的修改周期、访问频率等进行设定,例如,数据的修改周期、访问频率较高,则预设周期可以设置较短;如果数据的修改周期、访问频率较低,则预设周期可以设置较长,本发明对此不作具体限定。
在一种可选的实施例中,如图5所示,仍以分布式存储集群包含三个服务节点为例进行说明,目标服务节点定时读取本地缓存的所有数据的生命周期,将生命周期已经到达的数据删除,并通过etcd通知其他服务节点对本地缓存进行清理,同步删除生命周期已经到达的数据(如图5虚线箭头所示),达到数据一致性的效果。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种数据处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“单元”、“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本发明其中一实施例的数据处理装置的结构框图,如图6所示,该装置包括:
接收模块62,用于接收客户端发送的修改请求,其中,修改请求用于对第一数据进行修改,第一数据存储于目标服务节点的本地缓存中,目标服务节点为分布式存储集群中的任意一个服务节点;
通知模块64,用于通过分布式键值存储组件发送通知消息至分布式存储集群中的其他服务节点,分布式键值存储组件与分布式存储集群已建立连接,通知消息用于通知其他服务节点删除其他服务节点的本地缓存中的第一数据;
删除模块68,用于删除目标服务节点的本地缓存中存储的第一数据。
在本发明上述实施例中,该装置还包括:读取模块,用于响应于接收到客户端发送的读取请求,从本地缓存中读取该读取请求对应的第二数据;发送模块,用于发送第二数据至客户端。
可选地,读取模块包括:确定单元,用于确定第二数据是否失效;获取单元,用于响应于第二数据未失效,获取第二数据。
可选地,确定单元还用于获取本地缓存中存储的第二数据的生命周期,并基于生命周期,确定第二数据是否失效。
可选地,该装置还包括:获取模块,用于响应于第二数据已失效,或本地缓存中未存储第二数据,从数据库获取第二数据,其中,数据库用于存储不同的数据;缓存模块,用于将第二数据存储至本地缓存。
可选地,读取模块还用于按照预设周期从本地缓存中读取每个数据的生命周期;删除模块还用于基于生命周期,删除已失效的数据。
可选地,该装置还包括:存储模块,用于将第一数据存储至数据库。
需要说明的是,上述各个单元、模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述单元、模块均位于同一处理器中;或者,上述各个单元、模块以任意组合的形式分别位于不同的处理器中。
在本实施例中还提供了一种数据处理系统,该系统用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。
图7是根据本发明其中一实施例的数据处理系统的结构框图,如图7所示,该系统包括:
客户端72,用于发送修改请求,其中,修改请求用于对第一数据进行修改;
分布式存储集群74,与客户端通信连接,包含目标服务节点和其他服务节点,目标服务节点用于接收修改请求,并删除目标服务器的本地缓存中的第一数据;
分布式键值存储组件76,与分布式存储集群已建立连接,用于发送通知消息至其他服务节点,通知消息用于通知其他服务节点删除其他服务节点的本地缓存中的第一数据。
可选地,目标服务节点还用于将第一数据存储至数据库。
在本发明上述实施例中,目标服务节点还用于响应于接收到客户端发送的读取请求,从本地缓存中读取该读取请求对应的第二数据,并发送第二数据至客户端。
可选地,目标服务节点还用于确定第二数据是否失效,响应于第二数据未失效,获取第二数据。
可选地,目标服务节点还用于获取本地缓存中存储的第二数据的生命周期,并基于生命周期,确定第二数据是否失效。
可选地,该系统还包括:数据库,用于存储不同的数据;目标服务节点与数据库通信连接,还用于响应于第二数据已失效,或本地缓存中未存储第二数据,从数据库获取第二数据,并将第二数据存储至本地缓存。
可选地,目标服务节点还用于按照预设周期从本地缓存中读取每个数据的生命周期;删除模块还用于基于生命周期,删除已失效的数据。
本发明的实施例还提供了一种非易失性存储介质,该非易失性存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述非易失性存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,接收客户端发送的修改请求,其中,修改请求用于对第一数据进行修改,第一数据存储于目标服务节点的本地缓存中,目标服务节点为分布式存储集群中的任意一个服务节点;
S2,通过分布式键值存储组件发送通知消息至分布式存储集群中的其他服务节点,分布式键值存储组件与分布式存储集群已建立连接,通知消息用于通知其他服务节点删除其他服务节点的本地缓存中的第一数据;
S3,删除目标服务节点的本地缓存中存储的第一数据。
可选地,在本实施例中,上述非易失性存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,接收客户端发送的修改请求,其中,修改请求用于对第一数据进行修改,第一数据存储于目标服务节点的本地缓存中,目标服务节点为分布式存储集群中的任意一个服务节点;
S2,通过分布式键值存储组件发送通知消息至分布式存储集群中的其他服务节点,分布式键值存储组件与分布式存储集群已建立连接,通知消息用于通知其他服务节点删除其他服务节点的本地缓存中的第一数据;
S3,删除目标服务节点的本地缓存中存储的第一数据。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
接收客户端发送的修改请求,其中,所述修改请求用于对第一数据进行修改,所述第一数据存储于目标服务节点的本地缓存中,所述目标服务节点为分布式存储集群中的任意一个服务节点;
通过分布式键值存储组件发送通知消息至所述分布式存储集群中的其他服务节点,所述分布式键值存储组件与所述分布式存储集群已建立连接,所述通知消息用于通知所述其他服务节点删除所述其他服务节点的本地缓存中的所述第一数据;
删除所述目标服务节点的本地缓存中存储的所述第一数据。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于接收到所述客户端发送的读取请求,从所述本地缓存中读取所述读取请求对应的第二数据;
发送所述第二数据至所述客户端。
3.根据权利要求2所述的方法,其特征在于,从所述本地缓存中读取所述读取请求对应的第二数据,包括:
确定所述第二数据是否失效;
响应于所述第二数据未失效,获取所述第二数据。
4.根据权利要求3所述的方法,其特征在于,确定所述第二数据是否失效,包括:
获取所述本地缓存中存储的所述第二数据的生命周期;
基于所述生命周期,确定所述第二数据是否失效。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
响应于所述第二数据已失效,或所述本地缓存中未存储所述第二数据,从数据库获取所述第二数据,其中,所述数据库用于存储不同的数据;
将所述第二数据存储至所述本地缓存。
6.根据权利要求2至5中任意一项所述的方法,其特征在于,所述方法还包括:
按照预设周期从所述本地缓存中读取每个数据的生命周期;
基于所述生命周期,删除已失效的数据。
7.一种数据处理装置,其特征在于,包括:
接收模块,用于接收客户端发送的修改请求,其中,所述修改请求用于对第一数据进行修改,所述第一数据存储于目标服务节点的本地缓存中,所述目标服务节点为分布式存储集群中的任意一个服务节点;
通知模块,用于通过分布式键值存储组件发送通知消息至所述分布式存储集群中的其他服务节点,所述分布式键值存储组件与所述分布式存储集群已建立连接,所述通知消息用于通知所述其他服务节点删除所述其他服务节点的本地缓存中的所述第一数据;
删除模块,用于删除所述目标服务节点的本地缓存中存储的所述第一数据。
8.一种数据处理系统,其特征在于,包括:
客户端,用于发送修改请求,其中,所述修改请求用于对第一数据进行修改;
分布式存储集群,与所述客户端通信连接,包含目标服务节点和其他服务节点,所述目标服务节点用于接收所述修改请求,并删除所述目标服务器的本地缓存中的所述第一数据;
分布式键值存储组件,与所述分布式存储集群已建立连接,用于发送通知消息至所述其他服务节点,所述通知消息用于通知所述其他服务节点删除所述其他服务节点的本地缓存中的所述第一数据。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的数据处理方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的数据处理方法。
CN202210435312.XA 2022-04-24 2022-04-24 数据处理方法、装置和系统 Pending CN114945026A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210435312.XA CN114945026A (zh) 2022-04-24 2022-04-24 数据处理方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210435312.XA CN114945026A (zh) 2022-04-24 2022-04-24 数据处理方法、装置和系统

Publications (1)

Publication Number Publication Date
CN114945026A true CN114945026A (zh) 2022-08-26

Family

ID=82907093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210435312.XA Pending CN114945026A (zh) 2022-04-24 2022-04-24 数据处理方法、装置和系统

Country Status (1)

Country Link
CN (1) CN114945026A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117312297A (zh) * 2023-11-30 2023-12-29 中国光大银行股份有限公司 数据管理方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103036717A (zh) * 2012-12-12 2013-04-10 北京邮电大学 分布式数据的一致性维护系统和方法
CN103338243A (zh) * 2013-06-20 2013-10-02 新浪网技术(中国)有限公司 Web节点的缓存数据更新方法和系统
US20150234896A1 (en) * 2014-02-19 2015-08-20 Snowflake Computing Inc. Adaptive distribution method for hash operations
CN106850746A (zh) * 2016-12-23 2017-06-13 微梦创科网络科技(中国)有限公司 服务平滑升级的方法及装置
CN111143382A (zh) * 2019-12-13 2020-05-12 新华三大数据技术有限公司 数据处理方法、系统和计算机可读存储介质
CN111459954A (zh) * 2020-03-04 2020-07-28 深圳壹账通智能科技有限公司 分布式数据同步方法、装置、设备及介质
CN111651464A (zh) * 2020-04-15 2020-09-11 北京皮尔布莱尼软件有限公司 数据处理方法、系统及计算设备
US20210103599A1 (en) * 2019-10-08 2021-04-08 Oracle International Corporation Managing identifiers for multinodal master systems of unknown or changing size
CN113032432A (zh) * 2021-02-22 2021-06-25 北京齐尔布莱特科技有限公司 一种数据缓存处理方法、系统、计算设备及可读存储介质
CN114048234A (zh) * 2021-10-19 2022-02-15 车主邦(北京)科技有限公司 一种数据处理方法、装置、电子设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103036717A (zh) * 2012-12-12 2013-04-10 北京邮电大学 分布式数据的一致性维护系统和方法
CN103338243A (zh) * 2013-06-20 2013-10-02 新浪网技术(中国)有限公司 Web节点的缓存数据更新方法和系统
US20150234896A1 (en) * 2014-02-19 2015-08-20 Snowflake Computing Inc. Adaptive distribution method for hash operations
CN106850746A (zh) * 2016-12-23 2017-06-13 微梦创科网络科技(中国)有限公司 服务平滑升级的方法及装置
US20210103599A1 (en) * 2019-10-08 2021-04-08 Oracle International Corporation Managing identifiers for multinodal master systems of unknown or changing size
CN111143382A (zh) * 2019-12-13 2020-05-12 新华三大数据技术有限公司 数据处理方法、系统和计算机可读存储介质
CN111459954A (zh) * 2020-03-04 2020-07-28 深圳壹账通智能科技有限公司 分布式数据同步方法、装置、设备及介质
CN111651464A (zh) * 2020-04-15 2020-09-11 北京皮尔布莱尼软件有限公司 数据处理方法、系统及计算设备
CN113032432A (zh) * 2021-02-22 2021-06-25 北京齐尔布莱特科技有限公司 一种数据缓存处理方法、系统、计算设备及可读存储介质
CN114048234A (zh) * 2021-10-19 2022-02-15 车主邦(北京)科技有限公司 一种数据处理方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周德永;王瑞刚;梁小江;: "基于ELK自动化收集Docker容器日志的分析系统", 电子设计工程, no. 19 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117312297A (zh) * 2023-11-30 2023-12-29 中国光大银行股份有限公司 数据管理方法及装置
CN117312297B (zh) * 2023-11-30 2024-04-02 中国光大银行股份有限公司 数据管理方法及装置

Similar Documents

Publication Publication Date Title
US11604702B2 (en) Distributed streaming parallel database restores
US10684995B2 (en) Storage optimization in computing devices
CN109947668B (zh) 存储数据的方法和装置
CN113568884B (zh) 一种文件管理方法、装置、电子设备及存储介质
KR101871383B1 (ko) 계층적 데이터 구조의 노드 상에서 재귀적 이벤트 리스너를 사용하기 위한 방법 및 시스템
US11243842B2 (en) Distributed streaming database restores
CN108108286A (zh) 数据收集方法和装置、服务器、存储介质
CN108182213A (zh) 一种基于分布式系统的数据处理优化装置及方法
CN115344551A (zh) 一种数据迁移的方法以及数据节点
CN110740155B (zh) 分布式系统中的请求处理方法及装置
CN110334072A (zh) 一种分布式文件系统、文件更新方法及装置
CN112711612B (zh) 数据处理方法、装置和存储介质及电子装置
CN111694865A (zh) 基于分布式系统的四层结构数据获取方法和装置
CN114945026A (zh) 数据处理方法、装置和系统
CN114741335A (zh) 缓存管理方法、装置、介质及设备
CN112711466B (zh) 悬挂事务巡检方法和装置、电子设备和存储介质
CN114925078A (zh) 数据更新方法、系统、电子设备及存储介质
CN109766363B (zh) 流式数据处理方法、系统、电子设备及存储介质
CN108984431B (zh) 用于清空过期缓存的方法和装置
CN110851192A (zh) 一种响应降级开关配置的方法和装置
CN116126521B (zh) 服务内存信息的负载均衡方法、装置、存储介质和设备
JP7317998B2 (ja) ネットワークデバイスを監視するシステムおよび方法
CN117271472A (zh) 缓存数据库集群的参数配置方法、装置、设备、存储介质
CN117742571A (zh) 一种数据处理方法、装置、设备及可读存储介质
CN116541145A (zh) 数据调用方法、装置、计算机设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination