CN113377817A - 数据处理方法、系统、设备及存储介质 - Google Patents
数据处理方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN113377817A CN113377817A CN202110724554.6A CN202110724554A CN113377817A CN 113377817 A CN113377817 A CN 113377817A CN 202110724554 A CN202110724554 A CN 202110724554A CN 113377817 A CN113377817 A CN 113377817A
- Authority
- CN
- China
- Prior art keywords
- data
- query request
- database server
- cache
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
- G06F12/0815—Cache consistency protocols
- G06F12/0817—Cache consistency protocols using directory methods
- G06F12/0824—Distributed directories, e.g. linked lists of caches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
Abstract
本发明公开了数据处理方法、系统、设备及存储介质，该方法包括：在接收到客户端发送的查询请求时，判断各个缓存节点中是否存在与查询请求匹配的预置数据；在有缓存节点中存在与查询请求匹配的预置数据时，将缓存节点中与查询请求匹配的预置数据发送给客户端；在各个缓存节点中均不存在与查询请求匹配的预置数据息时，将查询请求发送给数据库服务器，以供数据库服务器向客户端发送与查询请求匹配的公共数据。本发明通过让查询请求优先访问缓存，降低了数据库服务的访问量，解决了现有的数据库服务器在面临高并发现象时，容易出现宕机的技术问题。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、系统、设备及存储介质。
背景技术
随着互联网技术的快速发展，人们通过互联网在家便可以做各种各样的事情，例如网上购物、网上购票、网上追剧等等。但是，随着网络用户数量的日益增加，网络的数据库服务器也将面临巨大挑战。例如，现有的数据库服务器每时每刻都可能需要处理用户发起的访问请求，但是当面临高并发现象(高并发现象是指在极短单位时间内，极多个请求同时发起到服务器)时，数据库服务器的负载压力就会不断加大，导致数据库服务器一直处于繁忙状态，如果处理不当就会导致系统瘫痪，从而导致数据库服务器宕机。
可见，现有的数据库服务器在面临高并发现象时，容易出现宕机的情况。
发明内容
本申请实施例通过提供一种数据处理方法、系统、设备及存储介质，旨在解决现有的数据库服务器在面临高并发现象时，容易出现宕机的技术问题。
本申请实施例提供了一种数据处理方法，应用于分布式缓存器，所述分布式缓存器包括若干个缓存节点，所述数据处理方法包括：
在接收到客户端发送的查询请求时，判断各个所述缓存节点中是否存在与所述查询请求匹配的预置数据，所述预置数据为由所述数据库服务器中预先获取的公共数据；
在有所述缓存节点中存在与所述查询请求匹配的预置数据时，将所述缓存节点中与所述查询请求匹配的预置数据发送给所述客户端；
在各个所述缓存节点中均不存在与所述查询请求匹配的预置数据息时，将所述查询请求发送给数据库服务器，以供所述数据库服务器向所述客户端发送与所述查询请求匹配的公共数据。
在一实施例中，所述数据处理方法，还包括：
在所述预设的消息队列中新增数据变更消息时，向所述数据库服务器发送数据更新请求；
在接收到所述数据库服务器发送的变更后的公共数据时，获取变更后的所述公共数据对应的缓存节点；
采用变更后的所述公共数据更新获取的所述缓存节点中的预置数据。
在一实施例中，所述在各个所述缓存节点中均不存在与所述查询请求匹配的预置数据息时，将所述查询请求发送给数据库服务器，以供所述数据库服务器向所述客户端发送与所述查询请求匹配的公共数据的步骤之后，还包括：
接收所述数据库服务器发送的用户信息以及与所述查询请求匹配的公共数据；
将所述用户信息以及与所述查询请求匹配的所述公共数据存储至预先设定的所述缓存节点中。
在一实施例中，所述将所述用户信息以及与所述查询请求匹配的所述公共数据存储至预先设定的所述缓存节点的步骤之后，还包括：
统计存储至预先设定的所述缓存节点中与所述查询请求匹配的所述公共数据的访问量。
在一实施例中，所述数据处理方法，还包括：
获取查询各个所述缓存节点中预置数据的查询请求的请求数量；
在有所述缓存节点的请求数量大于预设值时，将所述查询请求分配至空闲状态的所述缓存节点。
在一实施例中，本发明还提供了一种数据处理方法，应用于数据库服务器，所述数据处理方法包括：
在接收到分布式缓存器发送的客户端的查询请求时，获取所述数据库服务器中与所述查询请求匹配的公共数据，其中，所述查询请求在缓存节点中没有所述查询请求匹配的预置数据时发送至所述数据库服务器；
将与所述查询请求匹配的公共数据发送给所述客户端。
在一实施例中，所述数据处理方法，还包括：
在接收所述分布式缓存器发送的数据更新请求时，根据所述数据更新请求从所述数据库服务器中获取变更后的所述公共数据，其中，在预设的消息队列中新增数据变更消息，所述分布式缓存器发送数据更新请求至所述数据库服务器；
将变更后的所述公共数据发送给所述分布式缓存器。
此外，为实现上述目的，本发明还提供了一种数据处理系统，包括分布式缓存器和数据库服务器，所述分布式缓存器包括若干个缓存节点；
所述分布式缓存器包括:
判断模块，用于在接收到客户端发送的查询请求时，判断各个所述缓存节点中是否存在与所述查询请求匹配的预置数据，所述预置数据为由所述数据库服务器中预先获取的公共数据；
第一查询模块，用于在有所述缓存节点中存在与所述查询请求匹配的预置数据时，将所述缓存节点中与所述查询请求匹配的预置数据发送给所述客户端；
第一发送模块，用于在各个所述缓存节点中均不存在与所述查询请求匹配的预置数据息时，将所述查询请求发送给数据库服务器，以供所述数据库服务器向所述客户端发送与所述查询请求匹配的公共数据；
所述数据库服务器包括：
第二查询模块，用于在接收到分布式缓存器发送的客户端的查询请求时，获取所述数据库服务器中与所述查询请求匹配的公共数据，其中，所述查询请求在缓存节点中没有所述查询请求匹配的预置数据时发送至所述数据库服务器；
第二发送模块，用于将与所述查询请求匹配的公共数据发送给所述客户端。
此外，为实现上述目的，本发明还提供了一种数据处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现上述的数据处理方法的步骤。
此外，为实现上述目的，本发明还提供了一种存储介质，其上存储有数据处理程序，所述数据处理程序被处理器执行时实现上述的数据处理方法的步骤。
本申请实施例中提供的一种数据处理方法、系统、设备及存储介质的技术方案，至少具有如下技术效果或优点：
由于采用由于采用了在接收到客户端发送的查询请求时，判断各个缓存节点中是否存在与查询请求匹配的预置数据，在有缓存节点中存在与查询请求匹配的预置数据时，将缓存节点中与查询请求匹配的预置数据发送给客户端；在各个缓存节点中均不存在与查询请求匹配的预置数据息时，将查询请求发送给数据库服务器，以供数据库服务器向客户端发送与查询请求匹配的公共数据的技术方案，通过让查询请求优先访问缓存，降低了数据库服务的访问量，解决了现有的数据库服务器在面临高并发现象时，容易出现宕机的技术问题，不仅提高了数据的查询时间和客户端的响应时间，还节约了数据库服务器的硬件资源。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的结构示意图；
图2为本发明数据处理方法第一实施例的流程示意图；
图3为本发明数据处理方法第二实施例的流程示意图；
图4为本发明数据处理方法第三实施例的流程示意图；
图5为本发明数据处理方法第四实施例的流程示意图；
图6为本发明数据处理方法第五实施例的流程示意图；
图7为本发明数据处理方法第六实施例的流程示意图；
图8为本发明数据处理系统的功能模块图。
具体实施方式
为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
作为一种实现方式，可以如图1所示，图1是本发明实施例方案涉及的装置的硬件架构示意图。
本发明实施例方案涉及的是数据处理设备，数据处理设备包括：处理器101，例如CPU，存储器102，通信总线103。其中，通信总线103用于实现这些组件之间的连接通信。
存储器102可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。如图1所示，作为一种存储介质的存储器102中可以包括数据处理程序；而处理器101可以用于调用存储器102中存储的数据处理程序，并执行以下操作：
在接收到客户端发送的查询请求时，判断各个所述缓存节点中是否存在与所述查询请求匹配的预置数据，所述预置数据为由所述数据库服务器中预先获取的公共数据；
在有所述缓存节点中存在与所述查询请求匹配的预置数据时，将所述缓存节点中与所述查询请求匹配的预置数据发送给所述客户端；
在各个所述缓存节点中均不存在与所述查询请求匹配的预置数据息时，将所述查询请求发送给数据库服务器，以供所述数据库服务器向所述客户端发送与所述查询请求匹配的公共数据。
在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，还执行以下操作：
在所述预设的消息队列中新增数据变更消息时，向所述数据库服务器发送数据更新请求；
在接收到所述数据库服务器发送的变更后的公共数据时，获取变更后的所述公共数据对应的缓存节点；
采用变更后的所述公共数据更新获取的所述缓存节点中的预置数据。
在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，还执行以下操作：
接收所述数据库服务器发送的用户信息以及与所述查询请求匹配的公共数据；
将所述用户信息以及与所述查询请求匹配的所述公共数据存储至预先设定的所述缓存节点中。
在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，还执行以下操作：
统计存储至预先设定的所述缓存节点中与所述查询请求匹配的所述公共数据的访问量。
在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，还执行以下操作：
获取查询各个所述缓存节点中预置数据的查询请求的请求数量；
在有所述缓存节点的请求数量大于预设值时，将所述查询请求分配至空闲状态的所述缓存节点。
在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，还执行以下操作：
在接收到分布式缓存器发送的客户端的查询请求时，获取所述数据库服务器中与所述查询请求匹配的公共数据，其中，所述查询请求在缓存节点中没有所述查询请求匹配的预置数据时发送至所述数据库服务器；
将与所述查询请求匹配的公共数据发送给所述客户端。
在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，还执行以下操作：
在接收所述分布式缓存器发送的数据更新请求时，根据所述数据更新请求从所述数据库服务器中获取变更后的所述公共数据，其中，在预设的消息队列中新增数据变更消息，所述分布式缓存器发送数据更新请求至所述数据库服务器；
将变更后的所述公共数据发送给所述分布式缓存器。
本发明实施例提供了数据处理方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，该数据处理方法应用于数据处理，具体可以用于数据信息的查询或搜索等方面。
如图2所示，在本申请的第一实施例中，本申请的数据处理方法，应用于分布式缓存器，所述分布式缓存器包括若干个缓存节点，包括以下步骤：
步骤S110：在接收到客户端发送的查询请求时，判断各个所述缓存节点中是否存在与所述查询请求匹配的预置数据。
在本实施例中，分布式缓存器中的各个缓存节点中均存储有来自于数据库服务器中的公共数据，为了区分，将每个缓存节点中存储的公共数据称为预置数据。其中，预置数据为由所述数据库服务器中预先获取的公共数据，即预置数据是预先从数据库服务器下发给各个缓存节点的，即每个缓存节点中存储的预置数据属于数据库服务器中存储的公共数据的一部分。
具体的，当用户通过客户端查询数据时，客户端将查询请求发送给分布式缓存器，分布式缓存器根据查询请求获取到待查询数据，然后根据待查询数据去查询各个缓存节点，如果有缓存节点中存在与待查询数据相同的预置数据，即存在与该查询请求匹配的预置数据，则执行步骤S120，如果各个缓存节点中均不存在与待查询数据相同的预置数据，即不存在与该查询请求匹配的预置数据，则执行步骤S130。
步骤S120：在有所述缓存节点中存在与所述查询请求匹配的预置数据时，将所述缓存节点中与所述查询请求匹配的预置数据发送给所述客户端。
步骤S130：在各个所述缓存节点中均不存在与所述查询请求匹配的预置数据息时，将所述查询请求发送给数据库服务器，以供所述数据库服务器向所述客户端发送与所述查询请求匹配的公共数据。
在本实施例中，所述的分布式缓存器可以理解为非关系型数据库，即Redis，也是缓存数据库；数据库服务器可以理解为关系型数据库，即Mysql。由于Mysql具有存放持久化数据，将数据存储在硬盘中，读取速度较慢的性质；redis具有将数据存储在缓存中，缓存的读取速度快，能够大大的提高运行效率的性质。本申请利用从Redis读取数据比从Mysql中读取数据速度快的优点，在接收到客户端的发送的查询请求时，优先从缓存中查询与查询请求匹配的数据，如果缓存中没有查询到与查询请求匹配的数据，则再从数据库服务器中查询与查询请求匹配的数据。
如果有缓存节点中存在与所述查询请求匹配的预置数据时，则从该缓存节点获取与查询请求匹配的预置数据，并将获取的预置数据发送给客户端。当分布式缓存器接收到多个客户端发送的多个查询请求时，这些查询请求会被分散处理，即通过各个缓存节点获取与对应查询请求匹配的预置数据，并发送获取到的预置数据发送至相应的客户端。例如，有A、B、C三个客户端，分别向分布式缓存器发送了一个查询请求，分别是A1，B1，C1，分布式缓存器包括缓存节点1、缓存节点2和缓存节点3，其中，缓存节点1根据A1和B1，获取到了与A1匹配的预置数据D11以及与B1匹配的预置数据D12，然后缓存节点1将D11发送给A以及将D12发送给B；缓存节点3根据C1获取到了与C1匹配的预置数据D31，然后将D31发送给C。
如果各个缓存节点中均不存在与所述查询请求匹配的预置数据时，则将查询请求发送给数据库服务器，数据库服务器根据查询请求获取与查询请求匹配的公共数据，然后将与查询请求匹配的公共数据发送给客户端。
本实施例根据上述技术方案，由于采用了在接收到客户端发送的查询请求时，判断各个所述缓存节点中是否存在与所述查询请求匹配的预置数据，在有所述缓存节点中存在与所述查询请求匹配的预置数据时，将所述缓存节点中与所述查询请求匹配的预置数据发送给所述客户端；在各个所述缓存节点中均不存在与所述查询请求匹配的预置数据息时，将所述查询请求发送给数据库服务器，以供所述数据库服务器向所述客户端发送与所述查询请求匹配的公共数据的技术手段，通过让查询请求优先访问缓存以降低数据库服务的访问量，不仅提高了数据的查询时间和客户端的响应时间，还节约了数据库服务器的硬件资源。
如图3所示，在本申请的第二实施例中，基于第一实施例，本申请的数据处理方法，还包括以下步骤：
步骤S210：在所述预设的消息队列中新增数据变更消息时，向所述数据库服务器发送数据更新请求。
在本实施例中，消息队列是指消息队列组件，简称为MQ组件，分布式缓存器通过MQ组件来监听数据库服务器中的公共数据是否发生变更。如果运营人员在后台对数据库服务器中的公共数据进行变更(例如修改)后，MQ组件监听到发生变更的公共数据之后，将变更的公共数据的变更消息进行记录。分布式缓存器对MQ组件进行实时检测，即判断MQ组件中是否有新增的变更消息，如果检测到MQ组件中新增数据变更消息，则数据变更消息确定具体变更的公共数据，然后向数据库服务器发送数据更新请求，数据库服务器根据数据更新请求获取对应的变更后的公共数据，并发送变更后的公共数据给分布式缓存器。
步骤S220：在接收到所述数据库服务器发送的变更后的公共数据时，获取变更后的所述公共数据对应的缓存节点。
步骤S230：采用变更后的所述公共数据更新获取的所述缓存节点中的预置数据。
在本实施例中，分布式缓存器接收到数据库服务器发送的变更后的公共数据之后，根据变更后的公共数据确定出与该变更后的公共数据对应的预置数据所在的缓存节点，然后采用变更后的公共数据更新该缓存节点中的预置数据。例如，数据库服务器中的公共数据M变更后成为了N，根据M获取到了存储与M相同的预置数据K的是缓存节点2，分布式缓存器接收到N之后，将缓存节点2中的K变更为N。
本实施例根据上述技术方案，在数库服务器中公共数据变更时，实现了对各个缓存节点中预置数据的同步变更。
如图4所示，在本申请的第三实施例中，基于第一实施例，步骤S130之后还包括以下步骤：
步骤S310：接收所述数据库服务器发送的用户信息以及与所述查询请求匹配的公共数据。
步骤S320：将所述用户信息以及与所述查询请求匹配的所述公共数据存储至预先设定的所述缓存节点中。
在本实施例中，数据库服务器除了将与查询请求匹配的公共数据发送给客户端之外，同时还根据查询请求获取发送该查询请求的用户信息，然后将用户信息以及与查询请求匹配的公共数据一起发送给分布式缓存器，分布式缓存器接收到用户信息和公共数据之后，将用户信息和与查询请求匹配的公共数据存储到预先设定的缓存节点中。预先设定的缓存节点可以是访问热度高的缓存节点，也可以是内存占用率较低的缓存节点，等等。其中，用户信息包括用户ID，语言编码、区域编码等，数据库服务器将用户信息作为缓存key，然后将缓存key和与查询请求匹配的公共数据作为一个数据体发送给分布式缓存器，其中，缓存key用于标识存入缓存节点中的公共数据，当用户再次通过客户端查询数据时，分布式缓存器从对应的缓存节点中根据缓存key直接获取用户所要查询的预置数据，并返回给客户端。
本实施例根据上述技术方案，实现了对各个缓存节点中预置数据的更新。
进一步的，步骤S320之后，还包括统计存储至预先设定的所述缓存节点中与所述查询请求匹配的所述公共数据的访问量。
具体的，分布式缓存器将与查询请求匹配的公共数据储至预先设定的缓存节点中之后，对该与查询请求匹配的公共数据的访问量进行统计，从而将统计结果提供给后台的运营人员，以便运营人员根据统计结果对各个缓存节点进行数据分析，便于后期对各个缓存节点进行管理。
如图5所示，在本申请的第四实施例中，基于第一实施例，本申请的数据处理方法，包括以下步骤：
步骤S410：获取查询各个所述缓存节点中预置数据的查询请求的请求数量。
步骤S420：在有所述缓存节点的请求数量大于预设值时，将所述查询请求分配至空闲状态的所述缓存节点。
在本实施例中，查询请求的请求数量根据缓存key的访问量确定，预设值是指查询请求的请求数量的上限值，表示缓存节点所能接受的最大访问量。分布式缓存器获取查询各个缓存节点中预置数据的查询请求的请求数量，然后将获取的来自每个缓存节点的请求数量与对应缓存节点的预设值进行比较，在有缓存节点的请求数量大于预设值，则获取空闲状态的缓存节点，将请求数量大于预设值的缓存节点的一部分查询请求分配至空闲状态的缓存节点，从而减少请求数量大于预设值的缓存节点的访问量，其中空闲状态的缓存节点是指访问量较少的缓存节点。或者，还可以对请求数量大于预设值的缓存节点进行熔断操作，例如，当前的缓存节点允许10个查询请求访问，但目前有20个查询请求，此时该缓存节点允许前10个查询请求进行访问，如果该缓存节点获取到为了这10个查询请求中的任意一个查询请求匹配的预置数据，并发送给对应的客户端后，第11个查询请求便可以访问该缓存节点，如此操作，依次类推。
本实施例根据上述技术方案，有利于降低各个缓存节点的工作压力。
如图6所示，在本申请的第五实施例中，本申请的数据处理方法，应用于数据库服务器，包括以下步骤：
步骤S510：在接收到分布式缓存器发送的客户端的查询请求时，获取所述数据库服务器中与所述查询请求匹配的公共数据。
步骤S520：将与所述查询请求匹配的公共数据发送给所述客户端。
在本实施例中，查询请求在缓存节点中没有查询请求匹配的预置数据时发送至数据库服务器，即分布式缓存器接收到客户端发送的查询请求之后，优先查询分布式缓存器中的各个缓存节点，如果各个缓存节点中均不存在与该查询请求匹配的预置数据时，分布式缓存器将该查询请求发送给数据库服务器，获取与查询请求匹配的公共数据，然后与查询请求匹配的公共数据发送给客户端。
进一步的，数据库服务器还根据查询请求获取该查询请求中包含的用户信息。其中，用户信息包括用户ID，语言编码、区域编码等，数据库服务器将用户信息作为缓存key，然后将缓存key和与查询请求匹配的公共数据作为一个数据体发送给分布式缓存器，其中，缓存key用于标识存入缓存节点中的公共数据，当用户再次通过客户端查询数据时，分布式缓存器从对应的缓存节点中根据缓存key直接获取用户所要查询的预置数据，并返回给客户端。
本实施例根据上述技术方案，通过让查询请求优先访问缓存，降低了数据库服务的访问量。
如图7所示，在本申请的第六实施例中，本申请的数据处理方法，包括以下步骤：
步骤S610：在接收所述分布式缓存器发送的数据更新请求时，根据所述数据更新请求从所述数据库服务器中获取变更后的所述公共数据。
步骤S620：将变更后的所述公共数据发送给所述分布式缓存器。
在本实施例中，在预设的消息队列中新增数据变更消息，分布式缓存器发送数据更新请求至数据库服务器，数据库服务器在接收分布式缓存器发送的数据更新请求时，获取与数据更新请求对应的变更后的公共数据，然后将获取的变更后的公共数据发送给分布式缓存器，分布式缓存器接收到数据库服务器发送的变更后的公共数据之后，根据变更后的公共数据确定出与该变更后的公共数据对应的预置数据所在的缓存节点，然后采用变更后的公共数据更新该缓存节点中的预置数据。
本实施例根据上述技术方案，在数库服务器中公共数据变更时，实现了对各个缓存节点中预置数据的同步变更。
如图8所示，本申请提供的一种数据处理系统，包括分布式缓存器和数据库服务器，所述分布式缓存器包括若干个缓存节点；
所述分布式缓存器包括:
判断模块710，用于在接收到客户端发送的查询请求时，判断各个所述缓存节点中是否存在与所述查询请求匹配的预置数据，所述预置数据为由所述数据库服务器中预先获取的公共数据；
第一查询模块720，用于在有所述缓存节点中存在与所述查询请求匹配的预置数据时，将所述缓存节点中与所述查询请求匹配的预置数据发送给所述客户端；
第一发送模块730，用于在各个所述缓存节点中均不存在与所述查询请求匹配的预置数据息时，将所述查询请求发送给数据库服务器，以供所述数据库服务器向所述客户端发送与所述查询请求匹配的公共数据；
所述数据库服务器包括：
第二查询模块740，用于在接收到分布式缓存器发送的客户端的查询请求时，获取所述数据库服务器中与所述查询请求匹配的公共数据，其中，所述查询请求在缓存节点中没有所述查询请求匹配的预置数据时发送至所述数据库服务器；
第二发送模块750，用于将与所述查询请求匹配的公共数据发送给所述客户端。
本发明数据处理系统具体实施方式与上述数据处理方法各实施例基本相同，在此不再赘述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中每一流程和/或方框、以及流程图和/或方框图中流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种数据处理方法，其特征在于，应用于分布式缓存器，所述分布式缓存器包括若干个缓存节点，所述数据处理方法包括：
在接收到客户端发送的查询请求时，判断各个所述缓存节点中是否存在与所述查询请求匹配的预置数据，所述预置数据为由所述数据库服务器中预先获取的公共数据；
在有所述缓存节点中存在与所述查询请求匹配的预置数据时，将所述缓存节点中与所述查询请求匹配的预置数据发送给所述客户端；
在各个所述缓存节点中均不存在与所述查询请求匹配的预置数据息时，将所述查询请求发送给数据库服务器，以供所述数据库服务器向所述客户端发送与所述查询请求匹配的公共数据。
2.如权利要求1所述的方法，其特征在于，所述数据处理方法，还包括：
在所述预设的消息队列中新增数据变更消息时，向所述数据库服务器发送数据更新请求；
在接收到所述数据库服务器发送的变更后的公共数据时，获取变更后的所述公共数据对应的缓存节点；
采用变更后的所述公共数据更新获取的所述缓存节点中的预置数据。
3.如权利要求1所述的方法，其特征在于，所述在各个所述缓存节点中均不存在与所述查询请求匹配的预置数据息时，将所述查询请求发送给数据库服务器，以供所述数据库服务器向所述客户端发送与所述查询请求匹配的公共数据的步骤之后，还包括：
接收所述数据库服务器发送的用户信息以及与所述查询请求匹配的公共数据；
将所述用户信息以及与所述查询请求匹配的所述公共数据存储至预先设定的所述缓存节点中。
4.如权利要求3所述的方法，其特征在于，所述将所述用户信息以及与所述查询请求匹配的所述公共数据存储至预先设定的所述缓存节点的步骤之后，还包括：
统计存储至预先设定的所述缓存节点中与所述查询请求匹配的所述公共数据的访问量。
5.如权利要求1所述的方法，其特征在于，所述数据处理方法，还包括：
获取查询各个所述缓存节点中预置数据的查询请求的请求数量；
在有所述缓存节点的请求数量大于预设值时，将所述查询请求分配至空闲状态的所述缓存节点。
6.一种数据处理方法，其特征在于，应用于数据库服务器，所述数据处理方法包括：
在接收到分布式缓存器发送的客户端的查询请求时，获取所述数据库服务器中与所述查询请求匹配的公共数据，其中，所述查询请求在缓存节点中没有所述查询请求匹配的预置数据时发送至所述数据库服务器；
将与所述查询请求匹配的公共数据发送给所述客户端。
7.如权利要求6所述的方法，其特征在于，所述数据处理方法，还包括：
在接收所述分布式缓存器发送的数据更新请求时，根据所述数据更新请求从所述数据库服务器中获取变更后的所述公共数据，其中，在预设的消息队列中新增数据变更消息，所述分布式缓存器发送数据更新请求至所述数据库服务器；
将变更后的所述公共数据发送给所述分布式缓存器。
8.一种数据处理系统，其特征在于，包括分布式缓存器和数据库服务器，所述分布式缓存器包括若干个缓存节点；
所述分布式缓存器包括:
判断模块，用于在接收到客户端发送的查询请求时，判断各个所述缓存节点中是否存在与所述查询请求匹配的预置数据，所述预置数据为由所述数据库服务器中预先获取的公共数据；
第一查询模块，用于在有所述缓存节点中存在与所述查询请求匹配的预置数据时，将所述缓存节点中与所述查询请求匹配的预置数据发送给所述客户端；
第一发送模块，用于在各个所述缓存节点中均不存在与所述查询请求匹配的预置数据息时，将所述查询请求发送给数据库服务器，以供所述数据库服务器向所述客户端发送与所述查询请求匹配的公共数据；
所述数据库服务器包括：
第二查询模块，用于在接收到分布式缓存器发送的客户端的查询请求时，获取所述数据库服务器中与所述查询请求匹配的公共数据，其中，所述查询请求在缓存节点中没有所述查询请求匹配的预置数据时发送至所述数据库服务器；
第二发送模块，用于将与所述查询请求匹配的公共数据发送给所述客户端。
9.一种数据处理设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如权利要求1-7中任一项所述的数据处理方法的步骤。
10.一种存储介质，其特征在于，其上存储有数据处理程序，所述数据处理程序被处理器执行时实现权利要求1-7中任一项所述的数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110724554.6A CN113377817A (zh) | 2021-06-28 | 2021-06-28 | 数据处理方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110724554.6A CN113377817A (zh) | 2021-06-28 | 2021-06-28 | 数据处理方法、系统、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113377817A true CN113377817A (zh) | 2021-09-10 |
Family
ID=77579734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110724554.6A Pending CN113377817A (zh) | 2021-06-28 | 2021-06-28 | 数据处理方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113377817A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115640110A (zh) * | 2022-11-07 | 2023-01-24 | 北京百度网讯科技有限公司 | 分布式云计算系统调度方法和装置 |
| CN117061324A (zh) * | 2023-10-11 | 2023-11-14 | 佳瑛科技有限公司 | 一种业务数据处理方法以及分布式系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108153825A (zh) * | 2017-12-07 | 2018-06-12 | 石化盈科信息技术有限责任公司 | 数据访问方法及装置 |
| CN110162529A (zh) * | 2019-05-27 | 2019-08-23 | 广州华多网络科技有限公司 | 一种数据处理方法、业务服务器及数据处理系统 |
| CN110222076A (zh) * | 2019-05-07 | 2019-09-10 | 广州虎牙信息科技有限公司 | 分布式缓存方法、服务器及存储介质 |
| CN112579650A (zh) * | 2020-12-25 | 2021-03-30 | 恩亿科(北京)数据科技有限公司 | 基于Redis缓存的数据处理方法及系统 |
-
2021
- 2021-06-28 CN CN202110724554.6A patent/CN113377817A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108153825A (zh) * | 2017-12-07 | 2018-06-12 | 石化盈科信息技术有限责任公司 | 数据访问方法及装置 |
| CN110222076A (zh) * | 2019-05-07 | 2019-09-10 | 广州虎牙信息科技有限公司 | 分布式缓存方法、服务器及存储介质 |
| CN110162529A (zh) * | 2019-05-27 | 2019-08-23 | 广州华多网络科技有限公司 | 一种数据处理方法、业务服务器及数据处理系统 |
| CN112579650A (zh) * | 2020-12-25 | 2021-03-30 | 恩亿科(北京)数据科技有限公司 | 基于Redis缓存的数据处理方法及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115640110A (zh) * | 2022-11-07 | 2023-01-24 | 北京百度网讯科技有限公司 | 分布式云计算系统调度方法和装置 |
| CN115640110B (zh) * | 2022-11-07 | 2023-11-17 | 北京百度网讯科技有限公司 | 分布式云计算系统调度方法和装置 |
| CN117061324A (zh) * | 2023-10-11 | 2023-11-14 | 佳瑛科技有限公司 | 一种业务数据处理方法以及分布式系统 |
| CN117061324B (zh) * | 2023-10-11 | 2023-12-15 | 佳瑛科技有限公司 | 一种业务数据处理方法以及分布式系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110275983B (zh) | 交通监控数据的检索方法及装置 | |
| TW201401210A (zh) | 業務對象推送的方法以及裝置 | |
| CN110609844A (zh) | 一种数据更新方法，装置及系统 | |
| CN105824868A (zh) | 一种分布式数据库数据处理方法和分布式数据库系统 | |
| TW201340011A (zh) | 資訊推薦方法及資訊推薦裝置 | |
| CN113377817A (zh) | 数据处理方法、系统、设备及存储介质 | |
| JP7313382B2 (ja) | 分散システムの頻繁パターン分析 | |
| US10812322B2 (en) | Systems and methods for real time streaming | |
| CN109542894B (zh) | 用户数据集中存储方法、装置、介质和计算机设备 | |
| CN107491463B (zh) | 数据查询的优化方法和系统 | |
| CN110134738A (zh) | 分布式存储系统资源预估方法、装置 | |
| CN111400301A (zh) | 一种数据查询方法、装置及设备 | |
| CN110909072B (zh) | 一种数据表建立方法、装置及设备 | |
| CN105978744A (zh) | 一种资源分配方法、装置及系统 | |
| CN115729965A (zh) | 信息流处理方法、装置、流服务器及存储介质 | |
| CN114006946B (zh) | 同质资源请求的处理方法、装置、设备及存储介质 | |
| CN110363515B (zh) | 权益卡账户信息查询方法、系统、服务器及可读存储介质 | |
| CN110389966B (zh) | 一种信息处理方法及装置 | |
| CN113905252A (zh) | 直播间的数据存储方法、装置、电子设备及存储介质 | |
| CN115794876A (zh) | 针对业务数据包的分片处理方法、装置、设备及存储介质 | |
| CN111343101A (zh) | 服务器限流方法、装置、电子设备及可读存储介质 | |
| CN113377831B (zh) | 资源数据查询方法、装置、电子设备以及存储介质 | |
| US8874539B2 (en) | Object identity and addressability | |
| CN112732757B (zh) | 一种降级数据的处理方法、系统、装置、设备及存储介质 | |
| CN111104634B (zh) | 灰度用户的方法、服务器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |