CN112597151A

CN112597151A - 数据处理方法、装置、设备和存储介质

Info

Publication number: CN112597151A
Application number: CN202011407926.4A
Authority: CN
Inventors: 殷佳佳
Original assignee: Changsha Daojia Youxiang Home Economics Service Co ltd
Current assignee: Changsha Daojia Youxiang Home Economics Service Co ltd
Priority date: 2020-12-03
Filing date: 2020-12-03
Publication date: 2021-04-02

Abstract

本发明公开了数据处理方法、装置、设备和存储介质。该方法包括：根据业务类型，将多个业务模块分别存储于数据库中；对数据库中业务数据进行更新；基于业务模块对应的数据库中业务数据第一更新信息，更新缓存数据；基于更新后的缓存数据，执行数据处理。通过上述方案，对整体业务数据按照业务类型进行业务模块的划分，并将各个业务模块分别存储到对应的数据库当中。当有业务数据需要更新的时候，先将对应业务数据更新到数据库中，进而，将业务数据更新到缓存当中。将业务数据按照业务类型进行多模块划分，便于业务数据的高效管理和使用。同时进行业务数据更新的时候，先对数据库中业务数据进行更新，进而对缓存数据更新，确保缓存中数据的一致性。

Description

数据处理方法、装置、设备和存储介质

技术领域

本发明实施例涉及互联网技术领域，尤其涉及数据处理方法、装置、设备和存储介质。

背景技术

随着互联网技术的发展，在执行任务过程中，所要用到的数据越来越多。为了能够提升数据读写速度，通常会为采用数据库和缓存配合使用的方式提高数据读写的工作效率。

在实际应用中，由于缓存读写速度要明显高于数据库，对于常用业务数据通常存储在缓存当中，其余大多数数据都将保存在数据库当中。当需要使用某个数据的时候，优先从缓存当中查找，若没有查找到想要的数据，才会进一步从数据库中继续查找。为了确保数据调用的正常进行，需要确保数据库中的数据与缓存中的数据一致。因此，需要一种能够自动保持数据库数据和缓存数据一致的技术方案。

发明内容

本发明实施例提供数据处理方法、装置、设备和存储介质，用以满足服务商家及时、高效获取订单需求的技术方案。

第一方面，本发明实施例提供一种数据处理方法，该方法包括：

根据业务类型，将多个业务模块分别存储于数据库中；

对所述数据库中业务数据进行更新；

基于所述业务模块对应的数据库中业务数据第一更新信息，更新缓存数据；

基于更新后的所述缓存数据，执行数据处理。

可选地，所述根据业务类型，将多个业务模块分别存储于数据库中，包括：

根据业务类型，对整体业务数据进行拆分；

将拆分得到的所述业务数据分别封装生成所述业务模块；

存储所述业务模块到所述数据库。

可选地，所述基于所述业务模块对应的数据库中业务数据第一更新信息，更新缓存数据，包括：

监听数据库事务日志，若所述日志发生变动，则更新缓存数据；其中，所述数据库事务日志用于记录所述业务数据的第一更新信息。

可选地，所述若所述日志发生变动，则更新缓存数据，包括：

监听所述数据库事务日志，若基础业务模块的所述日志发生变动，则广播所述日志对应的第一更新信息；

基于第一更新信息，更新缓存数据；其中，所述数据库事务日志用于记录所述业务数据的第一更新信息。

监听所述数据库事务日志，获取所述业务数据第一更新信息；

若所述业务数据第一更新信息对应的业务模块为重点业务模块，则将对应的所述业务数据处理至所述缓存数据；其中，所述数据库事务日志用于记录所述业务数据的第一更新信息。

若所述业务数据第一更新信息对应的业务模块的使用频率大于频率阈值，则将对应的业务数据处理至所述缓存数据；其中，所述数据库事务日志用于记录所述业务数据的第一更新信息。

可选地，所述将对应的业务数据处理至所述缓存数据，包括：

获取所述第一更新信息对应的所述业务数据的存储地址；

将所述存储地址存储在内存队列中；

基于所述内存队列删除缓存数据中的就数据；

将对应的所述业务数据处理至所述缓存数据。

第二方面，本发明实施例提供一种数据处理装置，该装置包括：

存储模块，用于根据业务类型，将多个业务模块分别存储于数据库中；

更新模块，用于对所述数据库中业务数据进行更新；

所述更新模块，还用于基于所述业务模块对应的数据库中业务数据第一更新信息，更新缓存数据；

执行模块，用于基于更新后的所述缓存数据，执行数据处理。

第三方面，本发明实施例提供一种电子设备，包括处理器、存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如第一方面所述的数据处理方法。

第四方面，本发明实施例提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行包括以下的动作：

根据业务类型，将多个业务模块分别存储于数据库中；

对所述数据库中业务数据进行更新；

基于更新后的所述缓存数据，执行数据处理。

在本发明实施例中，根据业务类型，将多个业务模块分别存储于数据库中；对所述数据库中业务数据进行更新；基于所述业务模块对应的数据库中业务数据第一更新信息，更新缓存数据；基于更新后的所述缓存数据，执行数据处理。通过上述方案，对整体业务数据按照业务类型进行业务模块的划分，并将各个业务模块分别存储到对应的数据库当中。当有业务数据需要更新的时候，先将对应业务数据更新到数据库中，进而，将业务数据更新到缓存当中。将业务数据按照业务类型进行多模块划分，便于业务数据的高效管理和使用。同时，进行业务数据更新的时候，先对数据库中业务数据进行更新，进而对缓存数据更新，确保缓存中数据的一致性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据处理方法的流程示意图；

图2为本申请实施例提供的另一种数据处理装置的结构示意图；

图3为与图2所述实施例提供的另一种数据处理装置对应的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

随着互联网技术普及以及业务的发展，某些应用当中包含的业务类型越来越多，对应的产生的业务数据也会越来越多。为了能够满足业务数据频繁、大量、高速读写需求，在利用数据库进行业务数据存储的基础之外，还利用缓存单元对部分业务进行缓存。在使用过程中，优先从缓存中查找是否有该数据，如果有则可以由缓存快速提供所需数据；如果没有，则进一步从数据库中查找该数据，并将该数据存储到缓存当中。为了确保能够正常工作，需要保证缓存与数据库中的数据一致。因此，需要一种能够满足缓存与数据库中的数据一致的方案。

图1为本申请实施例提供的一种数据处理方法的流程示意图，应用于服务端(比如，云服务器或者服务器集群)，如图1所示，该方法包括以下步骤：

101：根据业务类型，将多个业务模块分别存储于数据库中。

102：对所述数据库中业务数据进行更新。

103：基于所述业务模块对应的数据库中业务数据第一更新信息，更新缓存数据。

104：基于更新后的所述缓存数据，执行数据处理。

容易理解的是，在业务应用中，可以包含有很多种类型的业务，比如，可以包含保姆类业务、月嫂类业务、水电工类业务等等。不同业务类型对应的业务数据的关联性不是很强，为了便于管理，可根据业务类型将整体业务数据划分为多个业务模块，进而，将得到的业务模块存储在数据库当中。当有业务数据需要更新的时候，可以根据该业务数据对应的业务类型，将数据库中对应的业务模块进行对应更新。

在实际应用中，一般是先对数据库进行更新，进而对缓存进行更新。具体来说，缓存会根据数据库更新之后生成的第一更新信息进行缓存数据更新。具体更新方式，将在下述各实施例中进行具体举例说明。

在本申请一个或者多个实施例中，所述根据业务类型，将多个业务模块分别存储于数据库中，包括：根据业务类型，对整体业务数据进行拆分；将拆分得到的所述业务数据分别封装生成所述业务模块；存储所述业务模块到所述数据库。

如前文所述可知，整体业务数据中所包含的业务类型比较多，为了便于后续对业务数据的管理，可以将整体业务数据进行拆分，进而将得到的各个业务数据进行封装处理，得到各个独立的业务模块。当然，在实际应用中，不排除一下特殊共性的业务数据在各个业务模块之间进行共享。对于这部分业务数据，可以分别封装到每个业务模块中，也可以单独封装为一个公用的模块。这里不对这部分特殊共性的业务数据的使用方式进行限定，在实际应用中用户可以根据自己的实际业务需求进行选择调整。在存储到数据库当中的时候，每个业务模块都有其对应的业务模块名称或者标识，便于能够快速的从数据库中找到所需的业务数据。

在本申请一个或者多个实施例中，所述基于所述业务模块对应的数据库中业务数据第一更新信息，更新缓存数据，包括：监听数据库事务日志，若所述日志发生变动，则更新缓存数据；其中，所述数据库事务日志用于记录所述业务数据的第一更新信息。

在实际应用中，为了能够及时且准确的了解到数据库中的各个业务模块对应的业务数据的变化状况，需要通过数据库事务日志对各个业务模块进行监听。在该日志当中包含有发生数据变动的业务模块的标识或者名称、发生变动的时间、变动的内容摘要，还可以包含有被变动的历史数据摘要信息等等。以便用户通过该日志能够准确了解到业务数据变动的详细信息。

在通过日志得知业务数据发生变动之后，将同步更新缓存。一般来说，当该业务数据在缓存当中同时存在的情况下，会进行缓存更新。若缓存当中最初并没有存储于该业务数据相关的任何数据，则，在数据库更新完成之后，可以不对缓存进行更新。

这里所说第一更新消息可以是从日志中提取出的部分消息，比如，可以是业务模块的标识或者名称等，以便从缓存数据中查找是否曾经有缓存相关数据。

在本申请一个或者多个实施例中，所述若所述日志发生变动，则更新缓存数据，包括：监听所述数据库事务日志，若基础业务模块的所述日志发生变动，则广播所述日志对应的第一更新信息；基于第一更新信息，更新缓存数据；其中，所述数据库事务日志用于记录所述业务数据的第一更新信息。

在实际应用中，为了使得日志更新消息能够尽快被各方所了解，可以采用广播的方式通知各方某个业务模块的数据发生了更新。以及，缓存及时了解到业务数据更新消息，并尽快获取更新后业务数据同步完成更新。

在本申请一个或者多个实施例中，所述若所述日志发生变动，则更新缓存数据，包括：监听所述数据库事务日志，获取所述业务数据第一更新信息；若所述业务数据第一更新信息对应的业务模块为重点业务模块，则将对应的所述业务数据处理至所述缓存数据；其中，所述数据库事务日志用于记录所述业务数据的第一更新信息。

在实际应用中，有的业务应用中包含的业务类型很多，但是有些业务类型业绩可能不是很好，对应的业务数据读写也不是很频繁；而有的业务类型的业绩比较好，需要频繁进行大量数据读写。那么，为了保证业务正常进行，需要根据业务类型标记出重点业务模块。容易理解的是，重点业务模块的业务数据读写需求更强，使用概率更大，因此，当重点业务模块进行业务数据更新的时候，需要对缓存数据进行同步更新。从而能够确保数据库部分数据与缓存数据一致性。

在本申请一个或者多个实施例中，所述若所述日志发生变动，则更新缓存数据，包括：监听所述数据库事务日志，获取所述业务数据第一更新信息；若所述业务数据第一更新信息对应的业务模块的使用频率大于频率阈值，则将对应的业务数据处理至所述缓存数据；其中，所述数据库事务日志用于记录所述业务数据的第一更新信息。

在实际应用中，还有一些情况下，若没有明确标记出是否为重点业务模块，可以对最近业务数据使用情况进行统计。具体来说，可以对各个业务类型对应的业务模块的使用频率进行统计；当然，为了更加精准，还可以针对各业务模块中各业务数据进行使用频率的统计。当统计得到的使用频率大于频率阈值的时候，可以认为这部分业务数据或者业务模块在接下来应用中也将频繁使用，因此，当这类业务模块或者这部分业务数据进行数据库更新的时候，也需要对缓存进行同步更新。而对于使用不是很频繁的业务模块或者业务数据，可以在完成数据库更新之后，不对缓存进行更新。

在一些应用场景中，还可以通过预测的方式确定是否需要对缓存中业务数据进行同步更新。某些类型的业务在特定的月份或者季节，会成为热门业务。例如，家政类业务(保姆或者月嫂)在春节期间，大城市中出现大量务工人员返乡，导致用工荒，因此，这类业务再春节期间将成为热门业务，那么对应的，这类业务在对数据库进行业务模块更新之后，还需要及时对缓存中进行同步更新，保证数据一致性效果。

在本申请一个或者多个实施例中，所述将对应的业务数据处理至所述缓存数据，包括：获取所述第一更新信息对应的所述业务数据的存储地址；将所述存储地址存储在内存队列中；基于所述内存队列删除缓存数据中的就数据；将对应的所述业务数据处理至所述缓存数据。

写操作只是修改数据库，然后把业务数据的存储地址放在内存队列中，后台会利用线程消费内存队列里面的数据，删除缓存，如果缓存删除失败，可以重试多次。这样，就把修改数据库和删除缓存两个操作解耦了，如果删除缓存失败，也可以多次尝试。由于后台线程去消费内存队列去删除缓存，不是直接删除缓存，所以修改数据库和删除缓存之间产生了一定的延迟，这延迟应该可以保证读操作已经执行完毕了。

基于相同的思路，本申请实施例还提供一种数据处理装置，该装置的执行主体可以是服务端。如图2为本申请实施例提供的一种数据处理装置的结构示意图。从图2中可以看到所述装置包括：

存储模块21，用于根据业务类型，将多个业务模块分别存储于数据库中；

更新模块22，用于对所述数据库中业务数据进行更新；

所述更新模块22，还用于基于所述业务模块对应的数据库中业务数据第一更新信息，更新缓存数据；

执行模块23，用于基于更新后的所述缓存数据，执行数据处理。

可选地，存储模块21，用于根据业务类型，对整体业务数据进行拆分；将拆分得到的所述业务数据分别封装生成所述业务模块；存储所述业务模块到所述数据库。

可选地，所述更新模块22，还用于监听数据库事务日志，若所述日志发生变动，则更新缓存数据；其中，所述数据库事务日志用于记录所述业务数据的第一更新信息。

可选地，所述更新模块23，还用于监听所述数据库事务日志，若基础业务模块的所述日志发生变动，则广播所述日志对应的第一更新信息；

可选地，所述更新模块22，还用于监听所述数据库事务日志，获取所述业务数据第一更新信息；

可选地，所述更新模块22，还用于获取所述第一更新信息对应的所述业务数据的存储地址；将所述存储地址存储在内存队列中；基于所述内存队列删除缓存数据中的就数据；将对应的所述业务数据处理至所述缓存数据。

在一个可能的设计中，上述图2所示数据处理装置的结构可实现为一电子设备，如图3所示为与图2所述实施例提供的一种数据处理装置对应的电子设备的结构示意图，该电子设备可以包括：处理器31、存储器32，所述存储器32用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器31执行时实现前述各实施例中服务端所执行的各步骤。

可选地，该电子设备中还可以包括通信接口33，用于与其他设备进行通信。

另外，本发明实施例提供了一种计算机存储介质，用于储存计算机程序，该计算机程序使客户端执行时实现上述图1所示实施例中的数据处理方法。

基于上述实施例，根据业务类型，将多个业务模块分别存储于数据库中；对所述数据库中业务数据进行更新；基于所述业务模块对应的数据库中业务数据第一更新信息，更新缓存数据；基于更新后的所述缓存数据，执行数据处理。通过上述方案，对整体业务数据按照业务类型进行业务模块的划分，并将各个业务模块分别存储到对应的数据库当中。当有业务数据需要更新的时候，先将对应业务数据更新到数据库中，进而，将业务数据更新到缓存当中。将业务数据按照业务类型进行多模块划分，便于业务数据的高效管理和使用。同时，进行业务数据更新的时候，先对数据库中业务数据进行更新，进而对缓存数据更新，确保缓存中数据的一致性。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程资源更新设备的处理器以产生一个机器，使得通过计算机或其他可编程资源更新设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程资源更新设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程资源更新设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种数据处理方法，其特征在于，应用于服务端，所述方法包括：

根据业务类型，将多个业务模块分别存储于数据库中；

对所述数据库中业务数据进行更新；

基于更新后的所述缓存数据，执行数据处理。

2.根据权利要求1所述的方法，其特征在于，所述根据业务类型，将多个业务模块分别存储于数据库中，包括：

根据业务类型，对整体业务数据进行拆分；

将拆分得到的所述业务数据分别封装生成所述业务模块；

存储所述业务模块到所述数据库。

3.根据权利要求1所述的方法，其特征在于，所述基于所述业务模块对应的数据库中业务数据第一更新信息，更新缓存数据，包括：

4.根据权利要求3所述的方法，其特征在于，所述若所述日志发生变动，则更新缓存数据，包括：

5.根据权利要求4所述的方法，其特征在于，所述若所述日志发生变动，则更新缓存数据，包括：

6.根据权利要求4所述的方法，其特征在于，所述若所述日志发生变动，则更新缓存数据，包括：

7.根据权利要求5或6所述的方法，其特征在于，所述将对应的业务数据处理至所述缓存数据，包括：

获取所述第一更新信息对应的所述业务数据的存储地址；

将所述存储地址存储在内存队列中；

基于所述内存队列删除缓存数据中的就数据；

将对应的所述业务数据处理至所述缓存数据。

8.一种数据处理装置，其特征在于，所述装置包括：

更新模块，用于对所述数据库中业务数据进行更新；

9.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现权利要求1至7中任一项所述的数据处理方法。

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行包括以下的动作：

根据业务类型，将多个业务模块分别存储于数据库中；

对所述数据库中业务数据进行更新；

基于更新后的所述缓存数据，执行数据处理。