CN114064725A - 一种数据处理方法、装置、设备及存储介质 - Google Patents

一种数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114064725A
CN114064725A CN202111355658.0A CN202111355658A CN114064725A CN 114064725 A CN114064725 A CN 114064725A CN 202111355658 A CN202111355658 A CN 202111355658A CN 114064725 A CN114064725 A CN 114064725A
Authority
CN
China
Prior art keywords
information
read
write
data
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111355658.0A
Other languages
English (en)
Inventor
郑玉元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN202111355658.0A priority Critical patent/CN114064725A/zh
Publication of CN114064725A publication Critical patent/CN114064725A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2308Concurrency control
    • G06F16/2336Pessimistic concurrency control approaches, e.g. locking or multiple versions without time stamps
    • G06F16/2343Locking methods, e.g. distributed locking or locking implementation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及数据处理领域,提供了一种数据处理方法、装置、设备及存储介质,所述方法包括获取当前数据,并依据所述当前数据的读信息情况和写信息情况确定当前业务场景;当所述当前业务场景与目标使用场景相符合时,依据所述当前业务场景确定所述目标业务场景的状态信息、缓存信息和数据库信息;依据所述目标业务场景的所述状态信息、所述缓存信息、所述数据库信息和业务需求进行数据处理;其中,所述数据处理包括添加缓存失效时间或添加读写锁。依据业务需求的不同对应进行相应的数据处理,使得缓存数据与数据库数据之间达成一致性,同时能够降低对系统性能的影响,降低实施成本,以及避免对原有代码逻辑的入侵。

Description

一种数据处理方法、装置、设备及存储介质
技术领域
本申请涉及数据处理领域,特别是一种数据处理方法、装置、设备及存储介质。
背景技术
随着信息化的不断深入发展,数据生成速度正在提高,需要处理的数据量急速膨胀,大数据时代即将到来。所谓大数据指所涉及的数据量规模巨大,以至于无法通过主流软件在合理的时间内进行处理的数据。在面对海量数据时,传统关系数据库虽然具有支持完整性约束、支持事务等优点,但是在大规模海量数据面前显得力不从心。
缓存是指可以进行高速数据交换的存储器,它先于内存与CPU(centralprocessing unit,中央处理器)交换数据,因此速率很快。缓存只是内存中少部分数据的复制品,所以CPU到缓存中寻找数据时,也会出现找不到的情况,这时CPU还是会到内存中去找数据,这样系统的速率就慢下来了,不过CPU会把这些数据复制到缓存中去,以便下一次不要再到内存中去取。随着时间的变化,被访问得最频繁的数据不是一成不变的,也就是说,刚才还不频繁的数据,此时已经需要被频繁的访问,刚才还是最频繁的数据,又不频繁了,所以说缓存中的数据要经常按照一定的算法来更换,这样才能保证缓存中的数据是被访问最频繁的。
现如今系统为了提高访问效率,减小数据库访问压力,提升系统性能,缓存的使用愈发普遍,伴随着缓存的使用,一系列问题也接踵而至,其中缓存与数据库数据一致性问题一直是业内比较难解决的痛点。现有技术中缓存当中容易出现脏数据;或通过休眠一定时间再删除缓存,休眠可能会影响系统的吞吐量,造成系统资源浪费,即使有人为了吞吐量考虑,提供了异步延时删除策略,依旧没有从根源上解决问题,如果并发量到达一定级别或者休眠后删除缓存异常依然会出现缓存脏数据;或依赖数据库的binlog日志,订阅数据库binlog日志,将有更新的数据及时更新到缓存中,该方案的缺点是更新缓存有延时,在业务要求强一致性时无法保证数据的准确性,而且代码开发成本高,增加了维护成本。
发明内容
鉴于所述问题,提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的一种数据处理方法、装置、设备及存储介质,包括:
一种数据处理方法,包括:
获取当前数据,并依据所述当前数据的读信息情况和写信息情况确定当前业务场景;其中,所述当前业务场景至少包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景;
当所述当前业务场景与目标使用场景相符合时,依据所述当前业务场景确定所述目标业务场景的状态信息、缓存信息和数据库信息;
依据所述目标业务场景的所述状态信息、所述缓存信息、所述数据库信息和业务需求进行数据处理;其中,所述数据处理包括添加缓存失效时间或添加读写锁。
进一步地,所述获取当前数据,并依据所述当前数据的读信息情况和写信息情况确定当前业务场景;其中,所述当前业务场景包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景的步骤,包括:
确定所述当前数据包含的数据类型和所述当前数据的变化频率;其中,所述数据类型包括热点数据和非热点数据;
依据所述当前数据包含的数据类型确定所述读信息情况;
依据所述当前数据的变化频率确定所述写信息情况;
依据所述读信息情况和所述写信息情况确定所述当前业务场景。
进一步地,所述依据所述读信息情况和所述写信息情况确定当前业务场景的步骤,包括:
当所述读信息情况大于预设读信息情况,且所述写信息情况大于预设写信息情况时,则确定所述当前业务场景为所述读多写多业务场景;
或;
当所述读信息情况小于预设读信息情况,且所述写信息情况大于预设写信息情况时,则确定所述当前业务场景为所述读少写多业务场景;
或;
当所述读信息情况大于预设读信息情况,且所述写信息情况小于预设写信息情况时,则确定所述当前业务场景为所述读多写少业务场景;
或;
当所述读信息情况小于预设读信息情况,且所述写信息情况小于预设写信息情况时,则确定所述当前业务场景为所述读少写少业务场景。
进一步地,所述依据所述目标业务场景的所述状态信息、所述缓存信息、所述数据库信息和业务需求进行数据处理,其中所述数据处理包括添加缓存失效时间或添加读写锁的步骤,包括:
获取所述目标业务场景的状态信息,依据所述状态信息确定所述业务需求;其中,所述业务需求包括第一业务需求和第二业务需求;
当所述业务需求为所述第一业务需求时,对所述状态信息、所述缓存信息、所述数据库信息添加读写锁;其中,所述添加读写锁包括查询数据和更新数据;
或;
当所述业务需求为所述第二业务需求时,对所述状态信息、所述缓存信息、所述数据库信息添加缓存失效时间;其中,所述添加缓存失效时间为在所述缓存信息上添加一缓存失效时间。
进一步地,所述当所述业务需求为所述第一业务需求时,对所述状态信息、所述缓存信息、所述数据库信息添加读写锁,其中,所述添加读写锁包括查询数据和更新数据的步骤,包括:
当所述添加读写锁为所述查询数据时,获取读锁,在所述缓存信息内获取是否存在数据信息;
当所述缓存信息内未获取到数据信息,则查询所述数据库信息和更新所述缓存信息并返回数据信息;
或;
当所述缓存信息内获取到数据信息,则释放所述读锁并返回数据信息。
进一步地,所述当所述业务需求为所述第二业务需求时,对所述状态信息、所述缓存信息、所述数据库信息添加缓存失效时间,其中,所述添加缓存失效时间为在所述缓存信息上添加一缓存失效时间的步骤,包括:
当所述添加读写锁为所述更新数据时,获取写锁;
依次更新所述数据库信息和所述缓存信息后释放所述写锁。
本发明实施例还公开了一种数据处理装置,所述装置包括:
第一确定模块,用于获取当前数据,并依据所述当前数据的读信息情况和写信息情况确定当前业务场景;其中,所述当前业务场景至少包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景;
第二确定模块,用于当所述当前业务场景与目标使用场景相符合时,依据所述当前业务场景确定所述目标业务场景的状态信息、缓存信息和数据库信息;
处理模块,用于依据所述目标业务场景的所述状态信息、所述缓存信息、所述数据库信息和业务需求进行数据处理;其中,所述数据处理包括添加缓存失效时间或添加读写锁。
进一步地,所述第一确定模块,用于依据当前数据的读取情况和写入情况确定当前业务场景,其中,所述当前业务场景至少包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景,包括:
第一确定子模块,用于确定所述当前数据包含的数据类型和所述当前数据的变化频率;其中,所述数据类型包括热点数据和非热点数据;
第二确定子模块,用于依据所述当前数据包含的数据类型确定所述读信息情况;
第三确定子模块,用于依据所述当前数据的变化频率确定所述写信息情况;
第四确定子模块,用于依据所述读信息情况和所述写信息情况确定所述当前业务场景。
本发明实施例还公开了一种计算机设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的一种数据处理方法的步骤。
本发明实施例还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的一种数据处理方法的步骤。
本申请具有以下优点:
在本申请的实施例中,通过获取当前数据,并依据所述当前数据的读信息情况和写信息情况确定当前业务场景;其中,所述当前业务场景至少包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景;当所述当前业务场景与目标使用场景相符合时,依据所述当前业务场景确定所述目标业务场景的状态信息、缓存信息和数据库信息;依据所述目标业务场景的所述状态信息、所述缓存信息、所述数据库信息和业务需求进行数据处理;其中,所述数据处理包括添加缓存失效时间或添加读写锁。通过当前数据确定当前业务场景,确定当前业务场景,后依据当前业务场景确定目标业务场景的状态信息;依据目标业务场景的状态信息(即在读多写少时)、缓存信息和数据库信息,依据业务需求的不同(即是否一致,分为两种情况:短暂不一致和强一致)对缓存信息和数据库信息进行数据处理,其中数据处理包括添加缓存失效时间或添加读写锁;依据业务需求的不同对应进行相应的数据处理,使得缓存数据与数据库数据之间达成一致性,同时能够降低对系统性能的影响,降低实施成本,以及避免对原有代码逻辑的入侵。
附图说明
为了更清楚地说明本申请的技术方案,下面将对本申请的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种数据处理方法的步骤流程图;
图2是本申请一实施例提供的一种数据处理方法的步骤流程图;
图3是本申请一实施例提供的一种数据处理方法的步骤流程图;
图4是本申请一实施例提供的一种数据处理方法的步骤流程图;
图5是本申请一实施例提供的一种数据处理方法的步骤流程图;
图6是本申请一实施例提供的一种数据处理方法的步骤流程图;
图7是本申请一实施例提供的一种数据处理装置的结构框图;
图8是本发明一实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请的所述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参照图1,示出了本申请一实施例提供的一种数据处理方法的步骤流程图;
一种数据处理方法,所述方法包括:
S110、依据当前数据的读取情况和写入情况确定当前业务场景,其中,所述当前业务场景至少包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景;
S120、当所述当前业务场景与目标使用场景相符合时,依据所述当前业务场景确定所述目标业务场景的状态信息、缓存信息和数据库信息;
S130、依据所述目标业务场景的所述状态信息、所述缓存信息、所述数据库信息和业务需求进行数据处理;其中,所述数据处理包括添加缓存失效时间或添加读写锁。
在本申请的实施例中,通过获取当前数据,并依据所述当前数据的读信息情况和写信息情况确定当前业务场景;其中,所述当前业务场景至少包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景;当所述当前业务场景与目标使用场景相符合时,依据所述当前业务场景确定所述目标业务场景的状态信息、缓存信息和数据库信息;依据所述目标业务场景的所述状态信息、所述缓存信息、所述数据库信息和业务需求进行数据处理;其中,所述数据处理包括添加缓存失效时间或添加读写锁。通过当前数据确定当前业务场景,确定当前业务场景,后依据当前业务场景确定目标业务场景的状态信息;依据目标业务场景的状态信息(即在读多写少时)、缓存信息和数据库信息,依据业务需求的不同(即是否一致,分为两种情况:短暂不一致和强一致)对缓存信息和数据库信息进行数据处理,其中数据处理包括添加缓存失效时间或添加读写锁;依据业务需求的不同对应进行相应的数据处理,使得缓存数据与数据库数据之间达成一致性,同时能够降低对系统性能的影响,降低实施成本,以及避免对原有代码逻辑的入侵。
下面,将对本示例性实施例中一种数据处理方法作进一步地说明。
如所述步骤S110所述,依据当前数据的读取情况和写入情况确定当前业务场景,其中,所述当前业务场景至少包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景。
需要说明的是,依据当前数据的读取情况和写入情况可以确定当前业务场景包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景。
在本发明一实施例中,可以结合下列描述进一步说明步骤S110所述“依据当前数据的读取情况和写入情况确定当前业务场景,其中,所述当前业务场景至少包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景”的具体过程。
参照图2,示出了本申请一实施例提供的一种数据处理方法的步骤流程图;如下列步骤所述,
S210,确定所述当前数据包含的数据类型和所述当前数据的变化频率;其中,所述数据类型包括热点数据和非热点数据;
S220,依据所述当前数据包含的数据类型确定所述读信息情况;
S230,依据所述当前数据的变化频率确定所述写信息情况;
S240,依据所述读信息情况和所述写信息情况确定所述当前业务场景。
需要说明的是,通过确定所述当前数据包含的数据类型和所述当前数据的变化频率;其中,所述数据类型包括热点数据和非热点数据;依据所述当前数据包含的数据类型确定所述读信息情况;依据所述当前数据的变化频率确定所述写信息情况;依据所述读信息情况和所述写信息情况确定所述当前业务场景;通过数据类型确定读信息情况,变化频率确定写信息情况,再根据当前读信息情况和写信息情况确定所述当前业务场景。
在一具体实现中,数据类型分为热点数据和非热点数据,热点数据即读取率较大的数据,非热点数据即读取率较小的数据;变化频率即数据的写入率,其中,数据的写入率大于预设值时,则认定变化频率较高的数据;数据的写入率小于预设值时,则认定变化频率较低的数据。
在本发明一实施例中,可以结合下列描述进一步说明步骤S240所述“依据所述读信息情况和所述写信息情况确定所述当前业务场景”的具体过程。
参照图3,示出了本申请一实施例提供的一种数据处理方法的步骤流程图;如下列步骤所述,
S310,当所述读信息情况大于预设读信息情况,且所述写信息情况大于预设写信息情况时,则确定所述当前业务场景为所述读多写多业务场景;
或;
S320,当所述读信息情况小于预设读信息情况,且所述写信息情况大于预设写信息情况时,则确定所述当前业务场景为所述读少写多业务场景;
或;
S330,当所述读信息情况大于预设读信息情况,且所述写信息情况小于预设写信息情况时,则确定所述当前业务场景为所述读多写少业务场景;
或;
S340,当所述读信息情况小于预设读信息情况,且所述写信息情况小于预设写信息情况时,则确定所述当前业务场景为所述读少写少业务场景。
需要说明的是,通过将读信息情况与预设读信息情况进行对比,将写信息情况与预设写信息情况进行对比,能够得知当前业务场景至少包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景。
在一具体实现中,当当前业务场景为读少写少业务场景、读少写多业务场景和读多写多业务场景时,这几种业务场景不建议使用缓存;因缓存的使用场景需满足为热点数据以及变化频率比较低的情况。
如所述步骤S120所述,当所述当前业务场景与目标使用场景相符合时,依据所述当前业务场景确定所述目标业务场景的状态信息、缓存信息和数据库信息。
需要说明的是,所述当前业务场景与目标使用场景相符合时确定目标业务场景的状态信息、缓存信息和数据库信息;通过目标使用场景在上述当前业务场景中确定目标业务场景,目标使用场景(即缓存的使用场景)在于当前业务场景内的数据是否为读取率较大的数据以及变化频率较低的数据的情况,通过目标使用场景能够确定所述读多写少业务场景为目标业务场景,则读多写少业务场景的状态信息为读多写少。
在一具体实现中,当当前业务场景内的数据即满足为热点数据,又满足业务数据的变换频率低于预设频率时,则能够确定当前业务场景内的读多写少业务场景为目标业务场景,即当前业务场景内的数据需要即满足为热点数据,且变化频率要比预设值低,从而才能确定为目标业务场景,而在读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景中仅有读多写少业务场景同时满足热点数据,还满足变化频率低;因此确定读多写少业务场景为目标业务场景,依据读多写少业务场景确定其状态信息为读多写少,以及读多写少业务场景的缓存信息和数据库信息。
如所述步骤S130所述,依据所述目标业务场景的所述状态信息、所述缓存信息、所述数据库信息和业务需求进行数据处理;其中,所述数据处理包括添加缓存失效时间或添加读写锁。
需要说明的是,依据所述目标业务场景的所述状态信息、所述缓存信息、所述数据库信息和业务需求进行数据处理,其中所述数据处理包括添加缓存失效时间和/或添加读写锁;其中,所述业务需求包括第一业务需求和第二业务需求,通过不同的业务需求所执行的数据处理也不同,具体地,第一业务需求对应添加读写锁,第二业务需求对应添加缓存失效时间。
作为一种示例,当所述业务需求为第二业务需求即短暂不一致时,所述短暂不一致具体指的是在缓存信息获取页面展示信息,通过对所述缓存信息设置缓存失效时间,在缓存失效时间后,使得缓存数据与数据库数据达成一致性;
作为一种示例,当所述业务需求为第一业务需求即强一致时,所述强一致具体指的是在缓存信息中获取配置信息,对配置信息进行修改,使得配置信息及时生效;通过对引入分布式的读写锁,即依据所述状态信息、所述缓存信息、所述数据库信息添加读写锁,其中添加读写锁包括查询数据和更新数据;
在一具体实现中,当添加读写锁为查询数据时,获取读锁,在所述缓存信息内获取是否存在数据信息;当所述缓存信息内未获取到数据信息,则查询所述数据库信息和更新所述缓存信息并返回数据信息;当所述缓存信息内获取到数据信息,则释放读锁并返回数据信息;
在一具体实现中,当添加读写锁为更新数据时,获取写锁,更新所述数据库信息和缓存信息并释放写锁。
在本发明一实施例中,可以结合下列描述进一步说明步骤S130所述“依据所述目标业务场景的所述状态信息、所述缓存信息、所述数据库信息和业务需求进行数据处理;其中,所述数据处理包括添加缓存失效时间或添加读写锁”的具体过程。
参照图4,示出了本申请一实施例提供的一种数据处理方法的步骤流程图;如下列步骤所述,
S410、获取所述目标业务场景的状态信息,依据所述状态信息确定所述业务需求;其中,所述业务需求包括第一业务需求和第二业务需求;
S420、当所述业务需求为所述第一业务需求时,对所述状态信息、所述缓存信息、所述数据库信息添加读写锁;其中,所述添加读写锁包括查询数据和更新数据;
或;
S430、当所述业务需求为所述第二业务需求时,对所述状态信息、所述缓存信息、所述数据库信息添加缓存失效时间;其中,所述添加缓存失效时间为在所述缓存信息上添加一缓存失效时间。
需要说明的是,获取目标业务场景的状态信息,依据目标业务场景的状态信息确定业务需求,其中,所述业务需求包括第一业务需求即强一致和第二业务需求即短暂不一致;即在不同的业务需求下所要依据所述状态信息、所述缓存信息、所述数据库信息进行的数据处理也不同,即不同的业务需求所执行的数据处理也不同;具体地,第一业务需求即强一致对应添加读写锁,第二业务需求即短暂不一致对应添加缓存失效时间。
作为一种示例,当所述业务需求为短暂不一致时,所述短暂不一致具体指的是在缓存信息获取页面展示信息,通过对所述缓存信息设置缓存失效时间,在缓存失效时间后,使得缓存数据与数据库数据达成一致性;
在一具体实现中,当状态信息为读多写少时,允许业务需求容许短暂的不一致;如从缓存数据中获取展示信息用作与页面的展示,仅仅是作为展示,并不会影响真实业务;针对此种情况,只需给缓存设置一个缓存失效时间,缓存失效时间达到后,缓存数据与数据库数据达成一致性。
作为一种示例,当所述业务需求为强一致时,所述强一致具体指的是在缓存信息中获取配置信息,对配置信息进行修改,使得配置信息及时生效;通过对引入分布式的读写锁,即依据所述状态信息、所述缓存信息、所述数据库信息和业务需求添加读写锁,其中,添加读写锁包括查询数据和更新数据;
在一具体实现中,当状态信息为读多写少时,业务需求为强一致时,从缓存数据获取一些配置信息,一些配置信息更改后需要及时生效,针对此种情况,通过可以引入分布式的读写锁,依赖读写锁的特性,保证强一致性;因为读写锁只有读写、写写互斥,读读的时候不互斥,利用这一特性,即使使用了锁,在读数据的过程中,系统性能损失较小;具体逻辑为:在读数据即查询数据的时候获取读锁,在更新数据的时候获取写锁,能够使得代码改造成本低。
在本发明一实施例中,可以结合下列描述进一步说明步骤S420所述“当所述业务需求为所述第一业务需求时,对所述状态信息、所述缓存信息、所述数据库信息添加读写锁;其中,所述添加读写锁包括查询数据和更新数据”的具体过程。
参照图5,示出了本申请一实施例提供的一种数据处理方法的步骤流程图;如下列步骤所述,
S510,当所述添加读写锁为所述查询数据时,获取读锁,在所述缓存信息内获取是否存在数据信息;
S520,当所述缓存信息内未获取到数据信息,则查询所述数据库信息和更新所述缓存信息并返回数据信息;
或;
S530,当所述缓存信息内获取到数据信息,则释放所述读锁并返回数据信息。
需要说明的是,当添加读写锁为查询数据时,获取读锁,在所述缓存信息内获取是否存在数据信息;当所述缓存信息内未获取到数据信息,则查询所述数据库信息和更新所述缓存信息并返回数据信息;或,当所述缓存信息内获取到数据信息,则释放读锁并返回数据信息。
在本发明一实施例中,可以结合下列描述进一步说明步骤S430所述“当所述业务需求为所述第二业务需求时,对所述状态信息、所述缓存信息、所述数据库信息添加缓存失效时间;其中,所述添加缓存失效时间为在所述缓存信息上添加一缓存失效时间”的具体过程。
参照图6,示出了本申请一实施例提供的一种数据处理方法的步骤流程图;如下列步骤所述,
S610,当所述添加读写锁为所述更新数据时,获取写锁;
S620,依次更新所述数据库信息和所述缓存信息后释放所述写锁。
需要说明的是,当添加读写锁为更新数据时,获取写锁,依次更新所述数据库信息和所述缓存信息后释放所述写锁。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
参照图7,示出了本申请一实施例提供的一种数据处理装置的结构框图;
本发明一实施例还公开了一种数据处理装置,所述装置具体包括:
第一确定模块710,用于获取当前数据,并依据所述当前数据的读信息情况和写信息情况确定当前业务场景;其中,所述当前业务场景至少包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景;
第二确定模块720,用于当所述当前业务场景与目标使用场景相符合时,依据所述当前业务场景确定所述目标业务场景的状态信息、缓存信息和数据库信息;
处理模块730,用于依据所述目标业务场景的所述状态信息、所述缓存信息、所述数据库信息和业务需求进行数据处理;其中,所述数据处理包括添加缓存失效时间或添加读写锁。
在本发明一实施例中,所述第一确定模块710,包括:
第一确定子模块,用于确定所述当前数据包含的数据类型和所述当前数据的变化频率;其中,所述数据类型包括热点数据和非热点数据;
第二确定子模块,用于依据所述当前数据包含的数据类型确定所述读信息情况;
第三确定子模块,用于依据所述当前数据的变化频率确定所述写信息情况;
第四确定子模块,用于依据所述读信息情况和所述写信息情况确定所述当前业务场景。
在本发明一实施例中,所述第四确定子模块,包括:
第一确定单元,用于当所述读信息情况大于预设读信息情况,且所述写信息情况大于预设写信息情况时,则确定所述当前业务场景为所述读多写多业务场景;
或;
第二确定单元,用于当所述读信息情况小于预设读信息情况,且所述写信息情况大于预设写信息情况时,则确定所述当前业务场景为所述读少写多业务场景;
或;
第三确定单元,用于当所述读信息情况大于预设读信息情况,且所述写信息情况小于预设写信息情况时,则确定所述当前业务场景为所述读多写少业务场景;
或;
第四确定单元,用于当所述读信息情况小于预设读信息情况,且所述写信息情况小于预设写信息情况时,则确定所述当前业务场景为所述读少写少业务场景。
在本发明一实施例中,所述处理模块730,包括:
第五确定子模块,用于获取所述目标业务场景的状态信息,依据所述状态信息确定所述业务需求;其中,所述业务需求包括第一业务需求和第二业务需求;
第一添加子模块,用于当所述业务需求为所述第一业务需求时,对所述状态信息、所述缓存信息、所述数据库信息添加读写锁;其中,所述添加读写锁包括查询数据和更新数据;
或;
第二添加子模块,用于当所述业务需求为所述第二业务需求时,对所述状态信息、所述缓存信息、所述数据库信息添加缓存失效时间;其中,所述添加缓存失效时间为在所述缓存信息上添加一缓存失效时间。
在本发明一实施例中,所述第一添加子模块,包括:
第一获取单元,用于当所述添加读写锁为所述查询数据时,获取读锁,在所述缓存信息内获取是否存在数据信息;
第一返回单元,用于当所述缓存信息内未获取到数据信息,则查询所述数据库信息和更新所述缓存信息并返回数据信息;
或;
第二返回单元,用于当所述缓存信息内获取到数据信息,则释放所述读锁并返回数据信息。
在本发明一实施例中,所述第二添加子模块,包括:
第二获取单元,用于当所述添加读写锁为所述更新数据时,获取写锁;
释放单元,用于依次更新所述数据库信息和所述缓存信息后释放所述写锁。
参照图8,示出了本发明的一种数据处理方法的计算机设备,具体可以包括如下:
上述计算机设备12以通用计算设备的形式表现,计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线18结构中的一种或多种,包括存储器总线18或者存储器控制器,外围总线18,图形加速端口,处理器或者使用多种总线18结构中的任意总线18结构的局域总线18。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线18,微通道体系结构(MAC)总线18,增强型ISA总线18、音视频电子标准协会(VESA)局域总线18以及外围组件互连(PCI)总线18。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其他移动/不可移动的、易失性/非易失性计算机体统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。尽管图8中未示出,可以提供用于对可移动非易失性磁盘(如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其他光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质界面与总线18相连。存储器可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块42,这些程序模块42被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器中,这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其他程序模块42以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24、摄像头等)通信,还可与一个或者多个使得操作人员能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)界面22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)),广域网(WAN)和/或公共网络(例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其他模块通信。应当明白,尽管图8中未示出,可以结合计算机设备12使用其他硬件和/或软件模块,包括但不限于:微代码、设备驱动器、处理单元16、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统34等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的一种数据处理方法。
也即,上述处理单元16执行上述程序时实现:获取当前数据,并依据所述当前数据的读信息情况和写信息情况确定当前业务场景;其中,所述当前业务场景至少包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景;当所述当前业务场景与目标使用场景相符合时,依据所述当前业务场景确定所述目标业务场景的状态信息、缓存信息和数据库信息;依据所述目标业务场景的所述状态信息、所述缓存信息、所述数据库信息和业务需求进行数据处理;其中,所述数据处理包括添加缓存失效时间或添加读写锁。
在本发明实施例中,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请所有实施例提供的一种数据处理方法:
也即,给程序被处理器执行时实现:获取当前数据,并依据所述当前数据的读信息情况和写信息情况确定当前业务场景;其中,所述当前业务场景至少包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景;当所述当前业务场景与目标使用场景相符合时,依据所述当前业务场景确定所述目标业务场景的状态信息、缓存信息和数据库信息;依据所述目标业务场景的所述状态信息、所述缓存信息、所述数据库信息和业务需求进行数据处理;其中,所述数据处理包括添加缓存失效时间或添加读写锁。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在操作人员计算机上执行、部分地在操作人员计算机上执行、作为一个独立的软件包执行、部分在操作人员计算机上部分在远程计算机上执行或者完全在远程计算机或者服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到操作人员计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种数据处理方法、装置、设备及存储介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
获取当前数据,并依据所述当前数据的读信息情况和写信息情况确定当前业务场景;其中,所述当前业务场景至少包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景;
当所述当前业务场景与目标使用场景相符合时,依据所述当前业务场景确定所述目标业务场景的状态信息、缓存信息和数据库信息;
依据所述目标业务场景的所述状态信息、所述缓存信息、所述数据库信息和业务需求进行数据处理;其中,所述数据处理包括添加缓存失效时间或添加读写锁。
2.根据权利要求1所述的方法,其特征在于,所述获取当前数据,并依据所述当前数据的读信息情况和写信息情况确定当前业务场景;其中,所述当前业务场景包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景的步骤,包括:
确定所述当前数据包含的数据类型和所述当前数据的变化频率;其中,所述数据类型包括热点数据和非热点数据;
依据所述当前数据包含的数据类型确定所述读信息情况;
依据所述当前数据的变化频率确定所述写信息情况;
依据所述读信息情况和所述写信息情况确定所述当前业务场景。
3.根据权利要求2所述的方法,其特征在于,所述依据所述读信息情况和所述写信息情况确定当前业务场景的步骤,包括:
当所述读信息情况大于预设读信息情况,且所述写信息情况大于预设写信息情况时,则确定所述当前业务场景为所述读多写多业务场景;
或;
当所述读信息情况小于预设读信息情况,且所述写信息情况大于预设写信息情况时,则确定所述当前业务场景为所述读少写多业务场景;
或;
当所述读信息情况大于预设读信息情况,且所述写信息情况小于预设写信息情况时,则确定所述当前业务场景为所述读多写少业务场景;
或;
当所述读信息情况小于预设读信息情况,且所述写信息情况小于预设写信息情况时,则确定所述当前业务场景为所述读少写少业务场景。
4.根据权利要求1所述的方法,其特征在于,所述依据所述目标业务场景的所述状态信息、所述缓存信息、所述数据库信息和业务需求进行数据处理,其中所述数据处理包括添加缓存失效时间或添加读写锁的步骤,包括:
获取所述目标业务场景的状态信息,依据所述状态信息确定所述业务需求;其中,所述业务需求包括第一业务需求和第二业务需求;
当所述业务需求为所述第一业务需求时,对所述状态信息、所述缓存信息、所述数据库信息添加读写锁;其中,所述添加读写锁包括查询数据和更新数据;
或;
当所述业务需求为所述第二业务需求时,对所述状态信息、所述缓存信息、所述数据库信息添加缓存失效时间;其中,所述添加缓存失效时间为在所述缓存信息上添加一缓存失效时间。
5.根据权利要求4所述的方法,其特征在于,所述当所述业务需求为所述第一业务需求时,对所述状态信息、所述缓存信息、所述数据库信息添加读写锁,其中,所述添加读写锁包括查询数据和更新数据的步骤,包括:
当所述添加读写锁为所述查询数据时,获取读锁,在所述缓存信息内获取是否存在数据信息;
当所述缓存信息内未获取到数据信息,则查询所述数据库信息和更新所述缓存信息并返回数据信息;
或;
当所述缓存信息内获取到数据信息,则释放所述读锁并返回数据信息。
6.根据权利要求4所述的方法,其特征在于,所述当所述业务需求为所述第二业务需求时,对所述状态信息、所述缓存信息、所述数据库信息添加缓存失效时间,其中,所述添加缓存失效时间为在所述缓存信息上添加一缓存失效时间的步骤,包括:
当所述添加读写锁为所述更新数据时,获取写锁;
依次更新所述数据库信息和所述缓存信息后释放所述写锁。
7.一种数据处理装置,其特征在于,包括:
第一确定模块,用于获取当前数据,并依据所述当前数据的读信息情况和写信息情况确定当前业务场景;其中,所述当前业务场景至少包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景;
第二确定模块,用于当所述当前业务场景与目标使用场景相符合时,依据所述当前业务场景确定所述目标业务场景的状态信息、缓存信息和数据库信息;
处理模块,用于依据所述目标业务场景的所述状态信息、所述缓存信息、所述数据库信息和业务需求进行数据处理;其中,所述数据处理包括添加缓存失效时间或添加读写锁。
8.根据权利要求7所述的装置,其特征在于,所述第一确定模块,用于依据当前数据的读取情况和写入情况确定当前业务场景,其中,所述当前业务场景至少包括读多写少业务场景、读少写少业务场景、读少写多业务场景和读多写多业务场景,包括:
第一确定子模块,用于确定所述当前数据包含的数据类型和所述当前数据的变化频率;其中,所述数据类型包括热点数据和非热点数据;
第二确定子模块,用于依据所述当前数据包含的数据类型确定所述读信息情况;
第三确定子模块,用于依据所述当前数据的变化频率确定所述写信息情况;
第四确定子模块,用于依据所述读信息情况和所述写信息情况确定所述当前业务场景。
9.一种计算机设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。
CN202111355658.0A 2021-11-16 2021-11-16 一种数据处理方法、装置、设备及存储介质 Pending CN114064725A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111355658.0A CN114064725A (zh) 2021-11-16 2021-11-16 一种数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111355658.0A CN114064725A (zh) 2021-11-16 2021-11-16 一种数据处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114064725A true CN114064725A (zh) 2022-02-18

Family

ID=80272869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111355658.0A Pending CN114064725A (zh) 2021-11-16 2021-11-16 一种数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114064725A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115061947A (zh) * 2022-06-08 2022-09-16 北京百度网讯科技有限公司 资源管理方法、装置、设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115061947A (zh) * 2022-06-08 2022-09-16 北京百度网讯科技有限公司 资源管理方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN109254733B (zh) 用于存储数据的方法、装置和系统
WO2020181810A1 (zh) 应用于集群内多级缓存的数据处理方法和装置
CN113806300B (zh) 数据存储方法、系统、装置、设备及存储介质
CN110908965A (zh) 一种对象存储管理方法、装置、设备及存储介质
CN112328592A (zh) 数据存储方法、电子设备及计算机可读存储介质
CN114064725A (zh) 一种数据处理方法、装置、设备及存储介质
US20150227571A1 (en) Reduced locking in a distributed data store
CN112000321B (zh) 适用于三维检测软件的撤销和/或重做实现方法及装置
CN117762898A (zh) 数据迁移方法、装置、设备及存储介质
WO2020192663A1 (zh) 一种数据管理方法及相关设备
CN111858393A (zh) 内存页面管理方法、内存页面管理装置、介质与电子设备
CN111090782A (zh) 一种图数据存储方法、装置、设备及存储介质
CN113127430A (zh) 镜像信息处理方法、装置、计算机可读介质及电子设备
CN114896276A (zh) 数据存储方法、装置、电子设备及分布式存储系统
CN114253922A (zh) 资源目录管理方法、资源管理方法、装置、设备及介质
CN111240810B (zh) 一种事务管理方法、装置、设备和存储介质
CN111399753B (zh) 写入图片的方法和装置
CN113849482A (zh) 一种数据迁移方法、装置及电子设备
CN112364268A (zh) 资源获取方法、装置、电子设备及存储介质
CN111506380A (zh) 一种渲染方法、装置、设备及存储介质
CN111405015A (zh) 一种数据处理方法、装置、设备及存储介质
CN111061744A (zh) 图数据的更新方法、装置、计算机设备及存储介质
WO2024016789A1 (zh) 日志数据查询方法、装置、设备和介质
WO2023077283A1 (zh) 文件管理方法、装置及电子设备
US8341198B1 (en) File system repair with continuous data availability

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination