CN112650814A - 基于消息中间件的数据存储方法、装置、设备及存储介质 - Google Patents

基于消息中间件的数据存储方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112650814A
CN112650814A CN202011606960.4A CN202011606960A CN112650814A CN 112650814 A CN112650814 A CN 112650814A CN 202011606960 A CN202011606960 A CN 202011606960A CN 112650814 A CN112650814 A CN 112650814A
Authority
CN
China
Prior art keywords
database
storage
service data
message
message middleware
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011606960.4A
Other languages
English (en)
Other versions
CN112650814B (zh
Inventor
孙君雅
顾张磊
蒿兴旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An E Wallet Electronic Commerce Co Ltd
Original Assignee
Ping An E Wallet Electronic Commerce Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An E Wallet Electronic Commerce Co Ltd filed Critical Ping An E Wallet Electronic Commerce Co Ltd
Priority to CN202011606960.4A priority Critical patent/CN112650814B/zh
Publication of CN112650814A publication Critical patent/CN112650814A/zh
Application granted granted Critical
Publication of CN112650814B publication Critical patent/CN112650814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275Synchronous replication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及数据处理技术领域,揭露一种基于消息中间件的数据存储方法、装置、设备及存储介质,其中方法包括当接收到业务数据的请求存储指令时,判断数据库中的标志位是否可用,若为标志位可用,则将业务数据存储到数据库中,当存储结果显示数据库存储失败时,记录数据库存储失败次数,并将业务数据存储于Redis数据库中;若数据库存储失败次数达到预设次数,存储于Redis数据库中的业务数据发送至消息中间件中;当监测到数据库可用时,将存储于消息中间件中的业务数据同步到数据库中。本申请还涉及区块链技术,业务数据存储于区块链中。本申请通过将业务数据临时存储于Redis数据库和消息中间件中,有利于提高数据库存储数据的可用性。

Description

基于消息中间件的数据存储方法、装置、设备及存储介质
技术领域
本申请涉及数据处理技术领域,尤其涉及一种基于消息中间件的数据存储方法、装置、设备及存储介质。
背景技术
关系型数据库,是一种采用关系模式来组织数据的数据库。存储在关系型数据库中的数据,具有结构化、独立性、可共享的特点。同时,关系型数据库支持数据的统一管理和控制,以实现数据的安全控制、完整控制和并发控制。基于以上特点,关系型数据库作为业务系统的存储方案,被广泛使用。业务系统通过调用数据库提供的接口,来实现数据的增加、删除、修改以及查询。
为了提高业务系统的业务水平,需要提高关系型数据库存储数据的可用性。为提高关系型数据库的可用性,现有的方法是使用数据库集群或数据库中间件方案,当数据库出现宕机情况是,暂时将数据存储到数据库集群或数据库中间件中,但是业务系统对关系型数据库具有强依赖关系,当数据库集群或数据库中间件完全不可用时,数据的存储依然会失败,导致数据库可用性不高,进而降低业务系统的业务水平。现亟需一种能够提高数据库存储数据的可用性的方法。
发明内容
本申请实施例的目的在于提出一种基于消息中间件的数据存储方法、装置、设备及存储介质,以提高数据库存储数据的可用性。
为了解决上述技术问题,本申请实施例提供一种基于消息中间件的数据存储方法,包括:
当接收到业务数据的请求存储指令时,判断数据库中的标志位是否可用,得到判断结果;
若所述判断结果为所述标志位可用,则将所述业务数据存储到所述数据库中,并获取存储结果;
当所述存储结果显示数据库存储失败时,记录所述数据库存储失败次数,并将所述业务数据存储于Redis数据库中;
若所述数据库存储失败次数达到预设次数,则判定所述数据库宕机,并将存储于所述Redis数据库中的业务数据发送至消息中间件中;
当监测到所述数据库可用时,将存储于所述消息中间件中的业务数据同步到所述数据库中。
为了解决上述技术问题,本申请实施例提供一种基于消息中间件的数据存储装置,包括:
判断结果获取模块,用于当接收到业务数据的请求存储指令时,判断数据库中的标志位是否可用,得到判断结果;
存储结果获取模块,用于若所述判断结果为所述标志位可用,则将所述业务数据存储到所述数据库中,并获取存储结果;
存储失败记录模块,用于当所述存储结果显示数据库存储失败时,记录所述数据库存储失败次数,并将所述业务数据存储于Redis数据库中;
数据库宕机判定模块,用于若所述数据库存储失败次数达到预设次数,则判定所述数据库宕机,并将存储于所述Redis数据库中的业务数据发送至消息中间件中;
业务数据同步模块,用于当监测到所述数据库可用时,将存储于所述消息中间件中的业务数据同步到所述数据库中。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种计算机设备,包括,一个或多个处理器;存储器,用于存储一个或多个程序,使得一个或多个处理器实现上述任意一项所述的基于消息中间件的数据存储方法。
为解决上述技术问题,本发明采用的一个技术方案是:一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的基于消息中间件的数据存储方法。
本发明实施例提供了一种基于消息中间件的数据存储方法、装置、设备及存储介质。其中,方法包括:当接收到业务数据的请求存储指令时,判断数据库中的标志位是否可用,得到判断结果;若判断结果为标志位可用,则将业务数据存储到数据库中,并获取存储结果;当存储结果显示数据库存储失败时,记录数据库存储失败次数,并将业务数据存储于Redis数据库中;若数据库存储失败次数达到预设次数,则判定数据库宕机,并将存储于Redis数据库中的业务数据发送至消息中间件中;当监测到数据库可用时,将存储于消息中间件中的业务数据同步到数据库中。本发明实施例通过当接收到业务数据的请求存储指令时,通过对数据库标志位的判断,进而判断数据库的状态,并且在数据库存储业务数据失败后,及时将业务数据存储于Redis数据库中,避免业务数据存储失败;还通过记录数据库存储失败次数,判断数据库是否出现宕机情况,将业务数据存储于消息中间件中,有利于业务数据的存储和消费,并且还对数据库进行监测,当监测到数据库可用时,将业务数据存储于数据库中,实现提高数据库存储数据可用性。
附图说明
为了更清楚地说明本申请中的方案,下面将对本申请实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于消息中间件的数据存储方法的应用环境示意图;
图2根据本申请实施例提供的基于消息中间件的数据存储方法的一实现流程图;
图3是本申请实施例提供的基于消息中间件的数据存储方法中子流程的一实现流程图;
图4是本申请实施例提供的基于消息中间件的数据存储方法中子流程的又一实现流程图;
图5是本申请实施例提供的基于消息中间件的数据存储方法中子流程的又一实现流程图;
图6是本申请实施例提供的基于消息中间件的数据存储方法中子流程的又一实现流程图;
图7是本申请实施例提供的基于消息中间件的数据存储方法中子流程的又一实现流程图;
图8是本申请实施例提供的基于消息中间件的数据存储方法中子流程的又一实现流程图;
图9是本申请实施例提供的基于消息中间件的数据存储装置示意图;
图10是本申请实施例提供的计算机设备的示意图。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
下面结合附图和实施方式对本发明进行详细说明。
请参阅图1,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、搜索类应用、即时通信工具等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是,本申请实施例所提供的基于消息中间件的数据存储方法一般由服务器执行,相应地,基于消息中间件的数据存储装置一般配置于服务器中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
请参阅图2,图2示出了基于消息中间件的数据存储方法的一种具体实施方式。
需注意的是,若有实质上相同的结果,本发明的方法并不以图2所示的流程顺序为限,该方法包括如下步骤:
S1:当接收到业务数据的请求存储指令时,判断数据库中的标志位是否可用,得到判断结果。
具体的,由于在接收到业务数据的请求存储指令时,服务器不清楚当前数据库是否处于宕机状态,为了防止当前数据库处于宕机状态,使得业务数据存储失败,所以在接收到请求存储指令时,首先判断数据库是否处于宕机状态。进一步的,判断数据库是否处于宕机状态的方法是判断数据库中的标志位是否可用,若该标志位显示为可用,则当前数据库处于正常工作状态下,也即处于非宕机状态;若该标志位显示为不可用,则数据库处于非正常工作状态下,也即处于宕机状态。进一步的,本申请实施例所指的数据库为关系型数据库。
其中,标志位是一种数据库的可用标志位,用来判断数据库处于何种工作状态。例如,在一具体实施例中,标志位为isDbAlive,该isDbAlive显示为true,即标志位可用,该isDbAlive显示为false,即标志位不可用。
其中,宕机是指操作系统无法从一个严重系统错误中恢复过来,或系统硬件层面出问题,以致系统长时间无响应,而不得不重新启动计算机的现象。在本申请实施例中,数据库宕机是指数据库无法正常工作,无法正常存储业务数据。
S2:若判断结果为标志位可用,则将业务数据存储到数据库中,并获取存储结果。
具体的,若判断结果为所述标志位可用,也即数据库处于正常的工作状态下,则调用业务数据对应的数据库接口,通过该数据库接口进行存储业务数据。在数据库存储业务数据过程中,对数据库进行更新,获取到数据库更新后的数据库更新数据,并通过数据库更新数据,判断数据库是否成功存储业务数据,得到存储结果。
S3:当存储结果显示数据库存储失败时,记录数据库存储失败次数,并将业务数据存储于Redis数据库中。
具体的,若存储结果显示数据库存储失败时,则此时数据库无法正常存储业务数据。为了防止业务数据存储失败,导致业务数据丢失,则将业务数据同步存储于Redis数据库中,使得业务数据能够得到临时存储。同时,数据库对此次存储请求无法正常存储,可能只是因为某种原因无法进行正常存储,可能下次对存储请求能够进行业务数据的正常存储,并且为了提高数据库的存储数据的效率,下次对存储请求仍然尝试通过数据库进行存储。但是,为了防止数据库多次无法正常进行业务数据的存储,当数据库对存储请求存储失败一次,计数器就记录存储失败一次,以使得后续计数器记录到存储失败次数到达预设次数时,判定数据库出现宕机。
其中,Redis数据库(Remote Dictionary Server),即远程字典服务,是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。在本申请实施例中,当数据库存储业务数据失败时,通过Redis数据库进行临时存储业务数据,避免业务数据存储失败而导致业务数据丢失。
S4:若数据库存储失败次数达到预设次数,则判定数据库宕机,并将存储于Redis数据库中的业务数据发送至消息中间件中。
具体的,当数据库存储失败次数达到预设次数时,说明此时数据库存储业务数据已经出现多次失败,服务器则判定该数据库已经出现宕机,无法进行正常的数据存储。所以为了能够对业务数据的存储和消费,将存储于Redis数据库中的业务数据发送到消息中间件中,通过消息中间件进行业务数据的存储。并且将数据库的标志位设置为不可用的状态,这样设置的目是,下次还有业务数据需要进行存储时,判断出此时的数据库处于宕机状态,无法进行正常的业务数据的存储工作,并将后续需要存储的业务数据存储于消息中间件中,待到数据库恢复正常工作状态后,再将存储于消息中间件中的业务数据发送到数据库中。
其中,消息中间件也即MQ(Message Queue),是基础数据结构中“先进先出”的一种数据结构。一般用来解决应用解耦,异步消息,流量削峰等问题,实现高性能,高可用,可伸缩和最终一致性架构。在本申请实施例中,通过消息中间件对业务数据进行临时存储,在数据库恢复正常存储功能时,将存储于消息中间件中的业务数据同步到数据库中。
需要说明的是,预设次数根据实际情况进行设定,此处不做限定。在一具体实施例中,预设次数为10次。
S5:当监测到数据库可用时,将存储于消息中间件中的业务数据同步到数据库中。
具体的,当监测到数据库可用时,也即此时的数据库可以实现对业务数据的存储,则将存储于消息中间件中的业务数据同步到所述数据库中。并且将此时得标志位设置成可用,这样使得后续的业务数据进行存储请求时,能够通过标志位来判断出此时的数据库是处于正常工作状态的,后续的业务数据能够直接存储于数据库中。
本实施例中,通过当接收到业务数据的请求存储指令时,通过对数据库标志位的判断,进而判断数据库的状态,并且在数据库存储业务数据失败后,及时将业务数据存储于Redis数据库中,避免业务数据存储失败;还通过记录数据库存储失败次数,判断数据库是否出现宕机情况,将业务数据存储于消息中间件中,有利于业务数据的存储和消费,并且还对数据库进行监测,当监测到数据库可用时,将业务数据存储于数据库中,实现提高数据库存储数据可用性。
请参阅图3,图3示出了在步骤S1之后的一种具体实施方式,该具体实施方式如下:
S11:若判断结果为标志位不可用,则将当前线程进行休眠。
具体的,若判断结果为标志位不可用,也即此时的数据库无法进行存储业务数据,本申请实施例将通过消息中间件进行业务数据的存储。但是,为了避免消息中间件存储和消费数据过于频繁,影响消息中间件存储效率,故将消息中间件的当前线程进行休眠。
其中,线程是指操作系统能够进行运算调度的最小单位,它被包含在进程之中,是进程中的实际运作单位。在本申请实施例中,当前线程是指在服务器获取到数据库的标志位不可用时,此时负责消息中间件存储和消费的数据的线程。进一步的,通过Sleep函数的方式,将当前线程进行休眠。其中,Sleep函数可以使线程进入休眠,使其在一段时间内处于非活动状态。当函数设定的计时器设定的预设时间到达时,消息中间件存储和消费的数据的程序继续执行。
S12:若当前线程休眠到达预设时间,则将业务数据发送到消息中间件中。
具体的,若当前线程休眠到达预设时间后,将业务数据发送到消息中间件中,使得消息中间件能够存储和消费数据。
需要说明的是,预设时间根据实际情况进行设定,此处不做限定。在一具体实施例中,预设时间为60秒。
S13:当监测到标志位可用时,将存储于消息中间件中的业务数据同步到数据库中。
具体的,只有在数据库处于宕机状态下,服务器才将业务数据存储于消息中间件中,这只是将业务数据进行临时的存储。当监测到标志位可用时,也即数据库可以正常存储数据时,则将存储于所述消息中间件中的业务数据同步到所述数据库中,完成业务数据的存储。
在本实施中,若判断结果为标志位不可用,则将当前线程进行休眠,若当前线程休眠到达预设时间,则将业务数据发送到消息中间件中,当监测到标志位可用时,将存储于消息中间件中的业务数据同步到数据库中,实现在数据库宕机的情况下,仍能对业务数据进行临时存储,避免业务数据存储失败和丢失,并在数据库可用时,再将业务数据存储于数据库中,提高了数据库存储数据的可用性。
请参阅图4,图4示出了步骤S2的一种具体实施方式,步骤S2中若判断结果为标志位可用,则将业务数据存储到数据库中,并获取存储结果的具体实现过程,详叙如下:
S21:若判断结果为标志位可用,则调用业务数据对应的数据库接口。
具体的,标志位可用,说明此时的数据库处于正常的工作状态,也即非宕机状态,则通过调用业务数据对应的数据库接口,以便对业务数据进行存储。
S22:通过数据库接口,将业务数据存储于数据库中。
具体的,通过数据库接口读取业务数据,将业务数据进行存储。
S23:通过对数据库进行更新,得到数据库更新数据,并根据数据库更新数据确定存储结果。
具体的,在数据库完成业务数据的存储后,服务器通过更新指令对数据库进行更新,获取到数据库更新数据。若是数据库更新数据的数据量比数据库更新之前的数据量变得更大,说明数据库存储入了业务数据,也即说明存储结果是数据库存储成功的;若是数据库更新数据的数据量比数据库更新之前的数据量没有变化,说明数据库根本没有存储入业务数据,也即说明存储结果是数据库存储失败的。
其中,数据库更新数据是指数据库对业务数据进行存储之后,对数据库进行更新而得到的数据库的数据。
本实施例中,若判断结果为标志位可用,则调用业务数据对应的数据库接口,并通过数据库接口,将业务数据存储于数据库中,通过对数据库进行更新,得到数据库更新数据,并根据数据库更新数据确定存储结果,实现对业务数据进行存储和获取存储结果,有利于提高数据库存储数据的可用性。
请参阅图5,图5示出了步骤S3的一种具体实施方式,步骤S3中当存储结果显示数据库存储失败时,记录数据库存储失败次数,并将业务数据存储于Redis数据库中的具体实现过程,详叙如下:
S31:当存储结果显示数据库存储失败时,通过计数器记录数据库存储失败次数。
具体的,由于本申请主要是要将业务数据存储于数据库中,但是要避免数据库出现宕机而导致业务数据存储失败,所以当服务器获取到数据库存储失败时,通过计数器记录其失败次数,当数据库存储失败次数到达预设次数时,则会判定数据库出现宕机。
S32:访问Redis数据库对应接口,并通过对应接口将业务数据存储于Redis数据库中。
具体的,当数据库存储业务数据失败时,为避免业务数据存储失败和数据丢失,服务器将通过Redis数据库对业务数据进行临时存储,在后续数据库恢复正常存储数据功能时,再将数据存储于数据库中。进一步的,通过访问Redis数据库对应接口,通过Redis数据库对应接口读取业务数据,实现将业务数据存储于Redis数据库中。
本实施例中,当存储结果显示数据库存储失败时,通过计数器记录数据库存储失败次数,访问Redis数据库对应接口,并通过对应接口将业务数据存储于Redis数据库中,实现避免业务数据存储失败和数据丢失,提高数据库存储数据的可用性。
请参阅图6,图6示出了步骤S4的一种具体实施方式,步骤S4中若数据库存储失败次数达到预设次数,则判定数据库宕机,并将存储于Redis数据库中的业务数据发送至消息中间件中的具体实现过程,详叙如下:
S41:当数据库存储失败次数达到预设次数时,则判定数据库宕机,并将标志位设置为不可用。
具体的,当判定数据库宕机后,将标志位设置为不可用,这样设置的目是,下次还有业务数据需要进行存储时,判断出此时的数据库处于宕机状态,无法进行正常的业务数据的存储工作,并将业务数据存储于消息中间件中,待到数据库恢复正常工作状态后,再将存储于消息中间件中的业务数据发送到数据库中。
S42:接收Redis数据库的消息存储指令,将存储于Redis数据库中的业务数据发送至消息中间件中。
具体的,当要将Redis数据库的业务数据发送到消息中间件中,服务器将接收Redis数据库的消息存储指令,通过该消息存储指令将存储于Redis数据库中的业务数据发送至消息中间件中。
进一步的,在接收到发送消息指令后,将消息中间件的当前线程进行休眠一段时间,这是为了避免消息中间件被过于频繁的存储和消费数据,使得消息中间件工作效率下降,当休眠时间一过,则将存储于Redis数据库中的业务数据发送于消息中间件中。
本实施例中,当数据库存储失败次数达到预设次数时,则判定数据库宕机,并将标志位设置为不可用,接收Redis数据库的消息存储指令,将存储于Redis数据库中的业务数据发送至消息中间件中,实现获取数据库出现宕机情况,并将业务数据存储于消息中间件中,便于后续将业务数据存储于数据库中,有利于提高数据库存储数据的可用性。
请参阅图7,图7示出了步骤S42的一种具体实施方式,步骤S42中接收Redis数据库的消息存储指令,将存储于Redis数据库中的业务数据发送至消息中间件中的具体实现过程,详叙如下:
S421:在消息中间件中,创建消息监听任务。
具体的,在消息中间件中创建消息监听任务,实现对存储指令的监听,当监听到来自Redis数据库的发送消息存储指令,便于将业务数据存储于消息中间件中。
S422:通过消息监听任务监听到来自Redis数据库的消息存储指令,设置消息中间件对应队列。
具体的,当监听到来自Redis数据库的消息存储指令,则设置消息中间件对应队列,便于后续将业务数据存储在对应队列中。
S423:通过对应队列,将存储于Redis数据库中的业务数据发送至消息中间件中。
具体的,通过对应队列对存储于Redis数据库中的业务数据进行读取,将业务数据分别进行存储在对应队列中,也即实现将业务数据存储于消息中间件中。
本实施例中,在消息中间件中,创建消息监听任务,通过消息监听任务监听到来自Redis数据库的消息存储指令,设置消息中间件对应队列,通过对应队列,将存储于Redis数据库中的业务数据发送至消息中间件中,实现将业务数据存储于消息中间件中,便于在数据库恢复正常存储功能后,将业务数据存储于数据库中,有利于提高数据库存储数据的可用性。
请参阅图8,图8示出了步骤S5的一种具体实施方式,步骤S5中当监测到数据库可用时,将存储于消息中间件中的业务数据同步到数据库中的具体实现过程,详叙如下:
S51:设置定时更新任务,并通过定时更新任务定时更新数据库中的数据库表,得到更新结果。
具体的,由于数据库是由多个物理库组成,每个物理库又由多个分库组成,每个分库都有对应的数据库表,服务器只要通过定时更新每个分库对应的数据库表,当数据库表中的数据能够更新,也即更新结果为数据库中数据完成更新,说明此时数据库能够用于存储业务数据;当数据库表中的数据不能不更新,也即更新结果为数据库中数据完成不了更新,说明此时数据库能够不能用于存储业务数据。
其中,定时更新任务是指服务器通过设置每隔一段固定时间,对数据库中的数据库表进行更新。进一步的,该定时更新任务设定的固定时间更新实际情况进行设定,此处不做限定。更新结果为服务器通过定时更新任务对数据库中的数据库表,数据库表中的数据能否被更新而得到的结果。
S52:若更新结果为数据库表中数据完成更新,则判定数据库可用,并设置标志位为可用且将数据库存储失败次数进行清零。
具体的,当判定了数据库可用,则将标志为设置为可用,便于后续直接通过数据库对业务数据进行存储;并且将计数器中的记录进行清零,便于后续监测数据库存储数据的状态。
S53:将存储于消息中间件中的业务数据同步到数据库中。
具体的,由于上述步骤已经判定数据库可用,则将存储于消息中间件中的业务数据同步到数据库中,最终实现数据库对业务数据的存储。
本实施例中,设置定时更新任务,并通过定时更新任务定时更新数据库中的数据库表,得到更新结果,若更新结果为数据库表中数据完成更新,则判定数据库可用,并设置标志位为可用和将数据库存储失败次数进行清零,且将存储于消息中间件中的业务数据同步到数据库中,实现将业务数据存储于数据库中,有利于提高数据库存储数据的可用性。
需要强调的是,为进一步保证上述业务数据的私密和安全性,上述业务数据还可以存储于一区块链的节点中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
请参考图9,作为对上述图2所示方法的实现,本申请提供了一种基于消息中间件的数据存储装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图9所示,本实施例的基于消息中间件的数据存储装置包括:判断结果获取模块61、存储结果获取模块62、存储失败记录模块63、数据库宕机判定模块64及业务数据同步模块65,其中:
判断结果获取模块61,用于当接收到业务数据的请求存储指令时,判断数据库中的标志位是否可用,得到判断结果;
存储结果获取模块62,用于若判断结果为标志位可用,则将业务数据存储到数据库中,并获取存储结果;
存储失败记录模块63,用于当存储结果显示数据库存储失败时,记录数据库存储失败次数,并将业务数据存储于Redis数据库中;
数据库宕机判定模块64,用于若数据库存储失败次数达到预设次数,则判定数据库宕机,并将存储于Redis数据库中的业务数据发送至消息中间件中;
业务数据同步模块65,用于当监测到数据库可用时,将存储于消息中间件中的业务数据同步到数据库中。
进一步的,在判断结果获取模块61之后,该基于消息中间件的数据存储装置还包括:
当前线程休眠模块,用于若判断结果为标志位不可用,则将当前线程进行休眠;
业务数据发送模块,用于若当前线程休眠到达预设时间,则将业务数据发送到消息中间件中;
业务数据存储模块,用于当监测到标志位可用时,将存储于消息中间件中的业务数据同步到数据库中。
进一步的,存储结果获取模块62包括:
数据库接口调用单元,用于若判断结果为标志位可用,则调用业务数据对应的数据库接口;
数据库接口作用单元,用于通过数据库接口,将业务数据存储于数据库中;
存储结果确定单元,用于通过对数据库进行更新,得到数据库更新数据,并根据数据库更新数据确定存储结果。
进一步的,存储失败记录模块63包括:
存储失败记录单元,用于当存储结果显示数据库存储失败时,通过计数器记录数据库存储失败次数;
对应接口访问单元,用于访问Redis数据库对应接口,并通过对应接口将业务数据存储于Redis数据库中。
进一步的,数据库宕机判定模块64包括:
数据库宕机判定单元,用于当数据库存储失败次数达到预设次数时,则判定数据库宕机,并将标志位设置为不可用;
消息存储指令接收单元,用于接收Redis数据库的消息存储指令,将存储于Redis数据库中的业务数据发送至消息中间件中。
进一步的,消息存储指令接收单元包括:
消息监听任务创建子单元,用于在消息中间件中,创建消息监听任务;
对应队列设置子单元,用于通过消息监听任务监听到来自Redis数据库的消息存储指令,设置消息中间件对应队列;
消息中间件接收子单元,用于通过对应队列,将存储于Redis数据库中的业务数据发送至消息中间件中。
进一步的,业务数据同步模块65包括:
更新结果获取单元,用于设置定时更新任务,并通过定时更新任务定时更新数据库中的数据库表,得到更新结果;
数据库可用判定单元,用于若更新结果为数据库表中数据完成更新,则判定数据库可用,并设置标志位为可用且将数据库存储失败次数进行清零;
业务数据转移单元,用于将存储于消息中间件中的业务数据同步到数据库中。
需要强调的是,为进一步保证上述业务数据的私密和安全性,上述业务数据还可以存储于一区块链的节点中。
为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图10,图10为本实施例计算机设备基本结构框图。
计算机设备7包括通过系统总线相互通信连接存储器71、处理器72、网络接口73。需要指出的是,图中仅示出了具有三种组件存储器71、处理器72、网络接口73的计算机设备7,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
存储器71至少包括一种类型的可读存储介质,可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器71可以是计算机设备7的内部存储单元,例如该计算机设备7的硬盘或内存。在另一些实施例中,存储器71也可以是计算机设备7的外部存储设备,例如该计算机设备7上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)等。当然,存储器71还可以既包括计算机设备7的内部存储单元也包括其外部存储设备。本实施例中,存储器71通常用于存储安装于计算机设备7的操作系统和各类应用软件,例如基于消息中间件的数据存储方法的程序代码等。此外,存储器71还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器72在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器72通常用于控制计算机设备7的总体操作。本实施例中,处理器72用于运行存储器71中存储的程序代码或者处理数据,例如运行上述基于消息中间件的数据存储方法的程序代码,以实现基于消息中间件的数据存储方法的各种实施例。
网络接口73可包括无线网络接口或有线网络接口,该网络接口73通常用于在计算机设备7与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式,即提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序可被至少一个处理器执行,以使至少一个处理器执行如上述的一种基于消息中间件的数据存储方法的步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例的方法。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于消息中间件的数据存储方法,其特征在于,包括:
当接收到业务数据的请求存储指令时,判断数据库中的标志位是否可用,得到判断结果;
若所述判断结果为所述标志位可用,则将所述业务数据存储到所述数据库中,并获取存储结果;
当所述存储结果显示数据库存储失败时,记录所述数据库存储失败次数,并将所述业务数据存储于Redis数据库中;
若所述数据库存储失败次数达到预设次数,则判定所述数据库宕机,并将存储于所述Redis数据库中的业务数据发送至消息中间件中;
当监测到所述数据库可用时,将存储于所述消息中间件中的业务数据同步到所述数据库中。
2.根据权利要求1所述的基于消息中间件的数据存储方法,其特征在于,在所述当接收到业务数据的请求存储指令时,判断数据库中的标志位是否可用,得到判断结果之后,所述方法还包括:
若所述判断结果为所述标志位不可用,则将当前线程进行休眠;
若所述当前线程休眠到达预设时间,则将所述业务数据发送到所述消息中间件中;
当监测到所述标志位可用时,将存储于所述消息中间件中的业务数据同步到所述数据库中。
3.根据权利要求1所述的基于消息中间件的数据存储方法,其特征在于,所述若所述判断结果为所述标志位可用,则将所述业务数据存储到所述数据库中,并获取存储结果,包括:
若所述判断结果为所述标志位可用,则调用所述业务数据对应的数据库接口;
通过所述数据库接口,将所述业务数据存储于所述数据库中;
通过对所述数据库进行更新,得到数据库更新数据,并根据所述数据库更新数据确定所述存储结果。
4.根据权利要求1所述的基于消息中间件的数据存储方法,其特征在于,所述当所述存储结果显示数据库存储失败时,记录所述数据库存储失败次数,并将所述业务数据存储于Redis数据库中,包括:
当所述存储结果显示数据库存储失败时,通过计数器记录所述数据库存储失败次数;
访问所述Redis数据库对应接口,并通过所述对应接口将所述业务数据存储于所述Redis数据库中。
5.根据权利要求1所述的基于消息中间件的数据存储方法,其特征在于,所述若所述数据库存储失败次数达到预设次数,则判定所述数据库宕机,并将存储于所述Redis数据库中的业务数据发送至消息中间件中,包括:
当所述数据库存储失败次数达到预设次数时,则判定所述数据库宕机,并将所述标志位设置为不可用;
接收所述Redis数据库的消息存储指令,将所述存储于所述Redis数据库中的业务数据发送至所述消息中间件中。
6.根据权利要求1所述的基于消息中间件的数据存储方法,其特征在于,所述接收所述Redis数据库的消息存储指令,将所述存储于所述Redis数据库中的业务数据发送至所述消息中间件中,包括:
在所述消息中间件中,创建消息监听任务;
通过所述消息监听任务监听到来自所述Redis数据库的消息存储指令,设置所述消息中间件对应队列;
通过所述对应队列,将所述存储于所述Redis数据库中的业务数据发送至所述消息中间件中。
7.根据权利要求1至6任一项所述的基于消息中间件的数据存储方法,其特征在于,所述当监测到所述数据库可用时,将存储于所述消息中间件中的业务数据同步到所述数据库中,包括:
设置定时更新任务,并通过所述定时更新任务定时更新所述数据库中的数据库表,得到更新结果;
若所述更新结果为所述数据库表中数据完成更新,则判定所述数据库可用,并设置所述标志位为可用且将所述数据库存储失败次数进行清零;
将存储于所述消息中间件中的业务数据同步到所述数据库中。
8.一种基于消息中间件的数据存储装置,其特征在于,包括:
判断结果获取模块,用于当接收到业务数据的请求存储指令时,判断数据库中的标志位是否可用,得到判断结果;
存储结果获取模块,用于若所述判断结果为所述标志位可用,则将所述业务数据存储到所述数据库中,并获取存储结果;
存储失败记录模块,用于当所述存储结果显示数据库存储失败时,记录所述数据库存储失败次数,并将所述业务数据存储于Redis数据库中;
数据库宕机判定模块,用于若所述数据库存储失败次数达到预设次数,则判定所述数据库宕机,并将存储于所述Redis数据库中的业务数据发送至消息中间件中;
业务数据同步模块,用于当监测到所述数据库可用时,将存储于所述消息中间件中的业务数据同步到所述数据库中。
9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于消息中间件的数据存储方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于消息中间件的数据存储方法。
CN202011606960.4A 2020-12-30 2020-12-30 基于消息中间件的数据存储方法、装置、设备及存储介质 Active CN112650814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011606960.4A CN112650814B (zh) 2020-12-30 2020-12-30 基于消息中间件的数据存储方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011606960.4A CN112650814B (zh) 2020-12-30 2020-12-30 基于消息中间件的数据存储方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112650814A true CN112650814A (zh) 2021-04-13
CN112650814B CN112650814B (zh) 2023-09-26

Family

ID=75364335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011606960.4A Active CN112650814B (zh) 2020-12-30 2020-12-30 基于消息中间件的数据存储方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112650814B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843937A (zh) * 2016-03-31 2016-08-10 北京奇虎科技有限公司 数据处理方法和装置
CN106202084A (zh) * 2015-04-30 2016-12-07 阿里巴巴集团控股有限公司 数据存储方法和数据存储装置
CN106407398A (zh) * 2016-09-21 2017-02-15 福建中金在线信息科技有限公司 一种数据存储方法及系统
CN109445965A (zh) * 2018-11-07 2019-03-08 北京明朝万达科技股份有限公司 由Redis和MySQL实现的消息处理方法和设备
CN109933575A (zh) * 2019-02-28 2019-06-25 鲁东大学 监测数据的存储方法及装置
CN110674221A (zh) * 2019-09-27 2020-01-10 浪潮软件股份有限公司 一种空间数据同步方法、终端及计算机可读存储介质
CN111090699A (zh) * 2019-12-13 2020-05-01 北京奇艺世纪科技有限公司 业务数据的同步方法和装置、存储介质、电子装置
CN111147355A (zh) * 2019-12-25 2020-05-12 北京五八信息技术有限公司 消息发送方法、装置、电子设备及存储介质
WO2020140661A1 (zh) * 2019-01-04 2020-07-09 深圳壹账通智能科技有限公司 数据同步方法和系统
CN111651284A (zh) * 2020-05-25 2020-09-11 泰康保险集团股份有限公司 一种处理业务数据的方法、装置、系统及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202084A (zh) * 2015-04-30 2016-12-07 阿里巴巴集团控股有限公司 数据存储方法和数据存储装置
CN105843937A (zh) * 2016-03-31 2016-08-10 北京奇虎科技有限公司 数据处理方法和装置
CN106407398A (zh) * 2016-09-21 2017-02-15 福建中金在线信息科技有限公司 一种数据存储方法及系统
CN109445965A (zh) * 2018-11-07 2019-03-08 北京明朝万达科技股份有限公司 由Redis和MySQL实现的消息处理方法和设备
WO2020140661A1 (zh) * 2019-01-04 2020-07-09 深圳壹账通智能科技有限公司 数据同步方法和系统
CN109933575A (zh) * 2019-02-28 2019-06-25 鲁东大学 监测数据的存储方法及装置
CN110674221A (zh) * 2019-09-27 2020-01-10 浪潮软件股份有限公司 一种空间数据同步方法、终端及计算机可读存储介质
CN111090699A (zh) * 2019-12-13 2020-05-01 北京奇艺世纪科技有限公司 业务数据的同步方法和装置、存储介质、电子装置
CN111147355A (zh) * 2019-12-25 2020-05-12 北京五八信息技术有限公司 消息发送方法、装置、电子设备及存储介质
CN111651284A (zh) * 2020-05-25 2020-09-11 泰康保险集团股份有限公司 一种处理业务数据的方法、装置、系统及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁震;: "基于消息中间件的数据同步更新方法", 兵工自动化, no. 07, pages 97 - 100 *

Also Published As

Publication number Publication date
CN112650814B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
WO2020181810A1 (zh) 应用于集群内多级缓存的数据处理方法和装置
WO2019179026A1 (zh) 电子装置、集群访问域名自动生成方法及存储介质
CN112380227B (zh) 基于消息队列的数据同步方法、装置、设备及存储介质
US9535811B2 (en) Agent dynamic service
US11018860B2 (en) Highly available and reliable secret distribution infrastructure
CN111338834B (zh) 数据存储方法和装置
CN113254445A (zh) 实时数据存储方法、装置、计算机设备及存储介质
CN115455058A (zh) 缓存数据的处理方法、装置、计算机设备及存储介质
CN115934414A (zh) 数据备份方法、数据恢复方法、装置、设备及存储介质
CN115757492A (zh) 一种热点数据的处理方法、装置、计算机设备及存储介质
JP2013045356A (ja) トランザクション同時実行制御システム、トランザクション同時実行制御方法、およびプログラム
CN113220342A (zh) 中心化配置方法、装置、电子设备及存储介质
CN107657155B (zh) 用于鉴定用户操作权限的方法和装置
CN113761054A (zh) 数据调取方法、装置、电子设备及存储介质
EP4148577A2 (en) Method and apparatus of responding to client fault detection with update operation, electronic device, and storage medium
CN114860782B (zh) 数据查询方法、装置、设备及介质
CN116545905A (zh) 一种服务健康检测方法、装置、电子设备及存储介质
CN115190125B (zh) 一种缓存集群的监控方法和装置
CN112650814A (zh) 基于消息中间件的数据存储方法、装置、设备及存储介质
CN113360172B (zh) 应用部署方法、装置、计算机设备及存储介质
CN115203304A (zh) 一种基于定时轮询的批量数据导入方法及相关设备
CN113868184B (zh) 一种主从架构基于缓存的配置中心的配置方法及系统
CN114143308A (zh) 文件上传信息处理方法、装置、计算机设备及存储介质
CN113438227B (zh) 重复请求的限流方法、装置、设备及存储介质
CN115002218B (zh) 流量分发方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant