CN110633320B - 分布式数据服务的处理方法、系统、设备及存储介质 - Google Patents
分布式数据服务的处理方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN110633320B CN110633320B CN201810542086.9A CN201810542086A CN110633320B CN 110633320 B CN110633320 B CN 110633320B CN 201810542086 A CN201810542086 A CN 201810542086A CN 110633320 B CN110633320 B CN 110633320B
- Authority
- CN
- China
- Prior art keywords
- data
- service
- asynchronous
- unit
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 230000001360 synchronised effect Effects 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012544 monitoring process Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 70
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 230000000977 initiatory effect Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Hardware Redundancy (AREA)
Abstract
本发明公开了一种分布式数据服务的处理方法、系统、设备及存储介质，其中处理方法包括应用服务模块从接收到的写服务请求中获取业务数据，并在业务数据中增加同步状态字段和全局ID后作为目标业务数据，分别存入分布式缓存、本地存储器和消息队列；异步服务模块通过监听消息队列，并从异步消息获取目标业务数据后入库，及成功入库后更新目标业务数据的同步状态字段，并将更新后的目标业务数据更新到分布式缓存；工作进程模块定时轮询本地存储器的数据，并根据全局ID获取分布式缓存中对应数据以及判断同步状态字段是否已更新，若是则删除本地数据，若否则向消息队列重发。本发明能有效地保证每次的写数据服务请求都能无遗漏地得到响应。
Description
技术领域
本发明涉及分布式数据处理技术领域，特别涉及一种分布式数据服务的处理方法、系统、设备及存储介质。
背景技术
随着信息技术的快速发展，用户提交的写数据如订单、评论等数据请求显得异常珍贵。但是随着业务复杂度增加，数据库的复杂程度和依赖的外部接口也会逐步增加。系统在流量增加和复杂度增加的场景下，更加需要保证接口性能和高可用性。
目前大部分数据服务的处理系统是在应用服务器中直接将数据写入数据库，或者为了保证性能就将数据先存入mysql(一种关系型数据库管理系统)宽表或者缓存中，然后再发送异步消息到mq(message queue，消息队列)，由后端服务进行异步处理来将mq中的数据写入数据库中，但该异步处理方式，由于异步消息的发送方无法获取异步处理的结果，也无法确定后端服务是否已正确地将数据入库，所以容易造成数据丢失。因此，在将数据存储到分布式缓存或者数据库中，还存在以下不足：当数据库表关系比较复杂时，服务性能会降低；当网络抖动或者存储服务器不可用时，就会造成写服务不可用；在系统依赖外部接口中，当外部接口响应变慢或者不可用时也会影响系统整体性能。
发明内容
本发明要解决的技术问题是为了克服现有技术中由于数据读写系统对外部组件如数据库、外部接口等存在较强依赖，使得系统性能易受到外部组件的运行性能影响，并容易出现数据丢失的缺陷，提供一种分布式数据服务的处理方法、系统、设备及存储介质。
本发明是通过下述技术方案来解决上述技术问题：
本发明提供一种分布式数据服务的处理方法，其特点是，包括以下步骤：
应用服务模块接收客户端发起的写数据服务请求，并从所述写数据服务请求中获取业务数据；
所述应用服务模块在所述业务数据中增加同步状态字段，并初始化所述同步状态字段；
所述应用服务模块生成所述业务数据的全局ID(Identifier，标识)，并将所述全局ID增加到所述业务数据中；
所述应用服务模块将已加入所述同步状态字段和所述全局ID的所述业务数据作为目标业务数据分别异步存入分布式缓存和本地存储器，以及将所述目标业务数据作为异步消息向消息队列发送；
异步服务模块监听所述消息队列，并在监听到异步消息后，从所述异步消息中获取出所述目标业务数据，将所述目标业务数据异步写入关系型数据库中，并在写入完成后将所述目标业务数据中的同步状态字段的内容进行更新，及将已更新所述同步状态字段的所述目标业务数据更新到所述分布式缓存中，所述异步服务模块具有幂等性；
工作进程模块(即worker模块)定时读取所述本地存储器中的目标业务数据，根据读取到的所述目标业务数据的全局ID读取所述分布式缓存中的缓存数据，判断所读取到的所述缓存数据的同步状态字段是否已更新，若是则删除所述本地存储器中的所述目标业务数据，若否则将所述本地存储器中的所述目标业务数据作为异步消息向所述消息队列发送。
本方案中，根据设计需要，可以先将同步状态字段增加到业务数据中，然后再将全局ID增加到业务数据中，也可以先将全局ID增加到业务数据中，然后再将同步状态字段增加到业务数据中；消息队列可优选ActiveMq(一种消息队列)或RabbitMq(一种消息队列)；关系型数据库可优选mysql。
较佳地，在所述应用服务模块将所述目标业务数据异步发送到所述消息队列失败时，所述分布式数据服务的处理方法还包括：
所述应用服务模块向所述异步服务模块发起第一远程调用异步请求；
所述异步服务模块还监听所述第一远程调用异步请求，并在监听到所述第一远程调用异步请求后，从所述第一远程调用异步请求中获取出所述目标业务数据。
较佳地，在所述应用服务模块将所述目标业务数据异步发送到消息队列时，当所述目标业务数据积压量超过预设阈值时，所述分布式数据服务的处理方法还包括：
所述应用服务模块向所述异步服务模块发起第二远程调用异步请求；
所述异步服务模块还监听所述第二远程调用异步请求，并在监听到所述第二远程调用异步请求后，从所述第二远程调用异步请求中获取出所述目标业务数据。
较佳地，所述分布式缓存包括redis(一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、key-value数据库，并提供多种语言的API(应用程序编程接口))存储系统；
所述分布式数据服务的处理方法还包括：
在所述应用服务模块将所述目标业务数据异步存入所述分布式缓存前和异步发送到所述消息队列前，所述应用服务模块将所述目标业务数据进行序列化生成字符串，所述redis存储系统中的缓冲数据的key值为所述目标业务数据中的全局ID，所述redis存储系统中的缓冲数据的value值为所述字符串，所述消息队列中的消息体为所述字符串；
在所述异步服务模块从所述异步消息中获取所述目标业务数据时，所述异步服务模块先将所述异步消息反序列化后再获取所述目标业务数据。
较佳地，在所述应用服务模块将所述目标业务数据异步存入所述本地存储器的步骤中，所述应用服务模块将每一预设时间段的所述写数据服务请求的所述目标业务数据形成一个本地文件并异步存入所述本地存储器；
所述工作进程模块通过读取所述本地存储器中的本地文件获取所述目标业务数据，还判断所读取到的所述缓存数据的同步状态字段是否均已更新，若是则删除所述本地文件，若否则将所述同步状态字段未更新的所述缓存数据中的业务数据异步发送到所述消息队列。
较佳地，所述分布式数据服务的处理方法还包括：所述应用服务模块接收客户端发起的读数据服务请求，根据所述读数据服务请求从所述分布式缓存读取数据，并将所读取的数据返回所述客户端。
较佳地，在根据所述读数据服务请求从所述分布式缓存读取数据失败时，所述分布式数据服务的处理方法还包括：所述应用服务模块从所述关系型数据库中读取数据。
本发明还提供一种分布式数据服务的处理系统，其特点是，包括：应用服务模块、异步服务模块和工作进程模块，所述异步服务模块具有幂等性，所述应用服务模块包括业务数据获取单元、字段增加单元、ID生成单元和异步处理单元，所述异步服务模块包括监听单元、异步写数据单元和更新单元，所述工作进程模块包括本地数据获取单元、缓存数据获取单元、判断单元、数据删除单元和异步重发单元；
所述业务数据获取单元用于接收客户端发起的写数据服务请求，并从所述写数据服务请求中获取业务数据；
所述字段增加单元用于在所述业务数据中增加同步状态字段，并初始化所述同步状态字段；
所述ID生成单元用于生成所述业务数据的全局ID；
所述字段增加单元还用于将所述全局ID增加到所述业务数据中；
所述异步处理单元用于将已加入所述同步状态字段和所述全局ID的所述业务数据作为目标业务数据分别异步存入分布式缓存和本地存储器，以及将所述目标业务数据作为异步消息向消息队列发送；
所述监听单元用于监听所述消息队列，并在监听到异步消息后，从所述异步消息中获取出所述目标业务数据；
所述异步写数据单元用于将所述监听单元获取到的所述目标业务数据异步写入关系型数据库中，并在写入完成后调用所述更新单元；
所述更新单元用于将所述目标业务数据中的同步状态字段的内容进行更新，及将已更新所述同步状态字段的所述目标业务数据更新到所述分布式缓存中；
所述本地数据获取单元用于定时读取所述本地存储器中的目标业务数据，所述缓存数据获取单元用于根据所述本地数据获取单元读取到的所述目标业务数据的全局ID读取所述分布式缓存中的缓存数据，所述判断单元用于判断所读取到的所述缓存数据的同步状态字段是否已更新，若是则调用所述数据删除单元，若否则调用所述异步重发单元；
所述数据删除单元用于删除所述本地存储器中的所述目标业务数据，所述异步重发单元用于将所述本地存储器中的所述目标业务数据作为异步消息向所述消息队列发送。
较佳地，所述应用服务模块还包括第一远程调用单元，当所述异步处理单元将所述目标业务数据异步发送到所述消息队列失败时，调用所述第一远程调用单元；
所述第一远程调用单元用于向所述监听单元发起第一远程调用异步请求；
所述监听单元还用于监听所述第一远程调用异步请求，并在监听到所述第一远程调用异步请求后，从所述第一远程调用异步请求中获取出所述目标业务数据。
较佳地，所述应用服务模块还包括第二远程调用单元，在所述异步处理单元将所述目标业务数据异步发送到消息队列时，当所述目标业务数据积压量超过预设阈值时，调用所述第二远程调用单元；
所述第二远程调用单元用于向所述监听单元发起第二远程调用异步请求；
所述监听单元还用于监听所述第二远程调用异步请求，并在监听到所述第二远程调用异步请求后，从所述第二远程调用异步请求中获取出所述目标业务数据。
较佳地，所述分布式缓存包括redis存储系统；所述应用服务模块还包括字符串序列化单元；
在所述异步处理单元将所述目标业务数据异步存入所述分布式缓存前和异步发送到所述消息队列前，所述字符串序列化单元用于将所述目标业务数据进行序列化生成字符串，所述redis存储系统中的缓冲数据的key值为所述目标业务数据中的全局ID，所述redis存储系统中的缓冲数据的value值为所述字符串，所述消息队列中的消息体为所述字符串；
在所述监听单元从所述异步消息中获取所述目标业务数据时，所述监听单元先将所述异步消息反序列化后再获取所述目标业务数据。
较佳地，在所述异步处理单元将所述目标业务数据异步存入所述本地存储器时，所述异步处理单元还用于将每一预设时间段内的所述写数据服务请求的所述目标业务数据形成一个本地文件并异步存入所述本地存储器；
所述本地数据获取单元通过读取所述本地存储器中的本地文件获取所述目标业务数据，所述判断单元用于判断所读取到的所述缓存数据的同步状态字段是否均已更新，并在判断结果均为是时调用所述数据删除单元，否则调用所述异步重发单元；所述数据删除单元用于删除所述本地文件，所述异步重发单元用于将所读取到的所述缓存数据中所述同步状态字段未更新的业务数据异步发送到所述消息队列。
较佳地，所述应用服务模块还包括读数据服务单元，所述读数据服务单元用于接收客户端发起的读数据服务请求，并根据所述读数据服务请求从所述分布式缓存读取数据，以及将所读取的数据返回所述客户端。
较佳地，在根据所述读数据服务请求从所述分布式缓存读取数据失败时，所述读数据服务单元还用于从所述关系型数据库中读取数据。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特点是，所述处理器执行所述计算机程序时实现前述任一项所述的分布式数据服务的处理方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其特点是，所述程序被处理器执行时实现前述任一项所述的分布式数据服务的处理方法的步骤。
本发明的积极进步效果在于：本发明中，应用服务模块在接收客户端的写服务请求后，获取出请求中的业务数据，并在业务数据中增加同步状态字段和全局ID，然后经异步数据处理，将含同步状态字段和全局ID的业务数据作为目标业务数据分别存入分布式缓存、本地存储器和消息队列中，然后由异步服务模块监听消息队列，并在监听到异步消息后，从异步消息中获取出目标业务数据，并在异步写入数据库后，将目标业务数据中的同步状态字段更新，以及将更新后的目标业务数据更新到分布式缓存中，这样工作进程模块通过定时轮询本地存储器中的本地数据，然后根据本地数据中的全局ID从分布式缓存中获取对应的缓存数据，然后判断缓存数据中的同步状态字段是否已更新，并在判断为是时将本地存储器中对应的本地数据删除，在判断为否时通过异步消息向消息队列重发，已确保每一次的写数据服务请求无遗漏地得到响应，保证了每一次请求的价值。
附图说明
图1为本发明实施例1的分布式数据服务的处理方法的流程图。
图2为本发明实施例1的分布式数据服务的处理方法在应用场景中的数据服务示意图。
图3为本发明实施例2的分布式数据服务的处理系统的结构示意图。
图4为本发明实施例3的电子设备的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
如图1所示，本实施例涉及的分布式数据服务的处理方法，包括以下步骤：
S101、应用服务模块接收客户端发起的写数据服务请求，并从所述写数据服务请求中获取业务数据。
其中，客户端发起的请求类型可以是HTTP(HyperText Transfer Protocol，超文本传输协议)，也可以是TCP(Transmission Control Protocol，传输控制协议)，还可以是应用服务模块与客户端相互间协定的其他请求类型。
S102、所述应用服务模块在所述业务数据中增加同步状态字段，并初始化所述同步状态字段，这里同步状态字段的初始状态值设置为0；
S103、所述应用服务模块生成所述业务数据的全局ID，并将所述全局ID增加到所述业务数据中。
其中，全局ID可采用以下方法生成：“机器识别号+时间戳+随机数”，这里机器识别号为全局唯一的IEEE(电气和电子工程师协会)机器识别号，比如应用服务模块所在的服务器的IP(网络之间互连的协议)地址；时间戳是指所述写数据服务请求的业务数据的时间戳；随机数的位数优选为三位；这样，采用“机器识别号+时间戳+随机数”算法生成的全局ID可为128bit的UUID(Universally Unique Identifier，通用唯一识别码)，从而可在大部分场景下可满足全局唯一。另外，还可采用Twitter-Snowflake算法(分布式自增ID算法)来生成全局ID，来满足高并发量请求的应用场景。
S104、所述应用服务模块将已加入所述同步状态字段和所述全局ID的所述业务数据作为目标业务数据分别异步存入分布式缓存和本地存储器，以及将所述目标业务数据作为异步消息向消息队列发送，这样通过异步处理机制实现目标业务数据分别在分布式缓存、本地存储器和消息队列的存入操作，既可保证存入操作的准确性，又能提高服务性能。其中，消息队列可优选ActiveMq或RabbitMq。
S105、异步服务模块监听所述消息队列，并在监听到异步消息后，从所述异步消息中获取出所述目标业务数据，将所述目标业务数据异步写入关系型数据库中，并在写入完成后将所述目标业务数据中的同步状态字段的内容进行更新，及将已更新所述同步状态字段的所述目标业务数据更新到所述分布式缓存中，所述异步服务模块具有幂等性。
其中，更新同步状态字段的内容是指更新为1；所述异步服务模块具有幂等性是为了确保应用服务模块通过mq(消息队列)能够可靠地将目标业务数据传输至异步服务模块。
S106、工作进程模块定时读取所述本地存储器中的目标业务数据，根据读取到的所述目标业务数据的全局ID读取所述分布式缓存中的缓存数据，判断所读取到的所述缓存数据的同步状态字段是否已更新，若是则删除所述本地存储器中的所述目标业务数据，若否则将所述本地存储器中的所述目标业务数据作为异步消息向所述消息队列发送。
本实施例中，通过上述步骤S101-S106，一方面通过将业务数据暂时存放在本地存储器中，可保证客户端请求的数据不会因为依赖的组件(比如mq，数据库，分布式缓存)不可用而造成丢失，另一方面通过工作进程模块定时轮询本地存储器中的目标业务数据及其在分布式缓存中对应的缓存数据的同步状态字段的值，并以同步状态字段的值是否更新来判断该目标业务数据是否已完成写入数据库，并在完成时删除该本地数据，未完成时异步重发mq，这样通过工作进程模块定时轮询本地存储器中的目标业务数据和mq重试机制来重复发送业务数据，并由异步服务模块的幂等性，最终保证了每次的写数据请求均能做到无遗漏地将业务数据写入到数据库中，确保数据不会丢失，最大限度地保证每次请求的价值不受影响。
进一步，在本实施例中，为实现分布式的高速缓存，并简化数据写入操作，所述分布式缓存可优选redis存储系统或者memcache(一套分布式的高速缓存系统)。在具体实施中，所述分布式缓存优选redis存储系统，这样可利用redis存储系统用作key-value数据库来存放所述目标业务数据，这时所述目标业务数据在被所述应用服务模块异步存入所述分布式缓存前和异步发送到所述消息队列前，由所述应用服务模块序列化生成字符串，这样所述redis存储系统中的缓冲数据的key值就为所述目标业务数据中的全局ID，所述redis存储系统中的缓冲数据的value值就为所述字符串，所述消息队列中的消息体为所述字符串，其中所述字符串的格式优选JSON(JavaScript Object Notation，java脚本对象标记)格式；相应地，所述异步服务模块从所述异步消息中获取所述目标业务数据时，所述异步服务模块先将所述异步消息反序列化后再获取所述目标业务数据。
进一步，在本实施例中，在基于所述异步服务模块的幂等性基础上，还采用了降级服务处理方式，从而通过RPC(Remote Procedure Call，远程过程调用)来保证应用服务模块仍能高可靠地将目标业务数据传输至异步服务模块，有效保证了数据服务的可用性。具体地，当所述应用服务模块将所述目标业务数据异步发送到所述消息队列失败时，比如mq服务器宕机造成消息发送失败或者mq服务器网络延迟造成消息发送失败，所述应用服务模块向所述异步服务模块发起第一远程调用异步请求；相应地，所述异步服务模块还监听所述第一远程调用异步请求，并在监听到所述第一远程调用异步请求后，从所述第一远程调用异步请求中获取出所述目标业务数据。
另外，在业务请求积压较多时，也采用降级服务处理方式，即在所述应用服务模块将所述目标业务数据异步发送到消息队列时，当所述目标业务数据积压量超过预设阈值时，所述应用服务模块向所述异步服务模块发起第二远程调用异步请求；相应地，所述异步服务模块还监听所述第二远程调用异步请求，并在监听到所述第二远程调用异步请求后，从所述第二远程调用异步请求中获取出所述目标业务数据。其中，这里的预设阈值可根据实际应用场景的请求并发量进行设置。
进一步，在本实施例中，为提高数据处理效率，所述工作进程模块采取批量化处理本地存储器的业务数据，即在将业务数据异步存入本地存储器时，存储方案为每隔一段时间生成一个新文件，这样将同一时间段内的业务数据形成一个本地文件进行存放，这样所述工作进程模块通过读取本地文件来批量化读取目标业务数据并进行处理。具体地，在所述应用服务模块将所述目标业务数据异步存入所述本地存储器的步骤中，所述应用服务模块将每一预设时间段的所述写数据服务请求的所述目标业务数据形成一个本地文件并异步存入所述本地存储器；相应地，所述工作进程模块通过读取所述本地存储器中的本地文件获取所述目标业务数据，还判断所读取到的所述缓存数据的同步状态字段是否均已更新，若是则删除所述本地文件，若否则将所述同步状态字段未更新的所述缓存数据中的业务数据异步发送到所述消息队列。其中，预设时间段可以作为文件的命名方式，即文件的命名可以为“起始时间-截止时间”，这样作为时间粒度的预设时间段可以根据实际的应用场景来设置，从而避免单个文件过大给系统带来不良影响，比如单个文件越大，系统加载文件越慢，处理数据时占用内存空间越大，系统稳定性越低。另外，文件的命名方式可如下：如果以一小时为预设时间段，即以一小时为生成新文件的时间单位，则0点-1点的文件名为yyyy-mm-dd 00-yyyy-mm-dd 01.txt；如果以天为预设时间段，则1号-2号的文件名为yyyy-mm-01-yyyy-mm-02.txt，其中yyyy为年份，mm为月份，dd为日。当然，在以文件形式存放业务数据来实现批量化数据处理时，当mq不可用或者同步状态字段未更新的业务数据积压过多时，工作进程模块也可通过降级服务处理方式来保证服务可用，这里不再赘述。
进一步，在本实施例中，所述分布式数据服务的处理方法还用于进行读数据服务，具体地，所述应用服务模块接收客户端发起的读数据服务请求，根据所述读数据服务请求从所述分布式缓存读取数据，并将所读取的数据返回所述客户端。更进一步，当所述分布式缓存没有所需数据时，就回源数据库，具体地，在根据所述读数据服务请求从所述分布式缓存读取数据失败时，所述应用服务模块从所述关系型数据库中读取数据。这样，在需要读数据时，首先从分布式缓存中快速读取数据，并在读取失败时回源数据库，从而从关系型数据库中读取所需数据。
为便于理解本实施例，下面给出本实施例在应用场景中的数据服务示意图，并以此来说明所述分布式数据服务的处理方法中的写数据服务和读数据服务。
如图2所示，写数据服务时，客户端发起写数据服务请求，应用服务模块从写服务请求中获取出业务数据，增加同步状态字段(此时同步状态字段初始化为0)和全局ID到业务数据中形成目标业务数据，然后对目标业务数据进行异步数据处理，包括将目标业务数据进行本地存储、分布式存储和发送异步消息，其中本地存储是将目标业务数据存储至本地存储器中从而形成本地数据，分布式存储是将目标业务数据存储至分布式缓存中，发送异步消息是将目标业务数据形成异步消息并将异步消息发送至消息队列；异步服务模块首先监听消息队列发送过来的异步消息，并在监听到异步消息时，从异步消息中获取出目标业务数据，然后将目标业务数据通过异步写数据(包括调用外部接口、多表操作入库及更新)完成数据入库(即将数据写入到关系型数据库中的写库)，并在完成入库后更新目标业务数据中的同步状态字段，即将同步状态字段设置为1，以及将更新后的目标业务数据更新到分布式缓存中；worker模块(即工作进程模块)通过定时轮询本地服务器中来获取本地数据，并根据本地数据中的全局ID从分布式缓存中获取对应的缓存数据后，判断该缓存数据中的同步状态字段是否已更新，由于缓存数据中的同步状态字段是在正确入库后被更新的，即只要本地数据对应的缓存数据的同步状态字段已更新，则该本地数据就可以删除，所以在判断出同步状态字段已更新后可将在本地存储器中对应的本地数据进行删除，否则将目标业务数据作为异步消息向消息队列重发，已确保该次的写服务请求能够得到响应。其中，关系型数据库一般分为写库和读库，从而有效地隔离读数据和写数据的操作，通过数据库主从复制实现读库数据与写库数据的同步。
读数据服务时，客户端发起读数据服务请求，应用服务模块中的读数据服务就根据该读数据服务请求，首先从分布式缓存中读取数据，并在读取失败时，回源数据库，即分布式缓存中不存在所需数据时，再从关系型数据库中读取数据。
另外，当应用服务模块发现消息队列不可用，比如由于mq宕机导致不可用，则应用服务模块就通过RPC远程调用进行重发；或者，当应用服务模块已积压过多的写服务请求时，应用服务模块就通过RPC远程调用进行重发；还有，当worker模块在重发同步状态字段未更新的业务数据时，发现已积压过多，同样可通过RPC远程调用进行重发。相应地，异步服务模块还监听SOA(面向服务的架构)的RPC接口的远程请求消息。通过RPC远程调用实现重发，进一步实现降级服务处理，从而确保每一次的写服务请求都能得到响应，有效地保证了服务的可用性。
正如图2所示，在具体应用中，可根据实际需要，比如将应用服务模块、worker模块、本地存储器等部署在应用服务器中，关系型数据库选用mysql，分布式缓存选用redis或者memcache，消息队列选用ActiveMq或RabbitMq，以简化整体设计和达到较好服务性能。
实施例2
如图3所示，本实施例涉及的分布式数据服务的处理系统，包括应用服务模块1、异步服务模块2和工作进程模块3。其中，异步服务模块2具有幂等性，应用服务模块1包括业务数据获取单元11、字段增加单元12、ID生成单元13和异步处理单元14，异步服务模块2包括监听单元21、异步写数据单元22和更新单元23，工作进程模块3包括本地数据获取单元31、缓存数据获取单元32、判断单元33、数据删除单元34和异步重发单元35；
业务数据获取单元11用于接收客户端发起的写数据服务请求，并从所述写数据服务请求中获取业务数据；字段增加单元12用于在所述业务数据中增加同步状态字段，并初始化所述同步状态字段，即将所述同步状态字段的值设置为0；ID生成单元13用于生成所述业务数据的全局ID；字段增加单元12还用于将所述全局ID增加到所述业务数据中；异步处理单元14用于将已加入所述同步状态字段和所述全局ID的所述业务数据作为目标业务数据分别异步存入分布式缓存和本地存储器，以及将所述目标业务数据作为异步消息向消息队列发送；
监听单元21用于监听所述消息队列，并在监听到异步消息后，从所述异步消息中获取出所述目标业务数据；异步写数据单元22用于将监听单元21获取到的所述目标业务数据异步写入关系型数据库中，并在写入完成后调用更新单元23；更新单元23用于将所述目标业务数据中的同步状态字段的内容进行更新，即将所述同步状态字段的值设置为1，及将已更新所述同步状态字段的所述目标业务数据更新到所述分布式缓存中；
本地数据获取单元31用于定时读取所述本地存储器中的目标业务数据，缓存数据获取单元32用于根据本地数据获取单元31读取到的所述目标业务数据的全局ID读取所述分布式缓存中的缓存数据，判断单元33用于判断所读取到的所述缓存数据的同步状态字段是否已更新，若是则调用数据删除单元34，若否则调用异步重发单元35；数据删除单元34用于删除所述本地存储器中的所述目标业务数据，异步重发单元35用于将所述本地存储器中的所述目标业务数据作为异步消息向所述消息队列发送。
本实施例中，客户端发起的请求类型可以是HTTP类型，也可以是TCP类型，还可以是应用服务模块与客户端相互间协定的其他请求类型。
本实施例中，全局ID可采用以下方法生成：“机器识别号+时间戳+随机数”，这里机器识别号为全局唯一的IEEE(电气和电子工程师协会)机器识别号，比如应用服务模块所在的服务器的IP(网络之间互连的协议)地址；时间戳是指所述写数据服务请求的业务数据的时间戳；随机数的位数优选为三位；这样，采用“机器识别号+时间戳+随机数”算法生成的全局ID可为128bit的UUID(Universally Unique Identifier，通用唯一识别码)，从而可在大部分场景下可满足全局唯一。另外，还可采用Twitter-Snowflake算法(分布式自增ID算法)来生成全局ID，来满足高并发量请求的应用场景。
本实施例中，一方面通过将业务数据暂时存放在本地存储器中，可保证客户端请求的数据不会因为依赖的组件(比如mq(消息队列)，数据库，分布式缓存)不可用而造成丢失，另一方面通过工作进程模块进行定时轮询本地存储器中的目标业务数据及其在分布式缓存中对应的缓存数据的同步状态字段的值，并以同步状态字段的值是否更新来判断该目标业务数据是否已完成写入数据库，并在完成时删除该本地数据，未完成时异步重发mq，这样通过工作进程模块定时轮询本地存储器中的目标业务数据和mq重试机制来重复发送业务数据，并由异步服务模块的幂等性，最终保证了每次的写数据请求均能做到无遗漏地将业务数据写入到数据库中，确保数据不会丢失。
进一步，在本实施例中，在基于所述异步服务模块的幂等性基础上，还采用了降级服务处理方式，从而通过RPC(Remote Procedure Call，远程过程调用)来确保应用服务模块仍能高可靠地将目标业务数据传输至异步服务模块，确保了数据服务的可用性。具体地，应用服务模块1还包括第一远程调用单元15，这样当异步处理单元14将所述目标业务数据异步发送到所述消息队列失败时，调用第一远程调用单元15，由第一远程调用单元15向监听单元21发起第一远程调用异步请求，相应地，监听单元21还监听所述第一远程调用异步请求，并在监听到所述第一远程调用异步请求后，从所述第一远程调用异步请求中获取出所述目标业务数据。
另外，在请求积压较多时，也采用降级服务处理方式，即应用服务模块1还包括第二远程调用单元16，这样在异步处理单元14将所述目标业务数据异步发送到消息队列时，当所述目标业务数据积压量超过预设阈值时，调用第二远程调用单元16，由第二远程调用单元16向监听单元21发起第二远程调用异步请求，相应地监听单元21还监听所述第二远程调用异步请求，并在监听到所述第一远程调用异步请求后，从所述第一远程调用异步请求中获取出所述目标业务数据。其中，这里的预设阈值可根据实际应用场景的请求并发量进行设置。
进一步，在本实施例中，为实现分布式的高速缓存，并简化数据写入操作，所述分布式缓存可优选redis存储系统或者memcache存储系统。在具体实施中，所述分布式缓存优选redis存储系统，这样可利用redis存储系统用作key-value数据库来存放所述目标业务数据。具体地，应用服务模块1还包括字符串序列化单元17，这样所述目标业务数据在被异步处理单元14异步存入所述分布式缓存前和异步发送到所述消息队列前，由字符串序列化单元17序列化后生成字符串，这时所述redis存储系统中的缓冲数据的key值就为所述目标业务数据中的全局ID，所述redis存储系统中的缓冲数据的value值就为所述字符串，所述消息队列中的消息体就为所述字符串，其中所述字符串的格式优选JSON格式；相应地，在监听单元21从所述异步消息中获取所述目标业务数据时，监听单元21先将所述异步消息反序列化后再获取所述目标业务数据。
进一步，在本实施例中，为提高数据处理效率，工作进程模块3采取批量化处理本地存储器的业务数据，即在将业务数据异步存入本地存储器时，存储方案为每隔一段时间生成一个新文件，这样将同一时间段内的业务数据形成一个本地文件进行存放，这样工作进程模块3通过读取本地文件来批量化读取目标业务数据并进行处理。具体地，在异步处理单元14将所述目标业务数据异步存入所述本地存储器时，异步处理单元14将每一预设时间段内的所述写数据服务请求的所述目标业务数据形成一个本地文件并异步存入所述本地存储器，相应地，本地数据获取单元31通过读取所述本地存储器中的本地文件获取所述目标业务数据，判断单元33判断所读取到的所述缓存数据的同步状态字段是否均已更新，并在判断结果均为是时调用数据删除单元34，否则调用异步重发单元35；数据删除单元34用于删除所述本地文件，异步重发单元35用于将所读取到的所述缓存数据中所述同步状态字段未更新的业务数据异步发送到所述消息队列。其中，预设时间段可以作为文件的命名方式，即文件的命名可以为“起始时间-截止时间”，这样作为时间粒度的预设时间段可以根据实际的应用场景来设置，从而避免单个文件过大给系统带来不良影响，比如单个文件越大，系统加载文件越慢，处理数据时占用内存空间越大，系统稳定性越低。另外，文件的命名方式可如下：如果以一小时为预设时间段，即以一小时为生成新文件的时间单位，则0点-1点的文件名为yyyy-mm-dd 00-yyyy-mm-dd 01.txt；如果以天为预设时间段，则1号-2号的文件名为yyyy-mm-01-yyyy-mm-02.txt，其中yyyy为年份，mm为月份，dd为日。当然，当以文件形式存放业务数据来实现批量化数据处理时，在mq不可用或者同步状态字段未更新的业务数据积压过多时，工作进程模块也可通过降级服务处理方式来保证服务可用，这里不再展开说明。
进一步，在本实施例中，所述分布式数据服务的处理系统还用于进行读数据服务，具体地，所述应用服务模块还包括读数据服务单元18，读数据服务单元18用于接收客户端发起的读数据服务请求，并根据所述读数据服务请求从所述分布式缓存读取数据，以及将所读取的数据返回所述客户端。更进一步，当所述分布式缓存没有所需数据时，就回源数据库，具体地，在根据所述读数据服务请求从所述分布式缓存读取数据失败时，读数据服务单元18还用于从所述关系型数据库中读取数据。这样，在需要读数据时，首先从分布式缓存中快速读取数据，并在读取失败时回源数据库，从而从关系型数据库中读取所需数据，确保读数据服务可靠。
实施例3
图4为本实施例涉及的电子设备的结构示意图。所述电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1所述的分布式数据服务的处理方法。图4显示的电子设备50仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，电子设备50可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备50的组件可以包括但不限于：上述至少一个处理器51、上述至少一个存储器52、连接不同系统组件(包括存储器52和处理器51)的总线53。
总线53包括数据总线、地址总线和控制总线。
存储器52可以包括易失性存储器，例如随机存取存储器(RAM)521和/或高速缓存存储器522，还可以进一步包括只读存储器(ROM)523。
存储器52还可以包括具有一组(至少一个)程序模块524的程序工具525，这样的程序模块524包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器51通过运行存储在存储器52中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1所提供的分布式数据服务的处理方法。
电子设备50也可以与一个或多个外部设备54(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口55进行。并且，电子设备50还可以通过网络适配器56与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信，网络适配器56通过总线53与电子设备50的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备50使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例4
本实施例涉及一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的分布式数据服务的处理方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1所述的分布式数据服务的处理方法中的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (16)
1.一种分布式数据服务的处理方法，其特征在于，包括：
应用服务模块接收客户端发起的写数据服务请求，并从所述写数据服务请求中获取业务数据；
所述应用服务模块在所述业务数据中增加同步状态字段，并初始化所述同步状态字段；
所述应用服务模块生成所述业务数据的全局ID，并将所述全局ID增加到所述业务数据中；
所述应用服务模块将已加入所述同步状态字段和所述全局ID的所述业务数据作为目标业务数据分别异步存入分布式缓存和本地存储器，以及将所述目标业务数据作为异步消息向消息队列发送；
异步服务模块监听所述消息队列，并在监听到异步消息后，从所述异步消息中获取出所述目标业务数据，将所述目标业务数据异步写入关系型数据库中，并在写入完成后将所述目标业务数据中的同步状态字段的内容进行更新，及将已更新所述同步状态字段的所述目标业务数据更新到所述分布式缓存中，所述异步服务模块具有幂等性；
工作进程模块定时读取所述本地存储器中的目标业务数据，根据读取到的所述目标业务数据的全局ID读取所述分布式缓存中的缓存数据，判断所读取到的所述缓存数据的同步状态字段是否已更新，若是则删除所述本地存储器中的所述目标业务数据，若否则将所述本地存储器中的所述目标业务数据作为异步消息向所述消息队列发送。
2.如权利要求1所述的分布式数据服务的处理方法，其特征在于，在所述应用服务模块将所述目标业务数据异步发送到所述消息队列失败时，所述分布式数据服务的处理方法还包括：
所述应用服务模块向所述异步服务模块发起第一远程调用异步请求；
所述异步服务模块还监听所述第一远程调用异步请求，并在监听到所述第一远程调用异步请求后，从所述第一远程调用异步请求中获取出所述目标业务数据。
3.如权利要求1所述的分布式数据服务的处理方法，其特征在于，在所述应用服务模块将所述目标业务数据异步发送到消息队列时，当所述目标业务数据积压量超过预设阈值时，所述分布式数据服务的处理方法还包括：
所述应用服务模块向所述异步服务模块发起第二远程调用异步请求；
所述异步服务模块还监听所述第二远程调用异步请求，并在监听到所述第二远程调用异步请求后，从所述第二远程调用异步请求中获取出所述目标业务数据。
4.如权利要求1所述的分布式数据服务的处理方法，其特征在于，所述分布式缓存包括redis存储系统；
所述分布式数据服务的处理方法还包括：
在所述应用服务模块将所述目标业务数据异步存入所述分布式缓存前和异步发送到所述消息队列前，所述应用服务模块将所述目标业务数据进行序列化生成字符串，所述redis存储系统中的缓冲数据的key值为所述目标业务数据中的全局ID，所述redis存储系统中的缓冲数据的value值为所述字符串，所述消息队列中的消息体为所述字符串；
在所述异步服务模块从所述异步消息中获取所述目标业务数据时，所述异步服务模块先将所述异步消息反序列化后再获取所述目标业务数据。
5.如权利要求1所述的分布式数据服务的处理方法，其特征在于，在所述应用服务模块将所述目标业务数据异步存入所述本地存储器的步骤中，所述应用服务模块将每一预设时间段的所述写数据服务请求的所述目标业务数据形成一个本地文件并异步存入所述本地存储器；
所述工作进程模块通过读取所述本地存储器中的本地文件获取所述目标业务数据，还判断所读取到的所述缓存数据的同步状态字段是否均已更新，若是则删除所述本地文件，若否则将所述同步状态字段未更新的所述缓存数据中的业务数据异步发送到所述消息队列。
6.如权利要求1所述的分布式数据服务的处理方法，其特征在于，所述分布式数据服务的处理方法还包括：所述应用服务模块接收客户端发起的读数据服务请求，根据所述读数据服务请求从所述分布式缓存读取数据，并将所读取的数据返回所述客户端。
7.如权利要求6所述的分布式数据服务的处理方法，其特征在于，在根据所述读数据服务请求从所述分布式缓存读取数据失败时，所述分布式数据服务的处理方法还包括：所述应用服务模块从所述关系型数据库中读取数据。
8.一种分布式数据服务的处理系统，其特征在于，包括：应用服务模块、异步服务模块和工作进程模块，所述异步服务模块具有幂等性，所述应用服务模块包括业务数据获取单元、字段增加单元、ID生成单元和异步处理单元，所述异步服务模块包括监听单元、异步写数据单元和更新单元，所述工作进程模块包括本地数据获取单元、缓存数据获取单元、判断单元、数据删除单元和异步重发单元；
所述业务数据获取单元用于接收客户端发起的写数据服务请求，并从所述写数据服务请求中获取业务数据；
所述字段增加单元用于在所述业务数据中增加同步状态字段，并初始化所述同步状态字段；
所述ID生成单元用于生成所述业务数据的全局ID；
所述字段增加单元还用于将所述全局ID增加到所述业务数据中；
所述异步处理单元用于将已加入所述同步状态字段和所述全局ID的所述业务数据作为目标业务数据分别异步存入分布式缓存和本地存储器，以及将所述目标业务数据作为异步消息向消息队列发送；
所述监听单元用于监听所述消息队列，并在监听到异步消息后，从所述异步消息中获取出所述目标业务数据；
所述异步写数据单元用于将所述监听单元获取到的所述目标业务数据异步写入关系型数据库中，并在写入完成后调用所述更新单元；
所述更新单元用于将所述目标业务数据中的同步状态字段的内容进行更新，及将已更新所述同步状态字段的所述目标业务数据更新到所述分布式缓存中；
所述本地数据获取单元用于定时读取所述本地存储器中的目标业务数据，所述缓存数据获取单元用于根据所述本地数据获取单元读取到的所述目标业务数据的全局ID读取所述分布式缓存中的缓存数据，所述判断单元用于判断所读取到的所述缓存数据的同步状态字段是否已更新，若是则调用所述数据删除单元，若否则调用所述异步重发单元；
所述数据删除单元用于删除所述本地存储器中的所述目标业务数据，所述异步重发单元用于将所述本地存储器中的所述目标业务数据作为异步消息向所述消息队列发送。
9.如权利要求8所述的分布式数据服务的处理系统，其特征在于，所述应用服务模块还包括第一远程调用单元，当所述异步处理单元将所述目标业务数据异步发送到所述消息队列失败时，调用所述第一远程调用单元；
所述第一远程调用单元用于向所述监听单元发起第一远程调用异步请求；
所述监听单元还用于监听所述第一远程调用异步请求，并在监听到所述第一远程调用异步请求后，从所述第一远程调用异步请求中获取出所述目标业务数据。
10.如权利要求8所述的分布式数据服务的处理系统，其特征在于，所述应用服务模块还包括第二远程调用单元，在所述异步处理单元将所述目标业务数据异步发送到消息队列时，当所述目标业务数据积压量超过预设阈值时，调用所述第二远程调用单元；
所述第二远程调用单元用于向所述监听单元发起第二远程调用异步请求；
所述监听单元还用于监听所述第二远程调用异步请求，并在监听到所述第二远程调用异步请求后，从所述第二远程调用异步请求中获取出所述目标业务数据。
11.如权利要求8所述的分布式数据服务的处理系统，其特征在于，所述分布式缓存包括redis存储系统；所述应用服务模块还包括字符串序列化单元；
在所述异步处理单元将所述目标业务数据异步存入所述分布式缓存前和异步发送到所述消息队列前，所述字符串序列化单元用于将所述目标业务数据进行序列化生成字符串，所述redis存储系统中的缓冲数据的key值为所述目标业务数据中的全局ID，所述redis存储系统中的缓冲数据的value值为所述字符串，所述消息队列中的消息体为所述字符串；
在所述监听单元从所述异步消息中获取所述目标业务数据时，所述监听单元先将所述异步消息反序列化后再获取所述目标业务数据。
12.如权利要求8所述的分布式数据服务的处理系统，其特征在于，在所述异步处理单元将所述目标业务数据异步存入所述本地存储器时，所述异步处理单元还用于将每一预设时间段内的所述写数据服务请求的所述目标业务数据形成一个本地文件并异步存入所述本地存储器；
所述本地数据获取单元通过读取所述本地存储器中的本地文件获取所述目标业务数据，所述判断单元用于判断所读取到的所述缓存数据的同步状态字段是否均已更新，并在判断结果均为是时调用所述数据删除单元，否则调用所述异步重发单元；所述数据删除单元用于删除所述本地文件，所述异步重发单元用于将所读取到的所述缓存数据中所述同步状态字段未更新的业务数据异步发送到所述消息队列。
13.如权利要求8所述的分布式数据服务的处理系统，其特征在于，所述应用服务模块还包括读数据服务单元，所述读数据服务单元用于接收客户端发起的读数据服务请求，并根据所述读数据服务请求从所述分布式缓存读取数据，以及将所读取的数据返回所述客户端。
14.如权利要求13所述的分布式数据服务的处理系统，其特征在于，在根据所述读数据服务请求从所述分布式缓存读取数据失败时，所述读数据服务单元还用于从所述关系型数据库中读取数据。
15.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的分布式数据服务的处理方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至7中任一项所述的分布式数据服务的处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810542086.9A CN110633320B (zh) | 2018-05-30 | 2018-05-30 | 分布式数据服务的处理方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810542086.9A CN110633320B (zh) | 2018-05-30 | 2018-05-30 | 分布式数据服务的处理方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110633320A CN110633320A (zh) | 2019-12-31 |
| CN110633320B true CN110633320B (zh) | 2024-01-12 |
Family
ID=68966168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810542086.9A Active CN110633320B (zh) | 2018-05-30 | 2018-05-30 | 分布式数据服务的处理方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110633320B (zh) |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111198923A (zh) * | 2020-01-08 | 2020-05-26 | 北京仿真中心 | 一种基于消息队列的数据同步方法和系统 |
| CN111277634B (zh) * | 2020-01-14 | 2021-12-21 | 北京金山云网络技术有限公司 | 一种数据id分配方法、装置、系统以及服务器 |
| CN111338834B (zh) * | 2020-02-21 | 2023-06-30 | 北京百度网讯科技有限公司 | 数据存储方法和装置 |
| CN111368207B (zh) * | 2020-03-17 | 2023-09-22 | 北京奇艺世纪科技有限公司 | 数据处理方法及系统、候选数据池、电子设备、计算机可读存储介质 |
| CN111506587A (zh) * | 2020-03-31 | 2020-08-07 | 紫光云技术有限公司 | 一种基于Redis的异地双活方法 |
| CN111400408B (zh) * | 2020-04-13 | 2023-06-09 | 上海东普信息科技有限公司 | 数据同步方法、装置、设备及存储介质 |
| CN111541824B (zh) * | 2020-04-21 | 2021-11-26 | 北京思特奇信息技术股份有限公司 | 一种用于通讯信息传递的方法及系统 |
| CN111597256A (zh) * | 2020-05-06 | 2020-08-28 | 中建材信息技术股份有限公司 | 一种交易异步处理方法 |
| CN111831757B (zh) * | 2020-06-09 | 2023-05-12 | 时时同云科技(成都)有限责任公司 | 分布式全局唯一标识信息的生成和管理方法及装置 |
| CN111694868A (zh) * | 2020-06-16 | 2020-09-22 | 北京同邦卓益科技有限公司 | 数据缓存方法、装置、电子设备及存储介质 |
| CN111737298B (zh) * | 2020-06-19 | 2024-04-26 | 中国工商银行股份有限公司 | 基于分布式存储的缓存数据管控方法及装置 |
| CN111930836A (zh) * | 2020-07-16 | 2020-11-13 | 北京首汽智行科技有限公司 | 一种基于工作流平台的数据同步方法 |
| CN111988315A (zh) * | 2020-08-19 | 2020-11-24 | 青岛易来智能科技股份有限公司 | 一种同步调用方法、装置、电子设备、系统和存储介质 |
| CN113741797A (zh) * | 2020-08-31 | 2021-12-03 | 北京沃东天骏信息技术有限公司 | 一种数据处理方法和装置 |
| CN112422497B (zh) * | 2020-09-03 | 2023-04-18 | 上海哔哩哔哩科技有限公司 | 消息传递方法、装置及计算机设备 |
| CN112506915B (zh) * | 2020-10-27 | 2024-05-10 | 百果园技术(新加坡)有限公司 | 一种应用数据的管理系统以及处理方法、装置和服务器 |
| CN112416614A (zh) * | 2020-10-28 | 2021-02-26 | 网宿科技股份有限公司 | 基于消息队列的数据处理方法、系统及服务器 |
| CN113760566B (zh) * | 2020-11-10 | 2024-10-18 | 北京沃东天骏信息技术有限公司 | 一种分布式事务处理的方法、装置、系统和存储介质 |
| CN112579698B (zh) * | 2020-12-02 | 2024-06-18 | 京东科技控股股份有限公司 | 数据同步方法、装置、网关设备及存储介质 |
| CN112615907B (zh) * | 2020-12-04 | 2022-09-06 | 北京齐尔布莱特科技有限公司 | 一种数据同步系统及方法 |
| CN112769824B (zh) * | 2021-01-07 | 2023-03-07 | 深圳市大富网络技术有限公司 | 一种信息传输状态更新方法、终端、装置及存储介质 |
| CN113034178A (zh) * | 2021-03-15 | 2021-06-25 | 深圳市麦谷科技有限公司 | 多系统积分计算方法、装置、终端设备和存储介质 |
| CN113159858A (zh) * | 2021-05-06 | 2021-07-23 | 山东白令三维科技有限公司 | 3d打印报价系统、方法、装置及存储介质 |
| CN113312386B (zh) * | 2021-05-10 | 2022-06-24 | 四川新网银行股份有限公司 | 一种基于分布式消息的批量入库方法 |
| CN113127554A (zh) * | 2021-05-10 | 2021-07-16 | 广州欢网科技有限责任公司 | 接口和后台系统之间数据同步方法和系统 |
| CN113127570B (zh) * | 2021-05-18 | 2022-11-04 | 上海莉莉丝科技股份有限公司 | 分布式服务器的数据操作方法、系统、设备及存储介质 |
| CN113377792A (zh) * | 2021-06-10 | 2021-09-10 | 上海微盟企业发展有限公司 | 一种数据回写方法、装置、电子设备和存储介质 |
| CN113420050B (zh) * | 2021-06-28 | 2023-08-25 | 深圳华科讯通科技有限公司 | 数据查询管理方法、装置、计算机设备及可读存储介质 |
| CN113742107B (zh) * | 2021-09-03 | 2024-06-07 | 广州新丝路信息科技有限公司 | 一种避免消息队列中消息丢失的处理方法及相关设备 |
| CN113742109B (zh) * | 2021-09-09 | 2023-09-15 | 平安科技（深圳）有限公司 | 第三方服务对接方法、装置、设备及存储介质 |
| CN113961322A (zh) * | 2021-10-18 | 2022-01-21 | 广州新丝路信息科技有限公司 | 一种面向多系统的定时任务执行方法及装置 |
| CN113973135B (zh) * | 2021-10-19 | 2024-09-20 | 北京沃东天骏信息技术有限公司 | 数据缓存处理方法、装置、缓存网格平台和存储介质 |
| CN113891263B (zh) * | 2021-11-12 | 2022-08-26 | 成都天府通金融服务股份有限公司 | 短信服务系统及其同步发送方法、异步发送方法 |
| CN114328618B (zh) * | 2021-11-30 | 2024-02-09 | 苏州浪潮智能科技有限公司 | 一种缓存数据同步方法、装置、设备及存储介质 |
| CN114138838A (zh) * | 2021-12-07 | 2022-03-04 | 胜斗士(上海)科技技术发展有限公司 | 数据处理方法及装置、设备和介质 |
| CN115878639B (zh) * | 2022-09-07 | 2023-10-24 | 贝壳找房(北京)科技有限公司 | 二级缓存的一致性处理方法及分布式服务系统 |
| CN115629890A (zh) * | 2022-10-27 | 2023-01-20 | 圣名科技(广州)有限责任公司 | 传感器数据采集方法及装置、电子设备 |
| CN115563224A (zh) * | 2022-11-23 | 2023-01-03 | 北京江融信科技有限公司 | 一种分布式参数缓存系统 |
| CN118132295B (zh) * | 2024-05-10 | 2024-08-16 | 中移(苏州)软件技术有限公司 | 一种参数更新方法、装置及相关设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6529932B1 (en) * | 1998-04-01 | 2003-03-04 | Microsoft Corporation | Method and system for distributed transaction processing with asynchronous message delivery |
| CN102265277A (zh) * | 2011-06-01 | 2011-11-30 | 华为技术有限公司 | 数据存储系统的操作方法和装置 |
| CN102611642A (zh) * | 2012-02-27 | 2012-07-25 | 杭州闪亮科技有限公司 | 处理异步消息的系统及其发送消息、监听处理任务的方法 |
| CN105549905A (zh) * | 2015-12-09 | 2016-05-04 | 上海理工大学 | 一种多虚拟机访问分布式对象存储系统的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7865485B2 (en) * | 2003-09-23 | 2011-01-04 | Emc Corporation | Multi-threaded write interface and methods for increasing the single file read and write throughput of a file server |
-
2018
- 2018-05-30 CN CN201810542086.9A patent/CN110633320B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6529932B1 (en) * | 1998-04-01 | 2003-03-04 | Microsoft Corporation | Method and system for distributed transaction processing with asynchronous message delivery |
| CN102265277A (zh) * | 2011-06-01 | 2011-11-30 | 华为技术有限公司 | 数据存储系统的操作方法和装置 |
| CN102611642A (zh) * | 2012-02-27 | 2012-07-25 | 杭州闪亮科技有限公司 | 处理异步消息的系统及其发送消息、监听处理任务的方法 |
| CN105549905A (zh) * | 2015-12-09 | 2016-05-04 | 上海理工大学 | 一种多虚拟机访问分布式对象存储系统的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110633320A (zh) | 2019-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110633320B (zh) | 分布式数据服务的处理方法、系统、设备及存储介质 | |
| US9170892B2 (en) | Server failure recovery | |
| US7676616B2 (en) | Method, apparatus and program storage device for providing asynchronous status messaging in a data storage system | |
| JP4570312B2 (ja) | コンピュータシステムにおいてボリュームスナップショット依存関係を提供する方法および装置 | |
| US20100185587A1 (en) | Data movement with reduced service outage | |
| US10819641B2 (en) | Highly available servers | |
| CN111225012A (zh) | 事务处理方法、装置和设备 | |
| CN111338834B (zh) | 数据存储方法和装置 | |
| CN111400350B (zh) | 配置数据读取方法、系统、电子设备和存储介质 | |
| US9298765B2 (en) | Apparatus and method for handling partially inconsistent states among members of a cluster in an erratic storage network | |
| CN112417042A (zh) | 一种处理业务请求的方法和装置 | |
| US8359601B2 (en) | Data processing method, cluster system, and data processing program | |
| EP3657321B1 (en) | Module expiration management | |
| US11693844B2 (en) | Processing delete requests based on change feed of updates | |
| CN114490540B (zh) | 数据存储方法、介质、装置和计算设备 | |
| CN113535477B (zh) | 一种用于数据容灾恢复的方法与设备 | |
| CN113872994B (zh) | 组织架构同步方法、装置、计算机设备和存储介质 | |
| US11386043B2 (en) | Method, device, and computer program product for managing snapshot in application environment | |
| CN108475211B (zh) | 无状态系统和用于获得资源的系统 | |
| CN111078425B (zh) | 消息处理方法、装置、存储介质及电子设备 | |
| CN113760862A (zh) | 一种增量数据断点续传方法、装置、设备及存储介质 | |
| CN114915659B (zh) | 网络请求处理方法、装置、电子设备及存储介质 | |
| US11457065B1 (en) | Service fleet rate adjustment | |
| US9529549B2 (en) | Data processing method for storing data and restoration information and data processing system | |
| CN115086414B (zh) | 消息处理方法和装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |