CN113761006A - 基于多队列的事件时序性保障方法 - Google Patents

基于多队列的事件时序性保障方法 Download PDF

Info

Publication number
CN113761006A
CN113761006A CN202111061069.1A CN202111061069A CN113761006A CN 113761006 A CN113761006 A CN 113761006A CN 202111061069 A CN202111061069 A CN 202111061069A CN 113761006 A CN113761006 A CN 113761006A
Authority
CN
China
Prior art keywords
event
queue
processing
node
update
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111061069.1A
Other languages
English (en)
Inventor
胡卫兵
刘树权
庞海东
王�锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Staryea Network Technology Co ltd
Original Assignee
Nanjing Staryea Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Staryea Network Technology Co ltd filed Critical Nanjing Staryea Network Technology Co ltd
Priority to CN202111061069.1A priority Critical patent/CN113761006A/zh
Publication of CN113761006A publication Critical patent/CN113761006A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及基于多队列的事件时序性保障方法，包括以下步骤：S1、业务流程开始，经过第一个实物处理节点，先把首节点的事件放入“新增事件节点队列(insert_queue)”；S2、接着事务的处理根据线性条件，分别经过了中间节点‑01、中间节点‑02和中间节点‑N，最后经过总结节点；S3、把所有需要做update的事务，放入“更新事件状态队列(update_queue)”；S4、针对步骤S1中insert_queue处理，由“新增事件处理”模块进行数据监听消费处理；S5、针对步骤S3中update_queue处理，由“更新事件处理”模块进行处理；S6、队列由“更新事件处理”模块进行监听消费，如此反复，直到所有的事务全部处理完成。该方法实现了业务多节点处理过程中的时序的完整性保障，为事件时序性的提供了有效的控制手段。

Description

基于多队列的事件时序性保障方法
技术领域
本发明涉及信息数据处理技术领域，具体为基于多队列的事件时序性保障方法。
背景技术
业务处理又称业务员信息系统，提供给基础人员使用的系统，是对业务处理过程进行针对性支持的信息系统，能够为某项工作的完成提供有力的工具支撑。
目前普遍存在在一项业务处理流程中，涉及到顺序性的多节点处理，在对节点的事件入库过程中，存在着必然的时序性要求，在没有首条事件入库的情况下，无法实现后续节点处理的过程，不利于对该事件的状态更新操作，从而引发整个业务流程入库的数据缺失和不完整性，故而提出一种基于多队列的事件时序性保障方法以解决上述问题。
发明内容
针对现有技术的不足，本发明提供了基于多队列的事件时序性保障方法，该基于多队列的事件时序性保障方法，利用多队列的事件存储，以及利用<K,V>内存库的状态记录方式，保障在业务处理过程中，对首节点数据处理优先性，从而保障了后续节点处理的事件状态能及时和完整的更新，最终实现整个业务处理流程的完整性和时序性。
为实现上述目的，本发明提供如下技术方案：基于多队列的事件时序性保障方法，包括以下步骤：
S1、业务流程开始，经过第一个实物处理节点，针对处理的事件，先把首节点的事件入库，放入“新增事件节点队列(insert_queue)”；
S2、接着事务的处理根据线性条件，分别经过了中间节点-01、中间节点-02和中间节点-N，最后经过总结节点；
S3、把所有需要做update的事务，放入“更新事件状态队列(update_queue)”；
S4、在后续的队列消费处理中，针对步骤S1中insert_queue处理，由“新增事件处理”模块进行数据监听消费处理；
S5、针对步骤S3中update_queue处理，由“更新事件处理”模块进行处理；
S6、队列由“更新事件处理”模块进行监听消费，如此反复，直到所有的事务全部处理完成。
进一步，所述第一个实物处理节点为起始节点-START，该节点作为整个业务流程事务处理的首节点，所述总结节点为终结节点-END。
进一步，所述“新增事件处理”模块包括两个事务：
(1)将首节点事件，新增到数据库中；
(2)将该事件的状态放入<K,V>内存库中，其主键为事件的唯一标识。
进一步，所述“更新事件处理”模块的处理流程为：
(1)监听消费update_queue中的事件；
(2)根据事件的唯一标识，在<K,V>内存库中匹配其当前状态。
进一步，所述匹配机制为：
(1)如果状态为首节点已入库，则进行更新事件的操作；
(2)如果首节点状态为空，则将该事件放入到“临时待更新事件队列(temp_queue)”中。
与现有技术相比，本申请的技术方案具备以下有益效果：
该基于多队列的事件时序性保障方法，运用多队列分开存储不同操作事件的数据内容，且运用<K,V>内存库存储事件的初始状态，根据事件的性质不同，分开存储，同时针对事件的处理采用了新增事件的优先保障机制，杜绝事件周期的不完整性，以及时序的错乱性，实现了业务多节点处理过程中的时序的完整性保障，为事件时序性的提供了有效的控制手段。
附图说明
图1为本发明业务流程设计示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明中的基于多队列的事件时序性保障方法，利用多队列的事件存储，以及利用<K,V>内存库的状态记录方式，保障在业务处理过程中，对首节点数据处理优先性，从而保障了后续节点处理的事件状态能及时和完整的更新，最终实现整个业务处理流程的完整性和时序性。
请参阅图1，随着业务流程开始，经过第一个实物处理节点，所述第一个实物处理节点为起始节点-START，该节点作为整个业务流程事务处理的首节点，针对处理的事件，需要insert到数据库中，在此先把首节点的事件入库，放入“新增事件节点队列(insert_queue)”，接着事务的处理根据线性条件，分别经过了中间节点-01、中间节点-02和中间节点-N，最后经过总结节点，所述总结节点为终结节点-END。
其中，在中间节点和总结节点事务处理后的事件需要update数据库中的业务状态，在此把所有需要做update的事务，放入“更新事件状态队列(update_queue)”。
而在后续的队列消费处理中，分别针对insert_queue和update_queue进行处理。
其中，针对insert_queue的处理，由“新增事件处理”模块进行数据监听消费处理，该模块主要做两个事务：
(1)将首节点事件，新增到数据库中；
(2)将该事件的状态放入<K,V>内存库中，其主键为事件的唯一标识。
而针对update_queue的处理，由“更新事件处理”模块进行，该模块的处理流程为：
(1)监听消费update_queue中的事件；
(2)根据事件的唯一标识，在<K,V>内存库中匹配其当前状态。
在<K,V>内存库中匹配其当前状态时根据以下规则：
(1)如果状态为首节点已入库，则进行更新事件的操作；
(2)如果首节点状态为空，则将该事件放入到“临时待更新事件队列(temp_queue)”中。
然后，队列已然由“更新事件处理”模块进行监听消费，如此反复，直到所有的事务全部处理完成。
本发明充分利用了多队列的数据存储，根据事件的性质不同，分开存储，同时针对事件的处理采用了新增事件的优先保障机制，杜绝事件周期的不完整性，以及时序的错乱性，实现了业务多节点处理过程中的时序的完整性保障，为事件时序性的提供了有效的控制手段。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.基于多队列的事件时序性保障方法，其特征在于，包括以下步骤：
S1、业务流程开始，经过第一个实物处理节点，针对处理的事件，先把首节点的事件入库，放入“新增事件节点队列(insert_queue)”；
S2、接着事务的处理根据线性条件，分别经过了中间节点-01、中间节点-02和中间节点-N，最后经过总结节点；
S3、把所有需要做update的事务，放入“更新事件状态队列(update_queue)”；
S4、在后续的队列消费处理中，针对步骤S1中insert_queue处理，由“新增事件处理”模块进行数据监听消费处理；
S5、针对步骤S3中update_queue处理，由“更新事件处理”模块进行处理；
S6、队列由“更新事件处理”模块进行监听消费，如此反复，直到所有的事务全部处理完成。
2.根据权利要求1所述的基于多队列的事件时序性保障方法，其特征在于：所述第一个实物处理节点为起始节点-START，该节点作为整个业务流程事务处理的首节点，所述总结节点为终结节点-END。
3.根据权利要求1所述的基于多队列的事件时序性保障方法，其特征在于：所述“新增事件处理”模块包括两个事务：
(1)将首节点事件，新增到数据库中；
(2)将该事件的状态放入<K,V>内存库中，其主键为事件的唯一标识。
4.根据权利要求1所述的基于多队列的事件时序性保障方法，其特征在于：所述“更新事件处理”模块的处理流程为：
(1)监听消费update_queue中的事件；
(2)根据事件的唯一标识，在<K,V>内存库中匹配其当前状态。
5.根据权利要求4所述的基于多队列的事件时序性保障方法，其特征在于：所述匹配机制为：
(1)如果状态为首节点已入库，则进行更新事件的操作；
(2)如果首节点状态为空，则将该事件放入到“临时待更新事件队列(temp_queue)”中。
CN202111061069.1A 2021-09-10 2021-09-10 基于多队列的事件时序性保障方法 Pending CN113761006A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111061069.1A CN113761006A (zh) 2021-09-10 2021-09-10 基于多队列的事件时序性保障方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111061069.1A CN113761006A (zh) 2021-09-10 2021-09-10 基于多队列的事件时序性保障方法

Publications (1)

Publication Number Publication Date
CN113761006A true CN113761006A (zh) 2021-12-07

Family

ID=78794753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111061069.1A Pending CN113761006A (zh) 2021-09-10 2021-09-10 基于多队列的事件时序性保障方法

Country Status (1)

Country Link
CN (1) CN113761006A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107656801A (zh) * 2016-07-25 2018-02-02 武汉票据交易中心有限公司 一种基于事件的流程处理方法及系统
CN110895848A (zh) * 2018-09-13 2020-03-20 北京怡合春天科技有限公司 一种基于事件总线的智能排队模式及系统
CN112217672A (zh) * 2020-09-30 2021-01-12 安徽极玩云科技有限公司 一种用于cdn平台的业务处理系统
CN113157805A (zh) * 2021-04-16 2021-07-23 西安瓜大网络科技有限公司 一种事务定序共识方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107656801A (zh) * 2016-07-25 2018-02-02 武汉票据交易中心有限公司 一种基于事件的流程处理方法及系统
CN110895848A (zh) * 2018-09-13 2020-03-20 北京怡合春天科技有限公司 一种基于事件总线的智能排队模式及系统
CN112217672A (zh) * 2020-09-30 2021-01-12 安徽极玩云科技有限公司 一种用于cdn平台的业务处理系统
CN113157805A (zh) * 2021-04-16 2021-07-23 西安瓜大网络科技有限公司 一种事务定序共识方法和系统

Similar Documents

Publication Publication Date Title
CN109857737B (zh) 一种冷热数据存储方法及装置、电子设备
US6980988B1 (en) Method of applying changes to a standby database system
CN108369599A (zh) 冗余数据中心间的复制控制
US10430230B2 (en) Transaction redo using skip element for object
CN108369601A (zh) 关系结构化数据中的提升属性
CN105787058B (zh) 一种用户标签系统及基于用户标签系统的数据推送系统
US7882366B2 (en) Storage media tracking and managment
CN101685452B (zh) 数据仓库调度方法及调度系统
CN108431807A (zh) 分区数据存储空间中结构化数据记录的复制
CN108431808A (zh) 对分区的数据存储空间当中的结构化数据记录的提醒处理
CN106033438B (zh) 舆情数据存储方法和服务器
US8423432B1 (en) System and method for authoritative item identification based on facility operations
CN101452556A (zh) 一种客户信息处理系统及方法
EP3385867A1 (en) Management of unique identifiers in a database
CN107111534A (zh) 一种数据处理的方法和装置
CN113761006A (zh) 基于多队列的事件时序性保障方法
KR20040010321A (ko) 제조공정의 최적화 및 동기화 방법
CN105512313B (zh) 一种增量式数据处理的方法和装置
CN101866455A (zh) 一种物料记录数据处理方法和系统
CN104573095B (zh) 基于Hadoop框架的大规模对象识别方法
CN111260460A (zh) 钞箱的管理方法、装置、设备和介质
CN115469810A (zh) 一种数据获取方法、装置、设备及存储介质
US7577627B2 (en) Modular SQL rule-based management of job process flow
US10956385B2 (en) Management of unique identifiers in a database
CN110389817A (zh) 多云系统的调度方法、装置和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211207