CN113268395A - 业务数据的处理方法、处理装置及终端 - Google Patents
业务数据的处理方法、处理装置及终端 Download PDFInfo
- Publication number
- CN113268395A CN113268395A CN202110482529.1A CN202110482529A CN113268395A CN 113268395 A CN113268395 A CN 113268395A CN 202110482529 A CN202110482529 A CN 202110482529A CN 113268395 A CN113268395 A CN 113268395A
- Authority
- CN
- China
- Prior art keywords
- slave
- service data
- time
- node
- slave node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明适用于计算机数据库技术领域,提供了一种业务数据的处理方法、处理装置、终端及计算机可读存储介质。其中,该处理方法应用于主从架构数据库系统,该处理方法包括:获取业务数据,并将本次获取的业务数据存入主节点数据库;监测系统状态,并根据所述系统状态进行从机写入决策;若从机写入决策的结果为不通过,则将本次获取的业务数据同时记录于预设存储区;若从机写入决策的结果为通过,则将本次获取的业务数据和记录于预设存储区的业务数据均同步到从节点数据库。本发明能够实现主从架构数据库系统中主节点和从节点的数据同步,保障了主从架构数据库系统集群服务的鲁棒性。
Description
技术领域
本发明属于计算机数据库技术领域,尤其涉及一种业务数据的处理方法、处理装置、终端及计算机可读存储介质。
背景技术
InfluxDB是一个开源分布式时序、事件和指标数据库。使用Go语言编写,无需外部依赖。其设计目标是实现分布式和水平伸缩扩展。InfluxDB包括用于存储和查询数据,在后台处理ETL或监视和警报目的,用户仪表板以及可视化和探索数据等的API。
然而,当前版本的Influxdb未提供原生的多节点数据同步方案,在主从或其他多节点的集群环境下进行节点切换时,将出现数据缺失,其中某个计算节点崩溃将导致本机InfluxDb数据不可逆的缺失,从而使得集群服务的鲁棒性无法得到保障;同时,已有的第三方同步方案大多存在资源抢占严重、同步粒度大、效率低的问题,并不适用于海量业务数据的复杂应用场景。
发明内容
有鉴于此,本发明提供了一种业务数据的处理方法、处理装置、终端及计算机可读存储介质,以解决现有的主从架构数据库系统中的可能发生的主从节点数据不同步,使得集群服务的鲁棒性无法得到保障的问题。
本发明实施例的第一方面提供了一种业务数据的处理方法,应用于主从架构数据库系统中,所述处理方法包括:
获取业务数据,并将本次获取的业务数据存入主节点数据库;
监测系统状态,并根据所述系统状态进行从机写入决策;
若从机写入决策的结果为不通过,则将本次获取的业务数据同时记录于预设存储区;
若从机写入决策的结果为通过,则将本次获取的业务数据和记录于预设存储区的业务数据均同步到从节点数据库。
基于第一方面,在第一方面第一种可能的实现方式中,
所述主节点的系统状态包括系统负载率、网络拥堵率和记录于预设存储区的业务数据的数据容量;
相应的,所述根据所述系统状态进行从机写入决策包括:
若所述系统状态满足第一预设条件、第二预设条件和第三预设条件之中的至少一个,则判定从机写入决策通过,否则,判定从机写入决策不通过;
其中,所述第一预设条件包括所述系统负载率小于预设负载率阈值,所述第二预设条件包括所述网络拥堵率小于预设拥堵率阈值,所述第三预设条件包括所述数据容量大于预设数据容量阈值。
基于第一方面或第一方面第一种可能的实现方式,在第二种可能的实现方式中,在将记录于预设存储区的业务数据同步到从节点数据库之后还包括:删除记录于预设存储区的业务数据。
基于第一方面或第一方面第一种可能的实现方式,,在第三种可能的实现方式中,在所述根据所述系统状态进行从机写入决策之前还包括:
监测从节点的运行状态;
相应的,所述根据所述系统状态进行从机写入决策包括:
在从节点的运行状态为正常时,根据所述系统状态进行从机写入决策;
在从节点的运行状态为异常时,停止进行从机写入决策。
基于第一方面第三种可能的实现方式,在第四种可能的实现方式中,所述处理方法还包括:
在从节点的运行状态为异常时,根据从节点的运行状态为异常的开始时间生成对应该从节点的第一时间快照;
在从节点的运行状态由异常恢复为正常时,生成对应该从节点的第二时间快照,并将所述第一时间快照和所述第二时间快照之间的时间段对应的业务数据从主节点数据库的恢复至从节点数据库。
基于第一方面第三种可能的实现方式,在第五种可能的实现方式中,所述监测从节点的运行状态包括:
定时向从节点发送监测报文;
若在指定的延迟时间内收到从节点对所述监测报文的回复,则从节点的运行状态为正常;
若未在指定的延迟时间内收到从节点对所述监测报文的回复,则从节点的运行状态为异常。
基于第一方面第四种可能的实现方式,在第六种可能的实现方式中,所述将所述第一时间快照和所述第二时间快照之间的时间段对应的业务数据从主节点数据库的恢复至从节点数据库包括:
对所述第一时间快照与所述第二时间快照之间的时间段进行切片,得到多个时间切片;
每次恢复一个时间切片对应的主节点数据库的业务数据,直至所有时间切片对应的主节点数据库的业务数据恢复完成。
本发明实施例的第二方面提供了一种业务数据的处理装置,应用于主从架构数据库系统,所述处理装置包括:
数据获取单元,用于获取业务数据,并将本次获取的业务数据存入主节点数据库;
写入决策单元,用于监测系统状态,并根据所述系统状态进行从机写入决策;
数据缓存单元,用于若从机写入决策的结果为不通过,则将本次获取的业务数据同时记录于预设存储区;
数据同步单元,用于若从机写入决策的结果为通过,则将本次获取的业务数据和记录于预设存储区的业务数据均同步到从节点数据库。
本发明实施例的第三方面提供了一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如任一项所述业务数据的处理方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如任一项所述业务数据的处理方法的步骤。
本发明与现有技术相比存在的有益效果是:
本发明应用于主从架构数据库系统,在每次获取到业务数据时,一方面,将本次获取的业务数据存入主节点数据库,另一方面根据监测到的系统状态进行从机写入决策;在从机写入决策的结果为不通过时,将本次获取的业务数据同时记录于预设存储区,并等待下一次从机写入结果;在从机写入决策的结果为通过时,将本次获取的业务数据和记录于预设存储区的业务数据均同步到从节点数据库。本发明一方面引入了基于主节点系统状态的从机写入决策机制,有利于避免从机写入过程影响主节点,另一方面利用预设存储区实现从机的业务数据同步,避免从主节点数据库向从节点数据库进行业务数据的同步时还需要进行数据查询操作,使得同步过程耗时长的问题,保障了较快的数据同步速度。可见,本发明能够实现主从架构数据库系统中主节点和从节点的数据同步,保障了主从架构数据库系统集群服务的鲁棒性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的业务数据的处理方法的一个实现流程图;
图2是本发明实施例提供的业务数据的处理装置的结构示意图;
图3是本发明实施例提供的终端的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图通过具体实施例来进行说明。
参见图1,其示出了本发明实施例提供的业务数据的处理方法的实现流程图,详述如下:
主从架构数据库系统可以包括两个或多个节点,每个节点有自己的数据库,两个或多个节点中,包括一个主节点,其它节点为从节点。本发明实施例中的业务数据的处理方法,应用于主从架构数据库系统中的主节点,该方法包括以下步骤:
在步骤101中、获取业务数据,并将本次获取的业务数据存入主节点数据库;
在本发明实施例中,主节点可以实时获取业务数据,并在每次获取到业务数据后,将本次获取的业务数据直接存储到主节点数据库。
在一个应用场景中,主节点获取的业务数据可以是监控数据。
在步骤102中、监测系统状态,并根据所述系统状态进行从机写入决策。
在本发明实施例中,可以监测主从架构数据库系统的系统状态,可以是主节点的系统状态,还可以包括主节点与从节点的网络通信状态,并根据系统状态进行从机写入决策,以在系统状态较好时对从节点进行数据同步,避免进行数据同步的过程影响主节点的正常工作。
示例性的,在主节点与从节点的通信出现网络拥堵或者主节点系统的当前负荷过高时,不进行从节点的数据同步,避免由于在网络拥堵或者主节点系统的当前负荷过高这样的环境下由于数据同步导致主节点系统宕机或出现其它问题。
在一个可选实施例中,所述主节点的系统状态可以包括系统负载率、网络拥堵率和记录于预设存储区的业务数据的数据容量;
相应的,所述根据所述系统状态进行从机写入决策包括:
若所述系统状态满足第一预设条件、第二预设条件和第三预设条件之中的至少一个,则判定从机写入决策通过,否则,判定从机写入决策不通过;
其中,所述第一预设条件包括所述系统负载率小于预设负载率阈值,所述第二预设条件包括所述网络拥堵率小于预设拥堵率阈值,所述第三预设条件包括所述数据容量大于预设数据容量阈值。
在本实施例中,预设负载率阈值、预设拥堵率阈值和预设数据容量阈值均可以根据系统的实际情况灵活设置,在此不作限定。
在步骤103中、若从机写入决策的结果为不通过,则将本次获取的业务数据同时记录于预设存储区;
在本发明实施例中,在从机写入决策的结果为不通过时,表示主节点当前系统状态存在一定问题,暂不适合进行向从节点进行数据同步,因此,可以在将本次获取的业务数据存入主节点数据库的同时,可以将本次获取的业务数据记录于预设存储区,并等待下一次从机写入决策的结果,可以在下一次从机写入决策的结果为通过时,将记录于预设存储区的业务数据同步到从节点数据库。
在一种实施例中,预设存储区可以是主节点的缓存区,从而更有利于业务数据更快的写入和读取。
在步骤104中、若从机写入决策的结果为通过,则将本次获取的业务数据和记录于预设存储区的业务数据均同步到从节点数据库。
在本发明实施例中,在从机写入决策的结果为通过时,表示主节点当前系统状态较好,可以向从节点进行数据同步,因此,可以在将本次获取的业务数据存入主节点数据库的同时,一方面,将本次获取的业务数据记录于预设存储区,另一方面,由于预设存储区中可能存在由于上次写入决策的结果为不通过而记录的未同步到从节点数据库的业务数据,可以将这些业务数据在本次同步中也同步到从节点数据库。
本次获取的业务数据可以是经过预设存储区到从节点数据库,也可以是不经过预设存储区直接到从节点数据库。
可选的,在一个实施例中,在将记录于预设存储区的业务数据同步到从节点数据库之后还包括:删除记录于预设存储区的业务数据。
本实施例中,在将记录于预设存储区的业务数据同步到从节点数据库之后,这些数据在主节点数据库和从节点数据库均已存储完毕,实现了可以主节点数据库和从节点数据库的一致性,可以删除记录于预设存储区的业务数据。
可选的,在一个实施例中,在所述根据所述系统状态进行从机写入决策之前还包括:监测从节点的运行状态;
相应的,所述根据所述系统状态进行从机写入决策包括:在从节点的运行状态为正常时,根据所述系统状态进行从机写入决策;在从节点的运行状态为异常时,停止进行从机写入决策。
在本实施例中,由于主节点和从节点之间的通信可能发明异常,或者,从节点可能发生临时性故障,无法写入数据,此时,若持续进行从机数据决策,可能导致预设存储区存储过多数据,影响主节点的运行,因此,可以监测从节点的运行状态,并在从节点的运行状态为正常时,根据主节点的系统状态进行从机写入决策;在从节点的运行状态为异常时,主节点可以停止进行从机写入决策。
进一步的,在一个实施例中,所述处理方法还包括:在从节点的运行状态为异常时,根据从节点的运行状态为异常的开始时间生成对应该从节点的第一时间快照;
在从节点的运行状态由异常恢复为正常时,生成对应该从节点的第二时间快照,并将所述第一时间快照和所述第二时间快照之间的时间段对应的业务数据从主节点数据库的恢复至从节点数据库。
本实施例用以实现从节点出现异常时的主从节点数据同步,通过记录从节点出现故障的时间节点,即第一时间快照;记录从节点故障恢复的时间节点,即第二时间快照,从而可以根据第一时间快照和第二时间快照将在此期间的业务数据从主节点数据库同步到从节点数据库,实现主从节点数据库的数据同步。
可选的,在一个实施例中,所述监测从节点的运行状态可以包括:定时向从节点发送监测报文;若在指定的延迟时间内收到从节点对所述监测报文的回复,则从节点的运行状态为正常;若未在指定的延迟时间内收到从节点对所述监测报文的回复,则从节点的运行状态为异常。在本实施例中,采用了“心跳机制”进行通信在线状态的监测,实现对从节点运行状态的监测,具体可以是定时发送心跳监测报文,如果收信方在规定的延迟时间内对心跳报文进行了回复,则判断心跳正常,亦即网络通信良好。
例如,心跳报文的基本格式可以为:[发信方:收信方:发送时间:回复时间],这一简单信息结构体,若指定延迟时间内无心跳报文回复,则心跳监测失败,表示收信方也即从节点出现问题,运行状态有异。
可选的,上述将所述第一时间快照和所述第二时间快照之间的时间段对应的业务数据从主节点数据库的恢复至从节点数据库可以包括:对所述第一时间快照与所述第二时间快照之间的时间段进行切片,得到多个时间切片;每次恢复一个时间切片对应的主节点数据库的业务数据,直至所有时间切片对应的主节点数据库的业务数据恢复完成。。
在本实施例中,通过上述的心跳机制监测到从节点故障时,主节点为其生成第一时间快照,也即故障快照;从节点故障恢复时,主节点为其生成第二时间快照,也即健康快照,然后进行从节点的数据恢复。为缓解读写压力,主节点可以基于滚动时间窗口法,对故障快照与健康快照之间记录的时间段进行切片,每次恢复一个切片长度的数据量,直至所有时间切片都恢复完成,或者从节点再次发生故障。
在本实施例中,“滚动时间窗口”就是对一个长时间段进行分割,每个分段的时间称为一个“时间切片”。本质上是对一个长时间段的大任务进行分解,每次执行一个时间片的任务,然后转换到下一个时间片,最终执行完全部的时间片,结束任务。
其中,时间片之间的轮转、切换操作称为“滚动”。滚动操作的目的是将外部不可预风险对系统运行的影响缩小至一个较小的、可控时间片内。结合本发明,就是数据恢复过程中若外部网路再次故障,则只需将本时间片的起始时间更新到故障快照中,下次网络回复时,只需从更新后的时间进行数据恢复,之前已恢复的数据不用重新恢复,减小工作量,提高效率。
可选的,上述对所述第一时间快照与所述第二时间快照之间的时间段进行切片,得到多个时间切片可以包括:采用平分法对第一时间快照与第二时间快照之间的时间段进行切片,得到多个时间切片,其中,时间切片的数量为第一时间快照与第二时间快照之间的时间段对应的业务数据条数乘以预设标准条数阈值除以网络延迟率。
在本发明实施例中,可以使用简单的平分法对时间进行切片,例如,切片数可以为[总历史数据条数/5万条]*[1/网络延迟率],其中,网络延迟率等于平均心跳回复时间/规定的延迟时间。
由上可知,本发明应用于主从架构数据库系统,在每次获取到业务数据时,一方面,将本次获取的业务数据存入主节点数据库,另一方面根据监测到的系统状态进行从机写入决策;在从机写入决策的结果为不通过时,将本次获取的业务数据同时记录于预设存储区,并等待下一次从机写入结果;在从机写入决策的结果为通过时,将本次获取的业务数据和记录于预设存储区的业务数据均同步到从节点数据库。本发明一方面引入了基于主节点系统状态的从机写入决策机制,有利于避免从机写入过程影响主节点,另一方面利用预设存储区实现从机的业务数据同步,避免从主节点数据库向从节点数据库进行业务数据的同步时还需要进行数据查询操作,使得同步过程耗时长的问题,保障了较快的数据同步速度。可见,本发明能够实现主从架构数据库系统中主节点和从节点的数据同步,保障了主从架构数据库系统集群服务的鲁棒性。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
以下为本发明的装置实施例,对于其中未详尽描述的细节,可以参考上述对应的方法实施例。
图2示出了本发明实施例提供的业务数据的处理装置的结构示意图,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
主从架构数据库系统可以包括两个或多个节点,每个节点有自己的数据库,两个或多个节点中,包括一个主节点,其它节点为从节点。本发明实施例中的业务数据的处理方法,应用于主从架构数据库系统中的主节点,如图2所示,业务数据的处理装置2包括:数据获取单元21,写入决策单元22、数据缓存单元23和数据同步单元24。
数据获取单元21,用于获取业务数据,并将本次获取的业务数据存入主节点数据库;
写入决策单元22,用于监测系统状态,并根据所述系统状态进行从机写入决策;
数据缓存单元23,用于若从机写入决策的结果为不通过,则将本次获取的业务数据同时记录于预设存储区;
数据同步单元24,用于若从机写入决策的结果为通过,则将本次获取的业务数据和记录于预设存储区的业务数据均同步到从节点数据库。
可选的,所述主节点的系统状态包括系统负载率、网络拥堵率和记录于预设存储区的业务数据的数据容量;
相应的,写入决策单元22具体用于,若所述系统状态满足第一预设条件、第二预设条件和第三预设条件之中的至少一个,则判定从机写入决策通过,否则,判定从机写入决策不通过;
其中,所述第一预设条件包括所述系统负载率小于预设负载率阈值,所述第二预设条件包括所述网络拥堵率小于预设拥堵率阈值,所述第三预设条件包括所述数据容量大于预设数据容量阈值。
可选的,业务数据的处理装置2还可以包括:
缓存数据清除单元,用于在数据同步单元24将记录于预设存储区的业务数据同步到从节点数据库之后,删除记录于预设存储区的业务数据。
可选的,业务数据的处理装置2还可以包括:
从节点监测单元,用于监测从节点的运行状态;
相应的,写入决策单元22具体用于,在从节点的运行状态为正常时,根据所述系统状态进行从机写入决策;在从节点的运行状态为异常时,停止进行从机写入决策。
可选的,业务数据的处理装置2还可以包括:
时间快照生成单元,用于从节点的运行状态为异常时,根据从节点的运行状态为异常的开始时间生成对应该从节点的第一时间快照;以及,在从节点的运行状态由异常恢复为正常时,生成对应该从节点的第二时间快照;
相应的,数据同步单元24还用于,将所述第一时间快照和所述第二时间快照之间的时间段对应的业务数据从主节点数据库的恢复至从节点数据库。
可选的,从节点监测单元具体用于,定时向从节点发送监测报文;若在指定的延迟时间内收到从节点对所述监测报文的回复,则从节点的运行状态为正常;若未在指定的延迟时间内收到从节点对所述监测报文的回复,则从节点的运行状态为异常。
可选的,业务数据的处理装置2还可以包括:
时间切片单元,用于对所述第一时间快照与所述第二时间快照之间的时间段进行切片,得到多个时间切片;
相应的,数据同步单元24具体还用于,每次恢复一个时间切片对应的主节点数据库的业务数据,直至所有时间切片对应的主节点数据库的业务数据恢复完成。
本发明应用于主从架构数据库系统,在每次获取到业务数据时,一方面,将本次获取的业务数据存入主节点数据库,另一方面根据监测到的系统状态进行从机写入决策;在从机写入决策的结果为不通过时,将本次获取的业务数据同时记录于预设存储区,并等待下一次从机写入结果;在从机写入决策的结果为通过时,将本次获取的业务数据和记录于预设存储区的业务数据均同步到从节点数据库。本发明一方面引入了基于主节点系统状态的从机写入决策机制,有利于避免从机写入过程影响主节点,另一方面利用预设存储区实现从机的业务数据同步,避免从主节点数据库向从节点数据库进行业务数据的同步时还需要进行数据查询操作,使得同步过程耗时长的问题,保障了较快的数据同步速度。可见,本发明能够实现主从架构数据库系统中主节点和从节点的数据同步,保障了主从架构数据库系统集群服务的鲁棒性。
图3是本发明一实施例提供的终端的示意图。如图3所示,该实施例的终端3包括:处理器30、存储器31以及存储在所述存储器31中并可在所述处理器30上运行的计算机程序32。所述处理器30执行所述计算机程序32时实现上述各个业务数据的处理方法实施例中的步骤,例如图1所示的步骤101至步骤104。或者,所述处理器30执行所述计算机程序32时实现上述各装置实施例中各模块/单元的功能,例如图2所示单元21至23的功能。
示例性的,所述计算机程序32可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器31中,并由所述处理器30执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序32在所述终端3中的执行过程。例如,所述计算机程序32可以被分割成数据获取单元,写入决策单元和、数据缓存单元和数据同步单元,各单元具体功能如下:
数据获取单元,用于获取业务数据,并将本次获取的业务数据存入主节点数据库;
写入决策单元,用于监测系统状态,并根据所述系统状态进行从机写入决策;
数据缓存单元,用于若从机写入决策的结果为不通过,则将本次获取的业务数据同时记录于预设存储区;
数据同步单元,用于若从机写入决策的结果为通过,则将本次获取的业务数据和记录于预设存储区的业务数据均同步到从节点数据库。
所述终端3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端可包括,但不仅限于,处理器30、存储器31。本领域技术人员可以理解,图3仅仅是终端3的示例,并不构成对终端3的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端还可以包括输入输出设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器31可以是所述终端3的内部存储单元,例如终端3的硬盘或内存。所述存储器31也可以是所述终端3的外部存储设备,例如所述终端3上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器31还可以既包括所述终端3的内部存储单元也包括外部存储设备。所述存储器31用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种业务数据的处理方法,其特征在于,应用于主从架构数据库系统,所述处理方法包括:
获取业务数据,并将本次获取的业务数据存入主节点数据库;
监测系统状态,并根据所述系统状态进行从机写入决策;
若从机写入决策的结果为不通过,则将本次获取的业务数据同时记录于预设存储区;
若从机写入决策的结果为通过,则将本次获取的业务数据和记录于预设存储区的业务数据均同步到从节点数据库。
2.如权利要求1所述的业务数据的处理方法,其特征在于,所述主节点的系统状态包括系统负载率、网络拥堵率和记录于存储区的业务数据的数据容量;
相应的,所述根据所述系统状态进行从机写入决策包括:
若所述系统状态满足第一预设条件、第二预设条件和第三预设条件之中的至少一个,则判定从机写入决策通过,否则,判定从机写入决策不通过;
其中,所述第一预设条件包括所述系统负载率小于预设负载率阈值,所述第二预设条件包括所述网络拥堵率小于预设拥堵率阈值,所述第三预设条件包括所述数据容量大于预设数据容量阈值。
3.如权利要求1或2所述的业务数据的处理方法,其特征在于,在将记录于预设存储区的业务数据同步到从节点数据库之后还包括:
删除记录于预设存储区的业务数据。
4.如权利要求1或2所述的业务数据的处理方法,其特征在于,在所述根据所述系统状态进行从机写入决策之前还包括:
监测从节点的运行状态;
相应的,所述根据所述系统状态进行从机写入决策包括:
在从节点的运行状态为正常时,根据所述系统状态进行从机写入决策;
在从节点的运行状态为异常时,停止进行从机写入决策。
5.如权利要求4所述的业务数据的处理方法,其特征在于,所述处理方法还包括:在从节点的运行状态为异常时,根据从节点的运行状态为异常的开始时间生成对应该从节点的第一时间快照;
在从节点的运行状态由异常恢复为正常时,生成对应该从节点的第二时间快照,并将所述第一时间快照和所述第二时间快照之间的时间段对应的业务数据从主节点数据库的恢复至从节点数据库。
6.如权利要求4所述的业务数据的处理方法,其特征在于,所述监测从节点的运行状态包括:
定时向从节点发送监测报文;
若在指定的延迟时间内收到从节点对所述监测报文的回复,则从节点的运行状态为正常;
若未在指定的延迟时间内收到从节点对所述监测报文的回复,则从节点的运行状态为异常。
7.如权利要求5所述的业务数据的处理方法,其特征在于,所述将所述第一时间快照和所述第二时间快照之间的时间段对应的业务数据从主节点数据库的恢复至从节点数据库包括:
对所述第一时间快照与所述第二时间快照之间的时间段进行切片,得到多个时间切片;
每次恢复一个时间切片对应的主节点数据库的业务数据,直至所有时间切片对应的主节点数据库的业务数据恢复完成。
8.一种业务数据的处理装置,其特征在于,应用于主从架构数据库系统,所述处理装置包括:
数据获取单元,用于获取业务数据,并将本次获取的业务数据存入主节点数据库;
写入决策单元,用于监测系统状态,并根据所述系统状态进行从机写入决策;
数据缓存单元,用于若从机写入决策的结果为不通过,则将本次获取的业务数据同时记录于预设存储区;
数据同步单元,用于若从机写入决策的结果为通过,则将本次获取的业务数据和记录于预设存储区的业务数据均同步到从节点数据库。
9.一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上的权利要求1至7中任一项所述业务数据的处理方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上的权利要求1至7中任一项所述业务数据的处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110482529.1A CN113268395B (zh) | 2021-04-30 | 2021-04-30 | 业务数据的处理方法、处理装置及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110482529.1A CN113268395B (zh) | 2021-04-30 | 2021-04-30 | 业务数据的处理方法、处理装置及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113268395A true CN113268395A (zh) | 2021-08-17 |
CN113268395B CN113268395B (zh) | 2023-08-18 |
Family
ID=77229850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110482529.1A Active CN113268395B (zh) | 2021-04-30 | 2021-04-30 | 业务数据的处理方法、处理装置及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113268395B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024087914A1 (zh) * | 2022-10-24 | 2024-05-02 | 超聚变数字技术有限公司 | 数据同步方法及计算设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106354865A (zh) * | 2016-09-09 | 2017-01-25 | 北京奇虎科技有限公司 | 一种同步主从数据库的方法、装置和系统 |
CN108804523A (zh) * | 2018-04-27 | 2018-11-13 | 腾讯科技(深圳)有限公司 | 数据同步方法、系统及计算机可读存储介质 |
CN108964948A (zh) * | 2017-05-19 | 2018-12-07 | 北京金山云网络技术有限公司 | 主从服务系统、主节点故障恢复方法及装置 |
CN110633046A (zh) * | 2018-06-22 | 2019-12-31 | 北京东土科技股份有限公司 | 一种分布式系统的存储方法、装置、存储设备及存储介质 |
CN111382134A (zh) * | 2018-12-29 | 2020-07-07 | 清华大学 | 大规模分布式存储系统中数据恢复方法及装置 |
CN112653734A (zh) * | 2020-12-11 | 2021-04-13 | 邦彦技术股份有限公司 | 服务器集群实时主从控制和数据同步系统及方法 |
-
2021
- 2021-04-30 CN CN202110482529.1A patent/CN113268395B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106354865A (zh) * | 2016-09-09 | 2017-01-25 | 北京奇虎科技有限公司 | 一种同步主从数据库的方法、装置和系统 |
CN108964948A (zh) * | 2017-05-19 | 2018-12-07 | 北京金山云网络技术有限公司 | 主从服务系统、主节点故障恢复方法及装置 |
CN108804523A (zh) * | 2018-04-27 | 2018-11-13 | 腾讯科技(深圳)有限公司 | 数据同步方法、系统及计算机可读存储介质 |
CN110633046A (zh) * | 2018-06-22 | 2019-12-31 | 北京东土科技股份有限公司 | 一种分布式系统的存储方法、装置、存储设备及存储介质 |
CN111382134A (zh) * | 2018-12-29 | 2020-07-07 | 清华大学 | 大规模分布式存储系统中数据恢复方法及装置 |
CN112653734A (zh) * | 2020-12-11 | 2021-04-13 | 邦彦技术股份有限公司 | 服务器集群实时主从控制和数据同步系统及方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024087914A1 (zh) * | 2022-10-24 | 2024-05-02 | 超聚变数字技术有限公司 | 数据同步方法及计算设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113268395B (zh) | 2023-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11232073B2 (en) | Method and apparatus for file compaction in key-value store system | |
CN111475340A (zh) | 用于创建复制品的方法、装置和计算机程序产品 | |
US10860447B2 (en) | Database cluster architecture based on dual port solid state disk | |
US10157000B2 (en) | Data operation method and device | |
US9037905B2 (en) | Data processing failure recovery method, system and program | |
CN113364877B (zh) | 数据处理方法、装置、电子设备和介质 | |
CN110121694B (zh) | 一种日志管理方法、服务器和数据库系统 | |
CN108228678A (zh) | 一种多副本数据恢复方法及装置 | |
EP3588913A1 (en) | Data caching method and apparatus | |
CN115934414A (zh) | 数据备份方法、数据恢复方法、装置、设备及存储介质 | |
CN113268395B (zh) | 业务数据的处理方法、处理装置及终端 | |
CN111552701A (zh) | 确定分布式集群中数据一致性的方法及分布式数据系统 | |
CN111078418B (zh) | 操作同步方法、装置、电子设备及计算机可读存储介质 | |
CN116701352A (zh) | 一种数据库数据迁移方法及系统 | |
CN116501264A (zh) | 一种数据存储方法、装置、系统、设备及可读存储介质 | |
CN109960602B (zh) | 信息管理方法、装置、设备及介质 | |
CN115348276A (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
CN114168636A (zh) | 基于缓存一致性的数据处理方法、装置、设备及存储介质 | |
CN114564458A (zh) | 集群间数据同步的方法、装置、设备和存储介质 | |
CN111752911A (zh) | 一种基于Flume的数据传输方法、系统、终端及存储介质 | |
CN115629918B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN112363674B (zh) | 一种数据写入方法和装置 | |
CN117395263B (zh) | 一种数据同步方法、装置、设备和存储介质 | |
CN114780299B (zh) | 基于磁盘cbt的bmr备份系统及方法 | |
CN117290442A (zh) | 数据库间的数据同步方法、系统、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |