CN116662451A - 数据同步的处理方法、装置、计算机设备及存储介质 - Google Patents
数据同步的处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN116662451A CN116662451A CN202310729425.5A CN202310729425A CN116662451A CN 116662451 A CN116662451 A CN 116662451A CN 202310729425 A CN202310729425 A CN 202310729425A CN 116662451 A CN116662451 A CN 116662451A
- Authority
- CN
- China
- Prior art keywords
- time
- data
- data synchronization
- target data
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 22
- 230000002159 abnormal effect Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Hardware Redundancy (AREA)
Abstract
本公开涉及大数据处理技术领域,具体公开了一种数据同步的处理方法、装置、计算机设备及存储介质,所述方法包括:定时启动数据同步任务,并确定第一时间标识;向云端发送数据同步请求,并确定第二时间标识;接收所述云端返回的目标数据,并将所述目标数据进行入库操作;在所述目标数据的入库操作成功的情况下,更新所述第一时间标识的值为所述第二时间标识的值。本公开通过第一时间标识记录最近一次成功执行数据同步任务的时间,避免了直接记录最近一次执行数据同步任务的时间由于入库操作失败造成的数据丢失,减少了终端断电、断网等故障造成的数据同步不稳定甚至失败的风险,同时提高了获取目标数据的准确性,进而提高了数据同步的准确性。
Description
技术领域
本公开涉及大数据处理技术领域,特别是涉及一种数据同步的处理方法、装置、计算机设备及存储介质。
背景技术
随着大数据时代的到来,云端数据同步成为一种新的数据管理方式。云端因其数据传输便捷高效的特点,以及可以实现数据扩展、备份以及保障数据安全性等优势,在各种应用场景下得到深入利用。例如云端可以存储数据,终端设备在需要从云端获取数据时可以通过发送数据同步请求获取数据。
在相关技术中,在实现从云端获取数据同步至终端设备时,往往存在因终端设备异常掉线导致数据同步缺失或失败的风险。
发明内容
基于此,有必要针对上述技术问题,提供一种数据同步的处理方法、装置、计算机设备、存储介质和计算机程序产品。
第一方面,本公开提供了一种数据同步的处理方法。所述方法包括:
定时启动数据同步任务,并确定第一时间标识,所述第一时间标识用于记录最近一次成功执行数据同步任务的时间;
向云端发送数据同步请求,并确定第二时间标识;所述数据同步请求至少包括所述第一时间标识,所述数据同步请求用于指示所述云端根据所述第一时间标识返回目标数据;所述第二时间标识用于记录执行当前数据同步任务的时间;
接收所述云端返回的目标数据,并将所述目标数据进行入库操作;
在所述目标数据的入库操作成功的情况下,更新所述第一时间标识的值为所述第二时间标识的值。
在其中一个实施例中,所述第一时间标识用于记录最近一次执行数据同步任务时发送数据同步请求的时间;所述第二时间标识用于记录执行当前数据同步任务时发送数据同步请求的时间。
在其中一个实施例中,所述数据同步请求用于指示所述云端根据所述第一时间标识返回目标数据包括:
在所述第一时间标识为空的情况下,所述数据同步请求用于指示所述云端返回全量数据;在所述第一时间标识不为空的情况下,所述数据同步请求用于指示所述云端返回增量数据;所述增量数据包括所述第一时间标识到所述云端接收到所述数据同步请求的当前时间范围内的新增数据。
在其中一个实施例中,所述方法还包括:
在所述目标数据的入库操作失败的情况下,维持所述第一时间标识的值。
在其中一个实施例中,所述方法还包括:
判断所述目标数据的入库操作是否成功;
所述判断所述目标数据的入库操作是否成功包括:
监测所述入库操作过程中的网络状态和数据端口状态;
在根据所述网络状态和所述数据端口状态确定发生异常事件的情况下,判断所述目标数据的入库操作失败。
在其中一个实施例中,所述方法还包括:
判断所述目标数据的入库操作是否成功;
所述判断所述目标数据的入库操作是否成功包括:
监听入库完成通知,所述入库完成通知用于通知所述入库操作完成;
在预设时间范围内未接收到所述入库完成通知的情况下,判断所述目标数据的入库操作失败。
第二方面,本公开还提供了一种数据同步的处理装置。所述装置包括:
任务启动模块,用于定时启动数据同步任务,并确定第一时间标识,所述第一时间标识用于记录最近一次成功执行数据同步任务的时间;
同步请求模块,用于向云端发送数据同步请求,并确定第二时间标识;所述数据同步请求至少包括所述第一时间标识,所述数据同步请求用于指示所述云端根据所述第一时间标识返回目标数据;所述第二时间标识用于记录执行当前数据同步任务的时间;
数据入库模块,用于接收所述云端返回的目标数据,并将所述目标数据进行入库操作;
第一时间标识更新模块,用于在所述目标数据的入库操作成功的情况下,更新所述第一时间标识的值为所述第二时间标识的值。
在其中一个实施例中,所述第一时间标识用于记录最近一次执行数据同步任务时发送数据同步请求的时间;所述第二时间标识用于记录执行当前数据同步任务时发送数据同步请求的时间。
在其中一个实施例中,所述数据同步请求用于指示所述云端根据所述第一时间标识返回目标数据包括:
在所述第一时间标识为空的情况下,所述数据同步请求用于指示所述云端返回全量数据;在所述第一时间标识不为空的情况下,所述数据同步请求用于指示所述云端返回增量数据;所述增量数据包括所述第一时间标识到所述云端接收到所述数据同步请求的当前时间范围内的新增数据。
在其中一个实施例中,所述装置还包括:
第一时间标识维持模块,在所述目标数据的入库操作失败的情况下,维持所述第一时间标识的值。
在其中一个实施例中,所述装置还包括:
判断模块,用于判断所述目标数据的入库操作是否成功;所述判断模块包括:
状态监测单元,用于监测所述入库操作过程中的网络状态和数据端口状态;
异常事件单元,用于在根据所述网络状态和所述数据端口状态确定发生异常事件的情况下,判断所述目标数据的入库操作失败。
在其中一个实施例中,所述装置还包括:
判断模块,用于判断所述目标数据的入库操作是否成功;所述判断模块包括:
通知监听单元,用于监听入库完成通知,所述入库完成通知用于通知所述入库操作完成;
时间范围单元,用于在预设时间范围内未接收到所述入库完成通知的情况下,判断所述目标数据的入库操作失败。
第三方面,本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述数据同步的处理方法的步骤。
第四方面,本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述数据同步的处理方法的步骤。
第五方面,本公开还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述数据同步的处理方法的步骤。
上述数据同步的处理方法、装置、计算机设备、存储介质和计算机程序产品,至少包括以下有益效果:
本公开通过第一时间标识记录最近一次成功执行数据同步任务的时间,避免了直接记录最近一次执行数据同步任务的时间由于入库操作失败造成的数据丢失,减少了终端断电、断网等故障造成的数据同步不稳定甚至失败的风险;同时通过记录第二时间标识,实现对第一时间标识的更新,保障第一时间标识的准确性和时效性,同时提高了获取目标数据的准确性,进而提高了数据同步的准确性。
附图说明
为了更清楚地说明本公开实施例或传统技术中的技术方案,下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中数据同步的处理方法的应用环境图;
图2为一个实施例中数据同步的处理方法的流程示意图;
图3为另一个实施例中数据同步的处理方法的流程示意图;
图4为又一个实施例中数据同步的处理方法的流程示意图;
图5为一个实施例中判断入库操作失败步骤的流程示意图;
图6为另一个实施例中判断入库操作失败步骤的流程示意图;
图7为又一个实施例中数据同步的处理方法的流程示意图;
图8为一个实施例中数据同步的处理装置的结构框图;
图9为另一个实施例中数据同步的处理装置的结构框图;
图10为一个实施例中判断模块的结构框图;
图11为另一个实施例中判断模块的结构框图;
图12为一个实施例中计算机设备的内部结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
除非另有定义,本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中在本公开的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本公开。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下,并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。例如若使用到第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
在此使用时,单数形式的“一”、“一个”和“所述/该”也可以包括复数形式,除非上下文清楚指出另外的方式。还应当理解的是,术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在,但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。同时,在本说明书中,术语“和/或”包括相关所列项目的任何及所有组合。
本公开实施例提供的数据同步的处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与云端服务器104进行通信。数据存储系统可以存储终端102需要处理的数据。数据存储系统可以集成在终端102上,也可以放在云上或其他网络服务器上。云端服务器104存储有大量数据,终端102可以向云端服务器104发送数据同步请求,并接收云端服务器104基于数据同步请求返回的数据,终端102可以将返回的数据存入本地数据库中。
其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等,还可以是各种业务设备,例如人脸识别设备,交易终端设备等。云端服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在本公开的一些实施例中,如图2所示,提供了一种数据同步的处理方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
步骤210,定时启动数据同步任务,并确定第一时间标识,所述第一时间标识用于记录最近一次成功执行数据同步任务的时间。
示例性地,终端可以按照预设的时间间隔,定时触发启动数据同步任务。终端在启动数据同步任务后,可以查询获得第一时间标识。第一时间标识可以记录最近一次成功执行数据同步任务的时间,即已成功执行的且距离本次数据同步任务在时间线上最近的一次执行数据同步任务的时间。
步骤230,向云端发送数据同步请求,并确定第二时间标识;所述数据同步请求至少包括所述第一时间标识,所述数据同步请求用于指示所述云端根据所述第一时间标识返回目标数据;所述第二时间标识用于记录执行当前数据同步任务的时间。
示例性地,终端在确定第一时间标识后,向云端发送数据同步请求,在该数据同步请求中携带有确定的第一时间标识。数据同步请求用于指示所述云端根据所述第一时间标识返回目标数据。同时,终端确定第二时间标识,第二时间标识可以记录执行当前数据同步任务的时间。例如,终端可以用启动本次数据同步任务的时间作为第二时间标识,还可以在确定第一时间标识后以终端的当前时间作为第二时间标识,或者以发送数据同步请求的时间作为第二时间标识。
步骤250,接收所述云端返回的目标数据,并将所述目标数据进行入库操作。
示例性地,终端在接收到远端返回的目标数据后,可以同步或异步将目标数据进行入库操作,例如将目标数据存储至终端的本地数据库中。
步骤270,在所述目标数据的入库操作成功的情况下,更新所述第一时间标识的值为所述第二时间标识的值。
示例性地,终端在完成目标数据的入库操作且判断目标数据的入库操作成功的情况下,将当前第二时间标识的值赋值给第一时间标识,用以实现第一时间标识的更新。
其中,入库操作成功通常是指接收到的目标数据全部存入数据库中,未发生终端由于掉电、断网或其他故障造成的目标数据丢失等异常事件。终端在确定目标数据的入库操作成功后,更新第一时间标识,避免因入库操作失败造成的数据丢失。
上述数据同步的处理方法中,通过第一时间标识记录最近一次成功执行数据同步任务的时间,避免了直接记录最近一次执行数据同步任务的时间由于入库操作失败造成的数据丢失,减少了终端断电、断网等故障造成的数据同步不稳定甚至失败的风险;同时通过记录第二时间标识,实现对第一时间标识的更新,保障第一时间标识的准确性和时效性,同时提高了获取目标数据的准确性,进而提高了数据同步的准确性。
在本公开的一些实施例中,所述第一时间标识用于记录最近一次执行数据同步任务时发送数据同步请求的时间;所述第二时间标识用于记录执行当前数据同步任务时发送数据同步请求的时间。
示例性地,终端以发送数据同步请求的时间来表征执行数据同步任务的时间,即记录最近一次执行数据同步任务时发送数据同步请求的时间作为第一时间标识,记录执行当前数据同步任务时发送数据同步请求的时间作为第二时间标识。
本实施例以发送数据同步请求的时间来表征执行数据同步任务的时间,用于更为准确的衡量每次执行数据同步任务的时间。
在本公开的一些实施例中,数据同步请求用于指示所述云端根据所述第一时间标识返回目标数据包括:
在所述第一时间标识为空的情况下,所述数据同步请求用于指示所述云端返回全量数据;在所述第一时间标识不为空的情况下,所述数据同步请求用于指示所述云端返回增量数据;所述增量数据包括所述第一时间标识到所述云端接收到所述数据同步请求的当前时间范围内的新增数据。
其中,第一时间标识可以为空或者记录有具体的时间。例如,若终端为首次执行数据同步任务,则第一时间标识默认为空。若终端并非首次执行数据同步任务,且在执行本次数据同步任务之前,终端具有执行数据同步任务成功的记录,则第一时间标识为最近一次成功执行数据同步任务的时间。
示例性地,终端在查询确定第一时间标识为空的情况下,发送的数据同步请求中的第一时间标识的信息页为空,则该数据同步请求用于指示云端返回全量数据。其中,全量数据通常是指云端所存储的全部时间范围的数据。
终端在查询确定第一时间标识不为空的情况下,即第一时间标识为最近一次成功执行数据同步任务的时间,发送的数据同步请求中的第一时间标识的信息为具体的时间,则该数据同步请求用于指示云端返回增量数据。其中,增量数据通常包括第一时间标识到云端接收到该数据同步请求的当前时间范围内的新增数据。
本实施例通过在数据同步请求携带第一时间标识,指示云端根据数据同步请求返回第一时间标识对应的目标数据,适用于各种场景下的数据同步要求,提高了数据同步的灵活性和准确性。
在本公开的一些实施例中,如图3所示,所述方法还包括:
步骤290,在所述目标数据的入库操作失败的情况下,维持所述第一时间标识的值。
示例性地,终端在进行目标数据的入库操作的过程中,存在发生断电、断网等异常事件的概率,导致目标数据的入库操作失败。终端在判断目标数据的入库操作失败的情况下,维持第一时间标识的值。
本实施例通过在确定目标数据的入库操作失败的情况下,维持第一时间标识的值,确保第一时间标识始终记录最近一次成功执行数据同步任务的时间,保证第一时间标识的准确性和时效性。
在本公开的一些实施例中,如图4所示,所述方法还包括:
步骤260,判断所述目标数据的入库操作是否成功。
示例性地,终端可以判断目标数据的入库操作是否成功,从而可以根据判断结果更新第一时间标识或者维持第一时间标识。
如图5所示,步骤260包括:
步骤2612,监测所述入库操作过程中的网络状态和数据端口状态。
示例性地,终端可以在入库操作中实时监测网络状态和数据端口状态,其中网络状态可以包括流量走向、网络速度等信息。数据端口状态可以包括接收功率、端口工作状态、是否中断、是否阻塞等信息。
步骤2614,在根据所述网络状态和所述数据端口状态确定发生异常事件的情况下,判断所述目标数据的入库操作失败。
示例性地,终端可以根据监听得到的网络状态和所述数据端口状态判断是否发生了异常事件,异常事件可以包括且不仅包括断电、断网等事件。在终端确定入库操作过程中发生了异常事件的情况下,可以确定目标数据的入库操作失败。可选地,在终端确定入库操作过程中未发生了异常事件,且完成入库操作的情况下,可以确定目标数据的入库操作成功。
本实施例通过实时监测入库操作过程中的网络状态和数据端口状态,及时判断是否发生了异常事件,从而判断入库操作是否成功,可以在终端发生异常事件时确定入库操作的成功与否,从而有效保障了数据同步的稳定性,避免因异常事件造成数据缺失。
在本公开的一些实施例中,如图4所示,所述方法还包括:
步骤260,判断所述目标数据的入库操作是否成功。如图6所示,步骤260包括:
步骤2622,监听入库完成通知,所述入库完成通知用于通知所述入库操作完成。
示例性地,终端在执行入库操作的过程中,始终监听入库完成通知。其中,入库完成通知可以在将目标数据的最后一条数据存入终端的数据库后触发,用于通知入库操作完成。入库完成通知可以由终端识别到目标数据的最后一条数据存入终端的数据库时主动发送,或者由数据库存入目标数据的最后一条数据后发送。
步骤2624,在预设时间范围内未接收到所述入库完成通知的情况下,判断所述目标数据的入库操作失败。
示例性地,终端在预设的时间范围内未接收到所述入库完成通知的情况下,可以确定目标数据的入库操作失败。例如,终端可以从开始执行目标数据的入库操作开始计时,在预设的时间范围内终端未监听到入库完成通知,可以判断目标数据的入库操作失败;在预设的时间范围内终端监听到入库完成通知,可以判断目标数据的入库操作成功。
本实施例通过入库完成通知机制,使得终端可以通过在预设的时间范围内是否收到入库完成通知进行入库操作是否成功的判断,可以在终端发生异常事件时确定入库操作的成功与否,从而有效保障了数据同步的稳定性,避免因异常事件造成数据缺失。
在本公开的一些实施例中,如图7所示,所述方法包括:
步骤702,定时启动数据同步任务。
步骤704,确定第一时间标识。
步骤706,记录执行当前数据同步任务的时间为第二时间标识。
步骤708,向云端发送携带第一时间标识的数据同步请求。
其中,数据同步请求用于指示云端判断第一时间标识是否为空,在第一时间标识为空的情况下,返回全量数据;在第一时间标识不为空的情况下,返回第一时间标识至当前时间的增量数据,并指示云端返回对应的目标数据。
步骤710,接收云端返回的目标数据。
步骤712,将目标数据进行入库操作。
步骤714,判断目标数据的入库操作是否成功。终端在判断目标数据的入库操作成功的情况下,执行步骤716。在终端在判断目标数据的入库操作失败的情况下,触发重新执行本次数据同步任务,即重新执行步骤704。
步骤716,更新第一时间标识的值为第二时间标识的值,并结束本次数据同步任务。
本实施例通过第一时间标识记录最近一次成功执行数据同步任务的时间,避免了直接记录最近一次执行数据同步任务的时间由于入库操作失败造成的数据丢失,减少了终端断电、断网等故障造成的数据同步不稳定甚至失败的风险;同时通过记录第二时间标识,实现对第一时间标识的更新,保障第一时间标识的准确性和时效性,同时提高了获取目标数据的准确性,进而提高了数据同步的准确性。
例如,终端在执行数据同步任务时,确定第一时间标识为A,没有记录第二时间标识。云端在收到数据同步请求的当前时间为B,则云端返回了时间范围为A~B的目标数据。终端收到目标数据后,进行入库操作,入库操作完成的当前时间为C,终端更新第一时间标识为C。则,终端在后续执行数据同步任务时丢失了时间范围为B~C的数据。
又例如,终端在执行数据同步任务时,确定第一时间标识为A,并记录第二时间标识为D。云端在收到数据同步请求的当前时间为B,则云端返回了时间范围为A~B的目标数据。终端收到目标数据后,即刻更新第一时间标识为D并进行入库操作。若终端在入库操作过程中发生异常事件导致入库操作失败,则终端在后续执行数据同步任务时丢失了时间范围为A~B的数据。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本公开实施例还提供了一种用于实现上述所涉及的数据同步的处理方法的数据同步的处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个数据同步的处理装置实施例中的具体限定可以参见上文中对于数据同步的处理方法的限定,在此不再赘述。
在本公开的一些实施例中,如图8所示,提供了一种数据同步的处理装置。所述装置800包括:
任务启动模块810,用于定时启动数据同步任务,并确定第一时间标识,所述第一时间标识用于记录最近一次成功执行数据同步任务的时间;
同步请求模块820,用于向云端发送数据同步请求,并确定第二时间标识;所述数据同步请求至少包括所述第一时间标识,所述数据同步请求用于指示所述云端根据所述第一时间标识返回目标数据;所述第二时间标识用于记录执行当前数据同步任务的时间;
数据入库模块830,用于接收所述云端返回的目标数据,并将所述目标数据进行入库操作;
第一时间标识更新模块840,用于在所述目标数据的入库操作成功的情况下,更新所述第一时间标识的值为所述第二时间标识的值。
在本公开的一些实施例中,所述第一时间标识用于记录最近一次执行数据同步任务时发送数据同步请求的时间;所述第二时间标识用于记录执行当前数据同步任务时发送数据同步请求的时间。
在本公开的一些实施例中,所述数据同步请求用于指示所述云端根据所述第一时间标识返回目标数据包括:
在所述第一时间标识为空的情况下,所述数据同步请求用于指示所述云端返回全量数据;在所述第一时间标识不为空的情况下,所述数据同步请求用于指示所述云端返回增量数据;所述增量数据包括所述第一时间标识到所述云端接收到所述数据同步请求的当前时间范围内的新增数据。
在本公开的一些实施例中,如图9所示,所述装置800还包括:
第一时间标识维持模块850,在所述目标数据的入库操作失败的情况下,维持所述第一时间标识的值。
在本公开的一些实施例中,如图10所示,所述装置还包括:
判断模块860,用于判断所述目标数据的入库操作是否成功;所述判断模块包括:
状态监测单元8612,用于监测所述入库操作过程中的网络状态和数据端口状态;
异常事件单元8614,用于在根据所述网络状态和所述数据端口状态确定发生异常事件的情况下,判断所述目标数据的入库操作失败。
在本公开的一些实施例中,如图11所示,所述装置还包括:
判断模块860,用于判断所述目标数据的入库操作是否成功;所述判断模块包括:
通知监听单元8622,用于监听入库完成通知,所述入库完成通知用于通知所述入库操作完成;
时间范围单元8624,用于在预设时间范围内未接收到所述入库完成通知的情况下,判断所述目标数据的入库操作失败。
上述数据同步的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。需要说明的是,本公开实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
基于前述数据同步的处理方法的实施例描述,在本公开提供的另一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据同步的处理方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
基于前述数据同步的处理方法的实施例描述,在本公开提供的另一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例中的步骤。
基于前述数据同步的处理方法的实施例描述,在本公开提供的另一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
在本说明书的描述中,参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性描述不一定指的是相同的实施例或示例。
可以理解的是,本说明书中上述方法的各个实施例均采用递进的方式描述,各个实施例之间相同/相似的部分互相参见即可,每个实施例重点说明的都是与其它实施例的不同之处。相关之处参见其他方法实施例的描述说明即可。
上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本公开的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本公开构思的前提下,还可以做出若干变形和改进,这些都属于本公开的保护范围。因此,本公开专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据同步的处理方法,其特征在于,所述方法包括:
定时启动数据同步任务,并确定第一时间标识,所述第一时间标识用于记录最近一次成功执行数据同步任务的时间;
向云端发送数据同步请求,并确定第二时间标识;所述数据同步请求至少包括所述第一时间标识,所述数据同步请求用于指示所述云端根据所述第一时间标识返回目标数据;所述第二时间标识用于记录执行当前数据同步任务的时间;
接收所述云端返回的目标数据,并将所述目标数据进行入库操作;
在所述目标数据的入库操作成功的情况下,更新所述第一时间标识的值为所述第二时间标识的值。
2.根据权利要求1所述的方法,其特征在于,所述第一时间标识用于记录最近一次执行数据同步任务时发送数据同步请求的时间;所述第二时间标识用于记录执行当前数据同步任务时发送数据同步请求的时间。
3.根据权利要求1所述的方法,其特征在于,所述数据同步请求用于指示所述云端根据所述第一时间标识返回目标数据包括:
在所述第一时间标识为空的情况下,所述数据同步请求用于指示所述云端返回全量数据;在所述第一时间标识不为空的情况下,所述数据同步请求用于指示所述云端返回增量数据;所述增量数据包括所述第一时间标识到所述云端接收到所述数据同步请求的当前时间范围内的新增数据。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述目标数据的入库操作失败的情况下,维持所述第一时间标识的值。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
判断所述目标数据的入库操作是否成功;
所述判断所述目标数据的入库操作是否成功包括:
监测所述入库操作过程中的网络状态和数据端口状态;
在根据所述网络状态和所述数据端口状态确定发生异常事件的情况下,判断所述目标数据的入库操作失败。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
判断所述目标数据的入库操作是否成功;
所述判断所述目标数据的入库操作是否成功包括:
监听入库完成通知,所述入库完成通知用于通知所述入库操作完成;
在预设时间范围内未接收到所述入库完成通知的情况下,判断所述目标数据的入库操作失败。
7.一种数据同步的处理装置,其特征在于,所述装置包括:
任务启动模块,用于定时启动数据同步任务,并确定第一时间标识,所述第一时间标识用于记录最近一次成功执行数据同步任务的时间;
同步请求模块,用于向云端发送数据同步请求,并确定第二时间标识;所述数据同步请求至少包括所述第一时间标识,所述数据同步请求用于指示所述云端根据所述第一时间标识返回目标数据;所述第二时间标识用于记录执行当前数据同步任务的时间;
数据入库模块,用于接收所述云端返回的目标数据,并将所述目标数据进行入库操作;
第一时间标识更新模块,用于在所述目标数据的入库操作成功的情况下,更新所述第一时间标识的值为所述第二时间标识的值。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310729425.5A CN116662451A (zh) | 2023-06-19 | 2023-06-19 | 数据同步的处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310729425.5A CN116662451A (zh) | 2023-06-19 | 2023-06-19 | 数据同步的处理方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116662451A true CN116662451A (zh) | 2023-08-29 |
Family
ID=87709632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310729425.5A Pending CN116662451A (zh) | 2023-06-19 | 2023-06-19 | 数据同步的处理方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116662451A (zh) |
-
2023
- 2023-06-19 CN CN202310729425.5A patent/CN116662451A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110968585B (zh) | 面向列的存储方法、装置、设备及计算机可读存储介质 | |
CN115480987A (zh) | 链路数据展示方法、装置和计算机设备 | |
CN116339626A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN110018986B (zh) | 异常快照识别方法及装置 | |
CN116662451A (zh) | 数据同步的处理方法、装置、计算机设备及存储介质 | |
US8725966B2 (en) | Generation and update of storage groups constructed from storage devices distributed in storage subsystems | |
CN114924911B (zh) | Windows操作系统有效数据备份方法、装置、设备和存储介质 | |
CN116071123A (zh) | 商品数据处理方法、系统、电子设备及存储介质 | |
CN116755934A (zh) | 快照点的启动方法、装置、设备、存储介质和程序产品 | |
CN116319647A (zh) | 信息通知、信息处理方法、装置、计算机设备和存储介质 | |
CN116541145A (zh) | 数据调用方法、装置、计算机设备和计算机存储介质 | |
CN114510492A (zh) | 业务数据处理方法、装置、计算机设备和存储介质 | |
CN118276977A (zh) | 应用程序的程序功能启用方法、装置和计算机设备 | |
CN116521448A (zh) | 数据恢复方法、装置、计算机设备及计算机可读存储介质 | |
CN117635065A (zh) | 报表处理故障解决方法、装置、计算机设备、存储介质 | |
CN114185659A (zh) | 一种任务恢复方法、装置、电子设备及存储介质 | |
CN117557951A (zh) | 电网异常事件监控方法、装置、计算机设备和存储介质 | |
CN117648336A (zh) | 数据查询方法、装置、计算机设备和存储介质 | |
CN115190015A (zh) | 软负载系统配置方法、装置、计算机设备和存储介质 | |
CN117149589A (zh) | 业务系统的资源管理方法、装置、设备、存储介质和产品 | |
CN115878280A (zh) | 调度任务执行方法、装置、计算机设备、存储介质和程序产品 | |
CN113132428A (zh) | 信息推送的方法、系统、设备、计算机设备和存储介质 | |
CN114138196A (zh) | 电力系统数据存储方法、装置、计算机设备和存储介质 | |
CN117349320A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN118069474A (zh) | 磁盘可视化管理方法、装置、计算机设备、介质和产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |