CN101895568A - 一种同步数据清理的方法和系统 - Google Patents

一种同步数据清理的方法和系统 Download PDF

Info

Publication number
CN101895568A
CN101895568A CN2010102101935A CN201010210193A CN101895568A CN 101895568 A CN101895568 A CN 101895568A CN 2010102101935 A CN2010102101935 A CN 2010102101935A CN 201010210193 A CN201010210193 A CN 201010210193A CN 101895568 A CN101895568 A CN 101895568A
Authority
CN
China
Prior art keywords
data
base table
base
successful
synchronous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010102101935A
Other languages
English (en)
Other versions
CN101895568B (zh
Inventor
郑洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhongxing Software Co Ltd
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201010210193.5A priority Critical patent/CN101895568B/zh
Publication of CN101895568A publication Critical patent/CN101895568A/zh
Priority to PCT/CN2011/076095 priority patent/WO2011160582A1/zh
Application granted granted Critical
Publication of CN101895568B publication Critical patent/CN101895568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Abstract

本发明公开了一种同步数据清理的方法和系统，方法包括步骤：中心节点发送同步消息给边缘节点，进行数据同步；中心节点收到边缘节点返回的同步响应消息后，判断是否同步成功，如果成功则判断返回的同步消息对应的数据表类型，如果是扩展表，则进一步判断所述扩展表是否同时是基表，如果所述扩展表同时是基表，则累加该基表对应的成功表个数；如果所述扩展表不是基表，则修改任务驱动表的时间戳，并删除扩展表中需要清理的数据；判断基表对应的扩展表是否全部同步成功，如果全部更新成功，则修改基表对应同步任务驱动表的时间戳，删除基表中需要清理的数据并记录基表同步成功。本发明可以比较好的解决同步数据清理的问题。

Description

一种同步数据清理的方法和系统
技术领域
本发明属于分布式视频监控技术领域，具体涉及一种同步数据清理的方法和系统。
背景技术
随着信息技术和网络技术的飞速发展，分布式数据库和分布式信息系统得到越来越广泛的应用，各个分布数据库和应用系统间的数据同步问题也随之凸显。分布式数据库领域中，中心节点数据库记录了所有的节点的信息，配置信息通过中心节点下发至边缘节点，边缘节点提供数据的查询操作。
分布式视频监控系统中心数据库表组织方式如下：
数据表
基表(数据，nodeid，updatetime，syncflag)
扩展表(数据，基表外键，updatetime，syncflag)
控制表
节点表(nodeid，IP，PORT，数据)
任务驱动表(nodeid，表名，updatetime，lastsynctime)
映射表
中心与节点表名映射(中心表名，节点表名，数据获取语句扩展)
扩展表与基表映射(扩展表名，基表名)
基表的数据有双重特性，本身基表信息，以及用于扩展表获取数据归属信息。当基表数据需要删除时，首先需要将其的变化情况同步到节点并在流程结束时清理管理中心表，其次这些基表数据不能立即删除，因为它们要用来关联其扩展表，找出扩展表的待删除数据的下发节点。
考虑到系统压力及业务中断不能过长，同步数据生成、文件传输、边缘节点数据库处理文件需要以流水线形式运作，以减少总体处理时间。所以，同步模块需要采用异步方式获取同步数据，并发进行文件传输，所以基础表和扩展表的返回顺序是不可控的。
基于以上两点，同步模块在处理删除数据的时候需要谨慎，需要确保基表的删除不能影响到扩展表的数据获取。
现有技术方案一般是通过移表操作，将基表所有待删除数据放至另一张表中处理，这样同步可以从正常表中获取正常数据，到待删除数据表中获取待删除数据。缺点是业务处理复杂性比较高，同步模块需要从多张表获取数据，增加获取数据的复杂度。待删除数据不删除，通过外部方式定时删除。缺点是数据一致性无法保证。删除所有同步过时间点的记录。系统反应速度比较慢。把同一次的同步作为原子操作，该次同步所有同步都成功，才一次性进行删除，该方法在遇到异常的情况，会造成系统巨大压力。
发明内容
本发明要解决的主要技术问题是提供一种同步数据清理的方法和系统。
为解决上述技术问题，本发明提供一种同步数据清理的方法，包括步骤：
中心节点发送同步消息给边缘节点，进行数据同步；
中心节点收到边缘节点返回的同步响应消息后，判断是否同步成功，如果成功则判断返回的同步消息对应的数据表类型，如果是扩展表，则进一步判断所述扩展表是否同时是基表，如果所述扩展表同时是基表，则累加该基表对应的成功表个数；如果所述扩展表不是基表，则修改任务驱动表的时间戳，删除扩展表中需要清理的数据；
判断基表对应的扩展表是否全部同步成功，如果全部更新成功，则修改基表对应同步任务驱动表的时间戳，删除基表中需要清理的数据并记录基表同步成功。
优选的，所述判断基表对应的扩展表是否全部同步成功具体包括步骤：判断会话中基表对应的成功表总数与会话需要同步表的个数是否相等，如果相等则全部更新成功，修改基表对应同步任务驱动表的时间戳，删除基表中需要清理的数据。
进一步，数据同步之前还包括设置定时器，扫描任务驱动表判断是否需要进行同步的步骤。
进一步，记录基表同步成功后还包括步骤：判断会话中所有数据表是否同步完成，如果是则清除会话。
一种同步数据清理的系统，包括中心节点和边缘节点，其中：
中心节点用于发送同步消息给边缘节点，进行数据同步；以及中心节点收到边缘节点返回的同步响应消息后，判断是否同步成功，如果成功则判断返回的同步消息对应的数据表类型，如果是扩展表，则进一步判断所述扩展表是否同时是基表，如果所述扩展表同时是基表，则累加该基表对应的成功表个数；如果所述扩展表不是基表，则修改任务驱动表的时间戳，删除扩展表中需要清理的数据；判断基表对应的扩展表是否全部同步成功，如果全部更新成功，则修改基表对应同步任务驱动表的时间戳，删除基表中需要清理的数据并记录基表同步成功。
优选的，所述中心节点判断基表对应的扩展表是否全部同步成功具体为：判断会话中基表对应的成功表个数与会话需要同步表的个数是否相等，如果相等则删除基表中需要清理的数据。
进一步，所述中心节点还用于设置定时器，扫描任务驱动表，判断是否需要进行同步。
进一步，所述中心节点还用于判断会话中所有数据表是否同步完成，如果是则清除会话。
本发明的有益效果是：与现有技术相比，本发明通过先等待扩展表处理完成后再进行基表的数据清理，这样既不需要增加表，增加数据获取难度，也不会增加系统额外负担，可以比较好的解决同步数据清理的问题。
附图说明
图1为分布式系统结构示意图；
图2为本发明实施例提供的一种同步数据清理方法流程图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。
请参阅图1所示，图1为分布式系统结构示意图，包括中心节点和边缘节点，中心节点包括业务处理模块、中心数据库和中心同步模块，边缘节点包括业务处理模块、节点数据库和同步模块。外部通过业务处理模块对中心数据库进行修改，增加、修改，删除数据库数据。
中心节点从中心数据库映射关系表中获取表间映射关系，构造映射关系，用于表示表间的层次关系，中心节点与边缘节点表名间映射关系；获取节点信息，用于快速与节点交互；中心节点设置定时器，用于同步模块扫描任务驱动表，触发同步。中心节点同步模块扫描任务驱动表，发现updatetime＞＝lastsynctime记录，则触发同步流程。获取对应节点ID，对应表名。按节点分别构造会话信息，根据获取的表名，到数据库中获取对应的数据信息(updatetime＞＝lastsynctime的记录)，会话中记录本次会话同步的表的信息。中心节点获取数据写入文件通过文件传输系统发送至节点，文件传输模块返回发送成功，发送消息给边缘节点同步模块处理。
中心节点收到边缘节点返回的同步响应消息后，判断是否同步成功，如果成功则判断返回的同步消息对应的数据表类型，如果是扩展表，则进一步判断所述扩展表是否同时是基表，如果所述扩展表同时是基表，则累加该基表对应的成功表个数；如果所述扩展表不是基表，则修改任务驱动表的时间戳，并删除扩展表中需要清理的数据；
进一步，中心节点判断基表对应的扩展表是否全部同步成功，如果全部更新成功，则修改基表对应同步任务驱动表的时间戳，删除基表中需要清理的数据并记录基表同步成功。
所述中心节点判断基表对应扩展表是否全部同步成功具体为：判断会话中基表对应的成功表个数与会话需要同步表的个数是否相等，如果相等则删除基表中需要清理的数据。
所述中心节点还用于设置定时器，扫描任务驱动表，判断是否需要进行同步。
所述中心节点还用于判断会话中所有数据表是否同步完成，如果是则清除会话。
如图2所示，根据上述系统本实施例提供了一种同步数据清理的方法，包括以下步骤：
S201：中心节点和边缘节点进行数据同步；
S202：中心节点获取到节点返回的同步响应消息。
S203：判断是同步成功，如果同步失败，则会话中记录该表同步失败，如果成功则进入步骤S204。
S204：更新任务驱动表时间戳，表示该时间点前的该表数据已同步至边缘节点，判断返回的同步消息对应的数据表是否基表，如果否，则进入步骤S205。如果是，则进入步骤S206。
S205：继续判断返回的同步消息对应的数据表是否同时是基表，如果是，则进入步骤S206，如果否，则进入步骤207。
S206：在会话中记录该基表对应的成功表个数。
S207：清理扩展表数据，在会话中记录该扩展表同步成功。
S208：判断基表对应扩展表是否全部同步成功，如果是，则进入步骤S209。
S209：进行基表数据清理，并记录基表同步成功。
S210：判断会话中记录是否所有数据表同步成功，如果是，则进入步骤S211。
S211：清除会话，完成该次同步。
采用本发明实施例的技术方案，等待扩展表处理完成后再进行基表的数据清理，这样既不需要增加表，增加数据获取难度，也不会增加系统额外负担，可以比较好的解决同步数据清理的问题。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种同步数据清理的方法，其特征在于，包括步骤：
中心节点发送同步消息给边缘节点，进行数据同步；
中心节点收到边缘节点返回的同步响应消息后，判断是否同步成功，如果成功则判断返回的同步消息对应的数据表类型，如果是扩展表，则进一步判断所述扩展表是否同时是基表，如果所述扩展表同时是基表，则累加该基表对应的成功表个数；如果所述扩展表不是基表，则修改任务驱动表的时间戳，并删除扩展表中需要清理的数据；
判断基表对应的扩展表是否全部同步成功，如果全部更新成功，则修改基表对应同步任务驱动表的时间戳，删除基表中需要清理的数据并记录基表同步成功。
2.如权利要求1所述的方法，其特征在于，所述判断基表对应的扩展表是否全部同步成功具体包括步骤：判断会话中基表对应的成功表总数与会话需要同步表的个数是否相等，如果相等则全部更新成功，修改基表对应同步任务驱动表的时间戳，删除基表中需要清理的数据。
3.如权利要求1所述的方法，其特征在于，数据同步之前还包括设置定时器，扫描任务驱动表判断是否需要进行同步的步骤。
4.如权利要求1所述的方法，其特征在于，记录基表同步成功后还包括步骤：判断会话中所有数据表是否同步完成，如果是则清除会话。
5.一种同步数据清理的系统，其特征在于，包括中心节点和边缘节点，其中：
中心节点用于发送同步消息给边缘节点，进行数据同步；以及中心节点收到边缘节点返回的同步响应消息后，判断是否同步成功，如果成功则判断返回的同步消息对应的数据表类型，如果是扩展表，则进一步判断所述扩展表是否同时是基表，如果所述扩展表同时是基表，则累加该基表对应的成功表个数；如果所述扩展表不是基表，则修改任务驱动表的时间戳，并删除扩展表中需要清理的数据；判断基表对应的扩展表是否全部同步成功，如果全部更新成功，则修改基表对应同步任务驱动表的时间戳，删除基表中需要清理的数据并记录基表同步成功。
6.如权利要求5所述的系统，其特征在于，所述中心节点判断基表对应的扩展表是否全部同步成功具体为：判断会话中基表对应的成功表个数与会话需要同步表的个数是否相等，如果相等则删除基表中需要清理的数据。
7.如权利要求5所述的系统，其特征在于，所述中心节点还用于设置定时器，扫描任务驱动表，判断是否需要进行同步。
8.如权利要求5所述的系统，其特征在于，所述中心节点还用于判断会话中所有数据表是否同步完成，如果是则清除会话。
CN201010210193.5A 2010-06-25 2010-06-25 一种同步数据清理的方法和系统 Active CN101895568B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201010210193.5A CN101895568B (zh) 2010-06-25 2010-06-25 一种同步数据清理的方法和系统
PCT/CN2011/076095 WO2011160582A1 (zh) 2010-06-25 2011-06-22 一种同步数据清理的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010210193.5A CN101895568B (zh) 2010-06-25 2010-06-25 一种同步数据清理的方法和系统

Publications (2)

Publication Number Publication Date
CN101895568A true CN101895568A (zh) 2010-11-24
CN101895568B CN101895568B (zh) 2014-03-12

Family

ID=43104633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010210193.5A Active CN101895568B (zh) 2010-06-25 2010-06-25 一种同步数据清理的方法和系统

Country Status (2)

Country Link
CN (1) CN101895568B (zh)
WO (1) WO2011160582A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011160582A1 (zh) * 2010-06-25 2011-12-29 中兴通讯股份有限公司 一种同步数据清理的方法和系统
CN102387213A (zh) * 2011-10-25 2012-03-21 中兴通讯股份有限公司 数据同步方法及装置
CN107797896A (zh) * 2017-06-16 2018-03-13 平安科技（深圳）有限公司 一种流量数据自恢复处理方法和服务器
CN110245164A (zh) * 2019-05-09 2019-09-17 阿里巴巴集团控股有限公司 一种数据回流检测方法、装置及设备
CN110322241A (zh) * 2019-05-23 2019-10-11 口碑(上海)信息技术有限公司 跨域电子凭证据同步方法、装置、存储介质及计算机设备
US20190318268A1 (en) * 2018-04-13 2019-10-17 International Business Machines Corporation Distributed machine learning at edge nodes
CN111865638A (zh) * 2019-04-30 2020-10-30 中兴通讯股份有限公司 一种业务配置的实现方法、装置和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002007441A (ja) * 2000-06-26 2002-01-11 Hitachi Software Eng Co Ltd 分散データベースシステム
CN101051929A (zh) * 2006-04-05 2007-10-10 中兴通讯股份有限公司 一种数据网络终端间的数据同步方法
US20100153423A1 (en) * 2008-12-12 2010-06-17 Microsoft Corporation Batch data synchronization with foreign key constraints

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100444554C (zh) * 2005-11-01 2008-12-17 中兴通讯股份有限公司 一种降低远程网络监控资源消耗的方法
CN101242302A (zh) * 2008-03-12 2008-08-13 华为技术有限公司 一种数据同步的方法、设备及系统
CN101753609B (zh) * 2008-12-15 2012-09-19 中国移动通信集团公司 分布式系统版本控制方法、节点及系统
CN101895568B (zh) * 2010-06-25 2014-03-12 中兴通讯股份有限公司 一种同步数据清理的方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002007441A (ja) * 2000-06-26 2002-01-11 Hitachi Software Eng Co Ltd 分散データベースシステム
CN101051929A (zh) * 2006-04-05 2007-10-10 中兴通讯股份有限公司 一种数据网络终端间的数据同步方法
US20100153423A1 (en) * 2008-12-12 2010-06-17 Microsoft Corporation Batch data synchronization with foreign key constraints

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011160582A1 (zh) * 2010-06-25 2011-12-29 中兴通讯股份有限公司 一种同步数据清理的方法和系统
CN102387213A (zh) * 2011-10-25 2012-03-21 中兴通讯股份有限公司 数据同步方法及装置
CN107797896A (zh) * 2017-06-16 2018-03-13 平安科技（深圳）有限公司 一种流量数据自恢复处理方法和服务器
CN107797896B (zh) * 2017-06-16 2019-05-07 平安科技（深圳）有限公司 一种流量数据自恢复处理方法和服务器
US20190318268A1 (en) * 2018-04-13 2019-10-17 International Business Machines Corporation Distributed machine learning at edge nodes
US11836576B2 (en) * 2018-04-13 2023-12-05 International Business Machines Corporation Distributed machine learning at edge nodes
CN111865638A (zh) * 2019-04-30 2020-10-30 中兴通讯股份有限公司 一种业务配置的实现方法、装置和设备
CN111865638B (zh) * 2019-04-30 2023-02-28 中兴通讯股份有限公司 一种业务配置的实现方法、装置和设备
CN110245164A (zh) * 2019-05-09 2019-09-17 阿里巴巴集团控股有限公司 一种数据回流检测方法、装置及设备
CN110322241A (zh) * 2019-05-23 2019-10-11 口碑(上海)信息技术有限公司 跨域电子凭证据同步方法、装置、存储介质及计算机设备

Also Published As

Publication number Publication date
WO2011160582A1 (zh) 2011-12-29
CN101895568B (zh) 2014-03-12

Similar Documents

Publication Publication Date Title
CN101895568B (zh) 一种同步数据清理的方法和系统
CN103338243B (zh) Web节点的缓存数据更新方法和系统
CN103842969B (zh) 信息处理系统
WO2018113580A1 (zh) 一种数据管理方法及服务器
CN103379159B (zh) 一种分布式Web站点数据同步的方法
TW201140450A (en) Continuous optimization of archive management scheduling by use of integrated content-resource analytic model
WO2021103403A1 (zh) 区块链交易信息管理方法、装置、计算机设备及存储介质
CN107315760A (zh) 用于连续图更新和计算的平台
CN104317957B (zh) 一种报表处理的开放平台、系统及报表处理方法
CN103716397B (zh) 一种面向服务仿真时钟推进方法
CN109947729B (zh) 一种实时数据分析方法及装置
JP2016521427A (ja) ピアツーピアデータ複製用の方法、デバイス、およびシステム、ならびにマスタノード切替え用の方法、デバイス、およびシステム
CN103607418B (zh) 基于云服务数据特征的大规模数据分割系统及分割方法
CN109977170A (zh) 一种政务内外网数据同步的方法及系统
WO2019153506A1 (zh) 公积金转移方法、计算机可读存储介质、终端设备及装置
CN108345617A (zh) 一种数据同步方法、装置以及电子设备
KR20180061493A (ko) 데이터베이스 이중화 무중단 정합성 복구 기법
CN102137167B (zh) 不间断运行的虚拟机迁移方法及装置
CN101789963A (zh) 数据同步系统
CN107409086A (zh) 通过多个邮箱在通信应用中进行海量数据管理
CN106657360A (zh) 一种Linux系统下NIS服务器的同步方法和系统
CN101833585A (zh) 数据库服务器操作控制系统、方法及设备
CN109635161B (zh) 一种海量数据环境下跨域异地协同设计方法
CN106850354A (zh) 一种单点故障的处理方法及装置
CN103117883B (zh) 一种分组设备运行状态同步方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200729

Address after: 210012 Nanjing, Yuhuatai District, South Street, Bauhinia Road, No. 68

Patentee after: Nanjing Zhongxing New Software Co.,Ltd.

Address before: 518057 Zhongxing building, science and technology south road, Nanshan District Science Park, Guangdong, Shenzhen

Patentee before: ZTE Corp.