CN106777272A - 一种数据比对及同步方法 - Google Patents

Abstract

本发明公开了一种数据比对及同步方法，包括以下步骤：S1、确定源表和目的表的字段及字段类型一致，确定源表和目的表都有能确定唯一性的字段或组合字段；S2、将源表和目的表根据主键id从小到大进行排序；S3、进行快速比对；S4、进行数据同步：根据步骤S3的标记执行删除、新增和更新操作。本发明能够快速实现数据比对、快速对多个录入数据进行一致性校验，避免出现传统录入方式中由于人工失误性操作、接口异常和系统bug等诸多问题导致的数据录入不准确的问题，保证录入数据的准确性，提高数据对比的对比效率和准确度，便于对数据进行统一管理。

Description

一种数据比对及同步方法

技术领域

本发明属于数据处理技术领域，特别涉及一种数据比对及同步方法。

背景技术

目前，在互联网众多行业中，为保准录入数据的准确性，需要对多个录入数据进行一致性校验。但同时存在人工失误性操作，接口异常，及系统bug等诸多问题，会影响数据对比的对比效率和准确度，缺乏统一的管理功能，对后期数据的使用造成极大的影响。

发明内容

本发明的目的在于克服现有技术的不足，提供一种能够快速实现数据比对、快速对多个录入数据进行一致性校验，提高数据对比的对比效率和准确度，便于对数据进行统一管理的数据比对及同步方法。

本发明的目的是通过以下技术方案来实现的：一种数据比对及同步方法，包括以下步骤：

S1、确定源表和目的表的字段及字段类型是否一致，确定源表和目的表都有能确定唯一性的字段或组合字段；若源表和目的表的字段类型一致且都有能确定唯一性的字段或者组合字段则进行下一步，否则无法进行数据比对及同步，结束操作；

S2、将源表和目的表根据主键id从小到大进行排序；

S3、进行快速比对，包括以下子步骤：

S31、取源表和目的表的最小主键id；

S32、比较源表和目的表的主键id是否相同，若相同则执行步骤S33，否则执行步骤S34；

S33、比较源表和目的表主键id指向的内容项是否相同，若相同则对目的表进行相同标记，否则对目的表进行更新标记；然后执行步骤S35；

S34、比较源表和目的表的主键id的大小：

若源表的主键id大则对目的表进行删除标记，并取目的表下一条主键id继续进行比对，若目的表下一条主键id存在则返回步骤S32，否则对目的表进行新增标记，

若目的表的主键id大则对目的表进行新增标记，并取源表下一条主键id继续进行比对，若源表下一条主键id存在则返回步骤S32，否则对目的表进行删除标记；

S35、源表和目的表均取下一个主键id进行比对，若下一个主键id存在则返回步骤S32，否则执行步骤S4；

S4、进行数据同步：根据步骤S3的标记执行删除、新增和更新操作。

本发明的有益效果是：能够快速实现数据比对、快速对多个录入数据进行一致性校验，避免出现传统录入方式中由于人工失误性操作、接口异常和系统bug等诸多问题导致的数据录入不准确的问题，保证录入数据的准确性，提高数据对比的对比效率和准确度，便于对数据进行统一管理。

附图说明

图1为本发明的数据比对及同步方法的流程图；

图2为本发明实施例的数据比对过程示意图。

具体实施方式

下面结合附图和具体实施例进一步说明本发明的技术方案。

如图1所示，一种数据比对及同步方法，包括以下步骤：

S1、S1、确定源表和目的表的字段及字段类型是否一致，确定源表和目的表都有能确定唯一性的字段或组合字段；若源表和目的表的字段类型一致且都有能确定唯一性的字段或者组合字段则进行下一步，否则无法进行数据比对及同步，结束操作；

本实施例采用的源表和目的表结构分别如表一至表三所示。

表一源表和目的表的结构

字段英文名称	字段中文名	字段类型	是否主键
				id	id	int	是
name	名称	Varchar(100)
				age	年龄	int

表二源表数据

id	name	age
			5	张三	50
2	李四	60
			4	王五	30

表三目的表数据

id	name	age
			1	张三	20
2	李四	60
			9	王五	30

S2、将源表和目的表根据主键id从小到大进行排序；得到源表的数据如表四所示，目的表的数据如表五所示。

表四

id	name	age
			2	李四	60
4	王五	30
			5	张三	50

表五

id	name	age
			1	张三	20
2	李四	60
			9	王五	30

S3、进行快速比对，包括以下子步骤：

S31、取源表和目的表的最小主键id；

S32、比较源表和目的表的主键id是否相同，若相同则执行步骤S33，否则执行步骤S34；

S33、比较源表和目的表主键id指向的内容项是否相同，若相同则对目的表进行相同标记，否则对目的表进行更新标记；然后执行步骤S35；

S34、比较源表和目的表的主键id的大小：

若源表的主键id大则对目的表进行删除标记，并取目的表下一条主键id继续进行比对，若目的表下一条主键id存在则返回步骤S32，否则对目的表进行新增标记，

若目的表的主键id大则对目的表进行新增标记，并取源表下一条主键id继续进行比对，若源表下一条主键id存在则返回步骤S32，否则对目的表进行删除标记；

S35、源表和目的表均取下一个主键id进行比对，若下一个主键id存在则返回步骤S32，否则执行步骤S4；

比对过程如图2所示，首先源表的2和目的表的1进行比对，这时目的表的id为1，应该执行删除标记；

根据大小的比较，目的表取下一条数据，源表的2和目的表的2进行比对，发现相等，然后再比较主键id指向的内容项是否相同，发现字段的数据都一样，执行相同标记。

源表在往下移动到id等于4，目的表移动到id等于9，4小于9，那么对目的表执行添加标记。

同时源表往下移动到id等于5，5小于9，那么对目的表执行添加标记。

源表没有数据了，目的表剩余9，那么对目的表进行删除标记。

S4、进行数据同步：根据步骤S3的标记执行删除、新增和更新操作。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (1)

1.一种数据比对及同步方法，其特征在于，包括以下步骤：

S1、确定源表和目的表的字段及字段类型是否一致，确定源表和目的表都有能确定唯一性的字段或组合字段；若源表和目的表的字段类型一致且都有能确定唯一性的字段或者组合字段则进行下一步，否则无法进行数据比对及同步，结束操作；

S2、将源表和目的表根据主键id从小到大进行排序；

S3、进行快速比对，包括以下子步骤：

S31、取源表和目的表的最小主键id；

S32、比较源表和目的表的主键id是否相同，若相同则执行步骤S33，否则执行步骤S34；

S33、比较源表和目的表主键id指向的内容项是否相同，若相同则对目的表进行相同标记，否则对目的表进行更新标记；然后执行步骤S35；

S34、比较源表和目的表的主键id的大小：

若源表的主键id大则对目的表进行删除标记，并取目的表下一条主键id继续进行比对，若目的表下一条主键id存在则返回步骤S32，否则对目的表进行新增标记，

若目的表的主键id大则对目的表进行新增标记，并取源表下一条主键id继续进行比对，若源表下一条主键id存在则返回步骤S32，否则对目的表进行删除标记；

S35、源表和目的表均取下一个主键id进行比对，若下一个主键id存在则返回步骤S32，否则执行步骤S4；

S4、进行数据同步：根据步骤S3的标记执行删除、新增和更新操作。