CN111949641B - 一种多级平台间数据清洗与同步方法及系统 - Google Patents

Abstract

本发明公开了一种多级平台间数据清洗与同步方法及系统，该方法包括：S1、下级平台的数据库发生变更后，触发下级平台的数据清洗服务及数据同步服务；S2、判断下级平台数据是否有脏数据，若无脏数据，则启动数据同步服务；若有脏数据，则对脏数据进行数据清理，再启动数据同步服务；S3、检测下级平台和上级平台的在线状态，若两平台均为正常在线状态，则进行数据同步；S4、将清洗后的下级平台数据传输至上级平台，上级平台将上传的数据写入数据库，完成两级平台间的数据清洗与同步。本发明能确保数据的可靠有效性，避免下级平台脏数据对上级平台影响；利用数据同步补偿机制，降低网络不通，数据同步失败造成的影响，提高数据同步的时效性和准确性。

Description

一种多级平台间数据清洗与同步方法及系统

技术领域

本发明涉及数据同步领域，尤其涉及一种多级平台间数据清洗与同步方法及系统。

背景技术

随着物联网、互联网、大数据、云计算等新兴技术的发展，各领域的安全监测手段逐渐由单一的系统变为多个系统。然而大大增加了人力运维的成本，同时多个系统间是独立运行的，数据无法共享。为解决数据共享问题，多级平台成为目前常用的方案，相较于开放性的云平台，多级平台的每级平台均可以独立运行，有效降低了整个系统瘫痪的风险。但是数据同步为多级平台运行的一个关键难题。

为解决多级平台间的数据同步问题，本发明通过对下级平台数据的清洗，确保数据源真实有效，然后对清洗后的数据同步至上级平台，保障上级平台数据与下级数据的一致性。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种多级平台间数据清洗与同步方法及系统。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种多级平台间数据清洗与同步方法，用于对下级平台和上级平台之间的数据进行清洗与同步，该方法包括以下步骤：

S1、对存储在下级平台的数据增加平台的唯一标识编号，并按照设定的数据字段形式进行存储；下级平台的数据库发生变更后，触发下级平台的数据清洗服务及数据同步服务；

S2、数据清理服务：根据下级平台数据的唯一标识编号，并通过数据各字段及对应权重计算数据的完整有效性值，判断下级平台数据是否有脏数据，若无脏数据，则启动数据同步服务；若有脏数据，则对脏数据进行数据清理，再启动数据同步服务；

S3、数据同步服务：检测下级平台和上级平台的在线状态，若两平台均为正常在线状态，则进行数据同步；

S4、将清洗后的下级平台数据传输至上级平台，上级平台将上传的数据写入数据库，完成两级平台间的数据清洗与同步。

进一步地，本发明的步骤S1的具体方法为：

在下级平台运行过程中，数据库出现新增、删除、修改、查询的变更操作时，触发本级平台的数据清洗和同步服务，该数据同步服务向上级平台发送同步数据请求，数据清洗服务推送清洗指令给本级平台。

进一步地，本发明的步骤S1中按照设定的数据形式进行存储的具体方法为：

对于物联接入的下级平台的数据表字段包含：设备编号、设备位置、设备状态、设备管理部门、设备有效期、设备新增时间、设备编辑时间、设备编辑人；对每个字段进行编号，分别为1，……8，其中编号排序是根据每个字段的重要程度进行编号，所有字段的必要性权重之和为1。

进一步地，本发明的步骤S2的具体方法为：

通过对数据增加平台的唯一标识编号，进行脏数据初步识别，识别出不是来自下级平台的数据作为脏数据；

对于相同唯一标识编号的数据，即同一个设备数据存在多条时，只保留一条有效数据，其具体方法为：

通过利用冒泡比较法对多条相同唯一标识编号的数据进行比较，在多条相同唯一标识编号的数据中根据数据的字段内容找到包含信息最全面的N条数据；使用者根据实际情况定义每个字段必要性权重，在N条数据中根据每个字段的必要性权重，得到每条数据的有效性值，找到有效性值最大的一条数据，该条数据即为有效数据，除有效性值最大的数据外的其它数据均为脏数据；

对脏数据自动执行删除清洗；脏数据还包括信息不完整、操作时间异常的数据；然后将数据库数据进行打包，准备传送至上级平台。

进一步地，本发明的步骤S2中的冒泡比较法具体为：

当上级平台中查找到的相同唯一标识编号的多条数据：Data1、Data2、Data3、……、Datan时，对多条数据进行内容完整性比较；内容完整性比较过程：

用一条数据Datax＝{x1，x2，x3，……，x8}的每个字段，与其它所有条数据Data1，……Datax-1，Datax+1，Datan的每个字段进行比较，获取Datax字段xi与其它所有数据Datay字段yi相同的数量，其中x＝1，……n；i＝1，……，8；y＝1，……，x-1，x+1，……n；定义一条数据的完整性值Numx计算公式为：

Numx＝Nx1+Nx2+……+Nx8

其中，Nx1，……Nx8是Datax中每个字段与其它条数据对应字段内容相同次数，Nxj计算方式为：

其中，j＝1，……，8；y＝1，……，x-1，x+1，……n；com(xi,yj)表示比较两个字段是否相同，相同为1，不相同为0。

进一步地，本发明的步骤S2中有效性值的具体计算过程为：

使用者根据实际情况定义每个字段必要性权重，在N条数据中根据每个字段的必要性权重，得到每条数据的有效性值，找到有效性值最大的一条数据，该条数据即为有效数据，除有效性值最大的数据外的其它数据均为脏数据。

获取每条数据的完整性值Num后，即n条数据的Num，对比n个Num，根据需要，设定阈值N，取其中最大的N条数据作为备选数据；

然后根据自定义的每个字段的必要性权重，针对N个备选数据的每条数据，进行完整有效性值计算，计算方式为：

True＝W1*Nx1+……+W8*Nx8

获取True1，……，TrueN；W1…W8是各字段对应权重，将最大的True对应的一条数据作为完整有效的数据，保留下来，其它数据作为脏数据进行删除。

进一步地，本发明的步骤S3的具体方法为：

S31、同步服务对两级平台的服务器在离线状态、平台的所有服务在离线状态进行获取，当两级平台的服务器状态及所有服务状态均为在线正常工作时，同步服务才能够正常启动；否则同步服务启动失败，提示检测失败的原因；

S32、当下级平台进行修改操作时，上级平台数据库中存在一条数据，其主键与下级平台上传的数据主键一样，用下级平台的数据覆盖上级平台已有的数据；当下级平台进行新增操作时，上级平台中不存在上传的数据时，在上级平台数据库直接新增一条数据；当下级平台进行删除操作时，在上级平台中查找与下级删除数据主键一样的数据，并进行删除。

进一步地，本发明的步骤S4的具体方法为：

上级平台接收到数据同步服务后，开启本级平台的数据同步服务，建立两级平台间数据传输的连接，将下级平台已打包的数据库进行传输，本级平台接收到打包数据后，对本级平台的对应数据库进行重写，重写完成后，即实现两级平台间的数据同步。

本发明提供一种多级平台间数据清洗与同步系统，该系统包括：下级平台、数据清理模块、数据同步模块以及上级平台，其中：

下级平台，用于对存储在下级平台的数据增加平台的唯一标识编号，并按照设定的数据字段形式进行存储；下级平台的数据库发生变更后，触发下级平台的数据清洗服务及数据同步服务；

数据清理模块，用于根据下级平台数据的唯一标识编号，并通过数据各字段及对应权重计算数据的完整有效性值，判断下级平台数据是否有脏数据，若无脏数据，则启动数据同步服务；若有脏数据，则对脏数据进行数据清理，再启动数据同步服务；

数据同步服务，用于检测下级平台和上级平台的在线状态，若两平台均为正常在线状态，则进行数据同步；

上级平台，用于接收清洗后的下级平台数据，上级平台将上传的数据写入数据库，完成两级平台间的数据清洗与同步。

本发明产生的有益效果是：本发明的多级平台间数据清洗与同步方法及系统，通过同步服务建立多级平台数据传输连接，实现多级平台间的数据传输；利用数据清洗服务对下级平台数据进行清洗，确保下级平台数据的可靠有效性，避免下级平台脏数据对上级平台影响；利用数据同步补偿机制，降低网络不通，数据同步失败造成的影响，提高数据同步的时效性和准确性。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的多级平台间的数据清洗与同步方法的框图；

图2时本发明实施例的多级平台间数据清洗与同步方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1、图2所示，本发明实施例的多级平台间数据清洗与同步方法，用于对下级平台和上级平台之间的数据进行清洗与同步，该方法包括以下步骤：

S1、对存储在下级平台的数据增加平台的唯一标识编号，并按照设定的数据字段形式进行存储；下级平台的数据库发生变更后，触发下级平台的数据清洗服务及数据同步服务；

对于物联接入的下级平台的数据表字段包含：设备编号、设备位置、设备状态、设备管理部门、设备有效期、设备新增时间、设备编辑时间、设备编辑人；对每个字段进行编号，分别为1，……8，其中编号排序是根据每个字段的重要程度进行编号，所有字段的必要性权重之和为1；

S2、数据清理服务：根据下级平台数据的唯一标识编号，并通过数据各字段及对应权重计算数据的完整有效性值，判断下级平台数据是否有脏数据，若无脏数据，则启动数据同步服务；若有脏数据，则对脏数据进行数据清理，再启动数据同步服务；

步骤S2的具体方法为：

通过对数据增加平台的唯一标识编号，进行脏数据初步识别，识别出不是来自下级平台的数据作为脏数据；

对于相同唯一标识编号的数据，即同一个设备数据存在多条时，只保留一条有效数据，其具体方法为：

通过利用冒泡比较法对多条相同唯一标识编号的数据进行比较，在多条相同唯一标识编号的数据中根据数据的字段内容找到包含信息最全面的N条数据；使用者根据实际情况定义每个字段必要性权重，在N条数据中根据每个字段的必要性权重，得到每条数据的有效性值，找到有效性值最大的一条数据，该条数据即为有效数据，除有效性值最大的数据外的其它数据均为脏数据；

对脏数据自动执行删除清洗；脏数据还包括信息不完整、操作时间异常的数据；然后将数据库数据进行打包，准备传送至上级平台。

步骤S2中的冒泡比较法具体为：

当上级平台中查找到的相同唯一标识编号的多条数据：Data1、Data2、Data3、……、Datan时，对多条数据进行内容完整性比较；内容完整性比较过程：

用一条数据Datax＝{x1，x2，x3，……，x8}的每个字段，与其它所有条数据Data1，……Datax-1，Datax+1，Datan的每个字段进行比较，获取Datax字段xi与其它所有数据Datay字段yi相同的数量，其中x＝1，……n；i＝1，……，8；y＝1，……，x-1，x+1，……n；定义一条数据的完整性值Numx计算公式为：

Numx＝Nx1+Nx2+……+Nx8

其中，Nx1，……Nx8是Datax中每个字段与其它条数据对应字段内容相同次数，Nxj计算方式为：

其中，j＝1，……，8；y＝1，……，x-1，x+1，……n；com(xi,yj)表示比较两个字段是否相同，相同为1，不相同为0。

有效性值的具体计算过程为：

使用者根据实际情况定义每个字段必要性权重，在N条数据中根据每个字段的必要性权重，得到每条数据的有效性值，找到有效性值最大的一条数据，该条数据即为有效数据，除有效性值最大的数据外的其它数据均为脏数据。

获取每条数据的完整性值Num后，即n条数据的Num，对比n个Num，根据需要，设定阈值N，取其中最大的N条数据作为备选数据；

然后根据自定义的每个字段的必要性权重，针对N个备选数据的每条数据，进行完整有效性值计算，计算方式为：

True＝W1*Nx1+……+W8*Nx8

获取True1，……，TrueN；W1…W8是各字段对应权重，将最大的True对应的一条数据作为完整有效的数据，保留下来，其它数据作为脏数据进行删除。

S3、数据同步服务：检测下级平台和上级平台的在线状态，若两平台均为正常在线状态，则进行数据同步；

S31、同步服务对两级平台的服务器在离线状态、平台的所有服务在离线状态进行获取，当两级平台的服务器状态及所有服务状态均为在线正常工作时，同步服务才能够正常启动；否则同步服务启动失败，提示检测失败的原因；

S32、当下级平台进行修改操作时，上级平台数据库中存在一条数据，其主键与下级平台上传的数据主键一样，用下级平台的数据覆盖上级平台已有的数据；当下级平台进行新增操作时，上级平台中不存在上传的数据时，在上级平台数据库直接新增一条数据；当下级平台进行删除操作时，在上级平台中查找与下级删除数据主键一样的数据，并进行删除。

S4、将清洗后的下级平台数据传输至上级平台，上级平台将上传的数据写入数据库，完成两级平台间的数据清洗与同步。

上级平台接收到数据同步服务后，开启本级平台的数据同步服务，建立两级平台间数据传输的连接，将下级平台已打包的数据库进行传输，本级平台接收到打包数据后，对本级平台的对应数据库进行重写，重写完成后，即实现两级平台间的数据同步。

本发明实施例的多级平台间数据清洗与同步系统，该系统包括：下级平台、数据清理模块、数据同步模块以及上级平台，其中：

下级平台，用于对存储在下级平台的数据增加平台的唯一标识编号，并按照设定的数据字段形式进行存储；下级平台的数据库发生变更后，触发下级平台的数据清洗服务及数据同步服务；

数据清理模块，用于根据下级平台数据的唯一标识编号，并通过数据各字段及对应权重计算数据的完整有效性值，判断下级平台数据是否有脏数据，若无脏数据，则启动数据同步服务；若有脏数据，则对脏数据进行数据清理，再启动数据同步服务；

数据同步服务，用于检测下级平台和上级平台的在线状态，若两平台均为正常在线状态，则进行数据同步；

上级平台，用于接收清洗后的下级平台数据，上级平台将上传的数据写入数据库，完成两级平台间的数据清洗与同步。

在下级平台模块中，在平台运行过程中，用户开展日常工作时，数据库会出现新增、删除、修改、查询等变化。当下级平台数据库出现变化时，触发本级平台的同步服务，该数据同步服务向上级平台发送同步数据请求。

在清洗模块，本级平台接收到数据清洗指令后，对数据库中数据进行“排外”清洗，将出现的异常数据，比如信息不完整、操作时间异常等数据进行自动删除清洗。然后将数据库数据进行打包，准备传送至上级平台。数据清洗原则为清洗掉不属于本平台的数据，在多级平台系统中，每个平台均有唯一标识的平台ID号，当本平台的数据库中出现其他平台ID对应的数据时，即为本平台的脏数据，也是需要清洗掉的数据。因此当检测到不属于该平台ID的脏数据时，对脏数据自动执行删除清洗。

在同步模块，有上、下级平台的同步服务，当两级间的同步服务均启动的情况下，数据同步才会执行。同步服务对两级平台的服务器在离线状态、平台的所有服务在离线状态进行获取，当服务器状态及所有服务状态均为在线正常工作时，同步服务才能够正常启动；否则同步服务启动失败，提示检测失败的原因。比如，当下级平台的三维GIS服务挂掉后，此时上、下级平台的同步服务状态均为失败，在后台日志中提示“下级平台的三维GIS服务不在线”。其中数据同步方法的策略如下：当下级平台进行修改操作时，上级平台数据库中存在一条数据，其主键与下级平台上传的数据主键一样，用下级平台的数据覆盖上级平台已有的数据；当下级平台进行新增操作时，上级平台中不存在上传的数据时，在上级平台数据库直接新增一条数据；当下级平台进行删除操作时，在上级平台中查找与下级删除数据主键一样的数据，并进行删除。

上级平台接收到数据同步服务后，开启本级平台的数据同步服务，建立两级平台间数据传输的连接，将下级平台已打包的数据库进行传输，本级平台接收到打包数据后，对本级平台的对应数据库进行重写，重写完成后，即实现两级平台间的数据同步。

以上过程均是自动执行，为了确保数据一致可靠性，本发明提供数据清洗和同步工具以及同步补偿机制。在数据清洗和同步工具中，用户通过软件界面进行勾选数据类型，实现选择性清洗和同步，针对部分需要的特殊数据进行手动同步；同步补偿服务检测到4个小时内，没有进行同步，会自动进行一次多级平台间的同步。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种多级平台间数据清洗与同步方法，其特征在于，用于对下级平台和上级平台之间的数据进行清洗与同步，该方法包括以下步骤：

S1、对存储在下级平台的数据增加平台的唯一标识编号，并按照设定的数据字段形式进行存储；下级平台的数据库发生变更后，触发下级平台的数据清洗服务及数据同步服务；

S2、数据清理服务：根据下级平台数据的唯一标识编号，并通过数据各字段及对应必要性权重计算数据的完整有效性值，判断下级平台数据是否有脏数据，若无脏数据，则启动数据同步服务；若有脏数据，则对脏数据进行数据清理，再启动数据同步服务；

S3、数据同步服务：检测下级平台和上级平台的在线状态，若两平台均为正常在线状态，则进行数据同步；

S4、将清洗后的下级平台数据传输至上级平台，上级平台将上传的数据写入数据库，完成两级平台间的数据清洗与同步；

步骤S1中按照设定的数据形式进行存储的具体方法为：

对于物联接入的下级平台的数据表字段包含：设备编号、设备位置、设备状态、设备管理部门、设备有效期、设备新增时间、设备编辑时间、设备编辑人；对每个字段进行编号，分别为1，……8，其中编号排序是根据每个字段的重要程度进行编号，所有字段的必要性权重之和为1；

步骤S2的具体方法为：

通过对数据增加平台的唯一标识编号，进行脏数据初步识别，识别出不是来自下级平台的数据作为脏数据；

对于相同唯一标识编号的数据，即同一个设备数据存在多条时，只保留一条有效数据，其具体方法为：

通过利用冒泡比较法对多条相同唯一标识编号的数据进行比较，在多条相同唯一标识编号的数据中根据每个字段与其它条数据对应字段内容的相同次数找到包含信息最全面的N条数据；使用者根据实际情况定义每个字段必要性权重，在N条数据中根据每个字段的必要性权重，以及每个字段与其它条数据对应字段内容的相同次数，得到每条数据的完整有效性值，找到完整有效性值最大的一条数据，该条数据即为有效数据，除完整有效性值最大的数据外的其它数据均为脏数据；

对脏数据自动执行删除清洗；脏数据还包括信息不完整、操作时间异常的数据；然后将数据库数据进行打包，准备传送至上级平台。

2.根据权利要求1所述的多级平台间数据清洗与同步方法，其特征在于，步骤S1的具体方法为：

在下级平台运行过程中，数据库出现新增、删除、修改、查询的变更操作时，触发本级平台的数据清洗和同步服务，该数据同步服务向上级平台发送同步数据请求，数据清洗服务推送清洗指令给本级平台。

3.根据权利要求1所述的多级平台间数据清洗与同步方法，其特征在于，步骤S2中的冒泡比较法具体为：

当上级平台中查找到的相同唯一标识编号的多条数据：Data1、Data2、Data3、……、Datan时，对多条数据进行内容完整性比较；内容完整性比较过程：

用一条数据Datax={x1，x2，x3，……，x8}的每个字段，与其它所有条数据Data1，……Datax-1，Datax+1，Datan的每个字段进行比较，获取Datax字段xi与其它所有数据Datay字段yi相同的数量，其中x=1，……n；i=1，……，8；y=1，……，x-1，x+1，……n；定义一条数据的完整性值Numx计算公式为：

Numx=Nx1+Nx2+……+Nx8

其中，Nx1，……Nx8是Datax中每个字段与其它条数据对应字段内容相同次数，Nxj计算方式为：

其中，j=1，……，8；y=1，……，x-1，x+1，……n；com（xi,yj）表示比较两个字段是否相同，相同为1，不相同为0。

4.根据权利要求3所述的多级平台间数据清洗与同步方法，其特征在于，步骤S2中完整有效性值的具体计算过程为：

获取每条数据的完整性值Numx后，即n条数据的Numx，对比n个Numx，根据需要，设定阈值N，取其中最大的N条数据作为备选数据；

然后根据自定义的每个字段的必要性权重，针对N个备选数据的每条数据，进行完整有效性值计算，计算方式为：

获取

，……，/>

；W1…W8是各字段对应的必要性权重，将最大的1对应的一条数据作为完整有效的数据，保留下来，其它数据作为脏数据进行删除。

5.根据权利要求1所述的多级平台间数据清洗与同步方法，其特征在于，步骤S3的具体方法为：

S31、通过同步服务获取两级平台的服务器的在离线状态、平台的所有服务的在离线状态，当两级平台的服务器状态及所有服务状态均为在线正常工作时，同步服务才能够正常启动；否则同步服务启动失败，提示检测失败的原因；

S32、当下级平台进行修改操作时，上级平台数据库中存在一条数据，其主键与下级平台上传的数据主键一样，用下级平台的数据覆盖上级平台已有的数据；当下级平台进行新增操作时，上级平台中不存在上传的数据时，在上级平台数据库直接新增一条数据；当下级平台进行删除操作时，在上级平台中查找与下级删除数据主键一样的数据，并进行删除。

6.根据权利要求1所述的多级平台间数据清洗与同步方法，其特征在于，步骤S4的具体方法为：

上级平台接收到数据同步服务后，开启本级平台的数据同步服务，建立两级平台间数据传输的连接，将下级平台已打包的数据库进行传输，本级平台接收到打包数据后，对本级平台的对应数据库进行重写，重写完成后，即实现两级平台间的数据同步。

7.一种多级平台间数据清洗与同步系统，其特征在于，该系统包括：下级平台、数据清理模块、数据同步模块以及上级平台，其中：

下级平台，用于对存储在下级平台的数据增加平台的唯一标识编号，并按照设定的数据字段形式进行存储；下级平台的数据库发生变更后，触发下级平台的数据清洗服务及数据同步服务；按照设定的数据形式进行存储的具体方法为：

对于物联接入的下级平台的数据表字段包含：设备编号、设备位置、设备状态、设备管理部门、设备有效期、设备新增时间、设备编辑时间、设备编辑人；对每个字段进行编号，分别为1，……8，其中编号排序是根据每个字段的重要程度进行编号，所有字段的必要性权重之和为1；

数据清理模块，用于根据下级平台数据的唯一标识编号，并通过数据各字段及对应必要性权重计算数据的完整有效性值，判断下级平台数据是否有脏数据，若无脏数据，则启动数据同步服务；若有脏数据，则对脏数据进行数据清理，再启动数据同步服务；具体方法为：

通过对数据增加平台的唯一标识编号，进行脏数据初步识别，识别出不是来自下级平台的数据作为脏数据；

对于相同唯一标识编号的数据，即同一个设备数据存在多条时，只保留一条有效数据，其具体方法为：

通过利用冒泡比较法对多条相同唯一标识编号的数据进行比较，在多条相同唯一标识编号的数据中根据每个字段与其它条数据对应字段内容的相同次数找到包含信息最全面的N条数据；使用者根据实际情况定义每个字段必要性权重，在N条数据中根据每个字段的必要性权重，以及每个字段与其它条数据对应字段内容的相同次数，得到每条数据的完整有效性值，找到完整有效性值最大的一条数据，该条数据即为有效数据，除完整有效性值最大的数据外的其它数据均为脏数据；

对脏数据自动执行删除清洗；脏数据还包括信息不完整、操作时间异常的数据；然后将数据库数据进行打包，准备传送至上级平台；

数据同步服务，用于检测下级平台和上级平台的在线状态，若两平台均为正常在线状态，则进行数据同步；

上级平台，用于接收清洗后的下级平台数据，上级平台将上传的数据写入数据库，完成两级平台间的数据清洗与同步。

Images