CN103825930A - 一种分布式环境下的实时数据同步方法 - Google Patents

一种分布式环境下的实时数据同步方法 Download PDF

Info

Publication number
CN103825930A
CN103825930A CN201310561924.4A CN201310561924A CN103825930A CN 103825930 A CN103825930 A CN 103825930A CN 201310561924 A CN201310561924 A CN 201310561924A CN 103825930 A CN103825930 A CN 103825930A
Authority
CN
China
Prior art keywords
data
center
time
storehouse
real time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310561924.4A
Other languages
English (en)
Other versions
CN103825930B (zh
Inventor
丁伯良
邱超
金辉明
张子健
王志鹏
胡斌
胡嘉锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Hydrological Management Center
ZHEJIANG SUCCESSFUL SOFTWARE DEVELOPMENT Co.,Ltd.
Original Assignee
ZHEJIANG SUCCESS SOFTWARE DEVELOPMENT Co Ltd
Zhejiang Hydrology Bureau
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHEJIANG SUCCESS SOFTWARE DEVELOPMENT Co Ltd, Zhejiang Hydrology Bureau filed Critical ZHEJIANG SUCCESS SOFTWARE DEVELOPMENT Co Ltd
Priority to CN201310561924.4A priority Critical patent/CN103825930B/zh
Publication of CN103825930A publication Critical patent/CN103825930A/zh
Application granted granted Critical
Publication of CN103825930B publication Critical patent/CN103825930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式环境下的实时数据同步方法,该方法首先建立分中心实时数据中心和总中心实时数据中心,采集数据实时交换进入数据中心,按配置存入数据中心的融合库、落选库;然后同步总中心和分中心的数据,在同步过程中,分中心负责发起同步操作及维护历次同步操作间的增量一致性,总中心负责响应分中心发起的同步及按照配置完成同步过程;应用本发明的方法,可有效解决分布环境下各部门实时数据不一致导致的冲突及业务无法运作等问题,同时该方法可以提高数据同步的准确性及效率。

Description

一种分布式环境下的实时数据同步方法
技术领域
本发明涉及数据同步技术领域,尤其涉及一种分布式环境下的实时数据同步方法。 
背景技术
对于目前现存的数据采集系统,数据到数据库中的过程存在许多问题,比如在水文领域,通过遥测站采集的数据,数据质量、数据稳定性及安全性都比较低,尤其是在政府部门应用的采集系统,与工业采集有一定的区别,政府部门和各地市级部门需要大量的数据共享和交换,而且各部门都有各自的采集系统,对于相同的采样点的采集,存在各部门数据不一致的情况,原因主要为:省中心和地市级中心遥测站采集的数据不一样;省中心和地市级中心各自对采集数据的修改操作,导致数据不一样。针对以上两种常见情况,我们需要分布式环境下的实时数据同步方法解决由于数据不一致导致的冲突。 
发明内容
本发明的目的在于针对目前实时数据同步及时性及数据一致性较差等缺陷,提供一种分布式环境下的实时数据同步方法,以提高数据同步的准确性及效率。 
本发明是通过以下技术方案实现的:一种分布式环境下的实时数据同步方法,该方法包括如下步骤: 
(1)建立分中心实时数据中心;
(2)建立总中心实时数据中心;
(3)同步总中心和分中心的数据。
所述步骤1和步骤2通过以下子步骤来实现: 
(1.1)采集终端自动采集的数据进入到自动库中,对自动库进行编号,对自动库设定优先级。
(1.2)人工录入的数据进入到人工库中。 
(1.3)采集数据进入融合库和落选库,该步骤具体为: 
(1.3.1)过滤,对本次采集得到的数据进行过滤。一次采集的数据中经常会出现“同一条”数据,所述“同一条”数据指的是数据的主键相等,即产生数据的站点和产生数据的时间都相同的数据;对“同一条”数据,如果两条数据完全相同,则弃掉后来的那条,如果前一条数据某字段为空,而另一条数据恰好该字段有值,则将此值补入到前一条数据。如果前一条数据和后一条数据某个字段值不同,产生冲突,则按照事先设定的设备优先级选取优先级高的值。将这些操作做好日志,保留过滤后的数据到下一步。
(1.3.2)质量判定,对过滤后的数据进行质量判定,将错误数据和可疑数据存入落选库,只保留好数据到融合库。预先对数据的各个实时数据设置错误域和可疑域。一旦数据的某个属性落入错误域和可疑域,则将此数据打上错误或者可疑标记,做好日志,并将此数据存入落选库。 
(1.3.3)去重,对质量判定后的好数据进行去重。对所有过滤后的数据,去检查融合库中是否有“相同”数据。如果有,则按照过滤的方式,将两条“相同”数据合并,并做好日志。 
(1.3.4)修改错误/可疑数据。对落选库中的数据,管理人员进行核对审查,将无用数据删除,对有用数据则经过人工修改后再合并入融合库中,做好日志。 
(1.4)将融合库中的数据按需进行数据同步。融合库中数据的数据格式如下: 
字段1 字段2 字段3 字段4…n
(自动/人工)库编号 是否被人工编辑 (总/分)中心编号 具体数据
字段1是采集源数据库的编号,字段2标识是否被人工编辑过,被人工编辑过的数据优先级最高,字段3是总中心和分中心的编号,防止数据重复同步,字段4…n为具体数据。
所述步骤3中,在同步过程中,分中心负责发起同步操作及维护历次同步操作间的增量一致性。总中心负责响应分中心发起的同步及按照配置完成同步过程。 
配置的优先级如下: 
(a)人工修订数据优先级最高;
(b)人工库数据优先于自动库数据;
(d)新数据优先于旧数据;
(e)自动库优先级按预先编号设定的优先级。
分中心端的具体操作如下: 
(3.1.1)取得同步帧的操作时间戳范围:实时数据中心的每条实时数据,除了数据采集时间event_time外,还有一个操作时间戳op_time,记录最后一次对该数据进行插入或者修正的时间。
(a)上一个同步帧的结束时间记为本次同步帧的起始时间t0。 
(b)结束时间t1=min{t0 + max_dt, current_time - min_buffer_time}。 
其中,max_dt为同步帧的时间最大跨度;current_time为当前时间;min_buffer_time为总中心和分中心的时差。也就是说,一个同步帧的时间跨度最大为max_dt,并且只同步距当前时间超过min_buffer_time的数据。 
(c)根据步骤(a)和步骤(b)确定同步帧时间范围为[t0, t1); 
(3.1.2)取得需要和总中心端同步的数据:取得操作时间戳op_time在[t0,t1)间,数据来源来自本分中心的所有实时数据。
(3.1.3)压缩、打包、发送到总中心端。 
(3.1.4)接受、解压总中心端返回的结果,逐条检查实时数据,如果和分中心本地的数据不同,则插入或修正,插入或修正时,将来源标记为“总中心”,以免循环同步。 
(3.1.5)等待下一次触发同步。 
总中心端的具体操作如下: 
(3.2.1)监听分中心端发来的同步请求;
(3.2.2)解压分中心端发来的实时数据;
(3.2.3)从总中心本地实时数据中,提取和分中心实时数据的站点、数据时间一致的实时数据;
(3.2.4)过滤分中心发来的实时数据:
(a)如果和总中心数据一致,直接丢弃;
(b)如果总中心中没有相应数据,通过;
(c)如果是不一致数据,按配置丢弃、记为可疑数据、或者通过。记为可疑的数据,记入可疑数据表,等待人工校核处理。
(3.2.5)将通过的数据存入总中心,插入或修正,数据来源标记为对应的分中心。 
(3.2.6)按[t0,t1)查询需要同步到分中心的实时数据: 
(a)操作时间戳op_time在[t0,t1);
(b)站点需要与该分中心同步;
(c)数据来源不是该分中心;  
(3.2.7)按分中心发来的数据,删除重复数据;
(3.2.8)压缩、打包、发送到分中心端。 
本发明的有益效果是:本发明一种分布式环境下的实时数据同步方法,在各中心建立融合库和落选库,通过分中心发起同步请求,总中心响应同步请求并按照配置同步实时数据,可有效解决分布环境下各部门实时数据不一致导致的冲突及业务无法运作等问题,同时该方法可以提高数据同步的准确性及效率。 
  
附图说明
图1是本发明分布式环境下的实时数据同步方法的系统框图; 
图2为实时数据中心的建立过程图; 
图3是本发明分布式环境下的实时数据同步过程的流程图。 
具体实施方式
如图1-3所示,本发明提供了一种分布式环境下的实时数据同步方法,该方法包括如下步骤: 
步骤1:建立分中心实时数据中心。
该同步方法中,包含若干分中心实时数据中心(简称分中心)和一个总中心实时数据中心(简称总中心)。进入分中心进行同步的数据包括来自自动库和人工库的数据,自动库为遥测站等自动采集的数据,至少为1个;人工库为人工录入的数据。分中心包括融合库和落选库。 
该步骤包括以下子步骤: 
1.1采集终端自动采集的数据进入到自动库中,对自动库进行编号(I1,I2…In),对自动库设定优先级。例如,可以设置为主库,备库两个自动库,主库的优先级大于备库。
1.2人工录入的数据进入到人工库中。 
1.3 采集数据进入分中心的融合库和落选库,该步骤通过以下子步骤来实现: 
1.3.1 过滤,对本次采集得到的数据进行过滤。一次采集的数据中经常会出现“同一条”数据(这里的“同一条”指的是数据的主键相等,即产生数据的站点和产生数据的时间都相同的数据,产生“同一条”数据的原因是存在多个设备采集同一站点的数据)。对“同一条”数据,如果两条数据完全相同,则弃掉后来的那条,如果前一条数据某字段为空,而另一条数据恰好该字段有值,则将此值补入到前一条数据。如果前一条数据和后一条数据某个字段值不同,产生冲突,则按照事先设定的设备优先级选取优先级高的值。将这些操作做好日志,保留过滤后的数据到下一步。
1.3.2 质量判定,对过滤后的数据进行质量判定,将错误数据和可疑数据存入落选库,只保留好数据到融合库。预先对数据的各个实时数据设置错误域和可疑域。一旦数据的某个属性落入错误域和可疑域,则将此数据打上错误或者可疑标记,做好日志,并将此数据存入落选库。 
1.3.3 去重,对质量判定后的好数据进行去重。本次采集的数据可能会与以前采集的数据是“同一条”数据,需要对这些数据进行去重操作。对所有过滤后的数据,去检查融合库中是否有“相同”数据。如果有,则按照过滤的方式,将两条“相同”数据合并,并做好日志。 
1.3.4 修改错误/可疑数据。对落选库中的数据,管理人员进行核对审查,将无用数据删除,对有用数据则经过人工修改后再合并入融合库中,做好日志。 
1.4将融合库中的数据按需进行数据同步。融合库中数据的数据格式如下: 
字段1 字段2 字段3 字段4…n
(自动/人工)库编号 是否被人工编辑 (总/分)中心编号 具体数据
字段1是采集源数据库的编号,字段2标识是否被人工编辑过,被人工编辑过的数据优先级最高,字段3是总中心和分中心的编号,防止数据重复同步,字段4…n为具体数据。
步骤2:建立总中心实时数据中心。 
该步骤同步骤1。 
步骤3:同步省中心和分中心的数据。 
同步过程中,分中心负责发起同步操作及维护历次同步操作间的增量一致性。总中心负责响应分中心发起的同步及按照配置完成同步过程。 
配置的优先级如下: 
a)人工修订数据优先级最高;
b)人工库数据优先于自动库数据;
d)新数据优先于旧数据;
e)自动库优先级按预先编号设定的优先级。
分中心端和总中心端的具体操作如下: 
3.1分中心端
3.1.1取得同步帧的操作时间戳范围。
实时数据中心的每条实时数据,除了数据采集时间event_time外,还有一个操作时间戳op_time,记录最后一次对该数据进行插入或者修正的时间。 
a) 上一个同步帧的结束时间记为本次同步帧的起始时间t0。 
b) 结束时间t1=min{t0 + max_dt, current_time - min_buffer_time}。 
 其中max_dt为同步帧的时间最大跨度;current_time为当前时间;min_buffer_time为总中心和分中心的时差。也就是说,一个同步帧的时间跨度最大为max_dt,并且只同步距当前时间超过min_buffer_time的数据。这样可以避免一次同步过多的数据,可以避免总中心、分中心时差,以及数据库事务时差造成的性能和质量问题。 
c) 根据步骤a)和步骤b)确定同步帧时间范围为[t0, t1); 
3.1.2取得需要和总中心端同步的数据。
取得操作时间戳op_time在[t0,t1)间,数据来源来自本分中心的所有实时数据。 
3.1.3压缩、打包、发送到总中心端。 
3.1.4接受、解压总中心端返回的结果,逐条检查实时数据,如果和分中心本地的数据不同,则插入或修正,插入或修正时,将来源标记为“总中心”,以免循环同步。 
3.1.5等待下一次触发同步。 
3.2总中心端 
3.2.1监听分中心端发来的同步请求;
3.2.2解压分中心端发来的实时数据;
3.2.3从总中心本地实时数据中,提取和分中心实时数据的站点、数据时间一致的实时数据;
3.2.4过滤分中心发来的实时数据:
a) 如果和总中心数据一致,直接丢弃;
b) 如果总中心中没有相应数据,通过;
c) 如果是不一致数据,按配置丢弃、记为可疑数据、或者通过。记为可疑的数据,记入可疑数据表,等待人工校核处理。
3.2.5将通过的数据存入总中心,插入或修正,数据来源标记为对应的分中心。 
3.2.6按[t0,t1)查询需要同步到分中心的实时数据: 
a)操作时间戳op_time在[t0,t1);
b) 站点需要与该分中心同步;
c) 数据来源不是该分中心;  
3.2.7按分中心发来的数据,删除重复数据;
3.2.8压缩、打包、发送到分中心端。

Claims (1)

1.一种分布式环境下的实时数据同步方法,其特征在于,该方法包括如下步骤:
(1)建立分中心实时数据中心;
(2)建立总中心实时数据中心;
(3)同步总中心和分中心的数据;
所述步骤1和步骤2通过以下子步骤来实现:
(1.1)采集终端自动采集的数据进入到自动库中,对自动库进行编号,对自动库设定优先级;
(1.2)人工录入的数据进入到人工库中;
(1.3)采集数据进入融合库和落选库,该步骤具体为:
(1.3.1)过滤,对本次采集得到的数据进行过滤;一次采集的数据中经常会出现“同一条”数据,所述“同一条”数据指的是数据的主键相等,即产生数据的站点和产生数据的时间都相同的数据,对“同一条”数据,如果两条数据完全相同,则弃掉后来的那条,如果前一条数据某字段为空,而另一条数据恰好该字段有值,则将此值补入到前一条数据,如果前一条数据和后一条数据某个字段值不同,产生冲突,则按照事先设定的设备优先级选取优先级高的值,将这些操作做好日志,保留过滤后的数据到下一步;
(1.3.2)质量判定,对过滤后的数据进行质量判定,将错误数据和可疑数据存入落选库,只保留好数据到融合库;预先对数据的各个实时数据设置错误域和可疑域,一旦数据的某个属性落入错误域和可疑域,则将此数据打上错误或者可疑标记,做好日志,并将此数据存入落选库;
(1.3.3)去重,对质量判定后的好数据进行去重;对所有过滤后的数据,去检查融合库中是否有“相同”数据,如果有,则按照过滤的方式,将两条“相同”数据合并,并做好日志;
(1.3.4)修改错误/可疑数据;对落选库中的数据,管理人员进行核对审查,将无用数据删除,对有用数据则经过人工修改后再合并入融合库中,做好日志;
(1.4)将融合库中的数据按需进行数据同步;融合库中数据的数据格式如下:
字段1 字段2 字段3 字段4…n (自动/人工)库编号 是否被人工编辑 (总/分)中心编号 具体数据
字段1是采集源数据库的编号,字段2标识是否被人工编辑过,被人工编辑过的数据优先级最高,字段3是总中心和分中心的编号,防止数据重复同步,字段4…n为具体数据;
所述步骤3中,在同步过程中,分中心负责发起同步操作及维护历次同步操作间的增量一致性;总中心负责响应分中心发起的同步及按照配置完成同步过程;
配置的优先级如下:
(a)人工修订数据优先级最高;
(b)人工库数据优先于自动库数据;
(d)新数据优先于旧数据;
(e)自动库优先级按预先编号设定的优先级;
分中心端的具体操作如下:
(3.1.1)取得同步帧的操作时间戳范围:实时数据中心的每条实时数据,除了数据采集时间event_time外,还有一个操作时间戳op_time,记录最后一次对该数据进行插入或者修正的时间;
(a)上一个同步帧的结束时间记为本次同步帧的起始时间t0;
(b)结束时间t1=min{t0 + max_dt, current_time - min_buffer_time};
其中,max_dt为同步帧的时间最大跨度;current_time为当前时间;min_buffer_time为总中心和分中心的时差;也就是说,一个同步帧的时间跨度最大为max_dt,并且只同步距当前时间超过min_buffer_time的数据;
(c)根据步骤(a)和步骤(b)确定同步帧时间范围为[t0, t1);
(3.1.2)取得需要和总中心端同步的数据:取得操作时间戳op_time在[t0,t1)间,数据来源来自本分中心的所有实时数据;
(3.1.3)压缩、打包、发送到总中心端;
(3.1.4)接受、解压总中心端返回的结果,逐条检查实时数据,如果和分中心本地的数据不同,则插入或修正,插入或修正时,将来源标记为“总中心”,以免循环同步;
(3.1.5)等待下一次触发同步;
总中心端的具体操作如下:
(3.2.1)监听分中心端发来的同步请求;
(3.2.2)解压分中心端发来的实时数据;
(3.2.3)从总中心本地实时数据中,提取和分中心实时数据的站点、数据时间一致的实时数据;
(3.2.4)过滤分中心发来的实时数据:
(a)如果和总中心数据一致,直接丢弃;
(b)如果总中心中没有相应数据,通过;
(c)如果是不一致数据,按配置丢弃、记为可疑数据、或者通过,记为可疑的数据,记入可疑数据表,等待人工校核处理;
(3.2.5)将通过的数据存入总中心,插入或修正,数据来源标记为对应的分中心;
(3.2.6)按[t0,t1)查询需要同步到分中心的实时数据:
(a)操作时间戳op_time在[t0,t1);
(b)站点需要与该分中心同步;
(c)数据来源不是该分中心;  
(3.2.7)按分中心发来的数据,删除重复数据;
(3.2.8)压缩、打包、发送到分中心端。
CN201310561924.4A 2013-11-12 2013-11-12 一种分布式环境下的实时数据同步方法 Active CN103825930B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310561924.4A CN103825930B (zh) 2013-11-12 2013-11-12 一种分布式环境下的实时数据同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310561924.4A CN103825930B (zh) 2013-11-12 2013-11-12 一种分布式环境下的实时数据同步方法

Publications (2)

Publication Number Publication Date
CN103825930A true CN103825930A (zh) 2014-05-28
CN103825930B CN103825930B (zh) 2017-03-29

Family

ID=50760754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310561924.4A Active CN103825930B (zh) 2013-11-12 2013-11-12 一种分布式环境下的实时数据同步方法

Country Status (1)

Country Link
CN (1) CN103825930B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104516989A (zh) * 2015-01-26 2015-04-15 北京京东尚科信息技术有限公司 增量数据推送系统和方法
CN104573078A (zh) * 2015-01-27 2015-04-29 深圳市中兴移动通信有限公司 服务器及其数据存储的应用方法和装置
CN105763587A (zh) * 2014-12-18 2016-07-13 中国移动通信集团公司 一种数据同步方法及装置
CN105812418A (zh) * 2014-12-31 2016-07-27 安徽中科大国祯信息科技有限责任公司 一种基于偏量样本传输的污水处理厂工艺节点数据通信方法
WO2017050176A1 (zh) * 2015-09-25 2017-03-30 阿里巴巴集团控股有限公司 一种数据同步方法和装置
CN108268357A (zh) * 2016-12-30 2018-07-10 阿里巴巴集团控股有限公司 实时数据处理方法和装置
CN109660576A (zh) * 2017-10-10 2019-04-19 武汉斗鱼网络科技有限公司 用户数据实时迁移方法、存储介质、电子设备及系统
CN110674125A (zh) * 2019-09-24 2020-01-10 北京明略软件系统有限公司 一种待融合数据的过滤方法、过滤装置及可读存储介质
CN111680056A (zh) * 2020-07-16 2020-09-18 广州朱雀信息科技有限公司 数据同步方法、装置、设备及存储介质
CN113128590A (zh) * 2021-04-19 2021-07-16 浙江省水文管理中心 一种设备数据优选与融合方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5535230B2 (ja) * 2008-10-23 2014-07-02 アビニシオ テクノロジー エルエルシー ファジーなデータ操作
CN102521405B (zh) * 2011-12-26 2014-06-25 中国科学院计算技术研究所 支持高速加载的海量结构化数据存储、查询方法和系统
CN102833240B (zh) * 2012-08-17 2016-02-03 中国科学院信息工程研究所 一种恶意代码捕获方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邱超: "实时水情预警短信平台的研究与应用", 《人民长江》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105763587A (zh) * 2014-12-18 2016-07-13 中国移动通信集团公司 一种数据同步方法及装置
CN105812418A (zh) * 2014-12-31 2016-07-27 安徽中科大国祯信息科技有限责任公司 一种基于偏量样本传输的污水处理厂工艺节点数据通信方法
CN104516989A (zh) * 2015-01-26 2015-04-15 北京京东尚科信息技术有限公司 增量数据推送系统和方法
CN104573078A (zh) * 2015-01-27 2015-04-29 深圳市中兴移动通信有限公司 服务器及其数据存储的应用方法和装置
WO2017050176A1 (zh) * 2015-09-25 2017-03-30 阿里巴巴集团控股有限公司 一种数据同步方法和装置
CN106557497A (zh) * 2015-09-25 2017-04-05 阿里巴巴集团控股有限公司 一种数据同步方法和装置
CN108268357A (zh) * 2016-12-30 2018-07-10 阿里巴巴集团控股有限公司 实时数据处理方法和装置
US11635985B2 (en) 2016-12-30 2023-04-25 Alibaba Group Holding Limited Using degree of completeness of real-time data to maximize product revenue
CN109660576A (zh) * 2017-10-10 2019-04-19 武汉斗鱼网络科技有限公司 用户数据实时迁移方法、存储介质、电子设备及系统
CN109660576B (zh) * 2017-10-10 2021-09-07 武汉斗鱼网络科技有限公司 用户数据实时迁移方法、存储介质、电子设备及系统
CN110674125A (zh) * 2019-09-24 2020-01-10 北京明略软件系统有限公司 一种待融合数据的过滤方法、过滤装置及可读存储介质
CN111680056A (zh) * 2020-07-16 2020-09-18 广州朱雀信息科技有限公司 数据同步方法、装置、设备及存储介质
CN113128590A (zh) * 2021-04-19 2021-07-16 浙江省水文管理中心 一种设备数据优选与融合方法
CN113128590B (zh) * 2021-04-19 2022-03-15 浙江省水文管理中心 一种设备数据优选与融合方法

Also Published As

Publication number Publication date
CN103825930B (zh) 2017-03-29

Similar Documents

Publication Publication Date Title
CN103825930A (zh) 一种分布式环境下的实时数据同步方法
CN103699580B (zh) 数据库同步方法及装置
KR101904786B1 (ko) 소스 데이터베이스 관리시스템에서 변경되는 데이터를 실시간으로 목표 데이터베이스 관리시스템에 복제하는 장치 및 그 방법
CN111897863B (zh) 多源异构数据融合汇聚方法
CN106815326B (zh) 一种检测无主键数据表一致性的系统及方法
CN1992632B (zh) 一种通信网络告警方法以及告警系统
CN104573056A (zh) 一种基于oracle数据库大数据量在线迁移的方法
CN106254094A (zh) 一种数据同步方法及系统
CN103399888B (zh) 电网模型数据的差分同步方法及系统
CN106817415B (zh) 一种hlr/hss用户数据在线导出及导入的同步迁移方法
CN104699860A (zh) 一种共享型主数据的数据加工存储方法
CN110222114B (zh) 数据库中数据双向同步的方法及设备
CN106250514A (zh) 基于Mysql数据库和SQL日志的跨国数据同步方法
CN106156318A (zh) 一种实现多节点数据库高可用的系统及方法
CN102932195A (zh) 一种基于网络协议分析的业务分析监控方法及系统
CN110727684A (zh) 一种用于大数据统计分析的增量数据同步的方法
CN106155838A (zh) 一种数据库备份数据恢复方法及装置
CN105389314A (zh) 一种日志文件查询系统及查询方法
CN107944866B (zh) 交易记录排重方法及计算机可读存储介质
CN105787090A (zh) 一种电力数据的olap系统的索引建立方法和系统
CN105808675A (zh) 从Informix数据库向人大金仓数据库迁移的方法
CN106599113A (zh) 用于网管系统海量性能数据的数据库读写方法
CN111858593A (zh) 一种分业务板块数据处理系统及方法
CN111737655A (zh) 一种云管理平台的用户权限管理方法、系统及存储介质
CN115714773A (zh) 基于云端大数据的工业设备数据共享方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Qiu Chao

Inventor after: Ding Boliang

Inventor after: Jin Huiming

Inventor after: Zhang Zijian

Inventor after: Wang Zhipeng

Inventor after: Hu Bin

Inventor after: Hu Jiafeng

Inventor before: Ding Boliang

Inventor before: Qiu Chao

Inventor before: Jin Huiming

Inventor before: Zhang Zijian

Inventor before: Wang Zhipeng

Inventor before: Hu Bin

Inventor before: Hu Jiafeng

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 310009, Hangzhou, Zhejiang city on the road 72 St.

Co-patentee after: ZHEJIANG SUCCESSFUL SOFTWARE DEVELOPMENT Co.,Ltd.

Patentee after: Zhejiang Hydrological Management Center

Address before: 310009, Hangzhou, Zhejiang city on the road 72 St.

Co-patentee before: ZHEJIANG SUCCESSFUL SOFTWARE DEVELOPMENT Co.,Ltd.

Patentee before: ZHEJIANG HYDROLOGY BUREAU