CN105554114B - 一种数据同步方法及数据同步固件平台 - Google Patents

一种数据同步方法及数据同步固件平台 Download PDF

Info

Publication number
CN105554114B
CN105554114B CN201510944648.9A CN201510944648A CN105554114B CN 105554114 B CN105554114 B CN 105554114B CN 201510944648 A CN201510944648 A CN 201510944648A CN 105554114 B CN105554114 B CN 105554114B
Authority
CN
China
Prior art keywords
data
file
database
sent
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510944648.9A
Other languages
English (en)
Other versions
CN105554114A (zh
Inventor
直跃峰
罗定智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN CONGJING TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN CONGJING TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN CONGJING TECHNOLOGY Co Ltd filed Critical SHENZHEN CONGJING TECHNOLOGY Co Ltd
Priority to CN201510944648.9A priority Critical patent/CN105554114B/zh
Publication of CN105554114A publication Critical patent/CN105554114A/zh
Application granted granted Critical
Publication of CN105554114B publication Critical patent/CN105554114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services

Abstract

本发明适用于数据同步领域,提供一种数据同步方法及数据同步固件平台,所述方法包括:监测数据库的在线状态,不同的数据库可位于不同的网络;接收在线数据库上传的设备定位信息,并发送至后台管理终端显示;远程接收后台管理终端发出的设置的同步机制和同步配置信息;根据同步机制,接收源数据库上传的数据,并经格式转换和输出至目标数据库。本发明是一个可以在多个数据库平台之间使用的同步系统平台,也可用于数据库远程备份,只需要简单的设置源数据库和目标数据库的连接,设置对应的同步机制,即可实现针对两个数据库之间的数据同步,方便的实现数据的抽取、资源信息的采集工作,适用于数据热备、数据提取、资源整合等工作环境。

Description

一种数据同步方法及数据同步固件平台
技术领域
本发明属于数据同步技术领域,尤其涉及一种数据同步方法及数据同步固件平台。
_
背景技术
对于两个数据库的数据同步系统中,一般都是源数据库和目标数据库进行直接网络连接,中间没有转发控制平台,在数据同步时,需要考虑到双方数据库的数据结构,不同类型数据结构的数据库无法直接同步数据。而且数据同步一般是采用软件方式实现,在源数据库和目标数据库中部署相关同步软件,实现两者数据同步,比较依赖用户系统环境,可能会因为用户操作系统问题导致同步系统崩溃。再者,目前的同步软件要求进行双边同步的数据库在同一个网络中,因此其应用范围有限,无法使用在大量数据汇集、数据集中备份、多个数据库的数据采集的场合。
发明内容
鉴于上述问题,本发明的目的在于提供一种数据同步方法及数据同步固件平台,旨在解决现有软件实现的数据同步系统部署复杂、易崩溃、应用场合有限的技术问题。
本发明采用如下技术方案:
一方面,所述数据同步方法包括:
监测数据库的在线状态,不同的数据库可位于不同的网络;
接收在线数据库上传的设备定位信息,并发送至后台管理终端显示;
远程接收后台管理终端发出的设置的同步机制和同步配置信息,所述同步机制包括即时数据同步、定时数据同步和一次性同步,其中所述即时数据同步为数据发生变化时立即同步数据,所述定时数据同步为设定同步时间或同步时间间隔,所述一次性同步只同步一次数据,用于数据备份;
根据同步机制,接收源数据库上传的数据,并经格式转换和输出至目标数据库。
另一方面,数据同步固件平台包括:
监控单元,用于监测数据库的在线状态,不同的数据库可位于不同的网络;
定位显示单元,用于接收在线数据库上传的设备定位信息,并发送至后台管理终端显示;
设置单元,用于接收远程接收后台管理终端发出的设置的同步机制和同步配置信息,所述同步机制包括即时数据同步、定时数据同步和一次性同步,其中所述即时数据同步为数据发生变化时立即同步数据,所述定时数据同步为设定同步时间或同步时间间隔,所述一次性同步只同步一次数据,用于数据备份;
处理单元,用于根据同步机制,接收源数据库上传的数据,并经格式转换和输出至目标数据库。
本发明的有益效果是:本发明提供一个数据同步固件平台,使用硬件平台搭载同步系统,安全可靠,稳定性强,不会因为用户操作系统问题导致同步系统崩溃;另外,平台双网口加WIFI模块,硬件数据同步固件拼图可以同时连接多个网络,在不同网络中进行数据同步,不用改造网络环境,可以使用在多种场合;最后,平台内置防火墙,同步的双方数据库进行数据隔离,保证系统的安全性,保障双网之间通讯安全。
_
附图说明
图1是数据同步固件平台的一种应用场合;
图2是数据同步固件平台的另一种应用场合;
图3是数据同步固件平台的第三种应用场合;
图4是数据同步方法的流程图;
图5是图4中步骤S404的一种具体流程图;
图6是图4中步骤S404的另一种具体流程图;
图7是图4中步骤S404的第三种具体流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
本发明实施例提供了一种数据同步固件平台,包括双网口、WIFI模块以及控制模块,是一个可以在多个数据库平台之间使用的及时同步系统平台(也可用于数据库远程备份),只需要简单的设置源数据库和目标数据库的连接,即可实现针对两个数据库之间的数据同步,方便的实现数据的抽取、资源信息的采集(备份)工作。本固件平台特别适用于数据热备、数据提取、资源整合等工作环境。在系统部署中不必更改源数据库与目标数据库的任何数据结构,即可实现双边的数据同步,从而避免了对源数据库内容及文件的损坏,免除客户后顾之忧。
本数据同步固件平台具有如下几种应用场合。如图1所示,源数据库和目标数据库在同一网络环境中的,双方IP可PING通情况下,可采取单臂接入方式,接入方式可选择有线接入或无线接入。如图2所示,源数据库和目标数据库在不同网络中的,可采取双臂接入方式,一边选择接入网络1,一边选择接入网络2,之间用内置防火墙阻断其连接。两个网络虽然同时接入数据同步固件平台,但相互之间并不相通。只有数据同步固件平台可以同时访问两个网络相连的数据库,接入方式可选择双边有线接入或一边无线、一边有线接入。如图3所示应用在某些特殊的网络环境中,目标数据库为公安系统,在目标数据库上游还需接入边界接入设备,保证目标数据库安全。本平台可用于大量数据汇集的环境中,比如公安系统的大情报数据汇集,需要汇集很多行业数据,三台合一省厅的数据汇集,需要汇集各地的接处警数据,本系统在多个数据库中利用数据同步固件平台进行数据同步,将分散在各点的数据进行集中汇集,解决大数据数据来源问题。
下面通过具体的实施例方式对具体的同步方法进行说明。
如图4所示,本实施例提供的数据同步方法包括下述步骤:
步骤S401、监测数据库的在线状态,不同的数据库可位于不同的网络;
步骤S402、接收在线数据库上传的设备定位信息,并发送至后台管理终端显示;
步骤S403、远程接收后台管理终端发出的设置的同步机制和同步配置信息,所述同步机制包括即时数据同步、定时数据同步和一次性同步,其中所述即时数据同步为数据发生变化时立即同步数据,所述定时数据同步为设定同步时间或同步时间间隔,所述一次性同步只同步一次数据,用于数据备份;
步骤S404、根据同步机制,接收源数据库上传的数据,并经格式转换和输出至目标数据库。
本实施例中,数据同步固件平台可实现在线状态监测,每个数据库设备都有单独的设备编号,管理员在后台管理终端可实施监测所有数据库设备(即待同步的设备)的在线情况。管理员可以选择单个数据库与另一数据库进行连接,进行两个数据库间的数据同步,也可以出于统一管理和多设备共同运行的目的,将多个数据库设备进行统一管理,提供设备运行状态、位置信息、授权管理等功能;数据库设备内设置有GPS定位模块,提供定位信息,管理员也可手动更改经纬度信息,在后台管理终端可以方便监控各个设备的地理情况和位置。
管理员根据实际的应用场合,可以选择合适的同步机制和同步配置信息,所述同步机制包括即时数据同步、定时数据同步和一次性同步。特别的,经常会遇到多数据库设备同步采取数据汇集机制,将所有数据库设备同步过来的数据集中在一个目标数据库中存放,提供检索查询系统,统一查询多个设备同步进来的数据。另外还可以实现多数据库的数据集中备份,在多个数据库中备份数据,统一将备份数据存放在汇集的数据库中,为大数据挖掘提供支撑,解决多个数据库的数据采集问题,使大数据挖掘有素材可用。
针对上述不同的同步机制,具体的同步方法如下。
当设置成即时数据同步时,如图5所示,上述步骤S404具体包括:
步骤S501、源数据库实时检测是否有增量文件,当存在增量文件且所述增量文件为源数据库启动后产生的第一个增量文件时,或者所述增量文件为标识字节生存时间结束后的第一个增量文件,将所述源数据库的设备编号添加至增量文件的文件头,一并发送至数据同步固件平台;
步骤S502、数据同步固件平台接收到增量文件后分析文件头,若所述增量文件的文件头为设备编号,则为该源数据库分配一个标识字节,并将所述标识字节发送至所述源数据库,其中所述标识字节具有默认的生存时间,所述标识字节长度小于设备编号的数据长度,在本地,数据同步固件平台为每个标识字节分配一个缓存区,所述缓存区为队列结构;若所述增量文件的文件头为标识字节,则将增量文件添加至对应的缓存区;
步骤S503、在所述生存时间内,若所述源数据库产生了后续的增量文件时,则源数据库将接收到的标识字节添加到增量文件的文件头,一并发送至数据同步固件平台;
步骤S504、数据同步固件平台轮循环扫描各个标识字节的缓存区,每扫描缓存区一次,取出缓存区队列头的一个增量文件,并按照目标数据库的数据结构进行格式转换,转换完毕后发送至目标数据库;
步骤S505、针对每个标识字节,当生存时间结束且对应的缓存区增量文件读取完毕后,将该标识字节销毁,可以用于下一次标识字节分配。
本实施例应用在位于不同位置的海量源数据库,数据即时更新同步至一个目标数据库的情况。现有的数据同步方案中,对于每个待同步的增量文件,都会在文件头上增加一个设备编号,设备编号由英文字母和数据等字符组成,长度较大,而对于即时数据同步,海量的源数据库中,任一源数据库产生任意的数据变动,就会产生一个增量文件,因此固件平台会接收到大量的增量文件,每个增量文件都包含有设备编号,以区分不同的源数据库的数据。但由于设备编号长度较长,若增量文件较小,设备编号的长度基本可以等于增量文件的大小,因此每次数据同步,都会同步很多无用的设备编号数据,浪费网络资源,增大了网络堵塞的可能性。
为此,本实施例中,当源数据发送第一个增量文件时,在第一个增量文件的文件头添加设备编号,数据同步固件平台接收到增量文件后,发现头文件时设备编号,则为该源数据库分配一个标识字节的长度远远小于设备编号的长度,并将该标识字节发送至所述源数据库。这里固件平台为每个分配的标识字节都分配一个队列缓存区,且每个标识字节都有一个默认的生存时间,源数据库接收到标识字节,当在生存时间内,若该源数据库再次生成增量文件时,直接在文件头添加所述标识字节发送即可,固件平台接收到增量文件后,读取文件头,得到标识字节,确认标识字节未过期,就将增量文件添加到所述标志直接对应的缓存区中。若标识字节的生存时间已过,源数据库再次生成增量文件后,在文件头再次加上设备编号发送即可,固件平台根据设备编号再次给源数据库分配一个标识字节,该标识字节可与先前字节相同,也可以不同。并将再次分配的标识字节发送至源数据库,后续操作与前述过程相同。
数据同步固件平台需要轮循扫描各个标识字节的缓存区,并依次读取一个增量文件,当生存时间结束且对应的缓存区增量文件读取完毕后,将该标识字节销毁,可以用于下一次标识字节分配。若生存时间结束,但其缓存区内还存在增量文件,则该标识字节不销毁,继续等待直至缓存区为空,此时销毁该标识字节即可,该标识字节可以用于下一次标识字节分配。
如果为每一个源数据库分配一个固定标识字节,发送增量文件时,添加固定标识字节作为文件头,但是由于源数据库数量很多,因此要使得固定标识字节为唯一,那么该固定标识字节长度也相对较长,还是比较浪费网络资源。而本实施例中,虽然源数据库数量很多,但是一段时间内存在需要进行数据同步的源数据库不会很多,要远远小于所有源数据库总和,因此本实施例准备一定数量的标识字节,无需很多,为每个标识字节分配一个生存时间,生存时间到期且对于缓存区增量文件读取完成后,直接销毁该标识字节重新用于分配。这样通过数量不多的标识字节即可完成源数据的标定。减轻了网络传输压力,避免传输过多的无用数据。
当设置成定时数据同步时,如图6所示,上述步骤S404具体包括:
步骤S601、当到达定时时刻时,源数据库获取当前定时时间段内总增量文件;
步骤S602、将所述总增量文件均分成若干数据段,每一数据段末尾增加结束位,数据段划分大小与上一定时时间段内中断次数成反比;
步骤S603、按照顺序将各个数据段发送至数据同步固件平台;
步骤S604、当接收到数据同步固件平台发送的中断指令时,暂停当前数据段发送;
步骤S605、数据同步固件平台删除最近接收到结束位之后的数据;
步骤S606、当接收到重新发送指令时,源数据库重新发送当前未发送完成的数据段;
步骤S607、数据同步固件平台将接收到的数据段除去结束位后按照目标数据库的数据结构进行格式转换,转换完毕后发送至目标数据库。
本实施例中,在定时数据同步过程中,会碰到数据同步固件平台忙,无法进行数据同步的情况,如若源数据库继续发送数据,会使得固件平台死机。为此,本实施例中,将当前定时时间段所产生的总增量文件进行数据段划分,并增加结束位,如果在发送到某个数据段时,固件平台需要处理其他紧急事件,则固件平台向源数据库发送中断指令,并且数据同步固件平台删除最近接收到结束位之后的数据,即删除未接收完成的数据段的数据。当数据同步固件平台处理完毕后,可以继续同步时,发送重新发送指令,源数据库重新发送当前未发送完成的数据段。
特别的,本实施例中,数据段划分大小与上一定时时间段内中断次数成反比;如果上一定时时间段内中断次数过多,说明最近时间内,固件平台比较忙,若数据段总量较大,这样当遇到中断时,需要重新发送未发送完成的数据段,非常影响发送数据进度。甚至出现,重新发送数据段时,再次遇到中断情况。因此此时可以将数据段划分较小,当重新发送数据段时,重新发送的数据量也较小。如果上一定时时间段内中断次数很少,说明最近时间内固件平台有足够空闲时间,因此可以将数据段划分较大。总体来讲,数据段划分大小与上一定时时间段内中断次数成反比。
当设置成一次性同步时,如图7所示,上述步骤S404具体包括:
步骤S701、源数据库将本地所有的数据文件按顺序分块;
步骤S702、设置多个基本块,所有数据文件中,每个基本块都有若干个文件块数据与之相同;
步骤S703、源数据库按照顺序发送文件块至数据同步固件平台,若当前待发送的文件块与某个基本块数据相同,则发送该基本块的编号至数据同步固件平台;
步骤S704、数据同步固件平台接收数据,对于文件块数据,按照目标数据库的格式进行转换,并发送至目标数据库,对于基本块的编号,则直接将编号发送至目标数据库;
步骤S705、当目标数据库接收到转换后的数据后,直接保存,当接收到基本块的编号后,将该基本块进行格式转换并保存。
一次性同步一般用于数据库的完全备份的场合,比如当目标数据库数据数据大范围错误,或者数据意外情况后,需要即时将源数据库的数据完全备份至目标数据库中。由于源数据库的完整数据文件通常很大,完全备份需要消耗很多时间,因此需要尽量降低数据同步时间。本实施例中,通过分析源数据库的数据数据排列,将数据文件按顺序分块,并且设置一些基本块,每个基本块都有若干个文件块数据与之相同;这样在同步文件数据块时,若没有与之相同的基本块,则直接发送当前文件数据库,若待发送的文件数据库与其中的一个基本块数据相同,则发送该基本块的编号即可。当固件平台接收到文件块数据时,照目标数据库的格式进行转换,并发送至目标数据库。当接收到基本块的编号,则直接将编号发送至目标数据库;目标数据库将对应的基本块数据进行格式转换并保存。这样可以很大程度上将少数据同步量,减少数据备份时间。
另外,本发明实施例还提供了一种数据同步固件平台的具体结构,包括双网口、WIFI模块以及控制模块,所述控制模块包括:
监控单元,用于监测数据库的在线状态,不同的数据库可位于不同的网络;
定位显示单元,用于接收在线数据库上传的设备定位信息,并发送至后台管理终端显示;
设置单元,用于接收远程接收后台管理终端发出的设置的同步机制和同步配置信息,所述同步机制包括即时数据同步、定时数据同步和一次性同步,其中所述即时数据同步为数据发生变化时立即同步数据,所述定时数据同步为设定同步时间或同步时间间隔,所述一次性同步只同步一次数据,用于数据备份;
处理单元,用于根据同步机制,接收源数据库上传的数据,并经格式转换和输出至目标数据库。
作为一种优选结构,所述当所述同步机制为即时数据同步时,所述处理单元,具体包括:
标识字节分配模块,用于接收到增量文件后分析文件头,若所述增量文件的文件头为设备编号,则为源数据库分配一个标识字节,并将所述标识字节发送至所述源数据库,其中所述标识字节具有默认的生存时间,所述标识字节长度小于设备编号的数据长度,在本地,数据同步固件平台为每个标识字节分配一个缓存区,所述缓存区为队列结构;若所述增量文件的文件头为标识字节,则将增量文件添加至对应的缓存区;
扫描读取模块,用于轮循环扫描各个标识字节的缓存区,每扫描缓存区一次,取出缓存区队列头的一个增量文件,并按照目标数据库的数据结构进行格式转换,转换完毕后发送至目标数据库;
字节销毁模块,用于针对每个标识字节,当生存时间结束且对应的缓存区增量文件读取完毕后,将该标识字节销毁,可以用于下一次标识字节分配;
其中所述源数据库包括:
文件检测模块,用于实时检测是否有增量文件,当存在增量文件且所述增量文件为源数据库启动后产生的第一个增量文件时,或者所述增量文件为标识字节生存时间结束后的第一个增量文件,将所述源数据库的设备编号添加至增量文件的文件头,一并发送至数据同步固件平台;
字节添加模块,用于在所述生存时间内,若所述源数据库产生了后续的增量文件时,则源数据库将接收到的标识字节添加到增量文件的文件头,一并发送至数据同步固件平台。
当所述同步机制为定时数据同步时,所述处理单元,具体包括:
数据接收模块,用于接收源数据库发送的数据段;
中断模块,用于发送中断指令;
开始模块,用于发送重新发送指令;
数据删除模块,用于删除最近接收到结束位之后的数据;
格式转换模块,用于接收到的数据段除去结束位后按照目标数据库的数据结构进行格式转换,转换完毕后发送至目标数据库;
其中所述源数据库包括:
文件获取模块,用于当到达定时时刻时,获取当前定时时间段内总增量文件;
文件划分模块,用于将所述总增量文件均分成若干数据段,每一数据段末尾增加结束位,数据段划分大小与上一定时时间段内中断次数成反比;
数据发送模块,用于按照顺序将各个数据段发送至数据同步固件平台;
暂停模块,用于当接收到数据同步固件平台发送的中断指令时,暂停当前数据段发送;
数据重发模块,用于当接收到重新发送指令时,源数据库重新发送当前未发送完成的数据段。
当所述同步机制为一次性同步时,所述处理单元,具体包括:
数据接收转换发送模块,用于接收数据,对于文件块数据,按照目标数据库的格式进行转换,并发送至目标数据库,对于基本块的编号,则直接将编号发送至目标数据库;
其中所述源数据库包括:
数据分块模块,用于将本地所有的数据文件按顺序分块;
基本块设置模块,用于设置多个基本块,所有数据文件中,每个基本块都有若干个文件块数据与之相同;
文件发送模块,用于顺序发送文件块至数据同步固件平台,若当前待发送的文件块与某个基本块数据相同,则发送该基本块的编号至数据同步固件平台;
其中所述目标数据库包括:
转换保存模块,用于当接收到转换后的数据后,直接保存,当接收到基本块的编号后,将该基本块进行格式转换并保存。
综上,本数据同步固件平台是一个可以在多个数据库平台之间使用的同步系统平台,也可用于数据库远程备份,只需要简单的设置源数据库和目标数据库的连接,即可实现针对两个数据库之间的数据同步,方便的实现数据的抽取、资源信息的采集(备份)工作,适用于数据热备、数据提取、资源整合等工作环境,在系统部署中不必更改源数据库与目标数据库的任何数据结构,即可实现双边的数据同步,一切都由硬件平台实现,适用于不同的网络环境。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种数据同步方法,其特征在于,所述方法包括:
监测数据库的在线状态,不同的数据库可位于不同的网络;
接收在线数据库上传的设备定位信息,并发送至后台管理终端显示;
远程接收后台管理终端发出的设置的同步机制和同步配置信息,所述同步机制包括即时数据同步、定时数据同步和一次性同步,其中所述即时数据同步为数据发生变化时立即同步数据,所述定时数据同步为设定同步时间或同步时间间隔,所述一次性同步只同步一次数据,用于数据备份;
根据同步机制,接收源数据库上传的数据,并经格式转换和输出至目标数据库;
当所述同步机制为即时数据同步时,所述接收源数据库上传的数据,并经格式转换和输出至目标数据库步骤,具体包括:
源数据库实时检测是否有增量文件,当存在增量文件且所述增量文件为源数据库启动后产生的第一个增量文件时,或者所述增量文件为标识字节生存时间结束后的第一个增量文件,将所述源数据库的设备编号添加至增量文件的文件头,一并发送至数据同步固件平台;
数据同步固件平台接收到增量文件后分析文件头,若所述增量文件的文件头为设备编号,则为该源数据库分配一个标识字节,并将所述标识字节发送至所述源数据库,其中所述标识字节具有默认的生存时间,所述标识字节长度小于设备编号的数据长度,在本地,数据同步固件平台为每个标识字节分配一个缓存区,所述缓存区为队列结构;若所述增量文件的文件头为标识字节,则将增量文件添加至对应的缓存区;
在所述生存时间内,若所述源数据库产生了后续的增量文件时,则源数据库将接收到的标识字节添加到增量文件的文件头,一并发送至数据同步固件平台;
数据同步固件平台轮循环扫描各个标识字节的缓存区,每扫描缓存区一次,取出缓存区队列头的一个增量文件,并按照目标数据库的数据结构进行格式转换,转换完毕后发送至目标数据库;
针对每个标识字节,当生存时间结束且对应的缓存区增量文件读取完毕后,将该标识字节销毁,可以用于下一次标识字节分配。
2.如权利要求1数据同步方法,其特征在于,当所述同步机制为定时数据同步时,所述接收源数据库上传的数据,并经格式转换和输出至目标数据库步骤,具体包括:
当到达定时时刻时,源数据库获取当前定时时间段内总增量文件;
将所述总增量文件均分成若干数据段,每一数据段末尾增加结束位,数据段划分大小与上一定时时间段内中断次数成反比;
按照顺序将各个数据段发送至数据同步固件平台;
当接收到数据同步固件平台发送的中断指令时,暂停当前数据段发送;
数据同步固件平台删除最近接收到结束位之后的数据;
当接收到重新发送指令时,源数据库重新发送当前未发送完成的数据段;
数据同步固件平台将接收到的数据段除去结束位后按照目标数据库的数据结构进行格式转换,转换完毕后发送至目标数据库。
3.如权利要求2数据同步方法,其特征在于,当所述同步机制为一次性同步时,所述接收源数据库上传的数据,并经格式转换和输出至目标数据库步骤,具体包括:
源数据库将本地所有的数据文件按顺序分块;
设置多个基本块,所有数据文件中,每个基本块都有若干个文件块数据与之相同;
源数据库按照顺序发送文件块至数据同步固件平台,若当前待发送的文件块与某个基本块数据相同,则发送该基本块的编号至数据同步固件平台;
数据同步固件平台接收数据,对于文件块数据,按照目标数据库的格式进行转换,并发送至目标数据库,对于基本块的编号,则直接将编号发送至目标数据库;
当目标数据库接收到转换后的数据后,直接保存,当接收到基本块的编号后,将该基本块进行格式转换并保存。
4.一种数据同步固件平台,其特征在于,所述数据同步固件平台包括双网口、WIFI模块以及控制模块,所述控制模块包括:
监控单元,用于监测数据库的在线状态,不同的数据库可位于不同的网络;
定位显示单元,用于接收在线数据库上传的设备定位信息,并发送至后台管理终端显示;
设置单元,用于接收远程接收后台管理终端发出的设置的同步机制和同步配置信息,所述同步机制包括即时数据同步、定时数据同步和一次性同步,其中所述即时数据同步为数据发生变化时立即同步数据,所述定时数据同步为设定同步时间或同步时间间隔,所述一次性同步只同步一次数据,用于数据备份;
处理单元,用于根据同步机制,接收源数据库上传的数据,并经格式转换和输出至目标数据库;
当所述同步机制为即时数据同步时,所述处理单元,具体包括:
标识字节分配模块,用于接收到增量文件后分析文件头,若所述增量文件的文件头为设备编号,则为源数据库分配一个标识字节,并将所述标识字节发送至所述源数据库,其中所述标识字节具有默认的生存时间,所述标识字节长度小于设备编号的数据长度,在本地,数据同步固件平台为每个标识字节分配一个缓存区,所述缓存区为队列结构;若所述增量文件的文件头为标识字节,则将增量文件添加至对应的缓存区;
扫描读取模块,用于轮循环扫描各个标识字节的缓存区,每扫描缓存区一次,取出缓存区队列头的一个增量文件,并按照目标数据库的数据结构进行格式转换,转换完毕后发送至目标数据库;
字节销毁模块,用于针对每个标识字节,当生存时间结束且对应的缓存区增量文件读取完毕后,将该标识字节销毁,可以用于下一次标识字节分配;
其中所述源数据库包括:
文件检测模块,用于实时检测是否有增量文件,当存在增量文件且所述增量文件为源数据库启动后产生的第一个增量文件时,或者所述增量文件为标识字节生存时间结束后的第一个增量文件,将所述源数据库的设备编号添加至增量文件的文件头,一并发送至数据同步固件平台;
字节添加模块,用于在所述生存时间内,若所述源数据库产生了后续的增量文件时,则源数据库将接收到的标识字节添加到增量文件的文件头,一并发送至数据同步固件平台。
5.如权利要求4所述数据同步固件平台,其特征在于,当所述同步机制为定时数据同步时,所述处理单元,具体包括:
数据接收模块,用于接收源数据库发送的数据段;
中断模块,用于发送中断指令;
开始模块,用于发送重新发送指令;
数据删除模块,用于删除最近接收到结束位之后的数据;
格式转换模块,用于接收到的数据段除去结束位后按照目标数据库的数据结构进行格式转换,转换完毕后发送至目标数据库;
其中所述源数据库包括:
文件获取模块,用于当到达定时时刻时,获取当前定时时间段内总增量文件;
文件划分模块,用于将所述总增量文件均分成若干数据段,每一数据段末尾增加结束位,数据段划分大小与上一定时时间段内中断次数成反比;
数据发送模块,用于按照顺序将各个数据段发送至数据同步固件平台;
暂停模块,用于当接收到数据同步固件平台发送的中断指令时,暂停当前数据段发送;
数据重发模块,用于当接收到重新发送指令时,源数据库重新发送当前未发送完成的数据段。
6.如权利要求4所述数据同步固件平台,其特征在于,当所述同步机制为一次性同步时,所述处理单元,具体包括:
数据接收转换发送模块,用于接收数据,对于文件块数据,按照目标数据库的格式进行转换,并发送至目标数据库,对于基本块的编号,则直接将编号发送至目标数据库;
其中所述源数据库包括:
数据分块模块,用于将本地所有的数据文件按顺序分块;
基本块设置模块,用于设置多个基本块,所有数据文件中,每个基本块都有若干个文件块数据与之相同;
文件发送模块,用于顺序发送文件块至数据同步固件平台,若当前待发送的文件块与某个基本块数据相同,则发送该基本块的编号至数据同步固件平台;
其中所述目标数据库包括:
转换保存模块,用于当接收到转换后的数据后,直接保存,当接收到基本块的编号后,将该基本块进行格式转换并保存。
CN201510944648.9A 2015-12-17 2015-12-17 一种数据同步方法及数据同步固件平台 Active CN105554114B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510944648.9A CN105554114B (zh) 2015-12-17 2015-12-17 一种数据同步方法及数据同步固件平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510944648.9A CN105554114B (zh) 2015-12-17 2015-12-17 一种数据同步方法及数据同步固件平台

Publications (2)

Publication Number Publication Date
CN105554114A CN105554114A (zh) 2016-05-04
CN105554114B true CN105554114B (zh) 2018-11-02

Family

ID=55833046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510944648.9A Active CN105554114B (zh) 2015-12-17 2015-12-17 一种数据同步方法及数据同步固件平台

Country Status (1)

Country Link
CN (1) CN105554114B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202365B (zh) * 2016-07-07 2020-01-31 帅斌鹏 数据库更新同步的方法、系统及数据库集群
CN106407306A (zh) * 2016-08-31 2017-02-15 天津南大通用数据技术股份有限公司 数据持久化分布的方法及装置
CN106570135A (zh) * 2016-10-27 2017-04-19 深圳市中科长海科技股份有限公司 数据库数据同步方法和装置
CN107506436B (zh) * 2017-08-23 2020-12-25 福建星瑞格软件有限公司 一种用于物联网数据库存储性能测试的方法以及装置
CN109446253A (zh) * 2018-09-25 2019-03-08 平安科技(深圳)有限公司 数据查询控制方法、装置、计算机设备及存储介质
CN109600423B (zh) * 2018-11-20 2021-07-06 深圳绿米联创科技有限公司 数据同步方法、装置、电子设备及存储介质
CN109829016B (zh) * 2019-01-25 2021-06-01 网宿科技股份有限公司 一种数据同步方法及装置
CN111367994A (zh) * 2019-06-27 2020-07-03 北京关键科技股份有限公司 数据库增量数据同步备份方法及系统
CN110362287A (zh) * 2019-07-11 2019-10-22 深圳市酷开网络科技有限公司 远程跨算数据屏切换、显示方法、装置、显示终端及系统
CN110928947A (zh) * 2019-10-16 2020-03-27 中国平安财产保险股份有限公司 基于kettle的数据同步方法、装置及相关设备
CN112380291B (zh) * 2020-11-20 2022-10-21 上海许继电气有限公司 一种故障信息保护系统的自动同步方法及装置
CN113726840B (zh) * 2021-06-18 2023-07-04 广东电网有限责任公司佛山供电局 一种调度一体化平台数据回流与增量同步的系统和方法
CN116800691B (zh) * 2023-08-25 2023-11-21 明度智云(浙江)科技有限公司 一种缓存数据分割处理方法、系统和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5459860A (en) * 1992-10-05 1995-10-17 International Business Machines Corporation Computerized system and process for managing a distributed database system
CN101620624B (zh) * 2009-08-13 2011-07-06 公安部第一研究所 一种物理隔离条件下不同数据库间数据同步的方法
CN102368261A (zh) * 2011-10-14 2012-03-07 成都勤智数码科技有限公司 一种可扩展的运维报表生成方法
CN103136070B (zh) * 2011-11-30 2015-08-05 阿里巴巴集团控股有限公司 一种数据容灾处理的方法和装置
US9323799B2 (en) * 2013-09-21 2016-04-26 Oracle International Corporation Mechanism to run OLTP workload on in-memory database under memory pressure
EP2927826B1 (en) * 2014-04-04 2022-06-29 Avid Technology, Inc. Method of consolidating, synchronizing, and streaming production content for distributed editing of media compositions
CN104820701B (zh) * 2015-05-11 2018-02-06 北京瑞星信息技术股份有限公司 数据记录和同步方法及系统

Also Published As

Publication number Publication date
CN105554114A (zh) 2016-05-04

Similar Documents

Publication Publication Date Title
CN105554114B (zh) 一种数据同步方法及数据同步固件平台
CN104731912B (zh) 一种消息中间件mq的消息传输方法和装置
Linderman et al. TinyOS‐based real‐time wireless data acquisition framework for structural health monitoring and control
US20070106775A1 (en) System and method for creating a proximity map of plurality of living beings and objects
Chenji et al. Distressnet: A disaster response system providing constant availability cloud-like services
CN104935634B (zh) 基于分布共享存储的移动设备数据共享方法
CA2524794A1 (en) System to capture, transmit and persist backup and recovery meta data
DE60318873D1 (de) Verfahren zur überwachung von protokolldateneinheiten zugewiesenen übertragungssequenzzahlen zur erk
CN102045362A (zh) 一种基于udp协议的数据传输方法和系统
CN102571451A (zh) 一种网元及其上传mr消息的方法
WO2019007114A1 (zh) 数据传输方法及装置
Karthik et al. Challenges of wireless sensor networks and issues associated with time synchronization
CN105391524B (zh) Qar数据自动化管理方法及系统
CN108293063A (zh) 用于网络挂毯和瞬间粒度上的信息弹弓的系统和方法
CN107995250A (zh) 自动抄表系统及方法
EP3000262B1 (en) A method and apparatus for recording information from a plurality of mobile devices in an area
CN106487880B (zh) 一种基于北斗短报文通信的灾害发生区域传输系统
CN106603635A (zh) 一种平台数据异地备份方法
CN103698775A (zh) Gps数据自动采集和转储系统及方法
CN103617501B (zh) 一种变电站运维检修方法
WO2015123571A1 (en) System and method for the passive monitoring and reporting of network content on usb cables
CN104753583A (zh) 用于公共应急安全中的标绘数据采集系统及方法
CN203870785U (zh) 一种基于物联网的灾害检测数据通信系统
CN103957266A (zh) 一种通信系统的设备集中控制方法
CN204408357U (zh) 基于北斗卫星的可靠数据传输系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant