CN110502575A - 一种数据同步的方法、装置以及设备 - Google Patents
一种数据同步的方法、装置以及设备 Download PDFInfo
- Publication number
- CN110502575A CN110502575A CN201910714808.9A CN201910714808A CN110502575A CN 110502575 A CN110502575 A CN 110502575A CN 201910714808 A CN201910714808 A CN 201910714808A CN 110502575 A CN110502575 A CN 110502575A
- Authority
- CN
- China
- Prior art keywords
- data
- node
- synchronize
- trans
- synchronous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004590 computer program Methods 0.000 claims description 13
- 238000007726 management method Methods 0.000 description 48
- 238000003860 storage Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000013523 data management Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据同步的方法，所述方法包括：接收用户向管理配置平台输入的数据同步指令，其中，所述数据同步指令包括所需同步的数据以及数据同步涉及的节点；数据同步前判断所述数据同步涉及的节点是否跨区域；若判断出所述数据同步涉及的节点跨区域时，根据预先存储在元数据管理平台的所述节点对应的配置信息，对所述节点间的数据进行同步，其中，所述配置信息包括所述节点所包含的元数据以及所述节点对应的数据同步规则。本发明根据预先存储在元数据管理平台的节点对应的配置信息对节点间的数据进行同步，使得节点间跨区域进行数据同步时可以更加顺畅。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据同步的方法、装置以及设备。
背景技术
数据同步是为了避免因意外(如火灾、地震等)而造成的损失，而将不同数据机房的数据进行远程同步。比如，在同一地区的不同地点建立两个数据机房，如果其中一个数据机房因意外而使数据机房内的数据丢失，还是可以使用另一个数据机房的数据，从而保证了数据的安全性。
现有的数据同步仅能解决同区域的数据同步，但在国际化场景下，所处区域不同，可能数据在同步时因规定不同，某些数据不能进行跨区域的同步，在数据同步过程中可能被监控系统拦截，从而使得数据无法实现同步。
发明内容
有鉴于此，本申请实施例提供了一种数据同步的方法、装置以及设备，用于解决现有技术中节点间跨区域进行数据同步时可能无法实现的问题。
本申请实施例采用下述技术方案：
本申请实施例提供一种数据同步的方法，所述方法包括：
接收用户向管理配置平台输入的数据同步指令，其中，所述数据同步指令包括所需同步的数据以及数据同步涉及的节点；
数据同步前判断所述数据同步涉及的节点是否跨区域；
若判断出所述数据同步涉及的节点跨区域时，根据预先存储在元数据管理平台的所述节点对应的配置信息，对所述节点间的数据进行同步，其中，所述配置信息包括所述节点所包含的元数据以及所述节点对应的数据同步规则。
可选的，所述根据需求接收向管理配置平台输入的数据同步指令之前，所述方法还包括：
接收节点向元数据管理平台发送的节点对应的配置信息。
可选的，所述节点是根据业务类型进行划分；
所述节点间的数据进行同步时，发生在同种业务类型的节点之间。
可选的，所述节点对应的数据同步规则为该节点所处区域规定的数据同步规则，具体包括：
节点所在区域对于该节点的数据规定的可同步的区域。
可选的，所述节点间的数据进行同步包括同区域的单节点对单节点间的数据进行同步、同区域的单节点对多节点间的数据进行同步、同区域的多节点对单节点间的数据进行同步、跨区域的单节点对单节点间的数据进行同步、跨区域的单节点对多节点间的数据进行同步或跨区域多节点对单节点间的数据进行同步。
本申请实施例提供一种数据同步的装置，所述装置包括：
接收单元，用于接收用户向管理配置平台输入的数据同步指令，其中，所述数据同步指令包括所需同步的数据以及数据同步涉及的节点；
判断单元，用于数据同步前判断所述数据同步涉及的节点是否跨区域；
同步单元，用于若判断出所述数据同步涉及的节点跨区域时，根据预先存储在元数据管理平台的所述节点对应的配置信息，对所述节点间的数据进行同步，其中，所述配置信息包括所述节点所包含的元数据以及所述节点对应的数据同步规则。
可选的，所述接收单元还用于接收节点向元数据管理平台发送的节点对应的配置信息。
可选的，所述节点是根据业务类型进行划分；
所述节点间的数据进行同步时，发生在同种业务类型的节点之间。
可选的，所述节点对应的数据同步规则为该节点所处区域规定的数据同步规则，具体包括：
节点所在区域对于该节点的数据规定的可同步的区域。
可选的，所述节点间的数据进行同步包括同区域的单节点对单节点间的数据进行同步、同区域的单节点对多节点间的数据进行同步、同区域的多节点对单节点间的数据进行同步、跨区域的单节点对单节点间的数据进行同步、跨区域的单节点对多节点间的数据进行同步或跨区域多节点对单节点间的数据进行同步。
本申请实施例提供一种数据同步的设备，该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该设备执行以下装置：
接收单元，用于接收用户向管理配置平台输入的数据同步指令，其中，所述数据同步指令包括所需同步的数据以及数据同步涉及的节点；
判断单元，用于数据同步前判断所述数据同步涉及的节点是否跨区域；
同步单元，用于若判断出所述数据同步涉及的节点跨区域时，根据预先存储在元数据管理平台的所述节点对应的配置信息，对所述节点间的数据进行同步，其中，所述配置信息包括所述节点所包含的元数据以及所述节点对应的数据同步规则。
本说明书提供的一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行下述方法：
接收用户向管理配置平台输入的数据同步指令，其中，所述数据同步指令包括所需同步的数据以及数据同步涉及的节点；
数据同步前判断所述数据同步涉及的节点是否跨区域；
若判断出所述数据同步涉及的节点跨区域时，根据预先存储在元数据管理平台的所述节点对应的配置信息，对所述节点间的数据进行同步，其中，所述配置信息包括所述节点所包含的元数据以及所述节点对应的数据同步规则。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本发明根据预先存储在元数据管理平台的节点对应的配置信息对节点间的数据进行同步，使得节点间跨区域进行数据同步时可以更加顺畅。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本说明书实施例一提供的数据同步的方法的流程示意图；
图2为本说明书实施例二提供的数据同步的方法的流程示意图；
图3为本说明书实施例二提供的数据同步的具体场景的结构示意图；
图4为本说明书实施例三提供的数据同步的装置的结构示意图。
具体实施方式
现有的数据同步大都采用分布式数据库同步技术,该技术是基于Microsoft.Net的分布式数据库模型和Oracle分布式数据库模型所提出，但现有技术仅能解决同区域的数据同步，国际化场景下，所处区域不同，可能数据在同步时因规定不同，某些数据不能进行跨区域的同步，在数据同步过程中可能导致数据被拦截，从而使得数据无法同步，比如，A区域规定C节点的a数据不允许同步出境，B区域规定C节点的所有数据皆允许同步出境，当需要实现A区域的C节点数据与B区域的C节点的数据进行双向同步时，若直接使用现有的数据同步方法，因A区域的规定，可能导致C节点的全部数据被A区域拦截，最终无法实现A区域与B区域的C节点的数据进行双向同步。
针对上述问题，本申请提出以下方案，为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
本发明实施例一提供了一种数据同步的方法，参见图1示出的数据同步的方法的流程示意图，该流程示意图包括：
步骤S101，接收用户向管理配置平台输入的数据同步指令，其中，数据同步指令包括所需同步的数据以及数据同步涉及的节点。
在本说明书实施例步骤S101中，管理配置平台可以为可视化的分布式管理配置平台。在管理配置平台进行数据同步时，根据实际的业务需求可以在管理配置平台的操作界面勾选出数据同步涉及的节点以及需要同步的数据。其中，每个节点是根据业务类型进行划分，每个节点中的数据是同种业务类型的数据，节点间的数据同步是发生在同种业务类型的节点之间，比如，A节点存储a业务类型的数据，A节点也只能与存储a业务类型数据的节点进行数据同步。现有技术并未根据业务类型对数据进行划分，所以在数据同步时需要对整体的数据进行同步，从而导致在数据同步时占用过多的内存资源，影响数据同步的效率。若是跨区域的数据同步时，因某些数据无法出境时，可能会将整体数据进行拦截，最终影响数据的同步。此外，现在技术也并未应用可视化的管理配置平台，而是通过输入同步指令进行数据同步。
在本说明书实施例步骤S101中，在管理配置平台进行数据同步时涉及的节点可以为多个节点，节点间的数据进行同步可以包括同区域的单节点对单节点间的数据进行同步、同区域的单节点对多节点间的数据进行同步、同区域的多节点对单节点间的数据进行同步、跨区域的单节点对单节点间的数据进行同步、跨区域的单节点对多节点间的数据进行同步或跨区域多节点对单节点间的数据进行同步，比如，同区域的单节点对单节点间的数据进行同步可以为：A区域的D节点与A区域的E节点进行数据同步(D节点的数据与E节点的数据为相同业务类型的数据)；跨区域的单节点对多节点间的数据进行同步：A区域的D节点与A区域的E节点进行数据同步，同时，A区域的D节点与B区域的F节点进行数据同步(D节点、E节点以及F节点皆为相同业务类型的数据)，其中，D节点为上述的单点，E节点与F节点为上述的多点。数据同步时可以是单方向，也可以是双方向，根据实际需求可以在数据管理平台进行设置，所以上述说法中单节点对多节点间的数据进行同步与多节点对单节点间的数据进行同步是存在区别的。
步骤S102，数据同步前判断数据同步涉及的节点是否跨区域，若是，则执行步骤S103；若否，则执行步骤S104。
在本说明书实施例步骤S102中，若是应用基于Microsoft.Net的分布式数据库模型和Oracle分布式数据库模型所提出的分布式数据库同步技术，最终可能将所有的数据进行同步，由于数据在同步时各区域规定可能存在差异，并不是所有数据皆可以进行数据同步，因此，应用基于Microsoft.Net的分布式数据库模型和Oracle分布式数据库模型进行数据同步时，可能会因违反各区域的规定而使得同步的数据被拦截系统拦截，最终使得数据无法进行同步，所以，在本说明书的实施例中，需要先提前判断发生数据同步涉及的节点是否跨区域，根据判断的结果分别实施下述步骤。
步骤S103，根据预先存储在元数据管理平台的节点对应的配置信息，对节点间的数据进行同步，其中，配置信息包括节点所包含的元数据以及节点对应的数据同步规则。
在本说明书实施例步骤S103中，上一步骤中，判断数据同步涉及的节点是否跨区域，可以是根据该区域的节点相对应的数据同步规则来确定，比如，A节点处于C地区(地区可以为国家，比如中国或美国；也可以为国际组织，比如欧盟)，B节点处于D地区，规定中A节点的数据可以同步到B节点，B节点的数据也是可以同步到A节点，即使A节点与B节点相处于不同的地区，在同步A节点与B节点时，C地区与D地区也属于同区域，若是规定C地区的E节点某些数据不可以同步到D地区的F节点，那么在同步E节点与F节点时，C地区与D地区属于跨区域。
在本说明书实施例步骤S103中，若判断出数据同步涉及的节点跨区域时，执行该步骤，可以在管理配置平台的操作界面勾选需要同步的数据以及同步数据时涉及的节点，即可完成节点间数据同步的配置工作，但在管理配置平台进行数据同步前，还需要提前设置每个节点对应的数据同步规则，以使得各个节点在数据同步时顺利完成。其中，节点对应的数据同步规则为该节点所处区域所规定的数据同步规则，具体包括:节点所在区域对于该节点的数据规定的可同步的区域。比如，A节点存在含有a、b等100个数据，并且需要对A节点向B节点进行数据同步，其中，A节点的数据与B节点的数据为同种业务类型的数据，若是A节点存在于C区域，B节点存在于D区域，C区域规定A节点的a数据不允许进行同步出境，D区域规定B节点的所有数据皆允许同步出境，若是应用现有技术对A节点的数据与B节点的数据直接进行同步，C区域发现同步的数据中存在违规数据，将会拦截A节点的数据，最终使得数据无法进行同步，而本申请在实现A节点对B节点间的数据同步时，根据预先存储的节点对应的数据同步规则可以将A节点的数据(除数据a)同步至B节点，B节点的所有数据同步至A节点。
在本说明书实施例步骤S103中，元数据狭义的解释是用来描述数据的数据，广义的来看，除了业务逻辑直接读写处理的那些业务数据，所有其它用来维持整个系统运转所需的信息/数据都可以叫元数据，比如，数据表格的Schema信息，用户和脚本/任务的权限映射关系信息等。
在本说明书实施例步骤S103中，执行对节点间的数据进行同步的步骤之前，每个节点需要将各自的元数据(包括节点信息、业务类型等)及各节点对应的数据同步规则上传到元数据管理平台，元数据管理平台会将相关信息同步到管理配置平台，用户通过管理配置平台的交互界面查看配置操作，并根据配置操作将相关配置信息会下发到配置下发系统(此时配置下发系统会通过管理配置平台获取各节点的元数据)，通过配置下发系统将元数据及各节点对应的数据同步规则下发到对应的节点，以此来更新对应节点的元数据，各节点获取到下发的配置信息(配置信息包括节点所包含的元数据以及节点对应的数据同步规则)后，相应节点的存储单元(存储单元还可以称为存储节点)根据配置信息建立同步链路，最终完成数据同步。
在本说明书实施例步骤S103中，若是存在拦截系统，根据预先存储在元数据管理平台的节点对应的配置信息，跨区域对节点间的数据进行同步时，可以有效的防止数据同步时数据被监控系统拦截。
步骤S104，直接对节点间的数据进行同步。
在本说明书实施例步骤S104中，若判断出数据同步涉及的节点不跨区域时，执行该步骤，可以在管理配置平台的操作界面勾选需要同步的数据以及同步数据时涉及的节点，即可完成节点间数据同步的配置工作。
本说明书实施例先是接收用户向管理配置平台输入的数据同步指令，使得系统获知用户的意图，但数据同步涉及的节点若是发生在跨区域时，可能因不同区域对应的数据同步规则不同，而无法进行顺畅的数据同步，所以，本发明根据预先存储在元数据管理平台的节点对应的配置信息对节点间的数据进行同步，解决了现有技术中节点间跨区域进行数据同步时可能无法实现的问题，使得节点间跨区域进行数据同步时更加顺畅。
与上述实施例一对应的，本发明实施例二还提供了一种数据同步的方法，参见图2示出的数据同步的方法的流程示意图，该流程示意图包括：
步骤S201，接收节点向元数据管理平台发送的节点对应的配置信息，其中，配置信息包括节点所包含的元数据以及节点对应的数据同步规则。
在本说明书实施例步骤S201中，元数据管理平台预先存储各个节点对应的配置信息，为后续的步骤提供保证。
步骤S202，接收用户向管理配置平台输入的数据同步指令，其中，数据同步指令包括所需同步的数据以及数据同步涉及的节点。
在本说明书实施例步骤S202中，与前述步骤S101相同，不再赘述。
步骤S203，数据同步前判断数据同步涉及的节点是否跨区域，若是，则执行步骤S204；若否，则执行步骤S205。
在本说明书实施例步骤S203中，与前述步骤S102相同，不再赘述。
步骤S204，根据存储在元数据管理平台的节点对应的配置信息，对节点间的数据进行同步。
在本说明书实施例步骤S204中，与前述步骤S103相同，不再赘述。
步骤S205，直接对节点间的数据进行同步。
在本说明书实施例步骤S205中，与前述步骤S104相同，不再赘述。
本说明书实施例先是接收用户向管理配置平台输入的数据同步指令，使得系统获知用户的意图，但数据同步涉及的节点若是发生在跨区域时，可能因不同区域对应的数据同步规则不同，而无法将数据进行同步，所以，本发明根据预先存储在元数据管理平台的节点对应的配置信息对节点间的数据进行同步，解决了现有技术中节点间跨区域进行数据同步时可能无法实现的问题，使得节点间跨区域进行数据同步时更加顺畅。
此外，本说明书提供了数据同步的具体场景举例，参见图3，SG01与SG02为SG区域的节点列表，在SG01与SG02中皆包括LZADA、DARAZ、HK以及GKA节点，上述四个节点分别代表四个不同的业务类型数据；US01与US02为US区域的节点列表，在US01与US02中皆包含AE、天猫、HK以及GKA节点，上述四个节点分别代表四个不同的业务类型数据。每个节点内皆包括存储单元，在存储单元内设置存储列表，用来存储不同的数据。
首先，SG01、SG02、US01以及US02中所有节点的元数据以及每个节点对应的数据同步规则发送至元数据管理平台，经由元数据管理平台处理后发送至管理配置平台，根据业务需求由用户向管理配置平台输入数据同步指令，再由管理配置平台将上述指令发送至配置下发系统，最终由配置下发系统对SG01、SG02、US01以及US02中的各个节点下发数据同步的指令。
其中，同在SG区域的SG01与SG02的相同业务类型的节点，或者同在US区域的US01与US02的相同业务类型的节点，可以实现双向的数据同步，但在SG02与US01进行HK节点的数据同步时，根据US区域的规定，不允许将US区域中HK节点的数据同步至SG区域中的HK节点。SG02与US01进行GKA节点的跨区域数据同步时，因两区域的规定，允许将GKA节点实现双向的数据同步。
此外，在图中示出的US01与US02的HK节点的数据分别将数据共享至US01与US02的天猫节点，本申请中数据共享可以是发生在不同业务类型且同区域节点之间的单向操作，若是跨区域的节点之间需要共享数据时，可以先进行跨区域的数据同步，之后在同区域内进行数据的共享，比如，图3中US01区域的天猫节点需要HK节点的某些数据，可以将该区域的HK节点的数据通过数据共享完成上述操作。
与上述实施例一对应的，本发明实施例三还提供了一种数据同步的装置，参见图4示出的数据同步的装置的结构示意图，该结构示意图包括：接收单元1、判断单元2、同步单元3。
接收单元1用于接收用户向管理配置平台输入的数据同步指令，其中，所述数据同步指令包括所需同步的数据以及数据同步涉及的节点；
判断单元2用于数据同步前判断所述数据同步涉及的节点是否跨区域；
同步单元3用于若判断出所述数据同步涉及的节点跨区域时，根据预先存储在元数据管理平台的所述节点对应的配置信息，对所述节点间的数据进行同步，其中，所述配置信息包括所述节点所包含的元数据以及所述节点对应的数据同步规则。
接收单元1还用于接收节点向元数据管理平台发送的节点对应的配置信息。
所述节点是根据业务类型进行划分；
所述节点间的数据进行同步时，发生在同种业务类型的节点之间。
所述节点对应的数据同步规则为该节点所处区域规定的数据同步规则，具体包括：
节点所在区域对于该节点的数据规定的可同步的区域。
所述节点间的数据进行同步包括同区域的单节点对单节点间的数据进行同步、同区域的单节点对多节点间的数据进行同步、同区域的多节点对单节点间的数据进行同步、跨区域的单节点对单节点间的数据进行同步、跨区域的单节点对多节点间的数据进行同步或跨区域多节点对单节点间的数据进行同步。
本说明书实施例先是接收单元接收用户向管理配置平台输入的数据同步指令，使得系统获知用户的意图，但数据同步涉及的节点若是发生在跨区域时，可能因不同区域对应的数据同步规则不同，而无法进行顺畅的数据同步，所以，本发明的同步单元根据预先存储在元数据管理平台的节点对应的配置信息对节点间的数据进行同步，解决了现有技术中节点间跨区域进行数据同步时可能无法实现的问题，使得节点间跨区域进行数据同步时更加顺畅。
本申请实施例提供一种数据同步的设备，该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该设备执行以下装置：
接收单元，用于接收用户向管理配置平台输入的数据同步指令，其中，所述数据同步指令包括所需同步的数据以及数据同步涉及的节点；
判断单元，用于数据同步前判断所述数据同步涉及的节点是否跨区域；
同步单元，用于若判断出所述数据同步涉及的节点跨区域时，根据预先存储在元数据管理平台的所述节点对应的配置信息，对所述节点间的数据进行同步，其中，所述配置信息包括所述节点所包含的元数据以及所述节点对应的数据同步规则。
本说明书提供的一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行下述方法：
接收用户向管理配置平台输入的数据同步指令，其中，所述数据同步指令包括所需同步的数据以及数据同步涉及的节点；
数据同步前判断所述数据同步涉及的节点是否跨区域；
若判断出所述数据同步涉及的节点跨区域时，根据预先存储在元数据管理平台的所述节点对应的配置信息，对所述节点间的数据进行同步，其中，所述配置信息包括所述节点所包含的元数据以及所述节点对应的数据同步规则。
基于国际化大背景下，不同业务类型的数据在全球各地飞速扩张。不同国家和区域对数据同步存在不同的同步规则，针对这种复杂的国际化场景，提出了上述方案。根据不同区域的不同的同步规则制定相应的数据容灾策略，保证各个节点数据的高可用；同时通过管理配置平台提供可视化的配置能力，提高运营效率，既可以做同城数据同步，又可以实现跨区域的数据同步。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (11)
1.一种数据同步的方法，所述方法包括：
接收用户向管理配置平台输入的数据同步指令，其中，所述数据同步指令包括所需同步的数据以及数据同步涉及的节点；
数据同步前判断所述数据同步涉及的节点是否跨区域；
若判断出所述数据同步涉及的节点跨区域时，根据预先存储在元数据管理平台的所述节点对应的配置信息，对所述节点间的数据进行同步，其中，所述配置信息包括所述节点所包含的元数据以及所述节点对应的数据同步规则。
2.如权利要求1所述的数据同步的方法，所述根据需求接收向管理配置平台输入的数据同步指令之前，所述方法还包括：
接收节点向元数据管理平台发送的节点对应的配置信息。
3.如权利要求1所述的数据同步的方法，所述节点是根据业务类型进行划分；
所述节点间的数据进行同步时，发生在同种业务类型的节点之间。
4.如权利要求1所述的数据同步的方法，所述节点对应的数据同步规则为该节点所处区域规定的数据同步规则，具体包括：
节点所在区域对于该节点的数据规定的可同步的区域。
5.如权利要求1所述的数据同步的方法，所述节点间的数据进行同步包括同区域的单节点对单节点间的数据进行同步、同区域的单节点对多节点间的数据进行同步、同区域的多节点对单节点间的数据进行同步、跨区域的单节点对单节点间的数据进行同步、跨区域的单节点对多节点间的数据进行同步或跨区域多节点对单节点间的数据进行同步。
6.一种数据同步的装置，所述装置包括：
接收单元，用于接收用户向管理配置平台输入的数据同步指令，其中，所述数据同步指令包括所需同步的数据以及数据同步涉及的节点；
判断单元，用于数据同步前判断所述数据同步涉及的节点是否跨区域；
同步单元，用于若判断出所述数据同步涉及的节点跨区域时，根据预先存储在元数据管理平台的所述节点对应的配置信息，对所述节点间的数据进行同步，其中，所述配置信息包括所述节点所包含的元数据以及所述节点对应的数据同步规则。
7.如权利要求6所述的数据同步的装置，所述接收单元还用于接收节点向元数据管理平台发送的节点对应的配置信息。
8.如权利要求6所述的数据同步的装置，所述节点是根据业务类型进行划分；
所述节点间的数据进行同步时，发生在同种业务类型的节点之间。
9.如权利要求6所述的数据同步的装置，所述节点对应的数据同步规则为该节点所处区域规定的数据同步规则，具体包括：
节点所在区域对于该节点的数据规定的可同步的区域。
10.如权利要求6所述的数据同步的装置，所述节点间的数据进行同步包括同区域的单节点对单节点间的数据进行同步、同区域的单节点对多节点间的数据进行同步、同区域的多节点对单节点间的数据进行同步、跨区域的单节点对单节点间的数据进行同步、跨区域的单节点对多节点间的数据进行同步或跨区域多节点对单节点间的数据进行同步。
11.一种数据同步的设备，该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该设备执行权利要求6至10中任一项所述的装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910714808.9A CN110502575B (zh) | 2019-08-02 | 2019-08-02 | 一种数据同步的方法、装置以及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910714808.9A CN110502575B (zh) | 2019-08-02 | 2019-08-02 | 一种数据同步的方法、装置以及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110502575A true CN110502575A (zh) | 2019-11-26 |
| CN110502575B CN110502575B (zh) | 2024-04-30 |
Family
ID=68588025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910714808.9A Active CN110502575B (zh) | 2019-08-02 | 2019-08-02 | 一种数据同步的方法、装置以及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110502575B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113315795A (zh) * | 2020-02-26 | 2021-08-27 | 顺丰科技有限公司 | 云主机镜像的同步方法、装置和存储介质 |
| CN113656496A (zh) * | 2021-07-30 | 2021-11-16 | 星辰天合（北京）数据科技有限公司 | 数据处理方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020120762A1 (en) * | 2001-01-18 | 2002-08-29 | Shang-Che Cheng | Globalization management system and method therefor |
| CN1728717A (zh) * | 2004-07-27 | 2006-02-01 | 邓里文 | 一种以太网与准同步数字体系融合的适配方法 |
| US20080313355A1 (en) * | 2007-06-12 | 2008-12-18 | Palm, Inc. | Data Synchronization Transparent to Application |
| CN101854400A (zh) * | 2010-06-09 | 2010-10-06 | 中兴通讯股份有限公司 | 一种数据库同步部署及监控的方法和装置 |
| CN101933291A (zh) * | 2008-01-31 | 2010-12-29 | 微软公司 | 用于多主同步环境的基于知识的框架中的对象的启动和期满 |
| CN105389219A (zh) * | 2015-10-15 | 2016-03-09 | 北京乐动卓越科技有限公司 | 一种跨机房通讯的方法和系统 |
| CN106776894A (zh) * | 2016-11-29 | 2017-05-31 | 北京众享比特科技有限公司 | 日志数据库系统和同步方法 |
| CN106921703A (zh) * | 2015-12-25 | 2017-07-04 | 阿里巴巴集团控股有限公司 | 跨境数据同步的方法、系统，以及境内和境外数据中心 |
| CN110060011A (zh) * | 2019-04-12 | 2019-07-26 | 山东师范大学 | 一种生鲜物流数据管理方法、装置及系统 |
-
2019
- 2019-08-02 CN CN201910714808.9A patent/CN110502575B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020120762A1 (en) * | 2001-01-18 | 2002-08-29 | Shang-Che Cheng | Globalization management system and method therefor |
| CN1728717A (zh) * | 2004-07-27 | 2006-02-01 | 邓里文 | 一种以太网与准同步数字体系融合的适配方法 |
| US20080313355A1 (en) * | 2007-06-12 | 2008-12-18 | Palm, Inc. | Data Synchronization Transparent to Application |
| CN101933291A (zh) * | 2008-01-31 | 2010-12-29 | 微软公司 | 用于多主同步环境的基于知识的框架中的对象的启动和期满 |
| CN101854400A (zh) * | 2010-06-09 | 2010-10-06 | 中兴通讯股份有限公司 | 一种数据库同步部署及监控的方法和装置 |
| CN105389219A (zh) * | 2015-10-15 | 2016-03-09 | 北京乐动卓越科技有限公司 | 一种跨机房通讯的方法和系统 |
| CN106921703A (zh) * | 2015-12-25 | 2017-07-04 | 阿里巴巴集团控股有限公司 | 跨境数据同步的方法、系统，以及境内和境外数据中心 |
| CN106776894A (zh) * | 2016-11-29 | 2017-05-31 | 北京众享比特科技有限公司 | 日志数据库系统和同步方法 |
| CN110060011A (zh) * | 2019-04-12 | 2019-07-26 | 山东师范大学 | 一种生鲜物流数据管理方法、装置及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113315795A (zh) * | 2020-02-26 | 2021-08-27 | 顺丰科技有限公司 | 云主机镜像的同步方法、装置和存储介质 |
| CN113315795B (zh) * | 2020-02-26 | 2024-03-05 | 顺丰科技有限公司 | 云主机镜像的同步方法、装置和存储介质 |
| CN113656496A (zh) * | 2021-07-30 | 2021-11-16 | 星辰天合（北京）数据科技有限公司 | 数据处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110502575B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107196989B (zh) | 一种业务请求的处理方法及装置 | |
| CN110096528A (zh) | 一种分布式系统中生成序列的方法、装置及系统 | |
| CN110134668A (zh) | 应用于区块链的数据迁移方法、装置和设备 | |
| CN109634561A (zh) | 一种在线可视化编程方法及装置 | |
| CN109819048A (zh) | 数据同步方法、装置、终端及存储介质 | |
| CN108959341A (zh) | 一种数据同步的方法、装置及设备 | |
| CN109756442A (zh) | 基于混淆电路的数据统计方法、装置以及设备 | |
| CN107196772A (zh) | 一种广播消息的方法及装置 | |
| TWI742332B (zh) | 資訊推送方法、裝置及設備 | |
| CN110502575A (zh) | 一种数据同步的方法、装置以及设备 | |
| CN109033127A (zh) | 一种同步数据校验方法、装置以及设备 | |
| CN108415792A (zh) | 容灾系统、方法、装置及设备 | |
| WO2020134678A1 (zh) | 容灾方法、装置及系统 | |
| CN108304455A (zh) | 一种处理业务请求的方法、装置及设备 | |
| CN109922298A (zh) | 会议室监控方法和装置 | |
| WO2021239087A1 (zh) | 一种数据处理方法、装置、设备及介质 | |
| CN110134503A (zh) | 一种集群环境下的定时任务处理方法、装置及存储介质 | |
| CN109902077A (zh) | 一种业务请求处理方法、装置及设备 | |
| CN109002357A (zh) | 资源分配方法、装置及物联网系统 | |
| CN110460435A (zh) | 数据交互方法、装置、服务器和电子设备 | |
| CN108390914A (zh) | 一种服务更新方法及装置、系统 | |
| CN110427426A (zh) | 一种数据同步处理方法及装置 | |
| CN105991463A (zh) | 实现流量控制的方法、消息主节点、令牌服务器及系统 | |
| CN110119381A (zh) | 一种索引更新方法、装置、设备及介质 | |
| CN109118361A (zh) | 额度管理方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201012 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Innovative advanced technology Co.,Ltd. Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant before: Advanced innovation technology Co.,Ltd. Effective date of registration: 20201012 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Advanced innovation technology Co.,Ltd. Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Applicant before: Alibaba Group Holding Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |