CN113377871B - 数据同步方法、装置及存储介质 - Google Patents
数据同步方法、装置及存储介质 Download PDFInfo
- Publication number
- CN113377871B CN113377871B CN202110688989.XA CN202110688989A CN113377871B CN 113377871 B CN113377871 B CN 113377871B CN 202110688989 A CN202110688989 A CN 202110688989A CN 113377871 B CN113377871 B CN 113377871B
- Authority
- CN
- China
- Prior art keywords
- identifier
- data
- data model
- mapping relation
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013499 data model Methods 0.000 claims abstract description 73
- 238000013507 mapping Methods 0.000 claims abstract description 37
- 238000006243 chemical reaction Methods 0.000 claims abstract description 23
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012827 research and development Methods 0.000 abstract description 9
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种数据同步方法、装置及存储介质，用于将关系型数据模型中存储的第一类型数据和大数据模型中存储的第二类型数据进行同步，包括：获取第一类型数据中任意一个数据唯一的第一标识；获取第二类型数据中任意一个数据唯一的第二标识；基于预先设置的转换规则将第一标识与第二标识之间建立映射关系；基于映射关系将第一数据提取至大数据模型中形成数据同步后的大数据模型。SQL是一种关系型数据库的描述语言，研发人员很容易写出符合业务需求的查询SQL。本发明可以通过可视化的界面来配置SQL字段和e l ast i c search字段的映射关系，再由系统自动完成模型转换，配合全量、增量的策略把数据同步到大数据模型、创建索引提供给研发人员使用，降低研发成本。
Description
技术领域
本发明涉及数据同步技术领域，尤其涉及一种数据同步方法、装置及存储介质。
背景技术
大数据时代已经来临，每个公司每时每刻都在产生大量的数据，而这些数据通常会存储在数据库中，由于数据增长较快、规模太大，给数据的存储和使用都带来很多困难。
很多企业的软件研发人员不懂大数据相关技术或仅有一些了解，如果直接使用大数据技术方案开展研发工作会带来很多不确定性问题，导致系统不稳定、项目延期、研发成本上升。
行业中虽然已经存在一些大数据的解决方案，例如elastic search等等。这些解决方案仅描述了数据库单表到elastic search的数据同步，而且使用门槛较高，完全不能满足实际的项目需求。
发明内容
本发明实施例提供一种数据同步方法、装置及存储介质，能够将关系型数据模型与大数据模型中的数据进行同步，方便研发人员获取数据，提高研发效率，降低研发成本。
本发明实施例的第一方面，提供一种数据同步方法，用于将关系型数据模型中存储的第一类型数据和大数据模型中存储的第二类型数据进行同步，包括：
获取所述第一类型数据中任意一个数据唯一的第一标识；
获取所述第二类型数据中任意一个数据唯一的第二标识；
基于预先设置的转换规则将第一标识与第二标识之间建立映射关系；
基于所述映射关系将第一数据提取至大数据模型中形成数据同步后的大数据模型。
可选地，在第一方面的一种可能实现方式中，所述基于预先设置的转换规则将第一标识与第二标识之间建立映射关系包括：
对所述第一标识和第二标识展示；
接收管理员输入的转换规则，所述转换规则包括对所述第一标识和第二标识的关联信息；
所述第一标识和第二标识基于所述关联信息建立映射关系。
可选地，在第一方面的一种可能实现方式中，所述第一标识包括SQL字段，所述SQL字段为id信息以及属性信息中的任意一种或多种；
所述第二标识包括elastic search字段，所述elastic search字段为id信息以及属性信息中的任意一种或多种。
可选地，在第一方面的一种可能实现方式中，还包括：
获取与第一标识不具有关联关系的所有第二标识，将不具有关联关系的第二标识标记为不支持搜索。
可选地，在第一方面的一种可能实现方式中，还包括：
获取上一次形成数据同步后的大数据模型的时间信息；
将所述时间信息反馈至关系型数据模型处；
在所述时间信息后，当关系型数据模型接收到新的第一类型数据时更新所述大数据模型。
可选地，在第一方面的一种可能实现方式中，所述当关系型数据模型接收到新的第一类型数据时更新所述大数据模型包括：
获取新的第一类型数据的第三标识，将所述第三标识与第一标识比对；
若存在与所述第三标识相对应的第一标识，则对相对应的第一标识执行覆盖更新操作；
若不存在与所述第三标识相对应的第一标识，则在所述大数据模型中执行新增更新操作。
本发明实施例的第二方面，提供一种数据同步装置，用于将关系型数据模型中存储的第一类型数据和大数据模型中存储的第二类型数据进行同步，包括：
第一获取模块，用于获取所述第一类型数据中任意一个数据唯一的第一标识；
第二获取模块，用于获取所述第二类型数据中任意一个数据唯一的第二标识；
映射关系建立模块，用于基于预先设置的转换规则将第一标识与第二标识之间建立映射关系；
数据同步模块，用于基于所述映射关系将第一数据提取至大数据模型中形成数据同步后的大数据模型。
可选地，在第二方面的一种可能实现方式中，所述映射关系建立模块包括：
展示单元，用于对所述第一标识和第二标识展示；
关联单元，用于接收管理员输入的转换规则，所述转换规则包括对所述第一标识和第二标识的关联信息；
建立单元，用于所述第一标识和第二标识基于所述关联信息建立映射关系。
可选地，在第二方面的一种可能实现方式中，所述第一标识包括SQL字段，所述SQL字段为id信息以及属性信息中的任意一种或多种；
所述第二标识包括elastic search字段，所述elastic search字段为id信息以及属性信息中的任意一种或多种。
本发明实施例的第三方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能设计的所述方法。
本发明提供的一种数据同步方法、装置及存储介质，能够将关系型数据模型中的数据与大数据模型中的数据进行同步，使得开发人员在数据获取的过程中更加的方便、快捷、易懂，提高开发人员的工作效率，降低研发成本。
SQL是一种关系型数据库的描述语言，研发人员都比较熟悉，很容易写出符合业务需求的查询SQL。本发明可以通过可视化的界面来配置SQL字段和elastic search字段的映射关系，再由系统自动完成模型转换，配合全量、增量的策略把数据同步到大数据模型(elastic search)、创建索引提供给研发人员使用，将极大降低研发成本。
附图说明
图1为数据同步方法的第一种实施方式的流程图；
图2为数据同步方法的第二种实施方式的流程图；
图3为数据同步装置的第一种实施方式的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。
取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
本发明提供一种数据同步方法，用于将关系型数据模型中存储的第一类型数据和大数据模型中存储的第二类型数据进行同步，如图1所示，包括：
步骤S110、获取所述第一类型数据中任意一个数据唯一的第一标识。其中，第一标识包括SQL字段，所述SQL字段为id信息以及属性信息中的任意一种或多种。属性信息可以是update_time、email、age、self_desc以及class_name中的任意一种或多种。
SQL字段可以是研发人员基于SQL语言编写，其中SQL字段中必须包含id、updateTime字段，查询结果中id的值不能重复。在一个可能的实施方式中，例如查询学生的基本信息和所属的班级SQL如下：
步骤S120、获取所述第二类型数据中任意一个数据唯一的第二标识。其中第二标识包括elastic search字段，elastic search字段为id信息以及属性信息中的任意一种或多种。
并且，在提取SQL查询字段的过程中，可以是使用Druid工具解析SQL，提取SQL的字段名称，并把字段名称展示在操作界面上，示例SQL的提取结果如表1所示。
表1
步骤S130、基于预先设置的转换规则将第一标识与第二标识之间建立映射关系。
在步骤S130中，如图2所示，还包括：
步骤S1301、对所述第一标识和第二标识展示。在展示的方式中可以是如表1所示。
步骤S1302、接收管理员输入的转换规则，所述转换规则包括对所述第一标识和第二标识的关联信息。通过关联信息可以将第一标识和第二标识进行关联。
步骤S1303、所述第一标识和第二标识基于所述关联信息建立映射关系。
在一个实施例中，如表2所示，配置每一个SQL字段对应的elastic search字段名称、存储类型、是否支持搜索，如果一个SQL字段需要使用多种存储类型，可以使用多个elastic search字段进行支持，在elastic search字段命时能区分即可。在业务中不参与搜索的字段也可以存储进来，并标记为“不支持搜索”。
表2
步骤S140、基于所述映射关系将第一数据提取至大数据模型中形成数据同步后的大数据模型。
在步骤S140中，可以在建立映射关系之后将关系型数据模型中的第一数据同步至大数据模型中形成更新后的大数据模型，此时更新后的大数据模型可以支持开发人员以SQL语言调取大数据模型中存储的相应数据。
在一个实施例中，执行业务SQL，把数据提取到内存。对每一条数据按上述的映射规则逐条进行转换，转换成新的模型数据存储在elastic search中。SQL中的一条记录同步为elastic search的一条记录，SQL的id映射为elastic search的id，数据同步完成后，上线elastic search索引，就可以使用elastic search对外提供服务了。并且记录模型执行的开始时间。
其中，还包括：获取与第一标识不具有关联关系的所有第二标识，将不具有关联关系的第二标识标记为不支持搜索。
进一步的，还包括：
获取上一次形成数据同步后的大数据模型的时间信息。该时间信息也可以看做是上一次更新大数据模型的时间。
将所述时间信息反馈至关系型数据模型处。将该时间反馈至关系型数据模型的位置处，以方便关系型数据模型方便对时间进行比对。
在所述时间信息后，当关系型数据模型接收到新的第一类型数据时更新所述大数据模型。时间信息可以是时刻信息，例如说时间信息是2020年12月01日15时22分30秒，在2020年12月01日15时22分39秒时，关系型数据模型接收到新的第一类型数据，此时会更新大数据模型使在2020年12月01日15时22分39秒接收到的第一类型数据进行存储并关联住与其相应的第二类型数据。
其中，当关系型数据模型接收到新的第一类型数据时更新所述大数据模型包括：
获取新的第一类型数据的第三标识，将所述第三标识与第一标识比对；
若存在与所述第三标识相对应的第一标识，则对相对应的第一标识执行覆盖更新操作；
若不存在与所述第三标识相对应的第一标识，则在所述大数据模型中执行新增更新操作。
查询增量更新数据，如下所示SQL语言的一种实施方式，包括：
把增量数据按照配置的映射关系规则同步到elastic search中，如果id对应的数据在elastic search中已经存在，执行覆盖更新操作，如果id对应的数据在elasticsearch中不存在，执行新增操作。使用本次执行开始时间覆盖步骤4记录的时间。
通过以上的步骤，可以实现对大数据模型的持续性更新。
本发明还提供一种数据同步装置，用于将关系型数据模型中存储的第一类型数据和大数据模型中存储的第二类型数据进行同步，如图3所示，包括：
第一获取模块，用于获取所述第一类型数据中任意一个数据唯一的第一标识；
第二获取模块，用于获取所述第二类型数据中任意一个数据唯一的第二标识；
映射关系建立模块，用于基于预先设置的转换规则将第一标识与第二标识之间建立映射关系；
数据同步模块，用于基于所述映射关系将第一数据提取至大数据模型中形成数据同步后的大数据模型。
进一步的，所述映射关系建立模块包括：
展示单元，用于对所述第一标识和第二标识展示；
关联单元，用于接收管理员输入的转换规则，所述转换规则包括对所述第一标识和第二标识的关联信息；
建立单元，用于所述第一标识和第二标识基于所述关联信息建立映射关系。
进一步的，所述第一标识包括SQL字段，所述SQL字段为id信息以及属性信息中的任意一种或多种；
所述第二标识包括elastic search字段，所述elastic search字段为id信息以及属性信息中的任意一种或多种。
其中，可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(ApplicationSpecific Integrated Circuits，简称：ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
在上述终端或者服务器的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (3)
1.一种数据同步方法，用于将关系型数据模型中存储的第一类型数据和大数据模型中存储的第二类型数据进行同步，其特征在于，包括：
获取所述第一类型数据中任意一个数据唯一的第一标识；
获取所述第二类型数据中任意一个数据唯一的第二标识；
基于预先设置的转换规则将第一标识与第二标识之间建立映射关系；
基于所述映射关系将第一数据提取至大数据模型中形成数据同步后的大数据模型；
所述基于预先设置的转换规则将第一标识与第二标识之间建立映射关系包括：
对所述第一标识和第二标识展示；
接收管理员输入的转换规则，所述转换规则包括对所述第一标识和第二标识的关联信息；
所述第一标识和第二标识基于所述关联信息建立映射关系；
所述第一标识包括SQL字段，所述SQL字段为i d信息以及属性信息中的任意一种或多种；所述属性信息包括update_time、email、age、self_desc以及class_name中的任意一种或多种；
所述第二标识包括elastic search字段，所述elastic search字段为id信息以及属性信息中的任意一种或多种；
还包括：
获取与第一标识不具有关联关系的所有第二标识，将不具有关联关系的第二标识标记为不支持搜索；
还包括：
获取上一次形成数据同步后的大数据模型的时间信息；
将所述时间信息反馈至关系型数据模型处；
在所述时间信息后，当关系型数据模型接收到新的第一类型数据时更新所述大数据模型；
所述当关系型数据模型接收到新的第一类型数据时更新所述大数据模型包括：
获取新的第一类型数据的第三标识，将所述第三标识与第一标识比对；
若存在与所述第三标识相对应的第一标识，则对相对应的第一标识执行覆盖更新操作；
若不存在与所述第三标识相对应的第一标识，则在所述大数据模型中执行新增更新操作；
所述第一标识和第二标识基于所述关联信息建立映射关系，包括：
配置每一个SQL字段对应的elasti c search字段名称、存储类型、是否支持搜索，如果一个SQL字段需要使用多种存储类型，则使用多个elasti csearch字段进行支持。
2.一种数据同步装置，用于将关系型数据模型中存储的第一类型数据和大数据模型中存储的第二类型数据进行同步，其特征在于，包括：
第一获取模块，用于获取所述第一类型数据中任意一个数据唯一的第一标识；
第二获取模块，用于获取所述第二类型数据中任意一个数据唯一的第二标识；
映射关系建立模块，用于基于预先设置的转换规则将第一标识与第二标识之间建立映射关系；
数据同步模块，用于基于所述映射关系将第一数据提取至大数据模型中形成数据同步后的大数据模型；
所述映射关系建立模块包括：
展示单元，用于对所述第一标识和第二标识展示；
关联单元，用于接收管理员输入的转换规则，所述转换规则包括对所述第一标识和第二标识的关联信息；
建立单元，用于所述第一标识和第二标识基于所述关联信息建立映射关系；
所述第一标识包括SQL字段，所述SQL字段为i d信息以及属性信息中的任意一种或多种；所述属性信息包括update_time、email、age、self_desc以及class_name中的任意一种或多种；
所述第二标识包括elastic search字段，所述elastic search字段为id信息以及属性信息中的任意一种或多种；
还包括：
获取与第一标识不具有关联关系的所有第二标识，将不具有关联关系的第二标识标记为不支持搜索；
还包括：
获取上一次形成数据同步后的大数据模型的时间信息；
将所述时间信息反馈至关系型数据模型处；
在所述时间信息后，当关系型数据模型接收到新的第一类型数据时更新所述大数据模型；
所述当关系型数据模型接收到新的第一类型数据时更新所述大数据模型包括：
获取新的第一类型数据的第三标识，将所述第三标识与第一标识比对；
若存在与所述第三标识相对应的第一标识，则对相对应的第一标识执行覆盖更新操作；
若不存在与所述第三标识相对应的第一标识，则在所述大数据模型中执行新增更新操作；
所述第一标识和第二标识基于所述关联信息建立映射关系，包括：
配置每一个SQL字段对应的elasti c search字段名称、存储类型、是否支持搜索，如果一个SQL字段需要使用多种存储类型，则使用多个elasti csearch字段进行支持。
3.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现权利要求1所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110688989.XA CN113377871B (zh) | 2021-06-22 | 2021-06-22 | 数据同步方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110688989.XA CN113377871B (zh) | 2021-06-22 | 2021-06-22 | 数据同步方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113377871A CN113377871A (zh) | 2021-09-10 |
| CN113377871B true CN113377871B (zh) | 2024-03-22 |
Family
ID=77578187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110688989.XA Active CN113377871B (zh) | 2021-06-22 | 2021-06-22 | 数据同步方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113377871B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6216131B1 (en) * | 1998-02-06 | 2001-04-10 | Starfish Software, Inc. | Methods for mapping data fields from one data set to another in a data processing environment |
| CN101067814A (zh) * | 2007-05-10 | 2007-11-07 | 浪潮集团山东通用软件有限公司 | 数据访问层Xml格式数据与关系数据间的映射转换方法 |
| WO2007137468A1 (fr) * | 2006-05-26 | 2007-12-06 | Huawei Technologies Co., Ltd. | Procédé et système de création automatique de modèle relationnel |
| CN105243067A (zh) * | 2014-07-07 | 2016-01-13 | 北京明略软件系统有限公司 | 一种实现实时增量同步数据的方法及装置 |
| CN108009282A (zh) * | 2017-12-22 | 2018-05-08 | 武汉楚鼎信息技术有限公司 | 一种json数据同步到关系型数据库的方法及系统装置 |
| CN108121757A (zh) * | 2017-11-10 | 2018-06-05 | 广州优视网络科技有限公司 | 一种数据同步方法、装置、系统、计算设备及存储介质 |
| CN108416043A (zh) * | 2018-03-14 | 2018-08-17 | 中煤科工集团重庆研究院有限公司 | 多平台空间数据融合与同步方法 |
| CN108573006A (zh) * | 2017-06-06 | 2018-09-25 | 北京金山云网络技术有限公司 | 跨机房数据同步系统、方法及装置、电子设备 |
| CN112364005A (zh) * | 2020-11-10 | 2021-02-12 | 平安科技（深圳）有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
| CN112579674A (zh) * | 2020-12-25 | 2021-03-30 | 特赞（上海）信息科技有限公司 | 利用元数据支持跨行业的管理方法、系统、介质及终端 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190171650A1 (en) * | 2017-12-01 | 2019-06-06 | Chavdar Botev | System and method to improve data synchronization and integration of heterogeneous databases distributed across enterprise and cloud using bi-directional transactional bus of asynchronous change data system |
| CN105446966B (zh) * | 2014-05-30 | 2019-01-18 | 国际商业机器公司 | 生成关系数据转换为rdf格式数据的映射规则的方法和装置 |
| US10579627B2 (en) * | 2016-01-08 | 2020-03-03 | Microsoft Technology Licensing, Llc | Database operation using metadata of data sources |
-
2021
- 2021-06-22 CN CN202110688989.XA patent/CN113377871B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6216131B1 (en) * | 1998-02-06 | 2001-04-10 | Starfish Software, Inc. | Methods for mapping data fields from one data set to another in a data processing environment |
| WO2007137468A1 (fr) * | 2006-05-26 | 2007-12-06 | Huawei Technologies Co., Ltd. | Procédé et système de création automatique de modèle relationnel |
| CN101067814A (zh) * | 2007-05-10 | 2007-11-07 | 浪潮集团山东通用软件有限公司 | 数据访问层Xml格式数据与关系数据间的映射转换方法 |
| CN105243067A (zh) * | 2014-07-07 | 2016-01-13 | 北京明略软件系统有限公司 | 一种实现实时增量同步数据的方法及装置 |
| CN108573006A (zh) * | 2017-06-06 | 2018-09-25 | 北京金山云网络技术有限公司 | 跨机房数据同步系统、方法及装置、电子设备 |
| CN108121757A (zh) * | 2017-11-10 | 2018-06-05 | 广州优视网络科技有限公司 | 一种数据同步方法、装置、系统、计算设备及存储介质 |
| CN108009282A (zh) * | 2017-12-22 | 2018-05-08 | 武汉楚鼎信息技术有限公司 | 一种json数据同步到关系型数据库的方法及系统装置 |
| CN108416043A (zh) * | 2018-03-14 | 2018-08-17 | 中煤科工集团重庆研究院有限公司 | 多平台空间数据融合与同步方法 |
| CN112364005A (zh) * | 2020-11-10 | 2021-02-12 | 平安科技（深圳）有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
| CN112579674A (zh) * | 2020-12-25 | 2021-03-30 | 特赞（上海）信息科技有限公司 | 利用元数据支持跨行业的管理方法、系统、介质及终端 |
Non-Patent Citations (3)
| Title |
|---|
| Rethinking HBase: Design and Implementation of an Elastic Key-Value Store over Log-Structured Local Volumes;Giorgos Saloustros等;《2015 14th International Symposium on Parallel and Distributed Computing》;20150723;第225-234页 * |
| 粮情远程监控系统的设计与实现;黄鹏;《中国优秀硕士学位论文全文数据库信息科技辑》;20180615(第6期);第I140-665页 * |
| 马睿等.《大话云计算：从云起源到智能云未来》.机械工业出版社,2020,(第1版),第120-121页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113377871A (zh) | 2021-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107690637B (zh) | 使用大表语料库连接语义相关的数据 | |
| CN110489475B (zh) | 一种多源异构数据处理方法、系统及相关装置 | |
| JP5624674B2 (ja) | データベースの検索のための照会の改善方法 | |
| CN105808653B (zh) | 一种基于用户标签系统的数据处理方法及装置 | |
| US9239863B2 (en) | Method and apparatus for graphic code database updates and search | |
| US20220052976A1 (en) | Answer text processing methods and apparatuses, and key text determination methods | |
| JP2020177668A (ja) | ユーザ画像の処理方法、ユーザ画像の処理装置、サーバ及び記憶媒体 | |
| CN110109981B (zh) | 工作队列的信息展示方法、装置、计算机设备和存储介质 | |
| CN110413882B (zh) | 信息推送方法、装置及设备 | |
| CN111666344A (zh) | 异构数据同步方法及装置 | |
| CN108540352A (zh) | 一种用于在线教育系统用户通道自动匹配的优化扩展方法 | |
| CN113377871B (zh) | 数据同步方法、装置及存储介质 | |
| CN114020844A (zh) | 基于配置的数据监听同步方法 | |
| JP6797382B1 (ja) | 質問回答表示サーバ、質問回答表示方法及び質問回答表示プログラム | |
| CN114840497B (zh) | 一种数据库的行迁移预处理方法、系统、装置及存储介质 | |
| CN116467433A (zh) | 面向多源数据的知识图谱可视化方法、装置、设备及介质 | |
| CN115544973A (zh) | 文档生成方法、装置、电子设备及存储介质 | |
| CN112783980B (zh) | 数据同步处理方法、装置、电子设备以及计算机可读介质 | |
| CN112948441B (zh) | 一种面向财务数据的多维数据归集方法及设备 | |
| CN114417072A (zh) | 基于bim的拆装式建筑展示方法、系统及存储介质 | |
| CN115033592A (zh) | 基于数据库的sql语句处理方法、装置、设备及存储介质 | |
| CN112632115A (zh) | 一种基于bi的数据查询方法及系统 | |
| CN107180072B (zh) | 一种时序数据的处理方法及装置 | |
| CN111752927A (zh) | 基于克隆的数据形态生成方法、装置、终端设备及介质 | |
| CN112446673A (zh) | 一种商标变更判断方法、系统、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |