CN110489483A - 数据同步方法、装置、计算机设备以及存储介质 - Google Patents

数据同步方法、装置、计算机设备以及存储介质 Download PDF

Info

Publication number
CN110489483A
CN110489483A CN201910610935.4A CN201910610935A CN110489483A CN 110489483 A CN110489483 A CN 110489483A CN 201910610935 A CN201910610935 A CN 201910610935A CN 110489483 A CN110489483 A CN 110489483A
Authority
CN
China
Prior art keywords
data
specified
dependence
field data
designated field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910610935.4A
Other languages
English (en)
Other versions
CN110489483B (zh
Inventor
曹红姣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN201910610935.4A priority Critical patent/CN110489483B/zh
Publication of CN110489483A publication Critical patent/CN110489483A/zh
Application granted granted Critical
Publication of CN110489483B publication Critical patent/CN110489483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据同步方法、装置、计算机设备以及存储介质，所述方法包括：获取源数据库的指定表中的指定字段数据，并确定所述源数据库中指定表与指定字段数据之间的依赖关系；将所述指定字段数据保存至指定目录下，并根据所述源数据库中指定表与指定字段数据之间的依赖关系设置所述指定字段数据与指定目录之间的依赖关系；若接收到目标服务器的数据请求，获取所述目标服务器的地址信息；根据所述地址信息，向所述目标服务器发送所述指定目录中的指定字段数据以及所述指定字段数据与指定目录之间的依赖关系。本发明提供一种数据同步方法，能够对数据进行统一集中处理，并且实现数据的批量同步操作。

Description

数据同步方法、装置、计算机设备以及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据同步方法、装置、计算机设备以及存储介质。
背景技术
现有数据的同步机制大部分是通过ETL(Extract-Transform-Load)镜像的方式进行同步，其中，ETL用于描述将数据从数据来源端(例如，外部数据库)经过提取、转换、加载至目的端(例如，本地数据库)的过程，随着大数据环境的不断发展，现有的数据同步机制在对接大量的外部数据时，由于外部数据分布比较零散、不集中等问题，导致进行数据同步操作时无法批量同步，并且数据规整困难。
发明内容
有鉴于此，本发明实施例提供一种数据同步方法、装置、计算机设备以及存储介质，能够对数据进行统一集中处理，并且实现数据的批量同步操作。
一方面，本发明实施例提供了一种数据同步方法，该方法包括：
获取源数据库的指定表中的指定字段数据，并确定所述源数据库中指定表与指定字段数据之间的依赖关系；
将所述指定字段数据保存至指定目录下，并根据所述源数据库中指定表与指定字段数据之间的依赖关系设置所述指定字段数据与指定目录之间的依赖关系；
若接收到目标服务器的数据请求，获取所述目标服务器的地址信息；
根据所述地址信息，向所述目标服务器发送所述指定目录中的指定字段数据以及所述指定字段数据与指定目录之间的依赖关系。
另一方面，本发明实施例提供了一种数据同步装置，所述装置包括：
获取确定单元，用于获取源数据库的指定表中的指定字段数据，并确定所述源数据库中指定表与指定字段数据之间的依赖关系；
保存设置单元，用于将所述指定字段数据保存至指定目录下，并根据所述源数据库中指定表与指定字段数据之间的依赖关系设置所述指定字段数据与指定目录之间的依赖关系；
第二获取单元，用于若接收到目标服务器的数据请求，获取所述目标服务器的地址信息；
发送单元，用于根据所述地址信息，向所述目标服务器发送所述指定目录中的指定字段数据以及所述指定字段数据与指定目录之间的依赖关系。
又一方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的数据同步方法。
再一方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现如上所述的数据同步方法。
本发明实施例提供一种数据同步方法、装置、计算机设备以及存储介质，其中方法包括：获取源数据库的指定表中的指定字段数据，并确定所述源数据库中指定表与指定字段数据之间的依赖关系；将所述指定字段数据保存至指定目录下，并根据所述源数据库中指定表与指定字段数据之间的依赖关系设置所述指定字段数据与指定目录之间的依赖关系；若接收到目标服务器的数据请求，获取所述目标服务器的地址信息；根据所述地址信息，向所述目标服务器发送所述指定目录中的指定字段数据以及所述指定字段数据与指定目录之间的依赖关系。本发明提供一种数据同步方法，通过获取源数据库中指定表以及指定表中的指定字段数据之间的依赖关系，并利用该依赖关系进一步设置指定字段数据与指定目录之间的依赖关系，从而实现对指定表中字段数据的统一处理；当接收到目标服务器对指定表中的指定字段数据的数据请求时，根据指定字段数据与指定目录之间的依赖关系，可以从指定目录中直接将指定字段数据批量地同步发送给目标服务器，并不需要在源数据库中对指定表中的字段数据进行筛选即可批量同步。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据同步方法的应用场景示意图；
图2是本发明实施例提供的一种数据同步方法的示意流程图；
图3是本发明实施例提供的一种数据同步方法的另一示意流程图；
图4是本发明实施例提供的一种数据同步方法的另一示意流程图；
图5是本发明实施例提供的一种数据同步方法的另一示意流程图；
图6是本发明实施例提供的一种数据同步装置的示意性框图；
图7是本发明实施例提供的一种数据同步装置的另一示意性框图；
图8是本发明实施例提供的一种数据同步装置的另一示意性框图；
图9是本发明实施例提供的一种数据同步装置的另一示意性框图；
图10是本发明实施例提供的一种数据同步装置的另一示意性框图；
图11是本发明实施例提供的一种数据同步装置的另一示意性框图；
图12是本发明实施例提供的一种计算机设备的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的一种数据同步方法的应用场景示意图，图2为本发明实施例提供的一种数据同步方法的流程示意图。作为一应用，如图1所示，该数据同步方法应用于终端20中，该终端20可以为智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式装置等具有通信功能和语音输入功能的电子装置；该终端20执行其与服务器10之间的数据同步操作，该数据同步操作包括终端20从指定目录中获取指定字段数据以及所述指定字段数据与指定目录之间的依赖关系并发送至服务器10中，该服务器10可以为分布式服务平台中的一台服务器，也可以是多台服务器组成的服务器集群。
请参阅图2，图2为本发明实施例提供的一种数据同步方法的示意流程图。如图2所示，该方法包括以下步骤S101～S104。
S101，获取源数据库的指定表中的指定字段数据，并确定所述源数据库中指定表与指定字段数据之间的依赖关系。
在本发明实施例中，源数据库可以是Oracle数据库、MySQL数据库等。基于源数据库中存储的数据表，以及数据表中存储的字段数据，通过JDBC(Java DataBaseConnectivity，java数据库连接)驱动程序连接源数据库，再通过编辑SQL语句从源数据库中获取指定表中的指定字段数据，所述指定表为源数据库中的指定数据表，所述指定字段数据为指定数据表中的指定字段数据，具体的，本实施例可以通过确定需要获取的指定表的表名称，确定需要获取的指定表的列名称或者行名称，再根据所确定的指定表的表名称、指定表的列名称或者行名称，通过编辑SQL语句从而获得源数据库的指定表中的指定字段数据。
在一实施例中，如图3所示，所述确定所述源数据库中指定表与指定字段数据之间的依赖关系的步骤，具体包括步骤S201～S202：
S201，确定所述源数据库中记录表与数据之间依赖关系的依赖关系表。
在本实施例中，一般情况下，源数据库中存储的记录表与数据之间具有一定的数据依赖关系，源数据库中的记录表的表集合通常为M＝{m0，m1，m2，…，mn}，在一个源数据库中可以包括多张记录表，每张记录表中的数据的数据集合通常为T＝{t0，t1，t2，…，tn}，在一张记录表中可以包括多个数据。本发明实施例以表集合M中的记录表mn以及数据集合T中的数据tn之间的依赖关系为例进行说明，在本实施例中可预先将记录表与数据之间的依赖关系记录在依赖关系表中，在需要确定表与数据之间的依赖关系时，通过查询该依赖关系表即可获得记录表mn与数据tn之间的依赖关系。
S202，根据所述指定表的表名和所述指定字段数据的数据名从所述依赖关系表中查找到所述指定表与指定字段数据之间的依赖关系。
在本实施例中，在所确定的依赖关系表中，将存储着源数据库中每一张记录表的表名、记录表中的数据的数据名以及记录表与数据之间的依赖关系，因此，当需要确定指定表与指定表中的指定字段数据之间的依赖关系时，将直接利用所述指定表的表名以及所述指定字段数据的数据名，并输入至依赖关系表中进行遍历，即可以从依赖关系表中查找出所述指定表与指定字段数据之间的依赖关系。
S102，将所述指定字段数据保存至指定目录下，并根据所述源数据库中指定表与指定字段数据之间的依赖关系设置所述指定字段数据与指定目录之间的依赖关系。
在本发明实施例中，所述指定目录指的是给定的计算机保存路径，例如：将word源文件保存到指定目录中，如可以是保存到计算机D盘名称为“word”的文件夹中，则指定目录的路径为：D:\word。
在一实施例中，如图4所示，所述根据所述源数据库中指定表与指定字段数据之间的依赖关系设置所述指定字段数据与指定目录之间的依赖关系的步骤，具体包括步骤S301～S304：S301，根据所述源数据库中指定表与指定字段数据之间的依赖关系得到指定表与指定字段数据之间的有向图；S302，在所述有向图中确定所述指定表对应的图节点以获得所述指定表在所述图节点中的节点名称；S303，获取所述指定目录的目录名称，并使用所述指定目录的目录名称替换所述指定表在所述图节点中的节点名称；S304，获取替换后的有向图并作为所述指定字段数据与指定目录之间的依赖关系。
在本实施例中，有向图由图节点以及有向边组成，其中，图节点表示指定表或者指定字段数据，有向边表示图节点之间的依赖关系，即指定表与指定字段数据之间的关系，具体的，在依赖关系表中使用有向图的方式表示指定表与指定字段数据之间的依赖关系。具体的，在所述指定字段数据保存至指定目录之后，需要设置所述指定字段数据与指定目录之间的依赖关系，设置的方式可以是通过获取依赖关系表中的指定表与指定字段数据之间的有向图，并进一步确定有向图中表示指定表的图节点，再使用指定目录的目录名称替换指定表在所述图节点中的节点名称，从而得到一个新的有向图，该新的有向图表示的是指定字段数据与指定目录之间的依赖关系。
S103，若接收到目标服务器的数据请求，获取所述目标服务器的地址信息。
在本发明实施例中，接收目标服务器的数据请求，该数据请求包括所述目标服务器的地址信息，可以通过解析所述数据请求并获取所述数据请求中携带的地址信息。
在一实施例中，如图5所示，所述步骤S103包括步骤S401～S402：
S401，通过预设的端口接收所述目标服务器的数据请求。
具体的，预设的端口为终端本身自带的端口，每一个端口对应一个端口号，每一个端口的端口号是唯一的；目标服务器中数据库只对应一个数据源，因此目标服务器的数据源的名称也是唯一的，所以通过上述三个数据构成的对象标识也是唯一的，这样使得终端通过对象标识能够锁定目标服务器以及目标服务器中的数据库，并接收目标服务器的数据请求。
S402，对所述数据请求进行解析，获取所述目标服务器的地址信息。
具体的，所述地址信息为目标服务器的IP地址，由终端的预设端口接收目标服务器的数据请求，并对数据请求时空行解析，得到该目标服务器的IP地址，当终端向目标服务器发送数据时，则可以根据解析得到的IP地址向目标服务器发送数据，以节省数据传输所花费的时间。
S104，根据所述地址信息，向所述目标服务器发送所述指定目录中的指定字段数据以及所述指定字段数据与指定目录之间的依赖关系。
在本发明实施例中，所述地址信息为所述目标服务器的IP地址，终端根据解析得到的IP地址，向所述目标服务器发送所述指定目录中的指定字段数据以及所述指定字段数据与指定目录之间的依赖关系。
由以上可见，本发明实施例通过获取源数据库的指定表中的指定字段数据，并确定所述源数据库中指定表与指定字段数据之间的依赖关系；将所述指定字段数据保存至指定目录下，并根据所述源数据库中指定表与指定字段数据之间的依赖关系设置所述指定字段数据与指定目录之间的依赖关系；若接收到目标服务器的数据请求，获取所述目标服务器的地址信息；根据所述地址信息，向所述目标服务器发送所述指定目录中的指定字段数据以及所述指定字段数据与指定目录之间的依赖关系。本发明提供一种数据同步方法，能够对数据进行统一集中处理，并且实现数据的批量同步操作。
请参阅图6，图6为本发明另一实施例提供的一种数据同步方法的示意流程图。如图6所示，该方法包括以下步骤S501～S506。
S501，获取源数据库的指定表中的指定字段数据，并确定所述源数据库中指定表与指定字段数据之间的依赖关系。
在本发明实施例中，源数据库可以是Oracle数据库、MySQL数据库等。基于源数据库中存储的数据表，以及数据表中存储的字段数据，通过JDBC(Java DataBaseConnectivity，java数据库连接)驱动程序连接源数据库，再通过编辑SQL语句从源数据库中获取指定表中的指定字段数据，所述指定表为源数据库中的指定数据表，所述指定字段数据为指定数据表中的指定字段数据，具体的，本实施例可以通过确定需要获取的指定表的表名称，确定需要获取的指定表的列名称或者行名称，再根据所确定的指定表的表名称、指定表的列名称或者行名称，通过编辑SQL语句从而获得源数据库的指定表中的指定字段数据。
S502，将所述指定字段数据保存至指定目录下，并根据所述源数据库中指定表与指定字段数据之间的依赖关系设置所述指定字段数据与指定目录之间的依赖关系。
在本发明实施例中，所述指定目录指的是给定的计算机保存路径，例如：将word源文件保存到指定目录中，如可以是保存到计算机D盘名称为“word”的文件夹中，则指定目录的路径为：D:\word。
在一实施例中，所述根据所述源数据库中指定表与指定字段数据之间的依赖关系设置所述指定字段数据与指定目录之间的依赖关系的步骤，具体包括：根据所述源数据库中指定表与指定字段数据之间的依赖关系得到指定表与指定字段数据之间的有向图；在所述有向图中确定所述指定表对应的图节点以获得所述指定表在所述图节点中的节点名称；获取所述指定目录的目录名称，并使用所述指定目录的目录名称替换所述指定表在所述图节点中的节点名称；获取替换后的有向图并作为所述指定字段数据与指定目录之间的依赖关系。
在本实施例中，有向图由图节点以及有向边组成，其中，图节点表示指定表或者指定字段数据，有向边表示图节点之间的依赖关系，即指定表与指定字段数据之间的关系，具体的，在依赖关系表中使用有向图的方式表示指定表与指定字段数据之间的依赖关系。具体的，在所述指定字段数据保存至指定目录之后，需要设置所述指定字段数据与指定目录之间的依赖关系，设置的方式可以是通过获取依赖关系表中的指定表与指定字段数据之间的有向图，并进一步确定有向图中表示指定表的图节点，再使用指定目录的目录名称替换指定表在所述图节点中的节点名称，从而得到一个新的有向图，该新的有向图表示的是指定字段数据与指定目录之间的依赖关系。
S503，若接收到目标服务器的数据请求，获取所述目标服务器的地址信息。
在本发明实施例中，接收目标服务器的数据请求，该数据请求包括所述目标服务器的地址信息，可以通过解析所述数据请求并获取所述数据请求中携带的地址信息。
S504，根据所述地址信息，向所述目标服务器发送所述指定目录中的指定字段数据以及所述指定字段数据与指定目录之间的依赖关系。
在本发明实施例中，所述地址信息为所述目标服务器的IP地址，终端根据解析得到的IP地址，向所述目标服务器发送所述指定目录中的指定字段数据以及所述指定字段数据与指定目录之间的依赖关系。
S505，当数据同步至所述目标服务器后，判断所述目标服务器的当前存储时长是否达到预设时长。
在本发明实施例中，所述预设时长指的是所述目标服务器在当前数据库中存储数据所使用的时间，该预设时长可以是10分钟，可以是20分钟，也可以是其他预设时长，该预设时长也可以是用户自行定义的时间；在预设时长内，允许所述目标服务器的数据库存储数据；在超过预设时长之后，将删除所述目标服务器的数据库当前所存储的数据，以保证目标服务器及时更新数据，以及节省目标服务器的存储空间。
S506，若所述目标服务器的当前存储时长达到预设时长，删除所述目标服务器中的当前指定字段数据以及当前依赖关系，并向所述指定目录重新发起数据请求。
在本发明实施例中，若所述目标服务器的数据库的当前存储时长达到预设时长，删除所述目标服务器中的当前指定字段数据以及当前依赖关系，并向所述指定目录重新发起数据请求，以保证目标服务器中的数据库及时更新终端的同步数据，提高数据同步的效率，并且改善了用户的使用体验。
请参阅图7，对应上述一种数据同步方法，本发明实施例还提出一种数据同步装置，该装置100包括：获取确定单元101、保存设置单元102、第二获取单元103、发送单元104。
其中，获取确定单元101，用于获取源数据库的指定表中的指定字段数据，并确定所述源数据库中指定表与指定字段数据之间的依赖关系；
保存设置单元102，用于将所述指定字段数据保存至指定目录下，并根据所述源数据库中指定表与指定字段数据之间的依赖关系设置所述指定字段数据与指定目录之间的依赖关系；
第二获取单元103，用于若接收到目标服务器的数据请求，获取所述目标服务器的地址信息；
发送单元104，用于根据所述地址信息，向所述目标服务器发送所述指定目录中的指定字段数据以及所述指定字段数据与指定目录之间的依赖关系。
由以上可见，本发明实施例通过获取源数据库的指定表中的指定字段数据，并确定所述源数据库中指定表与指定字段数据之间的依赖关系；将所述指定字段数据保存至指定目录下，并根据所述源数据库中指定表与指定字段数据之间的依赖关系设置所述指定字段数据与指定目录之间的依赖关系；若接收到目标服务器的数据请求，获取所述目标服务器的地址信息；根据所述地址信息，向所述目标服务器发送所述指定目录中的指定字段数据以及所述指定字段数据与指定目录之间的依赖关系。本发明提供一种数据同步方法，能够对数据进行统一集中处理，并且实现数据的批量同步操作。
请参阅图8，所述所述获取确定单元101，包括：
第一确定单元101a，用于确定所述源数据库中记录表与数据之间依赖关系的依赖关系表；
查找单元101b，用于根据所述指定表的表名和所述指定字段数据的数据名从所述依赖关系表中查找到所述指定表与指定字段数据之间的依赖关系。
请参阅图9，所述保存设置单元102，包括：
执行单元102a，用于根据所述源数据库中指定表与指定字段数据之间的依赖关系得到指定表与指定字段数据之间的有向图；
第二确定单元102b，用于在所述有向图中确定所述指定表对应的图节点以获得所述指定表在所述图节点中的节点名称；
获取替换单元102c，用于获取所述指定目录的目录名称，并使用所述指定目录的目录名称替换所述指定表在所述图节点中的节点名称；
获取执行单元102d，用于获取替换后的有向图并作为所述指定字段数据与指定目录之间的依赖关系。
请参阅图10，所述第二获取单元103，包括：
接收单元103a，用于通过预设的端口接收所述目标服务器的数据请求；
解析获取单元103b，用于对所述数据请求进行解析，获取所述目标服务器的地址信息。
请参阅图11，对应上述一种数据同步方法，本发明实施例还提出一种数据同步装置，该装置200包括：获取确定单元201、保存设置单元202、第二获取单元203、发送单元204、判断单元205、删除单元206。
其中，所述获取确定单元201，用于获取源数据库的指定表中的指定字段数据，并确定所述源数据库中指定表与指定字段数据之间的依赖关系；
保存设置单元202，用于将所述指定字段数据保存至指定目录下，并根据所述源数据库中指定表与指定字段数据之间的依赖关系设置所述指定字段数据与指定目录之间的依赖关系；
第二获取单元203，用于若接收到目标服务器的数据请求，获取所述目标服务器的地址信息；
发送单元204，用于根据所述地址信息，向所述目标服务器发送所述指定目录中的指定字段数据以及所述指定字段数据与指定目录之间的依赖关系；
判断单元205，用于当数据同步至所述目标服务器后，判断所述目标服务器的当前存储时长是否达到预设时长；
删除单元206，用于若所述目标服务器的当前存储时长达到预设时长，删除所述目标服务器中的当前指定字段数据以及当前依赖关系，并向所述指定目录重新发起数据请求。
上述数据同步装置与上述数据同步方法一一对应，其具体的原理和过程与上述实施例所述方法相同，不再赘述。
上述数据同步装置可以实现为一种计算机程序的形式，计算机程序可以在如图12所示的计算机设备上运行。
图12为本发明一种计算机设备的结构组成示意图。该设备可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式装置等具有通信功能和语音输入功能的电子装置。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。参照图12，该计算机设备500包括通过系统总线501连接的处理器502、非易失性存储介质503、内存储器504和网络接口505。其中，该计算机设备500的非易失性存储介质503可存储操作系统5031和计算机程序5032，该计算机程序5032被执行时，可使得处理器502执行一种数据同步方法。该计算机设备500的处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序被处理器执行时，可使得处理器502执行一种数据同步方法。计算机设备500的网络接口505用于进行网络通信。本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502执行所述计算机程序时实现如下操作：
获取源数据库的指定表中的指定字段数据，并确定所述源数据库中指定表与指定字段数据之间的依赖关系；
将所述指定字段数据保存至指定目录下，并根据所述源数据库中指定表与指定字段数据之间的依赖关系设置所述指定字段数据与指定目录之间的依赖关系；
若接收到目标服务器的数据请求，获取所述目标服务器的地址信息；
根据所述地址信息，向所述目标服务器发送所述指定目录中的指定字段数据以及所述指定字段数据与指定目录之间的依赖关系。
在一个实施例中，所述确定所述源数据库中指定表与指定字段数据之间的依赖关系，包括：
确定所述源数据库中记录表与数据之间依赖关系的依赖关系表；
根据所述指定表的表名和所述指定字段数据的数据名从所述依赖关系表中查找到所述指定表与指定字段数据之间的依赖关系。
在一个实施例中，所述根据所述源数据库中指定表与指定字段数据之间的依赖关系设置所述指定字段数据与指定目录之间的依赖关系，包括：
根据所述源数据库中指定表与指定字段数据之间的依赖关系得到指定表与指定字段数据之间的有向图；
在所述有向图中确定所述指定表对应的图节点以获得所述指定表在所述图节点中的节点名称；
获取所述指定目录的目录名称，并使用所述指定目录的目录名称替换所述指定表在所述图节点中的节点名称；
获取替换后的有向图并作为所述指定字段数据与指定目录之间的依赖关系。
在一个实施例中，所述若接收到目标服务器的数据请求，获取所述目标服务器的地址信息，包括：
通过预设的端口接收所述目标服务器的数据请求；
对所述数据请求进行解析，获取所述目标服务器的地址信息。
在一个实施例中，所述处理器502执行所述计算机程序时还实现如下操作：
当数据同步至所述目标服务器后，判断所述目标服务器的当前存储时长是否达到预设时长；
若所述目标服务器的当前存储时长达到预设时长，删除所述目标服务器中的当前指定字段数据以及当前依赖关系，并向所述指定目录重新发起数据请求。
本领域技术人员可以理解，图12中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图12所示实施例一致，在此不再赘述。
本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现以下步骤：
获取源数据库的指定表中的指定字段数据，并确定所述源数据库中指定表与指定字段数据之间的依赖关系；
将所述指定字段数据保存至指定目录下，并根据所述源数据库中指定表与指定字段数据之间的依赖关系设置所述指定字段数据与指定目录之间的依赖关系；
若接收到目标服务器的数据请求，获取所述目标服务器的地址信息；
根据所述地址信息，向所述目标服务器发送所述指定目录中的指定字段数据以及所述指定字段数据与指定目录之间的依赖关系。
在一个实施例中，所述确定所述源数据库中指定表与指定字段数据之间的依赖关系，包括：
确定所述源数据库中记录表与数据之间依赖关系的依赖关系表；
根据所述指定表的表名和所述指定字段数据的数据名从所述依赖关系表中查找到所述指定表与指定字段数据之间的依赖关系。
在一个实施例中，所述根据所述源数据库中指定表与指定字段数据之间的依赖关系设置所述指定字段数据与指定目录之间的依赖关系，包括：
根据所述源数据库中指定表与指定字段数据之间的依赖关系得到指定表与指定字段数据之间的有向图；
在所述有向图中确定所述指定表对应的图节点以获得所述指定表在所述图节点中的节点名称；
获取所述指定目录的目录名称，并使用所述指定目录的目录名称替换所述指定表在所述图节点中的节点名称；
获取替换后的有向图并作为所述指定字段数据与指定目录之间的依赖关系。
在一个实施例中，所述若接收到目标服务器的数据请求，获取所述目标服务器的地址信息，包括：
通过预设的端口接收所述目标服务器的数据请求；
对所述数据请求进行解析，获取所述目标服务器的地址信息。
在一个实施例中，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，还实现以下步骤：
当数据同步至所述目标服务器后，判断所述目标服务器的当前存储时长是否达到预设时长；
若所述目标服务器的当前存储时长达到预设时长，删除所述目标服务器中的当前指定字段数据以及当前依赖关系，并向所述指定目录重新发起数据请求。
本发明前述的存储介质包括：磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等各种可以存储程序代码的介质。
本发明所有实施例中的单元可以通过通用集成电路，例如CPU(CentralProcessing Unit，中央处理器)，或通过ASIC(Application Specific IntegratedCircuit，专用集成电路)来实现。
本发明实施例数据同步方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例数据同步装置中的单元可以根据实际需要进行合并、划分和删减。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据同步方法，其特征在于，所述方法包括：
获取源数据库的指定表中的指定字段数据，并确定所述源数据库中指定表与指定字段数据之间的依赖关系；
将所述指定字段数据保存至指定目录下，并根据所述源数据库中指定表与指定字段数据之间的依赖关系设置所述指定字段数据与指定目录之间的依赖关系；
若接收到目标服务器的数据请求，获取所述目标服务器的地址信息；
根据所述地址信息，向所述目标服务器发送所述指定目录中的指定字段数据以及所述指定字段数据与指定目录之间的依赖关系。
2.如权利要求1所述的方法，其特征在于，所述确定所述源数据库中指定表与指定字段数据之间的依赖关系，包括：
确定所述源数据库中记录表与数据之间依赖关系的依赖关系表；
根据所述指定表的表名和所述指定字段数据的数据名从所述依赖关系表中查找到所述指定表与指定字段数据之间的依赖关系。
3.如权利要求1所述的方法，其特征在于，所述根据所述源数据库中指定表与指定字段数据之间的依赖关系设置所述指定字段数据与指定目录之间的依赖关系，包括：
根据所述源数据库中指定表与指定字段数据之间的依赖关系得到指定表与指定字段数据之间的有向图；
在所述有向图中确定所述指定表对应的图节点以获得所述指定表在所述图节点中的节点名称；
获取所述指定目录的目录名称，并使用所述指定目录的目录名称替换所述指定表在所述图节点中的节点名称；
获取替换后的有向图并作为所述指定字段数据与指定目录之间的依赖关系。
4.如权利要求1所述的方法，其特征在于，所述若接收到目标服务器的数据请求，获取所述目标服务器的地址信息，包括：
通过预设的端口接收所述目标服务器的数据请求；
对所述数据请求进行解析，获取所述目标服务器的地址信息。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
当数据同步至所述目标服务器后，判断所述目标服务器的当前存储时长是否达到预设时长；
若所述目标服务器的当前存储时长达到预设时长，删除所述目标服务器中的当前指定字段数据以及当前依赖关系，并向所述指定目录重新发起数据请求。
6.一种数据同步装置，其特征在于，所述装置包括：
获取确定单元，用于获取源数据库的指定表中的指定字段数据，并确定所述源数据库中指定表与指定字段数据之间的依赖关系；
保存设置单元，用于将所述指定字段数据保存至指定目录下，并根据所述源数据库中指定表与指定字段数据之间的依赖关系设置所述指定字段数据与指定目录之间的依赖关系；
第二获取单元，用于若接收到目标服务器的数据请求，获取所述目标服务器的地址信息；
发送单元，用于根据所述地址信息，向所述目标服务器发送所述指定目录中的指定字段数据以及所述指定字段数据与指定目录之间的依赖关系。
7.如权利要求6所述的装置，其特征在于，所述获取确定单元，包括：
第一确定单元，用于确定所述源数据库中记录表与数据之间依赖关系的依赖关系表；
查找单元，用于根据所述指定表的表名和所述指定字段数据的数据名从所述依赖关系表中查找到所述指定表与指定字段数据之间的依赖关系。
8.如权利要求6所述的装置，其特征在于，所述保存设置单元，包括：
执行单元，用于根据所述源数据库中指定表与指定字段数据之间的依赖关系得到指定表与指定字段数据之间的有向图；
第二确定单元，用于在所述有向图中确定所述指定表对应的图节点以获得所述指定表在所述图节点中的节点名称；
获取替换单元，用于获取所述指定目录的目录名称，并使用所述指定目录的目录名称替换所述指定表在所述图节点中的节点名称；
获取执行单元，用于获取替换后的有向图并作为所述指定字段数据与指定目录之间的依赖关系。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述的数据同步方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现如权利要求1-5任一项所述的数据同步方法。
CN201910610935.4A 2019-07-08 2019-07-08 数据同步方法、装置、计算机设备以及存储介质 Active CN110489483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910610935.4A CN110489483B (zh) 2019-07-08 2019-07-08 数据同步方法、装置、计算机设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910610935.4A CN110489483B (zh) 2019-07-08 2019-07-08 数据同步方法、装置、计算机设备以及存储介质

Publications (2)

Publication Number Publication Date
CN110489483A true CN110489483A (zh) 2019-11-22
CN110489483B CN110489483B (zh) 2024-02-06

Family

ID=68546705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910610935.4A Active CN110489483B (zh) 2019-07-08 2019-07-08 数据同步方法、装置、计算机设备以及存储介质

Country Status (1)

Country Link
CN (1) CN110489483B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111506567A (zh) * 2020-04-24 2020-08-07 苏州达家迎信息技术有限公司 数据的跨库清洗方法、装置、计算机设备及介质
CN113722396A (zh) * 2021-08-25 2021-11-30 武汉达梦数据库股份有限公司 一种数据同步接收端服务主备切换的方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107908631A (zh) * 2017-07-25 2018-04-13 平安科技（深圳）有限公司 数据处理方法、装置、存储介质和计算机设备
CN108121827A (zh) * 2018-01-15 2018-06-05 农信银资金清算中心有限责任公司 一种全量数据的同步方法及装置
CN109885581A (zh) * 2019-03-14 2019-06-14 苏州达家迎信息技术有限公司 数据库的同步方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107908631A (zh) * 2017-07-25 2018-04-13 平安科技（深圳）有限公司 数据处理方法、装置、存储介质和计算机设备
CN108121827A (zh) * 2018-01-15 2018-06-05 农信银资金清算中心有限责任公司 一种全量数据的同步方法及装置
CN109885581A (zh) * 2019-03-14 2019-06-14 苏州达家迎信息技术有限公司 数据库的同步方法、装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111506567A (zh) * 2020-04-24 2020-08-07 苏州达家迎信息技术有限公司 数据的跨库清洗方法、装置、计算机设备及介质
CN111506567B (zh) * 2020-04-24 2022-10-28 苏州达家迎信息技术有限公司 数据的跨库清洗方法、装置、计算机设备及介质
CN113722396A (zh) * 2021-08-25 2021-11-30 武汉达梦数据库股份有限公司 一种数据同步接收端服务主备切换的方法及设备
CN113722396B (zh) * 2021-08-25 2023-12-22 武汉达梦数据库股份有限公司 一种数据同步接收端服务主备切换的方法及设备

Also Published As

Publication number Publication date
CN110489483B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN110019279B (zh) 在线文档的协同更新方法、装置、设备及存储介质
US10776104B2 (en) Systems and methods for tracking configuration file changes
US11514076B2 (en) Cooperative naming for configuration items in a distributed configuration management database environment
KR101503209B1 (ko) 휴대용 컴퓨팅 디바이스의 스위치 패브릭들 내에서 그리고 스위치 패브릭들에 걸쳐 마스터-슬레이브 쌍들을 동적으로 생성하고 서비스하는 방법 및 시스템
US20130191451A1 (en) Presence-based Synchronization
CN109683826A (zh) 用于分布式存储系统的扩容方法和装置
KR20140117447A (ko) 노트 작성 애플리케이션 특성의 로밍 기법
US10275430B2 (en) Multimodal sharing of content between documents
US10146873B2 (en) Cloud-native documents integrated with legacy tools
EP3314457A1 (en) Metamorphic documents
CN110489483A (zh) 数据同步方法、装置、计算机设备以及存储介质
US10721305B2 (en) Presenting content using decoupled presentation resources
US11488692B2 (en) Emergency department communication system
EP3061011B1 (en) Method for optimizing index, master database node and subscriber database node
CN108415723A (zh) 基于消息队列的配置数据同步方法、装置、介质及设备
CN113760386A (zh) 一种访问控制系统、访问控制方法及存储介质
CN106020616A (zh) 桌面快链图标的更新方法和装置
CN114415977B (zh) 访问存储池的方法以及分布式存储系统
CN110019525A (zh) 一种数据库扩容的方法和装置
CN111339061A (zh) 一种分布式数据库的数据迁移方法及系统
KR102142049B1 (ko) 정보 항목 저장 방법, 시스템, 설비 및 컴퓨터 판독가능 저장 매체
CN109325057A (zh) 中间件管理方法、装置、计算机设备以及存储介质
US20100114978A1 (en) Methodology for the Automatic Capture of Process Information in Federated Knowledge Systems
CN112578996B (zh) 一种存储系统的元数据的发送方法及存储系统
US20210311978A1 (en) Computer-readable recording medium storing management program, management method, and information processing device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant