CN110225077A - 变更供应数据的同步方法、装置、计算机设备及计算机存储介质 - Google Patents
变更供应数据的同步方法、装置、计算机设备及计算机存储介质 Download PDFInfo
- Publication number
- CN110225077A CN110225077A CN201910337269.1A CN201910337269A CN110225077A CN 110225077 A CN110225077 A CN 110225077A CN 201910337269 A CN201910337269 A CN 201910337269A CN 110225077 A CN110225077 A CN 110225077A
- Authority
- CN
- China
- Prior art keywords
- data
- change
- supply data
- synchronized
- change supply
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种变更供应数据的同步方法、装置、计算机设备及计算机存储介质，涉及云存储技术领域，可以在供应数据产生了变更的时候，无需人力处理变更供应数据的同步，提高数据同步效率。所述方法包括：获取单位同步时间内业务方同步数据与供应数据之间的偏差数据，得到变更供应数据；按照预设存储规则将所述变更供应数据存储至所述供应数据库内监控数据表中；查找所述变更供应数据对应的需求业务方，向所述需求业务方发送变更供应数据的同步请求；接收所述需求业务方发送的变更供应数据的同步请求响应，根据所述变更供应数据的同步请求响应中携带的变更供应数据对应的标识信息，从所述监控数据表中筛选出与所述标识信息相匹配的变更供应数据作为待同步变更供应数据；根据预先设置的同步调度参数，将所述待同步变更供应数据同步至所述需求业务方。
Description
技术领域
本发明涉及云存储技术领域，尤其是涉及变更供应数据的同步方法、装置、计算机设备及计算机存储介质。
背景技术
计算机网络的飞速发展和信息化的推进使得数据成为很多企业的宝贵资源，使得数据采集、存储和处理任务与日俱增，基于网络的数据共享已经成为人们获取数据资源不可或缺的方式。
为了更好地实现数据共享需要对共享数据进行同步，数据同步对企业来说至关重要，比如企业的服务器端用于管理分属于企业不同部门的业务端，并且在服务器端存储有管理数据，那么为了方便服务器端对各个业务端进行管理，同时提高业务端的数据处理效率，需要保证服务器端与各个业务端之间的数据同步。
在各个部门的业务方将数据同步到服务器后，各个部门的数据并非是独立存在的，往往需要其他部门之间的数据进行辅助，例如，保险部门作为需求业务方需要车险部门的数据进行辅助，会向服务器索要车险部门同步的数据，服务器在对车险部门同步到数据进行处理后作为供数同步至保险部门。然而，由于需求业务方在数据操作过程中需要的供应数据会发生变更，如增加某一部分数据或者删除某一部分数据，使得需要的供应数据产生了变更，需要向需求业务方确认变更供数方案，并且耗费人力去处理变更供应数据的同步，降低了数据同步的效率。
发明内容
有鉴于此，本发明提供了一种变更供应数据的同步方法、装置、计算机设备及计算机存储介质，主要目的在于解决目前相关技术中在供应数据产生了变更的时候，需要耗费人力去处理变更供应数据的同步，影响数据同步效率的问题。
依据本发明一个方面，提供了一种变更供应数据的同步方法，该方法包括：
获取单位同步时间内业务方同步数据与供应数据之间的偏差数据，得到变更供应数据；
按照预设存储规则将所述变更供应数据存储至所述供应数据库内监控数据表中；
查找所述变更供应数据对应的需求业务方，向所述需求业务方发送变更供应数据的同步请求；
接收所述需求业务方发送的变更供应数据的同步请求响应，根据所述变更供应数据的同步请求响应中携带的变更供应数据对应的标识信息，从所述监控数据表中筛选出与所述标识信息相匹配的变更供应数据作为待同步变更供应数据；
根据预先设置的同步调度参数，将所述待同步变更供应数据同步至所述需求业务方。
进一步地，所述获取单位同步时间内业务方同步数据与供应数据之间的偏差数据，得到变更供应数据包括：
启动稽查调度任务，根据所述稽查调度任务监控单位同步时间内各个业务方上传至数据中心的同步数据的数据量与供应数据库中供应数据的数据量；
当监控得到所述同步数据的数据量与所述供应数据的数据量不一致时，统计所述同步数据的数据量与所述供应数据的数据量之间的偏差数据，得到变更供应数据。
进一步地，所述预设存储规则为依据所述变更供应数据对应的表结构进行存储，所述按照预设存储规则将所述变更供应数据存储至所述供应数据库内监控数据表中包括：
根据所述变更供应数据对应的表结构在供应数据库内生成适用于表结构的监控数据表；
按照预设存储规则将所述变更供应数据存储至所述供应数据库内适用于表结构的监控数据表中。
进一步地，所述预设存储规则为依据所述变更供应数据对应的同步参数进行存储，所述按照预设存储规则将所述变更供应数据存储至所述供应数据库内监控数据表中包括：
根据所述变更供应数据对应的同步参数在供应数据库内生成适用于同步参数的监控数据表；
按照预设存储规则将所述变更供应数据存储至所述供应数据库内适用于同步参数的监控数据表中。
进一步地，所述查找所述变更供应数据对应的需求业务方，向所述需求业务方发送变更供应数据的同步请求包括：
通过遍历供应数据库中供应数据对应的需求业务方，查找所述监控数据表中变更供应数据对应的需求业务方；
向所述变更供应数据对应的需求业务方发送变更供应数据的同步请求，所述同步请求携带有供应数据的变更提示，以使得所述需求业务方根据所述变更提示对所述变更供应数据进行同步。
进一步地，在所述根据预先设置的同步调度参数，将所述待同步变更供应数据同步至所述需求业务方之前，所述方法还包括：
根据所述待同步变更供应数据对应数据量的大小，确定所述待同步变更供应数据的数据量级别；
根据所述待同步变更供应数据的数据量级别，设置所述待同步变更供应数据对应的同步调度参数。
进一步地，所述同步调度参数包括同步时间参数、同步调度时间级别参数以及同步节点权重参数，所述根据所述待同步变更供应数据的数据量级别，设置所述待同步变更供应数据对应的同步调度参数包括：
根据所述待同步变更供应数据的数据量级别预估待同步变更供应数据完成同步任务所需要的时间，设置所述待同步变更供应数据的同步时间参数；
根据所述待同步变更供应数据的数据量级别预估待同步变更供应数据在同步任务中调度的单位时间，设置所述待同步变更供应数据的同步调度时间级别参数；
根据所述待同步变更供应数据的数据量级别预估待同步变更供应数据在同步任务中需要开启同步节点数量，设置所述待同步变更供应数据的同步节点权重参数。
依据本发明另一个方面，提供了一种变更供应数据的同步装置，所述装置包括：
获取单元，用于获取单位同步时间内业务方同步数据与供应数据之间的偏差数据，得到变更供应数据；
存储单元，用于按照预设存储规则将所述变更供应数据存储至所述供应数据库内监控数据表中；
查找单元，用于查找所述变更供应数据对应的需求业务方，向所述需求业务方发送变更供应数据的同步请求；
筛选单元，用于接收所述需求业务方发送的变更供应数据的同步请求响应，根据所述变更供应数据的同步请求响应中携带的变更供应数据对应的标识信息，从所述监控数据表中筛选出与所述标识信息相匹配的变更供应数据作为待同步变更供应数据；
同步单元，用于根据预先设置的同步调度参数，将所述待同步变更供应数据同步至所述需求业务方。
进一步地，所述获取单元包括：
监控模块，用于在所述当监控到供应数据库内供应数据表中的数据发生变化时，获取所述供应数据表内变化的数据作为变更供应数据之前，启动稽查调度任务，根据所述稽查调度任务监控单位同步时间内各个业务方上传至数据中心的同步数据的数据量与供应数据库中供应数据的数据量；
统计模块，用于当监控得到所述同步数据的数据量与所述供应数据的数据量不一致时，统计所述同步数据的数据量与所述供应数据的数据量之间的偏差数据，得到变更供应数据。
进一步地，所述预设存储规则为依据所述变更供应数据对应的表结构进行存储，所述存储单元包括：
生成模块，用于根据所述变更供应数据对应的表结构在供应数据库内生成适用于表结构的监控数据表；
存储模块，用于按照预设存储规则将所述变更供应数据存储至所述供应数据库内适用于表结构的监控数据表中。
进一步地，所述预设存储规则为依据所述变更供应数据对应的同步参数进行存储，
所述生成模块，还用于根据所述变更供应数据对应的同步参数在供应数据库内生成适用于同步参数的监控数据表；
所述存储模块，还用于按照预设存储规则将所述变更供应数据存储至所述供应数据库内适用于同步参数的监控数据表中。
进一步地，所述查找单元包括：
查找模块，用于通过遍历供应数据库中供应数据对应的需求业务方，查找所述监控数据表中变更供应数据对应的需求业务方；
发送模块，用于向所述变更供应数据对应的需求业务方发送变更供应数据的同步请求，所述同步请求携带有供应数据的变更提示，以使得所述需求业务方根据所述变更提示对所述变更供应数据进行同步。
进一步地，所述装置还包括：
确定单元，用于在所述根据预先设置的同步调度参数，将所述待同步变更供应数据同步至所述需求业务方之前，根据所述待同步变更供应数据对应数据量的大小，确定所述待同步变更供应数据的数据量级别；
设置单元，用于根据所述待同步变更供应数据的数据量级别，设置所述待同步变更供应数据对应的同步调度参数。
进一步地，所述同步调度参数包括同步时间参数、同步调度时间级别参数以及同步节点权重参数，所述设置单元包括：
第一设置模块，用于根据所述待同步变更供应数据的数据量级别预估待同步变更供应数据完成同步任务所需要的时间，设置所述待同步变更供应数据的同步时间参数；
第二设置模块，用于根据所述待同步变更供应数据的数据量级别预估待同步变更供应数据在同步任务中调度的单位时间，设置所述待同步变更供应数据的同步调度时间级别参数；
第三设置模块，用于根据所述待同步变更供应数据的数据量级别预估待同步变更供应数据在同步任务中需要开启同步节点数量，设置所述待同步变更供应数据的同步节点权重参数。
依据本发明又一个方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现变更供应数据的同步方法的步骤。
依据本发明再一个方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现变更供应数据的同步方法的步骤。
借由上述技术方案，本发明提供一种变更供应数据的同步方法及装置，通过获取单位同步时间内业务方同步数据与供应数据之间的偏差数据，得到变更供应数据，该变更供应数据相当于业务方供应数据发生变化产生的变更供应数据，按照预设存储规则将变更供应数据放到监控数据表中，以使得需求业务方可以针对监控数据表中的数据触发变更供应数据的同步请求，从而根据预先设置的同步调度参数，将待同步变更供应数据同步至需求业务方，提高供应数据的同步效率。与现有技术中在供应数据产生了变更时需要耗费人力去处理的变更供应数据的同步方式相比，本发明实施例通过监听单位同步时间内业务方同步数据与变更数据之间的偏差，将变更供应数据存储在监控数据表中，使得需求业务方无需耗费时间整理供应数据的变更，大大减少了变更供应数据在同步过程中的人力成本，并且通过预先设置的同步调度参数实现变更供应数据的同步，解决了变更供数方案不及时导致变更供应数据延迟的问题，提高了变更供应数据的同步效率。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种变更供应数据的同步方法流程示意图；
图2示出了本发明实施例提供的另一种变更供应数据的同步方法流程示意图；
图3示出了本发明实施例提供的一种变更供应数据的同步装置的结构示意图；
图4示出了本发明实施例提供的另一种变更供应数据的同步装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种变更供应数据的同步方法，可以在供应数据产生了变更的时候，无需人力处理变更供应数据的同步，提高数据同步效率，如图1所示，该方法包括：
101、获取单位同步时间内业务方同步数据与供应数据之间的偏差数据，得到变更供应数据。
其中，业务方同步数据可以为数据库中存储或运营过程产生的数据，例如，服务器生成的产数据，客户端输入的用户信息数据等，还可以为平台中记录用户行为的日志数据，例如，用户浏览网页的数据，用户购买商品的数据等，这里不进行限定。
由于各个部门在业务操作过程中需要其他部门业务数据的辅助，所以在各个部门将业务方同步数据同步至服务器的数据中心后，需求业务方需要从数据中心请求供应该部分同步数据，该部分同步数据即为供应数据，通常情况下供应数据在同步至数据中心后不会产生变化，也就是单位同步时间内业务方同步数据与供应数据之间不存在偏差数据，而如果单位同步时间内业务方同步数据与供应数据之间存在偏差数据，则说明业务方同步数据在同步过程中存在变更，如增加同步数据或者删除同步数据，具体变更数量的个数相当于业务方同步数据与供应数据之间的偏差数据。
对于本发明实施例，具体可以通过每间隔单位同步时间分别监控业务方同步数据以及数据中心供应数据，监控业务方同步数据的数据量以及数据中心供应数据的数据量是否一致，一旦发现数据量不一致，获取业务方同步数据与供应数据之间的偏差数据，该偏差数据即为变更供应数据。
102、按照预设存储规则将所述变更供应数据存储至所述供应数据库内监控数据表中。
其中，预设存储规则为可以依据变更供应数据对应的表结构进行存储，例如，变更供应数据仅包括部分同步数据的内容，所以在创建存储变更供应数据的监控数据表时，会根据部分同步数据的内容对应的数据表结构创建监控数据表，进一步将变更供应数据存储至供应数据库中的监控数据表，当然也可以将变更数据附加在原始供应数据的末尾或者变更位置。预设存储规则还可以为根据变更供应数据对应的同步参数进行存储，例如，根据供应数据的同步时间参数可以分为小时、天、周以及月等，会根据同步时间参数创建监控数据表，进一步将变更供应数据存储至供应数据库中的监控数据表。
需要说明的是，监控数据表中存储的变更供应数据分别对应有不同的需求业务方，可以根据变更供应数据对应的需求业务方对变更供应数据进行分类并标记存储，例如，需求业务方A的供应数据以及变更供应数据存储至监控数据表a，需求业务方B的供应数据以及变更供应数据存储至监控数据表b，以便于在需求业务方请求变更供应数据的同步时，可以根据分类标记直接从监控数据表中调用相应需求业务方的变更供应数据。
103、查找所述变更供应数据对应的需求业务方，向所述需求业务方发送变更供应数据的同步请求。
由于各个业务方在实际上传同步数据的过程中同步数据可能是不断变化的，使得需求业务方向数据中心请求的供应数据也会相应发生改变，一旦发生变化，数据中心会及时发现变更供应数据，从而查找变更供应数据对应的需求业务方，以便在第一时间通知需求业务方供应数据的变更，向需求业务方发送变更供应数据的同步请求，从而及时了解需求业务方对变更供应数据的处理方式。
104、接收所述需求业务方发送的变更供应数据的同步请求响应，根据所述变更供应数据的同步请求响应中携带的变更供应数据对应的标识信息，从所述监控数据表中筛选出与所述标识信息相匹配的变更供应数据作为待同步变更供应数据。
在数据中心提取需求业务方需要的供应数据的同时，数据中心在单位同步时间内上传的同步数据可能也在变化，例如，数据中心上传的数据表A为供应数据提取至供应数据库，而在提取数据表A的同时，数据中心的数据表A发生了变更，增加了部分数据，所以导致需求方需要的供应数据也发生了变更，然而该变更的部分数据并未能及时传输到供应数据库，如果需求业务方需要变更的部分数据，则需要需求业务方向数据中心发送变更供应数据的同步请求响应，从而数据中心才会根据变更供应数据的同步请求响应中携带的变更供应数据对应的标识信息，从监控数据表中筛选出于标识信息相匹配的变更供应数据作为待同步变更供应数据，将待同步变更供应数据同步给需求业务方
105、根据预先设置的同步调度参数，将所述待同步变更供应数据同步至所述需求业务方。
对于本发明实施例，可以包括同步时间参数、同步调度时间级别参数以及同步节点权重参数，同步时间参数为预估业务方同步数据完成同步所需要的时间，例如，配置1小时内完成业务方同步数据的同步，同步调度时间级别参数为业务方同步数据在同步过程中调度的单位时间，例如，5分钟级别、10分钟级别、30分钟级别、1小时级别、3小时级别以及1天级别，同步节点权重参数为同步过程中需要同时开启的节点数量，例如，同时开启5台服务器或者10台服务器进行数据同步。
本发明提供一种变更供应数据的同步方法，通过获取单位同步时间内业务方同步数据与供应数据之间的偏差数据，得到变更供应数据，该变更供应数据相当于业务方供应数据发生变化产生的变更供应数据，按照预设存储规则将变更供应数据放到监控数据表中，以使得需求业务方可以针对监控数据表中的数据触发变更供应数据的同步请求，从而根据预先设置的同步调度参数，将待同步变更供应数据同步至需求业务方，提高供应数据的同步效率。与现有技术中在供应数据产生了变更时需要耗费人力去处理的变更供应数据的同步方式相比，本发明实施例通过监听单位同步时间内业务方同步数据与变更数据之间的偏差，将变更供应数据存储在监控数据表中，使得需求业务方无需耗费时间整理供应数据的变更，大大减少了变更供应数据在同步过程中的人力成本，并且通过预先设置的同步调度参数实现变更供应数据的同步，解决了变更供数方案不及时导致变更供应数据延迟的问题，提高了变更供应数据的同步效率。
本发明实施例提供了另一种变更供应数据的同步方法，可以在供应数据产生了变更的时候，无需人力处理变更供应数据的同步，提高数据同步效率，如图2所示，所述方法包括：
201、启动稽查调度任务，根据所述稽查调度任务监控单位同步时间内各个业务方上传至数据中心的同步数据的数据量与供应数据库中供应数据的数据量。
在业务方同步数据完成数据同步后，一旦业务方需要变更同步数据，会导致需求业务方需要的供应数据与供应数据库存储的供应数据存在偏差。
对于本发明实施例，具体可以通过启动稽查调度任务来定时监控单位同步时间内各个业务方上传至数据中心的同步数据的数据量与供应数据库中供应数据的数据量，该稽查调度任务能够定时去检查数据中心存储的同步数据与供应数据库调取的供应数据，例如，可以设置每间隔单位同步时间去检测数据中心的同步数据以及供应数据库的供应数据，如间隔1小时、12小时或者1天等，这里对间隔时间不进行限定。
202、当监控得到所述同步数据的数据量与所述供应数据的数据量不一致时，统计所述同步数据的数据量与所述供应数据的数据量之间的偏差数据，得到变更供应数据。
对于本发明实施例，由于同步数据的数据量与供应数据的数据量通常保持一致，一旦发生不一致现象，则说明业务方在同步数据的过程中变更同步数据，例如，业务方在数据同步过程中发现同步错误，需要将错误数据从同步数据的数据表中删除，或者发现遗落，将遗落数据增加至同步数据的数据表中，而此时供应数据库中的供应数据中并不能及时进行更正，使得业务方同步数据的数据量与供应数据的数据量之间存在偏差数据，该偏差数据同样为需求业务方的供应数据，相当于变更供应数据。
203、按照预设存储规则将所述变更供应数据存储至所述供应数据库内监控数据表中。
对于本发明实施例，预设存储规则可以为依据变更供应数据对应的表结构进行存储，具体可以根据变更供应数据对应的表结构在供应数据库内生成适用于表结构的监控数据表，这里可以预先在供应数据库中存储适用于变更供应数据的各种表结构，例如，类型表、信息表、图片表等，进而按照预设存储规则将变更供应数据存储至供应数据库内适用于表结构的监控数据表中。
预设存储规则还可以为依据变更供应数据对应的同步参数进行存储，具体可以根据变更供应数据对应的同步参数在供应数据库内生成适用于同步参数的监控数据表，这里可以预先在供应数据库中存储适用于变更供应数据的各种同步参数，例如，同步总时间、同步间隔时间、同步节点数量等，进而按照预设存储规则将变更供应数据存储至供应数据库内适用于同步参数的监控数据表中。
204、通过遍历供应数据库中供应数据对应的需求业务方，查找所述监控数据表中变更供应数据对应的需求业务方。
对于本发明实施例，由于供应数据库中存储有各个需求业务方的供应数据，并且在供应数据对应的数据表记录有各个需求业务方的标识信息，如需求业务方的名称或者需求业务设置的符号等，而变更供应数据为附加在供应数据上的数据，具体可以通过遍历供应数据库中供应数据对应的各个需求业务方的标识信息，根据需求业务方的标识信息来查找监控数据表中变更供应数据对应的需求业务方。
205、向所述变更供应数据对应的需求业务方发送变更供应数据的同步请求，所述同步请求携带有供应数据的变更提示，以使得所述需求业务方根据所述变更提示对所述变更供应数据进行同步。
需要说明的是，为了便于需求业务方能够及时获取变更供应数据，可以在监控到变更供应数据后，可以将变更供应数据直接添加到供应数据的特定位置，如附加在供应数据的末尾，无论需求业务方是否同意，直接将变更供应数据伴随供应数据同步至需求业务方，当然还可以在监控到变更供应数据后，向变更供应数据对应的需求业务方推送变更供应数据的请求，从而可以让需求业务方更灵活的选择是否需要同步变更供应数据，如果变更供应数据正好是无需同步的数据，那么需求业务方可以选择不同步变更供应数据，如果是需求业务方需要同步的数据，那么需求业务方可以根据变更提示丢变更供应数据进行同步。
206、接收所述需求业务方发送的变更供应数据的同步请求响应，根据所述变更供应数据的同步请求响应中携带的变更供应数据对应的标识信息，从所述监控数据表中筛选出与所述标识信息相匹配的变更供应数据作为待同步变更供应数据。
对于本发明实施例，具体在需求业务方向数据中心发送变更供应数据的同步请求响应时，为了便于查找，该同步请求响应中会携带变更供应数据对应的标识信息，如变更供应数据对应的需求业务方名称，变更供应数据对应的表格名称或字段等，从而根据标识信息可以方便的从供应数据库的监控数据表中筛选出与标识信息相匹配的变更供应数据。
207、根据所述待同步变更供应数据对应数据量的大小，确定所述待同步变更供应数据的数据量级别。
对于本发明实施例，由于数据中心在向需求业务方执行待同步变更供应数据的同步任务之前，为了便于数据中心对待同步变更供应数据的同步任务进行管理，数据中心会预先对待同步变更供应数据对应的数据量进行统计，从而确定待同步变更供应数据的数据量级别。
例如，可以将统计数据量大于1000条的数据划分为一级，说明数据量较多，通常需要同步的时间较长，统计数据量为500-1000条的数据划分为二级，说明数据量中等，需要同步的时间居中统计数据量小于5000条的数据划分为三级，说明数据量较少，通常需要同步的时间较少，这里对数据量级别的划分规则不进行限定，具体根据实际情况可以划分更多的数据量级别。
208、根据所述待同步变更供应数据的数据量级别，设置所述待同步变更供应数据对应的同步调度参数。
对于本发明实施例，业务方同步数据对应的同步调度参数可以包括同步时间参数、同步调度时间级别参数以及同步节点权重参数，同步时间参数为预估业务方同步数据完成同步所需要的时间，例如，配置1小时内完成业务方同步数据的同步，同步调度时间级别参数为业务方同步数据在同步过程中调度的单位时间，例如，5分钟级别、10分钟级别、30分钟级别、1小时级别、3小时级别以及1天级别，同步节点权重参数为同步过程中需要同时开启的节点数量，例如，同时开启5台服务器或者10台服务器进行数据同步。
对于本发明实施例，具体根据待同步变更供应数据的数据量级别，设置待同步变更供应数据对应的同步调度参数包括如下步骤：根据待同步变更供应数据的数据量级别预估待同步变更供应数据完成同步任务所需要的时间，设置待同步变更供应数据的同步时间参数；根据待同步变更供应数据的数据量级别预估待同步变更供应数据在同步任务中调度的单位时间，设置待同步变更供应数据的同步调度时间级别参数；根据待同步变更供应数据的数据量级别预估待同步变更供应数据在同步任务中需要开启同步节点数量，设置待同步变更供应数据的同步节点权重参数。
以同步调度参数中的同步调度时间级别参数举例进行说明，具体在针对不同数据量级别的设置待同步变更供应数据对应的同步调度时间级别参数的过程中，如果待同步变更供应数据的数据量级别为一级，可以认为待同步变更供应数据的数据量较大，需要耗费长时间来完成数据同步，所以可以将待同步变更供应数据的同步调度时间级别可以设置1小时级别或者3小时级别等，如果待同步变更供应数据的数据量级别为二级，可以认为待同步变更供应数据的数据量居中，需要耗费中等时间来完成数据同步，所以可以将待同步变更供应数据的同步调度时间级别可以设置1小时级别或者30分钟级别等，如果待同步变更供应数据的数据量级别为三级，可以认为待同步变更供应数据的数据量较少，需要短时间即可完成数据同步，所以可以将待同步变更供应数据的同步调度时间级别设置为5分钟级别或10分钟级别等。
209、根据预先设置的同步调度参数，将所述待同步变更供应数据同步至所述需求业务方。
由于在接收到需求业务方发送的变更供应数据的同步请求后，数据中心会预先统计变更供应数据的同步信息，如统计哪些数据表需要进行同步，同步的截止时间限制等等，进一步根据统计得到的同步信息设置同步调度参数，即完成数据同步所需要的时间、同步调度时间级别以及同步节点权重参数业务方，例如，业务方要求在3日内完成15个数据表的数据同步任务，这里设置同步调度参数为同步时间参数为3天，同步调度时间级别参数为1天级别，同步节点权重参数为5台服务器，每台服务器每日分配至少1个数据表完成数据同步任务，进一步从而根据预先设置的同步调度参数实现将将待同步变更供应数据同步至需求业务方。
进一步地，作为图1所述方法的具体实现，本发明实施例提供了一种变更供应数据的同步装置，如图3所示，所述装置包括：获取单元31、存储单元32、查找单元33、筛选单元34、同步单元35。
获取单元31，可以用于获取单位同步时间内业务方同步数据与供应数据之间的偏差数据，得到变更供应数据；
存储单元32，可以用于按照预设存储规则将所述变更供应数据存储至所述供应数据库内监控数据表中；
查找单元33，可以用于查找所述变更供应数据对应的需求业务方，向所述需求业务方发送变更供应数据的同步请求；
筛选单元34，可以用于接收所述需求业务方发送的变更供应数据的同步请求响应，根据所述变更供应数据的同步请求响应中携带的变更供应数据对应的标识信息，从所述监控数据表中筛选出与所述标识信息相匹配的变更供应数据作为待同步变更供应数据；
同步单元35，可以用于根据预先设置的同步调度参数，将所述待同步变更供应数据同步至所述需求业务方。
本发明提供一种变更供应数据的同步装置，通过获取单位同步时间内业务方同步数据与供应数据之间的偏差数据，得到变更供应数据，该变更供应数据相当于业务方供应数据发生变化产生的变更供应数据，按照预设存储规则将变更供应数据放到监控数据表中，以使得需求业务方可以针对监控数据表中的数据触发变更供应数据的同步请求，从而根据预先设置的同步调度参数，将待同步变更供应数据同步至需求业务方，提高供应数据的同步效率。与现有技术中在供应数据产生了变更时需要耗费人力去处理的变更供应数据的同步方式相比，本发明实施例通过监听单位同步时间内业务方同步数据与变更数据之间的偏差，将变更供应数据存储在监控数据表中，使得需求业务方无需耗费时间整理供应数据的变更，大大减少了变更供应数据在同步过程中的人力成本，并且通过预先设置的同步调度参数实现变更供应数据的同步，解决了变更供数方案不及时导致变更供应数据延迟的问题，提高了变更供应数据的同步效率。
作为图3中所示变更供应数据的同步装置的进一步说明，图4是根据本发明实施例另一种变更供应数据的同步装置的结构示意图，如图4所示，所述装置还包括：
确定单元36，可以用于在所述根据预先设置的同步调度参数，将所述待同步变更供应数据同步至所述需求业务方之前，根据所述待同步变更供应数据对应数据量的大小，确定所述待同步变更供应数据的数据量级别；
设置单元37，可以用于根据所述待同步变更供应数据的数据量级别，设置所述待同步变更供应数据对应的同步调度参数。
进一步地，所述同步调度参数包括同步时间参数、同步调度时间级别参数以及同步节点权重参数，所述设置单元37包括：
第一设置模块371，可以用于根据所述待同步变更供应数据的数据量级别预估待同步变更供应数据完成同步任务所需要的时间，设置所述待同步变更供应数据的同步时间参数；
第二设置模块372，可以用于根据所述待同步变更供应数据的数据量级别预估待同步变更供应数据在同步任务中调度的单位时间，设置所述待同步变更供应数据的同步调度时间级别参数；
第三设置模块373，可以用于根据所述待同步变更供应数据的数据量级别预估待同步变更供应数据在同步任务中需要开启同步节点数量，设置所述待同步变更供应数据的同步节点权重参数。
进一步地，所述获取单元31包括：
监控模块311，可以用于启动稽查调度任务，根据所述稽查调度任务监控单位同步时间内各个业务方上传至数据中心的同步数据的数据量与供应数据库中供应数据的数据量；
统计模块312，可以用于当监控得到所述同步数据的数据量与所述供应数据的数据量不一致时，统计所述同步数据的数据量与所述供应数据的数据量之间的偏差数据，得到变更供应数据。
进一步地，所述预设存储规则为依据所述变更供应数据对应的表结构进行存储，所述存储单元32包括：
生成模块321，可以用于根据所述变更供应数据对应的表结构在供应数据库内生成适用于表结构的监控数据表；
存储模块322，可以用于按照预设存储规则将所述变更供应数据存储至所述供应数据库内适用于表结构的监控数据表中。
进一步地，所述预设存储规则为依据所述变更供应数据对应的同步参数进行存储，
所述生成模块321，还可以用于根据所述变更供应数据对应的同步参数在供应数据库内生成适用于同步参数的监控数据表；
所述存储模块322，还可以用于按照预设存储规则将所述变更供应数据存储至所述供应数据库内适用于同步参数的监控数据表中。
进一步地，所述查找单元33包括：
查找模块331，可以用于通过遍历供应数据库中供应数据对应的需求业务方，查找所述监控数据表中变更供应数据对应的需求业务方；
发送模块332，可以用于向所述变更供应数据对应的需求业务方发送变更供应数据的同步请求，所述同步请求携带有供应数据的变更提示，以使得所述需求业务方根据所述变更提示对所述变更供应数据进行同步。
需要说明的是，本实施例提供的一种变更供应数据的同步装置所涉及各功能单元的其他相应描述，可以参考图1和图2中的对应描述，在此不再赘述。
基于上述如图1和图2所示方法，相应的，本实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1和图2所示的变更供应数据的同步方法。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
基于上述如图1、图2所示的方法，以及图3、图4所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1和图2所示的变更供应数据的同步方法。
可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解，本实施例提供的变更供应数据的同步的实体设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。通过应用本申请的技术方案，与目前现有技术相比，本发明实施例通过监听单位同步时间内业务方同步数据与变更数据之间的偏差，将变更供应数据存储在监控数据表中，使得需求业务方无需耗费时间整理供应数据的变更，大大减少了变更供应数据在同步过程中的人力成本，并且通过预先设置的同步调度参数实现变更供应数据的同步，解决了变更供数方案不及时导致变更供应数据延迟的问题，提高了变更供应数据的同步效率。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。
Claims (10)
1.一种变更供应数据的同步方法，其特征在于，所述方法包括：
获取单位同步时间内业务方同步数据与供应数据之间的偏差数据，得到变更供应数据；
按照预设存储规则将所述变更供应数据存储至所述供应数据库内监控数据表中；
查找所述变更供应数据对应的需求业务方，向所述需求业务方发送变更供应数据的同步请求；
接收所述需求业务方发送的变更供应数据的同步请求响应，根据所述变更供应数据的同步请求响应中携带的变更供应数据对应的标识信息，从所述监控数据表中筛选出与所述标识信息相匹配的变更供应数据作为待同步变更供应数据；
根据预先设置的同步调度参数，将所述待同步变更供应数据同步至所述需求业务方。
2.根据权利要求1所述的方法，其特征在于，所述获取单位同步时间内业务方同步数据与供应数据之间的偏差数据，得到变更供应数据包括：
启动稽查调度任务，根据所述稽查调度任务监控单位同步时间内各个业务方上传至数据中心的同步数据的数据量与供应数据库中供应数据的数据量；
当监控得到所述同步数据的数据量与所述供应数据的数据量不一致时，统计所述同步数据的数据量与所述供应数据的数据量之间的偏差数据，得到变更供应数据。
3.根据权利要求1所述的方法，其特征在于，所述预设存储规则为依据所述变更供应数据对应的表结构进行存储，所述按照预设存储规则将所述变更供应数据存储至所述供应数据库内监控数据表中包括：
根据所述变更供应数据对应的表结构在供应数据库内生成适用于表结构的监控数据表；
按照预设存储规则将所述变更供应数据存储至所述供应数据库内适用于表结构的监控数据表中。
4.根据权利要求1所述的方法，其特征在于，所述预设存储规则为依据所述变更供应数据对应的同步参数进行存储，所述按照预设存储规则将所述变更供应数据存储至所述供应数据库内监控数据表中包括：
根据所述变更供应数据对应的同步参数在供应数据库内生成适用于同步参数的监控数据表；
按照预设存储规则将所述变更供应数据存储至所述供应数据库内适用于同步参数的监控数据表中。
5.根据权利要求1所述的方法，其特征在于，所述查找所述变更供应数据对应的需求业务方，向所述需求业务方发送变更供应数据的同步请求包括：
通过遍历供应数据库中供应数据对应的需求业务方，查找所述监控数据表中变更供应数据对应的需求业务方；
向所述变更供应数据对应的需求业务方发送变更供应数据的同步请求，所述同步请求携带有供应数据的变更提示，以使得所述需求业务方根据所述变更提示对所述变更供应数据进行同步。
6.根据权利要求1-5中任一项所述的方法，其特征在于，在所述根据预先设置的同步调度参数，将所述待同步变更供应数据同步至所述需求业务方之前，所述方法还包括：
根据所述待同步变更供应数据对应数据量的大小，确定所述待同步变更供应数据的数据量级别；
根据所述待同步变更供应数据的数据量级别，设置所述待同步变更供应数据对应的同步调度参数。
7.根据权利要求6所述的方法，其特征在于，所述同步调度参数包括同步时间参数、同步调度时间级别参数以及同步节点权重参数，所述根据所述待同步变更供应数据的数据量级别，设置所述待同步变更供应数据对应的同步调度参数包括：
根据所述待同步变更供应数据的数据量级别预估待同步变更供应数据完成同步任务所需要的时间，设置所述待同步变更供应数据的同步时间参数；
根据所述待同步变更供应数据的数据量级别预估待同步变更供应数据在同步任务中调度的单位时间，设置所述待同步变更供应数据的同步调度时间级别参数；
根据所述待同步变更供应数据的数据量级别预估待同步变更供应数据在同步任务中需要开启同步节点数量，设置所述待同步变更供应数据的同步节点权重参数。
8.一种变更供应数据的同步装置，其特征在于，所述装置包括：
获取单元，用于获取单位同步时间内业务方同步数据与供应数据之间的偏差数据，得到变更供应数据；
存储单元，用于按照预设存储规则将所述变更供应数据存储至所述供应数据库内监控数据表中；
查找单元，用于查找所述变更供应数据对应的需求业务方，向所述需求业务方发送变更供应数据的同步请求；
筛选单元，用于接收所述需求业务方发送的变更供应数据的同步请求响应，根据所述变更供应数据的同步请求响应中携带的变更供应数据对应的标识信息，从所述监控数据表中筛选出与所述标识信息相匹配的变更供应数据作为待同步变更供应数据；
同步单元，用于根据预先设置的同步调度参数，将所述待同步变更供应数据同步至所述需求业务方。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910337269.1A CN110225077A (zh) | 2019-04-25 | 2019-04-25 | 变更供应数据的同步方法、装置、计算机设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910337269.1A CN110225077A (zh) | 2019-04-25 | 2019-04-25 | 变更供应数据的同步方法、装置、计算机设备及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110225077A true CN110225077A (zh) | 2019-09-10 |
Family
ID=67819898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910337269.1A Pending CN110225077A (zh) | 2019-04-25 | 2019-04-25 | 变更供应数据的同步方法、装置、计算机设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110225077A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110968363A (zh) * | 2019-11-22 | 2020-04-07 | 贝壳技术有限公司 | 一种数据配置的同步方法、装置、电子设备以及可读存储介质 |
| CN112215554A (zh) * | 2020-10-23 | 2021-01-12 | 京东方科技集团股份有限公司 | 库存管理方法、系统及计算机可读存储介质 |
| CN112215554B (zh) * | 2020-10-23 | 2024-06-07 | 京东方科技集团股份有限公司 | 库存管理方法、系统及计算机可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130138612A1 (en) * | 2011-11-29 | 2013-05-30 | Microsoft Corporation | Provisioning and/or synchronizing using common metadata |
| CN104636483A (zh) * | 2015-02-16 | 2015-05-20 | 广东省公安厅 | 一种数据监控方法 |
| CN106095911A (zh) * | 2016-06-07 | 2016-11-09 | 腾讯科技（深圳）有限公司 | 搜索系统及数据同步方法 |
| WO2017114199A1 (zh) * | 2015-12-31 | 2017-07-06 | 阿里巴巴集团控股有限公司 | 一种数据同步方法和装置 |
| CN108920670A (zh) * | 2018-07-06 | 2018-11-30 | 深圳市小牛在线互联网信息咨询有限公司 | 缓存同步方法、装置、系统及存储介质 |
| CN109064345A (zh) * | 2018-08-14 | 2018-12-21 | 中国平安人寿保险股份有限公司 | 消息处理方法、系统以及计算机可读存储介质 |
| CN109672712A (zh) * | 2017-10-17 | 2019-04-23 | 中兴通讯股份有限公司 | 数据同步方法、装置、超级控制器、域控制器及存储介质 |
-
2019
- 2019-04-25 CN CN201910337269.1A patent/CN110225077A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130138612A1 (en) * | 2011-11-29 | 2013-05-30 | Microsoft Corporation | Provisioning and/or synchronizing using common metadata |
| CN104636483A (zh) * | 2015-02-16 | 2015-05-20 | 广东省公安厅 | 一种数据监控方法 |
| WO2017114199A1 (zh) * | 2015-12-31 | 2017-07-06 | 阿里巴巴集团控股有限公司 | 一种数据同步方法和装置 |
| CN106095911A (zh) * | 2016-06-07 | 2016-11-09 | 腾讯科技（深圳）有限公司 | 搜索系统及数据同步方法 |
| CN109672712A (zh) * | 2017-10-17 | 2019-04-23 | 中兴通讯股份有限公司 | 数据同步方法、装置、超级控制器、域控制器及存储介质 |
| CN108920670A (zh) * | 2018-07-06 | 2018-11-30 | 深圳市小牛在线互联网信息咨询有限公司 | 缓存同步方法、装置、系统及存储介质 |
| CN109064345A (zh) * | 2018-08-14 | 2018-12-21 | 中国平安人寿保险股份有限公司 | 消息处理方法、系统以及计算机可读存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110968363A (zh) * | 2019-11-22 | 2020-04-07 | 贝壳技术有限公司 | 一种数据配置的同步方法、装置、电子设备以及可读存储介质 |
| CN112215554A (zh) * | 2020-10-23 | 2021-01-12 | 京东方科技集团股份有限公司 | 库存管理方法、系统及计算机可读存储介质 |
| CN112215554B (zh) * | 2020-10-23 | 2024-06-07 | 京东方科技集团股份有限公司 | 库存管理方法、系统及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109559088A (zh) | 任务管理方法、装置、电子设备及存储介质 | |
| CN103825964B (zh) | 一种基于云计算PaaS平台的SLS调度装置和方法 | |
| CN106126332A (zh) | 分布式定时任务调度系统及方法 | |
| CN106648903B (zh) | 调用分布式文件系统的方法和装置 | |
| CN110245181A (zh) | 数据同步的同步方法、装置及计算机存储介质 | |
| CN106055630A (zh) | 日志存储的方法及装置 | |
| CN103365946B (zh) | 数据库性能分析 | |
| CN110209730A (zh) | 变更数据的同步方法、装置、计算机设备及计算机存储介质 | |
| US11226982B2 (en) | Synchronization of offline instances | |
| CN110062029A (zh) | 变更数据同步的方法、装置、计算机设备及计算机存储介质 | |
| CN108197155A (zh) | 信息数据同步方法、装置及计算机可读存储介质 | |
| CN111736994B (zh) | 资源编排方法、系统及存储介质和电子设备 | |
| CN112801607A (zh) | 一种管理服务平台及构建方法 | |
| CN105208090A (zh) | 一种基于Zookeeper实现Leader选举的方法 | |
| CN108243012A (zh) | 在线计费系统ocs中计费应用处理系统、方法及装置 | |
| CN110096547A (zh) | 供应数据的同步方法、装置、计算机设备及计算机存储介质 | |
| CN109241033A (zh) | 创建实时数据仓库的方法和装置 | |
| CN111784318A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN113760513A (zh) | 一种分布式任务调度方法、装置、设备和介质 | |
| CN110134503A (zh) | 一种集群环境下的定时任务处理方法、装置及存储介质 | |
| CN109597764A (zh) | 一种目录配额的测试方法及相关装置 | |
| CN108874520A (zh) | 计算方法及装置 | |
| CN109284324A (zh) | 基于Apache Oozie框架处理大数据的流程任务的调度装置 | |
| CN105871998A (zh) | 一种数据展示方法及装置 | |
| CN116108094A (zh) | 一种数据整合方法、装置、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190910 |
|
| WD01 | Invention patent application deemed withdrawn after publication |