CN112364005B - 数据同步方法、装置、计算机设备及存储介质 - Google Patents
数据同步方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112364005B CN112364005B CN202011249487.9A CN202011249487A CN112364005B CN 112364005 B CN112364005 B CN 112364005B CN 202011249487 A CN202011249487 A CN 202011249487A CN 112364005 B CN112364005 B CN 112364005B
- Authority
- CN
- China
- Prior art keywords
- data
- cleaning
- service data
- service
- data stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000004140 cleaning Methods 0.000 claims abstract description 265
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 3
- 238000013523 data management Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 238000012163 sequencing technique Methods 0.000 description 3
- 210000004258 portal system Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及数据处理技术领域，公开了一种数据同步方法、装置、计算机设备及存储介质，所述数据同步方法包括：建立业务系统与第一系统、第二系统和第三系统的连接；获取第一系统、第二系统和第三系统上存储的业务数据；将第一系统上存储的业务数据和第二系统上存储的业务数据进行数据比对得到第一共有数据；将第一共有数据和第三系统上存储的业务数据进行数据比对得到第二共有数据；根据第二共有数据对第一系统、第二系统和第三系统上存储的业务数据进行数据清洗得到目标业务数据；将目标业务数据分发至第一系统、第二系统和第三系统。本发明使得各系统上存储的业务数据同步，保证了业务数据整体的一致性，提高了业务数据管理的准确性。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种数据同步方法、装置、计算机设备及存储介质。
背景技术
随着业务的发展，产生了越来越多的业务数据，经常需要对业务数据进行管理。一般通常需要多个系统一起对业务数据进行管理，如门户(portal)系统、软件定义网络(Software Defined Network，SDN)编排系统、分布式配置管理系统。各个系统之间的调用十分复杂，在业务逻辑调用的过程中，一旦某个环节出了问题，如业务数据的回滚机制不完善，容易造成业务数据的不一致性和业务数据残留。而业务数据的残留会对系统再次下发业务造成干扰，下一次的业务调用时，如果用到了某些资源，在某个系统上已经释放了，但是另外的系统还存在的话，会导致业务的失败，从而影响用户体验。
因此，如何保证业务数据整体的一致性成为目前亟待解决的问题。
发明内容
鉴于以上内容，有必要提出一种数据同步方法、装置、计算机设备及存储介质，能够通过对目标系统上存储的业务数据进行数据比对确定各所述目标系统上存储的业务数据之间的共有业务数据信息，并根据所述共有业务数据信息对各所述目标系统上存储的业务数据进行数据清洗，使得各所述目标系统上存储的业务数据同步，保证了业务数据整体的一致性，提高了业务数据管理的准确性。
本发明的第一方面提供了一种数据同步方法，所述数据同步方法包括：
建立业务系统与第一系统、第二系统和第三系统之间的连接；
确定所述业务系统的数据获取方式，并根据所述数据获取方式获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据；
将所述第一系统上存储的业务数据和所述第二系统上存储的业务数据进行数据比对，得到第一共有数据；
将所述第一共有数据和所述第三系统上存储的业务数据进行数据比对，得到第二共有数据；
根据所述第二共有数据对所述第一系统、所述第二系统和所述第三系统上存储的业务数据进行数据清洗，得到目标业务数据；
将所述目标业务数据分发至所述第一系统、所述第二系统和所述第三系统。
根据本发明的一个可选的实施例，所述数据获取方式包括单资源获取方式，所述根据所述数据获取方式获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据包括：
确定所述单资源获取方式对应的资源类型；
按照所述单资源获取方式对应的资源类型，确定与所述资源类型匹配的目标数据字段；
根据所述目标数据字段，获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据。
根据本发明的一个可选的实施例，所述数据获取方式包括资源组获取方式，所述根据所述数据获取方式分别获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据包括：
确定所述资源组获取方式对应的多个资源类型；
确定每个资源类型对应的候选数据字段；
根据每个资源类型对应的候选数据字段筛选出多个目标数据字段；
根据所述多个目标数据字段，获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据。
根据本发明的一个可选的实施例，所述根据所述第二共有数据对所述第一系统、所述第二系统和所述第三系统上存储的业务数据进行数据清洗包括：
将所述第二共有数据和所述第一系统上存储的业务数据进行数据比对，确定所述第一系统对应的第一差异信息；
将所述第二共有数据和所述第二系统上存储的业务数据进行数据比对，确定所述第二系统对应的第二差异信息；
将所述第二共有数据和所述第三系统上存储的业务数据进行数据比对，确定所述第三系统对应的第三差异信息；
根据所述第一差异信息对所述第一系统上存储的业务数据进行数据清洗，根据所述第二差异信息对所述第二系统上存储的业务数据进行数据清洗，根据所述第三差异信息对所述第三系统上存储的业务数据进行数据清洗。
根据本发明的一个可选的实施例，所述根据所述第一差异信息对所述第一系统上存储的业务数据进行数据清洗，根据所述第二差异信息对所述第二系统上存储的业务数据进行数据清洗，根据所述第三差异信息对所述第三系统上存储的业务数据进行数据清洗包括：
根据所述第一差异信息确定与所述第一系统对应的第一清洗数据，根据所述第二差异信息确定与所述第二系统对应的第二清洗数据，根据所述第三差异信息确定与所述第三系统对应的第三清洗数据；
确定与所述第一清洗数据匹配的第一清洗项目、与所述第二清洗数据匹配的第二清洗项目及与所述第三清洗数据匹配的第三清洗项目；
根据所述第一清洗数据和所述第一清洗项目建立第一清洗数据库，根据所述第二清洗数据和所述第二清洗项目建立第二清洗数据库，根据所述第二清洗数据和所述第二清洗项目建立第三清洗数据库；
确定所述第一清洗数据库中的第一清洗顺序、所述第二清洗数据库中的第二清洗顺序和所述第三清洗数据库中的第三清洗顺序；
按照所述第一清洗顺序对所述第一清洗数据库进行数据清洗，按照所述第二清洗顺序对所述第二清洗数据库进行数据清洗，按照所述第三清洗顺序对所述第三清洗数据库进行数据清洗。
根据本发明的一个可选的实施例，所述确定所述第一清洗数据库中的第一清洗顺序、所述第二清洗数据库中的第二清洗顺序和所述第三清洗数据库中的第三清洗顺序包括：
根据预设设置的清洗频率数据库计算所述第一清洗项目的第一清洗频率、所述第二清洗项目的第二清洗频率和所述第三清洗项目的第三清洗频率；
对所述第一清洗频率、所述第二清洗频率和所述第三清洗频率进行排序；
根据所述第一清洗频率的排序确定所述第一清洗数据库中的第一清洗顺序，根据所述第二清洗频率的排序确定所述第二清洗数据库中的第二清洗顺序，根据所述第三清洗频率的排序确定所述第三清洗数据库中的第三清洗顺序。
根据本发明的一个可选的实施例，所述根据所述第二共有数据对所述第一系统、所述第二系统和所述第三系统上存储的业务数据进行数据清洗包括：
连接所述第一系统上存储业务数据的第一数据库、所述第二系统上存储业务数据的第二数据库和所述第三系统上存储业务数据的第三数据库；
确定所述第一数据库中与所述第二共有数据对应的第一数据标识、所述第二数据库中与所述第二共有数据对应的第二数据标识及所述第三数据库中与所述第二共有数据对应的第三数据标识；
根据所述第一数据标识对所述第一系统上存储的业务数据进行数据清洗，根据所述第二数据标识对所述第二系统上存储的业务数据进行数据清洗，根据所述第三数据标识对所述第三系统上存储的业务数据进行数据清洗。
本发明的第二方面提供了一种数据同步装置，所述数据同步装置包括：
系统连接模块，用于建立业务系统与第一系统、第二系统和第三系统之间的连接；
数据获取模块，用于确定所述业务系统的数据获取方式，并根据所述数据获取方式获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据；
第一比对模块，用于将所述第一系统上存储的业务数据和所述第二系统上存储的业务数据进行数据比对，得到第一共有数据；
第二比对模块，用于将所述第一共有数据和所述第三系统上存储的业务数据进行数据比对，得到第二共有数据；
数据清洗模块，用于根据所述第二共有数据对所述第一系统、所述第二系统和所述第三系统上存储的业务数据进行数据清洗，得到目标业务数据；
数据同步模块，用于将所述目标业务数据分发至所述第一系统、所述第二系统和所述第三系统。
本发明的第三方面提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的数据同步方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的数据同步方法。
本申请实施例公开了一种数据同步方法、装置、计算机设备及存储介质，通过建立业务系统与第一系统、第二系统和第三系统之间的连接；确定所述业务系统的数据获取方式，并根据所述数据获取方式分别获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据；将所述第一系统上存储的业务数据和所述第二系统上存储的业务数据进行数据比对，得到第一共有数据；将所述第一共有数据和所述第三系统上存储的业务数据进行数据比对，得到第二共有数据；根据所述第二共有数据分别对所述第一系统、所述第二系统和所述第三系统上存储的业务数据进行数据清洗，得到目标业务数据；将所述目标业务数据分发至所述第一系统、所述第二系统和所述第三系统。通过对目标系统上存储的业务数据进行数据比对确定各所述目标系统上存储的业务数据之间的共有业务数据信息，并根据所述共有业务数据信息对各所述目标系统上存储的业务数据进行数据清洗，以使得各所述目标系统上存储的业务数据同步，保证了业务数据整体的一致性，提高了业务数据管理的准确性。
附图说明
图1是本发明实施例提供的一种数据同步方法的流程示意图；
图2是图1中所述根据所述数据获取方式获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据的一种子流程示意图；
图3是图1中所述根据所述数据获取方式获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据的另一种子流程示意图；
图4是本发明实施例提供的一种数据同步装置的示意性框图；
图5是是本发明实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本申请实施例提供一种数据同步方法、装置、计算机设备及计算机可读存储介质。其中，该数据同步方法可应用于终端设备或服务器中，该终端设备可以手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备，该服务器可以为单台的服务器，也可以为由多台服务器组成的服务器集群。以下以该数据同步方法应用于服务器为例进行解释说明。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，图1是本申请实施例提供的一种数据同步方法的示意流程图。
如图1所示，所述数据同步方法具体包括步骤S11至S16，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。
S11、建立业务系统与第一系统、第二系统和第三系统之间的连接。
所述业务系统为用户进行业务操作的系统，可以是云网络基础设施即服务(Infrastructure as a Service，IaaS)产品的业务系统，所述业务系统在执行流程时，需要与目标系统，即第一系统、第二系统和第三系统建立连接，完成数据传送/调用等操作。示例性的，所述业务系统可通过表现层状态转化(restful api)/配置管理工具confd/安全外壳协议(Secure Shell，SSH)等多种方式与目标系统建立联系，所述第一系统可以为门户系统，所述第二系统可以为软件定义网络编排系统，所述第三系统可以为分布式配置管理系统，或所述第一系统可以为分布式配置管理系统，所述第二系统可以为软件定义网络编排系统，所述第三系统可以为门户系统，在此不对所述第一系统、所述第二系统、所述第三系统指定的系统做任何限制，所述第一系统、所述第二系统、所述第三系统指定的系统可根据用户的需求进行自定义操作。
S12、确定所述业务系统的数据获取方式，并根据所述数据获取方式获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据。
可预先设定不同的数据获取方式，根据所述业务系统当前设置的数据获取方式获取目标系统上存储的业务数据，即获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据。示例性的，可根据用户的操作获取业务数据或者所述业务系统定期自动获取业务数据，如服务器响应于用户终端发送的数据获取指令获取各所述目标系统上存储的业务数据；或所述业务系统每隔预设时间获取各所述目标系统上存储的业务数据。
在一实施方式中，所述数据获取方式包括单资源获取方式，如图2所示，所述根据所述数据获取方式获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据，具体包括步骤S211至S213。
S211、确定所述单资源获取方式对应的资源类型。
单资源获取方式用于获取某个特定的资源数据，如获取A用户的某个指定类型的虚拟私有云VPC。示例性的，所述单资源获取方式对应的资源类型可通过预先定义好的获取模板确定，如用户可根据需求在所述获取模板中定义/修改单资源获取方式对应的资源类型。
S212、按照所述单资源获取方式对应的资源类型，确定与所述资源类型匹配的目标数据字段。
示例性的，根据预先设置的资源字段对照表，查询与所述资源类型匹配的目标数据字段。例如资源类型为A用户出行记录的虚拟私有云VPC，通过所述资源字段对照表，确定与所述资源类型匹配的目标数据字段为A用户最近三个月的出行记录。其中，所述资源字段对照表可根据用户的需求进行自定义添加/删除/修改。
S213、根据所述目标数据字段，获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据。
确定所述目标数据字段后，从所述第一系统、所述第二系统和所述第三系统上获取所述目数据字段对应的业务数据。例如从所述第一系统、所述第二系统和所述第三系统上分别获取A用户最近三个月的出行记录对应的业务数据。通过单资源获取方式可避免获取到不需要的数据，加快数据的获取速度，从而提高对某一指定数据进行同步的效率。
在一实施方式中，所述数据获取方式包括资源组获取方式，如图3所示，所述根据所述数据获取方式获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据，具体包括步骤S221至S224。
S221、确定所述资源组中每个资源获取方式对应的多个资源类型。
资源组获取方式用于获取特定资源组的所有资源类型，如获取A用户的所有的虚拟私有云VPC。例如，所述A用户的所有的虚拟私有云VPC包括A用户出行记录的虚拟私有云VPC、A用户支出记录的虚拟私有云VPC、A用户收入记录的虚拟私有云VPC和A用户通话记录的虚拟私有云VPC等。示例性的，所述资源组获取方式对应的多个资源类型可通过预先定义好的获取模板确定，如用户可根据需求在所述获取模板中定义/修改资源组获取方式对应的资源类型。
S222、确定每个资源类型对应的候选数据字段。
示例性的，根据预先设置的资源字段对照表，查询与所述资源类型匹配的目标数据字段，将所述目标数据字段作为候选数据字段。例如资源类型为A用户出行记录的虚拟私有云VPC，通过所述资源字段对照表，确定与所述资源类型匹配的目标数据字段为A用户最近三个月的出行记录。其中，所述资源字段对照表可根据用户的需求进行自定义添加/删除/修改。
S223、根据每个资源类型对应的候选数据字段筛选出多个目标数据字段。
示例性的，确定所述多个资源类型对应的候选数据字段的使用频率，并根据所述使用频率对所述多个资源类型对应的候选数据字段进行倒序排序，即使用频率高的排在前面，使用频率低的排在后面，按照预先设置的字段取值和排序结果，从所述候选数据字段中筛选出多个目标数据字段。例如预先设置的字段取值为6，则按照排序，在所述候选数据字段中选排序前六的候选数据字段作为目标数据字段。
S224、根据所述多个目标数据字段，获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据。
确定所述多个目标数据字段后，从所述第一系统、所述第二系统和所述第三系统上获取所述多个目标数据字段对应的业务数据。通过资源组获取方式可获取较全面的数据，从而进一步提高数据同步的准确率。
S13、将所述第一系统上存储的业务数据和所述第二系统上存储的业务数据进行数据比对，得到第一共有数据。
示例性的，当检测到第一数据比对指令时，基于所述第一系统上存储的业务数据和所述第二系统上存储的业务数据确定数据比对范围，并比对数据比对范围包含的业务数据信息；当检测到业务数据信息比对完成时,根据业务数据信息比对的结果得到第一共有数据。例如，通过业务数据信息比对，确定所述第一系统上存储的业务数据和所述第二系统上存储的业务数据包括多个共有的业务数据，根据所述多个共有的业务数据得到第一共有数据，如所述第一共有数据包括所述多个共有的业务数据。
S14、将所述第一共有数据和所述第三系统上存储的业务数据进行数据比对，得到第二共有数据。
示例性的，当检测到第二数据比对指令时，基于所述第一共有数据和所述第三系统上存储的业务数据确定数据比对范围，并比对数据比对范围包含的业务数据信息；当检测到业务数据信息比对完成时,根据业务数据信息比对的结果得到第二共有数据。例如，通过业务数据信息比对，确定所述第一共有数据和所述第三系统上存储的业务数据包括多个共有的业务数据，根据所述多个共有的业务数据得到第二共有数据，如所述第二共有数据包括所述多个共有的业务数据。
S15、根据所述第二共有数据对所述第一系统、所述第二系统和所述第三系统上存储的业务数据进行数据清洗，得到目标业务数据。
示例性的，根据所述第二共有数据确定所述第一系统上存储的业务数据中的第一待清除数据，如将所述第一系统上存储的业务数据中除所述第二共有数据外的其他业务数据作为第一待清除数据，并对所述第一待清除数据进行数据清洗，得到第一目标业务数据；根据所述第二共有数据确定所述第二系统上存储的业务数据中的第二待清除数据，如将所述第二系统上存储的业务数据中除所述第二共有数据外的其他业务数据作为第二待清除数据，并对所述第二待清除数据进行数据清洗，得到第二目标业务数据；根据所述第二共有数据确定所述第三系统上存储的业务数据中的第三待清除数据，如将所述第三系统上存储的业务数据中除所述第二共有数据外的其他业务数据作为第三待清除数据，并对所述第三待清除数据进行数据清洗，得到第三目标业务数据。
示例性的，在得到所述第一目标业务数据、所述第二目标业务数据和所述第三目标业务数据后，对所述第一目标业务数据、所述第二目标业务数据和所述第三目标业务数据进行数据比对确定所述第一目标业务数据、所述第二目标业务数据和所述第三目标业务数据之间的业务数据差异，当所述业务数据差异小于预设差异阈值时，根据所述第一目标业务数据、所述第二目标业务数据或所述第三目标业务数据生成目标业务数据，并在生成所述目标业务数据后前往执行步骤S16，当所述业务数据差异小于预设差异阈值时，仍继续执行步骤S15。
在一实施方式中，所述根据所述第二共有数据对所述第一系统、所述第二系统和所述第三系统上存储的业务数据进行数据清洗，具体可以包括以下步骤：
将所述第二共有数据和所述第一系统上存储的业务数据进行数据比对，确定所述第一系统对应的第一差异信息；
将所述第二共有数据和所述第二系统上存储的业务数据进行数据比对，确定所述第二系统对应的第二差异信息；
将所述第二共有数据和所述第三系统上存储的业务数据进行数据比对，确定所述第三系统对应的第三差异信息；
根据所述第一差异信息对所述第一系统上存储的业务数据进行数据清洗，根据所述第二差异信息对所述第二系统上存储的业务数据进行数据清洗，根据所述第三差异信息对所述第三系统上存储的业务数据进行数据清洗。
根据所述第一系统、所述第二系统和所述第三系统上存储的业务数据分别与所述第二共有数据的数据比对结果，确定所述第一系统、所述第二系统和所述第三系统上存储的业务数据与所述第二共有数据的数据比对差异，即确定所述第一系统对应的第一差异信息、所述第二系统对应的第二差异信息和所述第三系统对应的第三差异信息。最后基于所述第一差异信息对所述第一系统上存储的业务数据进行数据清洗，基于所述第二差异信息对所述第二系统上存储的业务数据进行数据清洗，基于根据所述第三差异信息对所述第三系统上存储的业务数据进行数据清洗，即清洗掉所述第一系统上存储的业务数据中与第一差异信息对应的业务数据，清洗掉所述第二系统上存储的业务数据中与第二差异信息对应的业务数据，清洗掉所述第三系统上存储的业务数据中与第三差异信息对应的业务数据。
在一实施方式中，所述根据所述第一差异信息对所述第一系统上存储的业务数据进行数据清洗，根据所述第二差异信息对所述第二系统上存储的业务数据进行数据清洗，根据所述第三差异信息对所述第三系统上存储的业务数据进行数据清洗具体可以包括以下步骤：
根据所述第一差异信息确定与所述第一系统对应的第一清洗数据，根据所述第二差异信息确定与所述第二系统对应的第二清洗数据，根据所述第三差异信息确定与所述第三系统对应的第三清洗数据；
确定与所述第一清洗数据匹配的第一清洗项目、与所述第二清洗数据匹配的第二清洗项目及与所述第三清洗数据匹配的第三清洗项目；
根据所述第一清洗数据和所述第一清洗项目建立第一清洗数据库，根据所述第二清洗数据和所述第二清洗项目建立第二清洗数据库，根据所述第二清洗数据和所述第二清洗项目建立第三清洗数据库；
确定所述第一清洗数据库中的第一清洗顺序、所述第二清洗数据库中的第二清洗顺序和所述第三清洗数据库中的第三清洗顺序；
按照所述第一清洗顺序对所述第一清洗数据库进行数据清洗，按照所述第二清洗顺序对所述第二清洗数据库进行数据清洗，按照所述第三清洗顺序对所述第三清洗数据库进行数据清洗。
根据所述第一差异信息确定所述第一系统上存储的业务数据中与第一差异信息对应的业务数据，即确定第一清洗数据；根据所述第二差异信息确定所述第二系统上存储的业务数据中与第二差异信息对应的业务数据，即确定第二清洗数据；根据所述第三差异信息确定所述第三系统上存储的业务数据中与第三差异信息对应的业务数据，即确定第三清洗数据。示例性的，可通过查询预设的数据项目对照表，确定清洗数据对应的清洗项目，并根据清洗数据和清洗数据对应的清洗项目建立清洗数据库，方便对清洗数据进行清洗，避免影响到目标系统中存储的其他业务数据。其中所述数据项目对照表记录了清洗数据和清洗数据对应的清洗项目，所述数据项目对照表可由用户进行自定义设置。
通过对所述清洗数据库中的清洗数据进行排序，确定清洗数据的清洗顺序，如确定所述第一清洗数据库中的第一清洗顺序、所述第二清洗数据库中的第二清洗顺序和所述第三清洗数据库中的第三清洗顺序，可提高数据清洗的速率，从而加快数据同步的速率。
S16、将所述目标业务数据分发至所述第一系统、所述第二系统和所述第三系统。
示例性的，将第一系统进行数据清洗得到的第一目标业务数据发送至所述第一系统，将第二系统进行数据清洗得到的第二目标业务数据发送至所述第二系统，将第三系统进行数据清洗得到的第三目标业务数据发送至所述第三系统，实现第一系统、第二系统和第三系统上的目标业务数据的同步。
在一实施方式中，所述确定所述第一清洗数据库中的第一清洗顺序、所述第二清洗数据库中的第二清洗顺序和所述第三清洗数据库中的第三清洗顺序具体可以包括：
根据预设设置的清洗频率数据库计算所述第一清洗项目的第一清洗频率、所述第二清洗项目的第二清洗频率和所述第三清洗项目的第三清洗频率；
对所述第一清洗频率、所述第二清洗频率和所述第三清洗频率进行排序；
根据所述第一清洗频率的排序确定所述第一清洗数据库中的第一清洗顺序，根据所述第二清洗频率的排序确定所述第二清洗数据库中的第二清洗顺序，根据所述第三清洗频率的排序确定所述第三清洗数据库中的第三清洗顺序。
示例性的，可预先设置清洗频率数据库，所述预先设置的数据频率清洗数据库中包括多个清洗项目和各所述清洗项目对应的清洗频率，用于确定清洗项目的清洗频率，所述预先设置的数据清洗数据库可存储于区块链中，提高所述预先设置的数据清洗数据库的安全性。通过查询所述预先设置的清洗频率数据库确定所述第一清洗项目的第一清洗频率，并对所述第一清洗频率进行倒序排序，最后根据所述第一清洗频率的排序结果确定所述第一清洗数据库的第一清洗顺序。例如所述第一清洗项目包括项目A，项目B，项目C，项目D，项目E，项目F等六个清洗项目，通过查询预先设置的清洗数据库确定项目A对应的清洗频率为0.2，项目B对应的清洗频率为0.3，项目C对应的清洗频率为0.1，项目D对应的清洗频率为0.4，项目E对应的清洗频率为0.7，项目F对应的清洗频率为0.5，对所述第一清洗频率进行倒序排序的排序结果为：项目E、项目F、项目D、项目B、项目A、项目C；根据所述排序结果确定所述第一清洗数据库的第一清洗顺序为：项目E、项目F、项目D、项目B、项目A、项目C。本案中查询预先设置的清洗数据库确定所述清洗项目的清洗频率，并根据所述清洗频率确定所述清洗数据库的清洗顺序，可加快确定所述清洗数据库的清洗顺序的速度，从而加快数据清洗的速度。
在一实施方式中，所述根据所述第二共有数据对所述第一系统、所述第二系统和所述第三系统上存储的业务数据进行数据清洗具体可以包括：
连接所述第一系统上存储业务数据的第一数据库、所述第二系统上存储业务数据的第二数据库和所述第三系统上存储业务数据的第三数据库；
确定所述第一数据库中与所述第二共有数据对应的第一数据标识、所述第二数据库中与所述第二共有数据对应的第二数据标识及所述第三数据库中与所述第二共有数据对应的第三数据标识；
根据所述第一数据标识对所述第一系统上存储的业务数据进行数据清洗，根据所述第二数据标识对所述第二系统上存储的业务数据进行数据清洗，根据所述第三数据标识对所述第三系统上存储的业务数据进行数据清洗。
示例性的，所述第一数据库中记载了业务数据和业务数据对应的数据标识，确定所述第一系统上存储业务数据的第一数据库中与所述第二共有数据对应的第一数据标识，确定所述第一系统上存储的业务数据是否携带所述第一数据标识，对未携带所述第一数据标识的业务数据进行数据清洗。例如，确定所述第一系统上存储业务数据的第一数据库中与所述第二共有数据对应的第一数据标识为数据标识A、数据标识B和数据标识C，确定所述第一系统上存储的业务数据是否携带数据标识A、数据标识B或数据标识C，当有一业务数据不携带数据标识A、数据标识B或数据标识C时，对该业务数据进行数据清理。根据数据标识判断可有效判断待清理数据，可加快数据清理的速率以及准确率。
上述实施例提供的数据同步方法，通过建立业务系统与第一系统、第二系统和第三系统之间的连接；确定所述业务系统的数据获取方式，并根据所述数据获取方式分别获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据；将所述第一系统上存储的业务数据和所述第二系统上存储的业务数据进行数据比对，得到第一共有数据；将所述第一共有数据和所述第三系统上存储的业务数据进行数据比对，得到第二共有数据；根据所述第二共有数据分别对所述第一系统、所述第二系统和所述第三系统上存储的业务数据进行数据清洗，得到目标业务数据；将所述目标业务数据分发至所述第一系统、所述第二系统和所述第三系统。通过对目标系统上存储的业务数据进行数据比对确定各目标系统上存储的业务数据之间的共有业务数据信息，并根据所述共有业务数据信息对各所述目标系统上存储的业务数据进行数据清洗，以使得各所述目标系统上存储的业务数据同步，保证了业务数据整体的一致性，提高了业务数据管理的准确性。
请参阅图4，图4是本申请的实施例还提供一种数据同步装置的示意性框图，该数据同步装置用于执行前述的数据同步方法。其中，该数据同步装置可以配置于服务器或终端中。
其中，服务器可以为独立的服务器，也可以为服务器集群。该终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。
如图4所示，数据同步装置40包括：系统连接模块401、数据获取模块402、第一比对模块403、第二比对模块404、数据清洗模块405和数据同步模块406。
系统连接模块401，用于建立业务系统与第一系统、第二系统和第三系统之间的连接；
数据获取模块402，用于确定所述业务系统的数据获取方式，并根据所述数据获取方式获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据；
第一比对模块403，用于将所述第一系统上存储的业务数据和所述第二系统上存储的业务数据进行数据比对，得到第一共有数据；
第二比对模块404，用于获取待预测的用户画像数据，所述待预测的用户画像数据包括目标数据值，所述目标数据值为所述预设指标的指标数据值；
数据清洗模块405，用于根据所述第二共有数据对所述第一系统、所述第二系统和所述第三系统上存储的业务数据进行数据清洗，得到目标业务数据；
数据同步模块406，用于将所述目标业务数据分发至所述第一系统、所述第二系统和所述第三系统。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块及单元的具体工作过程，可以参考前述数据同步方法实施例中的对应过程，在此不再赘述。
上述实施例提供的数据同步装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。
请参阅图5，图5为本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以为服务器或终端设备。
如图5所示，该计算机设备50包括通过系统总线连接的处理器501和存储器502，其中，存储器502可以包括非易失性存储介质和易失性存储介质。
存储器502可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器501执行任意一项所述的数据同步方法。
处理器501用于提供计算和控制能力，支撑整个计算机设备的运行。
在一可行实施例中，所述计算机设备还包括网络接口，所述网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器501是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器执行存储在存储器中的计算机程序，以实现如下步骤：
建立业务系统与第一系统、第二系统和第三系统之间的连接；
确定所述业务系统的数据获取方式，并根据所述数据获取方式获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据；
将所述第一系统上存储的业务数据和所述第二系统上存储的业务数据进行数据比对，得到第一共有数据；
将所述第一共有数据和所述第三系统上存储的业务数据进行数据比对，得到第二共有数据；
根据所述第二共有数据对所述第一系统、所述第二系统和所述第三系统上存储的业务数据进行数据清洗，得到目标业务数据；
将所述目标业务数据分发至所述第一系统、所述第二系统和所述第三系统。
具体地，所述处理器对上述指令的具体实现方法可参考前述数据同步方法实施例中相关步骤的描述，在此不赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参照本申请数据同步方法的各个实施例。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
前述实施例提供的数据同步装置、计算机设备及计算机可读存储介质，通过建立业务系统与第一系统、第二系统和第三系统之间的连接；确定所述业务系统的数据获取方式，并根据所述数据获取方式分别获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据；将所述第一系统上存储的业务数据和所述第二系统上存储的业务数据进行数据比对，得到第一共有数据；将所述第一共有数据和所述第三系统上存储的业务数据进行数据比对，得到第二共有数据；根据所述第二共有数据分别对所述第一系统、所述第二系统和所述第三系统上存储的业务数据进行数据清洗，得到目标业务数据；将所述目标业务数据分发至所述第一系统、所述第二系统和所述第三系统。通过对目标系统上存储的业务数据进行数据比对确定各目标系统上存储的业务数据之间的共有业务数据信息，并根据所述共有业务数据信息对各所述目标系统上存储的业务数据进行数据清洗，以使得各所述目标系统上存储的业务数据同步，保证了业务数据整体的一致性，提高了业务数据管理的准确性。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种数据同步方法，其特征在于，所述数据同步方法包括：
建立业务系统与第一系统、第二系统和第三系统之间的连接；
确定所述业务系统的数据获取方式，并根据所述数据获取方式获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据；
将所述第一系统上存储的业务数据和所述第二系统上存储的业务数据进行数据比对，得到第一共有数据；
将所述第一共有数据和所述第三系统上存储的业务数据进行数据比对，得到第二共有数据；
根据所述第二共有数据对所述第一系统、所述第二系统和所述第三系统上存储的业务数据进行数据清洗，得到目标业务数据；
将所述目标业务数据分发至所述第一系统、所述第二系统和所述第三系统；
所述根据所述第二共有数据对所述第一系统、所述第二系统和所述第三系统上存储的业务数据进行数据清洗，包括：
将所述第二共有数据和所述第一系统上存储的业务数据进行数据比对，确定所述第一系统对应的第一差异信息；
将所述第二共有数据和所述第二系统上存储的业务数据进行数据比对，确定所述第二系统对应的第二差异信息；
将所述第二共有数据和所述第三系统上存储的业务数据进行数据比对，确定所述第三系统对应的第三差异信息；
根据所述第一差异信息对所述第一系统上存储的业务数据进行数据清洗，清洗掉所述第一系统上存储的业务数据中与第一差异信息对应的业务数据；根据所述第二差异信息对所述第二系统上存储的业务数据进行数据清洗，清洗掉所述第二系统上存储的业务数据中与第二差异信息对应的业务数据；根据所述第三差异信息对所述第三系统上存储的业务数据进行数据清洗，清洗掉所述第三系统上存储的业务数据中与第三差异信息对应的业务数据。
2.根据权利要求1所述的数据同步方法，其特征在于，所述数据获取方式包括单资源获取方式，所述根据所述数据获取方式获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据包括：
确定所述单资源获取方式对应的资源类型；
按照所述单资源获取方式对应的资源类型，确定与所述资源类型匹配的目标数据字段；
根据所述目标数据字段，获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据。
3.根据权利要求1所述的数据同步方法，其特征在于，所述数据获取方式包括资源组获取方式，所述根据所述数据获取方式分别获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据包括：
确定所述资源组获取方式对应的多个资源类型；
确定每个资源类型对应的候选数据字段；
根据每个资源类型对应的候选数据字段筛选出多个目标数据字段；
根据所述多个目标数据字段，获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据。
4.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述第一差异信息对所述第一系统上存储的业务数据进行数据清洗，根据所述第二差异信息对所述第二系统上存储的业务数据进行数据清洗，根据所述第三差异信息对所述第三系统上存储的业务数据进行数据清洗包括：
根据所述第一差异信息确定与所述第一系统对应的第一清洗数据，根据所述第二差异信息确定与所述第二系统对应的第二清洗数据，根据所述第三差异信息确定与所述第三系统对应的第三清洗数据；
确定与所述第一清洗数据匹配的第一清洗项目、与所述第二清洗数据匹配的第二清洗项目及与所述第三清洗数据匹配的第三清洗项目；
根据所述第一清洗数据和所述第一清洗项目建立第一清洗数据库，根据所述第二清洗数据和所述第二清洗项目建立第二清洗数据库，根据所述第二清洗数据和所述第二清洗项目建立第三清洗数据库；
确定所述第一清洗数据库中的第一清洗顺序、所述第二清洗数据库中的第二清洗顺序和所述第三清洗数据库中的第三清洗顺序；
按照所述第一清洗顺序对所述第一清洗数据库进行数据清洗，按照所述第二清洗顺序对所述第二清洗数据库进行数据清洗，按照所述第三清洗顺序对所述第三清洗数据库进行数据清洗。
5.根据权利要求4所述的数据同步方法，其特征在于，所述确定所述第一清洗数据库中的第一清洗顺序、所述第二清洗数据库中的第二清洗顺序和所述第三清洗数据库中的第三清洗顺序包括：
根据预设设置的清洗频率数据库计算所述第一清洗项目的第一清洗频率、所述第二清洗项目的第二清洗频率和所述第三清洗项目的第三清洗频率；
对所述第一清洗频率、所述第二清洗频率和所述第三清洗频率进行排序；
根据所述第一清洗频率的排序确定所述第一清洗数据库中的第一清洗顺序，根据所述第二清洗频率的排序确定所述第二清洗数据库中的第二清洗顺序，根据所述第三清洗频率的排序确定所述第三清洗数据库中的第三清洗顺序。
6.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述第二共有数据对所述第一系统、所述第二系统和所述第三系统上存储的业务数据进行数据清洗包括：
连接所述第一系统上存储业务数据的第一数据库、所述第二系统上存储业务数据的第二数据库和所述第三系统上存储业务数据的第三数据库；
确定所述第一数据库中与所述第二共有数据对应的第一数据标识、所述第二数据库中与所述第二共有数据对应的第二数据标识及所述第三数据库中与所述第二共有数据对应的第三数据标识；
根据所述第一数据标识对所述第一系统上存储的业务数据进行数据清洗，根据所述第二数据标识对所述第二系统上存储的业务数据进行数据清洗，根据所述第三数据标识对所述第三系统上存储的业务数据进行数据清洗。
7.一种数据同步装置，其特征在于，包括：
系统连接模块，用于建立业务系统与第一系统、第二系统和第三系统之间的连接；
数据获取模块，用于确定所述业务系统的数据获取方式，并根据所述数据获取方式获取所述第一系统、所述第二系统和所述第三系统上存储的业务数据；
第一比对模块，用于将所述第一系统上存储的业务数据和所述第二系统上存储的业务数据进行数据比对，得到第一共有数据；
第二比对模块，用于将所述第一共有数据和所述第三系统上存储的业务数据进行数据比对，得到第二共有数据；
数据清洗模块，用于根据所述第二共有数据对所述第一系统、所述第二系统和所述第三系统上存储的业务数据进行数据清洗，得到目标业务数据；
数据同步模块，用于将所述目标业务数据分发至所述第一系统、所述第二系统和所述第三系统；
所述根据所述第二共有数据对所述第一系统、所述第二系统和所述第三系统上存储的业务数据进行数据清洗，包括：
将所述第二共有数据和所述第一系统上存储的业务数据进行数据比对，确定所述第一系统对应的第一差异信息；
将所述第二共有数据和所述第二系统上存储的业务数据进行数据比对，确定所述第二系统对应的第二差异信息；
将所述第二共有数据和所述第三系统上存储的业务数据进行数据比对，确定所述第三系统对应的第三差异信息；
根据所述第一差异信息对所述第一系统上存储的业务数据进行数据清洗，清洗掉所述第一系统上存储的业务数据中与第一差异信息对应的业务数据；根据所述第二差异信息对所述第二系统上存储的业务数据进行数据清洗，清洗掉所述第二系统上存储的业务数据中与第二差异信息对应的业务数据；根据所述第三差异信息对所述第三系统上存储的业务数据进行数据清洗，清洗掉所述第三系统上存储的业务数据中与第三差异信息对应的业务数据。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至6中任一项所述的数据同步方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至6中任一项所述的数据同步方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011249487.9A CN112364005B (zh) | 2020-11-10 | 2020-11-10 | 数据同步方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011249487.9A CN112364005B (zh) | 2020-11-10 | 2020-11-10 | 数据同步方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112364005A CN112364005A (zh) | 2021-02-12 |
| CN112364005B true CN112364005B (zh) | 2024-02-27 |
Family
ID=74509569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011249487.9A Active CN112364005B (zh) | 2020-11-10 | 2020-11-10 | 数据同步方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112364005B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113222544A (zh) * | 2021-05-11 | 2021-08-06 | 中冶（贵州）建设投资发展有限公司 | 工程材料管理方法、系统、计算机设备及存储介质 |
| CN113377871B (zh) * | 2021-06-22 | 2024-03-22 | 特赞（上海）信息科技有限公司 | 数据同步方法、装置及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012169831A (ja) * | 2011-02-14 | 2012-09-06 | Fujitsu Ltd | トラフィックデータの監視システムおよびサーバ間データ整合方法 |
| CN105045807A (zh) * | 2015-06-04 | 2015-11-11 | 浙江力石科技股份有限公司 | 互联网交易信息的数据清洗算法 |
| WO2016050113A1 (zh) * | 2014-09-29 | 2016-04-07 | 中兴通讯股份有限公司 | 一种业务实现方法、设备及存储介质 |
| CN106294492A (zh) * | 2015-06-08 | 2017-01-04 | 深圳中兴网信科技有限公司 | 数据清洗方法及清洗引擎 |
| CN106326219A (zh) * | 2015-06-16 | 2017-01-11 | 阿里巴巴集团控股有限公司 | 核对业务系统数据的方法、装置及系统 |
| CN110008255A (zh) * | 2019-04-03 | 2019-07-12 | 平安信托有限责任公司 | 业务数据分析方法、装置、计算机设备和存储介质 |
| CN110457302A (zh) * | 2019-07-31 | 2019-11-15 | 河南开合软件技术有限公司 | 一种结构化数据智能清洗方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3575980A3 (en) * | 2018-05-29 | 2020-03-04 | Accenture Global Solutions Limited | Intelligent data quality |
-
2020
- 2020-11-10 CN CN202011249487.9A patent/CN112364005B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012169831A (ja) * | 2011-02-14 | 2012-09-06 | Fujitsu Ltd | トラフィックデータの監視システムおよびサーバ間データ整合方法 |
| WO2016050113A1 (zh) * | 2014-09-29 | 2016-04-07 | 中兴通讯股份有限公司 | 一种业务实现方法、设备及存储介质 |
| CN105045807A (zh) * | 2015-06-04 | 2015-11-11 | 浙江力石科技股份有限公司 | 互联网交易信息的数据清洗算法 |
| CN106294492A (zh) * | 2015-06-08 | 2017-01-04 | 深圳中兴网信科技有限公司 | 数据清洗方法及清洗引擎 |
| CN106326219A (zh) * | 2015-06-16 | 2017-01-11 | 阿里巴巴集团控股有限公司 | 核对业务系统数据的方法、装置及系统 |
| CN110008255A (zh) * | 2019-04-03 | 2019-07-12 | 平安信托有限责任公司 | 业务数据分析方法、装置、计算机设备和存储介质 |
| CN110457302A (zh) * | 2019-07-31 | 2019-11-15 | 河南开合软件技术有限公司 | 一种结构化数据智能清洗方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112364005A (zh) | 2021-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109032796B (zh) | 一种数据处理方法和装置 | |
| CN112364005B (zh) | 数据同步方法、装置、计算机设备及存储介质 | |
| CN106302780B (zh) | 集群设备批量传输数据的方法、装置及系统、服务器 | |
| CN111026774A (zh) | 数据顺序同步方法、装置、计算机设备及存储介质 | |
| CN104166738A (zh) | 数据库查询处理的方法及装置 | |
| CN107798135B (zh) | 分页查询方法及装置和电子设备 | |
| CN111694792A (zh) | 一种基于snowflake的标识生成方法和装置 | |
| CN113760488A (zh) | 调度任务的方法、装置、设备和计算机可读介质 | |
| CN111445319A (zh) | 一种凭证生成方法、装置、计算机设备及存储介质 | |
| CN112073395B (zh) | 一种文件分发方法和装置 | |
| CN112328448A (zh) | 基于Zookeeper的监控方法、监控装置、设备及存储介质 | |
| CN111181765A (zh) | 一种任务处理方法和装置 | |
| CN110489483B (zh) | 数据同步方法、装置、计算机设备以及存储介质 | |
| CN112667368A (zh) | 一种任务数据处理方法和装置 | |
| CN113269558A (zh) | 分布式系统中交易处理的方法及装置 | |
| CN110806930B (zh) | 微服务调度方法、装置、设备及存储装置 | |
| CN107045452B (zh) | 虚拟机调度方法和装置 | |
| CN113722079B (zh) | 基于目标应用的任务调度分配方法、装置、设备及介质 | |
| CN115629853A (zh) | 一种任务调度的方法和装置 | |
| CN111858542B (zh) | 数据处理方法、装置、设备及计算机可读存储介质 | |
| CN114756173A (zh) | 文件合并的方法、系统、设备和计算机可读介质 | |
| CN114564249A (zh) | 推荐调度引擎、推荐调度方法及计算机可读存储介质 | |
| CN114049065A (zh) | 一种数据处理方法、装置及系统 | |
| CN113760876A (zh) | 一种数据过滤方法和装置 | |
| CN113760469A (zh) | 分布式计算的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |