CN106021494A - 一种主数据同步方法及装置 - Google Patents
一种主数据同步方法及装置 Download PDFInfo
- Publication number
- CN106021494A CN106021494A CN201610341157.XA CN201610341157A CN106021494A CN 106021494 A CN106021494 A CN 106021494A CN 201610341157 A CN201610341157 A CN 201610341157A CN 106021494 A CN106021494 A CN 106021494A
- Authority
- CN
- China
- Prior art keywords
- synchrodata
- operation system
- synchronization
- synchronization rules
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000001360 synchronised effect Effects 0.000 claims abstract description 42
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 9
- 238000012558 master data management Methods 0.000 description 8
- 238000009877 rendering Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000013016 learning Effects 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种主数据同步方法及装置，涉及网络通信技术领域，所述方法包括：确定需要进行同步的业务系统的同步规则；根据所述业务系统的同步规则，获取与所述同步规则对应的同步数据；将所述同步数据同步到所述业务系统中。在本发明实施例中，由于不同业务系统可以对应不同的同步规则，则根据不同的同步规则获取的同步数据也是不同的，所以不同的业务系统获取的同步数据是根据不同业务系统需要的同步数据而确定的，并通过同步规则实现了业务系统同步的个性化配置，有效的适配了不同业务系统的需求，降低了主数据同步的数据量。
Description
技术领域
本发明涉及网络通信技术领域，尤其涉及一种主数据同步方法及装置。
背景技术
主数据指系统间共享数据(例如，客户、供应商、账户和组织部门相关数据)。与记录业务活动，波动较大的交易数据相比，主数据(也称基准数据)变化缓慢。在正规的关系数据模型中，交易记录(例如，订单行项)可通过关键字(例如，订单头或发票编号和产品代码)调出主数据。主数据必须存在并加以正确维护，才能保证交易系统的参照完整性。
主数据是交易型数据执行的主体(客户、供应商、产品等)，统计分析的基本维度，它在企业的整个价值链上被重复、共享地应用于多个业务流程，主数据具有相对静态的特点，是企业中诸多管理和信息系统进行信息交互与数据共享的基础和必要前提。主数据管理的四大要素是整合、监管、清洗(质量控制)、共享，将分散在各业务系统产生的主数据经整合、清洗后形成完整一致的核心主数据，并同步给需要使用主数据的业务系统。
当主数据发生变化(包括增加、修改、删除)，都要同步到各个业务应用系统(比如销售系统、人力资源系统、采购系统、财务系统等)中。企业主数据可以包括很多方面，除了常见的客户主数据之外，不同行业的客户还可能拥有其他各种类型的主数据，例如：对于电信行业客户而言，电信运营商提供的各种服务可以形成其产品主数据；对于航空业客户而言，航线、航班是其企业主数据的一种。对于某一个企业的不同业务部门，其主数据也不同，例如市场销售部门关心客户信息，产品研发部门关心产品编号、产品分类等产品信息，人事部门关心员工机构，部门层次关系等信息。
因为不同的系统之间从系统底层结构、使用的语言再到数据库都有很大的区别，对同一类主数据的数据同步的频率、字段范围、字段命名都可能存在差异，主数据同步是主数据管理过程中的核心关键问题。
现有的主数据同步方式通常是主数据管理系统将全部同步数据同步给业务系统，同步给不同业务系统的同步数据是一样的，并未考虑不同业务系统需要的同步数据的数据不同，不能够提供向不同业务系统提供不同的同步数据。
发明内容
本发明提供一种主数据同步方法及装置，用以解决现有技术中主数据同步未考虑不同业务系统需要的同步数据的数据不同，不能够提供向不同业务系统提供不同的同步数据的问题。
本发明实施例提供一种主数据同步方法，包括：
确定需要进行同步的业务系统的同步规则；
根据所述业务系统的同步规则，获取与所述同步规则对应的同步数据；
将所述同步数据同步到所述业务系统中。
本发明实施例中，通过确定需要进行同步的业务系统的同步规则，并利用同步规则获取业务系统的同步数据，将同步数据同步到业务系统中。在本发明实施例中，由于不同业务系统可以对应不同的同步规则，则根据不同的同步规则获取的同步数据也是不同的，所以不同的业务系统获取的同步数据是根据不同业务系统需要的同步数据而确定的，并通过同步规则实现了业务系统同步的个性化配置，有效的适配了不同业务系统的需求，降低了主数据同步的数据量。
进一步地，所述确定需要进行同步的业务系统的同步规则，包括：
根据同步规则和业务系统的业务标识的对应关系，确定需要进行同步的业务系统的业务标识对应的同步规则。
本发明实施例中，主数据数据库中保存了预先设定的业务系统的同步规则，并根据业务系统的业务标识寻找对应的同步规则，保证了同步规则的正确性。
进一步地，所述同步规则包括所述业务系统需要获取的同步数据的同步时间以及所述业务系统需要获取的同步数据的同步数据类型；
所述根据所述业务系统的同步规则，获取与所述同步规则对应的同步数据，包括：
在所述同步时间到达时，根据所述业务系统需要获取的同步数据的同步数据类型从同步数据库中获取同步数据。
本发明实施例中，业务系统可以根据自己同步的需要设置不同的同步时间，在同步时间到达时，进行主数据同步。
进一步地，所述根据所述业务系统需要获取的同步数据的同步数据类型从同步数据库中获取同步数据，包括：
若所述同步数据类型为全量数据，从所述同步数据库中获取与所述业务系统的标识信息对应的同步数据中，同步数据的时间戳早于所述同步时间的全部同步数据；
若所述同步数据类型为增量数据，从所述同步数据库中获取与所述业务系统的标识信息对应的同步数据中，同步数据的时间戳早于所述同步时间而晚于上一次同步时间的同步数据。
本发明实施例中，根据业务系统的不同设置，可以选择同步数据的数据类型是增量数据还是全量数据，依据不同业务系统的同步规则，不需要全部同步数据进行同步时，可选择增量数据，增加了业务系统同步数据的灵活性，并且减少了同步的数据量。
进一步地，所述同步规则包括所述业务系统需要获取的同步数据的同步数据属性；
所述根据所述业务系统的同步数据属性，获取与所述同步规则对应的同步数据，包括：
从所述数据库中获取与所述同步数据属性一致的同步数据。
本发明实施例中，还可以根据不同业务系统的需要，查找业务系统的同步规则中需要获取的同步数据的数据属性，满足同步数据的数据属性的部分同步数据是业务系统需要的同步数据，增加了业务系统同步的个性化设置，并且减少了同步的数据量。
进一步地，所述同步规则包括所述业务系统需要获取的订阅字段；
所述根据所述业务系统的同步规则，获取与所述同步规则对应的同步数据，包括：
从同步数据库所有字段中查找所述订阅字段对应的同步数据。
本发明实施例中，根据业务系统需要的订阅字段查找同步数据，能够增加业务系统同步的个性化设置，并且减少了同步的数据量。
进一步地，所述根据所述业务系统的同步规则，获取与所述同步规则对应的同步数据之后，根据所述同步规则将所述同步数据同步到所述业务系统中之前，还包括：
对所述同步数据进行清洗；
根据所述业务系统支持的格式将清洗后的同步数据进行格式转换。
本发明实施例中，在业务系统同步同步数据之前，还需要对同步数据进行清洗以及格式转换，保证了同步数据的准确度，也能够保证在业务系统获取同步数据后，能够正确的识别和使用同步数据。
进一步地，所述将所述同步数据同步到所述业务系统后，还包括：
根据所述业务系统的同步规则中的所述同步时间，获取所述业务系统最新一次进行同步数据时的时间戳；
根据所述时间戳更新同步数据库中与所述业务系统的同步规则对应的同步数据的同步时间。
本发明实施例中，为了计算下一次同步数据的增准确性，需要更新数据库中进行同步时的同步时间，保证在业务系统需要获取增量数据或者全量数据时，能够提供正确的在本次同步时间到达时产生的同步数据。
本发明还提供一种主数据同步装置，包括：
确定单元，用于确定需要进行同步的业务系统的同步规则；
获取单元，用于根据所述业务系统的同步规则，获取与所述同步规则对应的同步数据；
同步单元，将所述同步数据同步到所述业务系统中。
本发明实施例中，通过确定需要进行同步的业务系统的同步规则，并利用同步规则获取业务系统的同步数据，将同步数据同步到业务系统中。在本发明实施例中，由于不同业务系统可以对应不同的同步规则，则根据不同的同步规则获取的同步数据也是不同的，所以不同的业务系统获取的同步数据是根据不同业务系统需要的同步数据而确定的，并通过同步规则实现了业务系统同步的个性化配置，有效的适配了不同业务系统的需求，降低了主数据同步的数据量。
进一步地，所述确定单元，具体用于：
根据同步规则和业务系统的业务标识的对应关系，确定需要进行同步的业务系统的业务标识对应的同步规则。
进一步地，所述同步规则包括所述业务系统需要获取的同步数据的同步时间以及所述业务系统需要获取的同步数据的同步数据类型；
所述获取单元，具体用于：
在所述同步时间到达时，根据所述业务系统需要获取的同步数据的同步数据类型从同步数据库中获取同步数据。
进一步地，所述获取单元，具体用于：
若所述同步数据类型为全量数据，从所述同步数据库中获取与所述业务系统的标识信息对应的同步数据中，同步数据的时间戳早于所述同步时间的全部同步数据；
若所述同步数据类型为增量数据，从所述同步数据库中获取与所述业务系统的标识信息对应的同步数据中，同步数据的时间戳早于所述同步时间而晚于上一次同步时间的同步数据。
进一步地，所述同步规则包括所述业务系统需要获取的同步数据的同步数据属性；
所述获取单元，具体用于：
从所述数据库中获取与所述同步数据属性一致的同步数据。
进一步地，所述同步规则包括所述业务系统需要获取的订阅字段；
所述获取单元，具体用于：
从同步数据库所有字段中查找所述订阅字段对应的同步数据。
进一步地，所述获取单元，还用于：
对所述同步数据进行清洗；
根据所述业务系统支持的格式将清洗后的同步数据进行格式转换。
进一步地，所述同步单元，还用于：
根据所述业务系统的同步规则中的所述同步时间，获取所述业务系统最新一次进行同步数据时的时间戳；
根据所述时间戳更新同步数据库中与所述业务系统的同步规则对应的同步数据的同步时间。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种主数据同步方法的流程示意图；
图2为本发明实施例提供的同步数据库的结构示意图；
图3为本发明实施例提供的一种主数据同步装置的流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例提供一种主数据同步方法，如图1所示，包括：
步骤101，确定需要进行同步的业务系统的同步规则；
步骤102，根据所述业务系统的同步规则，获取与所述同步规则对应的同步数据；
步骤103，将所述同步数据同步到所述业务系统中。
在本发明实施例中，业务系统指的是一个企业中涉及的不同的应用系统，例如销售系统，人力资源系统，采购系统，财务系统等系统，业务系统在主数据发生变化，例如人力资源系统中人员变动的情况下，需要进行同步数据的同步。
在步骤101中，不同业务系统需要的同步数据可能不同，也可能相同，在进行数据同步前，首先要确定不同的业务系统的同步规则，在本发明实施例中，不同的业务系统的同步规则是预先设定好的，保存在同步数据库中。
在步骤101中，不同的业务系统具有不同的业务标识，在同步数据库中保存了不同业务标识的同步规则，例如，业务系统1的业务标识是01，同步规则是01，业务系统2的业务标识是02，同步规则是02，如表1所示，同步数据库中保存了业务系统、业务标识以及业务规则的对应关系。
| 业务系统 | 业务标识 | 同步规则 |
| 业务系统1 | 01 | 同步规则01 |
| 业务系统2 | 02 | 同步规则02 |
| 业务系统3 | 03 | 同步规则03 |
| …… | …… | …… |
| 业务系统n | n | 同步规则n |
表1：同步数据库中的业务系统、业务标识与同步规则的对应关系
在步骤102中，不同业务系统的同步规则主要包括以下几种规则中的部分或者全部:
业务系统需要获取的同步数据的同步时间；
业务系统需要获取的同步数据类型；
业务系统需要获取的同步数据的同步数据属性；
业务系统需要获取的订阅字段；
在本发明实施例中，业务系统需要获取的同步数据的同步时间指的是业务系统何时获取同步数据，例如，业务系统可以在主数据发生更改变化的时刻就需要获取同步数据，或者是业务系统设置定时获取同步数据，例如一天一次获取同步数据，一个星期一次获取同步数据等等。
在本发明实施例中，根据业务系统的不同需要，可以获取不同的同步数据类型。业务系统需要获取的同步数据类型分为增量数据和全量数据。在本发明实施例中，增量数据指的是本次业务系统获取的同步数据之前与上一次业务系统获取的同步数据之间产生的同步数据都是增量数据，例如，本次业务系统同步的时间2016年5月4日的12时整，上一次的业务系统的同步时间是2016年5月3日的12时整，则增量数据为2016年5月3日12时后产生的直到2016年5月4日12时整之间产生的同步数据。
在本发明实施例中，全量数据指的是在本次业务系统获取的同步数据之前所有的同步数据，例如本次业务系统同步的时间2016年5月4日的12时整，则全量数据指的是同步时间在2016年5月4日的12时整之前产生的全部同步数据。
在本发明实施例中，业务系统需要获取的同步数据的同步数据属性指的是不同的业务系统对同步数据的个性化定制，也就是业务系统需要获取的同步数据的一些附加条件，例如，人力资源系统需要获取的同步数据是年龄在45～50岁之间的员工数据，则人力资源系统的同步数据属性就是在同步数据库中查找年龄值大于等于45岁小于等于50岁的数据值。
在本发明实施例中，业务系统需要获取的订阅字段指的是不同的业务系统根据业务系统自身的需要的字段，从同步数据库中查找业务系统需要的订阅字段，例如，人力资源系统需要的订阅字段是年龄，则在同步数据库中将年龄整个字段以及字段值都作为同步数据同步给人力资源系统，而财务系统需要的是销售额字段，则将销售额字段以及字段值作为同步数据同步给财务系统。
在本发明实施例中，可选的，同步数据是放置在同步数据库中的数据，在同步数据库中，如图2所示，包括了同步规则、同步数据等信息，同步规则与业务系统的业务标识的对应关系如表1所示，同步数据的构成如表2所示，主要包括字段名以及字段值。
| 姓名 | 性别 | 年龄 | 职位 | …… |
| 陈X | 男 | 25 | 助理工程师 | …… |
| 李XX | 男 | 35 | 高级工程师 | …… |
| 李X | 女 | 24 | 助理工程师 | …… |
| 王X | 男 | 27 | 会计 | …… |
| …… | …… | …… | …… | …… |
表2：同步数据的构成表
在表2中，“姓名”、“性别”、“年龄”“职位”等为字段名称，而“陈X”、“李XX”等为字段值。当业务系统的同步规则中包括订阅字段时，则将订阅字段包括的所有字段值都提取出来，作为同步数据。
在本发明实施例中，业务系统的同步规则包括上述同步规则的部分或全部，可以利用结构化查询语言(Structured Query Language，SQL)将同步规则语言化，例如业务系统的同步规则包括业务系统需要获取的同步数据的同步时间以及业务系统需要获取的同步数据类型，在可以利用SQL语言将业务系统的同步规则转换为计算机语言为TIME>”同步时间”，Type＝”增量or全量”。当然了，在本发明实施例中，还可以使用其它计算机语言，都属于本发明实施例的保护范围内。
在步骤102中，根据所述业务系统的同步规则，获取与所述同步规则对应的同步数据之后，根据所述同步规则将所述同步数据同步到所述业务系统中之前，还包括：
对所述同步数据进行清洗；
根据所述业务系统支持的格式将清洗后的同步数据进行格式转换。
在本发明实施例中，根据业务系统的同步规则获取的同步数据可能存在数据异常的情况，例如姓名为空，或者性别为空值的情况，则需要对同步数据进行数据清洗。
在本发明实施例中，数据异常的情况可以分为三种，一种是残缺数据，这一类数据主要是一些应该有的信息缺失，如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。
还有一种数据异常的情况为错误数据，这一类错误产生的原因是业务系统不够健全，在接收输入后没有进行判断直接写入后台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。
第三中数据异常的情况为重复数据，也就是说，在同步数据中存在许多重复数据，例如存在多个“姓名”字段等，在本发明实施例中，若出现多次字段名，则确定字段名对应的字段值是否重复，若字段值重复，则删除重复数据；若出现多次字段名，但是字段名对应的字段值不是重复的，则合并两个字段名下的所以字段值。
在本发明实施例中，由于不同业务系统的底层结构、使用的语言以及使用的数据库都不同，在将同步数据同步到业务系统之前，还需要对清洗后的同步数据进行格式转换。
在本发明实施例中，同步数据的格式可以为TXT文本格式，XML格式、JAVA中的Object格式，JAVA中的Json格式或者Excel格式以及其他数据格式，不同的业务系统支持的数据格式不同，在本发明实施例中可以使用计算机语言将不同同步数据的格式进行转换，例如使用C语言或者C#语言进行格式转换。
在步骤103中，将格式转换后的同步数据同步到业务系统中，在本发明实施例中，提供几种同步数据的方式，第一种为每个业务系统通过一个主数据同步接口将数据同步到业务系统中，在本发明实施例中，在获取同步数据后，将同步数据保存在主数据同步接口中，业务系统可以通过主动同步的方式在主数据同步接口中获取同步数据。在本发明实施例中，可以使用SQL语言的JDBC接口作为主数据同步接口。
在本发明实施例中，第二种为建立主数据同步数据表，即根据业务系统的同步规则，获取同步数据后，将同步数据保存在主数据同步数据表中，在同步时间到达时，将主数据同步数据表发送给业务系统，或者业务系统需要进行同步时，获取主数据同步数据表，并将主数据同步数据表保存在业务系统的数据库中。
在本发明实施例中，第三种数据同步的方式为根据业务系统的同步规则获取同步数据后，将同步数据打包为一个压缩文件，例如将同步数据打包为一个JAR文件，在同步时间到达时将JAR文件发送给业务系统，或者业务系统在需要同步数据时，获取JAR文件。
在步骤103中，将同步数据同步给业务系统后，根据所述业务系统的同步规则中的所述同步时间，获取所述业务系统最新一次进行同步数据时的时间戳；根据所述时间戳更新同步数据库中与所述业务系统的同步规则对应的同步数据的同步时间。
在本发明实施例中，同步数据库中保存了同步数据对应的同步时间，如表3所示，
表3：同步数据库中业务系统与同步时间的对应关系
如上表所示，同步数据库中保存了每个业务系统的同步时间，则业务系统在最新一次进行数据同步后，获取进行数据同步的时间戳，例如人力资源系统上一次的同步时间是2016年5月3日，12:00:00进行了数据同步，而人力资源系统于2016年5月4日，12:00:00又进行了数据同步，则在表3中更新人力资源系统的同步时间，将人力资源系统的同步时间变为2016年5月4日，12:00:00。
为了方便便于本领域技术人员的理解，在此举例说明。
本发明实施例中，某企业通过主数据管理系统实现统一管理企业内所有业务系统的主数据，其中主数据的来源包括采购系统以及财务报账系统，即采购系统与财务报账系统中有数据变化时，则会更新在主数据管理系统中，系统将定时把主数据管理系统中来自于采购系统的供应商信息的变化数据同步到财务报账系统的接口表中，即同步的方式可以使用JDBC来进行同步。
在本发明实施例中，财务保证系统的业务系统代码为CW、同步时间字段为每天12：00，以及每天的23：00、数据范围为增量同步、业务系统的同步数据属性要选取主数据的来源为采购系统的数据，其中采购系统的标识为CG，则在本发明实施例中，可以用SQL语言表示同步数据的属性为SOURCE_SYSTEM＝‘CG’。
在本发明实施例中，可以主数据有23个字段，而业务系统CW只需要下列供应商代码、供应商名称、供应商类型、供应商地址、供应商状态、组织机构代码等6个字段作为需要同步至财务报账系统的字段，则在本发明实施例中，订阅字段为供应商代码、供应商名称、供应商类型、供应商地址、供应商状态、组织机构代码。
在本发明实施例中，财务报账系统中的数据类型为SUPPLY_CODE，主数据的数据类型为VENDOR_CODE，所以在进行数据同步时，还需要进行同步数据格式转换，转换关系为VENDOR_CODE－〉SUPPLY_CODE。
在本发明实施例中，财务报账系统的同步时间为2015年12月13日12点，上一次财务报账系统的同步时间为2015年12月12日的23点，则在本发明实施中，在同步时间到达时，主数据同步接口就会获取符合财务报账系统的同步规则的同步数据，并且由于财务报账系统的同步规则中同步数据的类型为增量数据，所以获取的同步数据的时间范围为时间大于2015年12月12日的23点的同步数据，可以利用SQL语言表示为TIME>＝TO_DATE(2015-12-1223:00:00,’yyyy-mm-dd HH:mi:ss’)。
在本发明实施例中，财务报账系统的同步数据的属性为SOURCE_SYSTEM＝‘CG’。根据上述财务报账系统的同步规则，可以利用SQL语言拼装组成查询条件：
TIME>＝TO_DATE(2015-12-12 23:00:00,’yyyy-mm-dd HH:mi:ss’)andSOURCE_SYSTEM＝‘CG’
根据订阅的字段获取需要获取的字段为：
VENDOR_CODE,VENDOR_NAME,VENDOR_TYPE,VENDOR_ADDRESS,…
在本发明实施例中，主数据管理系统中保存的同步数据的同步数据库的名字为MDM_T_VENDOR_F，即从MDM_T_VENDOR_F获取财务报账系统的同步数据，则在本发明实施例中，根据同步规则拼装为取数的完整SQL语句为：
SELECT VENDOR_CODE,VENDOR_NAME,VENDOR_TYPE,VENDOR_ADDRESS,…FROM MDM_T_VENDOR_F WHERETIME>＝TO_DATE(2015-12-12 23:00:00,’yyyy-mm-dd HH:mi:ss’)andSOURCE_SYSTEM＝‘CG’
利用SQL语句在同步数据库中获取了财务报账系统的同步数据，然后对同步数据进行清洗，并对清洗后的数据进行格式转换，即将VENDOR_CODE转换为SUPPLY_CODE。
在本发明实施例中，将转换后的同步数据通过JDBC方式写入到财务报账系统的接口表，可以使用SQL中的插入接口表的SQL语句。
INSERT INTO INTF_SUPPLY_INFO(SUPPLY_CODE,VENDOR_NAME,VENDOR_TYPE,VENDOR_ADDRESS,…)VALUES(‘JNS0001’,’河北商业银行’，‘普通供应商’，‘河北省石家庄市’，...)
基于财务报账系统数据库的JDBC驱动JAR包及数据库的账号密码获得财务报账系统数据库链接，执行SQL语句，将新增和更新的主数据插入财务报账系统数据库的接口表INTF_SUPPLY_INFO。财务报账系统定时从接口表查询同步的供应商信息，进行下一步处理，完成数据同步操作。
完成财务报账系统的数据同步后，还需要更新主数据管理系统中的同步数据库中财务报账系统的同步时间，即将财务报账系统的同步时间更新为2015-12-13 12:00:00。
基于同样的构思，本发明提供一种主数据同步装置，如图3所示，包括：
确定单元201，用于确定需要进行同步的业务系统的同步规则；
获取单元202，用于根据所述业务系统的同步规则，获取与所述同步规则对应的同步数据；
同步单元203，将所述同步数据同步到所述业务系统中。
进一步地，所述确定单元201，具体用于：
根据同步规则和业务系统的业务标识的对应关系，确定需要进行同步的业务系统的业务标识对应的同步规则。
进一步地，所述同步规则包括所述业务系统需要获取的同步数据的同步时间以及所述业务系统需要获取的同步数据的同步数据类型；
所述获取单元202，具体用于：
在所述同步时间到达时，根据所述业务系统需要获取的同步数据的同步数据类型从同步数据库中获取同步数据。
进一步地，所述获取单元202，具体用于：
若所述同步数据类型为全量数据，从所述同步数据库中获取与所述业务系统的标识信息对应的同步数据中，同步数据的时间戳早于所述同步时间的全部同步数据；
若所述同步数据类型为增量数据，从所述同步数据库中获取与所述业务系统的标识信息对应的同步数据中，同步数据的时间戳早于所述同步时间而晚于上一次同步时间的同步数据。
进一步地，所述同步规则包括所述业务系统需要获取的同步数据的同步数据属性；
所述获取单元202，具体用于：
从所述数据库中获取与所述同步数据属性一致的同步数据。
进一步地，所述同步规则包括所述业务系统需要获取的订阅字段；
所述获取单元202，具体用于：
从同步数据库所有字段中查找所述订阅字段对应的同步数据。
进一步地，所述获取单元202，还用于：
对所述同步数据进行清洗；
根据所述业务系统支持的格式将清洗后的同步数据进行格式转换。
进一步地，所述同步单元203，还用于：
根据所述业务系统的同步规则中的所述同步时间，获取所述业务系统最新一次进行同步数据时的时间戳；
根据所述时间戳更新同步数据库中与所述业务系统的同步规则对应的同步数据的同步时间。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (16)
1.一种主数据同步方法，其特征在于，所述方法包括：
确定需要进行同步的业务系统的同步规则；
根据所述业务系统的同步规则，获取与所述同步规则对应的同步数据；
将所述同步数据同步到所述业务系统中。
2.根据权利要求1所述的方法，其特征在于，所述确定需要进行同步的业务系统的同步规则，包括：
根据同步规则和业务系统的业务标识的对应关系，确定需要进行同步的业务系统的业务标识对应的同步规则。
3.根据权利要求1所述的方法，其特征在于，所述同步规则包括所述业务系统需要获取的同步数据的同步时间以及所述业务系统需要获取的同步数据的同步数据类型；
所述根据所述业务系统的同步规则，获取与所述同步规则对应的同步数据，包括：
在所述同步时间到达时，根据所述业务系统需要获取的同步数据的同步数据类型从同步数据库中获取同步数据。
4.根据权利要求3所述的方法，其特征在于，所述根据所述业务系统需要获取的同步数据的同步数据类型从同步数据库中获取同步数据，包括：
若所述同步数据类型为全量数据，从所述同步数据库中获取与所述业务系统的标识信息对应的同步数据中，同步数据的时间戳早于所述同步时间的全部同步数据；
若所述同步数据类型为增量数据，从所述同步数据库中获取与所述业务系统的标识信息对应的同步数据中，同步数据的时间戳早于所述同步时间而晚于上一次同步时间的同步数据。
5.根据权利要求1所述的方法，其特征在于，所述同步规则包括所述业务系统需要获取的同步数据的同步数据属性；
所述根据所述业务系统的同步数据属性，获取与所述同步规则对应的同步数据，包括：
从所述数据库中获取与所述同步数据属性一致的同步数据。
6.根据权利要求1所述的方法，其特征在于，所述同步规则包括所述业务系统需要获取的订阅字段；
所述根据所述业务系统的同步规则，获取与所述同步规则对应的同步数据，包括：
从同步数据库所有字段中查找所述订阅字段对应的同步数据。
7.根据权利要求1所述的方法，其特征在于，所述根据所述业务系统的同步规则，获取与所述同步规则对应的同步数据之后，根据所述同步规则将所述同步数据同步到所述业务系统中之前，还包括：
对所述同步数据进行清洗；
根据所述业务系统支持的格式将清洗后的同步数据进行格式转换。
8.根据权利要求1所述的方法，其特征在于，所述将所述同步数据同步到所述业务系统后，还包括：
根据所述业务系统的同步规则中的所述同步时间，获取所述业务系统最新一次进行同步数据时的时间戳；
根据所述时间戳更新同步数据库中与所述业务系统的同步规则对应的同步数据的同步时间。
9.一种主数据同步装置，其特征在于，包括：
确定单元，用于确定需要进行同步的业务系统的同步规则；
获取单元，用于根据所述业务系统的同步规则，获取与所述同步规则对应的同步数据；
同步单元，将所述同步数据同步到所述业务系统中。
10.根据权利要求9所述的装置，其特征在于，所述确定单元，具体用于：
根据同步规则和业务系统的业务标识的对应关系，确定需要进行同步的业务系统的业务标识对应的同步规则。
11.根据权利要求9所述的装置，其特征在于，所述同步规则包括所述业务系统需要获取的同步数据的同步时间以及所述业务系统需要获取的同步数据的同步数据类型；
所述获取单元，具体用于：
在所述同步时间到达时，根据所述业务系统需要获取的同步数据的同步数据类型从同步数据库中获取同步数据。
12.根据权利要求11所述的装置，其特征在于，所述获取单元，具体用于：
若所述同步数据类型为全量数据，从所述同步数据库中获取与所述业务系统的标识信息对应的同步数据中，同步数据的时间戳早于所述同步时间的全部同步数据；
若所述同步数据类型为增量数据，从所述同步数据库中获取与所述业务系统的标识信息对应的同步数据中，同步数据的时间戳早于所述同步时间而晚于上一次同步时间的同步数据。
13.根据权利要求9所述的装置，其特征在于，所述同步规则包括所述业务系统需要获取的同步数据的同步数据属性；
所述获取单元，具体用于：
从所述数据库中获取与所述同步数据属性一致的同步数据。
14.根据权利要求9所述的装置，其特征在于，所述同步规则包括所述业务系统需要获取的订阅字段；
所述获取单元，具体用于：
从同步数据库所有字段中查找所述订阅字段对应的同步数据。
15.根据权利要求9所述的装置，其特征在于，所述获取单元，还用于：
对所述同步数据进行清洗；
根据所述业务系统支持的格式将清洗后的同步数据进行格式转换。
16.根据权利要求9所述的装置，其特征在于，所述同步单元，还用于：
根据所述业务系统的同步规则中的所述同步时间，获取所述业务系统最新一次进行同步数据时的时间戳；
根据所述时间戳更新同步数据库中与所述业务系统的同步规则对应的同步数据的同步时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610341157.XA CN106021494A (zh) | 2016-05-19 | 2016-05-19 | 一种主数据同步方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610341157.XA CN106021494A (zh) | 2016-05-19 | 2016-05-19 | 一种主数据同步方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106021494A true CN106021494A (zh) | 2016-10-12 |
Family
ID=57095601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610341157.XA Pending CN106021494A (zh) | 2016-05-19 | 2016-05-19 | 一种主数据同步方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106021494A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682140A (zh) * | 2016-12-20 | 2017-05-17 | 华北计算技术研究所（中国电子科技集团公司第十五研究所） | 一种基于时间戳和映射策略的多系统用户增量同步方法 |
| CN106921746A (zh) * | 2017-03-22 | 2017-07-04 | 重庆允升科技有限公司 | 一种数据同步系统及数据同步方法 |
| CN107040578A (zh) * | 2016-12-30 | 2017-08-11 | 平安科技（深圳）有限公司 | 数据同步方法、装置和系统 |
| CN107145397A (zh) * | 2017-05-10 | 2017-09-08 | 焦点科技股份有限公司 | 一种基于账号的跨系统数据同步方法及系统 |
| CN107633054A (zh) * | 2017-09-19 | 2018-01-26 | 深圳市优户科技有限公司 | 一种同步线上商城系统与第三方业务系统的数据同步系统及方法 |
| CN109033312A (zh) * | 2018-07-17 | 2018-12-18 | 北京百度网讯科技有限公司 | 用于获取信息的方法和装置 |
| CN109086320A (zh) * | 2018-07-02 | 2018-12-25 | 平安科技（深圳）有限公司 | 财务数据同步方法、装置、计算机设备和存储介质 |
| CN109359160A (zh) * | 2018-10-12 | 2019-02-19 | 平安科技（深圳）有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
| CN109558458A (zh) * | 2018-12-30 | 2019-04-02 | 贝壳技术有限公司 | 数据同步方法、配置平台、交易平台及数据同步系统 |
| CN110472895A (zh) * | 2019-09-12 | 2019-11-19 | 广州酷旅旅行社有限公司 | 财务系统风控方法、装置、计算机设备和存储介质 |
| CN110493330A (zh) * | 2019-08-13 | 2019-11-22 | 浙江省方大标准信息有限公司 | 一种数据交换系统及其方法 |
| CN110543460A (zh) * | 2019-07-23 | 2019-12-06 | 华为技术有限公司 | 一种数据同步方法和装置 |
| CN110557370A (zh) * | 2019-07-30 | 2019-12-10 | 视联动力信息技术股份有限公司 | 一种pamir同步终端信息的方法、系统、电子设备及存储介质 |
| CN111324597A (zh) * | 2020-03-19 | 2020-06-23 | 北京三维天地科技股份有限公司 | 一种主数据管理方法和系统 |
| CN111460031A (zh) * | 2020-03-23 | 2020-07-28 | 腾讯科技（深圳）有限公司 | 一种数据同步的方法、装置、设备和介质 |
| CN111831755A (zh) * | 2020-07-23 | 2020-10-27 | 北京思特奇信息技术股份有限公司 | 一种跨数据库数据同步方法、系统、介质及设备 |
| CN112783972A (zh) * | 2020-12-31 | 2021-05-11 | 武汉工程大学 | 图像特征值数据的同步方法及系统 |
| CN113590719A (zh) * | 2021-09-27 | 2021-11-02 | 北京奇虎科技有限公司 | 数据同步方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101000619A (zh) * | 2006-12-25 | 2007-07-18 | 华为技术有限公司 | 基于sql的数据同步方法及装置 |
| CN101419616A (zh) * | 2008-12-10 | 2009-04-29 | 阿里巴巴集团控股有限公司 | 一种数据同步方法及装置 |
| CN103179158A (zh) * | 2011-12-22 | 2013-06-26 | 中国银联股份有限公司 | 一种参数批量同步方法和系统 |
| CN104615759A (zh) * | 2015-02-13 | 2015-05-13 | 厦门雅迅网络股份有限公司 | 一种不同业务系统平台间的数据同步方法 |
-
2016
- 2016-05-19 CN CN201610341157.XA patent/CN106021494A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101000619A (zh) * | 2006-12-25 | 2007-07-18 | 华为技术有限公司 | 基于sql的数据同步方法及装置 |
| CN101419616A (zh) * | 2008-12-10 | 2009-04-29 | 阿里巴巴集团控股有限公司 | 一种数据同步方法及装置 |
| CN103179158A (zh) * | 2011-12-22 | 2013-06-26 | 中国银联股份有限公司 | 一种参数批量同步方法和系统 |
| CN104615759A (zh) * | 2015-02-13 | 2015-05-13 | 厦门雅迅网络股份有限公司 | 一种不同业务系统平台间的数据同步方法 |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682140A (zh) * | 2016-12-20 | 2017-05-17 | 华北计算技术研究所（中国电子科技集团公司第十五研究所） | 一种基于时间戳和映射策略的多系统用户增量同步方法 |
| WO2018120681A1 (zh) * | 2016-12-30 | 2018-07-05 | 平安科技（深圳）有限公司 | 数据同步方法、装置、系统、数据处理服务器和存储介质 |
| CN107040578A (zh) * | 2016-12-30 | 2017-08-11 | 平安科技（深圳）有限公司 | 数据同步方法、装置和系统 |
| CN107040578B (zh) * | 2016-12-30 | 2020-09-01 | 平安科技（深圳）有限公司 | 数据同步方法、装置和系统 |
| CN106921746A (zh) * | 2017-03-22 | 2017-07-04 | 重庆允升科技有限公司 | 一种数据同步系统及数据同步方法 |
| CN107145397B (zh) * | 2017-05-10 | 2018-11-23 | 焦点科技股份有限公司 | 一种基于账号的跨系统数据同步方法及系统 |
| CN107145397A (zh) * | 2017-05-10 | 2017-09-08 | 焦点科技股份有限公司 | 一种基于账号的跨系统数据同步方法及系统 |
| CN107633054A (zh) * | 2017-09-19 | 2018-01-26 | 深圳市优户科技有限公司 | 一种同步线上商城系统与第三方业务系统的数据同步系统及方法 |
| WO2020006894A1 (zh) * | 2018-07-02 | 2020-01-09 | 平安科技（深圳）有限公司 | 财务数据同步方法、装置、计算机设备和存储介质 |
| CN109086320A (zh) * | 2018-07-02 | 2018-12-25 | 平安科技（深圳）有限公司 | 财务数据同步方法、装置、计算机设备和存储介质 |
| CN109033312A (zh) * | 2018-07-17 | 2018-12-18 | 北京百度网讯科技有限公司 | 用于获取信息的方法和装置 |
| CN109359160A (zh) * | 2018-10-12 | 2019-02-19 | 平安科技（深圳）有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
| CN109558458A (zh) * | 2018-12-30 | 2019-04-02 | 贝壳技术有限公司 | 数据同步方法、配置平台、交易平台及数据同步系统 |
| CN110543460A (zh) * | 2019-07-23 | 2019-12-06 | 华为技术有限公司 | 一种数据同步方法和装置 |
| CN110543460B (zh) * | 2019-07-23 | 2024-03-26 | 华为技术有限公司 | 一种数据同步方法和装置 |
| CN110557370A (zh) * | 2019-07-30 | 2019-12-10 | 视联动力信息技术股份有限公司 | 一种pamir同步终端信息的方法、系统、电子设备及存储介质 |
| CN110557370B (zh) * | 2019-07-30 | 2022-06-17 | 视联动力信息技术股份有限公司 | 一种pamir同步终端信息的方法、系统、电子设备及存储介质 |
| CN110493330A (zh) * | 2019-08-13 | 2019-11-22 | 浙江省方大标准信息有限公司 | 一种数据交换系统及其方法 |
| CN110472895A (zh) * | 2019-09-12 | 2019-11-19 | 广州酷旅旅行社有限公司 | 财务系统风控方法、装置、计算机设备和存储介质 |
| CN110472895B (zh) * | 2019-09-12 | 2022-08-23 | 广州酷旅旅行社有限公司 | 财务系统风控方法、装置、计算机设备和存储介质 |
| CN111324597A (zh) * | 2020-03-19 | 2020-06-23 | 北京三维天地科技股份有限公司 | 一种主数据管理方法和系统 |
| CN111460031A (zh) * | 2020-03-23 | 2020-07-28 | 腾讯科技（深圳）有限公司 | 一种数据同步的方法、装置、设备和介质 |
| CN111831755A (zh) * | 2020-07-23 | 2020-10-27 | 北京思特奇信息技术股份有限公司 | 一种跨数据库数据同步方法、系统、介质及设备 |
| CN111831755B (zh) * | 2020-07-23 | 2024-01-16 | 北京思特奇信息技术股份有限公司 | 一种跨数据库数据同步方法、系统、介质及设备 |
| CN112783972A (zh) * | 2020-12-31 | 2021-05-11 | 武汉工程大学 | 图像特征值数据的同步方法及系统 |
| CN113590719A (zh) * | 2021-09-27 | 2021-11-02 | 北京奇虎科技有限公司 | 数据同步方法、装置、设备及存储介质 |
| CN113590719B (zh) * | 2021-09-27 | 2022-03-22 | 北京奇虎科技有限公司 | 数据同步方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106021494A (zh) | 一种主数据同步方法及装置 | |
| US11360950B2 (en) | System for analysing data relationships to support data query execution | |
| US11461294B2 (en) | System for importing data into a data repository | |
| US10678810B2 (en) | System for data management in a large scale data repository | |
| CN103914526B (zh) | 一种用于sap erp系统与oracle erp系统的接口方法和装置 | |
| US9990389B1 (en) | Systems and methods for generating event stream data | |
| US9063988B2 (en) | Database methods and apparatus | |
| US8161070B2 (en) | Efficient delta handling in star and snowflake schemes | |
| US8484255B2 (en) | Automatic conversion of multidimentional schema entities | |
| US20130166515A1 (en) | Generating validation rules for a data report based on profiling the data report in a data processing tool | |
| CN107168940A (zh) | 一种报表生成系统及方法 | |
| CN106250543A (zh) | 一种自动化数据查询同步存储方法 | |
| CN104298769B (zh) | 一种数据库间共有域差异数据同步系统及方法 | |
| CN113010696A (zh) | 基于元数据模型的工程领域知识图谱构建方法 | |
| CN102708213A (zh) | 一种在pdm 系统与erp 系统之间实现bom 信息传输的方法 | |
| CN114357088A (zh) | 核电工业数据仓库系统 | |
| CN106802905A (zh) | 一种同构plm系统的协同数据交换方法 | |
| US10255338B2 (en) | System and method for file management in data structures | |
| Shahbaz | Data mapping for data warehouse design | |
| CN105589900A (zh) | 基于多维分析的数据挖掘方法 | |
| Zdepski et al. | An Approach for Modeling Polyglot Persistence. | |
| CN104881455B (zh) | 一种基于mysql的结构差异处理方法及系统 | |
| US20180357297A1 (en) | Rdb system | |
| CN104166739B (zh) | 分析数据库的指标文件处理方法及装置 | |
| WO2017156624A1 (en) | Method and system for persisting data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161012 |