CN117608553A - 基于多数据源可配置型基础数据同步方法、装置及设备 - Google Patents

基于多数据源可配置型基础数据同步方法、装置及设备 Download PDF

Info

Publication number
CN117608553A
CN117608553A CN202311543031.7A CN202311543031A CN117608553A CN 117608553 A CN117608553 A CN 117608553A CN 202311543031 A CN202311543031 A CN 202311543031A CN 117608553 A CN117608553 A CN 117608553A
Authority
CN
China
Prior art keywords
data
synchronization
source
synchronous
data synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311543031.7A
Other languages
English (en)
Inventor
贾兴隆
李宜江
肖瑾
邱炜远
赵凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peoples Insurance Company of China
Original Assignee
Peoples Insurance Company of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peoples Insurance Company of China filed Critical Peoples Insurance Company of China
Priority to CN202311543031.7A priority Critical patent/CN117608553A/zh
Publication of CN117608553A publication Critical patent/CN117608553A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/34—Graphical or visual programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/36—Software reuse
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于多数据源可配置型基础数据同步方法、装置及设备，该方法包括：基于多数据源可配置型基础数据同步平台，获取用户配置的数据同步所需参数，所述参数包括但不限于数据源、不同数据源对应的数据通讯方式、同步数据类型；根据所述参数确定基础数据的同步内容；根据所述同步内容建立源系统和接收系统的模型关系；根据所述模型关系进行任务调度和数据同步处理，将源系统中的数据同步到接收系统中。本发明解决了在面临的多系统，多接口，多数据来源，多标准的情况下，因交互技术单一导致的难以同时满足不同数据库类型、数据类型，客户化自定义内容配置，多系统调度同步要求的问题。

Description

基于多数据源可配置型基础数据同步方法、装置及设备
技术领域
本发明涉及数据同步领域，尤其涉及一种基于多数据源可配置型基础数据同步方法、装置及设备。
背景技术
在企业信息化应用领域，多系统并存，跨系统信息交互是企业发展的必然和常态，基于各自应用特点和系统架构，均需构建和维护底层基础数据。为了避免信息孤岛、数据冗余、不一致性以及转换消耗，往往是针对通用性基础数据，确定唯一系统来源，实现相同技术方案共享、同源分发是系统功能实现的首要任务。因此，基础数据的同步获取，是企业信息化软件使用时常见的应用需求。相对于企业的业务数据，基础数据作为系统应用的底层支撑，骨架数据，往往具有结构相对简单，总数据量较少，微量变化居多，实时性、一致性、准确性要求较高的特征。
SAP(思爱普)作为大型企业信息化中常用且重要的系统软件，对于数据的信息交互，提供了多种技术方式支持，无论是底层的数据库同步处理，还是电子信息交互方式，EDI技术，Web Service接口或专用的数据同步工具，都需要技术人员深入介入，缺乏完整的针对不同数据库类型、不同数据类型的统一的可配置、自适应的系统交互和数据对接方式选择，并伴随着企业信息化的推广，需要以SAP系统为中心自动完成数据接收、数据分发的业务场景也随之增加，每新增一个对接类型，传统的开发方式都需要有针对性进行客户化代码定制开发，由此带来了代码冗余度高，通用性差，维护成本增加的缺陷。对于基础数据总量相对小，结构简单，因业务变化带来的数据变动频率高(如：生产过程中所需的物料主数据)，在企业经营过程中需快速完成系统配置并投产使用，因此，需开发人员进行多次定制化开发，这无疑增加了开发人员极大的工作量。
发明内容
本发明提供了一种基于多数据源可配置型基础数据同步方法、装置及设备，解决了在面临的多系统，多接口，多数据来源，多标准的情况下，因交互技术单一导致的难以同时满足不同数据库类型、数据类型，客户化自定义内容配置，多系统调度同步要求的问题。
一种基于多数据源可配置型基础数据同步方法，基于多数据源可配置型基础数据同步平台，包括：
获取用户配置的数据同步所需参数，所述参数包括但不限于数据源、不同数据源对应的数据通讯方式、同步数据类型；
根据所述参数确定基础数据的同步内容；
根据所述同步内容建立源系统和接收系统的模型关系；
根据所述模型关系进行任务调度和数据同步处理，将源系统中的数据同步到接收系统中。
在本发明的一种实施例中，所述根据所述同步内容建立源系统和接收系统的模型关系，具体包括：根据基础数据的同步内容，分析并确定在源系统中基础数据的存储对象和内容；在接收系统中确定接收所述基础数据的存储对象和内容；根据源系统中的存储对象和内容和接收系统中的存储对象和内容自动生成源系统与接收系统之间的映射关系；对所述映射关系进行校验，校验成功后确定模型关系建立。
在本发明的一种实施例中，根据所述模型关系进行任务调度和数据同步处理，具体包括：根据所述模型关系对源系统中的数据进行过滤，将过滤得到的数据作为基础数据；通过相应的数据通讯方式从源系统中将所述基础数据发送并存储到接收系统的数据库中。
在本发明的一种实施例中，在进行数据同步前，所述方法还包括：根据基础数据的数据量大小确定数据同步方式，所述数据同步方式包括全量同步和增量同步；基于预设的同步周期执行数据同步。
在本发明的一种实施例中，在数据同步过程中，所述方法还包括：对数据同步的日志信息进行记录，所述日志信息包括但不限于同步的数据类型、操作人员、同步时间和同步是否成功；若监测到数据同步出现异常，基础数据同步平台根据该异常生成异常信息；根据所述异常信息生成异常通知，将所述异常通知发送到对应的工作人员接收端。
在本发明的一种实施例中，所述基于多数据源可配置型基础数据同步平台将常用的基础数据获取方式和数据库链接方式进行模块化封装，用于对源系统和接收系统间的交互对接和翻译解析，以实现多数据源的统一集成；在首次配置系统通讯链路参数后，无需再次配置，通过复用原有数据通讯和数据解析方式同步源系统中新增的相同类型的基础数据。
在本发明的一种实施例中，所述数据通讯方式包括但不限于远程功能调用RFC、电子数据交换EDI、开放数据库连接ODBC、Web Service。
一种基于多数据源可配置型基础数据同步装置，包括：
数据源配置模块，用于获取用户配置的数据同步所需参数，所述参数包括但不限于数据源、不同数据源对应的数据通讯方式、同步数据类型；根据所述参数确定基础数据的同步内容；
数据模型建立模块，用于根据所述同步内容建立源系统和接收系统的模型关系；
数据同步模块，用于根据所述模型关系进行任务调度和数据同步处理，将源系统中的数据同步到接收系统中。
一种基于多数据源可配置型基础数据同步设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通过总线通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被执行，以实现如上述各实施例任一项所述的方法。
一种非易失性存储介质，存储有计算机可执行指令，所述计算机可执行指令由处理器执行，以实现如上述各实施例任一项所述的方法。
本发明提供了一种基于多数据源可配置型基础数据同步方法、装置及设备，至少包括以下有益效果：
1.将常用的基础数据获取方式和数据库链接，通过技术方案封装在基础数据同步平台底部，封装过程中，通过技术处理源系统、接收系统间的交互对接和翻译解析，平台提供多数据源的统一集成，相比单一的数据源单独开发方式，通过该平台可自动完成基础数据关系匹配，内容更新和复制，将不同来源的数据加工处理后，以通用的结构元素供上层数据应用层使用，最大限度支持接口的复用性，减少开发和维护成本。
2.基于数据同步内容和来源，采用模糊匹配、智能识别等多种方式，通过系统自动完成配置数据映射关系建立，平台使用者只需根据系统自动创建的对应完成微调或确认即可。在同一数据来源链路中，可复用底层封装数据源通讯解析方式，快速搭建数据同步模型，快速灵活的完成数据同步，大大提升了平台的易用性和通用性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的基础数据同步平台系统架构图；
图2为本发明实施例提供的一种基于多数据源可配置型基础数据同步方法步骤示意图；
图3为本发明实施例提供的基础数据同步平台功能流程示意图；
图4为本发明实施例提供的数据源配置示意图；
图5为本发明实施例提供的RFC连接配置示意图之一；
图6为本发明实施例提供的RFC连接配置示意图之二；
图7为本发明实施例提供的RFC连接配置示意图之三；
图8为本发明实施例提供的RFC连接测试示意图；
图9为本发明实施例提供的数据库连接信息示意图；
图10为本发明实施例提供的数据库连接详细信息示意图；
图11为本发明实施例提供的主数据类型配置表示意图之一；
图12为本发明实施例提供的主数据类型配置表示意图之二；
图13为本发明实施例提供的表字段映射配置表示意图之一；
图14为本发明实施例提供的主数据类型和对应技术配置表示意图；
图15为本发明实施例提供的表字段映射配置表示意图之二；
图16为本发明实施例提供的表字段映射配置表示意图之三；
图17为本发明实施例提供的ECC同步主数据至管理会计系统数据同步配置示意图之一；
图18为本发明实施例提供的ECC同步主数据至管理会计系统数据同步配置示意图之二；
图19为本发明实施例提供的ECC同步主数据至管理会计系统数据同步配置示意图之三；
图20为本发明实施例提供的批量主数据同步作业设置示意图；
图21为本发明实施例提供的批量主数据同步作业步骤清单示意图；
图22为本发明实施例提供的批量主数据同步作业步骤显示示意图；
图23为本发明实施例提供的批量主数据同步作业日志概览图；
图24为本发明实施例提供的数据同步日志信息查询示意图之一；
图25为本发明实施例提供的数据同步日志信息查询示意图之二；
图26为本发明实施例提供的数据同步日志信息查询示意图之三；
图27为本发明实施例提供的数据同步异常报错通知界面示意图；
图28为本发明实施例提供的数据同步结果查询界面示意图之一；
图29为本发明实施例提供的数据同步结果查询界面示意图之二；
图30为本发明实施例提供的一种基于多数据源可配置型基础数据同步装置示意图；
图31为本发明实施例提供的一种基于多数据源可配置型基础数据同步设备示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例对本发明进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本领域普通技术人员显式地和隐式地理解的是，本发明所描述的实施例在不冲突的情况下，可以与其它实施例相结合。除非另作定义，本发明所涉及的技术术语或者科学术语应当为本发明所属技术领域内具有一般技能的人士所理解的通常意义。本发明所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本发明所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；本发明所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
企业在信息化过程中，面临的多系统，多接口，多数据来源，多标准的现实情况，缺乏统一的、集成的数据平台快速完成基础数据同步，现有技术方案通常采用单一的交互技术，无法同时满足不同数据库类型、数据类型，客户化自定义内容配置，多系统调度同步的要求。
为解决企业多生态系统中数据频繁变化，基础数据交互过程中标准化和自适应性问题，本发明提出了一种基于多数据源可配置型基础数据同步方法、装置及设备。设计了基于SAP系统的支持多源系统可配置数据模型的基础数据同步平台，该平台在底层采用黑盒处理方式，对各种不同数据类型进行了封装设置，增加了技术通讯交互层，可在需求分析确定数据来源系统、数据获取方式后，通过平台一次性配置，实现基于多系统交互和数据的解析处理；在数据应用层，使用者无需关心底层数据通讯和数据解析方式，仅仅需要快速定义接收与发送系统的映射关系，即可快速完成数据链路和同步关系的建立，实现基础数据在应用层的快速建模和同步。下面进行具体说明。
基础数据同步，是企业系统信息交互中的一类数据集合，其特征是结构相对简单，一般为二维表，无数据层级和复杂关联关系，经常面临增加、删除、修改，或类型新增，数据增量不会出现较大变化，总量也与业务数不同，不会出现海量的情况，但需要做到快速调用响应，快速完成同步，并确保数据同步结果无差异。
针对SAP系统，SAP系统与外部系统之间，传输业务数据的方法有多种，常见的的方式包括：EDI、IDOC、RFC、Web Service、底层数据库同步(如：ODBC数据、中间表)等。但现有技术方案通常采用单一的交互技术，无法同时满足不同数据库类型、数据类型，客户化自定义内容配置，多系统调度同步的要求。例如：
RFC方法只要能够熟悉类似JCO的使用，就可以在其他系统中使用，比中间表有更好的实时性。但因为SAP中Function属于纯过程式语言，在使用过程中功能受到制约，只能单向调用，一般与Web Service同时使用。
Web Service是系统交互过程中的常用方式，一般作为SAP调用其他系统的常见方法。该方法的优点是符合WS的标准，任何系统都可实现相应的接口发布和调用，为交互的实时性和交互性提供充分保障。由于对Web Service发布的格式要求比较严格，在创建WebService Proxy时因为格式的原因无法实现调用。
中间表方法就是利用中间数据库作为交互方式。SAP系统利用DBCO建立与中间数据库关联，利用SQL或TSQL直接对数据库进行读取、写入、删除等操作，在此过程中，也允许其它系统也对相同的中间表进行操作。该方法最大的优点是实现比较简单，对调用系统学习成本要求比较低，连接方式简单。但是单独使用中间表，会造成数据交互不及时，只能通过轮询访问和定时刷新来获取新增数据，实时性不够高，需要增加额外中间数据库表来完成数据转换。
上述数据通讯方式在使用过程中，只能针对特定系统的特定应用确定固定的交互方式后进行内容交互，需要单独开发上层数据处理逻辑，无法实现应用层的通用和复用，从需求提出到实施完成，经历周期较长，每种数据接收方式，都需要经历完整的开发周期。
本发明提供的基于SAP系统开发的支持多数据源(数据通讯方式)的可配置型基础数据同步平台(简称平台)，在链路层实现数据通讯和数据解析模块化封装，平台使用者无需了解采用的技术实现方式，封装后的平台模块可快速完成同步内容分析，获得有效的数据同步信息，供数据应用层使用。在定义数据来源时，可对不同的系统，启用不同的数据通讯和交互方式。在数据应用层面，系统根据需要同步的基础数据类型，复用原通讯链路，通过存储对象和数据元素在收发系统定义内容的分析，自动建立数据模型和数据源的勾稽关系，完成数据模型定义。
在同步数据时，可根据数据时效性要求和数据处理特点，采用定期自动获取或手动定期获取，由对方系统实时推送，实时接收处理方式。具体采用哪种同步方式，在数据源定义时可一并确定，也可在后期根据数据类型变化灵活修改。
本发明提供的基于多数据源可配置型基础数据同步平台，比单一的数据同步技术应用处理，实现了多通讯技术的应用支持和封装，只需关注数据应用层的使用，大大提高了通讯链路的复用性和通用性，提升了基础数据同步的处理效率和实现难度。基础数据同步平台的技术架构图如图1所示，在首次对接外部系统数据源时完成底层数据链路配置，而应用层根据同步数据内容，通过平台自动完成源系统与接收系统模型关系建立，自动完成任务调度和同步处理。此后同源系统如果新增同步数据类型，无需开发人员再次进行通讯链路通讯配置，应用层可根据配置表自动完成模型定义并执行同步。
使用基础数据同步平台进行数据同步时，需要完成如下操作要点：
1)数据来源的确定；
2)系统通讯链路配置；
3)数据结构特征分析；
4)定义同步数据类型；
5)数据同步映射关系建立；
6)数据同步处理。
图2为本发明实施例提供的一种基于多数据源可配置型基础数据同步方法的步骤示意图，可以包括以下步骤：
S210：获取用户配置的数据同步所需参数，根据参数确定基础数据的同步内容。配置的参数包括但不限于数据源、不同数据源对应的数据通讯方式、同步数据类型。
具体地，本发明中同步方案可划分为三部分，即：数据源配置、数据模型建立和数据同步。如图3所示为SAP基础数据同步平台功能示意图。
通过在接收系统中进行数据源定义和数据模型定义，实现与外部源系统的数据同步。数据源定义中包括数据源参数定义，数据链接通讯方式定义。数据模型定义中包括数据类型定义、数据映射表定义以及数据映射字段定义。数据同步中，将源系统中获取的数据基于数据进行过滤后的数据存储到数据库中，同步过程中还包括数据同步手工获取、自动获取、自动接收、同步日志记录和查询、同步异常邮件通知等。
在数据源配置中，解决外部不同系统链接方式的技术对接，封装了底层通讯处理；数据模型的建立在剥离了技术因素后仅从数据应用层进行内容的对接；在执行层面，支持主动发起，也可接收推送，并对交互过程进行必要的日志记录。
在本发明的一种实施例中，在进行数据同步前，根据基础数据的数据量大小确定数据同步方式，数据同步方式包括全量同步和增量同步；基于预设的同步周期执行数据同步。
具体地，在基础数据的同步方式选择上，基于基础数据总量小，变化多，结构简单的特点，基础数据可均采取默认全量同步方式。针对量级较大数据，平台提供增量处理方式选项。
在推式和拉式获取方向上，采用主动发起，还是被动接收，基础数据同步平台均可支持使用。同步功能发起时，主动拉式获取，并持续保持接收状态，如其它来源系统在同时间段内推送数据，该平台也可实时接收处理。
以管理会计系统(简称管会系统)为例，管理会计系统中应用的基础数据包括险类、渠道、业务范围、核算机构映射、部门与成本中心对应、收付原因代码、收付款方式、会计科目、成本中心、银行账号、汇率等等，是开展保险业务计量记录时的必要信息。当进行核算计量时，这些基础数据会在源端根据数据类型和状态变化创建数据流，汇集至主数据中心集中管理，通过基础数据订阅系统完成对接系统的分发同步。管理会计系统所需基础数据，存在于主数据管理中心(简称主数据中心)系统和新一代财务系统(简称：ECC)中。因此，管会系统需要向两个来源系统发起订阅，完成基础数据的同步处理。
在基础数据同步平台启动同步前，面向所需基础数据，确定其来源系统和数据通讯方式，配置接收系统编号，通讯方式。针对不同的通讯方式，基础数据同步平台在底层做了数据的解析处理，将技术通讯和交互封装为黑盒子，对平台使用者不可见。
考虑到管理会计系统所需数据部分来源于相同架构的ECC系统，采用开发代价较小的底层数据库同步方式，可减少数据链路，降低错误率，提高数据获取时效性和稳定性。而对于无法从ECC获取到的基础数据，则从主数据中心订阅获取。故目标PICC管会系统的基础数据来源系统有两个。
如图4所示为数据源配置示意图。数据源配置：定义获取的数据来源，以ECC为例，添加数据源同步的链接参数和值，并在底层配置封装该类型链接的通讯处理。
在本发明的一种实施例中，基于多数据源可配置型基础数据同步平台将常用的基础数据获取方式和数据库链接方式进行模块化封装，用于对源系统和接收系统间的交互对接和翻译解析，以实现多数据源的统一集成；在首次配置系统通讯链路参数后，无需再次配置，通过复用原有数据通讯和数据解析方式同步源系统中新增的相同类型的基础数据。
具体地，如图5、图6、图7所示为远程函数调用(Remote Function Call，RFC)配置示意图，技术人员完成系统通讯配置和连通的首次设置，对于相同类型的基础数据新增，无需再次配置，可复用原有链路。图8为RFC连接测试界面，图9为数据库连接信息显示界面、图10为数据库连接详细信息显示界面。
在本发明的一种实施例中，数据通讯方式包括但不限于远程功能调用RFC、电子数据交换EDI、开放数据库连接ODBC、Web Service。
具体地，在系统实施过程中，通常采用的数据通讯方式有EDI电子数据交换，ODBC数据库连接，RFC和Web Service。
下面对这些方式进行介绍。
(一)电子数据交换
电子数据交换EDI(Electronic Data Interchange)是一种在公司之间传输订单、发票等作业文件的电子化手段。EDI的工作过程主要包括：
1、发送方将要发送的数据从信息系统数据库提出，转换成平面文件(亦称中间文件)。
2、将平面文件翻译为标准的EDI报文，并组成EDI信件，接收方从EDI信箱收取信件。
3、将EDI信件拆分并翻译成平面文件。
4、将平面文件转换并发送到接收方信息系统中进行处理。
在EDI数据处理过程中使用的文件类型称之为IDOC(Intermediate Document)，是信息系统之间进行事务性或数据交换使用的标准数据格式。IDOC一般是面向消息的，包含事务性数据，主数据和控制数据，异步处理的。IDOC根据所传输信息的内容不同分成不同的类型(Type)，如：类型ORDERS传输采购订单而ORDRSP用于传输订单的确认。IDOC通常用于ALE(Application Link Enabling)环境中，它是SAP描述松散多系统互接环境的一个概念，支持多种交互模式，同步的、异步的，以及多种协议及数据格式，如HTTP+XML、RFC+IDOC等等。
(二)开放数据库连接
ODBC(Open Database Connectivity)开放数据库连接是为解决异构数据库间的数据共享而产生的，现已成为WOSA(The Windows Open System Architecture)的主要部分和基于Windows环境的一种数据库访问接口标准。ODBC为异构数据库访问提供统一接口，允许应用程序以SQL语句为数据存取标准，存取不同DBMS管理的数据。在ODBC的应用下，允许应用程序直接操作数据库中的数据，可以从底层数据库完成内容复制，存储至SAP系统的底层数据库。
(三)远程功能调用
RFC(Remote Function Call)是SAP基于国际标准CPI-C(Common ProgrammingInterface for Communication)之上修改开发的一种SAP专有通信协议，用于在不同系统间进行功能调用。即在A系统中某段程序执行过程中可以调用B系统的某个功能块，在调用结束后获得结果并返回A系统继续执行原程序其余部分。
(四)Web Service
Web Service是在Netweaver组件通过UDDI工具，采用SOAP和WSDL两种Web服务技术，将已有功能封装成Web Service对象，供其它系统调用或者调用其他系统的WebService，从而实现SAP与非SAP系统的集成。SAP Netweaver提供了可以发布、查找并调用Web服务的工具(UDDI)，可支持NetWeaver作为Web服务的服务器(Service Provider)，主要功能包括：
1、提供Web Service。它可以直接封装SAP的RFC、Function Group、BAPI、XIMessage Interface等系统功能，以WEB标准协议在Internet上被其他系统调用。
2、消费Web Service。Netweaver通过创建代理直接调用采用标准协议封装的其他系统提供的Web Service。
提供AS ABAP和AS JAVA环境，允许开发者使用ABAP或者JAVA开发Web服务。
S220：根据同步内容建立源系统和接收系统的模型关系。
在本发明的一种实施例中，根据同步内容建立源系统和接收系统的模型关系，具体包括：根据基础数据的同步内容，分析并确定在源系统中基础数据的存储对象和内容；在接收系统中确定接收基础数据的存储对象和内容；根据源系统中的存储对象和内容和接收系统中的存储对象和内容自动生成源系统与接收系统之间的映射关系；对映射关系进行校验，校验成功后确定模型关系建立。
具体地，基于所需的基础数据内容，需分析其在来源系统的存储对象(一般为表)和内容(一般为字段)，选择其中所需内容，同时在本系统定义或确定接收该基础数据的存储对象(亦为表)和内容，管会系统根据确定内容，采用模糊匹配、智能识别等多种方式，自动生成接收系统存储对象间的映射关系。该过程系统完全忽略底层技术因素，仅针对数据内容进行自动识别处理。
首先，在接收系统即管理会计系统中定义数据类型的名称以及调用过程中使用的唯一类型编码，编码使用数字或字母均可。数据来源，在平台底层定义了数据源后，基础数据同步平台可在前端根据已配置的数据来源和数据类型，完成默认对应关系建立，平台使用者只需对已生成关系进行校验即可，如图11所示为主数据类型配置示意图。
针对已建立的数据类型记录，如：01类型-险类2派生险类1，继续展开下层，如图12所示，从来源系统ECC系统完成接收系统管理会计的表名映射，即针对已建立的数据类型，系统自动建立收发系统存储对象间的同步映射关系。
然后，针对已建立的的存储对象映射关系，确定具体存储内容的同步来源，如图13所示，系统自动继续展开下层映射，系统会自动完成发送系统到接收系统的所有字段关系建立，平台使用者也可根据所需同步内容自由选择组合，无需考虑技术层面的处理和开发。
在数据类型定义层面，可相对灵活的建立映射关系，可一对多，也可多对多。如图14、图15、图16所示为各层配置表示意图。
S230：根据模型关系进行任务调度和数据同步处理，将源系统中的数据同步到接收系统中。
在本发明的一种实施例中，根据模型关系进行任务调度和数据同步处理，具体包括：根据模型关系对源系统中的数据进行过滤，将过滤得到的数据作为基础数据；通过相应的数据通讯方式从源系统中将基础数据发送并存储到接收系统的数据库中。
在本发明的一种实施例中，在数据同步过程中，对数据同步的日志信息进行记录，日志信息包括但不限于同步的数据类型、操作人员、同步时间和同步是否成功；若监测到数据同步出现异常，基础数据同步平台根据该异常生成异常信息；根据异常信息生成异常通知，将异常通知发送到对应的工作人员接收端。
具体地，数据模型定义完成后，可在同步功能菜单下，针对已配置的数据类型进行同步，平台提供了两种同步方式选择，即自动同步方式和手工同步方式。系统根据已定义的数据模型，提供用户选项，具体操作界面如图17、图18、图19所示。
如图20、图21、图22、图23所示，自动同步功能即设置定时作业，将各数据类型按指定步骤，依次调用，实现周期性自动同步。
如图24、图25、图26所示，在数据同步处理过程中，基础数据同步平台进行必要的日志信息记录，包括同步的数据类型、操作人员、时间、成功与否等关键信息，以便事后查看和问题分析。
如图27所示，如果数据同步出现异常报错，基础数据同步平台也可自动触发邮件通知，及时反馈该异常信息至管理员邮箱账户，及时进行问题原因分析和处理。
如图28、图29所示，在数据同步成功执行后，可通过平台快速查阅数据写入原表和目标表技术名称，在目标系统对应的数据接收表中，可通过数据条目对比、代码检查等及时获知同步结果的准确性。
本发明支持多数据源和多种技术实现方式的快速集成与统一，可自动完成模型和映射关系建立，快速实现基础数据同步，获取最新数据更新状态。通过集成化应用平台，实现基于SAP系统的轻量级基础数据同步获取。
以上为本发明实施例提供的一种基于多数据源可配置型基础数据同步方法，基于同样的发明思路，本发明实施例还提供了相应的一种基于多数据源可配置型基础数据同步装置，如图30所示。
数据源配置模块3002，用于获取用户配置的数据同步所需参数，参数包括但不限于数据源、不同数据源对应的数据通讯方式、同步数据类型；根据参数确定基础数据的同步内容；
数据模型建立模块3004，用于根据同步内容建立源系统和接收系统的模型关系；
数据同步模块3006，用于根据模型关系进行任务调度和数据同步处理，将源系统中的数据同步到接收系统中。
本发明实施例还提供了相应的一种基于多数据源可配置型基础数据同步设备，如图31所示，包括：
至少一个处理器3102(processor)、通信接口3104(Communications Interface)、存储器3106(memory)和通信总线3108；其中，处理器3102，通信接口3104，存储器3106通过通信总线3108完成相互间的通信；处理器3102可以调用存储器3106中存储的逻辑指令，以使至少一个处理器3102执行上述各实施例的步骤。
基于同样的思路，本发明的一些实施例还提供了上述方法对应的介质。
本发明的一些实施例提供的一种存储介质，存储有计算机可执行指令，计算机可执行指令由处理器执行，以实现上述各实施例的步骤。
本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程方法商品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程方法商品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程方法商品或者方法中还存在另外的相同要素。
以上仅为本发明的实施例而已，并不用于限制本发明。虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种基于多数据源可配置型基础数据同步方法，其特征在于，基于多数据源可配置型基础数据同步平台，包括：
获取用户配置的数据同步所需参数，所述参数包括但不限于数据源、不同数据源对应的数据通讯方式、同步数据类型；
根据所述参数确定基础数据的同步内容；
根据所述同步内容建立源系统和接收系统的模型关系；
根据所述模型关系进行任务调度和数据同步处理，将源系统中的数据同步到接收系统中。
2.根据权利要求1所述的方法，其特征在于，所述根据所述同步内容建立源系统和接收系统的模型关系，具体包括：
根据基础数据的同步内容，分析并确定在源系统中基础数据的存储对象和内容；
在接收系统中确定接收所述基础数据的存储对象和内容；
根据源系统中的存储对象和内容和接收系统中的存储对象和内容自动生成源系统与接收系统之间的映射关系；
对所述映射关系进行校验，校验成功后确定模型关系建立。
3.根据权利要求1所述的方法，其特征在于，根据所述模型关系进行任务调度和数据同步处理，具体包括：
根据所述模型关系对源系统中的数据进行过滤，将过滤得到的数据作为基础数据；
通过相应的数据通讯方式从源系统中将所述基础数据发送并存储到接收系统的数据库中。
4.根据权利要求1所述的方法，其特征在于，在进行数据同步前，所述方法还包括：
根据基础数据的数据量大小确定数据同步方式，所述数据同步方式包括全量同步和增量同步；
基于预设的同步周期执行数据同步。
5.根据权利要求1所述的方法，其特征在于，在数据同步过程中，所述方法还包括：
对数据同步的日志信息进行记录，所述日志信息包括但不限于同步的数据类型、操作人员、同步时间和同步是否成功；
若监测到数据同步出现异常，基础数据同步平台根据该异常生成异常信息；
根据所述异常信息生成异常通知，将所述异常通知发送到对应的工作人员接收端。
6.根据权利要求1所述的方法，其特征在于，所述基于多数据源可配置型基础数据同步平台将常用的基础数据获取方式和数据库链接方式进行模块化封装，用于对源系统和接收系统间的交互对接和翻译解析，以实现多数据源的统一集成；
在首次配置系统通讯链路参数后，无需再次配置，通过复用原有数据通讯和数据解析方式同步源系统中新增的相同类型的基础数据。
7.根据权利要求1所述的方法，其特征在于，所述数据通讯方式包括但不限于远程功能调用RFC、电子数据交换EDI、开放数据库连接ODBC、Web Service。
8.一种基于多数据源可配置型基础数据同步装置，其特征在于，包括：
数据源配置模块，用于获取用户配置的数据同步所需参数，所述参数包括但不限于数据源、不同数据源对应的数据通讯方式、同步数据类型；根据所述参数确定基础数据的同步内容；
数据模型建立模块，用于根据所述同步内容建立源系统和接收系统的模型关系；
数据同步模块，用于根据所述模型关系进行任务调度和数据同步处理，将源系统中的数据同步到接收系统中。
9.一种基于多数据源可配置型基础数据同步设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通过总线通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被执行，以实现如权利要求1-7任一项所述的方法。
10.一种非易失性存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令由处理器执行，以实现如权利要求1-7任一项所述的方法。
CN202311543031.7A 2023-11-17 2023-11-17 基于多数据源可配置型基础数据同步方法、装置及设备 Pending CN117608553A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311543031.7A CN117608553A (zh) 2023-11-17 2023-11-17 基于多数据源可配置型基础数据同步方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311543031.7A CN117608553A (zh) 2023-11-17 2023-11-17 基于多数据源可配置型基础数据同步方法、装置及设备

Publications (1)

Publication Number Publication Date
CN117608553A true CN117608553A (zh) 2024-02-27

Family

ID=89947358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311543031.7A Pending CN117608553A (zh) 2023-11-17 2023-11-17 基于多数据源可配置型基础数据同步方法、装置及设备

Country Status (1)

Country Link
CN (1) CN117608553A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118113786A (zh) * 2024-04-30 2024-05-31 曙光信息产业(北京)有限公司 一种用户信息同步方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118113786A (zh) * 2024-04-30 2024-05-31 曙光信息产业(北京)有限公司 一种用户信息同步方法及系统

Similar Documents

Publication Publication Date Title
US8027922B2 (en) Integration infrastructure
US8065657B2 (en) Exchange infrastructure system and method
US8032635B2 (en) Grid processing in a trading network
JP3887564B2 (ja) 統合型データベース結合システム
US6199068B1 (en) Mapping interface for a distributed server to translate between dissimilar file formats
US6088659A (en) Automated meter reading system
CN101354696B (zh) 基于电信领域共享信息模型的数据整合与应用服务系统
US7580946B2 (en) Smart integration engine and metadata-oriented architecture for automatic EII and business integration
AU750837B2 (en) Automated meter reading system
US20070234371A1 (en) System and method for enterprise application interactions
US20030093403A1 (en) System and method for implementing an event adapter
US20070226678A1 (en) Exchanging project-related data in a client-server architecture
CN117608553A (zh) 基于多数据源可配置型基础数据同步方法、装置及设备
CN118051283B (zh) 工业领域的云端数据内容转化方法
CN101339506B (zh) 一种实现软件产品资源与版本管理的装置
CN117997915A (zh) 工业领域的云端数据内容同步分发方法
EP1506478B1 (en) Exchange infrastructure system and method
CN107896242B (zh) 一种服务共享方法及装置
CN105933396B (zh) 一种协同各渠道系统接口实现长流程的方法及系统
CN115658791A (zh) 一种地面应用管理控制系统及方法
CN111061789A (zh) 一种智能电网基建信息管理系统
KR102668341B1 (ko) 인터페이스 관리 방법, 인터페이스 거버넌스 시스템, 및 인터페이스를 관리하는, 컴퓨터로 실행가능한 프로그램을 저장하는 저장매체
KR102669665B1 (ko) 인터페이스 관리 방법, 인터페이스 거버넌스 시스템, 및 인터페이스를 관리하는, 컴퓨터로 실행가능한 프로그램을 저장하는 저장매체
US20240273171A1 (en) Universal system for extracting data
CN115220700A (zh) 一种建筑工业化系统的应用和数据集成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination