CN113806332B - 一种异构系统集成数据处理方法、装置和计算机设备 - Google Patents

一种异构系统集成数据处理方法、装置和计算机设备 Download PDF

Info

Publication number
CN113806332B
CN113806332B CN202110969742.5A CN202110969742A CN113806332B CN 113806332 B CN113806332 B CN 113806332B CN 202110969742 A CN202110969742 A CN 202110969742A CN 113806332 B CN113806332 B CN 113806332B
Authority
CN
China
Prior art keywords
data
target
precipitation model
business
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110969742.5A
Other languages
English (en)
Other versions
CN113806332A (zh
Inventor
许文江
吴刚
程皇家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingdee Yunji Technology Co ltd
Original Assignee
Beijing Kingdee Yunji Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingdee Yunji Technology Co ltd filed Critical Beijing Kingdee Yunji Technology Co ltd
Priority to CN202110969742.5A priority Critical patent/CN113806332B/zh
Publication of CN113806332A publication Critical patent/CN113806332A/zh
Application granted granted Critical
Publication of CN113806332B publication Critical patent/CN113806332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/211Schema design and management
    • G06F16/212Schema design and management with details for data modelling support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12Accounting
    • G06Q40/125Finance or payroll

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computer Security & Cryptography (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Document Processing Apparatus (AREA)

Abstract

本申请涉及一种异构系统集成数据处理方法、装置、计算机设备和存储介质。所述方法包括:获取异构系统的原始数据,所述原始数据包括不同格式的数据;从所述原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型,所述数据沉淀模型是符合数据库规范的数据模型,并将所述数据沉淀模型存储到数据库;根据业务逻辑规则,将所述数据沉淀模型转化为与所述业务逻辑规则匹配的业务单据数据包。业务需求的变化可通过相应的业务逻辑规则来改变,无需像API那般需要特别定制开发,也不会像API那般代码逻辑侵入业务代码中使得耦合度高,具有良好的兼容性。

Description

一种异构系统集成数据处理方法、装置和计算机设备
技术领域
本申请涉及数据处理技术领域,特别是涉及一种异构系统集成数据处理方法、装置和计算机设备。
背景技术
随着异构系统集成数据处理技术的发展,越来越多的人开始关注到数据蕴藏的巨大经济价值。由此各种异构系统集成数据急需整合起来以供人分析、挖掘出数据的更大价值。但是异构系统集成数据无法进行直接交互,这就造成了异构系统数据处理的麻烦。
目前,API(应用程序接口)技术是最为常用的一种对接异构系统集成数据的方法。但是API技术也并不能解决好异构系统集成数据的各种问题,也有着自身的局限性。对于不同业务需求,API技术的兼容性差。针对不同的业务需求,需要定制开发对应的API才能进行数据的转换对接。
发明内容
基于此,有必要针对上述技术问题,提供一种异构系统集成数据处理方法、装置和计算机设备,进而克服API技术存在兼容性差的缺陷。
一种异构系统集成数据处理方法,所述方法包括:
获取异构系统的原始数据,所述原始数据包括不同格式的数据;
从所述原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型,所述数据沉淀模型是符合数据库规范的数据模型,并将所述数据沉淀模型存储到数据库;
根据业务逻辑规则,将所述数据沉淀模型转化为与所述业务逻辑规则匹配的业务单据数据包。
在其中一个实施例中,所述获取异构系统的原始数据包括:
通过外部连接模块获取异构系统的原始数据;
所述从所述原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型之前,还包括:
将所述原始数据进行格式验证,得到不同格式的数据对应的格式类型信息;
将所述原始数据和对应的格式类型信息传递至数据转换引擎,所述数据转换引擎用于从所述原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型,并将所述数据沉淀模型存储至数据库。
在其中一个实施例中,所述获取异构系统的原始数据之后,还包括:
获取所述原始数据对应的对接信息,所述对接信息包括数据来源、对接时间和后续单据标识信息;
将所述原始数据和对应的对接信息存储至数据库。
在其中一个实施例中,所述从所述原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型之后,还包括:
获取所述数据沉淀模型对应的转化信息,所述转化信息包括单据编码、第一转化时间和凭证号;
建立所述数据沉淀模型对应的转化信息与匹配的目标数据之间的第一映射关系,将所述第一映射关系存储至数据库。
在其中一个实施例中,所述从所述原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型,并将所述数据沉淀模型存储到数据库包括:
确定目标系统中数据的类型;
获取所述原始数据中与所述目标系统中数据类型一致的数据作为所述目标数据;
将所述目标数据转换为统一数据格式的数据,得到所述数据沉淀模型。
在其中一个实施例中,所述根据业务逻辑规则,将所述数据沉淀模型转化为与所述业务逻辑规则匹配的业务单据数据包之后,还包括:
获取所述业务单据数据包对应的转化信息,所述转化信息包括业务编码和第二转化时间;
建立所述业务单据数据包对应的转化信息与匹配的数据沉淀模型之间的第二映射关系,将所述第二映射关系存储到数据库。
在其中一个实施例中,所述根据业务逻辑规则,将所述数据沉淀模型转化为与所述业务逻辑规则匹配的业务单据数据包包括:
配置与所述业务逻辑规则对应的内部适配器;
所述内部适配器根据与业务逻辑规则匹配的业务要求对数据沉淀模型进行清洗、加工,得到所述数据沉淀模型对应的业务单据数据包。
在其中一个实施例中,所述根据业务逻辑规则,将所述数据沉淀模型转化为与所述业务逻辑规则匹配的业务单据数据包之后,还包括:
接收数据溯源请求,所述溯源请求包括目标业务单据数据包,所述目标业务单据数据包包括对应的目标转化信息;
基于所述目标转化信息和第二映射关系,得到所述目标业务单据数据包对应的目标数据沉淀模型;
基于所述目标数据沉淀模型和第一映射关系,得到所述目标数据沉淀模型对应的目标数据。
一种异构系统集成数据处理装置,所述装置包括:
第一获取模块,用于获取异构系统的原始数据,所述原始数据包括不同格式的数据;
第一转化模块,用于从所述原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型,所述数据沉淀模型是符合数据库规范的数据模型,并将所述数据沉淀模型存储到数据库;
第二转化模块,用于根据业务逻辑规则,将所述数据沉淀模型转化为与所述业务逻辑规则匹配的业务单据数据包。
在其中一个实施例中,提供了一种异构系统集成数据处理装置还包括:
存储模块,用于将所述原始数据进行格式验证,得到不同格式的数据对应的格式类型信息,将所述原始数据和对应的格式类型信息传递至数据转换引擎,所述数据转换引擎用于从所述原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型,并将所述数据沉淀模型存储至数据库。
在其中一个实施例中,提供了一种异构系统集成数据处理装置还包括:
存储模块,用于获取所述原始数据对应的对接信息,所述对接信息包括数据来源、对接时间和后续单据标识信息,将所述原始数据和对应的对接信息存储至数据库。
在一个实施例中,提供了一种异构系统集成数据处理装置还包括:
第一映射关系确定模块,用于获取所述数据沉淀模型对应的转化信息,所述转化信息包括单据编码、第一转化时间和凭证号,建立所述数据沉淀模型对应的转化信息与匹配的目标数据之间的第一映射关系,将所述第一映射关系存储至数据库。
在一个实施例中,提供了一种异构系统集成数据处理装置还包括:
第一转化模块还用于确定目标系统中数据的类型,获取所述原始数据中与所述目标系统中数据类型一致的数据作为所述目标数据,将所述目标数据转换为统一数据格式的数据,得到所述数据沉淀模型。
在一个实施例中,提供了一种异构系统集成数据处理装置还包括:
第二映射关系确定模块,用于获取所述业务单据数据包对应的转化信息,所述转化信息包括业务编码和第二转化时间,建立所述业务单据数据包对应的转化信息与匹配的数据沉淀模型之间的第二映射关系,将所述第二映射关系存储到数据库。
在一个实施例中,提供了一种异构系统集成数据处理装置还包括:
所述第二转化模块还用于配置与所述业务逻辑规则对应的内部适配器,所述内部适配器根据与业务逻辑规则匹配的业务要求对数据沉淀模型进行清洗、加工,得到所述数据沉淀模型对应的业务单据数据包。
在一个实施例中,提供了一种异构系统集成数据处理装置还包括:
溯源模块,用于接收数据溯源请求,所述溯源请求包括目标业务单据数据包,所述目标业务单据数据包包括对应的目标转化信息,基于所述目标转化信息和第二映射关系,得到所述目标业务单据数据包对应的目标数据沉淀模型,基于所述目标数据沉淀模型和第一映射关系,得到所述目标数据沉淀模型对应的目标数据。
上述一种异构系统集成数据处理方法、装置和计算机设备,通过获取异构系统不同格式的原始数据并抽离出与目标系统关联的目标数据,再将目标数据转化为统一的数据沉淀模型并存储到数据库的方式将数据稳定沉淀存储。数据沉淀模型是符合数据库规范的数据模型以便将数据持久化。对于不同的业务需求,根据业务逻辑规则将数据沉淀模型转化为业务单据数据包。在这种联动的工作方式下,业务需求的变化不会直接作用到数据沉淀模型,而数据沉淀模型具有稳定持久的特性以确保数据的准确性。业务需求的变化可通过相应的业务逻辑规则来改变,无需像API那般需要特别定制开发,也不会像API那般代码逻辑侵入业务代码中使得耦合度高,具有良好的兼容性。
附图说明
图1为一个实施例中一种异构系统集成数据处理方法的应用场景;
图2为一个实施例中一种异构系统集成数据处理方法的流程示意图;
图3为一个实施例中格式验证步骤的流程示意图;
图4为一个实施例中获取原始数据对接信息步骤的流程示意图;
图5为一个实施例中获取第一映射关系步骤的流程示意图;
图6为一个实施例中原始数据转化为数据沉淀模型步骤的流程示意图;
图7为一个实施例中获取第二映射关系步骤的流程示意图;
图8为一个实施例中数据沉淀模型转化为业务单据数据包步骤的流程示意图;
图9为一个实施例中数据溯源步骤的流程示意图;
图10为一个实施例中一种异构系统集成数据处理方法的具体应用示意图;
图11为一个实施例中一种异构系统集成数据处理方法的另一具体应用示意图;
图12为一个实施例中一种异构系统集成数据处理装置的结构框图;
图13为一个实施例中服务器设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的一种异构系统集成数据处理方法,可以应用于如图1所示的应用环境中。该应用环境包括一种异构系统集成数据处理系统,该系统包括:异构系统102通过对接信息与服务器104进行数据交互,服务器104获取异构系统102的不同格式的原始数据,并抽离出与目标系统关联的目标数据,再将目标数据转化为统一的数据沉淀模型并存储到数据库的方式将数据稳定沉淀存储。数据沉淀模型是符合数据库规范的数据模型以便将数据持久化。对于终端106不同的业务需求,根据业务逻辑规则将数据沉淀模型转化为业务单据数据包。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现,终端106可以但不限于是个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
在一个实施例中,如图2所示,提供了一种异构系统集成数据处理方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,获取异构系统的原始数据,原始数据包括不同格式的数据。
其中,异构系统即异构数据库系统,是指相关的多个数据库系统的集合,可以实现数据的共享和透明访问,每个数据库系统在加入异构数据库系统之前本身就已经存在。原始数据是指异构系统内的数据,由于每个数据库存储的数据格式并不一致,所以异构系统内的数据格式也并不相同。也就是说,不同格式的数据只是存储方式不一样。比如,异构系统内的数据可以是XML格式,可以是JSON格式,可以是文本格式,也可以是其他类型的格式。
具体地,服务器通过请求命令,将异构系统内的数据提取出来。针对于不同的异构系统,提取出来的数据格式并不一致。
步骤204,从所述原始数据中抽离出与目标系统关联的目标数据,将目标数据转化为统一的数据沉淀模型,数据沉淀模型是符合数据库规范的数据模型,并将数据沉淀模型存储到数据库。
其中,数据沉淀模型是指将类型一致的不同格式数据转化为统一的格式,以这种格式存在的数据形式被称为数据沉淀模型。目标数据是指类型一致的相同或不同格式的数据,目标数据是原始数据的部分或整体。目标系统是指目标数据所组成的系统。数据库是指可以存储数据的实体。
具体地,目标数据是基于原始数据得到的类型一致的数据,目标数据和原始数据没有本质上的区别。例如,目标系统是ERP(企业资源计划)系统,那么,目标数据就是与ERP相关的各种格式数据。服务器通过接收指令,将目标数据从原始数据中抽离出来,抽离出来的数据类型一致。数据的抽离方式是根据类型相同而进行的。然后,抽离出来的数据转化为统一的数据模型。抽离出来的数据类型一致,而格式不尽相同。转化为统一的数据模型是通过将格式统一化处理实现的。对于数据转化而言,从本质上来看就是将数据格式转化一致。为了使得数据转化后能够稳定存储,数据沉淀模型需要符合数据库规范。例如,可以将不同格式的数据都转化为XML格式。最后,将数据沉淀模型存储至数据库。存储数据沉淀模型的目的其一是为了数据的稳定、准确,其二是为了后续数据的处理。
步骤206,根据业务逻辑规则,将所述数据沉淀模型转化为与所述业务逻辑规则匹配的业务单据数据包。
其中,业务逻辑规则是指数据沉淀模型转化为业务单据数据包时的数据转换关系,这种关系是基于业务需求的。例如,业务需求是财务业务,此时的业务逻辑规则为数据转换关系只作用于和财务数据相关的数据沉淀模型。业务单据数据包是指对应于业务对象的各种单据集合的统称,而业务对象则是单据中各种不同元素的统称。
具体地,数据沉淀模型根据基于业务需求的业务逻辑规则转化为业务单据数据包,这种转化关系是将具有相同格式的数据沉淀模型按照类型的不同选择性地转化。
上述异构系统集成数据处理方法中,通过获取异构系统不同格式的原始数据并抽离出与目标系统关联的目标数据,再将目标数据转化为统一的数据沉淀模型并存储到数据库的方式将数据稳定沉淀存储。数据沉淀模型是符合数据库规范的数据模型以便将数据持久化。对于不同的业务需求,根据业务逻辑规则将数据沉淀模型转化为业务单据数据包。在这种联动的工作方式下,业务需求的变化不会直接作用到数据沉淀模型,而数据沉淀模型具有稳定持久的特性以确保数据的准确性。业务需求的变化可通过相应的业务逻辑规则来改变,无需像API那般需要特别定制开发,也不会像API那般代码逻辑侵入业务代码中使得耦合度高,具有良好的兼容性。
在一个实施例中,获取异构系统的原始数据包括:通过外部连接模块获取异构系统的原始数据。其中,外部连接模块是用于对接来自于异构系统的原始数据,可以接受JSON、XML、文本等多种格式。
在一个实施例中,通过外部连接模块,能够达到对接不同格式的异构系统数据的目的。
在一个实施例中,如图3所示,从原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型之前,还包括:
步骤302,将原始数据进行格式验证,得到不同格式的数据对应的格式类型信息。
其中,格式验证是指在请求数据进入数据处理的步骤之前经过严格的验证,通过格式验证可以在数据处理之前拦截特定数据或者在数据处理之前将数据进行分类。
具体地,服务器发出格式验证请求,然后服务器提取出请求中所包含的格式判断判据和分类信息,最后服务器依据判断判据对数据进行类型分类。例如,服务器发出格式验证请求,然后服务器提取出请求中所包含的按照数据文件后缀进行格式判断和根据业务需求类型分类的信息,最后服务器将原始数据按照业务需求分成不同类别,这些类别中包含有各种格式的原始数据。
步骤304,将原始数据和对应的格式类型信息传递至数据转换引擎,数据转换引擎用于从原始数据中抽离出与目标系统关联的目标数据,将目标数据转化为统一的数据沉淀模型,并将数据沉淀模型存储至数据库。
其中,数据转换引擎是指将数据的存储格式转化为其他存储格式的一种转换器。对于数据而言,不同格式的数据只是存储方式不一样,而对于数据转换而言,就是将数据的储存方式加以改变。数据沉淀模型是指将类型一致的不同格式数据转化为统一的格式,以这种格式存在的数据形式被称为数据沉淀模型。目标数据是指类型一致的相同或不同格式的数据,目标数据是原始数据的部分或整体。目标系统是指目标数据所组成的系统。数据库是指可以存储数据的实体。
具体地,目标数据是基于原始数据得到的,是类型一致的数据,目标数据和原始数据没有本质上的区别。例如,目标系统是ERP(企业资源计划)系统,那么,目标数据就是与ERP相关的各种格式数据。服务器通过接收指令,数据转化引擎将目标数据从原始数据中抽离出来,抽离出来的数据类型一致。数据的抽离方式是根据类型相同而进行的。然后,抽离出来的数据转化为统一的数据模型。抽离出来的数据类型一致,而格式不尽相同。转化为统一的数据模型是通过将格式统一化处理实现的。对于数据转化而言,从本质上来看就是将数据格式转化一致。为了使得数据转化后能够稳定存储,数据沉淀模型需要符合数据库规范。例如,可以将不同格式的数据都转化为XML格式。最后,将数据沉淀模型存储至数据库。
本实施例中,服务器获取异构系统的原始数据的方式为通过外部连接模块获取异构系统原始数据的。并且,从原始数据中抽离出与目标系统关联的目标数据,将目标数据转化为统一的数据沉淀模型之前还包括服务器要将原始数据进行格式验证以得到不同格式数据对应的格式类型信息。然后服务器将原始数据和对应的格式类型信息传递至数据转换引擎,该数据转换引擎用于从所述原始数据中抽离出与目标系统关联的目标数据,将目标数据转化为统一的数据沉淀模型,并将数据沉淀模型存储至数据库。通过格式的验证可以有效地将原始数据进行类型划分,依据类型的不同进一步将已经划分类型的数据中和目标系统关联的目标数据转化为数据沉淀模型可以有效地避免数据类型的不同导致的数据一致性差的问题。同时存储数据沉淀模型的目的其一是为了数据的稳定、准确,其二是为了后续数据的处理,比如数据回溯等。
在一个实施例中,如图4所示,获取异构系统的原始数据之后,还包括:
步骤402,获取原始数据对应的对接信息,所述对接信息包括数据来源、对接时间和后续单据标识信息。
其中,对接信息是指即将原始数据进行对接时的信息,这种信息一般包括数据来源,数据来源通常由原始数据自身携带;对接时间,对接时间通常是指即将对原始数据进行处理的时间点;后续单据标识通常也由原始数据自身携带。
步骤404,将原始数据和对应的对接信息存储至数据库。
具体地,服务器发出对接请求,系统收到请求并应答请求,然后数据开始对接,此时原始数据中所携带的数据来源、此时的对接时间和原始数据中所携带的后续单据标识以及原始数据本身将会被存储至数据库。其中,原始数据和原始数据中所携带的数据来源、对接时间和原始数据中所携带的后续单据标识具有一一对应的关系。
本实施例中,服务器获取异构系统的原始数据之后还包括服务器获取所述原始数据对应的对接信息,该对接信息包括数据来源、对接时间和后续单据标识信息。服务器将原始数据和对应的对接信息存储至数据库。数据在进行处理的过程中,留下原始数据的目的在于:其一,可供数据回溯;其二,数据可查备份。服务器在存储了原始数据的过程中同时存储了对接信息,不仅可以有效定位原始数据,例如数据回溯到原始数据需要找到具体数据时就可以依据对接信息准确定位;而且可以在这个过程中发现数据的缺失或无效,例如,对接过程中如果后续单据标识异常,那么就可以发现该数据是无效的。
在一个实施例中,如图5所示,从所述原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型之后,还包括:
步骤502,获取所述数据沉淀模型对应的转化信息,所述转化信息包括单据编码、第一转化时间和凭证号。
其中,数据沉淀模型对应的转化信息是指目标数据在转化为与目标数据类型匹配的数据沉淀模型的过程中所产生的信息,反向追踪这种信息可以从数据沉淀模型找到对应的目标数据。单据编码是指根据业务要求按类别对业务单据数据包进行分类排序的一种集合。第一转化时间是指目标数据在转化为与目标数据类型匹配的数据沉淀模型这一过程的机器记录时间。凭证号是指根据业务要求而生成的单据编号,该单据编号的作用是索引。在反向追踪的时候,可根据单据编号索引找到对应的目标数据。
具体地,通过请求服务器,获取目标数据在转化为与目标数据类型匹配的数据沉淀模型的过程中所产生的信息。
步骤504,建立所述数据沉淀模型对应的转化信息与匹配的目标数据之间的第一映射关系,将所述第一映射关系存储至数据库。
其中,第一映射关系是指目标数据在转化为与目标数据类型匹配的数据沉淀模型的对应关系,而且这种对应关系是一一对应的。也就是说,相同业务逻辑规则条件下,目标数据的类型和数据沉淀模型具有确定性。例如,目标数据的类型是财务领域,那么通过第一映射关系后对应的数据沉淀模型也是财务领域的,反之亦然。
具体地,服务器通过接收指令将目标数据转化为与目标数据匹配的数据沉淀模型的第一映射关系存储到数据库。
本实施例中,从原始数据中抽离出与目标系统关联的目标数据,将目标数据转化为统一的数据沉淀模型之后,还包括服务器获取数据沉淀模型对应的转化信息,该转化信息包括单据编码、第一转化时间和凭证号。服务器建立所述数据沉淀模型对应的转化信息与匹配的目标数据之间的第一映射关系并将第一映射关系存储至数据库。服务器获取数据沉淀模型对应的转化信息不仅可以有效定位目标数据,例如数据回溯到目标数据需要找到具体数据时就可以依据转化信息准确定位;而且可以在这个过程中发现数据的缺失或无效,例如,转化过程中如果凭证号丢失,那么就可以发现该数据是缺失的。其次,将第一映射关系存储起来也是为了确保数据的有效性和稳定性,并且回溯数据时可以通过这种一一映射关系从数据沉淀模型找到目标数据。
在一个实施例中,如图6所示,从原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型之后,还包括:
步骤602,确定目标系统中数据的类型。
其中,数据的类型是依据业务需求进行领域区分的。例如,数据的类型可以划分为生产领域、供应链领域、财务领域等等。
具体地,服务器通过接收指令将目标系统中数据的类型进行确认。目标系统可以确认唯一的数据类型,也可以同时确认几个不同的数据类型。例如,服务器通过接收确认指令将目标系统中数据的类型确认为生产领域。同样地,服务器通过接收确认指令将目标系统中数据的类型分别、同时确认为生产领域、供应链领域、财务领域等等。
步骤604,获取所述原始数据中与所述目标系统中数据类型一致的数据作为所述目标数据。
具体地,通过请求服务器,获取原始数据中与目标数据类型一致的数据。原始数据中的数据格式不尽相同,因此原始数据中与目标数据类型一致的数据的格式也不尽相同。例如,原始数据中与目标数据类型一致的数据的格式可以是JSON、XML、文本等多种格式。
步骤606,将所述目标数据转换为统一数据格式的数据,得到所述数据沉淀模型。
具体地,服务器通过接收指令将不同格式的目标数据统一化处理为相同格式的数据,这种相同存储格式的数据即为数据沉淀模型。数据的格式不同在于存储的方式不一样,因而这种统一化处理其根本在于改变不同存储方式的目标数据为相同存储方式。这种存储方式满足规范的数据模型,可以采用统一的方式对数据进行持久化处理,使得数据具有稳定性。
本实施例中,从原始数据中抽离出与目标系统关联的目标数据,将目标数据转化为统一的数据沉淀模型,并将该数据沉淀模型存储到数据库包括服务器确定目标系统中数据的类型。服务器获取所述原始数据中与所述目标系统中数据类型一致的数据作为目标数据。服务器将目标数据转换为统一数据格式的数据,得到数据沉淀模型。这是数据沉淀模型具体得到的方式,得到数据沉淀模型可以有效避免后续业务对象和数据沉淀模型直接接触而引发的相应逻辑代码相互侵入现象的发生,进而可以有效避免高耦合度现象的出现。
在一个实施例中,如图7所示,根据业务逻辑规则,将所述数据沉淀模型转化为与所述业务逻辑规则匹配的业务单据数据包之后,还包括:
步骤702,获取所述业务单据数据包对应的转化信息,所述转化信息包括业务编码和第二转化时间。
其中,业务单据数据包对应的转化信息是指数据沉淀模型在转化为与所述业务逻辑规则匹配的业务单据数据包的过程中所产生的信息,反向追踪这种信息可以从业务单据包找到对应的数据沉淀模型。业务编码是指根据业务要求按类别对业务进行分类排序的一种集合。第二转化时间是指数据沉淀模型在转化为与所述业务逻辑规则匹配的业务单据数据包这一过程的机器记录时间。
具体地,客户端通过请求服务器,获取数据沉淀模型在转化为与所述业务逻辑规则匹配的业务单据数据包的过程中所产生的信息。
步骤704,建立所述业务单据数据包对应的转化信息与匹配的数据沉淀模型之间的第二映射关系,将所述第二映射关系存储到数据库。
其中,第二映射关系是指数据沉淀模型通过转换器转化为与所述业务逻辑规则匹配的业务单据数据包的对应关系,而且这种对应关系是一一对应的。也就是说,相同业务逻辑规则条件下,数据沉淀模型的类型和业务单据数据包具有确定性。例如,数据沉淀模型的类型是财务领域,那么通过第二映射关系后对应的业务单据数据包也是财务领域的,反之亦然。
具体地,服务器通过接收指令将数据沉淀模型通过转换器转化为与所述业务逻辑规则匹配的业务单据数据包的第二映射关系存储到数据库。
本实施例中,根据业务逻辑规则,服务器将数据沉淀模型转化为与业务逻辑规则匹配的业务单据数据包之后还包括服务器获取业务单据数据包对应的转化信息,该转化信息包括业务编码和第二转化时间。服务器建立业务单据数据包对应的转化信息与匹配的数据沉淀模型之间的第二映射关系,并将第二映射关系存储到数据库。服务器获取业务单据数据包对应的转化信息不仅可以有效定位数据沉淀模型,例如数据回溯到数据沉淀模型需要找到具体数据时就可以依据转化信息准确定位;而且可以在这个过程中发现数据的缺失或无效,例如,转化过程中如果业务编码紊乱,那么就可以发现该数据是无效的。其次,将第二映射关系存储起来也是为了确保数据的有效性和稳定性,并且回溯数据时可以通过这种一一映射关系从业务单据数据包找到数据沉淀模型。
在一个实施例中,如图8所示,根据业务逻辑规则,将所述数据沉淀模型转化为与所述业务逻辑规则匹配的业务单据数据包之后,还包括:
步骤802,配置与所述业务逻辑规则对应的内部适配器。
其中,内部适配器是指数据沉淀模型转化为与所述业务逻辑规则匹配的业务单据数据包过程中所使用的转换器。
具体地,用户可以自由配置与业务逻辑规则对应的内部适配器。数据沉淀模型的类型并不唯一,因而这种转换器也可以是一个或多个,也就是说内部适配器的数量可以是一个或者多个。例如,内部适配器可以是将数据沉淀模型转化为财务领域对应的业务单据数据包,也可以是同时将数据沉淀模型转化为财务领域、生产领域、供应链领域等等的业务单据数据包。需要注意的是,数据沉淀模型和业务单据数据包都是有类型区别的,这里的通过内部适配器转化的目的是根据业务逻辑规则进行的。
步骤804,所述内部适配器根据与业务逻辑规则匹配的业务要求对数据沉淀模型进行清洗、加工,得到所述数据沉淀模型对应的业务单据数据包。
其中,对数据沉淀模型进行清洗是指对数据进行重新审查和校验的过程,目的在于删除重复信息、纠正存在的错误,并提供数据一致性。数据加工是指针对纸介数据,通过专业化的解决方案,加工成PDF、Html、Txt、Doc、Xls等多种可编辑的电子文件格式。
具体地,用户可以根据对应的业务逻辑规则,通过设置内部适配器对数据沉淀模型进行重新审查和校验以达到删除重复信息、纠正存在错误的目的,同时可以将纸介数据通过专业化解决方案加工成不同格式的业务单据数据包。
本实施例中,服务器根据业务逻辑规则,将数据沉淀模型转化为与业务逻辑规则匹配的业务单据数据包包括用户配置与业务逻辑规则对应的内部适配器,该内部适配器根据与业务逻辑规则匹配的业务要求对数据沉淀模型进行清洗、加工,得到数据沉淀模型对应的业务单据数据包。内部适配器可以由用户自行配置,并且可以同时有多个内部适配器并行工作以提高业务转化率,同时也可以避免特别定制开发对应程序,避免了复杂性和滞后性。
在一个实施例中,如图9所示,根据业务逻辑规则,将所述数据沉淀模型转化为与所述业务逻辑规则匹配的业务单据数据包之后,还包括:
步骤902,接收数据溯源请求,所述溯源请求包括目标业务单据数据包,所述目标业务单据数据包包括对应的目标转化信息。
其中,溯源请求可以是客户端用户设定,也可以是终端预设。
具体地,服务器接收到数据溯源请求后,开始查找目标业务单据数据包对应的目标转化信息。目标业务单据数据包对应的目标转化信息和目标业务单据具有一一对应的关系。
步骤904,基于所述目标转化信息和第二映射关系,得到所述目标业务单据数据包对应的目标数据沉淀模型。
其中,第二映射关系是指数目标据沉淀模型通过转换器转化为与所述业务逻辑规则匹配的目标业务单据数据包的对应关系,而且这种对应关系是一一对应的。
具体地,目标业务单据数据包对应的目标数据沉淀模型具有一一对应关系,因而通过目标业务单据数据包对应的目标转化信息和这种对应关系可以找到目标业务单据数据包对应的目标数据沉淀模型。
步骤906,基于所述目标数据沉淀模型和第一映射关系,得到所述目标数据沉淀模型对应的目标数据。
其中,第一映射关系是指目标数据在转化为与目标数据类型匹配的目标数据沉淀模型的对应关系,而且这种对应关系是一一对应的。
具体地,目标数据沉淀模型对应的目标数据具有一一对应关系,因而通过目标数据沉淀模型对应的目标转化信息和这种对应关系可以找到目标数据沉淀模型对应的目标数据。目标数据是原始数据的部分或全部,于是就将数据回溯至原始数据。
需要注意的是,数据溯源有几个关键点,第一:原始数据无损,这个是基础;第二:数据转换时的映射关系,这是依据;第三:这里的数据回溯是指回溯到原始数据本身。此外,在数据回溯的过程中,都会生成数据溯源日志,而数据回溯日志可以使用多种方式来对数据库中的数据进行日志分析,日志分析可以集成业内主流的日志管理工具,这个是可以根据用户需求来进行配置的。
本实施例中,服务器根据业务逻辑规则,将所述数据沉淀模型转化为与所述业务逻辑规则匹配的业务单据数据包之后还包括服务器接收数据溯源请求,该溯源请求包括目标业务单据数据包,该目标业务单据数据包包括对应的目标转化信息。基于目标转化信息和第二映射关系,服务器得到目标业务单据数据包对应的目标数据沉淀模型,再基于所述目标数据沉淀模型和第一映射关系,服务器得到所述目标数据沉淀模型对应的目标数据。目标数据是原始数据的部分或全部。这种逐步递推式的进行数据回溯至原始数据本身,一方面可以精准溯源,比如从服务器接收到数据溯源请求溯源到原始数据是通过一一映射关系和标注信息同步确认而展开的,由于是一一映射,所以不存在任何数据混乱现象,可以精准逐步递推;另一方面在溯源过程中,任一一步出现了偏差,甚至错误,那么可以根据运行日志准确定出问题点,这样可以落实好责任的划分。
本申请还提供一种应用实例,该应用实例应用上述的异构系统集成数据处理方法。具体地,参考图10,该应用实例如下:
1、获取原始数据
数据处理系统1004中的服务器获取异构系统1002的原始数据,原始数据包括不同格式的数据,并获取原始数据对应的对接信息,对接信息包括数据来源、对接时间和后续单据标识信息。
2、处理原始数据
处理原始数据是将原始数据和对应的对接信息存储至数据处理系统1004中的数据库,然后对原始数据进行格式验证,得到不同格式的数据对应的格式类型信息。再原始数据和对应的格式类型信息由数据处理系统1004中的外部连接模块传递至数据处理系统1004中的数据转换引擎,数据转换引擎用于从原始数据中抽离出与目标系统关联的目标数据,将目标数据转化为统一的数据沉淀模型,并将数据沉淀模型存储至数据处理系统1004中的数据库。从原始数据中抽离出与目标系统关联的目标数据,将目标数据转化为统一的数据沉淀模型,数据沉淀模型是符合数据库规范的数据模型,并将数据沉淀模型存储至数据处理系统1004中的数据库;数据处理系统1004中的服务器获取数据沉淀模型对应的转化信息,转化信息包括单据编码、第一转化时间和凭证号并建立数据沉淀模型对应的转化信息与匹配的目标数据之间的第一映射关系,将第一映射关系存储至数据处理系统1004中的数据库。
3、匹配业务对象
根据业务逻辑规则,将数据沉淀模型转化为与业务系统1006中的业务逻辑规则匹配的业务单据数据包并获取业务单据数据包对应的转化信息,转化信息包括业务编码和第二转化时间;数据处理系统1004中的服务器建立业务单据数据包对应的转化信息与匹配的数据沉淀模型之间的第二映射关系,将第二映射关系存储至数据处理系统1004中的数据库。
4、溯源原始数据
溯源系统1008中的服务器接收数据溯源请求,溯源请求包括目标业务单据数据包,目标业务单据数据包包括对应的目标转化信息。然后,基于目标转化信息和第二映射关系,得到目标业务单据数据包对应的目标数据沉淀模型;基于目标数据沉淀模型和第一映射关系,得到目标数据沉淀模型对应的目标数据。
本申请还提供一种应用实例,该应用实例应用上述的异构系统集成数据处理方法。具体地,参考图11,该应用实例如下:
1、获取原始数据
通过外部连接模块1104获取异构系统1102的原始数据,原始数据包括不同格式的数据,并获取原始数据对应的对接信息,对接信息包括数据来源、对接时间和后续单据标识信息。然后将原始数据和对应的对接信息存储至数据库1112。最后对原始数据进行格式验证,得到不同格式的数据对应的格式类型信息。
2、处理原始数据
将原始数据和对应的格式类型信息由外部连接模块传递至数据转换引擎1106,数据转换引擎1106用于从原始数据中抽离出与目标系统关联的目标数据,将目标数据转化为统一的数据沉淀模型,并将数据沉淀模型存储至数据库1112。
3、匹配业务对象
用户配置或者终端预设与业务逻辑规则对应的内部适配器1108,内部适配器1180根据与业务逻辑规则匹配的业务要求对数据沉淀模型进行清洗、加工,得到所述数据沉淀模型对应的业务单据数据包。业务单据数据包则是与业务系统1110中的业务对象相匹配以便开展后续业务流程。
应该理解的是,虽然图2-9流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-9中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图12所示,提供了一种异构系统集成数据处理装置装置,包括:
第一获取模块、第一转化模块和第二转化模块,其中:
第一获取模块,用于获取异构系统的原始数据,所述原始数据包括不同格式的数据。
第一转化模块,用于从所述原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型,所述数据沉淀模型是符合数据库规范的数据模型,并将所述数据沉淀模型存储到数据库。
第二转化模块,用于根据业务逻辑规则,将所述数据沉淀模型转化为与所述业务逻辑规则匹配的业务单据数据包。
在一个实施例中,如图12所示,第一获取模块还用于通过外部连接模块获取异构系统的原始数据,所述装置还包括:
存储模块,用于将所述原始数据进行格式验证,得到不同格式的数据对应的格式类型信息,将所述原始数据和对应的格式类型信息传递至数据转换引擎,所述数据转换引擎用于从所述原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型,并将所述数据沉淀模型存储至数据库。
在一个实施例中,如图12所示,提供了一种异构系统集成数据处理装置还包括:
存储模块,用于获取所述原始数据对应的对接信息,所述对接信息包括数据来源、对接时间和后续单据标识信息,将所述原始数据和对应的对接信息存储至数据库。
在一个实施例中,如图12所示,提供了一种异构系统集成数据处理装置还包括:
第一映射关系确定模块,用于获取所述数据沉淀模型对应的转化信息,所述转化信息包括单据编码、第一转化时间和凭证号,建立所述数据沉淀模型对应的转化信息与匹配的目标数据之间的第一映射关系,将所述第一映射关系存储至数据库。
在一个实施例中,如图12所示,提供了一种异构系统集成数据处理装置还包括:
第一转化模块还用于确定目标系统中数据的类型,获取所述原始数据中与所述目标系统中数据类型一致的数据作为所述目标数据,将所述目标数据转换为统一数据格式的数据,得到所述数据沉淀模型。
在一个实施例中,如图12所示,提供了一种异构系统集成数据处理装置还包括:
第二映射关系确定模块,用于获取所述业务单据数据包对应的转化信息,所述转化信息包括业务编码和第二转化时间,建立所述业务单据数据包对应的转化信息与匹配的数据沉淀模型之间的第二映射关系,将所述第二映射关系存储到数据库。
在一个实施例中,如图12所示,提供了一种异构系统集成数据处理装置还包括:
所述第二转化模块还用于配置与所述业务逻辑规则对应的内部适配器,所述内部适配器根据与业务逻辑规则匹配的业务要求对数据沉淀模型进行清洗、加工,得到所述数据沉淀模型对应的业务单据数据包。
在一个实施例中,如图12所示,提供了一种异构系统集成数据处理装置还包括:
溯源模块,用于接收数据溯源请求,所述溯源请求包括目标业务单据数据包,所述目标业务单据数据包包括对应的目标转化信息,基于所述目标转化信息和第二映射关系,得到所述目标业务单据数据包对应的目标数据沉淀模型,基于所述目标数据沉淀模型和第一映射关系,得到所述目标数据沉淀模型对应的目标数据。
关于一种异构系统集成数据处理装置的具体限定可以参见上文中对于一种异构系统集成数据处理方法的限定,在此不再赘述。上述一种异构系统集成数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储原始数据、数据沉淀模型、业务单据数据包。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种异构系统集成数据处理方法。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取异构系统的原始数据,所述原始数据包括不同格式的数据。
从所述原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型,所述数据沉淀模型是符合数据库规范的数据模型,并将所述数据沉淀模型存储到数据库。
根据业务逻辑规则,将所述数据沉淀模型转化为与所述业务逻辑规则匹配的业务单据数据包。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
通过外部连接模块获取异构系统的原始数据。
所述从所述原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型之前,还包括:
将所述原始数据进行格式验证,得到不同格式的数据对应的格式类型信息。
将所述原始数据和对应的格式类型信息传递至数据转换引擎,所述数据转换引擎用于从所述原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型,并将所述数据沉淀模型存储至数据库。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取所述原始数据对应的对接信息,所述对接信息包括数据来源、对接时间和后续单据标识信息。
将所述原始数据和对应的对接信息存储至数据库。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取所述数据沉淀模型对应的转化信息,所述转化信息包括单据编码、第一转化时间和凭证号。
建立所述数据沉淀模型对应的转化信息与匹配的目标数据之间的第一映射关系,将所述第一映射关系存储至数据库。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
确定目标系统中数据的类型。
获取所述原始数据中与所述目标系统中数据类型一致的数据作为所述目标数据。
将所述目标数据转换为统一数据格式的数据,得到所述数据沉淀模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取所述业务单据数据包对应的转化信息,所述转化信息包括业务编码和第二转化时间。
建立所述业务单据数据包对应的转化信息与匹配的数据沉淀模型之间的第二映射关系,将所述第二映射关系存储到数据库。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
配置与所述业务逻辑规则对应的内部适配器。
所述内部适配器根据与业务逻辑规则匹配的业务要求对数据沉淀模型进行清洗、加工,得到所述数据沉淀模型对应的业务单据数据包。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
接收数据溯源请求,所述溯源请求包括目标业务单据数据包,所述目标业务单据数据包包括对应的目标转化信息。
基于所述目标转化信息和第二映射关系,得到所述目标业务单据数据包对应的目标数据沉淀模型。
基于所述目标数据沉淀模型和第一映射关系,得到所述目标数据沉淀模型对应的目标数据。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取异构系统的原始数据,所述原始数据包括不同格式的数据。
从所述原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型,所述数据沉淀模型是符合数据库规范的数据模型,并将所述数据沉淀模型存储到数据库。
根据业务逻辑规则,将所述数据沉淀模型转化为与所述业务逻辑规则匹配的业务单据数据包。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
通过外部连接模块获取异构系统的原始数据。
所述从所述原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型之前,还包括:
将所述原始数据进行格式验证,得到不同格式的数据对应的格式类型信息;
将所述原始数据和对应的格式类型信息传递至数据转换引擎,所述数据转换引擎用于从所述原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型,并将所述数据沉淀模型存储至数据库。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取所述原始数据对应的对接信息,所述对接信息包括数据来源、对接时间和后续单据标识信息。
将所述原始数据和对应的对接信息存储至数据库。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取所述数据沉淀模型对应的转化信息,所述转化信息包括单据编码、第一转化时间和凭证号。
建立所述数据沉淀模型对应的转化信息与匹配的目标数据之间的第一映射关系,将所述第一映射关系存储至数据库。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
确定目标系统中数据的类型。
获取所述原始数据中与所述目标系统中数据类型一致的数据作为所述目标数据。
将所述目标数据转换为统一数据格式的数据,得到所述数据沉淀模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取所述业务单据数据包对应的转化信息,所述转化信息包括业务编码和第二转化时间。
建立所述业务单据数据包对应的转化信息与匹配的数据沉淀模型之间的第二映射关系,将所述第二映射关系存储到数据库。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
配置与所述业务逻辑规则对应的内部适配器。
所述内部适配器根据与业务逻辑规则匹配的业务要求对数据沉淀模型进行清洗、加工,得到所述数据沉淀模型对应的业务单据数据包。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
接收数据溯源请求,所述溯源请求包括目标业务单据数据包,所述目标业务单据数据包包括对应的目标转化信息。
基于所述目标转化信息和第二映射关系,得到所述目标业务单据数据包对应的目标数据沉淀模型。
基于所述目标数据沉淀模型和第一映射关系,得到所述目标数据沉淀模型对应的目标数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种异构系统集成数据处理方法,其特征在于,所述方法包括:
获取异构系统的原始数据,所述原始数据包括不同格式的数据;所述异构系统指相关的多个数据库系统的集合;
确定目标系统中数据的类型;获取所述原始数据中与所述目标系统中数据类型一致的数据作为目标数据;将所述目标数据转换为统一数据格式的数据,得到数据沉淀模型,所述数据沉淀模型是符合数据库规范的数据模型,并将所述数据沉淀模型存储到数据库;
配置与业务逻辑规则对应的内部适配器;所述内部适配器根据与所述业务逻辑规则匹配的业务要求对所述数据沉淀模型进行清洗、加工,得到所述数据沉淀模型对应的业务单据数据包;所述业务逻辑规则指数据沉淀模型转化为业务单据数据包时的数据转换关系。
2.根据权利要求1所述的方法,其特征在于,所述获取异构系统的原始数据包括:
通过外部连接模块获取异构系统的原始数据;
所述确定目标系统中数据的类型;获取所述原始数据中与所述目标系统中数据类型一致的数据作为目标数据;将所述目标数据转换为统一数据格式的数据,得到数据沉淀模型之前,还包括:
将所述原始数据进行格式验证,得到不同格式的数据对应的格式类型信息;
将所述原始数据和对应的格式类型信息传递至数据转换引擎,所述数据转换引擎用于从所述原始数据中抽离出与目标系统关联的目标数据,将所述目标数据转化为统一的数据沉淀模型,并将所述数据沉淀模型存储至数据库。
3.根据权利要求2所述的方法,其特征在于,所述获取异构系统的原始数据之后,还包括:
获取所述原始数据对应的对接信息,所述对接信息包括数据来源、对接时间和后续单据标识信息;
将所述原始数据和对应的对接信息存储至数据库。
4.根据权利要求1所述的方法,其特征在于,所述确定目标系统中数据的类型;获取所述原始数据中与所述目标系统中数据类型一致的数据作为目标数据;将所述目标数据转换为统一数据格式的数据,得到数据沉淀模型之后,还包括:
获取所述数据沉淀模型对应的转化信息,所述转化信息包括单据编码、第一转化时间和凭证号;
建立所述数据沉淀模型对应的转化信息与匹配的目标数据之间的第一映射关系,将所述第一映射关系存储至数据库。
5.根据权利要求3所述的方法,其特征在于,所述原始数据和所述原始数据中所携带的数据来源、对接时间和所述原始数据中所携带的后续单据标识具有一一对应的关系。
6.根据权利要求1所述的方法,其特征在于,所述配置与业务逻辑规则对应的内部适配器;所述内部适配器根据与所述业务逻辑规则匹配的业务要求对所述数据沉淀模型进行清洗、加工,得到所述数据沉淀模型对应的业务单据数据包之后,还包括:
获取所述业务单据数据包对应的转化信息,所述转化信息包括业务编码和第二转化时间;
建立所述业务单据数据包对应的转化信息与匹配的数据沉淀模型之间的第二映射关系,将所述第二映射关系存储到数据库。
7.根据权利要求1所述的方法,其特征在于,所述内部适配器的数量包括多个。
8.根据权利要求1所述的方法,其特征在于,所述配置与业务逻辑规则对应的内部适配器;所述内部适配器根据与所述业务逻辑规则匹配的业务要求对所述数据沉淀模型进行清洗、加工,得到所述数据沉淀模型对应的业务单据数据包之后,还包括:
接收数据溯源请求,所述溯源请求包括目标业务单据数据包,所述目标业务单据数据包包括对应的目标转化信息;
基于所述目标转化信息和第二映射关系,得到所述目标业务单据数据包对应的目标数据沉淀模型;
基于所述目标数据沉淀模型和第一映射关系,得到所述目标数据沉淀模型对应的目标数据。
9.一种异构系统集成数据处理装置,其特征在于,所述装置包括:
第一获取模块,用于获取异构系统的原始数据,所述原始数据包括不同格式的数据;所述异构系统指相关的多个数据库系统的集合;
第一转化模块,用于确定目标系统中数据的类型;获取所述原始数据中与所述目标系统中数据类型一致的数据作为目标数据;将所述目标数据转换为统一数据格式的数据,得到数据沉淀模型,所述数据沉淀模型是符合数据库规范的数据模型,并将所述数据沉淀模型存储到数据库;
第二转化模块,用于配置与业务逻辑规则对应的内部适配器;所述内部适配器根据与所述业务逻辑规则匹配的业务要求对所述数据沉淀模型进行清洗、加工,得到所述数据沉淀模型对应的业务单据数据包;所述业务逻辑规则指数据沉淀模型转化为业务单据数据包时的数据转换关系。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202110969742.5A 2021-08-23 2021-08-23 一种异构系统集成数据处理方法、装置和计算机设备 Active CN113806332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110969742.5A CN113806332B (zh) 2021-08-23 2021-08-23 一种异构系统集成数据处理方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110969742.5A CN113806332B (zh) 2021-08-23 2021-08-23 一种异构系统集成数据处理方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN113806332A CN113806332A (zh) 2021-12-17
CN113806332B true CN113806332B (zh) 2024-03-19

Family

ID=78893940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110969742.5A Active CN113806332B (zh) 2021-08-23 2021-08-23 一种异构系统集成数据处理方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN113806332B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114510525B (zh) * 2022-04-18 2022-08-30 深圳丰尚智慧农牧科技有限公司 数据格式转换方法、装置、计算机设备和存储介质
CN115118505B (zh) * 2022-06-29 2023-06-09 上海众人智能科技有限公司 一种基于入侵数据溯源的行为基线靶向抓取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002076005A2 (en) * 2001-03-15 2002-09-26 Sagemetrics Corporation Methods for dynamically accessing, processing, and presenting data acquired from disparate data sources
CN102567334A (zh) * 2010-12-15 2012-07-11 上海杉达学院 基于异构数据的办公自动化系统
CN106921614A (zh) * 2015-12-24 2017-07-04 北京国双科技有限公司 业务数据处理方法和装置
CN111339071A (zh) * 2020-02-21 2020-06-26 苏宁云计算有限公司 一种多源异构数据的处理方法及装置
CN111897875A (zh) * 2020-07-31 2020-11-06 平安科技(深圳)有限公司 城市多源异构数据的融合处理方法、装置和计算机设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002076005A2 (en) * 2001-03-15 2002-09-26 Sagemetrics Corporation Methods for dynamically accessing, processing, and presenting data acquired from disparate data sources
CN102567334A (zh) * 2010-12-15 2012-07-11 上海杉达学院 基于异构数据的办公自动化系统
CN106921614A (zh) * 2015-12-24 2017-07-04 北京国双科技有限公司 业务数据处理方法和装置
CN111339071A (zh) * 2020-02-21 2020-06-26 苏宁云计算有限公司 一种多源异构数据的处理方法及装置
CN111897875A (zh) * 2020-07-31 2020-11-06 平安科技(深圳)有限公司 城市多源异构数据的融合处理方法、装置和计算机设备

Also Published As

Publication number Publication date
CN113806332A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN113806332B (zh) 一种异构系统集成数据处理方法、装置和计算机设备
CN110162544B (zh) 异构数据源数据获取方法及装置
US8463811B2 (en) Automated correlation discovery for semi-structured processes
CN109617647B (zh) 报文转换方法、装置、计算机设备及计算机可读存储介质
US9998450B2 (en) Automatically generating certification documents
CN110135590B (zh) 信息处理方法、装置、介质及电子设备
CN110413507B (zh) 系统测试方法、装置、计算机设备和存储介质
CN114817968B (zh) 无特征数据的路径追溯方法、装置、设备及存储介质
US20210174221A1 (en) Natural language processing and machine learning assisted cataloging and recommendation engine
CN111064725A (zh) 一种代码零入侵接口校验方法和校验装置
WO2024067358A1 (zh) 仓库管理系统的效率分析方法、系统及计算机设备
CN112445866A (zh) 数据处理方法、装置、计算机可读介质及电子设备
US20160378817A1 (en) Systems and methods of identifying data variations
CN101604336B (zh) 一种从源头进行数据检验、修正的方法和系统
CN116302974A (zh) 数据测试方法、装置、设备、介质和程序产品
CN113380414B (zh) 基于大数据的数据采集方法及系统
CN115330540A (zh) 一种处理交易数据的方法和装置
US20150186472A1 (en) System and Method for Organizing Field Data Obtained Through a Plurality of Devices
CN111045983B (zh) 核电站电子文件管理方法、装置、终端设备及介质
CN112612817B (zh) 数据处理方法、装置、终端设备及计算机可读存储介质
CN104216986A (zh) 以数据更新周期进行预操作提高数据查询效率的装置及方法
CN110574018A (zh) 基于通信交换来管理异步分析操作
CN117076546B (zh) 数据处理方法、终端设备及计算机可读存储介质
US11093899B2 (en) Augmented reality document processing system and method
CN112232031A (zh) 电力物联网边缘数据模型校验方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant