CN111917755B - 一种基于配置的动态数据集成方法 - Google Patents

一种基于配置的动态数据集成方法 Download PDF

Info

Publication number
CN111917755B
CN111917755B CN202010725159.5A CN202010725159A CN111917755B CN 111917755 B CN111917755 B CN 111917755B CN 202010725159 A CN202010725159 A CN 202010725159A CN 111917755 B CN111917755 B CN 111917755B
Authority
CN
China
Prior art keywords
data
service
request
variable
configuration document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010725159.5A
Other languages
English (en)
Other versions
CN111917755A (zh
Inventor
张同宝
浦争艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qunshao Software Development Shanghai Co ltd
Original Assignee
Qunshao Software Development Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qunshao Software Development Shanghai Co ltd filed Critical Qunshao Software Development Shanghai Co ltd
Priority to CN202010725159.5A priority Critical patent/CN111917755B/zh
Publication of CN111917755A publication Critical patent/CN111917755A/zh
Application granted granted Critical
Publication of CN111917755B publication Critical patent/CN111917755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/03—Protocol definition or specification 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于配置的动态数据集成方法，包括如下步骤：S1：定义结构化配置文件的规范协议；S2：按照规范协议生成数据提供系统的服务接口配置文档和数据请求系统的业务变量配置文档；S3：数据请求系统根据业务需求向数据引擎发送业务变量请求；S4：数据引擎的业务变量分析器解析业务变量请求，构建http请求，发送给数据提供系统；S5、数据引擎根据http请求从数据提供系统获取数据，根据服务接口配置文档对获取的数据进行转换，将转换后的数据返回给数据请求系统。本发明通过定义结构化配置文件的规范协议，生成服务接口配置文档，实现不同系统间的数据集成；减少应用开发的编码量，提高系统集成开发的效率。

Description

一种基于配置的动态数据集成方法
技术领域
本发明涉及一种动态数据集成方法，尤其涉及一种基于配置的动态数据集成方法。
背景技术
当前的应用系统都很复杂庞大，大多都涉及到多个系统，系统间的集成也是业务流程中经常发生的事。对于一个企业来说，当新引入一套应用系统产品时，势必会发生新应用系统和现有应用系统之间的数据连通，而这种连通一般都是通过接口集成方式实现。原有系统会有一套自己的接口集成方式(或根据新应用系统产品规则实现的接口集成方式)，新的应用系统需要遵循该套集成方式实现接口集成，以完成数据连通。
在多系统集成时通常包括：数据请求系统，数据提供系统，集成接口和业务模型。在系统集成过程中，数据请求系统通过http请求调用数据提供系统的数据信息，一般需要开发者在数据请求系统里面根据约定的集成接口和模型构建http请求来传递参数并获取数据。系统集成的一般流程是：
1、数据提供系统提供接口文档；
2、在数据请求系统里面根据接口文档，用系统使用的编程语言来定义集成接口和模型；
3、定义好接口和模型后，需要根据定义的接口和模型构建http请求并获取数据。
对于应用系统产品来说，不同的企业必然有一套自己的接口规范，当该产品进入不同企业时，则需要根据不同的接口集成规则定制一套符合不同企业的接口集成方案以及实现，就需要重复以上工作。应用产品为不同企业定制不同的接口实现，这就造成每增加一个新客户，就需要大量的开发和测试时间。
为了让应用系统产品在进入不同企业时做尽可能少的改动，现有市场上的ESB集成方法，开发ESB组件作为中间件，有效保护应用系统产品的独立性，只需要开发ESB组件即可完成和不同企业系统间的对接。进入不同企业时，还是要针对不同的接口规范做定制化开发，并且ESB系统过于庞大，配置复杂，需要额外的学习成本和独立硬件部署设备。因此，设计一种基于配置的动态数据集成方法，实现不同系统间数据集成是非常有必要的。
发明内容
本发明要解决的技术问题是提供一种基于配置的动态数据集成方法，通过简单的服务接口配置，即可完成系统间的接口集成和数据连通，减少接口开发和测试成本。
本发明为解决上述技术问题而采用的技术方案是提供一种基于配置的动态数据集成方法，包括如下步骤：S1：定义结构化配置文件的规范协议；S2：按照规范协议生成数据提供系统的服务接口配置文档和数据请求系统的业务变量配置文档；S3：数据请求系统根据业务需求向数据引擎发送业务变量请求；S4：数据引擎的业务变量分析器解析业务变量请求，构建http请求，发送给数据提供系统；S5、数据引擎根据http请求从数据提供系统获取数据，根据服务接口配置文档对获取的数据进行转换，进行http答复将转换后的数据返回给数据请求系统。
进一步地，所述规范协议根据业务需求定义业务变量模型、服务接口模型以及业务变量模型和服务接口模型之间的映射关系模型。
进一步地，所述步骤S2具体包括：S21：根据数据请求系统的业务需求和数据提供系统提供的服务，按照规范协议生成业务变量配置文档、服务接口配置文档以及业务变量配置文档和服务接口配置文档的映射关系配置文档；S22：数据引擎的配置文档解析器解析服务接口配置文档将数据提供系统提供的服务转换为http请求的通用服务，提供给数据请求系统，建立通用服务、服务接口配置文档与数据提供系统提供的服务的映射关系。
进一步地，所述步骤S3具体包括：S31：数据请求系统根据业务需求确认需要的通用服务；S32：根据通用服务和服务接口配置文档的映射关系以及业务变量配置文档和服务接口配置文档的映射关系，将通用服务对应于业务变量配置文档，根据需要的通用服务对应的业务变量配置文档向数据引擎发送业务变量请求。
进一步地，所述步骤S4具体包括：数据引擎的业务变量分析器解析业务变量请求，建立业务变量请求、业务变量配置文档、服务接口配置文档和数据提供系统提供的服务的映射关系，由数据引擎的数据请求构造器构建http请求，发送给数据提供系统。
进一步地，所述步骤S5具体包括：S51：数据引擎根据http请求从数据提供系统获取数据；S52：数据引擎根据业务变量请求、业务变量配置文档、服务接口配置文档和数据提供系统提供的服务的映射关系，将从数据提供系统获取的数据对应于服务接口配置文档和业务变量配置文档；S53：根据服务接口配置文档和业务变量配置文档定义的数据结构关系，将从数据提供系统获取的数据通过数据引擎转换为数据请求系统所需要的数据结构，并返回给数据请求系统。
进一步地，所述规范协议定义的业务变量模型包括变量名和变量类型，服务接口模型包括请求地址、请求数据模型和输出数据模型。
进一步地，所述服务接口配置文档为结构化配置文档。
本发明对比现有技术有如下的有益效果：本发明提供的基于配置的动态数据集成方法，通过定义结构化配置文件的规范协议，生成服务接口配置文档，实现不同系统间的数据集成；减少应用开发的编码量，提高系统集成开发的效率；减少集成开发过程中由于数据提供系统中的不确定性带来的沟通、开发和测试成本，有效的提高数据请求系统的稳定性；减少不同企业部署和定制化开发、测试时间，提高部署效率，降低产品成本；无需额外的硬件部署环境，具有更好的灵活性；降低系统更新维护成本，能够很容易的进行集成需求变更；降低系统更新时造成的宕机时间，服务接口配置文档只需要热加载即可实时更新到系统中。
附图说明
图1为本发明实施例中基于配置的动态数据集成方法流程图；
图2为本发明实施例中基于配置的动态数据集成方法架构图；
图3为本发明实施例中基于配置的动态数据集成方法应用图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
图1为本发明实施例中基于配置的动态数据集成方法流程图。
请参见图1，本发明实施例的基于配置的动态数据集成方法，包括如下步骤：
S1：定义结构化配置文件的规范协议；
S2：按照规范协议生成数据提供系统的服务接口配置文档和数据请求系统的业务变量配置文档；
S3：数据请求系统根据业务需求向数据引擎发送业务变量请求；
S4：数据引擎的业务变量分析器解析业务变量请求，构建http请求，发送给数据提供系统；
S5、数据引擎根据http请求从数据提供系统获取数据，根据服务接口配置文档对获取的数据进行转换，进行http答复将转换后的数据返回给数据请求系统。
请同时参见图2，本发明实施例的基于配置的动态数据集成方法，规范协议根据业务需求定义业务变量模型、服务接口模型以及业务变量模型和服务接口模型之间的映射关系模型。
步骤S2具体包括：
S21：根据数据请求系统的业务需求和数据提供系统提供的服务，按照规范协议生成业务变量配置文档、服务接口配置文档以及业务变量配置文档和服务接口配置文档的映射关系配置文档；
S22：数据引擎的配置文档解析器解析服务接口配置文档将数据提供系统提供的服务转换为http请求的通用服务，提供给数据请求系统，建立通用服务、服务接口配置文档与数据提供系统提供的服务的映射关系。
步骤S3具体包括：
S31：数据请求系统根据业务需求确认需要的通用服务；
S32：根据通用服务和服务接口配置文档的映射关系以及业务变量配置文档和服务接口配置文档的映射关系，将通用服务对应于业务变量配置文档，根据需要的通用服务对应的业务变量配置文档向数据引擎发送业务变量请求。
步骤S4具体包括：数据引擎的业务变量分析器解析业务变量请求，建立业务变量请求、业务变量配置文档、服务接口配置文档和数据提供系统提供的服务的映射关系，由数据引擎的数据请求构造器构建http请求，发送给数据提供系统。
步骤S5具体包括：
S51：数据引擎根据http请求从数据提供系统获取数据；
S52：数据引擎根据业务变量请求、业务变量配置文档、服务接口配置文档和数据提供系统提供的服务的映射关系，将从数据提供系统获取的数据对应于服务接口配置文档和业务变量配置文档；
S53：根据服务接口配置文档和业务变量配置文档定义的数据结构关系，将从数据提供系统获取的数据通过数据引擎转换为数据请求系统所需要的数据结构，并返回给数据请求系统。
具体地，本发明实施例的基于配置的动态数据集成方法，规范协议定义的业务变量模型包括变量名和变量类型，服务接口模型包括请求地址、请求数据模型和输出数据模型。
请参见图3，本发明实施例的基于配置的动态数据集成方法，应用于动态表达式运算引擎中，将数据请求系统的业务变量用于动态表达式运算引擎中进行运算，动态表达式是使用业务变量按照规则生成的运算表达式，动态表达式引擎按照动态表达式进行配置，并获取其中的业务变量值进行计算；其中业务变量根据动态表达式的配置来进行动态的添加和修改。每增加一个业务变量，只需要按照规范协议增加配置信息，即可完成业务变量到数据提供系统的服务之间的数据获取和转换。实现了动态表达式运算引擎的关键部分业务变量的动态添加和修改，有效提高动态表达式运算引擎的开发效率。
服务接口字段发生变化或变更新的服务系统时，仅需要更新服务接口配置和映射关系配置，而不会影响数据请求系统中已定义好的业务变量及其业务逻辑，有效的降低了系统集成中数据服务系统的不确定性带来的开发成本。
综上所述，本发明实施例的基于配置的动态数据集成方法，通过定义结构化配置文件的规范协议，生成服务接口配置文档，实现不同系统间的数据集成；减少应用开发的编码量，提高系统集成开发的效率；减少集成开发过程中由于数据提供系统中的不确定性带来的沟通、开发和测试成本，有效的提高数据请求系统的稳定性；减少不同企业部署和定制化开发、测试时间，提高部署效率，降低产品成本；无需额外的硬件部署环境，具有更好的灵活性；降低系统更新维护成本，能够很容易的进行集成需求变更；降低系统更新时造成的宕机时间，服务接口配置文档只需要热加载即可实时更新到系统中。
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (6)

1.一种基于配置的动态数据集成方法，其特征在于，包括如下步骤：
S1：定义结构化配置文件的规范协议；
S2：按照规范协议生成数据提供系统的服务接口配置文档和数据请求系统的业务变量配置文档；
S3：数据请求系统根据业务需求向数据引擎发送业务变量请求；
S4：数据引擎的业务变量分析器解析业务变量请求，构建http请求，发送给数据提供系统；
S5、数据引擎根据http请求从数据提供系统获取数据，根据服务接口配置文档对获取的数据进行转换，进行http答复将转换后的数据返回给数据请求系统；
所述步骤S4具体包括：数据引擎的业务变量分析器解析业务变量请求，建立业务变量请求、业务变量配置文档、服务接口配置文档和数据提供系统提供的服务的映射关系，由数据引擎的数据请求构造器构建http请求，发送给数据提供系统；
所述步骤S5具体包括：
S51：数据引擎根据http请求从数据提供系统获取数据；
S52：数据引擎根据业务变量请求、业务变量配置文档、服务接口配置文档和数据提供系统提供的服务的映射关系，将从数据提供系统获取的数据对应于服务接口配置文档和业务变量配置文档；
S53：根据服务接口配置文档和业务变量配置文档定义的数据结构关系，将从数据提供系统获取的数据通过数据引擎转换为数据请求系统所需要的数据结构，并返回给数据请求系统。
2.如权利要求1所述的基于配置的动态数据集成方法，其特征在于，所述规范协议根据业务需求定义业务变量模型、服务接口模型以及业务变量模型和服务接口模型之间的映射关系模型。
3.如权利要求2所述的基于配置的动态数据集成方法，其特征在于，所述步骤S2具体包括：
S21：根据数据请求系统的业务需求和数据提供系统提供的服务，按照规范协议生成业务变量配置文档、服务接口配置文档以及业务变量配置文档和服务接口配置文档的映射关系配置文档；
S22：数据引擎的配置文档解析器解析服务接口配置文档将数据提供系统提供的服务转换为http请求的通用服务，提供给数据请求系统，建立通用服务、服务接口配置文档与数据提供系统提供的服务的映射关系。
4.如权利要求3所述的基于配置的动态数据集成方法，其特征在于，所述步骤S3具体包括：
S31：数据请求系统根据业务需求确认需要的通用服务；
S32：根据通用服务和服务接口配置文档的映射关系以及业务变量配置文档和服务接口配置文档的映射关系，将通用服务对应于业务变量配置文档，根据需要的通用服务对应的业务变量配置文档向数据引擎发送业务变量请求。
5.如权利要求2所述的基于配置的动态数据集成方法，其特征在于，所述规范协议定义的业务变量模型包括变量名和变量类型，服务接口模型包括请求地址、请求数据模型和输出数据模型。
6.如权利要求1所述的基于配置的动态数据集成方法，其特征在于，所述服务接口配置文档为结构化配置文档。
CN202010725159.5A 2020-07-24 2020-07-24 一种基于配置的动态数据集成方法 Active CN111917755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010725159.5A CN111917755B (zh) 2020-07-24 2020-07-24 一种基于配置的动态数据集成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010725159.5A CN111917755B (zh) 2020-07-24 2020-07-24 一种基于配置的动态数据集成方法

Publications (2)

Publication Number Publication Date
CN111917755A CN111917755A (zh) 2020-11-10
CN111917755B true CN111917755B (zh) 2022-11-15

Family

ID=73280828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010725159.5A Active CN111917755B (zh) 2020-07-24 2020-07-24 一种基于配置的动态数据集成方法

Country Status (1)

Country Link
CN (1) CN111917755B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114995877B (zh) * 2022-08-03 2022-10-28 平安银行股份有限公司 一种变量配置方法及装置
CN117056172B (zh) * 2023-10-12 2023-12-19 江苏鑫业智慧技术有限公司 一种用于系统集成中台的数据集成方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127655B (zh) * 2006-08-18 2012-06-06 国际商业机器公司 集成现有基于万维网的系统的方法和系统
CN100583783C (zh) * 2007-11-06 2010-01-20 北京航空航天大学 基于配置策略的电信领域遗留系统集成工具
US20100121879A1 (en) * 2008-11-10 2010-05-13 Walter Greenberg Data Integration Portlet
CN104471896B (zh) * 2012-07-20 2018-04-10 Abb瑞士股份有限公司 用于厂商无关网络装置配置的配置管理装置、配置接口装置和方法
CN107463409A (zh) * 2017-08-11 2017-12-12 深圳乐信软件技术有限公司 一种接口转换方法、接口转换器、存储介质及电子终端
CN108021710B (zh) * 2017-12-28 2020-03-24 蜂助手股份有限公司 一种动态接口转换方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
CN111917755A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN111917755B (zh) 一种基于配置的动态数据集成方法
CN101202665B (zh) 图形用户界面的生成方法
CN108021710B (zh) 一种动态接口转换方法、装置、终端设备及存储介质
CN101546260B (zh) 用于重构面向服务的应用的方法及其设备
CN112035090B (zh) 基于容器化技术实现智能合约智慧化管理系统及方法
CN113946321B (zh) 计算逻辑的处理方法、电子设备和可读存储介质
CN113971110A (zh) 接口测试方法、装置、设备与计算机可读存储介质
US7283986B2 (en) End-to-end business integration testing tool
CN110399306A (zh) 软件模块自动化测试方法及装置
CN113377369A (zh) 对接第三方服务系统接口的通用方法、装置及终端设备
CN111552464A (zh) 一种sdk生成方法、装置、设备及介质
CN111198770B (zh) Ros1消息的通信方法、装置和系统、转换方法和装置
US6321347B1 (en) Network testing system and method
US10902012B1 (en) Methods and systems for using datatypes to represent common properties
CN111124924B (zh) Api部署方法、装置、电子设备及存储介质
CN103561113A (zh) Web Service接口的生成方法及装置
CN114706571B (zh) 一种基于dsl的声明式可视化图表开发方法及系统
CN115525436A (zh) 模型部署、运行方法、装置、离线分析工具和电子设备
CN109634681A (zh) 一种向制造执行系统上传数据的方法及装置
KR20110114173A (ko) 비즈니스 프로세스로부터 사용자 맞춤형 웹 서비스를 생성하는 시스템 및 방법
CN111726374B (zh) web请求处理方法、系统、装置和计算机可读存储介质
WO2012083631A1 (zh) Rfid系统的设备参数管理方法及rfid系统
CN112540813A (zh) 一种基于工作流引擎的应用生成方法
CN101145954A (zh) 通讯功能打桩类实现方法
CN112612466B (zh) 基于ipc模型的汽车显示设备的数据交换系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant