CN107402941A - 通用数据交换接口及其实现方法 - Google Patents

通用数据交换接口及其实现方法 Download PDF

Info

Publication number
CN107402941A
CN107402941A CN201610583768.5A CN201610583768A CN107402941A CN 107402941 A CN107402941 A CN 107402941A CN 201610583768 A CN201610583768 A CN 201610583768A CN 107402941 A CN107402941 A CN 107402941A
Authority
CN
China
Prior art keywords
module
data
rule
fabric interface
conventional data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610583768.5A
Other languages
English (en)
Inventor
吴新凯
魏凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanbian Zhongsheng Cloud Computing Technology Co Ltd
Original Assignee
Yanbian Zhongsheng Cloud Computing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanbian Zhongsheng Cloud Computing Technology Co Ltd filed Critical Yanbian Zhongsheng Cloud Computing Technology Co Ltd
Priority to CN201610583768.5A priority Critical patent/CN107402941A/zh
Publication of CN107402941A publication Critical patent/CN107402941A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种通用数据交换接口及其实现方法，属于通用数据交换接口领域。所述通用数据交换接口包括线程池模块，脚本引擎模块，转化规则模块，流程节点模块，质量规则模块，流程执行器模块，数据处理层模块，调度模块，监控模块，权限模块，元数据库与元数据库管理模块以及接口层模块。本发明提供的通用数据交换接口的数据读取采用标准sql接口，保障数据传输安全和灵活性，访问者不必具体询问底层其他数据库的关系，轻易利用本系统处理后联合的完整结果，具有通用性、可靠性、高性能、扩展性、易用性等优点。

Description

通用数据交换接口及其实现方法
技术领域
本发明涉及数据交换接口，尤其涉及通用数据交换接口及其实现方法，属于数据交换接口领域。
背景技术
信息是现代企业的重要资源，是企业运用科学管理、决策分析的基础。随着企业信息化建设的发展，企业内部积累了大量的业务数据。而企业的业务数据源通常分布在相互独立的各个子系统和节点中，且随着系统的增加，冗余的数据也越来越多。企业如何通过各种技术手段，并把数据转换为信息、知识，已经成为提高其核心竞争力的主要瓶颈。物联网技术，和互联网+，不断发展出现老系统接口融合和联动存在着无数跨系统的接口问题。
现在往往都是通过ETL工具，或者利用二次开发来实现。往往面临接口费的问题，有时候出现厂家恶意压制，不提供接口。现在的数据为了实现交换，都是把所有数据导入到一个数据库再统一访问这个数据库，或者效率很低的进行数据整合，从一个端口查询或利用非标准的WebService的方式进行开放。
发明内容
本发明所要解决的技术问题是提供一种通用数据交换接口，解决现有技术存在的接口不统一、不能灵活应用的问题。
为解决上述技术问题，本发明所采取的技术方案是：
本发明首先公开了一种通用数据交换接口，包括：
线程池模块：操作系统自带的多线程功能，可增加新的处理任务，安全重启失败的任务和取消未完成或未开始的任务，并且数据库访问任务，建立的新线程的卡死不会影响主程序稳定，同时部分任务完成后可以灵活释放系统资源。
脚本引擎模块：用于读取和输入GBK，utf-8，其他编码的java文本类。
转化规则模块：是个文本，一些用于描述对数据数据库的增、删、改、查、等操作以及对获得后的数据要做的组合规则，支持二次编辑，具有随时修改、重复利用的功能，具有脚本分享、协作开发的特性。
流程节点模块：是个文本，用于描述需要的数据库信息，例如账号，密码，地址等。
质量规则模块：是个文本，用于描述数据的质量要求、精度要求等等。
流程执行器模块：是一段程序，在需要的时候才会被触发，并是创建新线程的方式，不循环运行，不会发生卡死和过分占用cpu资源；将“转化规则”、“质量规则”、“节点信息”等，根据“节点信息”判断不同的数据库类型，并将“转化规则”转化为不同的数据库语言，并通过“数据处理层”分发到数据库节点当中，并等待数据库回应，再根据“转化规则”和“质量规则”重新组合数据。
数据处理层模块：是一个数据库适配器，里面是封装了各个厂家的jdbc驱动，可自由添加和自由扩展新的数据库支持，灵活扩展，用于和不同的数据库建立连接。
调度模块：调度是一个计时器，支持定时运行的功能和运行优先级的配置，既可以是系统自带的任务功能，或者时间功能，也可以是外部的能获取到时间数据的计时设备。
监控模块：是一个将整个程序正在做哪一步，正在做什么，失败与否的界面。
权限模块：是一个设置，是否允许用户修改，“调度”，“节点信息”，“转化规则”等一个设置。
元数据库与元数据库管理模块：元数据库是用java自带的数据库，Derby数据库，保存着软件本身的配置文件，支持导出和配置分享，用于保存设置和日志，管理工具也根据原版接口实现，。
接口层模块：是tcp请求入口，用于向本程序发送命令，执行某动作，获取某数据。
本发明进一步提供了应用所述通用数据交换接口读取数据的方法，包括：
用户通过数据处理流程管理接口与执行引擎连接创建回话id传入查询语句，执行引擎通过读取元数据管理器中获取元数据存取的顺序和规则后，调度执行相应需要运行的作业流程并根据规则去操作其他异构数据库和一些文件，读出原始数据；执行器根据加载的处理规则对原始数据进行包括加载相关脚本、加载相关规则、加载数据格式转换及执行查找在内的加工，将加工完成后的结果返回到执行引擎并最终返回到数据处理流程管理接口。
数据处理流程管理接口是连接到数据整合服务器上的服务监听器进行数据管理和数据查询流程，多数据库访问关系设计工作，设计提交数据到内部存贮元数据通过元数据管理器模块接受提交的请求保存在元数。数据库中控制器控制数据处理引擎的运行；处理引擎通过读取元数据管理器中获取元数据存取的顺序和规则后，调度执行相应需要运行的作业流程，根据规则去操作其他异构数据库和一些文件。
本发明进一步提供了所述通用数据交换接口的管理配置，包括：
接口层，用于连接端客户端管理工具和Mysql jdbc客户端；
元数据库，元数据库中保存着软件本身的配置文件，用于保存配置规则，数据处理规则；
执行引擎，负责按照设定好的规则进行操作，分为调度，监控，权限管理；
数据处理层，数据处理层作为适配器，可自由添加和自由扩展新的数据库支持，灵活扩展，兼容多种数据库和非结构化数据。
本发明提供的通用数据交换接口的数据读取采用标准sql接口，保障数据传输安全和灵活性，访问者不必具体询问底层其他数据库的关系，轻易利用本系统处理后联合的完整结果，具有通用性、可靠性、高性能、扩展性、易用性等优点。
附图说明
图1本发明通用数据交换接口的结构框图；
图2本发明通用数据交换接口的数据读取的流程图；
图3本发明通用数据交换接口的管理配置的流程图。
具体实施方式
下面结合具体实施例来进一步描述本发明，本发明的优点和特点将会随着描述而更为清楚。但是应理解所述实施例仅是范例性的，不对本发明的范围构成任何限制。本领域技术人员应该理解的是，在不偏离本发明的精神和范围下可以对本发明技术方案的细节和形式进行修改或替换，但这些修改或替换均落入本发明的保护范围。
参考图1，本发明所提供的一种通用数据交换接口，包括：
线程池模块:操作系统自带的多线程功能，安全重启失败的任务和取消未完成或未开始的任务，并且数据库访问任务，建立的新线程的卡死不会影响主程序稳定，同时部分任务完成后可以灵活释放系统资源，可增加新的处理任务。
脚本引擎模块：用于读取和输入GBK，utf-8，其他编码，的java文本类。
转化规则模块：是个文本，一些用于描述对数据数据库的增、删、改、查等操作以及对获得后的数据要做的组合规则，支持二次编辑，具有随时修改、重复利用的功能，具有脚本分享、协作开发的特性。
流程节点模块：是个文本，用于描述需要的数据库信息，例如账号，密码，地址等。
质量规则模块：是个文本，用于描述数据的质量要求，精度要求等。
流程执行器模块：是一段程序，在需要的时候才会被触发，并是创建新线程的方式，不循环运行，不会发生卡死和过分占用cpu资源；将“转化规则”、“质量规则”、“节点信息”等，根据“节点信息”判断不同的数据库类型，并将“转化规则”转化为不同的数据库语言，并通过“数据处理层”分发到数据库节点当中，并等待数据库回应，再根据“转化规则”和“质量规则”重新组合数据。
数据处理层模块：是一个数据库适配器，里面是封装了各个厂家的jdbc驱动，可自由添加和自由扩展新的数据库支持，灵活扩展，用于和不同的数据库建立连接。
调度模块：调度是一个计时器，支持定时运行的功能和运行优先级的配置，既可以是系统自带的任务功能，或者时间功能，也可以是外部的能获取到时间数据的计时设备。
监控模块：是一个将整个程序正在做哪一步，正在做什么，失败与否的界面。
权限模块：权限是一个设置，是否允许用户修改，“调度”，“节点信息”，“转化规则”等一个设置。
元数据库与元数据库管理模块：元数据库是用java自带的数据库，Derby数据库，用于保存设置，和日志。管理工具也根据原版接口实现。
接口层模块：是tcp请求入口，用于向本程序发送命令，执行某动作，获取某数据。
参考图2，本发明提供了应用所述通用数据交换接口读取数据的流程，包括：
用户通过数据处理流程管理接口与执行引擎连接创建回话id传入查询语句，执行引擎通过读取元数据管理器中获取元数据存取的顺序和规则后，调度执行相应需要运行的作业流程并根据规则去操作其他异构数据库和一些文件，读出原始数据；执行器根据加载的处理规则对原始数据进行包括加载相关脚本、加载相关规则、加载数据格式转换及执行查找在内的加工，将加工完成后的结果返回到执行引擎并最终返回到数据处理流程管理接口。
参考图3，本发明所提供的通用数据交换接口的管理配置，包括：
接口层，用于连接端客户端管理工具和Mysql jdbc客户端；
元数据库，元数据库中保存着软件本身的配置文件，用于保存配置规则，数据处理规则；
执行引擎，负责按照设定好的规则进行操作，分为调度，监控，权限管理；
数据处理层，数据处理层作为适配器，兼容多种数据库和非结构化数据。

Claims (10)

1.一种通用数据交换接口，其特征在于，包括：
线程池模块，脚本引擎模块，转化规则模块，流程节点模块，质量规则模块，流程执行器模块，数据处理层模块，调度模块，监控模块，权限模块，元数据库与元数据库管理模块以及接口层模块。
2.按照权利要求1所述的通用数据交换接口，其特征在于，所述线程池模块是操作系统自带的多线程功能，能增加新的处理任务，安全重启失败的任务和取消未完成或未开始的任务，并且数据库访问任务，建立的新线程的卡死不会影响主程序稳定，同时部分任务完成后可以灵活释放系统资源；所述脚本引擎模块是用于读取和输入GBK，utf-8其他编码的java文本类。
3.按照权利要求1所述的通用数据交换接口，其特征在于，所述转化规则模块是个文本，用于描述对数据数据库的增、删、改、查的操作以及对获得后的数据要做的组合规则，支持二次编辑，具有随时修改、重复利用的功能，具有脚本分享、协作开发的特性；所述流程节点模块是个文本，用于描述需要的数据库信息，优选的，所述的数据库信息包括账号，密码或地址；
所述质量规则模块是个文本，用于描述数据的质量要求或精度要求。
4.按照权利要求1所述的通用数据交换接口，其特征在于，所述流程执行器模块是一段程序，在需要的时候才会被触发，并是创建新线程的方式，不循环运行，不会发生卡死和过分占用cpu资源。
5.按照权利要求1所述的通用数据交换接口，其特征在于，所述数据处理层模块是一个数据库适配器，封装了各个厂家的jdbc驱动，可自由添加和自由扩展新的数据库支持，灵活扩展，用于和不同的数据库建立连接。
6.按照权利要求1所述的通用数据交换接口，其特征在于，所述调度模块是一个计时器，支持定时运行的功能和运行优先级的配置。
7.按照权利要求1所述的通用数据交换接口，其特征在于，所述监控模块是一个将整个程序进行监控的界面；所述权限模块是一个是否允许用户修改权限的设置；所述元数据库与元数据库管理模块是用java自带的数据库或Derby数据库，用于保存设置和日志，保存着软件本身的配置文件，支持导出和配置分享；所述接口层模块是tcp请求入口，用于向本程序发送命令，执行某动作，获取某数据。
8.应用权利要求1-7所述通用数据交换接口读取数据的方法，包括：
用户通过数据处理流程管理接口与执行引擎连接创建回话id传入查询语句，执行引擎通过读取元数据管理器中获取元数据存取的顺序和规则后，调度执行相应需要运行的作业流程并根据规则去操作其他异构数据库和一些文件，读出原始数据；执行器根据加载的处理规则对原始数据进行包括加载相关脚本、加载相关规则、加载数据格式转换及执行查找在内的加工，将加工完成后的结果返回到执行引擎并最终返回到数据处理流程管理接口。
9.权利要求1-7所述通用数据交换接口的管理配置，包括：
接口层，元数据库，执行引擎和数据处理层。
10.按照权利要求9所述的管理配置，其特征在于，所述接口层用于连接端客户端管理工具和Mysql jdbc客户端；
所述元数据库中保存着软件本身的配置文件，用于保存配置规则，数据处理规则；
所述执行引擎负责按照设定好的规则进行操作，分为调度，监控，权限管理；
所述数据处理层作为适配器兼容多种数据库和非结构化数据。
CN201610583768.5A 2016-07-22 2016-07-22 通用数据交换接口及其实现方法 Pending CN107402941A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610583768.5A CN107402941A (zh) 2016-07-22 2016-07-22 通用数据交换接口及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610583768.5A CN107402941A (zh) 2016-07-22 2016-07-22 通用数据交换接口及其实现方法

Publications (1)

Publication Number Publication Date
CN107402941A true CN107402941A (zh) 2017-11-28

Family

ID=60389318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610583768.5A Pending CN107402941A (zh) 2016-07-22 2016-07-22 通用数据交换接口及其实现方法

Country Status (1)

Country Link
CN (1) CN107402941A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209717A (zh) * 2019-04-25 2019-09-06 平安科技（深圳）有限公司 基础数据库的封装方法、装置、计算机设备和存储介质
CN110222169A (zh) * 2019-06-20 2019-09-10 中国人民解放军陆军特种作战学院 一种可视化数据处理解析系统及其处理方法
CN111125231A (zh) * 2019-12-31 2020-05-08 中电科华云信息技术有限公司 一种关系型数据库数据交换系统
CN117170941A (zh) * 2023-11-02 2023-12-05 建信金融科技有限责任公司 数据备份的方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908178A (zh) * 2010-08-13 2010-12-08 广州联奕信息科技有限公司 应用于数据交换的中间件及数据交换方法
CN102110099A (zh) * 2009-12-28 2011-06-29 五邑大学 基于养老保险预警系统的异构数据库中间件访问技术
CN102385628A (zh) * 2011-11-14 2012-03-21 北京锐安科技有限公司 一种基于jdbc的数据分布式处理方法
CN103605698A (zh) * 2013-11-06 2014-02-26 广东电子工业研究院有限公司 一种用于分布异构数据资源整合的云数据库系统
CN104484452A (zh) * 2014-12-25 2015-04-01 广东电子工业研究院有限公司 一种多元异构关系型数据库连接复用及统一管控方法
CN105045607A (zh) * 2015-09-02 2015-11-11 广东创我科技发展有限公司 一种实现多种大数据计算框架统一接口的方法
CN105488229A (zh) * 2016-01-20 2016-04-13 航天科工智慧产业发展有限公司 一种异构数据环境下的数据交换与集成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110099A (zh) * 2009-12-28 2011-06-29 五邑大学 基于养老保险预警系统的异构数据库中间件访问技术
CN101908178A (zh) * 2010-08-13 2010-12-08 广州联奕信息科技有限公司 应用于数据交换的中间件及数据交换方法
CN102385628A (zh) * 2011-11-14 2012-03-21 北京锐安科技有限公司 一种基于jdbc的数据分布式处理方法
CN103605698A (zh) * 2013-11-06 2014-02-26 广东电子工业研究院有限公司 一种用于分布异构数据资源整合的云数据库系统
CN104484452A (zh) * 2014-12-25 2015-04-01 广东电子工业研究院有限公司 一种多元异构关系型数据库连接复用及统一管控方法
CN105045607A (zh) * 2015-09-02 2015-11-11 广东创我科技发展有限公司 一种实现多种大数据计算框架统一接口的方法
CN105488229A (zh) * 2016-01-20 2016-04-13 航天科工智慧产业发展有限公司 一种异构数据环境下的数据交换与集成方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209717A (zh) * 2019-04-25 2019-09-06 平安科技（深圳）有限公司 基础数据库的封装方法、装置、计算机设备和存储介质
CN110209717B (zh) * 2019-04-25 2024-01-30 平安科技（深圳）有限公司 基础数据库的封装方法、装置、计算机设备和存储介质
CN110222169A (zh) * 2019-06-20 2019-09-10 中国人民解放军陆军特种作战学院 一种可视化数据处理解析系统及其处理方法
CN111125231A (zh) * 2019-12-31 2020-05-08 中电科华云信息技术有限公司 一种关系型数据库数据交换系统
CN111125231B (zh) * 2019-12-31 2024-02-23 中电科华云信息技术有限公司 一种关系型数据库数据交换系统
CN117170941A (zh) * 2023-11-02 2023-12-05 建信金融科技有限责任公司 数据备份的方法、装置、电子设备和存储介质
CN117170941B (zh) * 2023-11-02 2024-02-13 建信金融科技有限责任公司 数据备份的方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN106202452B (zh) 大数据平台的统一数据资源管理系统与方法
US9009105B2 (en) Application exits for consistent tenant lifecycle management procedures
US9164998B2 (en) Archive-system-independent archive-type objects
US8112424B2 (en) Flexible and resilient information collaboration management infrastructure
US7370335B1 (en) System and method for providing a public application program interface
US7167874B2 (en) System and method for command line administration of project spaces using XML objects
CN112668386A (zh) 使用机器人过程自动化用于文档处理的长时间运行工作流
US8504650B2 (en) Methods and systems for exchanging data between a command and control information system and an enterprise resource planning system
WO2012114531A1 (ja) 計算機システム及びデータ管理方法
CN107402941A (zh) 通用数据交换接口及其实现方法
JP4039800B2 (ja) データ管理方法、オブジェクト統合管理システム
US20220058166A1 (en) Ingestion of master data from multiple applications
EP3958128B1 (en) Customized processing of sensor data
EP3567488A1 (en) Materializable database objects in multitenant environments
EP3958484A2 (en) Interface for processing sensor data with hyperscale services
US11941413B2 (en) Managed control plane service
US11948005B2 (en) Managed integration of constituent services of multi-service applications
CN110888636A (zh) 一种基于Kettle的ETL Web应用系统架构方法
US9373093B2 (en) Gateway service manager for business object applications
WO2012170565A2 (en) Code generation and implementation method, system, and storage medium for delivering bidirectional data aggregation and updates
EP2343658A1 (en) Federation as a process
Höltgen et al. Implementation of an Open Web Interface for the Container-based Exchange of Linked Building Data
JP4079990B2 (ja) オブジェクト統合管理システムの生成方法
US6938052B2 (en) Access to server resources from heterogeneous platforms
US20050160101A1 (en) Method and apparatus using dynamic SQL for item create, retrieve, update delete operations in a content management application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171128