CN106446029A - 一种可配置数据转换中间件 - Google Patents

一种可配置数据转换中间件 Download PDF

Info

Publication number
CN106446029A
CN106446029A CN201610777615.4A CN201610777615A CN106446029A CN 106446029 A CN106446029 A CN 106446029A CN 201610777615 A CN201610777615 A CN 201610777615A CN 106446029 A CN106446029 A CN 106446029A
Authority
CN
China
Prior art keywords
configuration module
database
middleware
output
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610777615.4A
Other languages
English (en)
Inventor
崔维力
赵伟
孙科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd
Original Assignee
TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd filed Critical TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd
Priority to CN201610777615.4A priority Critical patent/CN106446029A/zh
Publication of CN106446029A publication Critical patent/CN106446029A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种可配置数据转换中间件，包括数据库配置模块、输入配置模块、输出配置模块和中间件核心模块，所述的数据库配置模块、输入配置模块、输出配置模块作为中间件核心模块的输入数据流，中间件核心模块将接收的数据信息进行处理后得到图表格式文件，其中：数据库配置模块用于配置数据库的连接信息和用户名密码信息；输入配置模块包含要查询的sql语句及返回的结果集定义；所述的输出配置模块包含需要输出的内容，使用相应的lib库和定义可视化的规则。本发明的有益效果是通过数据转换中间件，任何需要进行数据转换的需求，不在需要经历漫长的研发过程，随时可以通过配置来改变转换数据的格式，通过可视化的方式，快速挖掘数据中蕴含的价值。

Description

一种可配置数据转换中间件
技术领域
本发明属于数据处理技术领域，尤其是涉及一种可配置数据转换中间件。
背景技术
随着大数据越来越热，现在的决策已经不是拍脑门的时代了，而越来越侧重使用数据辅助决策。
我们知道，数据是散落在数据库中不同的表里面的，想要将数据从数据库中转换为易于理解的excel文件或是可视化图表，需要掌握很多的知识，对人员的要求比较高。
比如，从mysql中，导出一份日销售的报告，并将其可视化，需要IT人员经历下面的步骤：
1、使用连接mysql的工具，在其中编写sql语句。
2、使用工具提供的导出功能，导出excel。
3、使用透视图表完成数据可视化。
4、对图形进行截图后美化。
5、嵌入到网页或PPT中进行展示。
更有企业，为了满足这个需求，专门定制系统，并且要不断的维护和升级，这样成本较高，灵活度也有不足。
发明内容
本发明的目的是提供一种可配置数据转换中间件，其对技术人员水平要求相对较低，随时可以通过配置来改变转换数据的格式，方法操作简单，适合于任何需要进行数据转换的需求中。
本发明的技术方案是：一种可配置数据转换中间件，包括数据库配置模块、输入配置模块、输出配置模块和中间件核心模块，所述的数据库配置模块、输入配置模块、输出配置模块作为中间件核心模块的输入数据流，中间件核心模块将接收的数据信息进行处理后得到图表格式文件，其中：
所述的数据库配置模块用于配置数据库的连接信息和用户名密码信息；
所述的输入配置模块包含要查询的sql语句及返回的结果集定义；
所述的输出配置模块包含需要输出的内容，使用相应的lib库和定义可视化的规则；
所述的中间件核心模块包括数据库适配器、输出适配器、数据查询和格式转换，所述的数据库适配器用于处理数据库配置模块中数据库不同的方言，所述的输出适配器用于根据输出配置模块中输出的配置，决定输出数据的可视化效果，所述的数据查询中根据输入配置模块中的sql语句和数据库配置模块中提供的数据库配置信息，读取数据库的查询结果；所述的格式转化中根据输入配置模块中的查询结果和输出配置模块中的文件，通过restfull的方式，提供最终的render形式输出，得到图表格式文件。
优选地，所述的图表格式文件为表格excel或者图表Echarts option。
本发明具有的优点和积极效果是：由于采用上述技术方案，只需要懂得sql和简单的js语法就可以完成上述工作的数据转换中间件；通过数据转换中间件，任何需要进行数据转换的需求，不在需要经历漫长的研发过程，随时可以通过配置来改变转换数据的格式，通过可视化的方式，快速挖掘数据中蕴含的价值。
附图说明
图1是本发明的结构示意图。
图2是中间件核心模块的结构示意图。
具体实施方式
如图1、2所示，本发明的技术方案为：一种可配置数据转换中间件，包括数据库配置模块、输入配置模块、输出配置模块和中间件核心模块，所述的数据库配置模块、输入配置模块、输出配置模块作为中间件核心模块的输入数据流，中间件核心模块将接收的数据信息进行处理后得到图表格式文件，即输出表格excel或者图表Echarts option，其中：
所述的数据库配置模块用于配置数据库的连接信息和用户名密码信息；
所述的输入配置模块包含要查询的sql语句及返回的结果集定义；
所述的输出配置模块包含需要输出的内容，使用相应的lib库和定义可视化的规则；
本实施例中，所述的中间件核心模块包括数据库适配器、输出适配器、数据查询和格式转换，所述的数据库适配器用于处理数据库配置模块中数据库不同的方言，实现语言上的统一性，所述的输出适配器用于根据输出配置模块中输出的配置，决定输出数据的可视化效果，所述的数据查询中根据输入配置模块中的sql语句和数据库配置模块中提供的数据库配置信息，读取数据库的查询结果；所述的格式转化中根据输入配置模块中的查询结果和输出配置模块中的文件，通过restfull的方式，提供最终的render形式输出，得到图表格式文件，便于用户可视化的操作得到最终的数据。
本实例的工作过程：只需要懂得sql和简单的js语法就可以完成上述工作的数据转换中间件，它包含了数据库配置文件，输入配置文件和输出配置文件，任何需要进行数据转换的需求，随时可以通过配置来改变转换数据的格式，通过可视化的方式，即可得到可视化的图表或者表格文件。
以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (3)

1.一种可配置数据转换中间件，其特征在于：包括数据库配置模块、输入配置模块、输出配置模块和中间件核心模块，所述的数据库配置模块、输入配置模块、输出配置模块作为中间件核心模块的输入数据流，中间件核心模块将接收的数据信息进行处理后得到图表格式文件，其中：
所述的数据库配置模块用于配置数据库的连接信息和用户名密码信息；
所述的输入配置模块包含要查询的sql语句及返回的结果集定义；
所述的输出配置模块包含需要输出的内容，使用相应的lib库和定义可视化的规则。
2.根据权利要求1所述的一种可配置数据转换中间件，其特征在于：所述的中间件核心模块包括数据库适配器、输出适配器、数据查询和格式转换，所述的数据库适配器用于处理数据库配置模块中数据库不同的方言，所述的输出适配器用于根据输出配置模块中输出的配置，决定输出数据的可视化效果，所述的数据查询中根据输入配置模块中的sql语句和数据库配置模块中提供的数据库配置信息，读取数据库的查询结果；所述的格式转化中根据输入配置模块中的查询结果和输出配置模块中的文件，通过restfull的方式，提供最终的render形式输出，得到图表格式文件。
3.根据权利要求1所述的一种可配置数据转换中间件，其特征在于：所述的图表格式文件为表格excel或者图表Echarts option。
CN201610777615.4A 2016-08-31 2016-08-31 一种可配置数据转换中间件 Pending CN106446029A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610777615.4A CN106446029A (zh) 2016-08-31 2016-08-31 一种可配置数据转换中间件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610777615.4A CN106446029A (zh) 2016-08-31 2016-08-31 一种可配置数据转换中间件

Publications (1)

Publication Number Publication Date
CN106446029A true CN106446029A (zh) 2017-02-22

Family

ID=58091363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610777615.4A Pending CN106446029A (zh) 2016-08-31 2016-08-31 一种可配置数据转换中间件

Country Status (1)

Country Link
CN (1) CN106446029A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060294151A1 (en) * 2005-06-27 2006-12-28 Stanley Wong Method and apparatus for data integration and management
CN102902533A (zh) * 2012-09-17 2013-01-30 乐视网信息技术（北京）股份有限公司 一种Java结合HTML5生成图表的框架展现系统及其方法
CN104063425A (zh) * 2014-06-04 2014-09-24 五八同城信息技术有限公司 通过数据库中间件查询数据的方法和数据库中间件

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060294151A1 (en) * 2005-06-27 2006-12-28 Stanley Wong Method and apparatus for data integration and management
CN102902533A (zh) * 2012-09-17 2013-01-30 乐视网信息技术（北京）股份有限公司 一种Java结合HTML5生成图表的框架展现系统及其方法
CN104063425A (zh) * 2014-06-04 2014-09-24 五八同城信息技术有限公司 通过数据库中间件查询数据的方法和数据库中间件

Similar Documents

Publication Publication Date Title
CN106296378B (zh) 基于xbrl的智能财务云平台系统、构建方法及业务实现方法
Gan et al. How to deal with resource productivity: Relationships between socioeconomic factors and resource productivity
CN105224631B (zh) 搭建行业开放云的系统及编制xbrl财务报表的方法
CN105279269B (zh) 一种支持表自由关联的sql生成方法和系统
CN104598635A (zh) 一种基于xml描述的复杂文档自动生成方法
CN104008485A (zh) 一种智能化订单生成装置及方法
CN103150623A (zh) 一种基于元模型的云制造能力服务建模方法
Guo et al. An automatic machining process decision-making system based on knowledge graph
CN105279255A (zh) 一种知识技能依赖关系结构化教学资源的利用方法
CN104268247A (zh) 一种基于模糊层次分析的主数据归集方法
Zou et al. A new service-oriented grid-based method for AIoT application and implementation
Zeng et al. The Innovation and Development Path of Cultural and Creative Industries in Anhui Province, China: Nvivo12‐Based Policy Text Analysis
Teran et al. Performance measurement integrated information framework in e-Manufacturing
Ciroth et al. Life Cycle Inventory Analysis
CN102855278B (zh) 一种仿真方法和系统
CN204650522U (zh) 一种pdm产品数据管理系统
CN106446029A (zh) 一种可配置数据转换中间件
CN107169044A (zh) 一种城市人才资源综合管理方法
CN104657352B (zh) 一种变电站远程浏览中的图元着色方法
CN105447279A (zh) 几何产品智能公差规范设计方法和可视化公差标注系统
Hoare et al. Development of a National Scale Digital Twin for Domestic Building Stock
CN113139107B (zh) 一种基于3d数字场景的建筑数据可视化管理系统
Qin et al. The Impact of R&D Investment and Policy Support on Intelligent Manufacturing Level: Based on the fsQCA Method
Wu et al. Developing of agricultural product traceability information system based on WebGIS
CN202720678U (zh) 电力行业信息管理系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170222