CN108170832B - 一种面向工业大数据的异构数据库的监控系统及监控方法 - Google Patents
一种面向工业大数据的异构数据库的监控系统及监控方法 Download PDFInfo
- Publication number
- CN108170832B CN108170832B CN201810026313.2A CN201810026313A CN108170832B CN 108170832 B CN108170832 B CN 108170832B CN 201810026313 A CN201810026313 A CN 201810026313A CN 108170832 B CN108170832 B CN 108170832B
- Authority
- CN
- China
- Prior art keywords
- database
- data
- index
- monitoring
- heterogeneous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了一种面向工业大数据的异构数据库的监控系统及监控方法，包括异构数据库系统、中间件服务器和Web监控平台；所述异构数据库系统与所述中间件服务器相互数据通信，所述中间件服务器通过数据库与所述Web监控平台相互数据通信。本发明使用可视化的交互模式结合学习成本较低的数据解析格式，可以让管理者自行快速地接入新的数据源，降低了系统二次开发的次数，提高了线上信息的实用性和稳定性。
Description
技术领域
本发明属于计算机软件技术领域，特别是涉及一种面向工业大数据的异构数据库的监控系统及监控方法。
背景技术
随着工业化和信息化的不断发展，工业领域的数据积累到一定数量级，超出了传统技术的处理能力，就需要借助大数据技术来提升处理能力和效率，因此工业大数据为工业领域的海量数据提供了技术和管理支撑。工业大数据的主要来源包括生产经营相关的业务数据、设备物联数据和外部互联网数据，因此就产生多种相互隔离的异构数据库(时序数据库，图数据库、关系型数据库和非结构化数据库等)。由于异构数据库的数据结构和数据库管理系统各不相同，造成了工业大数据下异构数据库难以通过一种的监控系统进行监控。
现有的数据库监控系统有很多，例如MySQLMTOP、Lepus、RedisLive等，每种监控系统在其所在专注的领域内，还是比较受欢迎的。MySQLMTOP是针对MySQL的监控工具，具有专一性；Lepus能对MySQL、Oracle、Mongodb和Redis数据库进行监控，但是Lepus扩展性差，难以添加对其他数据类型数据库的监控；RedisLive是针对Redis的监控系统，也具有专一性。为了更好的解决工业大数据下异构数据存储和业务处理问题，当下也有不少的机构和高校自行开发高性能、高并发的数据库，这类自行开发的数据库也是需要监控系统。总之，目前存在的监控系统具有对某种或者几种特定的数据库进行监控，可扩展性差，缺少对多种异构数据库的监控系统。
发明内容
本发明为了解决现有的技术问题，提出一种面向工业大数据的异构数据库的监控系统及监控方法。
本发明的目的通过以下技术方案实现：一种面向工业大数据的异构数据库的监控系统，包括异构数据库系统、中间件服务器和Web监控平台；所述异构数据库系统与所述中间件服务器相互数据通信，所述中间件服务器通过数据库与所述Web监控平台相互数据通信；所述异构数据库系统包括若干个数据库和REST数据接口；所述中间件服务器包括消息中间件、监控与消费策略模块、路由策略模块和第一持久化模块；所述Web监控平台包括可视化图形用户界面、第二持久化模块、定时任务模块和数据库注册器。
进一步地，所述若干个数据库包括关系型数据库、图数据库、时间序列数据库和非结构化数据库；每一个新加入到异构数据库系统中的数据库均需要进行数据库注册；异构数据库系统将各个数据库提供的指标信息主动推送到中间件服务器中的消息中间件。
进一步地，所述消息中间件用于接收各个数据库提供的指标信息；
所述监控与消费策略模块用于根据数据库注册时提供的信息来进行指标数据的消费；
所述路由策略模块用于根据用户自定的策略决定指标数据的去向；
所述第一持久化模块用于对指标数据进行存储。
进一步地，所述可视化图形用户界面用于实时监控并显示各个数据库的指标信息和变化趋势；
所述数据库注册器用于当用户在可视化图形用户界面中添加提供REST接口的数据库时，数据库注册器验证数据库信息是否完整以及数据是否解析成功，并将验证后的信息进行存储；
所述定时任务模块用于周期性地对提供REST接口的数据库的数据进行主动抓取；
所述第二持久化模块用于将主动抓取的数据进行存储。
进一步地，所述指标信息包括指标分类信息、指标间隔和指标数值类型。
本发明还提出一种面向工业大数据的异构数据库的监控系统的监控方法，包括以下步骤：
步骤1、开始监控异构数据库；
步骤2、判断每一个新加入到异构数据库系统中的数据库是否已经注册，如果已经注册，则继续步骤3；如有没有注册，则数据库发起注册，数据库将指标分类信息、指标间隔和指标数值类型发送到中间件服务器中的消息中间件，并将数据库注册信息进行存储，注册后继续步骤3；
步骤3、获取数据库对应的设置信息；
步骤4、按照消费策略定时获取消息队列中的指标数据；
步骤5、判断数据获取是否成功，如果成功，则继续步骤6；如果不成功，则检查心跳信息，判断心跳是否超时，如果心跳超时则监控结束，如果心跳不超时则返回步骤4；
步骤6、按照指标处理策略对数据进行处理；
步骤7、按照路由策略将数据路由到不同的数据库；
步骤8、将指标信息进行存储；
步骤9、重复步骤4至步骤8，从而完成各个数据库的监控。
附图说明
图1为面向工业大数据的异构数据库的监控系统框图；
图2为面向工业大数据的异构数据库的监控方法流程图；
图3为生成监控视图流程图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1，本发明提出一种面向工业大数据的异构数据库的监控系统，监控系统通过异构数据库的主动推送数据和基于REST数据接口拉取数据二者结合的方式来实现，所述监控系统包括异构数据库系统、中间件服务器和Web监控平台；所述异构数据库系统与所述中间件服务器相互数据通信，所述中间件服务器通过数据库与所述Web监控平台相互数据通信；所述异构数据库系统包括若干个数据库和REST数据接口；所述中间件服务器包括消息中间件、监控与消费策略模块、路由策略模块和第一持久化模块；所述Web监控平台包括可视化图形用户界面、第二持久化模块、定时任务模块和数据库注册器。
所述异构数据库系统是我们需要监控的目标，包含多个节点，每个节点上可能包含若干数据库实例，主要适配自行开发的异构数据库或者开放REST接口的数据库。所述若干个数据库包括关系型数据库、图数据库、时间序列数据库和非结构化数据库；每一个新加入到异构数据库系统中的数据库均需要进行数据库注册；异构数据库系统将各个数据库提供的指标信息主动推送到中间件服务器中的消息中间件。
所述消息中间件用于接收各个数据库提供的指标信息；所述指标信息包括指标分类信息、指标间隔和指标数值类型。
所述监控与消费策略模块用于根据数据库注册时提供的信息来进行指标数据的消费；
所述路由策略模块用于根据用户自定的策略决定指标数据的去向；
所述第一持久化模块用于对指标数据进行存储。
所述Web监控平台负责与运维人员的交互。所述可视化图形用户界面用于实时监控并显示各个数据库的指标信息和变化趋势；所述数据库注册器用于当用户在可视化图形用户界面中添加提供REST接口的数据库时，数据库注册器验证数据库信息是否完整以及数据是否解析成功，并将验证后的信息进行存储；所述定时任务模块用于周期性地对提供REST接口的数据库的数据进行主动抓取；所述第二持久化模块用于将主动抓取的数据进行存储。
结合图2，本发明还提出一种面向工业大数据的异构数据库的监控系统的监控方法，包括以下步骤：
步骤1、开始监控异构数据库；
步骤2、判断每一个新加入到异构数据库系统中的数据库是否已经注册，如果已经注册，则继续步骤3；如有没有注册，则数据库发起注册，数据库将指标分类信息、指标间隔和指标数值类型发送到中间件服务器中的消息中间件，并将数据库注册信息进行存储，注册后继续步骤3；
步骤3、获取数据库对应的设置信息；
步骤4、按照消费策略定时获取消息队列中的指标数据；
步骤5、判断数据获取是否成功，如果成功，则继续步骤6；如果不成功，则检查心跳信息，判断心跳是否超时，如果心跳超时则监控结束，如果心跳不超时则返回步骤4；
步骤6、按照指标处理策略对数据进行处理；
步骤7、按照路由策略将数据路由到不同的数据库；
步骤8、将指标信息进行存储；
步骤9、重复步骤4至步骤8，从而完成各个数据库的监控。
对于自行开发的异构数据库，本发明采用消息中间件接收来自各个数据库的指标信息，数据库中需要使用消息中间件的SDK开发对应的指标发送模块。每一个新加入的异构数据库均需要先在系统中进行数据库注册，注册过程中，异构数据库系统需要提供指标的分类信息(分为用于调优的指标与用于状态监测的指标，前者为系统的自动化调优提供信息，后者为运维人员提供监视内容)、指标间隔、指标数值类型等。在注册完毕后，异构数据库系统需要定时主动向消息中间件发送指标信息。系统服务将按照异构数据库注册时提供的信息进行指标抓取、心跳监测等服务，同时，对于消费到的指标信息，会及时地写入到数据库中进行持久化存储。
对于异构数据库的监控，现有的许多应用会在数据库端将其指标数据直接写入到数据库中，采用这样的方式，数据源和存储之间进行了紧密的耦合，数据产生到数据存储之间缺少控制机制。而本发明所采用的消息队列的机制，一方面可以在数据产生后对数据进行暂存，另一方面，数据在到达MQ(消息队列)之后，系统可以依据定义的策略对数据进行处理，对数据的流向进行路由，这可以减少无效数据的堆积，提高空间利用率，同时，采用的路由策略可以减少单个DB的压力。另外，由于不同数据库开发的语言可能不同，采用成熟的消息队列的SDK(软件开发工具包)可以更好地兼容多语言下的开发。
结合图3，图3为生成监控视图流程图，具体为：步骤1、开始；步骤2、访问Web UI数据源页面；步骤3、填写URL和数据源名称；步骤4、按照JSON格式填写数据解析格式；步骤5、服务器进行验证；步骤6、判断信息是否完整并且是否成功解析；如果二者均完成则保存数据源，继续步骤7，如果二者中任意一个没完成则返回步骤2；步骤7、判断是否可以生成监控视图，如果不可以则结束流程，如果可以则继续步骤8；步骤8、选择数据源；步骤9、选择图标类型、展示精度和时间范围；步骤10、服务器定时抓取数据信息；步骤11、根据抓取的数据信息获得监控视图，流程结束。
对于已经发布了REST数据获取接口的异构数据库，在进行指标接入时，只需要在系统中按照可视化工具的提示，将URL信息、数据解析信息(使用JSON的层级访问格式即可)等内容填写到系统中，便可以实现指标源的录入。
现有的技术往往采用针对不同的数据源分别实现各自的解析器来实现不同接口的数据接入，往往采取硬编码的方式，对于已经上线的系统，如果需要接入新的数据源，需要开发人员进行二次开发，重新上线，灵活性和可靠性不足。本发明使用可视化的交互模式结合学习成本较低的数据解析格式，可以让管理者自行快速地接入新的数据源，降低了系统二次开发的次数，提高了线上信息的实用性和稳定性。
在系统的可视化界面中，用户可以通过选取数据源和图表类型，快速创建监控视图。其中数据源包括通过消息中间件进行持久化的指标数据，也包括通过REST接口快速接入的数据。
以上对本发明所提供的一种面向工业大数据的异构数据库的监控系统及监控方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (4)
1.一种面向工业大数据的异构数据库的监控系统，其特征在于：包括异构数据库系统、中间件服务器和Web监控平台；所述异构数据库系统与所述中间件服务器相互数据通信，所述中间件服务器通过数据库与所述Web监控平台相互数据通信；所述异构数据库系统包括若干个数据库和REST数据接口；所述中间件服务器包括消息中间件、监控与消费策略模块、路由策略模块和第一持久化模块；所述Web监控平台包括可视化图形用户界面、第二持久化模块、定时任务模块和数据库注册器；
所述若干个数据库包括关系型数据库、图数据库、时间序列数据库和非结构化数据库；每一个新加入到异构数据库系统中的数据库均需要进行数据库注册；异构数据库系统将各个数据库提供的指标信息主动推送到中间件服务器中的消息中间件；
所述消息中间件用于接收各个数据库提供的指标信息；
所述监控与消费策略模块用于根据数据库注册时提供的信息来进行指标数据的消费；
所述路由策略模块用于根据用户自定的策略决定指标数据的去向；
所述第一持久化模块用于对指标数据进行存储。
2.根据权利要求1所述的系统，其特征在于：
所述可视化图形用户界面用于实时监控并显示各个数据库的指标信息和变化趋势；
所述数据库注册器用于当用户在可视化图形用户界面中添加提供REST接口的数据库时，数据库注册器验证数据库信息是否完整以及数据是否解析成功，并将验证后的信息进行存储；
所述定时任务模块用于周期性地对提供REST接口的数据库的数据进行主动抓取；
所述第二持久化模块用于将主动抓取的数据进行存储。
3.根据权利要求2所述的系统，其特征在于：所述指标信息包括指标分类信息、指标间隔和指标数值类型。
4.一种如权利要求1-3中任一项所述的面向工业大数据的异构数据库的监控系统的监控方法，其特征在于：包括以下步骤：
步骤1、开始监控异构数据库；
步骤2、判断每一个新加入到异构数据库系统中的数据库是否已经注册，如果已经注册，则继续步骤3；如有没有注册，则数据库发起注册，数据库将指标分类信息、指标间隔和指标数值类型发送到中间件服务器中的消息中间件，并将数据库注册信息进行存储，注册后继续步骤3；
步骤3、获取数据库对应的设置信息；
步骤4、按照消费策略定时获取消息队列中的指标数据；
步骤5、判断数据获取是否成功，如果成功，则继续步骤6；如果不成功，则检查心跳信息，判断心跳是否超时，如果心跳超时则监控结束，如果心跳不超时则返回步骤4；
步骤6、按照指标处理策略对数据进行处理；
步骤7、按照路由策略将数据路由到不同的数据库；
步骤8、将指标信息进行存储；
步骤9、重复步骤4至步骤8，从而完成各个数据库的监控。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810026313.2A CN108170832B (zh) | 2018-01-11 | 2018-01-11 | 一种面向工业大数据的异构数据库的监控系统及监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810026313.2A CN108170832B (zh) | 2018-01-11 | 2018-01-11 | 一种面向工业大数据的异构数据库的监控系统及监控方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108170832A CN108170832A (zh) | 2018-06-15 |
| CN108170832B true CN108170832B (zh) | 2021-09-14 |
Family
ID=62518099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810026313.2A Active CN108170832B (zh) | 2018-01-11 | 2018-01-11 | 一种面向工业大数据的异构数据库的监控系统及监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108170832B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109814997B (zh) * | 2019-01-18 | 2021-08-06 | 创新奇智(广州)科技有限公司 | 一种分布式自主均衡人工智能任务调度方法及系统 |
| CN110597057A (zh) * | 2019-08-22 | 2019-12-20 | 浙江工业大学 | 在工业应用场景下的数据处理系统 |
| CN112462724A (zh) * | 2020-12-11 | 2021-03-09 | 四川川能智网实业有限公司 | 一种基于工业互联网的数据监控系统 |
| CN112488558A (zh) * | 2020-12-11 | 2021-03-12 | 四川川能智网实业有限公司 | 一种基于工业互联网的能耗监控及分析系统 |
| CN113268473B (zh) * | 2021-07-20 | 2022-01-14 | 国能信控互联技术有限公司 | 一种针对多种时序数据库的自适应获取数据系统和方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103810164A (zh) * | 2012-11-06 | 2014-05-21 | 镇江华扬信息科技有限公司 | 一种基于sybase中间件实现异构数据库连接方法 |
| EP2997513A1 (en) * | 2013-05-17 | 2016-03-23 | Oracle International Corporation | Supporting combination of flow based etl and entity relationship based etl |
| KR20170053013A (ko) * | 2015-11-05 | 2017-05-15 | 주식회사 나눔기술 | 빅데이터 분석을 위한 데이터 가상화 시스템 |
| CN106991129A (zh) * | 2017-03-07 | 2017-07-28 | 广西大学 | 基于soa构架电力调度系统的实时数据库系统及实现方法 |
| CN107341223A (zh) * | 2017-06-29 | 2017-11-10 | 华泰证券股份有限公司 | 一种基于消息中间件的异构数据库实时同步方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10417441B2 (en) * | 2016-04-29 | 2019-09-17 | International Business Machines Corporation | Effectively validating dynamic database queries through database activity monitoring |
-
2018
- 2018-01-11 CN CN201810026313.2A patent/CN108170832B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103810164A (zh) * | 2012-11-06 | 2014-05-21 | 镇江华扬信息科技有限公司 | 一种基于sybase中间件实现异构数据库连接方法 |
| EP2997513A1 (en) * | 2013-05-17 | 2016-03-23 | Oracle International Corporation | Supporting combination of flow based etl and entity relationship based etl |
| KR20170053013A (ko) * | 2015-11-05 | 2017-05-15 | 주식회사 나눔기술 | 빅데이터 분석을 위한 데이터 가상화 시스템 |
| CN106991129A (zh) * | 2017-03-07 | 2017-07-28 | 广西大学 | 基于soa构架电力调度系统的实时数据库系统及实现方法 |
| CN107341223A (zh) * | 2017-06-29 | 2017-11-10 | 华泰证券股份有限公司 | 一种基于消息中间件的异构数据库实时同步方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于XML异构数据库集成技术的研究与实现;常建辉;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130315;第19页第3章到第53页第4章 * |
| 基于复杂事件处理的分布式监控系统;余成;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150615;第19页第3.1节到第35页第4.8节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108170832A (zh) | 2018-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108170832B (zh) | 一种面向工业大数据的异构数据库的监控系统及监控方法 | |
| CN107506451B (zh) | 用于数据交互的异常信息监控方法及装置 | |
| WO2022133981A1 (zh) | 数据处理方法、平台、计算机可读存储介质及电子设备 | |
| CN107038162B (zh) | 基于数据库日志的实时数据查询方法和系统 | |
| CN111339175B (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| CN108958959B (zh) | 检测hive数据表的方法和装置 | |
| CN110795503A (zh) | 分布式存储系统的多集群数据同步方法及相关装置 | |
| CN110147470B (zh) | 一种跨机房数据比对系统及方法 | |
| CN109062769B (zh) | It系统性能风险趋势预测的方法、装置和设备 | |
| CN112148578A (zh) | 基于机器学习的it故障缺陷预测方法 | |
| KR20150118963A (ko) | 큐 모니터링 및 시각화 | |
| CN112052134A (zh) | 一种业务数据的监控方法及装置 | |
| CN107277146B (zh) | 一种分布式存储业务流量模型生成方法及系统 | |
| CN114356692A (zh) | 一种应用监控链路的可视化处理方法、装置及存储介质 | |
| CN110717130B (zh) | 打点方法、装置、终端及存储介质 | |
| CN110196868A (zh) | 基于分布式的工单流程监控方法 | |
| CN115329011A (zh) | 数据模型的构建方法、数据查询的方法、装置及存储介质 | |
| CN113282583A (zh) | 一种数据存储方法、装置、设备和存储介质 | |
| CN116629802A (zh) | 一种用于铁路港口站的大数据平台系统 | |
| CN115905322A (zh) | 业务处理方法、装置、电子设备及存储介质 | |
| CN114756301A (zh) | 日志处理方法、装置和系统 | |
| CN115391361A (zh) | 一种基于分布式数据库的实时数据处理方法及其装置 | |
| CN114036218A (zh) | 一种数据模型切换方法、装置、服务器和存储介质 | |
| CN113656369A (zh) | 一种大数据场景下的日志分布式流式采集及计算方法 | |
| CN110611576B (zh) | 一种数据质量监测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |