CN112181905A - 一种数据监控集成系统 - Google Patents

一种数据监控集成系统 Download PDF

Info

Publication number
CN112181905A
CN112181905A CN202011053622.2A CN202011053622A CN112181905A CN 112181905 A CN112181905 A CN 112181905A CN 202011053622 A CN202011053622 A CN 202011053622A CN 112181905 A CN112181905 A CN 112181905A
Authority
CN
China
Prior art keywords
data
file
monitoring
module
open source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011053622.2A
Other languages
English (en)
Inventor
刘伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Business Easy Co ltd
Original Assignee
Chengdu Shangtong Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shangtong Digital Technology Co ltd filed Critical Chengdu Shangtong Digital Technology Co ltd
Priority to CN202011053622.2A priority Critical patent/CN112181905A/zh
Publication of CN112181905A publication Critical patent/CN112181905A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据监控集成系统，包括集成开源组件,管理后台，监控组件，集成开源组件可作为从数据库，开启备份功能，然后获取接受二进制文件，并使用流读取，对文件进行分析，再获取数据的变化情况，将其数据注入到指定文件；指定读取文件输出的的文件，并且通过配置设置文件的名称；文件的名称在索引下使用管理后台对于索引数据进行搜索，并使用内置的接口对于查询进行组合，并对此接口进行封装，封装成不同的业务接口；该发明解决数据库数据监控过程，使用流式读取，可以减少资源占用和不稳定的情况，并且使用及时分析，可以快速获取数据和降低数据耦合度，集成成熟组件，完成数据快速查询，解决传统数据库大数据查询慢的问题。

Description

一种数据监控集成系统
技术领域
本发明涉及软件管理系统技术领域，具体是一种数据监控集成系统。
背景技术
目前部分互联网业务中存在需要监控数据库中某些表、某个字短的修改变化情况，例如：监控商品库存、数据阀值等。传统的做法主要为轮询、程序中IF判断，对于数据变化过程记录手段单一，而且影响系统稳定，占用系统的资源，并且获取数据较慢，查询较慢。
发明内容
本发明的目的在于提供一种数据监控集成系统，以解决做法主要为轮询、程序中IF判断，对于数据变化过程记录手段单一，而且影响系统稳定，占用系统的资源，并且获取数据较慢，查询较慢的问题。
为实现上述目的，本发明提供如下技术方案：一种数据监控集成系统，包括集成开源组件,管理后台，监控组件，所述集成开源组件包括一级集成开源组件与二级集成开源组件；
所述一级集成开源组件，可作为从数据库，开启备份功能，然后获取接受二进制文件，并使用流读取，对文件进行分析，再获取数据的变化情况，将其数据注入到指定文件；
所述二级集成开源组件，指定读取用于所述一级集成开源组件输出的的文件，并且通过配置设置文件的名称；
文件的名称在索引下使用所述管理后台对于索引数据进行搜索，并使用内置的接口对于查询进行组合，同时对此接口进行封装，在封装过程中可封装成不同的业务接口；
所述监控组件，用于监控在对内置的接口内置的接口不同的业务接口，并同步对某表或者某字段进行监控。
作为本发明一种数据监控集成系统再进一步的方案：还包括推送数据模块，所述推送数据模块与所述监控组件相互关联，用于以短信或数据的方式推送达标的数据信息。
作为本发明一种数据监控集成系统再进一步的方案：所述一级集成开源组件包括多组数据流模块，并每组数据流模块单独对应数据流分析模块与储存模块；
多组数据流模块之间互不干扰，分别对接接收二进制文件，并将接收的二进制文件输送至相对应的数据流分析模块；
数据流分析模块，用于对数据流进行分析；
储存模块与数据流分析模块藕连，用于储存分析后的数据。
作为本发明一种数据监控集成系统再进一步的方案：所述数据流分析模块可用代码分析、批量分析、逐条分析中的任一一种。
作为本发明一种数据监控集成系统再进一步的方案：代码分析，通过数据流分析模块根据数据的代码来进行分析，每个数据文件都有对应格式的数据代码，通过代码分析可将不同代码的数据分类；
批量分析，基于代码分析之上，可将数据记性批量分析；
逐条分析，基于代码分析之上，将每一条数据进行代码形式分子。
作为本发明一种数据监控集成系统再进一步的方案：所述监控组件包括更改数据模块、数据预警模块；
所述更改数据模块，用于对监控出现问题的数据进行更改；
所述数据预警模块，可及时的发出预警信号。
作为本发明一种数据监控集成系统再进一步的方案：所述监控组件监控某表或者某字段分为多个独立运营的引擎，每个引擎可对数据进行多元化和可视化的实时监控。
与现有技术相比，本发明的有益效果是：
该种数据监控集成系统，该发明解决数据库数据监控过程，使用流式读取，可以减少资源占用和不稳定的情况，并且使用及时分析，可以快速获取数据和降低数据耦合度，集成成熟组件，完成数据快速查询，解决传统数据库大数据查询慢的问题。
附图说明
图1为实施例一种数据监控集成系统的流程示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行说明、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1，
请参阅图1，本发明实施例中，一种数据监控集成系统，其特征在于，包括集成开源组件,管理后台，监控组件，集成开源组件包括一级集成开源组件与二级集成开源组件。
其中，一级集成开源组件用canal表示，二级集成开源组件用elasticsearch。
一级集成开源组件，可作为从数据库，开启备份功能，然后获取接受二进制文件，并使用流读取，对文件进行分析，再获取数据的变化情况，将其数据注入到指定文件。
流读取可用字节流、字符流进行读取，字节流为：FileInputStream，FileOutputStream，字符流为：FileReader,FileWriter(用法与字节流基本相同，不写)
其、指定要读的文件目录及名称File file＝new File("文件路径")；创建文件读入流对象：FileInputStream fis＝new FileInputStream(file)；定义结束标志,可用字节数组读取int i＝0；while((i＝fis.read())！＝-1){//i就是从文件中读取的字节，读完后返回-1。
在进行二进制文件二进制文件时，可用search。
二级集成开源组件，指定读取用于一级集成开源组件输出的的文件，并且通过配置设置文件的名称。
其中，一级集成开源组件输出的的文件设置的名称可为：search，并且文件可在elasticsearch索引下使用管理后台对于索引数据进行搜索。
文件的名称在索引下使用管理后台对于索引数据进行搜索，并使用内置的接口对于查询进行组合，同时对此接口进行封装，在封装过程中可封装成不同的业务接口。
监控组件，用于监控在对内置的接口内置的接口不同的业务接口，并同步对某表或者某字段进行监控。
还包括推送数据模块，推送数据模块与监控组件相互关联，用于以短信或数据的方式推送达标的数据信息。
在本实施例中，集成开源组件canal,将自己伪装为从数据库，开启备份功能，然后去获取接受二进制文件binlog，使用流读取，对文件进行分析，获取数据的变化情况，然后将其数据注入到指定文件。
集成开源组件elasticsearch，然后指定读取用于上面输出的的文件，并且通过配置好项目的名称，如search项目则在elasticsearch索引下使用管理后台对于索引数据进行搜索，使用内置的接口对于查询进行组合，同时对此接口进行封装，如查询user则会安装组件要求做好，提供给后台，在此过程中封装成不同的业务接口，可以达到对于某表或者某字段的监控，了解数据的更改次数和每次更改的变量，并增加阀值预警和关注，对于某个数据达到标准量后可以进行推送和短信告知，提醒对应人员处理。完成主要业务中人员操作轨迹和数据画像，精准到毫秒和每次操作，对外提供数据分析的基本数据。
解决数据库数据监控过程，使用流式读取，可以减少资源占用和不稳定的情况，并且使用及时分析，可以快速获取数据和降低数据耦合度，集成成熟组件，完成数据快速查询，解决传统数据库大数据查询慢的问题。
实施例2，
结合实施例1，并与实施例1不同之处在于：一级集成开源组件包括多组数据流模块，并每组数据流模块单独对应数据流分析模块与储存模块；
多组数据流模块之间互不干扰，分别对接接收二进制文件，并将接收的二进制文件输送至相对应的数据流分析模块；
数据流分析模块，用于对数据流进行分析；储存模块与数据流分析模块藕连，用于储存分析后的数据。
数据流分析模块可用代码分析、批量分析、逐条分析中的任一一种。
其中，数据流分析模块，采用FileSystem对象的open方法来打开读取的文件代码，在终端一个namenode，并保存有相应数据块的一个副本时，该节点就会从本地datanode读取数据，DistributedFileSystem类返回一个FSDataInputStream对象(一个支持文件定位的输入流)给客户端并读取数据分析。
代码分析，通过数据流分析模块根据数据的代码来进行分析，每个数据文件都有对应格式的数据代码，通过代码分析可将不同代码的数据分类；
批量分析，基于代码分析之上，可将数据记性批量分析；
逐条分析，基于代码分析之上，将每一条数据进行代码形式分子。
批量批量分析，终端多个namenode，并保存有相应数据块的多个副本时，该节点就会从本地datanode读取数据，DistributedFileSystem类返回一个FSDataInputStream对象(一个支持文件定位的输入流)给客户端并读取数据分析。
逐条分析，采用FileSystem对象的open方法来打开读取的文件代码，在终端一个namenode，并保存有相应数据块的一个副本时，该节点就会从本地datanode读取数据，DistributedFileSystem类返回一个FSDataInputStream对象(一个支持文件定位的输入流)给客户端并读取数据分析，在通过DistributedFileSystem返回一个FSDataInputStream对象了，在进行同上分析。
实施例3、结合实施例1与实施例2，并与实施例1不同之处在于：监控组件包括更改数据模块、数据预警模块；更改数据模块，用于对监控出现问题的数据进行更改；数据预警模块，可及时的发出预警信号。
监控组件监控某表或者某字段分为多个独立运营的引擎，每个引擎可对数据进行多元化和可视化的实时监控。
综上，该种数据监控集成系统，该发明解决数据库数据监控过程，使用流式读取，可以减少资源占用和不稳定的情况，并且使用及时分析，可以快速获取数据和降低数据耦合度，集成成熟组件，完成数据快速查询，解决传统数据库大数据查询慢的问题。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明专利。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种数据监控集成系统，其特征在于，包括集成开源组件,管理后台，监控组件，所述集成开源组件包括一级集成开源组件与二级集成开源组件；
所述一级集成开源组件，可作为从数据库，开启备份功能，然后获取接受二进制文件，并使用流读取，对文件进行分析，再获取数据的变化情况，将其数据注入到指定文件；
所述二级集成开源组件，指定读取用于所述一级集成开源组件输出的的文件，并且通过配置设置文件的名称；
文件的名称在索引下使用所述管理后台对于索引数据进行搜索，并使用内置的接口对于查询进行组合，同时对此接口进行封装，在封装过程中可封装成不同的业务接口；
所述监控组件，用于监控在对内置的接口内置的接口不同的业务接口，并同步对某表或者某字段进行监控。
2.根据权利要求1所述的一种数据监控集成系统，其特征在于，还包括推送数据模块，所述推送数据模块与所述监控组件相互关联，用于以短信或数据的方式推送达标的数据信息。
3.根据权利要求1所述的一种数据监控集成系统，其特征在于，所述一级集成开源组件包括多组数据流模块，并每组数据流模块单独对应数据流分析模块与储存模块；
多组数据流模块之间互不干扰，分别对接接收二进制文件，并将接收的二进制文件输送至相对应的数据流分析模块；
数据流分析模块，用于对数据流进行分析；
储存模块与数据流分析模块藕连，用于储存分析后的数据。
4.根据权利要求3所述的一种数据监控集成系统，其特征在于，所述数据流分析模块可用代码分析、批量分析、逐条分析中的任一一种。
5.根据权利要求4所述的一种数据监控集成系统，其特征在于，代码分析，通过数据流分析模块根据数据的代码来进行分析，每个数据文件都有对应格式的数据代码，通过代码分析可将不同代码的数据分类；
批量分析，基于代码分析之上，可将数据记性批量分析；
逐条分析，基于代码分析之上，将每一条数据进行代码形式分子。
6.根据权利要求1所述的一种数据监控集成系统，其特征在于，所述监控组件包括更改数据模块、数据预警模块；
所述更改数据模块，用于对监控出现问题的数据进行更改；
所述数据预警模块，可及时的发出预警信号。
7.根据权利要求1所述的一种数据监控集成系统，其特征在于，所述监控组件监控某表或者某字段分为多个独立运营的引擎，每个引擎可对数据进行多元化和可视化的实时监控。
CN202011053622.2A 2020-09-29 2020-09-29 一种数据监控集成系统 Pending CN112181905A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011053622.2A CN112181905A (zh) 2020-09-29 2020-09-29 一种数据监控集成系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011053622.2A CN112181905A (zh) 2020-09-29 2020-09-29 一种数据监控集成系统

Publications (1)

Publication Number Publication Date
CN112181905A true CN112181905A (zh) 2021-01-05

Family

ID=73946390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011053622.2A Pending CN112181905A (zh) 2020-09-29 2020-09-29 一种数据监控集成系统

Country Status (1)

Country Link
CN (1) CN112181905A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871406A (zh) * 2018-12-28 2019-06-11 北京云杉信息技术有限公司 通用监控报表平台的设计方法
CN110197430A (zh) * 2019-06-06 2019-09-03 深圳萨摩耶互联网金融服务有限公司 一种基于资金业务系统的资金业务监控方法及系统
CN111352921A (zh) * 2020-02-19 2020-06-30 中国平安人寿保险股份有限公司 基于elk的慢查询监控方法、装置、计算机设备及存储介质
CN111414363A (zh) * 2020-03-13 2020-07-14 上海银赛计算机科技有限公司 适用于MySQL中客户数据的并行异构方法、系统、介质及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871406A (zh) * 2018-12-28 2019-06-11 北京云杉信息技术有限公司 通用监控报表平台的设计方法
CN110197430A (zh) * 2019-06-06 2019-09-03 深圳萨摩耶互联网金融服务有限公司 一种基于资金业务系统的资金业务监控方法及系统
CN111352921A (zh) * 2020-02-19 2020-06-30 中国平安人寿保险股份有限公司 基于elk的慢查询监控方法、装置、计算机设备及存储介质
CN111414363A (zh) * 2020-03-13 2020-07-14 上海银赛计算机科技有限公司 适用于MySQL中客户数据的并行异构方法、系统、介质及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘行行: "异构数据同步系统的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 08, pages 138 - 507 *

Similar Documents

Publication Publication Date Title
CN107506451B (zh) 用于数据交互的异常信息监控方法及装置
CN105183860B (zh) 数据同步方法和系统
CN108509326B (zh) 一种基于nginx日志的服务状态统计方法及系统
CN110543513B (zh) 分布式数据库增量数据同步方法、设备及存储介质
US8913264B2 (en) Method and system for storing and retrieving data
CN102368261A (zh) 一种可扩展的运维报表生成方法
CN114218218A (zh) 基于数据仓库的数据处理方法、装置、设备及存储介质
CN102857949A (zh) 一种规划数据一致性保证的方法和装置
CN114116762A (zh) 一种离线数据模糊搜索方法、装置、设备和介质
CN112699183A (zh) 数据处理方法、系统、可读存储介质及计算机设备
CN112181905A (zh) 一种数据监控集成系统
US20120173555A1 (en) Method and device for realizing the statistic operation of call record information performance
CN110309206B (zh) 订单信息采集方法及系统
CN116431611A (zh) 一种基于自定义规则的自动化数据处理模块开发方法
CN112306421B (zh) 一种用于存储分析测量数据格式mdf文件的方法和系统
CN115114316A (zh) 一种高并发数据的处理方法、装置、集群和存储介质
CN114238398A (zh) 日志分析方法、装置、电子设备和存储介质
CN112597207B (zh) 一种元数据管理系统
CN116860772A (zh) 数据查询方法、装置、计算机设备和存储介质
CN115914379B (zh) 一种数据交换装置及数据交换系统
CN116644039B (zh) 一种基于大数据的在线能力运营日志自动采集分析的方法
CN116028573A (zh) 数据双向同步方法和系统
CN117874033A (zh) 数据库分表方法、装置、电子设备及存储介质
CN113946486A (zh) 一种基于Kubernetes容器技术的MongoDB数据库监控方法
CN110019109B (zh) 用于处理数据仓库数据的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220507

Address after: No. 36 and 37, 11th floor, Seattle business building, No. 69, Xi'an south road, Jinniu District, Chengdu, Sichuan 610000

Applicant after: SICHUAN BUSINESS EASY CO.,LTD.

Address before: No. 1506, 15th floor, unit 1, building 2, No. 1537, middle section of Jiannan Avenue, high tech Zone, Chengdu, Sichuan 610000

Applicant before: Chengdu Shangtong Digital Technology Co.,Ltd.

TA01 Transfer of patent application right