CN109960621A - 一种基于大数据可视化监控平台的数据抽取方法 - Google Patents

一种基于大数据可视化监控平台的数据抽取方法 Download PDF

Info

Publication number
CN109960621A
CN109960621A CN201711399299.2A CN201711399299A CN109960621A CN 109960621 A CN109960621 A CN 109960621A CN 201711399299 A CN201711399299 A CN 201711399299A CN 109960621 A CN109960621 A CN 109960621A
Authority
CN
China
Prior art keywords
information
data
connection number
server
way
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711399299.2A
Other languages
English (en)
Inventor
石光捷
张良
付飞龙
张晓莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xinwang Internetwork Technology Co Ltd
Original Assignee
Nanjing Xinwang Internetwork Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xinwang Internetwork Technology Co Ltd filed Critical Nanjing Xinwang Internetwork Technology Co Ltd
Priority to CN201711399299.2A priority Critical patent/CN109960621A/zh
Publication of CN109960621A publication Critical patent/CN109960621A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/321—Display for diagnostics, e.g. diagnostic result display, self-test user interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24561—Intermediate data storage techniques for performance improvement

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明具体涉及一种对可视化监控平台的数据抽取方法，包括：S1：对JEE中间件系统运行信息抽取。S2：Zabbix环境采集的各类软硬件运行信息：S3：对App客户端状态信息的抽取，通过在客户端App中代码埋点的方式来完成。S4：服务接口方法调用信息：采用在服务端代码埋点的方式采集服务执行情况信息的抽取。（1）本方法在对JEE中间件系统运行信息抽取采用组件dropwizard.metrics定时生成日志文件的方式，能够兼容不同的厂商的标准和不同的版本。本方法使用metricbeat采集程序机器和中间件信息，定时向Redis发送信息，logstash处理消息后存储数据，采集速度快，缓解处理器的运行压力。

Description

一种基于大数据可视化监控平台的数据抽取方法
技术领域
本发明属于电信运营商电子渠道与互联网通信软件领域，具体涉及一种基于大数据可视化监控平台的数据抽取方法。
背景技术
可视化监控平台是通过系统的监控日志，分析并展现当前系统各种状态的平台环境，通过从系统的运行节点获取的日志信息，并对其进行收集清洗、汇总并转换后，将这些信息存储在分布式的搜索引擎环境中，然后通过对这些信息进行分析，最终以图表等方式展现或通知给运维以及系统开发人员，从而为提升系统稳定性、高可用性等指标提供有效的参考依据。在监控过程中首先涉及到对数据的抽取，完整准确全面的数据抽取是监控的基础。因此需要一种能针对监控平台数据抽取方法。
发明内容
1、所要解决的技术问题：
本发明提供一种基于大数据可视化监控平台的数据抽取方法。所述数据抽取又称为数据收集，是可视化监控平台中，用于从最终监控目标点获取原始状态及监控信息的环节，该环节通过使用第三方监控工具以及主动埋点采集相结合的方式，将监控节点的状态以及各种运行信息记录到相应结构的监控日志中，从而完成监控信息抽取的过程。
2、技术方案：
一种基于大数据可视化监控平台的数据抽取方法，其特征在于：包括：
S1：对JEE中间件系统运行信息抽取：采用组件dropwizard.metrics定时生成日志文件的方式进行抽取。常用的JEE中间件包括：Oracle Weblogic、IBM Websphere和ApacheTomcat等。一般采取的收集的方式主要是采用各厂商提供的Mbean来获取，但是由于各厂商的标准和版本问题，这样可能需要针对不同服务器和不同的版本写不同的针对，所以本方法采用能够兼容不同中间件的组件dropwizard.metrics定时生成日志文件的方式。
S2：Zabbix环境采集的各类软硬件运行信息：利用Metricbeat软件对服务器的系统状态信息、Apache、HAProxy、MongoDB、MySQL、Nginx、PostgreSQL、Redis、Zookeeper进行数据的采集；所述系统状态信息包括服务器硬件、CPU、内存、磁盘、文件系统、网络；所述Apache信息包括连接数、CPU使用情况、负载情况、请求响应时长、总连接数，请求字节数、工作线程情况；所述HAProxy对连接数，内存、CPU、管理、Session数、连接数、请求字节数、请求状态、响应状态等实时状态信息；所述MongoDB对asserts、后台刷新、连接数、堆使用率、日志、内存、网络；所述MySQL对状态、binlog、字节数、sql命令执行个数分类统计、连接数、最大使用连接数、延迟、打开表、流、文件数、线程使用情况；所述Nginx主要对stubstatus进行采集，包括accepts、active、current、dropped、handled、hostname、reading、requests、waiting、writing；所述PostgreSQL对sql语句、缓存、检查点、数据库读写、sql命令执行个数分类统计、冲突、死锁、事务；所述Redis对客户端、集群状态、CPU、内存、持久化、复制、服务端的配置信息、命令处理数、连接数、keys总数、网络进出流量、发布/订阅统计、同步；所述Zookeeper对数据大小、临时数据个数、活动连接数、未完成的请求数、包发送和接收数。本方法使用metricbeat采集程序机器和中间件信息，定时向Redis发送信息，logstash处理消息后存储数据。
S3：App客户端信息抽取：当安装了指定App应用的移动终端，其各种运行及状态信息的抽取，包括移动设备的各种型号、内存、操作系统、卡槽信息、SIM卡信息内容，对App客户端状态信息的抽取，通过在客户端App中代码埋点的方式来完成。App客户端状态信息抽取是指安装了指定App应用的移动终端，其各种运行及状态信息的抽取，包括移动设备的各种型号、内存、操作系统、卡槽信息、SIM卡信息等内容，对App客户端状态信息的抽取，需要通过在客户端App中代码埋点的方式来完成。
S4：服务接口方法调用信息：采用在服务端代码埋点的方式采集服务执行情况信息的抽取。服务是指由开发人员编码的应用程序的某个开放的可调用接口方法（或称之为API），对服务执行情况信息的抽取，需要采用在服务端代码埋点的方式来完成。
3、有益效果：
（1）本方法在对JEE中间件系统运行信息抽取采用组件dropwizard.metrics定时生成日志文件的方式，能够兼容不同的厂商的标准和不同的版本。
（2）本方法使用metricbeat采集程序机器和中间件信息，定时向Redis发送信息，logstash处理消息后存储数据 ，采集速度快，缓解处理器的运行压力。
附图说明
图1为本发明的数据抽取过程框图；
图2为本发明中JEE中间件系统运行信息抽取的流程图；
图3为采集的各类软硬件运行信息的流程图；
图4为App客户端信息抽取的流程图；
图5为服务接口方法调用信息的流程图。
具体实施方式
下面结合附图对本发明进行说明。
如图所示，对于数据的抽取包括两大类APP客户端与服务器节点。其中App客户端信息的抽取是通过在Nginx+Lua的开发环境中进行代码埋点采集App应用的移动终端的各种运行及状态信息的抽取，包括移动设备的各种型号、内存、操作系统、卡槽信息、SIM卡信息内容，对App客户端状态信息的抽取。抽取结束后生成日志文件存储在缓存中。其中服务器节点包括软硬件系统环境，所示软硬件系统环境包括JEE服务中间件与Nginx服务器。对软硬件系统环境数据采集的结果生成相应的日志文件存储在缓存中。利用Metricbeat软件可以对服务器的系统状态信息、Apache、HAProxy、MongoDB、MySQL、Nginx、PostgreSQL、Redis、Zookeeper进行数据的采集。其中Metricbeat 是一个专门用来获取服务器或应用服务内部运行指标数据的收集程序。如图3为通过Metricbeat程序采集数据的流程图。
目前常用的JEE中间件包括：Oracle Weblogic、IBM Websphere和Apache Tomcat等。一般采取的收集的方式主要是采用各厂商提供的Mbean来获取，但是由于各厂商的标准和版本问题，这样可能需要针对不同服务器和不同的版本写不同的针对，所以在本方法中使用的是在采集的sdk中集成业内强大的性能采用组件dropwizard.metrics定时生成日志文件的方式。如图2所示的流程图。
App客户端包括：Android手机原生应用，IOS手机原生应用，H5应用。因此对移动设备埋点需要通过移动App采集SDK来完成，并需要在服务端架设Nginx+Lua环境的日志上传接收端，从而按照约定的格式及间隔时间，存储成为带时间戳的日志文件。具体采集流程如图4所示。
服务是指由开发人员编码的应用程序的某个开放的可调用接口方法（或称之为API），对服务执行情况信息的抽取，需要采用在服务端代码埋点的方式来完成。服务端埋点时，需要在每一个具体的服务接口方法中，通过调用日志采集SDK的相关方法生成日志内容，并按照约定的格式及间隔时间，存储成为带时间戳的日志文件，如图5所示。
虽然本发明已以较佳实施例公开如上，但它们并不是用来限定本发明的，任何熟习此技艺者，在不脱离本发明之精神和范围内，自当可作各种变化或润饰，因此本发明的保护范围应当以本申请的权利要求保护范围所界定的为准。

Claims (1)

1.一种基于大数据可视化监控平台的数据抽取方法，其特征在于：包括：
S1：对JEE中间件系统运行信息抽取：采用组件dropwizard.metrics定时生成日志文件的方式进行抽取；
S2：Zabbix环境采集的各类软硬件运行信息：利用Metricbeat软件对服务器的系统状态信息、Apache、HAProxy、MongoDB、MySQL、Nginx、PostgreSQL、Redis、Zookeeper进行数据的采集；所述系统状态信息包括服务器硬件、CPU、内存、磁盘、文件系统、网络；所述Apache信息包括连接数、CPU使用情况、负载情况、请求响应时长、总连接数，请求字节数、工作线程情况；所述HAProxy对连接数，内存、CPU、管理、Session数、连接数、请求字节数、请求状态、响应状态等实时状态信息；所述MongoDB对asserts、后台刷新、连接数、堆使用率、日志、内存、网络；所述MySQL对状态、binlog、字节数、sql命令执行个数分类统计、连接数、最大使用连接数、延迟、打开表、流、文件数、线程使用情况；所述Nginx主要对stubstatus进行采集，包括accepts、active、current、dropped、handled、hostname、reading、requests、waiting、writing；所述PostgreSQL对sql语句、缓存、检查点、数据库读写、sql命令执行个数分类统计、冲突、死锁、事务；所述Redis对客户端、集群状态、CPU、内存、持久化、复制、服务端的配置信息、命令处理数、连接数、keys总数、网络进出流量、发布/订阅统计、同步；所述Zookeeper对数据大小、临时数据个数、活动连接数、未完成的请求数、包发送和接收数；
S3：App客户端信息抽取：当安装了指定App应用的移动终端，其各种运行及状态信息的抽取，包括移动设备的各种型号、内存、操作系统、卡槽信息、SIM卡信息内容，对App客户端状态信息的抽取，通过在客户端App中代码埋点的方式来完成；
S4：服务接口方法调用信息：采用在服务端代码埋点的方式采集服务执行情况信息的抽取。
CN201711399299.2A 2017-12-22 2017-12-22 一种基于大数据可视化监控平台的数据抽取方法 Pending CN109960621A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711399299.2A CN109960621A (zh) 2017-12-22 2017-12-22 一种基于大数据可视化监控平台的数据抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711399299.2A CN109960621A (zh) 2017-12-22 2017-12-22 一种基于大数据可视化监控平台的数据抽取方法

Publications (1)

Publication Number Publication Date
CN109960621A true CN109960621A (zh) 2019-07-02

Family

ID=67018744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711399299.2A Pending CN109960621A (zh) 2017-12-22 2017-12-22 一种基于大数据可视化监控平台的数据抽取方法

Country Status (1)

Country Link
CN (1) CN109960621A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110888786A (zh) * 2019-10-23 2020-03-17 湖北九州云仓科技发展有限公司 一种运维监控系统
CN110909063A (zh) * 2019-11-28 2020-03-24 蜂助手股份有限公司 一种用户行为的分析方法、装置、应用服务器及存储介质
CN111176951A (zh) * 2019-12-31 2020-05-19 上海擎感智能科技有限公司 日志输出的配置/日志处理方法/系统、介质及服务器
CN112650865A (zh) * 2021-01-27 2021-04-13 南威软件股份有限公司 一种基于灵活规则解决多区域证照数据冲突的方法及系统
CN112804291A (zh) * 2020-12-21 2021-05-14 武汉虹旭信息技术有限责任公司 远程设备审计方法、装置及系统
CN112835969A (zh) * 2021-02-09 2021-05-25 浪潮云信息技术股份公司 一种对etl流转数据进行统计分析的方法
CN113342606A (zh) * 2021-06-07 2021-09-03 平安证券股份有限公司 基于消息中间件的数据监控方法、装置、设备和存储介质
CN113760658A (zh) * 2021-09-02 2021-12-07 山东派盟网络科技有限公司 一种监控方法、装置及设备
CN116929781A (zh) * 2023-06-12 2023-10-24 广州汽车集团股份有限公司 车辆评价方法、云端平台、车辆及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160019191A1 (en) * 2014-07-16 2016-01-21 International Business Machines Corporation Converting terminal-based legacy applications to web-based applications
CN105760281A (zh) * 2016-03-01 2016-07-13 浪潮软件集团有限公司 一种对Linux系统服务器的性能数据进行监控分析的方法
CN107026767A (zh) * 2017-03-30 2017-08-08 上海七牛信息技术有限公司 业务协议指标数据收集方法及系统
CN107046481A (zh) * 2017-04-18 2017-08-15 国网福建省电力有限公司 一种信息系统综合网管系统综合分析平台
CN107493208A (zh) * 2017-08-30 2017-12-19 苏州朗动网络科技有限公司 一种中大型业务系统的全链路性能监控方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160019191A1 (en) * 2014-07-16 2016-01-21 International Business Machines Corporation Converting terminal-based legacy applications to web-based applications
CN105760281A (zh) * 2016-03-01 2016-07-13 浪潮软件集团有限公司 一种对Linux系统服务器的性能数据进行监控分析的方法
CN107026767A (zh) * 2017-03-30 2017-08-08 上海七牛信息技术有限公司 业务协议指标数据收集方法及系统
CN107046481A (zh) * 2017-04-18 2017-08-15 国网福建省电力有限公司 一种信息系统综合网管系统综合分析平台
CN107493208A (zh) * 2017-08-30 2017-12-19 苏州朗动网络科技有限公司 一种中大型业务系统的全链路性能监控方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WZZKAIFA: ""dropwizard metrics - 基本使用介绍"", 《公开网址：HTTPS://WWW.SHUZHIDUO.COM/A/MAZAYYMYZ9/》 *
史兵 等: ""研究生信息平台中运维系统的设计与实现"", 《华东师范大学学报（自然科学版）》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110888786A (zh) * 2019-10-23 2020-03-17 湖北九州云仓科技发展有限公司 一种运维监控系统
CN110909063A (zh) * 2019-11-28 2020-03-24 蜂助手股份有限公司 一种用户行为的分析方法、装置、应用服务器及存储介质
CN111176951A (zh) * 2019-12-31 2020-05-19 上海擎感智能科技有限公司 日志输出的配置/日志处理方法/系统、介质及服务器
CN112804291A (zh) * 2020-12-21 2021-05-14 武汉虹旭信息技术有限责任公司 远程设备审计方法、装置及系统
CN112650865A (zh) * 2021-01-27 2021-04-13 南威软件股份有限公司 一种基于灵活规则解决多区域证照数据冲突的方法及系统
CN112835969A (zh) * 2021-02-09 2021-05-25 浪潮云信息技术股份公司 一种对etl流转数据进行统计分析的方法
CN113342606A (zh) * 2021-06-07 2021-09-03 平安证券股份有限公司 基于消息中间件的数据监控方法、装置、设备和存储介质
CN113760658A (zh) * 2021-09-02 2021-12-07 山东派盟网络科技有限公司 一种监控方法、装置及设备
CN116929781A (zh) * 2023-06-12 2023-10-24 广州汽车集团股份有限公司 车辆评价方法、云端平台、车辆及存储介质

Similar Documents

Publication Publication Date Title
CN109960621A (zh) 一种基于大数据可视化监控平台的数据抽取方法
JP6630276B2 (ja) 端末デバイスにおけるユーザインタフェースを用いたユーザ行動および関与の計測機
CN108156006B (zh) 一种埋点数据上报方法、装置及电子设备
US11477298B2 (en) Offline client replay and sync
CN109492073B (zh) 日志搜索方法、日志搜索装置和计算机可读存储介质
CN112162965B (zh) 一种日志数据处理的方法、装置、计算机设备及存储介质
JP2017504121A5 (zh)
CN109327357B (zh) 应用软件的特征提取方法、装置及电子设备
CN104778121A (zh) 游戏程序的测试方法、装置及系统
CN111694660B (zh) 云手机数据发送方法、计算机装置和存储介质
WO2019085307A1 (zh) 数据抽样方法、终端、设备以及计算机可读存储介质
US10775751B2 (en) Automatic generation of regular expression based on log line data
CN109144834B (zh) 用户行为数据的采集方法及装置、安卓系统及终端设备
CN109409948B (zh) 交易异常检测方法、装置、设备及计算机可读存储介质
CN108228664B (zh) 非结构化数据处理方法及装置
CN106713011B (zh) 一种获取测试数据的方法与系统
CN105553770B (zh) 一种数据采集控制方法和装置
CN105630662A (zh) 内存检测方法和装置
CN112232881A (zh) 一种数据检测方法、装置、电子设备及存储介质
CN111930472A (zh) 一种代码调试方法、装置、电子设备及存储介质
CN111047147B (zh) 一种业务流程自动采集方法及智能终端
CN111245880B (zh) 基于行为轨迹重建的用户体验监控方法及装置
CN105872731A (zh) 数据处理的方法和装置
CN117271584A (zh) 数据处理方法及装置、计算机可读存储介质和电子设备
CN115437710A (zh) WebIDE容器管理方法、WebIDE容器管理装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190702