CN107947975A - 一种采集数据的方法以及装置 - Google Patents

一种采集数据的方法以及装置 Download PDF

Info

Publication number
CN107947975A
CN107947975A CN201711146779.8A CN201711146779A CN107947975A CN 107947975 A CN107947975 A CN 107947975A CN 201711146779 A CN201711146779 A CN 201711146779A CN 107947975 A CN107947975 A CN 107947975A
Authority
CN
China
Prior art keywords
client
server
interactive command
daily record
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711146779.8A
Other languages
English (en)
Inventor
黄朝顺
万月亮
王梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruian Technology Co Ltd
Original Assignee
Beijing Ruian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruian Technology Co Ltd filed Critical Beijing Ruian Technology Co Ltd
Priority to CN201711146779.8A priority Critical patent/CN107947975A/zh
Publication of CN107947975A publication Critical patent/CN107947975A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer And Data Communications (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明为一种采集数据的方法以及装置，实施例公开了一种接收客户端发送的交互命令；所述服务器判断是否是所述交互命令的结束命令；若所述服务器判断是所述交互命令的结束命令，则所述服务器根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。从而可以准确的展示集群数据量统计信息和数据集统计数据，并且可以对各集群运行情况、处理速度和硬件资源占用情况进行实时监控。

Description

一种采集数据的方法以及装置
技术领域
本发明实施例涉及数据处理的技术领域，尤其涉及一种采集数据的方法以及装置。
背景技术
在大数据产品运维日常工作中，经常会出现数据异常的情况，在分析这些异常原因时，发现数据会在很多环节出错，比如YCL、kafka、storm、solr、Hadoop等。而定位这些原因往往会花费开发人员很大的精力，有时甚至会出现查找一个原因团队所有人都出动的情况。通过逐项排查各节点查找数据异常的方法越来越困难，效率也很低。
发明内容
本发明实施例的目的在于提出一种采集数据的方法以及装置，旨在解决需要开发出一套高效、可靠、具有整合性的运维产品。
为达此目的，本发明实施例采用以下技术方案：
第一方面，一种采集数据的方法，所述方法包括：
服务器接收客户端发送的交互命令；
所述服务器判断是否是所述交互命令的结束命令；
若所述服务器判断是所述交互命令的结束命令，则所述服务器根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。
可选地，所述方法还包括：
当所述客户端发起所述交互命令时，所述客户端根据预设信息中的服务器标识、日志类型、日志路径创建对所述客户端的连接，并根据所述预设信息组织通信协议的消息头。
可选地，所述服务器与所述客户端交互、发送日志，包括：
所述服务器根据所述消息头的内容，所述服务器获取对应类型或者路径下的日志。
可选地，所述方法还包括：
若所述消息头是实时类型的消息，所述客户端需将通信协议中的时间间隔指定为目标更新时间。
可选地，所述服务器与所述客户端交互、发送日志，包括：
若所述消息头是实时类型的消息，则所述服务器采集到日志后，根据所需的数据类型，将相应的数据传输发送给client端。
可选地，所述方法还包括：
若所述服务器判断不是所述交互命令的结束命令，则所述服务器退出采集数据的流程。
第二方面，一种采集数据的装置，所述装置包括：
接收模块，用于接收客户端发送的交互命令；
判断模块，用于判断是否是所述交互命令的结束命令；
发送模块，用于若所述服务器判断是所述交互命令的结束命令，则根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。
可选地，所述装置还包括：
创建模块，用于当所述客户端发起所述交互命令时，根据预设信息中的服务器标识、日志类型、日志路径创建对所述客户端的连接，并根据所述预设信息组织通信协议的消息头；
所述发送模块，具体用于：
根据所述消息头的内容，获取对应类型或者路径下的日志。
可选地，所述装置还包括：处理模块，用于若所述消息头是实时类型的消息，需将通信协议中的时间间隔指定为目标更新时间；
所述发送模块，具体用于：
若所述消息头是实时类型的消息，则采集到日志后，根据所需的数据类型，将相应的数据传输发送给client端。
可选地，所述装置还包括：
退出模块，用于若所述服务器判断不是所述交互命令的结束命令，则退出采集数据的流程。
本发明实施例的有益效果为：可以准确的展示集群数据量统计信息和数据集统计数据，并且可以对各集群运行情况、处理速度和硬件资源占用情况进行实时监控。作为数据中心平台必不可少的辅助监测工具，不仅能为运维人员提供高效、可靠的数据反馈，减少集群发生问题时的故障排除时间，且为以后运维功能的逐渐完善打造了一个良好的基础。
附图说明
图1是本发明实施例提供的一种采集数据的方法的流程示意图；
图2是本发明实施例提供的一种采集数据的方法的交互流程示意图；
图3是本发明实施例提供的一种采集数据的装置的功能模块示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。
参考图1，图1是本发明实施例提供的一种采集数据的方法的流程示意图。如图1所示，所述采集数据的方法包括：
步骤110，服务器接收客户端发送的交互命令；
步骤120，所述服务器判断是否是所述交互命令的结束命令；
步骤130，若所述服务器判断是所述交互命令的结束命令，则所述服务器根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。
第一种方式：所述方法还包括：
当所述客户端发起所述交互命令时，所述客户端根据预设信息中的服务器标识、日志类型、日志路径创建对所述客户端的连接，并根据所述预设信息组织通信协议的消息头。
所述服务器与所述客户端交互、发送日志，包括：
所述服务器根据所述消息头的内容，所述服务器获取对应类型或者路径下的日志。
第二种方式：所述方法还包括：
若所述消息头是实时类型的消息，所述客户端需将通信协议中的时间间隔指定为目标更新时间。
所述服务器与所述客户端交互、发送日志，包括：
若所述消息头是实时类型的消息，则所述服务器采集到日志后，根据所需的数据类型，将相应的数据传输发送给client端。
可选地，所述方法还包括：
若所述服务器判断不是所述交互命令的结束命令，则所述服务器退出采集数据的流程。
示例性的，当程序启动后会读取并保存配置文件中的相关信息，当client发起获取数据时，根据保存的配置文件中相关的server ip、采集日志类型、日志路径来创建对server端的连接，并根据这些信息组织通信协议的消息头，如果是实时类型的消息，还需将通信协议中的时间间隔指定为目标更新时间；server端根据接收到的通信协议消息头中的内容，去获取相应类型、相应路径下的日志。如果是实时日志就取相应时间段内的日志，如果是前一天类型日志就取其一天的日志，server端采集到日志后，根据所需的数据类型，将相应的数据通过数据传输发送给client端。
示例性的，如图2所示，步骤210，服务器接收客户端发送的交互命令；
步骤220，服务器判断是否是交互命令的接收命令；
步骤230，若否，则服务器根据接收到的客户端发送的协议头中的日志类型、日志路径等信息，与客户端开始交互、发送日志；
步骤240，若是，则退出。
本发明实施例的有益效果为：可以准确的展示集群数据量统计信息和数据集统计数据，并且可以对各集群运行情况、处理速度和硬件资源占用情况进行实时监控。作为数据中心平台必不可少的辅助监测工具，不仅能为运维人员提供高效、可靠的数据反馈，减少集群发生问题时的故障排除时间，且为以后运维功能的逐渐完善打造了一个良好的基础。
参考图3，图3是本发明实施例提供的一种采集数据的装置的功能模块示意图。如图3所示，所述采集数据的装置包括：
接收模块310，用于接收客户端发送的交互命令；
判断模块320，用于判断是否是所述交互命令的结束命令；
发送模块330，用于若所述服务器判断是所述交互命令的结束命令，则根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。
第一种方式：所述装置还包括：
创建模块，用于当所述客户端发起所述交互命令时，根据预设信息中的服务器标识、日志类型、日志路径创建对所述客户端的连接，并根据所述预设信息组织通信协议的消息头；
所述发送模块330，具体用于：
根据所述消息头的内容，获取对应类型或者路径下的日志。
第二种方式：所述装置还包括：处理模块，用于若所述消息头是实时类型的消息，需将通信协议中的时间间隔指定为目标更新时间；
所述发送模块330，具体用于：
若所述消息头是实时类型的消息，则采集到日志后，根据所需的数据类型，将相应的数据传输发送给client端。
可选地，所述装置还包括：
退出模块，用于若所述服务器判断不是所述交互命令的结束命令，则退出采集数据的流程。
以上结合具体实施例描述了本发明实施例的技术原理。这些描述只是为了解释本发明实施例的原理，而不能以任何方式解释为对本发明实施例保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明实施例的其它具体实施方式，这些方式都将落入本发明实施例的保护范围之内。

Claims (10)

1.一种采集数据的方法，其特征在于，所述方法包括：
服务器接收客户端发送的交互命令；
所述服务器判断是否是所述交互命令的结束命令；
若所述服务器判断是所述交互命令的结束命令，则所述服务器根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述客户端发起所述交互命令时，所述客户端根据预设信息中的服务器标识、日志类型、日志路径创建对所述客户端的连接，并根据所述预设信息组织通信协议的消息头。
3.根据权利要求2所述的方法，其特征在于，所述服务器与所述客户端交互、发送日志，包括：
所述服务器根据所述消息头的内容，所述服务器获取对应类型或者路径下的日志。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
若所述消息头是实时类型的消息，所述客户端需将通信协议中的时间间隔指定为目标更新时间。
5.根据权利要求4所述的方法，其特征在于，所述服务器与所述客户端交互、发送日志，包括：
若所述消息头是实时类型的消息，则所述服务器采集到日志后，根据所需的数据类型，将相应的数据传输发送给client端。
6.根据权利要求1至5任意一项所述的方法，其特征在于，所述方法还包括：
若所述服务器判断不是所述交互命令的结束命令，则所述服务器退出采集数据的流程。
7.一种采集数据的装置，其特征在于，所述装置包括：
接收模块，用于接收客户端发送的交互命令；
判断模块，用于判断是否是所述交互命令的结束命令；
发送模块，用于若所述服务器判断是所述交互命令的结束命令，则根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
创建模块，用于当所述客户端发起所述交互命令时，根据预设信息中的服务器标识、日志类型、日志路径创建对所述客户端的连接，并根据所述预设信息组织通信协议的消息头；
所述发送模块，具体用于：
根据所述消息头的内容，获取对应类型或者路径下的日志。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：处理模块，用于若所述消息头是实时类型的消息，需将通信协议中的时间间隔指定为目标更新时间；
所述发送模块，具体用于：
若所述消息头是实时类型的消息，则采集到日志后，根据所需的数据类型，将相应的数据传输发送给client端。
10.根据权利要求7至9任意一项所述的装置，其特征在于，所述装置还包括：
退出模块，用于若所述服务器判断不是所述交互命令的结束命令，则退出采集数据的流程。
CN201711146779.8A 2017-11-17 2017-11-17 一种采集数据的方法以及装置 Pending CN107947975A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711146779.8A CN107947975A (zh) 2017-11-17 2017-11-17 一种采集数据的方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711146779.8A CN107947975A (zh) 2017-11-17 2017-11-17 一种采集数据的方法以及装置

Publications (1)

Publication Number Publication Date
CN107947975A true CN107947975A (zh) 2018-04-20

Family

ID=61931787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711146779.8A Pending CN107947975A (zh) 2017-11-17 2017-11-17 一种采集数据的方法以及装置

Country Status (1)

Country Link
CN (1) CN107947975A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101022662A (zh) * 2007-02-26 2007-08-22 华为技术有限公司 一种呼叫日志服务器、系统及其方法
CN104539630A (zh) * 2015-01-19 2015-04-22 北京网秦天下科技有限公司 在windows客户端上查看linux日志文件的方法以及装置
US20170104764A1 (en) * 2015-10-13 2017-04-13 Yahoo!, Inc. Fraud prevention
CN106777371A (zh) * 2017-01-23 2017-05-31 北京齐尔布莱特科技有限公司 日志收集系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101022662A (zh) * 2007-02-26 2007-08-22 华为技术有限公司 一种呼叫日志服务器、系统及其方法
CN104539630A (zh) * 2015-01-19 2015-04-22 北京网秦天下科技有限公司 在windows客户端上查看linux日志文件的方法以及装置
US20170104764A1 (en) * 2015-10-13 2017-04-13 Yahoo!, Inc. Fraud prevention
CN106777371A (zh) * 2017-01-23 2017-05-31 北京齐尔布莱特科技有限公司 日志收集系统和方法

Similar Documents

Publication Publication Date Title
KR102189829B1 (ko) 네트워크 보안 모니터링 방법, 네트워크 보안 모니터링 장치 및 시스템
CN113112086B (zh) 一种基于边缘计算和标识解析的智能生产系统
US10733037B2 (en) STAB: smart triaging assistant bot for intelligent troubleshooting
EP3366006B1 (en) Triggered in-band operations, administration, and maintenance in a network environment
CN104022904B (zh) 分布式机房it设备统一管理平台
CN109144014A (zh) 工业设备运行状况的检测系统及方法
CN109246223A (zh) 一种纺织机械远程运维系统及其实现方法
CN106355785B (zh) 一种状态监控系统
CN103546343B (zh) 网络流量分析系统的网络流量展示方法和系统
US11165707B2 (en) Dynamic policy implementation for application-aware routing based on granular business insights
US20100042565A1 (en) Mezzazine in-depth data analysis facility
CN106055608A (zh) 自动采集和分析交换机日志的方法和装置
CN111431773A (zh) 一种基于OpenTracing的链路跟踪方法
US20210184937A1 (en) Auto discovery of network proxies
US11659449B2 (en) Machine learning-based network analytics, troubleshoot, and self-healing holistic telemetry system incorporating modem-embedded machine analysis of multi-protocol stacks
US10931513B2 (en) Event-triggered distributed data collection in a distributed transaction monitoring system
CN103532795A (zh) 一种检测web业务系统可用性的监控系统及方法
CN105071954A (zh) 基于探针技术的资源池故障诊断与定位处理方法
Anton et al. Highly scalable and flexible model for effective aggregation of context-based data in generic IIoT scenarios
CN105357071A (zh) 一种网络复杂流量识别方法及识别系统
US11327817B2 (en) Automatic scope configuration of monitoring agents for tracking missing events at runtime
CN107947975A (zh) 一种采集数据的方法以及装置
CN106526052A (zh) 一种变压器油色谱网状在线监测数据分析系统
CN107846319A (zh) 一种传输数据的方法以及装置
CN103222232A (zh) 适用于监测数据网络数据流的数据采集装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180420

RJ01 Rejection of invention patent application after publication