CN109271271A - 基于Linux周期性命令的远程日志获取方法及系统 - Google Patents

基于Linux周期性命令的远程日志获取方法及系统 Download PDF

Info

Publication number
CN109271271A
CN109271271A CN201811158255.5A CN201811158255A CN109271271A CN 109271271 A CN109271271 A CN 109271271A CN 201811158255 A CN201811158255 A CN 201811158255A CN 109271271 A CN109271271 A CN 109271271A
Authority
CN
China
Prior art keywords
log
journal
linux
machine
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811158255.5A
Other languages
English (en)
Inventor
班浩然
郝丕佳
刘长升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Wave Cloud Mdt Infotech Ltd
Original Assignee
Shandong Wave Cloud Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Wave Cloud Mdt Infotech Ltd filed Critical Shandong Wave Cloud Mdt Infotech Ltd
Priority to CN201811158255.5A priority Critical patent/CN109271271A/zh
Publication of CN109271271A publication Critical patent/CN109271271A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0787—Storage of error reports, e.g. persistent data storage, storage using memory protection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3017—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is implementing multitasking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于Linux周期性命令的远程日志获取方法及系统，属于计算机技术领域。本发明的基于Linux周期性命令的远程日志获取方法，使用Linux周期性命令crontab定制周期化任务，利用自动化交互工具expect实现命令crontab自动化执行。该发明的基于Linux周期性命令的远程日志获取方法可以解决分布式集群的日志的散乱问题，降低日志获取门槛，具有很好的推广应用价值。

Description

基于Linux周期性命令的远程日志获取方法及系统
技术领域
本发明涉及计算机技术领域，具体提供一种基于Linux周期性命令的远程日志获取方法及系统。
背景技术
Linux系统日志非常重要，后台运行的程序（通常被称为守护进程或者服务进程）处理了Linux系统中的大部分任务。当这些守护进程工作时，它们将任务的详细信息记录进日志文件中，为这些进程的行为做了详细记录，包括执行的命令和执行结果，以及进程本身的状态。这些守护进程的工作内容涵盖从使用原子钟到管理网络连接。所有这些都被记录进日志文件，这样当有错误发生时，可以通过查阅特定的日志文件来检索问题所在。现有技术中，Linux服务器的日志文件定时拉取，常会出现分布式集群的日志的散乱问题。
发明内容
本发明的技术任务是针对上述存在的问题，提供一种可以解决分布式集群的日志的散乱问题，降低日志获取门槛的基于Linux周期性命令的远程日志获取方法。
本发明进一步的技术问题是提供一种基于Linux周期性命令的远程日志获取系统。
为实现上述目的，本发明提供了如下技术方案：
一种基于Linux周期性命令的远程日志获取方法，所述方法使用Linux周期性命令crontab定制周期化任务，利用自动化交互工具expect实现命令crontab自动化执行。
作为优选，所述方法具体包括以下步骤：
S1：定义需要监控的服务器列表、服务器root密码及需要获取的日志目录或日志文件；
S2：生成本机的日志收集目录，后续收集的日志都存放至本机的日志收集目录，在本机的日志收集目录下针对每个服务器创建子目录，用于分类不同目标主机的日志；
S3：使用crontab工具根据收集日志的需求创建定时或周期性任务，执行日志收集脚本；
S4：循环服务器列表，使用expect自动化交互工具拷贝远程目标服务器的日志至本机。
作为优选，本机发生重启时，系统重新读取crontab内容。
作为优选，步骤S1中，通过txt文件定义需要监控的服务器列表、服务器root密码及需要获取的日志目录或日志文件。
作为优选，使用expect编写自动化脚本，完成远程主机的自动登录及拷贝远程目标服务器的日志至本机。
基于Linux周期性命令的远程日志获取系统，包括以下模块：
定义模块：用于定义需要监控的服务器列表、服务器root密码及需要获取的日志目录或日志文件；
日志收集目录出生成模块：用于生成本机的日志收集目录；
日志收集脚本模块：用于执行日志收集脚本；
日志拷贝模块：用于拷贝远程目标服务器的日志至本机。
作为优选，定义模块通过txt文件定义需要监控的服务器列表、服务器root密码及需要获取的日志目录或日志文件。
作为优选，日志收集目录出生成模块生成本机的日志收集目录，后续收集的日志都存放至本机的日志收集目录，在本机的日志收集目录下针对每个服务器创建子目录，用于分类不同目标主机的日志。
作为优选，日志收集脚本模块使用crontab工具根据收集日志的需求创建定时或周期性任务，执行日志收集脚本，本机发生重启时，系统重新读取crontab内容。
作为优选，日志拷贝模块使用expect编写自动化脚本，完成远程主机的自动登录及拷贝远程目标服务器的日志至本机。
与现有技术相比，本发明的基于Linux周期性命令的远程日志获取方法具有以下突出的有益效果：所述基于Linux周期性命令的远程日志获取方法解决分布式集群的日志的散乱问题，大大简化了日志获取的难度，实现了即使不安装日志监控组件也可以轻松地实现日志获取以便集中处理， 达到日志集中的目的，具有良好的推广应用价值。
附图说明
图1是本发明所述基于Linux周期性命令的远程日志获取方法的流程图。
具体实施方式
下面将结合附图和实施例，对本发明的基于Linux周期性命令的远程日志获取方法及系统作进一步详细说明。
实施例
如图1所示，本发明的基于Linux周期性命令的远程日志获取方法，使用Linux周期性命令crontab定制周期化任务，利用自动化交互工具expect实现命令crontab自动化执行。具体包括以下步骤：
S1：定义需要监控的服务器列表、服务器root密码及需要获取的日志目录或日志文件。
其中通过txt文件定义需要监控的服务器列表、服务器root密码及需要获取的日志目录或日志文件。
S2：生成本机的日志收集目录，后续收集的日志都存放至本机的日志收集目录，在本机的日志收集目录下针对每个服务器创建子目录，用于分类不同目标主机的日志。
S3：使用crontab工具根据收集日志的需求创建定时或周期性任务，执行日志收集脚本。本机发生重启时，系统重新读取crontab内容。
S4：循环服务器列表，使用expect自动化交互工具拷贝远程目标服务器的日志至本机。
使用expect编写自动化脚本，完成远程主机的自动登录及拷贝远程目标服务器的日志至本机。
该方法通过基于Linux周期性命令的远程日志获取系统完成，基于Linux周期性命令的远程日志获取系统的定义模块：通过txt文件定义需要监控的服务器列表、服务器root密码及需要获取的日志目录或日志文件。日志收集目录出生成模块：生成本机的日志收集目录，后续收集的日志都存放至本机的日志收集目录，在本机的日志收集目录下针对每个服务器创建子目录，用于分类不同目标主机的日志。日志收集脚本模块：使用crontab工具根据收集日志的需求创建定时或周期性任务，执行日志收集脚本，本机发生重启时，系统重新读取crontab内容。日志拷贝模块：使用expect编写自动化脚本，完成远程主机的自动登录及拷贝远程目标服务器的日志至本机。
该方法解决分布式集群的日志的散乱问题，大大简化了日志获取的难度，实现了即使不安装日志监控组件也可以轻松地实现日志获取以便集中处理， 达到日志集中的目的，具有良好的推广应用价值。
本发明的基于Linux周期性命令的远程日志获取系统包括以下模块：
定义模块：通过txt文件定义需要监控的服务器列表、服务器root密码及需要获取的日志目录或日志文件。
日志收集目录出生成模块：生成本机的日志收集目录，后续收集的日志都存放至本机的日志收集目录，在本机的日志收集目录下针对每个服务器创建子目录，用于分类不同目标主机的日志。
日志收集脚本模块：使用crontab工具根据收集日志的需求创建定时或周期性任务，执行日志收集脚本，本机发生重启时，系统重新读取crontab内容。
日志拷贝模块：使用expect编写自动化脚本，完成远程主机的自动登录及拷贝远程目标服务器的日志至本机。
本发明的基于Linux周期性命令的远程日志获取系统远程日志获取方法的过程包括以下步骤：
S1：定义需要监控的服务器列表、服务器root密码及需要获取的日志目录或日志文件。
其中通过txt文件定义需要监控的服务器列表、服务器root密码及需要获取的日志目录或日志文件。
S2：生成本机的日志收集目录，后续收集的日志都存放至本机的日志收集目录，在本机的日志收集目录下针对每个服务器创建子目录，用于分类不同目标主机的日志。
S3：使用crontab工具根据收集日志的需求创建定时或周期性任务，执行日志收集脚本。本机发生重启时，系统重新读取crontab内容。
S4：循环服务器列表，使用expect自动化交互工具拷贝远程目标服务器的日志至本机。
使用expect编写自动化脚本，完成远程主机的自动登录及拷贝远程目标服务器的日志至本机。
以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (10)

1.基于Linux周期性命令的远程日志获取方法，其特征在于：所述方法使用Linux周期性命令crontab定制周期化任务，利用自动化交互工具expect实现命令crontab自动化执行。
2.根据权利要求1所述的基于Linux周期性命令的远程日志获取方法，其特征在于：所述方法具体包括以下步骤：
S1：定义需要监控的服务器列表、服务器root密码及需要获取的日志目录或日志文件；
S2：生成本机的日志收集目录，后续收集的日志都存放至本机的日志收集目录，在本机的日志收集目录下针对每个服务器创建子目录，用于分类不同目标主机的日志；
S3：使用crontab工具根据收集日志的需求创建定时或周期性任务，执行日志收集脚本；
S4：循环服务器列表，使用expect自动化交互工具拷贝远程目标服务器的日志至本机。
3.根据权利要求2所述的基于Linux周期性命令的远程日志获取方法，其特征在于：本机发生重启时，系统重新读取crontab内容。
4.根据权利要求3所述的基于Linux周期性命令的远程日志获取方法，其特征在于：步骤S1中，通过txt文件定义需要监控的服务器列表、服务器root密码及需要获取的日志目录或日志文件。
5.根据权利要求4所述的基于Linux周期性命令的远程日志获取方法，其特征在于：使用expect编写自动化脚本，完成远程主机的自动登录及拷贝远程目标服务器的日志至本机。
6.基于Linux周期性命令的远程日志获取系统，其特征在于：包括以下模块：
定义模块：用于定义需要监控的服务器列表、服务器root密码及需要获取的日志目录或日志文件；
日志收集目录出生成模块：用于生成本机的日志收集目录；
日志收集脚本模块：用于执行日志收集脚本；
日志拷贝模块：用于拷贝远程目标服务器的日志至本机。
7.根据权利要求6所述的基于Linux周期性命令的远程日志获取系统，其特征在于：定义模块通过txt文件定义需要监控的服务器列表、服务器root密码及需要获取的日志目录或日志文件。
8.根据权利要求6或7所述的基于Linux周期性命令的远程日志获取系统，其特征在于：日志收集目录出生成模块生成本机的日志收集目录，后续收集的日志都存放至本机的日志收集目录，在本机的日志收集目录下针对每个服务器创建子目录，用于分类不同目标主机的日志。
9.根据权利要求8所述的基于Linux周期性命令的远程日志获取系统，其特征在于：日志收集脚本模块使用crontab工具根据收集日志的需求创建定时或周期性任务，执行日志收集脚本，本机发生重启时，系统重新读取crontab内容。
10.根据权利要求9所述的基于Linux周期性命令的远程日志获取系统，其特征在于：日志拷贝模块使用expect编写自动化脚本，完成远程主机的自动登录及拷贝远程目标服务器的日志至本机。
CN201811158255.5A 2018-09-30 2018-09-30 基于Linux周期性命令的远程日志获取方法及系统 Pending CN109271271A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811158255.5A CN109271271A (zh) 2018-09-30 2018-09-30 基于Linux周期性命令的远程日志获取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811158255.5A CN109271271A (zh) 2018-09-30 2018-09-30 基于Linux周期性命令的远程日志获取方法及系统

Publications (1)

Publication Number Publication Date
CN109271271A true CN109271271A (zh) 2019-01-25

Family

ID=65195899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811158255.5A Pending CN109271271A (zh) 2018-09-30 2018-09-30 基于Linux周期性命令的远程日志获取方法及系统

Country Status (1)

Country Link
CN (1) CN109271271A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897710A (zh) * 2020-08-21 2020-11-06 中国工商银行股份有限公司 定时任务诊断方法及装置
CN112597131A (zh) * 2020-12-25 2021-04-02 广州趣丸网络科技有限公司 一种分布式脚本控制方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103092754A (zh) * 2013-01-07 2013-05-08 上海斐讯数据通信技术有限公司 一种远程多设备情况的自动化测试方法
CN104518917A (zh) * 2015-01-26 2015-04-15 浪潮通信信息系统有限公司 一种服务器自动巡检方法
CN104954189A (zh) * 2015-07-07 2015-09-30 上海斐讯数据通信技术有限公司 一种服务器集群的自动检测方法和系统
CN105740102A (zh) * 2016-02-02 2016-07-06 北京京东尚科信息技术有限公司 用于数据备份的设备及其中的方法
CN107895107A (zh) * 2017-12-21 2018-04-10 郑州云海信息技术有限公司 一种批量设置bmc用户名和密码的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103092754A (zh) * 2013-01-07 2013-05-08 上海斐讯数据通信技术有限公司 一种远程多设备情况的自动化测试方法
CN104518917A (zh) * 2015-01-26 2015-04-15 浪潮通信信息系统有限公司 一种服务器自动巡检方法
CN104954189A (zh) * 2015-07-07 2015-09-30 上海斐讯数据通信技术有限公司 一种服务器集群的自动检测方法和系统
CN105740102A (zh) * 2016-02-02 2016-07-06 北京京东尚科信息技术有限公司 用于数据备份的设备及其中的方法
CN107895107A (zh) * 2017-12-21 2018-04-10 郑州云海信息技术有限公司 一种批量设置bmc用户名和密码的方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897710A (zh) * 2020-08-21 2020-11-06 中国工商银行股份有限公司 定时任务诊断方法及装置
CN112597131A (zh) * 2020-12-25 2021-04-02 广州趣丸网络科技有限公司 一种分布式脚本控制方法及相关装置

Similar Documents

Publication Publication Date Title
CN108521339B (zh) 一种基于集群日志的反馈式节点故障处理方法及系统
CN101694626B (zh) 脚本执行系统及方法
CN1959717B (zh) 订单驱动的海量遥感数据集群化预处理系统及其方法
US9590880B2 (en) Dynamic collection analysis and reporting of telemetry data
CN103324534B (zh) 作业调度方法及其调度器
US9811445B2 (en) Methods and systems for the use of synthetic users to performance test cloud applications
CN111209258A (zh) 税务端系统日志实时分析方法、设备、介质及系统
CN107066370A (zh) 一种自动监控并收集故障硬盘日志的工具及方法
CN104182288A (zh) 一种服务器集群系统功耗自动化测试的方法
US10756947B2 (en) Batch logging in a distributed memory
CN102567185B (zh) 一种应用服务器的监控方法
US20130066869A1 (en) Computer system, method of managing a client computer, and storage medium
Jassas et al. Failure analysis and characterization of scheduling jobs in google cluster trace
CN105205167A (zh) 一种日志数据系统
CN109271271A (zh) 基于Linux周期性命令的远程日志获取方法及系统
CN104317857A (zh) 一种房屋信息采集服务系统
CN110162563B (zh) 一种数据入库方法、系统及电子设备和存储介质
Yang et al. An end-to-end and adaptive i/o optimization tool for modern hpc storage systems
US10785102B2 (en) Modifying distributed application based on cloud diagnostic data
CN102546235A (zh) 云计算环境下面向web应用的性能诊断方法和系统
CN109710263A (zh) 代码的编译方法、装置、存储介质及电子设备
CN112579552A (zh) 日志存储及调用方法、装置及系统
CN105630421A (zh) 磁盘分区格式化的方法及装置
JP2012208565A (ja) ログ管理方法、ログ管理装置、及びプログラム
Singh Cluster-level logging of containers with containers: Logging challenges of container-based cloud deployments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190125

RJ01 Rejection of invention patent application after publication