CN111698109A - 监控日志的方法和装置 - Google Patents
监控日志的方法和装置 Download PDFInfo
- Publication number
- CN111698109A CN111698109A CN201910193455.2A CN201910193455A CN111698109A CN 111698109 A CN111698109 A CN 111698109A CN 201910193455 A CN201910193455 A CN 201910193455A CN 111698109 A CN111698109 A CN 111698109A
- Authority
- CN
- China
- Prior art keywords
- log
- monitored
- monitoring
- command
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000008569 process Effects 0.000 claims description 13
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0677—Localisation of faults
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了监控日志的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据待监控日志的标签，确定监控命令；执行所述监控命令，从路径注册集群中获取日志目录的路径地址；根据所述路径地址调用服务器集群，得到待监控日志。该实施方式克服了现有技术由于错误输入导致的监控日志不准确、增加了硬件资源的成本、占用大量带宽增大服务器间的网络压力、有可能会导致无法精确定位服务器的问题，进而达到更高效的监控日志、大大节省硬件资源和带宽、提高监控日志效率的有益效果。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种监控日志的方法和装置。
背景技术
当服务器出现问题时，开发人员根据任务运行的日志可以提高排查问题的效率。现有技术大多采用如下三种形式监控日志：
1、故障系统采用短信/邮件的形式发送报警信息，开发人员根据错误日志内容对服务器进行检查。
2、通过flume等日志收集工具，将各个服务器中的日志文件收集到特定的存储系统中进行日志查询。
3、通过在每个节点服务器中启动相应的监控模块，监控服务器的运行状态和各项指标。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
1、上述第一种方式需要登陆特定服务器查看具体的日志信息，容易由于命令误输入导致严重的后果。
2、上述第二种方法增加了硬件资源的成本、占用大量带宽增大服务器间的网络压力、有可能会导致无法精确定位服务器线上的问题。
3、上述第三种方法消耗集群的cpu和内存，造成资源的浪费。
发明内容
有鉴于此，本发明实施例提供一种监控日志的方法和装置，能够克服现有技术由于错误输入导致的监控日志不准确、增加了硬件资源的成本、占用大量带宽增大服务器间的网络压力、有可能会导致无法精确定位服务器的问题，进而达到更高效的监控日志、大大节省硬件资源和带宽、提高效率的有益效果。
为实现上述目的，根据本发明实施例的一个方面，提供了一种监控日志的方法，包括：
根据待监控日志的标签，确定监控命令；
执行所述监控命令，从路径注册集群中获取日志目录的路径地址；
根据所述路径地址调用服务器集群，得到待监控日志。
可选地，根据待监控日志的标签，确定监控命令之前，包括：
确定所述待监控日志的标签；
所述标签至少包括：集群方式、任务编号、开始时间、结束时间、日志级别、展示方式。
可选地，根据待监控日志的标签，确定监控命令，包括：
根据待监控日志的标签，分别确定各个标签对应的值；
根据各个标签及其对应的值，分别确定所述各个标签对应的指令；
将所述各个标签对应的指令进行整合，得到监控命令。
可选地，通过页面选择确定待监控日志的标签。
可选地，执行所述监控命令，从路径注册集群中获取日志目录的路径地址，还包括：
解析所述监控命令，生成用于查询路径注册集群的查询指令；
根据所述查询指令对所述路径注册集群执行查找操作；
将所述查找操作的结果确定为日志目录的路径地址。
可选地，根据所述日志目录调用服务器集群，得到待监控日志，包括：
将所述日志目录的路径地址解析为服务器命令；
对所述服务器命令进行命令校验，滤除非查询命令；
根据所述服务器命令，调用Java安全通道，在服务器集群中获取所述待监控日志。
可选地，根据所述日志目录调用服务器集群，得到待监控日志之后，包括：
获取所述待监控日志的展示方式；
根据所述展示方式进行以下至少之一操作：聚合、压缩、页面展示。
可选地，根据待监控日志的标签，确定监控命令之前，包括：
将任务提交至服务器集群；
在所述服务器集群中运行所述任务；
将所述任务运行过程中产生的日志存储至项目对象模型文件中；
将所述项目对象模型文件中所述日志的路径地址上报至路径注册集群中。
可选地，将所述项目对象模型文件中所述日志的路径地址上报至路径注册集群中，包括：
利用项目对象模型文件对应的日志节点和心跳连接，将采集到的所有日志目录的路径地址生成日志目录树；
将所述日志目录树中存储于路径注册集群中。
根据本发明实施例的再一个方面，提供了一种监控日志的装置，包括：
监控命令确定模块，用于根据待监控日志的标签，确定监控命令；
日志目录获取模块，用于执行所述监控命令，从路径注册集群中获取日志目录的路径地址；
待监控日志获取模块，用于根据所述的路径地址调用服务器集群，得到待监控日志。
根据本发明实施例的另一个方面，提供了一种监控日志的电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明提供的监控日志的方法。
根据本发明实施例的还一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明提供的监控日志的方法。
上述发明中的一个实施例具有如下优点或有益效果：
本发明通过从路径注册集群中获取日志的路径进而监控日志的技术手段，克服了现有技术由于错误输入导致的监控日志不准确、增加了硬件资源的成本、占用大量带宽增大服务器间的网络压力、有可能会导致无法精确定位服务器的问题，进而达到更高效的监控日志、大大节省硬件资源和带宽、提高监控日志效率的有益效果。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的监控日志的方法的主要流程的示意图；
图2是查找所有符合所述监控命令的日志目录的具体操作步骤示意图；
图3是根据日志目录获取服务器集群中日志的具体操作步骤示意图；
图4为Zookeeper节点树形图；
图5为展示待监控日志的具体实施例的流程图；
图6为本发明的整体架构图；
图7为本发明的局部流程图。
图8是根据本发明实施例的监控日志的装置的主要模块的示意图
图9是本发明实施例可以应用于其中的示例性系统架构图；
图10是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的监控日志的方法的主要流程的示意图，如图1所示，包括：
步骤S101、根据待监控日志的标签，确定监控命令；
步骤S102、执行所述监控命令，从路径注册集群中获取日志目录的路径地址；
步骤S103、根据所述路径地址调用服务器集群，得到待监控日志。
所述标签是指通过页面选择待监控日志的标签，进而方便确定监控命令。所述页面可以为轻量级WEB展示。具体地，可以通过启动一个轻量级的JVM(Java VirtualMachine，其中文为Java虚拟机)进程提供查询、配置标签的服务。
本发明通过从路径注册集群中获取日志的路径地址进而监控日志的技术手段，克服了现有技术由于错误输入导致的监控日志不准确、增加了硬件资源的成本、占用大量带宽增大服务器间的网络压力、有可能会导致无法精确定位服务器的问题，进而达到更高效的监控日志、大大节省硬件资源和带宽、提高监控效率的有益效果。
可选地，根据待监控日志的标签，确定监控命令之前，包括：
确定所述待监控日志的标签；
所述标签至少包括：集群方式、任务编号、开始时间、结束时间、日志级别、展示方式。
所述标签还可以根据实际需要包含但不限于以下的一个或多个：过滤条件、是否分词、命令输入、是否直接执行命令、是否压缩、压缩格式、是否写入外部设备、外部设备、是否滚屏、执行次数等。
具体地，所述集群方式是指框架的运行方式，例如Hadoop、Spark、Storm、Flink等。
所述任务(Job)编号是指任务启动的时注册到Zookeeper的编号，所述任务编码可用于用户区分不同的集群任务。选择集群方式之后相应的Job编号可以被自动确定，进而方便用户选择相应的标签。
所述开始时间为查询的日志的开始时间；
所述结束时间为查询的日志的结束时间；
所述日志级别为日志所属的级别，例如debug、info、warn、error；
所述过滤条件为用户输入用于过滤日志的条件；
所述是否分词是指针对输入的过滤条件是否进行分词过滤，如果选择是，则进行分词，如果选择否，则全文匹配；
所述命令输入是指提供命令输入框，用户可以在此命令输入框输入命令；
所述是否直接执行命令是指针对命令输入。如果是，则执行命令输入，若否则不执行；
所述展示方式包括页面展示和下载。当所述展示方式为页面展示时，则待监控日志会直接显示在页面，当所述展示方式为下载，则待监控日志会被下载成文件；
所述是否压缩是指获取到的数据是否执行压缩；
所述压缩格式是指如果进行压缩，可选的压缩方式，包括zip，jar，rar，tar，7z等；
所述是否写入外部设备是指获取到的数据是否直接写入外部设备；
所述外部设备是指待监控日志最终写入的外部设备，例如：Hbase、Mysql、Redis、Elasticsearch等；
所述是否滚屏是指如果开启滚屏，则会不间断的一直进行数据抓取，其中可以将标签默认为开启滚屏(WEB页面配置生效)；
所述执行次数是指用户可以通过该选项选择数据获取的次数，默认是不间断的执行获取操作(WEB页面配置生效)；
用户在设置完成条件后，点击查询，系统会自动根据用户输入的条件进行抓取并最终将得到的待监控日志数据反馈到对应的展示方式。
当收到页面传递过来的标签信息后，需要将所述标签信息转化为监控命令，进而方便后续监控对应的日志。具体地，确定监控命令包括两个部分：命令转换和命令整合。可选地，根据待监控日志的标签，确定监控命令，包括：根据待监控日志的标签，分别确定各个标签对应的值；
根据各个标签及其对应的值，分别确定所述各个标签对应的指令；
将所述各个标签对应的指令进行整合，得到监控命令。
下面以具体实施例的方式详细说明命令转换的过程。
表1 命令转化表：
如表1所示，从页面获得需要的标签名称，通过所述标签确定了相应的数值，根据所述标签以及对应的数值确定该标签对应的命令。
确定标签对应的命令可能是零散的，也可能会涉及到多个服务器的调用，每条命令的语法可能存在不统一的情况，故可以对所述命令进行整合。
具体地，针对表1中标签转化后的指令，可以确定所述命令整合的结果如下：
search--cluster hadoop--identifier 100001--startTime 2018-08-25 17:00:00--endTime 2018-08-25 17:00:00--loglevel info--grep已妥投的订单--grep输入命令--execute wget--compress with zip--outdevice to elasticsearch。
可选地，执行所述监控命令，从路径注册集群中获取日志目录之前，包括：
日志目录的查找，也就是查找所有符合所述监控命令的日志目录。
图2是查找所有符合所述监控命令的日志目录的具体操作步骤示意图，
如图2所示，执行所述监控命令，从路径注册集群中获取日志目录的路径地址，还包括：
解析所述监控命令，生成用于查询路径注册集群(Zookeeper)的查询指令；
根据所述查询指令对所述路径注册集群执行查找操作；
将所述查找操作的结果确定为日志目录的路径地址。
具体地，将监控命令解析为查询指令。例如所示查询指令为：“查找hadoop节点下的编号为100001节点下面的日志目录，并以时间戳、日志级别进行过滤”。利用所述查询指令在Zookeeper中查找相应的日志路径地址，并将所述路径地址作为查找结果返回用于进一步查找待监控日志。
图3是根据日志目录获取服务器集群中日志的具体操作步骤示意图。
如图3所示，获取服务器集群中日志，包括：
将所述监控命令解析为标准可执行的服务器命令；
对所述服务器命令进行命令校验，滤除非查询命令；例如，将“rm–rf”(该指令是指：删除当前目录下的所有文件)指令删除，进而达到保护集群系统的技术效果。
根据所述服务器命令，调用Java安全通道(JSch、Java Secure Channel)，在服务器集群中调用所述指令对应的待监控日志。其中，命令执行之前可以采用SSH(SecureShell)远程登录连接服务器。
所监控到的日志即为图中的返回结果。
可选地，根据所述日志目录调用服务器集群，得到待监控日志，包括：根据所述日志目录调用服务器集群，得到待监控日志包括：
将所述日志目录的路径地址解析为服务器命令；
对所述服务器命令进行命令校验，滤除非查询命令；
根据所述服务器命令，调用Java安全通道，在服务器集群中获取所述待监控日志。
可选地，将所述项目对象模型文件中所述日志的路径地址上报至路径注册集群中，包括：
当集群中的JVM进程启动时，利用项目对象模型文件(Pom文件)对应的日志节点和心跳连接，实时地将采集到的所有日志目录生成日志目录树；将所述日志目录树中存储于路径注册集群中。
通过采用日志目录树的技术手段，可以达到为命令执行提供日志目录查询服务的技术效果。
根据所述日志目录树中的路径地址调用服务器集群，确定待监控日志。
图4为Zookeeper节点树形图，如图4所示，利用Zookeeper中临时节点的特性，当集群中的进程终止时，日志目录节点自动消失，不需要人工干预，进而达到自动化记录节点日志的技术效果。
日志目录进行注册时，只需利用pom文件进行引用即可，不需要其它额外的操作。其采用Zookeeper的代码实现如下：
可选地，根据所述日志目录调用服务器集群，得到待监控日志之后，包括：
获取所述待监控日志的展示方式；
根据所述展示方式进行以下至少之一操作：聚合、压缩、页面展示。
图5为展示待监控日志的具体实施例的流程图。作为本发明的另一个实施例，如图5所示，首先对返回的结果进行聚合操作。由于日志是来自不同服务器不同JVM进程的，故可以对结果按照时间戳的顺序进行排列，得到合并数据。再根据用户输入的命令确定对应的展示方式。当所述展示方式为直接在页面展示时，则无需其他操作，否则根据用户的指令判断是否需要压缩、是否写入外部设备，进而执行相应的操作。
下面以一具体实施例详细说明本发明的整体结构。图6为本发明的整体架构图。图7为本发明的局部流程图。
如图6、7所示，可以将监控日志的系统分为四层，分别是：轻量级的web展示层、命令转换层、命令执行层和聚合层。
该监控日志的系统执行如下操作：
S601、将任务提交到服务器集群。提交之后，任务会向Zookeeper集群注册日志产生的路径信息。
S602、轻量级WEB展示层连接服务器集群，对用户展示出实时日志监控的各种标签选项(集群方式、JOB编号等)。用户在所述展示页面上确定相应的监控条件。
S603、利用命令转换层，将用户选择后的标签转换为命令，并且将所述命令进行整合。
S604、将整合后的指令进行执行，进而确定待监控日志。其中，S604包含如下步骤：
解析所述整合后的指令，并根据该指令在Zookeeper中查找的日志目录的路径地址；
根据查找到的所述路径地址继续解析为服务器命令；
对所述服务器命令进行命令校验，滤除非查询命令；
根据所述服务器命令，调用Java安全通道，在服务器集群中获取所述待监控日志。
S605、判断所述监控日志是否需要聚合，若需要则进行相应的聚合操作；若不需要则根据用户的标签选择是否展示或将所监控的日志存储至对应的存储空间。
如图6所示，本方法可以兼容不同监控日志的方法，也可以兼容各种服务器集群框架，无需额外的开发工作，可以无缝的接入到本平台。
如图7所示，首先将作业/任务提交至服务器集群中；然后将日志的路径信息实时上报至日志目录中；当用户需要监控日志时可以采用实时搜索的方式获取对应的日志信息。
可选地，根据待监控日志的标签，确定监控命令之前，包括：
将任务提交至服务器集群；
在所述服务器集群中运行所述任务；
将所述任务运行过程中产生的日志存储至项目对象模型文件中；
将所述项目对象模型文件中所述日志的路径地址上报至路径注册集群中。
通过采用pom文件的方式，方便用户接入该系统。通过pom文件引用的jar包会自动将运行任务的日志目录进行监控。通过pom文件可以把本任务中的相应进程产生的日志路径进行统一收集，然后用户在平台前端就可以看到相应的日志目录，选择相应的条件后，系统自动会对用户选择的条件进行搜索，不需要现有技术中采用的监控和管理等进程，达到无缝整合的目的。
通过采用路径注册集群(Zookeeper)，可以达到利用Zookeeper节点目录树的特性，方便日志目录的管理。与此同时，通过运用Zookeeper临时节点的特性，即任务启动后可获取日志目录，进行实时监控；当任务停止时，释放日志目录，停止监控，方便实时日志监控的有益效果。
图8是根据本发明实施例的监控日志的装置的主要模块的示意图；如图8所示，一种监控日志的装置，包括：
模块801、监控命令确定模块，用于根据待监控日志的标签，确定监控命令；
模块802、日志目录获取模块，用于执行所述监控命令，从路径注册集群中获取日志目录的路径地址；
模块803、待监控日志获取模块，用于根据所述路径地址调用服务器集群，得到待监控日志。
图9示出了可以应用本发明实施例的监控日志方法或监控日志装置的示例性系统架构900。
如图9所示，系统架构900可以包括终端设备901、902、903，网络904和服务器905。网络904用以在终端设备901、902、903和服务器905之间提供通信链路的介质。网络904可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备901、902、903通过网络904与服务器905交互，以接收或发送消息等。终端设备901、902、903上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备901、902、903可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器905可以是提供各种服务的服务器，例如对用户利用终端设备901、902、903所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的监控日志方法一般由服务器905执行，相应地，监控日志装置一般设置于服务器905中。
应该理解，图9中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图10，其示出了适于用来实现本发明实施例的终端设备的计算机系统1000的结构示意图。图10示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示，计算机系统1000包括中央处理模块(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有系统1000操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理模块(CPU)1001执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
根据待监控日志的标签，确定监控命令；
执行所述监控命令，从路径注册集群中获取日志目录；
根据所述日志目录调用服务器集群，得到待监控日志。
根据本发明实施例的技术方案，可以达到如下有益效果：
本发明通过从路径注册集群中获取日志的路径地址进而监控日志的技术手段，克服了现有技术由于错误输入导致的监控日志不准确、增加了硬件资源的成本、占用大量带宽增大服务器间的网络压力、有可能会导致无法精确定位服务器的问题，进而达到更高效的监控日志、大大节省硬件资源和带宽、提高监控效率的有益效果。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (12)
1.一种监控日志的方法，其特征在于，包括：
根据待监控日志的标签，确定监控命令；
执行所述监控命令，从路径注册集群中获取日志目录的路径地址；
根据所述路径地址调用服务器集群，得到待监控日志。
2.根据权利要求1所述的方法，其特征在于，根据待监控日志的标签，确定监控命令之前，包括：
确定所述待监控日志的标签；
所述标签至少包括：集群方式、任务编号、开始时间、结束时间、日志级别、展示方式。
3.根据权利要求1所述的方法，其特征在于，根据待监控日志的标签，确定监控命令，包括：
根据待监控日志的标签，分别确定各个标签对应的值；
根据各个标签及其对应的值，分别确定所述各个标签对应的指令；
将所述各个标签对应的指令进行整合，得到监控命令。
4.根据权利要求2所述的方法，其特征在于，通过页面选择确定待监控日志的标签。
5.根据权利要求1所述的方法，其特征在于，执行所述监控命令，从路径注册集群中获取日志目录的路径地址，还包括：
解析所述监控命令，生成用于查询路径注册集群的查询指令；
根据所述查询指令对所述路径注册集群执行查找操作；
将所述查找操作的结果确定为日志目录的路径地址。
6.根据权利要求1所述的方法，其特征在于，根据所述日志目录调用服务器集群，得到待监控日志，包括：
将所述日志目录的路径地址解析为服务器命令；
对所述服务器命令进行命令校验，滤除非查询命令；
根据所述服务器命令，调用Java安全通道，在服务器集群中获取所述待监控日志。
7.根据权利要求1所述的方法，其特征在于，根据所述日志目录调用服务器集群，得到待监控日志之后，包括：
获取所述待监控日志的展示方式；
根据所述展示方式进行以下至少之一操作：聚合、压缩、页面展示。
8.根据权利要求1-7中之一所述的方法，其特征在于，根据待监控日志的标签，确定监控命令之前，包括：
将任务提交至服务器集群；
在所述服务器集群中运行所述任务；
将所述任务运行过程中产生的日志存储至项目对象模型文件中；
将所述项目对象模型文件中所述日志的路径地址上报至路径注册集群中。
9.根据权利要求8所述的方法，其特征在于，将所述项目对象模型文件中所述日志的路径地址上报至路径注册集群中，包括：
利用项目对象模型文件对应的日志节点和心跳连接，将采集到的所有日志目录的路径地址生成日志目录树；
将所述日志目录树中存储于路径注册集群中。
10.一种监控日志的装置，其特征在于，包括：
监控命令确定模块，用于根据待监控日志的标签，确定监控命令；
日志目录获取模块，用于执行所述监控命令，从路径注册集群中获取日志目录的路径地址；
待监控日志获取模块，用于根据所述的路径地址调用服务器集群，得到待监控日志。
11.一种监控日志的电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。
12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910193455.2A CN111698109A (zh) | 2019-03-14 | 2019-03-14 | 监控日志的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910193455.2A CN111698109A (zh) | 2019-03-14 | 2019-03-14 | 监控日志的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111698109A true CN111698109A (zh) | 2020-09-22 |
Family
ID=72475742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910193455.2A Pending CN111698109A (zh) | 2019-03-14 | 2019-03-14 | 监控日志的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111698109A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505036A (zh) * | 2021-05-25 | 2021-10-15 | 建信金融科技有限责任公司 | 一种应用监控方法、客户端和服务器 |
| CN115333929A (zh) * | 2022-07-14 | 2022-11-11 | 深圳市大头兄弟科技有限公司 | 一种基于集群的日志预警方法和相关设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942210A (zh) * | 2013-01-21 | 2014-07-23 | 中国移动通信集团上海有限公司 | 海量日志信息的处理方法、装置与系统 |
| US20150074336A1 (en) * | 2013-09-10 | 2015-03-12 | Kabushiki Kaisha Toshiba | Memory system, controller and method of controlling memory system |
| CN107451034A (zh) * | 2017-08-17 | 2017-12-08 | 浪潮软件股份有限公司 | 一种大数据集群日志管理装置、方法及系统 |
| CN107463602A (zh) * | 2017-06-15 | 2017-12-12 | 努比亚技术有限公司 | 一种日志处理方法及服务器、客户端 |
| CN108427705A (zh) * | 2018-01-17 | 2018-08-21 | 平安科技（深圳）有限公司 | 电子装置、分布式系统日志查询方法及存储介质 |
-
2019
- 2019-03-14 CN CN201910193455.2A patent/CN111698109A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942210A (zh) * | 2013-01-21 | 2014-07-23 | 中国移动通信集团上海有限公司 | 海量日志信息的处理方法、装置与系统 |
| US20150074336A1 (en) * | 2013-09-10 | 2015-03-12 | Kabushiki Kaisha Toshiba | Memory system, controller and method of controlling memory system |
| CN107463602A (zh) * | 2017-06-15 | 2017-12-12 | 努比亚技术有限公司 | 一种日志处理方法及服务器、客户端 |
| CN107451034A (zh) * | 2017-08-17 | 2017-12-08 | 浪潮软件股份有限公司 | 一种大数据集群日志管理装置、方法及系统 |
| CN108427705A (zh) * | 2018-01-17 | 2018-08-21 | 平安科技（深圳）有限公司 | 电子装置、分布式系统日志查询方法及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505036A (zh) * | 2021-05-25 | 2021-10-15 | 建信金融科技有限责任公司 | 一种应用监控方法、客户端和服务器 |
| CN113505036B (zh) * | 2021-05-25 | 2023-04-14 | 中国建设银行股份有限公司 | 一种应用监控方法、客户端和服务器 |
| CN115333929A (zh) * | 2022-07-14 | 2022-11-11 | 深圳市大头兄弟科技有限公司 | 一种基于集群的日志预警方法和相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107491488B (zh) | 页面数据采集的方法和装置 | |
| CN111190888A (zh) | 一种管理图数据库集群的方法和装置 | |
| CN107766509B (zh) | 一种网页静态备份的方法和装置 | |
| EP2827245A1 (en) | Enabling multi-tenant virtual servers in a cloud system | |
| CN109783562B (zh) | 一种业务处理方法和装置 | |
| US9584372B2 (en) | Discovering resources of a distributed computing environment | |
| CN111460129B (zh) | 标识生成的方法、装置、电子设备和存储介质 | |
| US10331484B2 (en) | Distributed data platform resource allocator | |
| CN115357761A (zh) | 链路追踪方法、装置、电子设备及存储介质 | |
| CN112187509A (zh) | 多架构云平台执行日志管理方法、系统、终端及存储介质 | |
| CN111427899A (zh) | 存储文件的方法、装置、设备和计算机可读介质 | |
| CN111698109A (zh) | 监控日志的方法和装置 | |
| CN109324892B (zh) | 分布式管理方法、分布式管理系统及装置 | |
| CN114153703A (zh) | 微服务的异常定位方法、装置、电子设备和程序产品 | |
| CN111752916B (zh) | 数据采集方法及装置、计算机可读存储介质、电子设备 | |
| CN112579406B (zh) | 一种日志调用链生成方法和装置 | |
| CN113762910A (zh) | 一种单据监控方法和装置 | |
| CN117271584A (zh) | 数据处理方法及装置、计算机可读存储介质和电子设备 | |
| CN113778777A (zh) | 一种日志回放方法和装置 | |
| CN108959041B (zh) | 信息发送的方法、服务器及计算机可读存储介质 | |
| CN110806967A (zh) | 一种单元测试方法和装置 | |
| CN114756301A (zh) | 日志处理方法、装置和系统 | |
| CN114816914A (zh) | 基于Kubernetes的数据处理方法、设备及介质 | |
| CN113779018A (zh) | 一种数据处理方法和装置 | |
| CN113760693A (zh) | 用于微服务系统的本地调试的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200922 |
|
| RJ01 | Rejection of invention patent application after publication |