CN105630650A - 一种日志处理方法、装置及系统 - Google Patents
一种日志处理方法、装置及系统 Download PDFInfo
- Publication number
- CN105630650A CN105630650A CN201510998029.8A CN201510998029A CN105630650A CN 105630650 A CN105630650 A CN 105630650A CN 201510998029 A CN201510998029 A CN 201510998029A CN 105630650 A CN105630650 A CN 105630650A
- Authority
- CN
- China
- Prior art keywords
- daily record
- record data
- service server
- time point
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志处理方法、装置及系统。其中所述方法包括：采集业务服务器产生的日志数据并保存在业务服务器本地；依据预设规则，为业务服务器确定日志发送时间点；将业务服务器本地保存的日志数据在所述时间点发送至日志服务器。该技术方案不仅可以有效地通过日志服务器收集日志数据，还确保了日志服务器不会因为业务服务器在特定时间点集中产生大量日志数据而压力过大，同时也确保了很高的日志收集效率。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种日志处理方法、装置及系统。
背景技术
网络公司的业务服务器上会产生多种日志数据，这些日志数量很大不便于管理。如果简单地对日志数据进行收集，考虑到这些日志数据的产生往往具有一定特点，也就出现了很多问题。例如，某公司的多台业务服务器在早9点为用户提供了签到服务，此时就会产生大量日志数据，造成收集日志数据十分困难。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的日志处理装置及系统和相应的日志处理方法。
依据本发明的一个方面，提供了一种日志处理方法，其中，该方法包括：
采集业务服务器产生的日志数据并保存在业务服务器本地；
依据预设规则，为业务服务器确定日志发送时间点；
将业务服务器本地保存的日志数据在所述时间点发送至日志服务器。
可选地，所述依据预设规则，为业务服务器确定日志发送时间点，将业务服务器本地保存的日志数据在所述时间点发送至日志服务器的步骤进一步包括：
在每个预设时间间隔内，为业务服务器随机选择该时间间隔内的一个时间点，将业务服务器本地保存的日志数据在所述时间点发送至日志服务器。
可选地，所述依据预设规则，为业务服务器确定日志发送时间点，将业务服务器本地保存的日志数据在所述时间点发送至日志服务器的步骤进一步包括：
当业务服务器上生成因出现错误而产生的日志数据时，将该日志数据即时发送至日志服务器。
可选地，所述依据预设规则，为业务服务器确定日志发送时间点，将业务服务器本地保存的日志数据在所述时间点发送至日志服务器的步骤进一步包括：
将业务服务器上产生的日志数据根据业务的关键词进行优先级区分，当该业务服务器上产生优先级高于预设值的日志数据时，将该日志数据即时发送至日志服务器。
可选地，依据预设规则，为业务服务器确定日志发送时间点，将业务服务器本地保存的日志数据在所述时间点发送至日志服务器的步骤进一步包括：
当业务服务器的本地日志数据存储空间满时，将该业务服务器本地保存的日志数据发送至日志服务器。
可选地，在所述将业务服务器本地保存的日志数据在所述时间点发送至日志服务器的步骤之后，该方法进一步包括：
设置已发送日志标志以标识已发送的日志数据。
可选地，所述将业务服务器本地保存的日志数据在所述时间点发送至日志服务器的步骤进一步包括：
读取所述已发送日志标志，从业务服务器本地保存的日志数据中选择未发送的日志数据进行发送。
可选地，将各业务服务器本地保存的日志数据在所述时间点发送至日志服务器包括：
将各业务服务器本地保存的日志数据在所述时间点发送到消息队列，以由日志服务器从消息队列中取日志数据。
可选地，所述方法进一步包括：
接收日志服务器根据日志数据返回的执行参数，并根据执行参数在业务服务器上执行相应的操作。
依据本发明的另一个方面，还提供了一种日志处理装置，其中，该装置包括：
采集单元，适于采集业务服务器产生的日志数据并保存在业务服务器本地；
时间点确定单元，适于依据预设规则，为业务服务器确定日志发送时间点；
发送单元，适于将业务服务器本地保存的日志数据在所述时间点发送至日志服务器。
可选地，所述时间点确定单元，适于在每个预设时间间隔内，为业务服务器随机选择该时间间隔内的一个时间点作为日志发送时间点。
可选地，所述时间点确定单元，适于当业务服务器上生成因出现错误而产生的日志数据时，将该时间点作为发送该日志数据的时间点通知所述发送单元；
所述发送单元，适于在收到通知后将该日志数据即时发送至日志服务器。
可选地，所述时间点确定单元，适于将业务服务器上产生的日志数据根据业务的关键词进行优先级区分，当该业务服务器上产生优先级高于预设值的日志数据时，将该时间点作为发送该日志数据的时间点通知所述发送单元；
所述发送单元，适于在收到通知后将该日志数据即时发送至日志服务器。
可选地，所述时间点确定单元，适于当业务服务器的本地日志数据存储空间满时，将该时间点作为发送该日志数据的时间点通知所述发送单元；
所述发送单元，适于在收到通知后将该日志数据即时发送至日志服务器。
可选地，所述发送单元，适于在将业务服务器本地保存的日志数据在所述时间点发送至日志服务器的步骤之后，设置已发送日志标志以标识已发送的日志数据。
可选地，所述发送单元，适于在所述时间点发送日志之前，读取所述已发送日志标志，从业务服务器本地保存的日志数据中选择未发送的日志数据进行发送。
可选地，所述发送单元，适于将各业务服务器本地保存的日志数据在所述时间点发送到消息队列，以由日志服务器从消息队列中取日志数据。
可选地，所述装置进一步包括：
反馈执行单元，适于接收日志服务器根据日志数据返回的执行参数，并根据执行参数在业务服务器上执行相应的操作。
依据本发明的又一个方面，还提供了一种日志处理系统，其中，该系统包括：日志服务器和一个多个如上述任一项所述的日志处理装置；其中一个日志处理装置对应一个业务服务器；
所述日志服务器包括：
接收单元，适于接收各日志处理装置发送的日志数据；
分析单元，适于对所接收的日志数据进行分析处理。
可选地，所述分析单元，适于对所接收的日志数据进行分析处理，得到展示类数据；
该日志服务器进一步包括：展示单元，适于展示所述展示类数据。
可选地，所述分析单元，适于对对所接收的日志数据进行分析处理，得到执行参数；
该日志服务器进一步包括：反馈单元，适于将所述执行参数返回给相应日志处理装置。
可选地，所述分析单元，适于对对所接收的日志数据进行分析处理，得到报警数据；
该日志服务器进一步包括：报警单元，适于将所述报警数据通过指定渠道发送出去。
由上述可知，本发明的技术方案，将采集到的业务服务器产生的日志数据先保存在业务服务器本地，在预设规则确定的业务服务器的日志发送时间点，将业务服务器本地保存的日志数据在时间点发送至日志服务器。该技术方案不仅可以有效地通过日志服务器收集日志数据，还确保了日志服务器不会因为业务服务器在特定时间点集中产生大量日志数据而压力过大，同时也确保了很高的日志收集效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的日志处理方法的流程示意图；
图2示出了根据本发明一个实施例的日志处理装置的示意图；
图3示出了根据本发明另一个实施例的日志处理装置的示意图；
图4示出了根据本发明一个实施例的日志处理系统的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的日志处理方法的流程示意图。如图1所示，该方法包括：
步骤S110：采集业务服务器产生的日志数据并保存在业务服务器本地。例如，在业务服务器上设定专门的目录存储采集到的日志数据，也可以进一步在该目录下按业务服务器不同的功能模块划分子目录存储相应功能模块产生的日志数据。
步骤S120：依据预设规则，为业务服务器确定日志发送时间点。
步骤S130：将业务服务器本地保存的日志数据在时间点发送至日志服务器。
可见，图1所示的方法，将采集到的业务服务器产生的日志数据先保存在业务服务器本地，在预设规则确定的业务服务器的日志发送时间点，将业务服务器本地保存的日志数据在时间点发送至日志服务器。该技术方案不仅可以有效地通过日志服务器收集日志数据，还确保了日志服务器不会因为业务服务器在特定时间点集中产生大量日志数据而压力过大，同时也确保了很高的日志收集效率。
进一步地，在本发明的一个实施例中，步骤S120和步骤130中的依据预设规则，为业务服务器确定日志发送时间点，将业务服务器本地保存的日志数据在时间点发送至日志服务器还包括：在每个预设时间间隔内，为业务服务器随机选择该时间间隔内的一个时间点，将业务服务器本地保存的日志数据在时间点发送至日志服务器。
在其他实施例中，可以以预设时间间隔的方式，例如每2小时发送一次日志数据，但这样还是有可能造成特定时间点日志服务器压力过大的情况，因此进一步地，在本实施例中，在预设时间间隔内的一个随机时间点发送日志数据，这样就进一步降低了日志服务器在同一时间接收多个业务服务器发送的日志数据的可能性。
进一步地，在本发明的一个实施例中，步骤S120和步骤130中的依据预设规则，为业务服务器确定日志发送时间点，将业务服务器本地保存的日志数据在时间点发送至日志服务器还包括：当业务服务器上生成因出现错误而产生的日志数据时，将该日志数据即时发送至日志服务器。
错误日志数据是运维人员排查问题的重要依据，也是最重要的日志数据。因此，在错误日志数据产生时将其即使发送至日志服务器可以便于运维人员获取到错误日志数据，并进一步进行维护。
进一步地，在本发明的一个实施例中，步骤S120和步骤130中的依据预设规则，为业务服务器确定日志发送时间点，将业务服务器本地保存的日志数据在时间点发送至日志服务器还包括：将业务服务器上产生的日志数据根据业务的关键词进行优先级区分，当该业务服务器上产生优先级高于预设值的日志数据时，将该日志数据即时发送至日志服务器。
在本实施例中进一步细化了日志数据的优先级，这是可以根据用户的需求进行设置的。例如，用户认为登录类业务的日志数据不那么有用，可以将登录类业务的日志数据优先级设置的很低；而用户认为充值类业务的日志数据很重要，则可以将充值类业务的日志数据的优先级设置的很高。具体地，可以设置一个预设值当该业务服务器上产生优先级高于预设值的日志数据时，将该日志数据即时发送至日志服务器。
进一步地，在本发明的一个实施例中，步骤S120和步骤130中的依据预设规则，为业务服务器确定日志发送时间点，将业务服务器本地保存的日志数据在时间点发送至日志服务器还包括：当业务服务器的本地日志数据存储空间满时，将该业务服务器本地保存的日志数据发送至日志服务器。
业务服务器上存储本地日志数据的容量是有限的，毕竟业务服务器主要还是用于处理业务。因此，当业务服务器的本地日志数据存储空间满时，可以将该业务服务器本地保存的日志数据发送至日志服务器，并对本地保存的日志数据进行清理。
进一步地，在本发明的一个实施例中，步骤130中的在将业务服务器本地保存的日志数据在时间点发送至日志服务器之后，图1所示的方法还包括：设置已发送日志标志以标识已发送的日志数据。
在标识了已发送的日志数据之后，就可以对已发送的日志数据进行清理。之所以不在发送日志数据到日志服务器后就立即清理日志数据是因为业务服务器可能还需要利用日志数据。
进一步地，在本发明的一个实施例中，步骤130中的将业务服务器本地保存的日志数据在时间点发送至日志服务器还包括：读取已发送日志标志，从业务服务器本地保存的日志数据中选择未发送的日志数据进行发送。
在本实施例中根据已发送日志标志对已发送和未发送的日志数据进行了区分，避免重复发送已发送过的日志数据，非常方便。日志数据发送的过程中首先要进行读取，在读取的过程中往往是逐行读取的，因此也可以标志上次已读的日志数据的位置，从该位置继续读取。
进一步地，在本发明的一个实施例中，步骤130中的将各业务服务器本地保存的日志数据在时间点发送至日志服务器包括：将各业务服务器本地保存的日志数据在时间点发送到消息队列，以由日志服务器从消息队列中取日志数据。
消息队列是在消息的传输过程中保存消息的容器。消息队列管理器在将消息从它的源中继到它的目标时充当中间人，消息队列的主要目的是提供路由并保证消息的传递；如果发送消息时接收者不可用，消息队列会保留消息，直到可以成功地传递它。这样，即使日志服务器较忙不能立即对业务服务器发送的日志数据进行处理，也可以由日志服务器上的消息队列管理器对其进行管理，以便在空闲时进行处理。
进一步地，在本发明的一个实施例中，图1的方法还包括：接收日志服务器根据日志数据返回的执行参数，并根据执行参数在业务服务器上执行相应的操作。
日志数据中虽然不能包含可直接执行的信息，但日志服务器经过对日志的处理可以返回一个可执行的执行参数，业务服务器就可以根据这个执行参数执行相应的操作。例如，需要将业务服务器中的某个参数由开置为闭，等等。
图2示出了根据本发明一个实施例的日志处理装置的示意图，该日志处理装置200包括：
采集单元210，适于采集业务服务器产生的日志数据并保存在业务服务器本地。
时间点确定单元220，适于依据预设规则，为业务服务器确定日志发送时间点。
发送单元230，适于将业务服务器本地保存的日志数据在时间点发送至日志服务器。
可见，图2所示的装置，通过各单元的相互配合，将采集到的业务服务器产生的日志数据先保存在业务服务器本地，在预设规则确定的业务服务器的日志发送时间点，将业务服务器本地保存的日志数据在时间点发送至日志服务器。该技术方案不仅可以有效地通过日志服务器收集日志数据，还确保了日志服务器不会因为业务服务器在特定时间点集中产生大量日志数据而压力过大，同时也确保了很高的日志收集效率。
在本发明的一个实施例中，时间点确定单元220，适于在每个预设时间间隔内，为业务服务器随机选择该时间间隔内的一个时间点作为日志发送时间点。
在本发明的一个实施例中，时间点确定单元220，适于当业务服务器上生成因出现错误而产生的日志数据时，将该时间点作为发送该日志数据的时间点通知发送单元230；发送单元230，适于在收到通知后将该日志数据即时发送至日志服务器。
在本发明的一个实施例中，时间点确定单元220，适于将业务服务器上产生的日志数据根据业务的关键词进行优先级区分，当该业务服务器上产生优先级高于预设值的日志数据时，将该时间点作为发送该日志数据的时间点通知发送单元230；发送单元230，适于在收到通知后将该日志数据即时发送至日志服务器。
在本发明的一个实施例中，时间点确定单元220，适于当业务服务器的本地日志数据存储空间满时，将该时间点作为发送该日志数据的时间点通知发送单元230；发送单元230，适于在收到通知后将该日志数据即时发送至日志服务器。
在本发明的一个实施例中，发送单元230，适于在将业务服务器本地保存的日志数据在时间点发送至日志服务器的步骤之后，设置已发送日志标志以标识已发送的日志数据。
在本发明的一个实施例中，发送单元230，适于在时间点发送日志之前，读取已发送日志标志，从业务服务器本地保存的日志数据中选择未发送的日志数据进行发送。
在本发明的一个实施例中，发送单元230，适于将各业务服务器本地保存的日志数据在时间点发送到消息队列，以由日志服务器从消息队列中取日志数据。
图3示出了根据本发明另一个实施例的日志处理装置的示意图，如图3所示，该日志处理装置300包括：采集单元310、时间点确定单元320、发送单元330和反馈执行单元340，其中，采集单元310、时间点确定单元320和发送单元330与图2中的采集单元210、时间点确定单元220和发送单元230功能对应相同，此处不再赘述。反馈执行单元340适于接收日志服务器根据日志数据返回的执行参数，并根据执行参数在业务服务器上执行相应的操作。
需要说明的是，上述各装置实施例的具体实施方式与前述对应方法实施例的具体实施方式相同，在此不再赘述。
图4示出了根据本发明一个实施例的日志处理系统的示意图，如图4所示，该日志处理系统400包括：日志服务器410和一个或多个日志处理装置420。其中，日志服务器410包括：
接收单元411，适于接收各日志处理装置发送的日志数据；
分析单元412，适于对所接收的日志数据进行分析处理。
日志处理装置420与图2中的日志处理装置200或图3中的日志处理装置300功能相同，一个日志处理装置对应一个业务服务器，此处不再赘述。
分析单元412可以根据接收到的日志数据的各项属性，如来自哪个业务服务器、以及是那个业务服务器中的哪个功能模块等等进行不同的分析处理。处理结果通常有如下几种：
在本发明的一个实施例中，图4所示的系统中，分析单元412，适于对所接收的日志数据进行分析处理，得到展示类数据；该日志服务器410进一步包括：展示单元413，适于展示展示类数据。例如，今天业务服务器A上有多少用户进行了签到。
在本发明的一个实施例中，图4所示的系统中，分析单元412，适于对对所接收的日志数据进行分析处理，得到执行参数；该日志服务器进一步包括：反馈单元414，适于将执行参数返回给相应日志处理装置。例如，需要业务服务器B将业务服务器中的参数a由开置为闭。
在本发明的一个实施例中，图4所示的系统中，分析单元412，适于对对所接收的日志数据进行分析处理，得到报警数据；该日志服务器进一步包括：报警单元415，适于将报警数据通过指定渠道发送出去。例如，日志数据是错误日志数据时就可以通过指定渠道如短信、邮件等方式向运维人员进行报警。
综上所述，本发明的技术方案，将采集到的业务服务器产生的日志数据先保存在业务服务器本地，在预设规则确定的业务服务器的日志发送时间点，将业务服务器本地保存的日志数据在时间点发送至日志服务器。该技术方案不仅可以有效地通过日志服务器收集日志数据，还确保了日志服务器不会因为业务服务器在特定时间点集中产生大量日志数据而压力过大，同时也确保了很高的日志收集效率。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一种日志处理装置及系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了A1、一种日志处理方法，其中，该方法包括：
采集业务服务器产生的日志数据并保存在业务服务器本地；
依据预设规则，为业务服务器确定日志发送时间点；
将业务服务器本地保存的日志数据在所述时间点发送至日志服务器。
A2、如A1所述的方法，其中，所述依据预设规则，为业务服务器确定日志发送时间点，将业务服务器本地保存的日志数据在所述时间点发送至日志服务器的步骤进一步包括：
在每个预设时间间隔内，为业务服务器随机选择该时间间隔内的一个时间点，将业务服务器本地保存的日志数据在所述时间点发送至日志服务器。
A3、如A1所述的方法，其中，所述依据预设规则，为业务服务器确定日志发送时间点，将业务服务器本地保存的日志数据在所述时间点发送至日志服务器的步骤进一步包括：
当业务服务器上生成因出现错误而产生的日志数据时，将该日志数据即时发送至日志服务器。
A4、如A1所述的方法，其中，所述依据预设规则，为业务服务器确定日志发送时间点，将业务服务器本地保存的日志数据在所述时间点发送至日志服务器的步骤进一步包括：
将业务服务器上产生的日志数据根据业务的关键词进行优先级区分，当该业务服务器上产生优先级高于预设值的日志数据时，将该日志数据即时发送至日志服务器。
A5、如A1所述的方法，其中，依据预设规则，为业务服务器确定日志发送时间点，将业务服务器本地保存的日志数据在所述时间点发送至日志服务器的步骤进一步包括：
当业务服务器的本地日志数据存储空间满时，将该业务服务器本地保存的日志数据发送至日志服务器。
A6、如A1所述的方法，其中，在所述将业务服务器本地保存的日志数据在所述时间点发送至日志服务器的步骤之后，该方法进一步包括：
设置已发送日志标志以标识已发送的日志数据。
A7、如A6所述的方法，其中，所述将业务服务器本地保存的日志数据在所述时间点发送至日志服务器的步骤进一步包括：
读取所述已发送日志标志，从业务服务器本地保存的日志数据中选择未发送的日志数据进行发送。
A8、如A1-A7所述的方法，其中，将各业务服务器本地保存的日志数据在所述时间点发送至日志服务器包括：
将各业务服务器本地保存的日志数据在所述时间点发送到消息队列，以由日志服务器从消息队列中取日志数据。
A9、如A1-A7中任一项所述的方法，其中，所述方法进一步包括：
接收日志服务器根据日志数据返回的执行参数，并根据执行参数在业务服务器上执行相应的操作。
本发明还公开了B10、一种日志处理装置，其中，该装置包括：
采集单元，适于采集业务服务器产生的日志数据并保存在业务服务器本地；
时间点确定单元，适于依据预设规则，为业务服务器确定日志发送时间点；
发送单元，适于将业务服务器本地保存的日志数据在所述时间点发送至日志服务器。
B11、如B10所述的装置，其中，
所述时间点确定单元，适于在每个预设时间间隔内，为业务服务器随机选择该时间间隔内的一个时间点作为日志发送时间点。
B12、如B10所述的装置，其中，
所述时间点确定单元，适于当业务服务器上生成因出现错误而产生的日志数据时，将该时间点作为发送该日志数据的时间点通知所述发送单元；
所述发送单元，适于在收到通知后将该日志数据即时发送至日志服务器。
B13、如B10所述的装置，其中，
所述时间点确定单元，适于将业务服务器上产生的日志数据根据业务的关键词进行优先级区分，当该业务服务器上产生优先级高于预设值的日志数据时，将该时间点作为发送该日志数据的时间点通知所述发送单元；
所述发送单元，适于在收到通知后将该日志数据即时发送至日志服务器。
B14、如B10所述的装置，其中，
所述时间点确定单元，适于当业务服务器的本地日志数据存储空间满时，将该时间点作为发送该日志数据的时间点通知所述发送单元；
所述发送单元，适于在收到通知后将该日志数据即时发送至日志服务器。
B15、如B10所述的装置，其中，
所述发送单元，适于在将业务服务器本地保存的日志数据在所述时间点发送至日志服务器的步骤之后，设置已发送日志标志以标识已发送的日志数据。
B16、如B15所述的装置，其中，
所述发送单元，适于在所述时间点发送日志之前，读取所述已发送日志标志，从业务服务器本地保存的日志数据中选择未发送的日志数据进行发送。
B17、如B10-B16中任一项所述的装置，其中，
所述发送单元，适于将各业务服务器本地保存的日志数据在所述时间点发送到消息队列，以由日志服务器从消息队列中取日志数据。
B18、如B10-B16中任一项所述的装置，其中，所述装置进一步包括：
反馈执行单元，适于接收日志服务器根据日志数据返回的执行参数，并根据执行参数在业务服务器上执行相应的操作。
本发明还公开了C19、一种日志处理系统，其中，该系统包括：日志服务器和一个或多个如B10-B18中任一项所述的日志处理装置；其中一个日志处理装置对应一个业务服务器；
所述日志服务器包括：
接收单元，适于接收各日志处理装置发送的日志数据；
分析单元，适于对所接收的日志数据进行分析处理。
C20、如C19所述的系统，其中，
所述分析单元，适于对所接收的日志数据进行分析处理，得到展示类数据；
该日志服务器进一步包括：展示单元，适于展示所述展示类数据。
C21、如C19所述的系统，其中，
所述分析单元，适于对对所接收的日志数据进行分析处理，得到执行参数；
该日志服务器进一步包括：反馈单元，适于将所述执行参数返回给相应日志处理装置。
C22、如C19所述的系统，其中，
所述分析单元，适于对对所接收的日志数据进行分析处理，得到报警数据；
该日志服务器进一步包括：报警单元，适于将所述报警数据通过指定渠道发送出去。
Claims (10)
1.一种日志处理方法，其中，该方法包括：
采集业务服务器产生的日志数据并保存在业务服务器本地；
依据预设规则，为业务服务器确定日志发送时间点；
将业务服务器本地保存的日志数据在所述时间点发送至日志服务器。
2.如权利要求1所述的方法，其中，所述依据预设规则，为业务服务器确定日志发送时间点，将业务服务器本地保存的日志数据在所述时间点发送至日志服务器的步骤进一步包括：
在每个预设时间间隔内，为业务服务器随机选择该时间间隔内的一个时间点，将业务服务器本地保存的日志数据在所述时间点发送至日志服务器。
3.如权利要求1所述的方法，其中，所述依据预设规则，为业务服务器确定日志发送时间点，将业务服务器本地保存的日志数据在所述时间点发送至日志服务器的步骤进一步包括：
当业务服务器上生成因出现错误而产生的日志数据时，将该日志数据即时发送至日志服务器。
4.如权利要求1所述的方法，其中，所述依据预设规则，为业务服务器确定日志发送时间点，将业务服务器本地保存的日志数据在所述时间点发送至日志服务器的步骤进一步包括：
将业务服务器上产生的日志数据根据业务的关键词进行优先级区分，当该业务服务器上产生优先级高于预设值的日志数据时，将该日志数据即时发送至日志服务器。
5.一种日志处理装置，其中，该装置包括：
采集单元，适于采集业务服务器产生的日志数据并保存在业务服务器本地；
时间点确定单元，适于依据预设规则，为业务服务器确定日志发送时间点；
发送单元，适于将业务服务器本地保存的日志数据在所述时间点发送至日志服务器。
6.如权利要求5所述的装置，其中，
所述时间点确定单元，适于在每个预设时间间隔内，为业务服务器随机选择该时间间隔内的一个时间点作为日志发送时间点。
7.如权利要求5所述的装置，其中，
所述时间点确定单元，适于当业务服务器上生成因出现错误而产生的日志数据时，将该时间点作为发送该日志数据的时间点通知所述发送单元；
所述发送单元，适于在收到通知后将该日志数据即时发送至日志服务器。
8.如权利要求5所述的装置，其中，
所述时间点确定单元，适于将业务服务器上产生的日志数据根据业务的关键词进行优先级区分，当该业务服务器上产生优先级高于预设值的日志数据时，将该时间点作为发送该日志数据的时间点通知所述发送单元；
所述发送单元，适于在收到通知后将该日志数据即时发送至日志服务器。
9.一种日志处理系统，其中，该系统包括：日志服务器和一个或多个如权利要求5-8中任一项所述的日志处理装置；其中一个日志处理装置对应一个业务服务器；
所述日志服务器包括：
接收单元，适于接收各日志处理装置发送的日志数据；
分析单元，适于对所接收的日志数据进行分析处理。
10.如权利要求9所述的系统，其中，
所述分析单元，适于对所接收的日志数据进行分析处理，得到展示类数据；
该日志服务器进一步包括：展示单元，适于展示所述展示类数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510998029.8A CN105630650A (zh) | 2015-12-25 | 2015-12-25 | 一种日志处理方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510998029.8A CN105630650A (zh) | 2015-12-25 | 2015-12-25 | 一种日志处理方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105630650A true CN105630650A (zh) | 2016-06-01 |
Family
ID=56045623
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510998029.8A Pending CN105630650A (zh) | 2015-12-25 | 2015-12-25 | 一种日志处理方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105630650A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106470123A (zh) * | 2016-09-29 | 2017-03-01 | 北京三快在线科技有限公司 | 日志收集方法、客户端、服务器和电子设备 |
| CN106547677A (zh) * | 2016-11-01 | 2017-03-29 | 广东浪潮大数据研究有限公司 | 一种日志处理方法和装置 |
| CN106571960A (zh) * | 2016-11-03 | 2017-04-19 | 北京农信互联科技有限公司 | 日志收集管理系统及方法 |
| CN108268353A (zh) * | 2016-12-30 | 2018-07-10 | 北京国双科技有限公司 | 查看错误日志的方法和装置 |
| CN108388478A (zh) * | 2018-02-07 | 2018-08-10 | 平安普惠企业管理有限公司 | 日志数据处理方法和系统 |
| CN113641386A (zh) * | 2021-08-17 | 2021-11-12 | 西安酷赛科技有限公司 | 一种基于报错频次进行升级的方法及其系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100082530A1 (en) * | 2008-09-19 | 2010-04-01 | Hitachi Software Engineering Co., Ltd. | Log management server |
| CN104699592A (zh) * | 2012-09-25 | 2015-06-10 | 北京奇虎科技有限公司 | 一种日志数据传输的方法和系统 |
| CN105095358A (zh) * | 2015-06-24 | 2015-11-25 | 北京京东尚科信息技术有限公司 | 一种数据库操作日志获取方法及系统 |
| CN105141448A (zh) * | 2015-07-28 | 2015-12-09 | 杭州华为数字技术有限公司 | 一种日志的采集方法及装置 |
| CN105160011A (zh) * | 2015-09-22 | 2015-12-16 | 浪潮(北京)电子信息产业有限公司 | 一种日志管理系统及方法 |
-
2015
- 2015-12-25 CN CN201510998029.8A patent/CN105630650A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100082530A1 (en) * | 2008-09-19 | 2010-04-01 | Hitachi Software Engineering Co., Ltd. | Log management server |
| CN104699592A (zh) * | 2012-09-25 | 2015-06-10 | 北京奇虎科技有限公司 | 一种日志数据传输的方法和系统 |
| CN105095358A (zh) * | 2015-06-24 | 2015-11-25 | 北京京东尚科信息技术有限公司 | 一种数据库操作日志获取方法及系统 |
| CN105141448A (zh) * | 2015-07-28 | 2015-12-09 | 杭州华为数字技术有限公司 | 一种日志的采集方法及装置 |
| CN105160011A (zh) * | 2015-09-22 | 2015-12-16 | 浪潮(北京)电子信息产业有限公司 | 一种日志管理系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李开涌: "《PHP MVC开发实战》", 31 July 2013, 北京：机械工业出版社 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106470123A (zh) * | 2016-09-29 | 2017-03-01 | 北京三快在线科技有限公司 | 日志收集方法、客户端、服务器和电子设备 |
| CN106470123B (zh) * | 2016-09-29 | 2019-07-05 | 北京三快在线科技有限公司 | 日志收集方法、客户端、服务器和电子设备 |
| CN106547677A (zh) * | 2016-11-01 | 2017-03-29 | 广东浪潮大数据研究有限公司 | 一种日志处理方法和装置 |
| CN106547677B (zh) * | 2016-11-01 | 2019-03-19 | 广东浪潮大数据研究有限公司 | 一种日志处理方法和装置 |
| CN106571960A (zh) * | 2016-11-03 | 2017-04-19 | 北京农信互联科技有限公司 | 日志收集管理系统及方法 |
| CN106571960B (zh) * | 2016-11-03 | 2020-05-22 | 北京农信互联科技有限公司 | 日志收集管理系统及方法 |
| CN108268353A (zh) * | 2016-12-30 | 2018-07-10 | 北京国双科技有限公司 | 查看错误日志的方法和装置 |
| CN108388478A (zh) * | 2018-02-07 | 2018-08-10 | 平安普惠企业管理有限公司 | 日志数据处理方法和系统 |
| CN108388478B (zh) * | 2018-02-07 | 2020-10-27 | 平安普惠企业管理有限公司 | 日志数据处理方法和系统 |
| CN113641386A (zh) * | 2021-08-17 | 2021-11-12 | 西安酷赛科技有限公司 | 一种基于报错频次进行升级的方法及其系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105630650A (zh) | 一种日志处理方法、装置及系统 | |
| CN102622397B (zh) | 微博基础结构中的散列标签管理 | |
| US8447801B1 (en) | Content sharing with limited cloud storage | |
| US8788872B2 (en) | Managing failover operations on a cluster of computers | |
| CN103150513A (zh) | 拦截应用程序中的植入信息的方法及装置 | |
| CN109977089A (zh) | 日志管理方法、装置、计算机设备及计算机可读存储介质 | |
| US11037674B2 (en) | Dashboard usage tracking and generation of dashboard recommendations | |
| CN104216822B (zh) | 一种异常信息的处理方法及装置 | |
| CN107592236A (zh) | 一种推广信息相关的业务数据的监控方法和装置 | |
| WO2018187361A1 (en) | Automated rule recommendation engine | |
| CN111314063A (zh) | 一种基于物联网大数据信息管理方法、系统及装置 | |
| CN113032252A (zh) | 埋点数据的收集方法、装置、客户端设备和存储介质 | |
| CN110912757A (zh) | 业务的监控方法和服务器 | |
| CN104468222A (zh) | 上报日志信息的方法、装置及系统 | |
| CN114091704B (zh) | 一种告警压制方法和装置 | |
| CN109800255A (zh) | 一种可视化报表的生成方法、系统、设备和介质 | |
| CN102682414B (zh) | 医疗信息管理系统及医疗信息管理方法 | |
| US20130145289A1 (en) | Real-time duplication of a chat transcript between a person of interest and a correspondent of the person of interest for use by a law enforcement agent | |
| CN109921920A (zh) | 一种故障信息处理方法与相关装置 | |
| CN110309028A (zh) | 监控信息获取方法、服务监控方法、装置及系统 | |
| JP2008294774A (ja) | ストリームデータ処理方法、ストリームデータ処理プログラムおよびストリームデータ処理システム | |
| CN104572945A (zh) | 一种基于云存储空间的文件搜索方法和装置 | |
| CN109769027A (zh) | 一种消息推送方法、装置及设备 | |
| US9215150B2 (en) | Feature set negotiation framework | |
| CN113779017A (zh) | 数据资产管理的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160601 |