CN101764712A - 一种日志信息的传输系统及方法 - Google Patents

Abstract

本发明公开了一种日志信息的传输系统及方法，以实现对日志信息的限速传输，其中该方法主要包括：设置单位时间以及在单位时间内允许传输的日志信息上限；将单位时间划分为若干子时间段，将日志信息上限分配给每个子时间段；在每一个子时间段内，从日志信息队列中读取日志信息，每读取一个日志信息则判断当前子时间段内已传输的信息数量是否达到当前子时间段内允许传输的信息数，达到则丢弃所读取的日志信息，否则传输所读取的日志信息并累加已传输的信息数量。本发明解决了现有技术中日志信息发送过于集中和信息类型丢失的问题。

Description

一种日志信息的传输系统及方法

技术领域

本发明涉及日志信息的传输技术，具体地说，是涉及一种日志信息的传输系统及方法。

背景技术

系统日志的功能，主要是对系统中硬件及软件各模块的运行状态进行显示和记录。日志记录通常是用户可以直接阅读的文本，其中包含了时间戳、优先级和消息正文等内容，能够实时向用户发出警报、告警以及通知信息等，以使用户能及时、全面地了解设备的工作状态，并从中发现故障及错误原因等。日志记录可以保存在本地文件中，或者发送到日志服务器等目的端上，供分析和解决问题参考使用，尤其对不可重现问题的定位有重大意义。

由于日志信息具有突发性，发送速度太快会给目的端的后续处理带来较大负荷，所以系统一般提供限速功能以实现对日志信息的流量或者速率进行控制，如果日志信息的速率低于预设速率，则正常发送日志信息；如果日志信息的速率超过预设速率，则丢弃部分日志信息。

比如，在源端设置单位时间T(通常为1秒)内允许传输的日志信息个数为N。源端逐条发送日志信息时，使用计数器累计已发送信息数n，如果n在未超过T的时间内达到N，那么T的剩余时间段内请求发送的信息将被丢弃。即如果请求发送的信息个数为N+M，那么后面的M个信息将被丢弃。而且，当信息集中在比单位时间T更小的时间段内发送时，这种处理方式就容易造成目的端处理负荷过大，日志信息内容分布不均匀，低级别的调试信息可能占据较大比重，某些类型的信息可能会被完全丢弃等诸多问题。

发明内容

本发明所要解决的技术问题，在于需要提供一种日志信息的传输系统及方法，以实现对日志信息的限速传输。

为了解决上述技术问题，本发明提供了一种日志信息的传输方法，包括：

设置单位时间以及在所述单位时间内允许传输的日志信息上限；

将所述单位时间划分为若干子时间段，将所述日志信息上限分配给每个子时间段；

在每一个子时间段内，从日志信息队列中读取日志信息，每读取一个日志信息则判断当前子时间段内已传输的信息数量是否达到所述当前子时间段内允许传输的信息数，达到则丢弃所读取的日志信息，否则传输所读取的日志信息并累加所述已传输的信息数量。

优选地，该方法进一步设置所述单位时间内允许传输的低级别信息上限，根据所述低级别信息上限限制所述日志信息中低级别信息的传输。

优选地，将所述单位时间划分为若干子时间段的步骤，包括：将所述单位时间划分为若干等长的子时间段。

优选地，将所述日志信息上限分配给所述每个子时间段的步骤，包括：将所述日志信息上限平均分配给所述每个子时间段。

优选地，所述允许传输的信息数包括1。

优选地，该方法进一步包括：

所述单位时间内传输的日志信息数量未达到所述日志信息上限时，判断所述当前子时间段内已传输的信息数量是否达到所述允许传输的信息数。

优选地，在所述每一个子时间段内进一步缓存所读取的日志信息，传输缓存的优先级最高的日志信息。

优选地，缓存的所述优先级最高的日志信息不止一条时，传输先读取到的日志信息。

为了解决上述技术问题，本发明还提供了一种日志信息的传输系统，包括：

设置模块，用于设置单位时间以及在所述单位时间内允许传输的日志信息上限；

划分模块，用于将所述单位时间划分为若干子时间段，将所述日志信息上限分配给每个子时间段；

读取模块，用于从日志信息队列中读取日志信息；

判断模块，用于判断当前子时间段内已传输的信息数量是否达到所述当前子时间段内允许传输的信息数；

传输模块，与所述读取模块及判断模块相连，所述判断模块判断出所述当前子时间段内已传输的信息数量未达到所述允许传输的信息数时，传输所读取的日志信息并累加所述已传输的信息数量，否则丢弃所读取的日志信息。

优选地，所述设置模块进一步用于设置所述单位时间内允许传输的低级别信息上限；所述判断模块进一步用于根据所述低级别信息上限限制所述日志信息中低级别信息的传输。

优选地，所述划分模块将所述单位时间划分为若干等长的子时间段。

优选地，所述划分模块将所述日志信息上限平均分配给所述每个子时间段。

优选地，所述划分模块分配给所述每个子时间段的所述允许传输的信息数包括1。

优选地，所述判断模块进一步用于在所述单位时间内传输的日志信息数量未达到所述日志信息上限时，判断所述当前子时间段内已传输的信息数量是否达到所述允许传输的信息数。

优选地，该系统进一步包括：

存储器，用于缓存所读取的日志信息；

其中，所述传输模块用于传输所述存储器中缓存的优先级最高的日志信息。

优选地，所述传输模块进一步用于在所述存储器中缓存的所述优先级最高的日志信息不止一条时，传输先读取到的日志信息。

本发明解决了现有技术中日志信息发送过于集中和信息类型丢失的问题，并且日志信息在整个单位时间内是均匀发送的，避免了目的端过于集中地接收、处理日志信息，减轻了处理负荷。

本发明技术方案并不局限于源端限速，同样可以应用在目的端。将本发明技术方案结合现有技术，可以根据具体应用选择适用的具体方案，比如信息量较少时可采用常规的限速方式，而信息集中发送或信息量过大时可采用本发明技术方案进行限速。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明方法实施例的流程示意图；

图2为本发明方法第一应用实例的流程示意图；

图3为本发明方法第二应用实例的流程示意图；

图4为图3所示应用实例的信息发送过程示意图；

图5为本发明方法第三应用实例的流程示意图；

图6为本发明系统实施例的组成示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。

需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1为本发明方法实施例的流程示意图。如图1所示，本发明方法实施例主要包括如下步骤：

步骤S110，设置单位时间以及在该单位时间内允许传输的日志信息上限；

步骤S120，将该单位时间划分为若干子时间段，把该日志信息上限的数量平均分配给每个子时间段，每个子时间段内允许传输的信息数相等，且各子时间段允许传输的信息数的总和等于该日志信息上限；当然，将日志信息上限平均分配给每个子时间段仅是本实施例的一种实现方式，在其他实施例中，不一定需要按照平均分配的方式为每个子时间段分配允许传输的信息数；

步骤S130，从存储日志信息的日志信息队列中读取日志信息；

步骤S140，判断当前子时间段内已传输的信息数量是否达到该当前子时间段允许传输的信息数，以决定是否传输所读取的日志信息，是则转步骤S160，否则转步骤S150；

步骤S150，将该日志信息传输给目的端，并累加该子时间段内已传输的信息数量，然后转步骤S130继续执行；

步骤S160，丢弃该日志信息，并返回步骤S130继续执行。

本发明技术方案适用于源端，同样适用于目的端。

在图1所示实施例的基础上，还可以采用双重限速的方法更好地进行限速发送，即在每一个子时间段内，进一步限制低级别信息的传输。比如在上述步骤S110中，一并设置单位时间内允许传输的低级别的日志信息的上限，根据该低级别的日志信息上限限制低级别的日志信息的传输。

考虑到当前子时间段内已传输的信息的统计与单位时间内传输的日志信息的统计可能会由于偏差等原因而出现不一致的情形，可以在步骤S140中加入避免两种统计出现偏差的容错设计。具体地，上述步骤S140中，在判断当前子时间段内已传输的信息是否达到允许传输的信息数之前，先行判断在该单位时间内传输的日志信息数量是否达到该日志信息上限，尚未达到该日志信息上限时，则执行步骤S140中当前子时间段内已传输的信息是否达到该允许传输的信息数的判断，达到该日志信息上限时，则丢弃该日志信息并停止当前单位时间内日志信息的传输。

图2为本发明方法第一应用实例的流程示意图。结合图1所示方法实施例，图2所示的应用实例以源端发送日志消息为例，主要包括如下步骤：

步骤S210，设置单位时间T以及在该单位时间T内允许传输的日志信息上限N；

步骤S220，将该单位时间T划分为若干等长的原子时间t，在每个原子时间t内只允许传输1条日志信息(即t＝T/N)；

步骤S230，周期性地启动第一定时器以记录该单位时间T(以该单位时间T为该第一定时器的启动周期)，在每次启动该第一定时器之前，均分别将已发送信息数n和记录该原子时间t的第二定时器清零和复位(也即将已发送信息数n清零，将该第二定时器复位)，其中该第一定时器的时长为该单位时间T，该第二定时器的时长为该原子时间t，该已发送信息数n为已经发送的日志信息的数量；

步骤S240，循环读取存储日志信息的日志信息队列，从日志信息队列中读取日志信息；

步骤S250，判断读取到的日志信息是否为当前单位时间T内的第一条信息，是则执行步骤S260，否则执行步骤S270；

步骤S260，启动该第二定时器(表示一个新的原子时间t开始计时)，发送该日志信息，并将已发信息数n加1，返回步骤S240继续执行；

步骤S270，判断当前单位时间T内已发送信息数n是否尚未达到日志信息上限N，且该第二定时器是否已超时，是(即n＜N且第二定时器已超时)则执行步骤S260，否则执行步骤S280；

步骤S280，丢弃该日志信息，返回步骤S240继续执行。

其中，上述步骤S240至步骤S280表示的是一个单位时间T内的流程。当第一定时器计时到达后，则开始下一个单位时间T内的流程，该下一个单位时间T变为上述的当前单位时间T。

图3为本发明方法第二应用实例的流程示意图，本应用实例主要是采用缓冲区控制日志信息的发送。结合图1所示方法实施例，图3所示的应用实例以源端发送日志消息为例，主要包括如下步骤：

步骤S310，设置单位时间T以及在该单位时间T内允许传输的日志信息上限N；

步骤S320，将该单位时间T划分为若干等长的原子时间t，在每个原子时间t内只允许传输1条日志信息(即t＝T/N)；

步骤S330，周期性地启动第一定时器以记录该单位时间T(以该单位时间T为该第一定时器的启动周期)，同时将已发送信息数n清零，该已发送信息数n为本次单位时间T内已经发送的日志信息的数量；

步骤S340，周期性地启动第二定时器以记录该原子时间t(以该原子时间t为该第二定时器的启动周期)；其中该第二定时器的时长为该原子时间t；

步骤S350，循环读取存储日志信息的日志信息队列，从日志信息队列中读取日志信息；

步骤S360，读取到的新的日志信息请求发送时，判断已发送信息数n是否尚未达到N(即n＜＝N)，若是则执行步骤S370，否则执行步骤S390；

步骤S370，将该日志信息存储到缓冲区；

步骤S375，判断该第二定时器是否到时，是则转步骤S380继续执行，否则返回步骤S350继续执行；

步骤S380，发送该缓冲区中缓存的优先级最高的日志信息，并将已发送信息数n加1，执行步骤S390；如果优先级最高的日志信息不止一条，则先发送先读取到的日志信息，并将已发送信息数n加1，然后再执行步骤S390；

步骤S390，清空缓冲区，即丢弃该原子时间t内读取到的其他日志信息，并重启该第二定时器，返回步骤S350继续执行。

其中，上述步骤S340至步骤S390表示的是一个单位时间T内的流程。当第一定时器计时到达后，则开始下一个单位时间T内的流程，该下一个单位时间T变为上述的当前单位时间T。

对照图4，可以更好地理解图3所示应用实例的处理过程。如图4所示，周期T内共有日志信息1至7，其中在信息1、2、3中，信息2的优先级最高，在日志信息4、5、6、7中，信息6，7的优先级最高且信息6先于信息7读取到。经过图3所示应用实例的处理后，每隔t时间发送一条日志信息，该日志信息为t时间内等级最高的信息，分别为信息2和信息6。

对于日志信息中低级别信息的比重较大，则可采用双重限速的方法更好地进行限速发送。图5为本发明方法第三应用实例的流程示意图。结合图1所示方法实施例，图5所示的应用实例以源端发送日志消息为例，主要包括如下步骤：

步骤S510，设置单位时间T，设置在该单位时间T内允许传输的日志信息上限N和用于记录低级别信息的低级别信息上限D，其中N＞＝D；

步骤S520，将该单位时间T划分为若干等长的原子时间t，在每个原子时间t内只允许传输1条日志信息(即t＝T/N)；

步骤S530，在一个单位时间T内，周期性地启动第二定时器以记录该原子时间t(以该原子时间t为该第二定时器的启动周期)，同时将已发送信息数n及已发送低级别信息数d清零；其中该第二定时器的时长为该原子时间t，该发送低级别信息数d为已经发送的低级别信息的数量，该已发送信息数n为已经发送的日志信息的数量；

步骤S540，循环读取存储日志信息的日志信息队列，从日志信息队列中读取日志信息；

步骤S545，判断读取到的日志信息是否为当前单位时间T内的第一条日志信息，是则转步骤S550，否则转步骤S560；

步骤S550，判断该日志信息是否为低级别(比如调试级别)信息，是则转步骤S555，否则转步骤S556；

步骤S555，发送该日志信息，将该已发送低级别信息数d加1，将已发信息n加1，并启动该第二定时器，然后返回步骤S540继续执行；

步骤S556，发送该日志信息，将已发信息数n加1，并启动该第二定时器，然后返回步骤S540继续执行；

步骤S560，判断当前单位时间T内已发送信息数n是否尚未达到日志信息上限N，且该第二定时器是否已超时，若是(即n＜N且第二定时器已超时)，则执行步骤S570，否则执行步骤S590；

步骤S570，判断该日志信息是否为低级别信息，是则执行步骤S580，否则转步骤S556继续执行；

步骤S580，判断该已发送低级别信息数d是否尚未达到低级别信息上限D(即d＜＝D)，是则转步骤S555，否则转步骤S590；

步骤S590，丢弃该日志信息，返回步骤S540继续执行。

其中，上述步骤S530至步骤S590表示的是一个单位时间T内的流程。当第一定时器计时到达后，则开始下一个单位时间T内的流程，该下一个单位时间T变为上述的当前单位时间T。

图6为本发明系统实施例的组成示意图。结合图1所示的本发明方法实施例，以及图2、图3以及图5所示的本发明方法应用实例，图6所示的系统实施例主要包括设置模块610、划分模块620、读取模块630、判断模块640以及传输模块650，其中：

设置模块610，用于设置单位时间以及在该单位时间内允许传输的日志信息上限；

划分模块620，与该设置模块610相连，用于将该单位时间划分为若干子时间段，将该日志信息上限分配给每个子时间段，该每个子时间段都对应有允许传输的信息数；

读取模块630，用于从日志信息队列中读取日志信息；

判断模块640，与该划分模块620及读取模块630相连，用于在该单位时间内传输的日志信息数量尚未达到该日志信息上限时，判断当前子时间段内已传输的信息数量是否达到与该当前子时间段允许传输的信息数；

传输模块650，与该读取模块630及判断模块640相连，该判断模块640判断出该当前子时间段内已传输的信息数量未达到该允许传输的信息数时，传输读取模块630所读取的日志信息并累加该当前子时间段内已传输的信息的数量，否则丢弃所读取的日志信息。

其中，上述判断模块640进一步用于在判断当前子时间段内已传输的信息数量是否达到该当前子时间段允许传输的信息数之前，先判断该单位时间内传输的日志信息数量是否达到该日志信息上限，尚未达到时再进行该当前子时间段内已传输的信息数量是否达到该当前子时间段允许传输的信息数的判断。此种容错设计避免了当前子时间段内已传输的信息的统计与单位时间内传输的日志信息的统计由于偏差等原因而可能出现的不一致的情形。

其中，该划分模块620将该单位时间划分为若干等长的子时间段。

其中，该划分模块620将该日志信息上限平均分配给该每个子时间段。

其中，该划分模块620分配的该允许传输的信息数包括1。

其中，如图6所示，本系统实施例可以进一步包括：

存储器660，与该读取模块630、判断模块640及传输模块650相连，用于该判断模块640判断出该当前子时间段内已传输的信息数量未达到该允许传输的信息数时，进一步存储所读取的日志信息；其中，该传输模块650传输该存储器660中缓存的优先级最高的日志信息。

其中，该传输模块650，进一步在该存储器660中缓存的优先级最高的日志信息不止一条时，传输先读取到的日志信息。

其中，该设置模块610，用于在设置该单位时间以及日志信息上限时，进一步设置该单位时间内允许传输低级别信息的低级别信息上限；该判断模块640判断出该当前子时间段内已传输的信息数量未达到该允许传输的信息数时，进一步判断所读取的日志信息是否为低级别的日志信息，是则在传输所读取的日志信息时丢弃超过该低级别信息上限的低级别信息。

本发明通过将现有技术中的单位时间进行划分，控制划分后的每个子时间段内的日志信息数量，解决了现有技术中日志信息发送过于集中和信息类型丢失的问题，使得发送出去的日志信息类型更加全面，等级更加合理，并且日志信息在整个单位时间内是均匀发送的，避免了目的端过于集中地接收、处理日志信息，减轻了处理负荷。本发明提出的双重限速机制，进一步解决了日志信息中较多低级别的调试信息的问题，平衡了各级别信息的比例，减少了参考价值不高的低级别信息发送数量。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。另外，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (16)

1.一种日志信息的传输方法，其特征在于，包括：

设置单位时间以及在所述单位时间内允许传输的日志信息上限；

将所述单位时间划分为若干子时间段，将所述日志信息上限分配给每个子时间段；

在每一个子时间段内，从日志信息队列中读取日志信息，每读取一个日志信息则判断当前子时间段内已传输的信息数量是否达到所述当前子时间段内允许传输的信息数，达到则丢弃所读取的日志信息，否则传输所读取的日志信息并累加所述已传输的信息数量。

2.如权利要求1所述的方法，其特征在于：

进一步设置所述单位时间内允许传输的低级别信息上限，根据所述低级别信息上限限制所述日志信息中低级别信息的传输。

3.如权利要求1所述的方法，其特征在于，将所述单位时间划分为若干子时间段的步骤，包括：

将所述单位时间划分为若干等长的子时间段。

4.如权利要求1所述的方法，其特征在于，将所述日志信息上限分配给所述每个子时间段的步骤，包括：

将所述日志信息上限平均分配给所述每个子时间段。

5.如权利要求4所述的方法，其特征在于：

所述允许传输的信息数包括1。

6.如权利要求1所述的方法，其特征在于，该方法进一步包括：

所述单位时间内传输的日志信息数量未达到所述日志信息上限时，判断所述当前子时间段内已传输的信息数量是否达到所述允许传输的信息数。

7.如权利要求1所述的方法，其特征在于：

在所述每一个子时间段内进一步缓存所读取的日志信息，传输缓存的优先级最高的日志信息。

8.如权利要求7所述的方法，其特征在于：

缓存的所述优先级最高的日志信息不止一条时，传输先读取到的日志信息。

9.一种日志信息的传输系统，其特征在于，包括：

设置模块，用于设置单位时间以及在所述单位时间内允许传输的日志信息上限；

划分模块，用于将所述单位时间划分为若干子时间段，将所述日志信息上限分配给每个子时间段；

读取模块，用于从日志信息队列中读取日志信息；

判断模块，用于判断当前子时间段内已传输的信息数量是否达到所述当前子时间段内允许传输的信息数；

传输模块，与所述读取模块及判断模块相连，所述判断模块判断出所述当前子时间段内已传输的信息数量未达到所述允许传输的信息数时，传输所读取的日志信息并累加所述已传输的信息数量，否则丢弃所读取的日志信息。

10.如权利要求9所述的系统，其特征在于：

所述设置模块进一步用于设置所述单位时间内允许传输的低级别信息上限；

所述判断模块进一步用于根据所述低级别信息上限限制所述日志信息中低级别信息的传输。

11.如权利要求9所述的系统，其特征在于：

所述划分模块将所述单位时间划分为若干等长的子时间段。

12.如权利要求9所述的系统，其特征在于：

所述划分模块将所述日志信息上限平均分配给所述每个子时间段。

13.如权利要求12所述的系统，其特征在于：

所述划分模块分配给所述每个子时间段的所述允许传输的信息数包括1。

14.如权利要求9所述的系统，其特征在于：

所述判断模块进一步用于在所述单位时间内传输的日志信息数量未达到所述日志信息上限时，判断所述当前子时间段内已传输的信息数量是否达到所述允许传输的信息数。

15.如权利要求9所述的系统，其特征在于，该系统进一步包括：

存储器，用于缓存所读取的日志信息；

其中，所述传输模块用于传输所述存储器中缓存的优先级最高的日志信息。

16.如权利要求15所述的系统，其特征在于：

所述传输模块进一步用于在所述存储器中缓存的所述优先级最高的日志信息不止一条时，传输先读取到的日志信息。

Images