CN102790686B - 日志数据采集方法、系统及服务器 - Google Patents
日志数据采集方法、系统及服务器 Download PDFInfo
- Publication number
- CN102790686B CN102790686B CN201110127336.0A CN201110127336A CN102790686B CN 102790686 B CN102790686 B CN 102790686B CN 201110127336 A CN201110127336 A CN 201110127336A CN 102790686 B CN102790686 B CN 102790686B
- Authority
- CN
- China
- Prior art keywords
- log
- server device
- delegation
- acquisition
- delegation server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000003750 conditioning effect Effects 0.000 claims abstract description 22
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 230000002354 daily effect Effects 0.000 description 59
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 241001269238 Data Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种日志数据采集方法,应用于包含至少一个日志采集服务器的系统中,每个日志采集服务器对应于多个委托服务器,所述方法包括:委托服务器实时保存根据用户操作信息生成的日志文件;日志采集服务器根据预先设置的采集策略动态调整委托服务器的日志采集速度;日志采集服务器接收所述委托服务器按照所述日志采集速度上报的日志文件。本申请还公开了一种日志数据采集系统和日志采集服务器。本申请中由于总部的日志采集服务器可以根据预设采集策略动态调整各个委托服务器的日志采集速度,因此可以实现对日志数据的实时采集;并且,由于日志采集服务器可以实现对委托服务器的日志数据进行自动采集和汇总,因此可以提高日志数据的查询效率。
Description
技术领域
本申请涉及网络通信技术领域,特别是涉及一种日志数据采集方法、系统及服务器。
背景技术
证券公司总部为了方便用户访问证券系统,会在不同地点部署具有相同功能的服务器,这些服务器也可以称为镜像站点服务器或委托服务器,各委托服务器通过internet网络访问总部的日志采集服务器,委托服务器越多,每个委托服务器所分配的网络访问带宽就会变小。证券系统每天都会产生大量的日志数据,日志数据用于保存用户的交易记录,包括用户的来源IP、MAC地址、数字签名等。现有技术中,为了不影响证券系统的日常运行,减少各委托服务器的带宽使用,各委托服务器均不对日志数据进行实时采集上报,而是在非工作时间,例如晚上将日志数据传输到总部的日志采集服务器进行汇总。
发明人在对现有技术的研究过程中发现,现有技术中由于网络带宽的限制,导致总部的日志采集服务器难以实时采集到所有委托服务器上生成的日志数据;进一步,在需要实时查询个别用户的交易数据时,只能通过在线汇总所有委托服务器的日志数据,进行手工查询,因此日志数据的汇总速度较慢,导致查询效率不高。
发明内容
本申请实施例提供了一种日志数据采集方法、系统及服务器,以解决现有技术中难以实时采集委托服务器的日志数据的问题。
为了解决上述技术问题,本申请实施例公开了如下技术方案:
一种日志数据采集方法,应用于包含至少一个日志采集服务器的系统中,每个所述日志采集服务器对应于多个委托服务器,所述方法包括:
委托服务器实时保存根据用户操作信息生成的日志文件;
日志采集服务器根据预先设置的采集策略动态调整委托服务器的日志采集速度;
日志采集服务器接收所述委托服务器按照所述日志采集速度上报的日志文件。
所述委托服务器实时保存根据用户操作信息生成的日志文件包括:
委托服务器将根据用户的操作信息生成的日志数据保存至缓存中;
当在预设时间内缓存中的日志数据的数据量超过预设数据量,或者缓存中日志数据的数据量没有超过预设数量但到达预设时间时,将所述缓存中的日志数据以日志文件的形式写入磁盘。
所述日志采集服务器根据预先设置的采集策略动态调整委托服务器的日志采集速度包括:
所述日志采集服务器根据委托服务器上报的CPU信息调整所述委托服务器的日志采集速度;或
所述日志采集服务器根据委托服务器上报的内存占用率调整所述委托服务器的日志采集速度;或
所述日志采集服务器根据委托服务器的网络流量使用率调整所述委托服务器的日志采集速度;或
所述日志采集服务器根据与所述日志采集服务器相连的日志数据库的繁忙程度调整所述委托服务器的日志采集速度。
所述委托服务器按照日志采集速度上报日志文件包括:
委托服务器将待上报的日志文件读入缓存;
对所述日志文件进行压缩;
将压缩后的日志文件按照所述日志采集速度传输至所述日志采集服务器。
还包括:
所述委托服务器在按照日志采集速度上报日志文件的过程中,实时记录当前传输的日志数据在日志文件中的位置信息;
当所述委托服务器的系统发生异常并恢复正常后,根据所述记录的位置信息继续上报所述日志文件。
还包括:
所述日志采集服务器对接收到的日志文件进行解析,生成与预设格式一致的日志记录;
将所述日志记录发送至日志数据库进行保存。
还包括:为所述日志采集服务器配置至少一个备份服务器,
当所述日志采集服务器故障时,切换到所述备份服务器;
所述日志采集服务器通过所述备份服务器与所述委托服务器进行日志数据的采集交互。
一种日志数据采集系统,包括:至少一个日志采集服务器,与每个日志采集服务器对应的多个委托服务器,其中,
所述委托服务器,用于实时保存根据用户操作信息生成的日志文件;
所述日志采集服务器,用于根据预先设置的采集策略动态调整委托服务器的日志采集速度,并接收所述委托服务器按照所述日志采集速度上报的日志文件。
所述日志采集服务器,具体用于根据委托服务器上报的CPU信息调整所述委托服务器的日志采集速度;或根据委托服务器上报的内存占用率调整所述委托服务器的日志采集速度;或根据委托服务器的网络流量使用率调整所述委托服务器的日志采集速度;或根据与所述日志采集服务器相连的日志数据库的繁忙程度调整所述委托服务器的日志采集速度。
所述委托服务器,还用于在按照日志采集速度上报日志文件的过程中,实时记录当前传输的日志数据在日志文件中的位置信息,当所述委托服务器的系统发生异常并恢复正常后,根据所述记录的位置信息继续上报所述日志文件。
所述日志采集服务器,还用于对接收到的日志文件进行解析,生成与预设格式一致的日志记录,将所述日志记录发送至日志数据库进行保存。
还包括:为所述日志采集服务器配置的至少一个备份服务器,
所述备份服务器,用于当所述日志采集服务器故障时,切换到所述备份服务器,由所述备份服务器与所述委托服务器进行日志数据的采集交互。
一种日志采集服务器,应用于日志数据采集系统中,所述日志采集服务器对应于多个委托服务器,包括:
调整单元,用于根据预先设置的采集策略动态调整委托服务器的日志采集速度;
采集单元,用于接收所述委托服务器按照所述日志采集速度上报的日志文件,所述日志文件为所述委托服务器实时保存的根据用户操作信息生成的日志文件。
所述调整单元包括至少一个下述单元:
第一调整单元,用于根据委托服务器上报的CPU信息调整所述委托服务器的日志采集速度;
第二调整单元,用于根据委托服务器上报的内存占用率调整所述委托服务器的日志采集速度;
第三调整单元,用于根据委托服务器的网络流量使用率调整所述委托服务器的日志采集速度;
第四调整单元,用于根据与所述日志采集服务器相连的日志数据库的繁忙程度调整所述委托服务器的日志采集速度。
还包括:
生成单元,用于对接收到的日志文件进行解析,生成与预设格式一致的日志记录;
保存单元,用于将所述日志记录发送至日志数据库进行保存。
由上述实施例可以看出,本申请实施例中每个日志采集服务器对应多个委托服务器,委托服务器实时保存根据用户操作信息生成的日志文件,日志采集服务器根据预先设置的采集策略动态调整委托服务器的日志采集速度,日志采集服务器接收委托服务器按照所述日志采集速度上报的日志文件。应用本申请实施例,由于总部的日志采集服务器可以根据预设采集策略动态调整各个委托服务器的日志采集速度,因此可以实现对日志数据的实时采集;并且,由于日志采集服务器可以实现对委托服务器的日志数据进行自动采集和汇总,因此可以提高日志数据的查询效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请日志数据采集方法的第一实施例流程图;
图2为本申请日志数据采集方法的第二实施例流程图;
图3为本申请日志数据采集系统的第一实施例框图;
图4为本申请日志数据采集系统的第一实施例框图;
图5为本申请日志采集服务器的第一实施例框图;
图6为本申请日志采集服务器的第二实施例框图。
具体实施方式
本发明如下实施例提供了一种日志数据采集方法、系统及服务器。本申请实施例所应用的系统架构中包含至少一个日志采集服务器,以及与每个日志采集服务器对应的多个委托服务器。
为了使本技术领域的人员更好地理解本发明实施例中的技术方案,并使本发明实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明实施例中技术方案作进一步详细的说明。
参见图1,为本申请日志数据采集方法的第一实施例流程图:
步骤101:委托服务器实时保存根据用户操作信息生成的日志文件。
其中,委托服务器将根据用户的操作信息生成的日志数据保存至缓存中,当在预设时间内缓存中的日志数据的数据量超过预设数据量,或者缓存中日志数据的数据量没有超过预设数量但到达预设时间时,将缓存中的日志数据以日志文件的形式写入磁盘。
步骤102:日志采集服务器根据预先设置的采集策略动态调整委托服务器的日志采集速度。
其中,采集策略可以包括至少下述一种:根据委托服务器上报的CPU信息调整所述委托服务器的日志采集速度;根据委托服务器上报的内存占用率调整所述委托服务器的日志采集速度;根据委托服务器的网络流量使用率调整所述委托服务器的日志采集速度;根据与所述日志采集服务器相连的日志数据库的繁忙程度调整所述委托服务器的日志采集速度。
步骤103:日志采集服务器接收委托服务器按照日志采集速度上报的日志文件。
其中,委托服务器将待上报的日志文件读入缓存,对日志文件进行压,将压缩后的日志文件按照所述日志采集速度传输至日志采集服务器。
应用上述实施例,由于日志采集服务器可以根据预设采集策略动态调整各个委托服务器的日志采集速度,因此可以实现对日志数据的实时采集;并且,由于日志采集服务器可以实现对委托服务器的日志数据进行自动采集和汇总,因此可以提高日志数据的查询效率。当上述实施例应用在证券系统中时,可以保证位于总部的日志采集服务器能够实时自动采集到分布在各地的委托服务器上报的日志数据。
参见图2,为本申请日志数据采集方法的第二实施例流程图:
步骤201:委托服务器将根据用户的操作信息生成的日志数据保存至缓存中。
委托服务器可以按照现有技术中的日志保存机制对日志数据进行保存,这样可以进一步避免对现有委托服务器系统中的功能进行改变,防止委托服务器与日志采集服务器之间的耦合度降低,影响日志采集服务器所在的证券系统的正常运行。
步骤202:委托服务器将缓存中的日志数据以日志文件的形式写入磁盘。
其中,委托服务器可以按照定时定量的方式将日志数据写入磁盘,例如,可以判断在预设时间内缓存中的日志数据的数据量是否超过预设数据量,当超过预设数据量时,就将缓存中的日志数据写入磁盘;或者,当日志数据的数据量较小,比如缓存中日志数据的数据量没有超过预设数量但到达预设时间时,也可以将缓存中的日志数据写入磁盘,从而兼顾委托服务器系统的系统性能和实效性。
对于写入磁盘的日志数据,可以以日志文件的形式进行保存,日志文件可以采用文本方式,日志文件中的每一条日志记录对应一个用户的操作记录。
步骤203:日志采集服务器根据预先设置的采集策略动态调整委托服务器的日志采集速度。
其中,采集策略可以包括至少下述一种:根据委托服务器上报的CPU信息调整所述委托服务器的日志采集速度;根据委托服务器上报的内存占用率调整所述委托服务器的日志采集速度;根据委托服务器的网络流量使用率调整所述委托服务器的日志采集速度;根据与所述日志采集服务器相连的日志数据库的繁忙程度调整所述委托服务器的日志采集速度。
上述各种采集策略可以选择其一对委托服务器的日志采集速度进行调整,也可以综合考虑多个策略之间的加权结果对委托服务器的日志采集速度进行调整。例如,日志采集服务器可以按照预设时间间隔接收委托服务器上报的CPU和内存的使用情况,根据该使用情况判断所有委托服务器的负荷状况,对于系统负荷较低的委托服务器,可以向其发出提高日志文件上报速度和上报频率的指令,对于系统负荷较高的委托服务器,为了保证其优先执行业务需求,可以向其发出降低日志文件上报速度和上报频率的指令,甚至可以向其发出暂时不上报日志文件的指令。
步骤204:委托服务器将待上报的日志文件读入缓存。
由于委托服务器中保存了海量的日志数据,因此在向日志采集服务器上报日志数据时,可能每一次只能上报日志文件中预设大小的日志数据,因此在从日志文件中将日志数据读入缓存时,可以记录已读取日志数据的偏移位置,以便在下一次读取日志数据时,可以从所记录的偏移位置开始,读取预设大侠的日志数据。
步骤205:委托服务器对读入缓存的日志文件进行压缩。
本步骤为可选步骤,即可以根据网络传输性能选择是否对日志文件进行压缩,当网络传输性能较低时,为了提高日志数据的传输效率,可以对缓存中的日志数据进行压缩后再传输。
步骤206:委托服务器将压缩后的日志文件按照所述日志采集速度传输至日志采集服务器。
其中,委托服务器可以在按照日志采集速度上报日志文件的过程中,实时记录当前传输的日志数据在日志文件中的位置信息,以便当委托服务器的系统发生异常并恢复正常后,可以根据记录的位置信息继续上报该日志文件。
步骤207:日志采集服务器对接收到的日志文件进行解析,生成与预设格式一致的日志记录。
当委托服务器对日志文件进行压缩后上报时,日志采集服务器接收到日志文件后,需要对该日志文件进行解析,生成适合保存的与预设格式一致的日志记录,该预设格式可以与委托服务器磁盘中所保存日志数据的格式一致。
步骤208:将日志记录发送至日志数据库进行保存。
进一步,上述实施例中,还可以为每个日志采集服务器配置至少一个备份服务器,以便于当日志采集服务器故障时,可以切换到该备份服务器,该备份服务器具有与日志采集服务器一致的功能,通过该备份服务器与委托服务器进行日志数据的采集交互。
应用上述实施例,由于日志采集服务器可以根据预设采集策略动态调整各个委托服务器的日志采集速度,因此可以实现对日志数据的实时采集;并且,由于日志采集服务器可以实现对委托服务器的日志数据进行自动采集和汇总,因此可以提高日志数据的查询效率。当上述实施例应用在证券系统中时,可以保证位于总部的日志采集服务器能够实时自动采集到分布在各地的委托服务器上报的日志数据。
与本申请日志数据采集方法的实施例相对应,本申请还提供了日志数据采集系统和日志采集服务器的实施例。
参见图3,为本申请日志数据采集系统的第一实施例框图:
该系统包括:至少一个日志采集服务器310,以及与每个日志采集服务器310对应的多个委托服务器320。为了示例方便,图3中仅示出了一个日志采集服务器和与其对应的两个委托服务器。
其中,所述委托服务器320,用于实时保存根据用户操作信息生成的日志文件;
所述日志采集服务器310,用于根据预先设置的采集策略动态调整委托服务器320的日志采集速度,并接收所述委托服务器320按照所述日志采集速度上报的日志文件。
参见图4,为本申请日志数据采集系统的第二实施例框图:
该系统包括:至少一个日志采集服务器410,与每个日志采集服务器410对应的多个委托服务器420,以及为日志采集服务器410配置的至少一个备份服务器430。为了示例方便,图4中仅示出了一个日志采集服务器和与其对应的两个委托服务器,以及一个备份服务器。
其中,所述委托服务器420,用于实时保存根据用户操作信息生成的日志文件;
所述日志采集服务器410,用于根据预先设置的采集策略动态调整委托服务器420的日志采集速度,并接收所述委托服务器420按照所述日志采集速度上报的日志文件;
所述备份服务器430,用于当所述日志采集服务器410故障时,切换到所述备份服务器430,由所述备份服务器430与所述委托服务器420进行日志数据的采集交互。
进一步,所述日志采集服务器410,具体用于根据委托服务器420上报的CPU信息调整所述委托服务器420的日志采集速度;或根据委托服务器420上报的内存占用率调整所述委托服务器420的日志采集速度;或根据委托服务器420的网络流量使用率调整所述委托服务器420的日志采集速度;或根据与所述日志采集服务器410相连的日志数据库的繁忙程度调整所述委托服务器420的日志采集速度。
进一步,所述委托服务器420,还用于在按照日志采集速度上报日志文件的过程中,实时记录当前传输的日志数据在日志文件中的位置信息,当所述委托服务器420的系统发生异常并恢复正常后,根据所述记录的位置信息继续上报所述日志文件。
所述日志采集服务器410,还用于对接收到的日志文件进行解析,生成与预设格式一致的日志记录,将所述日志记录发送至日志数据库进行保存。
参见图5,为本申请日志采集服务器的第一实施例框图:
该日志采集服务器应用于日志数据采集系统中,对应于多个委托服务器,该日志采集服务器包括:调整单元510和采集单元520。
其中,调整单元510,用于根据预先设置的采集策略动态调整委托服务器的日志采集速度;
采集单元520,用于接收所述委托服务器按照所述日志采集速度上报的日志文件,所述日志文件为所述委托服务器实时保存的根据用户操作信息生成的日志文件。
参见图6,为本申请日志采集服务器的第二实施例框图:
该日志采集服务器应用于日志数据采集系统中,对应于多个委托服务器,该日志采集服务器包括:调整单元610、采集单元620、生成单元630和保存单元640。
其中,调整单元610,用于根据预先设置的采集策略动态调整委托服务器的日志采集速度;
采集单元620,用于接收所述委托服务器按照所述日志采集速度上报的日志文件,所述日志文件为所述委托服务器实时保存的根据用户操作信息生成的日志文件;
生成单元630,用于对接收到的日志文件进行解析,生成与预设格式一致的日志记录;
保存单元640,用于将所述日志记录发送至日志数据库进行保存。
具体的,所述调整单元610可以包括至少一个下述单元(图6中未示出):
第一调整单元,用于根据委托服务器上报的CPU信息调整所述委托服务器的日志采集速度;
第二调整单元,用于根据委托服务器上报的内存占用率调整所述委托服务器的日志采集速度;
第三调整单元,用于根据委托服务器的网络流量使用率调整所述委托服务器的日志采集速度;
第四调整单元,用于根据与所述日志采集服务器相连的日志数据库的繁忙程度调整所述委托服务器的日志采集速度。
通过对以上实施方式的描述可知,本申请实施例中每个日志采集服务器对应多个委托服务器,委托服务器实时保存根据用户操作信息生成的日志文件,日志采集服务器根据预先设置的采集策略动态调整委托服务器的日志采集速度,日志采集服务器接收委托服务器按照所述日志采集速度上报的日志文件。应用本申请实施例,由于总部的日志采集服务器可以根据预设采集策略动态调整各个委托服务器的日志采集速度,因此可以实现对日志数据的实时采集;并且,由于日志采集服务器可以实现对委托服务器的日志数据进行自动采集和汇总,因此可以提高日志数据的查询效率。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述的本发明实施方式,并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (12)
1.一种日志数据采集方法,其特征在于,应用于包含至少一个日志采集服务器的系统中,每个所述日志采集服务器对应于多个委托服务器,所述方法包括:
委托服务器实时保存根据用户操作信息生成的日志文件;
日志采集服务器根据预先设置的采集策略动态调整委托服务器的日志采集速度;
日志采集服务器接收所述委托服务器按照所述日志采集速度上报的日志文件;
其中,所述日志采集服务器根据预先设置的采集策略动态调整委托服务器的日志采集速度包括:
所述日志采集服务器根据委托服务器上报的CPU信息调整所述委托服务器的日志采集速度;或
所述日志采集服务器根据委托服务器上报的内存占用率调整所述委托服务器的日志采集速度;或
所述日志采集服务器根据委托服务器的网络流量使用率调整所述委托服务器的日志采集速度;或
所述日志采集服务器根据与所述日志采集服务器相连的日志数据库的繁忙程度调整所述委托服务器的日志采集速度;或
所述日志采集服务器根据上述多个采集策略之间的加权结果调整所述委托服务器的日志采集速度。
2.根据权利要求1所述的方法,其特征在于,所述委托服务器实时保存根据用户操作信息生成的日志文件包括:
委托服务器将根据用户的操作信息生成的日志数据保存至缓存中;
当在预设时间内缓存中的日志数据的数据量超过预设数据量,或者缓存中日志数据的数据量没有超过预设数量但到达预设时间时,将所述缓存中的日志数据以日志文件的形式写入磁盘。
3.根据权利要求1所述的方法,其特征在于,所述委托服务器按照日志采集速度上报日志文件包括:
委托服务器将待上报的日志文件读入缓存;
对所述日志文件进行压缩;
将压缩后的日志文件按照所述日志采集速度传输至所述日志采集服务器。
4.根据权利要求1所述的方法,其特征在于,还包括:
所述委托服务器在按照日志采集速度上报日志文件的过程中,实时记录当前传输的日志数据在日志文件中的位置信息;
当所述委托服务器的系统发生异常并恢复正常后,根据所述记录的位置信息继续上报所述日志文件。
5.根据权利要求1所述的方法,其特征在于,还包括:
所述日志采集服务器对接收到的日志文件进行解析,生成与预设格式一致的日志记录;
将所述日志记录发送至日志数据库进行保存。
6.根据权利要求1所述的方法,其特征在于,还包括:为所述日志采集服务器配置至少一个备份服务器,
当所述日志采集服务器故障时,切换到所述备份服务器;
所述日志采集服务器通过所述备份服务器与所述委托服务器进行日志数据的采集交互。
7.一种日志数据采集系统,其特征在于,包括:至少一个日志采集服务器,与每个日志采集服务器对应的多个委托服务器,其中,
所述委托服务器,用于实时保存根据用户操作信息生成的日志文件;
所述日志采集服务器,用于根据预先设置的采集策略动态调整委托服务器的日志采集速度,并接收所述委托服务器按照所述日志采集速度上报的日志文件;
其中,所述日志采集服务器,具体用于根据委托服务器上报的CPU信息调整所述委托服务器的日志采集速度;或根据委托服务器上报的内存占用率调整所述委托服务器的日志采集速度;或根据委托服务器的网络流量使用率调整所述委托服务器的日志采集速度;或根据与所述日志采集服务器相连的日志数据库的繁忙程度调整所述委托服务器的日志采集速度;或根据上述多个采集策略之间的加权结果调整所述委托服务器的日志采集速度。
8.根据权利要求7所述的系统,其特征在于,所述委托服务器,还用于在按照日志采集速度上报日志文件的过程中,实时记录当前传输的日志数据在日志文件中的位置信息,当所述委托服务器的系统发生异常并恢复正常后,根据所述记录的位置信息继续上报所述日志文件。
9.根据权利要求7所述的系统,其特征在于,所述日志采集服务器,还用于对接收到的日志文件进行解析,生成与预设格式一致的日志记录,将所述日志记录发送至日志数据库进行保存。
10.根据权利要求7所述的系统,其特征在于,还包括:为所述日志采集服务器配置的至少一个备份服务器,
所述备份服务器,用于当所述日志采集服务器故障时,切换到所述备份服务器,由所述备份服务器与所述委托服务器进行日志数据的采集交互。
11.一种日志采集服务器,其特征在于,应用于日志数据采集系统中,所述日志采集服务器对应于多个委托服务器,包括:
调整单元,用于根据预先设置的采集策略动态调整委托服务器的日志采集速度;
采集单元,用于接收所述委托服务器按照所述日志采集速度上报的日志文件,所述日志文件为所述委托服务器实时保存的根据用户操作信息生成的日志文件;
其中,所述调整单元包括至少一个下述单元:
第一调整单元,用于根据委托服务器上报的CPU信息调整所述委托服务器的日志采集速度;
第二调整单元,用于根据委托服务器上报的内存占用率调整所述委托服务器的日志采集速度;
第三调整单元,用于根据委托服务器的网络流量使用率调整所述委托服务器的日志采集速度;
第四调整单元,用于根据与所述日志采集服务器相连的日志数据库的繁忙程度调整所述委托服务器的日志采集速度;
第五调整单元,用于根据上述多个采集策略之间的加权结果调整所述委托服务器的日志采集速度。
12.根据权利要求11所述的服务器,其特征在于,还包括:
生成单元,用于对接收到的日志文件进行解析,生成与预设格式一致的日志记录;
保存单元,用于将所述日志记录发送至日志数据库进行保存。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110127336.0A CN102790686B (zh) | 2011-05-17 | 2011-05-17 | 日志数据采集方法、系统及服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110127336.0A CN102790686B (zh) | 2011-05-17 | 2011-05-17 | 日志数据采集方法、系统及服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102790686A CN102790686A (zh) | 2012-11-21 |
CN102790686B true CN102790686B (zh) | 2015-09-16 |
Family
ID=47155993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110127336.0A Active CN102790686B (zh) | 2011-05-17 | 2011-05-17 | 日志数据采集方法、系统及服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102790686B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107508718A (zh) * | 2016-06-14 | 2017-12-22 | 阿里巴巴集团控股有限公司 | 日志采集系统、日志采集单元以及日志采集方法 |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103561102B (zh) * | 2013-11-08 | 2017-03-22 | 北京奇虎科技有限公司 | 数据实时同步方法及系统 |
CN103747048A (zh) * | 2013-12-24 | 2014-04-23 | 乐视网信息技术(北京)股份有限公司 | 一种信息处理方法和装置 |
CN104917642B (zh) * | 2014-03-11 | 2019-03-22 | 深圳业拓讯通信科技有限公司 | 一种端口镜像数据传输方法及其系统 |
CN104935444B (zh) * | 2014-03-17 | 2018-09-04 | 新华三技术有限公司 | 异构日志系统管理配置装置及方法 |
CN103944973A (zh) * | 2014-04-02 | 2014-07-23 | 北京中交兴路车联网科技有限公司 | 一种日志采集方法及装置 |
CN104125115B (zh) * | 2014-08-01 | 2017-09-22 | 浪潮(北京)电子信息产业有限公司 | 一种日志信息传送方法及装置 |
CN105656706B (zh) * | 2014-11-14 | 2020-09-15 | 北京通达无限科技有限公司 | 业务数据的处理方法及设备 |
CN105721179A (zh) * | 2014-12-02 | 2016-06-29 | 北京奇虎科技有限公司 | 日志收集系统及其中的数据传输方法和本地服务器 |
CN105871574B (zh) * | 2015-01-21 | 2019-02-26 | 中国移动通信集团浙江有限公司 | 一种基于软件开发工具包监控日志的方法、装置及系统 |
CN104967696A (zh) * | 2015-07-29 | 2015-10-07 | 网神信息技术(北京)股份有限公司 | 日志发送方法和装置 |
CN106681998A (zh) * | 2015-11-05 | 2017-05-17 | 北京国双科技有限公司 | 一种日志远程存储的方法及装置 |
CN105511968A (zh) * | 2015-12-31 | 2016-04-20 | 北京奇艺世纪科技有限公司 | 一种资源调度管理系统 |
CN106201844B (zh) * | 2016-06-29 | 2019-01-01 | 北京智能管家科技有限公司 | 一种日志收集方法及装置 |
CN106452867A (zh) * | 2016-08-10 | 2017-02-22 | 贵阳朗玛信息技术股份有限公司 | 日志报文处理方法及系统 |
CN107995234B (zh) * | 2016-10-26 | 2021-08-10 | 北京国双科技有限公司 | 数据传输方法及装置 |
CN106708713A (zh) * | 2016-12-12 | 2017-05-24 | 深圳市中博睿存科技有限公司 | 日志文件的写入方法及装置 |
CN106649735B (zh) * | 2016-12-23 | 2020-01-10 | 腾讯科技(深圳)有限公司 | 一种记录日志数据的方法和装置 |
CN108984545A (zh) * | 2017-05-31 | 2018-12-11 | 广东神马搜索科技有限公司 | 日志文件处理方法、装置和服务器 |
CN107480216A (zh) * | 2017-07-28 | 2017-12-15 | 无锡天脉聚源传媒科技有限公司 | 一种获取用户的操作信息的方法及装置 |
CN107609120B (zh) * | 2017-09-13 | 2020-07-31 | Oppo广东移动通信有限公司 | 日志信息上报方法、装置及存储介质、adsp和终端 |
CN109522177A (zh) * | 2017-09-20 | 2019-03-26 | 阿里巴巴集团控股有限公司 | 一种任务日志处理系统、方法以及装置 |
WO2020003438A1 (ja) * | 2018-06-28 | 2020-01-02 | 株式会社Fuji | ロギング装置及びサンプリングの方法 |
CN109308170B (zh) * | 2018-09-11 | 2021-11-30 | 北京北信源信息安全技术有限公司 | 一种数据处理方法及装置 |
CN111723064A (zh) * | 2019-03-22 | 2020-09-29 | 顺丰科技有限公司 | 日志采集方法、装置、服务器及存储介质 |
CN111865674B (zh) * | 2020-07-09 | 2024-01-09 | 腾讯科技(深圳)有限公司 | 一种日志处理方法、装置及介质 |
CN112988511B (zh) * | 2021-03-12 | 2023-02-21 | 山东英信计算机技术有限公司 | 一种日志信息收集方法、系统、存储介质及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101079798A (zh) * | 2006-05-26 | 2007-11-28 | 华为技术有限公司 | 网络地址转换方法及实现访问控制列表的方法 |
CN101651707A (zh) * | 2009-09-22 | 2010-02-17 | 西安交通大学 | 一种网络用户行为日志自动获取方法 |
CN101964795A (zh) * | 2010-09-30 | 2011-02-02 | 北京世纪互联工程技术服务有限公司 | 日志采集系统、日志采集方法和日志回收服务器 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3762319B2 (ja) * | 2002-03-15 | 2006-04-05 | キヤノン株式会社 | 画像処理方法、画像処理装置及び画像処理システム |
-
2011
- 2011-05-17 CN CN201110127336.0A patent/CN102790686B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101079798A (zh) * | 2006-05-26 | 2007-11-28 | 华为技术有限公司 | 网络地址转换方法及实现访问控制列表的方法 |
CN101651707A (zh) * | 2009-09-22 | 2010-02-17 | 西安交通大学 | 一种网络用户行为日志自动获取方法 |
CN101964795A (zh) * | 2010-09-30 | 2011-02-02 | 北京世纪互联工程技术服务有限公司 | 日志采集系统、日志采集方法和日志回收服务器 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107508718A (zh) * | 2016-06-14 | 2017-12-22 | 阿里巴巴集团控股有限公司 | 日志采集系统、日志采集单元以及日志采集方法 |
CN107508718B (zh) * | 2016-06-14 | 2021-03-02 | 阿里巴巴集团控股有限公司 | 日志采集系统、日志采集单元以及日志采集方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102790686A (zh) | 2012-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102790686B (zh) | 日志数据采集方法、系统及服务器 | |
CN101853287B (zh) | 数据压缩快速检索文件系统及其方法 | |
US9697316B1 (en) | System and method for efficient data aggregation with sparse exponential histogram | |
CN102411637B (zh) | 分布式文件系统的元数据管理方法 | |
CN102833668B (zh) | 数据流量提醒方法及装置 | |
CN111352806B (zh) | 日志数据监控方法及装置 | |
CN102411533A (zh) | 一种集群存储系统的日志管理优化方法 | |
CN106789377B (zh) | 网元集群的服务参数更新方法 | |
CN102208991A (zh) | 一种日志处理方法、设备和系统 | |
CN102148833A (zh) | 数据报表的传输方法、服务器、客户端以及系统 | |
CN101916289B (zh) | 支持海量小文件和动态备份数的数字图书馆存储系统的构建方法 | |
US20230237064A1 (en) | Data processing method, apparatus, and system, computer device, readable storage medium, and computer program product | |
CN110609813B (zh) | 一种数据存储系统及方法 | |
CN102750326A (zh) | 一种基于精简策略的集群系统的日志管理优化方法 | |
US8886615B2 (en) | Web service performance optimization by adaptively using compression | |
CN107809337A (zh) | 一种日志上传方法及装置 | |
CN106027595A (zh) | 用于cdn节点的访问日志处理方法及系统 | |
CN103475714A (zh) | 一种基于ActiveX技术进行操作日志记录和上传的系统及方法 | |
Li et al. | Coarse-grained cloud synchronization mechanism design may lead to severe traffic overuse | |
CN106897159A (zh) | 一种用于采集自动气象站数据的系统及方法 | |
US12118129B2 (en) | Method, system, electronic device, and storage medium for storing and collecting temperature data | |
CN102523410B (zh) | 一种写入视频数据的方法及视频数据存储设备 | |
CN102520982A (zh) | 节点热插拔的方法及装置 | |
CN105812833A (zh) | 文件处理方法和装置 | |
CN202565318U (zh) | 分布式虚拟化存储系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220323 Address after: 310000 room 426, building 5, No. 1197, Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Hexin Software Technology Co.,Ltd. Address before: 310000 No. 20, building 5, Deya garden, No. 276, Jiaogong Road, Xihu District, Hangzhou City, Zhejiang Province Patentee before: HITHINK ROYALFLUSH INFORMATION NETWORK Co.,Ltd. |
|
TR01 | Transfer of patent right |