CN105429783A - 边缘节点服务器、日志文件处理方法及系统 - Google Patents

边缘节点服务器、日志文件处理方法及系统 Download PDF

Info

Publication number
CN105429783A
CN105429783A CN201510727454.3A CN201510727454A CN105429783A CN 105429783 A CN105429783 A CN 105429783A CN 201510727454 A CN201510727454 A CN 201510727454A CN 105429783 A CN105429783 A CN 105429783A
Authority
CN
China
Prior art keywords
journal file
size
reading
edge node
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510727454.3A
Other languages
English (en)
Inventor
唐乾坤
杨宁
顾庆荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Supreme Being Joins Information Technology Share Co Ltd
Original Assignee
Shanghai Supreme Being Joins Information Technology Share Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Supreme Being Joins Information Technology Share Co Ltd filed Critical Shanghai Supreme Being Joins Information Technology Share Co Ltd
Priority to CN201510727454.3A priority Critical patent/CN105429783A/zh
Publication of CN105429783A publication Critical patent/CN105429783A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

边缘节点服务器、日志文件处理方法及系统，所述方法包括：实时读取自身产生的日志文件；将所读取的日志文件进行处理，生成具有预设格式的日志文件；判断所读取的日志文件的大小是否小于预设的日志缓冲区的大小；当确定所读取的日志文件的大小小于所述日志缓冲区的大小时，停止读取日志文件。上述的方案，可以确保日志文件收集的完整性。

Description

边缘节点服务器、日志文件处理方法及系统
技术领域
本发明涉及内容分发网络技术领域，特别是涉及一种边缘节点服务器、日志文件处理方法及系统。
背景技术
随着互联网技术的快速发展，手持设备、桌面终端等诸多互联网终端被大量使用，同时也产生了海量的信息。海量信息背后的“大数据”隐藏着人们自主行为意识，可以产生很多商业行为的潜在价值导向，因而这些海量数据的快速处理和分析技术的需求就日益紧迫。
现有技术中，内容分发网络(ContentDeliveryNetwork，CDN)服务提供商是通过大量的节点(边缘)服务器来为客户提供加速服务的。其中，CDN网络中各个节点服务器产生的日志文件数量是巨大的。面对海量的日志文件信息，如何合理高效地对对海量日志文件快速分析、筛选、提炼，已成为亟待解决的问题。
但是，现有技术中收集服务器在对边缘节点服务器产生的日志文件进行收集方法，无法确保所收集的日志文件的完整性。
发明内容
本发明实施例解决的问题是确保日志文件收集的完整性。
为解决上述问题，本发明实施例提供了一种日志文件处理方法，所述方法包括：
实时读取自身产生的日志文件；
将所读取的日志文件进行处理，生成具有预设格式的日志文件；
判断所读取的日志文件的大小是否小于预设的日志缓冲区的大小；
当确定所读取的日志文件的大小小于所述日志缓冲区的大小时，停止读取日志文件。
可选地，所述方法还包括：当满足预设的条件时，将所述预设格式的日志文件上传至上传日志目录，所述上传日志目录包括待上传至中央收集服务器的预设格式的日志文件的信息。
可选地，所述预设的条件包括：
读取日志文件的时间达到预设的第一时间阈值。
可选地，所述预设的条件包括：
读取的日志文件的大小达到预设的第二数量阈值。
可选地，所述方法还包括：通过所述获取的最佳日志上传路线，将所述预设格式的日志文件上传至对应的中央收集服务器，所述中央收集服务器为所述最佳日志上传路线的终点。
本发明实施例还提供了一种边缘节点服务器，所述边缘节点服务器包括：
读取单元，适于实时读取自身产生的日志文件；
处理单元，适于将所读取的日志文件进行处理，生成具有预设格式的日志文件；
判断单元，适于判断所读取的日志文件的大小是否小于预设的日志缓冲区的大小；
读取控制单元，适于当确定所读取的日志文件的大小小于所述日志缓冲区的大小时，停止读取日志文件。
可选地，所述边缘节点服务器还包括：上传单元，适于当满足预设的条件时，将所述预设格式的日志文件上传至上传日志目录，所述上传日志目录中包括待上传至中央收集服务器的预设格式的日志文件的信息。
可选地，所述预设的条件包括：
读取日志文件的时间达到预设的第一时间阈值。
可选地，所述预设的条件包括：
读取的日志文件的大小达到预设的第一数量阈值。
本发明实施例还提供了一种日志文件处理系统，包括上述的边缘节点服务器。
与现有技术相比，本发明的技术方案具有以下的优点：
上述的方案，通过实时读取边缘节点服务器的内存的日志缓冲区中的日志文件，并在本次读取的日志文件的大小小于所述日志缓冲区的大小时，确定所述边缘节点服务器所产生的日志文件已经完全读取，因此，可以确保所读取的日志文件的完整性。
附图说明
图1是本发明实施例中的一种日志文件处理方法的流程图；
图2是本发明实施例中的另一种日志文件处理方法的流程图；
图3是本发明实施例中的边缘节点服务器的结构示意图。
具体实施方式
为解决现有技术中存在的上述问题，本发明实施例采用的技术方案通过在实时读取边缘节点服务器的内存的日志缓冲区中的日志文件，并确定本次读取的日志文件的大小小于所述日志缓冲区的大小时，确定所述边缘节点服务器所产生的日志文件已经完全读取，可以确保所读取的日志文件的完整性。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1本发明实施例提供了一种日志文件处理方法的流程图。如图1所示，所述日志文件处理方法可以包括：
步骤S101：实时读取自身产生的日志文件。
步骤S102：将所读取的日志文件进行处理，生成具有预设格式的日志文件。
步骤S103：判断所读取的日志文件的大小是否小于预设的日志缓冲区的大小；当判断结果为是时，可以执行步骤S104，反之，则继续执行步骤S101。
步骤S104：停止读取日志文件。
下面将对本发明实施例中的日志文件处理方法做进一步详细的介绍。
下面将结合图2对本发明实施例中的日志文件处理方法做进一步详细的介绍。如图2所示，本发明实施例中的日志文件处理方法，可以包括：
步骤S201：实时读取自身产生的日志文件。
在具体实施中，CDN服务商通过大量的边缘节点服务器来为客户提供加速服务。在这种情况下，CDN网络中的边缘节点服务器将会产生数量巨大的日志。其中，通过对边缘节点服务器产生的日志文件进行分析处理，可以获取到较为全面的用户的业务信息，以为用户提供更好的服务。
在具体实施中，边缘节点服务器在运行过程中产生的日志文件存储在其内存的日志缓冲区中，因此，边缘节点服务器可以从边缘节点服务器内存的日志缓冲区中读取其产生的日志文件。
步骤S202：将所读取的日志文件进行处理，生成具有预设格式的日志文件。
在具体实施中，当读取到边缘节点服务器的日志文件之后，边缘节点服务器可以将边缘节点服务器产生的日志文件处理成具有预设格式的日志文件，即生成标准化日志文件。
步骤S203：判断所读取的日志文件的大小是否小于预设的日志缓冲区的大小，当判断结果为是时，可以执行步骤S204，反之，则继续执行步骤S201。
步骤S204：停止读取日志文件。
在具体实施中，边缘节点服务器201在读取对应的边缘节点服务器产生的日志文件的过程中，当未读取到边缘节点服务器产生的日志文件的末尾时，每次所读取的日志文件的大小应与边缘节点服务器内存中预设的日志缓冲区中的大小相同。而当边缘节点服务器201在确定当前次所读取的日志文件的大小小于边缘节点服务器内存中的日志缓冲区的大小时，表明已经读取到日志文件的末尾，此时便可以停止读取日志文件。
通过上述的方案，可以确保每次所读取的边缘节点服务器所产生的日志文件的完成性，进而可以提高日志分析处理的准确性，提升客户的使用体验。
在具体实施中，如图2所示的日志文件处理方法还可以包括：
步骤S205：判断是否满足预设的条件；当判断结果为是时，可以执行步骤S206，反之，则可以不执行任何的操作。
在具体实施中，所述预设的条件可以根据实际的需要进行设置，如可以在连续读取边缘节点服务器产生的日志文件的时间达到预设的时间阈值，或者读取边缘节点服务器产生的日志文件的大小达到预设的数量阈值时。
步骤S206：将所述预设格式的日志文件上传至上传日志目录。
在具体实施中，边缘节点服务器在满足预设的条件时，将处理生成的预设格式的日志文件上传至上传日志目录。其中，所述上传日志目录包括待上传至中央收集服务器的预设格式的日志文件件的信息，边缘节点服务器可以根据所述上传日志目录，将对应的预设格式的日志文件通过所获取最佳日志上传路线上传至对应的中央收集服务器。其中，所述中央收集服务器为所述最佳日志上传路线的终点。
下面将结合图3对本发明实施例中的日志文件处理方法对应的装置做详细的介绍。
具体而言，请参见图3所示，所述边缘节点服务器300可以包括读取单元301、生成单元302、判断单元303和读取控制单元304，其中：
读取单元301，适于实时读取自身产生的日志文件。
生成单元302，适于将所读取的日志文件进行处理，生成具有预设格式的日志文件。
判断单元303，适于判断所读取的日志文件的大小是否小于预设的日志缓冲区的大小。
读取控制单元304，适于当确定所读取的日志文件的大小小于所述日志缓冲区的大小时，停止读取日志文件。
在具体实施中，所述边缘节点服务器300，还可以包括上传单元305，其中：
上传单元305，适于当满足预设的条件时，将所述预设格式的日志文件上传至上传日志目录。
在具体实施中，所述预设的条件可以为：读取日志文件的时间达到预设的时间阈值，或者读取的日志文件的大小达到预设的数量阈值。
本发明实施例还提供了一种日志文件处理系统，包括图3所示的边缘节点服务器300。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
以上对本发明实施例的方法及系统做了详细的介绍，本发明并不限于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (9)

1.一种日志文件处理方法，其特征在于，包括：
实时读取自身所产生的日志文件；
将所读取的日志文件进行处理，生成具有预设格式的日志文件；
判断所读取的日志文件的大小是否小于预设的日志缓冲区的大小；
当确定所读取的日志文件的大小小于所述日志缓冲区的大小时，停止读取日志文件。
2.根据权利要求1所述的日志文件处理方法，其特征在于，还包括：当满足预设的条件时，将所述预设格式的日志文件上传至上传日志目录，所述上传日志目录包括待上传至中央收集服务器的预设格式的日志文件的信息。
3.根据权利要求2所述的日志文件处理方法，其特征在于，所述预设的条件包括：读取日志文件的时间达到预设的时间阈值。
4.根据权利要求2所述的日志文件处理方法，其特征在于，所述预设的条件包括：读取的日志文件的大小达到预设的数量阈值。
5.一种边缘节点服务器，其特征在于，包括：
读取单元，适于实时读取自身产生的日志文件；
处理单元，适于将所读取的日志文件进行处理，生成具有预设格式的日志文件；
判断单元，适于判断所读取的日志文件的大小是否小于预设的日志缓冲区的大小；
读取控制单元，适于当确定所读取的日志文件的大小小于所述日志缓冲区的大小时，停止读取日志文件。
6.根据权利要求5所述的边缘节点服务器，其特征在于，还包括：上传单元，适于当满足预设的条件时，将所述预设格式的日志文件上传至上传日志目录，所述上传日志目录中包括待上传至中央收集服务器的预设格式的日志文件的信息。
7.根据权利要求6所述的边缘节点服务器，其特征在于，所述预设的条件包括：读取日志文件的时间达到预设的时间阈值。
8.根据权利要求6所述的边缘节点服务器，其特征在于，所述预设的条件包括：读取的日志文件的大小达到预设的数量阈值。
9.一种日志处理系统，其特征在于，包括权利要求5-8任一项所述的边缘节点服务器。
CN201510727454.3A 2015-10-30 2015-10-30 边缘节点服务器、日志文件处理方法及系统 Pending CN105429783A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510727454.3A CN105429783A (zh) 2015-10-30 2015-10-30 边缘节点服务器、日志文件处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510727454.3A CN105429783A (zh) 2015-10-30 2015-10-30 边缘节点服务器、日志文件处理方法及系统

Publications (1)

Publication Number Publication Date
CN105429783A true CN105429783A (zh) 2016-03-23

Family

ID=55507734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510727454.3A Pending CN105429783A (zh) 2015-10-30 2015-10-30 边缘节点服务器、日志文件处理方法及系统

Country Status (1)

Country Link
CN (1) CN105429783A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027595A (zh) * 2016-04-25 2016-10-12 乐视控股（北京）有限公司 用于cdn节点的访问日志处理方法及系统
CN109033185A (zh) * 2018-06-27 2018-12-18 山东省科学院自动化研究所 一种太赫兹光谱数据自动录入光谱数据库方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447633A (zh) * 2011-12-29 2012-05-09 北京亿赞普网络技术有限公司 一种日志传输的方法和系统
CN104598453A (zh) * 2013-10-31 2015-05-06 中国银联股份有限公司 基于数据缓冲的数据迁移方法
CN104657366A (zh) * 2013-11-18 2015-05-27 深圳市腾讯计算机系统有限公司 海量日志写入数据库的方法、装置和日志容灾系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447633A (zh) * 2011-12-29 2012-05-09 北京亿赞普网络技术有限公司 一种日志传输的方法和系统
CN104598453A (zh) * 2013-10-31 2015-05-06 中国银联股份有限公司 基于数据缓冲的数据迁移方法
CN104657366A (zh) * 2013-11-18 2015-05-27 深圳市腾讯计算机系统有限公司 海量日志写入数据库的方法、装置和日志容灾系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027595A (zh) * 2016-04-25 2016-10-12 乐视控股（北京）有限公司 用于cdn节点的访问日志处理方法及系统
CN109033185A (zh) * 2018-06-27 2018-12-18 山东省科学院自动化研究所 一种太赫兹光谱数据自动录入光谱数据库方法及系统

Similar Documents

Publication Publication Date Title
CN105429784A (zh) 中央收集服务器、日志文件处理方法及系统
CN105912587A (zh) 一种数据采集方法和系统
CN103812683B (zh) 一种用户行为数据的处理方法、装置和系统
CN109587125B (zh) 一种网络安全大数据分析方法、系统及相关装置
CN109561052B (zh) 网站异常流量的检测方法及装置
CN105490854A (zh) 实时日志收集方法、系统和应用服务器集群
CN112559475B (zh) 数据实时捕获和传输方法及系统
CN109005162B (zh) 工控系统安全审计方法及装置
CN105357041A (zh) 边缘节点服务器及日志文件上传方法和系统
US20140149487A1 (en) Replication and decoding of an instant message data through a proxy server
CN104702629A (zh) 一种资源访问信息的收集方法和装置
CN107357804A (zh) 互联网金融海量日志的分析系统及方法
CN105207832A (zh) 一种服务器压力测试方法和装置
CN113448798A (zh) 日志数据监控方法及相关设备
CN105429783A (zh) 边缘节点服务器、日志文件处理方法及系统
CN103823852A (zh) 数据库服务器日志的处理方法和装置
CN108804507A (zh) 用户的住址位置确定方法及系统
CN111666193B (zh) 基于实时日志解析的终端功能监控与测试的方法与系统
CN110928755A (zh) 一种用户行为数据处理方法及装置
CN104881326B (zh) 日志文件处理方法及装置
CN103595747A (zh) 用户信息推荐方法和系统
CN111835800B (zh) 一种物联网业务属性识别方法及装置
CN108267613B (zh) 一种测风数据处理方法及相关设备
CN111049684A (zh) 数据分析方法、装置、设备和存储介质
CN111159519A (zh) 一种基于网站点击流的公共安全舆情分析方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Tang Qiankun

Inventor after: Yang Ning

Inventor after: Gu Qingrong

Inventor after: Kang Kai

Inventor before: Tang Qiankun

Inventor before: Yang Ning

Inventor before: Gu Qingrong

COR Change of bibliographic data
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160323