CN106850761A - 日志文件存储方法及装置 - Google Patents

日志文件存储方法及装置 Download PDF

Info

Publication number
CN106850761A
CN106850761A CN201611271095.6A CN201611271095A CN106850761A CN 106850761 A CN106850761 A CN 106850761A CN 201611271095 A CN201611271095 A CN 201611271095A CN 106850761 A CN106850761 A CN 106850761A
Authority
CN
China
Prior art keywords
file
journal file
clouds
local log
journal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611271095.6A
Other languages
English (en)
Inventor
黄凯旋
杨宁
顾庆荣
康凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANGSU TIANLIAN INFORMATION TECHNOLOGY DEVELOPMENT Co Ltd
Original Assignee
JIANGSU TIANLIAN INFORMATION TECHNOLOGY DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIANGSU TIANLIAN INFORMATION TECHNOLOGY DEVELOPMENT Co Ltd filed Critical JIANGSU TIANLIAN INFORMATION TECHNOLOGY DEVELOPMENT Co Ltd
Priority to CN201611271095.6A priority Critical patent/CN106850761A/zh
Publication of CN106850761A publication Critical patent/CN106850761A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种日志文件存储方法及装置，所述方法包括：在预设的缓存周期内，实时接收边缘节点服务器产生的日志文件并进行压缩合并，以得到对应的压缩日志文件；当达到所述缓存周期的结束时间点对应的时刻时，将所得到的压缩日志文件上传至预设的云端服务器进行存储。上述的方案，可以在对日志文件进行存储时节省开销。

Description

日志文件存储方法及装置
技术领域
本发明属于日志文件处理技术领域，特别是涉及一种日志文件存储方法及装置。
背景技术
内容分发网络(Content Delivery Net work，CDN)服务提供商是通过大量的边缘节点服务器来为客户提供加速服务。客户端的每一次访问，都会产生对应的日志文件。通过对日志文件进行分析处理，可以获取到有价值的信息，从而可以更好地为客户提供服务。
Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架，且支持在商品硬件构建的大型集群上运行的应用程序。Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)是Hadoop的一个核心组件，通过将多台服务器构建一个基于网络的分布式文件系统，实现海量数据的存储。
但是，现有技术中的基于HDFS的日志文件存储方法，存在着开销较大的问题。
发明内容
本发明实施例解决的问题是如何在日志文件存储时节省开销。
为解决上述问题，本发明实施例提供了一种日志文件存储方法，所述方法包括：在预设的缓存周期内，实时接收边缘节点服务器产生的日志文件并进行压缩合并，以得到对应的压缩日志文件；当达到所述缓存周期的结束时间点对应的时刻时，将所得到的压缩日志文件上传至预设的云端服务器进行存储。
可选地，所述在预设的缓存周期内，实时接收边缘节点服务器产生的日志文件并进行压缩合并，以得到对应的压缩日志文件，包括：在所述缓存周期内，实时获取缓存目录下的日志文件；采用预设的压缩格式分别打开所获取的缓存目录下的日志文件和对应的本地日志文件；当确定所获取的缓存目录下的日志文件和对应的本地日志文件均打开成功时，将所获取的缓存目录下的日志文件写入对应的本地日志文件；关闭所获取的缓存目录下存储的日志文件和对应的本地日志文件，并删除所述缓存目录下存储的日志文件。
可选地，所述预设的压缩格式为GZIP格式。
可选地，所述所获取的缓存目录下的日志文件与对应的本地日志文件具有相同的域名，且所获取的缓存目录下的日志文件的时间戳位于对应的本地日志文件的时间段内。
可选地，所述将所得到的压缩日志文件上传至预设的云端服务器进行存储，包括：获取待处理目录下存储的指定的本地日志文件；分别采用二进制格式打开待处理的本地日志文件和对应的云端文件；当确定所述本地日志文件和对应的云端文件打开成功时，将所述本地日志文件写入对应的云端文件。
可选地，当确定将所述本地日志文件写入对应的云端文件失败时，所述方法还包括：为所述本地日志文件添加出错标记，并记录所述对应的云端文件写入前的大小的信息；当再次遍历至所述本地日志文件且检测到所述出错标记时，获取所述对应的云端文件写入前的大小的信息；基于所述对应的云端文件写入前的大小的信息，将对应的云端文件恢复至写入前的状态；当将对应的云端文件恢复至写入前的状态时，重新执行所述将所述本地日志文件写入对应的云端文件的操作。
可选地，所述指定的本地日志文件，为预设的域名对应的本地日志文件。
本发明实施例还提供了一种日志文件存储装置，所述装置包括：压缩合并单元，适于在预设的缓存周期内，实时接收边缘节点服务器产生的日志文件并进行压缩合并，以得到对应的压缩日志文件；发送单元，适于当达到所述缓存周期的结束时间点对应的时刻时，将所得到的压缩日志文件上传至预设的云端服务器进行存储。
可选地，所述压缩合并单元，适于在所述缓存周期内，实时获取缓存目录下的日志文件；采用预设的压缩格式分别打开所获取的缓存目录下的日志文件和对应的本地日志文件；当确定所获取的缓存目录下的日志文件和对应的本地日志文件均打开成功时，将所获取的缓存目录下的日志文件写入对应的本地日志文件；关闭所获取的缓存目录下存储的日志文件和对应的本地日志文件，并删除所述缓存目录下存储的日志文件。
可选地，所述预设的压缩格式为GZIP格式。
可选地，所述所获取的缓存目录下的日志文件与对应的本地日志文件具有相同的域名，且所获取的缓存目录下的日志文件的时间戳位于对应的本地日志文件的时间段内。
可选地，所述发送单元，适于获取待处理目录下存储的指定的本地日志文件；分别采用二进制格式打开待处理的本地日志文件和对应的云端文件；当确定所述本地日志文件和对应的云端文件打开成功时，将所述本地日志文件写入对应的云端文件。
可选地，所述装置还包括：获取单元，适于在将所述本地日志文件写入对应的云端文件之前，获取对应的云端文件的大小的信息，作为对应的云端文件写入前的大小的信息。
可选地，所述装置还包括：标记单元，适于为所述本地日志文件添加出错标记，并记录所述对应的云端文件写入前的大小的信息；恢复单元，适于当再次遍历至所述本地日志文件且检测到所述出错标记时，获取所述对应的云端文件写入前的大小的信息；基于所述对应的云端文件写入前的大小的信息，将对应的云端文件恢复至写入前的状态；重试单元，适于当将对应的云端文件恢复至写入前的状态时，重新执行所述将所述本地日志文件写入对应的云端文件的操作。
可选地，所述指定的本地日志文件，为预设的域名对应的本地日志文件。
与现有技术相比，本发明的技术方案具有以下的优点：
上述的方案，通过对相应缓存时间周期内实时接收到的边缘节点服务器的日志文件进行压缩合并处理后再发送至云端，由于将多个日志文件进行了压缩合并，而非将所接收到的日志文件实时发送至云端进行存储，故可以减少日志文件的传输次数和占用的网络总带宽，进而可以节省日志文件存储时产生的开销，节约资源。
进一步地，通过在确定将本地文件写入对应的云端文件失败时，将对应的云端文件自动恢复至写入前的状态，可以避免手动删除所导致的操作复杂度，因而可以提高日志文件恢复的效率，进而可以提高日志文件存储的效率，并可以节约手动删除所需的人力时间资源，节约运维成本。
附图说明
图1是本发明实施例中一种的日志文件存储方法的流程图；
图2是本发明实施例中另一种日志文件存储方法的流程图；
图3是本发明实施例中的一种日志文件存储方法的流程图；
图4是本发明实施例中的一种日志文件存储装置的结构示意图。
具体实施方式
正如背景技术所言，现有技术中的基于HDFS的日志文件存储方法，当将本地的日志文件写入对应的云端文件失败时，通常采用实时的方式将所接收的日志文件写入对应的云端文件时，也即一个日志文件写入对应的云端文件就需要一次网络开销，存在着效率低下且开销较大的问题。
为解决上述问题，本发明实施例中的技术方案通过对相应缓存时间周期内实时接收到的边缘节点服务器的日志文件进行压缩合并处理后再发送至云端，可以在发送日志文件时，节省与云端的交互次数和占用的网络总带宽，因而可以节省日志文件存储所产生的网络开销，节约资源。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例中的一种日志文件存储方法的流程图。如图1所示的日志文件存储方法，可以包括：
步骤S101：在预设的缓存周期内，实时接收边缘节点服务器产生的日志文件并进行压缩合并，以得到对应的压缩日志文件。
在具体实施中，缓存周期的时间长度可以根据实际的需要进行设置，如15分钟或者20分钟等。
步骤S102：当达到所述缓存周期的结束时间点对应的时刻时，将所得到的压缩日志文件上传至预设的云端服务器进行存储。
在具体实施中，所述云端服务器为用于存储边缘节点服务器产生的日志文件的分布式文件存储系统中的一个存储节点，如HDFS中的服务器。
上述的方案，通过对相应缓存时间周期内实时接收到的边缘节点服务器的日志文件进行压缩合并处理后再发送至云端，而非将所接收到的日志文件实时发送至云端进行存储，可以减少日志文件的传输次数和占用的网络总带宽，因而可以节省日志文件存储时产生的开销，节约资源。
下面将结合图2对本发明实施例中的日志文件存储方法进行详细的介绍。
参见图2，本发明实施例中的一种日志文件存储方法，适于将边缘节点服务器产生的日志文件发送至云端进行存储，具体可以采用如下的步骤实现：
步骤S201：在预设的缓存周期内，实时获取缓存目录下的日志文件。
在具体实施中，边缘节点服务器所产生的日志文件首先由对应的远程服务器将边缘节点服务器所产生的日志文件进行预处理，然后再发送至本发明实施例中的服务器中进行存储。换言之，对应的缓存目录下的日志文件也即待压缩合并至存储在本地的对应的本地日志文件的日志文件。
例如，远程服务器在获取到边缘节点服务器产生的日志文件时，首先将所获取的日志文件按照对应的域名和预设的第一时间粒度进行合并，并将合并后得到的日志文件发送至本发明实施例中的服务器中并存储为对应的缓存目录下。其中，第一时间粒度可以根据实际的需要进行设置，如5分钟。
步骤S202：采用预设的压缩格式分别打开所获取的缓存目录下的日志文件和对应的本地日志文件。
在具体实施中，为了确保压缩合并得到的日志文件在解压缩时不被破坏，在本发明一实施例中，所述预设的压缩格式为GZIP格式。
在具体实施中，对应的本地日志文件为存储在本地且待发送至云端进行存储的日志文件。在本发明一实施例中，存储在本地的本地日志文件采用对应的日志文件的域名和预设的时间段进行命名，以将对应的缓存周期内实时接收到的域名相同且时间戳位于该时间段内的日志文件压缩合并至对应的本地文件中。换言之，所述所获取的缓存目录下的日志文件与对应的本地日志文件具有相同的域名，且所获取的缓存目录下的日志文件的时间戳位于对应的本地日志文件的时间段内。
步骤S203：当确定所获取的缓存目录下的日志文件和对应的本地日志文件均打开成功时，将所获取的缓存目录下的日志文件写入对应的本地日志文件。
在具体实施中，将所获取的缓存目录下的日志文件写入对应的本地日志文件，也即将所获取的缓存目录下的日志文件写入对应的本地日志文件的末尾。
步骤S204：关闭所获取的缓存目录下存储的日志文件和对应的本地日志文件。
在具体实施中，在将所获取的缓存目录下的日志文件写入对应的本地文件之前，均采用预设的压缩格式打开所获取的缓存目录下的日志文件与对应的本地文件，在将所获取的缓存目录下的日志文件写入对应的本地日志文件成功并关闭后，所得到的对应的本地日志文件即为所述压缩格式的日志文件。
步骤S205：删除所述缓存目录下存储的日志文件。
在具体实施中，当确定将所获取的缓存目录下存储的日志文件压缩合并入对应的本地日志文件成功时，通过将所述缓存目录下存储的该日志文件进行删除，以节省存储空间。
步骤S206：判断是否达到对应的缓存周期的结束时刻；当判断结果为是时，可以执行步骤S207；反之，则继续从步骤S206开始执行。
步骤S207：将所得到的压缩日志文件上传至预设的云端服务器进行存储。
在具体实施中，当对应的缓存周期结束时，可以将对应的缓存时间周期内接收到的预处理后的日志文件进行压缩合并得到且存储至本地的指定目录下的本地日志文件分别发送至对云端服务器中进行存储。其中，缓存周期对应的时长大于第一时间粒度对应的时长，如当第一时间粒度为5分钟时，缓存周期将大于5分钟，如设置为30分钟。
在本发明一实施例中，为了提高日志文件存储的效率，降低日志文件存储的复杂度，本发明实施例中的日志文件存储方法可以在将压缩合并得到的日志文件上传至对应的云端文件失败时，自动将对应的云端文件恢复至写入前的状态，以降低日志文件运维的复杂度，节约成本。
参见图3，本发明实施例中的一种日志文件存储方法，适于将预设的缓存周期内压缩合并得到的日志文件发送至云端进行存储，具体可以包括如下的操作：
步骤S301：获取本地存储的指定目录下的本地日志文件。
在具体实施中，所获取的本地存储的指定目录下的本地日志文件，为待发送至云端服务器进行存储的日志文件。
步骤S302：以二进制格式打开所获取的指定目录下的本地日志文件。
在本发明一实施例中，为了确保在将所获取的本地存储的指定目录下的本地日志文件写入云端服务器时不被破坏，可以采用二进制格式打开所获取的指定目录下的本地日志文件。当然，也可以采用现有技术中的其他方式打开所获取的指定目录下的本地日志文件，只要确保在将所获取的本地存储的指定目录下的本地日志文件写入云端服务器时不被破坏即可。
步骤S303：以二进制格式打开存储在云端的对应的云端文件。
在具体实施中，当将所获取的指定目录下的本地日志文件采用二进制格式打开成功时，可以同样采用二进制格式打开存储在云端的对应的云端文件。
步骤S304：将所获取的指定目录下的本地日志文件写入对应的云端文件。
在具体实施中，当所获取的指定目录下的本地日志文件和对应的云端文件均打开成功时，将所获取的指定目录下的本地日志文件写入对应的云端文件，也即将所获取的指定目录下的本地日志文件添加至对应的云端文件的末尾。
步骤S305：判断是否成功将所获取的指定目录下的本地日志文件写入对应的云端文件；当判断结果为是时，可以执行步骤S306；反之，则可以执行步骤307。
步骤S306：删除所获取的指定目录下的所述本地日志文件。
在具体实施中，当确定将所获取的指定目录下的文件写入对应的云端文件成功时，便可以将指定目录下的文件删除，也即删除对应的本地文件，以节约存储空间。
步骤S307：为所述本地日志文件添加出错标记，并记录所述对应的云端文件写入前的大小的信息，并等待下一次上传。
在具体实施中，所述对应的云端文件写入前的大小的信息可以在将指定的本地日志文件写入对应的云端文件之前获取。当将指定的本地日志文件写入对应的云端文件失败时，可以所述本地日志文件添加对应的出错标记，并记录对应的云端文件写入前的大小的信息，以等待下一次上传。
在具体实施中，对应的本地日志文件写入对应的云端文件失败的原因通常由于网络通信质量差的原因造成，因此，当每次将本地日志文件写入对应的云端文件失败时，可以重新选取其他网络通信质量好的时间进行下一次上传。其中，当将上传失败的本地日志文件再次上传时，可以通过所述出错标记，判断是否需要将对应的云端文件恢复至写入前的状态。当确定存储出错标记时，可以获取所记录的对应的云端文件写入前的大小的信息，并将写入至云端文件末尾的部分本地日志文件执行删除，从而将对应的云端文件恢复至写入前的状态，并重新执行所述将所获取的指定目录下的本地日志文件写入对应的云端文件，也即从步骤S301开始执行。
步骤S308：判断指定目录下的本地日志文件是否遍历完成；当判断结果为是时，可以结束本次的上传操作；反之，则可以执行步骤S307。
步骤S309：获取所述指定目录下的下一本地日志文件。
在具体实施中，当确定指定目录下的当前所获取的本地日志文件写入对应的云端文件成功并删除之后，可以接着获取指定目录下的下一本地日志文件并从步骤S302开始执行，直至指定目录下的文件遍历完成。
上述对本发明实施例中的方法进行了详细的描述，下面将对上述的方法对应的装置做介绍。
图4示出了本发明实施例中的一种日志文件存储装置的结构。参见图4，本发明实施例中的一种日志文件存储装置可以包括压缩合并单元401和发送单元402，其中：
所述压缩合并单元401，适于在预设的缓存周期内，实时接收边缘节点服务器产生的日志文件并进行压缩合并，以得到对应的压缩日志文件；
所述发送单元402，适于当达到所述缓存周期的结束时间点对应的时刻时，将所得到的压缩日志文件上传至预设的云端服务器进行存储。
在本发明一实施例中，所述压缩合并单元401，适于在所述缓存周期内，实时获取缓存目录下的日志文件；采用预设的压缩格式分别打开所获取的缓存目录下的日志文件和对应的本地日志文件；当确定所获取的缓存目录下的日志文件和对应的本地日志文件均打开成功时，将所获取的缓存目录下的日志文件写入对应的本地日志文件；关闭所获取的缓存目录下存储的日志文件和对应的本地日志文件，并删除所述缓存目录下存储的日志文件。在本发明一实施例中，为了使得压缩合并后的日志文件在解压缩时不被破坏，所述预设的压缩格式为GZIP格式。
在本发明一实施例中，所述所获取的缓存目录下的日志文件与对应的本地日志文件具有相同的域名，且所获取的缓存目录下的日志文件的时间戳位于对应的本地日志文件的时间段内。
在本发明一实施例中，所述发送单元402，适于获取待处理目录下存储的指定的本地日志文件；分别采用二进制格式打开待处理的本地日志文件和对应的云端文件；当确定所述本地日志文件和对应的云端文件打开成功时，将所述本地日志文件写入对应的云端文件。
在具体实施中，为了在本地文件写入对应的云端文件失败时，将对应的云端文件自动恢复至写入前的状态，本发明实施例中的日志文件存储装置400还可以包括获取单元403，其中：
所述获取单元403，适于在将所述本地日志文件写入对应的云端文件之前，获取对应的云端文件的大小的信息；
在本发明一实施例中，本发明实施例中的日志文件存储装置400还可以包括标记单元404、恢复单元405和重试单元406，其中：
标记单元404，适于为所述本地日志文件添加出错标记，并记录所述对应的云端文件写入前的大小的信息；
恢复单元405，适于当再次遍历至所述本地日志文件且检测到所述出错标记时，获取所述对应的云端文件写入前的大小的信息；基于所述对应的云端文件写入前的大小的信息，将对应的云端文件恢复至写入前的状态。
重试单元406，适于当将对应的云端文件恢复至写入前的状态时，重新执行所述将所述本地日志文件写入对应的云端文件的操作。
采用本发明实施例中的上述方案，通过对相应缓存时间周期内实时接收到的边缘节点服务器的日志文件进行压缩合并处理后再发送至云端，由于将多个日志文件进行了压缩合并，而非将所接收到的日志文件实时发送至云端进行存储，可以减少日志文件的传输次数和占用的网络总带宽，因而可以节省日志文件存储时产生的开销，节约资源。
进一步地，通过在确定将本地文件写入对应的云端文件失败时，将对应的云端文件自动恢复至写入前的状态，可以避免手动删除所导致的操作复杂度，因而可以提高日志文件恢复的效率，进而可以提高日志文件存储的效率，并可以节约手动删除所需的人力时间资源，节约运维成本。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
以上对本发明实施例的方法及系统做了详细的介绍，本发明并不限于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (16)

1.一种日志文件存储方法，其特征在于，包括：
在预设的缓存周期内，实时接收边缘节点服务器产生的日志文件并进行压缩合并，以得到对应的压缩日志文件；
当达到所述缓存周期的结束时间点对应的时刻时，将所得到的压缩日志文件上传至预设的云端服务器进行存储。
2.根据权利要求1所述的日志文件存储方法，其特征在于，所述在预设的缓存周期内，实时接收边缘节点服务器产生的日志文件并进行压缩合并，以得到对应的压缩日志文件，包括：
在所述缓存周期内，实时获取缓存目录下的日志文件；
采用预设的压缩格式分别打开所获取的缓存目录下的日志文件和对应的本地日志文件；
当确定所获取的缓存目录下的日志文件和对应的本地日志文件均打开成功时，将所获取的缓存目录下的日志文件写入对应的本地日志文件；
关闭所获取的缓存目录下存储的日志文件和对应的本地日志文件，并删除所述缓存目录下存储的日志文件。
3.根据权利要求2所述的日志文件存储方法，其特征在于，所述预设的压缩格式为GZIP格式。
4.根据权利要求2所述的日志文件存储方法，其特征在于，所述所获取的缓存目录下的日志文件与对应的本地日志文件具有相同的域名，且所获取的缓存目录下的日志文件的时间戳位于对应的本地日志文件的时间段内。
5.根据权利要求1所述的日志文件存储方法，其特征在于，所述将所得到的压缩日志文件上传至预设的云端服务器进行存储，包括：
获取待处理目录下存储的指定的本地日志文件；
分别采用二进制格式打开待处理的本地日志文件和对应的云端文件；
当确定所述本地日志文件和对应的云端文件打开成功时，将所述本地日志文件写入对应的云端文件。
6.根据权利要求5所述的日志文件存储方法，其特征在于，在将所述本地日志文件写入对应的云端文件之前，还包括：获取对应的云端文件的大小的信息，作为对应的云端文件写入前的大小的信息。
7.根据权利要求6所述的日志文件存储方法，其特征在于，当确定将所述本地日志文件写入对应的云端文件失败时，还包括：
为所述本地日志文件添加出错标记，并记录所述对应的云端文件写入前的大小的信息；
当再次遍历至所述本地日志文件且检测到所述出错标记时，获取所述对应的云端文件写入前的大小的信息；
基于所述对应的云端文件写入前的大小的信息，将对应的云端文件恢复至写入前的状态；
当将对应的云端文件恢复至写入前的状态时，重新执行所述将所述本地日志文件写入对应的云端文件的操作。
8.根据权利要求5所述的日志文件存储方法，其特征在于，所述指定的本地日志文件，为预设的域名对应的本地日志文件。
9.一种日志文件存储装置，其特征在于，包括：
压缩合并单元，适于在预设的缓存周期内，实时接收边缘节点服务器产生的日志文件并进行压缩合并，以得到对应的压缩日志文件；
发送单元，适于当达到所述缓存周期的结束时间点对应的时刻时，将所得到的压缩日志文件上传至预设的云端服务器进行存储。
10.根据权利要求9所述的日志文件存储装置，其特征在于，所述压缩合并单元，适于在所述缓存周期内，实时获取缓存目录下的日志文件；采用预设的压缩格式分别打开所获取的缓存目录下的日志文件和对应的本地日志文件；当确定所获取的缓存目录下的日志文件和对应的本地日志文件均打开成功时，将所获取的缓存目录下的日志文件写入对应的本地日志文件；关闭所获取的缓存目录下存储的日志文件和对应的本地日志文件，并删除所述缓存目录下存储的日志文件。
11.根据权利要求10所述的日志文件存储装置，其特征在于，所述预设的压缩格式为GZIP格式。
12.根据权利要求10所述的日志文件存储装置，其特征在于，所述所获取的缓存目录下的日志文件与对应的本地日志文件具有相同的域名，且所获取的缓存目录下的日志文件的时间戳位于对应的本地日志文件的时间段内。
13.根据权利要求9所述的日志文件存储装置，其特征在于，所述发送单元，适于获取待处理目录下存储的指定的本地日志文件；分别采用二进制格式打开待处理的本地日志文件和对应的云端文件；当确定所述本地日志文件和对应的云端文件打开成功时，将所述本地日志文件写入对应的云端文件。
14.根据权利要求13所述的日志文件存储装置，其特征在于，还包括：
获取单元，适于在将所述本地日志文件写入对应的云端文件之前，获取对应的云端文件的大小的信息，作为对应的云端文件写入前的大小的信息。
15.根据权利要求14所述的日志文件存储装置，其特征在于，还包括：
标记单元，适于为所述本地日志文件添加出错标记，并记录所述对应的云端文件写入前的大小的信息；
恢复单元，适于当再次遍历至所述本地日志文件且检测到所述出错标记时，获取所述对应的云端文件写入前的大小的信息；基于所述对应的云端文件写入前的大小的信息，将对应的云端文件恢复至写入前的状态；
重试单元，适于当将对应的云端文件恢复至写入前的状态时，重新执行所述将所述本地日志文件写入对应的云端文件的操作。
16.根据权利要求13所述的日志文件存储装置，其特征在于，所述指定的本地日志文件，为预设的域名对应的本地日志文件。
CN201611271095.6A 2016-12-30 2016-12-30 日志文件存储方法及装置 Pending CN106850761A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611271095.6A CN106850761A (zh) 2016-12-30 2016-12-30 日志文件存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611271095.6A CN106850761A (zh) 2016-12-30 2016-12-30 日志文件存储方法及装置

Publications (1)

Publication Number Publication Date
CN106850761A true CN106850761A (zh) 2017-06-13

Family

ID=59118589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611271095.6A Pending CN106850761A (zh) 2016-12-30 2016-12-30 日志文件存储方法及装置

Country Status (1)

Country Link
CN (1) CN106850761A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480226A (zh) * 2017-08-03 2017-12-15 长沙曙通信息科技有限公司 一种实时数据保护系统写日志实现方法
CN107832372A (zh) * 2017-10-27 2018-03-23 周燕红 一种日志分析方法及系统
CN108874639A (zh) * 2018-03-27 2018-11-23 平安科技（深圳）有限公司 日志归档方法、电子装置及可读存储介质
CN108989484A (zh) * 2018-08-07 2018-12-11 北京奇安信科技有限公司 一种域名系统dns日志的压缩存储方法及装置
CN109151824A (zh) * 2018-10-12 2019-01-04 大唐高鸿信息通信研究院（义乌）有限公司 一种基于5g架构的图书馆数据服务扩展系统及方法
CN112968744A (zh) * 2021-01-22 2021-06-15 福建新大陆通信科技股份有限公司 一种应急广播设备日志调试方法
CN116301663A (zh) * 2023-05-12 2023-06-23 新华三技术有限公司 一种数据存储方法、装置及主机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970158A (zh) * 2012-11-05 2013-03-13 广东睿江科技有限公司 日志存储与处理的方法及日志服务器
CN105357041A (zh) * 2015-10-30 2016-02-24 上海帝联信息科技股份有限公司 边缘节点服务器及日志文件上传方法和系统
CN105429784A (zh) * 2015-10-30 2016-03-23 上海帝联信息科技股份有限公司 中央收集服务器、日志文件处理方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970158A (zh) * 2012-11-05 2013-03-13 广东睿江科技有限公司 日志存储与处理的方法及日志服务器
CN105357041A (zh) * 2015-10-30 2016-02-24 上海帝联信息科技股份有限公司 边缘节点服务器及日志文件上传方法和系统
CN105429784A (zh) * 2015-10-30 2016-03-23 上海帝联信息科技股份有限公司 中央收集服务器、日志文件处理方法及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480226A (zh) * 2017-08-03 2017-12-15 长沙曙通信息科技有限公司 一种实时数据保护系统写日志实现方法
CN107832372A (zh) * 2017-10-27 2018-03-23 周燕红 一种日志分析方法及系统
CN108874639A (zh) * 2018-03-27 2018-11-23 平安科技（深圳）有限公司 日志归档方法、电子装置及可读存储介质
WO2019184218A1 (zh) * 2018-03-27 2019-10-03 平安科技（深圳）有限公司 日志归档方法、电子装置及可读存储介质
CN108989484A (zh) * 2018-08-07 2018-12-11 北京奇安信科技有限公司 一种域名系统dns日志的压缩存储方法及装置
CN109151824A (zh) * 2018-10-12 2019-01-04 大唐高鸿信息通信研究院（义乌）有限公司 一种基于5g架构的图书馆数据服务扩展系统及方法
CN109151824B (zh) * 2018-10-12 2021-04-13 大唐高鸿信息通信(义乌)有限公司 一种基于5g架构的图书馆数据服务扩展系统及方法
CN112968744A (zh) * 2021-01-22 2021-06-15 福建新大陆通信科技股份有限公司 一种应急广播设备日志调试方法
CN112968744B (zh) * 2021-01-22 2023-07-07 福建新大陆通信科技股份有限公司 一种应急广播设备日志调试方法
CN116301663A (zh) * 2023-05-12 2023-06-23 新华三技术有限公司 一种数据存储方法、装置及主机

Similar Documents

Publication Publication Date Title
CN106850761A (zh) 日志文件存储方法及装置
CN102970158B (zh) 日志存储与处理的方法及日志服务器
CN109034993B (zh) 对账方法、设备、系统及计算机可读存储介质
CN105373448B (zh) 数据库中故障数据的恢复方法和系统
US11507594B2 (en) Bulk data distribution system
CN100591078C (zh) 一种网站缓存方法和一种网站缓存的装置
US10268398B2 (en) Storage system, recording medium for storing control program and control method for storage system
CN102906751B (zh) 一种数据存储、数据查询的方法及装置
CN106156359A (zh) 一种云计算平台下的数据同步更新方法
CN109710614A (zh) 一种实时数据存储与查询的方法及装置
US11249943B2 (en) Scalable enterprise content management
CN111694791B (zh) 一种分布式基础框架中的数据存取方法及装置
KR101922044B1 (ko) 데이터베이스 이중화 무중단 정합성 복구 기법
CN104079438B (zh) Dns域名管理系统和方法
CN110401724A (zh) 文件管理方法、文件传输协议服务器及存储介质
CN111177159B (zh) 一种数据处理的系统、方法和数据更新设备
CN104462483A (zh) 数据同步方法、装置及系统
CN101771548A (zh) 文件同步方法及系统
CN104899312B (zh) 一种多层分类数据体系的数据更新方法
CN108228755A (zh) 基于日志解析技术的MySQL数据库到Hadoop平台的数据同步复制方法
CN105320577B (zh) 一种数据备份和恢复方法、系统及装置
CN109344034A (zh) 一种用于管理日志的方法和装置
Li et al. Coarse-grained cloud synchronization mechanism design may lead to severe traffic overuse
CN113326165A (zh) 基于区块链的数据处理方法、设备及计算机可读存储介质
CN106991118A (zh) 基于ceph纠删除容错的读取文件方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170613

WD01 Invention patent application deemed withdrawn after publication