CN111581171A - 日志处理方法、装置、计算设备和介质 - Google Patents
日志处理方法、装置、计算设备和介质 Download PDFInfo
- Publication number
- CN111581171A CN111581171A CN202010370088.1A CN202010370088A CN111581171A CN 111581171 A CN111581171 A CN 111581171A CN 202010370088 A CN202010370088 A CN 202010370088A CN 111581171 A CN111581171 A CN 111581171A
- Authority
- CN
- China
- Prior art keywords
- log file
- log
- archive
- filing
- folder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012544 monitoring process Methods 0.000 claims abstract description 27
- 230000004044 response Effects 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 230000001960 triggered effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种日志处理方法。该方法包括响应于自然日期发生切换，创建与当前自然日期对应的归档文件夹；响应于监测到针对原始日志的写入操作，确定原始日志中所写入的目标数据；确定归档文件夹中与原始日志对应的第一归档日志文件；以及将目标数据记录至第一归档日志文件中。本公开还提供了一种日志处理装置、一种计算设备以及一种计算机可读存储介质。
Description
技术领域
本公开涉及计算机技术领域，更具体地，涉及一种日志处理方法、装置、计算设备和介质。
背景技术
IBM WebSphere Application Server(简称WAS)是一种高性能的 Java应用服务器，可用于构建、运行、集成、保护和管理内部部署和 /或外部部署的动态云和Web应用。它不仅能够确保高性能和灵活性，还提供多种开放标准编程模型选项，旨在最大程度提高开发人员的生产力。它可提供灵活先进的性能、冗余和编程模型。
WAS提供了日志功能，该功能可以在前台产生交易时，将交易的信息记录到system.out和system.err日志中。但是该功能采用按文件数据量进行归档的归档方式，不能设置按日期归档。这种归档方式导致查找日志异常繁琐。
发明内容
本公开的一个方面提供了一种日志处理方法，包括：响应于自然日期发生切换，创建与当前自然日期对应的归档文件夹；响应于监测到针对原始日志的写入操作，确定所述原始日志中所写入的目标数据；确定所述归档文件夹中与所述原始日志对应的第一归档日志文件；以及将所述目标数据记录至所述第一归档日志文件中。
可选地，所述第一归档日志文件的名称被配置为与创建所述第一归档日志文件时的第一系统日期相对应。
可选地，上述方法还包括：在将所述目标数据记录至所述第一归档日志文件中的过程中，监测所述第一归档日志文件的数据量；以及在监测到所述第一归档日志文件的数据量超过预设阈值的情况下，在所述归档文件夹中创建第二归档日志文件，将未记录在所述第一归档日志文件中的目标数据记录至所述第二归档日志文件，并将所述第二归档日志文件作为第一归档日志文件。
可选地，上述在所述归档文件夹中创建第二归档日志文件，包括：在所述归档文件夹中新建一个归档日志文件，并根据所述第一归档日志文件的名称，配置所述归档日志文件的名称；以及将配置名称后的归档日志文件作为所述第二归档日志文件。
可选地，上述确定所述原始日志中所写入的目标数据，包括：获取开始位置，其中，所述开始位置为上一次针对所述原始日志的写入操作结束时，所述原始日志中最后一条记录的位置；以及从当前的原始日志中确定位于所述开始位置之后的所有数据，作为所述目标数据。
可选地，上述确定所述归档文件夹中与所述原始日志对应的第一归档日志文件，包括：在所述归档文件夹中没有包含任何归档日志文件的情况下，在所述归档文件夹中创建一个归档日志文件作为所述第一归档日志文件；在所述归档文件夹中包含至少一个归档日志文件的情况下，获取所述写入操作所对应的第二系统日期和所述至少一个归档日志文件的名称；确定所述至少一个归档日志文件的名称中是否存在与所述第二系统日期对应的目标名称；若所述至少一个归档日志文件的名称中存在所述目标名称，则确定所述目标名称所表征的归档日志文件作为所述第一归档文件；以及若所述至少一个归档日志文件的名称中不存在所述目标名称，则在所述归档文件夹中创建一个归档日志文件作为所述第一归档日志文件。
可选地，上述归档文件夹的名称被配置为与所述当前自然日期相对应。
本公开的另一个方面提供了一种日志处理装置，包括归档文件夹创建模块，用于响应于自然日期发生切换，创建与当前自然日期对应的归档文件夹；原始日志监控模块，用于响应于监测到针对原始日志的写入操作，确定所述原始日志中所写入的目标数据；以及归档日志文件创建模块，用于确定所述归档文件夹中与所述原始日志对应的第一归档日志文件，并将所述目标数据记录至所述第一归档日志文件中。
可选地，上述第一归档日志文件的名称被配置为与创建所述第一归档日志文件时的第一系统日期相对应。
可选地，所述装置还包括：日志大小检测模块，用于在将所述目标数据记录至所述第一归档日志文件中的过程中，监测所述第一归档日志文件的数据量；所述归档日志文件创建模块，还用于在监测到所述第一归档日志文件的数据量超过预设阈值的情况下，在所述归档文件夹中创建第二归档日志文件，将未记录在所述第一归档日志文件中的目标数据记录至所述第二归档日志文件，并将所述第二归档日志文件作为第一归档日志文件。
本公开的另一个方面提供了一种计算设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
根据本公开的实施例，在每次向原始日志中写入内容后，将写入的内容记录在归档文件夹中的归档日志文件中。其中，归档文件夹与每个自然日相对应，从而实现了按自然日期归档，便于进行查找。该方法可以应用于WAS(WebSphere应用服务器)，以解决WAS所生成的日志无法按照自然日期归档的问题。
附图说明
为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
图1示意性示出了根据本公开的实施例的可以应用日志处理方法的示例性系统构架；
图2示意性示出了根据本公开的实施例的日志处理方法的流程图；
图3示意性示出了根据本公开另一实施例的日志处理方法的流程图；
图4示意性示出了根据本公开另一实施例的日志处理方法的流程图；
图5示意性示出了根据本公开的实施例的日志处理装置的框图；
图6示意性示出了根据本公开另一实施例的日志处理装置的框图；以及
图7示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的方框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释 (例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和 C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A 和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。
本公开的实施例提供了一种日志处理方法以及应用该方法的日志处理装置。该方法包括响应于自然日期发生切换，创建与当前自然日期对应的归档文件夹；响应于监测到针对原始日志的写入操作，确定原始日志中所写入的目标数据；确定归档文件夹中与原始日志对应的第一归档日志文件；以及将目标数据记录至第一归档日志文件中。
图1示意性示出了根据本公开的实施例的可以应用日志处理方法的示例性系统构架。需要注意的是，图1所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，该系统构架100包括原始日志监控模块110、归档文件夹创建模块120和归档日志文件创建模块130。
其中，原始日志监控模块110，可以用于获得每条原始日志(例如交易日志)的系统日期和原始日志的内容，同时记录当前原始日志的行数以此来标记已经检测过原始日志的位置。
归档文件夹创建模块120，用于在每个自然日，在预定目录中建立用于存放归档日志文件的文件夹来。
归档日志文件创建模块130，用于在对应的归档文件夹里创建归档日志文件，并将原始日志监控模块110获得的原始日志的内容复写到归档日志文件中。
另外，该系统架构100还可以包括日志大小检测模块140，用于对归档日志文件的数据量进行检测。当某归档日志文件的数据量超过预设限制时，向归档日志文件创建模块130传输中断信号，以指示归档日志文件创建模块130结束对该归档日志文件的写入并创建新的归档日志文件，将后续数据写入该新的归档日志文件中。
需要说明的是，根据本公开的实施例的日志处理方法可以通过部署在Linux服务器上的shell脚本组来实现，从而可以应用于WAS (WebSphere应用服务器)。根据本公开的实施例的日志处理装置可以设置在WAS中，也可以设置在WAS之外且可以与WAS进行数据交互的其他电子设备中。
图2示意性示出了根据本公开的实施例的日志处理方法的流程图。
如图2所示，该方法包括操作S210～S240。
更具体地，在操作S210，响应于自然日期发生切换，创建与当前自然日期对应的归档文件夹。
根据本公开的实施例，每当自然日期发生切换时，就创建至少一个与当前自然日期对应的归档文件夹。为了方便查找，归档文件夹的名称可以被配置为与当前自然日期相对应。例如，可以将归档文件夹的名称配置为ZRR-YYYYMMDD的形式，其中，“ZRR”为归档文件夹的标识，“YYYYMMDD”为当前自然日期。
在操作S220，响应于监测到针对原始日志的写入操作，确定原始日志中所写入的目标数据。
根据本公开的实施例，原始日志例如可以包括WAS所生成的日志，例如system.out和system.err。
根据本公开的实施例，可以将上一次针对原始日志的写入操作结束时，原始日志中最后一条记录的位置作为开始位置，从当前的原始日志中确定位于开始位置之后的所有数据，作为目标数据。
根据本公开的实施例，原始日志中的每一条日志项占用一行，因此可以在每次写入操作结束后标记最后一行的行数作为下一次的开始位置。可以理解的是，当原始日志第一次写入时，初始行数为1，即以原始日志的第一行作为开始位置。
在操作S230，确定归档文件夹中与原始日志对应的第一归档日志文件。
根据本公开的实施例，在初始情况下，归档文件夹中没有包含任何归档日志文件，可以在归档文件夹中创建一个与原始日志对应的归档日志文件作为第一归档日志文件。需要说明的是，可以直接在归档文件夹的目录中创建归档日志文件，也可以在归档文件夹之外创建归档日志文件，然后将该归档日志文件移动到归档日志文件夹中。
根据本公开的实施例，在创建归档日志文件时，可以根据创建该归档日志文件时的系统日期(即第一系统日期)，配置该归档日志文件的名称，以使该归档日志文件的名称与创建该归档日志文件时的系统日期相对应。
根据本公开的另一些实施例，为了在名称中体现归档日志文件与原始日志的对应关系，可以根据创建该归档日志文件时的系统日期和原始日志的标识(例如原始日志的名称)，配置该归档日志文件的名称。例如，可以以XTR-原日志名-YYYYMMDD.log的格式命名归档日志文件，其中，“XTR”为归档日志文件的标识，“原日志名”为原始日志的名称，“YYYYMMDD”为创建归档日志文件时的系统日期，“.log”为日志文件类型的后缀。
根据本公开的实施例，在归档文件夹中已经包含至少一个归档日志文件的情况下，可以获取写入操作所对应的系统日期(即第二系统日期)和至少一个归档日志文件的名称，通过确定至少一个归档日志文件的名称中是否存在与第二系统日期对应的目标名称来确定第一归档文件。其中，为便于区分，本实施例中将创建归档日志文件时的系统日期称为第一系统日期，将写入操作所对应的系统日期称为第二系统日期。
更具体地，若至少一个归档日志文件的名称中存在目标名称，则确定目标名称所表征的归档日志文件作为第一归档文件。若至少一个归档日志文件的名称中不存在目标名称，则在归档文件夹中创建一个归档日志文件作为第一归档日志文件。
在操作S240，将目标数据记录至第一归档日志文件中。
根据本公开的实施例，首先读取开始位置的日志项，将该日志项写入第一归档日志文件中，然后以一行为单位依次读取开始位置之后每一行上的日志项，并相应地将每一行上的日志项写入第一归档日志文件中。当原始日志中最后一个日志项写入第一归档日志文件后，结束记录操作。
根据本公开的实施例，在每次向原始日志中写入内容后，将写入的内容记录在归档文件夹中的归档日志文件中。其中，归档文件夹与每个自然日相对应，从而实现了按自然日期归档，便于进行查找。该方法可以应用于WAS，以解决WAS所生成的日志无法按照自然日期归档的问题。
图3示意性示出了根据本公开另一实施例的日志处理方法的流程图。
如图3所示，除了操作S210～S240之外，在将目标数据记录至第一归档日志文件中的过程中，该方法还包括操作S350～S360。
在操作S350，监测第一归档日志文件的数据量。在监测到第一归档日志文件的数据量超过预设阈值的情况下，执行操作S360。若第一归档日志文件的数据量未超过预设阈值，则执行操作S240。
根据本公开的实施例，预设阈值可以根据实际需要来确定。示例性地，本实施例中，可以将预设阈值设置为2GB(吉字节)。
在操作S360，在归档文件夹中创建第二归档日志文件，将未记录在第一归档日志文件中的目标数据记录至第二归档日志文件，并将第二归档日志文件作为第一归档日志文件。
根据本公开的实施例，在监测到第一归档日志文件的数据量超过预设阈值的情况下，可以在归档文件夹中新建一个归档日志文件，用该归档日志文件替代原第一归档日志文件记录后续的目标数据。本实施例中，为了与原第一归档日志文件区分，将该归档日志文件称为第二归档日志文件。
根据本公开的实施例，在创建第二归档日志文件时，可以根据第一归档日志文件的名称，配置第二归档日志文件的名称。更具体地，可以将第一归档日志文件的名称和区分标识组合，作为第二归档日志文件的名称。其中，区分标识例如可以为任意数字、字母、符号或其三者的组合，用于区分第二归档日志文件与其他归档日志文件的名称。需要说明的是，第一归档日志文件的名称和区分标识可以采用任意组合方式。示例性地，本实施例中，将区分标识作为第一归档日志文件的名称的后缀，以得到第二归档日志文件的名称。例如，第一归档日志的名称为“XTR-原was日志名-YYYYMMDD.log”，则可以在第一归档日志的名称中添加“-x”后缀，其中x可以为任意数字或字母，从而得到第二归档日志文件的名称为“XTR-原was日志名 -YYYYMMDD-x.log”。
根据本公开的实施例，根据第一归档日志文件的名称，配置第二归档日志文件的名称，使得第二归档日志文件的名称中包含第一归档日志文件的信息，从而根据第一归档日志文件和第二归档日志文件名称，即可确定两者的对应关系，有利于检索。
对于Linux等系统来说，若单个系统文件的数据量过大会导致系统崩溃。根据本公开的实施例，通过监测第一归档日志文件的数据量，在其数据量过大时，新建另一个归档日志文件代替第一归档日志记录后续的目标数据，能够防止单个归档日志文件的数据量过大，从而避免系统崩溃。
下面参考图4，结合具体实施例，对图3所示的方法进行进一步说明。
步骤S401：进行初始化操作。更具体地，将日志行数参数初始化为1，原始日志监控模块中的系统日期获取单元获取服务器的系统日期，将系统日期上传至归档文件夹创建模块。
步骤S402：建立归档日志文件。更具体地，归档文件夹根据自然日创建模块建立归档文件夹，并将归档文件夹按照ZRR-YYYYMMDD 的形式命名。归档文件夹创建模块将原始日志监控模块上传的系统日期保存作为系统日期参数，然后根据系统日期参数，在相应的归档文件夹中建立归档日志文件，并为其命名。
步骤S403：原始日志监控模块中的日志内容获取单元根据日志行数参数，提取原始日志中的新增的日志内容，上传给归档文件创建模块。
步骤S404：归档文件创建模块判断是否有中断信号。如果有中断信号，且中断信号是因为归档日志文件的数据量大于预设阈值而触发的，则返回步骤402，建立后缀为-x的新的归档日志文件。如果有中断信号，且中断信号是由系统日期切换而触发的，则返回步骤402，根据切换后的系统日期建立新的归档日志文件。如果有中断信号，且中断信号是由自然日切换而触发的，则返回步骤402，在与切换后的自然日对应的归档文件夹下，建立新的归档日志文件。如果未检测到任何中断信号，则转到步骤405。
步骤S405：通过归档日志文件书写进程，将日志内容书写至对应的归档日志文件中。然后根据书写操作的执行结果，生成回传参数，若本次书写操作成功，则回传参数为1，否则，回传参数为0。将回传参数返回给归档日志文件创建模块。
步骤S406：归档日志文件创建模块根据回传参数，确定本次书写操作是否成功。若回传参数为1，则执行步骤S407。若回传参数为0，则执行步骤S408。
步骤S407：将日志行数参数的加1，跳转执行步骤S403，书写下一行的日志内容。
步骤S408：日志行数参数不变，跳转执行步骤S403，重新上传本行的日志内容，再一次执行书写操作。
图5示意性示出了根据本公开的实施例的日志处理装置的框图。
如图5所示，日志处理装置500包括归档文件夹创建模块510、原始日志监控模块520和归档日志文件创建模块530。该日志处理装置 500可以执行上面参考图2描述的方法。
具体地，归档文件夹创建模块510，用于响应于自然日期发生切换，创建与当前自然日期对应的归档文件夹。
原始日志监控模块520，用于响应于监测到针对原始日志的写入操作，确定所述原始日志中所写入的目标数据。
归档日志文件创建模块530，用于确定所述归档文件夹中与所述原始日志对应的第一归档日志文件，并将所述目标数据记录至所述第一归档日志文件中。其中，所述第一归档日志文件的名称被配置为与创建所述第一归档日志文件时的第一系统日期相对应。
根据本公开的实施例，在每次向原始日志中写入内容后，将写入的内容记录在归档文件夹中的归档日志文件中。其中，归档文件夹与每个自然日相对应，从而实现了按自然日期归档，便于进行查找。该装置可以应用于WAS，以解决WAS所生成的日志无法按照自然日期归档的问题。
图6示意性示出了根据本公开另一实施例的日志处理装置的框图。
如图6所示，除了归档文件夹创建模块510、原始日志监控模块 520和归档日志文件创建模块530之外，日志处理装置600还包括日志大小检测模块640。该日志处理装置600可以执行上面参考图3描述的方法。
具体地，日志大小检测模块640，用于在将所述目标数据记录至所述第一归档日志文件中的过程中，监测所述第一归档日志文件的数据量。
根据本公开的实施例，归档日志文件创建模块630，还用于在监测到所述第一归档日志文件的数据量超过预设阈值的情况下，在所述归档文件夹中创建第二归档日志文件，将未记录在所述第一归档日志文件中的目标数据记录至所述第二归档日志文件，并将所述第二归档日志文件作为第一归档日志文件。
根据本公开的实施例，通过监测第一归档日志文件的数据量，在其数据量过大时，新建另一个归档日志文件代替第一归档日志记录后续的目标数据，能够防止单个归档日志文件的数据量过大，从而避免系统崩溃。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，归档文件夹创建模块510、原始日志监控模块520、归档日志文件创建模块530和日志大小检测模块640中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，归档文件夹创建模块510、原始日志监控模块520、归档日志文件创建模块 530和日志大小检测模块640中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，归档文件夹创建模块510、原始日志监控模块520、归档日志文件创建模块530和日志大小检测模块640中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图7示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的方框图。图7示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示计算机系统700包括处理器710以及计算机可读存储介质720。该计算机系统700可以执行根据本公开实施例的方法。
具体地，处理器710例如可以包括通用微处理器、指令集处理器和 /或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器710还可以包括用于缓存用途的板载存储器。处理器710可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质720，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM) 或闪存；等等。
计算机可读存储介质720可以包括计算机程序721，该计算机程序 721可以包括代码/计算机可执行指令，其在由处理器710执行时使得处理器710执行根据本公开实施例的方法或其任何变形。
计算机程序721可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序721中的代码可以包括一个或多个程序模块，例如包括721A、模块721B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器 710执行时，使得处理器710可以执行根据本公开实施例的方法或其任何变形。
根据本发明的实施例，归档文件夹创建模块510、原始日志监控模块520、归档日志文件创建模块530和日志大小检测模块640中的至少一个可以实现为参考图7描述的计算机程序模块，其在被处理器710执行时，可以实现上面描述的相应操作。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。
Claims (12)
1.一种日志处理方法，包括：
响应于自然日期发生切换，创建与当前自然日期对应的归档文件夹；
响应于监测到针对原始日志的写入操作，确定所述原始日志中所写入的目标数据；
确定所述归档文件夹中与所述原始日志对应的第一归档日志文件；以及
将所述目标数据记录至所述第一归档日志文件中。
2.根据权利要求1所述的方法，其中，所述第一归档日志文件的名称被配置为与创建所述第一归档日志文件时的第一系统日期相对应。
3.根据权利要求2所述的方法，还包括：在将所述目标数据记录至所述第一归档日志文件中的过程中，
监测所述第一归档日志文件的数据量；以及
在监测到所述第一归档日志文件的数据量超过预设阈值的情况下，在所述归档文件夹中创建第二归档日志文件，将未记录在所述第一归档日志文件中的目标数据记录至所述第二归档日志文件，并将所述第二归档日志文件作为第一归档日志文件。
4.根据权利要求3所述的方法，其中，所述在所述归档文件夹中创建第二归档日志文件，包括：
在所述归档文件夹中新建一个归档日志文件，并根据所述第一归档日志文件的名称，配置所述归档日志文件的名称；以及
将配置名称后的归档日志文件作为所述第二归档日志文件。
5.根据权利要求1所述的方法，其中，所述确定所述原始日志中所写入的目标数据，包括：
获取开始位置，其中，所述开始位置为上一次针对所述原始日志的写入操作结束时，所述原始日志中最后一条记录的位置；以及
从当前的原始日志中确定位于所述开始位置之后的所有数据，作为所述目标数据。
6.根据权利要求2所述的方法，所述确定所述归档文件夹中与所述原始日志对应的第一归档日志文件，包括：
在所述归档文件夹中没有包含任何归档日志文件的情况下，在所述归档文件夹中创建一个归档日志文件作为所述第一归档日志文件；
在所述归档文件夹中包含至少一个归档日志文件的情况下，获取所述写入操作所对应的第二系统日期和所述至少一个归档日志文件的名称；
确定所述至少一个归档日志文件的名称中是否存在与所述第二系统日期对应的目标名称；
若所述至少一个归档日志文件的名称中存在所述目标名称，则确定所述目标名称所表征的归档日志文件作为所述第一归档文件；以及
若所述至少一个归档日志文件的名称中不存在所述目标名称，则在所述归档文件夹中创建一个归档日志文件作为所述第一归档日志文件。
7.根据权利要求1所述的方法，其中，所述归档文件夹的名称被配置为与所述当前自然日期相对应。
8.一种日志处理装置，包括：
归档文件夹创建模块，用于响应于自然日期发生切换，创建与当前自然日期对应的归档文件夹；
原始日志监控模块，用于响应于监测到针对原始日志的写入操作，确定所述原始日志中所写入的目标数据；以及
归档日志文件创建模块，用于确定所述归档文件夹中与所述原始日志对应的第一归档日志文件，并将所述目标数据记录至所述第一归档日志文件中。
9.根据权利要求1所述的装置，其中，所述第一归档日志文件的名称被配置为与创建所述第一归档日志文件时的第一系统日期相对应。
10.根据权利要求2所述的装置，其中，所述装置还包括：日志大小检测模块，用于在将所述目标数据记录至所述第一归档日志文件中的过程中，监测所述第一归档日志文件的数据量；
所述归档日志文件创建模块，还用于在监测到所述第一归档日志文件的数据量超过预设阈值的情况下，在所述归档文件夹中创建第二归档日志文件，将未记录在所述第一归档日志文件中的目标数据记录至所述第二归档日志文件，并将所述第二归档日志文件作为第一归档日志文件。
11.一种计算设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序，
其中，当一个或多个计算机程序被一个或多个处理器执行时，使得一个或多个处理器实现权利要求1至7中任一项的方法。
12.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至7中任一项的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010370088.1A CN111581171A (zh) | 2020-04-30 | 2020-04-30 | 日志处理方法、装置、计算设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010370088.1A CN111581171A (zh) | 2020-04-30 | 2020-04-30 | 日志处理方法、装置、计算设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111581171A true CN111581171A (zh) | 2020-08-25 |
Family
ID=72122875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010370088.1A Pending CN111581171A (zh) | 2020-04-30 | 2020-04-30 | 日志处理方法、装置、计算设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111581171A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112231288A (zh) * | 2020-09-30 | 2021-01-15 | 北京金山云网络技术有限公司 | 日志存储方法和装置、介质 |
| CN112925746A (zh) * | 2021-03-25 | 2021-06-08 | 北京安天网络安全技术有限公司 | 文件归档方法和装置 |
| CN113760683A (zh) * | 2021-08-31 | 2021-12-07 | 银清科技有限公司 | 日志采集方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020138762A1 (en) * | 2000-12-01 | 2002-09-26 | Horne Donald R. | Management of log archival and reporting for data network security systems |
| CN1984139A (zh) * | 2005-12-16 | 2007-06-20 | 中兴通讯股份有限公司 | 客户端/服务器架构下的系统日志文件的更新方法 |
| CN101286888A (zh) * | 2008-05-21 | 2008-10-15 | 天柏宽带网络科技（北京）有限公司 | 一种日志系统的运行方法 |
| CN106412061A (zh) * | 2016-09-28 | 2017-02-15 | 上海爱数信息技术股份有限公司 | 一种基于Linux的日志文件夹远程传输系统 |
| CN108073500A (zh) * | 2016-11-14 | 2018-05-25 | 深圳联友科技有限公司 | 一种日志记录方法以及系统 |
| CN110609818A (zh) * | 2018-05-29 | 2019-12-24 | 视联动力信息技术股份有限公司 | 一种日志处理方法及装置 |
-
2020
- 2020-04-30 CN CN202010370088.1A patent/CN111581171A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020138762A1 (en) * | 2000-12-01 | 2002-09-26 | Horne Donald R. | Management of log archival and reporting for data network security systems |
| CN1984139A (zh) * | 2005-12-16 | 2007-06-20 | 中兴通讯股份有限公司 | 客户端/服务器架构下的系统日志文件的更新方法 |
| CN101286888A (zh) * | 2008-05-21 | 2008-10-15 | 天柏宽带网络科技（北京）有限公司 | 一种日志系统的运行方法 |
| CN106412061A (zh) * | 2016-09-28 | 2017-02-15 | 上海爱数信息技术股份有限公司 | 一种基于Linux的日志文件夹远程传输系统 |
| CN108073500A (zh) * | 2016-11-14 | 2018-05-25 | 深圳联友科技有限公司 | 一种日志记录方法以及系统 |
| CN110609818A (zh) * | 2018-05-29 | 2019-12-24 | 视联动力信息技术股份有限公司 | 一种日志处理方法及装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112231288A (zh) * | 2020-09-30 | 2021-01-15 | 北京金山云网络技术有限公司 | 日志存储方法和装置、介质 |
| CN112231288B (zh) * | 2020-09-30 | 2024-07-02 | 北京金山云网络技术有限公司 | 日志存储方法和装置、介质 |
| CN112925746A (zh) * | 2021-03-25 | 2021-06-08 | 北京安天网络安全技术有限公司 | 文件归档方法和装置 |
| CN113760683A (zh) * | 2021-08-31 | 2021-12-07 | 银清科技有限公司 | 日志采集方法及装置 |
| CN113760683B (zh) * | 2021-08-31 | 2024-02-20 | 银清科技有限公司 | 日志采集方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11455276B2 (en) | Method for processing snapshots and distributed block storage system | |
| CN111581171A (zh) | 日志处理方法、装置、计算设备和介质 | |
| US9459967B2 (en) | Cascade ordering | |
| US9176853B2 (en) | Managing copy-on-writes to snapshots | |
| US7864478B2 (en) | Verification of a tape data storage cartridge | |
| US20070226436A1 (en) | File system based offline disk management | |
| US20160062671A1 (en) | Restoring data | |
| US11789766B2 (en) | System and method of selectively restoring a computer system to an operational state | |
| CN110493342B (zh) | 文件传输方法、装置、电子设备及可读存储介质 | |
| US10168920B2 (en) | Duplexing file system data | |
| US8180930B2 (en) | Information processing device, and device initialization method in the information processing device | |
| CN113064558B (zh) | 一种数据存储方法和装置 | |
| JP6052812B2 (ja) | テープ上のファイルの管理、書き込み、及び読み出し方法 | |
| US9502052B1 (en) | Writing redundant data on tape media | |
| CN113190325A (zh) | 一种容器创建方法及装置 | |
| US9009430B2 (en) | Restoration of data from a backup storage volume | |
| CN110297811B (zh) | 数据处理方法及装置、计算机系统和计算机可读存储介质 | |
| US10761892B2 (en) | Method and electronic device for executing data reading/writing in volume migration | |
| CN109347937A (zh) | 一种应用于视频监控设备的智能远程升级方法 | |
| CN111309526B (zh) | 文件备份、恢复方法及其装置 | |
| US11068194B2 (en) | Method and system for storing and managing states of a computer | |
| US20160210139A1 (en) | Managing a code load | |
| US8918582B2 (en) | Simulating EEPROM in virtual distributed switches | |
| CN107742080B (zh) | 针对虚拟化环境的漏洞挖掘方法及装置 | |
| CN107229535B (zh) | 数据块的多副本存储方法、存储设备、数据读取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200825 |