CN110502486A - 日志处理方法、装置、电子设备和计算机可读存储介质 - Google Patents
日志处理方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN110502486A CN110502486A CN201910777754.0A CN201910777754A CN110502486A CN 110502486 A CN110502486 A CN 110502486A CN 201910777754 A CN201910777754 A CN 201910777754A CN 110502486 A CN110502486 A CN 110502486A
- Authority
- CN
- China
- Prior art keywords
- file
- text file
- record
- text
- electronic equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本公开提供了一种日志处理方法,包括:获取电子设备中存储的每个文本文件的存储路径和文件名;根据每个文本文件的存储路径和文件名创建列表清单,其中,列表清单中的每一条记录表征一个文本文件对应的存储路径和文件名;根据列表清单对电子设备中存储的每个文本文件进行识别,确定列表清单中属于日志文件的记录;以及根据列表清单中属于日志文件的记录,对属于日志文件的文本文件进行清除。本公开还提供了一种日志处理装置、一种电子设备和一种计算机可读存储介质。
Description
技术领域
本公开涉及计算机技术领域,更具体地,涉及一种日志处理方法、一种日志处理装置、一种电子设备和一种计算机可读存储介质。
背景技术
随着计算机技术的快速发展,各种客户端应用层出不穷,用户使用客户端应用的频率也越来越高。电子设备通过生成日志文件的方式记录各种操作事件,日志文件可以用于处理历史数据、诊断问题的追踪以及理解系统的活动。并且,日志文件的增长是随着时间的推移逐步增长的,日志文件存在着分散分布和不规则命名的特征。
但是,对于电子设备有限的存储空间,例如,磁盘空间,如果不对日志文件进行处理,电子设备的存储空间将被大量的日志文件所占据。
发明内容
有鉴于此,本公开提供了一种日志处理方法、一种日志处理装置、一种电子设备和一种计算机可读存储介质。
本公开的一个方面提供了一种日志处理方法,包括:获取电子设备中存储的每个文本文件的存储路径和文件名;根据上述每个文本文件的存储路径和文件名创建列表清单,其中,上述列表清单中的每一条记录表征一个文本文件对应的存储路径和文件名;根据上述列表清单对上述电子设备中存储的每个文本文件进行识别,确定上述列表清单中属于日志文件的记录;以及根据上述列表清单中属于日志文件的记录,对属于日志文件的文本文件进行清除。
根据本公开的实施例,根据上述列表清单对上述电子设备中存储的每个文本文件进行识别,确定上述列表清单中属于日志文件的记录包括:根据上述列表清单中的每条记录搜索对应的文本文件;对搜索得到的文本文件进行识别,确定上述搜索得到的文本文件是否属于日志文件;以及对属于日志文件的文本文件对应的记录进行标记,以获得上述列表清单中属于日志文件的记录。
根据本公开的实施例,对搜索得到的文本文件进行识别,确定上述搜索得到的文本文件是否属于日志文件包括:随机读取上述搜索得到的文本文件中的N行信息,其中N为大于1的整数;识别上述N行信息中的每一行信息,确定包含时间特征值的多个目标行;判断上述多个目标行所包含的时间特征值是否具有连续时序性特征;以及如果上述多个目标行所包含的时间特征值具有连续时序性特征,则确定上述搜索得到的文本文件属于日志文件。
根据本公开的实施例,根据上述列表清单中属于日志文件的记录,对属于日志文件的文本文件进行清除包括:将列表清单中属于日志文件的记录存入数据库中;以及根据数据库中存入的记录清除存储时间大于或等于预定时长的属于日志文件的文本文件。
根据本公开的实施例,在获取电子设备中存储的每个文本文件的存储路径和文件名之前:对上述电子设备中存储的所有文件进行识别,确定每个文件的文件类型;以及根据上述每个文件的文件类型从上述所有文件中识别出文本文件。
本公开的另一个方面提供了一种日志处理装置,包括:获取模块用于获取电子设备中存储的每个文本文件的存储路径和文件名;创建模块用于根据上述每个文本文件的存储路径和文件名创建列表清单,其中,上述列表清单中的每一条记录表征一个文本文件对应的存储路径和文件名;识别模块用于根据上述列表清单对上述电子设备中存储的每个文本文件进行识别,确定上述列表清单中属于日志文件的记录;以及清除模块用于根据上述列表清单中属于日志文件的记录,对属于日志文件的文本文件进行清除。
根据本公开的实施例,上述识别模块包括:搜索单元用于根据上述列表清单中的每条记录搜索对应的文本文件;识别单元用于对搜索得到的文本文件进行识别,确定上述搜索得到的文本文件是否属于日志文件;以及标记单元用于对属于日志文件的文本文件对应的记录进行标记,以获得上述列表清单中属于日志文件的记录。
根据本公开的实施例,上述识别单元用于随机读取上述搜索得到的文本文件中的N行信息,其中N为大于1的整数;识别上述N行信息中的每一行信息,确定包含时间特征值的多个目标行;判断上述多个目标行所包含的时间特征值是否具有连续时序性特征;以及如果上述多个目标行所包含的时间特征值具有连续时序性特征,则确定上述搜索得到的文本文件属于日志文件。
根据本公开的实施例,上述清除模块包括存储单元,用于将列表清单中属于日志文件的记录存入数据库中;以及清除单元,用于根据数据库中存入的记录清除存储时间大于或等于预定时长的属于日志文件的文本文件。
根据本公开的实施例,上述识别模块还用于在获取电子设备中存储的每个文本文件的存储路径和文件名之前,对上述电子设备中存储的所有文件进行识别,确定每个文件的文件类型;以及根据上述每个文件的文件类型从上述所有文件中识别出文本文件。
本公开的另一方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个指令,其中,当所述一个或多个指令被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上所述的方法。
本公开的另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
根据本公开的实施例,通过根据电子设备中每个文本文件的存储路径和文件名构建的列表清单,对文本文件进行识别,确定列表清单中属于日志文件的记录,并根据列表清单中属于日志文件的记录清除日志文件,所以至少部分地克服了相关技术中电子设备的存储空间被大量的日志文件所占据导致剩余存储空间不足的技术问题,进而达到了提高存储空间利用率的技术效果。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的可以应用日志处理方法及装置的示例性系统架构;
图2示意性示出了根据本公开实施例的日志处理方法的流程图;
图3示意性示出了根据本公开实施例的确定列表清单中属于日志文件的记录的流程图;
图4示意性示出了根据本公开实施例的确定搜索得到的文本文件是否属于日志文件的流程图;
图5示意性示出了根据本公开实施例的对属于日志文件的文本文件进行清除的流程图;
图6示意性示出了根据本公开实施例的日志处理装置的框图;以及
图7示意性示出了根据本公开实施例的适于实现上文描述的日志处理方法的电子设备的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开的实施例提供了一种日志处理方法、一种日志处理装置、一种电子设备和一种计算机可读存储介质。该方法包括:获取电子设备中存储的每个文本文件的存储路径和文件名;根据每个文本文件的存储路径和文件名创建列表清单,其中,列表清单中的每一条记录表征一个文本文件对应的存储路径和文件名;根据列表清单对电子设备中存储的每个文本文件进行识别,确定列表清单中属于日志文件的记录;以及根据列表清单中属于日志文件的记录,对属于日志文件的文本文件进行清除。
图1示意性示出了根据本公开实施例的可以应用日志处理方法及装置的示例性系统架构。需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,根据该实施例的系统架构100可以包括终端设备101,网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线和/或无线通信链路等等。
用户可以使用终端设备101通过网络102与服务器103交互,以接收或发送消息等。用户使用终端设备101通过网络102与服务器103交互产生的日志文件可以存储在服务器103中。
终端设备101可以是各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器103可以是提供各种服务的服务器,例如对用户利用终端设备101所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的日志处理方法可以由服务器103执行,或者也可以由不同于服务器103的其他服务器或终端设备执行。相应地,本公开实施例所提供的日志处理装置可以设置于服务器103中,或设置于不同于服务器103的其他服务器或终端设备中。
图2示意性示出了根据本公开实施例的日志处理方法的流程图。
如图2所示,该方法包括操作S210~S240。
在操作S210,获取电子设备中存储的每个文本文件的存储路径和文件名。
根据本公开的实施例,电子设备中可以存储不同类型的文件,例如,文本文件,视频文件,音频文件等等,不同类型的文件的文件格式是不同的。为了避免对不需要清除的文件进行误处理,在获取电子设备中存储的每个文本文件的存储路径和文件名之前,可以对电子设备中存储的所有文件进行识别,确定每个文件的文件类型,然后根据每个文件的文件类型从所有文件中识别出文本文件。
根据本公开的实施例,在对电子设备中存储的所有文件进行识别时,可以识别出每个文件的文件格式,根据每个文件的文件格式确定每个文件的文件类型。
根据本公开的实施例,具体地,可以识别每个文件的文件名后缀,根据后缀确定每个文件的文件格式。
在操作S220,根据每个文本文件的存储路径和文件名创建列表清单,其中,列表清单中的每一条记录表征一个文本文件对应的存储路径和文件名。
根据本公开的实施例,需要说明的是,本公开的列表清单中的字段并不限于上述列举内容。例如,列表清单中除了可以包括文本文件对应的存储路径和文件名之外,还可以包括文本文件的生成时间。
在操作S230,根据列表清单对电子设备中存储的每个文本文件进行识别,确定列表清单中属于日志文件的记录。
在操作S240,根据列表清单中属于日志文件的记录,对属于日志文件的文本文件进行清除。
根据本公开的实施例,日志文件可以存储在电子设备的磁盘空间中,电子设备的的磁盘空间是有限的,可以对日志文件进行处理,例如,清除存储时间非常长的日志文件,以释放存储空间。
在相关技术中,在对日志文件进行清理时,无论是自动清理方式还是手动清理方式,一般只能针对指定路径和指定文件的日志文件进行定期清理,但由于日志文件存在着分散分布和命名不规则的特征,在查找指定路径和指定文件的日志文件时,容易出现查找错误或者查找效率低的问题。并且,在相关技术中,对日志文件进行清理存在着配置过于复杂和需要后期定时维护的问题。
根据本公开的实施例,通过根据电子设备中每个文本文件的存储路径和文件名构建的列表清单,对文本文件进行识别,确定列表清单中属于日志文件的记录,并根据列表清单中属于日志文件的记录清除日志文件,无需通过指定路径对日志文件进行处理,也无需掌握指定命名规则才能找到相应的日志文件,使得可以自动全路径搜索识别日志文件并自动清理,所以至少部分地克服了相关技术中电子设备的存储空间被大量的日志文件所占据导致剩余存储空间不足的技术问题,进而达到了提高存储空间利用率的技术效果。
下面参考图3~图5,结合具体实施例对图2所示的方法做进一步说明。
图3示意性示出了根据本公开实施例的确定列表清单中属于日志文件的记录的流程图。
如图3所示,根据列表清单对电子设备中存储的每个文本文件进行识别,确定列表清单中属于日志文件的记录包括操作S310~S330。
在操作S310,根据列表清单中的每条记录搜索对应的文本文件。
根据本公开的实施例,可以根据每条记录所包含的存储路径和文件名搜索得到与每条记录对应的文本文件。
在操作S320,对搜索得到的文本文件进行识别,确定搜索得到的文本文件是否属于日志文件。
根据本公开的实施例,电子设备中存储的文本文件除了包括日志文件之外,还可以包括其他文本文件,例如,可以是应用程序的配置文件,交互数据的文件等等。因此,为了避免对其他文本文件的误处理,可以对搜索得到的文本文件进行识别,确定搜索得到的文本文件是否属于日志文件。
在操作S330,对属于日志文件的文本文件对应的记录进行标记,以获得列表清单中属于日志文件的记录。
根据本公开的实施例,对属于日志文件的文本文件对应的记录进行标记的方式包括多种,例如,可以是在文本文件对应的记录中添加一个字段,该字段的内容可以表征该记录是否为属于日志文件的记录。或者,对文本文件对应的记录中的文件名进行处理,统一文件名的命名格式。
根据本公开的实施例,在对属于日志文件的文本文件对应的记录进行标记之后,可以根据被标记的记录重新生成另一个列表清单,重新生成的列表清单中只有被标记的记录。
图4示意性示出了根据本公开实施例的确定搜索得到的文本文件是否属于日志文件的流程图。
如图4所示,对搜索得到的文本文件进行识别,确定搜索得到的文本文件是否属于日志文件包括操作S410~S440。
在操作S410,随机读取搜索得到的文本文件中的N行信息,其中N为大于1的整数。
根据本公开的实施例,N的数值大小不做限定,例如,N可以取50至100之间的整数。根据本公开的实施例,N的数值大小可以根据文本文件实际所包含的行数进行动态调整,以提高后续确定是否为日志文件的准确度。
在操作S420,识别N行信息中的每一行信息,确定包含时间特征值的多个目标行。
根据本公开的实施例,可以对每一行信息进行扫描,确定该行信息中是否包括时间特征值,其中,时间特征值可以是日期。
根据本公开的实施例,例如,对文本文件中的第1至100行进行扫描,发现每行信息中都包含日期,那么包含100个目标行。
根据本公开的实施例,例如,对文本文件中的第1至100行进行扫描,发现只有第1行、第10行、第100行信息中包含日期,那么包含3个目标行。
在操作S430,判断多个目标行所包含的时间特征值是否具有连续时序性特征。
根据本公开的实施例,由于文本文件可以是涉及时间信息的文件,因此,该类文件有可能不是日志文件。本申请可以根据具有连续时序性特征的时间特征值确定文本文件是否为日志文件。
在操作S440,如果多个目标行所包含的时间特征值具有连续时序性特征,则确定搜索得到的文本文件属于日志文件。
根据本公开的实施例,如果多个目标行所包含的时间特征值不具有连续时序性特征,则确定搜索得到的文本文件不属于日志文件。
通过本公开的实施例,根据具有连续时序性特征的时间特征值确定文本文件是否为日志文件,可以较为准确的确定文本文件是否为日志文件。无需通过指定路径对日志文件进行处理,也无需掌握指定命名规则才能找到相应的日志文件,使得可以自动全路径搜索识别日志文件并自动清理。
图5示意性示出了根据本公开实施例的对属于日志文件的文本文件进行清除的流程图。
如图5所示,根据列表清单中属于日志文件的记录,对属于日志文件的文本文件进行清除包括包括操作S510~S520。
在操作S510,将列表清单中属于日志文件的记录存入数据库中。
根据本公开的实施例,该数据库可以是专属于存储记录的数据库。通过将列表清单中属于日志文件的记录进行集中存储,可以达到统一管理日志文件的存储路径的效果,使得下次清理日志文件时无需重新扫描。
在操作S520,根据数据库中存入的记录清除存储时间大于或等于预定时长的属于日志文件的文本文件。
根据本公开的实施例,预定时长的数值不做限定,可以根据实际需求进行手动或自动调整。例如,用户可以根据剩余存储空间的大小手动调整预定时长,或者,电子设备可以监控剩余存储空间的大小,如果剩余存储空间小于阈值,可以将预定时长调小,从而可以自动清除存储时间大于或等于调小后的预定时长的文本文件。
根据本公开的实施例,还可以监控电子设备的剩余存储空间,判断电子设备的剩余存储空间是否小于或等于阈值,如果电子设备的剩余存储空间小于或等于阈值,则将预定时长调小。
或者,判断电子设备的剩余存储空间是否小于或等于阈值,如果电子设备的剩余存储空间大于阈值,则将预定时长调大。
根据本公开的实施例,可以动态调整预定时长,从而达到了动态清除日志文件的效果。
通过本公开的实施例,克服了相关技术中电子设备的存储空间被大量的日志文件所占据导致剩余存储空间不足的技术问题,进而达到了提高存储空间利用率的技术效果,节约了人力清理成本,大幅提高运维效率水平。
图6示意性示出了根据本公开实施例的日志处理装置的框图。
如图6所示,日志处理装置600包括获取模块610、创建模块620、识别模块630和清除模块640。
获取模块610用于获取电子设备中存储的每个文本文件的存储路径和文件名;
创建模块620用于根据每个文本文件的存储路径和文件名创建列表清单,其中,列表清单中的每一条记录表征一个文本文件对应的存储路径和文件名;
识别模块630用于根据列表清单对电子设备中存储的每个文本文件进行识别,确定列表清单中属于日志文件的记录;
清除模块640用于根据列表清单中属于日志文件的记录,对属于日志文件的文本文件进行清除。
根据本公开的实施例,通过根据电子设备中每个文本文件的存储路径和文件名构建的列表清单,对文本文件进行识别,确定列表清单中属于日志文件的记录,并根据列表清单中属于日志文件的记录清除日志文件,无需通过指定路径对日志文件进行处理,电无需掌握指定命名规则才能找到相应的日志文件,使得可以自动全路径搜索识别日志文件并自动清理,所以至少部分地克服了相关技术中电子设备的存储空间被大量的日志文件所占据导致剩余存储空间不足的技术问题,进而达到了提高存储空间利用率的技术效果。
根据本公开的实施例,识别模块630包括搜索单元、识别单元和标记单元。
搜索单元用于根据列表清单中的每条记录搜索对应的文本文件;识别单元用于对搜索得到的文本文件进行识别,确定搜索得到的文本文件是否属于日志文件;以及标记单元用于对属于日志文件的文本文件对应的记录进行标记,以获得列表清单中属于日志文件的记录。
根据本公开的实施例,识别单元用于随机读取搜索得到的文本文件中的N行信息,其中N为大于1的整数;识别N行信息中的每一行信息,确定包含时间特征值的多个目标行;判断多个目标行所包含的时间特征值是否具有连续时序性特征;以及如果多个目标行所包含的时间特征值具有连续时序性特征,则确定搜索得到的文本文件属于日志文件。
根据本公开的实施例,清除模块640包括存储单元和清除单元。
存储单元用于将列表清单中属于日志文件的记录存入数据库中;以及清除单元用于根据数据库中存入的记录清除存储时间大于或等于预定时长的属于日志文件的文本文件。
根据本公开的实施例,还可以包括监控模块,用于监控电子设备的剩余存储空间,并判断电子设备的剩余存储空间是否小于或等于阈值,如果电子设备的剩余存储空间小于或等于阈值,则将预定时长调小。或者,判断电子设备的剩余存储空间是否小于或等于阈值,如果电子设备的剩余存储空间大于阈值,则将预定时长调大。
根据本公开的实施例,可以动态调整预定时长,从而达到了动态清除日志文件的效果。
根据本公开的实施例,识别模块630还用于在获取电子设备中存储的每个文本文件的存储路径和文件名之前,对电子设备中存储的所有文件进行识别,确定每个文件的文件类型;以及根据每个文件的文件类型从所有文件中识别出文本文件。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,获取模块610、创建模块620、识别模块630和清除模块640中的任意多个可以合并在一个模块/单元/子单元中实现,或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者,这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合,并在一个模块/单元/子单元中实现。根据本公开的实施例,获取模块610、创建模块620、识别模块630和清除模块640中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,获取模块610、创建模块620、识别模块630和清除模块640中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
需要说明的是,本公开的实施例中日志处理装置部分与本公开的实施例中日志处理方法部分是相对应的,日志处理装置部分的描述具体参考日志处理方法部分,在此不再赘述。
图7示意性示出了根据本公开实施例的适于实现上文描述的日志处理方法的电子设备的框图。图7示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,根据本公开实施例的电子设备700包括处理器701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 703中,存储有电子设备700操作所需的各种程序和数据。处理器701、ROM702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,电子设备700还可以包括输入/输出(I/O)接口705,输入/输出(I/O)接口705也连接至总线704。电子设备700还可以包括连接至I/O接口705的以下部件中的一项或多项:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
根据本公开的实施例,根据本公开实施例的方法流程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时,执行本公开实施例的电子设备中限定的上述功能。根据本公开的实施例,上文描述的电子设备、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/电子设备中所包含的;也可以是单独存在,而未装配入该设备/装置/电子设备中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行电子设备、装置或者器件使用或者与其结合使用。
例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的电子设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的电子设备来实现,或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。
Claims (12)
1.一种日志处理方法,包括:
获取电子设备中存储的每个文本文件的存储路径和文件名;
根据所述每个文本文件的存储路径和文件名创建列表清单,其中,所述列表清单中的每一条记录表征一个文本文件对应的存储路径和文件名;
根据所述列表清单对所述电子设备中存储的每个文本文件进行识别,确定所述列表清单中属于日志文件的记录;以及
根据所述列表清单中属于日志文件的记录,对属于日志文件的文本文件进行清除。
2.根据权利要求1所述的方法,其中,根据所述列表清单对所述电子设备中存储的每个文本文件进行识别,确定所述列表清单中属于日志文件的记录包括:
根据所述列表清单中的每条记录搜索对应的文本文件;
对搜索得到的文本文件进行识别,确定所述搜索得到的文本文件是否属于日志文件;以及
对属于日志文件的文本文件对应的记录进行标记,以获得所述列表清单中属于日志文件的记录。
3.根据权利要求2所述的方法,其中,对搜索得到的文本文件进行识别,确定所述搜索得到的文本文件是否属于日志文件包括:
随机读取所述搜索得到的文本文件中的N行信息,其中N为大于1的整数;
识别所述N行信息中的每一行信息,确定包含时间特征值的多个目标行;
判断所述多个目标行所包含的时间特征值是否具有连续时序性特征;以及
如果所述多个目标行所包含的时间特征值具有连续时序性特征,则确定所述搜索得到的文本文件属于日志文件。
4.根据权利要求1所述的方法,其中,根据所述列表清单中属于日志文件的记录,对属于日志文件的文本文件进行清除包括:
将所述列表清单中属于日志文件的记录存入数据库中;以及
根据所述数据库中存入的记录清除存储时间大于或等于预定时长的属于日志文件的文本文件。
5.根据权利要求1所述的方法,还包括,在获取电子设备中存储的每个文本文件的存储路径和文件名之前:
对所述电子设备中存储的所有文件进行识别,确定每个文件的文件类型;以及
根据所述每个文件的文件类型从所述所有文件中识别出文本文件。
6.一种日志处理装置,包括:
获取模块,用于获取电子设备中存储的每个文本文件的存储路径和文件名;
创建模块,用于根据所述每个文本文件的存储路径和文件名创建列表清单,其中,所述列表清单中的每一条记录表征一个文本文件对应的存储路径和文件名;
识别模块,用于根据所述列表清单对所述电子设备中存储的每个文本文件进行识别,确定所述列表清单中属于日志文件的记录;以及
清除模块,用于根据所述列表清单中属于日志文件的记录,对属于日志文件的文本文件进行清除。
7.根据权利要求6所述的装置,其中,所述识别模块包括:
搜索单元,用于根据所述列表清单中的每条记录搜索对应的文本文件;
识别单元,用于对搜索得到的文本文件进行识别,确定所述搜索得到的文本文件是否属于日志文件;以及
标记单元,用于对属于日志文件的文本文件对应的记录进行标记,以获得所述列表清单中属于日志文件的记录。
8.根据权利要求7所述的装置,其中,所述识别单元用于:
随机读取所述搜索得到的文本文件中的N行信息,其中N为大于1的整数;
识别所述N行信息中的每一行信息,确定包含时间特征值的多个目标行;
判断所述多个目标行所包含的时间特征值是否具有连续时序性特征;以及
如果所述多个目标行所包含的时间特征值具有连续时序性特征,则确定所述搜索得到的文本文件属于日志文件。
9.根据权利要求6所述的装置,其中,所述清除模块包括:
存储单元,用于将所述列表清单中属于日志文件的记录存入数据库中;以及
清除单元,用于根据所述数据库中存入的记录清除存储时间大于或等于预定时长的属于日志文件的文本文件。
10.根据权利要求6所述的装置,所述识别模块还用于:
在获取电子设备中存储的每个文本文件的存储路径和文件名之前,对所述电子设备中存储的所有文件进行识别,确定每个文件的文件类型;以及
根据所述每个文件的文件类型从所述所有文件中识别出文本文件。
11.一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个指令,
其中,当所述一个或多个指令被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至5中任一项所述的方法。
12.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现权利要求1至5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910777754.0A CN110502486B (zh) | 2019-08-21 | 2019-08-21 | 日志处理方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910777754.0A CN110502486B (zh) | 2019-08-21 | 2019-08-21 | 日志处理方法、装置、电子设备和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110502486A true CN110502486A (zh) | 2019-11-26 |
CN110502486B CN110502486B (zh) | 2022-01-11 |
Family
ID=68588751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910777754.0A Active CN110502486B (zh) | 2019-08-21 | 2019-08-21 | 日志处理方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110502486B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111144334A (zh) * | 2019-12-27 | 2020-05-12 | 北京天融信网络安全技术有限公司 | 一种文件匹配方法、装置、电子设备及存储介质 |
CN112860630A (zh) * | 2021-04-08 | 2021-05-28 | 广州趣丸网络科技有限公司 | 一种实时变换数据存储方法、装置、电子设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104252531A (zh) * | 2014-09-11 | 2014-12-31 | 北京优特捷信息技术有限公司 | 一种文件类型识别方法及装置 |
CN105224583A (zh) * | 2014-07-03 | 2016-01-06 | 北京奇虎科技有限公司 | 日志文件的清理方法及装置 |
CN105260438A (zh) * | 2015-09-30 | 2016-01-20 | 联想(北京)有限公司 | 一种文件管理方法及电子设备 |
CN105653427A (zh) * | 2016-03-04 | 2016-06-08 | 上海交通大学 | 基于行为异常检测的日志监控方法 |
CN106407096A (zh) * | 2016-09-09 | 2017-02-15 | 深圳中兴网信科技有限公司 | 基于时间序列的日志分析方法和日志分析装置 |
CN107315779A (zh) * | 2017-06-05 | 2017-11-03 | 海致网络技术(北京)有限公司 | 日志分析方法和系统 |
CN107526674A (zh) * | 2017-08-31 | 2017-12-29 | 郑州云海信息技术有限公司 | 一种嵌入式系统日志记录的方法与装置 |
CN107660283A (zh) * | 2015-04-03 | 2018-02-02 | 甲骨文国际公司 | 用于在日志分析系统中实现日志解析器的方法和系统 |
US10037251B1 (en) * | 2015-03-31 | 2018-07-31 | EMC IP Holding Company LLC | File system rollback to previous point in time |
CN108460155A (zh) * | 2018-03-28 | 2018-08-28 | 深信服科技股份有限公司 | 一种文件识别方法、装置、设备及存储介质 |
CN109271355A (zh) * | 2018-08-27 | 2019-01-25 | 杭州迪普科技股份有限公司 | 一种清理日志文件缓存的方法及装置 |
-
2019
- 2019-08-21 CN CN201910777754.0A patent/CN110502486B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105224583A (zh) * | 2014-07-03 | 2016-01-06 | 北京奇虎科技有限公司 | 日志文件的清理方法及装置 |
CN104252531A (zh) * | 2014-09-11 | 2014-12-31 | 北京优特捷信息技术有限公司 | 一种文件类型识别方法及装置 |
US10037251B1 (en) * | 2015-03-31 | 2018-07-31 | EMC IP Holding Company LLC | File system rollback to previous point in time |
CN107660283A (zh) * | 2015-04-03 | 2018-02-02 | 甲骨文国际公司 | 用于在日志分析系统中实现日志解析器的方法和系统 |
CN105260438A (zh) * | 2015-09-30 | 2016-01-20 | 联想(北京)有限公司 | 一种文件管理方法及电子设备 |
CN105653427A (zh) * | 2016-03-04 | 2016-06-08 | 上海交通大学 | 基于行为异常检测的日志监控方法 |
CN106407096A (zh) * | 2016-09-09 | 2017-02-15 | 深圳中兴网信科技有限公司 | 基于时间序列的日志分析方法和日志分析装置 |
CN107315779A (zh) * | 2017-06-05 | 2017-11-03 | 海致网络技术(北京)有限公司 | 日志分析方法和系统 |
CN107526674A (zh) * | 2017-08-31 | 2017-12-29 | 郑州云海信息技术有限公司 | 一种嵌入式系统日志记录的方法与装置 |
CN108460155A (zh) * | 2018-03-28 | 2018-08-28 | 深信服科技股份有限公司 | 一种文件识别方法、装置、设备及存储介质 |
CN109271355A (zh) * | 2018-08-27 | 2019-01-25 | 杭州迪普科技股份有限公司 | 一种清理日志文件缓存的方法及装置 |
Non-Patent Citations (2)
Title |
---|
刘德军: "C#实现日志文件清除功能", 《电脑知识与技术》 * |
邹洪: "冗余文件自动清理软件的设计与分析", 《中国数字电视》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111144334A (zh) * | 2019-12-27 | 2020-05-12 | 北京天融信网络安全技术有限公司 | 一种文件匹配方法、装置、电子设备及存储介质 |
CN111144334B (zh) * | 2019-12-27 | 2023-09-26 | 北京天融信网络安全技术有限公司 | 一种文件匹配方法、装置、电子设备及存储介质 |
CN112860630A (zh) * | 2021-04-08 | 2021-05-28 | 广州趣丸网络科技有限公司 | 一种实时变换数据存储方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110502486B (zh) | 2022-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106649316A (zh) | 一种视频推送方法及装置 | |
CN110019087A (zh) | 数据处理方法及其系统 | |
CN106815254A (zh) | 一种数据处理方法和装置 | |
CN110175281A (zh) | 一种用户数据处理、交互方法、装置及系统 | |
CN110019367B (zh) | 一种统计数据特征的方法和装置 | |
CN112733023A (zh) | 资讯推送方法、装置、电子设备及计算机可读存储介质 | |
CN110300084A (zh) | 一种基于ip地址的画像方法和装置 | |
CN103248707B (zh) | 文件访问方法、系统以及设备 | |
EP2352072A1 (en) | Calculation device, system management device, calculation method, and program | |
CN110502486A (zh) | 日志处理方法、装置、电子设备和计算机可读存储介质 | |
CN108255628A (zh) | 一种数据处理方法及装置 | |
CN109992406A (zh) | 图片请求方法、响应图片请求的方法及客户端 | |
CN112100219A (zh) | 基于数据库查询处理的报表生成方法、装置、设备和介质 | |
CN107357885A (zh) | 数据写入方法及装置、电子设备、计算机存储介质 | |
CN105005585A (zh) | 一种日志数据的处理方法和装置 | |
CN107291826A (zh) | 文件搜索处理方法及装置 | |
CN108228193A (zh) | 数据获取方法及装置 | |
CN112650804B (zh) | 大数据接入方法、装置、系统及存储介质 | |
CN113849864A (zh) | 基于区块链的移动端购物app取证方法 | |
CN114598731B (zh) | 集群日志采集方法、装置、设备及存储介质 | |
CN106130757B (zh) | 信息获取方法和装置 | |
CN114201466B (zh) | 防缓存击穿方法、装置、设备及可读存储介质 | |
CN110008108A (zh) | 回归范围确定方法、装置、设备及计算机可读存储介质 | |
CN104077422A (zh) | 下载apk的去重方法及装置 | |
CN114401239A (zh) | 元数据传输方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |