CN114490164B - 日志的收集方法、系统、设备及计算机存储介质 - Google Patents

日志的收集方法、系统、设备及计算机存储介质 Download PDF

Info

Publication number
CN114490164B
CN114490164B CN202210340427.0A CN202210340427A CN114490164B CN 114490164 B CN114490164 B CN 114490164B CN 202210340427 A CN202210340427 A CN 202210340427A CN 114490164 B CN114490164 B CN 114490164B
Authority
CN
China
Prior art keywords
log
error
logs
classification
classified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210340427.0A
Other languages
English (en)
Other versions
CN114490164A (zh
Inventor
杨晓华
蒋剑锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Useer Robot Co Ltd
Original Assignee
Shenzhen Useer Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Useer Robot Co Ltd filed Critical Shenzhen Useer Robot Co Ltd
Priority to CN202210340427.0A priority Critical patent/CN114490164B/zh
Publication of CN114490164A publication Critical patent/CN114490164A/zh
Application granted granted Critical
Publication of CN114490164B publication Critical patent/CN114490164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0778—Dumping, i.e. gathering error/state information after a fault for later diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0781—Error filtering or prioritizing based on a policy defined by the user or on a policy defined by a hardware/software module, e.g. according to a severity level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0787—Storage of error reports, e.g. persistent data storage, storage using memory protection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及数据处理领域，并公开了一种日志的收集方法、系统、设备和一种计算机存储介质，该方法应用于客户端，所述日志的收集方法步骤，包括：获取所述客户端内部的全部错误日志，并根据各所述错误日志得到分类日志集；获取预设的提取规则，根据所述提取规则将所述分类日志集中的分类日志依次同步到日志服务器。本发明提高了日志的收集效率。

Description

日志的收集方法、系统、设备及计算机存储介质
技术领域
本发明涉及数据处理领域，尤其涉及一种日志的收集方法、系统、设备及计算机存储介质。
背景技术
随着客户端安装量的持续增长，客户端出现问题的数量和问题类型随之增多。与此同时安装了客户端的终端的类型也越来越多，从而导致各种兼容性问题也频繁出现。鉴于此状况，对客户端出现的问题进行定位、跟踪和解决就变得愈发紧迫和困难。
传统收集日志的方式是通过开发者在获取用户反馈的程序异常信息后，通过操作后台进行设置形成日志收集信息，再根据日志收集信息和程序异常信息对应的目标客户收集对应日志。这种收集日志方式存在很大的缺陷，需要在用户反馈程序异常信息后才会对客户端日志进行获取，并且要依据程序异常信息对应的目标客户和程序异常信息对应的日志收集信息进行收集。
综上，传统收集日志方式不仅延长了收集时间，而且日志的收集效率低。
发明内容
本发明的主要目的在于提出一种日志的收集方法、系统、设备及计算机存储介质，旨在提升日志的收集的效率。
为实现上述目的，本发明提供一种日志的收集方法，所述日志的收集方法应用于客户端，所述日志的收集方法步骤，包括：
获取所述客户端内部的全部错误日志，并根据各所述错误日志得到分类日志集；
获取预设的提取规则，根据所述提取规则将所述分类日志集中的分类日志依次同步到日志服务器。
可选地，根据各所述错误日志得到分类日志集的步骤，包括：
获取预设的错误等级表，并确定各所述错误日志在所述错误等级表中对应的错误等级；
根据所述错误等级将各所述错误日志分类得到分类日志集。
可选地，根据所述提取规则将所述分类日志集中的分类日志依次同步到日志服务器的步骤，包括：
根据所述提取规则依次提取所述分类日志集中的分类日志，并确定提取的所述分类日志对应的提取顺序；
根据所述提取顺序将所述分类日志同步到日志服务器。
此外，为实现上述目的，本发明还提供一种日志的收集方法，所述日志的收集方法应用于日志服务器，所述日志的收集方法步骤，包括：
接收客户端同步的分类日志，并根据所述分类日志确定对应的日志文件；
根据所述分类日志和所述日志文件创建日志队列，并根据所述日志队列对所述日志文件进行分类保存。
可选地，根据所述分类日志确定对应的日志文件的步骤，包括：
获取所述分类日志中的详细信息，将所述详细信息作为日志文件。
可选地，根据所述分类日志和所述日志文件创建日志队列的步骤，包括：
获取所述分类日志中的基础信息，将所述基础信息作为拟日志队列；
获取所述日志文件对应的保存地址，并将所述保存地址写入所述拟日志队列得到日志队列。
可选地，根据所述日志队列对所述日志文件进行分类保存的步骤，包括：
根据所述日志队列中的保存地址提取日志文件，并根据预设的错误等级表确定所述日志文件对应的日志错误等级；
根据所述日志错误等级对所述日志文件进行分类保存。
此外，为实现上述目的，本发明还提供一种日志的收集系统，所述日志的收集系统包括客户端和日志服务器，所述客户端和所述日志服务器之间建立通信连接；
所述客户端，用于获取错误日志，根据预设的错误等级表对各所述错误日志分类得到分类日志集，并根据预设的提取规则将所述分类日志集中的分类日志依次同步到所述日志服务器；
所述日志服务器，用于接收所述客户端发送的所述分类日志，并将所述分类日志进行分类保存。
此外，为实现上述目的，本发明还提供一种日志的收集设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志的收集程序，所述日志的收集程序被所述处理器执行时实现上所述的日志的收集方法的步骤。
此外，为实现上述目的，本发明还提供一种日志的收集计算机存储介质，所述计算机存储介质上存储有日志的收集程序，所述日志的收集程序被处理器执行时实现如上所述的日志的收集方法的步骤。
本发明通过公开了一种日志的收集方法，该方法应用于客户端和日志服务器，所述客户端和所述日志服务器之间建立通信连接；所述客户端，用于获取错误日志，根据预设的错误等级表对各所述错误日志分类得到分类日志集，并根据预设的提取规则将所述分类日志集中的分类日志依次同步到所述日志服务器；所述日志服务器，用于接收客户端同步的分类日志，并根据所述分类日志确定对应的日志文件；根据所述分类日志和所述日志文件创建日志队列，并根据所述日志队列对所述日志文件进行分类保存。其中分类保存是依据错误等级的级别进行分类后保存在日志服务器的数据库。通过收集客户端错误日志并将其进行同步到日志服务器储存，可以将将客户端的错误日志准确的收集到了日志服务器。从而避免了日志服务器收集错误日志时需要用户反馈的程序异常信息后才会对客户端日志进行获取的现象发生，不仅对问题的定位、跟踪和解决提供更精准和高效的依据，而且通过将错误日志统一分类储存进而提高了日志的收集效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的日志的收集设备结构示意图；
图2为本发明日志的收集系统第一实施例的示意图；
图3为本发明日志的收集系统装置模块示意图；
图4为本发明日志的收集方法第一实施例的流程示意图；
图5为本发明日志的收集方法第二实施例的流程示意图；
图6为本发明日志的收集技术方案的流程示意图。
附图标号说明：
标号 名称 标号 名称
A10 客户端 B10 日志服务器
A11 日志收集模块 B11 日志接收模块
A12 客户端本地数据库 B12 日志处理模块
A13 日志同步模块 0001 通信总线
0002 获取接口 0003 处理器
0004 处理接口 0005 存储器
C01 获取模块 C02 发送模块
C03 接收模块 C04 处理模块
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的日志的收集设备结构示意图。
如图1所示，该日志的收集设备可以包括：处理器0003，例如中央处理器（CentralProcessingUnit，CPU），通信总线0001、获取接口0002，处理接口0004，存储器0005。其中，通信总线0001用于实现这些组件之间的连接通信。获取接口0002可以包括信息采集装置、获取单元比如计算机，可选获取接口0002还可以包括标准的有线接口、无线接口。处理接口0004可选的可以包括标准的有线接口、无线接口。存储器0005可以是高速的随机存取存储器（RandomAccessMemory，RAM），也可以是稳定的非易失性存储器（Non-VolatileMemory，NVM），例如磁盘存储器。存储器0005可选的还可以是独立于前述处理器0003的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对日志的收集设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器0005中可以包括操作系统、获取接口模块、处理接口模块以及日志的收集程序。
在图1所示的日志的收集设备中，通信总线0001主要用于实现组件之间的连接通信；获取接口0002主要用于连接后台服务器，与后台服务器进行数据通信；处理接口0004主要用于连接部署端（用户端），与部署端进行数据通信；本发明日志的收集设备中的处理器0003、存储器0005可以设置在日志的收集设备中，所述日志的收集设备通过处理器0003调用存储器0005中存储的日志的收集程序，并执行本发明实施例提供的日志的收集方法。
基于上述硬件结构，提出本发明日志的收集系统实施例。
本发明实施例提供了一种日志的收集系统，参照图2，图2为本发明一种日志的收集系统第一实施例的示意图，本实施例中，所述日志的收集系统包括：
客户端A10和日志服务器B10,客户端A10和日志服务器B10之间建立通信连接，实现两者之间的数据传输。
所述客户端A10，用于获取错误日志，根据预设的错误等级表对各所述错误日志分类得到分类日志集，并根据预设的提取规则将所述分类日志集中的分类日志依次同步到所述日志服务器；
所述日志服务器B10，用于接收所述客户端发送的所述分类日志，并将所述分类日志进行分类保存。
在本实施例中，当客户端产生错误时，日志收集模块就会将错误对应的日志进行收集，并将错误日志按照内部的错误等级表进行分类，在分类之后就会得到一个有关于错误的分类日志集，并将得到的分类日志集在客户端本地数据库中储存，以便于后续对已经储存的分类日志同步到日志服务器中，其中对分类日志进行同步到日志服务器的模块是日志同步模块，通过将分类日志按照提取规则的顺序取出，并同步到日志服务器。其中，内部的错误等级表是指对错误日志的错误等级进行区分错误的表格，在本发明中包括了警告级别错误的错误、致命级别错误的错误和通知级别错误的错误，提取规则是指根据日志的错误等级提取日志的顺序。例如，客户端本地数据库保存的分类日志集error-致命级别错误的错误E,F,warning-警告级别错误的错误I,notice-通知级别错误的错误G,H，日志同步模块就会根据错误等级的顺序error-致命级别错误->warning-警告级别错误->notice-通知级别错误，先将E,F取出同步，再将I取出同步，最后将G,H取出同步。通过对错误日志的收集，同步保证了日志的准确性与收集的及时性。
在发送分类日志同步到日志服务器之后，日志服务器中的日志接收模块一方面会接受同步过来的分类日志，另一方面会将同步的分类日志进行拆分得到含有分类日志详细信息的日志文件和由基础信息组成的日志队列，这样就会为保存分类日志提供了依据，再对分类日志进行拆分之后就会由日志处理模块对拆分后的日志进行处理，日志处理模块就会根据日志队列获取对应的日志文件，并将日志文件按照错误等级保存，也就是说当同步之后，就会对日志进行分类保存，保存之前就是对分类日志根据同步顺序形成日志队列，在保存之后会将对应的日志文件和日志队列删除。例如，当错误同步的顺序是E,F,G，日志处理模块就会拆分E,F,G形成日志队列和日志文件，其中日志队列的顺序就是按照E,F,G的排序，控制器就会先保存E的对应储存地址的日志文件，并日志服务器在日志处理模块将E的日志文件删除同时在日志服务器队列删除E对应的日志队列，之后就是F，再之后就是G。通过对同步的分类日志在日志服务器中保存，不仅保证了对问题的定位、跟踪和解决提供更精准和高效的依据，而且保证了需求错误日志时日志的收集效率。
进一步，为本实施例还提供了一种日志的收集技术方案流程示意图，参照图6，在本实施例中，日志收集模块通过确定客户端中的错误日志，并将收集到的错误日志进行分类保存，其中分类保存是根据错误日志的错误级别对已收集的错误日志分类，对错误日志进行分类之后就会得到一个分类日志集，将得到的分类日志集储存到客户端本地数据库中，在对客户端本地数据库中的分类日志集同步到日志服务器，其中对分类日志集的同步方式是根据已分类好的错误级别对应的提取规则进行同步，根据错误级别的等级将单条或多条错误等级一样的分类日志同步到日志服务器，并将已经同步的分类日志在客户端本地数据库中删除。当日志接收模块接收到同步的日志之后，就会将日志中的详细信息作为日志文件在日志服务器的数据库中储存，并将日志的基础信息写入队列，当日志处理模块接收到日志队列任务时，就会读取该日志的基础信息对应的日志文件，并将日志文件在对应的的储存地址进行提取。在得到提取后的日志文件之后，就会将日志文件按照之前已经分类好的错误等级在日志服务器中储存，并将该日志文件在日志服务器的数据库中删除，同时在日志队列完成分类储存日志之后也会将日志队列移除，为此就完成了对客户端错误日志的全部提取过程，在整个提取过程中，当提取的日志不论是在将日志的基础信息写入队列成功之后，还是移除日志文件之后，控制器都会返回ACK，表示前一步骤已经完成。在本实施例中，通过提取客户端的错误日志，并将提取的错误日志在日志服务器中分类储存，保证了当需要找到客户端错误时，对问题的定位、跟踪和解决提供更精准和高效的依据，不用根据错误继续寻找错误日志，可以直接在日志服务器中进行直接提取，保证了日志的收集效率。
本实施例通过公开了一种日志的收集系统，该系统包括客户端和日志服务器，所述客户端和所述日志服务器之间建立通信连接；所述客户端，用于获取错误日志，根据预设的错误等级表对各所述错误日志分类得到分类日志集，并根据预设的提取规则将所述分类日志集中的分类日志依次同步到所述日志服务器；所述日志服务器，用于接收客户端同步的分类日志，并根据所述分类日志确定对应的日志文件；根据所述分类日志和所述日志文件创建日志队列，并根据所述日志队列对所述日志文件进行分类保存。其中分类保存是依据错误等级的级别进行分类后保存在日志服务器的数据库。通过以上技术方案将客户端的错误日志全部收集到了日志服务器。从而避免了日志服务器收集错误日志时需要用户反馈的程序异常信息后才会对客户端日志进行获取的现象发生，不仅对问题的定位、跟踪和解决提供更精准和高效的依据，而且通过将错误日志统一分类储存进而提高了日志的收集效率。
进一步地，基于本发明日志的收集系统第一实施例，提出本发明日志的收集方法应用于客户端的第一实施例，参照图4，图4为本发明一种日志的收集方法第一实施例的流程示意图，所述日志的收集方法包括：
步骤D10，获取所述客户端内部的全部错误日志，并根据各所述错误日志得到分类日志集；
在本实施例中，客户端A10包括日志收集模块A11、日志同步模块A13、客户端本地数据库A12。
所述日志收集模块A11，用于收集所述客户端的错误日志，并将所述错误日志作为目标日志；
所述客户端本地数据库A12，用于储存所述分类日志集；
所述日志同步模块A13，用于根据预设的错误等级确定对应的优先级顺序，并根据所述优先级顺序提取已储存的所述分类日志集中的分类日志，并在同步后删除客户端本地数据库中的所述分类日志。
其中，日志收集模块A11，是客户端中负责收集错误日志的模块，主要是在客户端产生错误日志之后，就将错误日志作为需要收集的目标日志，并将目标日志根据内部预设的错误等级进行分类储存，得到分类日志集，其中错误日志是指客户端产生错误时，所有有关的错误记录日志，目标日志是指日志收集模块需要收集的日志，错误等级是指错误日志对应的等级，包括error-致命级别错误、warning-警告级别错误、notice-通知级别错误，分类日志集是指目标日志按照错误等级进行分类之后的集合，通过日志收集模块对错误日志进行收集，并根据错误等级进行分类保证的收集错误日志的准确性。
客户端本地数据库A12，是客户端用于储存收集到的错误日志的存储位置，主要是将收集到并已经进行分类的分类日志集进行保存，不仅为分类日志提供了保存的空间，而且通过对日志保存提高了日志的完整性。
日志同步模块A13，是客户端中对分类日志（已经分类的错误日志）进行同步到日志服务器的模块，主要是依据错误等级的先后顺序对该等级的错误日志进行同步，其中错误等级的先后顺序是error-致命级别错误->warning-警告级别错误->notice-通知级别错误，分类日志是指已经分类并已经在客户端本地数据库中储存的错误日志，通过对分类日志进行同步，保证了分类日志到日志服务器的完整性。
在本实施例中，控制器在获取目标日志（客户端内部全部错误日志）之后，就会确定控制器内部预设的错误等级表，根据错误等级表确定获取的目标日志在在所述错误等级表中对应的错误等级，最后根据对应的错误等级在客户端本地数据库中储存得到分类日志集。其中本地数据库中实际储存的是关于一个错误的根据不同错误等级区分的分类日志集。其中在获取目标日志之前，日志收集模块会根据错误收集错误日志，错误日志就是指的目标日志，在得到错误日志之后，就会根据错误等级分类，分类是指对错误日志中的各种错误日志进行分类，进而得到有关于该错误的分类日志集，并将得到的分类日志集储存到客户端本地数据库，通过对客户端的目标日志进行获取，并将其进行分类储存，保证了错误日志获取的及时性，以及为后续的收集提供了原始数据。
步骤D20，获取预设的提取规则，根据所述提取规则将所述分类日志集中的分类日志依次同步到日志服务器。
在得到分类日志集之后，控制器就会确定预设的错误等级对应的提取规则，并根据提取规则依次提取已经得到的分类日志集中的对应的分类日志，根据确定提取的分类日志的提取顺序将分类日志同步到日志服务器。在本实施例中，客户端通过将已经获取的分类日志根据错误等级对应的提取顺序同步到日志服务器，保证了采集目标日志的准确同步，进而保证了信息的完整性，而且根据提取顺序也提高了分类日志的准确性，便于根据后续根据错误等级查找。
本发明通过公开了一种日志的收集方法，该应用于客户端的方法包括获取目标日志，根据预设的错误等级对各所述目标日志分类，得到分类日志集；确定所述错误等级对应的优先级顺序，并根据所述优先级顺序将所述分类日志集中的分类日志依次同步到日志服务器。其中目标日志是通过客户端内部的日志收集模块收集的客户端内部的全部错误日志，并将错误日志作为目标日志，从而避免了日志服务器收集错误日志时需要用户反馈的程序异常信息后才会对客户端日志进行获取的现象发生，不仅对问题的定位、跟踪和解决提供更精准和高效的依据，而且通过将错误日志统一分类储存进而提高了日志的收集准确性。
进一步地，基于本发明日志的收集系统第一实施例，日志的收集方法第一实施例，提出本发明日志的收集方法应用于日志服务器的第二实施例，参照图5，图5为本发明一种日志的收集方法第二实施例的流程示意图，所述日志的收集方法包括：
步骤D50，接收客户端同步的分类日志，并根据所述分类日志确定对应的日志文件；
在本实施例中，日志服务器B10包括日志接收模块B11和日志处理模块B12。
所述日志接收模块B11，用于将所述分类日志对应的详细信息作为所述日志文件，并将所述分类日志对应的基础信息作为所述日志队列；
所述日志处理模块B12，用于根据所述日志队列提取所述日志文件，并将所述日志文件对应的错误级别进行分类保存。
其中，日志接收模块B11，是日志服务器中对同步之后的分类日志进行接收的模块，主要是在接收到分类日志之后，将分类日志中的详细信息建立一个日志文件并在对应的储存地址保存，并建立一个日志队列保存该分类日志的基础信息。其中，日志文件是指储存分类日志中的详细信息的文件，详细信息可以包括日志的错误，错误等级，日志的使用客户等有关于日志的原始信息和后面的错误等级等相关信息，日志队列是指根据分类日志建立的队列，基础信息是指日志文件的存储地址、日志的对应的标记以及日志的其他基础信息。日志接收模块不仅完整的接收到了分类日志的日志信息，而且将分类日志拆分成日志文件和日志队列为保存处理分类日志提供了依据。
日志处理模块B12，是日志服务器中对分类日志进行处理的模块，主要是根据日志队列将分类日志进行保存，并保存的依据还是根据错误等级进行分类，并将保存后的分类日志对应的日志文件和日志队列进行删除，通过对分类日志进行保存保证了收集日志的准确性，并可以提高后续用户需要使用日志提高错误日志的收集效率。
在接收到客户端发送的分类日志之后，就会将该分类日志进行拆分成包括了详细信息的日志文件和包含基础信息的日志队列，其中日志文件中的详细信息包括了该日志的大部分信息，日志队列只是包含了日志文件的储存地址和标识等的少部分信息，也就是说日志服务器在得到分类日志之后，就会对其进行保存，就会在得到分类日志之后对将得到的分类日志保存得到日志文件，并将日志文件在日志服务器中保存，之后提供其保存地址。通过对同步后的分类日志拆分成日志文件和确定日志文件的保存地址为后续保存分类日志提供了保存依据。
步骤D60，根据所述分类日志和所述日志文件创建日志队列，并根据所述日志队列对所述日志文件进行分类保存。
在形成日志文件之后，控制器就会根据日志文件创建一个日志队列，并将该日志文件的保存地址也一并创建入该队列，当确定需要保存当前的日志队列时，就会确定日志队列中对日志文件的保存地址，并获取该地址的日志文件，并将该日志文件按照该日志文件对应的分类日志的错误等级在日志服务器中保存，并在保存该日志之后，将对应的日志队列和日志文件删除。通过日志队列进而对日志文件进行分类保存，进而形成了一个有关于客户端的错误日志库，并已经对其错误等级进行分类，可以保证后续收集错误日志的收集效率。
本发明通过公开了一种日志的收集方法，该应用于日志服务器的方法包括接收客户端发送的分类日志，将所述分类日志对应的详细信息作为所述日志文件，并将所述分类日志对应的基础信息作为所述日志队列；根据所述日志队列提取所述日志文件，并确定所述日志队列的错误级别，根据所述错误级别对所述日志文件进行分类保存。通过收集客户端错误日志并将其进行同步到日志服务器储存，可以将将客户端的错误日志准确的收集到了日志服务器，从而避免了日志服务器收集错误日志时需要用户反馈的程序异常信息后才会对客户端日志进行获取的现象发生，不仅对问题的定位、跟踪和解决提供更精准和高效的依据，而且通过将错误日志统一分类储存进而提高了日志的收集效率。
本发明还提供一种日志的收集系统装置，所述日志的收集装置应用于日志的收集系统，参照图3，所述日志的收集系统装置包括：
获取模块C01，获取所述客户端内部的全部错误日志，并根据各所述错误日志得到分类日志集；
发送模块C02，获取预设的提取规则，根据所述提取规则将所述分类日志集中的分类日志依次同步到日志服务器。
接收模块C03，接收客户端同步的分类日志，并根据所述分类日志确定对应的日志文件；
处理模块C04，根据所述分类日志和所述日志文件创建日志队列，并根据所述日志队列对所述日志文件进行分类保存。
可选地，所述获取模块C01，还用于：
获取预设的错误等级表，并确定各所述错误日志在所述错误等级表中对应的错误等级；
根据所述错误等级将各所述错误日志分类得到分类日志集。
可选地，所述发送模块C02，还用于：
根据所述提取规则依次提取所述分类日志集中的分类日志，并确定提取的所述分类日志对应的提取顺序；
根据所述提取顺序将所述分类日志同步到日志服务器。
可选地，所述接收模块C03，还用于：
获取所述分类日志中的详细信息，将所述详细信息作为日志文件。
可选地，所述处理模块C04，还用于：
获取所述分类日志中的基础信息，将所述基础信息作为拟日志队列；
获取所述日志文件对应的保存地址，并将所述保存地址写入所述拟日志队列得到日志队列。
可选地，所述处理模块C04，还用于：
根据所述日志队列中的保存地址提取日志文件，并根据预设的错误等级表确定所述日志文件对应的日志错误等级；
根据所述日志错误等级对所述日志文件进行分类保存。
本发明还提供一种日志的收集设备。
本发明设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志的收集程序，所述日志的收集程序被处理器执行时实现如上所述的日志的收集方法的步骤。
本发明还提供一种计算机存储介质。
本发明计算机存储介质上存储有日志的收集程序，所述日志的收集程序被处理器执行时实现如上所述的日志的收集方法的步骤。
其中，在所述处理器上运行的日志的收集程序被执行时所实现的方法可参照本发明日志的收集方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还 包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、 方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在如上所述的一个计算机存储介质(如ROM/RAM、磁碟、光 盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种日志的收集方法，其特征在于，所述日志的收集方法应用于日志的收集系统，所述日志的收集系统包括客户端和日志服务器，所述日志的收集方法步骤，包括：
获取所述客户端内部的全部错误日志，并根据各所述错误日志得到分类日志集，其中，所述根据各所述错误日志得到分类日志集的步骤包括：获取预设的错误等级表，并确定各所述错误日志在所述错误等级表中对应的错误等级，根据所述错误等级将各所述错误日志分类得到分类日志集，所述错误等级包括警告级别错误、致命级别错误和通知级别错误；
获取预设的提取规则，根据所述提取规则将所述分类日志集中的分类日志依次同步到所述日志服务器，并将已同步的所述分类日志删除，其中，所述根据所述提取规则将所述分类日志集中的分类日志依次同步到所述日志服务器的步骤，包括：所述提取规则是指根据日志的错误等级提取日志的顺序，确定所述错误等级对应的优先级顺序，并根据所述优先级顺序将所述分类日志集中的分类日志依次同步到所述日志服务器；
接收所述客户端同步的分类日志，并根据所述分类日志确定对应的日志文件，其中，所述接收客户端同步的分类日志步骤之后包括：将所述分类日志中的详细信息和基础信息进行拆分；
根据所述分类日志和所述日志文件创建日志队列，并根据所述日志队列对所述日志文件进行分类保存，将已保存的所述日志文件的所述日志队列删除，其中，所述根据所述日志队列对所述日志文件进行分类保存的步骤，包括：确定所述日志队列中对日志文件的保存地址，并获取所述保存地址的日志文件，并将所述日志文件按照所述日志文件对应的分类日志的错误等级在日志服务器中保存，根据所述分类日志和所述日志文件创建日志队列的步骤之后，包括：若检测到回复的ACK，则删除同步的所述分类日志。
2.如权利要求1所述的日志的收集方法，其特征在于，所述根据所述提取规则将所述分类日志集中的分类日志依次同步到所述日志服务器的步骤，包括：
根据所述提取规则依次提取所述分类日志集中的分类日志，并确定提取的所述分类日志对应的提取顺序；
根据所述提取顺序将所述分类日志同步到所述日志服务器。
3.如权利要求1所述的日志的收集方法，其特征在于，所述根据所述分类日志确定对应的日志文件的步骤，包括：
获取所述分类日志中的详细信息，将所述详细信息作为日志文件。
4.如权利要求1所述的日志的收集方法，其特征在于，所述根据所述分类日志和所述日志文件创建日志队列的步骤，包括：
获取所述分类日志中的基础信息，将所述基础信息作为拟日志队列；
获取所述日志文件对应的保存地址，并将所述保存地址写入所述拟日志队列得到日志队列。
5.如权利要求1所述的日志的收集方法，其特征在于，所述根据所述日志队列对所述日志文件进行分类保存的步骤，包括：
根据所述日志队列中的保存地址提取日志文件，并根据预设的错误等级表确定所述日志文件对应的日志错误等级；
根据所述日志错误等级对所述日志文件进行分类保存。
6.一种日志的收集系统，其特征在于，所述日志的收集系统包括客户端和日志服务器，所述客户端和所述日志服务器之间建立通信连接；
所述客户端，用于获取错误日志，根据预设的错误等级表对各所述错误日志分类得到分类日志集，其中，根据各所述错误日志分类 得到分类日志集的步骤包括：获取预设的错误等级表，并确定各所述错误日志在所述错误等级表中对应的错误等级，根据所述错误等级将各所述错误日志分类得到分类日志集，所述错误等级包括警告级别错误、致命级别错误和通知级别错误，并根据预设的提取规则将所述分类日志集中的分类日志依次同步到所述日志服务器，其中，所述根据预设的提取规则将所述分类日志集中的分类日志依次同步到所述日志服务器的步骤，包括：提取规则是指根据日志的错误等级提取日志的顺序，确定所述错误等级对应的优先级顺序，并根据所述优先级顺序将所述分类日志集中的分类日志依次同步到日志服务器；
所述日志服务器，用于接收所述客户端同步的分类日志，并根据所述分类日志确定对应的日志文件，其中，所述接收客户端同步的分类日志步骤之后包括：将所述分类日志中的详细信息和基础信息进行拆分；
根据所述分类日志和所述日志文件创建日志队列，并根据所述日志队列对所述日志文件进行分类保存，其中，将所述日志文件 进行分类保存的步骤，包括：确定日志队列中对日志文件的保存地址，并获取所述保存地址的日志文件，并将所述日志文件按照所述日志文件对应的分类日志的错误等级在日志服务器中保存，根据所述分类日志和所述日志文件创建日志队列的步骤之后，包括：若检测到回复的ACK，则删除同步的所述分类日志。
7.一种日志的收集设备，其特征在于，所述日志的收集设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志的收集程序，所述日志的收集程序被所述处理器执行时实现如权利要求1至5中任一项所述的日志的收集方法的步骤。
8.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有日志的收集程序，所述日志的收集程序被处理器执行时实现如权利要求1至5中任一项所述的日志的收集方法的步骤。
CN202210340427.0A 2022-04-02 2022-04-02 日志的收集方法、系统、设备及计算机存储介质 Active CN114490164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210340427.0A CN114490164B (zh) 2022-04-02 2022-04-02 日志的收集方法、系统、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210340427.0A CN114490164B (zh) 2022-04-02 2022-04-02 日志的收集方法、系统、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN114490164A CN114490164A (zh) 2022-05-13
CN114490164B true CN114490164B (zh) 2022-08-16

Family

ID=81488607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210340427.0A Active CN114490164B (zh) 2022-04-02 2022-04-02 日志的收集方法、系统、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN114490164B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112148518A (zh) * 2020-11-02 2020-12-29 深圳市九九互动科技有限公司 日志文件处理方法、装置、计算机设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7200620B2 (en) * 2003-09-29 2007-04-03 International Business Machines Corporation High availability data replication of smart large objects
CN100596353C (zh) * 2006-12-05 2010-03-31 阿里巴巴集团控股有限公司 提供日志服务的方法及系统
CN105871574B (zh) * 2015-01-21 2019-02-26 中国移动通信集团浙江有限公司 一种基于软件开发工具包监控日志的方法、装置及系统
US10866963B2 (en) * 2017-12-28 2020-12-15 Dropbox, Inc. File system authentication
CN110519077A (zh) * 2019-07-26 2019-11-29 济南浪潮数据技术有限公司 一种日志采集系统、方法、装置、服务器及存储介质
CN114036533A (zh) * 2021-09-24 2022-02-11 北京车和家信息技术有限公司 日志的传输方法及装置、电子设备和存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112148518A (zh) * 2020-11-02 2020-12-29 深圳市九九互动科技有限公司 日志文件处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN114490164A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN109656999B (zh) 大数据量的数据同步方法、设备、存储介质及装置
US20110093466A1 (en) Heuristic event clustering of media using metadata
CN108073815B (zh) 基于代码切片的家族判定方法、系统及存储介质
CN111813756B (zh) 一种日志检索系统、方法、装置、电子设备及存储介质
CN107291949B (zh) 信息搜索方法及装置
CN110134738B (zh) 分布式存储系统资源预估方法、装置
CN111625342B (zh) 一种数据溯源方法、装置及服务器
CN111563382A (zh) 文本信息的获取方法、装置、存储介质及计算机设备
CN108063685B (zh) 日志分析方法及装置
CN107748772B (zh) 一种商标识别方法及装置
CN113205130B (zh) 一种数据审核方法、装置、电子设备及存储介质
CN107590233B (zh) 一种文件管理方法及装置
CN114490164B (zh) 日志的收集方法、系统、设备及计算机存储介质
CN107220146B (zh) 一种文件扫描恢复方法及装置
CN112836124A (zh) 一种画像数据获取方法、装置、电子设备及存储介质
CN111966339A (zh) 埋点参数的录入方法、装置、计算机设备和存储介质
CN106649678B (zh) 一种数据处理方法及系统
CN104268277A (zh) 用于数据库的数据读取方法及装置
CN114065700A (zh) 图纸检测项提取方法、控制器以及存储介质
CN110580243A (zh) 一种文件比对方法、装置、电子设备及存储介质
CN111651531A (zh) 数据导入方法、装置、设备及计算机存储介质
CN107045529B (zh) 网络内容获取方法、装置及服务终端
CN111259121A (zh) 日志处理方法、装置、设备及计算机可读存储介质
CN111651479A (zh) 一种物品评估方法、装置及其相关设备
CN106528577B (zh) 一种设置待清理文件的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant